sparksql怎樣取分組后的topn
sparksql怎樣取分組后的topn?
慕無忌1623718
2018-11-15 19:14:13
TA貢獻(xiàn)1798條經(jīng)驗(yàn) 獲得超3個贊
sparksql怎樣取分組后的topn
Spark SQL 開窗函數(shù)
1、Spark 1.5.x版本以后,在Spark SQL和DataFrame中引入了開窗函數(shù),比如最經(jīng)典的就是我們的row_number(),可以讓我們實(shí)現(xiàn)分組取topn的邏輯。
2、做一個案例進(jìn)行topn的取值(利用Spark的開窗函數(shù)),不知道是否還有印象,我們之前在最早的時候,做過topn的計算,當(dāng)時是非常麻煩的。但是現(xiàn)在用了Spark SQL之后,非常方便。
舉報