怎樣給Spark傳遞函數(shù)
怎樣給Spark傳遞函數(shù)？
慕田峪7331174
2018-11-13 15:11:23
1 回答
白豬掌柜的
TA貢獻(xiàn)1893條經(jīng)驗(yàn) 獲得超10個(gè)贊
大講臺(tái) spark在線培訓(xùn)為你解答：
第一種：匿名函數(shù)，處理的代碼比較少的時(shí)候，可以采用匿名函數(shù)，直接寫在算子里面：
myrdd.map(x => x+ 1)
第二種：全局單例對(duì)象中的靜態(tài)方法：先定義object對(duì)象MyFunctions，以及靜態(tài)方法：funcOne,然后傳遞MyFunctions.funcOne給RDD算子。
object MyFunctions {
def funcOne(s: String): String = { ... }
}
myRdd.map(MyFunctions.funcOne)
- 1 回答
- 0 關(guān)注
- 883 瀏覽
添加回答
舉報(bào)
0/150
提交
取消