spark countbykey的結(jié)果怎么輸出
1 回答
叮當(dāng)貓咪
TA貢獻(xiàn)1776條經(jīng)驗(yàn) 獲得超12個(gè)贊
numSplits：來(lái)自job.getNumMapTasks()，即在job啟動(dòng)時(shí)用org.apache.Hadoop.mapred.JobConf.setNumMapTasks(int n)設(shè)置的值，給M-R框架的Map數(shù)量的提示。goalSize：是輸入總大小與提示Map task數(shù)量的比值，即期望每個(gè)Mapper處理多少的數(shù)據(jù)
添加回答
舉報(bào)
0/150
提交
取消