首頁(yè) 猿問(wèn) Spark中parallelize...

Spark中parallelize函數(shù)和makeRDD函數(shù)的區(qū)別？

Spark

呼啦一陣風(fēng) 2018-11-14 19:15:55

Spark中parallelize函數(shù)和makeRDD函數(shù)的區(qū)別

查看完整描述

1 回答

紫衣仙女

TA貢獻(xiàn)1839條經(jīng)驗(yàn) 獲得超15個(gè)贊

Spark主要提供了兩種函數(shù)：parallelize和makeRDD：
1）parallelize的聲明：
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
2）makeRDD的聲明：
def makeRDD[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]
3）區(qū)別：
A）makeRDD函數(shù)比parallelize函數(shù)多提供了數(shù)據(jù)的位置信息。