1.RDD是PariRDD類(lèi)型
def add1(line):
return line[0] + line[1]
def add2(x1,x2):
return x1 + x2
sc = SparkContext(appName="gridAnalyse")
rdd = sc.parallelize([1,2,3])
list1 = rdd.map(lambda line: (line,1)).map(lambda (x1,x2) : x1 + x2).collect() #只有一個(gè)參數(shù)，通過(guò)匹配來(lái)直接獲?。ㄙx值給里面對(duì)應(yīng)位置的變量）
list1 = rdd.map(lambda line: (line,1)).map(lambda x1,x2 : x1 + x2).collect() #錯(cuò)誤，相當(dāng)于函數(shù)有兩個(gè)參數(shù)
list2 = rdd.map(lambda line: (line,1)).map(lambda line : line[0] + line[1]).collect() #只有一個(gè)參數(shù)，參數(shù)是Tuple或List數(shù)據(jù)類(lèi)型，再?gòu)募系膶?duì)應(yīng)位置取出數(shù)據(jù)
list3 = rdd.map(lambda line: (line,1)).map(add1).collect() #傳遞函數(shù)，將Tuple或List類(lèi)型數(shù)據(jù)傳給形參
list4 = rdd.map(lambda line: (line,1)).map(add2).collect() #錯(cuò)誤，因?yàn)檩斎胫挥幸粋€(gè)，卻有兩個(gè)形參
當(dāng)RDD是PairRDD時(shí)，map中可以寫(xiě)lambda表達(dá)式和傳入一個(gè)函數(shù)。
a、寫(xiě)lambda表達(dá)式：
可以通過(guò)(x1,x2,x3)來(lái)匹配獲取值；或者使用line獲取集合，然后從集合中獲取。
b、傳入函數(shù)
根據(jù)spark具體的transaction OR action 操作來(lái)確定自定義函數(shù)參數(shù)的個(gè)數(shù)，此例子中只有一個(gè)參數(shù)，從形參（集合類(lèi)型）中獲取相應(yīng)位置的數(shù)據(jù)。