首頁技術(shù)文章正文

Spark方法創(chuàng)建RDD【大數(shù)據(jù)技術(shù)文章】

更新時間:2021-03-23 來源:黑馬程序員 瀏覽量:

1577370495235_學IT就到黑馬程序員.gif


Spark可以通過并行集合創(chuàng)建RDD。即從一個已經(jīng)存在的集合、數(shù)組上,通過SparkContext對象調(diào)用parallelize()方法創(chuàng)建RDD。

若要創(chuàng)建RDD,則需要先創(chuàng)建一個數(shù)組,再通過執(zhí)行parallelize()方法實現(xiàn),具體代碼如下:

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26


執(zhí)行上述代碼后,從返回結(jié)果arrRDD的屬性中看出RDD創(chuàng)建完成。



猜你喜歡:

RDD如何分區(qū),各種模式下的分區(qū)數(shù)目是怎樣的?

不同系統(tǒng)如何加載數(shù)據(jù)創(chuàng)建RDD?

RDD轉(zhuǎn)換算子API過程演示【大數(shù)據(jù)文章】    

Spark RDD是什么?RDD特征介紹

黑馬程序員大數(shù)據(jù)開發(fā)培訓班

分享到:
在線咨詢 我要報名
和我們在線交談!