首頁技術(shù)文章正文

大數(shù)據(jù)離散流是什么?它的內(nèi)部結(jié)構(gòu)是怎樣的?

更新時間:2021-01-05 來源:黑馬程序員 瀏覽量:

1577370495235_學IT就到黑馬程序員.gif

Spark Streaming提供了一個高級抽象的流,即DStream(離散流)。DStream表示連續(xù)的數(shù)據(jù)流,可以通過Kafka、Flume和Kinesis等數(shù)據(jù)源創(chuàng)建,也可以通過現(xiàn)有DStream的高級操作來創(chuàng)建。DStream的內(nèi)部結(jié)構(gòu)如圖1所示。

1609835136648_1.jpg

圖1 DStream流的內(nèi)部結(jié)構(gòu)

從圖1可以看出,DStream的內(nèi)部結(jié)構(gòu)是由一系列連續(xù)的RDD組成,每個RDD都是一小段時間分隔開來的數(shù)據(jù)集。實際上,對DStream的任何操作,最終都會轉(zhuǎn)變成對底層RDDs的操作。


猜你喜歡:

Spark RDD是什么?RDD特征介紹

Spark有哪些特點,Spark的生態(tài)系統(tǒng)包含哪些組件?

Spark的集群安裝與配置簡介【大數(shù)據(jù)技術(shù)文章】

黑馬程序員大數(shù)據(jù)培訓課程 

分享到:
在線咨詢 我要報名
和我們在線交談!