首頁(yè)技術(shù)文章正文

在數(shù)據(jù)處理中哪些場(chǎng)景可以使用Spark?

更新時(shí)間:2021-03-12 來(lái)源:黑馬程序員 瀏覽量:

1577370495235_學(xué)IT就到黑馬程序員.gif


在數(shù)據(jù)科學(xué)應(yīng)用中,數(shù)據(jù)工程師可以利用Spark進(jìn)行數(shù)據(jù)分析與建模,由于Spark具有良好的易用性,數(shù)據(jù)工程師只需要具備一定的SQL語(yǔ)言基礎(chǔ)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等方面的經(jīng)驗(yàn),以及使用Python、Matlab或者R語(yǔ)言的基礎(chǔ)編程能力,就可以使用Spark進(jìn)行上述工作。


在數(shù)據(jù)處理應(yīng)用中,大數(shù)據(jù)工程師將Spark技術(shù)應(yīng)用于廣告、報(bào)表、推薦系統(tǒng)等業(yè)務(wù)中,在廣告業(yè)務(wù)中,利用Spark系統(tǒng)進(jìn)行應(yīng)用分析、效果分析、定向優(yōu)化等業(yè)務(wù),在推薦系統(tǒng)業(yè)務(wù)中,利用Spark內(nèi)置機(jī)器學(xué)習(xí)算法訓(xùn)練模型數(shù)據(jù),進(jìn)行個(gè)性化推薦及熱點(diǎn)點(diǎn)擊分析等業(yè)務(wù)。

1615515557964_Spark應(yīng)用場(chǎng)景.jpg


Spark擁有完整而強(qiáng)大的技術(shù)棧,如今已吸引了國(guó)內(nèi)外各大公司的研發(fā)與使用,淘寶技術(shù)團(tuán)隊(duì)使用Spark來(lái)解決多次迭代的機(jī)器學(xué)習(xí)算法、高計(jì)算復(fù)雜度的算法等,應(yīng)用于商品推薦、社區(qū)發(fā)現(xiàn)等功能。騰訊大數(shù)據(jù)精準(zhǔn)推薦借助Spark快速迭代的優(yōu)勢(shì),實(shí)現(xiàn)了在“數(shù)據(jù)實(shí)時(shí)采集、算法實(shí)時(shí)訓(xùn)練、系統(tǒng)實(shí)時(shí)預(yù)測(cè)”的全流程實(shí)時(shí)并行高維算法,最終成功應(yīng)用于廣點(diǎn)通投放系統(tǒng)上。優(yōu)酷土豆則將Spark應(yīng)用于視頻推薦(圖計(jì)算)、廣告等業(yè)務(wù)的研發(fā)與拓展,相信在將來(lái),Spark會(huì)在更多的應(yīng)用場(chǎng)景中發(fā)揮重要作用。



猜你喜歡:    
實(shí)時(shí)計(jì)算Spark Streaming工作原理是什么?

Spark有哪些特點(diǎn),Spark的生態(tài)系統(tǒng)包含哪些組件?

Spark Mllib分層抽樣操作步驟

黑馬程序員大數(shù)據(jù)開發(fā)培訓(xùn)

分享到:
在線咨詢 我要報(bào)名
和我們?cè)诰€交談!