更新時(shí)間:2021-12-03 來源:黑馬程序員 瀏覽量:
MapReduce核心思想
MapReuce的核心思想是“分而治之”。所謂"分面治之”就是把一個(gè)復(fù)雜的問題,按照一定的“分解”方法分為等價(jià)的規(guī)模較小的若干部分,然后逐個(gè)解決,分別找出各部分的結(jié)果,把各部分的結(jié)果組成整個(gè)問題的結(jié)果。這種思想來源于日常生活與工作時(shí)的經(jīng)驗(yàn),同樣也完全適合技術(shù)領(lǐng)域。
為了更好地理解“分而治之”思想.先來看一個(gè)生活中的例子。
例如,某大型公司在全國(guó)設(shè)立了分公司,假設(shè)現(xiàn)在要統(tǒng)計(jì)公司一年的營(yíng)收情況制作年報(bào),有兩種統(tǒng)計(jì)方式。第一種方式是全國(guó)分公司將自己的賬單數(shù)據(jù)發(fā)送至總部,由總部統(tǒng)一計(jì)算公司當(dāng)年的營(yíng)收?qǐng)?bào)表:第二種方式是采用分而治之的思想,也就是說,先要求分公司各自統(tǒng)計(jì)營(yíng)收情況,再將統(tǒng)計(jì)結(jié)果發(fā)給總部進(jìn)行統(tǒng)一匯總計(jì)算。
這兩種方式相比,顯然第二種方式的策略更好,工作效率更高。
MapReduce作為一種分布式計(jì)算模型,它主要用于解決海量數(shù)據(jù)的計(jì)算問題。使用MapReduce分析海量數(shù)據(jù)時(shí),每個(gè)MapReduce程序被初始化為一個(gè)工作任務(wù),每個(gè)工作任務(wù)可以分為Map和Reduce兩個(gè)階段,具體介紹如下。
·Map階段:負(fù)責(zé)將任務(wù)分解,即把復(fù)雜的任務(wù)分解成若干個(gè)“簡(jiǎn)單的任務(wù)”來并行處理,但前提是這些任務(wù)沒有必然的依賴關(guān)系,可以單獨(dú)執(zhí)行任務(wù)。
·Reduce階段:負(fù)責(zé)將任務(wù)合并,即把Map階段的結(jié)果進(jìn)行全局匯總。
下面通過一個(gè)圖來描述上述MapReduce的核心思想,具體如下圖所示。
MapReduce的核心思想
從圖可知,MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。即使用戶不懂分布式計(jì)算框架的內(nèi)部運(yùn)行機(jī)制,但是只要能用Map和Reduce思想描述清楚要處理的問題,就能輕松地在Hadoop集群上實(shí)現(xiàn)分布式計(jì)算功能。
猜你喜歡:
Flume日志采集系統(tǒng):簡(jiǎn)單結(jié)構(gòu)和復(fù)雜結(jié)構(gòu)
2021-12-02Flume的運(yùn)行機(jī)制介紹
2021-12-01TiDB為什么要進(jìn)行調(diào)度?TiDB調(diào)度全流程
2021-11-24怎樣安裝和開啟Kafka-Eagle?
2021-11-24requests模塊怎樣爬取網(wǎng)頁(yè)?(具體代碼演示)
2021-11-19利用函數(shù)實(shí)現(xiàn)Pytho對(duì)象和JSON數(shù)據(jù)的相互轉(zhuǎn)換
2021-11-17