Scrapy框架流程圖和框架組件

學(xué)習(xí)Scrapy框架，從理解它的架構(gòu)開始。

Scrapy框架

從上圖可知，Scrapy框架主要包含以下組件：

(1) Scrapy Engine (引擎) ：負(fù)責(zé)Spiders、Item Pipeline、Downloader、Scheduler之間的通信，包括信號(hào)和數(shù)據(jù)的傳遞等。

(2) Scheduler (調(diào)度器)：負(fù)責(zé)接收引擎發(fā)送過來的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列和人隊(duì)，當(dāng)引擎需要時(shí)，交還給引擎。

(3) Downloader (下載器) ：負(fù)責(zé)下載Scrapy Engine 發(fā)送的所有Requests (請(qǐng)求) ;并將其獲取到的Responses (響應(yīng))交還給Scrapy Engine，由Scrapy Engine交給Spider來處理。

(4) Spiders (爬蟲) ：負(fù)責(zé)處理所有Responses，從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)人Scheduler (調(diào)度器)。

(5) Item Pipeline (管道)：負(fù)責(zé)處理Spiders中獲取到的Item數(shù)據(jù)，并進(jìn)行后期處理(詳細(xì)分析、過濾、存儲(chǔ)等)。

(6) Downloader Middlewares (下載中間件)：是一個(gè)可以自定義擴(kuò)展下載功能的組件。

(7) Spider Middlewares (Spider中間件)：是一個(gè)可以自定義擴(kuò)展Scrapy Engine和Spiders中間通信的功能組件(例如，進(jìn)人Spiders的Responses和從Spiders出去的Requests)。

Scrapy的這些組件通力合作，共同完成整個(gè)爬取任務(wù)。架構(gòu)圖中的箭頭是數(shù)據(jù)的流動(dòng)方向，首先從初始URL開始，Scheduler 會(huì)將其交給Downloader進(jìn)行下載，下載之后會(huì)交給Spiders進(jìn)行分析。Spiders分析出來的結(jié)果有兩種：一種是需要進(jìn)一步爬取的鏈接，例如之前分析的“下一頁”的鏈接，這些會(huì)被傳回Scheduler;另一種是需要保存的數(shù)據(jù)，它們被送到Item Pipeline，這是對(duì)數(shù)據(jù)進(jìn)行后期處理(詳細(xì)分析、過濾、存儲(chǔ)等)的地方。另外，在數(shù)據(jù)流動(dòng)的通道里還可以安裝各種中間件，進(jìn)行必要的處理。

猜你喜歡：

Python爬蟲難學(xué)嗎？學(xué)會(huì)需要多久？

網(wǎng)絡(luò)爬蟲之通用爬蟲和聚焦爬蟲

Python爬蟲支持的網(wǎng)頁解析技術(shù)有哪些？

三種分布式爬蟲策略的優(yōu)缺點(diǎn)

多線程爬蟲是什么？多線程爬蟲流程分析

黑馬程序員python+大數(shù)據(jù)培訓(xùn)課程