導(dǎo)讀：爬蟲(chóng)（又稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在 FOAF 社區(qū)中間，更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者）；它是一種按照一定的規(guī)則，自動(dòng)地抓取網(wǎng)絡(luò)信息的程序或者腳本。

作者：潮汐

來(lái)源：Python 技術(shù)「ID: pythonall」

如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，那一臺(tái)計(jì)算機(jī)上的數(shù)據(jù)便是蜘蛛網(wǎng)上的一個(gè)獵物，而爬蟲(chóng)程序就是一只小蜘蛛，他們沿著蜘蛛網(wǎng)抓取自己想要的獵物/數(shù)據(jù)。

01 爬蟲(chóng)的基本流程

02 網(wǎng)頁(yè)的請(qǐng)求與響應(yīng)

網(wǎng)頁(yè)的請(qǐng)求和響應(yīng)方式是 Request 和 Response。

• Request：用戶(hù)將自己的信息通過(guò)瀏覽器（socket client）發(fā)送給服務(wù)器（socket server）

• Response：服務(wù)器接收請(qǐng)求，分析用戶(hù)發(fā)來(lái)的請(qǐng)求信息，收到請(qǐng)求信息后返回?cái)?shù)據(jù)（返回的數(shù)據(jù)中可能包含其他鏈接，如：image、js、css等）

瀏覽器在接收 Response 后，會(huì)解析其內(nèi)容來(lái)顯示給用戶(hù)，而爬蟲(chóng)程序在模擬瀏覽器發(fā)送請(qǐng)求然后接收 Response 后，是要提取其中的有用數(shù)據(jù)。

1. 發(fā)起請(qǐng)求：Request

請(qǐng)求的發(fā)起是使用 http 庫(kù)向目標(biāo)站點(diǎn)發(fā)起請(qǐng)求，即發(fā)送一個(gè)Request。

Request對(duì)象的作用是與客戶(hù)端交互，收集客戶(hù)端的 Form、Cookies、超鏈接，或者收集服務(wù)器端的環(huán)境變量。

Request 對(duì)象是從客戶(hù)端向服務(wù)器發(fā)出請(qǐng)求，包括用戶(hù)提交的信息以及客戶(hù)端的一些信息。客戶(hù)端可通過(guò) HTML 表單或在網(wǎng)頁(yè)地址后面提供參數(shù)的方法提交數(shù)據(jù)。

然后服務(wù)器通過(guò) request 對(duì)象的相關(guān)方法來(lái)獲取這些數(shù)據(jù)。request 的各種方法主要用來(lái)處理客戶(hù)端瀏覽器提交的請(qǐng)求中的各項(xiàng)參數(shù)和選項(xiàng)。

Request 包含：請(qǐng)求 URL、請(qǐng)求頭、請(qǐng)求體等。

• Request 請(qǐng)求方式： GET/POST

• 請(qǐng)求url: url全稱(chēng)統(tǒng)一資源定位符，一個(gè)網(wǎng)頁(yè)文檔、一張圖片、 一個(gè)視頻等都可以用url唯一來(lái)確定

• 請(qǐng)求頭：User-agent：請(qǐng)求頭中如果沒(méi)有 user-agent 客戶(hù)端配置，服務(wù)端可能將你當(dāng)做一個(gè)非法用戶(hù)；

• cookies：cookie 用來(lái)保存登錄信息

一般做爬蟲(chóng)都會(huì)加上請(qǐng)求頭。

例如：抓取百度網(wǎng)址的數(shù)據(jù)請(qǐng)求信息如下：

2. 獲取響應(yīng)內(nèi)容

爬蟲(chóng)程序在發(fā)送請(qǐng)求后，如果服務(wù)器能正常響應(yīng)，則會(huì)得到一個(gè)Response，即響應(yīng)。

Response 信息包含：html、json、圖片、視頻等，如果沒(méi)報(bào)錯(cuò)則能看到網(wǎng)頁(yè)的基本信息。例如：一個(gè)的獲取網(wǎng)頁(yè)響應(yīng)內(nèi)容程序如下：

以上內(nèi)容輸出的就是網(wǎng)頁(yè)的基本信息，它包含 html、json、圖片、視頻等，如下圖所示：

Response 響應(yīng)后會(huì)返回一些響應(yīng)信息，例下：

1）響應(yīng)狀態(tài)

• 200：代表成功

• 301：代表跳轉(zhuǎn)

• 404：文件不存在

• 403：權(quán)限

• 502：服務(wù)器錯(cuò)誤

2）Respone header

• set-cookie：可能有多個(gè)，是來(lái)告訴瀏覽器，把cookie保存下來(lái)。

3）preview 是網(wǎng)頁(yè)源代碼

最主要的部分，包含了請(qǐng)求資源的內(nèi)容，如網(wǎng)頁(yè)html、圖片、二進(jìn)制數(shù)據(jù)等

4）解析內(nèi)容

• 解析 html 數(shù)據(jù)：解析 html 數(shù)據(jù)方法有使用正則表達(dá)式、第三方解析庫(kù)如 Beautifulsoup，pyquery 等

• 解析 json 數(shù)據(jù)：解析 json數(shù)據(jù)可使用 json 模塊

• 解析二進(jìn)制數(shù)據(jù)：以 b 的方式寫(xiě)入文件

5）保存數(shù)據(jù)

爬取的數(shù)據(jù)以文件的形式保存在本地或者直接將抓取的內(nèi)容保存在數(shù)據(jù)庫(kù)中，數(shù)據(jù)庫(kù)可以是 MySQL、Mongdb、Redis、Oracle 等……

03 寫(xiě)在最后

爬蟲(chóng)的總流程可以理解為：蜘蛛要抓某個(gè)獵物-->沿著蛛絲找到獵物-->吃到獵物；即爬取-->解析-->存儲(chǔ)。

在爬取數(shù)據(jù)過(guò)程中所需參考工具如下：

• 爬蟲(chóng)框架：Scrapy

• 請(qǐng)求庫(kù)：requests、selenium

• 解析庫(kù)：正則、beautifulsoup、pyquery

• 存儲(chǔ)庫(kù)：文件、MySQL、Mongodb、Redis……

04 總結(jié)

今天的文章是對(duì)爬蟲(chóng)的原理做一個(gè)詳解，希望對(duì)大家有幫助，同時(shí)也在后面的工作中奠定基礎(chǔ)！

轉(zhuǎn)自：https://cloud.tencent.com/developer/article/1815295