往往不少童鞋寫論文苦于數(shù)據(jù)獲取艱難，輾轉(zhuǎn)走上爬蟲之路；

許多分析師做輿情監(jiān)控或者競品分析的時候，也常常使用到爬蟲。

今天，本文將帶領(lǐng)小伙伴們通過12行簡單的Python代碼，初窺爬蟲的秘境。

爬蟲目標(biāo)

本文采用requests + Xpath，爬取豆瓣電影《黑豹》部分短評內(nèi)容。

運行以上的爬蟲腳本，我們得以見證奇跡

爬蟲結(jié)果與原網(wǎng)頁內(nèi)容的對比，完全一致

通過tqdm模塊實現(xiàn)了良好的交互

工具準(zhǔn)備

chrome瀏覽器（分析HTTP請求、抓包）

安裝Python 3及相關(guān)模塊（requests、lxml、pandas、time、random、tqdm）requests：用來簡單請求數(shù)據(jù)lxml：比Beautiful Soup更快更強的解析庫pandas：數(shù)據(jù)處理神器time：設(shè)置爬蟲訪問間隔防止被抓random：隨機數(shù)生成工具，配合time使用tqdm：交互好工具，顯示程序運行進度

基本步驟

網(wǎng)絡(luò)請求分析

網(wǎng)頁內(nèi)容解析

數(shù)據(jù)讀取存儲

涉及知識點

爬蟲協(xié)議

http請求分析

requests請求

Xpath語法

Python基礎(chǔ)語法

Pandas數(shù)據(jù)處理

爬蟲協(xié)議

爬蟲協(xié)議即網(wǎng)站根目錄之下的robots.txt文件，用來告知爬蟲者哪些可以拿哪些不能偷，其中Crawl-delay告知了網(wǎng)站期望的被訪問的間隔。（為了對方服務(wù)器端同學(xué)的飯碗，文明拿數(shù)據(jù)，本文將爬蟲訪問間隔設(shè)置為6-9秒的隨機數(shù)）

豆瓣網(wǎng)站的爬蟲協(xié)議

HTTP請求分析

使用chrome瀏覽器訪問《黑豹》短評頁面https://movie.douban.com/subject/6390825/comments?sort=new_score&status=P，按下F12，進入network面板進行網(wǎng)絡(luò)請求的分析，通過刷新網(wǎng)頁重新獲得請求，借助chrome瀏覽器對請求進行篩選、分析，找到那個Ta

豆瓣短評頁面請求分析

通過請求分析，我們找到了目標(biāo)url為'https://movie.douban.com/subject/6390825/comments?start=0&limit=20&sort=new_score&status=P&percent_type='，并且每次翻頁，參數(shù)start將往上增加20（通過多次翻頁嘗試，我們發(fā)現(xiàn)第11頁以后需要登錄才能查看，且登錄狀態(tài)也僅展示前500條短評。作為簡單demo，本文僅對前11頁內(nèi)容進行爬?。?/p>

requests請求

通過requests模塊發(fā)送一個get請求，用content方法獲取byte型數(shù)據(jù)，并以utf-8重新編碼；然后添加一個交互，判斷是否成功獲取到資源（狀態(tài)碼為200），輸出獲取狀態(tài)

請求詳情分析

（除了content，還有text方法，其返回unicode字符集，直接使用text方法遇到中文的話容易出現(xiàn)亂碼）

Xpath語法解析

獲取到數(shù)據(jù)之后，需要對網(wǎng)頁內(nèi)容進行解析，常用的工具有正則表達(dá)式、Beautiful Soup、Xpath等等；其中Xpath又快又方便。此處我們通過Xpath解析資源獲取到了前220條短評的用戶名、短評分?jǐn)?shù)、短評內(nèi)容等數(shù)據(jù)。（可借助chrome的強大功能直接復(fù)制Xpath，Xpath語法學(xué)習(xí)http://www.runoob.com/xpath/xpath-tutorial.html）

數(shù)據(jù)處理

獲取到數(shù)據(jù)之后，我們通過list構(gòu)造dictionary，然后通過dictionary構(gòu)造dataframe，并通過pandas模塊將數(shù)據(jù)輸出為csv文件

結(jié)語與彩蛋

本例通過requests+Xpath的方案，成功爬取了電影《黑豹》的部分豆瓣短評數(shù)據(jù)，為文本分析或其他數(shù)據(jù)挖掘工作打好了數(shù)據(jù)地基。本文作為demo，僅展示了簡單的爬蟲流程，更多彩蛋如請求頭、請求體信息獲取、cookie、模擬登錄、分布式爬蟲等請關(guān)注后期文章更新喲。