尋找并分析百度云的轉(zhuǎn)存api

首先你得有一個(gè)百度云盤(pán)的賬號(hào)，然后登錄，用瀏覽器（這里用火狐瀏覽器做示范）打開(kāi)一個(gè)分享鏈接。F12打開(kāi)控制臺(tái)進(jìn)行抓包。手動(dòng)進(jìn)行轉(zhuǎn)存操作：全選文件->保存到網(wǎng)盤(pán)->選擇路徑->確定。點(diǎn)擊【確定】前建議先清空一下抓包記錄，這樣可以精確定位到轉(zhuǎn)存的api，這就是我們中學(xué)時(shí)學(xué)到的【控制變量法】2333。

可以看到上圖中抓到了一個(gè)帶有 “transfer” 單詞的 post 請(qǐng)求，這就是我們要找的轉(zhuǎn)存（transfer）api 。接下來(lái)很關(guān)鍵，就是分析它的請(qǐng)求頭和請(qǐng)求參數(shù)，以便用代碼模擬。

點(diǎn)擊它，再點(diǎn)擊右邊的【Cookies】就可以看到請(qǐng)求頭里的 cookie 情況。

cookie分析

因?yàn)檗D(zhuǎn)存是登錄后的操作，所以需要模擬登錄狀態(tài)，將與登錄有關(guān)的 cookie 設(shè)置在請(qǐng)求頭里。我們繼續(xù)使用【控制變量法】，先將瀏覽器里關(guān)于百度的 cookie 全部刪除（在右上角的設(shè)置里面，點(diǎn)擊【隱私】，移除cookies。具體做法自己百度吧。）

然后登錄，右上角進(jìn)入瀏覽器設(shè)置->隱私->移除cookie，搜索 "bai" 觀(guān)察 cookie 。這是所有跟百度相關(guān)的 cookie ，一個(gè)個(gè)刪除，刪一個(gè)刷新一次百度的頁(yè)面，直到刪除了 BDUSS ，刷新后登錄退出了，所以得出結(jié)論，它就是與登錄狀態(tài)有關(guān)的 cookie 。

同理，刪除掉 STOKEN 后，進(jìn)行轉(zhuǎn)存操作會(huì)提示重新登錄。所以，這兩個(gè)就是轉(zhuǎn)存操作所必須帶上的 cookie 。

弄清楚了 cookie 的情況，可以像下面這樣構(gòu)造請(qǐng)求頭。

除了上面說(shuō)到的兩個(gè) cookie ，其他的請(qǐng)求頭參數(shù)可以參照手動(dòng)轉(zhuǎn)存時(shí)抓包的請(qǐng)求頭。這兩個(gè) cookie 預(yù)留出來(lái)做參數(shù)的原因是 cookie 都是有生存周期的，過(guò)期了需要更新，不同的賬號(hào)登錄也有不同的 cookie 。

參數(shù)分析

接下來(lái)分析參數(shù)，點(diǎn)擊【Cookies】右邊的【Params】查看參數(shù)情況。如下：

上面的query string（也就是？后跟的參數(shù)）里，除了框起來(lái)的shareid、from、bdstoken需要我們填寫(xiě)以外，其他的都可以不變，模擬請(qǐng)求的時(shí)候直接抄下來(lái)。

前兩個(gè)與分享的資源有關(guān)，bdstoken與登錄的賬號(hào)有關(guān)。下面的form data里的兩個(gè)參數(shù)分別是資源在分享用戶(hù)的網(wǎng)盤(pán)的所在目錄和剛剛我們點(diǎn)擊保存指定的目錄。

所以，需要我們另外填寫(xiě)的參數(shù)為：shareid、from、bdstoken、filelist 和 path，bdstoken 可以手動(dòng)轉(zhuǎn)存抓包找到，path 根據(jù)你的需要自己定義，前提是你的網(wǎng)盤(pán)里有這個(gè)路徑。其他三個(gè)需要從分享鏈接里爬取，這個(gè)將在后面的【爬取shareid、from、filelist，發(fā)送請(qǐng)求轉(zhuǎn)存到網(wǎng)盤(pán)】部分中進(jìn)行講解。

搞清楚了參數(shù)的問(wèn)題，可以像下面這樣構(gòu)造轉(zhuǎn)存請(qǐng)求的 url 。

爬取shareid、from、filelist，發(fā)送請(qǐng)求轉(zhuǎn)存到網(wǎng)盤(pán)

以上面這個(gè)資源鏈接為例（隨時(shí)可能被河蟹，但是沒(méi)關(guān)系，其他鏈接的結(jié)構(gòu)也是一樣的），我們先用瀏覽器手動(dòng)訪(fǎng)問(wèn)，F(xiàn)12 打開(kāi)控制臺(tái)先分析一下源碼，看看我們要的資源信息在什么地方。控制臺(tái)有搜索功能，直接搜 “shareid”。

定位到4個(gè)shareid，前三個(gè)與該資源無(wú)關(guān)，是其他分享資源，最后一個(gè)定位到該 html 文件的最后一個(gè)標(biāo)簽塊里。雙擊后可以看到格式化后的 js 代碼，可以發(fā)現(xiàn)我們要的信息全都在里邊。如下節(jié)選：

可以看到這兩行

yunData.PATH 只指向了一個(gè)路徑信息，完整的 filelist 可以從 yunData.FILEINFO 里提取，它是一個(gè) json ，list 里的信息是Unicode編碼的，所以在控制臺(tái)看不到中文，用Python代碼訪(fǎng)問(wèn)并獲取輸出一下就可以了。

直接用request請(qǐng)求會(huì)收獲 404 錯(cuò)誤，可能是需要構(gòu)造請(qǐng)求頭參數(shù)，不能直接請(qǐng)求，這里博主為了節(jié)省時(shí)間，直接用selenium的webdriver來(lái)get了兩次，就收到了返回信息。第一次get沒(méi)有任何 cookie ，但是baidu 會(huì)給你返回一個(gè)BAIDUID ，在第二次 get 就可以正常訪(fǎng)問(wèn)了。

yunData.FILEINFO 結(jié)構(gòu)如下，你可以將它復(fù)制粘貼到j(luò)son.cn里，可以看得更清晰。

清楚了這三個(gè)參數(shù)的位置，我們就可以用正則表達(dá)式進(jìn)行提取了。代碼如下：

爬取到了這三個(gè)參數(shù)，就可以調(diào)用之前的 transfer 方法進(jìn)行轉(zhuǎn)存了。