識(shí)別網(wǎng)絡(luò)爬蟲的策略分析

一、網(wǎng)絡(luò)爬蟲

爬蟲（crawler）也可以被稱為spider和robot，通常是指對(duì)目標(biāo)網(wǎng)站進(jìn)行自動(dòng)化瀏覽的腳本或者程序，包括使用requests庫(kù)編寫腳本等。隨著互聯(lián)網(wǎng)的不斷發(fā)展，網(wǎng)絡(luò)爬蟲愈發(fā)常見，并占用了大量的網(wǎng)絡(luò)資源。由爬蟲產(chǎn)生的網(wǎng)絡(luò)流量占總流量的37.2%，其中由惡意爬蟲產(chǎn)生的流量約占65%[1]。如何在網(wǎng)絡(luò)流量中識(shí)別爬蟲，是判斷爬蟲行為意圖的前提，常見的使用爬蟲的場(chǎng)景包括：搜索引擎等使用爬蟲爬取網(wǎng)站上的信息，研究機(jī)構(gòu)使用爬蟲搜集數(shù)據(jù)，以及攻擊者使用爬蟲搜集用戶信息、識(shí)別軟件后門等。

針對(duì)網(wǎng)絡(luò)爬蟲，目前常用的方法包括在服務(wù)器上的robots.txt文件中進(jìn)行適當(dāng)?shù)呐渲茫瑢⒂脩舸砹腥氚酌麊蔚?，這些操作可以檢測(cè)和阻止一些低級(jí)別的惡意爬蟲。然而，高級(jí)和復(fù)雜的網(wǎng)絡(luò)爬蟲仍然難以檢測(cè)，因?yàn)樗鼈兺ǔ?huì)偽裝成合法的爬蟲或正常用戶。此外，運(yùn)營(yíng)部門需要投入較多的時(shí)間和資源來(lái)收集和分析網(wǎng)絡(luò)流量記錄報(bào)告，以發(fā)現(xiàn)隱藏的網(wǎng)絡(luò)爬蟲的痕跡。網(wǎng)絡(luò)爬蟲通常會(huì)觸發(fā)大量告警，給安全運(yùn)營(yíng)人員帶來(lái)了較大的數(shù)據(jù)處理壓力。此外，部分惡意攻擊者也會(huì)使用爬蟲來(lái)收集信息，因此從海量的告警中，識(shí)別出網(wǎng)絡(luò)爬蟲，并判斷其行為意圖十分重要。在安全運(yùn)營(yíng)場(chǎng)景中，如何根據(jù)安全設(shè)備產(chǎn)生的告警數(shù)據(jù)，設(shè)計(jì)出識(shí)別爬蟲，并判斷其行為意圖的方案，目前仍需要不斷地探索以及深入的思考。

在往期內(nèi)容中，筆者已經(jīng)介紹了Aristaeus平臺(tái)使用瀏覽器指紋、TLS指紋和IP行為分析等方式識(shí)別爬蟲的行為意圖的工作[2]，由于Aristaeus平臺(tái)使用的域名在實(shí)驗(yàn)前均未注冊(cè)使用過(guò)，因此這一工作中采集到的流量均為爬蟲，并在此基礎(chǔ)上對(duì)良性/惡意的爬蟲進(jìn)行了區(qū)分。本文對(duì)基于web日志信息識(shí)別爬蟲以及判斷其行為意圖的研究進(jìn)行總結(jié)分析[3]，包括常見的判斷爬蟲的方法，以及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方法識(shí)別爬蟲，以及各種識(shí)別爬蟲行為意圖的方法。

二、識(shí)別網(wǎng)絡(luò)爬蟲的常見方法

常用的判定爬蟲的方法包括檢查其HTTP協(xié)議頭的User-agent字段，這一字段包含用戶訪問(wèn)時(shí)所使用的操作系統(tǒng)及版本、瀏覽器類型及版本等標(biāo)識(shí)信息。如果該字段中表明為瀏覽器等使用的爬蟲，使用DNS正向和反向查找的方法可以確定發(fā)起請(qǐng)求的IP地址是否與其聲明的一致，則可以將其進(jìn)行判別。一個(gè)IP地址可能使用不同的用戶代理或者不同的自動(dòng)化工具生成HTTP請(qǐng)求頭，這一現(xiàn)象可能是良性爬蟲使用NAT或者代理造成的，但也可能是惡意爬蟲在進(jìn)行欺騙行為，包括在User-agent字段中更改操作系統(tǒng)、瀏覽器版本等[4]，例如筆者在日常告警數(shù)據(jù)中觀察到User-Agent字段存在

“User-Agent: Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)”

這類情況。目前也有許多開源的項(xiàng)目使用上述方法檢測(cè)網(wǎng)絡(luò)爬蟲，例如CrawlerDetect 就是github上的一個(gè)開源項(xiàng)目[5]，通過(guò)User-Agent和 http_from 字段檢測(cè)爬蟲，目前能夠檢測(cè)到 1,000 種網(wǎng)絡(luò)爬蟲。

由于上述方法只能判斷一部分網(wǎng)絡(luò)爬蟲，在安全運(yùn)營(yíng)場(chǎng)景中，對(duì)于其余無(wú)法識(shí)別的爬蟲，可以基于HTTP請(qǐng)求的速率、訪問(wèn)量、請(qǐng)求方法、請(qǐng)求文件大小等行為特征，設(shè)計(jì)算法進(jìn)行識(shí)別。由合法機(jī)構(gòu)運(yùn)行的網(wǎng)絡(luò)爬蟲，包括搜索引擎和研究機(jī)構(gòu)等，通常不會(huì)造成網(wǎng)絡(luò)的阻塞。惡意的網(wǎng)絡(luò)爬蟲主要是在機(jī)器上運(yùn)行的腳本編程，通常具有較高的 HTTP 請(qǐng)求率，且對(duì)URL訪問(wèn)量很大。基于網(wǎng)絡(luò)爬蟲的這一特點(diǎn)，可以提取各個(gè)IP地址發(fā)出HTTP請(qǐng)求的速率、以及其URL的訪問(wèn)量作為特征。由于爬蟲的主要目的是從網(wǎng)站下載信息，所以較多地使用GET方法，而不是使用POST方法進(jìn)行上傳操作。此外，爬蟲通常需要在嘗試爬取文件之前確定文件的類型，所以與正常瀏覽相比，可能會(huì)使用更多的HEAD方法[4]。通過(guò)統(tǒng)計(jì)分析各個(gè)IP地址的HTTP請(qǐng)求中各類方法所占比例，可以提取出HTTP請(qǐng)求方法的分布特征。

通常網(wǎng)絡(luò)爬蟲對(duì)特定文件類型的請(qǐng)求更多，例如較多地請(qǐng)求 .html文件，而對(duì) .jpeg等文件類型的請(qǐng)求較少。爬蟲通常會(huì)進(jìn)行策略優(yōu)化，以實(shí)現(xiàn)在最短的時(shí)間內(nèi)將爬取效率最大化，往往會(huì)跳過(guò)大文件而去尋找較小的文件，所以HTTP的 GET方法可能會(huì)返回更多的小文件。如果某些被爬取的URL需要進(jìn)一步驗(yàn)證，爬蟲的請(qǐng)求將被定向到這些驗(yàn)證頁(yè)面，因此會(huì)產(chǎn)生3XX 或 4XX 的 HTTP 請(qǐng)求返回碼[4]。通過(guò)統(tǒng)計(jì)分析各個(gè)IP地址請(qǐng)求的文件類型、大小的分布，以及響應(yīng)碼的分布，可以提取出描述請(qǐng)求文件和響應(yīng)特征，對(duì)應(yīng)于告警信息中的URI，content_length，q_body和r-body等字段。

Lagopoulos等人提出了一種用于網(wǎng)絡(luò)機(jī)器人檢測(cè)的語(yǔ)義方法[6]，這一方法主要是基于以人為主體的網(wǎng)絡(luò)用戶通常對(duì)特定主題感興趣，而爬蟲則是隨機(jī)地在網(wǎng)絡(luò)上爬行的假設(shè)，設(shè)計(jì)出了一套檢測(cè)方法。這一工作從會(huì)話中提取的典型特征包括:

請(qǐng)求總數(shù):請(qǐng)求的數(shù)量。

會(huì)話持續(xù)時(shí)間:第一個(gè)請(qǐng)求和最后一個(gè)請(qǐng)求之間經(jīng)過(guò)的總時(shí)間

平均時(shí)間:兩個(gè)連續(xù)請(qǐng)求之間的平均時(shí)間。

標(biāo)準(zhǔn)偏差時(shí)間:兩個(gè)連續(xù)請(qǐng)求之間時(shí)間的標(biāo)準(zhǔn)偏差。

重復(fù)請(qǐng)求:使用與以前相同的HTTP方法請(qǐng)求已經(jīng)訪問(wèn)過(guò)的頁(yè)面。

HTTP請(qǐng)求:四個(gè)特性，每個(gè)特性包含與以下HTTP響應(yīng)代碼之一相關(guān)聯(lián)的請(qǐng)求的百分比:成功(2xx)、重定向(3xx)、客戶機(jī)錯(cuò)誤(4xx)和服務(wù)器錯(cuò)誤(5xx)。

特定類型請(qǐng)求：特定類型的請(qǐng)求占所有請(qǐng)求數(shù)的百分比，這一特征在不同的應(yīng)用程序中表現(xiàn)不同。

除了上述特征外，這一工作從會(huì)話中提取到了一部分語(yǔ)義特征：包括主題總數(shù)、獨(dú)特主題、頁(yè)面相似度、頁(yè)面的語(yǔ)義差異等，并使用了四種不同的模型，包括使用RBF的SVM，梯度增強(qiáng)模型，多層感知器和極端梯度增強(qiáng)來(lái)測(cè)試檢測(cè)結(jié)果。從不同特征集上的實(shí)驗(yàn)結(jié)果可以看出，RBF在語(yǔ)義特征上取得了最好的性能，GB在簡(jiǎn)單典型特征上取得了最好的性能，GB在典型特征和語(yǔ)義特征的結(jié)合上也取得了最好的性能。

此外，Wan等人在2019年提出了一種名為PathMarker的反爬蟲技術(shù)，可以通過(guò)檢測(cè)網(wǎng)頁(yè)或請(qǐng)求之間的關(guān)系來(lái)檢測(cè)分布式爬蟲[7]。在這一方法中，通過(guò)向URL添加標(biāo)記來(lái)跟蹤訪問(wèn)該URL之前的頁(yè)面，并識(shí)別訪問(wèn)該URL的用戶。根據(jù)URL訪問(wèn)路徑和訪問(wèn)時(shí)間的不同模式，使用支持向量機(jī)模型來(lái)區(qū)分惡意網(wǎng)絡(luò)爬蟲和普通用戶。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠成功識(shí)別96.74%的爬蟲長(zhǎng)會(huì)話和96.43%的普通用戶長(zhǎng)會(huì)話。PathMarker的體系結(jié)構(gòu)如圖1所示，最后使用自動(dòng)化的公共圖靈測(cè)試(CAPTCHA)實(shí)時(shí)地識(shí)別爬蟲和普通用戶。

圖1 PathMarker的體系架構(gòu)

上述兩個(gè)工作均引入了語(yǔ)義內(nèi)容作為檢測(cè)爬蟲的特征之一，其核心思想在于普通用戶和爬蟲請(qǐng)求網(wǎng)頁(yè)的主題不同?；谶@一結(jié)果，可以使用doc2vec 和 word2vec替換LDA，以更好地表示會(huì)話中訪問(wèn)內(nèi)容的語(yǔ)義[6]。

三、識(shí)別爬蟲的行為意圖

匹配黑名單是常用的識(shí)別惡意爬蟲的方式，然而在目前觀測(cè)到的攻擊中，大多數(shù)惡意IP都是被感染的個(gè)人設(shè)備，且爬蟲經(jīng)常會(huì)切換新的IP地址，多數(shù)IP的生存周期都不超過(guò)一天，這些操作都可以避免被黑名單過(guò)濾。例如，在Aristaeus平臺(tái)監(jiān)測(cè)到的發(fā)出惡意請(qǐng)求的IP地址中，只有13%出現(xiàn)在當(dāng)前流行的惡意IP黑名單中，這表明黑名單對(duì)惡意爬蟲的IP地址覆蓋率較低[2]。此外，還可以根據(jù)訪問(wèn)行為是否符合robots協(xié)議來(lái)判斷是否為惡意爬蟲。通常每個(gè)網(wǎng)站都會(huì)設(shè)置robots.txt，內(nèi)容包含不要訪問(wèn)某些文件夾或文件，或限制爬蟲訪問(wèn)網(wǎng)站的頻率。通常我們認(rèn)為惡意爬蟲不會(huì)遵守robots協(xié)議，并且會(huì)使用robots.txt來(lái)識(shí)別他們可能忽略的站點(diǎn)，這一行為模式可以用于識(shí)別惡意爬蟲。然而，在Aristaeus平臺(tái)的研究中，并未發(fā)現(xiàn)爬蟲發(fā)出的請(qǐng)求違背robots協(xié)議的現(xiàn)象[2]，這表明爬蟲采取的策略中已明確避免出現(xiàn)上述行為，所以這類方式在實(shí)際應(yīng)用中可能難以有效地識(shí)別爬蟲。

基于這一實(shí)際情況，采用更加細(xì)粒度的方式描述爬蟲行為，并提取相應(yīng)的行為特征是后續(xù)識(shí)別爬蟲行為意圖的解決方向。例如，良性的爬蟲不會(huì)發(fā)送未經(jīng)請(qǐng)求的POST或利用漏洞進(jìn)行攻擊，與之相反，惡意爬蟲則會(huì)向身份驗(yàn)證端點(diǎn)發(fā)送未經(jīng)請(qǐng)求的POST或無(wú)效的請(qǐng)求，可以視為偵察行為。爬蟲請(qǐng)求中是否存在欺騙的行為也可以用于判斷其意圖，例如構(gòu)建wget、curl、Chrome等工具的TLS指紋庫(kù)，通過(guò)將請(qǐng)求中聲明的用戶代理與其TLS指紋進(jìn)行匹配[2]，可以檢測(cè)出進(jìn)行身份欺瞞的爬蟲，并在后續(xù)的分析中進(jìn)一步分析其行為特征。

四、結(jié)論

通過(guò)使用User-Agent字段及DNS正方向查詢可以初步識(shí)別常見搜索引擎的爬蟲，基于IP地址發(fā)出HTTP請(qǐng)求的行為特征，并引入對(duì)請(qǐng)求行為的語(yǔ)義特征描述等，可以在剩余告警信息中檢測(cè)出使用腳本得到的爬蟲。隨著爬蟲策略的優(yōu)化更新，使用靜態(tài)黑名單過(guò)濾或判斷爬蟲是否遵守robots協(xié)議，通常很難達(dá)到較好的效果。如果需要進(jìn)一步辨別爬蟲的行為意圖，可以通過(guò)建立構(gòu)建爬蟲程序的指紋庫(kù)，判斷爬蟲的真實(shí)身份是否與其聲明一致。針對(duì)IP的請(qǐng)求內(nèi)容，構(gòu)建描述是否對(duì)web應(yīng)用程序進(jìn)行指紋識(shí)別、是否在掃描可能存在的敏感文件等指紋庫(kù)，可以更加精確地檢測(cè)惡意爬蟲。在后續(xù)的研究工作中，筆者希望通過(guò)將上述檢測(cè)方法付諸實(shí)踐，基于告警信息對(duì)爬蟲進(jìn)行檢測(cè)，并深入分析爬蟲的行為意圖，進(jìn)而輔助安全運(yùn)營(yíng)人員研判。

審核編輯：湯梓紅