當AI時代遇上AI爬蟲

• 2018年8月1日 ZhangHongYuan來源：新浪 1350 89
• 繁體

• 

  2018-2023年中國量子通信行業發展評估與投資前景預測分析報告

  量子通信是指利用量子糾纏效應進行信息傳遞的一種新型的通訊方式。量子通訊是近二十年發展起來的新型交叉學科，是量子論和信息論相結合的新的研究領域。量子通信主要涉及：量子密碼通信、量子遠...

因為爬蟲技術造成的大量IP訪問網站侵占帶寬資源、以及用戶隱私和知識產權等危害，很多互聯網企業都會花大力氣進行“反爬蟲”。

爬蟲制造者說：

道德是反爬蟲的最好方法?

就著這個話題，我們還和兩位碼Python的程序員朋友聊了聊。

要知道程序員們是一種非常具有個性的生物，很難在問題中達成一致，尤其是在“什么才是最好的語言”、“早期的錘子手機是不是垃圾”這樣的問題上。但在反爬蟲的問題上，程序員們似乎呈現出了空前的一致。

一位就職于小型OTA的程序員表示，公司在剛剛起步時經常會要求他們爬取旅游網站的旅游路線，這時他們通常會選擇中青旅遨游網這樣傳統企業基因更濃厚的網站，因為他們“反爬蟲能力幾乎為0”。

而另一位大廠程序員表示，公司通常會把爬取數據這樣的臟活累活外包出去，而在反爬蟲時，如果數據爬取方技術足夠好，不給服務器帶來過分的帶寬壓力，在滿足了KPI前提下他們甚至會睜一只眼閉一只眼。

同時雙方都承認，有時候會自己出于興趣制作一些小爬蟲程序，方便獲取一些數據。

在提到爬蟲技術的合法性時，他們告訴我，法律很難阻止爬蟲技術。除非在競品之間、涉及到對用戶原創內容的批量搬運，類似之前360快視頻批量搬運B站視頻、以及近期出現的大眾點評批量搬運小紅書內容等等。至于那些爬取他人數據用作分析的，一方面難以取證確定對象，另一方面整個訴訟過程會非常漫長，企業很難清楚的展現出自己哪里受了損失，通常是以“不正當競爭”這樣的萬金油控訴對方。

當我們問到他們，從技術角度有沒有什么好的反爬蟲手段時，他們告訴我最好的反爬蟲手段并非技術也并非法律，而是公關——帶上截圖找幾個媒體爆料一下，帶點侵權、入侵數據庫、隱私信息方面的影射，就可以立刻從道德的制高點搞臭對方，讓人不會注意到你司的反爬蟲技術不到位。如果對方是上市公司，效果更佳。

當AI時代遇上AI爬蟲，

戰爭才剛剛開始

“道德反爬蟲”雖然只是笑談，但一定程度上表示出了企業技術人員對爬蟲的無可奈何。但可以預見的是，隨著大數據和機器學習應用越來越廣，對爬蟲睜一只眼閉一只眼、與爬蟲和平共處的時代很快就要過去了。

最主要的問題是，爬蟲的出現會極大地增加數據分析難度。

當數據分析企業利用爬蟲獲取數據進行分析時，大量爬蟲的存在正在讓這些數據失實。文章瀏覽量的失實讓我們誤判人們對新聞事實的關注程度、爬蟲衍生出的虛擬IP需要在數據清洗時剔除……技術越高超的爬蟲，在行為模式上就越接近真人，也就更加增加數據分析時的難度。久而久之，那些我們以為從人類行為中尋找規律的算法，反而尋找到的是機器人的行為規律。

同時爬蟲帶來的流量波動也會讓機器學習算法產生誤判。

最典型的例子是機票的動態定價，網站會結合當下瀏覽量判定機票的搶手程度并且調整價格。這時如果有大量爬蟲在瀏覽網站，算法就會給出和實際情況并不符合的定價，也損傷了消費者購買到廉價產品的權益。

甚至一些數據分析企業還打出了“AI爬蟲”的招牌，讓爬蟲腳本的行為模式更加接普通用戶，讓被爬的企業難以發掘，甚至還會利用圖像識別技術破解網站用作攔截的驗證碼。

在這種情況下，網站分辨人與機器人就變得更加困難也更加重要。很多網站也開始利用機器學習技術反制AI爬蟲，比如為圖形驗證碼動態打碼應對圖像識別。同時現在PC和移動終端的硬件技術發展，也讓生物識別這種更復雜的驗證手段有可能加入戰斗。雙方正在站在同一水平線上，利用技術互相斗法。

可以說爬蟲技術和反爬蟲技術之間斗爭了十幾年，可真正的“戰爭”卻從現在才剛剛開始。在徹底制服惡意爬蟲之前，對于一切大數據、精準預測之類的“吹噓”，我們最好保持著三分懷疑。

延伸閱讀

推薦閱讀

猜您喜歡