當AI時代遇上AI爬蟲

• 2018年8月1日 ZhangHongYuan來源：新浪 1350 89
• 繁體

• 

  2018-2023年中國量子通信行業發展評估與投資前景預測分析報告

  量子通信是指利用量子糾纏效應進行信息傳遞的一種新型的通訊方式。量子通訊是近二十年發展起來的新型交叉學科，是量子論和信息論相結合的新的研究領域。量子通信主要涉及：量子密碼通信、量子遠...

因為爬蟲技術造成的大量IP訪問網站侵占帶寬資源、以及用戶隱私和知識產權等危害，很多互聯網企業都會花大力氣進行“反爬蟲”。

在一大堆技術術語里，最為被普通人所熟知的大概就是“爬蟲”了。其實爬蟲這個名字就已經特別好地表現出了這項技術的作用——像密密麻麻的蟲子一樣分布在網絡上，爬行至每一個角落獲取數據;也一定程度上表達了人們對這項技術的情感傾向——蟲子或許無害，但總是不受歡迎的。

有關爬蟲的功能、益處或危害，此前已經有過很多討論。因為爬蟲技術造成的大量IP訪問網站侵占帶寬資源、以及用戶隱私和知識產權等危害，很多互聯網企業都會花大力氣進行“反爬蟲”。

相比爬蟲技術本身，反爬蟲其實更加復雜，發展歷程也更加有趣。

我們如何反爬蟲?

先禮后兵、再對簿公堂

幾乎是和爬蟲技術誕生的同一時刻，反爬蟲技術也誕生了。在90年代開始有搜索引擎網站利用爬蟲技術抓取網站時，一些搜索引擎從業者和網站站長通過郵件討論定下了一項“君子協議”—— robots.txt。即網站有權規定網站中哪些內容可以被爬蟲抓取，哪些內容不可以被爬蟲抓取。這樣既可以保護隱私和敏感信息，又可以被搜索引擎收錄、增加流量。

爬蟲技術剛剛誕生時我們還處于上古時代，互聯網是一片賢者云集的樂土，大多數從業者都會默守這一協定，畢竟那時候信息和數據都沒什么油水可撈。但很快互聯網上開始充斥著商品信息、機票價格、個人隱私……在利益的誘惑下，自然有些人會開始違法爬蟲協議了。

當君子協議失效，我們開始改用技術手段阻攔爬蟲的入侵。比如從訪問數量上發現爬蟲，當我們在某一網站瀏覽過快時，系統往往會要求輸入驗證碼，就是因為這種快速瀏覽的行為很接近爬蟲。或者是不定期改變HTML標簽，使之無法與Web排序匹配來限制爬蟲。

但是即便如此，我們也沒有任何方法可以禁止爬蟲在網站中出入，只能加大爬蟲的訪問難度。如果網站可以供給人類訪問，就一定也可以被爬蟲訪問。而且如果從底層完全組織爬蟲抓取，也很可能讓網站無法被搜索引擎收錄。

所以，在所有的先禮后兵都對爬蟲失效時。最后反爬蟲的手段只有最后一項——對簿公堂。

兩場官司和十七年，

爬蟲沒變，我們變了

歷史上第一樁關于爬蟲的官司誕生在2000年，eBay將一家聚合價格信息的比價網站BE告上了法庭，eBay聲稱自己已經將哪些信息不能抓取寫進了爬蟲協議中，但BE違反了這一協議。但BE認為eBay上的內容屬于用戶集體貢獻而不歸用戶所有，爬蟲協議不能用作法律參考。

最后經過業內反復討論和法庭上的幾輪唇槍舌戰，最終以eBay勝訴告終，也開了用爬蟲協議作為主要參考的先河。

但這也引起了很多人的不滿，難道爬蟲能不能爬、怎么爬、誰的爬蟲能爬，都得由被爬的公司決定嗎?掌握了這種權力時，商業世界的唯利和自私立刻暴露無遺。

有一個說法是，互聯網上50%的流量都是爬蟲創造的。這個說法雖然夸張了點，但也體現出了爬蟲的無處不在。爬蟲之所以無處不在，是因為爬蟲可以為互聯網企業帶來收益。

就拿電商網站來說，很多電商網站是愿意被比價網站或者其他購物信息網站爬取信息的，因為這樣能夠給他們的商品帶來更多流量。但他們不愿意被其他電商網站獲取價格信息和商品描述，因為擔心其他電商網站惡意比價或進行抄襲。同時他們又經常去爬其他電商網站的數據，希望能夠看到別人的價格。

這種糾結又復雜的心情就像學霸間的競爭，學霸可以給學渣抄筆記，因為知道學渣再怎么努力也就是六七十分的水平，但學霸對其他學霸一定會嚴防死守，因為只有學霸和學霸之間才有真正的競爭。所以像京東和淘寶這樣的“頂級學霸”都會在協議中寫清楚，禁止對方爬取數據。當然，至于雙方是否遵守這一君子協定就很難說了。

同時也有一些網站，一開始會默許其他網站爬取數據，一段時間過后卻又會將爬取數據的網站告上法庭。最典型的例子就是領英，領英在2017年曾經將一家名為HiQ的數據分析企業告上法庭，原因是認定這家企業抓取領英用戶的就職狀態信息，提供給另外兩家利用機器學習分析員工跳槽傾向和職業技能的企業。

結果卻是即使打著保護用戶隱私的旗號，領英仍然敗訴并且被聯邦法庭要求開放數據接口。原因是HiQ已經這樣爬取領英的數據長達五年，領英一直知情并且曾經去參加過HiQ組織的論壇峰會。如今領英自己開展了和HiQ類似的業務，就要斷了HiQ的生路。

從2000年到2017年，之所以會有這兩場結局截然不同的官司，是因為我們制造爬蟲和反爬蟲的初衷都發生了變化。從一開始的獲取信息和保護隱私，變成了如今的獲取商業利益和反制對手。

延伸閱讀

推薦閱讀

猜您喜歡