網(wǎng)絡爬蟲，兇猛來襲

閆珍珍

“爬蟲”，是一個“收集控”，它在各大航空公司的網(wǎng)站收集低價機票，在每個時間每個航段之間對比，選出最便宜的。這對于人類來說是一項非常煩瑣復雜的工作，但對于網(wǎng)絡“爬蟲”來說卻可以迅速完成;“爬蟲”又是一個“偽裝者”，它收集到特價機票后仿冒真人用戶搶訂機票

網(wǎng)絡爬蟲、Python語言……這些高科技黑話你懂嗎？

懂，說明你可能是折扣秒殺高手;不懂，那你就要看看這篇文章了?；蛟S今年再寫年終總結時，用一個“爬蟲”軟件就可以一“爬”搞定，再也不用一頁一頁找材料了。

幕后黑手

特價機票輕輕松松被“爬”走

近日，為春節(jié)出游做準備的小王正在各大航空公司網(wǎng)站搶購特價機票。然而，設置了鬧鈴、把家里網(wǎng)速寬帶提高到100兆的她還是一無所獲。而她的閨蜜卻在某“爬蟲”軟件的幫助下，成功搶到特價機票。

這里所說的“爬蟲”，是一個“收集控”，它在各大航空公司的網(wǎng)站收集低價機票，在每個時間每個航段之間對比，選出最便宜的。這對于人類來說是一項非常煩瑣復雜的工作，但對于網(wǎng)絡“爬蟲”來說卻可以迅速完成;“爬蟲”又是一個“偽裝者”，它收集到特價機票后仿冒真人用戶搶訂機票。

由于“爬蟲”的效率遠遠超過正常的手動操作，導致通過正常操作幾乎無法搶到票。代理公司搶到票后不會立即付款，他們會在航空公司允許的賬期內，尋找真正客源，然后退訂此前使用虛假客源身份預訂的低價票，再使用真實身份信息進行訂購，最后實現(xiàn)該低價票的加價轉售。如果未能在規(guī)定賬期內找到真正客源，代理公司會在訂單失效前再追加虛假身份訂單，繼續(xù)“霸占”該低價票，直至找到真正客源售出為止，而普通用戶在航企官網(wǎng)查看時卻顯示低價票已售罄。

其實，“爬蟲”技術并不神秘，無非分為三步：“爬”上網(wǎng)頁、“鏟”下數(shù)據(jù)，最后進行加工清洗。

事實上，機票代理公司用“爬蟲”搶特價票再加價售賣也不是秘密。在線票務服務公司攜程的“反爬蟲”專家在技術分享中透露，某網(wǎng)站的一個頁面，每分鐘的瀏覽量是1.2萬，真實用戶只有500個，“爬蟲”流量占比為95.8%。很多業(yè)內人士也表示，即使在“爬蟲”活動的淡季，虛假流量也占到訂票網(wǎng)站總流量的50%，高峰期更是占到90%以上。

功能強大

人臉識別輿情監(jiān)控都靠“爬”

“爬蟲”技術剛剛出現(xiàn)時，并不是一個搶票工具，而是采集公開數(shù)據(jù)、然后進行分析使用的工具。愛濟南APP的研發(fā)者之一、舜網(wǎng)研發(fā)部主任李濱告訴記者，“爬蟲”最早應用在搜索引擎領域比如谷歌、百度、搜狗等，因為每天需要抓取數(shù)百億的網(wǎng)頁，所以它們需要借助龐大的“爬蟲”集群來實現(xiàn)搜索功能。這種信息采集過程很像爬蟲或蜘蛛在網(wǎng)絡上漫游，因此得名。

隨著人工智能時代的到來，網(wǎng)絡“爬蟲”已是大數(shù)據(jù)概念的重要組成部分。爬取對象也從一些種子起始網(wǎng)址擴充到整個互聯(lián)網(wǎng)數(shù)據(jù)，比如新聞資訊、電商產(chǎn)品、折扣信息等?！皭蹪螦PP就是通過收集用戶的閱讀習慣，從日常爬取的內容中，進行篩選分析，然后再推薦給用戶?！崩顬I說。一些低價打折的微信群和QQ群，也是通過爬取淘寶和京東等網(wǎng)站的折扣信息，計算出最低價格推薦給群友。

“爬蟲”還應用于市政輿情系統(tǒng)，通過爬取論壇、微博、微信內容，自動分析出色情、暴力等信息提交。除此之外，個人征信系統(tǒng)、醫(yī)院智慧健康系統(tǒng)等都離不開“爬蟲”。

大數(shù)據(jù)帶火了網(wǎng)絡“爬蟲”，網(wǎng)絡“爬蟲”又帶火了Python語言?，F(xiàn)在用百度搜索“網(wǎng)絡爬蟲”，前幾條都是Python語言培訓廣告。山東最新出版的小學信息技術六年級教材，新增了Python語言編寫的內容;2018年的全國計算機二級考試，也新增了Python科目。

邪惡一面

非法竊取信息淪為“黑暗武器”

小王終于明白，跟她搶票的根本不是人，而是技術黃牛。既然能搶機票，那么能不能搶火車票？

李濱表示：“不能。飛機票因為有多家民航公司，同一航線、不同公司、不同時段，票價不同;但火車票目前只有鐵路部門負責，同一線路票價固定，沒有爬取的意義?！逼鋵?，“爬蟲”的意義在于代替工人來分析和對比各大民航網(wǎng)站和在線平臺的票價，通過數(shù)據(jù)分析得出最低價，而不是搶票。

大數(shù)據(jù)時代，“爬蟲”有時會成為低成本獲取數(shù)據(jù)的捷徑，淪為“黑暗武器”。有財經(jīng)媒體爆料，在現(xiàn)金貸行業(yè)，有的平臺直接用“爬蟲”竊取其他平臺的用戶注冊信息和風控數(shù)據(jù)，類似于信用卡“以卡辦卡”，如果你有別的信用卡，不用自己申請就給你發(fā)卡;你在某個現(xiàn)金貸平臺注冊填寫的數(shù)據(jù)，有可能被別的平臺“爬”出來，只需用戶授權賬號和密碼，但這個授權你本人可能并不知情。

而最近幾年被爆出的“爬蟲”產(chǎn)品遠遠不止這些。某大數(shù)據(jù)公司的業(yè)務員稱，公司最近開發(fā)了新項目，可爬取旅行網(wǎng)站、外賣平臺、地圖、共享單車等平臺的個人信息，甚至可以定制化抓取，“拿到第一手鮮活原始數(shù)據(jù)”。

“爬”支付寶、“爬”微信、“爬”現(xiàn)金貸……“爬蟲”看起來無所不能。

法律空白

惡意“爬取”成為監(jiān)管“灰色地帶”

“新技術如果被非法或者不當應用，便會產(chǎn)生嚴重危害?；ヂ?lián)網(wǎng)空間安全需要建立健全完善的保護體系，絕不能裸奔?！崩顬I說。

李濱介紹說，目前的反爬技術主要有兩種：一種是限制同一IP、同一電腦在一定時間內訪問網(wǎng)站的次數(shù)。另一種是設置復雜的驗證碼機制，讓機器“爬蟲”不好識別。對航空公司來說，封IP的做法可能誤傷真實用戶?！岸绻o消費者設置一個非常復雜的驗證碼，導致他難以輸入，可能其就不再購買這個公司的票了?！币幻辉竿嘎缎彰暮娇展救耸勘硎?。他認為，除了加大技術防范力度之外，司法機關也要通過完善管理和法律法規(guī)的手段來共同約束這種行為。

而在惡意“爬取”信息和技術黃牛搶票方面，正是法律法規(guī)監(jiān)管的“灰色地帶”。

《網(wǎng)絡安全法》規(guī)定，未經(jīng)授權“爬取”用戶手機通訊錄超過50條記錄，公司法人最高可獲刑3年;未經(jīng)授權讀取用戶公積金社保記錄超過5萬條的，公司法人最高可獲刑7年……但對于高科技“黃?！钡蛊毙袨?，尚未有明確規(guī)定。

業(yè)內人士認為，航企的目標是要提升“爬蟲”搶票行為識別的準確率和賬期管理，不給“爬蟲”提供機會，“反爬蟲”不僅要依靠技術防范和業(yè)界自律，還應該通過完善管理和法律法規(guī)手段來約束，尤其是法律手段。（來源：政法網(wǎng)絡輿情）endprint