基于Python的網(wǎng)絡(luò)爬蟲技術(shù)研究

商紅宇 葛蘇建

摘要：在大數(shù)據(jù)時(shí)代，越來越多的公司企業(yè)開始注意到數(shù)據(jù)的價(jià)值，開始從自有數(shù)據(jù)或者網(wǎng)絡(luò)數(shù)據(jù)種提取數(shù)據(jù)，并進(jìn)行數(shù)據(jù)變現(xiàn)，發(fā)掘數(shù)據(jù)的價(jià)值。網(wǎng)絡(luò)爬蟲技術(shù)在此時(shí)代得到了長(zhǎng)足發(fā)展，但是也有大量惡意爬蟲充斥網(wǎng)路，導(dǎo)致網(wǎng)絡(luò)癱瘓、公司利益受損。為了了解確保高性能的同時(shí)又不給被爬取網(wǎng)站服務(wù)器帶來巨大壓力的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)規(guī)范，本文研究了網(wǎng)絡(luò)爬蟲的工作流程，設(shè)計(jì)了一個(gè)基于Python的爬取豆瓣電影數(shù)據(jù)的網(wǎng)絡(luò)爬蟲。提出了現(xiàn)階段網(wǎng)絡(luò)爬蟲面臨的挑戰(zhàn)和惡意爬蟲的危害，同時(shí)網(wǎng)絡(luò)爬蟲應(yīng)遵守我國(guó)相關(guān)的法律規(guī)范。

關(guān)鍵詞：爬蟲;Python;大數(shù)據(jù)

一、研究背景

在這個(gè)大數(shù)據(jù)時(shí)代，人工智能蓬勃發(fā)展的時(shí)代，不論是研究領(lǐng)域還是工程領(lǐng)域，數(shù)據(jù)已經(jīng)是必不可少的一部分?，F(xiàn)代數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等尖端領(lǐng)域所依賴的也是數(shù)據(jù)。數(shù)據(jù)成為了大數(shù)據(jù)時(shí)代的根基，而獲取數(shù)據(jù)的途徑很大程度上是依賴網(wǎng)絡(luò)爬蟲。作為搜索引擎的核心組成模塊，網(wǎng)絡(luò)爬蟲在信息檢索過程中有著舉足輕重的地位。

HTTP協(xié)議是用于從WWW服務(wù)器傳輸超文本到本地瀏覽器的傳送協(xié)議。它可以使瀏覽器更加高效，使網(wǎng)絡(luò)傳輸減少。它不僅保證計(jì)算機(jī)正確快速地傳輸超文本文檔，還確定傳輸文檔中的哪一部分，以及哪部分內(nèi)容首先顯示等。

我們?cè)跒g覽器中URL，回車之后便會(huì)在瀏覽器中觀察到頁面內(nèi)容。實(shí)際上這個(gè)過程是瀏覽器向網(wǎng)站所在服務(wù)器發(fā)送了一個(gè)請(qǐng)求，網(wǎng)站服務(wù)器在接收到這個(gè)請(qǐng)求后進(jìn)行解析處理，然后返回對(duì)應(yīng)響應(yīng)，接著響應(yīng)傳回瀏覽器。響應(yīng)包含頁面源代碼、數(shù)據(jù)包信息等，瀏覽器對(duì)其進(jìn)行解析處理，然后將網(wǎng)頁呈現(xiàn)出來。

二、網(wǎng)絡(luò)爬蟲技術(shù)的研究

把互聯(lián)網(wǎng)看作一張大網(wǎng)，那么數(shù)據(jù)就是這張大網(wǎng)上的一個(gè)個(gè)交錯(cuò)節(jié)點(diǎn)，而爬蟲就是在這張網(wǎng)上爬行的蜘蛛。網(wǎng)絡(luò)爬蟲還有其他的名字，比如網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)機(jī)器人等。本章將介紹網(wǎng)絡(luò)爬蟲的基本原理，并設(shè)計(jì)實(shí)現(xiàn)一個(gè)基于Python的網(wǎng)絡(luò)爬蟲，闡述網(wǎng)絡(luò)爬蟲面臨的挑戰(zhàn)。

（一）網(wǎng)絡(luò)爬蟲基本原理

爬蟲可以簡(jiǎn)單概括為采集網(wǎng)頁并保存信息的自動(dòng)化程序?；ヂ?lián)網(wǎng)用戶主要通過兩種方式來獲取網(wǎng)絡(luò)中的相關(guān)數(shù)據(jù)信息，一種是對(duì)瀏覽頁輸入相應(yīng)請(qǐng)求，并下載網(wǎng)頁代碼，通過技術(shù)解析后形成所需信息界面;另一種是發(fā)送請(qǐng)求至模擬瀏覽器，請(qǐng)求的相關(guān)數(shù)據(jù)被提取和存放到數(shù)據(jù)庫中，爬蟲則是所有自動(dòng)化獲取網(wǎng)絡(luò)數(shù)據(jù)的總稱。

（二）網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)

在寫爬蟲之前，我們先來看一下網(wǎng)站的robots.txt文件。從這份文件中，我們可以看到：User-agent： *，這是指的所有的爬蟲，它下面的Disallow后面的所有的網(wǎng)站目錄都不允許爬。# Crawl-delay： 5這是說的是爬蟲的延時(shí)，不能太快，不然會(huì)增加豆瓣服務(wù)器的負(fù)擔(dān)。我們?cè)跒g覽器里用眼睛看到了我們想要的東西，電影信息，電影海報(bào)，這是我們需要的，眼睛能看到的信息都可以采集，所謂“所見即所得”。

確定了爬取目標(biāo)之后就是進(jìn)行網(wǎng)頁的下載，因?yàn)槎拱觌娪笆庆o態(tài)頁面，所以源代碼里包含了網(wǎng)頁上信息，只要把源代碼下載下來就可以提取信息了。

爬蟲只需要對(duì)豆瓣網(wǎng)站服務(wù)器發(fā)送對(duì)應(yīng)的GET請(qǐng)求，即可以得到頁面的源代碼。在獲取頁面時(shí)，并沒有遇到信息丟失的問題，也就是豆瓣電影并沒有使用諸如Ajax、JavaScript等技術(shù)來實(shí)現(xiàn)動(dòng)態(tài)加載。

詳情頁鏈接在