• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    網(wǎng)絡(luò)爬蟲在信息檢索中的研究與應(yīng)用

    2017-09-07 07:17:38劉鑫
    關(guān)鍵詞:網(wǎng)絡(luò)爬蟲信息檢索

    劉鑫

    摘要:本文從網(wǎng)絡(luò)爬蟲的基本概念、網(wǎng)絡(luò)爬蟲的主要作用、網(wǎng)絡(luò)爬蟲的各種類型和網(wǎng)絡(luò)爬蟲的發(fā)展方向著手進(jìn)行研究。各種爬蟲的研究對(duì)于我們現(xiàn)如今的意義也相當(dāng)重大,通過網(wǎng)絡(luò)爬蟲爬取的特定信息通過專業(yè)分析,可以影響著我們的生活,如經(jīng)濟(jì)、健康、工作效率等方面,本文主要運(yùn)用Python編寫網(wǎng)絡(luò)爬蟲,實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲的功能。了解網(wǎng)絡(luò)爬蟲如何爬取信息,如何存儲(chǔ)所爬取的信息,從而認(rèn)識(shí)其在信息檢索中的關(guān)鍵作用。

    關(guān)鍵詞:網(wǎng)絡(luò)爬蟲;信息檢索;Python

    中圖分類號(hào):TP391.3 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9416(2017)05-0095-03

    1 緒論

    當(dāng)今社會(huì),數(shù)據(jù)顯得越來(lái)越重要,以往人們也意識(shí)到數(shù)據(jù)的重要性,但是以前的情況面對(duì)浩如煙海的數(shù)據(jù),人們往往望洋興嘆。因?yàn)橐砸郧暗臄?shù)據(jù)處理能力,很難對(duì)大量的數(shù)據(jù)信息進(jìn)行處理分析。隨著計(jì)算機(jī)技術(shù)的發(fā)展,數(shù)據(jù)的處理能力得到了極大的提高,尤其是近幾年開啟的云時(shí)代,讓人們迎來(lái)了大數(shù)據(jù)時(shí)代,人們?cè)谔幚頂?shù)據(jù)的能力得到提高的時(shí)候,生產(chǎn)數(shù)據(jù)的能力也得到了極大的提升,因此獲得數(shù)據(jù),處理數(shù)據(jù)是人們提高對(duì)數(shù)據(jù)的利用的關(guān)鍵。

    網(wǎng)絡(luò)爬蟲可以很容易的獲取互聯(lián)網(wǎng)上的信息,是我們獲取大量網(wǎng)絡(luò)上信息的高效工具,現(xiàn)如今有各種各樣的網(wǎng)絡(luò)爬蟲在以不同的方式獲取網(wǎng)絡(luò)上的數(shù)據(jù),抓取網(wǎng)絡(luò)上有用的數(shù)據(jù),方便人們對(duì)數(shù)據(jù)進(jìn)行分析和利用。本課題對(duì)于網(wǎng)絡(luò)爬蟲進(jìn)行研究,了解其在信息檢索中的應(yīng)用,并設(shè)計(jì)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲,實(shí)現(xiàn)其功能。

    2 網(wǎng)絡(luò)爬蟲的基本概念

    網(wǎng)絡(luò)爬蟲(Web Crawler),又稱為網(wǎng)絡(luò)蜘蛛(Web Spider)或Web信息采集器,是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的計(jì)算機(jī)程序或自動(dòng)化腳本,是搜索引擎的重要組成部分。網(wǎng)絡(luò)爬蟲通常從一個(gè)稱為種子集的URL集合開始運(yùn)行,它首先將這些URL全部放入到一個(gè)有序的待爬行隊(duì)列里,按照一定的順序從中取出URL并下載所指向的頁(yè)面,分析頁(yè)面內(nèi)容,提取新的URL并存入待爬行URL隊(duì)列中,如此重復(fù)上面的過程,直到URL隊(duì)列為空或滿足某個(gè)爬行終止條件,從而遍歷Web。該過程稱為網(wǎng)絡(luò)爬行(Web Crawling)[1]。

    對(duì)于網(wǎng)絡(luò)爬蟲,基本的工作流程首先要有一個(gè)初始的URL,這個(gè)URL可以是一開始自己確定好,也可以是由用戶輸入獲得,然后通過URL獲取到網(wǎng)頁(yè)的信息,接著抓取網(wǎng)頁(yè)內(nèi)的相關(guān)URL,對(duì)于滿足條件的信息進(jìn)行抓取,直到所有的條件滿足才結(jié)束爬取的過程。當(dāng)然,這只是對(duì)于網(wǎng)絡(luò)爬蟲大概的一個(gè)爬取過程,對(duì)于不同的網(wǎng)絡(luò)爬蟲來(lái)說,爬取的過程是不同的,但是他們都需要有一個(gè)URL,然后還有過濾的條件,以及存儲(chǔ)所抓取到的信息的過程。

    3 網(wǎng)絡(luò)爬蟲的類型

    網(wǎng)絡(luò)爬蟲根據(jù)不同的應(yīng)用,爬蟲系統(tǒng)在許多方面也存在著不同的差異,按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù),我們可以將網(wǎng)絡(luò)爬蟲分為以下幾類:通用型網(wǎng)絡(luò)爬蟲(General Purpose Web Crawler)、聚焦網(wǎng)絡(luò)爬蟲(Focused Web Crawler)、增量式網(wǎng)絡(luò)爬蟲(Incremental Web Crawler)、深層網(wǎng)絡(luò)爬蟲(Deep Web Crawler)。當(dāng)然,實(shí)際上的網(wǎng)絡(luò)爬蟲不會(huì)是單一的技術(shù)實(shí)現(xiàn),通常是由多種網(wǎng)絡(luò)爬蟲技術(shù)結(jié)合而成[2]。

    3.1 通用網(wǎng)絡(luò)爬蟲

    通用網(wǎng)絡(luò)爬蟲通常用于搜索引擎,它能從一些種子URL爬取大量網(wǎng)站,甚至是整個(gè)Web,僅僅受限于時(shí)間或者其他方面的限制,它的邏輯相比于其他提取規(guī)則的復(fù)雜的網(wǎng)絡(luò)爬蟲較為簡(jiǎn)單,但是其作用不可小覷。它主要用于門戶站點(diǎn)搜索引擎和為大型的Web服務(wù)提供商采集數(shù)據(jù)。由于商業(yè)原因,這方面性能優(yōu)秀爬蟲的技術(shù)細(xì)節(jié)很少披露,但是此類的網(wǎng)絡(luò)爬蟲爬行的范圍和數(shù)量巨大,并且其爬行的速度快,存儲(chǔ)空間比較大。它們通常采用并行的方式,對(duì)爬行頁(yè)面的順序要求比較低,但是由于要刷新的頁(yè)面很多,很長(zhǎng)時(shí)間頁(yè)面才能刷新一次。雖然其有一定缺陷,但是通用爬蟲適用于搜索引擎,有比較強(qiáng)的應(yīng)用價(jià)值,其結(jié)構(gòu)如圖1所示。

    通用網(wǎng)絡(luò)爬蟲通常會(huì)采取一些爬行策略來(lái)提高爬行效率,如:深度優(yōu)先策略、廣度優(yōu)先策略、最佳優(yōu)先策略等。

    (1)深度優(yōu)先策略。深度優(yōu)先策略所采取主要方法是按照由低到高的順序,它首先從起始網(wǎng)頁(yè)中的URL選擇一個(gè)進(jìn)入,然后對(duì)這個(gè)網(wǎng)頁(yè)中的URL進(jìn)行分析,接著再選擇其中的一個(gè)URL進(jìn)入,就像這樣不斷的層層深入,一個(gè)接著一個(gè)鏈接抓取,直到?jīng)]有鏈接,不能深入為止。當(dāng)一個(gè)分支爬取完后爬蟲會(huì)返回上個(gè)分支繼續(xù)爬取未爬取的鏈接,直到所有的鏈接遍歷完成后,這時(shí)的爬行任務(wù)才算結(jié)束。其實(shí),深度優(yōu)先策略設(shè)計(jì)較為簡(jiǎn)單,但是若其爬取較深的站點(diǎn)時(shí)會(huì)造成資源的大量浪費(fèi),而且隨著鏈接的深入,鏈接自身的價(jià)值往往較低,所有相較于其它兩種策略,通常這種策略很少被用到。(2)廣度優(yōu)先策略。廣度優(yōu)先策略是指在爬蟲爬取的過程中先完成當(dāng)前頁(yè)的所有爬取工作再進(jìn)入下一層進(jìn)行爬取,等下一層的爬取工作結(jié)束后再逐步深入進(jìn)行爬取。此策略能控制爬行深度,避免了遇到一個(gè)無(wú)窮深的分支無(wú)法結(jié)束爬取浪費(fèi)資源的情況。廣度優(yōu)先策略通常和網(wǎng)頁(yè)過濾技術(shù)結(jié)合使用,先通過廣度優(yōu)先策略抓取網(wǎng)頁(yè),然后過濾掉無(wú)關(guān)的網(wǎng)頁(yè)。但是此策略也有缺點(diǎn),當(dāng)抓取的網(wǎng)頁(yè)過多時(shí)有許多無(wú)關(guān)的網(wǎng)頁(yè)也會(huì)被下載并且過濾,影響效率,并且此策略要爬取目錄較深的網(wǎng)頁(yè)時(shí),需要耗費(fèi)大量時(shí)間。(3)最佳優(yōu)先策略。最佳優(yōu)先策略是先按照一定的網(wǎng)頁(yè)分析算法進(jìn)行分析,預(yù)選出幾個(gè)和需求相似度高或者主題相近的URL進(jìn)行爬取,它只爬取經(jīng)過網(wǎng)頁(yè)分析算法認(rèn)為“有用”的URL,這種算法可以節(jié)約大量資源,改善了前兩種策略的不足,但是此策略也有所不足,由于網(wǎng)頁(yè)分析算法不夠精確,所以有可能忽略大量相關(guān)的網(wǎng)頁(yè),所以需要結(jié)合具體的應(yīng)用改善此策略。

    3.2 聚焦網(wǎng)絡(luò)爬蟲

    傳統(tǒng)的網(wǎng)絡(luò)爬蟲通常被設(shè)計(jì)成盡可能多的覆蓋網(wǎng)絡(luò),對(duì)于需要爬取頁(yè)面的順序和爬取網(wǎng)頁(yè)主題是否相關(guān)關(guān)注度不是很大。聚焦網(wǎng)絡(luò)爬蟲解決了這一問題,它定向爬取與主題相關(guān)的頁(yè)面,有選擇的訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)和相關(guān)鏈接,極大的節(jié)約了資源和時(shí)間,適用于特定人員對(duì)特定特定領(lǐng)域信息獲取的需求。endprint

    聚焦網(wǎng)絡(luò)爬蟲需要解決幾個(gè)問題,如:如何對(duì)目標(biāo)網(wǎng)頁(yè)進(jìn)行描述,如何對(duì)網(wǎng)頁(yè)和數(shù)據(jù)進(jìn)行分析和過濾,還有就是對(duì)URL的搜索和排序策略,為了解決以上問題,聚焦網(wǎng)絡(luò)爬蟲有以下幾種實(shí)現(xiàn)策略:

    (1)基于內(nèi)容評(píng)價(jià)的爬行策略。它將用戶輸入的查詢?cè)~作為主題,將文本相似度的計(jì)算方法引入到網(wǎng)絡(luò)爬蟲中,它爬取包含用戶輸入查詢?cè)~的頁(yè)面,但是不能判斷所抓取的頁(yè)面與主題關(guān)系的相關(guān)程度的高低后來(lái)有人利用空間向量模型計(jì)算和頁(yè)面主題的相關(guān)程度,改善了這一缺點(diǎn);(2)基于鏈接結(jié)構(gòu)評(píng)價(jià)的爬行策略。此爬行策略訪問網(wǎng)頁(yè)中的鏈接,它通過HITS方法對(duì)網(wǎng)頁(yè)中的鏈接進(jìn)行評(píng)估,并按照一定的方法決定鏈接的訪問順序,還有的一種評(píng)估方法是通過PageRank算法,比較PageRank的值對(duì)網(wǎng)頁(yè)中的鏈接進(jìn)行排序訪問;(3)基于增強(qiáng)學(xué)習(xí)的爬行策略。此策略是將增強(qiáng)學(xué)習(xí)引入聚焦爬蟲,利用貝葉斯分類器講網(wǎng)頁(yè)中的超鏈接按文本和超鏈接文本進(jìn)行分類,計(jì)算出鏈接的重要性,根據(jù)這個(gè)決定鏈接的訪問順序;(4)基于語(yǔ)境圖的爬行策略。M.Diligenti.[3]等人提出了通過建立語(yǔ)境圖(Context Graphs)學(xué)習(xí)網(wǎng)頁(yè)之間的相關(guān)度,從而訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)系統(tǒng),通過這個(gè)機(jī)器學(xué)習(xí)系統(tǒng)可以計(jì)算當(dāng)前頁(yè)面到相關(guān)的網(wǎng)頁(yè)距離,距離越近的的網(wǎng)頁(yè)鏈接優(yōu)先。

    3.3 增量式網(wǎng)絡(luò)爬蟲

    增量式網(wǎng)絡(luò)爬蟲(Incremental Web Crawler)是指對(duì)已下載網(wǎng)頁(yè)采取增量式更新,為保證爬取的網(wǎng)頁(yè)都是盡可能新的網(wǎng)頁(yè),所以此爬蟲只爬取新產(chǎn)生或者已經(jīng)發(fā)生變化的網(wǎng)頁(yè)。與周期性爬行和刷新頁(yè)面的網(wǎng)絡(luò)爬蟲對(duì)比,增量式爬蟲只在網(wǎng)頁(yè)新產(chǎn)生或者發(fā)生變化的頁(yè)面才進(jìn)行爬取,因而減少了數(shù)據(jù)的下載,節(jié)約了時(shí)間和空間等各種資源,但是其爬行的算法相較而言更復(fù)雜而且實(shí)現(xiàn)難度大大增加[4]。

    增量式爬蟲主要是為了保證本地爬取到的網(wǎng)頁(yè)為最新網(wǎng)頁(yè),并提高本地頁(yè)面的質(zhì)量,為了達(dá)到這兩點(diǎn)要求,我們要做到以下幾種方法:

    (1)統(tǒng)一更新:爬蟲需以相同的頻率訪問所有網(wǎng)頁(yè),且不考慮網(wǎng)頁(yè)的改變頻率;(2)個(gè)體更新:爬蟲需根據(jù)個(gè)體網(wǎng)頁(yè)的改變頻率來(lái)重新訪問各頁(yè)面;(3)基于分類的更新:爬蟲根據(jù)網(wǎng)頁(yè)改變頻率將網(wǎng)頁(yè)分為更新較快和較慢的網(wǎng)頁(yè)子集,然后以不同的訪問頻率對(duì)這兩類網(wǎng)頁(yè)進(jìn)行訪問。

    4 系統(tǒng)分析

    本課題所做的是一個(gè)爬取百度貼吧內(nèi)容的網(wǎng)絡(luò)爬蟲,主要用urllib2模塊編寫爬蟲,還有其他爬蟲用requests模塊編寫,進(jìn)行對(duì)比,現(xiàn)在主要談爬取百度貼吧的網(wǎng)絡(luò)爬蟲,通過獲得一個(gè)初始URL,頁(yè)面爬行模塊在互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè),經(jīng)過分析模塊將抓取的頁(yè)面放入頁(yè)面庫(kù)中,并且過濾頁(yè)面中的超鏈接放入U(xiǎn)RL隊(duì)列,從而進(jìn)行下一輪的頁(yè)面抓取。對(duì)于所需要編寫的網(wǎng)絡(luò)爬蟲先要得到一個(gè)URL,然后通過URL抓取頁(yè)面,接著對(duì)頁(yè)面內(nèi)容進(jìn)行分析,滿足過濾條件的(即正則表達(dá)式)的存入頁(yè)面庫(kù),不滿足的接著爬取,直到相關(guān)的URL爬取完畢,如流程圖2所示。

    對(duì)于網(wǎng)絡(luò)爬蟲爬取貼吧的內(nèi)容需要有爬蟲自動(dòng)抓取,但是初始的URL要由人為定義,并且對(duì)于抓取到的內(nèi)容要進(jìn)行過濾,獲得自己需要的內(nèi)容,剔除那些不需要的內(nèi)容,將過濾后所得的需要的內(nèi)容存儲(chǔ)起來(lái)。這些只是最基本的功能,如果能夠進(jìn)一步完善人機(jī)交互的話,會(huì)使得本課題更加完善,如做出一個(gè)界面友好的前端等。

    由于貼吧的信息容量大小不確定,所以此網(wǎng)絡(luò)爬蟲的工作量也挺難確定,而且還要對(duì)爬取的內(nèi)容進(jìn)行過濾,取得想要爬取的信息,而且只是在個(gè)人的筆記本電腦上運(yùn)行網(wǎng)絡(luò)爬蟲的程序,這樣有可能降低爬行的效率。但是對(duì)于本課題來(lái)說,我們編寫的網(wǎng)絡(luò)爬蟲比較小,在普通的個(gè)人筆記本電腦足以運(yùn)行,完全不影響運(yùn)行的效率。此外,我們還可以通過改變網(wǎng)絡(luò)爬蟲的爬行策略來(lái)提高網(wǎng)絡(luò)爬蟲的運(yùn)行效率。對(duì)于貼吧的網(wǎng)絡(luò)爬蟲來(lái)說,通常貼吧的基礎(chǔ)架構(gòu)變動(dòng)不是很大,所以不用擔(dān)心因?yàn)榫W(wǎng)站的改變,網(wǎng)絡(luò)爬蟲不能使用。此外這個(gè)爬蟲經(jīng)過很多人試驗(yàn)過,功能是能夠?qū)崿F(xiàn)的,還有,這個(gè)網(wǎng)絡(luò)爬蟲是由Python語(yǔ)言編寫的,Python語(yǔ)言具有強(qiáng)大而且豐富的庫(kù),對(duì)代碼的可用性和可靠性提供了強(qiáng)有力的保障,所以此網(wǎng)絡(luò)爬蟲在可靠性和可用性的需求也是滿足的[5]。

    對(duì)于本課題,主要研究了貼吧爬蟲的爬取過程,對(duì)于以后可能還要研究爬取其他信息的網(wǎng)絡(luò)爬蟲,此外對(duì)于網(wǎng)絡(luò)爬蟲也要求有良好的用戶體驗(yàn),最好能增加一點(diǎn)用戶界面的友好性,還有對(duì)于不同爬行策略的網(wǎng)絡(luò)爬蟲的性能進(jìn)行對(duì)比,從而編寫出目的性更強(qiáng),性能更強(qiáng)的高效的網(wǎng)絡(luò)爬蟲,此外我們還應(yīng)當(dāng)考慮對(duì)于網(wǎng)絡(luò)爬蟲爬取到的信息處理問題等。

    5 系統(tǒng)設(shè)計(jì)

    5.1 抓取貼吧信息爬蟲

    網(wǎng)絡(luò)爬蟲主要是爬取互聯(lián)網(wǎng)上的網(wǎng)頁(yè)信息,獲得需求的目標(biāo)信息。對(duì)于這個(gè)貼吧的網(wǎng)絡(luò)爬蟲要包括的模塊有頁(yè)面爬行模塊、頁(yè)面分析模塊、頁(yè)面過濾模塊、還有頁(yè)面數(shù)據(jù)的保存模塊。

    5.2 抓取貼吧圖片爬蟲

    對(duì)于貼吧的圖片爬取,我設(shè)計(jì)的比較簡(jiǎn)單,功能模塊因?yàn)榕廊≠N吧信息的網(wǎng)絡(luò)爬蟲都有,也包括頁(yè)面爬行模塊、頁(yè)面分析模塊、頁(yè)面過濾模塊、還有頁(yè)面數(shù)據(jù)的保存模塊

    5.3 詳細(xì)設(shè)計(jì)

    對(duì)于貼吧的網(wǎng)絡(luò)爬蟲來(lái)說,首先要有一個(gè)URL,此次做的網(wǎng)絡(luò)爬蟲初始的URL前半部分是http://tieba.baidu.com/p/,這部分內(nèi)容針對(duì)的是百度貼吧,由于百度貼吧的內(nèi)容比較多,分類也煩雜,此時(shí)我們要求用戶輸入貼吧的頁(yè)碼,如3138733512,接著網(wǎng)絡(luò)爬蟲開始運(yùn)行。對(duì)于百度貼吧,如果我們只爬取樓主發(fā)表的信息所以我們需要把樓主的信息放入類的初始化上,即init方法,除此之外我們還要將貼吧中比較重要的帖子頁(yè)碼這一參數(shù)放入此方法中。通過對(duì)網(wǎng)頁(yè)源代碼的分析,我們發(fā)現(xiàn)百度貼吧的每一層的主要內(nèi)容都在標(biāo)簽

    里面,因此我們采用的正則表達(dá)式來(lái)實(shí)現(xiàn)。 查看運(yùn)行結(jié)果我們發(fā)現(xiàn)除了我們需要爬取的樓層內(nèi)容之外,還包含了大量的換行符和圖片符,因此我們需要對(duì)所抓取的內(nèi)容進(jìn)行處理,將這些沒用的標(biāo)簽去除掉,從而得到我們真正想要的純正的信息[6]。endprint

    針對(duì)此類情況,我們編寫一個(gè)Tool類,在它的里面定義一個(gè)替換各種標(biāo)簽的方法replace,其中也定義了幾個(gè)正則表達(dá)式,re.sub方法對(duì)抓取的信息進(jìn)行匹配替換處理,在代碼運(yùn)行后,我們需要寫入需要爬行貼吧的具體URL,然后會(huì)讓我們選擇是否只爬取樓主的發(fā)表信息,接著會(huì)選擇是否寫入樓層信息,當(dāng)選擇完畢后,爬蟲開始爬取所需要的信息并寫入文件,運(yùn)行完成后會(huì)生成一個(gè)TXT文件,上面有所需要抓取的信息。

    6 結(jié)語(yǔ)

    對(duì)于網(wǎng)絡(luò)爬蟲的發(fā)展主要要看信息檢索的發(fā)展方向,這些可以從國(guó)內(nèi)外的搜索引擎哪里看出一些端倪,伴隨著大數(shù)據(jù),云計(jì)算的浪潮,網(wǎng)絡(luò)爬蟲肯定會(huì)得到進(jìn)一步的發(fā)展,對(duì)于信息爬取的效率也越來(lái)越高,不僅僅是信息爬取的速提高,而且信息爬取的準(zhǔn)確性也會(huì)提高,而人們通過對(duì)于這些爬取下來(lái)的信息進(jìn)行分析,會(huì)讓這些信息充分發(fā)揮其作用。網(wǎng)絡(luò)爬蟲的設(shè)計(jì)將來(lái)會(huì)越來(lái)越智能化,不僅僅能高效的爬取需要爬取的信息,還能智能化的預(yù)測(cè)爬取相關(guān)需要的信息,如果這一功能將來(lái)得到實(shí)現(xiàn),運(yùn)用到智能機(jī)器人的身上,將會(huì)使機(jī)器人更趨于人類的思考方式。

    參考文獻(xiàn)

    [1]張海藩,袁勤勇,李曄.軟件工程導(dǎo)論[M].北京:清華大學(xué)出版社,2010.

    [2][美]Justin Seitz 著.孫松柏,李聰,潤(rùn)秋譯.Python黑帽子-黑客與滲透測(cè)試編程之道[M].北京:電子工業(yè)出版社,2015.

    [3]M.Diligenti.,F(xiàn).Coetzee, S.Lawtence, et al.F0cused crawling using context graphs[C].In Proceedings of 26th International Confer-ence on Very Large Database,Cairo,Egypt.2000.

    [4][美]Justin Seitz 著.丁赟卿,譯.Python灰帽子-黑客與逆向工程師的Python編程之道[M].北京:電子工業(yè)出版社,2011.

    [5]Mark Lutz著.鄒曉,瞿喬.任發(fā)科譯.Python編程(上下兩冊(cè))[M].北京:中國(guó)電力出版社,2015.

    [6]羅剛,王振東,著.自己動(dòng)手寫網(wǎng)絡(luò)爬蟲[M].北京:清華大學(xué)出版社,2010.endprint

    猜你喜歡
    網(wǎng)絡(luò)爬蟲信息檢索
    煉鐵廠鐵量網(wǎng)頁(yè)數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    基于社會(huì)網(wǎng)絡(luò)分析的權(quán)威網(wǎng)頁(yè)挖掘研究
    主題搜索引擎中網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)研究
    醫(yī)學(xué)期刊編輯中文獻(xiàn)信息檢索的應(yīng)用
    新聞傳播(2016年18期)2016-07-19 10:12:06
    淺析如何應(yīng)對(duì)網(wǎng)絡(luò)爬蟲流量
    基于神經(jīng)網(wǎng)絡(luò)的個(gè)性化信息檢索模型研究
    教學(xué)型大學(xué)《信息檢索》公選課的設(shè)計(jì)與實(shí)施
    河南科技(2014年11期)2014-02-27 14:10:19
    公共圖書館信息檢索服務(wù)的實(shí)踐探索——以上海浦東圖書館為例
    圖書館界(2013年5期)2013-03-11 18:50:29
    午夜免费观看性视频| 亚洲五月色婷婷综合| 免费在线观看完整版高清| 国产精品一二三区在线看| 一区二区三区激情视频| 水蜜桃什么品种好| 中文字幕av电影在线播放| 亚洲精品av麻豆狂野| 啦啦啦视频在线资源免费观看| 国产成人免费无遮挡视频| 天堂8中文在线网| 亚洲精品国产一区二区精华液| av又黄又爽大尺度在线免费看| 欧美国产精品一级二级三级| 欧美 亚洲 国产 日韩一| 精品99又大又爽又粗少妇毛片| 中文字幕人妻丝袜一区二区 | 亚洲一级一片aⅴ在线观看| 国产免费视频播放在线视频| 飞空精品影院首页| 国产亚洲av片在线观看秒播厂| 亚洲国产毛片av蜜桃av| 天天影视国产精品| 国产又色又爽无遮挡免| 久久国产精品大桥未久av| 老鸭窝网址在线观看| 亚洲一区二区三区欧美精品| 久久人妻熟女aⅴ| 90打野战视频偷拍视频| 80岁老熟妇乱子伦牲交| 久久这里有精品视频免费| 18禁国产床啪视频网站| 成人午夜精彩视频在线观看| 国产av一区二区精品久久| 免费看不卡的av| 亚洲精品美女久久av网站| 精品人妻熟女毛片av久久网站| 免费大片黄手机在线观看| 国产成人精品一,二区| 国产又色又爽无遮挡免| a级片在线免费高清观看视频| 黄色配什么色好看| 制服诱惑二区| 日日爽夜夜爽网站| a级毛片黄视频| 精品99又大又爽又粗少妇毛片| 女人高潮潮喷娇喘18禁视频| 人妻系列 视频| 午夜精品国产一区二区电影| av在线老鸭窝| 国产又色又爽无遮挡免| 国产伦理片在线播放av一区| videosex国产| 美女脱内裤让男人舔精品视频| 你懂的网址亚洲精品在线观看| 久久久亚洲精品成人影院| 久久99精品国语久久久| 日本色播在线视频| 免费播放大片免费观看视频在线观看| 国产一区二区三区av在线| 精品久久久久久电影网| 亚洲欧美一区二区三区久久| 欧美在线黄色| 18在线观看网站| 久久久久人妻精品一区果冻| 亚洲欧美日韩另类电影网站| 亚洲第一青青草原| 少妇被粗大猛烈的视频| 精品卡一卡二卡四卡免费| 亚洲伊人色综图| 成人亚洲欧美一区二区av| 亚洲国产av影院在线观看| 大片免费播放器 马上看| 国产乱人偷精品视频| 国产高清不卡午夜福利| 日日撸夜夜添| 欧美日韩av久久| 午夜免费观看性视频| 麻豆av在线久日| 成人影院久久| 中文字幕制服av| 看十八女毛片水多多多| 少妇的丰满在线观看| 亚洲av免费高清在线观看| 国产成人精品一,二区| 永久免费av网站大全| 熟女少妇亚洲综合色aaa.| 下体分泌物呈黄色| 欧美变态另类bdsm刘玥| 国产精品国产三级专区第一集| 国产人伦9x9x在线观看 | 久久免费观看电影| 免费观看性生交大片5| 成年av动漫网址| 色网站视频免费| 亚洲美女黄色视频免费看| 中文字幕色久视频| 在线 av 中文字幕| 久久久国产欧美日韩av| 中文字幕人妻丝袜制服| 国产麻豆69| 亚洲 欧美一区二区三区| 97人妻天天添夜夜摸| 成年av动漫网址| 久久av网站| 亚洲精品自拍成人| 久久久久国产一级毛片高清牌| av在线播放精品| 亚洲国产最新在线播放| 最近2019中文字幕mv第一页| 免费在线观看视频国产中文字幕亚洲 | 午夜免费鲁丝| 国产精品免费视频内射| 一个人免费看片子| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 色网站视频免费| 国产一区二区三区综合在线观看| 老汉色av国产亚洲站长工具| 国产又色又爽无遮挡免| 欧美日韩一区二区视频在线观看视频在线| 日本-黄色视频高清免费观看| 亚洲精品视频女| 精品久久久久久电影网| 美女xxoo啪啪120秒动态图| 王馨瑶露胸无遮挡在线观看| 午夜激情av网站| 伊人久久大香线蕉亚洲五| 国产精品国产av在线观看| 纵有疾风起免费观看全集完整版| 欧美日韩视频高清一区二区三区二| 亚洲国产成人一精品久久久| 国产成人精品久久久久久| 免费av中文字幕在线| 丰满饥渴人妻一区二区三| 国产一区二区三区综合在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 欧美日韩av久久| 人人妻人人爽人人添夜夜欢视频| av免费在线看不卡| 亚洲五月色婷婷综合| 捣出白浆h1v1| 精品午夜福利在线看| 亚洲五月色婷婷综合| www.av在线官网国产| 成人国语在线视频| 亚洲欧美精品综合一区二区三区 | 有码 亚洲区| 久久精品久久久久久久性| 国产精品.久久久| 亚洲一级一片aⅴ在线观看| 亚洲欧美精品综合一区二区三区 | www.熟女人妻精品国产| 婷婷成人精品国产| 久久99一区二区三区| 久久ye,这里只有精品| a 毛片基地| 精品国产一区二区三区四区第35| 亚洲精品美女久久久久99蜜臀 | 国产乱来视频区| 亚洲国产欧美日韩在线播放| 天天影视国产精品| 国产成人午夜福利电影在线观看| 亚洲人成77777在线视频| 一级,二级,三级黄色视频| 香蕉国产在线看| 在线观看三级黄色| 一级毛片我不卡| 国产精品国产三级国产专区5o| 巨乳人妻的诱惑在线观看| 亚洲成色77777| av福利片在线| 五月天丁香电影| 亚洲男人天堂网一区| 少妇人妻 视频| 热99国产精品久久久久久7| 18禁国产床啪视频网站| 久久久久国产一级毛片高清牌| 国产精品国产三级国产专区5o| 90打野战视频偷拍视频| 欧美国产精品一级二级三级| 三上悠亚av全集在线观看| 免费观看在线日韩| 亚洲 欧美一区二区三区| 一级爰片在线观看| 一区二区三区精品91| 男男h啪啪无遮挡| 欧美在线黄色| 国产一区二区在线观看av| 国产精品99久久99久久久不卡 | 国产极品粉嫩免费观看在线| 韩国av在线不卡| 看十八女毛片水多多多| 国产一区二区 视频在线| 新久久久久国产一级毛片| 人成视频在线观看免费观看| 哪个播放器可以免费观看大片| 免费av中文字幕在线| 丝袜美足系列| 国产乱来视频区| 秋霞伦理黄片| 久久久久久久久久久免费av| 国产精品 国内视频| 久久这里只有精品19| 日韩成人av中文字幕在线观看| 一本大道久久a久久精品| 欧美日韩av久久| 久久这里有精品视频免费| 亚洲人成77777在线视频| 少妇被粗大猛烈的视频| 青春草亚洲视频在线观看| 色婷婷久久久亚洲欧美| 亚洲图色成人| 免费大片黄手机在线观看| 免费高清在线观看日韩| 日韩制服骚丝袜av| 成人亚洲欧美一区二区av| 国产极品粉嫩免费观看在线| 最近中文字幕高清免费大全6| 亚洲成人一二三区av| 午夜福利乱码中文字幕| 久久久久精品人妻al黑| 国产免费福利视频在线观看| 成年女人毛片免费观看观看9 | 黄网站色视频无遮挡免费观看| 在线观看免费视频网站a站| 亚洲av欧美aⅴ国产| 久久久久国产一级毛片高清牌| 免费日韩欧美在线观看| tube8黄色片| 欧美97在线视频| 精品国产乱码久久久久久男人| 成人国产麻豆网| 97在线视频观看| 97精品久久久久久久久久精品| 国产日韩欧美亚洲二区| 国产午夜精品一二区理论片| 国产熟女欧美一区二区| 一区在线观看完整版| 亚洲国产精品一区三区| 国产黄色视频一区二区在线观看| 免费黄频网站在线观看国产| www.av在线官网国产| 国产极品粉嫩免费观看在线| 大片免费播放器 马上看| 18禁观看日本| 午夜av观看不卡| 男人爽女人下面视频在线观看| 国产成人精品福利久久| 午夜免费鲁丝| av线在线观看网站| 熟女电影av网| 中国三级夫妇交换| 精品卡一卡二卡四卡免费| 黄网站色视频无遮挡免费观看| 日韩电影二区| 制服丝袜香蕉在线| xxx大片免费视频| 青青草视频在线视频观看| 麻豆乱淫一区二区| 另类亚洲欧美激情| 亚洲av欧美aⅴ国产| 亚洲成国产人片在线观看| 夜夜骑夜夜射夜夜干| 精品人妻一区二区三区麻豆| 美女脱内裤让男人舔精品视频| 久久这里只有精品19| 午夜91福利影院| videos熟女内射| 女性生殖器流出的白浆| 精品久久久久久电影网| 黄色视频在线播放观看不卡| 两个人免费观看高清视频| 成人手机av| 王馨瑶露胸无遮挡在线观看| 精品亚洲成a人片在线观看| 99re6热这里在线精品视频| 国产精品无大码| 黑人欧美特级aaaaaa片| 婷婷成人精品国产| 午夜免费观看性视频| 亚洲av国产av综合av卡| 两个人看的免费小视频| 午夜福利影视在线免费观看| 精品亚洲成a人片在线观看| 免费高清在线观看日韩| 成年女人毛片免费观看观看9 | 久久久精品区二区三区| 99国产精品免费福利视频| 国产精品 国内视频| 久久热在线av| 国产免费一区二区三区四区乱码| 国产又爽黄色视频| 欧美精品一区二区大全| 亚洲综合色网址| 午夜激情av网站| 人妻一区二区av| 丝袜人妻中文字幕| 国产亚洲最大av| 亚洲国产欧美日韩在线播放| 国产成人精品在线电影| 性少妇av在线| 亚洲精品日本国产第一区| 久久毛片免费看一区二区三区| 久久精品亚洲av国产电影网| av国产精品久久久久影院| 在线观看人妻少妇| 午夜福利在线观看免费完整高清在| 国产精品欧美亚洲77777| 超碰成人久久| 久久久久精品性色| 中文字幕人妻丝袜一区二区 | 亚洲国产av新网站| 99九九在线精品视频| 欧美在线黄色| 边亲边吃奶的免费视频| 久久久久人妻精品一区果冻| 精品一区二区三卡| av免费在线看不卡| 九色亚洲精品在线播放| 国产精品不卡视频一区二区| 成人手机av| 国产1区2区3区精品| 日本欧美视频一区| 在线天堂最新版资源| av天堂久久9| 亚洲五月色婷婷综合| av有码第一页| 国产精品无大码| 亚洲色图综合在线观看| 亚洲精品一二三| 多毛熟女@视频| 亚洲三级黄色毛片| 高清av免费在线| 天天影视国产精品| 久久久久国产一级毛片高清牌| 国产亚洲精品第一综合不卡| 成人国产麻豆网| 纯流量卡能插随身wifi吗| 男人操女人黄网站| 蜜桃国产av成人99| av福利片在线| 亚洲美女搞黄在线观看| 亚洲伊人久久精品综合| 十八禁高潮呻吟视频| 久久这里只有精品19| 飞空精品影院首页| 天天躁夜夜躁狠狠久久av| 日韩欧美精品免费久久| 欧美日韩国产mv在线观看视频| 考比视频在线观看| 如日韩欧美国产精品一区二区三区| 国精品久久久久久国模美| 亚洲国产欧美日韩在线播放| 国产有黄有色有爽视频| 久久99蜜桃精品久久| av免费在线看不卡| 婷婷成人精品国产| av.在线天堂| 国产成人免费无遮挡视频| 人妻 亚洲 视频| 亚洲一码二码三码区别大吗| 青青草视频在线视频观看| 亚洲国产欧美日韩在线播放| 亚洲欧美成人精品一区二区| 欧美精品人与动牲交sv欧美| 午夜激情久久久久久久| 亚洲三区欧美一区| 大香蕉久久网| 国产成人精品婷婷| 丝瓜视频免费看黄片| 亚洲av国产av综合av卡| 中文字幕精品免费在线观看视频| 国产探花极品一区二区| 国产成人精品婷婷| 亚洲国产成人一精品久久久| 最近最新中文字幕大全免费视频 | 欧美变态另类bdsm刘玥| 街头女战士在线观看网站| 黄色毛片三级朝国网站| 在线观看www视频免费| av有码第一页| 成年女人毛片免费观看观看9 | 丰满迷人的少妇在线观看| 国产无遮挡羞羞视频在线观看| 免费在线观看完整版高清| 午夜久久久在线观看| 在线免费观看不下载黄p国产| 18+在线观看网站| 久久精品国产自在天天线| 免费看av在线观看网站| 久久久久久久久久久免费av| 汤姆久久久久久久影院中文字幕| 夜夜骑夜夜射夜夜干| 精品人妻熟女毛片av久久网站| av免费观看日本| 国精品久久久久久国模美| 欧美成人午夜免费资源| 一级,二级,三级黄色视频| 久久久精品94久久精品| 999精品在线视频| 日韩av在线免费看完整版不卡| 欧美日韩视频高清一区二区三区二| 一区福利在线观看| 免费播放大片免费观看视频在线观看| 国语对白做爰xxxⅹ性视频网站| 午夜免费观看性视频| 欧美亚洲 丝袜 人妻 在线| 黄色怎么调成土黄色| 精品亚洲乱码少妇综合久久| 天堂俺去俺来也www色官网| 国产有黄有色有爽视频| 中文字幕av电影在线播放| 免费黄频网站在线观看国产| 欧美亚洲 丝袜 人妻 在线| 亚洲国产精品成人久久小说| 国产精品.久久久| 精品第一国产精品| 精品视频人人做人人爽| 国产一区二区在线观看av| 亚洲精品在线美女| 午夜福利在线观看免费完整高清在| 午夜91福利影院| 人人妻人人澡人人爽人人夜夜| 两个人看的免费小视频| 国产一区有黄有色的免费视频| 国产熟女午夜一区二区三区| 国产成人aa在线观看| 久久久久久久久久久免费av| 人人澡人人妻人| 久久精品aⅴ一区二区三区四区 | 国产一区二区在线观看av| 女性被躁到高潮视频| 永久网站在线| 国产免费一区二区三区四区乱码| 国产免费现黄频在线看| 免费女性裸体啪啪无遮挡网站| 视频区图区小说| 十分钟在线观看高清视频www| 午夜精品国产一区二区电影| 日本色播在线视频| 免费日韩欧美在线观看| 国产白丝娇喘喷水9色精品| 成人18禁高潮啪啪吃奶动态图| 亚洲国产成人一精品久久久| 国产精品 国内视频| 欧美精品av麻豆av| 飞空精品影院首页| 国产av码专区亚洲av| 丰满迷人的少妇在线观看| 三上悠亚av全集在线观看| 街头女战士在线观看网站| 免费少妇av软件| 久久久久国产一级毛片高清牌| 久热这里只有精品99| 国产精品一区二区在线不卡| 五月开心婷婷网| 亚洲精品国产av成人精品| 午夜福利网站1000一区二区三区| 日韩一区二区三区影片| 亚洲美女视频黄频| 巨乳人妻的诱惑在线观看| 伦理电影免费视频| 五月开心婷婷网| 免费在线观看视频国产中文字幕亚洲 | 亚洲精品,欧美精品| 久久久久久人妻| 亚洲精品乱久久久久久| 日韩在线高清观看一区二区三区| 国精品久久久久久国模美| 中文字幕人妻丝袜制服| www日本在线高清视频| 黑丝袜美女国产一区| 国产成人免费无遮挡视频| 九草在线视频观看| 日本av手机在线免费观看| 久久久久久久久久人人人人人人| 五月天丁香电影| 亚洲精品,欧美精品| 丝瓜视频免费看黄片| 在线观看三级黄色| 高清视频免费观看一区二区| 王馨瑶露胸无遮挡在线观看| 黑人巨大精品欧美一区二区蜜桃| 中文字幕色久视频| 欧美黄色片欧美黄色片| 亚洲,一卡二卡三卡| 90打野战视频偷拍视频| 免费在线观看视频国产中文字幕亚洲 | 欧美日韩亚洲国产一区二区在线观看 | 国产毛片在线视频| 久久热在线av| 一个人免费看片子| 国产精品亚洲av一区麻豆 | 国产一区有黄有色的免费视频| 中国三级夫妇交换| 天天躁狠狠躁夜夜躁狠狠躁| 中国三级夫妇交换| 亚洲国产毛片av蜜桃av| 亚洲成国产人片在线观看| 欧美精品高潮呻吟av久久| 菩萨蛮人人尽说江南好唐韦庄| 男人添女人高潮全过程视频| 日韩成人av中文字幕在线观看| 国产av码专区亚洲av| 国产精品嫩草影院av在线观看| 亚洲欧美一区二区三区黑人 | 国产精品欧美亚洲77777| 亚洲国产毛片av蜜桃av| 亚洲美女视频黄频| 久久久久久人妻| 欧美bdsm另类| 亚洲美女搞黄在线观看| 亚洲欧美成人综合另类久久久| 久久久久久人妻| 国产精品秋霞免费鲁丝片| 女人高潮潮喷娇喘18禁视频| 亚洲欧洲国产日韩| 熟妇人妻不卡中文字幕| 亚洲av成人精品一二三区| 天天躁夜夜躁狠狠躁躁| 日韩大片免费观看网站| 人人妻人人爽人人添夜夜欢视频| 高清欧美精品videossex| 在线观看免费日韩欧美大片| 午夜福利视频在线观看免费| 黄片播放在线免费| 精品国产乱码久久久久久男人| 亚洲三区欧美一区| 一级毛片 在线播放| a级片在线免费高清观看视频| 丰满少妇做爰视频| 国产黄频视频在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 人人妻人人添人人爽欧美一区卜| 大话2 男鬼变身卡| 女的被弄到高潮叫床怎么办| 日韩av免费高清视频| 中文字幕人妻丝袜一区二区 | tube8黄色片| 国产精品女同一区二区软件| 日本-黄色视频高清免费观看| 蜜桃国产av成人99| 大片电影免费在线观看免费| av有码第一页| 少妇人妻精品综合一区二区| 亚洲综合色惰| 欧美黄色片欧美黄色片| 99久国产av精品国产电影| av在线观看视频网站免费| 久久久久久人人人人人| 精品国产一区二区久久| 啦啦啦啦在线视频资源| 久久精品熟女亚洲av麻豆精品| 国产成人免费观看mmmm| 高清在线视频一区二区三区| 日韩一卡2卡3卡4卡2021年| 亚洲国产精品国产精品| 一本—道久久a久久精品蜜桃钙片| 日本欧美视频一区| 国产精品欧美亚洲77777| 亚洲精品一二三| 久久青草综合色| 欧美最新免费一区二区三区| 又黄又粗又硬又大视频| 男的添女的下面高潮视频| 韩国av在线不卡| 波多野结衣一区麻豆| 精品人妻一区二区三区麻豆| 人人澡人人妻人| 亚洲国产精品一区二区三区在线| 久久久久久久国产电影| 国产精品 欧美亚洲| 亚洲人成77777在线视频| 建设人人有责人人尽责人人享有的| 爱豆传媒免费全集在线观看| 久久久久国产网址| 国产成人aa在线观看| 美女国产视频在线观看| 99国产精品免费福利视频| 曰老女人黄片| 国产一区二区在线观看av| 人妻一区二区av| 中文乱码字字幕精品一区二区三区| 视频区图区小说| 熟女av电影| www日本在线高清视频| 人人妻人人澡人人看| av视频免费观看在线观看| av电影中文网址| 五月伊人婷婷丁香| 人妻 亚洲 视频| 一本久久精品| 最黄视频免费看| 蜜桃在线观看..| 欧美人与性动交α欧美软件| 26uuu在线亚洲综合色| 久久毛片免费看一区二区三区| 中文字幕精品免费在线观看视频| av福利片在线| 亚洲精品一二三| 中文乱码字字幕精品一区二区三区| 一区二区av电影网| 欧美老熟妇乱子伦牲交| 久久久久网色| 日本vs欧美在线观看视频| 亚洲精品美女久久久久99蜜臀 | 青青草视频在线视频观看| 男的添女的下面高潮视频| 极品少妇高潮喷水抽搐| 天堂8中文在线网| 国产精品 国内视频| tube8黄色片| 男男h啪啪无遮挡| 香蕉国产在线看| 80岁老熟妇乱子伦牲交|