基于主題網(wǎng)絡(luò)爬蟲的信息數(shù)據(jù)采集方法的研究與應(yīng)用

盛亞如

互聯(lián)網(wǎng)上的各種信息以數(shù)百萬級(jí)的方式增長著，而這些信息又大多是散亂分布的，無法滿足人們所要求的整合信息分析的需求，傳統(tǒng)的采集和收集方法又很難滿足要求。因此本文提出利用主題網(wǎng)絡(luò)爬蟲的概念和方法，運(yùn)用正則表達(dá)式去匹配出網(wǎng)頁中所需要的特定信息數(shù)據(jù)，有效的增強(qiáng)爬蟲程序的適用性、縮短用戶獲取信息的時(shí)間。并將此方法應(yīng)用于二手房信息數(shù)據(jù)采集中，包括價(jià)格、戶型、樓層等基本數(shù)據(jù)，建立起了一個(gè)統(tǒng)一的二手房數(shù)據(jù)庫。

【關(guān)鍵詞】主題網(wǎng)絡(luò)爬蟲 正則表達(dá)式 二手房

1 引言

互聯(lián)網(wǎng)上的信息數(shù)據(jù)以爆炸式的方式增長著，而這些信息數(shù)據(jù)內(nèi)容又大多是基于頁面形式的，其中包含一些非結(jié)構(gòu)化的數(shù)據(jù)，如文字、圖像、視頻等。如果只是采用人工化的方式對(duì)信息數(shù)據(jù)進(jìn)行采集，已經(jīng)很難滿足人們的要求了。因此有必要采用某種技術(shù)或手段從互聯(lián)網(wǎng)上自動(dòng)采集信息數(shù)據(jù)。

網(wǎng)絡(luò)爬蟲能實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)信息數(shù)據(jù)的自動(dòng)采集，從而彌補(bǔ)了人工采集的缺陷。網(wǎng)絡(luò)爬蟲是隨著搜索引擎發(fā)展而產(chǎn)生的一種通用信息采集技術(shù)，是搜索引擎中的核心部分，它根據(jù)用戶要求從互聯(lián)網(wǎng)上下載網(wǎng)頁，盡可能多的抓取網(wǎng)頁中的相關(guān)鏈接和內(nèi)容，并能沿著鏈接繼續(xù)爬行，是一種能力強(qiáng)大的信息采集程序。

2 主題網(wǎng)絡(luò)爬蟲

主題網(wǎng)絡(luò)爬蟲是在通用網(wǎng)絡(luò)爬蟲的基礎(chǔ)上進(jìn)行的延伸，根據(jù)某一領(lǐng)域內(nèi)特定的主題進(jìn)行相關(guān)信息的查詢，搜索互聯(lián)網(wǎng)抓取下載網(wǎng)頁，從網(wǎng)頁中采集相關(guān)信息數(shù)據(jù)和超鏈接。它并不會(huì)訪問所有的網(wǎng)頁，而是在訪問前就判斷超鏈接、錨文本、文本等與主題的相關(guān)度，按照相關(guān)度的高低來決定訪問的優(yōu)先級(jí)順序。

主題網(wǎng)絡(luò)爬蟲的主要思想就是：把用戶搜索的查詢?cè)~作為主題，從選定的初始URL出發(fā)，訪問網(wǎng)頁中的所有超鏈接，根據(jù)某種搜索策略對(duì)這些URL進(jìn)行主題相關(guān)度預(yù)測(cè)，將符合要求的URL加入待訪問隊(duì)列中，并按照某種優(yōu)先級(jí)排序從隊(duì)列中抽取URL來作為下一次要訪問的對(duì)象，按照這種規(guī)律執(zhí)行下去，直到待訪問隊(duì)列為空或者滿足某種停止條件為止。

3 基于主題網(wǎng)絡(luò)爬蟲的信息數(shù)據(jù)采集方法與應(yīng)用

通過分析網(wǎng)站頁面時(shí)發(fā)現(xiàn)，頁面中關(guān)于某一項(xiàng)主題的結(jié)構(gòu)和框架都是一樣的，因此可以考慮運(yùn)用正則表達(dá)式去匹配出頁面中我們所需要的鏈接和內(nèi)容。下面以安居客網(wǎng)站為例進(jìn)行二手房數(shù)據(jù)的采集。

3.1 網(wǎng)站頁面分析

3.1.1 鏈接地址頁面分析

通過觀察安居客青島市二手房的房源列表，我們發(fā)現(xiàn)，每一條房源信息的組織結(jié)構(gòu)是一樣的，如房源地址的鏈接是上下結(jié)構(gòu)排列的，價(jià)格，面積等信息的結(jié)構(gòu)排列都是在同一個(gè)位置的。深入分析頁面源代碼發(fā)現(xiàn)，每一個(gè)房源鏈接的地址都是在herf=” ”引號(hào)之間，因此可以得出匹配房源鏈接地址的正則表達(dá)式："＼s*

3.1.2 房源具體信息頁面分析

網(wǎng)站具體頁面中包含有房屋的售價(jià)、面積等基本信息，我們所建立的二手房數(shù)據(jù)庫就是把這些字段全部收集起來，放到一個(gè)數(shù)據(jù)表中以供后期使用。觀察網(wǎng)頁源碼我們可以發(fā)現(xiàn)，有些內(nèi)容的源代碼前后的HTML標(biāo)簽是不一樣的，因此，就有必要對(duì)我們所需要的每一項(xiàng)內(nèi)容寫一個(gè)正則表達(dá)式，以匹配面積內(nèi)容為例，可以得到正則表達(dá)式為：

對(duì)選定的初始URL進(jìn)行訪問和處理，由于Http響應(yīng)的網(wǎng)頁是以字符串類型返回的，其中包含了大量的html代碼，這時(shí)就需要事先編寫好的正則表達(dá)式對(duì)其進(jìn)行匹配，可以從title、meta等標(biāo)簽中提取出所需要的信息。通過上文描述的匹配房源鏈接地址的正則表達(dá)式來匹配出初始網(wǎng)頁所含有的房源超鏈接地址，將其加入到預(yù)讀房源隊(duì)列中，同時(shí)利用正則表達(dá)式下一頁＼s>；"匹配出下一頁的鏈接地址，并以下一頁的鏈接地址為初始URL，循環(huán)執(zhí)行這一過程，直到下一頁的地址為空或者滿足停止條件為止。得到的匹配結(jié)果如圖1所示。

3.2.3 獲取房源信息數(shù)據(jù)

判斷預(yù)讀房源隊(duì)列是否為空，如果隊(duì)列為空，說明沒有要繼續(xù)爬行訪問的URL了，此時(shí)就結(jié)束爬行了，如果隊(duì)列不為空，則從預(yù)讀房源隊(duì)列中取出隊(duì)首的URL進(jìn)行訪問，如果成功加載網(wǎng)頁，得到網(wǎng)頁的源代碼，根據(jù)編寫好的正則表達(dá)式對(duì)其進(jìn)行匹配，并把匹配下來的內(nèi)容保存到二手房數(shù)據(jù)庫中。最后，將當(dāng)前URL加入到已讀房源隊(duì)列中，如果訪問不成功，就將此URL加入到錯(cuò)誤房源隊(duì)列中。循環(huán)執(zhí)行這一過程，直到預(yù)讀房源隊(duì)列為空或者滿足停止條件為止。

網(wǎng)頁展現(xiàn)給用戶的主要內(nèi)容是它的文本信息。因此，在獲得網(wǎng)頁源代碼后，需要針對(duì)網(wǎng)頁抽取出它的特定內(nèi)容。從預(yù)讀房源隊(duì)列中取出URL，解析其源代碼，利用正則表達(dá)式匹配出其頁面的具體信息，存入到數(shù)據(jù)庫中。以小區(qū)、戶型、面積為例，其正則表達(dá)式如圖2所示。

根據(jù)要求，創(chuàng)建二手房數(shù)據(jù)庫后，將匹配到的房產(chǎn)信息數(shù)據(jù)存入到數(shù)據(jù)庫中。得到的二手房數(shù)據(jù)庫部分結(jié)果如圖3所示。

4 總結(jié)

本文實(shí)現(xiàn)了一種切實(shí)可行的通過正則表達(dá)式去匹配信息數(shù)據(jù)的方法，滿足用戶對(duì)特定信息的需求，并將此方法應(yīng)用于了二手房信息數(shù)據(jù)的采集中，成功抓取了網(wǎng)站上的二手房信息數(shù)據(jù)，建立起了一個(gè)二手房數(shù)據(jù)庫。

參考文獻(xiàn)

[1]孫駿雄.基于網(wǎng)絡(luò)爬蟲的網(wǎng)站信息采集技術(shù)研究[D].大連海事大學(xué)，2014.

[2]Dikaiakos M D，Stassopoulou A， Papageorgiou L.An investigation of web crawler behavior： characterization and metrics[J]. Physical Chemistry Chemical Physics， 2001，3（5）：867-872.

[3]羅剛.自己動(dòng)手寫網(wǎng)絡(luò)爬蟲[M].北京：清華大學(xué)出版社，2010.

[4]楊文剛， 韓海濤.大數(shù)據(jù)背景下基于主題網(wǎng)絡(luò)爬蟲的檔案信息采集[J].蘭臺(tái)世界（旬刊），2015（20）：20-21.

作者單位

中國海洋大學(xué)信息科學(xué)與工程學(xué)院 山東省青島市 266100