基于ElasticSearch的食品安全搜索引擎的實(shí)現(xiàn)

董 哲 祝福松

（北方工業(yè)大學(xué) 電氣與控制工程學(xué)院，北京 100043）

引言

當(dāng)前在食品安全領(lǐng)域，食品安全信息的獲取主要依靠百度谷歌等通用搜索引擎，無(wú)法滿足人們對(duì)食品安全信息快速、精確查找的需求。隨著搜索引擎技術(shù)快速發(fā)展，國(guó)內(nèi)外出現(xiàn)了許多面向各領(lǐng)域的垂直搜索引擎，但能夠搜索食品安全信息的引擎較少。曹奇峰在文獻(xiàn)[1]中提出基于Nutch的食品安全信息垂直搜索引擎的研究。通過(guò)Nutch框架對(duì)相關(guān)食品安全主題網(wǎng)頁(yè)進(jìn)行爬取建立索引庫(kù)，綜合評(píng)分算法將索引內(nèi)容進(jìn)行排序，最終給出搜索結(jié)果。王亮等人在文獻(xiàn)[2]中設(shè)計(jì)了食品安全科普網(wǎng)站的建立，提出了個(gè)性化的搜索引擎，通過(guò)對(duì)用戶搜索日志的挖掘，發(fā)現(xiàn)不同搜索在時(shí)序上的關(guān)聯(lián)，并利用這些關(guān)聯(lián)對(duì)新的用戶搜索進(jìn)行擴(kuò)展，給出延伸的搜索結(jié)果。搜索引擎的建立大同小異，區(qū)別在于資源庫(kù)的建立，與搜索引擎的排序算法。本文采用的是基于ES構(gòu)建搜索引擎架構(gòu)，使用Scrapy-redis分布式爬蟲(chóng)構(gòu)建食品安全資源庫(kù)，在性能上和速度上更優(yōu)。通過(guò)對(duì)此搜索引擎的建立過(guò)程，涉及對(duì)目標(biāo)網(wǎng)站的爬取，對(duì)資源的去重清洗，以及對(duì)資源庫(kù)系統(tǒng)的建立過(guò)程，就可以適用于其他資源庫(kù)的建設(shè)中，其具有很好的通用性。

一、系統(tǒng)的總體架構(gòu)

本系統(tǒng)被分為四個(gè)模塊。分別是：爬蟲(chóng)模塊，搜索模塊，數(shù)據(jù)可視化模塊，后端數(shù)據(jù)處理模塊。

1.爬蟲(chóng)模塊

從特定網(wǎng)站中按照爬取策略爬取相關(guān)內(nèi)容，并將爬取到的內(nèi)容進(jìn)行清洗、去重等處理，并保存到本地?cái)?shù)據(jù)庫(kù)中。

2.搜索模塊

索引過(guò)程，將爬取到的資源庫(kù)，保存到ES中。搜索過(guò)程，為用戶提供搜索服務(wù)。

3.數(shù)據(jù)可視化模塊

用戶輸入搜索內(nèi)容，及顯示搜索結(jié)果。

4.后端數(shù)據(jù)處理模塊

用于API解析與處理，如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

二、爬蟲(chóng)模塊的設(shè)計(jì)

爬蟲(chóng)是根據(jù)既定的要求，有目的地篩選所有符合條件的URL進(jìn)行爬取，并根據(jù)要求提取文本信息，爬蟲(chóng)模塊的設(shè)計(jì)是在基于Scrapy-redis組件的基礎(chǔ)上進(jìn)行進(jìn)行功能的擴(kuò)展，主要模塊包括頁(yè)面爬取功能子模塊，URL過(guò)濾功能子模塊，文本相似過(guò)濾功能子模塊。

1.頁(yè)面爬取功能子模塊

1.1 Scrapy爬蟲(chóng)系統(tǒng)及反反爬蟲(chóng)策略

Scrapy主要包含引擎（Scrapy Engine）、調(diào)度器（Scheduler）、下載器（Downloader）、爬蟲(chóng)（Spiders）、項(xiàng)目管道（Item Pipeline）、下載器中間件（Downloader Middlewares）、爬蟲(chóng)中間件（Spider Middlewares）、調(diào)度中間件（Scheduler Middlewares）。

Engine是整個(gè)框架的“大腦”，控制爬蟲(chóng)的運(yùn)行。Spider通過(guò)自定義設(shè)置控制Engine向調(diào)度器發(fā)送指令，調(diào)度器得到指令后處理后發(fā)送請(qǐng)求給下載器，下載器根據(jù)接受的請(qǐng)求從互聯(lián)網(wǎng)下載相關(guān)鏡像到本地，再傳遞給spiders，spiders對(duì)數(shù)據(jù)進(jìn)行處理，之后將數(shù)據(jù)傳入項(xiàng)目管道保存或輸出，獲取的URL發(fā)送到Engine進(jìn)行驗(yàn)證處理，已爬取的URL會(huì)被丟掉，未爬取的URL排序后傳遞到調(diào)度器待下載隊(duì)列，準(zhǔn)備下一步抓取。只要調(diào)度器不為空，爬蟲(chóng)將一直運(yùn)行下去[3]，如圖2所示。

圖2 爬蟲(chóng)的基本流程圖

為了爬取網(wǎng)頁(yè)內(nèi)容，提取相關(guān)字段，在本文中采用xpath正則表達(dá)式來(lái)匹配相關(guān)字段，選擇相應(yīng)DOM元素，將其下載到items中，最后保存到數(shù)據(jù)庫(kù)中。在本文中，將爬取的目標(biāo)選擇了食品伙伴網(wǎng)（http：//www.foodmate.net/） ，相對(duì)應(yīng)字段的Xpath表達(dá)式為：

對(duì)于本次反反爬蟲(chóng)策略，主要采用的是設(shè)置User-Agent，通過(guò)github上開(kāi)源模塊fake-useragent模塊來(lái)動(dòng)態(tài)的改變User-Agent值從而直接更改header中的User-Agent值來(lái)達(dá)到目的。

1.2 分布式爬蟲(chóng)

在本文中，爬蟲(chóng)模塊是基于Scrapy-Redis分布式爬蟲(chóng)主從架構(gòu)構(gòu)建而成，使用Redis服務(wù)器作為任務(wù)隊(duì)列，將主服務(wù)器作為控制節(jié)點(diǎn)負(fù)責(zé)所有從服務(wù)器運(yùn)行網(wǎng)絡(luò)爬蟲(chóng)的主機(jī)進(jìn)行管理，爬蟲(chóng)只需要從控制節(jié)點(diǎn)那里接收任務(wù)，并把新生成任務(wù)提交給控制節(jié)點(diǎn)，如圖3所示。

圖3 分布式爬蟲(chóng)的策略示意圖

其中，主服務(wù)器主要負(fù)責(zé)URL去重和任務(wù)分配，而從服務(wù)器主要負(fù)責(zé)爬蟲(chóng)任務(wù)。

2.URL過(guò)濾功能子模塊

在進(jìn)行數(shù)據(jù)爬取時(shí)，若不進(jìn)行URL去重，不僅會(huì)降低爬蟲(chóng)的效率，還會(huì)造成儲(chǔ)存資源的浪費(fèi)。Scrapy框架默認(rèn)的URL去重方法由dupefilters去重器通過(guò)RFPDupeFilter 類實(shí)現(xiàn)，RFPDupeFilter類會(huì)對(duì)每一個(gè)請(qǐng)求生成信息指紋fp，但是這種URL去重方法比較耗費(fèi)內(nèi)存，而本文采用的是通過(guò)Bloom Filter算法的布隆過(guò)濾器就可以很好的改進(jìn)這個(gè)問(wèn)題。

Scrapy-redis默認(rèn)的去重模塊RFPDupeFilter主要通過(guò)fp（指紋）標(biāo)準(zhǔn)過(guò)濾，去重結(jié)構(gòu)使用的是redis中的集合（set）實(shí)現(xiàn)去重功能。在計(jì)算機(jī)中通過(guò)鏈表的數(shù)據(jù)結(jié)構(gòu)來(lái)儲(chǔ)存集合，而redis是內(nèi)存數(shù)據(jù)庫(kù)，也就意味著所有爬取的請(qǐng)求、數(shù)據(jù)，去重集合都會(huì)存在內(nèi)存中，請(qǐng)求隊(duì)列會(huì)隨著爬取的進(jìn)行。動(dòng)態(tài)出入，不會(huì)無(wú)限疊加，爬取到的數(shù)據(jù)一般會(huì)轉(zhuǎn)移到其他數(shù)據(jù)庫(kù)，也不會(huì)無(wú)限疊加，但去重集合會(huì)隨著爬取的進(jìn)行，添加新的指紋，導(dǎo)致占用的內(nèi)存空間不斷增大，最終可能影響系統(tǒng)的性能。而布隆過(guò)濾器這種比較巧妙的概率型數(shù)據(jù)結(jié)構(gòu)相比于傳統(tǒng)的List、Set、Map等數(shù)據(jù)結(jié)構(gòu)，更高效，占用空間更少。

3.文本相似過(guò)濾功能子模塊

該模塊通過(guò)Scrapy提供的Item pipeline組件機(jī)制實(shí)現(xiàn)了一個(gè)對(duì)文本去重的方法類，通過(guò)編寫(xiě)pipeline組件里的類方法，規(guī)定它的執(zhí)行順序，實(shí)現(xiàn)當(dāng)網(wǎng)絡(luò)爬蟲(chóng)的數(shù)據(jù)items通過(guò)時(shí)，與已經(jīng)入庫(kù)的數(shù)據(jù)進(jìn)行相似度判別，相似度較高的items將被丟棄，否則進(jìn)入下一個(gè)pipeline中，直至被保存到數(shù)據(jù)庫(kù)中。

在本文中，對(duì)文本相似度判別的類方法是基于SimHash算法[4]，它通過(guò)調(diào)用Jieba分詞，對(duì)字段內(nèi)容進(jìn)行分詞，運(yùn)用TF-IDF算法從中提取帶有權(quán)重的關(guān)鍵詞特征向量列表，然后將得到的關(guān)鍵詞特征向量列表傳給simHash類中，simHash類實(shí)現(xiàn)Simhash算法的全部流程（關(guān)鍵詞特征向量→哈?！訖?quán)→累加→二值化），進(jìn)而得到該文本64位二進(jìn)制SimHash值，如果待測(cè)文本的SimHash值存在于語(yǔ)義指紋庫(kù)中的，則可以直接判定重復(fù)，否則將比較待測(cè)文本與語(yǔ)義指紋庫(kù)SimHash值的海明距離，一般海明距離小于等于3，則為相似，如 圖4所示。

圖4 文本去重的主要流程圖

4.搜索模塊的設(shè)計(jì)

4.1 ES全文搜索

ES是一款基于Lucene的開(kāi)源工具包，支持分布式的搜索引擎框架，可以實(shí)現(xiàn)海量數(shù)據(jù)的快速儲(chǔ)存和搜索，提供了多種RESTful 風(fēng)格的Web接口，能夠解決各種用例，達(dá)到實(shí)時(shí)搜索的目的。是目前企業(yè)級(jí)應(yīng)用最為常見(jiàn)的搜索引擎框架之一[5]。本文中，采用ES進(jìn)行全文搜索主要包括兩個(gè)過(guò)程：索引過(guò)程和搜索過(guò)程，如圖5所示。

圖5 食品安全搜索整體架構(gòu)圖

由系統(tǒng)的總體整體架構(gòu)可以看出，食品安全搜索引擎的核心是ES服務(wù)器，用于食品安全相關(guān)信息的存儲(chǔ)，同時(shí)返回基于RESTful Web的數(shù)據(jù)接口，返回的數(shù)據(jù)格式為JSON形式，進(jìn)而方便數(shù)據(jù)的二次處理和利用。

4.2 ES索引和搜索過(guò)程

ES在索引過(guò)程中是將爬蟲(chóng)爬取到的數(shù)據(jù)保存并根據(jù)映射定義的字段類型進(jìn)行分詞，然后構(gòu)建倒排索引，最后把數(shù)據(jù)轉(zhuǎn)換成JSON格式存放在文檔里。搜索過(guò)程是根據(jù)用戶輸入的關(guān)鍵字匹配倒排索引表中的文檔集合，然后對(duì)文檔進(jìn)行評(píng)分，排序，高亮等處理，最后把搜索結(jié)果返回給用戶。

ES全文搜索具體的步驟為：在上面爬蟲(chóng)模塊中，已經(jīng)從爬蟲(chóng)系統(tǒng)的pipeline中得到了經(jīng)過(guò)去重處理之后返回的items對(duì)象，此時(shí)需要在pipeline中使用Elasticsearch-dsl將爬取到的items對(duì)象建立索引并保存到ES 中。當(dāng)用戶輸入關(guān)鍵詞進(jìn)行搜索時(shí)，前端界面會(huì)根據(jù)關(guān)鍵詞顯示搜索建議，通過(guò)ES搜索建議接口Completion Suggester實(shí)現(xiàn)自動(dòng)補(bǔ)全功能，后端接收到用戶的搜索內(nèi)容，經(jīng)過(guò)數(shù)據(jù)分析，將關(guān)鍵詞發(fā)送給ES服務(wù)器，并向ES數(shù)據(jù)庫(kù)請(qǐng)求索引內(nèi)容，最后將匹配到的文檔集合返回給前端界面顯示搜索內(nèi)容。

5.食品安全搜索引擎的實(shí)現(xiàn)

食品安全搜索引擎頁(yè)面的實(shí)現(xiàn)主要包括后端數(shù)據(jù)處理模塊和前端數(shù)據(jù)可視化模塊，主要用于用戶輸入搜索內(nèi)容，返回搜索結(jié)果，及搜索結(jié)果的可視化。本文是基于Vue和Django搭建前后端分離的Web項(xiàng)目。使用前后端分離的思想主要是為了解耦合和網(wǎng)站的維護(hù)，以及之后可以在此食品安全搜索引擎的基礎(chǔ)上完善其他有關(guān)食品安全的內(nèi)容，搭建一個(gè)有關(guān)食品安全的信息網(wǎng)站。

5.1 后端數(shù)據(jù)處理模塊

在本文中采用Django框架作為后端數(shù)據(jù)處理模塊。Django是基于Python語(yǔ)言針對(duì)web后端開(kāi)發(fā)的大型應(yīng)用框架。它采用MVC的架構(gòu)模式，M代表Model層（數(shù)據(jù)層），負(fù)責(zé)業(yè)務(wù)對(duì)象與數(shù)據(jù)庫(kù)的對(duì)象關(guān)系映射（ORM）。C代表Controller（控制器），負(fù)責(zé)根據(jù)用戶從”視圖層”輸入的指令，選取”數(shù)據(jù)層”中的數(shù)據(jù)，然后對(duì)其進(jìn)行相應(yīng)的操作，產(chǎn)生最終結(jié)果。V代表View層（視圖層），它接受Web請(qǐng)求并且返回Web響應(yīng)。

對(duì)于前端發(fā)送的數(shù)據(jù)請(qǐng)求，Django中間件（Middlewares）接收到用戶請(qǐng)求并對(duì)request做一些預(yù)處理，通過(guò)URLconf模塊查找對(duì)應(yīng)的視圖模塊然后進(jìn)行路由分發(fā)，對(duì)數(shù)據(jù)請(qǐng)求地址進(jìn)行解析，視圖層接收到請(qǐng)求，調(diào)用View中的函數(shù)，選擇性的通過(guò)Models層訪問(wèn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，將返回給Views層的輸出經(jīng)過(guò)Django中間件的處理，最后將Response返回給客戶端，如圖6所示。

圖6 Django后端處理請(qǐng)求響應(yīng)流程圖

5.2 前端數(shù)據(jù)可視化模塊

本文前端數(shù)據(jù)可視化模塊采用基于MVVM架構(gòu)模式的Vue框架。所謂MVVM架構(gòu)，如下圖7所示，Model代表模型層，主要實(shí)現(xiàn)數(shù)據(jù)的修改和操作業(yè)務(wù)邏輯；View代表視圖層，主要負(fù)責(zé)將數(shù)據(jù)模型轉(zhuǎn)化成可視化內(nèi)容； ViewModel代表視圖模型層，它是溝通模型層和視圖層的橋梁所在。ViewModel層通過(guò)雙向綁定的方式，當(dāng)模型層發(fā)生改變時(shí)，ViewModel層監(jiān)聽(tīng)到模型層的變化，并通知視圖層發(fā)生改變，反之當(dāng)視圖層發(fā)生改變時(shí)會(huì)通知模型層改變。通過(guò)這種模式，可以更快地實(shí)現(xiàn)數(shù)據(jù)的響應(yīng)以及視圖的更新。

圖7 MVVM架構(gòu)

在實(shí)現(xiàn)搜索功能時(shí)，綁定搜索按鈕點(diǎn)擊事件HandleSearch，下面是前端實(shí)現(xiàn)搜索功能的主要程序：

5.3 食品安全搜索引擎搜索功能實(shí)現(xiàn)程序流程

6.系統(tǒng)測(cè)試

在系統(tǒng)測(cè)試中爬取的目標(biāo)選擇了食品伙伴網(wǎng)（http：//www.foodmate.net/），食品伙伴網(wǎng)中涵蓋了大量關(guān)于食品安全信息的新聞資訊，網(wǎng)站結(jié)構(gòu)上，反爬蟲(chóng)策略相對(duì)不是太難，頁(yè)面結(jié)構(gòu)也比較簡(jiǎn)單，很符合目前的要求。

關(guān)于爬取速度方面的測(cè)試，選用三臺(tái)服務(wù)器，一臺(tái)Master服務(wù)器和兩臺(tái)Slave服務(wù)器Master端：騰訊云服務(wù)器CPU 2核，2G內(nèi)存，IP地址（49.233.21.252），centos7.5 64位系統(tǒng)； Slave端分別為： CPU 8核，8G內(nèi)存，IP地址（192.168.43.199），Windows10 64位操作系統(tǒng)； CPU 2核，4G內(nèi)存，IP地址（192.168.1.107），Ubuntun18.04 64位系統(tǒng)。以食品伙伴網(wǎng)為目標(biāo)，運(yùn)行60分鐘，爬取到2282條數(shù)據(jù)。將爬取到的數(shù)據(jù)儲(chǔ)存到Mysql數(shù)據(jù)庫(kù)中。使用MySQLWorkbench可視化工具，展示部分?jǐn)?shù)據(jù)如下所示：

針對(duì)去重清洗方面，經(jīng)測(cè)試爬蟲(chóng)的日志信息提示丟掉約3%與已入庫(kù)文本相似度較高的數(shù)據(jù)，經(jīng)過(guò)確認(rèn)，確實(shí)為重復(fù)數(shù)據(jù)。沒(méi)有出現(xiàn)不能容忍的高誤差數(shù)據(jù)。

搜索引擎界面如下所示：

搜索結(jié)果界面：

總結(jié)

本文采用了Scrapy-redis分布式爬蟲(chóng)框架進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的爬取，然后經(jīng)過(guò)布隆過(guò)濾器過(guò)濾URL及SimHash算法文本去重等一系列措施，實(shí)現(xiàn)對(duì)資源庫(kù)的建立，基于Elasticsearch，構(gòu)建全文搜索引擎，實(shí)現(xiàn)用戶的快捷實(shí)時(shí)搜索。并使用Django+Vue前后端分離架構(gòu)，實(shí)現(xiàn)了搜索引擎的可視化頁(yè)面和交互。本文提出的思想是設(shè)想構(gòu)建一款專門(mén)針對(duì)食品安全的信息網(wǎng)站，其中就有關(guān)于食品安全的全文搜索功能，未來(lái)還需要完善數(shù)據(jù)庫(kù)資源，以及關(guān)于食品安全的不同數(shù)據(jù)資源。