聚焦爬蟲技術(shù)在互聯(lián)網(wǎng)輿情搜索分析系統(tǒng)中的應(yīng)用

米建俊

國家新聞出版廣電總局203臺 內(nèi)蒙古 呼和浩特市 010070

引 言

隨著互聯(lián)網(wǎng)的發(fā)展和技術(shù)提升，根據(jù)CNNIC發(fā)布報告，截至2017年12月，我國網(wǎng)民數(shù)量已達(dá)到7.72億，成為網(wǎng)民大國，由此可見網(wǎng)絡(luò)對民眾生活的重要性。與此同時，網(wǎng)絡(luò)輿論熱點(diǎn)也層出不窮，網(wǎng)上輿情搜索成為了解民眾生活動態(tài)的直接渠道，也是互聯(lián)網(wǎng)管理部門的重要輿論宣傳陣地。據(jù)統(tǒng)計，2018年一季度，重大網(wǎng)絡(luò)輿情及突發(fā)公共事件的傳播和回應(yīng)指數(shù)為97.8，受事件數(shù)量影響，總體指數(shù)有所下降，但重大網(wǎng)絡(luò)輿情及公共突發(fā)事件的回應(yīng)能力、社會效應(yīng)環(huán)比各上升10%。從涉事部門反應(yīng)來看，已逐步建立了基本的網(wǎng)絡(luò)輿情應(yīng)對機(jī)制，網(wǎng)絡(luò)輿情響應(yīng)速度加快。從回應(yīng)渠道來看，仍以微博、微信用戶為主。網(wǎng)民互動與評論引導(dǎo)指數(shù)為103.8。網(wǎng)絡(luò)互動活躍度走高，達(dá)到145，環(huán)比提升20%，網(wǎng)民行為理性度環(huán)比提升5%。其中，新媒體人士輿論引導(dǎo)力較基值（100）提升10%，但互聯(lián)網(wǎng)平臺用戶管理能力略有下降。

1 突發(fā)事件案例分析

據(jù)人民網(wǎng)輿情數(shù)據(jù)中心統(tǒng)計顯示，2018年上半年，互聯(lián)網(wǎng)上熱點(diǎn)話題豐富多樣，輿情熱度高位運(yùn)行，網(wǎng)絡(luò)態(tài)勢總體平穩(wěn)向好。其中，2018年全國兩會、上合組織青島峰會、短視頻監(jiān)管話題、鄭州空姐乘坐滴滴順風(fēng)車遇害案等，成為輿情熱度排名前列的事件。

1.1 具體事件分析

2018年5月5日深夜，空姐李某珠因要回老家參加親戚婚禮在河南鄭州乘坐滴滴順風(fēng)車后失聯(lián)。5月8日，經(jīng)警方證實，李某珠已遇害，兇手系滴滴司機(jī)劉某華。由于案件涉及網(wǎng)約車監(jiān)管、女性安全、隱私侵權(quán)等話題，引起社會各界廣泛關(guān)注，相關(guān)輿情量在5月11日達(dá)到頂峰。

1.2 重要節(jié)點(diǎn)概覽

5月5日23時50分，李某珠從駐勤酒店搭乘網(wǎng)約車前往市區(qū)，途中遇害。

5月9日，河南廣播電視臺都市頻道對事件進(jìn)行報道，引發(fā)輿論關(guān)注。

5月10日，滴滴方面發(fā)布道歉聲明，并懸賞百萬緝拿嫌犯歸案；@平安鄭州發(fā)布警情通報，稱已鎖定嫌犯并全力展開搜捕。

5月11日，鄭州運(yùn)管部門約談滴滴，滴滴被要求立即停止順風(fēng)車業(yè)務(wù)；而警察方面也辟謠稱，“殺害網(wǎng)約車乘客嫌疑人劉某華已被抓獲”等相關(guān)視頻圖片均為不實信息；@王大偉微博發(fā)文“四個不打：女孩乘車的4條鐵律”引發(fā)網(wǎng)民爭議，女性安全問題成為熱門話題；同日晚間，微信公眾號“二更食堂”發(fā)布相關(guān)推文被指“吃人血饅頭”“消費(fèi)死者”，遭多位讀者舉報。

5月12日，嫌疑人尸體被打撈上岸，案件自此告破；@平安鄭州通報稱擅自傳播空姐命案現(xiàn)場照片的4人被刑拘；“二更食堂”負(fù)責(zé)人被當(dāng)?shù)鼐W(wǎng)信辦約談。

5月13日，二更創(chuàng)始人為公眾號不當(dāng)發(fā)文深夜道歉，稱永久關(guān)?！岸程谩薄?/p>

5月16日，滴滴公布階段整改措施，順風(fēng)車服務(wù)將下線所有個性化標(biāo)簽和評論功能，車主每次接單前必須進(jìn)行人臉識別，且暫停接受22點(diǎn)至6點(diǎn)出發(fā)的訂單。如圖1所示。

圖1 “空姐深夜滴滴打車遇害”案傳播趨勢

此事件被公眾知曉是緣于河南電視臺的報道，隨后媒體及網(wǎng)民的相繼報道與傳播，使得事件影響力逐步擴(kuò)大。@王大偉、@局面、@良心評測等大V賬號的發(fā)言使得事件討論熱度迅速攀升至頂峰，女性安全是否要靠自我防范、號召滴滴平臺去掉“乘客評價”成為網(wǎng)民關(guān)注的焦點(diǎn)。5月12日，隨著案件宣布告破，輿論關(guān)注度持續(xù)下降。5月16日，大量網(wǎng)民針對“滴滴公布階段整改措施”展開討論，有質(zhì)疑也有建議，使得事件輿情量有回升趨勢。

1.3 傳播平臺

有關(guān)“空姐深夜滴滴打車遇害”的輿情信息中，傳播量位居首位的平臺為微博。雖然在此次事件傳播過程中，微博并非最早爆料平臺，但卻為事件發(fā)酵提供了重要環(huán)境，平臺內(nèi)信息直接引領(lǐng)整個輿論場的走勢，部分大V賬號發(fā)言引發(fā)高度關(guān)注，比如@王大偉發(fā)文指出“女孩乘車的4條鐵律”一度被轉(zhuǎn)發(fā)8.82萬次，@王語漩發(fā)文爆料“同事曾被嫌犯騷擾投訴無果”被轉(zhuǎn)發(fā)3.23萬次，@良心評測發(fā)文號召“請滴滴移除乘客評價功能”被轉(zhuǎn)發(fā)2.2萬次，而@平安鄭州、@河南網(wǎng)警巡查執(zhí)法等官方賬號的動態(tài)回應(yīng)與辟謠，也在一定程度上引發(fā)平臺內(nèi)網(wǎng)民的關(guān)注。

新聞客戶端與新聞網(wǎng)站分別為傳播量第二、第三的平臺，由此可見，互聯(lián)網(wǎng)時代，媒體作為新聞的報道者與發(fā)布者，依然對點(diǎn)燃事件熱度起著重要作用。值得注意的是，天天快報、今日頭條、百度新聞等新聞客戶端在事件發(fā)展過程中進(jìn)行了大量發(fā)文推送，推動了事件的進(jìn)一步發(fā)酵。

該起輿情由于涉及到多個敏感新聞元素如空姐、美女、性侵、滴滴順風(fēng)車等，引發(fā)大量媒體第一時間介入報道，與自媒體爭奪點(diǎn)擊量態(tài)勢十分明顯，是導(dǎo)致輿情急劇升溫的主要原因。這起事件引起輿論的高度關(guān)注，相關(guān)輿情量急劇上升，其帶來的社會影響之大足以帶給多方面的思考。

習(xí)近平總書記強(qiáng)調(diào)“建設(shè)網(wǎng)絡(luò)良好生態(tài)，發(fā)揮網(wǎng)絡(luò)引導(dǎo)輿論、反映民意的作用”。在網(wǎng)絡(luò)日益普及的今天，網(wǎng)絡(luò)信息中承載著大量的輿情熱點(diǎn)，如何提取這些有用信息并以加利用成為目前亟待解決的難題。

2 聚焦爬蟲工作原理及關(guān)鍵技術(shù)

聚焦爬蟲的工作流程較傳統(tǒng)爬蟲有所不同，需要在算法內(nèi)分析并過濾與主題相關(guān)的網(wǎng)頁，保留與主題相關(guān)的網(wǎng)頁和鏈接，并將其存入等待抓取的網(wǎng)頁URL。再根據(jù)指定的搜索算法從URL隊列中分析有用的URL，多次重復(fù)以上算法，直到滿足搜索的停止條件。同時，被爬蟲抓取的網(wǎng)頁URL被系統(tǒng)記錄，通過一定算法進(jìn)行分析并過濾，建立索引目錄，方便今后查詢和檢索。同時，聚焦爬蟲在搜索過程中能夠?qū)σ院蟮臋z索產(chǎn)生反饋和指導(dǎo)。

與傳統(tǒng)網(wǎng)絡(luò)爬蟲相比，聚焦爬蟲在三方面進(jìn)行了優(yōu)化：對具體搜索目標(biāo)的描述；對網(wǎng)頁或鏈接的分析策略；對URL的搜索算法。

具體搜索目標(biāo)的描述是決定網(wǎng)頁分析策略與URL搜索算法的基礎(chǔ)。而網(wǎng)頁或鏈接的分析策略和對URL搜索算法是對搜索引擎在全互聯(lián)網(wǎng)搜索最終結(jié)果產(chǎn)生很大影響。

目前聚焦爬蟲對抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念三種。基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲并索引的對象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取方式可分為：預(yù)設(shè)初始種子樣本；預(yù)設(shè)網(wǎng)頁分類目錄對應(yīng)的種子樣本；分析用戶搜索的樣本。

基于目標(biāo)數(shù)據(jù)模式的爬蟲針對的是網(wǎng)頁上的數(shù)據(jù)，所抓取的數(shù)據(jù)要按照一定的模式，可以轉(zhuǎn)化為目標(biāo)數(shù)據(jù)模式。

基于領(lǐng)域概念的爬蟲是建立目標(biāo)領(lǐng)域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。

結(jié)束語

綜上所述，將聚焦爬蟲技術(shù)應(yīng)用于互聯(lián)網(wǎng)輿情搜索與分析系統(tǒng)中，能夠高效的完成網(wǎng)絡(luò)熱點(diǎn)節(jié)目、敏感節(jié)目、輿情信息、網(wǎng)站總體情況、最新發(fā)現(xiàn)情況等信息的檢索，為用戶第一時間全面掌握互聯(lián)網(wǎng)輿情的傳播情況提供保障。