網(wǎng)絡(luò)爬蟲在輿情監(jiān)測中的實(shí)踐探索

繆治 任敏敏

摘要：互聯(lián)網(wǎng)時(shí)代的來臨，信息的傳播速度加快，人民群眾對(duì)于社會(huì)事件的意見表達(dá)越來越方便，為輿情監(jiān)測的工作帶來了不小的壓力，該文首先對(duì)網(wǎng)絡(luò)爬蟲與輿情監(jiān)測進(jìn)行了簡要概述;其次，對(duì)于網(wǎng)絡(luò)爬蟲在輿情監(jiān)測發(fā)展中的重要性進(jìn)行綜合分析;最后，針對(duì)如何優(yōu)化網(wǎng)絡(luò)爬蟲在輿情監(jiān)測中的應(yīng)用提出三點(diǎn)合理性建議。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲;大數(shù)據(jù)時(shí)代;輿情監(jiān)測

中圖分類號(hào)：TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）19-0046-02

隨著信息時(shí)代的不斷發(fā)展，互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代的來臨，對(duì)于輿論監(jiān)測的能力也需要不斷地升級(jí)，網(wǎng)絡(luò)上言論更加自由，對(duì)于社會(huì)熱點(diǎn)問題網(wǎng)民都愿意進(jìn)行積極的討論和意見的表達(dá)，為了社會(huì)的穩(wěn)定發(fā)展和網(wǎng)絡(luò)環(huán)境的凈化需要對(duì)社會(huì)輿情進(jìn)行監(jiān)控，對(duì)輿論進(jìn)行正確的引導(dǎo)，在輿情監(jiān)測的工作過程中網(wǎng)絡(luò)爬蟲的應(yīng)用實(shí)踐越來越廣泛，本文針對(duì)網(wǎng)絡(luò)爬蟲在輿情監(jiān)測中的實(shí)踐探索進(jìn)行綜合分析。

1 網(wǎng)絡(luò)爬蟲與輿情監(jiān)測概述

1.1 網(wǎng)絡(luò)爬蟲概述

網(wǎng)絡(luò)爬蟲也稱為網(wǎng)絡(luò)蜘蛛，是一種互聯(lián)網(wǎng)追逐者，根據(jù)相應(yīng)的規(guī)則對(duì)網(wǎng)絡(luò)上的信息進(jìn)行收集和搜索，網(wǎng)絡(luò)爬蟲現(xiàn)今共具有四種形式：（1）傳統(tǒng)式網(wǎng)絡(luò)爬蟲，是對(duì)于主要的門戶網(wǎng)站都進(jìn)行數(shù)據(jù)采集的一種方式，傳統(tǒng)的網(wǎng)絡(luò)爬蟲由于數(shù)據(jù)多，盡管運(yùn)行比較慢，但是信息的收集范圍廣;（2）聚焦式網(wǎng)絡(luò)爬蟲，也稱主題式網(wǎng)絡(luò)爬蟲，是可以根據(jù)選擇好的主題進(jìn)行專項(xiàng)的信息搜集，針對(duì)特定的領(lǐng)域和主題，具有針對(duì)性地滿足特定的需要;（3）增量式網(wǎng)絡(luò)爬蟲，是僅針對(duì)正在運(yùn)行的網(wǎng)頁進(jìn)行搜集，可以保證信息的及時(shí)性，可以有效地減少信息收集的復(fù)雜程度，但是對(duì)于信息的收集不全面;（4）深層式網(wǎng)絡(luò)爬蟲，是針對(duì)互聯(lián)網(wǎng)深層次的信息進(jìn)行整合，一般是將信息形成表單的形式，表單有根據(jù)領(lǐng)域知識(shí)進(jìn)行信息整合的表單與網(wǎng)頁結(jié)構(gòu)的信息分析整合表單[1]。

1.2 互聯(lián)網(wǎng)輿情監(jiān)測現(xiàn)狀

網(wǎng)絡(luò)輿情是指人民群眾對(duì)社會(huì)發(fā)生的熱點(diǎn)事件以及對(duì)事件的后續(xù)發(fā)展保有什么樣的看法，是在人民群眾共同參與討論后形成的社會(huì)輿論，現(xiàn)如今對(duì)于社會(huì)輿論的討論大多存在于互聯(lián)網(wǎng)上，國家和相關(guān)部門需要對(duì)社會(huì)輿論進(jìn)行實(shí)時(shí)的監(jiān)督和管控，國家要做到組織輿論、引導(dǎo)輿論、輿論批評(píng)和輿論監(jiān)督，因此要在組織和引導(dǎo)輿論之前進(jìn)行輿情的調(diào)查和監(jiān)控。網(wǎng)民對(duì)于輿情的表達(dá)具有廣泛性和及時(shí)性，每一個(gè)網(wǎng)絡(luò)用戶都可以自由地表達(dá)想法，由于網(wǎng)絡(luò)發(fā)言過于自由，網(wǎng)民沒有足夠的自律，因此，網(wǎng)絡(luò)上經(jīng)常出現(xiàn)錯(cuò)誤的信息傳播，影響網(wǎng)絡(luò)環(huán)境的健康有序。網(wǎng)絡(luò)輿論在現(xiàn)今的發(fā)展中對(duì)于社會(huì)的影響是巨大的，人云亦云的現(xiàn)象也屢見不鮮，對(duì)于社會(huì)熱點(diǎn)問題的表達(dá)需要進(jìn)行輿情監(jiān)測，做出及時(shí)的引導(dǎo)和管理。

2 網(wǎng)絡(luò)爬蟲在輿情監(jiān)測發(fā)展中的重要性

2.1 網(wǎng)絡(luò)爬蟲具有的特質(zhì)

網(wǎng)絡(luò)爬蟲具有三種特質(zhì)，首先，廣度信息搜索，互聯(lián)網(wǎng)信息來源廣泛、信息量巨大，運(yùn)用網(wǎng)絡(luò)爬蟲進(jìn)行信息收集時(shí)可以先用廣度信息搜索進(jìn)行初始的篩選，這樣可以將大量的無用信息去除，只留下相關(guān)信息;其次，最佳信息搜索，是通過對(duì)主題最具相關(guān)性的信息進(jìn)行收集，這一特質(zhì)可以將信息整合的精準(zhǔn)度進(jìn)行提升，對(duì)于所需的信息進(jìn)行最優(yōu)化的整合，得到最有用的信息;最后，深度信息搜索，互聯(lián)網(wǎng)信息有很多的鏈接，具有不同的層次，網(wǎng)絡(luò)爬蟲可以追蹤溯源，鉆到深層，尋找到信息的起源。網(wǎng)絡(luò)爬蟲根據(jù)三種不同的特質(zhì)對(duì)信息進(jìn)行多種方式的整合和抓取，可以提高信息的過濾程度，再應(yīng)用到各個(gè)領(lǐng)域之中[2]。

2.2 網(wǎng)絡(luò)爬蟲在輿情監(jiān)測中的優(yōu)勢

網(wǎng)絡(luò)爬蟲可以幫助完善輿情監(jiān)測的工作機(jī)制，通過對(duì)信息的綜合分析可以建立相關(guān)的專業(yè)輿情管理部門，由專業(yè)人員對(duì)網(wǎng)絡(luò)爬蟲的信息進(jìn)行監(jiān)控、跟蹤和整合，輿情監(jiān)測的工作人員根據(jù)網(wǎng)絡(luò)爬蟲的特點(diǎn)可以對(duì)信息進(jìn)行分析形成更準(zhǔn)確的監(jiān)測結(jié)果。網(wǎng)絡(luò)爬蟲對(duì)于信息的整理更加專業(yè)，可以形成對(duì)輿情工作的專業(yè)流程，專業(yè)平臺(tái)，對(duì)微博、貼吧等社交平臺(tái)進(jìn)行實(shí)時(shí)的監(jiān)控，運(yùn)用主題網(wǎng)絡(luò)爬蟲的方式對(duì)某一話題進(jìn)行持續(xù)的跟蹤監(jiān)測，可以提高對(duì)輿情監(jiān)控的效率。網(wǎng)絡(luò)爬蟲的應(yīng)用可以形成定期的輿情匯報(bào)，定時(shí)設(shè)置網(wǎng)絡(luò)爬蟲的輿情監(jiān)測，通過平時(shí)的專業(yè)化管理，可以對(duì)輿情進(jìn)行最新形式的監(jiān)控，可以在事件熱度升起前就形成輿情的前期準(zhǔn)備，以備不時(shí)之需。

3 如何優(yōu)化網(wǎng)絡(luò)爬蟲在輿情監(jiān)測中的應(yīng)用

3.1 網(wǎng)絡(luò)爬蟲技術(shù)的升級(jí)

網(wǎng)絡(luò)爬蟲現(xiàn)如今是輿情監(jiān)測的主要手段，想要高效地完成輿論監(jiān)測，必須從根本上提升網(wǎng)絡(luò)爬蟲的技術(shù)，網(wǎng)絡(luò)爬蟲抓取信息的速度通過科學(xué)技術(shù)手段進(jìn)行升級(jí)革新，信息處理速度是衡量網(wǎng)絡(luò)爬蟲應(yīng)用效率高低的基礎(chǔ)手段，現(xiàn)今的網(wǎng)絡(luò)爬蟲對(duì)信息的抓取是隔一段時(shí)間進(jìn)行一次信息的抓取，通過技術(shù)的革新將信息抓取隔斷時(shí)間有效縮短。與此同時(shí)，還要增加網(wǎng)絡(luò)爬蟲的主題，很多的話題還不能進(jìn)行主題式的網(wǎng)絡(luò)爬蟲搜索，隨著信息更新的速度不斷加快，網(wǎng)絡(luò)輿情的信息更新也要提升速度，進(jìn)行主題優(yōu)化，將與主題相關(guān)的信息進(jìn)行整合，優(yōu)化網(wǎng)絡(luò)爬蟲的搜索范圍，跟上信息的更新速度。網(wǎng)絡(luò)爬蟲對(duì)于技術(shù)的升級(jí)可以將重點(diǎn)放在專業(yè)規(guī)模的形成，形成專業(yè)的數(shù)據(jù)庫，對(duì)過往的信息整合數(shù)據(jù)進(jìn)行分析，形成對(duì)輿情監(jiān)測的趨勢整理，可以增加對(duì)于輿情預(yù)測的可能性，對(duì)于信息的收集不能僅限于收集，對(duì)于準(zhǔn)確度的把控的要形成科學(xué)的篩選[3]。

3.2 輿情工作的多元化轉(zhuǎn)型

輿情監(jiān)測的工作根據(jù)現(xiàn)如今的新媒體、大數(shù)據(jù)時(shí)代也要進(jìn)行相應(yīng)的升級(jí)與轉(zhuǎn)型，輿情監(jiān)測需要進(jìn)行多元化的轉(zhuǎn)型，通過各種各樣的社交平臺(tái)，增加了信息的獲取渠道，表達(dá)意見和看法的平臺(tái)也增加了很多，網(wǎng)絡(luò)信息的可控性降低，輿論更加多種多樣，對(duì)于輿情監(jiān)測的形式也需要進(jìn)行多元化的把控。同時(shí)輿情監(jiān)測的內(nèi)容也需要進(jìn)行多元化的整合，舊式輿情監(jiān)測多是單一的內(nèi)容識(shí)別，對(duì)于內(nèi)容與內(nèi)容之間的關(guān)系沒有過多的研究，大數(shù)據(jù)時(shí)代，信息與信息之間、話題與話題之間都是有一定聯(lián)系的，為輿論背后的行為動(dòng)機(jī)進(jìn)行綜合分析。輿情監(jiān)測已經(jīng)不能滿足我國對(duì)于輿情的管控調(diào)整，輿情監(jiān)測需要向輿論預(yù)測的方向進(jìn)行轉(zhuǎn)變，對(duì)于未來的發(fā)展進(jìn)行可行性分析。輿情工作的多元化轉(zhuǎn)型有利于網(wǎng)絡(luò)爬蟲的進(jìn)一步應(yīng)用，共同促進(jìn)社會(huì)發(fā)展。

3.3 網(wǎng)絡(luò)爬蟲與輿情監(jiān)測的進(jìn)一步融合

輿情監(jiān)測的發(fā)展存在著傳統(tǒng)化的思想，還沒有對(duì)大數(shù)據(jù)時(shí)代進(jìn)行更新認(rèn)識(shí)，網(wǎng)絡(luò)爬蟲應(yīng)用對(duì)于信息的監(jiān)控認(rèn)識(shí)不到位，沒有形成專業(yè)的規(guī)模，很多的輿情監(jiān)控部門僅僅是幾個(gè)人的小部門，對(duì)于信息的大數(shù)據(jù)分析不能滿足現(xiàn)今輿情監(jiān)測的需求。對(duì)于網(wǎng)絡(luò)爬蟲的應(yīng)用需要專業(yè)性的人才進(jìn)行人工智能的操作，輿情管理的人員能力需要進(jìn)行大數(shù)據(jù)思維的轉(zhuǎn)變，按照新思維的發(fā)展才能將網(wǎng)絡(luò)爬蟲技術(shù)不斷升級(jí)換代與輿情監(jiān)測進(jìn)行完美融合，未來的輿情監(jiān)測將會(huì)分工越來越細(xì)致，各司其職又相互配合。隨著人工智能的不斷發(fā)展，網(wǎng)絡(luò)爬蟲越來越智能，專業(yè)部門需要將人工智能的網(wǎng)絡(luò)爬蟲功能進(jìn)行專業(yè)性質(zhì)的開發(fā)和研究，進(jìn)行優(yōu)化數(shù)據(jù)處理，輿情工作轉(zhuǎn)型和網(wǎng)絡(luò)爬蟲升級(jí)同時(shí)進(jìn)行，團(tuán)隊(duì)工作人員知識(shí)技能提升，互相配合、互相促進(jìn)，才能將輿情監(jiān)測的工作逐漸智能化。

4 結(jié)語

綜上所述，現(xiàn)今是互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代，任何人都可以通過互聯(lián)網(wǎng)進(jìn)行社交和意見表達(dá)，網(wǎng)絡(luò)輿論具有自發(fā)性。隨著新媒體、大數(shù)據(jù)技術(shù)的廣泛應(yīng)用，以及各種社交軟件的不斷涌現(xiàn)，網(wǎng)絡(luò)輿情越來越能夠反映出各種事件的民意導(dǎo)向，對(duì)各級(jí)決策部門搜集民聲、預(yù)測事件發(fā)展動(dòng)向都起著重要的作用，因此網(wǎng)絡(luò)輿情分析變得越來越不可或缺。網(wǎng)絡(luò)爬蟲可以高效、快速地爬取網(wǎng)絡(luò)信息，實(shí)現(xiàn)對(duì)輿情的獲取和分析，從而為輿情信息的提取提供了一種較好的思路。

參考文獻(xiàn)：

[1] 楊凌云.主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)的應(yīng)用探討[J].電腦編程技巧與維護(hù)，2018（11）：33-35.

[2] 李臣臣，肖巍.網(wǎng)絡(luò)爬蟲技術(shù)在高校學(xué)生行為分析系統(tǒng)的應(yīng)用研究[J].電腦迷，2018（06）：72.

[3] 王碧瑤.基于Python的網(wǎng)絡(luò)爬蟲技術(shù)研究[J].數(shù)字技術(shù)與應(yīng)用，2017（05）：76.

【通聯(lián)編輯：代影】