基于Web數(shù)據(jù)挖掘的網(wǎng)絡(luò)輿情分析技術(shù)研究

【摘 要】近年來(lái)，互聯(lián)網(wǎng)飛速發(fā)展，更多的人參與到公共事件的討論中，而負(fù)面信息的廣泛傳播威脅了社會(huì)的穩(wěn)定。因此，我們要加強(qiáng)對(duì)網(wǎng)絡(luò)輿情信息的分析，及時(shí)對(duì)民意做出正確引導(dǎo)。 這種情況下，Web數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。本文首先介紹了Web挖掘技術(shù)，其次對(duì)基于Web數(shù)據(jù)挖掘的網(wǎng)絡(luò)輿情進(jìn)行分析，最后用實(shí)例分析Web挖掘技術(shù)是如何提高對(duì)輿情的分析能力的。

【關(guān)鍵詞】Web挖掘、網(wǎng)絡(luò)輿情、分析處理

0 引言

網(wǎng)絡(luò)輿情作為一種十分重要的輿情表現(xiàn)形式，是公眾在互聯(lián)網(wǎng)上對(duì)某種社會(huì)現(xiàn)象或社會(huì)問題公開表達(dá)的具有一定影響力和傾向性的共同意見。要加強(qiáng)對(duì)網(wǎng)絡(luò)輿情信息的分析，及時(shí)發(fā)現(xiàn)輿情熱點(diǎn)，及時(shí)對(duì)民意走勢(shì)做出正確引導(dǎo)。在此情況下，我們引入Web數(shù)據(jù)挖掘技術(shù)來(lái)提高對(duì)輿情的處理和分析的效率以及質(zhì)量，實(shí)現(xiàn)網(wǎng)絡(luò)輿情的分析。

1 Web挖掘

Web挖掘是數(shù)據(jù)挖掘在Web上的應(yīng)用，它是一種綜合使用自然語(yǔ)言處理、數(shù)據(jù)挖掘、人工智能、機(jī)器學(xué)習(xí)等技術(shù)的智能分析方法。根據(jù)挖掘?qū)ο蟮牟煌琖eb挖掘可以分為Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘三個(gè)方面。相比于傳統(tǒng)的網(wǎng)絡(luò)輿情分析方法，Web挖掘可以用更短的時(shí)間了解網(wǎng)絡(luò)輿情的狀況和走向以及與之相關(guān)聯(lián)的熱點(diǎn)問題，為網(wǎng)絡(luò)輿情的深入分析提供了技術(shù)支持。

1.1Web內(nèi)容挖掘。Web內(nèi)容挖掘是指從Web文檔的內(nèi)容或者Web搜索的結(jié)果中獲取知識(shí)的過程。由于網(wǎng)頁(yè)的內(nèi)容錯(cuò)綜復(fù)雜不易于計(jì)算機(jī)理解，Web內(nèi)容挖掘可以有效的對(duì)大量的Web文本集合進(jìn)行總結(jié)、分類、聚類、關(guān)聯(lián)分析，以及利用Web文本進(jìn)行趨勢(shì)預(yù)測(cè)。在網(wǎng)絡(luò)輿情分析中，Web內(nèi)容挖掘可以發(fā)現(xiàn)與事件主題相關(guān)的知識(shí)內(nèi)容和語(yǔ)義關(guān)聯(lián)模式。

1.2Web結(jié)構(gòu)挖掘。Web結(jié)構(gòu)挖掘是指對(duì)Web組織結(jié)構(gòu)、Web頁(yè)面的鏈接關(guān)系等進(jìn)行挖掘并從中提取出潛在的有用的知識(shí)的過程。Web鏈接信息包括了大量的關(guān)于Web內(nèi)容相關(guān)性、質(zhì)量和結(jié)構(gòu)方面的信息，為網(wǎng)絡(luò)輿情的分析的提供了重要資源。通過Web結(jié)構(gòu)挖掘，可以獲得與輿情主題高度相關(guān)的鏈接以及鏈接邏輯結(jié)構(gòu)的語(yǔ)義知識(shí)，從而幫助輿情分析人員確定重要輿情源和中心頁(yè)面，有助于深入挖掘輿情信息。

1.3Web使用挖掘。Web使用挖掘是指通過挖掘Web服務(wù)器上的日志信息來(lái)提取瀏覽者的訪問記錄，獲取有價(jià)值的信息的過程。這些信息包括網(wǎng)絡(luò)服務(wù)器訪問記錄、代理服務(wù)器日志記錄、瀏覽器日志記錄、用戶信息、注冊(cè)記錄、用戶對(duì)話或交易信息、用戶提問等。通過上述信息可以發(fā)現(xiàn)用戶的訪問模式以及行為偏好，可以更好地理解用戶行為從而提供智能化的服務(wù)。通過Web使用挖掘，可以確定輿情熱點(diǎn)和焦點(diǎn)，從而更準(zhǔn)確地預(yù)測(cè)網(wǎng)民行為。

2 基于Web數(shù)據(jù)挖掘的網(wǎng)絡(luò)輿情分析

2.1數(shù)據(jù)層。輿情信息采集的主要任務(wù)是提取與熱點(diǎn)相關(guān)度高的信息，為下面的輿情挖掘和分析做好準(zhǔn)備工作。輿情信息采集由以下5步完成。

（1）確定主題和選擇采集地點(diǎn)。為了使采集效果更好，必須以主題的形式對(duì)信息需求進(jìn)行描述。

（2）利用自動(dòng)采集軟件采集數(shù)據(jù)。數(shù)據(jù)采集軟件可以自動(dòng)采集相關(guān)信息，并下載到本地進(jìn)行分析。

（3）頁(yè)面分析。采集完頁(yè)面之后，對(duì)頁(yè)面進(jìn)行分析，提取重要信息，以便進(jìn)行后續(xù)的過濾和處理。

（4）URL與主題的相關(guān)性判斷。在采集過程中增加過濾機(jī)制以便提高采集數(shù)據(jù)的質(zhì)量。

（5）頁(yè)面過濾。對(duì)采集頁(yè)面進(jìn)行主題相關(guān)性評(píng)價(jià)，去除相關(guān)性低的頁(yè)面，從而提高采集頁(yè)面的準(zhǔn)確性。

2.2 挖掘?qū)?。挖掘?qū)又饕烧Z(yǔ)義信息集成和Web挖掘引擎兩部分組成，而且語(yǔ)義信息集成為Web挖掘引擎提供經(jīng)預(yù)處理后的結(jié)構(gòu)化信息，簡(jiǎn)化并加速 了Web挖掘處理。

（1）語(yǔ)義信息集成。由于數(shù)據(jù)層的數(shù)據(jù)來(lái)自于不同的媒介，因而在結(jié)構(gòu)和語(yǔ)義上都存在很多的不同，需要對(duì)其進(jìn)行統(tǒng)一處理，并根據(jù)需要利用智能信息處理技術(shù)進(jìn)行深入的預(yù)分析，從而提高挖掘引擎的效能和健壯性。

（2）Web挖掘引擎。Web挖掘引擎是網(wǎng)絡(luò)輿情分析的動(dòng)力部分，執(zhí)行Web挖掘任務(wù)。它定義了Web挖掘模型語(yǔ)言，選取了合適的挖掘算法和工具。其主要目的是從大量的網(wǎng)絡(luò)輿情信息中提取規(guī)律，并預(yù)測(cè)事件的發(fā)展趨勢(shì)。可根據(jù)網(wǎng)絡(luò)輿情信息源的特點(diǎn)，從多個(gè)方面更加深入的進(jìn)行挖掘處理。

2.3分析層。分析層是核心部分，其主要技術(shù)應(yīng)用于對(duì)網(wǎng)絡(luò)輿情信息的智能分析，該分析從六個(gè)層面進(jìn)行，分別是：主體類聚分析、語(yǔ)義關(guān)聯(lián)分析、概念描述、趨勢(shì)預(yù)測(cè)分析、主題識(shí)別探測(cè)和傾向性分析。其功能主要是將經(jīng)過挖掘處理后的知識(shí)進(jìn)行描述，并生成網(wǎng)絡(luò)輿情分析報(bào)告來(lái)輔助決策機(jī)構(gòu)。

2.4應(yīng)用層。應(yīng)用層的出現(xiàn)首先方便了與用戶之間的交互。用戶可以通過軟件來(lái)指導(dǎo)網(wǎng)絡(luò)輿情信息的采集、挖掘和分析處理，從而發(fā)現(xiàn)隱藏的規(guī)律和發(fā)展趨勢(shì)，同時(shí)也更易于輿情信息的理解和分析結(jié)果的應(yīng)用。其次，為后續(xù)工作提供接口。由于計(jì)算機(jī)不能對(duì)隨機(jī)出現(xiàn)的各種警情進(jìn)行判斷，因此需要提供系統(tǒng)交互接口，可以讓專家進(jìn)行分析，實(shí)現(xiàn)人機(jī)互動(dòng)，從而提高輿情分析的準(zhǔn)確性。

3 基于Web挖掘的網(wǎng)絡(luò)輿情分析系統(tǒng)實(shí)例分析

本文以方正智思輿情預(yù)警輔助決策支持系統(tǒng)為例，討論Web挖掘技術(shù)在網(wǎng)絡(luò)輿情分析中的應(yīng)用。正智思輿情預(yù)警輔助決策支持系統(tǒng)是一款由北大方正技術(shù)研究院研發(fā)而成的中文智能信息挖掘與處理的平臺(tái)軟件。其核心技術(shù)為中文信息處理技術(shù)與Web挖掘技術(shù)，采用B/S結(jié)構(gòu)，利用J2EE技術(shù)框架，實(shí)現(xiàn)基于瀏覽器的瘦客戶、服務(wù)器模式。它不僅能對(duì)輿情信息進(jìn)行全方位采集，還能對(duì)輿情信息進(jìn)行智能分析處理。其實(shí)時(shí)響應(yīng)、智能分析、輔助傾向性判斷等特點(diǎn)為相關(guān)職能部門全面掌握網(wǎng)絡(luò)輿論動(dòng)態(tài)，作出正確引導(dǎo)，提供分析依據(jù)，從而提高各級(jí)政府應(yīng)對(duì)突發(fā)事件的能力。

4 結(jié)語(yǔ)

Web挖掘是一種綜合使用自然語(yǔ)言處理、數(shù)據(jù)挖掘、人工智能、機(jī)器學(xué)習(xí)等技術(shù)的智能分析方法。實(shí)踐表明，將Web挖掘融入網(wǎng)絡(luò)輿情分析中，可以充分發(fā)揮Web挖掘技術(shù)從海量信息中發(fā)現(xiàn)隱藏的規(guī)律，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情信息全方面深入的分析，從而輔助相關(guān)職能部門正確引導(dǎo)民意。在網(wǎng)絡(luò)輿情中應(yīng)用Web挖掘技術(shù)，可以有效地提高網(wǎng)絡(luò)輿情分析結(jié)果的正確性，也是其未來(lái)的發(fā)展方向。

參考文獻(xiàn)：

[1]付業(yè)勤，鄭向敏. 國(guó)內(nèi)外網(wǎng)絡(luò)輿情研究的回顧與展望[J]. 編輯之友，2013，12：56-58.

[2]張玉峰，何超. 基于Web挖掘的網(wǎng)絡(luò)輿情智能分析研究[J]. 情報(bào)理論與實(shí)踐，2011，04：64-68.

[3]周君. Web文本挖掘關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D].西安電子科技大學(xué)，2009.

[4]梅中玲. 基于Web信息挖掘的網(wǎng)絡(luò)輿情分析技術(shù)[J]. 中國(guó)人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，04：85-88.