統(tǒng)計學(xué)最近鄰分類方法在網(wǎng)絡(luò)輿情分析中的運用

常璟瑄

【摘 要】隨著計算機網(wǎng)絡(luò)的迅速發(fā)展，生活中發(fā)生的突發(fā)事件通過網(wǎng)絡(luò)瞬間傳播和擴散，這些帶有傾向性的網(wǎng)絡(luò)信息即網(wǎng)絡(luò)輿情迅速成為人們談?wù)摰慕裹c。怎樣對網(wǎng)絡(luò)輿情進(jìn)行分析和正確的引導(dǎo)成為網(wǎng)絡(luò)安全領(lǐng)域一個新的熱點問題。文章通過采用統(tǒng)計方法對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析，對網(wǎng)絡(luò)輿情進(jìn)行分類處理，從而發(fā)掘網(wǎng)絡(luò)輿情中新的熱點問題。由于分類算法采用分類統(tǒng)計技術(shù)簡單、高效從而保證了分析的準(zhǔn)確性和即時性。

【關(guān)鍵詞】網(wǎng)絡(luò)輿情；最近鄰分類；統(tǒng)計方法

導(dǎo)語

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)成為全社會所有人發(fā)表和傳播自己言論的場所，生活中的突發(fā)事件在網(wǎng)絡(luò)中被迅速傳播，其中對突發(fā)事件的評論有相當(dāng)一部分言論被各種政治團體和敵對勢力所控制，通過錯誤的言論控制人們的思想，因此，對網(wǎng)絡(luò)中這些熱點通過計算機進(jìn)行分析、發(fā)掘并進(jìn)行正確的引導(dǎo)是目前網(wǎng)絡(luò)輿情中需亟待解決的問題。網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)通常采用復(fù)雜的機器學(xué)習(xí)技術(shù)對輿情中的話題進(jìn)行分類，由于算法的復(fù)雜性速度較慢，文章通過把數(shù)學(xué)統(tǒng)計學(xué)中的距離運算引入到輿情分析，采用最近鄰分類方法對輿情進(jìn)行分類，解決了分類的實時性，從而提高輿情檢測的實用性。

1.輿情數(shù)據(jù)的提取

網(wǎng)絡(luò)輿情文本的提取一般通過爬蟲實現(xiàn)。網(wǎng)絡(luò)爬蟲會選取一些備用的網(wǎng)址并把它們放入要抓取的網(wǎng)址隊列中，通過域名解析得到對方的ip并將網(wǎng)頁保存到下載網(wǎng)頁庫中。爬蟲通過分析已抓取網(wǎng)頁的各種鏈接通過一定的抓取策略一個鏈接一個鏈接抓取下去，直到達(dá)到系統(tǒng)的某些條件時才停止下來。

2.輿情數(shù)據(jù)的預(yù)處理

網(wǎng)絡(luò)輿情數(shù)據(jù)的預(yù)處理包括背景噪聲的去除，中文的分詞，詞性的標(biāo)注和停頓詞的去除等幾個步驟。

被抓取后的網(wǎng)頁除網(wǎng)頁本身的信息外還有一些和網(wǎng)頁無關(guān)的內(nèi)容，如各種廣告、游戲等內(nèi)容。這些內(nèi)容往往與網(wǎng)頁本身無關(guān)，如果拿來分析會降低輿情分析的準(zhǔn)確率，因此要去除這部分內(nèi)容。廣告、游戲這些背景噪聲往往會鏈接到多個頁面，即多個頁面的鏈接出現(xiàn)的是同一個鏈接地址，因而，通過刪除這些重復(fù)的鏈接地址對應(yīng)的網(wǎng)頁即可消除背景噪聲對輿情分析的影響。

中文分詞是把中文的一篇文章、一段文字或者一個語句分割為一個個單獨的詞。目前主流的分詞算法主要包括基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計的分詞方法。主流的分詞工具包括中國科學(xué)院計算技術(shù)研究所研制的漢語詞法分析系統(tǒng)ICTCLAS，該系統(tǒng)采用多層隱馬爾可夫模型實現(xiàn)中文的分詞、詞性標(biāo)注和新詞識別等功能。其詞典除自帶的以外還可按用戶的要求進(jìn)行手動的更新因而使用十分方便。CSW中文智能分詞DLL組件則可講一段文本自動的按常規(guī)漢語詞組進(jìn)行拆分，并以指定方式進(jìn)行分隔，且可對其拆分后的詞組進(jìn)行語義、詞性和詞頻標(biāo)注。

中文分詞的詞性主要包括名詞、動詞、形容詞和副詞等，其中的形容詞和副詞往往表示作者的情感取向和對某個事件的善惡態(tài)度因而它們決定了作者對輿情的價值取向，其中的動詞往往表示作者的動作和采取的行動，是作者情感對外直接的體現(xiàn)，因而這些分詞對輿情的分析是非常重要的。

停頓詞是指詞本身無明顯詞意與文本的內(nèi)容無太多關(guān)系的詞。絕大部分的助詞如“的”，“地”，“得”等屬于這一類。這些詞在文本中出現(xiàn)的頻率很高，對輿情分析的準(zhǔn)確率存在較大的影響，因此在網(wǎng)絡(luò)輿情數(shù)據(jù)的預(yù)處理時要去除這些停頓詞。

3.文檔特征的提取

文檔特征的提取是中文分詞后提取最能代表文檔特征的一些分詞作為文檔的特征，這樣既減小了分類算法的計算數(shù)據(jù)量又能提高分類的準(zhǔn)確性。文檔特征的提取最本質(zhì)的方法是分析詞頻，因為詞頻在很大程度上決定了作者的情感和態(tài)度，因此目前文檔特征提取的方法很大一部分是在分析詞頻的基礎(chǔ)上發(fā)展起來的。目前在文檔特征提取中常用的方法有信息增益法、期望交叉熵、互信息、χ2統(tǒng)計以及TF-IDF（詞頻-逆向文件頻率）分析方法。其中TF-IDF運用最廣泛，TF—IDF算法的核心是統(tǒng)計詞頻并比較詞語在單個文檔和整個文檔之間出現(xiàn)頻率的差異，并認(rèn)為區(qū)分度最大的詞語是在單個文檔出現(xiàn)頻率較高而在所有文檔集合中出現(xiàn)的頻率較低。它將詞頻分為單個文檔中的詞頻和所有文檔中的逆向詞頻兩類，通過比較這兩類詞頻找出文檔的特征。其基本原理如下：

設(shè)詞w在文檔d中的詞頻tf（Term Frequency），同時詞w在整個文檔中的逆向詞頻為idf 則詞頻tf 為詞w在文檔d中出現(xiàn)次數(shù)count（w， d）和文檔d中總詞數(shù)size（d）的比值。

即tf（w，d）=count（w， d）/size（d）

整個文檔中的逆向詞頻則為idf = log（n/docs（w，D））

即為文檔總數(shù)n與詞w所出現(xiàn)文檔數(shù)docs（w，D）比值的對數(shù)。

tf-idf模型根據(jù)tf和idf為每一個文檔d和由關(guān)鍵詞w[1]...w[k]組成的查詢串q計算一個權(quán)值，用于表示查詢串q與文檔d的匹配度

tf-idf（q， d）

=sum { i = 1..k | tf-idf（w[i]， d） }

=sum { i = 1..k | tf（w[i]， d） * idf（w[i]） }

4.文檔特征的分類

文檔特征的分類是輿情分析的關(guān)鍵，它決定了輿情分析

的準(zhǔn)確率和速度。本文采用最近鄰分類方法，解決了分類的實時性，從而提高輿情檢測的實用性。

具體過程如下：

（1）確定帶有分類類別的訓(xùn)練文檔集合N = （ x1，x2，… xn）

（2） 計算待分類文檔到訓(xùn)練文檔xi中的距離D（x，xi）=‖x-xi‖其中距離的算法采用歐氏距離測量方法。

（3）如果D（x，xk）=min D（x，xi） （i=1，2，3…n）且xk∈ωj ，則分類的結(jié)果為x∈ωj。

5.實驗分析

為了檢測算法的性能抽取了天涯社區(qū)論壇中經(jīng)濟、軍事、社會時事、情感、娛樂五個話題的帖子作為訓(xùn)練數(shù)據(jù)，其中每個話題抽取100個帖子共計500個帖子。測試文檔同樣來至于天涯社區(qū)論壇。隨機抽取的200個帖子包含經(jīng)濟、軍事、時事、情感、娛樂五個話題，每個話題均為40個帖子，采用文中的分類算法進(jìn)行分類，檢測它們的準(zhǔn)確性。實驗結(jié)果的分析采用召回率和精度兩個廣泛運用于信息檢索和統(tǒng)計學(xué)分類領(lǐng)域的度量值。召回率是指檢索出的正確分類的相關(guān)話題文檔數(shù)和文檔庫中所有的相關(guān)話題數(shù)的比率。精度是檢索出的正確分類的相關(guān)話題文檔數(shù)與分類器分類出的相關(guān)話題文檔總數(shù)的比率。對這五類話題測試的結(jié)果如表1所示。

從表1可以看出采用本文的文本特征提取和話題分類方法結(jié)果令人滿意，由于采用的方法簡單因而系統(tǒng)的檢測時間不長，效率較高。

6.結(jié)束語

隨著網(wǎng)絡(luò)的迅猛發(fā)展，輿情監(jiān)測已經(jīng)成為目前網(wǎng)絡(luò)安全中的重要工作，對輿情進(jìn)行分類，有利于發(fā)掘熱點輿情，為網(wǎng)絡(luò)的監(jiān)控提供可靠的保證。面對海量的數(shù)據(jù)，準(zhǔn)確而高效的方法顯得尤為重要，因而輿情監(jiān)測的方向是采用多種科學(xué)的方法保證監(jiān)測具有較快的響應(yīng)速度和較低的誤報率。

【參考文獻(xiàn)】

[1]毛先領(lǐng)，何靖，閆宏飛.網(wǎng)頁去噪：研究綜述[J].計算機研究與發(fā)展，2010.47（12）：2025-2036

[2]郭艷華，周昌樂.自然語言理解研究綜述[J].杭州電子工業(yè)學(xué)院學(xué)報，2000.20（1）：58-65