校園微博輿情監(jiān)測系統(tǒng)的設(shè)計和實現(xiàn)

作者/朱瑞超、譚明川（通訊作者）、王澤宇、向前，云南大學(xué)信息學(xué)院

引言

網(wǎng)絡(luò)輿情是指在互聯(lián)網(wǎng)背景下，眾多網(wǎng)民對社會各種現(xiàn)象、問題所表達(dá)的信念、意見、態(tài)度和情緒的總和[1]。伴隨著網(wǎng)絡(luò)的普及，廣大網(wǎng)民特別是學(xué)生社會參與意識的提高和社會突發(fā)事件的發(fā)生，網(wǎng)絡(luò)輿情爆發(fā)出了巨大的力量。微博即時且快速的特性進(jìn)一步推進(jìn)了網(wǎng)絡(luò)輿情的發(fā)展，微博上的網(wǎng)民輿論也成為網(wǎng)絡(luò)輿情中最具影響力的一種[2]。

微博中包含大量的數(shù)據(jù)信息，在“大數(shù)據(jù)”的今天，如何發(fā)現(xiàn)并利用這些有用的數(shù)據(jù)，對有限的數(shù)據(jù)進(jìn)行無限的挖掘一直是網(wǎng)絡(luò)研究的熱點(diǎn)問題。本文通過微博爬取、微博監(jiān)測、敏感詞分析、用戶分析，實現(xiàn)了基于校園的微博輿情監(jiān)測系統(tǒng)。本系統(tǒng)的主要貢獻(xiàn)為以下三點(diǎn)：（1）開發(fā)了一款面向校園的輿情監(jiān)測系統(tǒng)；（2）使用IK正向迭代最細(xì)粒度切分算法進(jìn)行分詞處理；（3）使用pagerank算法進(jìn)行用戶影響力排名。

1.系統(tǒng)的設(shè)計與實現(xiàn)

1.1 系統(tǒng)整體設(shè)計

系統(tǒng)設(shè)計流程如圖1所示。本系統(tǒng)基本工作流程如下：

首先通過爬蟲進(jìn)行數(shù)據(jù)的爬??；之后使用IK正向迭代最細(xì)粒度切分算法進(jìn)行分詞處理，將分詞后的數(shù)據(jù)進(jìn)行敏感詞庫的匹配；最后使用pagerank算法進(jìn)行用戶的影響力排名，并顯示監(jiān)測結(jié)果。

1.2 爬蟲實現(xiàn)

新浪API爬蟲實現(xiàn)過程分為5步：

Step1：向新浪服務(wù)器發(fā)送get請求；

圖1 系統(tǒng)設(shè)計流程圖

Step2：調(diào)用api傳遞參數(shù)，通過accesstoken來驗證用戶身份[3]；

step3接收服務(wù)器返回的數(shù)據(jù)流；step4：解析json格式的數(shù)據(jù)流；step5：數(shù)據(jù)分析處理。

1.3 分詞算法

本系統(tǒng)采用了IK正向迭代最細(xì)粒度切分算法，目前國內(nèi)代表性的分詞器有IK Analyer。分詞器的性能優(yōu)劣取決于它的切詞效率以及靈活性，及是否具備擴(kuò)展詞庫、禁用詞庫和同義詞庫[4]。

IK正向迭代最細(xì)粒度切分算法根據(jù)公式（1）進(jìn)行分詞：

其中ci表示該詞項在文檔中出現(xiàn)的詞數(shù)，k1是該公式的參數(shù)，表示該詞頻的影響，TF的影響是非線性的。另外，公式中qci表示詞項在查詢詞中的次數(shù)，k2是參數(shù)，公式k2取值的影響要小于k1。公式中的K取值為：

1.4 pagerank算法排名

在對微博用戶排名時我們采用參考pagerank算法，初始的PR值由公式（3）進(jìn)行確定，之后再對PR值進(jìn)行入度累計，存放PR的數(shù)組，統(tǒng)計結(jié)構(gòu)體數(shù)組數(shù)量。其中，F(xiàn)count為粉絲數(shù)量，Gcount為關(guān)注量，α為收斂系數(shù)，通常取0.85[5]。

使用公式（4）對用戶的影響力進(jìn)行計算。根據(jù)上面的公式，我們可以計算每個用戶的PR值，在不斷迭代趨于平穩(wěn)的時候，即為最終結(jié)果。

2.排名分析

經(jīng)過pagerank算法計算的排名結(jié)果與粉絲數(shù)量的排名前五名的結(jié)果對比，如表1所示。

表中可以看到，粉絲數(shù)量對多新民周刊在本算法的排名中只排到了第二名的位置，這是由于新民周刊關(guān)注了熱門奇事趣聞這個博主，因此新民周刊的粉絲數(shù)量被以一定權(quán)值的形式增加至熱門奇事趣聞這個博主上面。

表1 排名結(jié)果對比

3.總結(jié)與展望

本文設(shè)計的微博爬蟲可以滿足基本的要求，既可以快速的爬取已經(jīng)發(fā)布的微博，又可以同時監(jiān)測大量用戶將要發(fā)布的微博信息，但是在程序安全性、進(jìn)度可控和可視化方面仍有提升空間。后期工作中將著重于用戶界面的設(shè)計與優(yōu)化，并優(yōu)化算法進(jìn)一步提高監(jiān)測效率。

* [1]商艷軍,牛作軍.大學(xué)生群體極化行為與網(wǎng)絡(luò)輿情[J].重慶科技學(xué)院學(xué)報(社會科學(xué)版),2014,08∶138—140.

* [2]蘭月新.突發(fā)事件微博輿情擴(kuò)散規(guī)律模型研究[J].情報科學(xué) ,2013,03∶31—34.

* [3]陳永,張健,韓兆吉. 基于OAuth2協(xié)議的服務(wù)與服務(wù)之間的安全認(rèn)證[J].電腦編程技巧與維護(hù),2013,24∶119—120+122.

* [4]劉瓊?cè)?基于Lucene的搜索排序算法研究與實現(xiàn)[J].無線互聯(lián)科技 ,2017,04∶143—146.

* [5]LIU Gui—mei. An adaptive improvement on PageRank algorit hm[J]. Applied Mathematics∶A Journal of Chinese Universities(Series B). 2013(01).