微博的熱點(diǎn)數(shù)據(jù)處理與公眾關(guān)注分析

王坤 張益民

摘要：文章在使用爬蟲獲得不同種類的熱點(diǎn)數(shù)據(jù)后，提取了一些關(guān)于用戶和微博間的一些基本相關(guān)數(shù)據(jù)，并用最新的spss分析軟件進(jìn)行清洗數(shù)據(jù)和分析軟件中的數(shù)據(jù)，運(yùn)用單因素方差分析法，比較不同話題分類樣本和話題樣本對(duì)熱門微博下的粉絲數(shù)、關(guān)注數(shù)、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)、點(diǎn)贊數(shù)這些觀測(cè)值有沒有產(chǎn)生顯著性影響，從而研究分析出公眾對(duì)哪方面的熱門話題更感興趣。

關(guān)鍵詞：微博;爬蟲;方差分析;熱門話題

0引言

由于熱門話題內(nèi)容復(fù)雜，普通網(wǎng)民往往缺乏對(duì)專業(yè)性較高問題的判斷能力，需要在新浪微博上找到熱點(diǎn)話題，抓取熱點(diǎn)數(shù)據(jù)，為人們從海量信息中提取有價(jià)值的信息節(jié)省時(shí)間，正確引導(dǎo)普通網(wǎng)民思考問題的角度和趨勢(shì)。對(duì)于熱點(diǎn)研究方面角度不同，方法多樣，運(yùn)用于的領(lǐng)域也不同，本文著重關(guān)注某一方面熱點(diǎn)數(shù)據(jù)，自建合理scrapy框架，運(yùn)用于微博大量的數(shù)據(jù)爬取，實(shí)現(xiàn)數(shù)據(jù)的獲取、查找、整理與分析。[2]

1爬蟲系統(tǒng)設(shè)計(jì)

Scrapy框架用于對(duì)微博上的熱門數(shù)據(jù)抓取。當(dāng)爬蟲程序成功登錄到微博并獲得微博頁面后，可以解析HTML腳本并將其提取到所需的數(shù)據(jù)中。一篇熱門微博文章的主要數(shù)據(jù)包括：用戶昵稱、用戶ID、關(guān)注數(shù)、粉絲數(shù)、微博內(nèi)容、轉(zhuǎn)發(fā)數(shù)等。[1]使用爬蟲爬取數(shù)據(jù)的主要流程有以下三步。

1.1微博內(nèi)容獲取

在微博登錄方面，我們使用一種簡(jiǎn)單的方式：抓取微博登錄cookie[4]，然后使用cookie登錄微博。這樣就可以瀏覽某個(gè)人的微博內(nèi)容了，爬取微博正文的代碼如下：

#-*-coding：utf-8-*-

fromscrapyimportItem，F(xiàn)ield

classTweetsItem（Item）：

"""微博信息"""

_id=Field（）#微博id

weibo_url=Field（）#微博URL

created_at=Field（）#微博發(fā)表時(shí)間

like_num=Field（）#點(diǎn)贊數(shù)

comment_num=Field（）#評(píng)論數(shù)

content=Field（）#微博內(nèi)容

user_id=Field（）#發(fā)表該微博用戶的id

crawl_time=Field（）#抓取時(shí)間戳

1.2用戶信息獲取

抓取登錄微博的cookie，使用cookie登錄微博后我們可以看到登錄用戶的個(gè)人信息。為了研究熱門話題對(duì)公眾的影響，我們需要確定一個(gè)微博用戶作為抓取數(shù)據(jù)的起點(diǎn)，部分代碼如下：

classInformationItem（Item）：

"""個(gè)人信息"""

_id=Field（）#用戶ID

nick_name=Field（）#昵稱

gender=Field（）#性別

province=Field（）#所在省

city=Field（）#所在城市

brief_introduction=Field（）#簡(jiǎn)介

birthday=Field（）#生日

tweets_num=Field（）#微博數(shù)

1.3用戶關(guān)系獲取

新浪微博用戶之間存在互相關(guān)注的情況，為了方便起見，本文只對(duì)用戶的粉絲進(jìn)行了爬行，以了解兩個(gè)用戶之間是否存在關(guān)注關(guān)系。代碼如下：

classRelationshipsItem（Item）：

"""用戶關(guān)系，只保留與關(guān)注的關(guān)系"""

_id=Field（）

fan_id=Field（）#關(guān)注者，即粉絲的id

followed_id=Field（）#被關(guān)注者的id

crawl_time=Field（）#抓取時(shí)間戳

微博用戶關(guān)系數(shù)據(jù)表共有5列屬性，采集到的用戶關(guān)系信息包括：信息爬取的爬行時(shí)間、用戶關(guān)注對(duì)象ID列表、用戶粉絲ID列表等。

2數(shù)據(jù)分析結(jié)果與解釋

本文把話題分類作為定類數(shù)據(jù)，關(guān)注數(shù)、粉絲數(shù)、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)、點(diǎn)贊數(shù)作為定量數(shù)據(jù)進(jìn)行方差分析，結(jié)果如下[3]：

（1）分類相比較于關(guān)注數(shù)呈現(xiàn)出0.01水平顯著性（F=40.25，P=0.00），以及具體對(duì)比差異可知，有著較為明顯差異的組別平均值得分對(duì)比結(jié)果。

（2）分類相比較粉絲數(shù)表現(xiàn)出0.01水平顯著性（F=26.31，P=0.00），由具體對(duì)比差異可以知到，有著比較明顯差異的分組平均值得分比較結(jié)果。

（3）分類相比較轉(zhuǎn)發(fā)數(shù)表現(xiàn)出0.01水平顯著性（F=8.18，P=0.00），由具體對(duì)比差異可以知到，有著較為明顯差異的分組平均值得分比較結(jié)果。

（4）分類相比較評(píng)論數(shù)表現(xiàn)出0.01水平顯著性（F=6.36，P=0.00），由具體對(duì)比差異可以知到，有著較為明顯差異的分組平均值得分比較結(jié)果。

（5）分類相比較點(diǎn)贊數(shù)表現(xiàn)出0.01水平顯著性（F=17.91，P=0.00），由具體對(duì)比差異可以知到，有著較為明顯差異的分組平均值得分比較結(jié)果。

總結(jié)可知：各種話題樣本對(duì)于關(guān)注數(shù)，粉絲數(shù)，轉(zhuǎn)發(fā)數(shù)，評(píng)論數(shù)，點(diǎn)贊數(shù)全部均呈現(xiàn)出顯著性差異。為了檢驗(yàn)以上分析結(jié)果是否準(zhǔn)確，本文把話題和話題分類這兩個(gè)數(shù)據(jù)指標(biāo)做成了詞云圖，通過詞云圖顯示具體哪個(gè)話題或者話題分類出現(xiàn)的頻率最高[2，5]。通過對(duì)微博熱門話題關(guān)注程度的分析，發(fā)現(xiàn)用戶在娛樂的同時(shí)也應(yīng)該多去了解下國(guó)家正在發(fā)生的社會(huì)事件。

參考文獻(xiàn)

[1]王海玲，周志彬.基于Scrapy框架的爬蟲設(shè)計(jì)[J].軟件導(dǎo)刊，2020，19（04）：224-228.

[2]方潔，龔立群，魏疆.基于利益相關(guān)者理論的微博輿情中的用戶分類研究[J].情報(bào)科學(xué)，2014，32（01）：18-22.

[3]戴金輝.單因素方差分析中異方差的檢驗(yàn)與修正[J].統(tǒng)計(jì)與決策，2017（08）：23-26.

[4]安子建.基于Scrapy框架的網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)與數(shù)據(jù)抓取分析[D].吉林大學(xué)，2017.

[5]劉志明，劉魯.微博網(wǎng)絡(luò)輿情中的意見領(lǐng)袖識(shí)別及分析[J].系統(tǒng)工程，2011，29（06）：8-16.

（遼寧大連東軟信息學(xué)院?遼寧?大連?116000）