基于補(bǔ)全矩陣的多標(biāo)簽相關(guān)性情感分類①

許莉莉, 高俊波, 李勝宇

?

基于補(bǔ)全矩陣的多標(biāo)簽相關(guān)性情感分類①

許莉莉, 高俊波, 李勝宇

(上海海事大學(xué)信息工程學(xué)院, 上海 201306)

目前, 對(duì)新聞情感分類問題的研究大部分是從新聞作者的角度進(jìn)行的, 而對(duì)讀者反饋的真實(shí)情感分析的較少. 本文從讀者角度入手進(jìn)行情感分析研究. 提出一種基于補(bǔ)全矩陣的多標(biāo)簽相關(guān)性情感分類模型, 采用LDA提取主題表示新聞文本, 然后通過使用標(biāo)簽相關(guān)性矩陣對(duì)原始的標(biāo)簽矩陣進(jìn)行補(bǔ)全, 構(gòu)造了一個(gè)增強(qiáng)的補(bǔ)全標(biāo)簽矩陣模型(CM-LDA). 最后通過和原始矩陣的LDA模型進(jìn)行比較, 該模型使最終的多標(biāo)簽分類性能有了明顯的提高, 準(zhǔn)確率達(dá)到了85.72%.

社會(huì)新聞; 情感分析; 標(biāo)簽相關(guān)性; 補(bǔ)全矩陣-LDA(CM-LDA); 多標(biāo)簽分類

1 引言

目前, 從作者角度分析, 有關(guān)新聞文本的情感分類研究已見成熟. 而從讀者角度分析的研究相對(duì)較少, 但也逐漸取得了不錯(cuò)的成果. 臺(tái)灣的 Lin, Chen等[1]對(duì)于這個(gè)領(lǐng)域做了較詳細(xì)的研究. 他們利用 Yahoo!Kimo News 的數(shù)據(jù), 研究讀者情緒. 研究中選取五種特征: 中文字符二元組, 中文詞, 新聞元數(shù)據(jù), 詞綴相似度和情緒詞. 實(shí)驗(yàn)結(jié)果表明利用SVM分類器與詞綴相似度和情感詞這兩種特征結(jié)合的方法得到了最好的準(zhǔn)確率. Blei 和 McAuliffe[2]引入一個(gè)response 變量因子, 將文檔的標(biāo)簽信息加入到構(gòu)造的統(tǒng)計(jì)模型Supervised LDA中. 盧露等[3]從讀者的角度對(duì)新聞文本情感進(jìn)行分類, 以新聞文章作為樣本實(shí)例, 以文章后讀者的投票信息作為樣本類別標(biāo)注的先驗(yàn)知識(shí), 提出了一種半監(jiān)督學(xué)習(xí)的分類模型, 實(shí)驗(yàn)證明采用Bayes方法和EM算法相結(jié)合具有較高的分類性能. 國(guó)內(nèi)的包勝華、徐生良等[4]考慮了在LDA的基礎(chǔ)上加上一層“情緒”參數(shù), 將特征詞和讀者的情感關(guān)聯(lián)起來.

另外, 已有學(xué)者研究, 試圖將標(biāo)簽之間的相關(guān)性影響應(yīng)用到多標(biāo)簽的分類算法中, 希望來提高分類的性能. 比如, 文獻(xiàn)[5,6]利用了標(biāo)簽兩兩間的的相關(guān)性, 使系統(tǒng)的性能有了明顯地提高. 然而在現(xiàn)實(shí)中, 一個(gè)標(biāo)簽可能會(huì)與其他標(biāo)簽都有關(guān)系. 文獻(xiàn)[7]考慮了標(biāo)簽之間所有可能具有的相關(guān)性, 即對(duì)每個(gè)標(biāo)簽都考慮了其它標(biāo)簽可能對(duì)它的影響. 文獻(xiàn)[8]考慮了標(biāo)簽集中的隨機(jī)子集之間的相關(guān)性. 針對(duì)不同的領(lǐng)域提出了多種標(biāo)簽相關(guān)性方法的應(yīng)用, 取得了不同程度的情感分類研究成果. 針對(duì)本文的研究領(lǐng)域, 如何將標(biāo)簽相關(guān)性有效地應(yīng)用到多標(biāo)簽分類的問題中, 是當(dāng)前的重要問題.

針對(duì)情感分類和多標(biāo)簽相關(guān)性分析的問題, 本文提出了在LDA模型能降維使數(shù)據(jù)處理耗時(shí)少的優(yōu)勢(shì)上, 利用學(xué)習(xí)到的標(biāo)簽相關(guān)性矩陣, 對(duì)多標(biāo)簽標(biāo)準(zhǔn)化處理后得到的原始標(biāo)簽矩陣進(jìn)行補(bǔ)全, 構(gòu)造了一個(gè)增強(qiáng)的補(bǔ)全標(biāo)簽矩陣模型(CM-LDA), 從而來對(duì)讀者的情感進(jìn)行分類, 以期達(dá)到更為準(zhǔn)確的分類結(jié)果, 同時(shí)期望能對(duì)社會(huì)熱點(diǎn)新聞的輿情預(yù)測(cè)分析提供幫助.

2 相關(guān)工作

實(shí)驗(yàn)采用的數(shù)據(jù)是從新浪社會(huì)熱點(diǎn)新聞網(wǎng)站上抓取的, 收集時(shí)間為2014.9-2016.3, 共8583篇, 具體信息包括新聞標(biāo)題、發(fā)布時(shí)間、文本內(nèi)容、讀者投票數(shù)據(jù), 其中讀者情緒包括: 感動(dòng)、震驚、搞笑、難過、新奇、憤怒等6種. 為了確保讀者的投票過程達(dá)到穩(wěn)定的狀態(tài), 在新聞發(fā)布一星期后進(jìn)行采集. 然后進(jìn)行數(shù)據(jù)凈化處理, 用中科院的中文分詞系統(tǒng)NLPIR進(jìn)行分詞, 并通過完善停用詞表消除樣本中的停用詞噪聲, 得到了61,505個(gè)不同的詞. 本文是在LDA主題模型降低文本空間維度的基礎(chǔ)上, 提出了一種新的多標(biāo)簽相關(guān)性情感分類模型, 具體工作流程如圖1所示.

圖1 基于補(bǔ)全矩陣的情感分類模型

2.1 文本預(yù)處理

2.1.1 特征詞提取

特征詞選擇的目的是在不損失其他性能的前提下, 有效地選擇出較少的特征表示文本. 常用的特征選擇方法有:2統(tǒng)計(jì)量(CHI)、互信息(MI)、文檔頻率(DF)等. 本文選取的方法是DF, 即樣本中包含這個(gè)特征的所有文本數(shù). DF是提取出DF值達(dá)到一定次數(shù)的特征, 低于該值的認(rèn)為影響力小. 然后對(duì)提取特征詞后的文檔按照停用詞表去無用詞、消除噪聲.

2.1.2 LDA主題模型

在文獻(xiàn)[9]的研究中說明了讀者情緒與文本主題具有一定的相關(guān)性. 于是, 本文就引入了LDA模型, 其是一種無監(jiān)督的機(jī)器學(xué)習(xí)技術(shù), 也是一種典型的詞袋模型, 是通過采用Gibbs Sampling進(jìn)行推導(dǎo)的. 而且LDA模型能有效的將高維的文本轉(zhuǎn)化到較低的主題維度空間. LDA主題模型是三層模型: 文本-主題-詞.

通過對(duì)文本的預(yù)處理及LDA主題建模將非結(jié)構(gòu)化的文檔表示為結(jié)構(gòu)化的數(shù)據(jù), 處理之后的文檔格式如圖2所示.

圖2 文檔集主題概率生成形式

2.2 CM-LDA建模步驟

2.2.1 多標(biāo)簽處理問題

在早期研究文本分類時(shí), 遇到的歧義性問題[10]提到了多標(biāo)簽學(xué)習(xí)概念.

定義. 設(shè)一個(gè)樣本的特征向量=(1,2,...,x), 其中; 候選標(biāo)簽集合=(1,2,...,l), 文本所對(duì)應(yīng)的標(biāo)簽集合=(1,2,...,l),, 即; 則包含個(gè)樣本的多標(biāo)記數(shù)據(jù)集合表示如下:

式(1)中X表示一個(gè)樣本向量,Y表示該樣本所對(duì)應(yīng)的標(biāo)簽集. 多標(biāo)簽分類算法認(rèn)為樣本中的標(biāo)簽是獨(dú)立的, 沒有考慮它們之間的相關(guān)性. 本文提出, 首先利用多組實(shí)驗(yàn)統(tǒng)計(jì)得到穩(wěn)定的相關(guān)性矩陣, 然后用相關(guān)性矩陣對(duì)原始不完全的標(biāo)簽矩陣進(jìn)行補(bǔ)全, 最后采用分類算法RAkEL進(jìn)行分類. 不需要像王霄等[11]對(duì)訓(xùn)練集進(jìn)行擴(kuò)展, 而是利用多標(biāo)簽標(biāo)準(zhǔn)化算法對(duì)語(yǔ)料的讀者投票數(shù)據(jù)處理, 使每個(gè)樣本的讀者情感標(biāo)簽不超過三個(gè), 為滿足該條件本文取閾值為0.45. 多標(biāo)簽標(biāo)準(zhǔn)化算法如下:

1 讀入N篇新聞文本的讀者投票數(shù)據(jù)2 data = originalData(:,1:6);3 mean_row = mean(data,2);4 std_row = std(data,0,2);5 [row,col] = size(data);6 for i = 1:row7 data(i,:) = (data(i,:)-repmat(mean_row(i),1,col))/std_row(i);8 end9 threshold = 0.45; 10 index_1 = find(data > threshold);11 data(:,:) = 0;12 data(index_1) = 1;13 sum_row = sum(data,2); % sum_row: 每個(gè)樣本中1的個(gè)數(shù), 用于檢測(cè)是否在1和3之間14 若返回兩個(gè)空矩陣說明每個(gè)樣本中‘1’的個(gè)數(shù)都不少于1個(gè)且不多于3個(gè)!否則, 則不滿足條件, 需要對(duì)閾值進(jìn)行調(diào)節(jié)!15 輸出文件.xls, 確定新聞文本的類別標(biāo)簽

2.2.2 補(bǔ)全矩陣的LDA建模過程

以上2.1.2 LDA模型分類的研究中, 完全沒有考慮標(biāo)簽之間的相關(guān)性. 現(xiàn)實(shí)中, 標(biāo)簽之間的關(guān)系并不是相互獨(dú)立的, 而是在一定程度上是有聯(lián)系的. 本文采用文獻(xiàn)[12]介紹的多標(biāo)簽相關(guān)性的二階策略, 考慮標(biāo)簽兩兩之間的關(guān)聯(lián)關(guān)系. 那么, 通過數(shù)學(xué)統(tǒng)計(jì)分析得到了穩(wěn)定性相關(guān)性矩陣, 如何將這種相關(guān)性矩陣應(yīng)用到分類模型中, 能否使分類結(jié)果更準(zhǔn)確呢？

為了解決這個(gè)問題, 本文考慮利用該相關(guān)性對(duì)初始標(biāo)簽矩陣進(jìn)行補(bǔ)全, 從而來得到包含更多標(biāo)簽信息的補(bǔ)全標(biāo)簽矩陣, 最后通過對(duì)得到的補(bǔ)全標(biāo)簽矩陣建立模型以期達(dá)到更好的分類結(jié)果. 考慮到不同標(biāo)簽間的共現(xiàn)性和依賴關(guān)系, 我們假設(shè)補(bǔ)全標(biāo)簽矩陣的構(gòu)建是由原始得到的不完全標(biāo)簽矩陣和通過數(shù)組實(shí)驗(yàn)準(zhǔn)確學(xué)習(xí)的標(biāo)簽相關(guān)性矩陣決定的. 具體如何構(gòu)造, 是受標(biāo)簽依賴傳播思想[13]的啟發(fā), 即對(duì)不完全標(biāo)簽矩陣和標(biāo)簽相關(guān)矩陣直接進(jìn)行矩陣相乘來補(bǔ)全增強(qiáng)(如圖6所示):, 其中補(bǔ)全矩陣中的每個(gè)元素代表第個(gè)樣本x標(biāo)識(shí)為第個(gè)標(biāo)簽的置信度, 而且該置信度會(huì)被原始矩陣中第個(gè)樣本x擁有的其他標(biāo)簽的先驗(yàn)條件所影響, 具體如下:

3 實(shí)驗(yàn)與分析

3.1 多標(biāo)簽分類算法及評(píng)估標(biāo)準(zhǔn)

本文多標(biāo)簽分類算法選擇RAkEL分類器, RAkEL是構(gòu)造了Label PowerSet(LP)[14]分類器的一個(gè)集成. LP算法是將全部標(biāo)簽的每個(gè)子集看作是獨(dú)立的, 這樣可以將多標(biāo)簽分類問題轉(zhuǎn)化. 但是, 測(cè)試樣本以及所有的子集個(gè)數(shù)決定了LP算法的計(jì)算復(fù)雜度. 隨著標(biāo)簽數(shù)變多, 標(biāo)簽的子集的數(shù)目呈指數(shù)級(jí)增長(zhǎng), 這樣LP算法的計(jì)算復(fù)雜度將會(huì)很大. RAkEL算法解決了這一缺陷, 僅僅利用了一部分子集作為標(biāo)簽.

常用的多標(biāo)簽分類評(píng)估準(zhǔn)則為Hamming Loss(HL)、One-Error(OE)、Ranking Loss(RL)、Coverage(COV)、Average Precision(AVP). 前四個(gè)評(píng)估值越小越好, 但最后的AVP值越大則分類的準(zhǔn)確精度就越高.

3.2 標(biāo)簽相關(guān)性統(tǒng)計(jì)結(jié)果分析

通過上文提到的多標(biāo)簽標(biāo)準(zhǔn)化算法, 對(duì)8583篇新聞的讀者情緒投票數(shù)據(jù)進(jìn)行0或1標(biāo)簽標(biāo)識(shí)之后, 根據(jù)不同標(biāo)簽數(shù)進(jìn)行統(tǒng)計(jì)的結(jié)果如表1所示.

表1 讀者情緒標(biāo)簽組合及對(duì)應(yīng)樣本數(shù)

從表1中統(tǒng)計(jì)發(fā)現(xiàn), 搞笑情緒和憤怒情緒組合出現(xiàn)的次數(shù)最多, 難過情緒和憤怒情緒次之. 在三個(gè)標(biāo)簽的組合中, 震驚情緒、搞笑情緒和憤怒情緒組合也常出現(xiàn), 對(duì)數(shù)據(jù)的處理也有一定的影響. 可見, 分析標(biāo)簽相關(guān)性對(duì)情感分類的影響, 對(duì)原始標(biāo)簽進(jìn)行補(bǔ)全方法是可行的.

于是, 對(duì)3188篇、5235篇及8583篇新聞投票數(shù)據(jù)分別進(jìn)行多標(biāo)簽標(biāo)準(zhǔn)化算法處理, 通過多組實(shí)驗(yàn)驗(yàn)證, 統(tǒng)計(jì)相同標(biāo)簽下不同文本數(shù)、哪些標(biāo)簽共同出現(xiàn)在同一篇新聞的文本數(shù), 來學(xué)習(xí)得到相關(guān)性矩陣. 橫坐標(biāo)為讀者情感, 縱坐標(biāo)為共現(xiàn)情緒在包含該情緒的總票數(shù)中所占比率, 結(jié)果如圖4、圖5、圖6所示.

從3個(gè)圖中發(fā)現(xiàn), 讀者投票數(shù)據(jù)歸一化處理后, 兩兩標(biāo)簽間的關(guān)系是一個(gè)穩(wěn)定的狀態(tài), 也就是說從數(shù)據(jù)中準(zhǔn)確地學(xué)習(xí)的標(biāo)簽相關(guān)性矩陣具有一般性, 即標(biāo)簽之間的相關(guān)性大小趨于穩(wěn)定, 如表2. 每行之和為1, 除對(duì)角線外其他行列對(duì)應(yīng)的值為該列情感占該行情感的共現(xiàn)比率.

圖4 3188篇新聞讀者情感投票共現(xiàn)統(tǒng)計(jì)結(jié)果

圖5 5235篇新聞讀者情感投票共現(xiàn)統(tǒng)計(jì)結(jié)果

圖6 8583篇新聞讀者情感投票共現(xiàn)統(tǒng)計(jì)結(jié)果

表2 讀者投票共現(xiàn)統(tǒng)計(jì)的相關(guān)矩陣

從上述表2中發(fā)現(xiàn), 有些標(biāo)簽兩兩之間確實(shí)存在著聯(lián)系. 對(duì)于包含震驚情緒的新聞總數(shù)中, 僅包含震驚情緒的新聞?wù)伎倲?shù)的20%, 搞笑情緒竟占24%, 而憤怒情緒也占了20%. 可見, 在一篇新聞被確定為震驚標(biāo)簽的時(shí)候會(huì)受到搞笑情緒和憤怒情緒的影響. 憤怒情緒和新奇情緒的共現(xiàn)率就很小, 幾乎互不影響. 因此, 標(biāo)簽之間的共現(xiàn)模式一定體現(xiàn)了它們之間所蘊(yùn)含的某種語(yǔ)義相關(guān)性.

3.3 實(shí)驗(yàn)結(jié)果分析

本文將抓取的新浪社會(huì)新聞?wù)Z料的7000篇作為訓(xùn)練集, 剩余的作為測(cè)試語(yǔ)料. 實(shí)驗(yàn)中, 取20到100, 得到9個(gè)不同主題數(shù)下的9種文檔表示, 然后使用RAkEL來多標(biāo)簽分類. 將補(bǔ)全矩陣模型CM-LDA和原始矩陣的LDA模型在不同主題數(shù)下, 進(jìn)行分類性能的比較, 加粗表示在該主題數(shù)下應(yīng)用的分類模型性能最好, 實(shí)驗(yàn)結(jié)果如表3所示.

表3 RAkEL在不同主題數(shù)的CM-LDA和LDA模型下的分類性能比較

通過上表3可見, 補(bǔ)全矩陣模型CM-LDA比原始矩陣的LDA模型分類結(jié)果準(zhǔn)確率高. 尤其是在主題數(shù)為80, 其他參數(shù)設(shè)置=0.5,=0.1時(shí), HL、OE、COV、RL這四個(gè)評(píng)估標(biāo)準(zhǔn)均較低, 準(zhǔn)確率也達(dá)到了85.72%, 可知該模型CM-LDA的綜合性能最優(yōu). 這說明, 在傳統(tǒng)的LDA主題模型上, 利用標(biāo)簽相關(guān)性對(duì)原始不完全的標(biāo)簽矩陣進(jìn)行補(bǔ)全增強(qiáng), 獲得的CM-LDA模型能夠改善多標(biāo)簽分類的性能.

圖7表示在不同主題數(shù)下, 多標(biāo)簽分類算法RAkEL在原始矩陣的LDA和補(bǔ)全矩陣模型CM-LDA分類準(zhǔn)確率比較, 更清晰地將實(shí)驗(yàn)結(jié)果展現(xiàn)在了曲線圖上. 很明顯地看到, 基于CM-LDA模型的分類準(zhǔn)確率高于原始矩陣的LDA模型. 因此, 從整體的分類結(jié)果來看, 基于CM-LDA模型的讀者情感分類方法是可行的, 補(bǔ)全矩陣的應(yīng)用能提高多標(biāo)簽的分類性能, 同時(shí)也為接下來新聞讀者情感預(yù)測(cè)的深入研究做了鋪墊.

圖7 LDA和CM-LDA模型下的RAkEL算法分類準(zhǔn)確率對(duì)比

4 結(jié)語(yǔ)

通過在真實(shí)多標(biāo)簽數(shù)據(jù)集(即新浪社會(huì)新聞?wù)Z料)上的實(shí)驗(yàn)中, 學(xué)習(xí)到相關(guān)性矩陣, 然后對(duì)原始不完全矩陣進(jìn)行補(bǔ)全獲得的補(bǔ)全矩陣, 不僅驗(yàn)證了標(biāo)簽間相關(guān)關(guān)系的語(yǔ)義合理性, 而且也證明了利用本文提出的CM-LDA模型進(jìn)行多標(biāo)簽分類的正確性和實(shí)用性, 這對(duì)熱點(diǎn)問題或突發(fā)事件做好社會(huì)輿情預(yù)測(cè)的研究是很有價(jià)值的. 而如何學(xué)習(xí)主題與標(biāo)簽之間的聯(lián)系以及進(jìn)一步獲得更高的讀者情感預(yù)測(cè)的準(zhǔn)確率, 則是將來需要進(jìn)一步研究的方面.

1 Lin KHY, Yang C, Chen HH. Emotion classification of online news articles from the reader’s perspective. Proc. 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT ’08). 2008. 220–226.

2 Blei DM, Mcauliffe JD. Supervised topic models. Advances in Neural Information Processing Systems, 2010, 3: 327–332.

3 盧露,魏登月.基于讀者視角的文本情感分類.微電子學(xué)與計(jì)算機(jī),2014,(10):122–125.

4 Bao S, Xu S, Zhang L, et al. Mining social emotions from affective text. IEEE Trans. on Knowledge & Data Engineering, 2011, 24(99): 1658–1670.

5 Zhang ML, Zhou ZH. Multilabel neural networks with applications to functional genomics and text categorization. IEEE Trans. on Knowledge & Data Engineering, 2006, 18(10): 1338–1351.

6 Fürnkranz J, Hüllermeier E, Mencía EL, et al. Multilabel classification via calibrated label ranking. Machine Learning, 2008, 73(2): 133–153.

7 Read J, Pfahringer B, Holmes G, et al. Classifier chains for multi-label classification. Machine Learning, 2011, 85(3): 254–269.

8 Tsoumakas G, Katakis I, Vlahavas I. Random k-labelsets for multilabel classification. IEEE Trans. on Knowledge & Data Engineering, 2010, 23(7): 1079–1089.

9 葉璐.新聞文本的讀者情緒自動(dòng)分類方法研究[碩士學(xué)位論文].哈爾濱:哈爾濱工業(yè)大學(xué),2012.

10 Schapire RE, Singer Y. BoosTexter: A boosting-based system for text categorization. Machine Learning, 2000, 39(2-3): 135–168.

11 王霄,周李威,陳耿,等.一種基于標(biāo)簽相關(guān)性的多標(biāo)簽分類算法.計(jì)算機(jī)應(yīng)用研究,2014,31(9):2609–2612.

12 胡春安,范麗文,毛伊敏.HPDBSCAN:高效的不確定數(shù)據(jù)處理算法.計(jì)算機(jī)工程與設(shè)計(jì),2013,34(3):1044–1049.

13 Pizzuti C. A multi-objective genetic algorithm for community detection in networks. 21st International Conference on Tools with Artificial Intelligence(ICTAI ’09). IEEE. 2009. 379–386.

14 Tsoumakas G, Katakis I. Multi-label classification: An overview. International Journal of Data Warehousing & Mining, 2009, 3(3): 1–13.

Emotion Classification of Multi-Label Correlation Based on Completion Matrix

XU Li-Li, GAO Jun-Bo, LI Sheng-Yu

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

At present, most of the researches of sentiment classification are carried out from the writer’s perspective with quite few analyses from readers. This paper is to study the sentiment analysis from the news readers. A model of multi-label correlation sentiment classification based on completion matrix and LDA is proposed to extract the topic. The original news text is represented with the generated text-subject features, which are taken as the input to a subsequent classifier. Furthermore, the paper constructs a model of enhanced completion label matrix (CM-LDA) by appending the label correlation matrix to the original label matrix. Results show that the accuracy of this approach achieves 85.72% in the multi-label classification task, which outperforms the traditional LDA methods significantly.

social news; sentiment analysis; label correlation; completion matrix-LDA(CM-LDA); multi-label classification

2016-04-13;收到修改稿時(shí)間:2016-05-08

[10.15888/j.cnki.csa.005496]