樸素貝葉斯與Softmax回歸在文本分類上的對比研究

李詠豪 李倫波

摘要：文本分類問題是自然語言處理中的重要任務。本文將機器學習中的樸素貝葉斯模型以及Softmax回歸應用于自動文本分類中，在清華新聞分類語料數(shù)據(jù)集上實現(xiàn)了基于多項分布與類條件分布假設實現(xiàn)了樸素貝葉斯模型，并使用BOOL、TF、IDF、TF-IDF四種特征權重訓練了Softmax回歸模型。最后，將兩種模型在訓練集與測試集上的性能進行對比。

關鍵詞：樸素貝葉斯;Softmax回歸;自然語言處理;文本分類

中圖分類號：G642? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）28-0131-02

開放科學（資源服務）標識碼（OSID）：

A Comparative Study of Naive Bayes and Softmax Regression in Text Classification

LI Yong-hao*， LI Lun-bo

（College of Computer Science and Engineering， Nanjing University of Science & Technology， Nanjing 210094， China）

Abstract： Text classification is an important task in natural language processing. In this paper， the Naive Bayes model and Softmax regression in machine learning are applied to automatic text classification. The naive Bayes model is implemented on the Tsinghua news classified corpus data set based on the assumption of multinomial distribution and class conditional distribution. And the Softmax regression model is trained with four feature weights including BOOL， TF， IDF， and TF-IDF. Finally， we compare the performance of the two models on the training set and the test set.

Key words： naive bayes; softmax regression; natural language processing; text classification

1 引言

自然語言處理中的文本分類指的是給定文檔，將文檔歸為n個類別中的1個。文本分類在現(xiàn)實生活中的用途十分廣泛，比如，將社交媒體中短文按照其討論內(nèi)容分為不同的類別;在情感分析問題中，提取文檔中人物表露的態(tài)度;在郵箱管理中，自動區(qū)別垃圾郵件與非垃圾郵件。

文本分類任務通常由傳統(tǒng)的機器學習模型完成，如支持向量機[1]、樸素貝葉斯[2]，也可由深度學習方法[3]實現(xiàn)。無論哪種統(tǒng)計學習模型，數(shù)據(jù)集對于模型性能都有著巨大的影響，本文中的模型使用了清華新聞分類語料數(shù)據(jù)集[4]，它是根據(jù)新浪RSS訂閱頻道2005年至2011年間的歷史數(shù)據(jù)篩選過濾生成的，包括74萬篇新聞文檔，10余個類別標簽，數(shù)據(jù)集中句子已經(jīng)過準確的分詞，比如： 他 和 與 他 同輩 的 一 批 科學家 是 我國 計算機 技術 逼近 國際 先進 水平 的 希望 。同時，該數(shù)據(jù)集中包括一系列停用詞，“我”“自己”等停用詞十分常用，反而會影響新聞分類的精確度。由于數(shù)據(jù)規(guī)模過大，在CPU上訓練速度緩慢，所以，在所有類別中，選擇體育、政治、教育、法律、電腦與經(jīng)濟共6個主題的數(shù)據(jù)，每個子類中進行500條新聞的隨機抽樣。

2 模型介紹

2.1 樸素貝葉斯

機器學習模型可分為判別式模型與生成式模型。判別式模型對給定觀測值的標簽的后驗概率[p（y|x）]建模，而生成式模型對觀測值和標簽的聯(lián)合概率[p（x，y）]建模，然后用貝葉斯法則[p（y|x）=p（x，y）/p（x）]進行預測。樸素貝葉斯模型是一種生成式模型。

樸素貝葉斯采用詞袋表示。在詞袋模型中，不考慮文檔中單詞的位置，詞與詞之間是互相獨立的，就像將所有詞語裝進一個袋子里一樣。

樸素貝葉斯文本分類的步驟如下：

（1） 計算先驗概率，即[p（y=cj）]，每個樣本對應的先驗概率等于所屬類別樣本數(shù)占所有樣本數(shù)目的比例。

（2） 計算條件概率，令N為文檔個數(shù)，V為詞表大小，[N（ti，x（k））]表示第i個詞在第k個文檔中出現(xiàn)的次數(shù)，[cj]表示第j個類別：

[θi|j=Nk=1I（y（k）=cj）N（ti，x（k））+1i'=1VNk=1I（y（k）=cj）N（ti，x（k））+V]（多項式分布假設）? ? ?（1）

[μi|j=Nk=1I（y（k）=cj）I（ti∈x（k））+1Nk=1I（y（k）=cj）+2]（多變量伯努利假設）? ? ? ?（2）

[μi|j]與[θi|j]表示一個文檔中的第i個詞屬于第j個類別的概率，對于多項式分布假設，分母為所有文檔總詞數(shù)，分子為文檔第i個詞在第j類所有文檔中出現(xiàn)的總次數(shù);對于多變量假設，分母為所有文檔中出現(xiàn)過第i個詞的文檔數(shù)目，分子為第j類所有文檔中有第i個詞出現(xiàn)的文檔數(shù)目。為了防止零概率問題，需要進行拉普拉斯平滑處理。

（3） 計算后驗概率[p（x|y=cj）=i=1V[I（ti∈x）μi|j+I（ti∈x）（1-μi|j）]]，去后驗概率最大時對應的類別作為預測類別。

2.2 Softmax回歸

Softmax回歸[5]是一種多分類模型，也稱作多類logistic回歸，在NLP中，與最大熵模型是等價的，Softmax回歸作為一種廣泛使用的分類算法，常常作為深度學習分類模型最后一層執(zhí)行分類預測。與樸素貝葉斯不同，Softmax模型是一種判別式模型。

模型假設如下：

[p（y=j|x;θ）=hj（x）=eθTjxk=1CeθThx，j=1，2，…C，where θC=0]? ? ? ?（3）

[p（y=j|x;θ）]表示給定參數(shù)[θ]時，樣本x屬于第j類的概率。值得注意的是，樣本x通過特征權重法構(gòu)造，對于每一個文檔，特征權重法構(gòu)建一個詞表，詞表中的每個詞具有一個固定的下標以及一個特征值。在使用TF特征（Term Frequency）時，某一文檔的特征向量中對應詞的特征值等于詞在文檔中出現(xiàn)的次數(shù)，其他特征權重方法有BOOL、IDF、TF-IDF等。

Softmax回歸模型使用梯度下降法更新權重：[?l（θ）?θj'=k=1N（1y（k）=j'-hj'（x（k）））x（k）]。

3 實驗

所有模型中，樸素貝葉斯（多項式分布）在測試集上的準確率最高，訓練時間最短。Softmax回歸模型使用TF權重時，測試集上的準確率最高。

樸素貝葉斯（多項式分布）實驗結(jié)果如圖1所示。

樸素貝葉斯（多變量伯努利）[6]實驗結(jié)果如圖2所示。

Softmax（GD+TF）實驗結(jié)果如圖3所示。

Softmax模型對于訓練集的擬合效果更好（準確率達到100%），但在測試集上，樸素貝葉斯分類準確率更高。我們觀察到Softmax的具體分類準確率與訓練集的文檔數(shù)目存在聯(lián)系，某一類別在訓練集中的文檔數(shù)目越多，則測試集上該類的分類準確率越高。Softmax模型不需要詞袋假設，適用范圍更廣泛。而在數(shù)據(jù)集較小的文本分類中，樸素貝葉斯模型的速度快、識別準確率高。時間成本上，樸素貝葉斯低于Softmax回歸。原因如下：樸素貝葉斯模型直接統(tǒng)計得到頻率與概率表格，不需要使用梯度下降進行參數(shù)優(yōu)化。

基于多項式假設的樸素貝葉斯模型準確率遠高于多變量假設。這是因為在多項式模型的類條件概率計算中，對于一個文檔d，多項式模型中，只有在d中出現(xiàn)過的單詞，才會參與后驗概率計算。Softmax（bool）模型在本問題中優(yōu)于多變量伯努利模型。

分類準確率：TF > IDF > BOOL > TF-IDF。BOOL特征權重具有實現(xiàn)簡單，速度快的優(yōu)點，但是忽視了詞頻。TF權重以詞頻度量詞的重要性，詞頻越高，認為該詞越重要。對于大部分詞，詞頻高，說明詞重要。然而，有一些詞（如“方面”、“中國”）在文檔中大量出現(xiàn)，此時，詞頻無法有效描述文檔的特征。

4 結(jié)束語

本文將對樸素貝葉斯模型和Softmax回歸進行了對比研究，并在清華新聞分類語料數(shù)據(jù)集上進行了文本分類實驗，實驗結(jié)果表明，從時間復雜度來看，樸素貝葉斯低于Softmax回歸，Softmax模型適用范圍較廣。

參考文獻：

[1] 岳文應.基于Doc2Vec與SVM的聊天內(nèi)容過濾[J].計算機系統(tǒng)應用，2018，27（7）：127-132.

[2] 蘇瑩，張勇，胡珀，等.基于樸素貝葉斯與潛在狄利克雷分布相結(jié)合的情感分析[J].計算機應用，2016，36（6）：1613-1618.

[3] 孫志遠，魯成祥，史忠植，等.深度學習研究與進展[J].計算機科學，2016，43（2）：1-8.

[4] 蔡巍，王英林，尹中航.基于網(wǎng)上新聞語料的Web頁面自動分類研究[J].情報科學，2010，28（1）：124-127，136.

[5] 劉亞沖，唐智靈.基于Softmax回歸的通信輻射源特征分類識別方法[J].計算機工程，2018，44（2）：98-102.

[6] 吳皋，李明，周稻祥，等.基于深度集成樸素貝葉斯模型的文本分類[J].濟南大學學報（自然科學版），2020，34（5）：436-442.

【通聯(lián)編輯：唐一東】