基于句結(jié)構(gòu)的主題分類模型改進(jìn)算法

韓奕農(nóng) 樂紅兵

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇省無錫市 214122）

1 引言

統(tǒng)計(jì)主題模型是描述大型文本集合生成主題信息概率分布的無監(jiān)督模型。目前，基于吉布斯采樣的潛在狄利克雷分布（latent Dirichlet allocation，LDA）是當(dāng)下普遍使用的文本聚類挖掘技術(shù)。該主題模型使用詞袋算法，忽略詞的位置信息，提取出的主題為分割詞的無序組合，然而單詞在連貫的文本段（句子或短語）中的意義丟失，并且分配這些主題的標(biāo)簽通常留給人工解釋，降低了識別的準(zhǔn)確率、增加了工作量。在主題模型上增加多標(biāo)簽識別為多個(gè)詞從屬于一個(gè)標(biāo)簽主題以及對主題進(jìn)行預(yù)測所屬類別提供了便利。例如，單詞如鉛筆、筆記本電腦、尺子、橡皮和書本可以映射到標(biāo)簽“學(xué)校用品”上，判斷鉛筆類別可歸屬到“學(xué)校用品”上。

為了提升主題模型的泛化性，一些研究者在Blei等[1]提出的LDA模型基礎(chǔ)上進(jìn)行了研究改進(jìn)：Liu Y[2]提出主題詞嵌入(TWE)，給定一個(gè)單詞序列D={w1,…wM}，在LDA迭代收斂后，每個(gè)單詞被分配給一個(gè)特定的主題，形成word-topic映射對，用來學(xué)習(xí)主題詞嵌入，該方法的計(jì)算復(fù)雜度高，耗時(shí)較長。Georgios Balikas[3]提出copLDA模型，充分利用句子的結(jié)構(gòu)信息，以名詞短語為基本采樣單位，并且用連接函數(shù)模擬詞之間的依賴關(guān)系，提取出名詞短語，然而名詞短語是共現(xiàn)詞的一種特殊情況。Justin Wood[4]提出sourceLDA模型，先采取有監(jiān)督的方法學(xué)習(xí)帶有標(biāo)記的主題，再將這些先驗(yàn)知識納入建模過程，以提高主題分配的質(zhì)量，更有效地標(biāo)記主題，這種方法整合了先驗(yàn)知識，但沒有考慮單詞分布，需要手動(dòng)輸入預(yù)先存在的概念和每個(gè)主題的詞袋。Harsh Shrivastava[5]提出CoNN-sLDA改進(jìn)分類準(zhǔn)確率，使用一組經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來捕獲先前給定結(jié)構(gòu)的潛在表示，與傳統(tǒng)的深層網(wǎng)絡(luò)相比，它需要更多特定領(lǐng)域的先驗(yàn)結(jié)構(gòu)或變分自動(dòng)編碼器。

本文提出senLDA模型，修改LDA的吉布斯采樣過程，假設(shè)文本窗口內(nèi)詞只由一個(gè)主題產(chǎn)生，短文本潛在主題與各個(gè)單元上的主題保持一致。以句內(nèi)共現(xiàn)率較高詞作為采樣單位，收斂出高頻共現(xiàn)詞。傳統(tǒng)LDA假設(shè)單個(gè)詞的長度為最大窗口，因此senLDA是LDA的一個(gè)特殊情況。senLDA通過整合句子來擴(kuò)展LDA，保持詞匯與主題的關(guān)聯(lián)并且沒有依據(jù)先驗(yàn)知識增加額外超參數(shù)的推導(dǎo)，保留了傳統(tǒng)LDA的簡單性。

2 senLDA模型

傳統(tǒng)LDA是3層貝葉斯概率模型，它主要采用兩層Dirichlet分布表述了文檔、主題、詞匯間的數(shù)學(xué)關(guān)系，可以用來挖掘數(shù)據(jù)規(guī)模較大的文檔集或語料庫中隱藏的主題詞信息，并廣泛應(yīng)用于文本分類聚類、文章概要挖掘、信息優(yōu)先級檢索等多重領(lǐng)域。SenLDA與傳統(tǒng)LDA結(jié)構(gòu)類似，采用兩層Dircichlet分布表述了文檔、主題、共現(xiàn)詞間的數(shù)學(xué)模型，假設(shè)同一句子窗口內(nèi)的詞由同一主題產(chǎn)生，對句子內(nèi)的詞進(jìn)行進(jìn)一步建模，能捕捉到更加細(xì)粒度詞語共現(xiàn)關(guān)系。

圖2：senLDA-CNNs處理文檔過程

模型概念如圖1所示。

圖1中，α為K維向量，表示對應(yīng)的主題在文檔中的概率比值，β為v維向量，表示每個(gè)主題內(nèi)部詞的平滑程度。θ是一個(gè)M*K的矩陣，矩陣的行代表了一篇文章的主題分布，列表示貢獻(xiàn)詞在各個(gè)主題下的概率值，w是N個(gè)詞組組成的向量，各個(gè)符號的含義見表1。

在文本切分好的詞中增加詞序列表示詞的相關(guān)性。通過分析句結(jié)構(gòu)聯(lián)合語法，只保留名詞屬性詞，其它屬性詞被去除，再進(jìn)行以共現(xiàn)詞為單位的吉布斯采樣，可以獲得更精確的主題粒度。senLDA使用文檔采集過程如算法1所示：

?

For document do Sample mixture of topics Sample sentence number For sentence do Sample number of words Sample topic For co-words in sentence s do Sample term for End End End

由算法1可以看出，senLDA通過使用句子作為連貫片段來擴(kuò)展LDA，分析句子的結(jié)構(gòu)并將共現(xiàn)詞替代單個(gè)詞進(jìn)行主題提取，可以實(shí)現(xiàn)更精細(xì)的粒度級別。采用吉布斯采樣估計(jì)隱藏的主題變量，文本結(jié)構(gòu)通常包含詞序信息，可以更好地進(jìn)行分類的有監(jiān)督學(xué)習(xí)。因?yàn)榫渥踊蚨陶Z是文本窗口大小內(nèi)的完整部分，它們本身可以傳達(dá)一個(gè)簡潔的意思。如“這部電影是由 Victor Mature, Brian Donlevy 和Richard Widmark在1947年根據(jù)電影《黑色經(jīng)典》翻拍的”。在句子層面上，我們可以認(rèn)為句子是由“電影”主題產(chǎn)生的，因?yàn)樗懻摰氖且徊侩娪凹捌渥髡?。然而，LDA給句子中的《黑色經(jīng)典》分配了“電影”、給三個(gè)人名分配了“選舉”這2個(gè)主題，可以看出，“電影”和“選舉”是無關(guān)的。進(jìn)一步，在更精細(xì)的文本粒度中，LDA也無法在名詞短語（如“無厘頭電影”）和實(shí)體（如“周星馳”）中指定一致的主題，而senLDA通過共現(xiàn)詞的概率計(jì)算，把短語和實(shí)體捆綁在一起分類到電影主題。因此，一個(gè)句子或短語主題之間的約束機(jī)制考慮到簡單的文本結(jié)構(gòu)，可以更好表達(dá)主題意義。senLDA的聯(lián)合分布如式（1）：

對公式（1）進(jìn)行分解可以得到公式（2）：

公式（3）中的第一項(xiàng)具體解釋如下所示：

表1：senLDA符號含義對照表

公式（3）的主題計(jì)算方法在大體上與傳統(tǒng)LDA計(jì)算方法相似，不同之處在于考慮到每個(gè)文檔的主題數(shù)由句子表示的主題數(shù)決定，而不是詞表達(dá)的主題數(shù)決定，公式（3）由此得出：

3 卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)為學(xué)習(xí)復(fù)雜的自然語言提供了一種低偏差的解決方法，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)近來在句子分類任務(wù)上廣泛使用，該模型要求一個(gè)精細(xì)的模型體系結(jié)構(gòu)并設(shè)置伴隨的超參數(shù)，包括過濾區(qū)域大小、正則化參數(shù)等等。單層CNNs分類功能類似于向量機(jī)和邏輯回歸，不僅能提高分類精度值，而且減少了多層網(wǎng)絡(luò)的訓(xùn)練時(shí)間。

進(jìn)行文本多分類的模型訓(xùn)練過程中，對同一主題中的文檔使用senLDA進(jìn)行高頻共現(xiàn)詞提取，然后提取結(jié)果使用卷積操作處理詞向量序列，生成多通道特征圖，再對特征圖采用的最大池化操作得到與此卷積核對應(yīng)的整句話特征，最后將所有卷積核得到的特征拼接起來為文本的定長向量表示，映射為分類類別。CNNs經(jīng)過多次迭代學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)參數(shù)，構(gòu)建模型，用于預(yù)測測試集語句。

圖2中最上面是同一主題的多個(gè)文檔，經(jīng)過senLDA進(jìn)行窗口內(nèi)提取的高頻詞作為輸入層，通過word2vec生成有順序的多個(gè)短語對應(yīng)矩陣。使用K維的分布式詞向量表示長度為n的句子，則構(gòu)成一個(gè)n×k的矩陣，句子可以表示為：

圖3：20NewsGroup困惑度變化曲線

圖4：wiki困惑度變化曲線

（1）通過卷積神經(jīng)網(wǎng)絡(luò)對提取出關(guān)鍵詞的文本進(jìn)行標(biāo)簽分類。經(jīng)過輸入層后，得到大小為的三維文本輸入。對三維文本進(jìn)行卷積過濾操作，卷積尺寸為其中m代表卷積長度，即每次處理文本中單詞的數(shù)量；k代表詞向量的維度；depth代表過濾的深度，可以使用不同的m分別進(jìn)行卷積來提取更多的特征，逐行進(jìn)行卷積操作。當(dāng)m=1表示一元分詞特征，m=2表示二元分詞特征。在卷積層選擇m={2,3,4}進(jìn)行卷積得到3個(gè)特征映射，每個(gè)特征映射的長度與原文本長度相關(guān)，寬度為depth，經(jīng)過卷積層可以提取到原文本的n元特征。

（2）在池化層采用了max-pooling的方法，池化層的過濾器表示為其中convLength代表對文本卷積后特征映射的長度。經(jīng)過池化層后特征映射的維度降為1，因此池化結(jié)束后，得到向量的維度為這樣就得到整個(gè)文本的特征表示。

（3）經(jīng)過卷積池化后得到了表示文本的特征向量，再經(jīng)過一個(gè)全連接+softmax層就獲得不同標(biāo)簽的概率聯(lián)合向量，完成了CNNs對文本分類建模的任務(wù)。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)評估senLDA的性能，過程分為兩個(gè)步驟：

（1）訓(xùn)練階段：迭代主題模型去學(xué)習(xí)主題參數(shù)。

（2）預(yù)測階段：使用吉布斯抽樣推理方法估計(jì)主題分布。

4.1 主題正確性評估

困惑度(Perplexity)最早由Blei D M[1]提出，是目前常用的一種評價(jià)主題模型性能的手段，可以表示主題模型的泛化能力。困惑度指的是訓(xùn)練出來的模型對文檔d屬于某個(gè)主題的不確定性。困惑度與模型聚類效果和泛化能力成反比。困惑度的計(jì)算公式如式（9）所示：

p(w)是指單詞出現(xiàn)的頻率，計(jì)算方法如式（10）所示：

p(z|d)表示一個(gè)文檔中每個(gè)主題出現(xiàn)的概率， p(w|z)表示的是每一個(gè)單詞在某個(gè)主題下出現(xiàn)的概率。

文獻(xiàn)[3]提取的copLDA模型，文獻(xiàn)[4]提及的LDA模型sourceLDA模型，和本文提出的senLDA三種主題模型的困惑度都依賴詞頻計(jì)算，選擇主題數(shù)K={30,50,70}隨著迭代次數(shù)的增加，3個(gè)數(shù)據(jù)集的困惑度值在不同數(shù)據(jù)集上的變化曲線如圖3，圖4所示。

圖3和圖4描述了四種主題模型在兩種數(shù)據(jù)集上隨著迭代次數(shù)增加困惑度的變化曲線。當(dāng)?shù)螖?shù)增大，四種模型的困惑度隨之下降。在頭條新聞數(shù)據(jù)集中，senLDA曲線變化幅度最大，盡管剛開始copLDA表現(xiàn)優(yōu)于senLDA，隨著主題模型更長時(shí)間的迭代，senLDA的困惑度差距逐漸縮小并且低于copLDA。與其它三種模型相比，senLDA模型的困惑度低于其它以詞為提取單位的主題模型，模型的泛化能力最強(qiáng)。當(dāng)topic=50時(shí)，senLDA的下降速度最快，收斂效果最明顯；當(dāng)K增加時(shí)，senLDA的困惑度變化曲線基本與之前一致，其它算法曲線相應(yīng)下降，但還是高于senLDA算法。在wiki數(shù)據(jù)集中，四種算法的變化曲線都比較大，隨著主題模型更長時(shí)間的迭代，四種模型的困惑度在迭代次數(shù)小于50時(shí)迅速下降，最后趨于平緩。當(dāng)K=30時(shí)，senLDA的下降速度最快，收斂效果最明顯；當(dāng)topic=50時(shí)，困惑度的值一開始區(qū)分明顯，而后senLDA曲線與sourLDA 基本重疊；當(dāng)K=70時(shí)，senLDA的困惑度變化曲線基本與之前一致，其它算法曲線相應(yīng)下降，但還是高于本章提出算法。

表2：實(shí)驗(yàn)數(shù)據(jù)集

表3：模型在數(shù)據(jù)集上的F值

表4：模型在數(shù)據(jù)集上的準(zhǔn)確率

從兩個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果可以看出，由Georgios Balikas[13]提出copLDA模型，充分利用句子的結(jié)構(gòu)信息，以名詞短語為基本采樣單位，并且用連接函數(shù)模擬詞之間的依賴關(guān)系，提取出名詞短語，然而名詞短語是共現(xiàn)詞的一種特殊情況。Justin Wood[14]提出的sourceLDA模型采取有監(jiān)督的方法學(xué)習(xí)帶有標(biāo)記的主題，并將這些先驗(yàn)知識納入建模過程，不僅提高主題分配的質(zhì)量，還有效地標(biāo)記主題，這種方法確實(shí)整合了先驗(yàn)知識，但沒有考慮單詞分布，需要手動(dòng)輸入預(yù)先存在的概念和每個(gè)主題的詞袋。傳統(tǒng)LDA假設(shè)單個(gè)詞的長度為最大窗口，因此senLDA是LDA的一個(gè)特殊情況。senLDA通過整合句子來擴(kuò)展LDA，保持詞匯與主題的關(guān)聯(lián)并且沒有依據(jù)先驗(yàn)知識增加額外超參數(shù)的推導(dǎo)，保留了傳統(tǒng)LDA的簡單性。

總體而言，senLDA模型雖然有更低的困惑度，但是需要更長的迭代時(shí)間。由于senLDA采樣單位為共現(xiàn)詞，代替?zhèn)鹘y(tǒng)LDA以單詞為采樣單位，所以senLDA計(jì)算復(fù)雜度的靈活性降低，概率計(jì)算時(shí)間較長。盡管如此，當(dāng)訓(xùn)練實(shí)例是短語，基于單詞度量進(jìn)行困惑度評估時(shí)，雖然senLDA的靈活性受到限制，收斂時(shí)間更長，但是模型泛化能力好，并且采集的短語更能表達(dá)主題的含義。

4.2 分類F值評估

提取文本的主題詞等同于文本預(yù)處理，根據(jù)多個(gè)核心短語進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)并且多分類，不僅降低了文本訓(xùn)練維度，而且實(shí)驗(yàn)準(zhǔn)確率得到提高。實(shí)驗(yàn)采用準(zhǔn)確率(Precision,P)和綜合F值作為評價(jià)指標(biāo)。為了驗(yàn)證本文提出文本分類方法的有效性，

（1）第一組實(shí)驗(yàn)是在4個(gè)通用數(shù)據(jù)集上將senLDA-CNN與當(dāng)前的一些經(jīng)典主題模型算法做比較。文獻(xiàn)[2]中提及的模型，如BOW、Skip-Gram、LDA和文獻(xiàn)[6]涉及的模型如copLDA、senLDA+SVM，計(jì)算分類的F值如表3所示，評估本文算法的有效性和可靠性。

通過表3可得，在數(shù)據(jù)集20NewsGroup，wikitrain和頭條新聞中，本文提出算法相較于經(jīng)典算法有較大提升。本文算法senLDA+CNN分類的F值在四個(gè)不同數(shù)據(jù)集上最高。與其他模型相比，senLDA可以能夠把文章特征降低到82%。在20NewsGruop數(shù)據(jù)集中，本文提出算法的F值提升顯著，如較senLDA+SVM提高了大約3.75%，較copLDA提高了2.4%，較BOW模型提升了29.9%。在頭條新聞數(shù)據(jù)集中，本文提出算法提升不大，相較于其他主題分類模型，最多提升7%左右。總體可以看出，保持詞序建神經(jīng)網(wǎng)絡(luò)，不僅可以最大限度降低文章特征，而且比其他主題模型的分類的F值更高。

（2）第二組實(shí)驗(yàn)為LDA融合于神經(jīng)網(wǎng)絡(luò)或機(jī)器學(xué)習(xí)的擴(kuò)展模型與本文提出模型的比較。

senLDA結(jié)合單層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類，根據(jù)主題困惑度評估，20NewsGruop數(shù)據(jù)集中的k=50，模型的主題聚類達(dá)到最好。在卷積層選擇m={2,3,4}，當(dāng)m=1表示一元分詞特征，m=2表示二元分詞特征，進(jìn)行分類實(shí)驗(yàn)。比較senLDA+CNN和現(xiàn)有的文檔分類算法；

（1）VI-sLDA[7,8]包括圖模型中包含文檔標(biāo)簽，可以最大限度地實(shí)現(xiàn)最低邊界；

（2）DiscLDA[9]的有監(jiān)督主題模型通過引入與類相關(guān)的線性變換來降低分類主題向量 θ的維數(shù)；

（3）OverRep-S[9]是為建模文檔而開發(fā)的分類方法；

（4）BP-sLDA[10]是在深層結(jié)構(gòu)上的反向傳播進(jìn)行l(wèi)da的點(diǎn)到點(diǎn)學(xué)習(xí)；

（5）senLDA算法[3]和本章提出算法senLDA+CNN在20 Newsgroups數(shù)據(jù)集上進(jìn)行正確率比較。

表4顯示了20NG數(shù)據(jù)集的準(zhǔn)確性結(jié)果以及平均值的標(biāo)準(zhǔn)誤差，將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，并優(yōu)化所有參數(shù)。

由表4可得，當(dāng)卷積層的分詞特征m=3時(shí)，senLDA+CNN在損失函數(shù)中平衡了不同類別的誤分類成本，表現(xiàn)稍好。其他深層模型如BP-sLDA所需的層數(shù)通常比較高，并且隨著層數(shù)的減少，它們的性能大大降低。senLDA+CNN的單層神經(jīng)網(wǎng)絡(luò)分類的準(zhǔn)確率上高于其它模型，因?yàn)榕c其他模型相比，senLDA能夠把文章特征降低到82%，過濾掉對分類用處不大的信息。在20NewsGruop數(shù)據(jù)集中，本文提出算法的準(zhǔn)確率比senLDA+SVM提高了大約3.75%，較BP-sLDA提高了2.4%，并且網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到了最簡化。本文算法的準(zhǔn)確度略低于BP-sLDA，網(wǎng)絡(luò)設(shè)計(jì)層數(shù)是它的1/5，因此模型的復(fù)雜度低于其它算法?？傮w而言，本文提出算法準(zhǔn)確率并沒有完全高于所有算法，但對于其它網(wǎng)絡(luò)模型結(jié)構(gòu)，單層神經(jīng)網(wǎng)絡(luò)達(dá)到最簡化，分類性能略低于或大于其它模型。

表5：LDA和senLDA主題提取結(jié)果

4.3 LDA和senLDA關(guān)鍵詞對比

使用今日頭條數(shù)據(jù)集訓(xùn)練LDA模型和senLDA模型， 窗口長度最大為20的共現(xiàn)名詞作為采樣基本單位，LDA和senLDA提取的主題為汽車、財(cái)經(jīng)、教育、軍事、電競、娛樂、農(nóng)業(yè)前8個(gè)關(guān)鍵描述詞和高頻共現(xiàn)詞如表5所示：第一行為新聞所屬主題，上部分詞是LDA模型提取結(jié)果，下部分共現(xiàn)詞是senLDA模型提取結(jié)果。

由表5可得，兩個(gè)模型都能識別直觀主題，LDA是詞袋模型，所以提取的主題是無序單詞，詞與詞之間的聯(lián)系被忽略，表達(dá)的含義比較有限，并且各個(gè)主題之間的關(guān)鍵詞容易混淆。而senLDA提取出的多是高頻共現(xiàn)詞，表示組成該字符串的詞共同出現(xiàn)的頻率較高，短語表達(dá)不僅在含義上更清晰，還可以幫助提取每個(gè)類別下新聞的熱點(diǎn)話題。如在“汽車”類別的話題下，通過senLDA提取，新聞發(fā)布量最多的話題可能是“馬自達(dá)銷量”、“奔馳亮相”、“順風(fēng)滴滴”等代表網(wǎng)名最關(guān)心或者提及最多的話題。在“娛樂”類別的話題下，熱點(diǎn)話題為“戛納紅毯”、“范冰冰李晨”、“關(guān)曉彤鹿晗”等娛樂圈新鮮事和營銷號推廣最多的話題。senLDA使用的文本結(jié)構(gòu)信息有助于獲得一致的主題以生成像“大學(xué)專業(yè)”和“全國畢業(yè)生”這樣的教育類別的名詞短語，表示“大學(xué)”和“專業(yè)”在文本中共同出現(xiàn)的頻率最高，使詞語表達(dá)含義更準(zhǔn)確和更易理解。由于senLDA在窗口內(nèi)采用的是連接函數(shù)，以句內(nèi)高共現(xiàn)詞取代了單個(gè)詞作為采樣單位，所以提取出來的詞有連貫性，在詞意表達(dá)和理解上優(yōu)于傳統(tǒng)LDA模型。

5 結(jié)束語

本文提出senLDA-CNNs模型，主題按照以句為最大窗口進(jìn)行共現(xiàn)詞采樣，再結(jié)合單層卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行文本分類，在困惑度計(jì)算、分類準(zhǔn)確率和F值中評估了本文算法，實(shí)驗(yàn)結(jié)果表明改進(jìn)模型主題提取泛化性和文本分類準(zhǔn)確度都得到提高。

未來的工作中，可以從以下幾個(gè)方面進(jìn)行改進(jìn)：

（1）進(jìn)行詞語相似度計(jì)算使得出的主題相關(guān)詞集中。

（2）建立多種混合模型進(jìn)行標(biāo)簽判定，進(jìn)一步提高分類的準(zhǔn)確率。

（3）從數(shù)據(jù)本身出發(fā)，對文本質(zhì)量進(jìn)行打分，篩除低質(zhì)量文本，增加高質(zhì)量文本重要性，提高分類和主題提取的準(zhǔn)確度。