基于LDA模型的新聞話題分類研究

談成訪　汪材印

摘要： 針對部分網(wǎng)站中新聞話題沒有分類或者分類不清等問題， 將LDA模型應(yīng)用到新聞話題的分類中。首先對新聞數(shù)據(jù)集進(jìn)行LDA主題建模，根據(jù)貝葉斯標(biāo)準(zhǔn)方法選擇最佳主題數(shù)，采用Gibbs抽樣間接計(jì)算出模型參數(shù)，得到數(shù)據(jù)集的主題概率分布；然后根據(jù)JS距離計(jì)算文檔之間的語義相似度，得到相似度矩陣；最后利用增量文本聚類算法對新聞文檔聚類，將新聞話題分成若干個(gè)不同結(jié)構(gòu)的子話題。實(shí)驗(yàn)結(jié)果顯示表明該方法能有效地實(shí)現(xiàn)對新聞話題的劃分。

關(guān)鍵詞： LDA；文本聚類；新聞話題；分類；主題

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）16-3795-03

Abstract： The LDA model is applied to the classification of news topic on the website because of its no classification or unclear classification. Firstly， news dataset is modeled by LDA modeling， the optimal number of topic is chosen according to Bias standard method， and get the topic probability distribution of dataset by using Gibbs sampling to calculate the model parameters； and then similarity matrix is obtained based on the semantic similarity between documents by computing JS distance； finally， the incremental clustering algorithm is used to cluster news document， and the topic is divided into a number of different structure of the sub topic. The experimental results show that this method can realize the division of news topic effectively.

Key words： Latent Dirichlet Allocation； Text Clustering； News Topic； Classification； Topic

1 概述

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，很多門戶網(wǎng)站提供了新聞專題報(bào)道欄目，尤其是當(dāng)某一熱點(diǎn)事件產(chǎn)生時(shí)，與該熱點(diǎn)事件相關(guān)聯(lián)的新聞話題通常以專欄形式集中報(bào)道發(fā)布，以便于人們及時(shí)了解事件的發(fā)展動態(tài)。然而，目前一些網(wǎng)站新聞專題欄目，缺少對新聞話題進(jìn)行進(jìn)一步的分類或者分類不夠清晰，從而影響了人們對頁面的瀏覽興趣。因此，如何對新聞話題具體清晰地進(jìn)行分類具有重要的研究意義。

本文將LDA模型融入新聞話題分類研究中，利用JS距離計(jì)算文檔間的語義相似度，在此基礎(chǔ)上進(jìn)行文檔聚類，實(shí)現(xiàn)對新聞話題的進(jìn)一步劃分。

2 LDA模型

LDA是Blei等[1]提出的一種統(tǒng)計(jì)主題模型，包含詞、主題和文檔三層結(jié)構(gòu)。其主要思想是文檔是由若干主題混合而成，每個(gè)主題又由一系列的詞匯混合而成[2]。 模型的建立如圖1所示。

其中，[α]代表整個(gè)文檔集上主題的Dirichlet先驗(yàn)分布，[β]代表所有主題上詞語的Dirichlet先驗(yàn)分布，[N]代表詞語個(gè)數(shù)，[M]代表整個(gè)文檔集中的文檔數(shù)量，[T]代表主題個(gè)數(shù)。

假設(shè)文檔集[D]中有[M]個(gè)文檔，表示為[D={d1，d2，...，dm}]，其中任意一個(gè)文檔[d]包含[N]個(gè)詞語，表示為[d={w1，w2，...，wn}]，因此，一個(gè)文檔中詞語[wi]的概率分布計(jì)算公式如下：

[p（wi）=j=1Tp（wi|zi=j）p（zi=j）] （1）

其中，[zi]是潛在變量，[p（wi|zi=j）]表示詞語[wi]屬于第[j]個(gè)主題的概率，[p（zi=j）]表示文檔[d]中屬于第[j]個(gè)主題的概率。

3 基于LDA模型的新聞話題分類方法

基于LDA模型的新聞話題分類過程如圖2所示。

3.1 文本預(yù)處理

預(yù)處理在中文文本分類主要是指中文分詞、詞性標(biāo)注、去除停用詞等。首先對新聞文檔集進(jìn)行中文分詞，然后剔除虛詞、停用詞等與主題無關(guān)或者關(guān)聯(lián)非常小的詞，僅僅保留對主題影響較大的名詞和動詞。

3.2 特征選擇和文本表示

本文采用在中文分類中效果較好的MI方法抽取特征[3]，單詞[wi]和類別[c]之間的互信息定義為：

[MI（wi，c）=logp（wi?c）p（wi）p（c）] （2）

其中，[p（wi?c）]表示表示[wi]和[c]同時(shí)出現(xiàn)的概率，[p（wi）]表示[wi]出現(xiàn)的概率，[p（c）]

則表示[c]出現(xiàn)的概率。

文本表示采用目前應(yīng)用較廣泛的向量空間模型（VSM） 來表示文本。

[Mmi=（w1，w2，...，wn）] （3）

其中[wi]表示第[i]個(gè)特征項(xiàng)的權(quán)重，根據(jù)著名的TF-IDF 公式計(jì)算權(quán)重：

[Wi（d）=tfi（d）*log（N/ni+0.1）i=1n（tfi（d））2×log2（N/ni+0.1）] （4）

其中， [tfi（d）] 表示第[i]個(gè)特征項(xiàng)在文檔[d]中的詞頻， [N]為訓(xùn)練文本的總數(shù)， [ni]為訓(xùn)練文本集中出現(xiàn)[i]的文本數(shù)， 分母為歸一化因子。endprint

3.3 LDA主題建模

3.3.1 模型選擇

由于主題個(gè)數(shù)影響LDA模型對文檔集的擬合性能，因此需要確定主題個(gè)數(shù)的最佳值。該文采用貝葉斯統(tǒng)計(jì)中的標(biāo)準(zhǔn)方法來確定最佳主題個(gè)數(shù)。 在LDA 模型中，[α]和[β]分別是[θ]和[φ] 上的Dirichlet 先驗(yàn)分布，通過對[θ]和[φ]積分可以求取聯(lián)合概率[p（w，z）]的值，計(jì)算如下。

根據(jù)公式（6）計(jì)算出使用不同主題數(shù)T對數(shù)據(jù)集建模的[p（w|T）]值。由[p（w|T）]值確定最佳主題數(shù)T。

3.3.2 參數(shù)估計(jì)

根據(jù)MCMC中的Gibbs抽樣算法進(jìn)行參數(shù)推理，通過對變量[z]進(jìn)行Gibbs抽樣間接計(jì)算出文本-主題概率分布和主題-詞概率分布，即[θ]和[?][4]，計(jì)算公式如下：

[θd=nmj+αnd?+Tα] （7）

[?w=nwj+βn?j+Wβ] （8）

其中，[nmj]表示是文檔[dm]中分配給主題[j]的詞數(shù)，[nd?]表示文檔[dm]中所有分配了主題的詞數(shù)，[nwj]表示詞匯[w]分配給主題[j]的頻數(shù)，[n?j]表示分配給主題[j]的所有詞匯數(shù)。

3.4 文本相似度計(jì)算

通過LDA模型的構(gòu)建可以得到文本-主題概率分布和主題-詞概率分布，因此，計(jì)算兩個(gè)文檔的相似度可通過計(jì)算與之對應(yīng)的主題概率分布來實(shí)現(xiàn)。由于主題是詞向量的混合分布，因此，該文使用JS（Jensen-Shannon）距離來計(jì)算主題概率向量[p=（p1，p2，...，pk）]到[q=（q1，q2，...，qk）]的距離，具體的計(jì)算公式如下：

[Djs（p，q）=12[DKL（p，p+q2）+DKL（q，p+q2）]] （9）

其中[DKL（p，q）=j=1Tpjlnpjqj]，p，q為主題概率分布。

3.5 文本聚類

增量文本聚類是話題檢測領(lǐng)域中常用的一種算法，該文采用該算法對新聞話題文檔集進(jìn)行主題聚類，其算法思想如下[5]：

1） 預(yù)設(shè)一個(gè)聚類閾值[k]；

2） 計(jì)算每個(gè)文檔[di]與已識別子話題簇[Cjt]之間的相似度并找到最相似子話題簇，[Sim（di，CMt）=maxSim（di，Cjt）]；

3） 若[Sim（di，CMt）>k]（預(yù)設(shè)的聚類閾值），則將該文檔[di]加入子話題簇[CMt]中；否則，以該微博文檔[di]作為種子話題創(chuàng)建新的子話題。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)利用網(wǎng)頁爬蟲從新浪新聞爬取“馬航失聯(lián)航班”專題下的相關(guān)報(bào)道模塊，時(shí)間范圍從2014年3月8日到2014年3月15日的新聞報(bào)道共6，321篇。經(jīng)過分詞、剔除無用詞等預(yù)處理后，從中選取3800篇作為實(shí)驗(yàn)數(shù)據(jù)集。

4.2 評估方法

實(shí)驗(yàn)評估方法選擇傳統(tǒng)的評估標(biāo)準(zhǔn)：正確率p、召回率r、F1值、宏平均正確率Macro-p、宏平均召回率Macro-r、宏平均率Macro-F1值。計(jì)算公式如下[6]：

其中，[a]表示正確分到一個(gè)類別的文本數(shù)量，[b]表示分類結(jié)果中分類錯(cuò)誤的文本數(shù)量，[c]表示應(yīng)該被分到一個(gè)類別但沒有正確分類的文本數(shù)量，[k]表示文本的類別個(gè)數(shù)。

4.3 實(shí)驗(yàn)結(jié)果分析

首先使用前面介紹的最佳主題個(gè)數(shù)確定方法，根據(jù)[α=50/T]，[β=0.01][7] （此為經(jīng)驗(yàn)值，這種取值在本實(shí)驗(yàn)數(shù)據(jù)集上有較好的效果）。[T]在各種不同的取值下分別運(yùn)行Gibbs抽樣算法，分析[logP（w|T）]的變化。實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可知，當(dāng)[T]= 60 時(shí)，[logP（w|T）]最小，此時(shí)模型對于文檔集的擬合性能最佳。因此，在實(shí)驗(yàn)中選擇主題個(gè)數(shù)[T]為60。

本文將文本表示選擇VSM，采用MI提取特征詞，然后使用增量文本聚類算法分類，作為對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

5 結(jié)論

本文將LDA模型應(yīng)用到新聞話題分類中，利用LDA模型進(jìn)行主題建模和文本語義相似度計(jì)算，并使用增量文本聚類算法實(shí)現(xiàn)對新聞話題的分類，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的向量空間模型相比，通過LDA建模，降低了數(shù)據(jù)稀疏性和特征空間高維性等問題，提高了分類的正確率。在今后的工作中，將進(jìn)一步研究提高LDA模型的建模和推斷時(shí)間，并將其拓展到更多的領(lǐng)域，如信息檢索、微博話題發(fā)現(xiàn)、情感分析等。

參考文獻(xiàn)：

[1] Blei D M， Lafferty J D. A correlated topic model of science[J].Annals of Applied Statistics， 2007， 1（1）：17-35.

[2] 談成訪，汪材印，張亞康. 基于LDA的中文微博熱點(diǎn)話題發(fā)現(xiàn)[J]. 宿州學(xué)院學(xué)學(xué)報(bào)，2014（4）： 71-73.

[3] Lv Nan，Luo Jun-yong，Liu Yao，et al.Topic three layer model based topic evolution analysis algorithm [J]. Computer Engineering， 2009， 35（23）： 71-75.

[4] QUAN X J， LIU G， et al.Short text similarity based on probabilistic topics [J]. Knowledge Information System， 2010， 25（3）：473-491.

[5] 趙愛華，劉培玉，鄭燕. 基于LDA的新聞話題子話題劃分方法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2013， 34（4）：732-735.

[6] Chengfang TAN. Short Text Classification Based on LDA and SVM [J]. International Journal of Applied Mathematics and Statistics （IJAMS）， 2013， 51（22）：205-214.

[7] 姚全珠，宋志理，彭程. 基于LDA的文本分類研究[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47（13）：150-153.endprint

3.3 LDA主題建模

3.3.1 模型選擇

由于主題個(gè)數(shù)影響LDA模型對文檔集的擬合性能，因此需要確定主題個(gè)數(shù)的最佳值。該文采用貝葉斯統(tǒng)計(jì)中的標(biāo)準(zhǔn)方法來確定最佳主題個(gè)數(shù)。 在LDA 模型中，[α]和[β]分別是[θ]和[φ] 上的Dirichlet 先驗(yàn)分布，通過對[θ]和[φ]積分可以求取聯(lián)合概率[p（w，z）]的值，計(jì)算如下。

根據(jù)公式（6）計(jì)算出使用不同主題數(shù)T對數(shù)據(jù)集建模的[p（w|T）]值。由[p（w|T）]值確定最佳主題數(shù)T。

3.3.2 參數(shù)估計(jì)

根據(jù)MCMC中的Gibbs抽樣算法進(jìn)行參數(shù)推理，通過對變量[z]進(jìn)行Gibbs抽樣間接計(jì)算出文本-主題概率分布和主題-詞概率分布，即[θ]和[?][4]，計(jì)算公式如下：

[θd=nmj+αnd?+Tα] （7）

[?w=nwj+βn?j+Wβ] （8）

其中，[nmj]表示是文檔[dm]中分配給主題[j]的詞數(shù)，[nd?]表示文檔[dm]中所有分配了主題的詞數(shù)，[nwj]表示詞匯[w]分配給主題[j]的頻數(shù)，[n?j]表示分配給主題[j]的所有詞匯數(shù)。

3.4 文本相似度計(jì)算

通過LDA模型的構(gòu)建可以得到文本-主題概率分布和主題-詞概率分布，因此，計(jì)算兩個(gè)文檔的相似度可通過計(jì)算與之對應(yīng)的主題概率分布來實(shí)現(xiàn)。由于主題是詞向量的混合分布，因此，該文使用JS（Jensen-Shannon）距離來計(jì)算主題概率向量[p=（p1，p2，...，pk）]到[q=（q1，q2，...，qk）]的距離，具體的計(jì)算公式如下：

[Djs（p，q）=12[DKL（p，p+q2）+DKL（q，p+q2）]] （9）

其中[DKL（p，q）=j=1Tpjlnpjqj]，p，q為主題概率分布。

3.5 文本聚類

增量文本聚類是話題檢測領(lǐng)域中常用的一種算法，該文采用該算法對新聞話題文檔集進(jìn)行主題聚類，其算法思想如下[5]：

1） 預(yù)設(shè)一個(gè)聚類閾值[k]；

2） 計(jì)算每個(gè)文檔[di]與已識別子話題簇[Cjt]之間的相似度并找到最相似子話題簇，[Sim（di，CMt）=maxSim（di，Cjt）]；

3） 若[Sim（di，CMt）>k]（預(yù)設(shè)的聚類閾值），則將該文檔[di]加入子話題簇[CMt]中；否則，以該微博文檔[di]作為種子話題創(chuàng)建新的子話題。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)利用網(wǎng)頁爬蟲從新浪新聞爬取“馬航失聯(lián)航班”專題下的相關(guān)報(bào)道模塊，時(shí)間范圍從2014年3月8日到2014年3月15日的新聞報(bào)道共6，321篇。經(jīng)過分詞、剔除無用詞等預(yù)處理后，從中選取3800篇作為實(shí)驗(yàn)數(shù)據(jù)集。

4.2 評估方法

實(shí)驗(yàn)評估方法選擇傳統(tǒng)的評估標(biāo)準(zhǔn)：正確率p、召回率r、F1值、宏平均正確率Macro-p、宏平均召回率Macro-r、宏平均率Macro-F1值。計(jì)算公式如下[6]：

其中，[a]表示正確分到一個(gè)類別的文本數(shù)量，[b]表示分類結(jié)果中分類錯(cuò)誤的文本數(shù)量，[c]表示應(yīng)該被分到一個(gè)類別但沒有正確分類的文本數(shù)量，[k]表示文本的類別個(gè)數(shù)。

4.3 實(shí)驗(yàn)結(jié)果分析

首先使用前面介紹的最佳主題個(gè)數(shù)確定方法，根據(jù)[α=50/T]，[β=0.01][7] （此為經(jīng)驗(yàn)值，這種取值在本實(shí)驗(yàn)數(shù)據(jù)集上有較好的效果）。[T]在各種不同的取值下分別運(yùn)行Gibbs抽樣算法，分析[logP（w|T）]的變化。實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可知，當(dāng)[T]= 60 時(shí)，[logP（w|T）]最小，此時(shí)模型對于文檔集的擬合性能最佳。因此，在實(shí)驗(yàn)中選擇主題個(gè)數(shù)[T]為60。

本文將文本表示選擇VSM，采用MI提取特征詞，然后使用增量文本聚類算法分類，作為對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

5 結(jié)論

本文將LDA模型應(yīng)用到新聞話題分類中，利用LDA模型進(jìn)行主題建模和文本語義相似度計(jì)算，并使用增量文本聚類算法實(shí)現(xiàn)對新聞話題的分類，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的向量空間模型相比，通過LDA建模，降低了數(shù)據(jù)稀疏性和特征空間高維性等問題，提高了分類的正確率。在今后的工作中，將進(jìn)一步研究提高LDA模型的建模和推斷時(shí)間，并將其拓展到更多的領(lǐng)域，如信息檢索、微博話題發(fā)現(xiàn)、情感分析等。

參考文獻(xiàn)：

[1] Blei D M， Lafferty J D. A correlated topic model of science[J].Annals of Applied Statistics， 2007， 1（1）：17-35.

[2] 談成訪，汪材印，張亞康. 基于LDA的中文微博熱點(diǎn)話題發(fā)現(xiàn)[J]. 宿州學(xué)院學(xué)學(xué)報(bào)，2014（4）： 71-73.

[3] Lv Nan，Luo Jun-yong，Liu Yao，et al.Topic three layer model based topic evolution analysis algorithm [J]. Computer Engineering， 2009， 35（23）： 71-75.

[4] QUAN X J， LIU G， et al.Short text similarity based on probabilistic topics [J]. Knowledge Information System， 2010， 25（3）：473-491.

[5] 趙愛華，劉培玉，鄭燕. 基于LDA的新聞話題子話題劃分方法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2013， 34（4）：732-735.

[6] Chengfang TAN. Short Text Classification Based on LDA and SVM [J]. International Journal of Applied Mathematics and Statistics （IJAMS）， 2013， 51（22）：205-214.

[7] 姚全珠，宋志理，彭程. 基于LDA的文本分類研究[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47（13）：150-153.endprint

3.3 LDA主題建模

3.3.1 模型選擇

由于主題個(gè)數(shù)影響LDA模型對文檔集的擬合性能，因此需要確定主題個(gè)數(shù)的最佳值。該文采用貝葉斯統(tǒng)計(jì)中的標(biāo)準(zhǔn)方法來確定最佳主題個(gè)數(shù)。 在LDA 模型中，[α]和[β]分別是[θ]和[φ] 上的Dirichlet 先驗(yàn)分布，通過對[θ]和[φ]積分可以求取聯(lián)合概率[p（w，z）]的值，計(jì)算如下。

根據(jù)公式（6）計(jì)算出使用不同主題數(shù)T對數(shù)據(jù)集建模的[p（w|T）]值。由[p（w|T）]值確定最佳主題數(shù)T。

3.3.2 參數(shù)估計(jì)

根據(jù)MCMC中的Gibbs抽樣算法進(jìn)行參數(shù)推理，通過對變量[z]進(jìn)行Gibbs抽樣間接計(jì)算出文本-主題概率分布和主題-詞概率分布，即[θ]和[?][4]，計(jì)算公式如下：

[θd=nmj+αnd?+Tα] （7）

[?w=nwj+βn?j+Wβ] （8）

其中，[nmj]表示是文檔[dm]中分配給主題[j]的詞數(shù)，[nd?]表示文檔[dm]中所有分配了主題的詞數(shù)，[nwj]表示詞匯[w]分配給主題[j]的頻數(shù)，[n?j]表示分配給主題[j]的所有詞匯數(shù)。

3.4 文本相似度計(jì)算

通過LDA模型的構(gòu)建可以得到文本-主題概率分布和主題-詞概率分布，因此，計(jì)算兩個(gè)文檔的相似度可通過計(jì)算與之對應(yīng)的主題概率分布來實(shí)現(xiàn)。由于主題是詞向量的混合分布，因此，該文使用JS（Jensen-Shannon）距離來計(jì)算主題概率向量[p=（p1，p2，...，pk）]到[q=（q1，q2，...，qk）]的距離，具體的計(jì)算公式如下：

[Djs（p，q）=12[DKL（p，p+q2）+DKL（q，p+q2）]] （9）

其中[DKL（p，q）=j=1Tpjlnpjqj]，p，q為主題概率分布。

3.5 文本聚類

增量文本聚類是話題檢測領(lǐng)域中常用的一種算法，該文采用該算法對新聞話題文檔集進(jìn)行主題聚類，其算法思想如下[5]：

1） 預(yù)設(shè)一個(gè)聚類閾值[k]；

2） 計(jì)算每個(gè)文檔[di]與已識別子話題簇[Cjt]之間的相似度并找到最相似子話題簇，[Sim（di，CMt）=maxSim（di，Cjt）]；

3） 若[Sim（di，CMt）>k]（預(yù)設(shè)的聚類閾值），則將該文檔[di]加入子話題簇[CMt]中；否則，以該微博文檔[di]作為種子話題創(chuàng)建新的子話題。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)利用網(wǎng)頁爬蟲從新浪新聞爬取“馬航失聯(lián)航班”專題下的相關(guān)報(bào)道模塊，時(shí)間范圍從2014年3月8日到2014年3月15日的新聞報(bào)道共6，321篇。經(jīng)過分詞、剔除無用詞等預(yù)處理后，從中選取3800篇作為實(shí)驗(yàn)數(shù)據(jù)集。

4.2 評估方法

實(shí)驗(yàn)評估方法選擇傳統(tǒng)的評估標(biāo)準(zhǔn)：正確率p、召回率r、F1值、宏平均正確率Macro-p、宏平均召回率Macro-r、宏平均率Macro-F1值。計(jì)算公式如下[6]：

其中，[a]表示正確分到一個(gè)類別的文本數(shù)量，[b]表示分類結(jié)果中分類錯(cuò)誤的文本數(shù)量，[c]表示應(yīng)該被分到一個(gè)類別但沒有正確分類的文本數(shù)量，[k]表示文本的類別個(gè)數(shù)。

4.3 實(shí)驗(yàn)結(jié)果分析

首先使用前面介紹的最佳主題個(gè)數(shù)確定方法，根據(jù)[α=50/T]，[β=0.01][7] （此為經(jīng)驗(yàn)值，這種取值在本實(shí)驗(yàn)數(shù)據(jù)集上有較好的效果）。[T]在各種不同的取值下分別運(yùn)行Gibbs抽樣算法，分析[logP（w|T）]的變化。實(shí)驗(yàn)結(jié)果如圖3所示。

由圖3可知，當(dāng)[T]= 60 時(shí)，[logP（w|T）]最小，此時(shí)模型對于文檔集的擬合性能最佳。因此，在實(shí)驗(yàn)中選擇主題個(gè)數(shù)[T]為60。

本文將文本表示選擇VSM，采用MI提取特征詞，然后使用增量文本聚類算法分類，作為對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

5 結(jié)論

本文將LDA模型應(yīng)用到新聞話題分類中，利用LDA模型進(jìn)行主題建模和文本語義相似度計(jì)算，并使用增量文本聚類算法實(shí)現(xiàn)對新聞話題的分類，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的向量空間模型相比，通過LDA建模，降低了數(shù)據(jù)稀疏性和特征空間高維性等問題，提高了分類的正確率。在今后的工作中，將進(jìn)一步研究提高LDA模型的建模和推斷時(shí)間，并將其拓展到更多的領(lǐng)域，如信息檢索、微博話題發(fā)現(xiàn)、情感分析等。

參考文獻(xiàn)：

[1] Blei D M， Lafferty J D. A correlated topic model of science[J].Annals of Applied Statistics， 2007， 1（1）：17-35.

[2] 談成訪，汪材印，張亞康. 基于LDA的中文微博熱點(diǎn)話題發(fā)現(xiàn)[J]. 宿州學(xué)院學(xué)學(xué)報(bào)，2014（4）： 71-73.

[3] Lv Nan，Luo Jun-yong，Liu Yao，et al.Topic three layer model based topic evolution analysis algorithm [J]. Computer Engineering， 2009， 35（23）： 71-75.

[4] QUAN X J， LIU G， et al.Short text similarity based on probabilistic topics [J]. Knowledge Information System， 2010， 25（3）：473-491.

[5] 趙愛華，劉培玉，鄭燕. 基于LDA的新聞話題子話題劃分方法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2013， 34（4）：732-735.

[6] Chengfang TAN. Short Text Classification Based on LDA and SVM [J]. International Journal of Applied Mathematics and Statistics （IJAMS）， 2013， 51（22）：205-214.

[7] 姚全珠，宋志理，彭程. 基于LDA的文本分類研究[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47（13）：150-153.endprint