多源文本下結合實體的事件發(fā)現(xiàn)方法ESP

秦宇君,史存會,劉悅,俞曉明,程學旗

(1.中國科學院大學,北京 100049;2.中國科學院計算技術研究所,北京 100190)

0 引言

隨著互聯(lián)網(wǎng)的不斷發(fā)展,人們越來越多地通過網(wǎng)絡進行信息的發(fā)布和接收,這也導致網(wǎng)絡輿論對社會穩(wěn)定的影響程度與日俱增,如Twitter在北非和西亞的“阿拉伯之春”的社會運動中,起到了重要作用;國內(nèi)社會生活中的食品安全、自然災害、懲治腐敗、房市調(diào)控、法治熱點、春運、高考等各種事件在網(wǎng)絡用戶間被熱烈的討論和傳播,并最終對人們的現(xiàn)實社會生活產(chǎn)生了實質(zhì)性的影響。基于國際社會對網(wǎng)絡輿情的需求,輿情系統(tǒng)應運而生,這類系統(tǒng)的主要功能包括突發(fā)事件發(fā)現(xiàn),熱點話題分析,有害信息識別等。

在實際的輿情系統(tǒng)中,社會事件往往是系統(tǒng)關注的重點?；ヂ?lián)網(wǎng)當前已經(jīng)成為報道和傳播各種社會事件的重要信息平臺。在互聯(lián)網(wǎng)中存在眾多的信息發(fā)布通道,如微博、微信、新聞等。不同的信息發(fā)布通道有各自的特點,例如對于微博、微信等網(wǎng)絡自媒體通道所發(fā)布的信息具有及時性、多樣性等特點,許多社會事件的第一報道地點往往都來自于這些網(wǎng)絡自媒體,而對于同一事件的報道者越多,觀點越豐富,則能從側(cè)面反映出該事件的輿論熱度和潛在的輿論影響力。相對于微博發(fā)布信息的短、平、快的特點,許多來自新聞網(wǎng)站等通道的事件發(fā)布則更側(cè)重事件的完整性、事實性,這些新聞媒體通道對于事件的描述更加詳細,內(nèi)容更加真實可靠。

對于網(wǎng)絡輿情系統(tǒng)而言,系統(tǒng)所發(fā)現(xiàn)的事件如果能既具備很高的輿論熱度和潛在影響力,也能有詳盡的事件信息與很好的可靠程度,則能為后續(xù)相關事件的及時處理提供更好的幫助。鑒于微博等網(wǎng)絡自媒體通道具有反映事件熱度和影響力的能力,而新聞網(wǎng)站等通道具有規(guī)范化、可信度高等特點,如果能將這些不同通道的信息進行關聯(lián)與綜合利用,從而發(fā)現(xiàn)事件,則將會對網(wǎng)絡輿情系統(tǒng)的效果有很大的提高。

目前事件發(fā)現(xiàn)領域[1]的研究大多是針對同種類型文檔進行研究,研究方法主要分為以文檔為事件中心和以詞為事件中心。以文檔為中心的事件發(fā)現(xiàn)方法主要采用分類和聚類的方式,將文檔歸為不同的文檔集合,形成事件;以詞為中心的事件發(fā)現(xiàn)方法則利用信號處理或主題模型等方式獲取事件代表詞,將包含代表詞的文檔歸為同一集合,形成事件。無論是以文檔為中心還是以詞為中心的方式,其核心都是將文檔轉(zhuǎn)換成另一種表達形式,然后再利用新的表達方式將文檔歸納到不同的集合中從而形成事件。對于單一通道,數(shù)據(jù)的結構和內(nèi)容形式往往相同,因此在用相同的方法進行映射之后,在原空間相似的文檔在新空間仍然相似,事件發(fā)現(xiàn)的效果相對較好。然而在多源文本中,新聞報道和微博消息在內(nèi)容形式上具有較大區(qū)別,新聞報道往往用詞規(guī)范,內(nèi)容相對充實,微博消息則口語化較嚴重,內(nèi)容相對短小精煉,如果采用相同的映射方法,很難保證在原空間相似的文檔在新空間仍然相似。

本文則針對傳統(tǒng)事件發(fā)現(xiàn)方法在處理多源文本時遇到的困難,提出了結合實體的事件發(fā)現(xiàn)方法ESP。首先提出了事件核心實體的概念,給出了事件核心實體的獲取方法,并通過在經(jīng)典的Single Pass方法中引入事件核心實體信息,豐富了多源文本中的各類文本的表達,使得多源文本中來自不同通道的文檔能夠在新的映射空間中具有更多的信息,從而提高了多源文本事件發(fā)現(xiàn)的效果。

傳統(tǒng)的事件發(fā)現(xiàn)方法大概分為兩類:以文檔為事件核心和以文檔的代表詞為事件核心。前者是通過將文檔映射到語義特征空間,通過分類或聚類的方法來發(fā)現(xiàn)事件[2-4]；后者則是先利用詞頻突變,關鍵詞篩選等方法獲得代表文檔特點的詞語,再對詞進行聚類或關聯(lián),從而發(fā)現(xiàn)事件[5]。

從文檔角度出發(fā)的事件發(fā)現(xiàn),傳統(tǒng)的方法有層次聚類(Hierarchical Clustering)、K-means聚類、Single-Pass[6]聚類和局部敏感哈希[7](Locality-Sensitive Hashing,LSH)等,這些方法首先都是將文檔映射到語義特征空間,然后進行相似度計算。

層次聚類需要人為指定最終期望的結果個數(shù),但是在實際的事件發(fā)現(xiàn)系統(tǒng)中,事件的個數(shù)往往不能預先確定,并且在計算簇內(nèi)相似度時要對簇內(nèi)的所有文檔兩兩計算相似度,時間復雜度和空間復雜度都較高,不太適宜大量數(shù)據(jù)的場景。與層次聚類相似的方法還有K-means聚類,但它需要提前確定k個聚類中心,實際應用中k的確定十分困難,同時初始點的選擇也極大地影響事件發(fā)現(xiàn)的結果。

Single-Pass聚類方法則是將每一篇新到來的文章與之前的事件相比較,如果通過兩兩比較,當前的文章與之前的任何一篇均不相似,則視為新的事件,否則加入現(xiàn)有事件列表中。此方法的優(yōu)點是可以處理流式數(shù)據(jù),增量式發(fā)現(xiàn)事件。但是相似閾值的設定以及文檔到達的順序會直接影響事件發(fā)現(xiàn)的效果。

局部敏感哈希方法則是利用多組哈希函數(shù),將文檔從高維空間向低維空間進行投影,再利用投影后的低維向量進行數(shù)據(jù)分桶索引,對于屬于同一個桶中的數(shù)據(jù)進行相似度計算,從而縮小比較的次數(shù),這種方式對于大量的數(shù)據(jù)能夠很大程度上降低計算時間復雜度。但是在實際應用中,相似文檔并不能很大程度的映射到相同的數(shù)據(jù)分桶中。

除了以上這些將文檔進行特征映射后進行聚類的方法,分類方法也被應用在事件發(fā)現(xiàn)領域。當系統(tǒng)的主要任務是發(fā)現(xiàn)特定類別的事件時,通過合理的特征設置,可以利用分類方法定向的發(fā)現(xiàn)事件[8]。但是這種方法只能用于某些指定類別的事件,很難擴展應用到大范圍事件發(fā)現(xiàn)系統(tǒng)中。

從詞的角度出發(fā)的事件發(fā)現(xiàn),主要是從詞在時域和頻域的變化進行事件代表詞的篩選,將最終得到的一些詞的集合作為事件的代表。

Kleinberg[9]提出消息的到達是有時序關系的,他提出二元狀態(tài)自動機和無限狀態(tài)自動機兩種建模方法,通過模型可以得到某個詞的狀態(tài)變化序列,從而獲得爆發(fā)詞和相關文檔。

Fung[10]等人則針對現(xiàn)有聚類方式的問題,提出了通過構造詞的分布,判斷某一詞是否屬于爆發(fā)詞。獲取到爆發(fā)詞后,根據(jù)文檔包含爆發(fā)詞的情況,形成爆發(fā)事件。最終還可以通過跟蹤爆發(fā)詞的變化,獲得事件爆發(fā)的周期。

Ge等[11]則提出了一種利用詞頻的突變以及詞與詞之間的共現(xiàn)關系,構造消息爆發(fā)網(wǎng)絡,網(wǎng)絡中的節(jié)點是符合突變性質(zhì)的詞,網(wǎng)絡中的邊則是代表詞的共現(xiàn)關系,并且邊上的權重隨著共現(xiàn)次數(shù)的增多而增大。網(wǎng)絡構造完成后再利用TextRank的方式發(fā)現(xiàn)網(wǎng)絡中的關鍵詞,作為最終事件的代表性詞匯。

綜上可知,無論是以文檔為核心還是以詞為核心的事件發(fā)現(xiàn)方法,都是獲取文檔在特征空間的一種表達,然后再利用特征空間的相似性將相似文檔聚到一起形成事件。這種方法雖然可以在很大程度上將相似文檔聚到一起,但是在針對“事件”這一特殊領域,還有可以提升的空間。

1 結合實體的多源文本事件發(fā)現(xiàn)算法ESP

Fig.1 Flow chart of ESP圖1 事件發(fā)現(xiàn)算法流程示意圖

ESP算法是基于Single-Pass流式聚類算法進行的改進。前人[12]的研究認為事件是指在某個特定的時間和環(huán)境下發(fā)生的,由若干角色參與,表現(xiàn)出若干動作特征的一件事情。形式上可以表示為由時間、地點、人物、機構等實體構成的多元組形式。由于實體對事件有很強的表達能力,如果能準確地識別文檔中的核心實體,并將其作為文檔在事件域的表達,則能更好地進行事件發(fā)現(xiàn)。因此,ESP算法首先要對每篇文檔進行核心實體識別。在獲得每篇文檔的核心實體集合后,進行文檔間核心實體集合間相似度計算。最終將文檔間核心實體相似度引入現(xiàn)有的事件發(fā)現(xiàn)算法Single-Pass中,進行事件發(fā)現(xiàn)。算法流程見圖1。

1.1 事件核心實體識別方法

由于目前對于事件核心實體尚未有統(tǒng)一的定義,因此本文首先對事件核心實體進行定義。

定義:事件核心實體是指對于描述、刻畫一個事件起到重要作用的人名、地名、機構名等實體。

根據(jù)以上定義,本文提出的事件核心實體識別方法,流程分為以下兩步:(1)對事件文本進行命名實體識別,獲得事件的候選實體集合,候選實體集合中的每個實體都包含了實體的類型信息和位置信息。(2)利用本文提出的EntityRank算法對實體集合中的實體進行重要度排序,將重要度最高的實體作為核心實體。針對第一步中的命名實體識別,可直接利用現(xiàn)有命名實體識別方法獲得,在此不再贅述。

EntityRank算法是在TextRank的基礎上針對實體進行的改進算法。與TextRank類似,EntityRank首先要對文檔中出現(xiàn)的實體進行構圖,構圖方法如下。

(1)按照段落作為實體共現(xiàn)的窗口,處于同一段落中的實體相互連邊。原始的算法中兩點之間有連邊即表示兩點之間有一定的相關關系。在一篇報道中,一個段落往往對應著一個相關主題,處于一個段落中的實體則通常具有相關關系,利用段落作為實體共現(xiàn)的窗口既能避免人為設定k值導致的偏差,又能使相關實體能夠建立起聯(lián)系。

(2)處于同一窗口內(nèi)的實體按照距離遠近關系計算,如式(1)所示。由于實體往往具有稀疏性,處于同一窗口內(nèi)的實體并不會像普通詞匯一樣密集,此時如果再利用共現(xiàn)詞頻等作為連邊權重往往不能起到相應的作用。但是根據(jù)語言學的規(guī)律,相關的實體往往會距離比較近,因此利用實體在段落中的距離來衡量實體之間的相關關系比較符合連邊權重的意義。

(1)

其中Wij表示連邊權重,dis(i,j)表示實體i和實體j之間的距離,max_distance為整篇文章的所有段落中最長段落的長度。

得到了連邊權重Wij后,便可以按照公式(2)進行迭代運算,最終獲得每個實體的重要度。

(2)

其中d是抑制因子,d∈(0,1),In(Vi)為與Vi有連邊的所有節(jié)點,Out(Vj)為與Vj有連邊的所有節(jié)點,WS(Vi)為節(jié)點Vi的重要度。

EntityRank算法的主要步驟總結如下。

算法:EntityRank輸入:帶有位置信息的實體集合S=[(entity1,loc1),(entity2,loc2),…,(entityn,locn)]輸出:實體對應權重信息Res=[(entity1,weight1),(entity2,weight2),…,(entityn,weightn)] step1step2step3step4將實體集合按照段落進行切分,分成若干子集。S1, S2,…, Sn,Si∈S.針對每個子集Si,進行構圖。構圖規(guī)則為:(1)子集中的實體為圖中的節(jié)點。(2)屬于同一子集中的實體相互建立連邊。(3)連邊權重由公式(1)得到。針對步驟2得到的圖,按照公式(2)進行節(jié)點權重迭代計算。返回結果Res。

1.2 實體集合間相似度計算方法

(1)字形字序法

字形字序法的主要作用是計算兩個實體在字面上的相似度,主要借鑒現(xiàn)有的詞形詞序法[13]。設sameCC(A,B)為實體A和B中相同字的個數(shù),當同一個字在A和B中出現(xiàn)的次數(shù)不同時,以出現(xiàn)次數(shù)少的計數(shù),則實體A和B的字形相似度為:

(3)

可知,0≤WordSim(A,B)≤1.

設OnceCS(A,B)表示A和B中都出現(xiàn)且只出現(xiàn)一次的字的集合。Pfirst(A,B)表示OnceCS(A,B)中的每個字在A中的位置序號構成的數(shù)字排列，Psecond(A,B)表示Pfirst(A,B)中的分量按對應字在B中的字序排列生成的數(shù)字排列，RevOrd(A,B)表示Psecond(A,B)各相鄰分量的逆序數(shù)。則A和B的字序相似度為

(4)

可知0≤OrdSim(A,B)≤1.綜合字形相似度和字序相似度,詞語A和B的相似度為:

Simword(A,B)=α1×WordSim(A,B)+α2×WordSim(A,B) ，

(5)

其中α1和α2均為常數(shù)并且滿足α1+α2=1,因此0≤Simword(A,B)≤1.由于詞形相似度相對詞序相似度更能代表詞的相似程度,所以一般有α1>α2.

(2)語義相關法

語義相關法的主要作用是計算兩個實體在語義上的相似度,主要利用Word2Vec[14-16]的方式對實體進行向量化表示,然后利用余弦相似度對兩個實體的向量表示進行計算。

Simsem(A,B)=cos(Ai,Bi) ，

(6)

其中A和B為兩個實體,Ai和Bi則為A和B對應的向量,Simsem(A,B)為實體A和B的語義相似度。

(3)實體集合相似度計算

兩篇文本包含的實體之間的相關性是這兩篇文本之間相關性的重要反映。最大實體關聯(lián)法是計算兩個實體集合之間相似度的方法,是在最大詞語關聯(lián)法[17]的基礎上針對實體進行的改善。對于兩個實體集合A和B,針對集合中的實體獲得詞向量A′={a1,a2,…,am}和B′={b1,b2,…,bn},不失一般性,可令n≥m.構建兩個文檔的實體特征相關矩陣為:

(7)

其中Sij表示實體Ai和Bj之間的綜合相關度值,由字形字序法和語義相關度共同決定:

Sij=α3×Simword(Ai,Bj)+α4×Simsem(Ai,Bj) ，

(8)

其中Simsem(Ai,Bj)為實體Ai和實體Bj對應詞向量的余弦相似度的值,α3和α4均為常數(shù)并且滿足α3+α4=1,因此0≤sij≤1.可知矩陣S第i行中的最大值是實體集合A中實體Ai與實體集合B中實體相關度最大的實體的相關度值。取S中每一行具有最大值的元素,構成文檔A和B的最大實體關聯(lián)序列:

maxL={S1,x1,S2,x2,…,Sm,xm} ，

(9)

然后,由式(10)計算A和B之間的實體相關度:

(10)

其中,wi和wxi分別是Ai和Bxi在實體集合A和B中的權重,其定義如下：

(11)

(12)

其中size(A)表示實體集合中包含實體的數(shù)量,t為當前實體在實體列表中的位置,L代表衰減周期,k則為衰減系數(shù)。

由于在多源文本中,來自不同通道的數(shù)據(jù)具有的事件實體數(shù)量多少不一、種類不同，不同類型的事件實體之間顯然不能進行相似度計算,而在同種類型事件實體計算相似度時則既要考慮到字面的相似性,又要結合語義相似度。除此之外,例如某些微博數(shù)據(jù)中只會包含少量類型的事件實體,而新聞報道中包含的事件實體類型相對較多,這種情況下,如果兩種文本共同含有的實體相似度很高,則兩篇文章的整體相似度可能依舊很高,因此在文檔間實體集合相似度計算方法設計的過程中不能簡單地將不同類型的實體相似度進行疊加?；谝陨系目紤],本文設計的文檔間實體集合相似度計算方法主要有以下幾個步驟。

1)共同出現(xiàn)的同類型實體之間計算相似度。

2)相似度計算方法選用最大實體關聯(lián)法。

3)對于不同實體類型的相似度計算結果取平均。

根據(jù)以上幾點,本文提出的文檔間實體集合相似度計算方法可以用下式表示：

(13)

其中A,B表示兩篇文檔,Ae和Be表示兩篇文檔中屬于類型e的實體集合,EntitySim表示文檔間實體集合相似度,entitys為兩篇文檔中共同出現(xiàn)的實體類型,entitys-num為兩篇文檔中共同出現(xiàn)的實體類型的數(shù)量,Siment即上文中的最大實體關聯(lián)法。

1.3 結合實體的多源文本事件發(fā)現(xiàn)算法ESP

ESP算法的核心在于利用兩篇文檔在事件實體間的相似度,輔助進行事件發(fā)現(xiàn)。事件核心實體的具體使用方式可以分多種情況:(1)當事件核心實體間相似度大于某個閾值時,直接判定為相似,歸為一類,否則通過文本相似度進行判斷。(2)當事件核心實體間相似度小于某個閾值時,直接判斷為不相似,否則通過文本相似度進行判斷。(3)將事件核心實體相似度與文本相似度進行結合之后再和閾值進行比較等。

在利用以上幾種方式進行輔助事件發(fā)現(xiàn)的過程中,事件核心實體間相似度是指當前文檔與現(xiàn)有事件中所有文檔的事件核心實體相似度的平均值。如果當前文檔能夠加入現(xiàn)有事件,則用當前文檔的向量更新事件代表向量，即

(14)

其中n為當前事件所包含的文檔數(shù),V為當前文檔向量,VEold為當前事件代表向量,VEnew為更新后的事件代表向量。

Entity Single-Pass算法的核心偽代碼如下。

算法:Entity Single-Pass 輸入:documents,SIM-THRESH,ENTITY-THRESH 輸出:eventSet 123456789 101112131415161718192021222324252627FOREACH doc in documents max-sim=0.0 matchEvent=NUL matchFlag=False doc-entity=getEntitys(doc) doc-vec=getDocVec(doc) FOREACH event in eventSet event-entitys=getEntitys(event) event-vec=getEventVec(event) entity-sim=GetEntitySimilarity(doc-entity,event-entitys) IF entity-sim> ENTITY-THRESH THEN UpdateEvent(event,doc,doc-entity,eventSet) matchFlag=True BREAK END IF vec-sim=getCosinSim(doc-vec,event-vec) IF vec-sim> max-sim THEN max-sim=vec-sim matchEvent=event END IF END FOR IF not matchFlag and max-sim> SIM-THRESH THEN UpdateEvent(event,doc,doc-entity,eventSet) ELSE CreateEvent(doc,doc-entity,eventSet) END IFEND FORReturn eventSet

算法:GetEntitySimilarity 輸入:doc-entity,event-entitys 輸出:similarity 1INIT: sim-sum=0 2 FOREACH event-ent in event-entitys 3 sim-sum=sim-sum+siment(doc-entity,event-entity) 4 END FOR 5Return sim-sum/size(event-entitys)

2 實驗結果及分析

本節(jié)利用真實的微博事件語料和新聞事件語料對所提算法進行驗證。

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)來自于新聞報道和微博數(shù)據(jù),其中包含臺灣花蓮地震、云南九寨溝地震、四川涼山山洪、遼寧災害天氣、青海地震、美國槍擊案等30個事件共2 000條數(shù)據(jù),其中新聞數(shù)據(jù)和微博數(shù)據(jù)各1 000條。

實驗中核心實體的獲取方式根據(jù)文章所屬通道的類型不同而有所區(qū)別。對于新聞報道等數(shù)據(jù),利用事件核心實體識別方法進行核心實體識別。對于微博等數(shù)據(jù),首先根據(jù)微博數(shù)據(jù)格式的特點,對于微博間格符“##”之間的內(nèi)部實體進行識別和提取,將其直接作為事件核心實體。如果并未存在特殊結構,則同樣利用事件核心實體識別方法進行識別。

2.2 評價標準

實驗的評價指標采用聚類算法常用的標準化互信息(Normalized Mutual Information,NMI)和蘭德指數(shù)(Rand Index,RI)，其定義分別為：

(15)

其中I為互信息,H代表熵:

(16)

(17)

其中p(xi)表示文檔屬于簇xi的概率,p(x,y)表示文檔屬于簇x∩y的概率。

(18)

2.3 實驗設計

K-means和Single-Pass是經(jīng)典的事件發(fā)現(xiàn)算法,因此本文選擇K-means和Single-Pass作為baseline。由于事件核心實體與傳統(tǒng)的Single-Pass方法有多種結合方式,本文分別針對以下情況作了實驗。

(1) 當事件核心實體間相似度大于某個閾值時,直接判定為相似,歸為一類,否則通過文本相似度進行判斷。

(2) 當事件核心實體間相似度小于某個閾值時,直接判斷為不相似,否則通過文本相似度進行判斷。

(3) 將事件核心實體相似度與文本相似度進行結合之后再和閾值進行比較,如果相似度大于閾值,則歸為一類,否則不能歸為一類。

同時,為避免閾值設置導致的結果偏差,本文在實驗過程中,針對實驗(1)和實驗(2)分別按照事件核心實體相似度閾值以0.1為間隔,從0.1到1共10組閾值,文本相似度閾值以0.1為間隔,從0.1到1共10組閾值,排列組合共100種閾值組合中選取最優(yōu)組合作為最終的實驗結果。針對實驗(3),按照閾值以0.1為間隔,從0.1到2共20種結果中選取最優(yōu)組合作為最終的實驗結果。K-means方法中聚類中心K分別取20,25,30,35,40,選取最優(yōu)結果作為最終的實驗結果。

2.4 實驗結果

實驗對比結果如圖2。

Fig.2 Result of text clustering圖2 事件聚類結果圖

5種方法取得最好結果時的參數(shù)設置如表1所示。其中Textsim為文本相似度閾值，Entitysim為實體集合相似度閾值。

表1 五種方法最優(yōu)閾值表

可以看出,與K-means和原始Single-Pass方法相比,在結合了事件核心實體間相似度之后,各次實驗的結果均好于原始Single-Pass方法。其中方法1和方法3相比原始Single-Pass結果在NMI和RI評價指標下均有較明顯提高。方法2的最優(yōu)結果則與原方法有一定的提升。

針對方法1的效果提升,可以看出當事件核心實體相似度大于某閾值時,即使不計算文本相似度,直接歸為一類,也能達到準確發(fā)現(xiàn)事件的效果,并且相對于只利用文本相似度,消除了一些文本中的噪音,提高了事件發(fā)現(xiàn)的準確性。

針對方法2的效果提升,可以看出在原始Single-Pass方法中,存在某些文本相似度上較高,但屬于不同事件的文檔被判斷為同一事件。而通過利用實體相似度進行過濾,將這些錯誤聚類到一起的文檔更好的分開。

針對方法3的效果提升,可以看出事件核心實體相似度可以彌補文本相似度的不足,兩種相似度結合后,同一事件下的文檔能更好地結合在一起。但是同樣,由于某些不屬于同一事件的文檔其文本相似程度偏高,使得結合實體相似度后,仍舊使得總體相似度高于閾值,導致聚類錯誤。

此外,方法1的效果相對于方法3有更好的表現(xiàn),說明了在新聞報道和微博消息在一起進行聚類時,文章長度的不同使得文本在表達后進行相似度計算的效果并不理想,同時也說明了事件實體能夠更好地對事件進行表達,從而使得多源數(shù)據(jù)一起聚類時效果更好。

在Single-Pass算法的改進過程中,事件核心實體間的相似度作為閾值起到了過濾作用。根據(jù)實驗結果來看,以上改進的方法相對于原始Single-Pass的事件發(fā)現(xiàn)方法的效果有所提升,因此可以說明結合事件實體的改進事件發(fā)現(xiàn)算法是有效的,同時文檔間實體集合相似度計算方法也是可行的。

3 結論

本文提出了一種適用于多源文本場景下的結合實體的事件發(fā)現(xiàn)算法ESP,算法針對傳統(tǒng)事件發(fā)現(xiàn)方法在處理多源文本事件發(fā)現(xiàn)問題中的缺陷,提出并設計了事件核心實體識別方法,同時設計了實體集合間相似度計算方法,并給出了將實體集合相似度與Single-Pass結合的多種方式。算法通過引入事件核心實體的信息,豐富了多源文本中原始文檔的表達信息,從而提高了事件發(fā)現(xiàn)算法的效果。在微博、微信和新聞等多源數(shù)據(jù)上對算法的有效性做了驗證。通過與K-means和Single-Pass方法的比較，我們的方法在NMI和RI兩項評價指標上分別提高了0.2和0.3，證明了ESP算法的有效性。