基于條件隨機(jī)場(chǎng)和詞向量的能源政策領(lǐng)域新詞發(fā)現(xiàn)

張一帆,張軍蓮,汪鳴泉,呂 正,黃永健,顧倩榮

(1.中國(guó)科學(xué)院上海高等研究院 碳數(shù)據(jù)與碳評(píng)估研究中心,上海 201210;2.中國(guó)科學(xué)院大學(xué),北京 100049;3.中國(guó)科學(xué)院上海高等研究院 中科院低碳轉(zhuǎn)化科學(xué)與工程重點(diǎn)試驗(yàn)室,上海 201210)

近幾十年,中國(guó)的能源生產(chǎn)與消費(fèi)快速增長(zhǎng),能源事業(yè)取得長(zhǎng)足發(fā)展。同時(shí),全球氣候變化正成為全人類(lèi)共同的挑戰(zhàn)。為了不斷完善我國(guó)的能源體制機(jī)制,一大批相關(guān)法律、法規(guī)、規(guī)劃和條例等能源政策文件相繼出臺(tái)。這些文本文件往往精準(zhǔn)且深刻地反映著我國(guó)能源的發(fā)展歷史、現(xiàn)狀以及未來(lái)趨勢(shì),因此,如何從大量政策文件中提取出準(zhǔn)確有效的信息具有非常重要的現(xiàn)實(shí)意義,而要實(shí)現(xiàn)上述目的,首先需要對(duì)政策文本進(jìn)行分詞處理?，F(xiàn)有的分詞技術(shù)存在很多問(wèn)題,尤其是在面向具體領(lǐng)域時(shí),大量領(lǐng)域內(nèi)專(zhuān)業(yè)新詞的存在,使得分詞模型的準(zhǔn)確率受到嚴(yán)重影響,而這些專(zhuān)業(yè)詞匯往往對(duì)于文本的結(jié)構(gòu)化分析[1]、數(shù)據(jù)挖掘[2]以及信息檢索[3]等應(yīng)用具有重要影響。因此,領(lǐng)域新詞的發(fā)現(xiàn)識(shí)別至關(guān)重要。

針對(duì)新詞發(fā)現(xiàn)問(wèn)題,主流的有基于規(guī)則、基于無(wú)監(jiān)督統(tǒng)計(jì)、基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等幾類(lèi)方法。其中,文獻(xiàn)[4]基于漢語(yǔ)構(gòu)詞法,通過(guò)互斥性和構(gòu)詞規(guī)則對(duì)結(jié)果進(jìn)行篩選和拼接,在網(wǎng)絡(luò)語(yǔ)料上進(jìn)行新詞發(fā)現(xiàn),取得了較好的效果。但規(guī)則庫(kù)的構(gòu)建非常繁瑣復(fù)雜,同時(shí)不同領(lǐng)域的規(guī)則差異也較大,這意味著需要高昂的人工成本來(lái)適應(yīng)不同的領(lǐng)域語(yǔ)料。文獻(xiàn)[5]將逐點(diǎn)互信息(Pointwise mutual information,PMI)與鄰接熵(Branch entropy,BE)相結(jié)合,在大規(guī)模語(yǔ)料上進(jìn)行新詞發(fā)現(xiàn)。這種基于無(wú)監(jiān)督統(tǒng)計(jì)的方法有著較強(qiáng)的領(lǐng)域靈活性,但是數(shù)據(jù)稀疏的問(wèn)題使得新詞發(fā)現(xiàn)的準(zhǔn)確率不高。文獻(xiàn)[6]使用隱馬爾科夫模型并結(jié)合領(lǐng)域詞典的方法,來(lái)動(dòng)態(tài)識(shí)別和擴(kuò)充詞典。文獻(xiàn)[7]和文獻(xiàn)[8]整理出多種區(qū)分詞邊界的統(tǒng)計(jì)特征,并通過(guò)條件隨機(jī)場(chǎng)(Conditional random field,CRF)充分利用這些特征,在未標(biāo)注語(yǔ)料集中進(jìn)行新詞的發(fā)現(xiàn)試驗(yàn)。相較于基于無(wú)監(jiān)督統(tǒng)計(jì)的方法,機(jī)器學(xué)習(xí)的方法能夠有效提高新詞發(fā)現(xiàn)的表現(xiàn)。同時(shí),隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究,一些新的技術(shù)和模型被提出,如詞向量(Word embedding)和長(zhǎng)短記憶(Long short term memory,LSTM)神經(jīng)網(wǎng)絡(luò),使得新詞發(fā)現(xiàn)的性能有了進(jìn)一步的提高。文獻(xiàn)[9]首先提取語(yǔ)料中頻繁出現(xiàn)的n-gram片段,隨后利用詞向量之間的得分來(lái)衡量候選詞之間的聯(lián)系,從綜合語(yǔ)料中提取新詞。文獻(xiàn)[10]利用雙向長(zhǎng)短記憶(Bi-directional long short term memory,Bi-LSTM)神經(jīng)網(wǎng)絡(luò)模型,進(jìn)行古漢語(yǔ)語(yǔ)料的新詞發(fā)現(xiàn),試驗(yàn)結(jié)果證明了其有效性。但是基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法往往是有監(jiān)督的,其對(duì)于訓(xùn)練集的規(guī)模和質(zhì)量較為依賴(lài),人工成本過(guò)高,而對(duì)于包括能源政策在內(nèi)的眾多細(xì)分領(lǐng)域來(lái)說(shuō),常常很難有一個(gè)較高質(zhì)量的大規(guī)模標(biāo)注訓(xùn)練集。

總的來(lái)說(shuō),現(xiàn)有新詞發(fā)現(xiàn)方法存在的缺陷,使得對(duì)于能源政策文本的結(jié)構(gòu)化分析效果不夠理想。本文通過(guò)改進(jìn)新詞發(fā)現(xiàn)方法,提高中文分詞的表現(xiàn),使其更適用于能源政策文本。針對(duì)能源政策領(lǐng)域新詞發(fā)現(xiàn)問(wèn)題,本文提出了一種新的基于條件隨機(jī)場(chǎng)CRF與詞向量的識(shí)別方法,結(jié)合所提出的領(lǐng)域種子詞典的概念,探索在無(wú)需手工標(biāo)注訓(xùn)練集的較低人工成本的前提下,進(jìn)行領(lǐng)域內(nèi)的新詞發(fā)現(xiàn),并通過(guò)在真實(shí)能源政策文件上的試驗(yàn)結(jié)果證明了所提方法的有效性。

1 能源政策新詞定義

中文新詞發(fā)現(xiàn),又稱(chēng)未登錄詞(Out of vocabulary)識(shí)別,其主要目的就是不斷完善現(xiàn)有詞典的詞匯庫(kù),從而更好地進(jìn)行后續(xù)的中文信息處理任務(wù)。傳統(tǒng)的新詞發(fā)現(xiàn)有兩種主要的定義:文獻(xiàn)[11]將新詞發(fā)現(xiàn)定義為補(bǔ)充現(xiàn)有分詞系統(tǒng)或者分詞詞典中尚不存在的詞匯;文獻(xiàn)[12]在此基礎(chǔ)上,將具有新意義的已存在詞匯也定義為新詞。而本文定義的新詞,除了包括以上兩點(diǎn)之外,還有以下兩點(diǎn)不同:

(1)本文聚焦于能源政策領(lǐng)域這一特定交叉領(lǐng)域,因而從數(shù)據(jù)集中發(fā)現(xiàn)的新詞類(lèi)型可以分為能源新詞We、政策新詞Wp以及能源政策新詞Wep3類(lèi),即新詞集合WN此3者的并集。

(2)新詞經(jīng)常被現(xiàn)有分詞器錯(cuò)誤地拆分為若干個(gè)字詞,因此本文所指的領(lǐng)域新詞,既有可能是一個(gè)詞匯,也有可能是一個(gè)由多個(gè)字詞組成的詞組。在能源政策領(lǐng)域,由多個(gè)字詞組成的新詞往往能夠包含更多的信息,更加準(zhǔn)確地反映能源行業(yè)的政策變遷、政府舉措和行業(yè)大勢(shì)等。

表1列出了從能源政策文本中挑選出的4個(gè)例句。例句s1、s2、s3和s4分別來(lái)自我國(guó)的能源產(chǎn)業(yè)發(fā)展實(shí)施方案、電力發(fā)展規(guī)劃以及十三五能源發(fā)展規(guī)劃。

表1 能源政策新詞示例

其中“可再生能源”為一種能源種類(lèi),屬于能源新詞We;“西電東送”反映的是我國(guó)西部大開(kāi)發(fā)戰(zhàn)略中的能源部分,屬于能源政策新詞Wep;“加快轉(zhuǎn)型升級(jí)”為“加快”、“轉(zhuǎn)型”、“升級(jí)”3個(gè)詞語(yǔ)組成的詞組,表述我國(guó)能源發(fā)展面臨的形勢(shì)以及政府施行的舉措;“脫貧攻堅(jiān)”是我國(guó)發(fā)展的一個(gè)重大目標(biāo),后兩者均屬于政策新詞Wp。

綜上所述,本文的新詞發(fā)現(xiàn)可形式化定義為:針對(duì)能源政策領(lǐng)域D,通過(guò)新詞發(fā)現(xiàn)技術(shù)F,識(shí)別在某一時(shí)刻t0之后收集的文本集合T∈D,獲取新詞集合WN={We,Wp,Wep}。

2 能源政策領(lǐng)域新詞發(fā)現(xiàn)設(shè)計(jì)

2.1 總體框架

本文提出的能源政策領(lǐng)域新詞發(fā)現(xiàn)方法由數(shù)據(jù)集自動(dòng)擴(kuò)充與標(biāo)注、CRF模型訓(xùn)練和識(shí)別、領(lǐng)域種子詞典建立與候選新詞收集、詞向量篩選新詞等部分組成。新詞發(fā)現(xiàn)的過(guò)程如圖1所示。

圖1 新詞發(fā)現(xiàn)流程

首先,針對(duì)能源政策領(lǐng)域不存在大規(guī)模標(biāo)注數(shù)據(jù)集的情況,利用無(wú)監(jiān)督統(tǒng)計(jì)量對(duì)訓(xùn)練集進(jìn)行領(lǐng)域語(yǔ)料的自動(dòng)擴(kuò)充與標(biāo)注,以提高CRF模型在特定領(lǐng)域的性能;然后,通過(guò)分析能源政策文本的特點(diǎn),提出并構(gòu)建領(lǐng)域種子詞典,并將其與CRF模型標(biāo)注后的結(jié)果相結(jié)合,得到候選新詞集合;最終,通過(guò)詞向量之間的評(píng)分來(lái)對(duì)候選新詞進(jìn)行篩選,從而得到能源政策新詞。

2.2 數(shù)據(jù)集擴(kuò)充與標(biāo)注

目前,在部分領(lǐng)域已經(jīng)存在一些人工標(biāo)注數(shù)據(jù)集,例如人民日?qǐng)?bào)RFP(People’s Daily Corpus)數(shù)據(jù)集、MSRA(Microsoft Research Asia)數(shù)據(jù)集等。這些語(yǔ)料被公認(rèn)符合黃金標(biāo)準(zhǔn)(Golden standard),經(jīng)常被用作模型的訓(xùn)練集和測(cè)試集。但在實(shí)際應(yīng)用中,針對(duì)特定領(lǐng)域的機(jī)器學(xué)習(xí)模型,通常需要添加該領(lǐng)域的訓(xùn)練集來(lái)獲得性能上的提升。但人工標(biāo)注數(shù)據(jù)集是一項(xiàng)耗時(shí)耗力的工作,因此本文使用無(wú)監(jiān)督算法在現(xiàn)有標(biāo)注數(shù)據(jù)集的基礎(chǔ)上進(jìn)行訓(xùn)練集的自動(dòng)擴(kuò)充。逐點(diǎn)關(guān)聯(lián)時(shí)間信息(Pointwise association times information,PATI)[13]作為一種無(wú)監(jiān)督統(tǒng)計(jì)量,用于衡量字符串內(nèi)部聯(lián)系的緊密程度。相較于共現(xiàn)頻次(Co-occurrence frequency)和PMI等經(jīng)典指標(biāo),PATI利用了更多來(lái)自文本的統(tǒng)計(jì)信息,因而能夠挖掘出更多含有實(shí)際意義的合理n-gram片段。

對(duì)于一個(gè)字符總數(shù)為N的能源政策文本集C,存在一個(gè)長(zhǎng)度固定為s的n-gram片段g,字符串a(chǎn),b是n-gram片段g的任意左、右兩部分,即g=concat(a,b),其對(duì)應(yīng)的頻率分別為fa、fb和fg,則g的PATI計(jì)算如下

PATIg=fg×MP×AT

(1)

MP和AT的定義分別如下

(2)

即給定一個(gè)n-gram片段g,總會(huì)存在一組特定的左右組合(am,bm)能夠取得最小化,從而滿(mǎn)足MP。

(3)

rate和AC的公式如下

(3)

(5)

式中:fam*和f*bm分別是以am作為左半部分的n-gram片段集合{am,*}和以bm作為右半部分的n-gram片段集合{*,bm}內(nèi)的元素頻率之和,sizeof代表集合內(nèi)n-gram元素的個(gè)數(shù)。

在計(jì)算得到n-gram片段的PATI值后,按照大小進(jìn)行降序排列,并在固定最大長(zhǎng)度范圍的基礎(chǔ)上,抽出一定數(shù)量的排名靠前的2-gram,3-gram,…,n-gram片段,由于這些被抽取的n-gram片段均有著較高的PATI值,即意味著其中有許多是具有實(shí)際意義的能源政策字符片段。最后將這些片段作為新增數(shù)據(jù)添加到CRF的訓(xùn)練集中。雖然基于無(wú)監(jiān)督的方法抽取出的n-gram片段會(huì)含有一些噪音,但是能在很大程度上豐富模型在特定領(lǐng)域的數(shù)據(jù),同時(shí)由于后續(xù)還有進(jìn)一步的識(shí)別和篩選,所以該方法能夠在總體上提高CRF分詞模型在特定領(lǐng)域的表現(xiàn)。

本文所采用的是6-tag標(biāo)注方式,相較于常用的4-tag標(biāo)注,6-tag包含了詞中順序等更多的信息,文獻(xiàn)[14]證明其在CRF模型中有更好的效果。此外,除了詞本身,還引入了詞性作為分詞特征,本文的詞性標(biāo)注參照RFP標(biāo)注規(guī)則,包括基本詞類(lèi)標(biāo)記、專(zhuān)有名詞標(biāo)記以及語(yǔ)言學(xué)標(biāo)記等,總計(jì)40多個(gè)標(biāo)記。

2.3 CRF模型訓(xùn)練和識(shí)別

CRF[15]是一種判別式的概率圖模型,能夠充分利用多種具有交疊性的內(nèi)外部特征。相較于隱馬爾科夫和最大熵模型等,CRF能夠擺脫局部性的缺陷,具有表達(dá)長(zhǎng)距離依賴(lài)的能力,并且能夠?qū)⑻卣鬟M(jìn)行全局歸一化,進(jìn)而達(dá)到全局最優(yōu)的目的,較好地解決標(biāo)注偏置的問(wèn)題。

CRF模型的訓(xùn)練基于標(biāo)注語(yǔ)料集,通過(guò)充分利用上下文信息和內(nèi)外部特征信息,學(xué)習(xí)得到模型的參數(shù)。文獻(xiàn)[16]發(fā)現(xiàn),與基于詞相比,基于字符的CRF模型在表現(xiàn)上均有明顯提升。因此,本文采用帶有詞性的字符序列作為模型的訓(xùn)練輸入。在本文中,模型輸入數(shù)據(jù)的觀察序列為x={x1,x2,…,xn},其對(duì)應(yīng)的狀態(tài)序列為y={y1,y2,…,yn}。此時(shí)能源政策領(lǐng)域新詞發(fā)現(xiàn)問(wèn)題可定義為:在觀察序列x已知的情況下,求解狀態(tài)序列y的條件概率p(y|x)最大時(shí)的狀態(tài)序列,p(y|x)計(jì)算方法如下所示

(6)

式中:f為特征函數(shù),其取值只有兩種,若序列符合該特征,則f輸出為1;若不符合,則為0。θ為函數(shù)f的權(quán)重參數(shù);yt為文本當(dāng)前的輸出狀態(tài),yt-1為上一步輸出狀態(tài);xt為當(dāng)前的輸入序列;Z(x)為全局歸一化因子,其計(jì)算方法為

(7)

在訓(xùn)練得到CRF分詞模型之后,在獨(dú)立的新詞發(fā)現(xiàn)試驗(yàn)語(yǔ)料集上進(jìn)行序列標(biāo)注,通過(guò)解碼算法輸出一個(gè)最優(yōu)的帶有6-tag標(biāo)注的字符序列組合。

2.4 領(lǐng)域種子詞典與候選新詞收集

雖然新詞的種類(lèi)和數(shù)量紛繁復(fù)雜,但是每個(gè)細(xì)分領(lǐng)域的新詞都有其特點(diǎn)。通過(guò)對(duì)能源政策領(lǐng)域的文本進(jìn)行分析,發(fā)現(xiàn)該領(lǐng)域的文本表述較為正式,絕大多數(shù)的新詞在組成上都可以由能源詞匯或政策詞匯在句子中前后擴(kuò)展得來(lái),而這些詞匯基本為常見(jiàn)的一字詞和二字詞,易于收集和整理。因此,本文提出“能源政策領(lǐng)域種子詞典”的概念。首先使用TextRank[17]算法對(duì)能源政策文本進(jìn)行關(guān)鍵詞提取,將提取的一字詞和二字詞作為候選種子,隨后對(duì)這些候選詞匯是否屬于能源或政策范圍進(jìn)行判斷,并輔以人工補(bǔ)充和完善,最終形成能源政策領(lǐng)域種子詞典。部分種子詞匯及其對(duì)應(yīng)新詞示例如表2所示。

表2 種子詞典及對(duì)應(yīng)新詞示例

在領(lǐng)域種子詞典構(gòu)建之后,將其與CRF模型序列標(biāo)注的結(jié)果結(jié)合,結(jié)合的方式有兩種:(1)若分詞結(jié)果屬于領(lǐng)域種子詞典,則以此詞匯為基礎(chǔ),對(duì)其所在的句子進(jìn)行前向和后向擴(kuò)展,擴(kuò)展的長(zhǎng)度為預(yù)設(shè)的窗口大小,擴(kuò)展后形成的詞匯組合即可加入到候選新詞集合;(2)若分詞結(jié)果的子字符串屬于領(lǐng)域種子詞典,則不進(jìn)行擴(kuò)展,直接將該詞加入到候選新詞集中。

2.5 詞向量新詞篩選

詞向量通常有兩種表示方式:離散表示(One-hot representation)和分布式表示(Distributed representation)。離散表示由于不能表達(dá)詞語(yǔ)詞之間的關(guān)系以及維度爆炸的缺陷,逐漸被分布式表示所取代。文獻(xiàn)[18]通過(guò)訓(xùn)練連續(xù)詞袋模型(Continuous bag-of-word model,CBOW)和Skip-gram模型,得到對(duì)文本字詞的分布式表示,能夠有效地捕捉詞語(yǔ)豐富的語(yǔ)義含義。其中,CBOW通過(guò)輸入固定窗口大小的詞的前后上下文,來(lái)預(yù)測(cè)目標(biāo)詞語(yǔ)出現(xiàn)的概率,進(jìn)而得到詞向量。而Skip-gram的訓(xùn)練目標(biāo)則是通過(guò)輸入單個(gè)詞,來(lái)預(yù)測(cè)該詞的上下文。

由于2.4節(jié)生成的候選新詞集合有著固定的窗口大小,因而詞組中會(huì)存在一定的噪音詞匯,需要進(jìn)一步的篩選。候選新詞集合中的一個(gè)詞組如果能成為一個(gè)新詞,那么這個(gè)詞組中的詞匯通常會(huì)出現(xiàn)在相似的上下文環(huán)境中,即這些詞匯之間存在著較為緊密的語(yǔ)義關(guān)系。而詞向量已經(jīng)被證明能夠捕捉隱藏于語(yǔ)料中的信息,因此通過(guò)計(jì)算詞向量之間的評(píng)分,能夠得到詞匯之間的聯(lián)系強(qiáng)弱判斷。例如,對(duì)于能源政策候選新詞集合中的一個(gè)詞組{自主,創(chuàng)新,取得,重大},“自主”與“創(chuàng)新”對(duì)應(yīng)的詞向量之間的余弦相似度為0.54,而“創(chuàng)新”與“取得”之間為0.13,“取得”與“重大”之間為0.12。這表明“自主創(chuàng)新”相較于“自主創(chuàng)新取得”、“自主創(chuàng)新取得重大”等組合,更有可能成為一個(gè)合理的能源政策新詞。對(duì)于候選新詞集,基于詞向量的候選新詞篩選具體算法如下:

3 試驗(yàn)及分析

3.1 試驗(yàn)數(shù)據(jù)

本文的試驗(yàn)數(shù)據(jù)集可以分為兩類(lèi),第一類(lèi)是現(xiàn)在已有的人工標(biāo)注數(shù)據(jù)集,本文選擇使用1998年版人民日?qǐng)?bào)RFP數(shù)據(jù)作為CRF訓(xùn)練的基礎(chǔ)數(shù)據(jù)集,約180萬(wàn)字;第二類(lèi)是由爬蟲(chóng)程序從某能源信息網(wǎng)站抓取得到,范圍是21世紀(jì)以來(lái)全國(guó)各地的能源政策公開(kāi)文件,包括政策規(guī)劃、實(shí)施細(xì)則、通知批復(fù)、政策解讀等。將第二類(lèi)數(shù)據(jù)分為4部分,首先隨機(jī)抽出部分政策文件作為模型驗(yàn)證集、新詞發(fā)現(xiàn)測(cè)試集、分詞效果測(cè)試集,以上3部分?jǐn)?shù)據(jù)之間不存在重疊,然后將其余文件作為CRF訓(xùn)練集擴(kuò)充來(lái)源、種子詞典生成數(shù)據(jù)集以及詞向量訓(xùn)練數(shù)據(jù)集。對(duì)于新詞發(fā)現(xiàn)試驗(yàn)數(shù)據(jù)集進(jìn)行細(xì)致的6-tag人工標(biāo)注和檢查,將標(biāo)注結(jié)果與jieba詞典進(jìn)行比照,將人工標(biāo)注新詞作為試驗(yàn)的黃金標(biāo)準(zhǔn)。

3.2 試驗(yàn)設(shè)計(jì)

為了證明本文所提方法的有效性,本文進(jìn)行了如下3個(gè)部分試驗(yàn)。

(1)驗(yàn)證通過(guò)無(wú)監(jiān)督統(tǒng)計(jì)量擴(kuò)充訓(xùn)練集,對(duì)CRF模型性能的提升。如2.2節(jié)所述,首先計(jì)算PATI統(tǒng)計(jì)量并排序,然后抽取排名靠前的n-gram片段作為新增CRF訓(xùn)練集。隨后使用訓(xùn)練得到的CRF模型在驗(yàn)證集上進(jìn)行分詞,并將結(jié)果與第三方分詞器jieba、Thulac作對(duì)比。為了試驗(yàn)不同規(guī)模的數(shù)據(jù)擴(kuò)充產(chǎn)生的影響,本部分試驗(yàn)通過(guò)采取逐步擴(kuò)大訓(xùn)練集的方式,進(jìn)行了多次試驗(yàn),當(dāng)試驗(yàn)結(jié)果的F值浮動(dòng)率不超過(guò)1%時(shí),即認(rèn)為模型趨于穩(wěn)定。

(2)能源政策新詞發(fā)現(xiàn)試驗(yàn)。在訓(xùn)練得到CRF模型之后,首先使用jieba分詞工具對(duì)語(yǔ)料集進(jìn)行分詞,隨后計(jì)算TextRank統(tǒng)計(jì)量,設(shè)定固定的閾值,并結(jié)合少量人工篩選和補(bǔ)充的方式,構(gòu)建能源政策領(lǐng)域種子詞典。然后根據(jù)種子詞典收集候選新詞,并使用word2vec進(jìn)行詞向量的訓(xùn)練。最后對(duì)候選新詞中的詞組進(jìn)行詞向量的余弦相似度評(píng)分篩選,從而得到能源政策新詞。由于詞向量模型與生成向量的維度以及評(píng)分的閾值是新詞發(fā)現(xiàn)中兩個(gè)較為重要的變量,該部分試驗(yàn)將首先在驗(yàn)證集上分析這兩個(gè)因素對(duì)于新詞發(fā)現(xiàn)的影響。隨后在新詞發(fā)現(xiàn)測(cè)試集上采用準(zhǔn)確率Precision、召回率Recall以及F1值作為結(jié)果評(píng)價(jià)指標(biāo)。

(3)新詞發(fā)現(xiàn)結(jié)果對(duì)于分詞性能的提升對(duì)比試驗(yàn)。由于本工作的背景是通過(guò)新詞發(fā)現(xiàn)來(lái)改進(jìn)對(duì)能源政策文本分詞的表現(xiàn),故分別將第二部分試驗(yàn)以及其他新詞發(fā)現(xiàn)baselines方法的新詞發(fā)現(xiàn)結(jié)果添加到分詞工具中,并在分詞效果測(cè)試集上進(jìn)行評(píng)估和對(duì)比。

3.3 試驗(yàn)結(jié)果與分析

(1)CRF模型的訓(xùn)練。

由于PATI統(tǒng)計(jì)量可以用來(lái)篩選任意長(zhǎng)度的n-gram片段,因此在本文試驗(yàn)中,首先需要設(shè)定n-gram的最大長(zhǎng)度。通過(guò)結(jié)合文獻(xiàn)[19]以及對(duì)能源政策文本的分析,將n-gram的最大長(zhǎng)度設(shè)定為6。對(duì)于不同長(zhǎng)度的n-gram片段,按照表3的數(shù)量比例,進(jìn)行抽取。

隨后,根據(jù)RFP詞性標(biāo)注規(guī)則,進(jìn)行自動(dòng)化標(biāo)注,然后作為新增訓(xùn)練集加入到CRF模型基礎(chǔ)訓(xùn)練集中,增加的方式為逐步遞增。將訓(xùn)練得到的CRF模型在新詞發(fā)現(xiàn)數(shù)據(jù)集進(jìn)行分詞試驗(yàn),并將分詞結(jié)果與第三方分詞器jieba、Thulac作對(duì)比,使用分詞的精確率、召回率和F1值3個(gè)指標(biāo)來(lái)衡量模型分詞的性能,具體結(jié)果如表4所示。

表3 n-gram片段抽取數(shù)量比例

可以看出,在未擴(kuò)充的基礎(chǔ)數(shù)據(jù)集上訓(xùn)練得到的CRF模型(CRF-0),在能源政策語(yǔ)料上的分詞效果與第三方分詞器相比,差距較大。主要原因是基礎(chǔ)訓(xùn)練集主要是新聞?wù)Z料,規(guī)模有限,在此基礎(chǔ)上訓(xùn)練的模型無(wú)法很好地識(shí)別能源政策文本中的詞匯,尤其是能源政策新詞。第三方分詞器由于其本身的訓(xùn)練語(yǔ)料的規(guī)模較大,領(lǐng)域覆蓋面更廣,尤其對(duì)于通用詞匯的識(shí)別效果較好,因而有著相對(duì)較高的F1值。例如Thulac基礎(chǔ)版的分詞模型的訓(xùn)練集規(guī)模約為1 200萬(wàn)字,更復(fù)雜的聯(lián)合標(biāo)注模型的人工標(biāo)注訓(xùn)練集約則為5 800萬(wàn)字。而將PATI值較高的n-gram片段作為訓(xùn)練集加入到CRF的基礎(chǔ)訓(xùn)練集之后,模型的分詞性能有了較明顯的提升,這主要是由于新模型的領(lǐng)域適應(yīng)性得到了增強(qiáng),從而能夠發(fā)現(xiàn)許多無(wú)法被現(xiàn)有分詞系統(tǒng)識(shí)別出的能源政策領(lǐng)域新詞。在新增訓(xùn)練集規(guī)模達(dá)到105 000后,模型(CRF-105000)F1值達(dá)到0.689,此后當(dāng)訓(xùn)練集繼續(xù)擴(kuò)大,模型的性能基本趨于穩(wěn)定,整體表現(xiàn)也與第三方分詞器相差不大。而當(dāng)新增數(shù)據(jù)集規(guī)模達(dá)到210 000時(shí),模型(CRF-210000)的性能較之前有了一定的下降,這是由于新增數(shù)據(jù)中出現(xiàn)了較多沒(méi)有實(shí)際意義的噪音片段,對(duì)于模型的訓(xùn)練造成了影響。同時(shí),為了在CRF模型性能和統(tǒng)計(jì)量計(jì)算效率之間達(dá)到平衡,本文在后續(xù)試驗(yàn)中,將新增數(shù)據(jù)集規(guī)模固定為105 000。

(2)新詞發(fā)現(xiàn)試驗(yàn)。

在訓(xùn)練得到CRF模型之后,需要生成能源政策領(lǐng)域種子詞典。首先將種子詞典生成數(shù)據(jù)集劃分為20個(gè)部分,將種子詞匯的最大長(zhǎng)度固定為2,通過(guò)計(jì)算TextRank,從每部分?jǐn)?shù)據(jù)中抽出50個(gè)評(píng)分靠前的詞匯,通過(guò)去重操作后,得到270個(gè)不重復(fù)的關(guān)鍵詞,隨后通過(guò)人工對(duì)于這些詞匯是否屬于能源政策領(lǐng)域進(jìn)行篩選,并補(bǔ)充部分政策常用術(shù)語(yǔ)和能源種類(lèi)術(shù)語(yǔ),最終形成能源政策領(lǐng)域的種子詞典,總計(jì)253個(gè)單字詞和二字詞。然后將種子詞典與CRF模型的識(shí)別結(jié)果按照2.4節(jié)所述的方式進(jìn)行結(jié)合,設(shè)定窗口大小為5,以含有種子詞典的詞匯為窗口中心,收集候選新詞集合。候選新詞收集完成之后,使用word2vec模型在分詞后的語(yǔ)料集上進(jìn)行詞向量訓(xùn)練。最后通過(guò)計(jì)算詞匯之間的評(píng)分,來(lái)篩選候選新詞。在設(shè)定相同閾值的情況下,詞向量模型的選擇以及詞向量的維數(shù)在驗(yàn)證集上,對(duì)新詞發(fā)現(xiàn)試驗(yàn)的影響如圖2所示。

圖2 不同詞向量模型與維數(shù)時(shí)的新詞識(shí)別性能

可以看出,在本試驗(yàn)中,基于CBOW模型的能源政策新詞發(fā)現(xiàn)性能整體稍好于Skip-gram模型,并且在詞向量維數(shù)從25增長(zhǎng)到200再到300的變化過(guò)程中,新詞發(fā)現(xiàn)試驗(yàn)的F1值均大致呈現(xiàn)出先上升,后保持平穩(wěn)甚至下降的趨勢(shì)。這主要是因?yàn)樵~向量的維度代表了詞語(yǔ)的特征,前期詞向量維數(shù)的增加,能夠更豐富地表示詞語(yǔ)的語(yǔ)義信息,從而更好地實(shí)現(xiàn)詞語(yǔ)的區(qū)分,后續(xù)的詞向量評(píng)分也能更好統(tǒng)計(jì)出具有緊密聯(lián)系的詞語(yǔ)集合。但詞向量的維度如果過(guò)高,也會(huì)使得詞語(yǔ)之間的關(guān)系被過(guò)分淡化。除此之外,由于本文試驗(yàn)中的詞向量訓(xùn)練數(shù)據(jù)集屬于能源政策這一細(xì)分領(lǐng)域,規(guī)模有限,過(guò)高的詞向量維度也會(huì)導(dǎo)致過(guò)擬合。因此,在后續(xù)試驗(yàn)中,選擇CBOW模型作為詞向量訓(xùn)練模型,將詞向量的維度固定為200維。

在確定了詞向量模型及其維度之后,不同的相似度閾值對(duì)于能源政策新詞發(fā)現(xiàn)的試驗(yàn)結(jié)果的影響如表5所示。

表5 新詞發(fā)現(xiàn)結(jié)果

從表5可以看出,閾值的選擇對(duì)于新詞識(shí)別的效果有著一定的影響。隨著閾值的增大,識(shí)別的準(zhǔn)確率持續(xù)上升,上升速度由快到緩,而召回率卻經(jīng)歷了先平穩(wěn)上升,后又快速下降的過(guò)程,模型的整體效果在閾值θ=0.4時(shí)取得最優(yōu),達(dá)到0.686。

(3)分詞對(duì)比試驗(yàn)。

為了進(jìn)一步驗(yàn)證和對(duì)比所提方法的有效性,本文將文獻(xiàn)[5]以及2.3節(jié)的方法作為baselines,將3種新詞發(fā)現(xiàn)方法的結(jié)果加入到j(luò)ieba、Thulac分詞工具中,在分詞效果測(cè)試集上進(jìn)行評(píng)估,采用準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)指標(biāo),結(jié)果如表6所示。其中jieba、Thulac為未添加新詞的原始分詞工具,PMI+BE+jieba、PMI+BE+Thulac為文獻(xiàn)[5]方法與jieba、Thulac相結(jié)合的分詞模型,PATI+CRF+jieba、PATI+CRF+Thulac為2.3節(jié)方法與分詞工具相結(jié)合的分詞模型,CEPWD+jieba、CEPWD+Thulac為本文所提新詞發(fā)現(xiàn)方法與分詞工具相結(jié)合的分詞模型。

表6 各分詞模型對(duì)比

從表中可以看出,本文所提的方法CEPWD在分詞效果提升方面最為顯著,相較于jieba和Thulac,F1值分別提高了11.2%和10.8%,這是由于該方法相對(duì)于PMI+BE這種完全依靠無(wú)監(jiān)督統(tǒng)計(jì)的方法,能夠在新詞發(fā)現(xiàn)上能夠取得更高的準(zhǔn)確率。而相較于PATI+CRF來(lái)說(shuō),CEPWD增加了詞向量篩選候選新詞這一環(huán)節(jié),因而能夠取得更高的新詞發(fā)現(xiàn)表現(xiàn),進(jìn)而提升能源政策文本的分詞效果。

4 結(jié)束語(yǔ)

本文針對(duì)能源政策領(lǐng)域新詞識(shí)別問(wèn)題,提出一種基于條件隨機(jī)場(chǎng)和詞向量的發(fā)現(xiàn)方法,通過(guò)無(wú)監(jiān)督算法PATI擴(kuò)充CRF模型的訓(xùn)練集,避免了耗時(shí)耗力的人工標(biāo)注步驟并改善了CRF模型在特定領(lǐng)域的表現(xiàn),充分考慮了數(shù)據(jù)集的領(lǐng)域特性和語(yǔ)義特性,提出了領(lǐng)域種子詞典的概念,在少量人工成本的情況下,利用詞向量的評(píng)分篩選,實(shí)現(xiàn)了新詞的有效識(shí)別。試驗(yàn)結(jié)果表明,該方法能夠取得良好的新詞識(shí)別效果,在模型整體性能與人工成本之間達(dá)到了有效平衡,相對(duì)于其他新詞發(fā)現(xiàn)baselines方法,能夠更加顯著地提高中文分詞在能源政策文本上的表現(xiàn)。同時(shí),試驗(yàn)發(fā)現(xiàn)數(shù)據(jù)集擴(kuò)充規(guī)模、詞向量模型以及詞向量評(píng)分閾值也會(huì)對(duì)新詞識(shí)別的結(jié)果有一定影響。最近幾年,基于注意力機(jī)制的深度學(xué)習(xí)模型,例如GPT-2、BERT等,在自然語(yǔ)言處理的多項(xiàng)任務(wù)上取得了相當(dāng)好的效果。將預(yù)訓(xùn)練模型和遷移學(xué)習(xí)技術(shù)結(jié)合起來(lái),通過(guò)主動(dòng)學(xué)習(xí)和不完全學(xué)習(xí)等弱監(jiān)督的方式,充分利用本研究的新詞發(fā)現(xiàn)結(jié)果,在盡可能低的人工成本下,提高模型在專(zhuān)業(yè)領(lǐng)域的新詞發(fā)現(xiàn)性能,將會(huì)是下一步需要解決的問(wèn)題。