面向方志類古籍的多類型命名實(shí)體聯(lián)合自動(dòng)識(shí)別模型構(gòu)建*

李 娜

0 引言

方志即地方志,是在一定體例范疇中,系統(tǒng)記載特定時(shí)空下自然、社會(huì)、政治、經(jīng)濟(jì)、文化等各個(gè)方面情況的專門(mén)文獻(xiàn),被譽(yù)為“一方之全史”[1],以起源早、類型全、數(shù)量多等特征而聞名[2]。我國(guó)保存至今的宋至民國(guó)的方志就有8,264種,11萬(wàn)余卷,成為重要的文化遺產(chǎn)寶庫(kù)[3]。地方志承擔(dān)著傳承中華文明、延續(xù)歷史智慧的使命,“要了解中國(guó)文化,必須先了解中國(guó)的地方志”[4]；它也是一座強(qiáng)大的遠(yuǎn)期數(shù)據(jù)庫(kù),擔(dān)負(fù)起決策信息支持任務(wù)[5-6],整理和利用地方志是我國(guó)的優(yōu)秀傳統(tǒng)。1950年代著名農(nóng)史學(xué)家萬(wàn)國(guó)鼎組織力量,從40多個(gè)大中型城市、100多個(gè)文史單位的7,200余部地方志中手工整理摘抄物產(chǎn)專題資料,涉及宋至民國(guó)期間近900年全國(guó)范圍內(nèi)的物產(chǎn)品種、種植與飼養(yǎng)方法、利用技術(shù)等農(nóng)業(yè)生產(chǎn)的各個(gè)方面,是農(nóng)史學(xué)界著名的紅本子,曾接待國(guó)內(nèi)外眾多學(xué)者前來(lái)查詢[7]。

命名實(shí)體(Named Entities)是指文本中人名、地名、機(jī)構(gòu)名、時(shí)間、數(shù)量等具有特定意義的實(shí)體,是正確理解文本的基礎(chǔ)。方志類古籍中的命名實(shí)體類型多、數(shù)量大,蘊(yùn)含著豐富的關(guān)聯(lián)關(guān)系和隱性知識(shí)；通過(guò)命名實(shí)體識(shí)別技術(shù)對(duì)多類型命名實(shí)體及其之間的關(guān)聯(lián)關(guān)系進(jìn)行分析,能最大化挖掘和發(fā)揮方志類古籍的價(jià)值。數(shù)字人文為方志類古籍文本內(nèi)容的深度知識(shí)組織提供了技術(shù)支持[8]。作為學(xué)科融合的代表領(lǐng)域,數(shù)字人文跨越計(jì)算機(jī)科學(xué)、語(yǔ)言學(xué)、歷史學(xué)、文學(xué)等學(xué)科[9],拓展了人文學(xué)科研究的廣度和深度[10]。本文以《方志物產(chǎn)》山西分卷為研究語(yǔ)料,探索條件隨機(jī)場(chǎng)模型在方志類古籍命名實(shí)體識(shí)別中的性能和前景?！斗街疚锂a(chǎn)》山西分卷共13本,約43萬(wàn)字,記載了明成化21 年(1485)至民國(guó)29 年(1940)間山西境內(nèi)的物產(chǎn)及相關(guān)信息,共收錄51,545條物產(chǎn)信息,涉及植物、動(dòng)物和貨物3個(gè)類別。在人工標(biāo)注語(yǔ)料基礎(chǔ)上,引入命名實(shí)體識(shí)別技術(shù)中的條件隨機(jī)場(chǎng)模型,通過(guò)自動(dòng)識(shí)別模型和人機(jī)交互系統(tǒng)的構(gòu)建,實(shí)現(xiàn)物產(chǎn)文本信息中別名、地名、人名、引用名、用途名等五類命名實(shí)體的一體化自動(dòng)抽取,形成物產(chǎn)相關(guān)的命名實(shí)體專題數(shù)據(jù)庫(kù),建立關(guān)聯(lián)數(shù)據(jù)集,為知識(shí)發(fā)現(xiàn)打下基礎(chǔ)。

1 中文古籍命名實(shí)體識(shí)別研究綜述

命名實(shí)體識(shí)別作為文本信息抽取任務(wù)中關(guān)鍵而實(shí)用的一項(xiàng)技術(shù),主要從電子文本中識(shí)別出人們感興趣的命名實(shí)體,在多種語(yǔ)言和領(lǐng)域有著廣泛的應(yīng)用,其中英語(yǔ)語(yǔ)料由于詞匯含義的單一性和文本結(jié)構(gòu)的規(guī)則性,取得了良好的識(shí)別效果。中文字詞含義的多樣性和行文結(jié)構(gòu)的連續(xù)性成為中文命名實(shí)體識(shí)別的障礙,尤其是中文古籍使用繁體字以及無(wú)句讀等特點(diǎn),更是為中文古籍命名實(shí)體識(shí)別帶來(lái)了更大困難。在中文古籍整理領(lǐng)域,命名實(shí)體識(shí)別的相關(guān)研究成果主要集中在國(guó)內(nèi),從早期基于規(guī)則的研究發(fā)展到基于條件隨機(jī)場(chǎng)的研究,再到深度學(xué)習(xí)技術(shù)的應(yīng)用,逐步積累了一系列學(xué)術(shù)成果。

基于規(guī)則的研究主要采用詞表和注疏等方式開(kāi)展。徐潤(rùn)華等以《左傳》為研究對(duì)象,在文獻(xiàn)和注疏自動(dòng)對(duì)齊的基礎(chǔ)上,提出利用古籍注疏分詞的新方法,F值達(dá)89%[11]；留金騰等采用自動(dòng)分詞與詞性標(biāo)注,并結(jié)合人工校正的方法,實(shí)現(xiàn)《淮南子》語(yǔ)料庫(kù)的構(gòu)建[12]；王嘉靈以中古史傳文獻(xiàn)《漢書(shū)》為例,利用地名表、人名表、注疏詞表來(lái)提高《漢書(shū)》的自動(dòng)分詞效果[13]；朱鎖玲以廣東、福建、臺(tái)灣三省《方志物產(chǎn)》為語(yǔ)料,通過(guò)整理文中地名出現(xiàn)的規(guī)則,構(gòu)建規(guī)則庫(kù),與文本內(nèi)容進(jìn)行匹配,實(shí)現(xiàn)地名識(shí)別,準(zhǔn)確率為63.38%,召回率為82.89%[14]；衡中青以《方志物產(chǎn)》廣東分卷為例,基于規(guī)則的方法分別識(shí)別文中的引書(shū)和別名,其中引書(shū)識(shí)別的召回率和正確率分別為84.95%和72.88%,別名的召回率為88.6%、正確率為71.6%[15]。

基于條件隨機(jī)場(chǎng)的研究是命名實(shí)體識(shí)別領(lǐng)域比較成熟的方法,取得了較好的識(shí)別效果。肖磊[16]、汪青青[17]、李章超等[18]分別針對(duì)《左傳》中的地名、人名、戰(zhàn)爭(zhēng)事件結(jié)構(gòu)的特點(diǎn),基于CRF模型,分別實(shí)現(xiàn)地名、人名和戰(zhàn)爭(zhēng)事件的自動(dòng)識(shí)別；梁社會(huì)等對(duì)比條件隨機(jī)場(chǎng)和注疏文獻(xiàn)在先秦文獻(xiàn)《孟子》自動(dòng)分詞實(shí)驗(yàn)中的效果,發(fā)現(xiàn)二者均達(dá)到較高的水平[19]；朱曉等選擇編年體題材的《明史》作為研究語(yǔ)料,用交叉驗(yàn)證法對(duì)比了條件隨機(jī)場(chǎng)的無(wú)邊圖、完全圖以及嵌套圖等3種模型的性能[20]；黃水清等基于先秦語(yǔ)料庫(kù),分別使用條件隨機(jī)場(chǎng)和最大熵模型對(duì)地名進(jìn)行了識(shí)別研究,結(jié)果表明條件隨機(jī)場(chǎng)的識(shí)別效果優(yōu)于最大熵模型[21]；李秀英設(shè)計(jì)了綜合算法,完成了對(duì)《史記》漢英對(duì)照的術(shù)語(yǔ)抽取,實(shí)現(xiàn)了漢英典籍平行語(yǔ)料庫(kù)的構(gòu)建[22]；黃水清等基于《漢學(xué)引得叢刊》中的《春秋經(jīng)傳注疏引書(shū)引得》制定詞匯表,通過(guò)條件隨機(jī)場(chǎng)模型,結(jié)合統(tǒng)計(jì)和人工內(nèi)省方法確定的特征模板,完成對(duì)先秦典籍進(jìn)行自動(dòng)分詞的探究,最好的調(diào)和平均值達(dá)到97.47%[23]；王錚將條件隨機(jī)場(chǎng)模型應(yīng)用到《三國(guó)演義》的地名識(shí)別中,準(zhǔn)確率為99.16%[24]。葉輝等通過(guò)融合多特征的CRF模型提升中醫(yī)古籍《金匱要略》中蘊(yùn)含的癥狀藥物實(shí)體的識(shí)別效果[25]；王東波等構(gòu)建基于先秦語(yǔ)料庫(kù)的CRF模型,自動(dòng)抽取其中蘊(yùn)含的歷史事件,構(gòu)成實(shí)體信息[26]；袁悅等對(duì)比不同詞性標(biāo)記集在《左轉(zhuǎn)》《國(guó)語(yǔ)》兩部典籍命名實(shí)體識(shí)別效果的差異性,為先秦古文獻(xiàn)實(shí)體抽取與詞性標(biāo)注提供借鑒[27]。

近年深度學(xué)習(xí)技術(shù)得到快速發(fā)展,并在相關(guān)領(lǐng)域逐步開(kāi)展實(shí)驗(yàn)研究,呈現(xiàn)出較好的應(yīng)用前景。謝韜基于Apriori算法和LSTM神經(jīng)網(wǎng)絡(luò)對(duì)宋詞和《史記》語(yǔ)料進(jìn)行新詞發(fā)現(xiàn)實(shí)驗(yàn),取得較好效果[28]；李成名運(yùn)用深度學(xué)習(xí)中的LSTM-CRF模型對(duì)《左傳》中的人名、地名進(jìn)行了自動(dòng)抽取實(shí)驗(yàn),識(shí)別率達(dá)82%以上[29]；李煥基于BERTBiLSTM-CRF模型對(duì)中醫(yī)古籍文本中的中醫(yī)術(shù)語(yǔ)進(jìn)行識(shí)別,明顯提升了識(shí)別效率[30]；徐晨飛等對(duì)比Bi- RNN、 Bi- LSTM、 Bi- LSTM- CRF、BERT等深度學(xué)習(xí)模型在《方志物產(chǎn)》云南卷中對(duì)人名、別名、引書(shū)和地名等實(shí)體的識(shí)別效果,驗(yàn)證了深度學(xué)習(xí)方法在方志類古籍實(shí)體識(shí)別中的可行性[31]；杜悅等運(yùn)用7種深度學(xué)習(xí)模型從25本經(jīng)過(guò)分詞和人工標(biāo)注的典籍語(yǔ)料中抽取歷史事件相關(guān)實(shí)體,驗(yàn)證了深度學(xué)習(xí)模型對(duì)大規(guī)模中文古籍文本挖掘的可行性[32]；劉忠寶等在BERT 和LSTM-CRF 模型的基礎(chǔ)上,提出了面向《史記》歷史事件及其組成元素的抽取方法,F1值分別達(dá)82.3%和76.0%[33]；崔競(jìng)烽等利用深度學(xué)習(xí)模型對(duì)菊花古典詩(shī)詞中的時(shí)間、地點(diǎn)、季節(jié)、花名、花色、人物、節(jié)日等命名實(shí)體進(jìn)行標(biāo)注和識(shí)別,得出BERT 模型識(shí)別效果較為顯著的結(jié)伭[34]。上述研究成果表明,在中文古籍整理方面,命名實(shí)體識(shí)別得到廣泛應(yīng)用,取得了良好的識(shí)別效果。隨著技術(shù)進(jìn)步,基于規(guī)則的方法逐步被基于CRF的方法和深度學(xué)習(xí)的方法替代。其中,條件隨機(jī)場(chǎng)模型由于突破了隱馬爾科夫模型的嚴(yán)格獨(dú)立性假設(shè)限制,優(yōu)化了最大熵模型的歸一化處理,解決了標(biāo)注偏差的問(wèn)題,可以靈活融合上下文的多種特征,基于條件概率處理序列標(biāo)注問(wèn)題,且具有成熟的開(kāi)源工具,在中文古籍分詞領(lǐng)域有著良好的性能和廣泛的應(yīng)用；而深度學(xué)習(xí)模型正處于快速發(fā)展的階段,穩(wěn)定性和適用性都在逐步增強(qiáng),擁有良好的應(yīng)用前景。本研究選擇將相對(duì)穩(wěn)定成熟的CRF技術(shù)應(yīng)用于方志類古籍的實(shí)體識(shí)別,綜合對(duì)別名、地名、引用名、用途名、人名等五類命名實(shí)體進(jìn)行一體化識(shí)別,并與其他基于規(guī)則和深度學(xué)習(xí)的實(shí)驗(yàn)結(jié)果形成對(duì)比。

2 識(shí)別模型構(gòu)建

本研究過(guò)程主要分為3個(gè)部分:一是語(yǔ)料篩選和標(biāo)注,即從《方志物產(chǎn)》山西分卷中選出備注信息不為空的物產(chǎn)信息,指定語(yǔ)料的標(biāo)注原則,人工對(duì)物產(chǎn)的備注信息進(jìn)行標(biāo)注；二是機(jī)器學(xué)習(xí)和模型構(gòu)建,將人工標(biāo)注的語(yǔ)料打亂順序后,平均分為10份,每次取其中9份作為訓(xùn)練語(yǔ)料,讓計(jì)算機(jī)進(jìn)行學(xué)習(xí),分析并提取標(biāo)注對(duì)象的內(nèi)外部特征,形成特征模板,根據(jù)特征模板完成基于條件隨機(jī)場(chǎng)的識(shí)別模型構(gòu)建；三是模型測(cè)試,將訓(xùn)練語(yǔ)料以外的另一份語(yǔ)料作為測(cè)試語(yǔ)料,對(duì)基于條件隨機(jī)場(chǎng)的識(shí)別模型進(jìn)行測(cè)試,用召回率R、正確率P和加權(quán)平均值F作為測(cè)評(píng)指標(biāo),分析測(cè)評(píng)結(jié)果,評(píng)估模型性能。具體的技術(shù)路線如圖1所示。本節(jié)主要探討語(yǔ)料預(yù)處理、特征分析和模型構(gòu)建的內(nèi)容。

圖1 研究的技術(shù)路線

2.1 語(yǔ)料篩選和標(biāo)注

(1)語(yǔ)料篩選。首先,根據(jù)物產(chǎn)名稱進(jìn)行語(yǔ)料篩選。在流傳過(guò)程中,由于文字變遷、抄寫(xiě)錯(cuò)誤、字跡不清等,《方志物產(chǎn)》記載的物產(chǎn)名稱不盡完備?！斗街疚锂a(chǎn)》山西分卷中共記載51,545條物產(chǎn)信息,部分物產(chǎn)的名稱中除可識(shí)別的漢字外,還包括特殊符號(hào),如 “+、□、(、？)”“鸂□、鷰(鳥(niǎo)衣)、(艸+旹)蘿、？？”,代表該處為“缺字” 或“造字” 等情況。物產(chǎn)名稱不完整的數(shù)據(jù)共273條,約占總語(yǔ)料規(guī)模0.53%。為保證數(shù)據(jù)的原始性和完整性,況且物產(chǎn)名稱不完整并不影響命名實(shí)體識(shí)別,所以仍保留相關(guān)語(yǔ)料,嘗試通過(guò)數(shù)據(jù)對(duì)比和關(guān)聯(lián)等方式完善這部分物產(chǎn)名稱的數(shù)據(jù)。其次,就文本結(jié)構(gòu)而言,方志類文獻(xiàn)中物產(chǎn)記載方式不一,物產(chǎn)備注信息存在缺失現(xiàn)象。圖2所示是從《方志物產(chǎn)》山西分卷全文數(shù)據(jù)庫(kù)中隨機(jī)選取的10條物產(chǎn)信息,可見(jiàn)備注信息空缺的現(xiàn)象。本研究的目的是從物產(chǎn)的解釋信息中抽取別名、地名、人名、引用名和用途名等5類實(shí)體信息,因此,語(yǔ)料庫(kù)中沒(méi)有解釋信息的物產(chǎn)記錄不是本研究的有效語(yǔ)料?！斗街疚锂a(chǎn)》 山西分卷記載的51,545條物產(chǎn)信息中,含解釋信息的共9,085條,約占總物產(chǎn)量17.63%。

圖2 隨機(jī)選取的10條物產(chǎn)名稱及其備注信息樣例

(2)語(yǔ)料標(biāo)注。為提升機(jī)器學(xué)習(xí)效果,對(duì)部分語(yǔ)料進(jìn)行人工標(biāo)注。在對(duì)物產(chǎn)的備注信息進(jìn)行標(biāo)注時(shí),用英文單詞表示對(duì)應(yīng)的命名實(shí)體類別,標(biāo)注時(shí)選用大寫(xiě)首字母表示,以“【”“】” 表示命名實(shí)體的左右邊界,具體見(jiàn)表1。標(biāo)注完成后,9,085條備注信息不為空的物產(chǎn)信息中含別名的有2,522條,含地名的1,308條,含人名的624條,含引用名的1,307條,含用途名的823條,共計(jì)6,584條,這是本文進(jìn)行命名實(shí)體識(shí)別研究的最終語(yǔ)料。

表1 命名實(shí)體標(biāo)注說(shuō)明

2.2 標(biāo)注集生成

在人工標(biāo)注語(yǔ)料的基礎(chǔ)上,對(duì)訓(xùn)練語(yǔ)料進(jìn)行一定的標(biāo)記,用于抽取語(yǔ)料特征。通過(guò)計(jì)算標(biāo)注實(shí)體的加權(quán)長(zhǎng)度,明確標(biāo)注集的長(zhǎng)度,生成標(biāo)注集運(yùn)用式,如下:

其中,Li表示i≤k當(dāng)時(shí),命名實(shí)體平均加權(quán)詞長(zhǎng),Ni表示語(yǔ)料庫(kù)中詞長(zhǎng)為i的命名實(shí)體出現(xiàn)次數(shù),k和i為語(yǔ)料庫(kù)中命名實(shí)體的最大詞長(zhǎng)和最小詞長(zhǎng),N為語(yǔ)料庫(kù)中命名實(shí)體出現(xiàn)次數(shù)總和。例如,L2就表示在k=2時(shí),整個(gè)語(yǔ)料庫(kù)的中命名實(shí)體的平均加權(quán)詞長(zhǎng)。通過(guò)反復(fù)計(jì)算和實(shí)驗(yàn)測(cè)試,本研究確定在《方志物產(chǎn)》的命名實(shí)體自動(dòng)抽取中,使用4 詞位的標(biāo)注集,即P={B,M,E,S}。其中,B表示命名實(shí)體的起始詞,M表示命名實(shí)體的中間詞,E表示命名實(shí)體的結(jié)束詞,S表示非命名實(shí)體詞的標(biāo)記。經(jīng)過(guò)手工標(biāo)記的語(yǔ)句,如 “旨鹝草 州境出草如綬亦名【A 文章草】”“蝙蝠 其矢名夜明砂【F治目翳障癥】”“蟾酥 出【L 代州】【L 太原】【L 定襄】【L 五臺(tái)】【L崞縣】”“太谷蒲桃 見(jiàn)【P高青邱】 詩(shī)集今不可得”“虎【C 格物論】 云虎山獸之長(zhǎng)”等,標(biāo)注集的生成結(jié)果(樣例)如表2所示。通過(guò)生成標(biāo)注集,將訓(xùn)練語(yǔ)料處理成一串具有特定標(biāo)識(shí)符的單字,為精確定位命名實(shí)體的左右邊界詞及分析邊界詞特征提供便利。命名實(shí)體的左右邊界詞是特征模板的重要內(nèi)容,其分布特征影響實(shí)體抽取模型的功能優(yōu)化和識(shí)別效果。

表2 標(biāo)注集樣例

2.3 內(nèi)外部特征分析

基于人工標(biāo)注語(yǔ)料和實(shí)體標(biāo)注集,統(tǒng)計(jì)總結(jié)命名實(shí)體的內(nèi)外部結(jié)構(gòu)特征,作為核心要素應(yīng)用到模型構(gòu)建中。其中,內(nèi)部特征是指命名實(shí)體的詞長(zhǎng)及其頻次分布規(guī)律,外部特征是指命名實(shí)體的左右一元邊界詞及其頻次分布規(guī)律。

(1)內(nèi)部特征分析。命名實(shí)體的詞長(zhǎng)是指構(gòu)成命名實(shí)體的字?jǐn)?shù)。根據(jù)詞長(zhǎng)的統(tǒng)計(jì)分析結(jié)果,可以協(xié)助確定及識(shí)別序列的跨度。標(biāo)注語(yǔ)料中共提取出人工標(biāo)注的別名3,458個(gè)、地名2,287個(gè)、人名846 個(gè)、引用名1,944 個(gè)、用途名1,191個(gè)。從長(zhǎng)度和頻次統(tǒng)計(jì)結(jié)果看,5種類型命名實(shí)體的長(zhǎng)度特征如表3所示。從表3可見(jiàn),除了引用名稍長(zhǎng)以外,別名、地名、人名、用途名的長(zhǎng)度均集中在1、2、3上,高頻長(zhǎng)度能夠涵蓋絕大多數(shù)命名實(shí)體。詞長(zhǎng)的統(tǒng)計(jì)分析結(jié)果有助于提高模型對(duì)實(shí)體長(zhǎng)度判斷的準(zhǔn)確性。

表3 命名實(shí)體長(zhǎng)度特征統(tǒng)計(jì)表

(2)外部特征分析。根據(jù)已有標(biāo)注集,對(duì)命名實(shí)體的左右一元邊界詞進(jìn)行統(tǒng)計(jì)分析。假設(shè)把一條語(yǔ)料表示成 “SLn，…，SLi，…SL1，【R，R1，…，Rn】，SR1，…，SRj，…，SRn”,其中,【R，R1，…，Rn】 代表標(biāo)注集,SLi代表標(biāo)注集的左邊界詞,SLj代表標(biāo)注集的右邊界詞,即可以判定標(biāo)注集的左右一元邊界詞,即SL1和SR1,其分布狀況運(yùn)用式如下:

其中,pc(ω)為ω在語(yǔ)料中作為一元邊界詞的頻率,fβ(ω)為ω作為一元邊界詞出現(xiàn)的次數(shù),∑ωfβ(ω)為在語(yǔ)料中出現(xiàn)的總次數(shù)。表4所示為各類命名實(shí)體的高頻左右一元邊界詞,括號(hào)中為該邊界詞出現(xiàn)的頻率?？梢?jiàn),別名、用途名的左一元邊界詞聚集程度較高,最高頻次均達(dá)到70%以上；地名的左右一元邊界詞都相對(duì)集中,最高頻次均超過(guò)70%；人名和引用名的右一元邊界詞較左一元邊界詞更為集中,最高頻次為100%。

表4 高頻左、右一元邊界詞

2.4 特征模板構(gòu)建

條件隨機(jī)場(chǎng)[35](Conditional Random Fields,CRF)是判別式概率模型,常用于標(biāo)注或分析序列資料,自然語(yǔ)言是其分析對(duì)象之一。設(shè)圖G=(V,E)是一個(gè)無(wú)向圖,Y為已標(biāo)注序列,Y={Yv|v∈V},X為待標(biāo)注序列,令X={x1,x2,…,xn},Y={y1,y2,…,yn},如果Yv服從馬爾科夫?qū)傩?則(X,Y)構(gòu)成一個(gè)條件隨機(jī)場(chǎng),滿足p(Yv|X,Yu,u≠v，v,{u,v}∈V)=p(Yv|X,Yu,u～v,{u,v}∈E),u～v表示u是v相鄰的節(jié)點(diǎn)。為最大限度地提升模型的識(shí)別性能,在基于CRF構(gòu)建識(shí)別模型時(shí),應(yīng)充分考慮標(biāo)注語(yǔ)料中上下文結(jié)構(gòu)特征。本模型構(gòu)建中綜合融入了訓(xùn)練語(yǔ)料命名實(shí)體的內(nèi)部和外部特征,即上文所分析的實(shí)體長(zhǎng)度、出現(xiàn)頻次、左右邊界詞等。

(1)實(shí)體長(zhǎng)度?！斗街疚锂a(chǎn)》語(yǔ)料中,最常見(jiàn)的別名長(zhǎng)度為2,如 “虞美人 俗稱【A 芙蓉】 ”；最常見(jiàn)的地名長(zhǎng)度為2,如 “萆麻子【L平魯】【L朔州】【L馬邑】 有”；最常見(jiàn)的人名長(zhǎng)度為3,如“玉簪【P漢武帝】 寵【P李夫人】取玉簪搔頭後宮人皆效之玉簪花之名始此明【P徐文長(zhǎng)】 詩(shī)曰小院秋深墜碧茵花間猶見(jiàn)李夫人搔頭可綴誰(shuí)能綴一夜西風(fēng)夢(mèng)裏神”；最常見(jiàn)的引用名長(zhǎng)度為2,如“艾【C爾雅】 曰水臺(tái)王安石【C字說(shuō)】 曰艾可乂疾久而彌善故字從乂師曠曰歲欲病病草先生艾也”；最常見(jiàn)的用途名長(zhǎng)度為2,如“蜂密 一名石蜜以白如膏者良【F潤(rùn)燥】【F滑腸】【F補(bǔ)中】【F清熱】”。實(shí)體長(zhǎng)度用阿拉伯?dāng)?shù)字表示,是識(shí)別模型的一個(gè)重要特征。

(2)一元邊界詞。命名實(shí)體抽取過(guò)程中,左右一元邊界詞是識(shí)別模型的重要參數(shù)。一旦確定了實(shí)體的左右一元邊界詞,就鎖定了實(shí)體的具體位置,從而抽取出目標(biāo)實(shí)體。在利用訓(xùn)練語(yǔ)料進(jìn)行模型構(gòu)建時(shí),根據(jù)人工標(biāo)注實(shí)體的位置標(biāo)出左右一元邊界詞,用L代表左一元邊界詞,用R代表右一元邊界詞,用N代表非一元邊界詞。語(yǔ)料訓(xùn)練結(jié)果樣例見(jiàn)表5。

表5 五類命名實(shí)體的左右一元邊界詞標(biāo)注樣例

3 模型測(cè)試與結(jié)果分析

3.1 模型測(cè)試

本研究采用正確率P、召回率R和調(diào)和平均數(shù)F[36]對(duì)基于CRF的命名實(shí)體識(shí)別模型的識(shí)別效果進(jìn)行綜合評(píng)價(jià),用以衡量其在方志類古籍文獻(xiàn)整理中的適用性和應(yīng)用前景。

其中,correct是模型識(shí)別結(jié)果中正確的命名實(shí)體數(shù)量,incorrect是模型識(shí)別結(jié)果中錯(cuò)誤的命名實(shí)體數(shù)量,unrecognized是人工標(biāo)注出來(lái)但模型沒(méi)能識(shí)別的命名實(shí)體數(shù)量。

為合理優(yōu)化和提升模型識(shí)別效果,本研究使用十次交叉法驗(yàn)證不同訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料下的模型性能。首先,將所有語(yǔ)料隨機(jī)亂序排列,并平均分成10等份；其次,每次驗(yàn)證選取10份中的任意9份作為訓(xùn)練語(yǔ)料,用于構(gòu)建命名實(shí)體自動(dòng)抽取模型,將剩余的1份語(yǔ)料作為測(cè)試語(yǔ)料,評(píng)估模型的性能,共進(jìn)行10次評(píng)估實(shí)驗(yàn),從而獲得最優(yōu)模型。五類命名實(shí)體測(cè)試的最優(yōu)結(jié)果如圖3所示。從最優(yōu)模型識(shí)別結(jié)果看,面向《方志物產(chǎn)》 命名實(shí)體自動(dòng)抽取模型的識(shí)別效果中,效率最高的是正確率,其次是調(diào)和平均數(shù),而召回率相對(duì)較低。即,模型識(shí)別出的實(shí)體中正確的比例較高,但是占全部應(yīng)識(shí)別出的實(shí)體比例稍低。五類命名實(shí)體中,別名、地名、引用名的效果較好, 最高正確率均達(dá)到了95.48%,人名和用途名的識(shí)別效果稍差,正確率為70%～80%。

圖3 最優(yōu)模型的測(cè)試結(jié)果

3.2 對(duì)比分析

近期有學(xué)者運(yùn)用Bi-RNN、Bi-LSTM、Bi-LSTM-CRF、BERT等深度學(xué)習(xí)模型對(duì)《方志物產(chǎn)》云南分卷語(yǔ)料中的別名、人名、地名、引用名進(jìn)行了一體化識(shí)別[31]。其中,Bi-RNN是一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型,加入了時(shí)間序列的變化,分別從起點(diǎn)和末尾兩端對(duì)文本序列進(jìn)行學(xué)習(xí),獲取句子中詞之間的語(yǔ)義關(guān)系；Bi-LSTM為雙向長(zhǎng)短時(shí)記憶模型,引入遺忘門(mén)、輸入門(mén)和輸出門(mén),更加全面地捕獲文本序列信息,解決語(yǔ)料長(zhǎng)距離依賴問(wèn)題；Bi-LSTM-CRF 模型將雙向長(zhǎng)短時(shí)記憶模型與CRF模型相結(jié)合,既考慮到文本前后序列的關(guān)聯(lián)性,又解決標(biāo)記偏置的問(wèn)題,是較為主流的方法；BERT模型摒棄了RNN循環(huán)式神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)自注意力機(jī)制進(jìn)行建模,采用雙向語(yǔ)言模型提取上下文語(yǔ)義關(guān)系,有效解決長(zhǎng)期依賴問(wèn)題,在自然語(yǔ)言處理領(lǐng)域具有突破性表現(xiàn)。本文將基于條件隨機(jī)場(chǎng)模型與基于Bi- RNN、 Bi- LSTM、 Bi-LSTM-CRF、BERT 等深度學(xué)習(xí)模型識(shí)別效果中的F1 值進(jìn)行比較,結(jié)果見(jiàn)表6?；跅l件隨機(jī)場(chǎng)的模型對(duì)別名和地名兩類實(shí)體的識(shí)別效果較顯著,而深度學(xué)習(xí)在人名識(shí)別方面的效果優(yōu)于條件隨機(jī)場(chǎng)模型,二者在引用名的識(shí)別效果上基本持平。另外,本研究將命名實(shí)體技術(shù)首先應(yīng)用于《方志物產(chǎn)》 中用途名的實(shí)體識(shí)別,尚未有其他模型的對(duì)比數(shù)據(jù)。

表6 CRF與深度學(xué)習(xí)模型識(shí)別效果F1值比較(單位：%)

3.3 結(jié)果分析

分析基于CRF的命名實(shí)體識(shí)別模型正確率分布,以及對(duì)比人工標(biāo)注與機(jī)器識(shí)別結(jié)果可發(fā)現(xiàn):

(1)識(shí)別效果最好的實(shí)體類型依次是地名、別名、引用名。這是因?yàn)樵凇斗街疚锂a(chǎn)》的編纂過(guò)程中,地名、別名和引用名的表述較為規(guī)范,且聚集程度高,無(wú)伭是在時(shí)間線上還是在空間域上,這三類實(shí)體重復(fù)出現(xiàn)的幾率大,詞長(zhǎng)和邊界詞等文本特征相對(duì)明顯,在一定程度上提升了模型的識(shí)別性能。這三類實(shí)體識(shí)別錯(cuò)誤的情況主要集中在以下幾個(gè)方面。就地名而言,一種情況是實(shí)體不是一個(gè)具體的地名,而是一個(gè)范圍或者指代性的名詞,導(dǎo)致機(jī)器無(wú)法根據(jù)特征進(jìn)行精確判別,如語(yǔ)料 “訓(xùn)峪後溝等十?dāng)?shù)村” 不是一個(gè)確切的常規(guī)地名,導(dǎo)致機(jī)器識(shí)別的結(jié)果表現(xiàn)為實(shí)體字段識(shí)別不全；另一種情況是實(shí)體并列出現(xiàn),如語(yǔ)料 “太原平陽(yáng)潞安三府及汾澤二州俱出” 中 “汾澤” 二州就因?yàn)椴⒘谐霈F(xiàn)而被漏識(shí)別。就別名而言,主要存在實(shí)體類型判斷錯(cuò)誤情況,即模型實(shí)體抽取是正確的,但是由于多類型命名實(shí)體的混合以及語(yǔ)言表達(dá)規(guī)則的相似性,導(dǎo)致在實(shí)體類型劃分時(shí)出現(xiàn)了錯(cuò)誤,如 “赭石” 的語(yǔ)料 “生河?xùn)|山中別錄曰出代郡者名代赭李時(shí)珍曰赭赤色也代即雁門(mén)也俗呼土朱鐵”,識(shí)別結(jié)果為“代赭、雁門(mén)、土朱鐵”,顯而易見(jiàn),“雁門(mén)” 并非物產(chǎn)“赭石” 的別名,而是地點(diǎn)“代” 表示的地名,只是因?yàn)槎叩恼Z(yǔ)言規(guī)則相似而被誤判。就引用名而言,主要原因是實(shí)體嵌套導(dǎo)致的實(shí)體名稱過(guò)長(zhǎng),如語(yǔ)料“細(xì)莖叢生花豓藍(lán)色既開(kāi)如墜花落結(jié)子他邑所無(wú)附宋司馬光晉陽(yáng)三月未有春色詩(shī)天心均煦嫗物態(tài)異芬芳上國(guó)花應(yīng)爛邊城柳未黃清明空改火元已漫浮觴仍説秋寒早年年八月霜” 中“宋司馬光晉陽(yáng)三月未有春色詩(shī)”,就存在時(shí)間、人名、地名、引用名的連續(xù)嵌套,導(dǎo)致機(jī)器判別出錯(cuò)。

(2)人名和用途名的識(shí)別效果存在著較大的提升空間。其中,人名識(shí)別方面,古人除了本名以外,還有字、號(hào)、官職、尊稱、謚號(hào)等多種別名,實(shí)體的長(zhǎng)短、出現(xiàn)的頻率等缺乏規(guī)律性,機(jī)器判別難度大；此外,不同類型的實(shí)體嵌套或者混淆的情況較為常見(jiàn),如“河南王孝瑜” 為地名與人名的嵌套、“白香山” 為地名與人名的混淆、“魏武衛(wèi)將軍奚康生” 為官職名與人名混淆,“唐段成式” 為朝代名與人名混淆等。而用途名的識(shí)別方面,主要立足傳統(tǒng)中草藥的功效角度進(jìn)行描述,表達(dá)方式多樣,不同時(shí)代、不同地區(qū)或不同志書(shū)對(duì)同一物產(chǎn)同一功效的描述也不盡相同,且數(shù)種功效經(jīng)常并列出現(xiàn),如物產(chǎn) “青蒿” 的語(yǔ)料“處處生之春夏採(cǎi)莖葉同童便煎退骨蒸勞熱生搗絞汁卻心疼熱秋黃冬採(cǎi)根實(shí)實(shí)須炒治風(fēng)疹疥瘙虗煩盜汗開(kāi)胃明目辟邪殺蟲(chóng)” 中就有“風(fēng)疹、疥瘙、虗煩、盜汗、開(kāi)胃、明目、辟邪、殺蟲(chóng)” 等多種用途名稱的并列使用,成為機(jī)器識(shí)別精度提升的阻礙。

本文總結(jié)的問(wèn)題與經(jīng)驗(yàn),可以為方志類古籍大規(guī)模語(yǔ)料標(biāo)注和實(shí)體識(shí)別研究提供借鑒。其中,增強(qiáng)領(lǐng)域?qū)＜业慕槿氤潭群吞岣邩?biāo)注人員的語(yǔ)言素養(yǎng),有助于提升訓(xùn)練語(yǔ)料人工標(biāo)注的精度；適當(dāng)擴(kuò)大訓(xùn)練語(yǔ)料的規(guī)模,有利于更全面地收集異質(zhì)性較強(qiáng)的實(shí)體類型的特征信息；積極借助現(xiàn)有的數(shù)據(jù)集和標(biāo)注標(biāo)準(zhǔn),有益于排除標(biāo)注過(guò)程中出現(xiàn)的分歧問(wèn)題,從而提升實(shí)體識(shí)別模型的總體效果。

3.4 基于實(shí)體識(shí)別結(jié)果的應(yīng)用

以“菠薐” 和“貫衆(zhòng)” 兩條物產(chǎn)的解釋信息“一名波斯菜詢芻錄云南人呼菠菜北人呼赤根菜劉禹錫嘉話錄本自頗陵國(guó)流入中國(guó)語(yǔ)訛耳能觧酒毒” 和“出遼州一名鳳尾草李時(shí)珍曰葉莖如鳳尾一本而眾枝貫之故草名鳳尾根名貫眾廣雅謂之貫節(jié)” 為例,CRF模型對(duì)別名、地名、人名、引用名、用途名的識(shí)別結(jié)果分別為 “‘波斯菜、菠菜、赤根菜’、‘劉禹錫’、‘詢芻錄、嘉話錄’、‘觧酒毒’” 和 “‘鳳尾草、貫節(jié)’、‘遼州’、‘李時(shí)珍’、‘廣雅’”。根據(jù)物產(chǎn)名與命名實(shí)體識(shí)別的人名、地名、別名、引用名、用途名五類命名實(shí)體之間的對(duì)應(yīng)關(guān)系,以及物產(chǎn)名所屬的記載時(shí)間和地區(qū)、物產(chǎn)分類信息等要素,建立起關(guān)聯(lián)關(guān)系(如表7所示),并以此為基礎(chǔ),開(kāi)展數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)研究。

表7 關(guān)聯(lián)數(shù)據(jù)識(shí)別結(jié)果樣例

通過(guò)物產(chǎn)與別名的關(guān)聯(lián)關(guān)系,可以挖掘指定物產(chǎn)的別名信息,還可以發(fā)現(xiàn)哪些物產(chǎn)擁有相同的別名,為分析別名的來(lái)源提供了資料支撐；通過(guò)物產(chǎn)與人名的關(guān)聯(lián)關(guān)系,可以挖掘物產(chǎn)在傳播的過(guò)程中,受到哪些歷史人物的影響,是在哪些方面產(chǎn)生了影響,如命名方面、文學(xué)方面、種植技術(shù)方面等；通過(guò)物產(chǎn)與時(shí)空的關(guān)聯(lián)關(guān)系,不僅可以挖掘物產(chǎn)橫向地域上的變遷,還可以挖掘物產(chǎn)在縱向時(shí)間上的消長(zhǎng),將物產(chǎn)與社會(huì)變遷、生態(tài)環(huán)境等緊密聯(lián)系起來(lái)；通過(guò)物產(chǎn)與引用名之間的關(guān)系,可以了解具體物產(chǎn)在哪些古籍文獻(xiàn)或詩(shī)詞歌賦或民間諺語(yǔ)中記載或流傳,為資料查找提供重要線索；通過(guò)物產(chǎn)與用途之間的關(guān)聯(lián)關(guān)系,可以挖掘物產(chǎn)在生活、民俗、藥用等方面的價(jià)值,為進(jìn)一步深度利用打下了基礎(chǔ)。例如,圖4為依據(jù)物產(chǎn)與人名之間關(guān)聯(lián)關(guān)系而生成的知識(shí)圖譜,可以根據(jù)不同的需求開(kāi)展不同緯度、不同角度的深度剖析；圖5是來(lái)源志書(shū)在時(shí)空范圍的分布圖,呈現(xiàn)了不同朝代山西境內(nèi)不同地區(qū)的志書(shū)修撰情況,這從側(cè)面反應(yīng)了物產(chǎn)記載的詳略程度；圖6是物產(chǎn)與時(shí)空之間關(guān)聯(lián)關(guān)系的分布圖,展示了棉花在山西引種和傳播的進(jìn)程。

圖4 物產(chǎn)與人名之間的關(guān)聯(lián)關(guān)系可視化圖

圖5 志書(shū)的空間分布圖

圖6 物產(chǎn)“棉” 的時(shí)空傳播分布圖

4 結(jié)語(yǔ)

本文以《方志物產(chǎn)》山西分卷為研究語(yǔ)料,基于條件隨機(jī)場(chǎng)構(gòu)建多類型命名實(shí)體復(fù)雜識(shí)別模型,實(shí)現(xiàn)了文本中別名、地名、人名、引用名和用途名五類命名實(shí)體的自動(dòng)抽取,并應(yīng)用十次交叉法對(duì)模型識(shí)別性能進(jìn)行測(cè)評(píng),取得了較好的實(shí)驗(yàn)結(jié)果。本研究驗(yàn)證了在方志類古籍的知識(shí)挖掘中,條件隨機(jī)場(chǎng)模型能發(fā)揮較好的效果,具有較高的可行性和較好的應(yīng)用前景,為大規(guī)模方志古籍以及其他類古籍的挖掘利用研究提供借鑒。

但是,本研究仍然存在有待進(jìn)一步提升的空間:語(yǔ)料規(guī)模小,僅以山西一省物產(chǎn)資料為研究對(duì)象,占全國(guó)語(yǔ)料1%左右,規(guī)模偏??；標(biāo)注精度低,人工標(biāo)注者的農(nóng)史底蘊(yùn)薄弱,導(dǎo)致人工標(biāo)注不夠完善；模型特征少,模型構(gòu)建中僅采納了長(zhǎng)度、頻率、左右一元邊界詞作為特征,沒(méi)有全面覆蓋所有特征信息。

在未來(lái)研究中,需要逐步擴(kuò)大語(yǔ)料規(guī)模,從一個(gè)省份擴(kuò)展到多個(gè)省份,直至全國(guó)；引入農(nóng)史專業(yè)學(xué)者對(duì)語(yǔ)料進(jìn)行深度標(biāo)注、提升標(biāo)注程度,構(gòu)建標(biāo)注標(biāo)準(zhǔn)體系,以便在更大范圍內(nèi)推廣；獲取更多語(yǔ)料特征,豐富特征模板,完善識(shí)別模型的功能,提升識(shí)別效果。