基于雙維度中文語(yǔ)義分析的食品領(lǐng)域知識(shí)庫(kù)問(wèn)答

左 敏，徐澤龍，張青川，畢銘文

(北京工商大學(xué) 農(nóng)產(chǎn)品食品安全追溯技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室，北京 100048)

0 引言

問(wèn)答系統(tǒng)能夠自動(dòng)、準(zhǔn)確回答由自然語(yǔ)言組成的問(wèn)題，在各大知識(shí)問(wèn)答網(wǎng)站以及網(wǎng)絡(luò)搜索問(wèn)句中，比例最多的是基于事實(shí)的具有單一關(guān)系的簡(jiǎn)單問(wèn)題，這類(lèi)問(wèn)題可以通過(guò)查詢知識(shí)庫(kù)準(zhǔn)確回答。知識(shí)庫(kù)由大量的知識(shí)三元組組成，三元組包含實(shí)體、屬性以及屬性值。目前大規(guī)模的知識(shí)庫(kù)包括英文的Freebase、DBpedia等，以及中文的OpenKG.CN和CN-DBpedia等。在利用知識(shí)庫(kù)回答簡(jiǎn)單問(wèn)題時(shí)，可以將知識(shí)三元組理解為由實(shí)體-關(guān)系-答案組成，問(wèn)答的目的在于通過(guò)對(duì)問(wèn)句的語(yǔ)義分析得到知識(shí)庫(kù)中所包含的實(shí)體和關(guān)系，然后通過(guò)知識(shí)庫(kù)進(jìn)行實(shí)體關(guān)系匹配，直接獲取該實(shí)體關(guān)系所對(duì)應(yīng)的答案。但在現(xiàn)實(shí)中，由于表達(dá)方式的原因，存在著兩個(gè)關(guān)鍵問(wèn)題：一是如何準(zhǔn)確地抽取出關(guān)系；二是如何將實(shí)體映射到知識(shí)庫(kù)中。

針對(duì)上述兩個(gè)問(wèn)題開(kāi)展研究，利用課題來(lái)源構(gòu)建了一定規(guī)模的食品領(lǐng)域知識(shí)庫(kù)，作為知識(shí)問(wèn)答系統(tǒng)的底層支撐，并在此基礎(chǔ)上利用雙維度中文語(yǔ)義分析模型搭建問(wèn)答系統(tǒng)。模型的核心在于兩點(diǎn)：①實(shí)體鏈接階段，通過(guò)字級(jí)的相似度以及語(yǔ)義關(guān)系將更多識(shí)別出的實(shí)體名稱(chēng)映射到知識(shí)庫(kù)中;②關(guān)系抽取階段，利用LSTM網(wǎng)絡(luò)對(duì)實(shí)體關(guān)系名稱(chēng)和問(wèn)句在詞級(jí)的維度上進(jìn)行向量建模。在人工構(gòu)建的食品領(lǐng)域問(wèn)答語(yǔ)料集上的測(cè)試表明，筆者提出的模型獲得了85.66%的準(zhǔn)確率。

1 相關(guān)工作

對(duì)基于知識(shí)庫(kù)的簡(jiǎn)單問(wèn)答的研究主要有兩個(gè)方向：一個(gè)是語(yǔ)義解析的方法[1-2]，語(yǔ)義解析是將自然語(yǔ)言問(wèn)句轉(zhuǎn)化為邏輯表達(dá)形式，進(jìn)而可以通過(guò)程序執(zhí)行，從知識(shí)庫(kù)中查詢獲得答案，但是語(yǔ)義解析的方法往往伴隨著大量的人工提取特征,難以在大規(guī)模的開(kāi)放領(lǐng)域上應(yīng)用；另一個(gè)是向量建模的方法[3-4],向量建模將問(wèn)句和候選知識(shí)映射為同一向量空間表示的向量，在向量空間內(nèi)距離問(wèn)句最近的候選知識(shí)即為正確答案。

在知識(shí)庫(kù)問(wèn)答中最重要的是將實(shí)體映射到知識(shí)庫(kù)中，可以將此過(guò)程看作是消除本體異構(gòu)性的過(guò)程。陳淑鑫等[5]利用WordNet語(yǔ)義詞典庫(kù)來(lái)對(duì)本體的不同表達(dá)形式進(jìn)行相似度計(jì)算，將實(shí)體映射到目標(biāo)本體之中。 張凌宇等[6]利用不同本體之間的多種類(lèi)型表達(dá)進(jìn)行相似度計(jì)算，如名稱(chēng)、內(nèi)容、屬性等，并根據(jù)計(jì)算結(jié)果對(duì)本體進(jìn)行映射。

近些年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，研究者開(kāi)始將傳統(tǒng)的方法與神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行試驗(yàn)。 Yih等[7]提出了一個(gè)新型的語(yǔ)義解析框架，框架通過(guò)階段性生成查詢圖，并且采用卷積神經(jīng)網(wǎng)絡(luò)尋找關(guān)系來(lái)提升問(wèn)答系統(tǒng)的準(zhǔn)確率。 為了更好地提升問(wèn)答的準(zhǔn)確率，使得字母級(jí)的編碼能更好地處理字詞不在詞典中出現(xiàn)的情況[8],Lukovnikov等[9]通過(guò)將英文中的字級(jí)向量與字母級(jí)向量進(jìn)行結(jié)合，提高了詞向量質(zhì)量，并且使用端到端的模型直接從問(wèn)句中抽取出實(shí)體-關(guān)系對(duì)，不再使用分開(kāi)的流水線任務(wù)來(lái)處理問(wèn)題，減輕了自然語(yǔ)言處理流水線中的錯(cuò)誤傳播問(wèn)題的程度。Hao等[10]先對(duì)問(wèn)句進(jìn)行模式抽取和實(shí)體鏈接，然后采用模式修訂來(lái)減輕錯(cuò)誤傳播問(wèn)題的程度。

基于知識(shí)庫(kù)的中文問(wèn)答研究起步較晚，Lai等[11]提出了SPE (subject predicate extraction) 算法，從問(wèn)句中自動(dòng)抽取實(shí)體-謂詞對(duì)，然后在知識(shí)庫(kù)中查詢獲取答案，該算法在NLPCC-ICCPOL 2016競(jìng)賽中的開(kāi)放領(lǐng)域知識(shí)問(wèn)答任務(wù)中獲得了最好成績(jī)。周博通等[12]利用長(zhǎng)短時(shí)記憶(long short term memory, LSTM)網(wǎng)絡(luò)在相同的數(shù)據(jù)集上進(jìn)行試驗(yàn)，利用注意力機(jī)制從關(guān)系候選集中選出最相似的關(guān)系名稱(chēng)，也取得了不錯(cuò)的結(jié)果。

2 食品領(lǐng)域知識(shí)庫(kù)構(gòu)建

筆者采用獨(dú)立構(gòu)建的食品領(lǐng)域知識(shí)庫(kù)(FD-KB)，其中實(shí)體來(lái)自國(guó)家食品抽檢檢測(cè)數(shù)據(jù)，包括食品名稱(chēng)、風(fēng)險(xiǎn)因子以及食品添加劑等食品名稱(chēng)實(shí)體，共計(jì)0.7 M。以該實(shí)體庫(kù)為種子，利用網(wǎng)絡(luò)爬蟲(chóng)從各大權(quán)威百科網(wǎng)站獲取知識(shí)，并以三元組的形式存儲(chǔ)于FD-KB中。由于實(shí)體與關(guān)系名稱(chēng)的表達(dá)方式多樣，不同平臺(tái)獲取的知識(shí)無(wú)法直接融合，利用關(guān)系重合率對(duì)知識(shí)三元組進(jìn)行校正和整合。

要重點(diǎn)說(shuō)明的是，所使用的實(shí)體庫(kù)來(lái)自國(guó)家食品抽檢檢測(cè)數(shù)據(jù)，是面向?qū)I(yè)領(lǐng)域的實(shí)體庫(kù)，所包含的實(shí)體名稱(chēng)大都為專(zhuān)業(yè)名稱(chēng)。下面將詳細(xì)介紹如何利用關(guān)系重合率對(duì)知識(shí)進(jìn)行校正和整合。

食品領(lǐng)域?qū)嶓w庫(kù)中的實(shí)體是從知識(shí)平臺(tái)獲得的關(guān)系字典，以鍵值對(duì)的方式表示。 當(dāng)從不同平臺(tái)獲得不同的關(guān)系字典時(shí)，利用式(1)計(jì)算關(guān)系重合率:

(1)

式中：R·keys為所有鍵的集合；R·values為所有值的集合；n(·)為計(jì)數(shù)函數(shù)；max(·)為最大取值函數(shù)；Rs和Rb表示兩個(gè)不同的關(guān)系字典。

在這里規(guī)定：當(dāng)pr≤0.5時(shí)，兩個(gè)關(guān)系字典屬于不同的實(shí)體(實(shí)體名稱(chēng)可能相同)；否則，兩個(gè)關(guān)系字典所提到的是同一個(gè)實(shí)體，需要對(duì)關(guān)系字典進(jìn)行整合。在整合時(shí)，利用詞袋模型對(duì)實(shí)體的關(guān)系名稱(chēng)進(jìn)行編碼，并計(jì)算編碼之間的余弦相似度。根據(jù)計(jì)算結(jié)果，對(duì)實(shí)體的知識(shí)三元組進(jìn)行整合或補(bǔ)充。

獲取知識(shí)三元組時(shí)，對(duì)實(shí)體進(jìn)行了清洗，包括去除關(guān)系名稱(chēng)中的空白符等無(wú)關(guān)符號(hào)(即非中文、英文和數(shù)字的符號(hào))，將英文字母統(tǒng)一為小寫(xiě)格式，最終得到包含6 M知識(shí)三元組的FD-KB。

3 雙維度中文語(yǔ)義分析模型

提出的模型使用了中文字符級(jí)和詞語(yǔ)級(jí)兩個(gè)語(yǔ)義維度，主要包含3個(gè)步驟：實(shí)體識(shí)別、實(shí)體鏈接和關(guān)系抽取。圖1展示了模型的執(zhí)行過(guò)程。

圖1 雙維度中文語(yǔ)義分析模型圖Figure 1 The model of two-dimensional Chinese semantic analysis

步驟1通過(guò)實(shí)體識(shí)別得到問(wèn)句中的實(shí)體信息。在實(shí)體識(shí)別階段利用中文字符級(jí)的語(yǔ)義向量編碼，字級(jí)語(yǔ)義編碼能夠不受問(wèn)句中錯(cuò)別字的影響從而能正確標(biāo)注出實(shí)體在問(wèn)句中的位置。

步驟2實(shí)體鏈接階段利用字、詞兩個(gè)維度的語(yǔ)義相似度獲得實(shí)體候選集，通過(guò)對(duì)實(shí)體識(shí)別結(jié)果校正，將更多的識(shí)別結(jié)果映射到知識(shí)庫(kù)中。

步驟3通過(guò)實(shí)體候選集獲得關(guān)系候選集，使用LSTM網(wǎng)絡(luò)對(duì)問(wèn)句與關(guān)系名稱(chēng)進(jìn)行詞級(jí)的語(yǔ)義向量編碼，計(jì)算得到更接近的關(guān)系。

在模型中，錯(cuò)誤傳播始于實(shí)體識(shí)別，其他兩個(gè)步驟的運(yùn)行依賴于實(shí)體識(shí)別的結(jié)果。實(shí)體鏈接是一個(gè)有承上啟下作用的關(guān)鍵步驟，通過(guò)優(yōu)化實(shí)體鏈接的算法，能有效減輕錯(cuò)誤傳播問(wèn)題的程度。接下來(lái)將詳細(xì)介紹模型的各個(gè)階段。

3.1 實(shí)體識(shí)別

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)在自然語(yǔ)言處理中發(fā)揮了重要的作用,它的記憶單元由3個(gè)門(mén)構(gòu)成：輸入門(mén)、遺忘門(mén)和輸出門(mén)，這種結(jié)構(gòu)能夠幫助網(wǎng)絡(luò)有效控制信息的記憶與遺忘，使其能夠比循環(huán)神經(jīng)網(wǎng)絡(luò)識(shí)別更長(zhǎng)距離的上下文信息。

使用雙向LSTM網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)模型(conditional random field，CRF)[13]來(lái)識(shí)別問(wèn)句中的實(shí)體，這樣做的優(yōu)勢(shì)在于：①雙向LSTM網(wǎng)絡(luò)可以充分利用句子的正反序列信息；②條件隨機(jī)場(chǎng)模型可以避免最終結(jié)果產(chǎn)生不合理的標(biāo)簽序列。 由于模型對(duì)詞向量的質(zhì)量好壞依賴較小，并且考慮到問(wèn)句中的詞語(yǔ)可能會(huì)出現(xiàn)錯(cuò)別字或者超出詞典范疇的情況，從而導(dǎo)致分詞錯(cuò)誤，進(jìn)而影響實(shí)體識(shí)別的結(jié)果，因此在訓(xùn)練時(shí)采用字級(jí)編碼作為輸入。具體模型如圖2所示。

圖2 Bi-LSTM-CRF網(wǎng)絡(luò)模型圖Figure 2 The structure of Bi-LSTM-CRF

Bi-LSTM層：對(duì)于一個(gè)輸入長(zhǎng)度為n的問(wèn)句Q(w1,w2,…,wn)，利用one-hot編碼得到每個(gè)字的向量X(x1,x2,…,xn)，之后將X分別以正序和倒序輸入到兩個(gè)不同的LSTM網(wǎng)絡(luò)中，最終在時(shí)長(zhǎng)t獲得的狀態(tài)ht包含此刻的上下文信息。

CRF層：Bi-LSTM層的輸出是每一個(gè)中文字符wt被標(biāo)記為每一個(gè)標(biāo)簽的概率，最終的概率矩陣作為CRF層的輸入來(lái)計(jì)算不同標(biāo)簽序列的得分，這種方式能夠有效避免不合理的標(biāo)簽序列，例如B-ER，O，I-ER等。

3.2 實(shí)體鏈接

如果將FD-KB中的知識(shí)三元組看作由實(shí)體-關(guān)系-答案組成，那么實(shí)體鏈接階段的目的就是將第一步的識(shí)別結(jié)果映射到FD-KB中的實(shí)體上，將更多的結(jié)果映射到相應(yīng)的實(shí)體上對(duì)模型準(zhǔn)確率的提升至關(guān)重要。

使用中文字符級(jí)與詞語(yǔ)級(jí)語(yǔ)義相結(jié)合的鏈接方法, 用C′表示識(shí)別結(jié)果的中文字符集合，C表示FD-KB中實(shí)體名稱(chēng)的中文字符集合。在計(jì)算詞語(yǔ)級(jí)語(yǔ)義時(shí)，利用預(yù)訓(xùn)練好的中文Word2Vec詞向量對(duì)詞語(yǔ)進(jìn)行表示[14]。W′為識(shí)別結(jié)果的矩陣向量，W為候選實(shí)體的矩陣向量。中文字符的語(yǔ)義相似度得分通過(guò)計(jì)算集合中的重復(fù)字符得到，詞語(yǔ)級(jí)語(yǔ)義相似度則通過(guò)計(jì)算矩陣的余弦相似度得到，總得分由式(2)計(jì)算得到:

(2)

式中：α為權(quán)重系數(shù)。當(dāng)α=1時(shí)，表示只依賴中文字符級(jí)語(yǔ)義；當(dāng)α=0時(shí)，表示只使用詞語(yǔ)級(jí)語(yǔ)義相似度。

3.3 關(guān)系抽取

關(guān)系抽取更精確地說(shuō)是關(guān)系匹配，即根據(jù)問(wèn)句的描述計(jì)算得到最相似的關(guān)系名稱(chēng)。實(shí)際上，對(duì)于中文的簡(jiǎn)單問(wèn)句來(lái)說(shuō)，很多關(guān)系名稱(chēng)直接包含在問(wèn)句中，因此可以直接從候選關(guān)系集合中得到關(guān)系名稱(chēng)。統(tǒng)計(jì)顯示，大約有52.17%的訓(xùn)練語(yǔ)料符合上述情況。

根據(jù)上述情況，首先,在關(guān)系抽取中利用正則表達(dá)式獲取直接包含的關(guān)系名稱(chēng)。值得強(qiáng)調(diào)的是，通過(guò)這種方法得到的關(guān)系名稱(chēng)長(zhǎng)度必須大于1，否則會(huì)出現(xiàn)包含多個(gè)關(guān)系的情況。其次，對(duì)于無(wú)法直接抽出關(guān)系的情況，則利用不同的LSTM網(wǎng)絡(luò)來(lái)獲得候選關(guān)系名稱(chēng)和問(wèn)句的向量表示，然后計(jì)算它們的余弦相似度得到最優(yōu)結(jié)果，如圖3所示。

圖3 關(guān)系抽取模型圖Figure 3 The model of relation extraction

步驟1利用問(wèn)句編碼器ENCq對(duì)去除實(shí)體后的問(wèn)句進(jìn)行編碼。首先對(duì)問(wèn)句進(jìn)行分詞，然后得到詞語(yǔ)的向量編碼作為L(zhǎng)STM網(wǎng)絡(luò)的輸入，最后獲得神經(jīng)網(wǎng)絡(luò)的最終狀態(tài)為問(wèn)句的向量表示，計(jì)算得到:

rq=ENCq(qw1,qw2,…,qwt)。

(3)

步驟2關(guān)系編碼器ENCr與ENCq結(jié)構(gòu)相似，關(guān)系名稱(chēng)的向量表示計(jì)算方法如式(4)所示:

rr=ENCr(rw1,rw2,…,rwn)。

(4)

步驟3利用式(5)計(jì)算rq與rr的余弦相似度:

(5)

4 實(shí)驗(yàn)

4.1 語(yǔ)料以及評(píng)估方法

所使用的問(wèn)答語(yǔ)料是通過(guò)人工的方法利用FD-KB構(gòu)造而成，問(wèn)句的模式符合實(shí)際生活中的用戶問(wèn)句，共有23 000條。在構(gòu)建語(yǔ)料的同時(shí)也標(biāo)注了問(wèn)句所依賴的知識(shí)三元組，語(yǔ)料被隨機(jī)分為14 000條訓(xùn)練語(yǔ)料以及9 000條測(cè)試語(yǔ)料。

利用準(zhǔn)確率來(lái)評(píng)估模型的效果，準(zhǔn)確率的計(jì)算方法如式(6)所示:

(6)

式中：N代表所有的樣本總數(shù)；ncorrect表示得到正確結(jié)果的樣本數(shù)。

4.2 實(shí)驗(yàn)步驟

實(shí)體識(shí)別步驟所使用的語(yǔ)料是依據(jù)問(wèn)答語(yǔ)料標(biāo)注而成，同樣也分為14 000條訓(xùn)練語(yǔ)料以及9 000條測(cè)試語(yǔ)料。實(shí)體識(shí)別的目的是在問(wèn)句中標(biāo)注出最有可能是實(shí)體的位置，因此對(duì)于一些打印錯(cuò)誤的情況，也將其標(biāo)注為實(shí)體。通過(guò)上述的標(biāo)注策略，一些實(shí)體的關(guān)鍵信息將不會(huì)被遺漏。實(shí)體識(shí)別的最終準(zhǔn)確率為92.78%。

在實(shí)體鏈接階段，通過(guò)調(diào)整α的取值進(jìn)行調(diào)優(yōu)，得到字級(jí)語(yǔ)義和詞級(jí)語(yǔ)義的最佳結(jié)合點(diǎn)。通過(guò)訓(xùn)練，當(dāng)α=0.63時(shí)，能得到最好的實(shí)體鏈接效果，找到實(shí)體的準(zhǔn)確率提升至93.38%，如圖4所示。

圖4 α與準(zhǔn)確率的關(guān)系Figure 4 Accuracy when α takes different values

關(guān)系抽取時(shí)，訓(xùn)練LSTM神經(jīng)網(wǎng)絡(luò)的主要目的是為了最小化損失函數(shù)，損失函數(shù)的計(jì)算方法如式(7)所示:

Lossq,p,p′=max{0,Score(q,p′)-Score(q,p)+γ},

(7)

式中：Score(q,p′)表示負(fù)樣本的得分；Score(q,p)表示正樣本的得分；γ表示正樣本的得分必須高于負(fù)樣本得分γ分，在本文中γ=0.3。

為了進(jìn)一步評(píng)估模型，利用其他兩種常用的知識(shí)庫(kù)問(wèn)答模型來(lái)做對(duì)比實(shí)驗(yàn)，分別是語(yǔ)義解析模型和端到端模型，實(shí)驗(yàn)結(jié)果如表1所示。對(duì)比實(shí)驗(yàn)結(jié)果顯示，提出的模型能夠更好地解決中文食品領(lǐng)域內(nèi)的知識(shí)庫(kù)問(wèn)答。

表1 對(duì)比實(shí)驗(yàn)結(jié)果Table 1 The results of the contrast experiments

4.3 實(shí)驗(yàn)結(jié)果分析

根據(jù)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，筆者提出的模型問(wèn)答準(zhǔn)確率高于語(yǔ)義解析模型及端到端模型。 在問(wèn)答模型中，實(shí)體識(shí)別是影響整個(gè)模型準(zhǔn)確率的關(guān)鍵，通過(guò)對(duì)識(shí)別錯(cuò)誤的實(shí)體進(jìn)行分析能夠減輕錯(cuò)誤傳播問(wèn)題的程度。

識(shí)別錯(cuò)誤的情況大致分為3種：①正確的實(shí)體名稱(chēng)與問(wèn)句中的實(shí)體名稱(chēng)不一致；②少識(shí)別了一些中文字符；③關(guān)系名稱(chēng)包含在了識(shí)別結(jié)果中。 針對(duì)前兩種情況，筆者提出的模型利用字級(jí)與詞級(jí)兩個(gè)維度的語(yǔ)義信息進(jìn)行計(jì)算，將實(shí)體正確地映射到知識(shí)庫(kù)中，而第3種情況會(huì)嚴(yán)重影響之后的關(guān)系識(shí)別結(jié)果，該問(wèn)題仍有待解決。

5 結(jié)論

分別從中文問(wèn)答的字義與詞義兩個(gè)語(yǔ)義維度出發(fā)，將中文單詞所蘊(yùn)含的詞義表達(dá)與字義相結(jié)合，有效地提升了問(wèn)句中實(shí)體映射的準(zhǔn)確率，提出了一種基于字詞雙維度中文語(yǔ)義分析的食品領(lǐng)域知識(shí)庫(kù)問(wèn)答模型。該模型能夠有效減輕處理過(guò)程中的錯(cuò)誤傳播問(wèn)題的程度，并能夠提高問(wèn)句中語(yǔ)義關(guān)系提取的準(zhǔn)確率。 實(shí)驗(yàn)中所采用的FD-KB以及問(wèn)答語(yǔ)料具有中文問(wèn)答的特點(diǎn)，也符合實(shí)際的網(wǎng)絡(luò)搜索情況，如果將本方法應(yīng)用到大規(guī)模開(kāi)放領(lǐng)域知識(shí)庫(kù)也會(huì)取得不錯(cuò)的效果。