利用依存句法分析和關(guān)鍵詞共現(xiàn)的機(jī)器閱讀理解模型

趙 耀 白 宇 蔡?hào)|風(fēng) 樊睿文

(沈陽(yáng)航空航天大學(xué)人機(jī)智能研究中心 遼寧 沈陽(yáng) 110136)

0 引 言

機(jī)器閱讀理解(MRC，machine reading compreh-ension)是自然語(yǔ)言處理領(lǐng)域的一個(gè)重要且富有挑戰(zhàn)性的任務(wù)。閱讀理解能夠讓機(jī)器理解文章進(jìn)而回答相關(guān)問(wèn)題，對(duì)自然語(yǔ)言理解和人工智能具有重要意義。

中文片段抽取式閱讀理解中[5]，問(wèn)題多樣化，如誰(shuí)/何時(shí)/何地/為什么/如何等，問(wèn)題中常常不直接使用文章中的描述，使用釋義和語(yǔ)法轉(zhuǎn)換，很多疑問(wèn)句往往有著復(fù)雜的語(yǔ)言現(xiàn)象，如共指、省略和多疑問(wèn)詞等。答案屬于某一類(lèi)型的命名實(shí)體或特定類(lèi)型(如姓名、日期和顏色等)，則它可能不是上下文中的唯一答案，現(xiàn)在的深度學(xué)習(xí)模型無(wú)法根據(jù)其類(lèi)型輕松地獲得與問(wèn)題匹配的答案。評(píng)測(cè)中多數(shù)模型都是關(guān)于注意力模型[1]，通常利用循環(huán)網(wǎng)絡(luò)將篇章編碼成固定長(zhǎng)度的中間語(yǔ)義向量，利用該向量指導(dǎo)每一步長(zhǎng)輸出，該模型結(jié)構(gòu)簡(jiǎn)單，獲得正確答案的效率和準(zhǔn)確率低。尤其是在閱讀長(zhǎng)文本時(shí)，比如長(zhǎng)問(wèn)題或者長(zhǎng)答案，通過(guò)詞向量之間的相似度評(píng)分來(lái)獲得關(guān)注度大小，對(duì)于一些無(wú)關(guān)緊要詞過(guò)度關(guān)注，核心關(guān)鍵詞得分容易被這些無(wú)關(guān)詞稀釋?zhuān)@些無(wú)關(guān)詞的噪聲干擾加上詞之間長(zhǎng)距離的關(guān)聯(lián)跨度，使模型模糊了關(guān)注度[2]，造成誤差的傳播和結(jié)果的偏離。依存句法分析可以反映出句子各成分之間的修飾關(guān)系，經(jīng)過(guò)依存句法分析的中心詞，獲得長(zhǎng)距離的詞之間關(guān)聯(lián)信息，并與句子成分的物理位置無(wú)關(guān)，依存句法分析在文本理解、語(yǔ)義消歧和主干抽取中具有很大的作用，長(zhǎng)文本分析就離不開(kāi)描述對(duì)象關(guān)系信息提取，更是下一步語(yǔ)義分析的前提。

人類(lèi)在做閱讀理解時(shí)首先會(huì)進(jìn)行略讀，略讀就是通過(guò)問(wèn)題關(guān)鍵詞查找篇章中答案最可能出現(xiàn)的位置，聚焦之后進(jìn)行有選擇地精讀相關(guān)的片段。機(jī)器閱讀理解模型主要思路亦是找到問(wèn)題與篇章中答案的關(guān)聯(lián)性，突出其中重要特征，忽略部分無(wú)關(guān)信息。問(wèn)題與篇章最重要的關(guān)聯(lián)性特征就是問(wèn)題中的關(guān)鍵詞，預(yù)測(cè)答案跨度類(lèi)型應(yīng)與問(wèn)題給出的答案類(lèi)型相對(duì)應(yīng)，正確答案應(yīng)該處于問(wèn)題關(guān)鍵詞出現(xiàn)范圍之中。因此本文提出了一種基于依存句法分析和關(guān)鍵詞共現(xiàn)特征的閱讀理解模型。

提取問(wèn)題關(guān)鍵詞，將其與篇章做共現(xiàn)特征進(jìn)行指導(dǎo)閱讀，其次進(jìn)行依存句法分析，獲得篇章和問(wèn)題每個(gè)句子中詞的依存句法關(guān)系信息，句子每個(gè)詞用中心詞向量化表示。篇章和問(wèn)題使用預(yù)訓(xùn)練模型輸入，依存信息與預(yù)訓(xùn)練模型輸出加權(quán)，使用Self-attention建立文本之間全局依賴(lài)關(guān)系對(duì)文章和問(wèn)題作深度理解，挖掘不同的語(yǔ)義信息，提高閱讀理解效果。

1 相關(guān)研究

隨著多個(gè)閱讀理解數(shù)據(jù)集的發(fā)布[3-11]，大大推動(dòng)了端到端神經(jīng)閱讀理解模型的發(fā)展，機(jī)器閱讀理解根據(jù)任務(wù)的劃分，可分為完形填空式、選擇填空式、片段抽取式和自由類(lèi)型式。其中，片段抽取式閱讀理解任務(wù)作為機(jī)器閱讀理解任務(wù)的一種重要形式，要求從給定的文章中找到一段連續(xù)的片段作為問(wèn)題的答案。機(jī)器閱讀理解最初由Winograd[12]提出構(gòu)想，并設(shè)計(jì)了首個(gè)自動(dòng)閱讀理解測(cè)試系統(tǒng)Deep Read[13]，該系統(tǒng)以故事為基礎(chǔ)衡量閱讀理解任務(wù)，利用人工編寫(xiě)的規(guī)則進(jìn)行模式匹配。例如，Wang等[14]提出Match-LSTM模型通過(guò)使用多種注意力機(jī)制將問(wèn)題信息融入到上下文表示，在輸出層使用指針網(wǎng)絡(luò)(Pointer Network[15])預(yù)測(cè)答案的開(kāi)始和結(jié)束位置。文獻(xiàn)[16]提出BiDAF(Bi-Directional Attention Flow)模型，核心層是雙向注意力流層，模型驗(yàn)證了雙向LSTM在篇章和問(wèn)題的上下文信息特征的提取有一定的效果，但是與最好的模型還有很大差距，雙向LSTM也僅僅是對(duì)篇章和問(wèn)題向量的簡(jiǎn)單運(yùn)算，淺層比較，在訓(xùn)練和推理方面效率較低。隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，注意力已成為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分，被用于提高閱讀理解模型的可解釋性，有助于克服遞歸神經(jīng)網(wǎng)絡(luò)中的一些挑戰(zhàn)。R-NET模型[17]是基于MatchLSTM和門(mén)控制方式對(duì)注意力模型做了改進(jìn)，輸出答案過(guò)程中借鑒了指針網(wǎng)絡(luò)(Pointer-Network)的思想。QaNet模型[18]使用CNN提取局部文本特征，通過(guò)self-attention建立文本之間全局依賴(lài)關(guān)系，使閱讀理解生成的答案更加符合正確答案。在保持準(zhǔn)確率的情況下，模型訓(xùn)練效率的大幅提升，QaNet模型是預(yù)訓(xùn)練模型發(fā)布之前排名前列的一個(gè)閱讀理解模型，也驗(yàn)證了編碼器Transformer的并行能力以及信息提取能力。

深層語(yǔ)境語(yǔ)言模型(Deep Contextual Language Model)是學(xué)習(xí)通用語(yǔ)言表征的有效工具，并在一系列主流自然語(yǔ)言理解任務(wù)中取得優(yōu)秀成果。例如Elmo、GPT[19]、雙向編碼器表示的BERT[20]和XLNet[21]等。這些語(yǔ)言模型提供細(xì)粒度的上下文嵌入，可以很容易應(yīng)用于下游模型。預(yù)訓(xùn)練語(yǔ)言模型在各種自然語(yǔ)言處理任務(wù)上取得了一系列成功，發(fā)揮了編碼器的作用，但是將大量的一般知識(shí)從外部語(yǔ)料庫(kù)傳授到一個(gè)深層的語(yǔ)言模型中是非常耗時(shí)和耗費(fèi)資源。預(yù)訓(xùn)練模型提高相似數(shù)據(jù)任務(wù)的效果，降低由于缺少數(shù)據(jù)而訓(xùn)練不充分的問(wèn)題影響，且本文模型的評(píng)測(cè)語(yǔ)料也存在數(shù)量不足問(wèn)題。

依存句法分析(Dependency Parsing,DP)通過(guò)分析語(yǔ)言單位內(nèi)成分依存關(guān)系揭示其句法結(jié)構(gòu)[22]。與神經(jīng)網(wǎng)絡(luò)結(jié)合使得依存句法分析獲得進(jìn)一步發(fā)展[23]，在神經(jīng)機(jī)器翻譯中依存句法分析與編碼器Transformer進(jìn)行結(jié)合[24-25]，引入依存句法信息指導(dǎo)的上下文詞向量,提高了模型的精度。

2 模 型

本節(jié)將介紹抽取式閱讀理解模型DP-reader，模型是基于預(yù)訓(xùn)練模型BERT，預(yù)訓(xùn)練模型能夠很大程度地提升自然語(yǔ)言處理任務(wù)的效果，預(yù)訓(xùn)練模型能夠直接應(yīng)用當(dāng)前的任務(wù)中，彌補(bǔ)訓(xùn)練語(yǔ)料不足的缺陷，又能加快模型的收斂速度。將預(yù)訓(xùn)練模型與依存句法分析信息(Dependency parsing)和關(guān)鍵詞特征(Key word co-occurrence)結(jié)合在一起，模型主要包括輸入層、編碼層和匹配層。其中輸入層將問(wèn)題和篇章向量化并提取特征，編碼層將文本信息和特征融合，匹配層查找問(wèn)題在篇章中對(duì)應(yīng)的答案，將答案區(qū)間輸出。模型結(jié)構(gòu)圖如圖1所示。

圖1 模型結(jié)構(gòu)

2.1 輸入層

2.1.1 關(guān)鍵詞共現(xiàn)特征

深度學(xué)習(xí)模型做閱讀理解本質(zhì)就是找到問(wèn)題與答案的關(guān)聯(lián)性，問(wèn)題與答案的關(guān)聯(lián)特征就是關(guān)鍵詞，在篇章中答案的位置附近就有問(wèn)題的關(guān)鍵詞出現(xiàn)。例如問(wèn)題“1990年，范廷頌擔(dān)任什么職務(wù)”，整個(gè)問(wèn)題關(guān)鍵詞排序?yàn)閇‘1990’,‘范廷頌’,‘職務(wù)’,‘擔(dān)任’,‘什么’，‘年’]，關(guān)鍵詞排序第一個(gè)是最關(guān)鍵的詞，其中‘1990’為最關(guān)鍵的詞，越往后關(guān)鍵性越弱，設(shè)置閾值為3，即取前3個(gè)關(guān)鍵詞。篇章中的標(biāo)準(zhǔn)答案為“1990年被擢升為天主教河內(nèi)總教區(qū)宗座署理”，關(guān)鍵詞‘1990’出現(xiàn)在答案中。有些問(wèn)題的關(guān)鍵詞雖然不在答案中，但是卻在答案的附近，例如問(wèn)題“鑼鼓經(jīng)常用的節(jié)奏型稱(chēng)為什么”，前三個(gè)關(guān)鍵詞[‘鑼鼓’,‘節(jié)奏’,‘經(jīng)?！痌，答案為“鑼鼓點(diǎn)”，在篇章中“常用的節(jié)奏型稱(chēng)為「鑼鼓點(diǎn)」”，經(jīng)過(guò)統(tǒng)計(jì)發(fā)現(xiàn)答案的前部會(huì)經(jīng)常出現(xiàn)關(guān)鍵詞，答案的后部出現(xiàn)關(guān)鍵詞的頻率較低，關(guān)鍵詞出現(xiàn)密集的位置就是答案的位置。若閾值設(shè)置太低，會(huì)由于誤差，關(guān)鍵詞出現(xiàn)偏離；若閾值設(shè)置太高，就失去提取關(guān)鍵詞的意義，經(jīng)過(guò)測(cè)試閾值設(shè)置為3～4時(shí)，閱讀理解模型效果較好。當(dāng)關(guān)鍵詞在篇章中和問(wèn)題中同時(shí)出現(xiàn)，則共現(xiàn)次數(shù)為1，共現(xiàn)特征K的計(jì)算方式如式(1)所示。

(1)

2.1.2 預(yù)訓(xùn)練模型

將篇章和問(wèn)題拼接成一個(gè)長(zhǎng)度為m+n+3的序列，m+n+3，Q，，P，]。預(yù)訓(xùn)練模型輸入如圖2所示。

圖2 預(yù)訓(xùn)練模型輸入

將關(guān)鍵詞特征與BERT模型結(jié)合，序列的輸入如式(2)所示。

(2)

2.1.3 依存句法分析

依存句法分析[26]中一個(gè)句子里只有一個(gè)成分是獨(dú)立的，句子的其他成分都從屬于某一成分，任何一個(gè)成分都不能依存于兩個(gè)或兩個(gè)以上的成分，中心成分左右兩邊的其他成分相互不發(fā)生關(guān)系。將依存信息融入模型，依存句法分析如圖3所示。

圖3 依存句法分析

從依存分析結(jié)果可以看到，依存句法分析先識(shí)別句子中的成分如主謂賓定狀補(bǔ)，分析各成分之間的關(guān)系，句子的核心謂詞是‘披’，主語(yǔ)是‘鄒游’，賓語(yǔ)是‘球衣’，‘效力新野球隊(duì)期間’是‘披’的時(shí)間狀語(yǔ)，‘幾號(hào)’修飾‘球衣’。句子s=w1,w2,…,wn由n個(gè)詞組成，通過(guò)依存句法分析器生成一個(gè)依存句法關(guān)系集合T(R,wi,wj)，例如(nsubj,4,1),其中wi表示中心詞，wj表示依存詞，R代表這兩個(gè)詞之間的關(guān)系，方向是由中心詞指向依存詞，中心詞可以指向多個(gè)依存詞。經(jīng)過(guò)依存句法分析，使用中心詞wi表示每個(gè)詞wj，中心詞的數(shù)量相對(duì)于句子詞的數(shù)量少很多，且中心詞可以表示句子的主干內(nèi)容，增強(qiáng)主干內(nèi)容來(lái)降低無(wú)關(guān)詞的影響。圖4為CNN提取依存句法信息結(jié)構(gòu)圖。

圖4 CNN提取特征

(3)

2.2 編碼層

編碼層Self-attention[27]作用是計(jì)算問(wèn)題與篇章的上下文感知。閱讀理解任務(wù)中，篇章往往較長(zhǎng)，與答案相關(guān)內(nèi)容只是其中的一小部分，本文使用自注意力模型進(jìn)行篇章語(yǔ)義和問(wèn)題語(yǔ)義的融合。遍歷篇章文本，獲得需要重點(diǎn)關(guān)注的區(qū)域，即注意力焦點(diǎn)，而后對(duì)這一區(qū)域投入更多注意力資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息。

進(jìn)入正則化層歸一化，編碼層有兩個(gè)子層：第一個(gè)子層是多頭自注意力，第二個(gè)子層是全連接前饋網(wǎng)絡(luò)，兩個(gè)子層之間使用殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行連接，然后接一個(gè)正則化層。多頭注意力通過(guò)多次線性變換進(jìn)行投影，最后將不同的attention拼接在一起。編碼層模型如圖5所示。

圖5 編碼層

公式如式(4)-式(7)所示：

MhA(Q,K,V)=Concat(head1,head2,…,headh)Wo

(4)

headi=Attention(Q,K,V)

(5)

(6)

(7)

MhA(multi-head attention)自注意力中取Q、K、V相同，每個(gè)Q元素與每個(gè)K元素相乘，在此基礎(chǔ)上乘以一個(gè)依存句法矩陣M，相當(dāng)于是一種雙向的傳播。注意力打分函數(shù)表示為S，S可以是簡(jiǎn)單的計(jì)算，也可以是復(fù)雜的神經(jīng)網(wǎng)絡(luò)，常見(jiàn)的主要有點(diǎn)積運(yùn)算、雙線性模型、縮放點(diǎn)積模型和加性模型。本模型使用的是縮放點(diǎn)積模型,如式(8)所示。

(8)

殘差連接是使網(wǎng)絡(luò)在訓(xùn)練后不會(huì)變差，如式(9)所示。因?yàn)樵黾恿艘豁?xiàng)X，那么該層網(wǎng)絡(luò)對(duì)X求偏導(dǎo)的時(shí)候，多了一個(gè)常數(shù)項(xiàng)1，在反向傳播過(guò)程中，梯度連乘不會(huì)造成梯度消失。

g(X)=X+F(X)

(9)

歸一化(LayerNorm)把隱藏層數(shù)據(jù)轉(zhuǎn)化成均值為0方差為1的標(biāo)準(zhǔn)正態(tài)分布，在把數(shù)據(jù)送入激活函數(shù)之前進(jìn)行歸一化，使輸入數(shù)據(jù)不會(huì)落在激活函數(shù)的飽和區(qū),起到加快訓(xùn)練速度,加速收斂的作用。如式(10)-式(12)所示。

(10)

(11)

(12)

式中：ε是防止分母為0，引入兩個(gè)可訓(xùn)練參數(shù)α、β來(lái)彌補(bǔ)歸一化的過(guò)程中損失掉的信息,一般初始化α為全1,而β為全0。全連接前饋網(wǎng)絡(luò)由兩個(gè)線性轉(zhuǎn)換組成，中間是一個(gè)ReLU函數(shù)連接，如式(13)所示。

FFN(X)=max(0，W1x+b1)W2+b2

(13)

(14)

2.3 基于指針網(wǎng)絡(luò)匹配層

匹配層借鑒了pointer-network的思想，將篇章與問(wèn)題做上下文分析，計(jì)算一個(gè)答案概率p∈[0,1]，該概率決定開(kāi)始節(jié)點(diǎn)和結(jié)束節(jié)點(diǎn)。如圖6所示。

圖6 匹配層

(15)

(16)

(17)

(18)

(19)

得到了兩個(gè)值p1和p2，判斷兩者的大小，因?yàn)殚_(kāi)始位置永遠(yuǎn)在終止位置之前，最終獲得開(kāi)始位置p1和結(jié)束位置p2。

損失函數(shù)如式(20)所示。

(20)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

中文評(píng)測(cè)任務(wù)CMRC2018，篇章內(nèi)容來(lái)自中文維基百科，整個(gè)語(yǔ)料是由人工標(biāo)注。數(shù)據(jù)規(guī)模如表1所示，其中測(cè)試集沒(méi)有發(fā)布，模型性能在開(kāi)發(fā)集上做測(cè)試。

表1 CMRC2018數(shù)據(jù)集規(guī)模

任務(wù)是根據(jù)所給的文章獲得相關(guān)問(wèn)題的答案，即預(yù)測(cè)的答案在文章中的開(kāi)始節(jié)點(diǎn)和結(jié)束節(jié)點(diǎn)。數(shù)據(jù)示例如表2所示。

表2 數(shù)據(jù)示例

任務(wù)的基本評(píng)價(jià)指標(biāo)有兩個(gè)：(1) EM(exact match)，計(jì)算預(yù)結(jié)果與標(biāo)準(zhǔn)答案是否完全匹配。(2) F1得分，以模糊匹配的方式，通過(guò)計(jì)算預(yù)測(cè)答案與標(biāo)準(zhǔn)答案之間字級(jí)別匹配程度。計(jì)算F1得分時(shí)首先計(jì)算精確值(precision)和召回率(Recall),精確值表示預(yù)測(cè)答案詞正確的比例，召回率表示被正確抽取的詞比例。

3.2 實(shí)驗(yàn)設(shè)置

本文的模型構(gòu)建采用PyTorch 1.14、Python 3.4，整體調(diào)優(yōu)在驗(yàn)證集上進(jìn)行，參數(shù)值設(shè)置如表3所示。模型采用Adam優(yōu)化模型參數(shù)。實(shí)驗(yàn)運(yùn)行的硬件條件為T(mén)esla T4顯卡、顯存16 GB。5個(gè)參數(shù)進(jìn)行大量的實(shí)驗(yàn)，把實(shí)驗(yàn)效果最好的參數(shù)值作為模型的參數(shù)。實(shí)驗(yàn)表明，這5個(gè)參數(shù)均存在局部最優(yōu)值。

表3 模型參數(shù)設(shè)置

3.3 實(shí)驗(yàn)結(jié)果分析

基于預(yù)訓(xùn)練模型和未經(jīng)過(guò)預(yù)訓(xùn)練模型比較如表4所示，BiDAF和QANet模型未使用預(yù)訓(xùn)練模型，Bert和Bert+使用了預(yù)訓(xùn)練模型，使用預(yù)訓(xùn)練模型普遍效果高于未使用預(yù)訓(xùn)練模型，模型集成對(duì)效果也有一定的提升。本文設(shè)置了8組對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證本文方法的有效性，如表4所示。

表4 實(shí)驗(yàn)結(jié)果對(duì)比

對(duì)比基線模型是BERT模型，BERT基礎(chǔ)模型主要有12層Transformer的encoder單元，隱藏層的維度是768維，采用微調(diào)方式在預(yù)訓(xùn)練模型上訓(xùn)練2輪。模型性能測(cè)試在開(kāi)發(fā)集上進(jìn)行，有3 219條測(cè)試數(shù)據(jù)，將測(cè)試數(shù)據(jù)分7組，第一組的答案長(zhǎng)度是一個(gè)詞，以此類(lèi)推，整個(gè)數(shù)據(jù)集的答案長(zhǎng)度集中在短文本處。BERT與DP-reader隨著答案長(zhǎng)度的變化F1值的情況如圖7所示，答案長(zhǎng)度越長(zhǎng)，模型的效果會(huì)降低，對(duì)于答案的邊界查找難度加大，DP-reader相對(duì)于BERT對(duì)于不同長(zhǎng)度答案閱讀效果均有提升。

圖7 兩個(gè)不同答案長(zhǎng)度F1值對(duì)比

對(duì)比于Bidaf和QAnet模型，這是機(jī)器閱讀理解經(jīng)典模型，對(duì)比目的在于說(shuō)明本模型在整體效果，由表4可以看出，DP-reader在EM和F1相比前兩者有大幅度的提升，具有更好的閱讀理解能力。

分析原因可得，依存句法分析獲得每個(gè)詞對(duì)應(yīng)的中心詞，使用依存句法分析的中心詞來(lái)刻畫(huà)句子，中心詞數(shù)目相對(duì)于句子詞匯來(lái)說(shuō)數(shù)量要小很多，且總結(jié)出句子主干內(nèi)容，大部分的句子都可以使用這個(gè)框架來(lái)表示。引入依存句法信息指導(dǎo)上下文詞向量減少了無(wú)關(guān)詞的噪聲影響，提高了回答長(zhǎng)問(wèn)題或者長(zhǎng)答案的效果,提升1.12百分點(diǎn)。

對(duì)篇章進(jìn)行關(guān)鍵詞檢索，模仿人在閱讀時(shí)進(jìn)行簡(jiǎn)單搜索，通過(guò)關(guān)鍵詞找到答案最可能位置，模型將其權(quán)重加大，關(guān)鍵詞對(duì)模型的提升了2.06百分點(diǎn)。關(guān)鍵詞閾值的設(shè)置對(duì)模型有影響，超參數(shù)保持不變，實(shí)驗(yàn)結(jié)果如表5所示。

表5 關(guān)鍵詞閾值對(duì)結(jié)果影響

文本的類(lèi)型比較廣泛，包括化學(xué)、歷史、宗教、生物、建筑、商業(yè)、法律和地理等，在訓(xùn)練的語(yǔ)料中相關(guān)文本類(lèi)型訓(xùn)練數(shù)據(jù)較少，無(wú)法做到充足的訓(xùn)練。使用DRCD數(shù)據(jù)集轉(zhuǎn)換，將繁體文本轉(zhuǎn)換成簡(jiǎn)體文本，進(jìn)行數(shù)據(jù)擴(kuò)增。

錯(cuò)誤案例分析：

(1) 答案需要進(jìn)行多步推理獲得，如“凡式下銀漢魚(yú)在中國(guó)主要分布什么地區(qū)？”正確答案為“中國(guó)沿?！保A(yù)測(cè)答案為“印度西太平洋區(qū)”，部分篇章為“本魚(yú)分布印度西太平洋區(qū)，包括東非、紅海、阿拉伯海、波斯灣、日本南部、中國(guó)沿海、越南、菲律賓、印尼、澳洲、馬來(lái)西亞、孟加拉灣、印度沿岸、新喀里多尼亞和所羅門(mén)群島等海域?！蹦Ｐ托枰朗裁吹胤綄儆谥袊?guó)地區(qū)，這需要參考外部知識(shí)庫(kù)知識(shí)。

(2) 問(wèn)題語(yǔ)義復(fù)雜，出現(xiàn)多個(gè)問(wèn)題詞，模型無(wú)法分辨出問(wèn)題重點(diǎn)是哪個(gè)問(wèn)題詞，如“威爾特郡作為非都市郡，實(shí)際管轄了哪幾個(gè)非都市區(qū)？”問(wèn)題中有“哪”“幾個(gè)”問(wèn)題詞，正確答案為“索里茲伯里(Salisbury)、威爾特郡西(West Wiltshire)、肯尼特(Kennet)、威爾特郡北(North Wiltshire)”，預(yù)測(cè)答案為“4個(gè)”，模型回答“幾個(gè)”問(wèn)題，但是中文理解應(yīng)該是“哪”，這與中文的語(yǔ)言特點(diǎn)有關(guān)系，中文表達(dá)方式相對(duì)英文或者其他語(yǔ)種更加豐富且復(fù)雜。

4 結(jié) 語(yǔ)

針對(duì)CMRC2018評(píng)測(cè)任務(wù)，本文提出一種基于依存句法分析和關(guān)鍵詞共現(xiàn)的閱讀理解模型，該模型是一種簡(jiǎn)單且有效的網(wǎng)絡(luò)模型，在自注意力中模型可以學(xué)習(xí)到關(guān)于篇章和問(wèn)題的不同特征信息，利用句子的句法依存樹(shù)所提供的中心詞與依存詞之間的關(guān)系，減少長(zhǎng)文本中的噪聲影響，用關(guān)鍵詞共現(xiàn)方式對(duì)答案進(jìn)行糾正，這樣可以更準(zhǔn)確找到答案的位置。

本文中對(duì)于知識(shí)的融入工作還不夠，在性能上尚未達(dá)到最優(yōu)，還有提升的空間?，F(xiàn)在主流的研究方向是將預(yù)訓(xùn)練模型結(jié)合知識(shí)庫(kù)來(lái)指導(dǎo)機(jī)器閱讀理解，使模型的泛化能力加強(qiáng)，即使是未訓(xùn)練的語(yǔ)料也能夠使用模型經(jīng)過(guò)知識(shí)庫(kù)的輔助理解后達(dá)到較好的結(jié)果。這是我們下一步的研究目標(biāo)。