基于短文本隱含語義特征的文本蘊涵識別

張晗，盛雅琦，呂晨，姬東鴻

(武漢大學 計算機學院，湖北 武漢 430072)

基于短文本隱含語義特征的文本蘊涵識別

張晗，盛雅琦，呂晨，姬東鴻

(武漢大學 計算機學院，湖北 武漢 430072)

該文采用基于短文本隱含空間語義特征改進文本蘊涵識別，該方法通過構造句子的隱含變量模型，并融合基于該模型的句子之間相似度特征，和詞匯重疊度、N元語法重疊度、余弦相似度等字符串特征，以及帶標記和未標記的子樹重疊度句法特征一起利用SVM進行分類?；谠摲诸愃惴?，我們對RTE-8任務進行了測試，實驗表明短文本的隱含語義特征可有效改進文本蘊涵關系識別。

文本蘊涵；隱含語義特征；短文本；支持向量機

1 引言

在自然語言處理(NLP)領域中，為了有效地處理自然語言中廣泛存在的同義異形現(xiàn)象，近年來國外一些學者嘗試用“文本蘊涵”(Textual Entailment)來為語言中紛繁復雜的同義表達建立模型[1]。文本蘊涵可以定義為: 給定一個連貫的文本(Text)T和一個被看作為假設(Hypothesis)的H，如果H的意義可以從文本T的意義中推斷出來，那么就認為T蘊涵H(即H是T的推斷)[2]。目前，文本蘊涵在自然語言處理的很多應用中起著關鍵作用，如自動問答系統(tǒng)、教育NLP領域中自動評判學生答案系統(tǒng)、語義檢索和機器翻譯都能使用到文本蘊涵。

國內(nèi)外很多學者都在積極從事文本蘊涵的研究，構建了不同語言的文本蘊涵推理模型，并且舉辦了多個文本蘊涵領域的比賽和測評。美國國家標準技術研究所NIST(National Institute of Standards and Technology)組織了文本蘊涵識別RTE(Recognizing Textual Entailment)評測，該評測目前已經(jīng)舉辦八屆，構造了一些文本蘊涵推理模型和文本識別模型。Zesch等人將文本相似度和BUITEE推理系統(tǒng)得到的蘊涵信息作為分類特征[3]，從而識別文本蘊涵。Sergio 等人采用分層的方法識別文本蘊涵[4]，不僅通過分析文本T和假設H之間的詞匯重疊關系，還分析T和H之間的句子重疊度來識別文本蘊涵關系。劉茂福等人將文本間的蘊涵關系轉化為事件圖間的蘊涵關系[5]，利用最大公共子圖的事件圖相似度算法計算事件語義特征，并與統(tǒng)計特征、詞匯語義特征一起對中文文本蘊涵進行識別。這些方法在處理短文本的文本蘊涵時識別率低，原因在于短文本中所能提供的信息有限，傳統(tǒng)分類方法不能有效識別蘊涵。

本文首先介紹短文本隱含語義模型；接著將該方法得到的特征與字符串特征、句法特征結合構成對文本蘊涵識別的系統(tǒng)，并將該系統(tǒng)運用在RTE-8測評任務中；最后對實驗結果進行分析，并對全文工作進行總結和展望。

2 短文本隱含語義模型

由于傳統(tǒng)主題模型(LSA，PLSA，LDA)在識別短文本的文本相似性上有局限性，這些模型都通過句子中的單詞找到潛在語義的描述，但短文本中獲得的信息有限，從而導致傳統(tǒng)主題模型并不能很好比較短文本相似性。本文采用Weiwei Guo和Mona Diab[6-7]提出的方法，對句子中出現(xiàn)的單詞和未在句子中出現(xiàn)的單詞構造句子的完整語義模型。給定一個語料庫(WordNet,Wiktionary,布朗語料庫)，構造詞-句子共現(xiàn)矩陣X，其中Xij表示第i個單詞wi在第j個句子sj中的TF-IDF值,如果Xij=0則表明該詞沒有出現(xiàn)在該句中。對詞-句子共現(xiàn)矩陣進行加權矩陣分解[WMF]，將X分解成兩個矩陣X≈PTQ，其中P是K×M矩陣，Q是K×N矩陣。P·,i和Q·,j分別近似表示單詞wi和句子sj語義關聯(lián)性，我們可以通過計算Q·,j和Q·,j′的余弦相似度來得到兩個句子sj和sj′的相似度。矩陣分解如圖1所示。

圖1 矩陣分解

P和Q中的向量最終優(yōu)化結果會使式(1)所示的目標函數(shù)達到最小值

(1)

式中λ是正則化項的權重系數(shù)，W是權重矩陣，用來指明X矩陣中每個元素的權重大小。權重矩陣的設定方法如式(2)所示。

(2)

對于出現(xiàn)在句子中的詞，設定權重為1，而未出現(xiàn)在句子中的詞將權重設定為小于1的正數(shù)wm(本文將wm設定為0.01)。

3 分析框架

我們將文本蘊涵識別看成分類問題，即將結果分類成蘊涵和不蘊涵。將本文構建的系統(tǒng)由數(shù)據(jù)預處理、特征提取和SVM分類器三個主要模塊組成[8-10],具體的分析框架如圖2所示。

圖2 分析框架示意圖

3.1 隱含語義特征

通過上節(jié)訓練的短文本隱含語義模型，我們可以計算出T和H兩句子之間的相似度特征，把該特征稱為短文本隱含語義特征。

3.2 字符串特征

(1) 詞匯重疊度: 假定T和H中出現(xiàn)的相同詞匯越多，T和H的相似度越高，它們表示相同或相近含義的概率就越大。因此，可以使用詞匯重疊度表示T和H包含相同詞匯的程度，如式(3)所示。

(3)

Words(T)表示文本T中包含的詞匯集合。

(2) N元語法重疊度: 假設在T和H中n-gram相同個數(shù)越多，則T和H越相似。本系統(tǒng)分別使用了二元語法重疊特征和三元語法重疊特征。該特征的計算如式(4)所示。

(4)

(3) 余弦相似度: 兩個文本向量的余弦相似度越高，則這兩個文本之間存在蘊涵關系的概率就越大。該特征構建每對T和H的詞匯向量，并計算這對向量的余弦相似度。

(4) 匹配率: 該特征與詞匯重疊度不同，它只求T和H中相同單詞的數(shù)量，即|Words(T)∩Words(H)|。

(5) 長度比: 該特征考慮T和H長度的比值，公式如式(5)所示。

(5)

(6) 長度差: 如果T蘊涵H，那么T和H之間的長度應該相似或者T中包含的信息量比H略多，最直觀的反映就是如果T和H長度之差越小，則表明T和H之間越相似，因此，使用T和H的長度差從表面上度量兩者的差異，我們對長度差求倒數(shù)，則特征值越大，表明T和H越接近，當T和H長度相同時，我們將特征值設為2。長度差的計算如式(6)所示。

(6)

(7) Dice系數(shù): Dice系數(shù)用來表示T和H的相似程度，計算公式如式(7)所示。

(7)

(8) 最長公共子串相似度: 兩文本存在的最長公共子串越大，它們之間存在蘊涵關系的可能性就越大，文本對最長公共子串相似度的計算公式如式(8)所示。

(8)

(9) Levenshtein距離: 即編輯距離，表示從一個字符串轉成另一個字符串所需的最少的編輯操作次數(shù)，編輯操作包括將一個字符替換成另一個字符，插入一個字符，刪除一個字符。這里我們對Levenshtein距離取倒數(shù)，這樣值越大，則字符串越接近。

(10) Euclidean距離: 該特征的計算公式如式(8)所示。其中xi,yi分別對應T和H，我們對得到的Euclidean距離取倒數(shù)，則特征值越大，句子越相似。

(9)

(11) Manhattan距離: 該特征的計算公式如式(10)所示，其中xi,yi分別對應T和H，我們對得到的Manhattan距離取倒數(shù)，則特征值越大，句子越相似。

(10)

(12) Chebyshev 距離: 該特征得到的是兩個字符串向量之間各個維度數(shù)值差的最大值，計算公式如式(11)所示。

(11)

(13) Jaro-Winkler距離: Jaro-Winkler值越大，表明兩字符串相似度越高。Jaro-Winkler尤其適合短字符串相似度的度量。計算公式如式(12)所示。

(12)

其中m是文本T和H匹配文本串的個數(shù)，這里“匹配”的含義是同一個文本串在指定的LJW長度范圍內(nèi)同時出現(xiàn)在文本T和H中。

(14) 最小子串相似度: 該特征分別計算T中子串和H的Jaro-Winkler距離，并取最小值。

(15) 最大子串相似度: 該特征分別計算T中子串和H的Jaro-Winkler距離，并取最大值。

(16) 否定詞特征: 文本T和H中出現(xiàn)的否定詞數(shù)量一定程度上可以判斷T和H中是否蘊涵，添加記錄T和H中否定詞個數(shù)是否一致的特征。計算文本中否定詞個數(shù)公式如式(13)所示。

(13)

n1和n2分別表示T和H中否定詞的數(shù)量。如果n1對2求余的結果與n2對2求余的結果相同，則fneg的值為0，否則為1。

3.3 句法特征

系統(tǒng)包含兩個句法特征，這些特征用來計算每對T和H之間依存結構的相似性。

(1) 未標記的子樹重疊度: 該特征計算文本T和假設H中存在相同子樹的比率。通過句法依存分析工具得到子樹中父節(jié)點和子節(jié)點以及兩個節(jié)點之間的關系表示。圖3顯示了一個例句“She bought a book”中存在的子樹。如果文本T和假設H對應子樹中父節(jié)點和子節(jié)點相同，則認為兩個子樹相同。計算公式如式(14)所示。

(14)

圖3 “She bought a book”句子中存在的子樹， 箭頭代表依存關系方向

(2) 帶標記的子樹重疊度: 與未標記的子樹重疊度類似，該特征也計算文本T和假設H中存在相同子樹的比率，不同的是，未標記的子樹重疊度沒有考慮父子節(jié)點中關系是否相等，而帶標記的子樹重疊度不僅考慮父子節(jié)點是否相等，還要考慮兩節(jié)點中的關系是否相等。

4 實驗結果

4.1 任務介紹

實驗選取RTE-8測評任務進行測試[11-12]，RTE-8測評針對教育NLP領域中的學生答案進行分析，該測評分為主任務和試點任務，我們只參加主任務的測評。測評的主任務分為五分類(5-way task)，三分類(3-way task)和二分類(2-way task)三個子任務。每個子任務數(shù)據(jù)集中，給出了一個問題Q(Question)，和該問題的標準答案RA(Reference Answer)以及學生答案A(Answer)。把問題Q和學生答案A當作T(Text)，把問題的標準答案當做H(Hypothesis)，然后對該T-H對進行蘊涵判斷。每個子任務判斷標準如表1所示。

表1 任務判斷標準

續(xù)表

使用的數(shù)據(jù)集分兩部分: 一是Beetle數(shù)據(jù)集，該數(shù)據(jù)集是從BEETLE II教育輔導系統(tǒng)中獲取的標注語料，數(shù)據(jù)集包括高中電學知識；二是Science Entailments語料庫(SciEntsBank)，該語料庫中包含了16個不同科學領域的知識，如物理學、生命科學等。例1來自SciEntsBank語料庫中的5way訓練集，其中A1標記為Correct，A2標記為Partially_correct_incomplete，A3標記為Contradictory，A4標記為Irrelevant。

例1:

Q: Georgia found one brown mineral and one black mineral. How will she know which one is harder?

RA: The harder mineral will leave a scratch on the less hard mineral. If the black mineral is harder,the brown mineral will have a scratch.

A1: The one with scratches or deeper scratches is weaker and the other rock is harder.

A2: Scratch test.

A3: Whichever one that has more scratches.

A4: The one that does not break.

任務中提供三個測試集，第一個測試集被稱為Unseen answers(UA)測試集，在該測試集中，提供的問題和標準答案與訓練集相同，但學生答案不同；第二個測試集被稱為Unseen questions(UQ)測試集，該測試集中問題、標準答案以及學生答案均與訓練集不同，但和訓練集處于同一領域范圍；第三個測試集被稱為Unseen domains (UD),該測試集僅在SciEntsBank數(shù)據(jù)集中出現(xiàn)，測試集隨機選取三個與訓練集不同的領域，從選取的領域中獲得問題、標準答案和學生答案。Beetle語料庫中訓練集、Unseen answers(UA)測試集、Unseen questions(UQ)測試集分別有3941對、439對、819對文本，SciEntsBank語料庫中訓練集、Unseen answers(UA)測試集、Unseen questions(UQ)測試集、Unseen domains(UD)測試集分別有4969對、540對、733對、4562對文本。

本文使用支持向量機解決文本蘊涵識別問題，由于SVM的提出是為了解決二分類問題，因此可以直接用于RTE-8任務的二分類子任務。而對于RTE-8任務三分類和五分類子任務而言，解決辦法是將一個多分類問題分解成若干個二分類問題，從而可以使用多個二分類器模擬實現(xiàn)多分類器。本文選用“一對一”方法來完成多分類。對于RTE-8三分類子任務的三類關系，需要對三類關系兩兩組合，從而需要訓練三個二分類器，同理，五分類子任務需要訓練十個二分類器。測試時，將測試數(shù)據(jù)對每個二分類器進行預測，分別得到一個類別，找出投票數(shù)最多的類別作為最終的分類結果。

本文蘊涵識別系統(tǒng)使用LIBSVM*http: //www.csie.ntu.edu.tw/～cjlin/libsvm/。核函數(shù)使用徑向基函數(shù),懲罰因子C和核函數(shù)因子γ通過網(wǎng)格搜索訓練得到，并使用LIBSVM默認的五折交叉

驗證優(yōu)化參數(shù)。

4.2 實驗結果分析

實驗首先僅使用字符串特征與句法特征作為分類特征在RTE-8任務中進行測試，然后加入隱含語義特征再次測試，得到的實驗結果如表2所示。表中WHU表示未加入隱含語義特征實驗結果，WHU-ls表示加入隱含語義特征實驗結果。實驗過程中，由于多種特征并不在同一取值范圍之間，我們在用分類器分類之前，將訓練集和測試集中得到的所有特征歸一到-1到1之間。

表2中可以看出，加入隱含語義特征后二分類、三分類、五分類子任務總正確率分別比原系統(tǒng)總正確率提高2.6%、2.5%、6.8%。

表3分別列出了二分類(2-way task)、三分類(3-way task)、五分類(5-way task)子任務中結果最好的三支隊伍成績以及本文實驗結果，同時，表3中列出了基準測試(baseline)和所有成績的均值。實驗結果中每組最好成績用黑體標出。

表2 加入隱含語義特征前后正確率對比

表3 二分類、三分類、五分類子任務正確率

續(xù)表

從表3可以看出，本文實驗所得到正確率在二分類和五分類子任務中均高于排名第一的比賽隊伍，三分類子任務中等于排名第二的比賽隊伍，正確率高于平均值和基準系統(tǒng)(baseline)。特別地，在二分類子任務的beetle數(shù)據(jù)集對應的Unseen Questions(UQ)測試集和五分類子任務SciEntsBank數(shù)據(jù)集對應的Unseen Domains(UD)測試集中WHU-ls系統(tǒng)正確率分別為0.774和0.528，高于排名第一的隊伍結果。

我們根據(jù)該任務的中T和H的特點，分析第二部分提到的一些字符串特征和句法特征對模型性能的影響。

實驗中發(fā)現(xiàn)，測試集中部分學生給出的答案長度非常短，僅僅是1到4個單詞，如例2所示。

例2:

Q: Explain why you got a voltage reading of 1.5 for terminal 1 and the positive terminal.

RA: Terminal 1 and the positive terminal are separated by the gap.

A1: no

A2: I do not understand

A3: positive charge

例2中，所有答案在二分類任務中都判定為incorrect。所以我們可以通過使用長度差和長度比特征，直觀地通過T和H的長度關系判斷是否蘊涵。添加長度比和長度差特征前后的實驗結果如表4所示，表中WHU-n表示未添加長度比和長度差特征實驗結果。

表4 添加長度差和長度比特征前后系統(tǒng)比較

從表4中看出，加入了長度比和長度差特征后，三組子任務正確率都比未添加長度比和長度差特征的系統(tǒng)有所提高，這說明添加長度比和長度差特征對蘊涵識別模型起到了積極效果。

實驗中我們還發(fā)現(xiàn)，測試集中部分學生答案之間大部分單詞相同，僅僅多出一個否定詞，導致答案意思相反，如例3所示。

例3:

Q: Explain why you got a voltage reading of 1.5 for terminal 1 and the positive terminal.

RA: Terminal 1 and the positive terminal are separated by the gap.

A1: because there was no separation in the positive battery terminal and terminal 1.

A2: because there was no gap in the positive battery terminal and terminal 1.

A3: because there is a gap between the positive battery terminal and terminal 1.

A4: Because there was a gap between the positive battery terminal and terminal 1.

例3中，A1和A2僅僅比A3和A4多一個否定詞no，導致A1和A2為incorrect而A3和A4為correct。使用相似度的方法判斷這種類型學生答案較困難，所以有必要添加否定詞特征。添加否定詞特征與未添加否定詞特征的實驗結果如表5所示，表中WHU-n表示未添加否定詞特征實驗結果。

表5 添加否定詞特征前后系統(tǒng)比較

從表5中看出，加入否定特征后，除了五分類子任務正確率持平，其他兩組子任務的正確率都比未添加否定特征WHU系統(tǒng)有所提高，說明添加了否定特征后對實驗結果有提高。

我們除了分析長度差、長度比特征和否定詞特征，還對前文提出的所有特征進行分析。我們在二分類子任務中依次將每個特征去掉，并觀察每次實驗結果，表6顯示依次去掉一個特征對實驗結果的影響。

表6 二分類中依次去掉每個特征后結果比較

續(xù)表

從表6可以看出，在二分類子任務中，匹配率特征、Jaro-Winkler距離在Beetle測試集中效果好于其他特征，二元語法重疊度特征在SciEntsBank測試集中效果好于其他特征。有些特征雖然在一個測試集中被去掉之后正確率反而有所上升，但在另一個測試集中起到積極的效果。

5 結束語

以RTE-8任務為背景，本文設計并實現(xiàn)了基于學生問答的文本蘊涵系統(tǒng)。系統(tǒng)基于支持向量機構建分類器，以短文本隱含空間語義特征、字符串特征和句法特征生成特征文件，對文本蘊涵識別進行處理。實驗所得到正確率在二分類和五分類子任務中均高于排名第一的比賽隊伍，三分類子任務中等于排名第二的比賽隊伍，正確率高于平均值和基準系統(tǒng)(baseline)。這表明，利用短文本隱含空間語義特征的方法對短文本進行文本蘊涵識別是可行的。

對實驗結果進一步分析發(fā)現(xiàn)，本系統(tǒng)在識別三分類中矛盾(contradictory)、五分類中矛盾(contradictory)和不切題(irrelevant)的準確率和召回率較低，有較大的提升空間，同時我們發(fā)現(xiàn)RTE-8任務中部分學生答案會使用代詞指代問題中出現(xiàn)過的詞語，使用指代消解將答案中的代詞進行消解可能會提高文本蘊涵的識別率，未來研究將對這些方面進行改進。

[1] 袁毓林,王明華. 文本蘊含的推理模型與識別模型[J].中文信息學報，2010,24(2): 3-13.

[2] Dagan I,Dolan B,Magnini B,et al. Recognizing textual entailment: Rational,evaluation and approaches-erratum[J]. Natural Language Engineering,2010,16(1): 105.

[3] Zesch T,Levy O,Gurevych I,et al. UKP-BIU: Similarity and Entailment Metrics for Student Response Analysis[J]. Atlanta,Georgia,USA,2013: 285.

[4] Jimenez S,Becerra C,Gelbukh A,et al. SOFTCARDINALITY: Hierarchical Text Overlap for Student Response Analysis[J]. Atlanta,Georgia,USA,2013: 280.

[5] 劉茂福,李妍,姬東鴻. 基于事件語義特征的中文文本蘊含識別[J]. 中文信息學報,2013,27(5): 129-136.

[6] Guo W,Diab M. Modeling sentences in the latent space[C] //Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume 1. Association for Computational Linguistics,2012: 864-872.

[7] Guo W,Diab M. A simple unsupervised latent semantics based approach for sentence similarity[C] //Proceedings of the First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task,and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation. Association for Computational Linguistics,2012: 586-590.

[8] 劉茂福,李妍,顧進廣. 基于統(tǒng)計與詞匯語義特征的中文文本蘊涵識別[J]. 計算機工程與設計,2013,34(5): 1777-1782.

[9] 張鵬,李國臣,李茹,等. 基于 FrameNet 框架關系的文本蘊含識別[J]. 中文信息學報,2012,26(2): 46-50.

[10] Ren H,Lv C,Ji D. The WHUTE System in NTCIR-9 RITE Task[C] //Proceedings of the 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval,Question Answering and Cross-Lingual Information Access.2011: 373-378.

[11] Dzikovska M O,Nielsen R D,Brew C. Towards effective tutorial feedback for explanation questions: A dataset and baselines[C] //Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.2012: 200-210.

[12] Dzikovska M O,Nielsen R D,Brew C,et al. SemEval-2013 task 7: The joint student response analysis and 8th recognizing textual entailment challenge[C] //Proceedings of the Second Joint Conference on Lexical and Computational Semantics (* SEM). Association for Computational Linguistics},2013,2: 263-274.

[13] 石晶,戴國忠. 基于知網(wǎng)的文本推理[J]. 中文信息學報,2006,20(1): 76-84.

[14] 陳波,姬東鴻,呂晨. 基于特征結構的漢語主謂謂語句語義標注研究[J]. 中文信息學報,2012,26(3): 22-26.

[15] 張寧,孔芳,李培峰,等. 基于機器學習方法的英文事件代詞消解研究[J]. 中文信息學報,2013,26(6): 51-58.

Recognizing Textual Entailment Based on Short Text Latent Semantic Feature

ZHANG Han,SHENG Yaqi,LV Chen,JI Donghong

(School of Computer, Wuhan University, Wuhan, Hubei 430072,China)

This paper improves the identification of textual entailment based on short text latent semantic features. The method trains a reliable latent variable model on sentences,and gets the sentence similarity features. The short text latent semantic features,combined with other string features such as word overlap,N-gram overlap,cosine similarity,etc,and lexical semantic features such as unlabeled sub tree overlap,labeled sub tree overlap,are used to identify textual entailment using SVM. We test on RTE-8 task,and the result shows that the latent semantic features are helpful to recognize textual entailment.

textual entailment;latent semantic feature;short text;support vector machine

張晗(1990-)，碩士研究生，主要研究領域為自然語言處理、文本蘊涵。E?mail：zhang＿han@whu．edu．cn盛雅琦(1991-)，碩士研究生，主要研究領域為自然語言處理、文本蘊涵。E?mail：shmilysyq@whu．edu．cn呂晨(1989-)，博士研究生，主要研究領域為自然語言處理、機器學習等。E?mail：lvchen1989@whu．edu．cn

2014-02-23 定稿日期： 2014-05-27

國家自然科學基金(61173062)

1003-0077(2016)03-0163-09

TP391

A