結合學科情感分析與依存關系的相似度評分

付鵬斌，劉 曼，楊惠榮

(北京工業(yè)大學 信息學部，北京 100124)

0 引 言

目前，國內(nèi)外基于深度學習、機器學習的主觀題自動評分方法在技術理論上取得了一些成果。Riordan等基于深度學習模型，結合CNN與LSTM構建神經(jīng)網(wǎng)絡，預測考生得分。Yang等提出了一種基于深度自動編碼器的短答案評分算法，可以在不明確定義目標答案的情況下構建評分模型。雖然這些方法評分效果較好，但需要依靠大量訓練數(shù)據(jù)，在高考等大型考試中，考題為新題，訓練集中無該題對應的教師評分數(shù)據(jù)，難以進行自動評分，具有一定局限性。

丁振國等人利用《知網(wǎng)》中計算義原相似度方法提出詞與詞之間的相似度計算方法，并進一步提出了計算參考答案和考生答案文本相似度的算法。但因為其對文本的處理僅采用分詞技術，不能對詞性以及句法依存做進一步分析，復雜度高且準確度不理想。翟社平等提出了一種多特征融合的句子相似度計算方法，分別對詞性、詞序以及句長等特征進行提取并融合，以計算句子的相似度，但該方法對于本體庫中未涉及的內(nèi)容，計算精確度不高，且對于主觀性強的文本語義分析不準確。

Joshi和Penstein-Rose把依存廣泛關系和相關衍生特征應用到分類過程中。通過依存句法分析得到三元組，得到如RELATION_HEAD_MODIFIER形式的特征，這個特征針對性太強，只能用在固定領域。Yessenalina等使用基于情感詞典的自動方法來標注情感信息。他們用基于結構化SVM(Yu and Joachims)的兩級聯(lián)合分類模型，其對于由較少情感詞匯組成的句子來說，情感傾向分析并不準確。以上方法對于語文古詩文閱讀類字數(shù)較多且具有較強主觀性的答案來說，評分效果并不理想。

該文通過構建語文古詩文語料庫、古詩文情感詞庫及學科情感分析模型，使情感傾向分析更加符合學科特點，并使用依存句法分析，明確了詞語在句子中的所屬依存關系，以此實現(xiàn)了結合學科情感分析與依存關系的相似度評分算法，使主觀題的評分更加合理有效，經(jīng)實驗驗證，和教師的實際評分趨勢基本一致。

1 構建學科情感分析模型

學科情感分析模型的構建，分為語料庫、情感詞庫、情感分析模型的建立，以及古詩文的情感預測。

1.1 古詩文語料庫

目前，并沒有構建好的古詩文相關語料庫可以使用，因此該文收集整理了包含初中、高中課本內(nèi)全部古詩詞和文言文，其中包括：先秦時期《詩經(jīng)》、《論語》、《孟子》等；兩漢《史記》等全部原文、譯文；唐宋詩人李白、杜甫、蘇軾等所有原文、譯文、注釋和賞析等，并經(jīng)學科專家審核，生成了古詩文語料，共計81 927條，并將其與中文維基百科語料進行融合，后通過Jieba工具包對語料進行分詞及詞性標注，將預處理后的文本通過古詩文過濾詞表進行過濾標點、停用詞等處理，經(jīng)過檢查、去重后，將其存入古詩文基礎語料，預處理后的古詩文部分語料如圖1所示。

圖1 古詩文部分語料

將古詩文基礎語料，通過文本向量化算法Word2vec中的CBOW(continuous bag-of-word)模型來進行詞向量的訓練，構建了古詩文語料庫，其中詞語對應的向量維度為192維。相比中文維基百科語料庫，其在詞語向量的表達上更加符合學科背景，“郭綸”是宋代詩人蘇軾的詩作，屬于古詩文閱讀題中的專有詞匯，該詞在古詩文語料庫中的向量表達及其相似詞的排序都是符合學科特點，而維基百科語料庫中缺乏“郭綸”一詞，因此將古詩文語料庫作為整個評分算法中的底層數(shù)據(jù)支持是可靠的。

1.2 古詩文情感詞庫的建立

Word2vec訓練的詞向量模型，只是提供兩個詞語之間空間位置上的相關性，對于語義相似度的計算并不準確，例如“喜歡”，通過模型的wv.most_similar方法找出與其相似度最高的十個詞，其中相似度最高的詞語是“討厭”，顯然這兩個詞語義相反。在古詩文閱讀題的評分過程中，語義相反的詞語是不能進行得分操作的，所以僅僅通過詞向量模型進行相似度計算是不準確的，因此該文將古詩文語料中帶有情感傾向的詞語進行收集和整理，并結合《哈工大同義詞詞林擴展版》進行情感詞庫的構建。

為了使古詩文情感詞庫的構建更加合理，方便后續(xù)詞庫的擴充與維護，該文在構建情感詞庫時制定了入庫規(guī)則，詞庫按照樹狀的層次結構將所有詞語組織起來，將其進行了四個層次的劃分。情感詞入庫如下：

規(guī)則1：第一層代表學科類型，為最大類，用兩個英文字母表示，該文以語文古詩文閱讀題為研究對象，最大類命名為“Sg”(詩歌拼音首字母縮寫)；

規(guī)則2：第二層代表是否為學科專有名詞，用兩位數(shù)字表示，如“喜愛”為通用情感詞匯，其第一層用“Sg”表示，第二層用“01”表示，“愛國熱情”為學科專有名詞，將其第一層用“Sg”表示，第二層用“02”表示，以此類推；

規(guī)則3：第三層用來劃分詞性，用一個大寫字母表示，因表達情感的詞匯不是只有動詞，還有名詞、形容詞等，如：“郁悶”為形容詞，其具有消極的情感表達。將評分中出現(xiàn)的情感詞匯進行整理，并將其詞性代表的英文字母按順序往后順延，并不斷擴充；

規(guī)則4：第四層作為最底層，是用來劃分詞語的情感傾向，以兩位數(shù)字表示，用奇數(shù)表示積極詞匯，用偶數(shù)表示消極詞匯。

情感詞庫構建的具體步驟如下：

(1)預處理后的古詩文語料按照詞性進行分類，詞性為動詞的詞語歸為一類，去掉重復詞語，剩下詞語存入情感詞庫中，每個詞占一行。

(2)將情感詞庫中所有詞語進行情感傾向分析，數(shù)值大于等于0.6的認定該詞為積極詞語，相反為消極詞語，并將其基于上文介紹的情感詞入庫規(guī)則，進行重新定義和排序。

(3)根據(jù)《哈工大同義詞詞林擴展版》的層次結構，將詞林中每一行所有同義詞存入同義詞列表中，并在列表中查找與詞庫中相同的詞，將其相同詞語的全部同義詞存入情感詞庫中相對應詞語的后面，詞語之間以空格分開。

(4)將詞林中每一行的所有反義詞語存入反義詞列表中，并在列表中查找與詞庫中相同的詞，對情感詞庫進行檢驗和補充。

(5)通過人工檢驗，對情感詞庫中有歧義的詞語，不斷補充和調(diào)整，逐步完善情感詞庫。

1.3 構建學科情感分析模型

通過對古詩文主觀題及教師評分方法的研究發(fā)現(xiàn)，盡管教師評分的主要標準是考生答案中對應的得分點，但語句的通順性、情感表達的一致性也是重要的評判依據(jù)。因此，對答案中包含的情感傾向進行分析是不可或缺的。

SnowNlp情感分析模型常用于購物類評價，其語料庫中相關學科詞條較少，如“這首詩表達了詩人報國無門的憤恨”，表達的是消極情感，但SnowNlp情感分析模型得出該句表達的情感是積極的。因此，將其用于古詩文閱讀題的情感分析是不恰當?shù)?。該文以SnowNlp的情感分析模型為基礎，設計并構建了學科情感分析模型，用于對古詩文閱讀題答案的情感分析與評價，模型結構如圖2所示。

圖2 情感分析模型

從圖2可以看出，整個構建過程主要分為三個模塊，分別為：數(shù)據(jù)模塊、預處理模塊和訓練模塊。

數(shù)據(jù)模塊：該文收集了陜西省某重點高中近五年全部考試中的古詩文類閱讀題，整理了學生答案與教師評分，將其融入古詩文語料，生成帶標注的基礎數(shù)據(jù)。根據(jù)學生分數(shù)分布規(guī)律，基于分數(shù)來判定情感分類。判定時以標準答案中的情感詞語為基準，高分代表情感更趨向于標準答案情感，低分代表情感與其差別較大，以此確定判決分數(shù)，將標注數(shù)據(jù)集中的學生答案按照判決分數(shù)分別存為積極數(shù)據(jù)集train.positive.txt和消極數(shù)據(jù)集train.negative.txt，并將其作為模型訓練的初始語料。

預處理模塊：構建模型初期，使用SnowNlp中的分詞和詞性標注模塊，經(jīng)過實驗對比，發(fā)現(xiàn)通過Jieba工具包對古詩文學生答案進行分詞和詞性標注更加合適，因此在SnowNlp模型中引入Jieba工具包，將其分詞和詞性標注方式進行更改。

訓練模塊：將SnowNlp情感分析模型的積極數(shù)據(jù)集與消極數(shù)據(jù)集分別替換為train.positive.txt和train.negative.txt，作為其模塊中的樸素貝葉斯算法的訓練數(shù)據(jù)。訓練過程中，運用網(wǎng)格搜索法，用于搜索滿足最高準確率時對應參數(shù)值的大小，進行超參數(shù)的調(diào)整，將以SnowNlp進行分詞和詞性標注的訓練模型保存為GswSen.marshal，以Jieba進行預處理的訓練模型保存為GswJieSen.marshal。修改sentiment中的模型路徑，將新模型進行替換，模型構建完成。

不同模型的情感分析數(shù)值對比如表1所示。可以看出學科情感分析模型對學生答案的情感分析是更準確的(數(shù)值在0～1之間，數(shù)值越高表示越積極，數(shù)值越低表示越消極)。

表1 不同模型的情感分析數(shù)值對比

2 結合學科情感分析與依存關系的相似度評分算法

情感與依存關系在古詩文主觀題的評分中至關重要，而學生答案與標準答案中的關鍵詞相似度也對評分結果影響較大，因此，該文基于多個維度對古詩文主觀題進行相似度綜合評分。

2.1 基于詞性的關鍵詞相似度計算

在古詩文主觀題評分過程中，如何在考生答案中獲取得分點十分重要，得分點其實就意味著答案中的得分關鍵詞，且考生答案中的關鍵詞與標準答案中的關鍵詞是否完全一樣，相似度是多少，也是教師評分過程中一個重要的評判標準。因此，該文提出了基于關鍵詞提取的詞向量相似度計算方法。

2.1.1 關鍵詞提取

傳統(tǒng)意義上的關鍵詞提取方法主要有TF-IDF、TextRank、LDA等。通常是通過詞頻或是提取文檔中的主題來進行，但是學生答案屬于短文本，且用詞比較單一和平均，用已有關鍵詞提取算法顯然是不能滿足需求的。因此該文根據(jù)學科特征，將學生答案和標準答案進行拆分，拆分后的詞語，如“表達”、“體現(xiàn)”等不是得分點，且會對評分造成影響的詞語，將其通過古詩文過濾詞表進行過濾，并按照詞性進行關鍵詞的提取。具體算法(WordClass)如下：

算法1：WordClass算法。

輸入：學生答案文本A和標準答案文本A

輸出：序列Nord和Nord

Step1 初始化：古詩文過濾詞表gswfil，古詩文語料庫gswmodel；

Step2 基于Jieba將A和A進行分詞和詞性標注，得到序列Ord(

w

,

f

)={(

w

,

f

), (

w

,

f

),…,(

w

1,

f

1)}和Ord(

w

,

f

)={(

w

,

f

),(

w

,

f

),…,(

w

2,

f

2)}，其中Ord和Ord分別表示A和A預處理后的序列，

w

表示詞語，

f

表示詞語

w

對應的詞性；

Step3 遍歷Ord和Ord，分別在gswfil中進行查找，若有相同詞語，則將該詞語及其詞性在對應序列中刪除，直到遍歷結束；

Step4 將Ord和Ord中詞性為“v”(動詞),“n”(名詞),“a”(形容詞)和“i”(成語)開頭的詞語通過正則表達式查找，并將其提取出來,得到新序列Nord={

w

,

w

,…,

w

1}， Nord={

w

,

w

,…,

w

2}。

2.1.2 關鍵詞詞向量的相似度計算

該文基于古詩文語料庫將提取的關鍵詞表示為詞向量，其每一維的值代表一個具有一定的語義和語法上解釋的特征，并將其通過相加求和再平均得出句向量，利用Tanimoto系數(shù)得出兩個句向量之間的相似度，具體算法(VecMate)如下：

算法2：VecMate算法。

輸入：學生答案文本A和標準答案文本A

輸出：句子相似度Sim(A,A)

Step1 初始化：古詩文語料庫gswmodel；

Step2 將A和A通過WordClass算法，得到序列Nord={

w

,

w

,…,

w

1}和Nord={

w

,

w

,…,

w

2}；Step3 將Nord和Nord進行遍歷，查詢詞語是否在gswmodel中，若不存在，則將該詞語在對應序列中刪除，將對應序列的長度減1，得到處理后的Nord及其長度

L

和處理后的Nord及其長度

L

，若

L

、

L

其中一個為零或兩個都為零，則相似度Sim=0，輸出Sim，否則到Step4；Step4 通過gswmodel將Nord和Nord中的詞語表示為詞向量，通過式1分別計算，其中(192維)表示序列中第

i

個詞語的詞向量，得出句向量和；

(1)

Step5 根據(jù)Tanimoto系數(shù)算法，通過式2計算和的相似度Sim(,)。Sim(,)=

(2)

2.2 基于學科情感分析模型的相似度計算

計算機語言學中，情感分析指判定文本所持有情感(或觀點、態(tài)度)的極性和強度的過程。該文通過對學生答案和標準答案的情感傾向分析，結合古詩文情感詞庫與學科情感分析模型分別計算兩個文本對應的積極情感數(shù)值，實現(xiàn)相似度評分計算，具體算法(ActSen)如下：

算法3：ActSen算法。

輸入：學生答案文本A和標準答案文本A

輸出：句子情感相似度Sensim(A,A)

Step1 初始化：古詩文情感詞庫gswsen，學科情感分析模型GswJieSen；

Step2 通過WordClass算法，得到序列Nord和Nord；

Step3 對Nord和Nord進行遍歷，分別查詢詞語是否在gswsen中，若存在，將gswsen中含有該詞的序列作為列表Yseq中的元素提取出來；若不存在，則將該詞語分別存入Nseq和Nseq；得到對應序列長度Lg和Lg，若Yseq的長度大于零，轉Step4，否則，轉Step5；

Step4 遍歷Yseq，獲取Yseq中每個序列中下標1對應的元素Num,若Num對2取余不等于零，則將其對應的數(shù)量Jsum(初始值為零)加1；

Step5 遍歷Nseq和Nseq中的所有詞語，查詢GswJieSen中是否存在該詞語，若存在，則將其通過GswJieSen進行情感分析，若其情感數(shù)值大于并等于0.6，則將Jsum加一，若不存在，則將其情感分析數(shù)值記為0.5(默認中性詞匯)，Xsum(初始值為零)加1；

Step6 通過式3計算兩個句子的積極情感分析數(shù)值(情感相似度)Sensim(Nord,Nord);

Sensim(Nord,Nord)=

(3)

2.3 基于依存關系的相似度計算

在學生作答過程中，有時會出現(xiàn)對應于相同的賓語，謂語動詞的情感完全相反的情況，若不考慮詞語的順序，很有可能會造成誤判。如“詩人熱愛國家，對賊寇的痛恨”為得分答案，學生作答為“詩人痛恨國家，對賊寇的熱愛”，若不考慮詞語在句子中的結構信息，兩個句子會得到相同的分數(shù)，顯然不合理，因此，需要對重點詞語進行所屬關系定位。依存句法分析的主要任務是識別出句子所包含的句法成分以及這些成分之間的關系。該文采用StanfordCoreNLP的依存句法分析進行相似度的計算，先將句子的主謂、動賓關系找到，并將其通過主語和賓語進行定位，以此來確定謂語詞的情感傾向，實現(xiàn)相似度計算，具體算法(WordLoc)如下：

算法4：WordLoc算法。

輸入：學生答案文本A和標準答案文本A

輸出：基于依存關系的句子相似度Depsim(A,A)。

Step1 初始化：古詩文語料庫gswmodel，學科情感分析模型GswJieSen，StanfordCoreNLP依存句法分析模型Sparse；

Step2 將答案文本基于正則表達式進行分句，得到序列Sord={ss,ss,…,ss}和Sord={cs,cs,…,cs}，其中ss表示學生答案中拆分的句子，cs表示標準答案中拆分的句子；

Step3 遍歷Sord和Sord，將ss和cs分別通過Sparse進行依存句法分析，將其對應的句子結構表示Mord(s,v,o)={(s,v,o),(s,v,o),…,(s1,v1,o1)}和Mord(s,v,o)={(s,v,o),(s,v,o),…,(s,v, o)},其中s,v,o分別表示句子的主語、謂語和賓語，若句子結構不完整，則將該詞語用占位符x代替；

Step4 遍歷Mord(s,v,o)，查找Mord(s,v,o)中與o1相同的詞語，并將其對應的謂語進行提取，若Mord中無相同詞語，則將o1和o2通過gswmodel進行相似度對比，若相似度大于0.8則將o1和o2對應的謂語進行提取，若不滿足條件，則視為學生未作答該得分點；

Step5 得到序列Vord(v)={(vi,vi),(vi,vi),…,(v1,v2)}，其中vi表示所提取的謂語；

Step6 遍歷Vord(v)，得到其長度Lv，通過模型GswJieSen將vi1和vi2進行情感分析，兩個詞語數(shù)值相減的絕對值小于等于0.15，則認為其情感表達一致，將Vsum(初始值為零)加1；

Step7 通過式4計算兩個句子的相似度Depsim(AA)；

(4)

2.4 結合學科情感分析與依存關系的相似度評分算法

該文通過關鍵詞詞向量相似度、學科情感分析模型的相似度以及依存句法分析的相似度，多個維度計算學生答案與標準答案文本之間的加權語義相似度。并將構建的古詩文語料庫、古詩文情感詞庫和學科情感分析模型，用于相似度綜合評分算法，符合語文學科背景，具體算法如下：

算法5：結合學科情感模型與依存關系相似度評分算法。

輸入：學生答案文本A和標準答案文本A

輸出：學生得分Stugrade

Step1 初始化：古詩文語料庫gswmodel，古詩文情感詞庫gswsen，學科情感分析模型gswsenmod，依存句法分析模型Sparse；

Step2 將A和A通過WordClass算法，得到序列Nord(

w

,

f

)={(

w

,

f

), (

w

,

f

),…,(

w

1,

f

1)和Nord(

w

,

f

)={(

w

,

f

),(

w

,

f

),…,(

w

2,

f

2)} ，通過VecMate算法得到Vecsim(A,A)；Step3 將序列Nord和Nord中詞性以“n”和“v”開頭的詞語通過正則表達式提取出來，分別存入Nseq(n)={n1,n2,…,n}和Vseq(v)={v,v,…,v}，(其中

i

取值為1，2，

i

=1代表學生答案序列，

i

=2代表標準答案序列)，Nseq(n)為名詞序列，Vseq(v)為動詞序列；

Step4 通過ActSen算法，將Nseq(n)進行情感分析模型的相似度計算，得到Nsensim(A,A)，將Vseq(v)進行情感分析模型的相似度計算，得到Vsensim(A,A)；

Step5 將答案文本A和A代入，通過WordLoc算法，得到相似度Depsim(A,A)；

Step6 通過式5進行加權得到考生答案相似度Stusim(A,A)

(5)

Step7 通過式6得到考生答案分數(shù)Stugrade(A,A)，其中total表示該題總分數(shù)。

Stugrade(A,A)=total×Stusim(A,A)

(6)

3 實驗對比與分析

由于目前國內(nèi)沒有用于主觀題自動評分的數(shù)據(jù)集，因此，該文采集了陜西省某高中1 348名考生的真實考試數(shù)據(jù)，其中包括2019屆高三年級第二學期語文期末考試和高二年級第二學期的語文期末考試中的詩歌鑒賞題和古文翻譯題，其考試形式與高考相同，需要考生將答案寫在答題卡上，由教師通過網(wǎng)上閱卷進行評分。基于以上考試共采集學生答案和教師得分，共1 348條作為實驗數(shù)據(jù)，并進行人工整理，構建實驗測試數(shù)據(jù)集，驗證基于學科情感分析與依存關系的相似度評分算法的可靠性。

第一組實驗：將Word2vec相似度算法、BERT相似度算法、基于BERT與GswJieSen的評分算法與該評分算法進行實驗對比，如圖3所示。

圖3 不同相似度評分算法之間的實驗對比

其中，BERT是Google于2018年發(fā)布的基于雙向Transformer結構的語言預訓練模型。從圖3可以看出，基于BERT與GswJieSen的評分算法與該評分算法趨勢相同，評分差值為零所對應的答案數(shù)量是最多的。在不加入情感模型的相似度算法中，Word2vec相似度算法、BERT相似度算法在相似度評分中與教師分差主要集中在2～3分數(shù)段內(nèi)，評分效果較差。對應于不同的文本向量化算法，結合學科情感分析模型都對評分準確率有很大的提升。因此，在古詩文主觀題評分算法中引入學科情感分析模型是合理且高效的。

第二組實驗：該文將SnowNlp情感分析模型、HanLp自然語言處理情感分析模型與該文構建的學科情感分析模型GswJieSen進行評分相似度算法實現(xiàn)，比較它們在評分上的效果。

從表2可以看出，SnowNlp評分算法的準確率相對較低；HanLp的評分準確率與其相差不大；該評分算法在三個模型中三項指標均為最高，將分差在3分即以上的評分結果看作評分失誤，不予比較。

表2 不同評分模型的準確率對比 %

從圖4可以形象地看出，每個模型對應的差值與個數(shù)大體上呈現(xiàn)正態(tài)分布。該評分算法對應的分差為0的個數(shù)最多，趨勢較其他模型更為陡峭，±1，±2，…答案數(shù)量依次遞減，評分差距在2分及以內(nèi)的準確率為93.02%，可以看到該評分算法更接近教師的評分。

圖4 不同評分模型之間的分差-人數(shù)分布圖

在1 348條測試數(shù)據(jù)集中隨機抽取330個學生答案，從圖5可以看出，大部分分數(shù)集中在3～5這個分數(shù)段內(nèi)，該算法的評分與教師評分高低趨勢相同，且分差不大。從圖6可以更為清晰地看出，該評分算法與教師評分準確率大體分布在85%，結合表2可以看出評分一致的準確率達到51.03%，差一分的準確率達到80.10%，差兩分的準確率達到93.02%等。通過式7計算平均評分準確率。

(7)

圖5 教師評分與該相似度評分算法評分對比

圖6 教師評分與該相似度算法評分準確率

其中，

w

表示評分準確率，

n

表示實驗數(shù)據(jù)集中的數(shù)據(jù)總量，

m

表示試題滿分，

t

表示教師評分，

s

表示該算法的評分。可以得出該算法在當前實驗測試集中的平均準確率為89.42%，實驗證明，基于學科情感分析模型與依存關系的相似度評分算法是有效且準確的。

4 結束語

根據(jù)語文古詩文閱讀題的特征，實現(xiàn)了一種基于學科情感分析模型與依存關系的相似度評分算法，將其通過考生考試中真實的答題數(shù)據(jù)進行實驗驗證，實驗結果表明，該算法與教師評分趨勢基本一致，準確率較高。但是，學科之間存在一定的差異性，同一學科的不同題型也存在差異性，提出的算法在不同學科題型的評分準確率上并不高，因此，還需根據(jù)不同的學科題型特征對算法進行調(diào)整，以此實現(xiàn)適用于不同學科題型的相似度評分算法。