人工智能技術(shù)在中考評卷中的應(yīng)用

余永玲 楊宏生 黃 濤 范 鵬

（天津市教育招生考試院，天津 300060）

一、傳統(tǒng)網(wǎng)上評卷的問題

試卷評閱是對考試成績的評判與核定，是招生工作中的重要環(huán)節(jié)。天津市教育招生考試院（下簡稱“天津考試院”）組織中考實行網(wǎng)上閱卷已有十幾年，積累了豐富經(jīng)驗的同時，也顯現(xiàn)了一些問題。

1.工作組織流程長

目前天津市中考考生近8萬，文化考試科目有語文、數(shù)學(xué)、外語、物理、化學(xué)。評卷量可謂龐大。由于中考評卷采用教師人工多評、專家確定合理閾值參數(shù)進(jìn)行復(fù)審的模式進(jìn)行，使得中考評卷工作的工作量巨大，動用教師及工作人員眾多、評卷工作組織流程較長。

2.評卷教師的趨同心理

長時間大量的中考評卷工作，雙評教師之間容易產(chǎn)生為了規(guī)避問題卷的產(chǎn)生和復(fù)審量的增加，容易選擇較為安全的評分尺度給出中間分，造成評分傾向缺乏區(qū)分度。

3.評分有一定波動性

主觀性試題，尤其是語言類科目的作文項目評分，容易產(chǎn)生對評分標(biāo)準(zhǔn)和尺度把握的主觀差異性、評卷教師的主觀情緒傾向性、長時持續(xù)閱卷可能帶來的評分波動性等，這些都會給保持評分尺度的一致性增加難度。

隨著大數(shù)據(jù)技術(shù)的長足發(fā)展，為機器深度學(xué)習(xí)、人工智能提供了數(shù)據(jù)保障?；诖髷?shù)據(jù)和智能學(xué)習(xí)的人工智能技術(shù)在國內(nèi)教育考試領(lǐng)域不斷開花結(jié)果，已有不少成功應(yīng)用的案例。人工智能技術(shù)在考試評卷中的作用，尤其對于語言類科目其優(yōu)勢發(fā)揮的十分充分。

為了探討人工智能評卷技術(shù)是否能夠引入天津市中考評卷中進(jìn)行應(yīng)用，引入的具體方式為何，應(yīng)用于哪類具體科目較為適合，社會公眾對人工智能評卷技術(shù)的接受度和信息程度如何等問題，天津市教育招生考試院（下簡稱“天津考試院”）專門成立了“人工智能技術(shù)在中考評卷中的應(yīng)用”課題組，對這一問題展開了專題調(diào)研。

二、人工智能評卷可行性探索

為深入探索人工智能評卷的可行性，課題組通過問卷調(diào)查、電話調(diào)研、走訪座談等多種方式，從命題學(xué)科專家、評卷骨干教師、人工智能技術(shù)專家、區(qū)縣考試機構(gòu)、考點校、生源校等多個層面展開了調(diào)研。

1.問卷調(diào)查情況

課題組就人工智能在考務(wù)中的應(yīng)用等問題，在各區(qū)教育局、考試中心、考點校范圍內(nèi)開展問卷調(diào)研。共發(fā)放問卷150份，回收有效問卷133份。其中主要調(diào)查情況如下。

（1）人工智能評卷技術(shù)取代教師對主觀題評卷的問題

關(guān)于人工智能評卷技術(shù)是否可以取代教師對主觀題評卷的問題，12.50%的受訪者認(rèn)為人工智能評卷技術(shù)可以取代教師對主觀題評卷；63.49%的受訪者認(rèn)為可以部分取代；25.40%的受訪者對此不予認(rèn)同。

圖1 人工智能評卷技術(shù)是否可以取代教師對主觀題評卷調(diào)查

（2）關(guān)于考生和家長對人工智能評卷結(jié)論的可信度調(diào)查

僅有16.67%的受訪者認(rèn)為考生和家長對人工智能評卷的結(jié)論可信任；71.67%的受訪者認(rèn)為不完全信任；11.67%的受訪者則認(rèn)為不信任。

（3）現(xiàn)階段影響人工智能技術(shù)在考務(wù)管理中應(yīng)用的主要因素

受訪者認(rèn)為，對現(xiàn)階段影響人工智能技術(shù)在考務(wù)管理中應(yīng)用的主要因素包括：配套管理措施不到位（26.89%）；考生和家長不理解（25.00%）；技術(shù)不成熟（24.60%）；經(jīng)費投入不足（23.41%）。

圖2 考生和家長對人工智能評卷結(jié)論的可信度調(diào)查

圖3 影響人工智能技術(shù)在考務(wù)管理中應(yīng)用的主要因素

由此可見，對于人工智能技術(shù)可以輔助評卷提高效率與質(zhì)量，教育考試領(lǐng)域的工作者是較為認(rèn)同的，但現(xiàn)階段對于技術(shù)成熟度和社會接受度仍有疑慮。該項技術(shù)在實施層面是可行的，但還需要做大量的宣傳解釋工作，已獲得考生、家長、社會的認(rèn)可與信任。

2.電話調(diào)研情況

課題組分別通過電話調(diào)研的方式致電北京市、江蘇省、安徽省有關(guān)考試機構(gòu)，就三省市目前進(jìn)行人工智能評卷的現(xiàn)狀和優(yōu)缺點進(jìn)行了調(diào)研。經(jīng)調(diào)研，目前三省市對人工智能評卷的應(yīng)用主要在語言類科目和部分科目的主觀性試題，而且基本都是采取人工智能評卷與教師評教同時進(jìn)行，互為補充、相互校驗的方式進(jìn)行。從兄弟省市的經(jīng)驗看，引入人工智能評卷技術(shù)與教師評卷并行，作為輔助和校正將是極為有益的補充。同時，語言類科目主觀性試題的人工智能評卷確實比學(xué)科知識類科目主觀題評卷有優(yōu)勢，學(xué)科知識類科目的主觀題，除了語言流暢性、思想情感等衡量要素外，學(xué)科知識點是評卷的重點，需要相當(dāng)長的時間建立學(xué)科知識資源庫并進(jìn)行機器模擬學(xué)習(xí)才能較好的實現(xiàn)。

3.走訪座談情況

（1）命題專家和評卷骨干教師專題調(diào)研

課題組走訪了有關(guān)中考命題專家和評卷骨干教師，就目前將人工智能評卷引入中報評卷的可行性和引入方式進(jìn)行調(diào)研。各學(xué)科命題專家認(rèn)為人工智能評卷的引入對于監(jiān)控評卷質(zhì)量、確保評卷的科學(xué)性和公正性將起到很好的作用，但現(xiàn)階段人工智能評卷采取脫離教師評卷的獨立運行方式，還不夠成熟，但可以作為輔助與補充，與教師評卷同步運行互相校驗，形成雙軌并行的質(zhì)量監(jiān)控機制。同時，學(xué)科命題專家也認(rèn)為，人工評卷的重點應(yīng)用領(lǐng)域還在于主觀性試題，尤其是語言類科目應(yīng)用效果更為明顯，學(xué)科知識類科目需要以更為全面的學(xué)科知識資源庫作為依托才能取得較好的效果，這需要一定的時間進(jìn)行收集和積累。評卷骨干教師認(rèn)為：目前中考評卷采用的教師雙評復(fù)核機制是有效的，同時人工智能技術(shù)基于大數(shù)據(jù)的語言庫采集對于抄襲卷、雷同卷的篩查確實比教師評卷更有效率。

（2）人工智能評卷技術(shù)專家調(diào)研

課題組還專門走訪了廣東訊飛啟明科技發(fā)展有限公司的有關(guān)人工智能評卷技術(shù)專家，就人工智能評卷技術(shù)的原理和實現(xiàn)方式，目前的發(fā)展?fàn)顩r以及未來的發(fā)展方向進(jìn)行了專題調(diào)研。

人工智能技術(shù)專家認(rèn)為：目前天津市中考采用的人工智能評卷技術(shù)主要是計算機通過學(xué)習(xí)專家打分標(biāo)準(zhǔn)，訓(xùn)練機器可用的評分模型，以統(tǒng)一的評分模型完成對主觀題的智能評分。同時通過對作答內(nèi)容的異常檢測，能夠?qū)ψ鞔饍?nèi)容中存在的“空白題”、“相似卷（作答內(nèi)容與試卷題干相似、與外部范文相似、考生之間相似）”進(jìn)行檢測，一方面可以在評卷前提前篩選出異常卷進(jìn)行批量處理，減輕評卷老師現(xiàn)場評卷的工作量；另一方面可以在評卷過程中作為異常預(yù)警輔助老師評卷，輔助教師提高評卷的準(zhǔn)確性和統(tǒng)一評卷標(biāo)準(zhǔn)，讓評卷結(jié)果更加精確。

（3）考試機構(gòu)調(diào)研

課題組專程到武清區(qū)考試中心針對人工智能評卷進(jìn)行了專題走訪調(diào)研。調(diào)研中，重點就考生和家長對人工智能評卷的信任和接受程度與武清區(qū)考試中心進(jìn)行了座談。武清區(qū)考試中心作為直接接觸考生和家長的一線基層單位，對考生和家長的情況和反應(yīng)有更為直接的了解和較為準(zhǔn)確的估計。他們認(rèn)為，人工智能評卷引入中考評卷是對考生的高度負(fù)責(zé)，是守初心、擔(dān)使命的具體體現(xiàn)，是維護(hù)考試公平、公正的有效手段。但同時，要對考生和家長做好人工智能技術(shù)成熟度的解釋和普及工作，在對外宣傳中要著重強調(diào)人工智能評卷是與教師評卷同時進(jìn)行，是教師評卷的輔助和校正，而不是將評卷工作全部交由機器進(jìn)行，從而打消考生和家長的疑慮，將好事辦好。

4.調(diào)研結(jié)論

通過多手段、多層面的調(diào)研，課題組認(rèn)為人工智能技術(shù)引入中考評卷是完全可行的。通過調(diào)研可以看出，學(xué)科專家、評卷教師、人工智能技術(shù)專家等了解學(xué)科特點、技術(shù)特點和評卷過程的受訪對象，普遍對人工智能評卷引入中考評卷充滿信心，也認(rèn)可其確?？荚嚬?、公正，評卷科學(xué)、準(zhǔn)確的預(yù)期效果。但參與評卷具體技術(shù)性工作較少而接觸考生和家長較多的區(qū)縣考試機構(gòu)，從社會實際接受能力出發(fā)，對此技術(shù)的社會公信力仍抱有疑慮。因此，課題組認(rèn)為應(yīng)該將人工智能評卷引入中考評卷的方式界定為輔助和校正，而非脫離教師評卷的機器獨立評分，其結(jié)果將作為教師評卷質(zhì)量監(jiān)控與差異調(diào)整的重要參考，最終的評卷結(jié)果應(yīng)該是評卷學(xué)科組專家在充分考慮人工智能評卷與教師評卷比對數(shù)據(jù)后綜合做出的。此外，為了確保切實為民服務(wù)的同時，不造成群眾的誤解與疑慮，應(yīng)加強人工智能評卷技術(shù)和實際實施效果的宣傳，同時做好人工智能評卷在中考科目中引入方式的宣傳和解釋工作。

三、實施結(jié)果與前景展望

1.人工智能評卷在中考中的實施情況

基于調(diào)研結(jié)論，天津考試院在2019年中考語文作文正式引入人工智能評卷技術(shù)，實現(xiàn)智能技術(shù)輔助網(wǎng)上評卷及質(zhì)量監(jiān)控。

通過人工智能評卷技術(shù)，以語言庫為基礎(chǔ)對中考語文試卷進(jìn)行了智能評分，并將此結(jié)果與教師人工評卷結(jié)果進(jìn)行了比對，對差距較大的試卷再次請評卷組專家組進(jìn)行了專門的人工判斷，確定是否需要重新評分。此外，還進(jìn)行了考生答卷之間以及考生答卷與范圍庫和題干內(nèi)容的比對，從而檢測出相似程度較高的答卷，同時對空白卷也進(jìn)行合理自動檢測。最終在2019年中考語文作文評卷中，通過智能評卷從已經(jīng)評閱的全部試卷中挑選出36份疑似問題卷，經(jīng)過學(xué)科專家再次評閱，對1份試卷的結(jié)果進(jìn)行了調(diào)整，評卷校驗功能初步顯現(xiàn)。

2.對未來考試閱卷智能化應(yīng)用的展望

（1）智能評卷技術(shù)試驗驗證階段

2019年天津考試院首先利用往年中考數(shù)據(jù)進(jìn)行了智能評卷技術(shù)驗證。在中考語文智能評分效果驗證中，語文作文智能評分結(jié)果與老師評分的相關(guān)度為0.95，一致率為92.31%；英語作文智能評分結(jié)果與老師評分的相關(guān)度為0.93，一致率為95%，并且，機評與人評的一致率達(dá)到或略高于現(xiàn)場人工兩評的一致率。這證明了計算機智能評卷具有很好的評分準(zhǔn)確性，達(dá)到了與人工評卷教師相當(dāng)?shù)脑u分水平。為進(jìn)一步驗證效果，2019年中考評卷期間，將機器智能評卷與人工評卷并行進(jìn)行。結(jié)果證明人工智能評分系統(tǒng)對輔助質(zhì)量監(jiān)控起到精準(zhǔn)定位、精細(xì)復(fù)核、精確評分的作用，從而能夠在更大程度上保證評分的客觀公正。

（2）智能評卷替代人工一評或部分替代人工評閱

通過智能評卷技術(shù)的多次運用，我們認(rèn)為人工智能評卷可以替代人工一評，與教師人工評卷的二評結(jié)果互為檢驗，或者可以作為雙評之后的校驗手段對整個教師評卷結(jié)果進(jìn)行有效校驗。這一是基于目前文字轉(zhuǎn)寫識別率的大幅提高，二是基于自然語義理解等核心算法的人工智能評卷，維度多元且準(zhǔn)確度較高。同時智能評卷技術(shù)的引入，可以幫助教師評卷進(jìn)行前期的重復(fù)率、相似度、空白卷等篩查，大大提高了教師評卷的效率。

（3）智能評卷向多科目、多題型應(yīng)用擴展

通過在語言類科目作文題型的嘗試，我們認(rèn)為人工智能評卷可以在其他主觀性作答較多的科目和題型應(yīng)用擴展。對學(xué)科知識類科目需要以更為全面的學(xué)科知識資源庫作為依托才能取得較好的效果，這需要一定的時間進(jìn)行收集和積累，但這并不影響智能評卷在多科目、多題型的應(yīng)用前景。

四、結(jié)束語

人工智能評卷引入中考評卷可有效確?？荚嚨墓?、公正，實現(xiàn)評卷科學(xué)、準(zhǔn)確的預(yù)期效果。但人工智能評卷引入中考評卷的方式目前還應(yīng)界定為輔助和校正，而非脫離教師評卷的機器獨立評分，其結(jié)果將作為教師評卷質(zhì)量監(jiān)控與差異調(diào)整的重要參考，最終的評卷結(jié)果應(yīng)該是評卷學(xué)科組專家在充分考慮人工智能評卷與教師評卷比對數(shù)據(jù)后綜合做出的。此外，為了確保切實為民服務(wù)的同時，不造成群眾的誤解與疑慮，應(yīng)加強人工智能評卷技術(shù)和實際實施效果的宣傳，同時做好人工智能評卷在中考科目中引入方式的宣傳和解釋工作。