基于線上教學(xué)群聊文本的問句抽取模型

李沛哲 張征 王燕舞 陳虹 秦肖臻

摘 ? 要：教學(xué)過程中產(chǎn)生的群聊文本往往包含著學(xué)生對于課程的思考。通過提取分析群聊文本中學(xué)生的提問，能夠了解學(xué)生的學(xué)習(xí)情況，也能結(jié)合具體內(nèi)容對學(xué)生進(jìn)行指導(dǎo)。該研究旨在通過構(gòu)建問句抽取模型，對群聊文本中與課程相關(guān)的提問進(jìn)行提取。實驗首先針對教學(xué)過程中產(chǎn)生的群聊文本進(jìn)行收集，并結(jié)合課程相關(guān)教材進(jìn)行數(shù)據(jù)清洗工作;然后針對類別分布不均勻問題，在Text-CNN模型的基礎(chǔ)上提出了兩種優(yōu)化方式：引入注意力機(jī)制和使用平衡交叉熵?fù)p失函數(shù)。實驗結(jié)果表明，優(yōu)化后的模型能夠達(dá)到91.95%的正確率，比原有模型增加了1.04%，而問句的F1-score表現(xiàn)為0.72，在原有模型的基礎(chǔ)上提高了0.06。該模型能夠運用到實際教學(xué)中，將群聊文本中與教學(xué)相關(guān)的學(xué)生提問抽取出來，再與線下教學(xué)相結(jié)合，提高教師的分析效率，進(jìn)一步改善教學(xué)效果。

關(guān)鍵詞：群聊文本;自然語言處理;卷積神經(jīng)網(wǎng)絡(luò);人工智能教育應(yīng)用

中圖分類號：F407.67;G434 ?文獻(xiàn)標(biāo)志碼：A ?文章編號：1673-8454（2022）01-0070-08

一、 引言

隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，目前的教學(xué)形式已經(jīng)不再局限于傳統(tǒng)課堂，越來越多的人把目光聚焦于在線教學(xué)。在線教學(xué)能夠提供更優(yōu)質(zhì)、更豐富的資源，并且具有隨時可以觀看的特點，備受廣大學(xué)生的青睞。在線教學(xué)讓學(xué)生在課堂之外也能夠有便捷的途徑學(xué)習(xí)自己感興趣的內(nèi)容，同時開闊眼界、增長學(xué)識。受疫情影響，我國各大高校開展了大規(guī)模在線教學(xué)，而如何提升在線教學(xué)的效果成為學(xué)界關(guān)注的焦點。

在線教學(xué)是一種基于網(wǎng)絡(luò)平臺的教育教學(xué)實踐，師生之間的互動是時空分離的。這一點與傳統(tǒng)教學(xué)有所不同。在傳統(tǒng)課堂教學(xué)模式中，學(xué)生與教師之間的互動能夠及時的反饋。學(xué)生可以根據(jù)教師課堂上講解的內(nèi)容實時提出問題，而教師則可以根據(jù)學(xué)生的問題強(qiáng)化知識點講解，從而形成一個互相促進(jìn)的學(xué)習(xí)過程。在線上教學(xué)模式中，存在的一個缺陷是缺少實時性以及學(xué)習(xí)者與傳授者之間面對面的情感交流，導(dǎo)致這種依賴于實時反饋的學(xué)習(xí)過程的效果不能充分展現(xiàn)出來。

為了有效地將線上線下教學(xué)結(jié)合起來，許多學(xué)校充分利用學(xué)生喜歡在網(wǎng)絡(luò)社交平臺發(fā)言的特點，通過建立課程相關(guān)的群聊，一方面能夠發(fā)布信息進(jìn)行統(tǒng)一管理，另一方面也能從交流中獲取學(xué)生對于課程的看法以及思考。由于群聊用戶眾多、內(nèi)容繁雜，如果僅僅依靠人力從中篩選信息，會導(dǎo)致效率較低。在智能化時代背景下，利用人工智能相關(guān)方法，能夠有效地從社交軟件中提取有用信息，幫助教師自動收集與課程相關(guān)的提問并進(jìn)行分析。

針對教學(xué)過程中產(chǎn)生的群聊文本，本文提出了一種問句抽取模型，并結(jié)合課程使用的教材文本，將學(xué)生發(fā)言內(nèi)容中的提問抽取出來，從而有效地幫助教師了解學(xué)生的學(xué)習(xí)情況，提高教師的分析效率。

二、研究現(xiàn)狀

（一）教學(xué)中的互動內(nèi)容

大數(shù)據(jù)和人工智能技術(shù)的應(yīng)用，為教育提供了更全面更系統(tǒng)的教學(xué)信息，大大提升了教育的智能化程度[1]。同時，學(xué)生參與線上教學(xué)過程中的一些學(xué)習(xí)行為也能夠被量化記錄，如觀看視頻時長、課后作業(yè)完成情況、學(xué)習(xí)筆記等。江波等的研究表明，行為記錄能夠反映學(xué)生的學(xué)習(xí)情況[2];楊麗娜等也提出，通過采集、分析和處理學(xué)生學(xué)習(xí)過程中的行為記錄，能夠?qū)W(xué)生的知識學(xué)習(xí)能力進(jìn)行診斷[3]。借助行為記錄的診斷結(jié)果，教師能夠直觀有效地了解學(xué)生的學(xué)習(xí)情況，針對性地對學(xué)生進(jìn)行指導(dǎo)，促進(jìn)師生間的情感交流，從而提高學(xué)生的學(xué)習(xí)積極性，進(jìn)一步提高教學(xué)效果。

目前的線上學(xué)習(xí)平臺中記錄了大量基于文本的課程互動內(nèi)容，如何挖掘這些文本中隱含的有效信息，受到眾多研究者的關(guān)注[4]。文本挖掘的一個重要研究方向是情緒分析——對文本中所蘊含的學(xué)生學(xué)習(xí)情緒進(jìn)行量化分析，以此來優(yōu)化教學(xué)方式。除了學(xué)習(xí)情緒之外，文本內(nèi)容通常還包含學(xué)生對于課程的思考和疑問，因此如果能找到一個合適的方法對這部分內(nèi)容進(jìn)行抽取，將值得重點關(guān)注的內(nèi)容提取出來，一方面能夠更好地體現(xiàn)學(xué)生對于課程內(nèi)容本身的需求，另一方面也能夠減少教師分析工作的強(qiáng)度，輔助其優(yōu)化課程設(shè)計，對教學(xué)過程進(jìn)行反思。

（二）文本分類

線上教學(xué)群聊文本中的問句抽取問題可以轉(zhuǎn)化為對句子進(jìn)行分類。而在句子分類問題的研究上，傳統(tǒng)詞袋法主要是通過特征選擇篩選出跟類別相關(guān)度最高的N個詞，然后計算每個句子的特征權(quán)重，進(jìn)而將句子用N維向量表示，并選擇合適的分類器對數(shù)據(jù)進(jìn)行訓(xùn)練，最終得到所需的句子分類模型。但是中文句子在語義、詞義和歧義等方面存在問題[5]，而傳統(tǒng)詞袋法過多地關(guān)注于詞語的局部特征，很難從句子整體去分析理解，因此在句子分類問題上的應(yīng)用有一定缺陷。

為了改善上述不足，有研究者提出句法分析的方法[6]。該方法的主要思想是結(jié)合人為提取的規(guī)則自動識別句子以及句法單位，并按照規(guī)定輸出識別結(jié)果。這種規(guī)則很大程度上依賴于相關(guān)人員的語言知識，工作量較大，靈活性較低。

隨著機(jī)器學(xué)習(xí)的發(fā)展，很多研究者將大量機(jī)器學(xué)習(xí)方法用于分類問題中，并表現(xiàn)出較好的性能。其中神經(jīng)網(wǎng)絡(luò)的應(yīng)用較廣，能夠涉及很多方面，所以使用該方法進(jìn)行句子分類的研究越來越多。李超等構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN）和長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，簡稱LSTM）的混合神經(jīng)網(wǎng)絡(luò)的訓(xùn)練模型，提取了句子的深度特征，同時也表現(xiàn)出更優(yōu)秀的性能[7]。有研究者探究了問題分類特征提取的3種方法：第1種是使用聚類信息獲取問題的特征向量;第2種是利用word2vec方法和TF-IDF加權(quán)的方式;第3種方式基于序列的數(shù)據(jù)類型[8]。隨后基于Attention機(jī)制的改進(jìn)網(wǎng)絡(luò)模型也在NLP中被廣泛運用。趙云山等搭建了一個包含4個Attention CNN層的A-CNN文本分類模型，用Attention機(jī)制生成非局部相關(guān)度特征，用普通卷積層提取局部特征，然后將兩類特征結(jié)合起來，最終在文本分類任務(wù)獲得了較高的精度以及通用性[9]。蘇錦鈿等將句子中單詞的詞性與Attention機(jī)制相結(jié)合，提出一種面向句子情感分類的神經(jīng)網(wǎng)絡(luò)模型PALSTM，準(zhǔn)確率獲得了一定提升[10]。

基于上述研究，本文提出一種基于線上教學(xué)群聊文本的問句抽取模型。該模型以Text-CNN為基礎(chǔ)，針對數(shù)據(jù)分布不均勻的問題，利用注意力機(jī)制和平衡交叉熵?fù)p失函數(shù)進(jìn)行改進(jìn)，最終得到優(yōu)化后的問句抽取模型。

三、數(shù)據(jù)集獲取與處理

（一）相關(guān)文本介紹

本文所研究的數(shù)據(jù)主要分為兩個部分：一部分是教學(xué)過程中產(chǎn)生的群聊文本，主要以對話形式存在;另一部分則是相關(guān)課程所使用的教材文本。群聊文本在一定程度上能夠反映學(xué)生的學(xué)習(xí)狀態(tài)。通常來說，如果學(xué)生在學(xué)習(xí)中遇到問題，在群里求助是一種較為常見的方式。所以根據(jù)這一學(xué)習(xí)特點，教師可以利用群聊文本中學(xué)生提出的一些問題，分析他們的學(xué)習(xí)情況，從而進(jìn)行指導(dǎo)。而教材文本則是學(xué)生在學(xué)習(xí)過程中必備的指導(dǎo)書，其包含的專業(yè)術(shù)語能夠為群聊文本的處理帶來一定幫助。

群聊文本主要以短文本為主，通常由多方交互信息構(gòu)成[11]。與長文本不同，群聊文本具備非正規(guī)性、不完整性及稀疏性三個特點[12]。非正規(guī)性指表達(dá)方式更接近于口語，同時還會包含很多的表情和圖片;不完整性指由于文本長度較短，句子成分通常不完整;稀疏性指由于短文本僅包含較少的字詞，在整個群聊文本中，所占比重較小。

除了本身具有的非正規(guī)性、不完整性及稀疏性這三個特點外，這類在教學(xué)過程中產(chǎn)生的群聊文本往往還會包含很多專業(yè)性較強(qiáng)的詞匯。可以利用這一特點，結(jié)合教材文本進(jìn)行分析，強(qiáng)化專業(yè)術(shù)語對后續(xù)分析結(jié)果的影響，從而解決群聊文本中可能存在的一些雜亂短文本所帶來的問題。

（二）教材文本

由于群聊文本信息雜亂，存在較多與教學(xué)內(nèi)容無關(guān)的對話。如果直接對其進(jìn)行處理，有可能導(dǎo)致最后的結(jié)果不佳。因此，為了保證結(jié)果與教材內(nèi)容具有一定程度的相關(guān)性，需要結(jié)合相關(guān)課程的教材文本，計算群聊文本和教材文本兩者之間的相似度。相似度越高，說明該文本越貼合教學(xué)內(nèi)容，值得重點關(guān)注;相似度越低，說明該文本與教學(xué)內(nèi)容無關(guān)的可能性越大，有可能會干擾最后結(jié)果。以此為依據(jù)進(jìn)行后續(xù)群聊文本的數(shù)據(jù)清洗工作。獲得作者授權(quán)后，本文選取自動控制原理類課程采用的教材《自動控制原理（第三版）》作為參考，進(jìn)行關(guān)鍵詞提取工作。

教材中通常包含許多專業(yè)性較強(qiáng)的詞匯，如果使用傳統(tǒng)的詞庫對其進(jìn)行處理，有可能無法選取出具有代表性的詞語，從而導(dǎo)致最后清洗效果不佳。為了解決這一問題，本文選擇使用TF-IDF方法對教材進(jìn)行關(guān)鍵詞提取，從中篩選出具有課程特點的專業(yè)詞匯。將提取出來的結(jié)果利用正則匹配進(jìn)行處理，去除其中的數(shù)字、字母和空元素以及一些特殊字符，最后得到的關(guān)鍵詞利用wordcloud進(jìn)行可視化后處理，結(jié)果如圖1所示。

通過wordcloud生成的詞云中，詞語大小和權(quán)重有關(guān)。因此TF-IDF值越大的詞語在詞云中顯示越明顯。結(jié)合圖1，可以較明顯地看出“系統(tǒng)”“傳遞函數(shù)”“開環(huán)”等提取出來的詞語代表著教材的文本特征，而實際教學(xué)中，這些詞語也符合自動控制原理類課程的特點。

（三）群聊文本

通過對自動控制原理類課程相關(guān)群聊文本的收集和整理，最終得到了三個教學(xué)群的聊天記錄，分別包含5857、2339、2280條。本文首先使用了開源的Python第三方庫jieba中文分詞系統(tǒng)對聊天記錄進(jìn)行分詞處理。經(jīng)過中文分詞處理后，再結(jié)合聊天記錄和教材關(guān)鍵詞訓(xùn)練word2vec模型構(gòu)建詞匯表，并且利用訓(xùn)練好的詞匯表模型為每句話構(gòu)建向量。

然后分別計算教材關(guān)鍵詞向量和每條聊天記錄向量的余弦相似度，并且根據(jù)余弦相似度的大小判斷該聊天記錄與教材之間的相關(guān)性。通過分析余弦相似度結(jié)果，發(fā)現(xiàn)以下兩種情況需要考慮：一是計算出來的值較小，這部分內(nèi)容視為與教材文本相關(guān)性較低;二是某種值出現(xiàn)多次，考慮到群聊天不僅存在大量表情、圖片，甚至還有很多系統(tǒng)消息，這部分內(nèi)容之間的相似度極高，因此會導(dǎo)致與教材文本的余弦相似度值非常接近。以上兩種情況均會對最后結(jié)果產(chǎn)生影響，所以在數(shù)據(jù)清洗的時候，這兩部分內(nèi)容都應(yīng)考慮在內(nèi)，進(jìn)行適當(dāng)去除。

預(yù)處理前后的群聊文本記錄對比如表1所示。從表1可以看出，經(jīng)過預(yù)處理后，很大部分聊天記錄被去除，保留下來的聊天記錄則是與教材內(nèi)容相關(guān)性較高，同時也更加具有研究意義的數(shù)據(jù)。

數(shù)據(jù)清洗后結(jié)合實驗?zāi)康膶ζ溥M(jìn)行標(biāo)注。本實驗的目的是將群聊文本中的問句抽取出來，進(jìn)而幫助教師了解學(xué)生在學(xué)習(xí)過程中碰到的問題，因此文本類別分為兩類：第一類是問句，第二類則是非問句。標(biāo)注采用人工標(biāo)注的方法，一共標(biāo)注了三個群聊文本，數(shù)據(jù)清洗后共5468條聊天記錄。統(tǒng)計全部數(shù)據(jù)中兩個類別的數(shù)量，具體分布如表2所示。

從表3可以分析得出，兩類數(shù)據(jù)分布不均勻，群聊文本中只有少部分聊天記錄是用戶的提問。這些問題體現(xiàn)了學(xué)生對于教學(xué)內(nèi)容的思考，接下來的實驗會圍繞如何將這些問句盡可能準(zhǔn)確地提取出來開展。

四、模型設(shè)計及結(jié)果分析

（一）問句抽取框架

基于線上教學(xué)群聊文本的問句抽取模型框架如圖2所示。該框架主要包括語料庫建立、數(shù)據(jù)預(yù)處理、劃分訓(xùn)練集和測試集、模型訓(xùn)練、模型測試和評估及優(yōu)化六個步驟。①語料庫建立：將收集到的群聊文本按照一定格式要求進(jìn)行保存。②數(shù)據(jù)預(yù)處理：結(jié)合教材文本對群聊文本進(jìn)行一定的數(shù)據(jù)清洗工作。③劃分訓(xùn)練集和測試集：將預(yù)處理后的群聊文本數(shù)據(jù)按照3∶1∶1的比例劃分為訓(xùn)練集、驗證集和測試集。其中驗證集和訓(xùn)練集代表訓(xùn)練過程中的表現(xiàn)，可以據(jù)此調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)，而測試集能夠評判最后得到網(wǎng)絡(luò)模型的優(yōu)劣。④模型訓(xùn)練：將訓(xùn)練數(shù)據(jù)的詞向量輸入到網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并且每一輪次輸出在訓(xùn)練集和驗證集上的性能，保存最好結(jié)果。⑤模型測試：將訓(xùn)練好的模型應(yīng)用到測試集中，根據(jù)最終結(jié)果分析出問題，進(jìn)而針對這些問題提出進(jìn)一步的優(yōu)化策略。⑥評估和優(yōu)化：通過訓(xùn)練過程中訓(xùn)練集和驗證集的表現(xiàn)調(diào)節(jié)網(wǎng)絡(luò)超參數(shù)，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu);通過模型在測試集上的表現(xiàn)結(jié)果對網(wǎng)絡(luò)進(jìn)行評估，判斷該模型性能的好壞。

經(jīng)過上面六個步驟，即可得到最終的分類模型。將最終的分類模型運用到未標(biāo)注數(shù)據(jù)中即可進(jìn)行預(yù)測，從而自動將群聊文本中的問句抽取出來，幫助教師分析學(xué)生的學(xué)習(xí)情況，總結(jié)問題并適當(dāng)做出解答。

（二）Text-CNN模型

Kim Y提出的Text-CNN是一種利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行分類的算法[13]。在Text-CNN中，輸入到CNN中的不是圖片某個區(qū)域的像素值，而是用矩陣表示的句子。矩陣的每一行代表著每個詞的詞向量，因此在利用CNN做文本分類的任務(wù)時，還需要對句子中的單詞進(jìn)行向量化處理。

Text-CNN主要由四部分構(gòu)成：輸入層、卷積層、池化層、全連接層。由于輸入層要求輸入一個定長的文本序列，因此，在實際應(yīng)用中，輸入文本和輸入層之間還具有一個隱藏層——嵌入層。嵌入層的主要作用是指定維度，并且產(chǎn)生能夠代表句子語義信息的特征詞向量。

經(jīng)過嵌入層后，最終進(jìn)入輸入層的則是長度一定的句子特征向量，接著就可以利用卷積層的卷積操作對這些向量進(jìn)行特征提取。通過定義不同尺度的卷積核，以滑動窗口的形式對指定長度文本進(jìn)行卷積運算，再使用激活函數(shù)進(jìn)行計算，最后就可以提取出不同的特征向量，構(gòu)成卷積層的輸出。

不同尺度卷積核抽取不同長度的文本片段進(jìn)行卷積運算，最后每一組會產(chǎn)生一個特征值向量并輸入到池化層中。池化層通常采用最大池化層（1-Max池化），即從每個滑動窗口產(chǎn)生的特征向量中篩選出一個最大的特征，然后將這些特征拼接起來構(gòu)成向量表示。該層不僅能夠減少模型的參數(shù)，使模型復(fù)雜度下降，同時也保證了特征的位置不變性。不同長度句子在經(jīng)過池化層后都能變成固定長度輸入到全連接層中。

最后進(jìn)入全連接層，輸出每個類別的概率，實現(xiàn)分類。概率越大說明最終將預(yù)測結(jié)果定為這一類的誤差較小。模型的損失函數(shù)采用分類任務(wù)中常使用的交叉熵，它能反映模型與實際結(jié)果的差距，從而在訓(xùn)練的時候調(diào)整參數(shù)，以盡可能使損失函數(shù)值減小。Text-CNN簡化的模型結(jié)構(gòu)如圖3所示。

（三）模型優(yōu)化

1.注意力卷積模型

Attention機(jī)制的提出主要源自于人類注意力。人在看到大量信息時，往往不會每個信息都去重點關(guān)注，而是根據(jù)判斷快速篩選出對自己最有價值的信息，然后忽略其他無價值的信息。在句子分類的問題上，該機(jī)制的思想是在導(dǎo)出句子向量時將注意力集中在特定的重要詞語上。

把注意力機(jī)制和Text-CNN結(jié)合起來，可以構(gòu)建一個基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)[14]。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)在輸入層和卷積層之間新增了一個attention層。通過新增的attention層為句子中的每個詞語創(chuàng)建一個新的上下文向量。新向量再與原來的詞向量進(jìn)行拼接，從而構(gòu)成新的特征表示。利用注意力機(jī)制能夠確定哪些詞語受關(guān)注度更高，進(jìn)而對詞語進(jìn)行加權(quán)和組合。

ATT-CNN模型的具體訓(xùn)練過程如下：①設(shè)定模型的初始參數(shù)。②將長度一定的句子特征向量經(jīng)過輸入層后輸入到attention層中。③通過attention層提取出來的特征與原來的詞向量進(jìn)行拼接，構(gòu)成句子新的特征表示。將句子的新的特征向量經(jīng)過卷積層提取特征，并且輸入到全連接層中。④全連接層輸出結(jié)果經(jīng)由定義的損失函數(shù)計算得到訓(xùn)練誤差，再利用誤差的反向傳播對網(wǎng)絡(luò)權(quán)重進(jìn)行更新。⑤重復(fù)2～4步直至訓(xùn)練效果不再提升或者滿足設(shè)定的epoches次數(shù)。

2.損失函數(shù)優(yōu)化

通過對前面數(shù)據(jù)集的標(biāo)注情況進(jìn)行分析，發(fā)現(xiàn)兩類數(shù)據(jù)分布不均勻。在群聊文本中，用戶的提問占比僅為15%左右，出現(xiàn)了嚴(yán)重的數(shù)據(jù)不平衡問題。因此，為了得到更好的訓(xùn)練效果，避免最后的分類結(jié)果全部偏向于多數(shù)容易分類的數(shù)據(jù)上，需要對模型進(jìn)行優(yōu)化調(diào)整。

Text-CNN模型中通常使用的損失函數(shù)是交叉熵。在本實驗中，由于存在大量負(fù)樣本，會對模型的性能造成一定程度損害，使得訓(xùn)練效率低，甚至有可能造成模型退化。為了解決數(shù)據(jù)不平衡這一問題，本文選擇針對模型中的損失函數(shù)提出優(yōu)化策略，使用平衡交叉熵，通過加入一個權(quán)重因子減少正負(fù)樣本不平衡帶來的影響。使用該方法無需對樣本進(jìn)行過抽樣或者下采樣等額外處理，僅需對模型中的參數(shù)進(jìn)行修改即可。

該方法的核心思想是通過賦予正負(fù)樣本不一樣的懲罰權(quán)重，對少數(shù)類樣本賦予較高權(quán)重，而多數(shù)類樣本賦予較低權(quán)重。通過這種方式能夠使模型集中在對少數(shù)樣本的正確分類上，一定程度上減少多數(shù)樣本對訓(xùn)練帶來的影響。平衡交叉熵函數(shù)（balanced cross entropy）計算公式如下：

<D：＼2022年＼2022年中國教育信息化＼信息化2022-1＼TP＼公式.tif>（1）

其中，α表示權(quán)重因子，且α∈[0，1]，大小根據(jù)正負(fù)樣本的分布進(jìn)行設(shè)置。N代表樣本總數(shù)，m和n分別表示正樣本和負(fù)樣本個數(shù)，即問句和非問句的數(shù)量。為預(yù)測概率的大小。

（四）評價指標(biāo)

由于本文所使用的數(shù)據(jù)集正負(fù)樣本不平衡，因此僅僅使用分類正確率（Accuracy）評估最后得到的訓(xùn)練模型的好壞不具有代表意義。除了準(zhǔn)確率以外，評估模型分類效果所使用的評價指標(biāo)還包括：精確率（Precision，PR）、召回率（Recall，RC）、F1分?jǐn)?shù)（F1-Score）。它們在計算評價指標(biāo)時常使用的分類示意圖如表3所示。

其中，T和F分別代表預(yù)測結(jié)果的正確與否，即True和False;P和N代表著預(yù)測結(jié)果為正樣本還是負(fù)樣本，即Positive和Negative。在本實驗中，TP、FN、FP、TN分別代表的實際含義如表4所示。

根據(jù)表4可以得出精確率、召回率的公式分別為：

P=（2）

R=（3）

從公式（2）、公式（3）可以看出，精確率表示在所有被判別為問句的樣本中，真正問句樣本所占的比重;而召回率則表示真正問句樣本中被正確預(yù)測為問句樣本所占的比重。在實際教學(xué)中，一方面期望能夠盡可能多地將學(xué)生的提問全部提取出來，另外一方面又期望能盡量減少錯誤分類對教師分析學(xué)習(xí)情況造成的影響。綜合考慮以上因素，使用精確率和召回率的調(diào)和平均值F1-score作為評估指標(biāo)，其計算公式如下：

F1-score=（4）

（五）結(jié)果對比分析

1.模型結(jié)果對比

本實驗分別使用CNN、ATT-CNN模型以及優(yōu)化后的平衡交叉熵?fù)p失函數(shù)（Balanced CE）對經(jīng)過人工標(biāo)注的測試集進(jìn)行預(yù)測。表5是上述幾種模型的實驗結(jié)果對比。

從表5可以看出，無論是使用注意力機(jī)制還是平衡交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，都在基礎(chǔ)的Text-CNN模型上有一定提升。對比基礎(chǔ)模型的實驗結(jié)果，加入注意力機(jī)制后測試集的acc增加了0.32%，而在問句的F1-score表現(xiàn)上也增長了0.01;使用平衡交叉熵?fù)p失函數(shù)對Text-CNN進(jìn)行改進(jìn)，測試集的acc增加了0.96%，問句的F1-score表現(xiàn)增加了0.04，可以認(rèn)為減小了兩類數(shù)據(jù)不平衡所帶來的影響;將注意力機(jī)制和平衡交叉熵?fù)p失函數(shù)綜合應(yīng)用到Text-CNN后，測試集的acc增加了1.04%，而問句的F1-score表現(xiàn)也增加了0.06。

另外，從測試集的acc表現(xiàn)可以得出，在盡可能提升問句預(yù)測準(zhǔn)確度的同時，非問句的預(yù)測準(zhǔn)確度也并未受影響而下降。所以使用注意力機(jī)制和平衡交叉熵?fù)p失函數(shù)能夠在一定程度上提高Text-CNN模型在群聊文本中的分類性能，從而較好地實現(xiàn)從群聊文本中抽取問句的目的，方便教師進(jìn)行收集分析，進(jìn)而將結(jié)果應(yīng)用到實際教學(xué)中。

2.實例展示

實驗最后對提取出來的問句進(jìn)行了可視化展示，具體結(jié)果如圖4所示。圖中僅展示了某個群中的部分問句內(nèi)容，從圖中可以較為直觀地看出，提出疑問的用戶除了教師之外，更多是學(xué)生。前者能夠說明教師對于學(xué)生學(xué)習(xí)生活的了解情況;后者說明了學(xué)生在學(xué)習(xí)過程中對內(nèi)容或者教學(xué)方式的疑問。通過對這些內(nèi)容進(jìn)行提取，教師能夠針對問題進(jìn)行分析，作出針對性解答;學(xué)生也能夠從提問中查缺補(bǔ)漏，反思自己對知識點的掌握情況，從而進(jìn)一步鞏固學(xué)習(xí)成果。

五、 結(jié)語及未來展望

本文針對線上教學(xué)群聊文本內(nèi)容繁雜、結(jié)構(gòu)化低以及教師分析工作效率較低等問題，提出一種優(yōu)化的群聊文本問句抽取模型。研究結(jié)合課程相關(guān)教材進(jìn)行了關(guān)鍵詞提取處理，并以此為基礎(chǔ)，針對教學(xué)過程中產(chǎn)生的群聊文本進(jìn)行數(shù)據(jù)清洗工作。然后使用人工標(biāo)注的方法對三個群的數(shù)據(jù)集進(jìn)行類別標(biāo)注，標(biāo)注類別為問句和非問句。在標(biāo)注過程中發(fā)現(xiàn)存在兩類數(shù)據(jù)分布不均勻的問題，于是在Text-CNN模型的基礎(chǔ)上提出了兩種優(yōu)化方式：引入注意力機(jī)制和使用平衡交叉熵?fù)p失函數(shù)。從最后的結(jié)果可以得知，優(yōu)化后的模型分類性能在原有模型上有一定程度的提升。

本研究依托“子曰”學(xué)習(xí)平臺，以自動控制原理類線上課程中產(chǎn)生的群聊文本為例，建立分類模型對問句進(jìn)行提取，并且將優(yōu)化后的模型運用到實際教學(xué)中，一定程度上緩解了時間和人力的浪費。教師通過重點分析提取出來的問題內(nèi)容，能夠作用于以下方面：①整體把握學(xué)生的學(xué)習(xí)情況。當(dāng)類似問題被提出多次時，一定程度上反映了學(xué)生對于相關(guān)知識點的掌握不夠充分。因此教師能夠根據(jù)問題的出現(xiàn)頻率，分析學(xué)生的具體學(xué)習(xí)情況，進(jìn)而及時調(diào)整教學(xué)內(nèi)容，集中講解共性問題，加深學(xué)生對知識點的理解。②針對性地對學(xué)生進(jìn)行指導(dǎo)。不同問題揭示了學(xué)生在學(xué)習(xí)過程中存在個體化差異的現(xiàn)象。因此，教師能夠通過分析每個人的問題來發(fā)現(xiàn)對應(yīng)的知識薄弱點，從而對癥下藥，有針對性地進(jìn)行教學(xué)指導(dǎo)，使學(xué)生較快地彌補(bǔ)不足，繼而投入到新的學(xué)習(xí)進(jìn)程中。

在后續(xù)研究中，可以適當(dāng)擴(kuò)充數(shù)據(jù)集，將其他課程教學(xué)過程中產(chǎn)生的群聊文本內(nèi)容也歸入其中，以提高不同領(lǐng)域中問句的識別性能。另外，教師往往更傾向于關(guān)注那些內(nèi)容較為完整、突出并且有效的問題，所以也可針對這些問題的完備性或者有效性進(jìn)行進(jìn)一步抽取，這樣能節(jié)約教師更多時間，也能夠促使學(xué)生進(jìn)行更多思考，提出具有價值的問題。

參考文獻(xiàn)：

[1]卓文秀，楊成，李海琦.大數(shù)據(jù)與教育智能——第17屆教育技術(shù)國際論壇綜述[J].終身教育研究，2019，30（3）：62-67.

[2]江波，高明，陳志翰，等.基于行為序列的學(xué)習(xí)過程分析與學(xué)習(xí)效果預(yù)測[J].現(xiàn)代遠(yuǎn)程教育研究，2018（2）：103-112.

[3]楊麗娜，魏永紅，肖克曦，等.教育大數(shù)據(jù)驅(qū)動的個性化學(xué)習(xí)服務(wù)機(jī)制研究[J].電化教育研究，2020，41（9）：68-74.

[4]馮翔，邱龍輝，郭曉然.基于LSTM模型的學(xué)生反饋文本學(xué)業(yè)情緒識別方法[J].開放教育研究，2019，25（2）：114-120.

[5]胡金鳳.中文問答系統(tǒng)中的問題分析與答案抽取[D].石家莊：石家莊鐵道大學(xué)，2016.

[6]夏艷輝，聶百勝，胡金鳳.中文開放域問答系統(tǒng)的問題分類研究[J].價值工程，2019，38（16）：147-149.

[7]李超，柴玉梅，南曉斐，等.基于深度學(xué)習(xí)的問題分類方法研究[J].計算機(jī)科學(xué)，2016，43（12）：115-119.

[8]RAZZAGHNOORI M， SAJEDI H， JAZANI I K. Question classification in Persian using word vectors and frequencies[J]. Cognitive Systems Research， 2018（47）：16-27.

[9]趙云山，段友祥.基于Attention機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)文本分類模型[J].應(yīng)用科學(xué)學(xué)報，2019，37（4）：541-550.

[10]蘇錦鈿，余珊珊，李鵬飛.一種結(jié)合詞性及注意力的句子情感分類方法[J].華南理工大學(xué)學(xué)報（自然科學(xué)版），2019，47（6）：10-17，30.

[11]周園林，邵國林.基于群聊文本的分類研究[J].現(xiàn)代計算機(jī)（專業(yè)版），2019（8）：22-28.

[12]王媛媛，范潮欽，蘇玉海.面向聊天記錄的語義分析研究[J].信息網(wǎng)絡(luò)安全，2017（9）：89-92.

[13]KIM Y. Convolutional neural networks for sentence classification[C]// Proceeding of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha，Qatar： EMNLP， 2014：1746-1751.

[14]ZHAO Z， WU Y. Attention-Based convolutional neural networks for sentence classification[C]// Interspeech， 2016.

作者簡介：

李沛哲，華中科技大學(xué)人工智能與自動化學(xué)院碩士研究生;

張征，華中科技大學(xué)人工智能與自動化學(xué)院副教授，通訊作者，郵箱：10444440@qq.com;

王燕舞，華中科技大學(xué)人工智能與自動化學(xué)院教授;

陳虹，華中科技大學(xué)人工智能與自動化學(xué)院教師;

秦肖臻，華中科技大學(xué)人工智能與自動化學(xué)院副教授。

The Question Extraction Model Based on Group Chat Text of Online Teaching

Peizhe LI， Zheng ZHANG*， Yanwu WANG， Hong CHEN， Xiaozhen QIN

（School of Artificial Intelligence and Automation， Huazhong University of Science and Technology， Wuhan Hubei 430074）

Abstract： The group chat text generated in the teaching process generally incorporates the thoughts of students regarding the course， thus， extract and analyze students’ questions in the group chat text can help teacher get a better understanding of the students’ learning progress and guide students according to the learning content. This article aims to extract questions related to the course in the group chat text by constructing a question extraction model. Specifically， the group chat content generated during the teaching process is collected in the first step， and then， by employing course-related materials， the data cleaning is conducted. To tackle the problem of uneven categories， two optimized methods are proposed based on the Text-CNN model， i.e.， the attention mechanism and the balanced cross-entropy loss function. The experimental results show that the optimized model achieves the correct rate of 91.95 percent which increases 1.04 percent than the original model. Meanwhile， the F1-score of the question sentence is 0.72， which is higher than the original one by 0.06. The results provide the evidence that this model can be applied to the actual teaching to extract those questions related to the teaching process from the group chat text， to combine the offline teaching process， to improve the efficiency of the teachers' analysis work， and further to improve the learning effect.

Keywords： Group chat text; Natural language processing; Convolution neural network; AI education application

編輯：王曉明 ? 校對：李曉萍