基于深度學(xué)習(xí)的MOOC作弊行為檢測研究

萬子云 ,陳世偉 ,秦 斌 ,聶 偉 ,徐 明

1 深圳大學(xué)電子與信息工程學(xué)院 深圳 中國 518061

2 深圳大學(xué)機(jī)電與控制工程學(xué)院 深圳 中國 518061

3 深圳大學(xué)信息中心 深圳 中國 518061

1 引言

近年來,大規(guī)模開放在線課程(Massive Open Online Courses,MOOC)作為一種全新的網(wǎng)絡(luò)在線課程模式受到了廣泛的關(guān)注,但是相比于線下教學(xué),缺少了必要的監(jiān)督,導(dǎo)致學(xué)習(xí)者通過作弊手段來完成相應(yīng)的學(xué)習(xí)任務(wù)的現(xiàn)象層出不窮,例如刷課、抄襲、替考等。隨著近幾年高校對MOOC 學(xué)分認(rèn)可度的提高,對MOOC 的作弊行為進(jìn)行檢測勢在必行。

針對MOOC 存在的作弊問題,常規(guī)的解決方法分為兩種,一種是采用被動(dòng)防護(hù)的手段來阻止學(xué)習(xí)者作弊或者增加學(xué)習(xí)者作弊的難度；另一種則是采用主動(dòng)的檢測技術(shù)來發(fā)現(xiàn)作弊行為并進(jìn)行相應(yīng)的處理,以減少作弊行為的發(fā)生。對于第一種解決方法,一般是通過技術(shù)手段禁止學(xué)習(xí)者在在線學(xué)習(xí)過程做一些違規(guī)操作。例如,采用操作系統(tǒng)內(nèi)核的API 調(diào)用技術(shù)、系統(tǒng)消息攔截技術(shù)、回調(diào)技術(shù)、鉤子技術(shù)、注冊表訪問技術(shù)等手段對一些違規(guī)操作實(shí)施禁用或者屏蔽,從而達(dá)到禁止學(xué)生進(jìn)行頁面切換、答案復(fù)制及互助抄襲的目的,但是這種通過技術(shù)的手段來限制作弊的方法往往是不夠的,因?yàn)橛?jì)算機(jī)系統(tǒng)龐大復(fù)雜,這種硬編碼的防護(hù)方法在新的作弊手段下效果欠佳,所以還是需要采用檢測技術(shù)來對作弊行為進(jìn)行檢測。

對于MOOC 的作弊行為檢測,工程應(yīng)用上一般是通過人工檢測與規(guī)則檢測相結(jié)合的方式進(jìn)行排查,但這種方法不僅要消耗大量的人力物力,還存在著檢測效率低和檢測效果欠佳等問題。學(xué)術(shù)研究上,常永虎等人[1]基于考生在網(wǎng)絡(luò)考試中的行為數(shù)據(jù),提出了一種基于互相抄襲的作弊檢測算法,該算法通過計(jì)算考生在答題的時(shí)間和答案上的相似度來判斷作弊的可能性。Ruiperez-Valiente J A 等人[2]開發(fā)了一種算法來識(shí)別使用CAMEO(使用多個(gè)賬號(hào)復(fù)制答案)方法進(jìn)行作弊的學(xué)習(xí)者,該算法通過比較學(xué)習(xí)者、問題和提交特征對CAMEO 的影響,建立了一個(gè)不依賴IP 的隨機(jī)森林分類器,以識(shí)別CAMEO 學(xué)習(xí)者。Sangalli V A 等人[3]針對學(xué)習(xí)者互相分享答案以及使用虛假賬號(hào)獲取正確答案這兩種作弊手段,設(shè)計(jì)了一些指標(biāo)來得到相應(yīng)的特征,再利用K-means 聚類算法對其進(jìn)行聚類來識(shí)別使用這兩種作弊手段的學(xué)習(xí)者。上述研究都是針對于某種特定作弊形式,構(gòu)造相應(yīng)的特征后采用統(tǒng)計(jì)學(xué)或機(jī)器學(xué)習(xí)的方法進(jìn)行作弊檢測。本文研究一種更加通用的,可解決多種作弊形式的作弊檢測模型。

學(xué)習(xí)者在學(xué)習(xí)過程中所執(zhí)行的學(xué)習(xí)動(dòng)作路徑是不一樣的[4],例如正常的學(xué)習(xí)者會(huì)先觀看學(xué)習(xí)視頻,再做練習(xí),最后提交答案,異常的學(xué)習(xí)者可能會(huì)直接做練習(xí)或者集中在某一個(gè)時(shí)間段進(jìn)行刷課等。從本質(zhì)上看,MOOC 的作弊行為檢測屬于一種異常行為檢測問題。

異常行為檢測問題廣泛存在于各個(gè)領(lǐng)域,例如網(wǎng)絡(luò)入侵檢測[5-6]、信用卡欺詐檢測[7]、故障檢測[8]、居民用電檢測[9]。根據(jù)已有的文獻(xiàn)研究,異常行為檢測算法可以分為基于人工提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)算法和基于自動(dòng)化提取特征的深度學(xué)習(xí)算法[10],但是傳統(tǒng)機(jī)器學(xué)習(xí)算法過度依賴于人工特征提取,且常常由于特征提取不完整,導(dǎo)致模型性能不佳等問題。因此,許多學(xué)者嘗試使用基于深度學(xué)習(xí)的方法進(jìn)行異常行為檢測。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[11]與循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)[12]是比較常見的深度學(xué)習(xí)網(wǎng)絡(luò)模型,CNN 的優(yōu)勢在于能夠在空間維度上提取局部特征,RNN 的優(yōu)勢在于能夠在時(shí)間維度上提取時(shí)序特征。對于復(fù)雜的MOOC 學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù),一般是具有序列性質(zhì)的,因此,在挖掘?qū)W習(xí)行為特征時(shí),需要考慮其空間上的聯(lián)系,也需要考慮其時(shí)間維度上的關(guān)聯(lián)信息。本文嘗試將深度學(xué)習(xí)模型應(yīng)用于MOOC 作弊行為檢測中,結(jié)合CNN 和RNN 網(wǎng)絡(luò)模型來對學(xué)習(xí)者的學(xué)習(xí)行為序列進(jìn)行建模,但是,普通的RNN一方面存在著梯度消失的問題,另一方面只能學(xué)習(xí)單個(gè)方向的時(shí)序特征,為了解決這些問題,本文將RNN網(wǎng)絡(luò)替換成其變種網(wǎng)絡(luò)—雙向門控循環(huán)單元(Bidirectional Gated Recurrent Unit,BiGRU)[13],采用CNN-BiGRU 聯(lián)合網(wǎng)絡(luò)提取學(xué)習(xí)行為序列的空間及時(shí)序特征。注意力(Attention)機(jī)制[14]是一種模擬人腦注意力機(jī)制的模型,已有實(shí)驗(yàn)表明,融入注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)比單一的網(wǎng)絡(luò)在機(jī)器翻譯、情感分類、異常檢測等問題中有更好的表現(xiàn),Brown A 等人[15]在RNN 中引入了注意力機(jī)制,明顯提高了系統(tǒng)日志異常檢測的性能。

本文的貢獻(xiàn)包括以下三個(gè)方面的內(nèi)容：

(1) 針對之前的MOOC作弊行為檢測方法存在的應(yīng)用場景單一化,過度依賴人工提取特征,檢測效果不穩(wěn)定等問題,本文提出了一種基于CNN-BiGRUAttention聯(lián)合網(wǎng)絡(luò)的MOOC作弊行為檢測模型,該模型融合了CNN、BiGRU、Attention三層網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)了自動(dòng)化特征提取,可以適用于多種作弊形式的檢測,性能較好。

(2) 針對實(shí)際情況下,MOOC作弊行為檢測中存在的數(shù)據(jù)類別不均衡問題,采用數(shù)據(jù)擴(kuò)增的方法增加少數(shù)類樣本量后再進(jìn)行模型訓(xùn)練,增強(qiáng)了模型的泛化能力。

(3) 實(shí)現(xiàn)了原型系統(tǒng),并基于真實(shí)場景下的數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證,證明了本文提出方法的有效性。

本文后續(xù)章節(jié)安排如下：第二部分,介紹MOOC原始行為日志數(shù)據(jù)的分析及處理過程；第三部分,詳細(xì)介紹MOOC作弊行為檢測模型設(shè)計(jì)方案；第四部分,對模型的性能進(jìn)行實(shí)驗(yàn)驗(yàn)證分析；第五部分,結(jié)論。

2 數(shù)據(jù)處理及分析

MOOC 平臺(tái)的行為日志文件是學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)記錄的主要載體,每一條行為日志數(shù)據(jù)詳細(xì)記錄了學(xué)習(xí)者與MOOC 平臺(tái)的交互信息。例如訪問時(shí)間、訪問IP、訪問路徑、請求數(shù)據(jù)、響應(yīng)數(shù)據(jù)、訪問者信息等。圖1 展示的是某學(xué)習(xí)者一條完整的行為日志數(shù)據(jù),本文對行為日志數(shù)據(jù)進(jìn)行json 解析,提取與研究問題相關(guān)的數(shù)據(jù)信息。

圖2 為經(jīng)過數(shù)據(jù)解析后某學(xué)習(xí)者在一個(gè)時(shí)間段內(nèi)的學(xué)習(xí)行為路徑數(shù)據(jù),其中,不同的Uid 表示不同的學(xué)習(xí)者,Time 表示學(xué)習(xí)者執(zhí)行該動(dòng)作的時(shí)間,Path表示動(dòng)作的類型,Mark 是對動(dòng)作進(jìn)行的統(tǒng)一標(biāo)記,Description 是對動(dòng)作進(jìn)行的描述。本文以“教學(xué)天”為單位對學(xué)習(xí)者的學(xué)習(xí)行為動(dòng)作進(jìn)行聚合處理,得到一系列的具有時(shí)間先后順序的行為序列數(shù)據(jù),如圖3 所示。通過對學(xué)習(xí)行為序列長度進(jìn)行分析可知,正常學(xué)習(xí)者一天24 小時(shí)內(nèi)產(chǎn)生的學(xué)習(xí)行為序列長度一般為幾十到幾百,而通過作弊學(xué)習(xí)的行為序列長度往往很長,極端作弊者一天產(chǎn)生的行為序列長度最長可達(dá)幾十萬。由于行為序列建模與文本序列建模的原理類似,可以把學(xué)習(xí)者一個(gè)“教學(xué)天”的行為序列數(shù)據(jù)看作一篇文章,行為序列中的學(xué)習(xí)動(dòng)作看作文章中的單詞,由此可以利用Word2Vec[16]對行為序列中的每個(gè)動(dòng)作進(jìn)行向量表示,得到表征行為序列的特征向量矩陣后,將其作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入,完成最終的檢測任務(wù)。

3 MOOC 作弊行為檢測模型

本文研究了一種深度學(xué)習(xí)混合模型CNN-Bi-GRU-Attention 用于MOOC 作弊行為的檢測,模型結(jié)構(gòu)如圖4 所示。分為嵌入層、卷積神經(jīng)網(wǎng)絡(luò)層、雙向門控循環(huán)單元層、注意力層、輸出層。下文將對各層進(jìn)行詳細(xì)描述。

3.1 嵌入層(Embedding)

正如前文所提到的,先利用Word2Vec 將行為序列中的行為動(dòng)作表示成密集的實(shí)數(shù)向量,才能將其輸入到神經(jīng)網(wǎng)絡(luò)模型中,嵌入層是整個(gè)模型的輸入,假設(shè)xi∈R1*d表示行為序列中第i 個(gè)動(dòng)作的詞向量,該詞向量的維度為d,則長度為n 的行為序列可表示為實(shí)數(shù)向量矩陣,如公式(1)所示。其中,⊕符號(hào)表示連接操作.。

獲得行為序列的向量矩陣表征后,將其作為CNN 層的輸入,對其進(jìn)行卷積與池化操作,提取行為序列中的局部空間特征。同時(shí)將其作為BiGRU 層的輸入,提取行為序列的時(shí)序特征。

3.2 卷積神經(jīng)網(wǎng)絡(luò)層(CNN)

CNN 最初被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域,近年來,隨著深度學(xué)習(xí)在文本領(lǐng)域的研究逐漸增多,CNN 也被應(yīng)用于文本領(lǐng)域,用于提取文本序列的局部特征?？紤]到學(xué)習(xí)者學(xué)習(xí)行為序列中,相鄰的幾個(gè)行為之間具有關(guān)聯(lián)關(guān)系,因此采用CNN 挖掘行為序列的局部信息。CNN 一般包含卷積和池化兩種操作,卷積操作以滑窗的方式在不同的地方提取文本序列中的局部信息,池化操作一般接在卷積操作的后面,主要作用是減少數(shù)據(jù)特征維數(shù),降低計(jì)算復(fù)雜度。

3.2.1 卷積(Convolution)

本文使用30 個(gè)尺寸為3 的卷積核提取行為序列中的局部空間信息。假設(shè)一個(gè)行為序列共有n 個(gè)行為動(dòng)作,每個(gè)動(dòng)作由一個(gè)d 維的向量表示,使用一個(gè)尺寸為h 的卷積核ω與h 個(gè)連續(xù)行為動(dòng)作進(jìn)行卷積操作后得到相應(yīng)的特征映射ci,卷積操作可由公式(2)表示。

其中：xi：i+h-1是行為序列中第i 個(gè)到第i+h-1 個(gè)連續(xù)行為動(dòng)作組成的子行為序列向量矩陣；b 是偏置項(xiàng)。通過卷積操作后,可得到特征映射向量c=[ c1, c2, …,cn-h+1]。

3.2.2 池化(Pooling)

池化就是對卷積之后得到的特征映射向量c 進(jìn)行下采樣,求得局部最優(yōu)解Mi,池化分為最大池化和平均池化,本文模型使用最大池化,最大池化操作可以由公式(3)表示。

由于池化會(huì)中斷序列結(jié)構(gòu),因此將經(jīng)過池化后的Mi連接成特征向量u,如公式(4)所示。其中,K 表示卷積核的個(gè)數(shù)。

3.3 雙向門控循環(huán)單元層(BiGRU)

RNN 是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型,通過網(wǎng)絡(luò)中的循環(huán)結(jié)構(gòu)單元記錄序列數(shù)據(jù)的歷史信息,即當(dāng)前隱藏層的輸出不僅與當(dāng)前時(shí)刻的輸入有關(guān),還與前一時(shí)刻隱藏層的輸出有關(guān)[17]。普通RNN可以有效地利用近距離的語義特征,但存在著梯度消失的問題[18],為了解決該問題,RNN 出現(xiàn)了LSTM[19],GRU[20]等變體,GRU 其實(shí)是LSTM 的一種改進(jìn),它們都通過“門機(jī)制”來記憶前面的序列信息,以彌補(bǔ)普通RNN 的不足。不過相比于LSTM 的三個(gè)門單元,GRU 只有兩個(gè)門單元,分別為更新門和重置門,其模型更簡單、參數(shù)更少,收斂速度更快。

圖5 為GRU 單元結(jié)構(gòu)圖。zt和rt分別為GRU 的更新門和重置門,xt是t 時(shí)刻GRU 單元的輸入,ht是t時(shí)刻GRU 單元輸出的隱藏信息。GRU 單元的具體計(jì)算過程如下所示：

其中,ωz,ωr,ωh分別為更新門,重置門以及候選隱含狀態(tài)的權(quán)重矩陣。

雖然GRU 能夠很好地捕捉到行為序列的長距離信息,但是單向的GRU 在t 時(shí)刻只能捕捉到t 時(shí)刻之前的歷史信息,為了捕捉到前后行為之間完整的關(guān)聯(lián)信息,本文使用雙向的GRU(BiGRU)網(wǎng)絡(luò)對行為序列進(jìn)行建模,BiGRU 既考慮了t 時(shí)刻之前的行為信息,同時(shí)考慮了t 時(shí)刻之后的行為信息。

圖6 為BiGRU 網(wǎng)絡(luò)結(jié)構(gòu)圖,從圖6 可以看出,BiGRU 網(wǎng)絡(luò)包含前向GRU 和后向GRU。t 時(shí)刻,前向GRU 的隱藏狀態(tài)由xt和決定,可以獲取到t 時(shí)刻之前的行為信息,后向GRU 的隱藏狀態(tài)由xt和決定,可以獲取到t 時(shí)刻之后的行為信息,然后再通過向量拼接的方式得到最終的隱藏狀態(tài),這樣,行為序列中的每個(gè)行為的隱層狀態(tài)都包含完整的前后關(guān)聯(lián)信息。相較于單向的GRU 而言,BiGRU可以挖掘出更為全面的特征信息。BiGRU 具體的計(jì)算過程如式(9)、(10)、(11)所示。

3.4 注意力層(Attention)

Attention 機(jī)制的作用是通過對模型輸入特征賦予不同的權(quán)重,加強(qiáng)重要信息對最終結(jié)果的影響。在作弊行為檢測的過程中,每個(gè)行為特征對最終檢測結(jié)果的貢獻(xiàn)度是不同的,基于此,本文引入Attention機(jī)制來對不同的特征分配不同的權(quán)重值。此前已通過CNN、BiGRU 網(wǎng)絡(luò)分別獲取了行為序列的局部特征向量、時(shí)序特征向量,為了更加完整的表征行為序列,將局部特征向量和時(shí)序特征向量進(jìn)行首尾相連得到新的行為序列特征向量zi,然后將其輸入到Attention 層得到作弊行為的最終表示。

Attention 層的計(jì)算過程如公式(12)、(13)、(14)所示。

其中,ω1和ω2為權(quán)重矩陣；b 為偏置項(xiàng)；γ為注意力層的輸出。

3.5 輸出層(Output)

輸出層實(shí)際上是一個(gè)Sigmoid 分類器。經(jīng)過前面幾步,我們已經(jīng)得到了行為序列的最終表征向量,將其輸入到Sigmoid 分類器中進(jìn)行分類得到作弊檢測結(jié)果。

4 實(shí)驗(yàn)

本文實(shí)驗(yàn)環(huán)境為一臺(tái)高性能服務(wù)器,搭載Centos7操作系統(tǒng)；CPU為Corei5-8300H,128G內(nèi)存；硬盤配置 2 塊 1TB 的 3.5 寸 SATA；GPU 為QuadroGP100,16GB 的HBM2 顯卡。本文使用Keras來實(shí)現(xiàn)模型的搭建,Keras是一個(gè)用Python編寫的高級神經(jīng)網(wǎng)絡(luò)API,它能夠以TensorFlow、CNTK 或者Theano 作為后端運(yùn)行,旨在完成深度學(xué)習(xí)的快速開發(fā)。

4.1 數(shù)據(jù)來源

本文從某MOOC 在線學(xué)習(xí)平臺(tái)的數(shù)據(jù)庫中獲取了210 門學(xué)分課程總計(jì)203.5GB的脫敏數(shù)據(jù),時(shí)間跨度為2018 年的9 月到2019 年的12 月,涵蓋了60 個(gè)院校共46920 名學(xué)習(xí)者的學(xué)習(xí)行為軌跡。對原始數(shù)據(jù)進(jìn)行預(yù)處理,最終提取了1788416 條學(xué)習(xí)行為序列來驗(yàn)證所提方法的有效性,選取其中75%的樣本作為訓(xùn)練集,25%的樣本作為驗(yàn)證集。

4.2 參數(shù)設(shè)置

參數(shù)設(shè)置會(huì)直接影響本文模型的檢測效果,模型的參數(shù)設(shè)置如表1 所示。

表1 模型的參數(shù)設(shè)置Table 1 Parameter settings of the model

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 MOOC 作弊行為檢測模型對比

為了評估本文模型的檢測性能,分別選用CNN、LSTM、GRU、BiGRU、CNN-BiGRU、BiGRU-Attention 等方法在驗(yàn)證集上進(jìn)行對比實(shí)驗(yàn),結(jié)果如表2 所示。從實(shí)驗(yàn)結(jié)果來看,本文提出的CNN-BiGRU-Attention 模型取得了最高的精確率、召回率、AUC 和最低的誤報(bào)率,分別為98.51%、81.35%、91.07%和0.016%,可見本文模型的檢測效果優(yōu)于其對比模型。對比前四組實(shí)驗(yàn),可以看出,相比于CNN 和LSTM 模型,GRU 的作弊檢測性能更好,另外,BiGRU 對比單向的LSTM 和GRU,模型的各個(gè)性能指標(biāo)均有提升,說明采用雙向結(jié)構(gòu)的BiGRU能更充分的提取序列的上下文信息,進(jìn)而提高了作弊行為的檢測能力。對比第一組、第四組和第五組實(shí)驗(yàn),CNN-BiGRU 聯(lián)合模型相比于單一的CNN 或者單一的BiGRU 模型,在精確率、召回率和AUC 上都有明顯的提升,主要是因?yàn)镃NN-BiGRU 聯(lián)合模型同時(shí)結(jié)合了CNN和BiGRU模型結(jié)構(gòu)的優(yōu)勢,既學(xué)習(xí)了行為序列的空間特征,又學(xué)習(xí)了行為序列的時(shí)序特征。對比第四組和第六組實(shí)驗(yàn),可以看出,在BiGRU 的基礎(chǔ)上引入注意力機(jī)制后,檢測模型的精確率、召回率和AUC 值分別提升了1.15%、0.4%和1.44%,究其原因,主要是因?yàn)橐胱⒁饬C(jī)制后,對檢測貢獻(xiàn)度大的特征給予了更高的權(quán)重,提升了重要特征對行為序列分類的影響力。本文提出的CNN-BiGRU-Attention 網(wǎng)絡(luò)模型,由于同時(shí)結(jié)合了CNN、BiGRU 以及注意力機(jī)制等網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢,模型的檢測性能進(jìn)一步得到了提升。

表2 實(shí)驗(yàn)結(jié)果Table 2 Experimental results

此外,在實(shí)驗(yàn)過程中發(fā)現(xiàn),由于數(shù)據(jù)規(guī)模較大,上述模型往往在第一個(gè)epoch 就能達(dá)到收斂,為此選取了上述模型中表現(xiàn)較好的三個(gè)模型,繪制了它們在第一個(gè)epoch 的訓(xùn)練損失曲線,如圖7 所示,可以看出,相較于CNN-BiGRU、BiGRU-Attention,CNNBiGRU-Attention 的收斂速度最慢,但是損失最低,模型擬合效果最好。

4.3.2 數(shù)據(jù)擴(kuò)增性能提升對比

在訓(xùn)練深度學(xué)習(xí)模型時(shí),常常會(huì)出現(xiàn)模型過擬合的現(xiàn)象,而導(dǎo)致這一現(xiàn)象出現(xiàn)的原因很可能就是訓(xùn)練樣本不足或者訓(xùn)練樣本類別不均衡。在進(jìn)行MOOC 作弊行為檢測研究時(shí),相對于正常樣本,作弊樣本往往是少之又少?；诖?本文采用序列截?cái)鄶U(kuò)增、平移擴(kuò)增這兩種數(shù)據(jù)擴(kuò)增方法來增加作弊行為序列的樣本量。截?cái)鄶U(kuò)增,具體而言就是對長度過長的作弊行為序列進(jìn)行截?cái)?將截?cái)嗪蟮男蛄写蛏献鞅椎臉?biāo)簽,從而增加作弊標(biāo)簽的樣本量。而平移擴(kuò)增是指通過時(shí)間滑窗的方式,以24 h 的固定窗口前后滑動(dòng),獲取一段新的作弊行為序列。實(shí)驗(yàn)表明,通過數(shù)據(jù)擴(kuò)增后再進(jìn)行模型訓(xùn)練,能夠提高模型的泛化能力。經(jīng)過數(shù)據(jù)擴(kuò)增前后的訓(xùn)練集樣本分布如下表3 所示。

表3 數(shù)據(jù)擴(kuò)增前后的訓(xùn)練集樣本分布Table 3 Sample distribution of the training set before and after the data augmentation

圖8 為采用LSTM,GRU,BiGRU 以及本文模型分別對數(shù)據(jù)擴(kuò)增前后的訓(xùn)練集進(jìn)行模型訓(xùn)練后,在驗(yàn)證集上得到的AUC 結(jié)果。本文提出的CNNBiGRU-Attention 模型在數(shù)據(jù)擴(kuò)增前,在驗(yàn)證集上獲取的AUC 為91.07%,而經(jīng)過數(shù)據(jù)擴(kuò)增后,在相同驗(yàn)證集上獲取的AUC 為92.85%,相比之前提升了1.78%。LSTM、GRU、BiGRU 經(jīng)過數(shù)據(jù)擴(kuò)增后AUC也分別提升了1.45%,1.47%,1.58%。

5 結(jié)論

本文研究了一種基于深度學(xué)習(xí)混合模型CNN-BiGRU-Attention 用于MOOC 作弊行為檢測。利用CNN-BiGRU 聯(lián)合網(wǎng)絡(luò)提取行為序列的空間和時(shí)序特征,并引入注意力機(jī)制對作弊檢測貢獻(xiàn)度大的特征給予更高的權(quán)重,然后利用Sigmoid 分類器進(jìn)行分類得到作弊檢測結(jié)果。此外,通過對比實(shí)驗(yàn)CNN、LSTM、GRU、BiGRU、CNN-BiGRU、BiGRU-Attention 等算法,證明了本文實(shí)驗(yàn)方法的有效性。另外,針對實(shí)際情況下,MOOC 作弊行為檢測中存在的數(shù)據(jù)類別不均衡問題,采用數(shù)據(jù)擴(kuò)增的方法增加少數(shù)類樣本量,實(shí)驗(yàn)表明,通過數(shù)據(jù)擴(kuò)增后再進(jìn)行模型訓(xùn)練,能降低模型過擬合的風(fēng)險(xiǎn),提高模型的泛化能力。

本文討論的是有標(biāo)簽數(shù)據(jù)集情況下的MOOC 作弊行為檢測,而在實(shí)際情況下,帶有標(biāo)簽的數(shù)據(jù)是較少的,后續(xù)研究需要進(jìn)一步結(jié)合半監(jiān)督學(xué)習(xí)的MOOC 作弊行為檢測方法,提高作弊檢測的準(zhǔn)確度。