基于深度神經(jīng)網(wǎng)絡(luò)的在線協(xié)作學(xué)習(xí)交互文本分類方法

甄園宜　鄭蘭琴

摘要：有效的在線協(xié)作學(xué)習(xí)可顯著改善在線教學(xué)質(zhì)量，而對在線協(xié)作學(xué)習(xí)過程的實(shí)時(shí)分析、監(jiān)控和干預(yù)是促進(jìn)協(xié)作學(xué)習(xí)行為有效發(fā)生的關(guān)鍵，這有賴于對在線協(xié)作學(xué)習(xí)交互文本的精準(zhǔn)分類。為避免人工編碼和傳統(tǒng)機(jī)器學(xué)習(xí)方法分類效果欠佳的不足，采用基于深度神經(jīng)網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時(shí)記憶（LSTM）、雙向長短時(shí)記憶（Bi-LSTM）等模型構(gòu)建面向在線協(xié)作學(xué)習(xí)交互文本的分類模型，以Word2Vec作為詞向量，提出了包含數(shù)據(jù)收集整理、文本標(biāo)簽標(biāo)注、數(shù)據(jù)預(yù)處理、詞嵌入、數(shù)據(jù)采樣、模型訓(xùn)練、模型調(diào)參和模型評價(jià)等步驟的在線協(xié)作學(xué)習(xí)交互文本自動分類方法。以知識語義類、調(diào)節(jié)類、情感類、問題類和無關(guān)信息類等作為交互文本的類別劃分，對51組大學(xué)生所產(chǎn)生的16047條在線協(xié)作學(xué)習(xí)交互文本進(jìn)行分類后發(fā)現(xiàn)：Bi-LSTM模型的分類效果最好，其整體準(zhǔn)確率為77.42%;各文本分類模型在問題類、無關(guān)信息類交互文本上的準(zhǔn)確率較低;CNN模型和LSTM模型在問題類交互文本上的分類效果更佳。該方法在面向在線協(xié)作學(xué)習(xí)的知識掌握度評估、學(xué)習(xí)活動維持、消極學(xué)習(xí)情緒干預(yù)、學(xué)習(xí)預(yù)警與提示等方面具有較高的應(yīng)用價(jià)值。

關(guān)鍵詞：在線協(xié)作學(xué)習(xí);深度學(xué)習(xí);深度神經(jīng)網(wǎng)絡(luò);交互文本;文本分類

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2020）03-0104-09? doi10.3969/j.issn.1009-5195.2020.03.012

*基金項(xiàng)目：國家自然科學(xué)基金青年項(xiàng)目“基于教育知識圖譜的在線協(xié)作學(xué)習(xí)交互分析關(guān)鍵技術(shù)研究”（61907003）;北京師范大學(xué)教育學(xué)部2019年度學(xué)科建設(shè)綜合專項(xiàng)資金資助（2019QNJS010）。

作者簡介：甄園宜，碩士研究生，北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院（北京 100875）;鄭蘭琴（通訊作者），博士，副教授，碩士生導(dǎo)師，北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院（北京 100875）。

一、引言

協(xié)作學(xué)習(xí)是指學(xué)生以小組形式參與，為達(dá)到共同的學(xué)習(xí)目標(biāo)，在一定的激勵(lì)機(jī)制下最大化個(gè)人和他人習(xí)得成果而互助合作的一切相關(guān)行為（黃榮懷，2003）。在線協(xié)作學(xué)習(xí)因不受時(shí)空限制、靈活有效的優(yōu)勢而成為在線學(xué)習(xí)的重要方式。其作為促進(jìn)學(xué)生問題解決、知識建構(gòu)和合作交流等高階技能發(fā)展的重要手段，顯著提高了在線教育的質(zhì)量和效果（琳達(dá)·哈拉西姆等，2015）。Dillenbourg等（2007）指出，不應(yīng)泛泛地研究“協(xié)作”，而應(yīng)深入地研究“交互”，因?yàn)榻换ナ抢斫鈪f(xié)作學(xué)習(xí)本質(zhì)的關(guān)鍵。目前，許多研究通過對在線交互文本的分類來分析學(xué)習(xí)者的交互行為、認(rèn)知、情感傾向以及批判性思維。如柴陽麗等（2019）將在線協(xié)作學(xué)習(xí)交互文本分為信息共享、協(xié)商討論、綜合評論、新問題的產(chǎn)生、新問題的討論、新問題的總結(jié)等六個(gè)類別，據(jù)此提出在線對話改進(jìn)策略。冷靜等（2018）把在線協(xié)作學(xué)習(xí)者的批判性思維編碼為五類，即辨識、理解、分析、評價(jià)和創(chuàng)新，進(jìn)而發(fā)現(xiàn)參與在線協(xié)作學(xué)習(xí)有助于學(xué)生批判性思維的提高。由此可見，對在線協(xié)作學(xué)習(xí)交互文本進(jìn)行精準(zhǔn)、高效地分類是提升協(xié)作學(xué)習(xí)效果的重要基礎(chǔ)，且對于教師的實(shí)時(shí)反饋和干預(yù)也具有重要意義和價(jià)值。

然而，已有研究在對在線協(xié)作學(xué)習(xí)中的交互文本進(jìn)行分類時(shí)，大多采用人工編碼或傳統(tǒng)機(jī)器學(xué)習(xí)的方法。例如，郝祥軍等（2019）在對4844條在線協(xié)作學(xué)習(xí)交互文本進(jìn)行分類時(shí)，首先對編碼人員進(jìn)行編碼規(guī)則培訓(xùn)，而后采用兩人一組背對背的方式進(jìn)行編碼，并對編碼結(jié)果進(jìn)行一致性檢驗(yàn)，最后再通過協(xié)商確定有爭議文本的編碼。Zhang等（2019）選取一元語法（Unigrams）、二元語法（Bigrams）和文本長度等作為交互文本的特征，依據(jù)學(xué)習(xí)者貢獻(xiàn)類型將在線協(xié)作學(xué)習(xí)交互文本劃分為提問、引用、立論和闡述等四類。由此可見，已有的在線協(xié)作學(xué)習(xí)交互文本分類方法的人工依賴性較強(qiáng)且在分類結(jié)果的產(chǎn)生上具有滯后性，還會因未能對交互過程文本進(jìn)行語義層面的特征表示而導(dǎo)致分類準(zhǔn)確率較低。因此，如何對在線協(xié)作學(xué)習(xí)交互文本進(jìn)行精準(zhǔn)分類是目前亟待解決的問題。

隨著自然語言處理（Natural Language Processing，NLP）技術(shù)的日漸成熟，利用計(jì)算機(jī)對人類特有的書面形式和口頭語形式的自然語言信息進(jìn)行處理和加工的能力不斷增強(qiáng)（馮志偉，1997）。研究表明，基于深度神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練詞向量的文本分類方法表現(xiàn)優(yōu)良（宗成慶等，2019）。深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）是有多個(gè)隱藏層的多層感知機(jī)（Multi-Layer Perceptron，MLP），由輸入層、隱藏層和輸出層組成（Seide et al.，2011）。深度神經(jīng)網(wǎng)絡(luò)能夠從大量的原始數(shù)據(jù)中自動提取高層特征并有效表征輸入空間，使得其在多個(gè)領(lǐng)域表現(xiàn)良好（Sze et al.，2017）。因此，本研究采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建在線協(xié)作學(xué)習(xí)交互文本分類模型，以對在線協(xié)作學(xué)習(xí)過程中產(chǎn)生的交互文本進(jìn)行實(shí)時(shí)精準(zhǔn)分類，進(jìn)而為在線協(xié)作學(xué)習(xí)的實(shí)時(shí)分析和監(jiān)控提供支撐。

二、文獻(xiàn)綜述

1.在線協(xié)作學(xué)習(xí)交互文本分類研究

對在線交互文本進(jìn)行分類，不僅有助于快速了解學(xué)習(xí)者在進(jìn)行交互時(shí)的言語特征、行為特征、交互模式和進(jìn)展?fàn)顩r，還能夠捕捉學(xué)習(xí)者在進(jìn)行交互時(shí)的情感傾向和知識建構(gòu)模式。在協(xié)作學(xué)習(xí)領(lǐng)域，相關(guān)研究主要圍繞協(xié)作學(xué)習(xí)的言語交互類型和交互行為類型展開。例如Rafaeli等（1997）對協(xié)作學(xué)習(xí)過程中的言語交互類型進(jìn)行分析后，將其分為單向交互、雙向交互和互動式交互，其中單向交互是指一位學(xué)習(xí)者發(fā)出信息而其他學(xué)習(xí)者沒有應(yīng)答;雙向交互是指一位學(xué)習(xí)者發(fā)出信息后其他學(xué)習(xí)者發(fā)出應(yīng)答信息;互動式交互是指一位學(xué)習(xí)者發(fā)出信息后，其他學(xué)習(xí)者應(yīng)答并引起下一輪的交互。此外，針對交互過程中的行為特征，也有研究從信息交流序列、知識建構(gòu)和學(xué)習(xí)資源等視角出發(fā)，采用人工編碼的方式對交互行為進(jìn)行分類。例如Capponi等（2010）基于交互行為的序列特征將協(xié)作學(xué)習(xí)中的交互行為分為信息交換、矛盾沖突、協(xié)商、達(dá)成共識、忽視他人意見、問題解決、幫助信息、教師評價(jià)等八類。Hou等（2011）把在線協(xié)作學(xué)習(xí)的知識建構(gòu)行為分為知識相關(guān)類、任務(wù)協(xié)調(diào)類、社會交往類、跑題類等四種。Lee等（2011）收集11位研究生在為期6周的異步協(xié)作學(xué)習(xí)過程中產(chǎn)生的662條文本數(shù)據(jù)，將其分為社會協(xié)調(diào)、學(xué)習(xí)資源、學(xué)習(xí)資源整合利用等三類。

2.在線協(xié)作學(xué)習(xí)交互文本的分類方法研究

除采用人工編碼的方法外，也有研究采用機(jī)器學(xué)習(xí)算法對在線協(xié)作學(xué)習(xí)文本進(jìn)行分類。例如，Xie等（2018）基于57名美國大學(xué)生在為期16周的課程學(xué)習(xí)中產(chǎn)生的4083條討論記錄，使用邏輯回歸（Logistic Regression）和自適應(yīng)增強(qiáng)（AdaBoost）算法將其分為領(lǐng)導(dǎo)者信息和常規(guī)信息，以識別學(xué)生在學(xué)習(xí)過程中的領(lǐng)導(dǎo)力行為，基于這兩個(gè)算法自動編碼結(jié)果的F1值分別為68.6%和72.2%。Liu等（2017）基于6650名K-12教師在學(xué)習(xí)平臺OPOP上持續(xù)4個(gè)月參與在線協(xié)作學(xué)習(xí)所產(chǎn)生的17624條數(shù)據(jù)，以詞頻-逆向文件頻率（Term Frequency-Inverse Documnt Frequency，TF-IDF）作為詞向量進(jìn)行文檔表示，并使用樸素貝葉斯算法將其分為技術(shù)描述、技術(shù)分析、技術(shù)反思、個(gè)人描述、個(gè)人分析和個(gè)人反思等六類，以實(shí)現(xiàn)對教師反思思維等級的預(yù)測。Tao等（2018）開發(fā)了包含可視化協(xié)作學(xué)習(xí)交互文本自動分析功能的主意線索地圖工具，可根據(jù)貢獻(xiàn)類型，利用支持向量機(jī)、樸素貝葉斯等算法將交互文本自動分為提問、引用、理論描述和闡述等四類，以幫助學(xué)生監(jiān)控任務(wù)進(jìn)展、個(gè)人貢獻(xiàn)度和協(xié)作網(wǎng)絡(luò)關(guān)系，從而達(dá)到提升學(xué)習(xí)效果的目的。

綜上所述，目前對在線協(xié)作學(xué)習(xí)交互文本的分類多采用人工編碼和傳統(tǒng)機(jī)器學(xué)習(xí)算法兩種方式。在使用人工編碼方式進(jìn)行文本分類時(shí)，人工依賴性強(qiáng)且無法進(jìn)行實(shí)時(shí)分類;在采用傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行文本分類時(shí)，選取的文本特征較為單一，且難以捕捉文本上下文語義信息，導(dǎo)致文本分類準(zhǔn)確率較低。

3.計(jì)算機(jī)領(lǐng)域文本分類技術(shù)研究現(xiàn)狀

傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域中的文本分類方法主要包括三個(gè)步驟，即特征工程、特征選擇以及分類算法選擇（Kowsari et al.，2019）。在特征工程中多選用詞袋、詞頻-逆向文件頻率、詞性標(biāo)注、名詞短語（Lewis et al.，1992）等作為文本特征。為剔除特征工程中的噪聲，需要進(jìn)行特征選擇，所采用的主要方法有去停用詞、L1正則化（Ng，2004）和互信息（Cover et al.，2012）等。常用的機(jī)器學(xué)習(xí)分類算法有邏輯回歸、樸素貝葉斯和支持向量機(jī)等。然而，傳統(tǒng)機(jī)器學(xué)習(xí)中的文本分類方法存在數(shù)據(jù)稀疏、計(jì)算資源浪費(fèi)大等問題。

深度學(xué)習(xí)算法因其能夠避免由于數(shù)據(jù)稀疏、人工提取特征而導(dǎo)致的偏差，被廣泛應(yīng)用于文本分類任務(wù)中（Zhang et al.，2015）。基于深度學(xué)習(xí)算法的文本分類方法優(yōu)化研究主要從詞向量的表示和分類模型的構(gòu)建兩個(gè)方面對原有方法進(jìn)行改進(jìn)。例如，Kim（2014）基于Google新聞?lì)A(yù)訓(xùn)練所獲得的1000億個(gè)Word2Vec詞向量，通過變化詞向量的形式（即隨機(jī)初始化、單通道傳統(tǒng)Word2Vec、單通道訓(xùn)練后的Word2Vec、雙通道詞向量）構(gòu)建了4個(gè)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）變體模型，并在電影評論（二分類）、斯坦福情感資料庫（五分類）、斯坦福情感資料庫（二分類）、主客觀句庫（二分類）、顧客商品評論（二分類）、MPQA兩極評論（二分類）等6個(gè)數(shù)據(jù)集上進(jìn)行文本分類實(shí)驗(yàn)，發(fā)現(xiàn)各模型分類結(jié)果的F1值在45.0%到89.6%之間。Lai等（2015）為避免人工設(shè)計(jì)文本分類的特征和規(guī)則，構(gòu)建了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和最大池化層的組合模型，使用RNN模型提取文本的上下文信息，并基于最大池化層自動提取對文本分類起關(guān)鍵作用的詞語，并在20-Newsgroups、Fudan Set、 ACL Anthology Network和Sentiment Treebank等4個(gè)公開數(shù)據(jù)集上進(jìn)行了分類實(shí)驗(yàn)，其分類結(jié)果的F1值在32.70%到93.12%之間。Li等（2018a）提出了基于優(yōu)化的TF-IDF和加權(quán)Word2Vec的文本表示模型，并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行分類，實(shí)驗(yàn)語料為網(wǎng)易新聞?wù)Z料庫（六分類）的24000篇新聞和復(fù)旦文本分類語料庫（八分類）的7691篇新聞，其分類結(jié)果的F1值分別為95.85%和96.93%。Vargas-Calderón等 （2019）基于波哥大市民在6個(gè)月內(nèi)產(chǎn)生的263萬余條推特文本數(shù)據(jù)，使用Word2Vec作為詞向量，進(jìn)行文本聚類以發(fā)現(xiàn)有共同話題的市民。Jang等 （2019）基于12萬余篇新聞文章和29萬余條推特文本數(shù)據(jù)，使用Word2Vec作為詞向量，CNN作為分類器對數(shù)據(jù)進(jìn)行是否相關(guān)的二分類研究，并對兩種詞向量訓(xùn)練方式（即Continuous Bag-of-Words和Skip-Gram）的分類精度進(jìn)行了比較，結(jié)果表明使用Continuous Bag-of-Words詞向量訓(xùn)練方式的新聞文章分類結(jié)果的F1值為93.51%，而使用Skip-Gram訓(xùn)練方式的推特文章分類結(jié)果的F1值為90.97%。

此外，也有研究者通過構(gòu)建更優(yōu)的神經(jīng)網(wǎng)絡(luò)模型來提升文本分類模型的效果。例如，Joulin 等（2016）提出采用FASText方法進(jìn)行文本分類，結(jié)果表明其具有訓(xùn)練速度快、耗能較低等優(yōu)點(diǎn)。Felbo 等（2017）提出了基于Embedding層、雙向長短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）模型和注意力機(jī)制的DeepMoji模型，將Embedding層和Bi-LSTM作為輸入以得到文檔的向量表征，再將向量輸入到softmax層以得到在各分類標(biāo)簽上的概率分布，進(jìn)而獲得分類結(jié)果。Yao等 （2019）采用圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks，GCN）模型，通過構(gòu)建包含詞節(jié)點(diǎn)和文檔節(jié)點(diǎn)的大型異構(gòu)文本圖，并利用Co-occurrence信息對全局詞語進(jìn)行建模的方式，基于對節(jié)點(diǎn)的分類得到文本分類結(jié)果。

綜上所述，學(xué)者們出于不同的研究目標(biāo)開展了諸多有關(guān)在線協(xié)作學(xué)習(xí)交互文本分類的研究，其所使用的方法多為人工編碼或邏輯回歸、支持向量機(jī)等傳統(tǒng)機(jī)器學(xué)習(xí)方法，這些方法存在人工依賴性強(qiáng)且分析結(jié)果滯后等不足。鑒于新興的基于深度學(xué)習(xí)的自然語言處理技術(shù)在文本分類中的效果良好，本研究采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建在線協(xié)作學(xué)習(xí)交互文本的自動分類模型，以期為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)支持服務(wù)。

三、在線協(xié)作學(xué)習(xí)交互文本分類模型構(gòu)建

1.分類標(biāo)準(zhǔn)

本研究基于鄭蘭琴（2015）對協(xié)作學(xué)習(xí)交互分析的研究，將在線協(xié)作學(xué)習(xí)交互文本分為知識語義類、調(diào)節(jié)類、情感類、問題類和無關(guān)信息類等五類。其具體的類別劃分及示例如表1所示。

2.自動分類流程

本研究基于深度學(xué)習(xí)技術(shù)設(shè)計(jì)了如圖1所示的在線協(xié)作學(xué)習(xí)交互文本自動分類流程，其主要包括數(shù)據(jù)收集整理、人工標(biāo)注文本標(biāo)簽、數(shù)據(jù)預(yù)處理、Word2Vec詞嵌入、數(shù)據(jù)采樣、模型訓(xùn)練、模型調(diào)參和模型評價(jià)等8個(gè)步驟。

圖1 在線協(xié)作學(xué)習(xí)交互文本自動分類流程

3.數(shù)據(jù)收集及標(biāo)注

本研究招募51組大學(xué)生開展在線協(xié)作學(xué)習(xí)，通過學(xué)習(xí)平臺自動記錄學(xué)習(xí)過程中的交互文本，并將收集到的交互文本數(shù)據(jù)集按表1所示的類別標(biāo)注為0、1、2、3、4等5類。例如，“問題解決策略主要包含算法式和啟發(fā)式”屬于知識語義類，類型序號標(biāo)注為0;“這個(gè)我不懂，好難?。　睂儆趩栴}類，類型序號標(biāo)注為3。

4.數(shù)據(jù)預(yù)處理

研究主要從以下兩個(gè)方面對數(shù)據(jù)進(jìn)行預(yù)處理。一是去除特殊字符和標(biāo)點(diǎn)，即對交互文本數(shù)據(jù)集中的特殊字符、空白字符、標(biāo)點(diǎn)符號等進(jìn)行糾正或刪除，以去除交互文本數(shù)據(jù)集中的噪聲。二是進(jìn)行分詞操作，即利用Jieba分詞庫對交互文本進(jìn)行分詞操作。Jieba分詞庫是Python編程環(huán)境下被廣泛使用的中文分詞工具包，其主要的分詞操作模式有精確模式、全模式和搜索引擎模式等三種。本研究采用精準(zhǔn)模式對交互文本進(jìn)行分詞處理，即按照分詞后詞頻最高的原則對句子做分詞操作。

5.向量表示

本研究使用Mikolov等（2013）提出的Word2Vec作為詞嵌入的詞向量模型，將交互文本轉(zhuǎn)換為計(jì)算機(jī)能夠處理的向量表示方式。該詞向量模型所生成的詞向量含有語義信息，主要包含通過上下文預(yù)測中心詞的Continuous Bag-of-Word模型和通過中心詞預(yù)測上下文的Skip-Gram模型（Rong，2014），其所采用的層次Softmax和負(fù)采樣算法可提升語義表征性能。

由于本研究的交互文本數(shù)據(jù)集較小，訓(xùn)練獲得的詞向量無法涵蓋所有詞語，因此采用中文類比推理數(shù)據(jù)集CA8作為詞向量（Li et al.，2018b），其共有1348468個(gè)中文詞語，詞向量的維度為300。研究收集到的交互文本數(shù)據(jù)集共有184680個(gè)詞，去重后的9079個(gè)詞中有7500個(gè)是語料庫中具有的，其余1579個(gè)未登錄詞經(jīng)檢查與語料分類無關(guān)，故使用全體向量的均值對其進(jìn)行表示。

6.數(shù)據(jù)采樣

由于本研究的交互文本數(shù)據(jù)集中的五類文本在樣本量上存在較大差異，即協(xié)調(diào)類、問題類和無關(guān)信息類樣本的數(shù)量較少，因此針對該文本數(shù)據(jù)集的分類問題屬于不平衡數(shù)據(jù)分類問題。為避免由于訓(xùn)練集樣本數(shù)據(jù)不平衡而產(chǎn)生分類誤差，研究采用合成少數(shù)類過采樣（Synthetic Minority Over-sampling Technique，SMOTE）與下采樣（Under-sampling）相結(jié)合的混合采樣方式，即通過增加數(shù)據(jù)集中少數(shù)類的數(shù)量、減少數(shù)據(jù)集中多數(shù)類的數(shù)量以達(dá)到數(shù)據(jù)集的平衡（Chawla et al.，2002）。該種采樣方式既減少了語義信息的損失，又使得訓(xùn)練時(shí)間不至于過長（Batista et al.，2004）。

7.文本分類器模型

考慮到CNN模型在文本特征選取方面具有較大優(yōu)勢，而長短時(shí)記憶（Long Short-Term Memory，LSTM）模型可保留文本的序列信息且雙向長短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）模型可保留文本序列的上下文信息，因此，研究選取基于深度神經(jīng)網(wǎng)絡(luò)的CNN、LSTM和Bi-LSTM模型作為在線協(xié)作學(xué)習(xí)交互文本的分類器模型。

（1）CNN模型

CNN模型由LeCun等（1998）提出并首先被用于圖像識別領(lǐng)域，其在圖像分類任務(wù)中具有良好的表現(xiàn)。CNN模型的基本組成包括輸入層、卷積層、池化層、全連接層和輸出層，其中卷積層和池化層有多個(gè)且一般采用交替設(shè)置的架構(gòu)，即一個(gè)卷積層后連接一個(gè)池化層，池化層后再連接一個(gè)卷積層。Kim（2014）最先將CNN模型應(yīng)用于文本分類任務(wù)，并取得了較好的分類效果。

CNN模型的基本思想如下：假設(shè)詞xi∈Rk，即句子中的第i個(gè)詞是一個(gè)k維向量;首先對句子進(jìn)行填充操作，填充后句子的長度變?yōu)閚，則單個(gè)句子可表示為X1：n=x1⊕x2⊕…⊕xn，其中的⊕表示向量連接操作，即整個(gè)句子的句向量為所含的每個(gè)詞的詞向量拼接而成的向量;之后，使用卷積核w∈Rhk對句子進(jìn)行二維卷積操作，即使用卷積得到的h個(gè)詞產(chǎn)生一個(gè)新特征，例如卷積核w在詞Xi：i+h-1上卷積生成特征Ci，Ci=f（w·xi：i+h-1+b），其中b∈R是函數(shù)的偏置值，f為非線性的激活函數(shù);然后，設(shè)定卷積核w的步長為1，并將其應(yīng)用于句子{x1：h，x2：h，…，xn-h+1：n }上，產(chǎn)生句子矩陣的特征圖c，c=[c1，c2，…，cn-h+1 ];最后，遍歷整個(gè)特征圖并進(jìn)行最大池化操作，找到最大的c值作為特征，=max{c}作為特征與特定的卷積核對應(yīng)。

（2）LSTM模型

Hochreiter等 （1997）提出的LSTM模型是RNN模型的一個(gè)變種，其因具有時(shí)序性且長期依賴問題較弱而被廣泛應(yīng)用于時(shí)間序列類模型中。LSTM模型的基本思想如下：假設(shè)時(shí)間點(diǎn)為t，在整個(gè)時(shí)間序列內(nèi)輸入的序列X={x1，x2，…，xt}，即在文本任務(wù)中，X代表一條文本記錄，每個(gè)時(shí)間點(diǎn)的輸入表示一條文本記錄經(jīng)過分詞后的每個(gè)詞。在每個(gè)時(shí)間點(diǎn)t，模型的輸入包括當(dāng)前輸入xt、上一時(shí)刻隱藏狀態(tài)的輸出ht-1和上一個(gè)記憶單元狀態(tài)ct-1;模型的輸出包括當(dāng)前隱藏狀態(tài)的輸出ht和當(dāng)前記憶單元狀態(tài)ct 。LSTM神經(jīng)單元主要通過控制記憶單元狀態(tài)ct對上一時(shí)刻和當(dāng)前時(shí)刻的輸入進(jìn)行遺忘和輸出，通過對遺忘門ft 、輸入門it和輸出門ot 等三個(gè)門控單元的設(shè)置，實(shí)現(xiàn)記憶單元ct對數(shù)據(jù)的輸入和遺忘，以此獲得分類結(jié)果。

（3）Bi-LSTM模型

Bi-LSTM模型是為彌補(bǔ)LSTM模型無法捕捉當(dāng)前計(jì)算時(shí)刻后文語義信息的缺陷而提出的改進(jìn)模型。Bi-LSTM模型通過連接反向的LSTM，使得模型既可以提取序列中當(dāng)前時(shí)刻前文的語義信息，也可以提取序列中當(dāng)前時(shí)刻后文的語義信息，從而實(shí)現(xiàn)對整個(gè)句子關(guān)鍵信息的提?。⊿chuster et al.，1997）。Bi-LSTM模型的每個(gè)LSTM單元的計(jì)算方法與LSTM模型一致，但其在得到前向和后向的單元輸出后，要做一個(gè)矩陣連接的操作，在求和并取平均值后連接一個(gè)輸出層以得到分類結(jié)果。

8.模型調(diào)參

在模型調(diào)參步驟中，主要使用了Python的sklearn工具包中的GridSearchCV函數(shù)進(jìn)行網(wǎng)格搜索，即將欲調(diào)各參數(shù)的全部可能值放于一個(gè)字典中，然后遍歷所有可能的參數(shù)組合，通過對各類參數(shù)設(shè)置情形下模型的準(zhǔn)確率進(jìn)行比較以獲得最優(yōu)的參數(shù)組合，進(jìn)而將其確定為本研究各模型的實(shí)際參數(shù)。

四、實(shí)驗(yàn)與結(jié)果

1.實(shí)驗(yàn)數(shù)據(jù)集

本研究基于筆者所在實(shí)驗(yàn)室自主開發(fā)的在線協(xié)作學(xué)習(xí)平臺進(jìn)行數(shù)據(jù)收集，一共招募了51個(gè)小組參加在線協(xié)作學(xué)習(xí)，每組人數(shù)為4人，同一小組的成員在不同的物理空間內(nèi)進(jìn)行學(xué)習(xí)。每個(gè)小組的在線協(xié)作學(xué)習(xí)任務(wù)均相同，即圍繞“教育心理學(xué)”課程中“問題解決的策略”章節(jié)展開討論，具體包括問題解決的策略是什么、專家和新手解決問題有何差異、如何培養(yǎng)學(xué)生的問題解決能力、如何基于問題解決進(jìn)行知識建構(gòu)、結(jié)構(gòu)不良問題的解決過程是什么等5個(gè)子任務(wù)。在開展協(xié)作學(xué)習(xí)活動之前，小組成員自由選擇四種角色（協(xié)調(diào)者、解釋者、總結(jié)者和信息搜集者）中的一種。每個(gè)小組在線協(xié)作學(xué)習(xí)的平均時(shí)長為2個(gè)小時(shí)。

在在線協(xié)作學(xué)習(xí)的過程中，51個(gè)小組共產(chǎn)生了16047條交互文本，每組平均約產(chǎn)生315條。為保證交互文本數(shù)據(jù)集服從真實(shí)在線協(xié)作學(xué)習(xí)情景下的數(shù)據(jù)分布以提高分類模型的泛化能力，本研究保留了全部原始數(shù)據(jù)。之后，將交互文本數(shù)據(jù)集分為訓(xùn)練集和測試集，即分別選取每類數(shù)據(jù)中的80%作為訓(xùn)練集，另20%作為測試集，再將五部分?jǐn)?shù)據(jù)合并作為完整的訓(xùn)練集和測試集。知識語義類、調(diào)節(jié)類、情感類、問題類和無關(guān)信息類等五類交互文本的分布情況如表2所示。

2.評價(jià)標(biāo)準(zhǔn)

本研究使用正確率（Precision）、召回率（Recall）、F1值和準(zhǔn)確率（Accuracy）作為在線協(xié)作學(xué)習(xí)交互文本分類效果的評價(jià)指標(biāo)，將二分類的評價(jià)標(biāo)準(zhǔn)在多分類中進(jìn)行延伸，即在每一個(gè)類別中將本類別看作正類，其他類別看作負(fù)類。具體計(jì)算公式如下所示。

其中，TP表示正確分類的正類數(shù)量，F(xiàn)P表示錯(cuò)誤分類的正類數(shù)量，TN表示正確分類的負(fù)類數(shù)量，F(xiàn)N表示錯(cuò)誤分類的負(fù)類數(shù)量。Precision表示預(yù)測為正類樣本的準(zhǔn)確性，即被預(yù)測為正類的樣本中實(shí)際正類的比例;Recall表示正類樣本被正確預(yù)測的比例，即所有正類樣本中被預(yù)測為正類的比例;F1表示在調(diào)和正確率和召回率之后，對分類器性能的綜合評判;Accuracy表示分類器的整體準(zhǔn)確率。

3.實(shí)驗(yàn)?zāi)Ｐ驮O(shè)置

實(shí)驗(yàn)的計(jì)算機(jī)硬件環(huán)境為Intel酷睿 i7-8700 CPU、16G內(nèi)存，操作系統(tǒng)采用64位Ubuntu。采用Keras框架對三個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的分類模型進(jìn)行了搭建，算法的“epochs” 和“batch_size”分別設(shè)置為200和64。模型其他具體參數(shù)設(shè)置如下：（1）CNN模型?；贙im（2014）等建立的CNN文本分類模型，使用64個(gè)大小為7×7的卷積核分別提取文本特征，經(jīng)過最大池化層處理后，使用 Softmax 函數(shù)對在線協(xié)作學(xué)習(xí)文本進(jìn)行分類。（2）LSTM模型。使用 256個(gè)LSTM神經(jīng)單元進(jìn)行語義學(xué)習(xí)（“dropout”設(shè)置為0.2），之后連接一個(gè)含有10個(gè)神經(jīng)單元的全連接層，最后使用Softmax 函數(shù)對在線協(xié)作學(xué)習(xí)文本進(jìn)行分類（所采用的優(yōu)化方法為Adam）。（3）Bi-LSTM模型。分別使用100個(gè)LSTM神經(jīng)單元進(jìn)行文本上下文語義的學(xué)習(xí)，之后連接一個(gè)Softmax 函數(shù)對在線協(xié)作學(xué)習(xí)文本進(jìn)行分類（所采用的優(yōu)化方法為Adam）。

4.實(shí)驗(yàn)結(jié)果與分析

利用訓(xùn)練集數(shù)據(jù)對上述三個(gè)文本分類器模型進(jìn)行訓(xùn)練，獲得的分類模型在測試集上進(jìn)行分類測試的各項(xiàng)指標(biāo)如表3所示。

由表3可知，Bi-LSTM模型的整體準(zhǔn)確率較CNN和LSTM模型高。Bi-LSTM模型在知識語義類、調(diào)節(jié)類、情感類和無關(guān)信息類交互文本上的F1值較另兩個(gè)模型高，相較CNN模型分別提高了1.33%、4.47%、4.24%和11.49%，相較LSTM模型分別提高了0.33%、4.28%、3.96%和11.39%。但Bi-LSTM模型在問題類交互文本上的分類效果不如CNN模型和LSTM模型，其F1值分別相差3.82%和3.08%。上述結(jié)果表明，Bi-LSTM模型可以更好地提取知識語義、調(diào)節(jié)類、情感類和無關(guān)信息類交互文本的語義信息，而在問題類交互文本的語義信息提取上還有待改進(jìn)。

Bi-LSTM模型在訓(xùn)練集和驗(yàn)證集中的準(zhǔn)確率（Training and Validation Accuracy）和Loss值（Training and Validation Loss）的變化曲線如圖2所示?？梢钥闯觯珺i-LSTM模型在訓(xùn)練過程中，Loss值逐漸縮小，模型準(zhǔn)確率逐漸升高至0.97，模型訓(xùn)練過程表現(xiàn)良好。

圖2? ?訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率和Loss值變化趨勢圖

圖3為Bi-LSTM模型經(jīng)歸一化處理后的混淆矩陣分析結(jié)果，其橫坐標(biāo)代表預(yù)測標(biāo)簽（Predicted Label，即分類結(jié)果），縱坐標(biāo)代表正確標(biāo)簽（True Label，即實(shí)際類型），坐標(biāo)中的0-4分別代表知識語義類、調(diào)節(jié)類、情感類、問題類和無關(guān)信息類等5種類型的在線協(xié)作學(xué)習(xí)交互文本，矩陣中的數(shù)值表示該類交互文本的召回率。從混淆矩陣分析結(jié)果可以看出，對角線上的分類預(yù)測情況較好，在知識語義類、調(diào)節(jié)類和情感類在線協(xié)作學(xué)習(xí)交互文本上的表現(xiàn)較優(yōu)，該結(jié)果同樣表明Bi-LSTM分類器具有較好的分類效果。

圖3? ? 混淆矩陣分析結(jié)果

五、討論與結(jié)論

本文使用Word2Vec作為詞向量，采用雙向長短時(shí)記憶（Bi-LSTM）、長短時(shí)記憶（LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等三種深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建文本分類器，提出了基于深度學(xué)習(xí)技術(shù)的在線協(xié)作學(xué)習(xí)交互文本分類方法。實(shí)驗(yàn)結(jié)果表明雙向長短時(shí)記憶模型的分類效果最好，其整體準(zhǔn)確率為77.42%，在知識語義類、調(diào)節(jié)類、情感類、問題類和無關(guān)信息類在線協(xié)作學(xué)習(xí)交互文本上的F1值分別達(dá)到85.80%、72.88%、83.03%、51.92%和37.13%。各文本分類器在問題類交互文本上的準(zhǔn)確率較低，這主要是因?yàn)閱栴}類交互文本的數(shù)量較少，即在本研究的在線協(xié)作學(xué)習(xí)環(huán)境中，涉及學(xué)習(xí)矛盾沖突和疑惑的交互文本數(shù)量較少致使分類模型在該類別的預(yù)測效果上不理想。此外，無關(guān)信息類交互文本的識別準(zhǔn)確率也較低，這是由于無關(guān)信息類交互文本與協(xié)調(diào)類、知識語義類交互文本的特征類似，都是屬于就某一話題所進(jìn)行的討論，且無關(guān)信息類話題的維度較廣，故難以對其進(jìn)行準(zhǔn)確分類。由于調(diào)節(jié)類與情感類交互文本在特征上也呈現(xiàn)出一定程度的交叉，故調(diào)節(jié)類交互文本的分類效果也有待進(jìn)一步提升。總之，問題類和無關(guān)信息類交互文本的數(shù)量較少，造成了數(shù)據(jù)集不平衡的問題，這影響了各類分類器的分類效果，本研究所采用的混合采樣技術(shù)、多種分類模型也并不能很好地解決該問題。因此，如何解決在線協(xié)作學(xué)習(xí)交互文本分類中存在的不平衡數(shù)據(jù)集問題是后續(xù)研究的方向。

在線協(xié)作學(xué)習(xí)是一種重要的學(xué)習(xí)方式。對學(xué)習(xí)者在線協(xié)作學(xué)習(xí)過程中產(chǎn)生的交互文本進(jìn)行精準(zhǔn)地實(shí)時(shí)分類，是監(jiān)控和評價(jià)大規(guī)模在線協(xié)作學(xué)習(xí)效果的基礎(chǔ)，也是通過干預(yù)提升在線協(xié)作學(xué)習(xí)效果的前提。例如，依據(jù)對知識語義類交互文本的分析，能夠?qū)W(xué)習(xí)者的知識掌握情況進(jìn)行評估;基于對協(xié)調(diào)類交互文本的分析可以有效地協(xié)調(diào)和干預(yù)學(xué)習(xí)過程，從而避免學(xué)習(xí)者由于任務(wù)協(xié)調(diào)不佳而導(dǎo)致的在線協(xié)作學(xué)習(xí)活動停滯和學(xué)習(xí)效果不佳等問題;利用問題類交互文本能夠知曉學(xué)習(xí)者所遇到的問題和困難，以便教師及時(shí)地提供支持，為學(xué)生搭建腳手架，從而提高在線協(xié)作學(xué)習(xí)的效果;基于情感類交互文本能夠?qū)υ诰€協(xié)作學(xué)習(xí)過程中出現(xiàn)的消極情緒進(jìn)行干預(yù);基于無關(guān)信息類交互文本可以對在線協(xié)作學(xué)習(xí)過程中出現(xiàn)的跑題現(xiàn)象進(jìn)行預(yù)警和提示，讓學(xué)習(xí)者更加專注地進(jìn)行學(xué)習(xí)。因此，構(gòu)建精準(zhǔn)的在線協(xié)作學(xué)習(xí)交互文本的分類模型對于提升在線協(xié)作學(xué)習(xí)的效果具有重要意義和價(jià)值。

本研究主要存在以下三方面不足：一是研究中的交互文本數(shù)量較少且各類別交互文本的數(shù)量差距較大。在未來的研究中，將使用數(shù)據(jù)增強(qiáng)（Data Augmentation）等方法解決交互文本數(shù)據(jù)集較小的問題，同時(shí)還需解決在線協(xié)作學(xué)習(xí)交互文本分類中現(xiàn)實(shí)存在的不平衡數(shù)據(jù)集問題。二是由于研究所使用的Word2Vec詞向量相對固化，因而難以解決一詞多意、依據(jù)上下文動態(tài)轉(zhuǎn)換詞向量的問題。后續(xù)研究將使用BERT、ERNIE等預(yù)訓(xùn)練語言模型生成語義更加準(zhǔn)確的詞向量。三是研究所構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)相對單一且較為簡單。在未來的研究中，將嘗試采用更為復(fù)雜有效的神經(jīng)網(wǎng)絡(luò)模型，并結(jié)合Attention、Transformer等算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，進(jìn)一步提高在線協(xié)作學(xué)習(xí)交互文本分類的準(zhǔn)確率。

參考文獻(xiàn)：

[1][加]琳達(dá)·哈拉西姆，肖俊洪（2015）.協(xié)作學(xué)習(xí)理論與實(shí)踐——在線教育質(zhì)量的根本保證[J].中國遠(yuǎn)程教育，（8）：5-16，79.

[2]柴陽麗，陳向東，榮憲舉（2019）.共享監(jiān)控和調(diào)節(jié)視角下 CSCL 在線異步對話分析及改進(jìn)策略——以 “研究性學(xué)習(xí)”課程為例[J].電化教育研究， 40（5）： 72-80，97.

[3]馮志偉（1997）.自然語言的計(jì)算機(jī)處理[J].中文信息，（4）：26-27.

[4]黃榮懷（2003）.計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)——理論與方法[M].北京：人民教育出版社：13.

[5]郝祥軍，王帆，彭致君等（2019）.群體在線學(xué)習(xí)過程分析：學(xué)習(xí)者角色的動態(tài)轉(zhuǎn)換[J].現(xiàn)代遠(yuǎn)距離教育，（3）：38-48.

[6]冷靜，郭日發(fā)（2018）.在線協(xié)作平臺中批判性思維話語分析研究[J].電化教育研究，39（2）：26-31.

[7]鄭蘭琴（2015）.協(xié)作學(xué)習(xí)的交互分析方法——基于信息流的視角[M].北京：人民郵電出版社：70.

[8]宗成慶，夏睿，張家?。?019）.文本數(shù)據(jù)挖掘[M].北京：清華大學(xué)出版社：53.

[9]Batista， G. E.， Prati， R. C.， & Monard， M. C. （2004）. A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data[J]. ACM SIGKDD Explorations Newsletter， 6（1）：20-29.

[10]Capponi， M. F.， Nussbaum， M.， & Marshall， G. et al. （2010）. Pattern Discovery for the Design of Face-to-Face Computer-Supported Collaborative Learning Activities[J]. Journal of Educational Technology & Society， 13（2）：40-52.

[11]Chawla， N. V.， Bowyer， K. W.， & Hall， L. O. et al. （2002）. SMOTE： Synthetic Minority Over-Sampling Technique[J]. Journal of Artificial Intelligence Research， 16（1）：321-357.

[12]Cover， T. M.， & Thomas， J. A. （2012）. Elements of Information Theory[M]. Hoboken： John Wiley & Sons： 54.

[13]Dillenbourg， P.， & Fischer， F. （2007）. Computer-Supported Collaborative Learning： The Basics[J]. Zeitschrift für Berufs-und Wirtschaftsp?dagogik， 21：111-130.

[14]Felbo， B.， Mislove， A.， & S?gaard， A. et al. （2017）. Using Millions of Emoji Occurrences to Learn Any-Domain Representations for Detecting Sentiment， Emotion and Sarcasm[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1708.00524.pdf.

[15]Hochreiter， S.， & Schmidhuber， J. （1997）. Long Short-Term Memory[J]. Neural Computation， 9（8）：1735-1780.

[16]Hou， H. T.， & Wu， S. Y. （2011）. Analyzing the Social Knowledge Construction Behavioral Patterns of an Online Synchronous Collaborative Discussion Instructional Activity Using an Instant Messaging Tool： A Case Study[J]. Computers & Education， 57（2）：1459-1468.

[17]Jang， B.， Kim， I.， & Kim， J. W. （2019）. Word2Vec Convolutional Neural Networks for Classification of News Articles and Tweets[J]. PLoS ONE， 14（8）：1-20.

[18]Joulin， A.， Grave， E.， & Bojanowski， P. et al. （2016）. Bag of Tricks for Efficient Text Classification[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1607.01759.pdf.

[19]Kim， Y. （2014）. Convolutional Neural Networks for Sentence Classification[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1408.5882.pdf.

[20]Kowsari， K.， Meimandi， K. J.， & Heidarysafa， M. et al. （2019）. Text Classification Algorithms： A Survey[J]. Information， 10（4）：67-75.

[21]Lai， S.， Xu， L.， & Liu， K. et al. （2015）. Recurrent Convolutional Neural Networks for Text Classification[C]// Twenty-Ninth AAAI Conference on Artificial Intelligence. Texas， USA：2267-2273.

[22]LeCun， Y. ， Bottou， L.， & Bengio， Y. et al. （1998）. Gradient-Based Learning Applied to Document Recognition[J]. Proceedings of the IEEE， 86（11）：2278-2324.

[23]Lee， S. W. Y.， & Tsai， C. C. （2011）. Identifying Patterns of Collaborative Knowledge Exploration in Online Asynchronous Discussions[J]. Instructional Science， 39（3）：321-347.

[24]Lewis， D. D. （1992）. An Evaluation of Phrasal and Clustered Representations on a Text Categorization Task[C]// Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. Copenhagen： ACM： 37-50.

[25]Li， L.， Xiao， L.， & Jin， W. et al. （2018a）. Text Classification Based on Word2vec and Convolutional Neural Network[C]// International Conference on Neural Information Processing. Cham： Springer：450-460.

[26]Li， S.， Zhao， Z.， & Hu， R. et al. （2018b）. Analogical Reasoning on Chinese Morphological and Semantic Relations[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1805.06504.pdf.

[27]Liu， Q.， Zhang， S.， & Wang， Q. et al. （2017）. Mining Online Discussion Data for Understanding Teachers Reflective Thinking[J]. IEEE Transactions on Learning Technologies， 11（2）：243-254.

[28]Mikolov， T.， Chen， K.， & Corrado， G. et al. （2013）. Efficient Estimation of Word Representations in Vector Space[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1301.3781.pdf%5D.

[29]Ng， A. Y. （2004）. Feature Selection， L1 vs. L2 Regularization， and Rotational Invariance[C]// Proceedings of the Twenty-First International Conference on Machine Learning. Banff： ACM：78-86.

[30]Rafaeli， S.， & Sudweeks， F. （1997）. Networked Interactivity[J]. Journal of Computer-Mediated Communication， 2（4）：243.

[31]Rong， X. （2014）. Word2Vec Parameter Learning Explained[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1411.2738.pdf.

[32]Schuster， M.， & Paliwal， K. K. （1997）. Bidirectional Recurrent Neural Networks[J]. IEEE Transactions on Signal Processing， 45（11）：2673-2681.

[33]Seide， F.， Li， G.， & Yu， D. （2011）. Conversational Speech Transcription Using Context-Dependent Deep Neural Networks[C]// Proceedings of the 12th Annual Conference of the International Speech Communication Association. Florence， Italy： ISCA：437-440.

[34]Sze， V.， Chen， Y. H.， & Yang， T. J. et al. （2017）. Efficient Processing of Deep Neural Networks： A Tutorial and Survey[J]. Proceedings of the IEEE， 105（12）：2295-2329.

[35]Tao， D.， & Zhang， J. （2018）. Forming Shared Inquiry Structures to Support Knowledge Building in a Grade 5 Community[J]. Instructional Science， 46（4）：563-592.

[36]Vargas-Calderón， V.， & Camargo， J. E. （2019）. Characterization of Citizens Using Word2Vec and Latent Topic Analysis in a Large Set of Tweets[J]. Cities， 92：187-196.

[37]Xie， K.， Di Tosto， G.， & Lu， L. et al. （2018）. Detecting Leadership in Peer-Moderated Online Collaborative Learning Through Text Mining and Social Network Analysis[J]. The Internet and Higher Education， 38：9-17.

[38]Yao， L.， Mao， C.， & Luo， Y. （2019）. Graph Convolutional Networks for Text Classification[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Hawaii： AAAI： 7370-7377.

[39]Zhang， J.， & Chen， M. （2019）. Idea Thread Mapper： Designs for Sustaining Student-Driven Knowledge Building Across Classrooms[C]//13th International Conference on Computer Supported Collaborative Learning. Lyon： ISLS：144-151.

[40]Zhang， W.， & Wang， J. （2015）. A Collective Bayesian Poisson Factorization Model for Cold-Start Local Event Recommendation[C]// Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Sydney： ACM：1455-1464.

收稿日期 2020-01-10責(zé)任編輯 譚明杰