基于深度神經(jīng)網(wǎng)絡(luò)的虛擬仿真實(shí)驗(yàn)學(xué)習(xí)效果評估研究

尹 雋,林衍森,錢 萍

(1.江蘇科技大學(xué) 經(jīng)濟(jì)管理學(xué)院,江蘇 鎮(zhèn)江 212100;2.江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院,江蘇 鎮(zhèn)江 212100)

實(shí)驗(yàn)教學(xué)在培養(yǎng)學(xué)生的實(shí)踐和創(chuàng)新能力方面發(fā)揮至關(guān)重要的作用。但傳統(tǒng)方式難以還原企業(yè)復(fù)雜的管理流程和情境,無法將知識點(diǎn)與業(yè)務(wù)過程以及數(shù)據(jù)有效銜接。近年來，虛擬仿真技術(shù)的發(fā)展為高校實(shí)驗(yàn)教學(xué)帶來了深遠(yuǎn)影響,許多學(xué)校依托虛擬現(xiàn)實(shí)技術(shù),構(gòu)建出高度仿真的實(shí)驗(yàn)?zāi)M環(huán)境,學(xué)生參與其中,通過與場景的交互強(qiáng)化知識的理解和應(yīng)用,提升實(shí)踐、探索和創(chuàng)新能力[1]。經(jīng)管類虛擬仿真實(shí)驗(yàn)教學(xué)被納入國家虛擬仿真項(xiàng)目目錄后,很多高校經(jīng)管類專業(yè)陸續(xù)引入虛擬仿真實(shí)驗(yàn)項(xiàng)目,并與現(xiàn)實(shí)業(yè)務(wù)情境相銜接,如湖南工商大學(xué)的智慧供應(yīng)鏈虛擬仿真項(xiàng)目、杭州電子科技大學(xué)ERP財(cái)務(wù)虛擬仿真實(shí)驗(yàn)等。伴隨虛擬仿真教學(xué)應(yīng)用的逐步深入,大量數(shù)據(jù)被記錄下來,如何利用好這些數(shù)據(jù)進(jìn)行學(xué)習(xí)效果的評估與分析,成為教育領(lǐng)域研究者近期關(guān)注的重點(diǎn)[2]。

目前，有關(guān)虛擬仿真實(shí)驗(yàn)教學(xué)的研究成果主要集中于實(shí)驗(yàn)教學(xué)應(yīng)用、教學(xué)改革探索以及實(shí)證分析三個(gè)方面。首先,從應(yīng)用情況來看,虛擬仿真實(shí)驗(yàn)最早應(yīng)用于理工類學(xué)科[3],在管理學(xué)科的學(xué)習(xí)中也發(fā)揮了重要作用。如薛永基等致力于將案例分析教學(xué)與虛擬仿真實(shí)驗(yàn)教學(xué)相融合[4]。其次,隨著應(yīng)用范圍愈發(fā)廣泛,學(xué)者們對如何有效應(yīng)用該技術(shù)進(jìn)行了探索,認(rèn)為虛擬仿真實(shí)驗(yàn)教學(xué)需契合課程需求,并與教學(xué)模式、教學(xué)方法相配合。王育杰等倡導(dǎo)將新型教學(xué)模式即虛擬仿真實(shí)驗(yàn)教學(xué)引入到傳統(tǒng)課堂教學(xué)中,實(shí)現(xiàn)優(yōu)勢互補(bǔ)[5]。最后,相關(guān)實(shí)證分析類研究發(fā)現(xiàn)虛擬仿真實(shí)驗(yàn)?zāi)軌蛴绊憣W(xué)習(xí)效果[6]。王雪等對國內(nèi)外38篇相關(guān)實(shí)證研究文獻(xiàn)進(jìn)行定量分析,結(jié)果發(fā)現(xiàn),在虛擬仿真實(shí)驗(yàn)中，不同的學(xué)習(xí)者面對不同的學(xué)習(xí)環(huán)境和任務(wù)類型時(shí),其學(xué)習(xí)效果存在顯著差異[7]。

針對學(xué)習(xí)效果的評估問題,現(xiàn)有文獻(xiàn)主要集中于在線教學(xué)領(lǐng)域。研究者主要從評估特征模型、評估方法等方面開展了多視角研究,并在個(gè)性化電子題庫開發(fā)、學(xué)習(xí)可視化等方面開展了具體應(yīng)用。然而，虛擬仿真實(shí)驗(yàn)的特點(diǎn)決定其學(xué)習(xí)效果的評估與實(shí)驗(yàn)特性緊密關(guān)聯(lián),且學(xué)習(xí)行為具有多層次性,而現(xiàn)有研究大多采用基于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的方法。比如，何韻竹采用支持向量機(jī)、決策樹、隨機(jī)森林等算法分析了軟件工程專業(yè)特定課程對于學(xué)生綜合學(xué)習(xí)效果的影響和作用[8]；汪昱帥使用Canopy、FCM以及支持向量機(jī)等算法對高校開放在線課程學(xué)習(xí)的學(xué)生行為進(jìn)行分析,并提出特征加權(quán)的支持向量機(jī)方法[9]。這些方法難以適用于較為復(fù)雜的虛擬仿真實(shí)驗(yàn)學(xué)習(xí)效果評估，且在概念模型構(gòu)建方面,現(xiàn)有研究大多只考慮了學(xué)習(xí)者的自身特征和行為特征,而虛擬仿真的實(shí)驗(yàn)特性同樣會(huì)影響學(xué)習(xí)效果。另外，從研究方法角度看,實(shí)驗(yàn)者的學(xué)習(xí)行為具有復(fù)雜的多層次性,現(xiàn)有的單層分析方法難以抽取其復(fù)雜特征,因而在一定程度上會(huì)影響評估結(jié)果的準(zhǔn)確性。

綜上,針對虛擬仿真實(shí)驗(yàn)教學(xué)的研究多為定性分析,對于如何評估虛擬仿真實(shí)驗(yàn)教學(xué)效果尚缺乏具體嚴(yán)謹(jǐn)?shù)慕Y(jié)論。與此同時(shí),隨著越來越多的虛擬仿真實(shí)驗(yàn)項(xiàng)目投入使用,虛擬仿真實(shí)驗(yàn)過程的詳細(xì)記錄也為深入分析學(xué)習(xí)效果帶來了契機(jī)。盡管目前學(xué)界已經(jīng)開始對虛擬仿真教學(xué)進(jìn)行定量分析,但現(xiàn)有研究仍相對較少。在高校仿真教學(xué)備受關(guān)注的今天,加強(qiáng)對實(shí)驗(yàn)學(xué)習(xí)效果的有效評估成為更具價(jià)值的研究問題?；诖?筆者提出以下研究問題:如何構(gòu)建評估經(jīng)管類虛擬仿真實(shí)驗(yàn)學(xué)習(xí)效果的模型?構(gòu)建的模型是否優(yōu)于傳統(tǒng)模型,從而能更好地分析和評估虛擬仿真實(shí)驗(yàn)的學(xué)習(xí)效果?

基于所提問題,筆者先構(gòu)建了虛擬仿真學(xué)習(xí)效果評估模型,除學(xué)習(xí)者個(gè)體屬性特征、學(xué)習(xí)行為屬性外,又添加了虛擬仿真教學(xué)的實(shí)驗(yàn)屬性,形成新的特征工程方案;同時(shí)，考慮到深度學(xué)習(xí)在復(fù)雜行為模式特征抽取上的優(yōu)勢,提出基于深度神經(jīng)網(wǎng)絡(luò)(DNN)進(jìn)行經(jīng)管類虛擬仿真實(shí)驗(yàn)教學(xué)效果的評估方法;最后，依據(jù)某高校經(jīng)管類虛擬仿真實(shí)驗(yàn)教學(xué)平臺的真實(shí)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行模型驗(yàn)證和對比分析。

一、學(xué)習(xí)效果評估模型構(gòu)建

根據(jù)建模思想,構(gòu)建學(xué)習(xí)效果評估模型需要經(jīng)歷構(gòu)建特征模型、評估模型和開展針對模型的學(xué)習(xí)效果評估等環(huán)節(jié)。模型框架的第一部分是針對基于學(xué)習(xí)效果評估的特征建模,進(jìn)行相關(guān)需求獲取和分析,確定納入模型的特征,進(jìn)而構(gòu)建特征方案;第二部分是基于虛擬仿真學(xué)習(xí)的復(fù)雜性和多層次特點(diǎn),通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)效果評估;第三部分是基于實(shí)驗(yàn)數(shù)據(jù),對模型進(jìn)行評價(jià)。

(一)特征工程分析

數(shù)據(jù)的原有屬性是未經(jīng)加工的一次信息,若直接使用原有屬性進(jìn)行學(xué)習(xí)效果預(yù)測,效果欠佳。為解決這類問題,需增加經(jīng)過屬性間轉(zhuǎn)換生成的新屬性。特征工程就是特征衍生和特征篩選的過程,可以人為構(gòu)建出可獲得更好預(yù)測效果的二次特征。

擬建立的數(shù)據(jù)集字段包含部分原有字段以及經(jīng)過特征工程產(chǎn)生的新字段。原有特征包括性別、專業(yè)、班級、實(shí)驗(yàn)完成總數(shù)、實(shí)驗(yàn)總積分、試題總積分、在線總時(shí)長、實(shí)驗(yàn)名稱、實(shí)驗(yàn)得分、實(shí)驗(yàn)試題得分、實(shí)驗(yàn)時(shí)長、步驟編號、步驟得分,步驟時(shí)長,共計(jì)14個(gè)。新增特征包括實(shí)驗(yàn)平均得分?jǐn)?shù)、試題平均得分?jǐn)?shù)、是否觀看視頻、觀看視頻數(shù)量、實(shí)驗(yàn)所屬類別、單位時(shí)長得分?jǐn)?shù),共計(jì)6個(gè)。

判別條件則由實(shí)驗(yàn)平均得分及試題平均得分共同決定。根據(jù)研究目的構(gòu)建以下新特征。

第一，單位時(shí)長得分?jǐn)?shù)。原有屬性包含步驟得分及步驟時(shí)長,但考慮到有的用戶用時(shí)短但得分高,有的用戶耗費(fèi)了大量時(shí)間卻并未獲得有效得分,因此考慮用得分除以時(shí)長,得到單位時(shí)長得分?jǐn)?shù)。該新特征可以用來判定學(xué)生的學(xué)習(xí)效率。

第二，實(shí)驗(yàn)所屬類別。此實(shí)驗(yàn)包含三個(gè)主線,分別為物流、生產(chǎn)和成本主線。原有屬性并未標(biāo)明實(shí)驗(yàn)所屬類別,因此向公司相關(guān)人員咨詢,構(gòu)建出實(shí)驗(yàn)所屬類別。類別不同可能會(huì)導(dǎo)致實(shí)驗(yàn)復(fù)雜程度不同,如物流專業(yè)學(xué)生完成物流主線的實(shí)驗(yàn)可能會(huì)比其他專業(yè)完成的速度快且準(zhǔn)確度高。因此，學(xué)生學(xué)習(xí)效果會(huì)受到實(shí)驗(yàn)類別的影響,需區(qū)別對待。

第三，是否觀看視頻。根據(jù)觀看視頻數(shù)量而定,若無觀看視頻記錄,則置為“0”,有觀看視頻記錄則置為“1”。觀看視頻與否可能會(huì)對實(shí)驗(yàn)完成情況產(chǎn)生一定的影響。

第四，觀看視頻數(shù)量。每個(gè)實(shí)驗(yàn)基本上都會(huì)配套一個(gè)或多個(gè)講解視頻,主要介紹步驟等背景知識,有助于學(xué)生更好地理解實(shí)驗(yàn)要求。觀看視頻數(shù)量體現(xiàn)了學(xué)生理論知識掌握情況。

第五，實(shí)驗(yàn)平均得分?jǐn)?shù)。由于每個(gè)學(xué)生的實(shí)驗(yàn)完成總數(shù)不盡相同,因而實(shí)驗(yàn)總分也相差較大。添加該列旨在得出平均每個(gè)實(shí)驗(yàn)的得分,便于進(jìn)行比較。

第六，試題平均得分?jǐn)?shù)。與實(shí)驗(yàn)平均得分?jǐn)?shù)類似,便于對試題得分進(jìn)行比較。

(二)判別條件分析

原始特征包含一系列分?jǐn)?shù),但并未給出相應(yīng)的學(xué)習(xí)效果評價(jià),因此需要人工添加判別標(biāo)簽,使原本的無監(jiān)督學(xué)習(xí)轉(zhuǎn)化為有監(jiān)督學(xué)習(xí)。對最終學(xué)習(xí)效果的判定,應(yīng)當(dāng)落實(shí)到具體分?jǐn)?shù)上,其他的相關(guān)屬性可作為補(bǔ)充說明,為方便對效果進(jìn)行判定,在上節(jié)已構(gòu)造出新屬性列。判別條件列的選取應(yīng)有理有據(jù),如黃赟茹對學(xué)生的期末考試成績是否合格進(jìn)行預(yù)測,將60分以上的歸為一類,60分以下的歸為另一類[10]。文中數(shù)據(jù)不僅包括實(shí)驗(yàn)得分,也包括試題得分,實(shí)驗(yàn)得分顯示的是學(xué)生的實(shí)踐能力,而試題得分則反映了學(xué)生的理論知識掌握程度,學(xué)習(xí)效果好壞評定要二者兼顧?；谶@個(gè)原則,分別計(jì)算所有樣本實(shí)驗(yàn)得分及試題得分的均值,將每個(gè)學(xué)生的分?jǐn)?shù)與均值進(jìn)行比較,若分?jǐn)?shù)在平均值以上,則可認(rèn)為其水平處于中上游,否則學(xué)習(xí)效果有所欠缺。

(三)基于DNN的模型訓(xùn)練

近年來,教育領(lǐng)域內(nèi)的數(shù)據(jù)復(fù)雜度越來越高,數(shù)據(jù)量呈指數(shù)級增長,傳統(tǒng)的機(jī)器學(xué)習(xí)算法在處理大數(shù)據(jù)方面顯得力不從心,導(dǎo)致模型分類和預(yù)測效果不佳。隨著深度學(xué)習(xí)的不斷發(fā)展,研究者開始在許多領(lǐng)域關(guān)注深度學(xué)習(xí)的實(shí)用性,如圖像領(lǐng)域[11]、語音領(lǐng)域[12]、數(shù)據(jù)分析領(lǐng)域[13]。在這些領(lǐng)域,深度神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率已經(jīng)超過人類專家。與專家系統(tǒng)不同,深度神經(jīng)網(wǎng)絡(luò)的高準(zhǔn)確率來源于對大量數(shù)據(jù)的統(tǒng)計(jì)分析,通過在原始數(shù)據(jù)中進(jìn)行特征提取,探索出其深層價(jià)值。具體到教學(xué)過程,學(xué)生的行為數(shù)據(jù)較多,對學(xué)生學(xué)習(xí)的評價(jià)若只依賴于考試成績和老師的主觀判斷,學(xué)習(xí)效果監(jiān)控很難做到實(shí)時(shí)、有效[14]。采用深度神經(jīng)網(wǎng)絡(luò)可以很好地解決這類難題。

在教育領(lǐng)域引入深度學(xué)習(xí)方法,如Xing等利用深度學(xué)習(xí)算法構(gòu)建MOOC輟學(xué)預(yù)測模型,進(jìn)而預(yù)測單個(gè)學(xué)生輟學(xué)概率,并采用支持向量機(jī)、決策樹等作為基準(zhǔn)模型,結(jié)果表明深度學(xué)習(xí)方法要優(yōu)于傳統(tǒng)方法[15]；朱家成等構(gòu)建了基于深度神經(jīng)網(wǎng)絡(luò)的分析評價(jià)模型[16]。可見,深度學(xué)習(xí)方法已被廣泛應(yīng)用,且較之傳統(tǒng)機(jī)器學(xué)習(xí)方法顯現(xiàn)出獨(dú)特的優(yōu)勢,尤其是在處理海量數(shù)據(jù)方面。同時(shí)，結(jié)合當(dāng)下虛擬仿真實(shí)驗(yàn)教學(xué)蓬勃發(fā)展的趨勢,實(shí)驗(yàn)過程的詳細(xì)記錄數(shù)據(jù)將會(huì)越來越豐富。因此，建議將深度學(xué)習(xí)方法應(yīng)用于評估虛擬仿真實(shí)驗(yàn)學(xué)習(xí)效果。

具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)單層感知機(jī)而言具備更強(qiáng)大的學(xué)習(xí)能力,能夠洞悉數(shù)據(jù)的本質(zhì)特征,進(jìn)一步提高分類或回歸的準(zhǔn)確性。利用深度學(xué)習(xí)模型解決復(fù)雜的學(xué)習(xí)問題是根本目的。以往的人工神經(jīng)網(wǎng)絡(luò)(ANN)在數(shù)據(jù)爆炸式增長的時(shí)代逐漸顯現(xiàn)出局限性,為彌補(bǔ)其不足,深度神經(jīng)網(wǎng)絡(luò)(DNN)應(yīng)運(yùn)而生。DNN實(shí)現(xiàn)了復(fù)雜的函數(shù)逼近,有能力完成更為困難的實(shí)際任務(wù)。具體訓(xùn)練過程為:將原始特征輸入DNN的Sequential模型,進(jìn)行多次迭代訓(xùn)練,選擇最優(yōu)參數(shù)設(shè)置,在最優(yōu)參數(shù)的模型訓(xùn)練下獲得最高層的特征表達(dá),然后進(jìn)行模型評估。

(四)基于DNN的模型評價(jià)和驗(yàn)證

為衡量和評價(jià)預(yù)測的有效性和準(zhǔn)確性,將該方法與以往相關(guān)研究中常用的機(jī)器學(xué)習(xí)典型方法(支持向量機(jī))進(jìn)行比較。在具體評估指標(biāo)方面,采用損失率、精度和AUC值三個(gè)常用指標(biāo)進(jìn)行評估。損失率可用于觀察模型訓(xùn)練過程中是否對數(shù)據(jù)信息充分利用；精度能反映預(yù)測方法針對虛擬仿真實(shí)驗(yàn)教學(xué)效果的預(yù)測能力；AUC值則用于評估二值分類器的好壞。最后,對模型進(jìn)行擬合驗(yàn)證。

二、模型評估與性能對比

(一)研究對象和數(shù)據(jù)準(zhǔn)備

研究對象是某高校企業(yè)管理虛擬實(shí)景實(shí)驗(yàn)教學(xué)平臺,該平臺提供的虛擬企業(yè)涵蓋物流、財(cái)務(wù)和生產(chǎn)三條主線的全過程虛擬仿真實(shí)驗(yàn),自2016年5月開始正式投入使用,目前主要服務(wù)于經(jīng)濟(jì)管理學(xué)院7個(gè)專業(yè)學(xué)生的管理信息系統(tǒng)、數(shù)據(jù)庫原理與應(yīng)用、認(rèn)識實(shí)習(xí)等課程。筆者收集了該平臺2016年5月至2019年4月為期3年的學(xué)生實(shí)驗(yàn)日志數(shù)據(jù),共674名同學(xué)的146 153條實(shí)驗(yàn)記錄,具體收集了與本研究相關(guān)的四張表，即用戶表(users)、實(shí)驗(yàn)完成情況表(expAll)、單個(gè)實(shí)驗(yàn)完成情況表(userExp)和學(xué)生實(shí)驗(yàn)詳細(xì)操作記錄表(record)的相關(guān)數(shù)據(jù),各表的具體描述如表1所示。

表1 表數(shù)據(jù)描述

(二)DNN模型設(shè)置

對于學(xué)習(xí)效果的評估,其中模型構(gòu)建是重要環(huán)節(jié)。選取深度神經(jīng)網(wǎng)絡(luò)作為預(yù)測模型,并采用支持向量機(jī)作為對照模型,對比二者性能,選取評估效果較好的模型作為最終模型。前文已對數(shù)據(jù)進(jìn)行預(yù)處理,將原始數(shù)據(jù)及衍生屬性匯集到一張表里作為樣本數(shù)據(jù)集。

1.模型數(shù)值編碼

樣本數(shù)據(jù)集里的非數(shù)值類型不能被模型有效識別,需要對其進(jìn)行轉(zhuǎn)化。當(dāng)屬性取值為兩類時(shí),可以采用二值化“0-1”編碼;取值為多個(gè)且各值之間無明顯次序關(guān)系時(shí),可以考慮采取One-Hot編碼方式進(jìn)行編碼,將特征擴(kuò)充到高維空間,該方式又稱獨(dú)熱編碼,即采用n位狀態(tài)存儲(chǔ)器對n個(gè)狀態(tài)編碼,單個(gè)狀態(tài)只有一位有效。獨(dú)熱編碼的作用是使數(shù)據(jù)的分類更加準(zhǔn)確,使模型更具表現(xiàn)力,雖擴(kuò)充了特征維度,增加了時(shí)間成本,但會(huì)得到更好效果。具體而言,即令物流主線=(1,0,0),生產(chǎn)主線=(0,1,0),成本主線=(0,0,1)。這樣一來,各特征互斥,每次只有一個(gè)生效,且各自的歐式距離相等,解決了分類器不能識別離散特征的問題。

2.模型參數(shù)選擇

在理解機(jī)器學(xué)習(xí)經(jīng)典分類案例基礎(chǔ)上,結(jié)合具體數(shù)據(jù)集特點(diǎn),選用Sequential序貫?zāi)Ｐ妥鳛槟Ｐ偷幕窘Y(jié)構(gòu),設(shè)置各項(xiàng)參數(shù):將批大小batch-size設(shè)置為128;將輪次nb-epoch設(shè)置為30次。網(wǎng)絡(luò)層數(shù)和各層隱藏結(jié)點(diǎn)數(shù)量的選取同樣是比較繁瑣的問題,從理論上來說,隱藏層層數(shù)及各層節(jié)點(diǎn)數(shù)的確定并沒有一個(gè)普遍適用的標(biāo)準(zhǔn),需要不斷增加層數(shù)或者減少層數(shù)進(jìn)行調(diào)試,太多、太少都不合理。層數(shù)過多會(huì)導(dǎo)致訓(xùn)練時(shí)間拉長和模型的過擬合;層數(shù)過少則會(huì)導(dǎo)致學(xué)習(xí)不充分,泛化能力弱,所以應(yīng)尋求一個(gè)折中方案。因此，可先用較少隱藏層進(jìn)行訓(xùn)練并監(jiān)控效果,達(dá)不到要求則在此基礎(chǔ)上繼續(xù)添加層數(shù)或增加節(jié)點(diǎn)數(shù),直至預(yù)測結(jié)果足夠好為止。對樣本數(shù)據(jù)集進(jìn)行訓(xùn)練集和測試集的劃分,各個(gè)隱藏層都相應(yīng)地設(shè)置適當(dāng)?shù)募せ詈瘮?shù)，并添加Dropout層來抑制過擬合現(xiàn)象,取其系數(shù)為0.2,其作用是在每次訓(xùn)練過程中隨機(jī)剔除相應(yīng)隱藏層內(nèi)20%的部分節(jié)點(diǎn),相當(dāng)于每次都使用不同的子模型進(jìn)行訓(xùn)練,最終結(jié)果的輸出相當(dāng)于多個(gè)不同模型的綜合。編譯模型時(shí)需要定義損失函數(shù)、優(yōu)化函數(shù),若不設(shè)置激活函數(shù),則輸入層與輸出層之間只能構(gòu)成簡單的線性映射關(guān)系,不能獲取到真正有用的信息。筆者選取Relu函數(shù)作為隱藏層的激活函數(shù),該函數(shù)是深度學(xué)習(xí)領(lǐng)域使用較為廣泛的激活函數(shù),且效果較好,因此具有一定的合理性。又由于是二分類問題,故應(yīng)當(dāng)選用Sigmoid函數(shù)作為輸出層的激活函數(shù),將損失函數(shù)設(shè)置為binary-crossentropy,將優(yōu)化函數(shù)設(shè)置為RMSprop。采取精度、損失率、AUC值對模型預(yù)測效果進(jìn)行評價(jià),指導(dǎo)超參數(shù)的調(diào)整,多次進(jìn)行訓(xùn)練,直至模型性能符合既定要求,從而可以實(shí)現(xiàn)較為精確的預(yù)測。

3.模型訓(xùn)練和評估

模型參數(shù)基本確定后,開始對模型進(jìn)行訓(xùn)練。依次采取不同的網(wǎng)絡(luò)規(guī)模,對模型性能進(jìn)行評估。首先采用的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是[20,10,20,1],該含義是指一層輸入層、兩層隱藏層和一層輸出層,且輸入層有20個(gè)神經(jīng)元,第一個(gè)隱藏層有10個(gè)神經(jīng)元,第二個(gè)隱藏層有20個(gè)神經(jīng)元,針對教學(xué)效果的評估問題可被歸結(jié)為二分類問題,因此將輸出層神經(jīng)元個(gè)數(shù)設(shè)置為“1”。后續(xù)的模型結(jié)構(gòu)含義以此類推。在此基礎(chǔ)上多次更改模型的層數(shù)或?qū)觾?nèi)神經(jīng)元的數(shù)量。例如,在起始模型結(jié)構(gòu)基礎(chǔ)上再添加一層隱藏層,即[20,10,20,10,1],觀察模型性能變化;在保持層數(shù)不變的前提下,適當(dāng)增加網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度,即增加各層節(jié)點(diǎn)數(shù),使得拓?fù)浣Y(jié)構(gòu)變?yōu)閇20,32,64,32,1],再觀察模型性能上的改變。在訓(xùn)練批量和訓(xùn)練輪次均固定的條件下,多次改變網(wǎng)絡(luò)模型的復(fù)雜程度。由于訓(xùn)練過程具有隨機(jī)性,因此相同網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練出的結(jié)果也會(huì)略有不同。通過輸出結(jié)果的比對來評判模型的性能,比較結(jié)果如表2所示。

表2 不同網(wǎng)絡(luò)規(guī)模性能對比

由表2可以看出,將[20,10,20,1]添加一層后變?yōu)閇20,10,20,10,1],損失下降且精度和AUC值均小幅度提升,證明模型的學(xué)習(xí)能力在一定程度上有所提高。

當(dāng)保持層數(shù)不變而增加各層節(jié)點(diǎn)數(shù)為[20,32,64,32,1]時(shí),發(fā)現(xiàn)損失明顯降低,且精度和AUC值均獲得較大幅度增長,說明模型的學(xué)習(xí)能力得到顯著提升。

在此基礎(chǔ)上再增加層數(shù)或者讓各層變得更為復(fù)雜,模型性能也將會(huì)隨之提升,最后一次調(diào)試的模型已經(jīng)足夠復(fù)雜,其精度可達(dá)98%,已經(jīng)可以稱為一個(gè)較好的模型。比其更為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)能力雖有所增強(qiáng),但也只是體現(xiàn)在對訓(xùn)練樣例的完全吸收,泛化能力卻呈下降趨勢。由于產(chǎn)生了過擬合的現(xiàn)象,且越復(fù)雜的網(wǎng)絡(luò)對計(jì)算機(jī)配置的要求越高,可能會(huì)超過個(gè)人計(jì)算機(jī)的最大運(yùn)算性能,導(dǎo)致占用內(nèi)存過高甚至無法運(yùn)算,而且在預(yù)測性能上的提升空間也不大,因此可選取[20,64,128,256,128,64,1],即一層輸入層、五層隱藏層和一層輸出層作為所構(gòu)建模型的最優(yōu)參數(shù)。

(三)不同模型的性能對比

經(jīng)過多次調(diào)整參數(shù),最終得到性能較優(yōu)的DNN模型,此時(shí)與SVM模型進(jìn)行性能對比,觀察何種模型更適用于分類任務(wù)。

綜上,兩類模型均已建立完成且運(yùn)行出各自結(jié)果,表3是兩種不同模型之間的性能對比。

表3 模型性能對比

通過模型對比結(jié)果可以看出,DNN模型性能優(yōu)于SVM,其中損失下降了11.55%、精度和AUC值則分別提升了16.48%和0.10。多層迭代運(yùn)算使得DNN的學(xué)習(xí)能力顯著優(yōu)于SVM,數(shù)據(jù)信息每經(jīng)過一個(gè)隱藏層都可看作是一次過濾,過濾無用信息,提煉深層次信息,對數(shù)據(jù)進(jìn)行更本質(zhì)的刻畫,而支持向量機(jī)算法則無法逐層提煉。

三、主要結(jié)論與展望

準(zhǔn)確評估虛擬仿真實(shí)驗(yàn)的學(xué)習(xí)效果的關(guān)鍵是建立有效的評估模型。為了滿足虛擬仿真實(shí)驗(yàn)要求的完整性、一致性與準(zhǔn)確性的學(xué)習(xí)特征,筆者設(shè)計(jì)了新的特征工程方案,在已有的學(xué)習(xí)者特性、行為特性基礎(chǔ)上新增了實(shí)驗(yàn)特性,以確保所構(gòu)建的特征模型滿足學(xué)習(xí)效果評估的要求。首先，通過一定的判斷條件,為學(xué)習(xí)效果添加類別標(biāo)簽,將無監(jiān)督學(xué)習(xí)轉(zhuǎn)化為有監(jiān)督學(xué)習(xí);其次,為有效抽取影響學(xué)習(xí)效果諸多特征的復(fù)雜關(guān)聯(lián)模式,運(yùn)用深度神經(jīng)網(wǎng)絡(luò)方法進(jìn)行模型建構(gòu)和評估;最后,以一個(gè)實(shí)際運(yùn)行三年的虛擬仿真實(shí)驗(yàn)教學(xué)系統(tǒng)為案例,對評估方法進(jìn)行驗(yàn)證和對比。

結(jié)果表明,基于DNN的分類方法與SVM相比,二者學(xué)習(xí)效果評估的有效性和準(zhǔn)確性均能提升,而基于DNN的學(xué)習(xí)效果評估方法能夠更好評估虛擬仿真的教學(xué)效果,更適用于針對虛擬仿真實(shí)驗(yàn)教學(xué)的學(xué)習(xí)效果評估模型的建構(gòu)。原因在于,隨著虛擬仿真實(shí)驗(yàn)教學(xué)的發(fā)展,數(shù)據(jù)量呈指數(shù)級增長,且特征屬性也不斷細(xì)分,數(shù)據(jù)復(fù)雜度越來越高,傳統(tǒng)的機(jī)器學(xué)習(xí)方法在處理大數(shù)據(jù)時(shí)力不從心,而深度神經(jīng)網(wǎng)絡(luò)在處理海量數(shù)據(jù)方面具有巨大優(yōu)勢,通過逐層處理和特征的內(nèi)部變化,表現(xiàn)出很強(qiáng)的非線性擬合能力和自學(xué)習(xí)能力。此外,未來教育領(lǐng)域內(nèi)對于學(xué)習(xí)效果的評價(jià)方式也將越來越豐富和完善,在實(shí)際應(yīng)用中,很可能不再是簡單的二分類問題,而是會(huì)根據(jù)相應(yīng)評價(jià)指標(biāo)劃分出更加多元化的學(xué)習(xí)效果層次體系，此時(shí)二分類問題便轉(zhuǎn)化為多分類問題。與此同時(shí),經(jīng)典的支持向量機(jī)算法在處理多分類問題上存在一定困難,而深度神經(jīng)網(wǎng)絡(luò)在該問題上表現(xiàn)更優(yōu)。這也表明，對于教育這類復(fù)雜領(lǐng)域的數(shù)據(jù)分析,深度學(xué)習(xí)方法比傳統(tǒng)淺層算法具備更大優(yōu)勢,能夠解決更為復(fù)雜的實(shí)際問題。

與以往虛擬仿真領(lǐng)域研究以定性分析為主不同,基于虛擬仿真實(shí)驗(yàn)積累的海量數(shù)據(jù),構(gòu)建基于深度學(xué)習(xí)的虛擬仿真實(shí)驗(yàn)教學(xué)效果評估模型,補(bǔ)充和豐富了虛擬仿真實(shí)驗(yàn)教學(xué)的研究成果,促進(jìn)了實(shí)驗(yàn)教學(xué)研究領(lǐng)域定量研究的發(fā)展。此外,它驗(yàn)證了深度神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于虛擬仿真實(shí)驗(yàn)學(xué)習(xí)效果評估的有效性,在一定程度上拓寬了深度學(xué)習(xí)的應(yīng)用領(lǐng)域,為深度學(xué)習(xí)在未來進(jìn)一步應(yīng)用于教育領(lǐng)域提供了思路。

雖然筆者僅以經(jīng)管類虛擬仿真實(shí)驗(yàn)教學(xué)為案例進(jìn)行模型的構(gòu)建和分析,但該思路同樣可以應(yīng)用至其他學(xué)科的虛擬實(shí)驗(yàn)教學(xué)評估環(huán)節(jié)中。需結(jié)合實(shí)際情境,對具體問題進(jìn)行具體分析,比如根據(jù)數(shù)據(jù)量和維度適當(dāng)調(diào)整模型的復(fù)雜度;對相關(guān)特征的分類和提取即特征工程也是極為重要的環(huán)節(jié),不同的應(yīng)用情境下各類特征不盡相同,前期良好的特征工程會(huì)提高模型輸入的質(zhì)量,從而有利于評估效果的提升和對結(jié)果進(jìn)行合理解釋。在方法應(yīng)用方面,由于深度學(xué)習(xí)在處理海量數(shù)據(jù)方面具有優(yōu)勢,采取此模型對學(xué)習(xí)效果進(jìn)行評估是存在價(jià)值的;在結(jié)論應(yīng)用方面,對于涉及不同領(lǐng)域的虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目,具體結(jié)論存在差異,因而需要結(jié)合專業(yè)背景和相關(guān)知識將模型作為輔助工具,得出契合各個(gè)應(yīng)用場景的結(jié)論和啟示。

本研究所構(gòu)建的學(xué)習(xí)效果評估模型對學(xué)生和教師而言均有一定的價(jià)值:對學(xué)生而言,學(xué)生完成實(shí)驗(yàn)后,采用該方法可以更為及時(shí)、準(zhǔn)確地評估自身虛擬仿真實(shí)驗(yàn)的學(xué)習(xí)效果,積極采取措施查漏補(bǔ)缺;對教師而言,該框架有助于更全面了解影響實(shí)驗(yàn)教學(xué)效果的因素,以便在課堂教學(xué)和實(shí)驗(yàn)教學(xué)中根據(jù)評估情況進(jìn)行改進(jìn)，教師可以進(jìn)一步投入更多時(shí)間和精力致力于對教學(xué)內(nèi)容的深化、對教學(xué)方式的創(chuàng)新及與學(xué)生進(jìn)行線下深度交互等更為重要的方面,從而有效提升教學(xué)效果。

本研究仍存在許多不足之處,需要進(jìn)一步完善。這是將深度學(xué)習(xí)方法應(yīng)用于虛擬仿真實(shí)驗(yàn)教學(xué)效果預(yù)測的簡單嘗試,而深度學(xué)習(xí)方法雖然性能優(yōu)越,但其具體運(yùn)算的內(nèi)在機(jī)理尚不明確,因此解釋能力較弱,且訓(xùn)練過程伴有隨機(jī)性,即便是同一數(shù)據(jù)集,每次模型運(yùn)行的結(jié)果也可能會(huì)有差異;參數(shù)的選擇方面也沒有固定標(biāo)準(zhǔn),具有一定主觀性。但本研究在一定程度上探索了其在教學(xué)領(lǐng)域內(nèi)的巨大應(yīng)用潛力。此外,由于虛擬仿真實(shí)驗(yàn)將面臨學(xué)習(xí)者個(gè)性化特征、實(shí)驗(yàn)類型差異的挑戰(zhàn),因此應(yīng)考慮進(jìn)行更大規(guī)模的實(shí)證分析予以驗(yàn)證。