深度學(xué)習(xí)技術(shù)在高校教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用研究

張鋼

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣東 廣州 510006）

深度學(xué)習(xí)技術(shù)在高校教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用研究

張鋼

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣東 廣州 510006）

作為確保和促進(jìn)高等教育教學(xué)質(zhì)量不斷提高的重要手段之一，教學(xué)質(zhì)量評(píng)價(jià)正在被廣泛研究。有效處理和分析高校教學(xué)過(guò)程中收集到的龐大原始數(shù)據(jù)，能夠?yàn)榻虒W(xué)質(zhì)量評(píng)估及其相關(guān)改進(jìn)措施的制定提供決策支持。針對(duì)原始教學(xué)數(shù)據(jù)多樣性且數(shù)量大的特點(diǎn)，提出了一種使用深度學(xué)習(xí)技術(shù)的教學(xué)質(zhì)量評(píng)估模型，采用MatConvNet構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，對(duì)多種原始數(shù)據(jù)進(jìn)行有機(jī)融合，能夠?qū)虒W(xué)質(zhì)量實(shí)現(xiàn)比較準(zhǔn)確的評(píng)估，有一定的實(shí)用價(jià)值。

深度學(xué)習(xí)；教學(xué)質(zhì)量評(píng)價(jià)；深度神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)融合

1 引言

作為確保和促進(jìn)高等教育教學(xué)質(zhì)量不斷提高的重要手段之一，教學(xué)質(zhì)量評(píng)價(jià)正在被廣泛研究，有效處理和分析高校教學(xué)過(guò)程中收集到的龐大原始數(shù)據(jù)，能夠?yàn)榻虒W(xué)質(zhì)量評(píng)估及其相關(guān)改進(jìn)措施的制定提供決策支持。教學(xué)質(zhì)量可以定義為某一學(xué)校所培養(yǎng)的人才在素質(zhì)、知識(shí)、能力等方面與學(xué)校教育目標(biāo)、辦學(xué)目標(biāo)相符的程度[1]。更具體地，是指某一門(mén)課程教學(xué)之后，學(xué)生在知識(shí)掌握、能力發(fā)展、素質(zhì)提高等方面的水平與課程要達(dá)到的目標(biāo)要求相符的程度[2]。高校教學(xué)質(zhì)量評(píng)價(jià)本質(zhì)上是對(duì)學(xué)生素質(zhì)、知識(shí)、能力變化程度的評(píng)價(jià)。

當(dāng)前國(guó)內(nèi)外對(duì)高校教學(xué)質(zhì)量評(píng)價(jià)進(jìn)行了多層次的研究，主要采用評(píng)價(jià)指標(biāo)體系的方式對(duì)教學(xué)活動(dòng)、學(xué)生的學(xué)習(xí)效果及反饋進(jìn)行評(píng)分，進(jìn)而通過(guò)對(duì)指標(biāo)體系進(jìn)行加權(quán)或套用數(shù)學(xué)模型計(jì)算出代表高校教學(xué)質(zhì)量的分?jǐn)?shù)[3]。研究者們對(duì)指標(biāo)體系進(jìn)行設(shè)計(jì)，使之適用于不同的教學(xué)過(guò)程：設(shè)計(jì)指標(biāo)用于描述教學(xué)程序執(zhí)行的規(guī)范化程度和教學(xué)資源利用的效率；設(shè)計(jì)評(píng)估問(wèn)卷了解學(xué)生對(duì)教師開(kāi)展教學(xué)活動(dòng)的評(píng)價(jià)，從而對(duì)教師教學(xué)活動(dòng)的質(zhì)量進(jìn)行打分；設(shè)立教學(xué)督導(dǎo)，對(duì)課堂教學(xué)、教案、作業(yè)批改、考試等進(jìn)行隨機(jī)的監(jiān)督，借助督導(dǎo)的經(jīng)驗(yàn)對(duì)以上環(huán)節(jié)的實(shí)施質(zhì)量進(jìn)行評(píng)價(jià)[4]。

目前高校教學(xué)質(zhì)量評(píng)價(jià)主要存在兩個(gè)困難，其一是教學(xué)原始數(shù)據(jù)的多樣性和數(shù)量巨大，使用傳統(tǒng)的基于確定公式的指標(biāo)計(jì)算的評(píng)價(jià)方法難以得到有效的評(píng)價(jià)；其二是教學(xué)過(guò)程是一個(gè)主觀性很強(qiáng)的過(guò)程，其中蘊(yùn)含了十分復(fù)雜的內(nèi)在規(guī)律，使用一般意義上的分析模型難以得到較為接近實(shí)際情況的評(píng)價(jià)[5,6]。也正是因?yàn)檫@樣的原因，目前高校的教學(xué)質(zhì)量評(píng)價(jià)多采用由教學(xué)督導(dǎo)打分與客觀指標(biāo)（如考試成績(jī)、出勤率、作業(yè)上交情況等）結(jié)合的方式進(jìn)行判斷[7-9]。

為了應(yīng)對(duì)以上的困難和挑戰(zhàn)，提出一個(gè)基于深度學(xué)習(xí)模型的教學(xué)質(zhì)量評(píng)價(jià)模型。深度學(xué)習(xí)（Deep Learning）是近年來(lái)非?；钴S的一個(gè)機(jī)器學(xué)習(xí)研究分支，通過(guò)增加模型的深度和廣度，即增加從輸入端到輸出端的運(yùn)算個(gè)數(shù)和模型的通道數(shù)，提升模型的參數(shù)規(guī)模，使模型具有表達(dá)復(fù)雜函數(shù)的能力。自2006年Hinton教授在《Science》上發(fā)表的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的文章[10]之后，深度學(xué)習(xí)迅速成為研究熱點(diǎn)，在圖像分類、人臉識(shí)別、語(yǔ)音識(shí)別、人工智能等方面都有廣泛的應(yīng)用[11]。在教學(xué)質(zhì)量評(píng)價(jià)上使用深度學(xué)習(xí)是合適的，大量的成功應(yīng)用案例表明，深度學(xué)習(xí)模型在處理數(shù)據(jù)多樣性和提取復(fù)雜的隱含規(guī)律方面十分有效，能夠有效地對(duì)專家的專業(yè)知識(shí)和經(jīng)驗(yàn)進(jìn)行建模。

2 基于深度學(xué)習(xí)的教學(xué)質(zhì)量評(píng)價(jià)模型

本模型為一個(gè)具有標(biāo)準(zhǔn)化輸入層、全連接層、屏蔽層的深度神經(jīng)網(wǎng)絡(luò)，其中輸入層為一組實(shí)值輸入的神經(jīng)元，對(duì)輸入進(jìn)行歸一化后，把結(jié)果輸出到與它相鄰的全連接層，輸入層的標(biāo)準(zhǔn)化函數(shù)為：

其中v為輸入數(shù)據(jù)分量，vmin和vmax分別表示在訓(xùn)練數(shù)據(jù)集中該分量的最大值和最小值。經(jīng)過(guò)輸入層標(biāo)準(zhǔn)化后，得到的數(shù)值在區(qū)間[0,1]中。

全連接層中的每一個(gè)神經(jīng)元與其相鄰層的所有神經(jīng)元都有邊相連，每條邊有一個(gè)權(quán)值，其取值范圍是[0,1]。先對(duì)所有輸入進(jìn)行加權(quán)求和，然后再輸入到一個(gè)非線性激活函數(shù)，本文采用的是Sigmoid函數(shù)，得到一個(gè)實(shí)值輸出，如公式(2)所示：

其中fi為全連接層中的第i個(gè)神經(jīng)元的輸出，M為前一個(gè)層的神經(jīng)元個(gè)數(shù)，vj為前一層的第j個(gè)神經(jīng)元的輸入，wji是連接前一層的第j個(gè)神經(jīng)元與當(dāng)前神經(jīng)元的邊的權(quán)值。

圖1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

屏蔽層按照預(yù)先設(shè)定的百分比，使上一層神經(jīng)元的輸出變?yōu)?，并且該層輸出不為零的神經(jīng)元與下一層的所有神經(jīng)元之間是全連接。在本文的工作中，根據(jù)文獻(xiàn)[12]的結(jié)論，預(yù)設(shè)隨機(jī)屏蔽的百分比為30%。

整個(gè)深度神經(jīng)網(wǎng)絡(luò)按照每?jī)蓚€(gè)全連接層后緊跟一個(gè)屏蔽層，根據(jù)問(wèn)題的復(fù)雜程度決定需要多少個(gè)這樣的組合。圖1展示了深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。

最后由一個(gè)softmax輸出層得到模型對(duì)于教學(xué)質(zhì)量的評(píng)估分值，softmax函數(shù)對(duì)輸入分量執(zhí)行連續(xù)最大化的求值，設(shè)v=(v1,v2,…,vn)，softmax函數(shù)以連續(xù)的方式求出v中最大的分量的標(biāo)準(zhǔn)值，即：

其中u是一個(gè)模為1的方向向量，u*是最優(yōu)方向向量，?xf(x)是某個(gè)神經(jīng)元的誤差值，‖?‖2是2范數(shù)。通過(guò)調(diào)整訓(xùn)練強(qiáng)度，可以改變網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的收斂速度。

3 方向向量

采用本校本科教學(xué)過(guò)程中收集到的原始教學(xué)數(shù)據(jù)，主要分為兩大類，一類是專家和學(xué)生評(píng)教指標(biāo)，另一類是客觀指標(biāo)。表1展示了兩大類指標(biāo)的具體情況（部分）。

網(wǎng)絡(luò)的訓(xùn)練采用誤差反向傳播梯度下降的方法，基于多元函數(shù)的方向?qū)?shù)從后往前求出每個(gè)神經(jīng)元的誤差，然后據(jù)此調(diào)整神經(jīng)元之間連接的權(quán)值，具體計(jì)算方法見(jiàn)公式(4)(5)：

表1 教學(xué)數(shù)據(jù)的主要指標(biāo)（部分）

表1中的學(xué)生評(píng)教指標(biāo)為一個(gè)問(wèn)卷，包含20條選擇題，在本研究中，我們把每道選擇題的回答轉(zhuǎn)化為一個(gè)布爾向量，輸入到模型中。

整個(gè)數(shù)據(jù)集的規(guī)模為5個(gè)學(xué)年106門(mén)專業(yè)課共67188條評(píng)教信息，每條評(píng)教信息包含26個(gè)字段，其中部分字段顯示在表1中。對(duì)于連續(xù)字段，直接輸入模型，由標(biāo)準(zhǔn)化輸入層對(duì)其值進(jìn)行標(biāo)準(zhǔn)化。對(duì)于離散字段，按照1-of-k編碼的方式轉(zhuǎn)化為布爾向量，之后輸入模型訓(xùn)練。經(jīng)過(guò)轉(zhuǎn)化后，每條評(píng)教信息的維數(shù)擴(kuò)展為64。每個(gè)評(píng)教信息同時(shí)包括一個(gè)6維的目標(biāo)向量，用于表示該條評(píng)教信息所反映的教學(xué)質(zhì)量。

采用深度神經(jīng)網(wǎng)絡(luò)作為評(píng)價(jià)模型，模型的結(jié)構(gòu)如圖1所示。在本應(yīng)用案例中，采用如表2所示的深度神經(jīng)網(wǎng)絡(luò)。

表2 深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

其中類型列的ABCD分別代標(biāo)準(zhǔn)化輸入層、全連接層、屏蔽層和輸出層。輸入和輸出列表示每一層輸入和輸出的維數(shù)。Func列表示每一層的激活函數(shù)，對(duì)于類型為C的屏蔽層，該列表示隨機(jī)屏蔽的百分比。

整個(gè)模型的實(shí)現(xiàn)和訓(xùn)練在著名的深度學(xué)習(xí)項(xiàng)目MatConv-Net[13]中進(jìn)行，該項(xiàng)目是基于Matlab的深度學(xué)習(xí)算法實(shí)現(xiàn)，包括網(wǎng)絡(luò)配置、訓(xùn)練算法和各種主流的已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型。

為了驗(yàn)證模型的有效性，把數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩個(gè)部分，其比例從1∶9至9∶1，先用訓(xùn)練集訓(xùn)練出一個(gè)深度神經(jīng)網(wǎng)絡(luò)，然后再把測(cè)試集的數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，得到一組輸出，把該輸出與測(cè)試集的真實(shí)輸出進(jìn)行比較，確定誤差?？紤]到輸出是一個(gè)表示教學(xué)質(zhì)量的6維實(shí)值向量，我們采用平均平方誤差來(lái)衡量輸出值與真實(shí)值之間的差異，如公式(6)所示：

其中hij為模型對(duì)第j個(gè)測(cè)試樣本的第i個(gè)輸出分量。

對(duì)于每種比例的數(shù)據(jù)集隨機(jī)劃分均進(jìn)行10次，測(cè)試結(jié)果見(jiàn)表3。

表3 不同劃分比例下的測(cè)試結(jié)果

表中的MSE列為均方誤差，其計(jì)算公式為上述公式(6)。從表3中可以看到，在訓(xùn)練集與測(cè)試集比例為6∶4的時(shí)候，模型有最低的測(cè)試誤差。同時(shí)也應(yīng)該注意到，并非越多訓(xùn)練數(shù)據(jù)模型的效果就會(huì)越好，這是由于在訓(xùn)練數(shù)據(jù)過(guò)多的情況下，會(huì)引起模型對(duì)已有數(shù)據(jù)的過(guò)度擬合，模型的泛化能力反而會(huì)下降。

圖2 全連接層與屏蔽層組合對(duì)預(yù)測(cè)結(jié)果的影響

同時(shí)我們報(bào)告不同的深度神經(jīng)網(wǎng)絡(luò)配置對(duì)模型預(yù)測(cè)結(jié)果的影響。改變網(wǎng)絡(luò)中類型為BBC的層組合的數(shù)量，從2至10，對(duì)于每一種配置，均運(yùn)行一次網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)，并記錄MSE，其結(jié)果如圖2所示。從圖中可以看出，在組合數(shù)為8的時(shí)候網(wǎng)絡(luò)的預(yù)測(cè)性能達(dá)到最佳值。

4 總結(jié)

本文研究了深度神經(jīng)網(wǎng)絡(luò)在教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用，并報(bào)告了一個(gè)應(yīng)用例。深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，能夠很好地處理教學(xué)活動(dòng)數(shù)據(jù)的多樣性和海量性，能夠有效提取影響教學(xué)質(zhì)量的深層次規(guī)律，可以作為高校教學(xué)質(zhì)量評(píng)價(jià)的輔助手段，有助于減低在評(píng)價(jià)過(guò)程中主觀因素對(duì)評(píng)價(jià)結(jié)果的影響。在今后的研究工作中，我們將對(duì)教學(xué)質(zhì)量的原始數(shù)據(jù)進(jìn)行進(jìn)一步的整理，同時(shí)引入新的表達(dá)能力更強(qiáng)大的深度學(xué)習(xí)模型和更有效的評(píng)價(jià)體系，以建立更智能化的評(píng)價(jià)模型。

[1]Daniel Hickmott，et al．2016．Building apostrophe power：lessons learnt for serious games development[C]． In Proceedings of ACSW'16．ACM，New York，NY，USA，Article 70，10 pages．

[2]William L．Honig．2013．Teaching and assessing programming fundamentals for non-majors with visual programming[C]．In Proceedings of ITiCSE'13．ACM，New York，NY，USA，40-45．

[3]A．M．Whale，B．M．Scholtz，and A．P．Calitz．2015．Classification of Heuristics for Components of e-Learning[C]．In Proceedings of SAICSIT'15，ACM，New York，NY，USA，Article 43，11 pages．

[4]Charles Garrod，Jeffrey Forbes，Colleen Lewis，and Peter-Michael Osera．2016．Mentoring Student Teaching Assistants for Computer Science[C]．In Proceedings of SIGCSE'16．ACM，New York，NY，USA，702-702．

[5]Ana M．Santos．2015．Theoretical-methodological proposal to evaluate the quality of educational websites to support education[C]．In Proceedings of TEEM'15．ACM，New York，NY，USA，397-401．

[6]黃嵐．國(guó)內(nèi)外大學(xué)評(píng)價(jià)體系的發(fā)展比較與演進(jìn)方向探析——第三方評(píng)價(jià)的視角[J]．南京理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)，2016，29(2)：73-79．

[7]姜文彪，陳正偉，裘君英，等．電工電子技術(shù)實(shí)踐教學(xué)評(píng)價(jià)體系設(shè)計(jì)——以“卓越工程師教育培養(yǎng)計(jì)劃”為背景[J]．浙江科技學(xué)院學(xué)報(bào)，2016，27(4)：307-310．

[8]楊曉明，龍文碧，呂路平，等．基于高校學(xué)生滿意度的教學(xué)質(zhì)量評(píng)價(jià)研究——以北京科技大學(xué)為例[J]．北京科技大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2015(3)：102-113．

[9]袁建林，袁景．遼寧省高校教師教學(xué)質(zhì)量評(píng)價(jià)[J]．當(dāng)代教育實(shí)踐與教學(xué)研究（電子版），2015(7)：219-220．

[10]Hinton，G．E．&Salakhutdinov，R．R．Reducing the dimensionality of data with neural networks[J]．Science，2006，313，504-507．

[11]Bengio，Y．Deep Learning of Representations：Looking Forward[C]．Proceedings of the First International Conference on Statistical Language and Speech Processing，Springer-Verlag，2013：1-37．

[12]Krizhevsky，A．;Sutskever，I．&Hinton，G．E．ImageNet Classification with Deep Convolutional Neural Networks[C]．Advances in Neural Information Processing Systems，2012．

[13]MatConvNet--Convolutional Neural Networks for MATLAB[C]．Proceeding of the ACM Int．Conf．on Multimedia，2015．

Research on theApplication of Deep Learning Technology in University Teaching QualityAssessment

Zhang Gang
(Guangdong University of Technology,Guangzhou 510006,Guangdong)

As one of the key methods for ensuring and improving the teaching quality of university,teaching quality assessment has been widely studied.Effectively processing and analyzing the big original dataset collected during teaching procedure can provide the basis of decision support for teaching quality assessment and policy making.Considering the diversity and huge volume of original teaching data,this paper proposes a teaching quality assessment model based on deep learning technology,in which a deep neural network is implemented by MatConvNet and applied for data fusion.The model achieves good performance in university teaching quality assessment which illustrates its application value.

deep learning;teaching quality assessment;deep neural network;data fusion

G434

A

1008-6609(2017)10-0006-04

張鋼（1979-），男，廣東人，工學(xué)博士，講師，研究方向?yàn)闄C(jī)器學(xué)習(xí)。

廣東省自然科學(xué)基金項(xiàng)目，項(xiàng)目編號(hào)：2016A030310340；廣東工業(yè)大學(xué)高教研究基金項(xiàng)目，項(xiàng)目編號(hào)：2016GJ12；廣東省教育評(píng)估協(xié)會(huì)2015年度研究課題，項(xiàng)目編號(hào)：G-11。