知識堆疊降噪自編碼器

劉國梁 余建波

知識的表述和推理一直是人工智能的熱點話題,其中知識所代表的是數(shù)據(jù)特征與標簽間存在的一般規(guī)律.在人工智能發(fā)展早期,符號規(guī)則用來表述知識并進行推理,研究者企圖通過這種方式來以人類的思維模式解釋機器的結(jié)論,而在這一過程中的規(guī)則定義為知識[1].符號形式的優(yōu)點在于可以通過推導(dǎo)對知識進行驗證,并且其規(guī)則推導(dǎo)過程都是可以理解的.

在大數(shù)據(jù)時代,以連接主義為核心的神經(jīng)網(wǎng)絡(luò)相較于符號系統(tǒng)具有更好的適應(yīng)性.其中,深度學(xué)習(xí)[2]憑借其良好的特征學(xué)習(xí)性能近些年已經(jīng)在各個領(lǐng)域得到了廣泛應(yīng)用.通過深度學(xué)習(xí)得到的深度網(wǎng)絡(luò)即為具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò).在深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域,Hinton等[3-4]基于深度置信網(wǎng)絡(luò)(Deep belief network,DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法,為解決深層結(jié)構(gòu)優(yōu)化難題提供了解決辦法,并進一步提出了堆疊自動編碼器(Stacked auto encoder,SAE).Lecun等[5]提出了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN),利用空間相對關(guān)系以減少參數(shù)數(shù)目來提高反向傳播算法的訓(xùn)練效果,在圖像識別方面應(yīng)用前景廣闊.此外,深度學(xué)習(xí)還出現(xiàn)了一些變形結(jié)構(gòu),如堆疊降噪自編碼器(Stacked denoising auto encoder,SDAE)[6].深度網(wǎng)絡(luò)憑借其強大的學(xué)習(xí)能力廣泛地應(yīng)用于各個領(lǐng)域,但同時也據(jù)有不可忽視的 “黑箱問題”[7],即人類不能通過了解網(wǎng)絡(luò)內(nèi)部的結(jié)構(gòu)和數(shù)值特性來得到數(shù)據(jù)特征和數(shù)據(jù)標簽之間的關(guān)系,這一問題從根本上限制了深度神經(jīng)網(wǎng)絡(luò)的發(fā)展.

近年來,一些研究者開始探究如何將符號系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合,其中一部分人希望通過符號規(guī)則所表示的邏輯關(guān)系來解釋網(wǎng)絡(luò)內(nèi)部的結(jié)構(gòu)和數(shù)值特性,另一部分希望將人類已知的知識通過符號系統(tǒng)傳入神經(jīng)網(wǎng)絡(luò)以提高網(wǎng)絡(luò)性能.Gallant[8]最先提出了一種使用IF-THEN 規(guī)則解釋推理結(jié)論的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng).其后Towell等[7]提出基于知識的人工神經(jīng)網(wǎng)絡(luò)(Knowledge-based artificial neural network,KBANN),利用MofN 規(guī)則實現(xiàn)對神經(jīng)網(wǎng)絡(luò)的知識抽取和插入,通過這種方式解釋網(wǎng)絡(luò)并增強網(wǎng)絡(luò)性能.Garcez等[9]在KBANN 的基礎(chǔ)上提出了 CILP (Connectionist inductive learning and logic programming)系統(tǒng),該系統(tǒng)將邏輯規(guī)則應(yīng)用到初始化網(wǎng)絡(luò)過程中,使網(wǎng)絡(luò)可以更好地學(xué)習(xí)數(shù)據(jù)和知識.Fernando等[10]在KBANN 的基礎(chǔ)上提出了INSS (Incremental neuro-symbolic system)系統(tǒng),成功利用包含實數(shù)的分類規(guī)則初始化人工神經(jīng)網(wǎng)絡(luò).Setiono[11]在前人的基礎(chǔ)上從標準的三層前饋神經(jīng)網(wǎng)絡(luò)中抽取了IF-THEN 規(guī)則,該抽取算法最大的亮點在于將隱藏節(jié)點的激活值離散化.袁靜等[12]嘗試利用符號邏輯語言描述神經(jīng)網(wǎng)絡(luò),并通過激活強度從理論上幫助規(guī)則進行推導(dǎo).錢大群等[13]根據(jù)神經(jīng)網(wǎng)絡(luò)節(jié)點的輸出值建立約束并生成規(guī)則.這種規(guī)則被用來解釋神經(jīng)網(wǎng)絡(luò)的行為.黎明等[14]將模糊規(guī)則與神經(jīng)網(wǎng)絡(luò)相結(jié)合以提高模型的模式識別能力.在深度學(xué)習(xí)上更進一步的研究中,Penning等[15]提出神經(jīng)符號認知代理模型(Neural-symbolic cognitive agent,NSCA),試圖將時間符號知識規(guī)則與RTRBM (Recurrent temporal restricted Boltzmann machine)結(jié)合實現(xiàn)在線學(xué)習(xí).Odense等[16]將受限玻爾茲曼機(Restricted Boltzmann machine,RBM)與MofN 規(guī)則相結(jié)合.深度置信網(wǎng)絡(luò)(DBN)是由RBM 堆疊形成的,而這一研究的意義則在于這是對DBN 網(wǎng)絡(luò)進行模塊化解釋的主要基礎(chǔ),也是對神經(jīng)網(wǎng)絡(luò)與符號結(jié)合的一種新思考.Tran等[17]在NSCA 的基礎(chǔ)上將置信度規(guī)則與DBN 相結(jié)合,實現(xiàn)知識的抽取和插入.Li等[18]通過將符號系統(tǒng)與神經(jīng)網(wǎng)絡(luò)相結(jié)合形成神經(jīng)符號系統(tǒng),將符號主義與連接主義的優(yōu)點集成,形成新的推理學(xué)習(xí)模型.Garcez等[19]提出了神經(jīng)符號計算的概念,其中知識以符號的形式表示,而學(xué)習(xí)和推理由神經(jīng)元計算.通過這種方式將神經(jīng)網(wǎng)絡(luò)的魯棒學(xué)習(xí)和有效推理與符號的可解釋性相結(jié)合.論文從知識的表示、提取、推理和學(xué)習(xí)方面進行討論,并分別對基于規(guī)則、基于公式和基于嵌入的神經(jīng)符號計算方法進行了論述.但是,上文所提到的知識提取與插入方法通常在淺層神經(jīng)網(wǎng)絡(luò)模型實施,對于深度神經(jīng)網(wǎng)絡(luò)模型的知識提取與插入有待深入展開.

本文提出了一種新的深度神經(jīng)網(wǎng)絡(luò)模型 ——知識堆疊降噪自編碼器 (Knowledge-based stacked denoising autoencoder,KBSDAE),實現(xiàn)了符號系統(tǒng)與深度SDAE之間的有效集成,解決了深度神經(jīng)網(wǎng)絡(luò)的知識發(fā)現(xiàn),特征提取與網(wǎng)絡(luò)可視化問題.本文的主要貢獻如下:1)提出了一種新的深度知識神經(jīng)網(wǎng)絡(luò)KBSDAE 模型,顯著地提高了特征學(xué)習(xí)及模式識別性能;2)提出了一種從深度網(wǎng)絡(luò)發(fā)現(xiàn)知識的方法,實現(xiàn)了深度網(wǎng)絡(luò)可解釋的目的;3)有效地將符號規(guī)則與分類規(guī)則相結(jié)合,獲得了一種具有高推導(dǎo)性能的規(guī)則系統(tǒng).最后采用各類標桿數(shù)據(jù)驗證了本文所提出方法的有效性與可應(yīng)用性.

1 堆疊降噪自編碼器

自編碼器(Autoencoders,AE)是基于神經(jīng)網(wǎng)絡(luò)的特征表達網(wǎng)絡(luò),由輸入層 (x)、隱藏層 (h)和輸出層 (y)構(gòu)成,是深度學(xué)習(xí)的典型模型之一[6].它通過編碼和解碼運算重構(gòu)輸入數(shù)據(jù),使得重構(gòu)誤差最小.通過這種方式得到輸入數(shù)據(jù)的隱藏層表達,以達到特征提取的目的.因為學(xué)習(xí)過程中不存在數(shù)據(jù)標簽,但是又以輸入數(shù)據(jù)作為重構(gòu)目標,所以認定該模型為自監(jiān)督學(xué)習(xí)過程.

自編碼器的編碼階段是輸入層x到隱藏層h的過程,具體表示為

其中,σ是Sigmoid 非線性激活函數(shù):σ(x)=1/(1+e-x),參數(shù)集合θ={w,b}.解碼階段是隱藏層h重構(gòu)輸出層y的過程,具體表示為

其中,σ′是Sigmoid 非線性激活函數(shù),參數(shù)集合θ′={w′,b′}.

通過最小化重構(gòu)誤差函數(shù)L(x,y)=‖x-y‖2來逐步地調(diào)整網(wǎng)絡(luò)內(nèi)部的參數(shù)θ,θ′,優(yōu)化方式選擇隨機梯度下降法.最優(yōu)參數(shù)表示為

降噪自編碼器(Denoising auto-encoder,DAE)是基于AE 的一種變形,通過噪聲污染訓(xùn)練輸入數(shù)據(jù)以增加網(wǎng)絡(luò)的魯棒性,防止過擬合[7].從圖1 可以看到DAE 的訓(xùn)練過程,首先利用隨機函數(shù)以一定的概率p將原訓(xùn)練數(shù)據(jù)x中的一些單元置零得到被污染的數(shù)據(jù);通過編碼和解碼對進行重構(gòu);最后調(diào)整網(wǎng)絡(luò)參數(shù)θ,θ′.在利用受污染的數(shù)據(jù)學(xué)習(xí)后,網(wǎng)絡(luò)可以具有更好的魯棒性.可以說,DAE 相較于傳統(tǒng)的AE 具有更強的泛化能力.

圖1 堆疊降噪自編碼器工作原理示意圖Fig.1 Stacked denoising auroencoder working principle diagram

將若干個DAE 堆疊起來,就可以形成SDAE,如圖1 所示.每一個DAE 都以前一個DAE 的隱藏層輸出作為原始輸入數(shù)據(jù),添加噪聲后利用被污染的數(shù)據(jù)進行訓(xùn)練.其訓(xùn)練過程首先是逐個DAE 貪婪訓(xùn)練,最后通過BP 算法[20]微調(diào)整個網(wǎng)絡(luò)以獲得最佳網(wǎng)絡(luò)模型.

本文提出的KBSDAE 實現(xiàn)了深度網(wǎng)絡(luò)知識抽取和插入目的,形成的KBSDAE 系統(tǒng)如圖2 所示.下面將闡述知識抽取和插入的詳細過程.

圖2 KBSDAE 模型結(jié)構(gòu)圖Fig.2 KBSDAE model structure diagram

2 規(guī)則抽取與推理

本文提出的規(guī)則集是由置信度符號規(guī)則和分類規(guī)則合并而成的,兩種形式規(guī)則的合成有助于規(guī)則集具有更高的可理解性和推理精度.對兩種規(guī)則集分別建立了相應(yīng)的規(guī)則抽取算法,并且面向規(guī)則推理過程中兩者形式不同的問題,建立了一套基于懲罰邏輯[21]的完整推理算法.

2.1 混合規(guī)則

符號規(guī)則方面,傳統(tǒng)邏輯符號規(guī)則有很多種表達形式,但是它們在復(fù)雜問題上的邏輯推理能力較弱.為了能描述深度神經(jīng)網(wǎng)絡(luò),本文選擇了一種數(shù)值和符號相結(jié)合的規(guī)則 ——置信度規(guī)則.這種規(guī)則存在以下特性:規(guī)則節(jié)點與網(wǎng)絡(luò)神經(jīng)元一一對應(yīng);規(guī)則節(jié)點間的邏輯關(guān)系是從網(wǎng)絡(luò)中拓撲而出;規(guī)則置信值是對網(wǎng)絡(luò)權(quán)值進行擬合得出的;即便面對復(fù)雜的大型規(guī)則結(jié)構(gòu)也可以進行有效的數(shù)學(xué)推理.這些特性賦予符號規(guī)則兩種能力:1)符號規(guī)則的結(jié)構(gòu)與網(wǎng)絡(luò)基本相同且元素一一對應(yīng),網(wǎng)絡(luò)內(nèi)部的邏輯關(guān)系可以被遷移到規(guī)則上作為一種網(wǎng)絡(luò)內(nèi)部關(guān)系的表現(xiàn);2)規(guī)則可以作為深度神經(jīng)網(wǎng)絡(luò)的一種簡化表示,具備一定的網(wǎng)絡(luò)能力.所以符號規(guī)則的運行其實是對神經(jīng)網(wǎng)絡(luò)行為的一種簡化模仿,而這種模仿過程是人類所能理解的.

置信度規(guī)則是一個符合充要條件的等式c:h ?x1∧···∧xn,其中c屬于實數(shù)類型,定義為置信值;h和xi(i∈[1,n])為假設(shè)命題,這種符號規(guī)則形式與文獻[16]中的規(guī)則相似,但由于面向的網(wǎng)絡(luò)不同,規(guī)則符號的意義也不同.本文定義具體的置信度符號規(guī)則為

該規(guī)則可解釋為:當(dāng)x1,···,xn命題成立時,h命題也成立的置信值為c,反之亦成立.其中,是符號規(guī)則標簽,解釋為第l層第j個符號規(guī)則;代表DAE 中第l個隱藏層中第j個神經(jīng)元;xi(i∈[1,n])代表DAE 輸入層中第i個神經(jīng)元,P和N分別代表對產(chǎn)生積極和消極影響的輸入層神經(jīng)元集合.根據(jù)表達式可以看出,符號規(guī)則的整體結(jié)構(gòu)和堆疊的自編碼器具有相似的堆疊嵌套結(jié)構(gòu),可以最大化復(fù)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu).

分類規(guī)則的解釋邏輯是對網(wǎng)絡(luò)分類過程的一種模仿,由數(shù)值和邏輯符號組成.這種規(guī)則是從功能上對神經(jīng)網(wǎng)絡(luò)分類層的模仿,通過數(shù)值和符號定義不同類別的不同區(qū)間可以最大限度的對網(wǎng)絡(luò)分類過程進行模仿和解釋.同時,由于分類規(guī)則組成元素與置信度符號規(guī)則相同,故兩者可以進行有效結(jié)合.具體的規(guī)則形式表示為

其中,?是規(guī)則的標簽,BN表示從置信度符號規(guī)則集中推導(dǎo)輸出的可信值集,VN代表對應(yīng)的實數(shù)集,y為類值標簽,可以被賦值為某一類cl.該規(guī)則的解釋為:當(dāng)符號規(guī)則集輸出的BN符合相應(yīng)的條件時,可以判定這組數(shù)據(jù)屬于某一類cl.

兩種規(guī)則的合并即為本文提出的混合邏輯規(guī)則Rmix

可以看出,它是由堆疊的多層置信度符號規(guī)則和分類規(guī)則混合而成.

2.2 符號規(guī)則抽取

符號規(guī)則抽取目標是每一個自編碼器的編碼階段[17],抽取過程的核心原理是將規(guī)則置信度cjsj最大化擬合權(quán)重值wj.根據(jù)DAE 基本原理,其輸入數(shù)據(jù)x到隱含表示h的映射表示為

根據(jù)式(7)提出新的函數(shù),同樣可以將數(shù)據(jù)x映射到隱藏層空間中

其中,cj是連續(xù)實數(shù),sj∈{1,0,-1}是對wj的符號項表示,可以理解為sij=sign(wij).當(dāng)xi或?xi在規(guī)則j中時,sij分別等于1 或 -1,其余情況下sij等于0.對比式(7)和式(8)可以看出,二式的形式和元素基本相同.為了使hj1可以有效地代表隱藏層空間,需要找到合適的cj和sj,使hj1近似于hj.本文通過最小化wj與cj×sj之間的歐氏距離實現(xiàn)擬合過程

在提取cj的過程中,對式(8)進行求導(dǎo)并令其等于零,即∑

經(jīng)過數(shù)學(xué)推導(dǎo),最終可以得到cj的表達式為

進一步對式(9)分析,可得

可知,如果想要歐氏距離最小,需要在sij=1或sij=0的情況下.進一步,如果一個元素對應(yīng)的歐氏距離只有在sij=0 的情況下最小,那么可以判定該元素xi不應(yīng)該出現(xiàn)在規(guī)則hj中.即

可知,當(dāng) 2|wij|≤cj時,對應(yīng)的元素不應(yīng)出現(xiàn)在規(guī)則中.通過式(11)和式(13)可以得到一種具有強連接關(guān)系和判定系數(shù)的符號規(guī)則集,能夠更加緊湊地描述DAE 網(wǎng)絡(luò).

根據(jù)上述分析,從DAE 網(wǎng)絡(luò)中抽取置信度符號規(guī)則的具體算法DAE_CRE 可參考文獻[17]的規(guī)則抽取算法.SDAE 是由DAE 編碼網(wǎng)絡(luò)堆疊而成的,只需將DAE_CRE算法迭代運行,就能抽取出SDAE 編碼器部分的置信度符號規(guī)則集.同時,通過上述方法得到的規(guī)則集具有堆疊嵌套結(jié)構(gòu),這有助于規(guī)則集的推理性.

2.3 分類規(guī)則抽取

置信度符號規(guī)則可以表示SDAE 的堆疊編碼器部分,但是在分類層的表示上存在較大的信息損失[17].為了更加準確地解釋SDAE,本文運用數(shù)據(jù)挖掘領(lǐng)域分類規(guī)則的相關(guān)知識,從統(tǒng)計意義上解釋分類層.為了與之前的符號規(guī)則保持一致性,分類規(guī)則的基本形式也是IF-THEN.

利用遺傳算法(Genetic algorithm,GA)[22]挖掘符號規(guī)則推導(dǎo)出的置信值與分類標簽之間的關(guān)系是分類規(guī)則抽取算法的核心思想.在實驗中發(fā)現(xiàn),從符號規(guī)則中推導(dǎo)出的置信度集合存在數(shù)據(jù)間差異過小的問題.這使得一般的GA 編碼方式得到的規(guī)則性能較低.針對上述問題,本文改進了Yu等[23]的編碼方式,使分類規(guī)則性能提高的同時讓規(guī)則更加緊湊簡單.算法基因的構(gòu)成如表1 所示,每一個基因由狀態(tài)判別量(Active,Act)、符號判別量(Distinguished symbol,DS)、具體數(shù)值(Value,V)三個元素組成.N個這樣的基因按照特征的順序組成了染色體,N為特征數(shù)量.

表1 遺傳算法基因編碼示意表Table 1 Genetic algorithm gene coding schematic

本文選用的GA 算法適應(yīng)度函數(shù)是較為普遍的規(guī)則質(zhì)量評估函數(shù):

其中,TP表示被判斷為正樣本,實際上也是正樣本;FN表示被判斷為負樣本,實際上也是負樣本;TN表示被判斷為負樣本,但實際上是正樣本;FP表示被判斷為正樣本,但實際上是負樣本.(TP/(TP+FN))和 (TN/(FP+TN))分別表示每條規(guī)則對該類別的敏感度和特異性.通過這個適應(yīng)度函數(shù),可以得到對每一個分類都具有高敏感度和特異性的規(guī)則.

2.4 規(guī)則推理

由于符號規(guī)則與分類規(guī)則的表現(xiàn)形式不同,需要特定的推導(dǎo)方法才能使混合規(guī)則集具有可推導(dǎo)性,抽取的規(guī)則集的意義才能顯現(xiàn).本文提出的推導(dǎo)方法(Rule-INF)分成兩個部分:符號規(guī)則部分和分類規(guī)則部分.符號規(guī)則的推導(dǎo)借鑒了文獻[21]中懲罰邏輯的思想并加以改善.通過置信度值的數(shù)值特性,符號規(guī)則的推導(dǎo)突破了二值的限制,可以用于推導(dǎo)大量的連續(xù)性數(shù)據(jù).分類規(guī)則的推導(dǎo)將符號規(guī)則輸出的置信值與規(guī)則一一對照,尋找出符合條件的規(guī)則并進行分類.具體的推導(dǎo)算法如算法1 所示.

算法 1.Rule-INF 算法

3 KBSDAE

本節(jié)將討論如何利用混合規(guī)則集Rmix初始化并訓(xùn)練KBSDAE,這種初始化過程可以看作是一種遷移學(xué)習(xí),即在網(wǎng)絡(luò)創(chuàng)建的初始階段就賦予深度網(wǎng)絡(luò)有效的知識.通過這種方式得到的KBSDAE網(wǎng)絡(luò)具有更快的收斂速度和更高的識別精度.混合規(guī)則包含符號規(guī)則和分類規(guī)則,它們分別對應(yīng)初始化KBSDAE 的編碼部分和分類器部分,本節(jié)將分別討論初始化KBSDAE 不同訓(xùn)練階段的方法.

3.1 DAE 學(xué)習(xí)階段

基于Tran等[17]的符號規(guī)則與DBN 相結(jié)合的思想,本文首先篩選出置信度較高的分類規(guī)則束,其次利用符號規(guī)則初始化DAE 網(wǎng)絡(luò),最后利用特殊的參數(shù)更新策略完成訓(xùn)練.

符號規(guī)則束篩選算法Rule-Screen 基于符號規(guī)則的置信度運行.由于規(guī)則結(jié)構(gòu)具有迭代嵌套特性,可以看作一種類似樹狀結(jié)構(gòu),所以將規(guī)則集分割為規(guī)則束以作為篩選目標.每個規(guī)則束的置信度值通過推導(dǎo)算法得到,最終選取置信度較高的規(guī)則用于初始化網(wǎng)絡(luò).具體的算法流程如算法2 所示,將第1 層符號規(guī)則集的置信度值作為輸入在符號規(guī)則集中進行推導(dǎo),并最終篩選出置信度高的n個規(guī)則束.通過這種方法將規(guī)則集中最可信的規(guī)則用于網(wǎng)絡(luò)初始化,在不造成信息過度損失的情況下簡化初始化過程.在本文中,規(guī)則篩選率為1/n=0.3,該參數(shù)的選取依據(jù)參照文獻[24].實驗發(fā)現(xiàn),利用算法2 得到的規(guī)則束囊括了各層符號規(guī)則中的高置信度規(guī)則,這從另一個方面證明了算法的有效性.

算法 2.Rule-Screen 算法

由于符號規(guī)則的結(jié)構(gòu)與DAE 的編碼階段基本相同,本文將規(guī)則中的元素和置信度值分別初始化為對應(yīng)網(wǎng)絡(luò)中的神經(jīng)元和連接權(quán)重,并且在網(wǎng)絡(luò)訓(xùn)練過程中抑制被初始化參數(shù)的更新,使知識得以保留.具體訓(xùn)練步驟如下.

步驟 1.建立一個SDAE,其結(jié)構(gòu)和抽取規(guī)則的原網(wǎng)絡(luò)相同.對每一個規(guī)則cj:hj?x1∧···∧xn,hj&x1∧···∧xn分別對應(yīng)目標網(wǎng)絡(luò)的隱藏層神經(jīng)元以及輸入層神經(jīng)元集.注意,這些神經(jīng)元集的排列位置應(yīng)與原網(wǎng)絡(luò)位置相同.

步驟 2.確定在hj與x1···xn之間的連接權(quán)重.如果輸入神經(jīng)元對應(yīng)規(guī)則中的xp,那么s=1;反之,則s=-1.其余的與hj沒有關(guān)聯(lián)以及隱藏層與輸出層之間的權(quán)重設(shè)為較小的隨機值.神經(jīng)元偏差設(shè)為隨機值.

步驟 3.利用BP 算法訓(xùn)練DAE,其中被規(guī)則初始化的連接權(quán)重不被更新.為了保證代入的規(guī)則在訓(xùn)練過程中與網(wǎng)絡(luò)較好嵌合,利用隨機數(shù)對隱藏層神經(jīng)元輸出進行二值化處理:隨機生成一個數(shù)值為0-1 的隨機數(shù)R,如果hj＞R,那么hj=1;反之,則hj=0.

步驟 4.自上而下地對每一個DAE 重復(fù)執(zhí)行步驟1～3,直到編碼部分訓(xùn)練完成.

3.2 Fine-tuning 階段

分類規(guī)則的結(jié)構(gòu)形式與SDAE 的分類層結(jié)構(gòu)不同,不能直接進行初始化過程.本文將KBANN[7]的相關(guān)知識融入到KBSDAE 的分類層中,訓(xùn)練過程如圖3 所示.但是本文所定義的分類規(guī)則包含實數(shù)集和符號集,而只針對符號規(guī)則的KBANN 方法在這里并不能完全適用.為了將分類規(guī)則中的實數(shù)知識初始化入網(wǎng)絡(luò)中,本文借鑒了Fernando等[10]提出的INSS 系統(tǒng)思想,利用實數(shù)型規(guī)則初始化網(wǎng)絡(luò).

圖3 KBSDAE 的Fine-tuning 階段示意圖Fig.3 Fine-tuning diagram of KBSDAE

初始化分類層的核心步驟是,利用分類規(guī)則在分類層和DAEs 中間新增加一個隱藏層,定義為lN+1.對每一個規(guī)則基本元素對應(yīng)網(wǎng)絡(luò)中DAEs 部分最后一個隱藏層的神經(jīng)元,VnN對應(yīng)新建隱藏層lN+1中的神經(jīng)元,類標簽值clj對應(yīng)分類層神經(jīng)元.具體的權(quán)值和偏置值初始化方法如圖4所示.圖4 以一條分類規(guī)則為例,展示了這條規(guī)則初始化網(wǎng)絡(luò)的全過程,其中P代表連向該單元的神經(jīng)元數(shù)目,w和C分別代表分類規(guī)則的靈敏度和可信度.為了更清晰地表達,圖4 省略了大部分連接線.本文中定義Weight2=1.需要注意的是,為了提高被初始化網(wǎng)絡(luò)的泛化性,微調(diào)過程中在新隱藏層lN+1和編碼階段頂層lN分別新加25 個神經(jīng)元,這種操作在KBANN[7]中被證明是有效的.

圖4 分類規(guī)則初始化網(wǎng)絡(luò)算法示意圖Fig.4 Classification rule initialize network algorithm diagram

4 實驗與結(jié)果分析

4.1 規(guī)則有效性驗證

為驗證抽取知識的有效性.利用數(shù)據(jù)關(guān)系已知的簡單數(shù)據(jù)訓(xùn)練自編碼器,并從編碼過程中抽取知識.如果抽取出規(guī)則所代表的知識與已知數(shù)據(jù)關(guān)系相符,那么可以證明從網(wǎng)絡(luò)中抽取特征間知識的有效性.本文利用具有異或關(guān)系的數(shù)據(jù)對自編碼器AE 進行訓(xùn)練,并從編碼過程中抽取符號規(guī)則集.該實驗的目的在于驗證從不同規(guī)模的AE 提取出的符號規(guī)則是否也具有異或特性.輸入數(shù)據(jù)具有三個維度x,y,z,它們具有z?x ⊕y關(guān)系的同時還具有x ?y ⊕z和y?x ⊕z關(guān)系.通過訓(xùn)練讓DAE 學(xué)習(xí)異或關(guān)系.

從不同DAE 中提取的部分符號規(guī)則如表2 所示.其中與輸入數(shù)據(jù)關(guān)系相符的規(guī)則具有較大的置信度,反之只具有很小的置信度,并且從不同規(guī)模網(wǎng)絡(luò)中抽取出的規(guī)則都基本符合數(shù)據(jù)關(guān)系.這證實了本文所提出的符號規(guī)則體系可以有效拓撲并抽取出網(wǎng)絡(luò)中的知識.盡管抽取過程存在一定的信息損失,但是依舊可以很好地表示DAE 的編碼過程.

表2 部分DAE 符號規(guī)則抽取結(jié)果Table 2 DAE symbol rule extraction result

為了驗證符號規(guī)則是否也能夠像DAE 一樣提取特征,本文利用三種特征維度較高且數(shù)據(jù)特征與標簽間的關(guān)系不明顯的數(shù)據(jù)集分別對不同規(guī)模的DAEs 進行訓(xùn)練并抽取規(guī)則.一般情況下,相較于原始數(shù)據(jù),經(jīng)過DAE 編碼后輸出的數(shù)據(jù)具有更低的維度,而利用這種低緯度數(shù)據(jù)訓(xùn)練的支持向量機(Suppprt vector machine,SVM)一般具有更好的分類結(jié)果.如果相應(yīng)置信度符號規(guī)則對輸入的原始數(shù)據(jù)經(jīng)過推導(dǎo)后所輸出的低緯度數(shù)據(jù)也可以提升SVM 的分類結(jié)果,那么可以證明從DAE 中提取出來的規(guī)則具備同樣的特征提取能力.

利用DAE 無監(jiān)督訓(xùn)練后輸出的降維數(shù)據(jù)和對應(yīng)規(guī)則推導(dǎo)得到的置信值集合分別對SVM 進行訓(xùn)練并測試分類性能,其中SVM 選用線性核函數(shù).數(shù)據(jù)集包含MNIST 手寫數(shù)字數(shù)據(jù)集、HAR 人體活動識別數(shù)據(jù)集、數(shù)據(jù)集的圖像中每個像素有256 (0～255)灰度級,將這些圖像歸一化到區(qū)間[0,1].MNIST 數(shù)據(jù)集包含 60 000 個訓(xùn)練數(shù)據(jù)和10 000個測試數(shù)據(jù)集.為了提高訓(xùn)練效率,本文首先選取10 000個訓(xùn)練數(shù)據(jù)和2 000 個驗證數(shù)據(jù)訓(xùn)練初始網(wǎng)絡(luò).之后選取分類效果最好的初始網(wǎng)絡(luò)并利用完整的60 000個數(shù)據(jù)進行訓(xùn)練.最后再利用10 000 個測試數(shù)據(jù)進行測試.HAR 數(shù)據(jù)包含由智能手機收集的561 維特征以及對應(yīng)的6 種人物動作,有8 239 個訓(xùn)練數(shù)據(jù)集和2 060 個測試數(shù)據(jù)集.訓(xùn)練模型的參數(shù):DAE 的學(xué)習(xí)率為0.01～1 之間,噪聲率在0.2～0.5 之間.SVM 的懲罰系數(shù)在0.01～1 之間.

利用SVM 對不同數(shù)據(jù)進行10 折交叉訓(xùn)練的結(jié)果如表3 所示.相較于原始數(shù)據(jù),經(jīng)過DAEs 或?qū)?yīng)符號規(guī)則提取特征的低維數(shù)據(jù)具有更好的可分性.雖然規(guī)則的特征提取能力和相應(yīng)DAEs 之間存在差距,但是從某種意義上講,DAEs 中抽取的規(guī)則可以在一定程度上代表DAEs,故規(guī)則也具有穩(wěn)定降維的能力.

表3 復(fù)雜數(shù)據(jù)集降維后SVM 10 折交叉分類結(jié)果(%)Table 3 Ten-fold cross-classification results of dimensionally reduced complex data on SVM (%)

4.2 混合規(guī)則可推導(dǎo)解釋性驗證

為了驗證混合規(guī)則的可推導(dǎo)性和可解釋性,利用DNA promoter[25]數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)并抽取規(guī)則.該數(shù)據(jù)集普遍應(yīng)用于驗證網(wǎng)絡(luò)-符號系統(tǒng),數(shù)據(jù)集具有106 例數(shù)據(jù),分成53 個激活項數(shù)據(jù)和53 個不激活項數(shù)據(jù),每一例數(shù)據(jù)由DNA 的-50～7 位置上的染色體狀態(tài)組成(A,T,G,C).將染色體狀態(tài)進行one-hot 編碼以方便網(wǎng)絡(luò)學(xué)習(xí),如:A=(1,0,0,0),T=(0,1,0,0)等.經(jīng)過數(shù)據(jù)處理,原數(shù)據(jù)變?yōu)?28 維數(shù)據(jù).隨機選取86 例訓(xùn)練數(shù)據(jù),20 例預(yù)測數(shù)據(jù).首先利用數(shù)據(jù)分別訓(xùn)練5 個單層SDAE,網(wǎng)絡(luò)規(guī)模為228-3-2 (即:單層SDAE 的輸入神經(jīng)元個數(shù)為228 (輸入數(shù)據(jù)為228 維數(shù)據(jù)),SDAE 的隱層神經(jīng)元個數(shù)為3,輸出層神經(jīng)元個數(shù)為2 (根據(jù)分類數(shù)確定，此處為激活項與不激活項兩類)),兩個訓(xùn)練階段的學(xué)習(xí)率分別為0.01和1,DAE 訓(xùn)練階段噪聲率為0.1.這些網(wǎng)絡(luò)在測試集上的平均識別精度為90%,而對應(yīng)抽取出的規(guī)則在測試集上的平均推導(dǎo)識別精度為91.52%.具體的分類規(guī)則如表4 所示,可以看出本文提出的混合規(guī)則具有較高的推導(dǎo)判別性能.

表4 基于DNA promoter 的分類規(guī)則明細表(%)Table 4 Classification rule schedule based on DNA promoter (%)

在模型的可解釋方面,本文所提出模型的核心思想為符號與網(wǎng)絡(luò)相結(jié)合,而規(guī)則就是對網(wǎng)絡(luò)的一種模擬和解釋.接下來我們將嘗試利用規(guī)則對網(wǎng)絡(luò)進行解釋并驗證.基于DNA promoter 數(shù)據(jù)集的模型規(guī)則如表3和表4 所示.表5 包含了3 個隱藏神經(jīng)元所對應(yīng)的部分規(guī)則以及DNA promoter 數(shù)據(jù)集固有的基本規(guī)則,其中 “[]”表示為任意堿基都成立;“T (A)”表示T 或A 在該位置出現(xiàn)都算假設(shè)成立.以為例解釋網(wǎng)絡(luò)行為:如果輸入數(shù)據(jù)在規(guī)則片段1 對應(yīng)位置的堿基排列為 “TTG (Tor A)C”;在規(guī)則片段2 對應(yīng)位置的堿基排列為 “(Tor A)AAAGC”;在規(guī)則片段3 對應(yīng)位置的堿基排列為“AATAA”,那么DAE 的隱藏層神經(jīng)元h2的輸出值則盡可能大.根據(jù)表4 的分類規(guī)則,如果h2和h3足夠大,就將這一數(shù)據(jù)定義為 “promoter”.上述的過程為規(guī)則推導(dǎo)的過程,也在一定意義上解釋了神經(jīng)網(wǎng)絡(luò)內(nèi)部的運行機理.為了驗證這種解釋是否正確,將抽取出的規(guī)則與數(shù)據(jù)的固有基本規(guī)則進行對比,可以發(fā)現(xiàn)基本規(guī)則與生成規(guī)則所對應(yīng)的地方基本相符,這也驗證了利用規(guī)則抽取網(wǎng)絡(luò)內(nèi)部知識的有效性.

表5 基于DNA promote 數(shù)據(jù)集的部分符號規(guī)則明細Table 5 Partial symbol rule details based on DNA promote

對比規(guī)則和標準網(wǎng)絡(luò)在相同測試數(shù)據(jù)下的推導(dǎo)精度,以驗證規(guī)則的高精度推導(dǎo)能力和穩(wěn)定性.根據(jù)不同訓(xùn)練數(shù)據(jù)量,分別連續(xù)訓(xùn)練20 個標準單層DAE 網(wǎng)絡(luò)并從中抽取規(guī)則.利用20 例測試數(shù)據(jù)分別對每一個網(wǎng)絡(luò)和其對應(yīng)的規(guī)則進行精度測試,結(jié)果如圖5 所示.圖中橫坐標表示標準網(wǎng)絡(luò)在測試集上的預(yù)測精度,縱坐標表示規(guī)則在測試集上的推導(dǎo)精度.可以看出,測試結(jié)果大部分都落在對角線周圍,這證明規(guī)則推導(dǎo)精度和對應(yīng)的標準網(wǎng)絡(luò)大體相當(dāng),且具有較高穩(wěn)定性.即便訓(xùn)練數(shù)據(jù)量發(fā)生變化,推導(dǎo)精度也不會發(fā)生突變.

圖5 SDAE和對應(yīng)混合規(guī)則DNA promoter 的識別率對比(%)Fig.5 Comparison of DNA promoter recognition rate between SDAE and corresponding blending rules (%)

4.3 標準數(shù)據(jù)集驗證

KBSDAE 在構(gòu)建過程中創(chuàng)造性地同時利用兩種不同類型的規(guī)則進行網(wǎng)絡(luò)確定與權(quán)重參數(shù)初始化,其網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練方法都與傳統(tǒng)SDAE 有所不同.因此,本文采用UCI 數(shù)據(jù)庫[26]中的經(jīng)典標準數(shù)據(jù)(如表6 所示)對KBSDAE 的分類性能進行測試,并與其他典型分類器進行比較.

表6 UCI 數(shù)據(jù)集信息Table 6 UCI dataset information

KBSDAE 的網(wǎng)絡(luò)結(jié)構(gòu)為兩個DAE 堆疊(第1個DAE 隱藏層神經(jīng)元數(shù)稍大于輸入特征數(shù),第2個DAE 隱藏層神經(jīng)元數(shù)稍小于輸入特征數(shù)),外加一層由分類規(guī)則初始化出的隱藏層lN+1,該層神經(jīng)元數(shù)根據(jù)分類規(guī)則變化,最后堆疊一個Softmax 分類層.兩個訓(xùn)練階段的學(xué)習(xí)率在0～0.01 之間,噪聲率在0.01～0.3 之間.DAE 迭代訓(xùn)練200 次,Finetuning 階段迭代50 次,其余分類器的迭代次數(shù)與之相似.對比的網(wǎng)絡(luò)有DBN,網(wǎng)絡(luò)結(jié)構(gòu)為兩個RBM 堆疊,其結(jié)構(gòu)與KBSDAE 相似,兩個訓(xùn)練階段學(xué)習(xí)率在0.1～1 之間,RBM 訓(xùn)練階段的動量為0.05～0.3;Sym-DBN 模型來自于文獻[17],是一種符號規(guī)則和DBN 相結(jié)合的模型,其網(wǎng)絡(luò)結(jié)構(gòu)與DBN 相同,兩階段學(xué)習(xí)率在0.01～0.2 之間,RBM訓(xùn)練階段的動量為0.05～0.3.SDAE 為兩層DAE堆疊而成,網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)和KBSDAE 相同.INSS-KBANN[10]中的規(guī)則由GA 算法直接從訓(xùn)練數(shù)據(jù)集中挖掘,包含一個隱藏層,學(xué)習(xí)率在0.1～1 之間,迭代訓(xùn)練200 次.BPNN 模型結(jié)構(gòu)與KBSDAE相同,學(xué)習(xí)率在0.1～1 之間,迭代訓(xùn)練300 次.

如表7 所示,其中所有識別器的測試結(jié)果都是經(jīng)過5 折交叉[27]后得到.在實驗過程中,將數(shù)據(jù)隨機等分成5 份,其中4 份作為訓(xùn)練數(shù)據(jù),另外一份作為測試數(shù)據(jù).實驗連續(xù)進行5 次,保證每一份數(shù)據(jù)都成為過測試集和訓(xùn)練集.實驗結(jié)果證明,KBSDAE的分類性能相較于傳統(tǒng)的機器學(xué)習(xí)分類器有較為明顯的提升.特別地,KBSDAE 明顯優(yōu)于SDAE,這說明符號規(guī)則與分類規(guī)則融合的SDAE設(shè)計方法顯著提高了其特征學(xué)習(xí)與識別性能.

表7 UCI 數(shù)據(jù)集信息 (%)Table 7 UCI dataset information (%)

知識代入過程中對網(wǎng)絡(luò)的影響在于初始化階段.網(wǎng)絡(luò)的初始化對網(wǎng)絡(luò)的訓(xùn)練過程具有較大的影響[7].為了驗證利用知識初始化網(wǎng)絡(luò)是否可以帶來積極影響,本文利用 HAR 數(shù)據(jù)集建立KBSDAE 網(wǎng)絡(luò),并記錄了KBSDAE 在無監(jiān)督訓(xùn)練和微調(diào)階段的均方誤差(Mean square error,MSE)變化.MSE 可以很好地描述網(wǎng)絡(luò)在訓(xùn)練過程中的分類性能變化.從圖6 可以看出,無論是在無監(jiān)督還是在微調(diào)階段,KBSDAE 的MSE相較于規(guī)模相同的SDAE 都具有更低的起點、更快的收斂速度和更低的收斂區(qū)間.這證明了利用知識初始化網(wǎng)絡(luò)所帶來的積極影響,進一步證明了本文提出方法的有效性.

圖6 KBSDAE和SDAE 在HAR 數(shù)據(jù)集上訓(xùn)練過程的均方誤差變化對比Fig.6 Comparison of mean square error of KBSDAE and SDAE training process on HAR dataset

為了進一步驗證KBSDAE 模型在處理復(fù)雜分類問題時能否有效進行分類,選取了兩種標準數(shù)據(jù)集:USPS 手寫數(shù)據(jù)集以及HAR 數(shù)據(jù)集[28].對比了SDAE和KBSDAE 的類識別性能.具體的實驗數(shù)據(jù)如表8 所示.從表中可以看出,在結(jié)構(gòu)參數(shù)基本相同的情況下,KBSDAE 與SDAE 的分類情況類似,故認定KBSDAE 不存在類識別不平衡問題.值得注意的是,文獻[27]利用改進的支持向量機處理HAR 數(shù)據(jù)集的分類問題,識別精度最高僅達到89.3%,而KBSDAE 可以達到98.5%的識別精度.

表8 復(fù)雜數(shù)據(jù)集分類結(jié)果對比(%)Table 8 Classification results of comparison on complex datasets (%)

為了驗證KBSDAE 在復(fù)雜數(shù)據(jù)集上的分類性能是否足夠優(yōu)越.本文選取了目前較為主流的一維分類器和符號神經(jīng)模型在USPS和HAR 數(shù)據(jù)集上進行分類結(jié)果橫向?qū)Ρ?結(jié)果如表9 所示,其中所有結(jié)果都是5 折交叉后得到的.可以看出,KBSDAE相較于其他分類模型具有更好的分類效果.

表9 復(fù)雜數(shù)據(jù)集5 折交叉分類結(jié)果對比(%)Table 9 Comparison of five-fold cross-classification results on complex datasets (%)

4.4 靈敏度分析

為了驗證規(guī)則中的知識是否能賦予網(wǎng)絡(luò)一定的分類性能以及KBSDAE 對數(shù)據(jù)的敏感度,對比了不同訓(xùn)練數(shù)據(jù)量下網(wǎng)絡(luò)模型的預(yù)測精度.本文利用DNA promoter 數(shù)據(jù)分別訓(xùn)練SDAE和KBSDAE.訓(xùn)練數(shù)據(jù)量從10 開始逐漸遞增.訓(xùn)練后的網(wǎng)絡(luò)利用20 個測試數(shù)據(jù)進行識別性能測試,結(jié)果如圖7所示,在訓(xùn)練數(shù)據(jù)量很小的情況下,KBSDAE 依舊具有高識別精度,這是由于知識代入網(wǎng)絡(luò)的結(jié)果.并且,隨著訓(xùn)練數(shù)據(jù)量的增加KBSDAE 識別精度也穩(wěn)定高于傳統(tǒng)SDAE.

圖7 不同DNA promoter 數(shù)據(jù)量訓(xùn)練的SDAE 與KBSDAE 分類性能對比Fig.7 Comparison of classification performance between SDAE and KBSDAE trained by different DNA promoter data

為進一步驗證知識代入網(wǎng)絡(luò)的過程是否有效,對比了KBSDAE和SDAE 在不進行Fine-tuning和只進行幾步Fine-tuning 后的測試精度.利用DNA promoter 數(shù)據(jù)集分別建立了結(jié)構(gòu)和訓(xùn)練參數(shù)相同的SDAE和KBSDAE,其中兩個訓(xùn)練階段的學(xué)習(xí)率分別為0.01和1,DAE 訓(xùn)練階段噪聲率為0.1.實驗結(jié)果如圖8 所示,可以看到KBSDAE 在不進行Fine-tuning 的情況下仍具有80%的測試精度,與SDAE 的51%測試精度相比提升明顯,這進一步證明了利用規(guī)則將知識代入網(wǎng)絡(luò)中的方法是有效的.經(jīng)過前幾步Fine-tuning 后的KBSDAE 測試精度普遍高于SDAE,證明了將知識代入網(wǎng)絡(luò)可以顯著提高網(wǎng)絡(luò)的分類性能.

圖8 不同F(xiàn)ine-tuning 訓(xùn)練步數(shù)的SDAE 與KBSDAE 分類性能對比Fig.8 Comparison of SDAE and KBSDAE classification performance of different fine-tuning training steps

5 結(jié)束語

面對深度神經(jīng)網(wǎng)絡(luò)的 “黑箱問題”,本文提出了一套全新的知識表達規(guī)則系統(tǒng),嘗試解釋并強化深度神經(jīng)網(wǎng)絡(luò).該系統(tǒng)可以對SDAE 網(wǎng)絡(luò)進行簡單表示并從SDAE 中抽取和插入知識.通過這套系統(tǒng),可以理解到網(wǎng)絡(luò)內(nèi)部的知識并建立性能更加強大的KBSDAE.規(guī)則系統(tǒng)創(chuàng)新性的將符號類型和數(shù)值類型的規(guī)則進行有機結(jié)合,使得這種混合規(guī)則具有較高的推導(dǎo)性能和可理解性,在網(wǎng)絡(luò)規(guī)模愈加復(fù)雜的當(dāng)下這種規(guī)則形式不失為一條具有研究價值的路徑.實驗證明,混合規(guī)則系統(tǒng)可以有效表示網(wǎng)絡(luò)并提取網(wǎng)絡(luò)知識,具有高推導(dǎo)精度和穩(wěn)定性.利用規(guī)則初始化后的KBSDAE 相較于傳統(tǒng)SDAE 具有更快的收斂速度,更高的預(yù)測精度和數(shù)據(jù)靈敏度.下一步可以將規(guī)則與深度網(wǎng)絡(luò)可視化相結(jié)合以提升對網(wǎng)絡(luò)的解釋能力.可以嘗試解釋更復(fù)雜和龐大的網(wǎng)絡(luò),如卷積神經(jīng)網(wǎng)絡(luò).