深度神經(jīng)網(wǎng)絡(luò)解釋方法綜述

蘇炯銘,劉鴻福,項(xiàng)鳳濤,吳建宅,袁興生

(國防科技大學(xué) 智能科學(xué)學(xué)院,長沙 410073)

0 概述

當(dāng)前以大數(shù)據(jù)和深度學(xué)習(xí)為基礎(chǔ)的人工智能技術(shù)在圖像識(shí)別、語音識(shí)別和自然語言處理等許多應(yīng)用領(lǐng)域取得了巨大進(jìn)展,然而深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)的不透明性、不可解釋和不可理解成為制約其理論發(fā)展和實(shí)踐應(yīng)用的巨大障礙?；谏疃壬窠?jīng)網(wǎng)絡(luò)的智能系統(tǒng),其學(xué)習(xí)和預(yù)測過程不透明,對(duì)于模型學(xué)到何種有效特征以及如何做出預(yù)測和判斷,整個(gè)過程缺乏可解釋性,被稱為“算法黑盒”系統(tǒng)。

當(dāng)面對(duì)環(huán)境動(dòng)態(tài)變化、信息不完全、存在干擾或虛假信息的情況,智能系統(tǒng)的性能就會(huì)顯著下降,此時(shí)用戶如果選擇無條件相信系統(tǒng),則有可能產(chǎn)生嚴(yán)重后果[1],如在圖像中加入細(xì)小擾動(dòng)[2-4]或采用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)[5-6]生成的對(duì)抗樣本將造成分類決策錯(cuò)誤。在軍事[7]、醫(yī)療[8-9]、金融投資貸款、交通[10]等高風(fēng)險(xiǎn)決策領(lǐng)域,用戶往往不能默認(rèn)相信智能系統(tǒng)的決策結(jié)果,而是需要智能系統(tǒng)提供做出該決策的依據(jù)信息,交由用戶對(duì)智能系統(tǒng)的決策進(jìn)行最終評(píng)估和判斷,如拒絕、接受或調(diào)整決策結(jié)果。當(dāng)前,因基于深度神經(jīng)網(wǎng)絡(luò)的智能系統(tǒng)決策存在弱理解性,使其無法實(shí)現(xiàn)有效的人機(jī)交互,難以與人類協(xié)同工作,嚴(yán)重影響系統(tǒng)效能[11-13]。

可解釋性并沒有嚴(yán)格的數(shù)學(xué)定義。不同的學(xué)者給出了多種非數(shù)學(xué)上的定義,如人類對(duì)于決策原因理解的程度[14]、人類可以持續(xù)預(yù)測模型結(jié)果的程度[15]、向人類做出解釋的過程等。總之,機(jī)器學(xué)習(xí)模型的可解釋性越高,人們就越容易理解做出某些決策或預(yù)測的原因。如果一個(gè)模型的決策對(duì)于人類來說比另一個(gè)更容易理解,那么這個(gè)模型就更容易解釋。深度神經(jīng)網(wǎng)絡(luò)解釋方法的目標(biāo)并不是讓用戶完全了解模型如何工作,通常這不是必要的,因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)模型是一個(gè)黑盒模型,如同人類大腦也是一個(gè)黑盒模型一樣,其真正的目標(biāo)是讓用戶覺得模型決策的結(jié)果和依據(jù)合理、可信。

理解和解釋深度神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)未來發(fā)展的主要目標(biāo),將使人類對(duì)智能的認(rèn)識(shí)從“只知其然”轉(zhuǎn)變?yōu)椤爸渌匀弧?從感知走向認(rèn)知,從而促進(jìn)深度網(wǎng)絡(luò)理論和應(yīng)用的發(fā)展[16-17],其也將成為人機(jī)互信、人機(jī)協(xié)同的關(guān)鍵技術(shù),使智能系統(tǒng)不僅解釋結(jié)果而且解釋過程。本文針對(duì)多種典型的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),分別介紹其解釋方法,著重對(duì)近年來的研究工作進(jìn)行分析和比較,并對(duì)該領(lǐng)域的發(fā)展趨勢加以展望。

1 深度神經(jīng)網(wǎng)絡(luò)解釋方法研究現(xiàn)狀

深度神經(jīng)網(wǎng)絡(luò)的“黑盒”問題吸引了學(xué)術(shù)界、工業(yè)界甚至軍方學(xué)者廣泛的研究興趣,是當(dāng)下人工智能研究的難點(diǎn)和熱點(diǎn)[16-18]?！禢ature》《Science》《MIT Technology Review》都撰文指出深度學(xué)習(xí)的發(fā)展需要打開這個(gè)黑盒[19]。美國軍方對(duì)智能系統(tǒng)“算法黑盒”的容忍度幾乎為零,美國國防部已將機(jī)器學(xué)習(xí)的可解釋性定性為“關(guān)鍵的絆腳石”。美國國防高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency,DARPA)于2016年提出的可解釋的人工智能(eXplainable Artificial Intelligence,XAI)計(jì)劃[7],旨在建設(shè)一套全新或修改的具有很好可解釋性以及更易讓人理解的機(jī)器學(xué)習(xí)模型。

近年來,深度神經(jīng)網(wǎng)絡(luò)的可解釋問題已引起了國內(nèi)外眾多學(xué)者的廣泛關(guān)注。人工智能、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)國際會(huì)議都開始舉辦相關(guān)的研討會(huì)。NIPS(Neural Information Processing Systems)分別于2016年和2017年以“Interpretable Machine Learning for Complex Systems”和“Interpretable ML Symposium”為題進(jìn)行了研討;ICML(International Conference on Machine Learning)于2017年分別以“Visualization for Deep Learning”和“Human Interpretability in Machine Learning”為題進(jìn)行了研討;IJCAI(International Joint Conference on Artificial Intelligence)/ECAI(European Conference on Artificial Intelligence)于2018年舉辦了以“Human Interpretability in Machine Learning”“Workshop on Interpretable & Reasonable Deep Learning and its Applications”和“Explainable Artificial Intelligence”為題的研討會(huì);2019年,IJCAI和CVPR(Conference on Computer Vision and Pattern Recognition)分別舉辦了以“Explainable Artificial Intelligence”為題的研討會(huì),AAAI(American Association for Artificial Intelligence)舉辦了以“Network Interpretability for Deep Learning”為題的研討會(huì)。

此外,隨著對(duì)可解釋深度神經(jīng)網(wǎng)絡(luò)研究的深入,出現(xiàn)了大量研究成果,如以“Interpretable deep neural networks”“Interpretable deep learning” “Interpretable Machine Learning”“Explainable Artificial Intelligence”為主題詞在Web of Science核心合集(WBSCI)中檢索到的SCI文章數(shù)逐年增加,僅在短短的4年時(shí)間內(nèi),論文數(shù)量就從2015年的65篇增加到2018年的233篇,如圖1所示。

圖1 WBSCI數(shù)據(jù)庫中可解釋深度神經(jīng)網(wǎng)絡(luò)論文數(shù)量變化Fig.1 Change of number of papers about interpretabledeep neural networks on WBSCI database

上述國際權(quán)威研討會(huì)的召開和研究成果的出現(xiàn),表明目前關(guān)于可解釋深度神經(jīng)網(wǎng)絡(luò)的研究處于早期階段,但隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用,其重要性日益顯現(xiàn)。

國內(nèi)外學(xué)者對(duì)不同的深度神經(jīng)網(wǎng)絡(luò)提出了很多解釋理論和方法,相應(yīng)的綜述性文章[12-14,20-25]對(duì)這些研究進(jìn)行了總結(jié)。在已有的綜述文獻(xiàn)中,有些只針對(duì)特定深度神經(jīng)網(wǎng)絡(luò)或者部分方法進(jìn)行了論述。文獻(xiàn)[12]主要綜述了敏感性分析方法[26]和LRP(Layer-wise Relevance Propagation)方法[27]。文獻(xiàn)[13]主要對(duì)卷積神經(jīng)網(wǎng)絡(luò)的視覺解釋方法進(jìn)行綜述。文獻(xiàn)[14]從哲學(xué)、認(rèn)知心理學(xué)/科學(xué)和社會(huì)心理學(xué)的角度對(duì)人工智能的可解釋性問題進(jìn)行論述。部分文獻(xiàn)從黑盒模型、機(jī)器學(xué)習(xí)和人工智能可解釋性的角度進(jìn)行綜述。文獻(xiàn)[20]對(duì)黑盒模型的解釋方法進(jìn)行了分類和較為全面的論述,包括深度神經(jīng)網(wǎng)絡(luò)的可視化方法和任意類型黑盒模型的解釋方法等。文獻(xiàn)[21]對(duì)以往關(guān)于機(jī)器可解釋性的工作進(jìn)行分類,分析其面臨的挑戰(zhàn)并提供模型解釋的可能方法。文獻(xiàn)[22]通過在機(jī)器學(xué)習(xí)的背景下定義可解釋性并引入預(yù)測性、描述性和相關(guān)性框架討論可解釋性。該框架為評(píng)估提供了3個(gè)總體需求,即預(yù)測準(zhǔn)確性、描述準(zhǔn)確性和相對(duì)于人類用戶的判斷相關(guān)性。文獻(xiàn)[23]綜述了現(xiàn)有提高機(jī)器學(xué)習(xí)模型可解釋性的技術(shù),并且討論了社區(qū)未來應(yīng)當(dāng)考慮的關(guān)鍵問題。

也有一些學(xué)者對(duì)深度神經(jīng)網(wǎng)絡(luò)的可解釋性進(jìn)行了比較全面的分析和整理。文獻(xiàn)[24]介紹了一些近期提出的深度神經(jīng)網(wǎng)絡(luò)解釋技術(shù)以及理論、技巧和建議,以便在真實(shí)數(shù)據(jù)上最有效地使用這些技術(shù)。文獻(xiàn)[25]通過定義可解釋性對(duì)現(xiàn)有文獻(xiàn)進(jìn)行分類,指出當(dāng)前深度神經(jīng)網(wǎng)絡(luò)的方法研究還不夠充分,并展望了可解釋人工智能的未來研究方向。

隨著深度神經(jīng)網(wǎng)絡(luò)研究的深入和廣泛應(yīng)用,新的網(wǎng)絡(luò)結(jié)構(gòu)和解釋方法不斷出現(xiàn)和發(fā)展,對(duì)這些工作進(jìn)行梳理分析和總結(jié)有助于把握深度神經(jīng)網(wǎng)絡(luò)可解釋問題的最新研究進(jìn)展和發(fā)展趨勢。因此,學(xué)術(shù)界和工業(yè)界學(xué)者都在各自領(lǐng)域內(nèi)針對(duì)深度神經(jīng)網(wǎng)絡(luò)的可解釋性問題進(jìn)行深入研究和探索[12-13,20,22,24,28-29],如表1所示,當(dāng)前深度神經(jīng)網(wǎng)絡(luò)解釋方法研究主要針對(duì)不同的網(wǎng)絡(luò)結(jié)構(gòu),其中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)解釋方法成果較多,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)和生成對(duì)抗網(wǎng)絡(luò)隨著深入研究和廣泛應(yīng)用,其解釋方法也逐漸引起了研究人員的注意,成為未來解釋方法研究的發(fā)展趨勢。從解釋的形式來看,多數(shù)方法提供視覺解釋,采用可視化的方法向用戶提供決策的依據(jù),如高亮圖像區(qū)域或文本的關(guān)鍵字符等。另外一些方法試圖提供自然語言描述語義的文本解釋,描述做出決策的關(guān)鍵特征。多模態(tài)的解釋方法同時(shí)提供視覺解釋和文本解釋,是一種較為完備的解釋模式。

表1 深度神經(jīng)網(wǎng)絡(luò)主要解釋方法分析Table 1 Analysis of the main interpretation methods for deep neural networks

深度神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非線性非凸的函數(shù),對(duì)其進(jìn)行純數(shù)學(xué)理論分析解釋非常困難,目前缺乏完備的理論和方法體系,深度神經(jīng)網(wǎng)絡(luò)解釋方法和實(shí)際應(yīng)用也尚未成熟,還亟須進(jìn)一步深入研究。

1.1 卷積神經(jīng)網(wǎng)絡(luò)解釋方法

卷積神經(jīng)網(wǎng)絡(luò)(CNN)被廣泛應(yīng)用于圖像識(shí)別、語音識(shí)別、語義識(shí)別、自動(dòng)駕駛等系統(tǒng),其通常由一個(gè)或多個(gè)卷積層、池化層和頂端的全連接層組成,這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠有效利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。與其他深度前饋神經(jīng)網(wǎng)絡(luò)相比,CNN大幅減少了網(wǎng)絡(luò)參數(shù),能夠更好地利用GPU做大規(guī)模并行處理,從而是一種極具吸引力的深度學(xué)習(xí)結(jié)構(gòu)。雖然CNN具有高精度的預(yù)測性能,但是在復(fù)雜的多層非線性網(wǎng)絡(luò)結(jié)構(gòu)中,理解和解釋卷積神經(jīng)網(wǎng)絡(luò)仍然面臨以下的挑戰(zhàn)和困難:

1)難以確定和限制卷積神經(jīng)網(wǎng)絡(luò)隱藏神經(jīng)元的語義。當(dāng)前對(duì)卷積神經(jīng)網(wǎng)絡(luò)的可視化研究,可以讓用戶觀察神經(jīng)元學(xué)習(xí)到或激活的模式,但在高卷積層中仍不能自動(dòng)映射到視覺的語義概念。高卷積層中同一個(gè)神經(jīng)元經(jīng)常能夠混合檢測多個(gè)模式,或者在不同的圖像上檢測不同的模式,這使得同一個(gè)神經(jīng)元具有多個(gè)語義的不確定性,難以確定卷積神經(jīng)網(wǎng)絡(luò)隱藏神經(jīng)元的明確語義,這種語義描述的復(fù)雜性使網(wǎng)絡(luò)的可解釋性大幅降低。

2)難以從視覺語義和文本解釋上綜合解釋卷積神經(jīng)網(wǎng)絡(luò)決策過程和結(jié)果。由于卷積神經(jīng)網(wǎng)絡(luò)隱藏神經(jīng)元語義的不確定性,從視覺語義和文本解釋解釋決策過程和結(jié)果更加困難。視覺語義解釋需要清晰地展示決策過程中卷積神經(jīng)網(wǎng)絡(luò)哪些視覺模式被激活、對(duì)應(yīng)于哪些視覺概念以及這些模式對(duì)最終結(jié)果的權(quán)重如何,因此,需要將視覺表征用富含語義的自然語言描述方式進(jìn)行輸出作為決策依據(jù)。視覺語義解釋和文本解釋相互對(duì)應(yīng)和匹配,同時(shí)也互為補(bǔ)充。當(dāng)前視覺語義解釋和文本解釋研究還處于獨(dú)立發(fā)展初期[8,31,53-54],從視覺語義和文本兩方面同時(shí)進(jìn)行解釋的研究還比較少見[9-10,55-56]。

1.1.1 隱層表征解釋方法

CNN隱層表征解釋方法可使神經(jīng)網(wǎng)絡(luò)具有清晰的符號(hào)化的內(nèi)部知識(shí)表達(dá),同時(shí)匹配人類自身的知識(shí)框架,人們可以在語義層面對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行診斷和修改。

CNN內(nèi)部可視化方法通過CNN內(nèi)部卷積核可視化的方法來解釋CNN內(nèi)部所學(xué)到的圖像表征。理解CNN內(nèi)部網(wǎng)絡(luò)的操作需要追蹤多層網(wǎng)絡(luò)中每一層的特征狀態(tài),而中間層的狀態(tài)可以通過反卷積網(wǎng)絡(luò)(Deconvolutional Network)[30]技術(shù)反向映射回輸入層的圖像像素空間。反卷積網(wǎng)絡(luò)可以理解成另一個(gè)反向的CNN,其具有同樣的網(wǎng)絡(luò)結(jié)構(gòu),包括卷積元、池化層等。反卷積網(wǎng)絡(luò)主要作用是把CNN從像素學(xué)會(huì)的特征還原成可以從任意一個(gè)輸出層或者中間層反推到輸入層的對(duì)應(yīng)像素。反卷積網(wǎng)絡(luò)清楚地證明了CNN高效的學(xué)習(xí)能力:通過學(xué)習(xí)圖像中物體從小至大的特征而歸納出物體的整體特征,CNN網(wǎng)絡(luò)中海量的內(nèi)部隱藏特征元并不是隨機(jī)的。該結(jié)論極大地加深了使用者對(duì)于CNN模型的理解,從而進(jìn)一步信任模型的結(jié)果。反卷積網(wǎng)絡(luò)除了可以觀察解釋CNN內(nèi)部結(jié)構(gòu)外,還可以用來解決模型建立和調(diào)試時(shí)遇到的問題,并通過分析內(nèi)部結(jié)果得到更好的模型。另一種替代方法是不使用簡單的反向傳播,而是使用導(dǎo)向反向傳播(Guided Back Propagation)算法[76]。這種技術(shù)不僅能夠識(shí)別一個(gè)修正線性單元(Rectified Linear Unit,ReLU)是否被激活,而且可以識(shí)別所有值為負(fù)的梯度。在此基礎(chǔ)上,把所有不被激活的修正線性單元ReLU關(guān)閉,并且把所有反向傳播時(shí)遇到的負(fù)信號(hào)設(shè)置為閾值0,更符合ReLU在前向傳播時(shí)的特性。通過去除所有負(fù)梯度對(duì)所選神經(jīng)元造成的影響,只保留正面的影響,反向傳播最后獲得的圖片更加清晰。

通過類激活映射(Class Activation Mapping,CAM)[31]方法發(fā)現(xiàn)CNN提取的特征包含位置信息,特定的卷積單元識(shí)別圖像中相對(duì)固定的部分,不同的卷積單元通過識(shí)別不同的部分,并在最后將不同的部分組合起來,從而可以識(shí)別物體。該方法可以確定每個(gè)卷積核所對(duì)應(yīng)的特征圖的權(quán)重,但是每個(gè)卷積核特征圖的語義卻難以確定,如圖2所示。CAM方法只能解釋特定結(jié)構(gòu)的CNN網(wǎng)絡(luò),如卷積特征圖到全局平均池化層再到Softmax層這類結(jié)構(gòu)。

圖2 類激活映射方法示意圖Fig.2 Schematic diagram of class activationmapping method

網(wǎng)絡(luò)剖析(Network Dissection)是一種解釋深度視覺表征并量化其可解釋性的方法[32]。首先構(gòu)建一個(gè)帶有不同語義概念的圖片數(shù)據(jù)庫,庫中每張圖都有像素級(jí)的標(biāo)定(如顏色、紋理、場景、物體部分、物體等),對(duì)訓(xùn)練好的模型提取出每張圖片的激活響應(yīng)單元譜,然后利用交并比(Intersection over Union,IoU)來計(jì)算每一個(gè)卷積核所對(duì)應(yīng)的一組語義概念的分割能力,當(dāng)卷積核對(duì)某類語義概念的IoU超過一定閾值時(shí),則認(rèn)為該卷積核在檢測這個(gè)語義概念,如圖3所示。

圖3 網(wǎng)絡(luò)剖析方法語義分割示意圖Fig.3 Schematic diagram of semantic segmentationin network dissection method

通過優(yōu)化激活特定神經(jīng)元或一組神經(jīng)元生成圖像,可以可視化神經(jīng)元學(xué)到的內(nèi)容[33-34]。對(duì)于帶有隨機(jī)噪聲的圖像,可通過優(yōu)化像素來激活所訓(xùn)練DNN中的特定神經(jīng)元,進(jìn)而可視化神經(jīng)元學(xué)到的內(nèi)容。

1.1.2 敏感性分析方法

敏感性分析方法的基本原理是去掉或者改變組件(如圖像中的像素或語義分割區(qū)域)的值,觀察決策結(jié)果的變化情況,決策結(jié)果改變較大對(duì)應(yīng)為重要的組件。應(yīng)用靈敏度分析只能回答哪些特征影響了該輸入數(shù)據(jù)的分類結(jié)果,但不能回答“為什么是該分類結(jié)果”這類更為基本的問題。

1)一般敏感性分析方法

遮擋法采用一個(gè)灰色的方塊對(duì)圖像的不同部位進(jìn)行遮擋來觀察對(duì)圖像分類結(jié)果標(biāo)簽的影響。該方法的缺點(diǎn)在于方塊的大小、顏色和位置難以確定,選擇不同的參數(shù)可能會(huì)得到不同的解釋結(jié)果[30]。

樣本敏感性分析法[35]對(duì)訓(xùn)練樣本做微小擾動(dòng)改變,最后收斂的參數(shù)也會(huì)發(fā)生改變,然后得到參數(shù)的改變對(duì)微小擾動(dòng)的導(dǎo)數(shù),這個(gè)導(dǎo)數(shù)稱為這個(gè)樣本的影響力函數(shù)。此方法也可以應(yīng)用到對(duì)抗樣本的生成中,只需要在一部分影響力函數(shù)較大的樣本中添加一些肉眼不可見的擾動(dòng),就足以干擾其他樣本的判定結(jié)果。RISE[36]是一種黑盒方法,其通過對(duì)輸入多個(gè)圖像隨機(jī)屏蔽的模型進(jìn)行探測,并獲得相應(yīng)的輸出,從實(shí)驗(yàn)上估計(jì)每個(gè)像素的重要性,實(shí)驗(yàn)效果優(yōu)于遮擋法[30]、Grad-CAM[40]和LIME[47]。FIDO是一個(gè)計(jì)算和可視化分類器特征重要性的模型診斷框架,將遮擋區(qū)域邊緣化,對(duì)圖像非遮擋部分的生成模型進(jìn)行調(diào)節(jié),以對(duì)改變或保留分類器行為的反事實(shí)輸入進(jìn)行采樣,其通過利用一個(gè)強(qiáng)大的條件生成模型生成顯著圖,能夠較好地識(shí)別相關(guān)和集中的像素[37]。

2)基于梯度的敏感性分析方法

顯著圖方法通過在像素上進(jìn)行微小擾動(dòng),觀察模型預(yù)測類別概率的變化,從而計(jì)算每個(gè)像素的梯度,得到每個(gè)像素的重要程度[26,38]。

LRP方法是一種計(jì)算逐像素貢獻(xiàn)的分解方法[77],自提出以來被廣泛應(yīng)用于解釋圖像分類[27,78-79]、文本分類[80-81]和視頻中的人類行動(dòng)識(shí)別[82]等計(jì)算機(jī)視覺任務(wù)。針對(duì)視頻分類任務(wù)解釋,LRP方法只能對(duì)人體動(dòng)作識(shí)別中基于Fisher向量編碼和SVM分離器的壓縮域方法進(jìn)行解釋[82],較少有對(duì)采用深度學(xué)習(xí)模型進(jìn)行視頻分類解釋的研究。LRP方法使用前饋結(jié)構(gòu)圖,可以對(duì)模型預(yù)測值進(jìn)行分解計(jì)算,從網(wǎng)絡(luò)的輸出開始,依據(jù)圖結(jié)構(gòu)進(jìn)行反向傳播計(jì)算,逐步調(diào)整相關(guān)分?jǐn)?shù),直到輸入層,調(diào)整相關(guān)分?jǐn)?shù)的過程遵守局部相關(guān)性守恒原理。深度泰勒分解方法擴(kuò)展了LRP,其核心思想是根據(jù)輸入的貢獻(xiàn)分解神經(jīng)元的激活函數(shù),通過在根點(diǎn)(Root Point)處的一階泰勒展開實(shí)現(xiàn)。深度泰勒展開的難處在于根點(diǎn)的選擇。此方法最先用于解釋分層網(wǎng)絡(luò)的預(yù)測結(jié)果[39],后被用于解釋卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果[27]。

Grad-CAM[40]利用最后卷積層的梯度生成熱力圖,突出顯示輸入圖像中的重要像素用于分類,證明了采用全局平均池化(GAP)來生成CAM等價(jià)于利用梯度計(jì)算激活值的特殊情況。Grad-CAM可以在保持原有網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上生成類激活熱力圖。

針對(duì)梯度飽和問題,學(xué)者又提出了集成梯度法[41]和DeepLIFT方法[42]。DeepLIFT方法在MNIST等數(shù)據(jù)集上的效果優(yōu)于基于梯度的方法?；趯傩苑椒☉?yīng)當(dāng)滿足靈敏度公理和實(shí)現(xiàn)不變性公理的特點(diǎn),學(xué)者提出的集成梯度法具有很強(qiáng)的理論合理性,但仍然沒有解決輸入特征與網(wǎng)絡(luò)所采用的邏輯之間的相互作用問題:反卷積網(wǎng)絡(luò)和導(dǎo)向反向傳播違反了靈敏度公理;DeepLift和LRP方法違反了實(shí)現(xiàn)不變性公理。此外,SmoothGrad[83]則是一種增強(qiáng)基于梯度的靈敏度圖可視化效果的簡單方法。

網(wǎng)絡(luò)梯度的顯著圖、反卷積網(wǎng)絡(luò),導(dǎo)向反向傳播、LRP等流行的解釋方法不能在理論上正確解釋一個(gè)簡單的線性模型(可視為簡單的深度模型),更不能解釋非線性的深度神經(jīng)網(wǎng)絡(luò)[43]。在分析線性模型的基礎(chǔ)上提出的PatternNet和PatternAttribution方法對(duì)線性分類模型理論完備,從理論、定性和定量方面對(duì)理解深度神經(jīng)網(wǎng)絡(luò)都有所改進(jìn)和完善,并且只需要一次反向傳播計(jì)算,可支持模型決策的實(shí)時(shí)可視化解釋[43]。PatternNet能夠估計(jì)出信號(hào)的正確方向從而改進(jìn)了反卷積網(wǎng)絡(luò)和導(dǎo)向反向傳播的可視化過程。PatternAttribution擴(kuò)展了深度泰勒分解方法,可以從數(shù)據(jù)中學(xué)習(xí)如何設(shè)置根點(diǎn)。不同解釋方法的圖像分類效果如圖4所示[43]。值得注意的是,對(duì)解釋方法進(jìn)行攻擊是可能的,對(duì)此將形成錯(cuò)誤的解釋[84]。

圖4 不同解釋方法的圖像分類效果Fig.4 Image classification effects of different interpretation methods

1.1.3 可解釋的CNN構(gòu)建方法

可解釋的CNN構(gòu)建方法通過對(duì)傳統(tǒng)的CNN進(jìn)行改造,使其具有更好的可解釋性。ZHANG等人介紹了如何端對(duì)端地學(xué)習(xí)一個(gè)CNN,使得其內(nèi)部高層卷積層的每個(gè)卷積核自動(dòng)表示某個(gè)對(duì)象部分。可解釋的卷積層結(jié)構(gòu)如圖5所示[44-45],可以看出,算法并不需要人為標(biāo)注對(duì)象部分或紋理作為額外的監(jiān)督信號(hào),而是為這些卷積核添加一個(gè)先驗(yàn)約束,使得在訓(xùn)練過程中自動(dòng)回歸到某種對(duì)象部分。

圖5 可解釋的卷積層結(jié)構(gòu)Fig.5 Interpretable convolutional layer structure

YIN等人提出一種空間激活多樣性損失函數(shù)構(gòu)建可解釋的人臉識(shí)別網(wǎng)絡(luò)[85],使得可解釋的表征具有識(shí)別性,并且對(duì)遮擋具有魯棒性。BENGIO等人提出一種可直接處理語音時(shí)序信號(hào)的可解釋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SincNet[46],其只針對(duì)第一層網(wǎng)絡(luò)進(jìn)行設(shè)計(jì),意在學(xué)習(xí)更有意義的濾波器。通常來說,對(duì)于處理聲音時(shí)序信號(hào),第一層網(wǎng)絡(luò)的提取能力至關(guān)重要,因?yàn)槠涮崛〉牡途S特征的有效性是高層網(wǎng)絡(luò)學(xué)習(xí)有意義的高維特征信息的前提。KUO等人提出一種可解釋的前饋設(shè)計(jì),無需任何反向傳播作為參考,采用以數(shù)據(jù)為中心的方法,基于前一層的輸出數(shù)據(jù),以一次通過的方式導(dǎo)出當(dāng)前層網(wǎng)絡(luò)參數(shù)。同時(shí),其在數(shù)據(jù)集MNIST和CIFAR10上對(duì)基于反向傳播和前饋設(shè)計(jì)的CNN進(jìn)行了分類性能和魯棒性比較[86]。

1.1.4 模型模仿解釋方法

模型模仿解釋方法使用可解釋的模型模仿深度神經(jīng)網(wǎng)絡(luò)模型,從而解釋深度神經(jīng)網(wǎng)絡(luò)模型的行為,如圖6所示。深度神經(jīng)網(wǎng)絡(luò)整體是一個(gè)非線性非凸模型,但是在局部區(qū)域可以用線性模型進(jìn)行模仿和逼近,說明深度神經(jīng)網(wǎng)絡(luò)具有局部的線性特征,如圖7所示。在此基礎(chǔ)上,LIME算法利用線性模型分析深度神經(jīng)網(wǎng)絡(luò)的局部行為,使用稀疏線性模型逼近深度神經(jīng)網(wǎng)絡(luò)的預(yù)測[47]。LIME在做出圖像分類決策時(shí),不考慮觸發(fā)神經(jīng)網(wǎng)絡(luò)中的哪個(gè)神經(jīng)元,而是在圖像本身中搜索解釋,將原始圖像的不同部分變黑,并將產(chǎn)生的擾動(dòng)圖像反饋回來,以檢查哪些擾動(dòng)將算法拋離最遠(yuǎn)。通過這種方法,LIME 可以將初始網(wǎng)絡(luò)分類決策歸因于原始圖片的特定特征。例如對(duì)于青蛙的圖像,LIME 發(fā)現(xiàn)抹除部分臉部會(huì)讓初始網(wǎng)絡(luò)很難識(shí)別圖像,這表明最初的分類決策大多是基于青蛙的臉。

圖6 使用可解釋模型模仿深度神經(jīng)網(wǎng)絡(luò)行為示意圖Fig.6 Schematic diagram of imitating deep neural networksbehavior using interpretable models

圖7 深度神經(jīng)網(wǎng)絡(luò)的局部線性特征Fig.7 Local linear feature of deep neural networks

決策樹是另一種用于模仿深度神經(jīng)網(wǎng)絡(luò)的方法。文獻(xiàn)[87]通過一系列逐層梯度增強(qiáng)決策樹提取網(wǎng)絡(luò),并用葉節(jié)點(diǎn)的指數(shù)編碼神經(jīng)元激活序列。文獻(xiàn)[48]采用決策樹模型分析深度神經(jīng)網(wǎng)絡(luò)的局部行為,通過樹規(guī)范化的方法訓(xùn)練一個(gè)容易被決策樹解釋的網(wǎng)絡(luò)。文獻(xiàn)[49]采用決策樹和隨機(jī)森林作為元學(xué)習(xí)器來解釋圖像的分類過程,實(shí)現(xiàn)了隱藏層上所有測試實(shí)例的全局解釋,而不會(huì)犧牲原始CNN模型的精度。文獻(xiàn)[50]介紹了一種把CNN的卷積層內(nèi)部知識(shí)轉(zhuǎn)化成解釋圖模型的方法。算法自動(dòng)學(xué)習(xí)出一個(gè)包含成千上萬個(gè)節(jié)點(diǎn)的知識(shí)圖去解釋CNN內(nèi)部的層次化的知識(shí)結(jié)構(gòu),解釋圖中每一個(gè)節(jié)點(diǎn)嚴(yán)格表示在CNN中某個(gè)卷積層的對(duì)象部分模式,從而把混亂的CNN的知識(shí)拆分成幾十萬對(duì)象部分的子模式。文獻(xiàn)[51]提出用決策樹量化解釋CNN的方法,使用決策樹在語義層次上來量化解釋CNN預(yù)測的邏輯。決策樹中的每個(gè)節(jié)點(diǎn)表示特定的決策模式,且該決策樹以由粗到細(xì)的方式組織所有的決策模式,接近頂部根節(jié)點(diǎn)表征許多樣本共享的通用決策模式,接近葉節(jié)點(diǎn)對(duì)應(yīng)少數(shù)樣本的細(xì)粒模式,特別是每個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)于 CNN 的輸出關(guān)于圖像中不同物體部位的梯度。文獻(xiàn)[52]使用解釋網(wǎng)絡(luò)對(duì)訓(xùn)練后的CNN中的卷積層特征圖進(jìn)行分離。解釋網(wǎng)絡(luò)將輸入特征分解為對(duì)象部分特征圖,以解釋執(zhí)行者中的知識(shí)表示,使每個(gè)卷積核表示特定的對(duì)象部分。解釋網(wǎng)絡(luò)還可以反轉(zhuǎn)分離的對(duì)象部件特征,以重建CNN的高層特征,而不會(huì)損失太多信息。

1.1.5 文本解釋方法和多模態(tài)解釋方法

文本解釋方法是指為模型決策結(jié)果生成文本形式的自然語言描述來解釋決策的依據(jù),如目標(biāo)所包含的特征。這與看圖說話(Image Captioning)方法不同,看圖說話是指對(duì)圖像中的內(nèi)容采用文本方式進(jìn)行一般描述,并非對(duì)模型決策進(jìn)行解釋和說明。文獻(xiàn)[53]提出一種基于抽樣和強(qiáng)化學(xué)習(xí)的損失函數(shù),該函數(shù)學(xué)習(xí)生成具有全局屬性的句子。對(duì)一個(gè)細(xì)粒度鳥類物種分類數(shù)據(jù)集的研究結(jié)果表明,其能夠在一定程度上產(chǎn)生與圖像一致的自然語言描述的文本解釋。InterpNET可以對(duì)分類任務(wù)生成自然語言解釋,并在細(xì)粒度鳥類物種分類數(shù)據(jù)集上進(jìn)行了驗(yàn)證,然而生成的解釋還不完善,如圖8所示[54]。

圖8 鳥類圖像分類的文本解釋方法示意圖Fig.8 Schematic diagram of text interpretation method forbird image classification

多模態(tài)解釋方法不但為模型決策生成文本解釋,而且在圖像上生成對(duì)應(yīng)的視覺證據(jù)區(qū)域,如圖9所示。PJ-X模型使用注意力機(jī)制構(gòu)建模型生成決策結(jié)果的視覺解釋,對(duì)結(jié)果生成文本描述的自然語言解釋,并在視覺問題任務(wù)和活動(dòng)識(shí)別任務(wù)上進(jìn)行了驗(yàn)證[55-56]。MDNet是一個(gè)能夠具有在語義上和視覺上為可解釋性的醫(yī)學(xué)圖像診斷網(wǎng)絡(luò),給定一張醫(yī)學(xué)圖像,MDNet能夠自動(dòng)生成完整的診斷報(bào)告同時(shí)在描述圖像時(shí)顯示圖像關(guān)注區(qū)[9]。文獻(xiàn)[10]針對(duì)自動(dòng)駕駛?cè)蝿?wù),采用視覺注意力模型訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)端到端的學(xué)習(xí)圖像至控制命令,然后利用基于注意力的視頻轉(zhuǎn)文本模型生成模型行為的文本解釋。

圖9 多模態(tài)解釋方法示意圖Fig.9 Schematic diagram of multimodalinterpretation method

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)解釋方法

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),常見的RNN網(wǎng)絡(luò)有LSTM[88]、BLSTM[89]、GRU[90]等,被廣泛應(yīng)用于語義分析、情感分析、圖像文本標(biāo)注和語言翻譯等任務(wù)。

可視化的方法對(duì)理解RNN的特定方面非常有用。文獻(xiàn)[57]使用靜態(tài)可視化技術(shù)來幫助理解語言模型中的隱藏狀態(tài),研究結(jié)果表明,選定的單元格可以為明確的事件建模,例如括號(hào)和統(tǒng)一資源定位符(Uniform Resource Locator,URL)的開頭。文獻(xiàn)[58]基于梯度的顯著性來找到重要的單詞,使用表征標(biāo)繪等傳統(tǒng)方法和簡單策略來評(píng)估神經(jīng)元對(duì)于語義構(gòu)建的貢獻(xiàn)度。文獻(xiàn)[57-60]證明了RNN學(xué)習(xí)攜帶語義信息的詞匯類別和語法功能。LSTMVis是用于遞歸神經(jīng)網(wǎng)絡(luò)的可視化分析工具,專注于了解這些隱藏的狀態(tài)的動(dòng)力學(xué)過程[61]。LISA用于解釋決策并檢測網(wǎng)絡(luò)在決策制定時(shí)所依賴的最可能模式[62]。文獻(xiàn)[63]提出可視化存儲(chǔ)向量以理解LSTM和GRU在語音識(shí)別任務(wù)中的行為。RNNVis基于RNN對(duì)輸入的預(yù)期響應(yīng)來可視化隱藏狀態(tài),當(dāng)有負(fù)面詞如worst輸入時(shí),將大量激活負(fù)面情感隱藏單元簇,對(duì)應(yīng)于負(fù)面情感;當(dāng)有正面詞如excellent輸入時(shí),將大量激活正面情感隱藏單元簇,對(duì)應(yīng)于正面情感,如圖10所示[64]。文獻(xiàn)[65]研究了深度雙向語言模型的內(nèi)部狀態(tài),以學(xué)習(xí)情境化的單詞表示,并觀察到更高級(jí)別的隱藏狀態(tài)捕獲單詞語義。LRP技術(shù)應(yīng)用于基于單詞的雙向LSTM模型上的5類情感預(yù)測任務(wù),并定性和定量地評(píng)估所得的相關(guān)性[81]。

圖10 基于GRU的語句情感分類解釋Fig.10 Sentence sentiment classification interpretationbased on GRU

此外,一些方法使用神經(jīng)注意力機(jī)制擴(kuò)展RNN,通過改變底層模型結(jié)構(gòu),允許模型專注于輸入的特定方面,使其針對(duì)某些問題更易于解釋。文獻(xiàn)[66]在機(jī)器翻譯中使用注意力機(jī)制進(jìn)行軟對(duì)齊。文獻(xiàn)[67]使用注意力機(jī)制來識(shí)別圖像的重要方面以用于圖像描述生成。文獻(xiàn)[68]使用注意力機(jī)制來提取文檔的重要方面。文獻(xiàn)[69]在人類活動(dòng)識(shí)別任務(wù)中采用時(shí)間注意力和傳感器注意力模型來理解和改進(jìn)RNN。結(jié)構(gòu)演化的LSTM通過隨機(jī)地合并沿著堆疊的LSTM層具有高兼容性的圖節(jié)點(diǎn)來逐漸演化多級(jí)圖表征,在每個(gè)LSTM層中,估計(jì)兩個(gè)連接節(jié)點(diǎn)與其對(duì)應(yīng)的LSTM門輸出的兼容性,用于生成合并概率,相應(yīng)地生成候選圖結(jié)構(gòu),學(xué)習(xí)中層可解釋的多級(jí)圖結(jié)構(gòu)[70]?；陧樞虻涢撝邓惴⊿ISTA的可解釋RNN,也可用于求解序列稀疏恢復(fù)問題[71]。

1.3 生成對(duì)抗網(wǎng)絡(luò)解釋方法

生成對(duì)抗網(wǎng)絡(luò)(GAN) 是一種生成式模型[91],其基本設(shè)計(jì)思想源自博弈論的二人零和博弈。GAN由一個(gè)生成器和一個(gè)判別器構(gòu)成,通過對(duì)抗學(xué)習(xí)的方式來訓(xùn)練,目的是估測數(shù)據(jù)樣本的潛在分布并生成新的數(shù)據(jù)樣本。此后,各種基于GAN的衍生模型被提出,如CGAN[92]、DCGAN[72]、InfoGAN[93]、StackGAN[94]、WGAN[95]、SeqGAN[96]和PPGN[97]等,以改進(jìn)模型結(jié)構(gòu),進(jìn)一步進(jìn)行理論擴(kuò)展及應(yīng)用。GAN在圖像和視覺計(jì)算、語音和語言處理、信息安全、棋類比賽等領(lǐng)域,具有廣闊的應(yīng)用前景。

當(dāng)前GAN解釋方法主要采用可視化方法。文獻(xiàn)[72-74]采用操縱潛在向量并觀察如何相應(yīng)地改變結(jié)果的方法來理解和解釋GAN的過程。GAN剖析方法是一個(gè)分析框架,用來可視化理解單位、對(duì)象和場景級(jí)別的GAN,即解釋GAN如何生成一張圖像[75]。首先用一種基于語義分割的網(wǎng)絡(luò)分割方法識(shí)別出一組與對(duì)象概念密切相關(guān)的可解釋單元,如圖11所示;然后通過測量干預(yù)控制輸出對(duì)象的能力來量化可解釋單位的因果效應(yīng),并將發(fā)現(xiàn)的對(duì)象概念插入到新的圖像中來檢查這些單元與其周圍環(huán)境之間的上下文關(guān)系。在實(shí)際應(yīng)用場景中,采用此框架比較不同層、模型和數(shù)據(jù)集的內(nèi)部表示,通過定位和刪除相關(guān)的單元來改進(jìn)生成對(duì)抗網(wǎng)絡(luò),以交互操作場景中的對(duì)象。

圖11 使用GAN剖析方法尋找語義類(樹)生成單元示意圖Fig.11 Schematic diagram of finding generator unitsthat match meaningful object classes (like trees)using GAN dissection method

2 解釋方法評(píng)價(jià)

如何評(píng)價(jià)各種解釋方法的優(yōu)劣可以從認(rèn)知科學(xué)[98]、定性和定量的角度[25]分別描述。由于人類本身在哲學(xué)、心理學(xué)、認(rèn)知科學(xué)等層面,對(duì)于人類的理解和解釋的認(rèn)知還十分有限,因此本文的主要方法不涉及人類的認(rèn)知心理過程。

深度神經(jīng)網(wǎng)絡(luò)解釋方法的定性評(píng)價(jià)需要由人來進(jìn)行主觀評(píng)價(jià)最終的解釋結(jié)果,主要包括深度神經(jīng)網(wǎng)絡(luò)的多數(shù)可視化解釋方法,如通過高亮敏感圖像區(qū)域的敏感性分析方法、RNN和GAN的可視化解釋方法等。由于定性評(píng)價(jià)存在內(nèi)在的復(fù)雜性和主觀性,因此下文主要從定量方面來描述和定義解釋評(píng)價(jià)指標(biāo)。

2.1 評(píng)價(jià)指標(biāo)

定量評(píng)價(jià)方法主要采用基于數(shù)據(jù)驅(qū)動(dòng)的方式。在特定的數(shù)據(jù)集上評(píng)價(jià)各種方法的優(yōu)劣,其評(píng)價(jià)指標(biāo)主要包括濾波器可解釋性指標(biāo)[99]、位置不穩(wěn)定性指標(biāo)[44-45,50]和文本解釋性指標(biāo)[54,100]等。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的語義模式,可以采用單元可解釋性指標(biāo)和位置不穩(wěn)定性指標(biāo)進(jìn)行評(píng)價(jià);針對(duì)文本解釋方法,可以采用METEOR指標(biāo)進(jìn)行評(píng)價(jià)[100]。

1)濾波器可解釋性指標(biāo)Pf

濾波器可解釋性指標(biāo)用于評(píng)價(jià)神經(jīng)元對(duì)于某個(gè)視覺概念的客觀得分。設(shè)x為輸入圖像,Af(x)為內(nèi)部卷積濾波器f的激活圖,Lc為原圖像對(duì)于視覺概念c的掩碼,Sf(x)是Af(x)通過雙線性差值后放大到原圖像大小的激活圖。二值分割掩碼Mf(x)≡Sf(x)≥Tf,Tf是激活的閾值。濾波器f對(duì)于視覺概念c的交并比If,c為:

(1)

其中,|·|表示集合的大小。當(dāng)If,c大于某個(gè)閾值ε時(shí),可以認(rèn)為濾波器f在檢測視覺概念c,即該濾波器f檢測視覺概念c的概率為Pf,c=Ex1(If,c>ε)。值得注意的是,一個(gè)濾波器可能檢測多個(gè)視覺概念,需要選擇得分最大的視覺概念,即Pf=maxcPf,c。檢測到的視覺概念數(shù)量可作為網(wǎng)絡(luò)層可解釋性的衡量標(biāo)準(zhǔn),因?yàn)樗玫睾饬苛顺霈F(xiàn)的可解釋概念的多樣性和覆蓋范圍。

(2)

定義濾波器f和第k個(gè)地標(biāo)的相對(duì)位置標(biāo)準(zhǔn)差Df,k:

(3)

3)文本解釋性指標(biāo)METEOR

METEOR為對(duì)應(yīng)最佳候選譯文和參考譯文之間的準(zhǔn)確率和召回率的調(diào)和平均。METEOR對(duì)于每個(gè)匹配器mi計(jì)算假設(shè)(hc,hf)和參考(rc,rf)所覆蓋的內(nèi)容和功能詞的數(shù)量(mi(hc),mi(hf))和(mi(rc),mi(rf)),其中,α、β、γ、δ和w1,w2,…,wn∈{wexact,wstem,wsyn,wpar}均為用于評(píng)價(jià)的默認(rèn)參數(shù),如α=0.7、β=1.4、γ=0.3、δ=0.7和wexact=1、wstem=0、wsyn=0、wpar=0.6。

METEOR計(jì)算方法如下:

(4)

(5)

(6)

(7)

METEOR=(1-Q)F

(8)

其中,懲罰因子Q表示候選譯文詞序與參考譯文詞序不同的程度，該值越小越好，ch表示既在候選譯文中相鄰又在參考譯文中相鄰的能夠匹配的字符串?dāng)?shù)量，m表示候選譯文中能夠匹配的一元組數(shù)量。

2.2 解釋方法定量評(píng)價(jià)

表2 評(píng)價(jià)數(shù)據(jù)集及其特點(diǎn)描述Table 2 Evaluation datasets and their characteristics description

表3 VOC Part數(shù)據(jù)集上CNN 濾波器可解釋性Pf均值Table 3 Mean interpretability Pf of CNN filters on VOC Part dataset

表4 CNN濾波器位置不穩(wěn)定性均值Table 4 Mean location instability of CNN filters

表5 CUB200-2011數(shù)據(jù)集上文本解釋性值Table 5 Explanatory index of text on CUB200-2011 dataset

3 研究展望

從使用者的角度,深度神經(jīng)網(wǎng)絡(luò)解釋方法有兩方面作用:一是針對(duì)模型開發(fā)者,用于增強(qiáng)模型的魯棒性,設(shè)計(jì)開發(fā)更好的模型,對(duì)應(yīng)于解釋方法理論研究;二是針對(duì)模型最終使用者,如醫(yī)生、指揮員等決策人員,用于更好地信任和應(yīng)用模型,對(duì)應(yīng)于解釋方法的應(yīng)用研究。

3.1 理論研究

深度神經(jīng)網(wǎng)絡(luò)解釋方法的理論研究,首先能夠驗(yàn)證深度神經(jīng)網(wǎng)絡(luò)模型的有效性、可靠性和魯棒性。數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練的模型具有良好性能,但是模型很有可能存在數(shù)據(jù)偏見,或利用數(shù)據(jù)中不合理的模式進(jìn)行決策或者受到欺騙和干擾,通過決策解釋可以對(duì)模型進(jìn)行各方面驗(yàn)證;其次能夠診斷模型,設(shè)計(jì)更好的網(wǎng)絡(luò)結(jié)構(gòu),改善模型性能。調(diào)試機(jī)器學(xué)習(xí)模型,改善系統(tǒng)性能的第一步就是了解系統(tǒng)的弱點(diǎn)和缺陷。弱點(diǎn)分析黑盒模型比可解釋模型更困難,并且當(dāng)模型可解釋時(shí),檢測模型或者數(shù)據(jù)的偏差也會(huì)更容易。在設(shè)計(jì)和比較不同模型或者架構(gòu)時(shí),模型的可解釋性也會(huì)有所幫助。

針對(duì)模型開發(fā)者,深度神經(jīng)網(wǎng)絡(luò)解釋方法的進(jìn)一步研究可以從以下4個(gè)方面展開:

1)模型結(jié)構(gòu)的可解釋性

模型結(jié)構(gòu)的可解釋性回答為何這樣設(shè)計(jì)模型可以得到更好的結(jié)果,如深度學(xué)習(xí)中的各種網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、激活函數(shù)以及參數(shù)設(shè)置。模型結(jié)構(gòu)的可解釋性往往和神經(jīng)網(wǎng)絡(luò)的優(yōu)化理論相關(guān)。LI等人在此方向進(jìn)行了探索,采用可視化的方法研究了網(wǎng)絡(luò)結(jié)構(gòu)對(duì)損失函數(shù)曲面的影響,探索神經(jīng)網(wǎng)絡(luò)損失函數(shù)的非凸結(jié)構(gòu)如何影響可訓(xùn)練性,以及神經(jīng)網(wǎng)絡(luò)的極小點(diǎn)的幾何形狀如何影響模型的泛化性能[106]。

2)知識(shí)與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合

知識(shí)圖譜的表示學(xué)習(xí)旨在學(xué)習(xí)知識(shí)圖譜組成元素的實(shí)值向量化表示。連續(xù)的向量化表示可以作為神經(jīng)網(wǎng)絡(luò)的輸入,從而使得神經(jīng)網(wǎng)絡(luò)模型能夠充分利用知識(shí)圖譜中大量存在的先驗(yàn)知識(shí)。采用知識(shí)圖譜技術(shù)將人類的知識(shí)引入到數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型中,可以減少模型對(duì)樣本數(shù)量的依賴,大幅提高模型的性能,突破深度學(xué)習(xí)模型效果的天花板,同時(shí)對(duì)基于深度神經(jīng)網(wǎng)絡(luò)的決策過程和結(jié)果進(jìn)行解釋。文獻(xiàn)[107-108]開始探索利用知識(shí)圖譜進(jìn)行解釋概念、實(shí)體和詞袋等。

3)RNN和GAN的解釋方法

當(dāng)前對(duì)CNN的解釋方法研究較多,成果較為豐富,而對(duì)RNN和GAN的解釋方法研究較少。RNN存在隱藏狀態(tài)及所用參數(shù)多、處理的文本等序列數(shù)據(jù)本身語義信息繁多難以解釋、單詞與隱藏狀態(tài)的多對(duì)多影響關(guān)系等諸多困難,其內(nèi)部機(jī)制目前仍然沒有得到清晰理解,RNN的性能如何受到門控單元數(shù)量和類型的影響、數(shù)值隱藏狀態(tài)轉(zhuǎn)換的語義含義等問題亟需進(jìn)一步深入研究。GAN可以生成高質(zhì)量的圖像,但是仍然缺乏理解GAN工作機(jī)制的方法,難以知道生成的結(jié)果在網(wǎng)絡(luò)內(nèi)部如何表示。不同GAN的改進(jìn)變種在各文獻(xiàn)的實(shí)驗(yàn)部分都顯示其比作為實(shí)驗(yàn)基準(zhǔn)的其他GAN效果好,但是無法從內(nèi)部的結(jié)構(gòu)來理解為何會(huì)造成效果的顯著性提升。因此,如何合理地可視化和理解GAN成為了另一個(gè)亟需解決的問題。

4)高層神經(jīng)元的語義穩(wěn)定性

對(duì)于CNN的普遍共識(shí)是底層的濾波器學(xué)習(xí)紋理等簡單信息、高層的濾波器學(xué)習(xí)語義信息,但高層神經(jīng)元構(gòu)成整個(gè)空間包含語義信息,而非單個(gè)神經(jīng)元。深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的輸入輸出映射在很大程度上是不連續(xù)的,這造成可以通過應(yīng)用某種人類難以察覺的擾動(dòng)使深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像錯(cuò)誤分類[1]。簡單的隨機(jī)擾動(dòng)往往沒有作用,而需要精心設(shè)計(jì)找到對(duì)抗樣本。在加入對(duì)抗噪聲時(shí),網(wǎng)絡(luò)高層神經(jīng)元將不能描述表征圖像的高層語義,喪失語義性,這使得在對(duì)抗樣本攻擊時(shí),不僅會(huì)使模型失效,并且會(huì)使得對(duì)應(yīng)的解釋方法失效。因此,如何建立具有穩(wěn)定高層語義的深度神經(jīng)網(wǎng)絡(luò)還有待進(jìn)一步深入研究。

3.2 應(yīng)用研究

深度神經(jīng)網(wǎng)絡(luò)解釋方法在從模型中學(xué)習(xí)、遵守法律與保護(hù)人權(quán)方面以及軍事、醫(yī)療和金融投資等高風(fēng)險(xiǎn)決策領(lǐng)域有著以下廣闊的應(yīng)用前景:

1)能夠便于人類從模型中學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)模型基于大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練,人類只能學(xué)習(xí)有限數(shù)量的樣本,此時(shí)系統(tǒng)可能發(fā)現(xiàn)人類難以發(fā)現(xiàn)的模式。應(yīng)用可解釋的智能系統(tǒng),人類很容易從中抽取系統(tǒng)學(xué)到的知識(shí)。

2)能夠更容易遵守法律與保護(hù)人權(quán)。深度神經(jīng)網(wǎng)絡(luò)模型正在影響人類日常生活的方方面面,模型決策錯(cuò)誤的責(zé)任該如何分配等法律問題引起了人們的廣泛關(guān)注。依賴黑盒模型很難給出滿意的答案,而可解釋的模型給出的決策依據(jù)可以支持應(yīng)對(duì)相關(guān)的法律問題。歐盟于2018年5月生效的《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation)規(guī)定,受算法決策影響的人有權(quán)要求自動(dòng)決策系統(tǒng)提供解釋,這說明模型有必要變得更加可以向用戶解釋。

3)在軍事智能分析決策領(lǐng)域應(yīng)用前景巨大。目前,基于深度神經(jīng)網(wǎng)絡(luò)的智能決策正在快速應(yīng)用至各種軍事領(lǐng)域。軍事情報(bào)分析人員利用機(jī)器學(xué)習(xí)對(duì)大量的監(jiān)控?cái)?shù)據(jù)進(jìn)行智能分析,各國也在開發(fā)、測試無人車、無人機(jī)和水下無人裝備等智能無人作戰(zhàn)系統(tǒng)。在軍事等高風(fēng)險(xiǎn)的任務(wù)中,默認(rèn)情況下用戶不能直接信任“黑盒”系統(tǒng),用戶需要通過模型給出決策依據(jù)信息。情報(bào)分析人員不愿意在缺乏推理過程時(shí)采取進(jìn)一步行動(dòng),指揮員可能會(huì)抵觸無法解釋其作戰(zhàn)行為的機(jī)器人和智能決策系統(tǒng)。因?yàn)檫@些智能決策系統(tǒng)的本質(zhì)決定了系統(tǒng)決策易受干擾,通常不可避免地會(huì)產(chǎn)生假警報(bào)或者誤判,用戶需要理解系統(tǒng)如何決策,以便采取下一步行動(dòng),如接受、拒絕、調(diào)整這些決策結(jié)果。因此,在未來情報(bào)分析、有人-無人系統(tǒng)協(xié)同作戰(zhàn)甚至全自主無人作戰(zhàn)系統(tǒng)等軍事應(yīng)用和場景中,基于可解釋的深度神經(jīng)網(wǎng)絡(luò)的智能決策系統(tǒng)都有著巨大的應(yīng)用前景。

由于當(dāng)前深度神經(jīng)網(wǎng)絡(luò)的解釋技術(shù)尚不成熟,離實(shí)際應(yīng)用還有較大差距,因此針對(duì)模型使用者,下一步研究將主要從以下兩方面展開:

1)采用解釋方法開發(fā)深度神經(jīng)網(wǎng)絡(luò)模型的評(píng)價(jià)工具,從內(nèi)部學(xué)習(xí)到的知識(shí)表征、輸入輸出、模型模仿等多個(gè)角度來評(píng)估模型的魯棒性和泛化能力,進(jìn)一步確定用戶對(duì)模型的信任水平。

2)在模型評(píng)價(jià)工具的基礎(chǔ)上,與具體行業(yè)應(yīng)用相結(jié)合,開發(fā)其決策解釋系統(tǒng)。決策解釋系統(tǒng)可以分為兩種類型:一種是在決策之前,系統(tǒng)給出決策結(jié)果和決策依據(jù),供用戶進(jìn)行最終判斷,如軍事、金融投資、醫(yī)學(xué)診斷等決策領(lǐng)域;另一種是針對(duì)事后分析,對(duì)錯(cuò)誤決策進(jìn)行解釋,分析錯(cuò)誤發(fā)生的原因,如自動(dòng)駕駛事故分析等。

4 結(jié)束語

在高風(fēng)險(xiǎn)決策領(lǐng)域,理解深度神經(jīng)網(wǎng)絡(luò)的決策結(jié)果和過程對(duì)于建立人機(jī)互信、人機(jī)協(xié)同的智能系統(tǒng)至關(guān)重要。本文針對(duì)當(dāng)前深度神經(jīng)網(wǎng)絡(luò)存在的弱解釋性問題,分析卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)的各類解釋方法,并結(jié)合深度神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢對(duì)解釋方法未來研究方向進(jìn)行展望。從當(dāng)前研究進(jìn)展可以看到,各類深度神經(jīng)網(wǎng)絡(luò)層出不窮,但理解和解釋其內(nèi)部機(jī)理依然面臨諸多困難和挑戰(zhàn)。下一步將主要對(duì)軍事智能感知和分析決策領(lǐng)域內(nèi)廣泛應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行解釋理論和方法研究,幫助建立基于深度神經(jīng)網(wǎng)絡(luò)的可解釋且魯棒的軍事智能決策系統(tǒng),為指揮員/決策人員提供決策結(jié)果、依據(jù)和解釋。