深度學(xué)習(xí)的可解釋性研究綜述

李凌敏，侯夢(mèng)然，陳 琨，劉軍民

（西安交通大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，西安 710049）

0 引言

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）在計(jì)算機(jī)視覺(jué)、推薦系統(tǒng)、語(yǔ)義分割等眾多領(lǐng)域得到了廣泛的應(yīng)用，并且表現(xiàn)出很好的性能。深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展依賴于以下幾個(gè)因素［1］：1）數(shù)百萬(wàn)有標(biāo)簽的數(shù)據(jù)集的出現(xiàn)；2）圖形處理器（Graphics Processing Unit，GPU）性能的不斷提高；3）更好的模型調(diào)優(yōu)策略。然而，隨著深度學(xué)習(xí)的飛速發(fā)展，模型預(yù)測(cè)錯(cuò)誤的情況時(shí)有發(fā)生。如果不能從人類的角度對(duì)模型決策進(jìn)行理解，尋找更好的模型最終將淪為純粹依靠經(jīng)驗(yàn)來(lái)不斷實(shí)驗(yàn)以消除誤差的試錯(cuò)法。

另一方面，在很多對(duì)性能要求較高的關(guān)鍵領(lǐng)域，對(duì)模型的透明性和可解釋性也提出了較高的要求。例如在醫(yī)療領(lǐng)域檢測(cè)心率失常方面，心臟病專家的診斷會(huì)依賴于機(jī)器學(xué)習(xí)方法的結(jié)果，但可解釋性的缺乏降低了臨床醫(yī)生對(duì)此類方法的信任；在無(wú)人駕駛領(lǐng)域，出于對(duì)高度安全性的需求，錯(cuò)誤決策原因的未知性極大阻礙了深度學(xué)習(xí)模型的實(shí)際應(yīng)用。由此可見(jiàn)，深度學(xué)習(xí)的可解釋性研究具有深遠(yuǎn)意義。

目前已經(jīng)有一些關(guān)于可解釋性的綜述文獻(xiàn)，如陳珂銳等［2］根據(jù)可解釋對(duì)象的不同，從模型、預(yù)測(cè)結(jié)果和模仿者3個(gè)方面對(duì)機(jī)器學(xué)習(xí)的可解釋技術(shù)進(jìn)行了總結(jié)和分析；化盈盈等［3］根據(jù)可解釋性原理將現(xiàn)有方法分成模型內(nèi)部可視化、特征統(tǒng)計(jì)分析和本質(zhì)上可解釋的模型三類；曾春艷等［4］從自解釋模型、特定模型解釋、不可知模型解釋、因果可解釋性四個(gè)方面對(duì)深度學(xué)習(xí)的可解釋性進(jìn)行了分析。本文對(duì)現(xiàn)有的一些可解釋性研究成果進(jìn)行整理，加入了對(duì)深度學(xué)習(xí)的簡(jiǎn)單介紹，使用新的分類標(biāo)準(zhǔn)，將可解釋性研究分成8 個(gè)方面，分別對(duì)其進(jìn)行介紹。

1 深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，指從已有的樣本中學(xué)習(xí)到一般性規(guī)律，并將其應(yīng)用到新的未知樣本上的方法。早期的機(jī)器學(xué)習(xí)并不需要對(duì)世界的很多認(rèn)知，就能得到異于常人的能力；然而，對(duì)于人臉識(shí)別、語(yǔ)音處理等任務(wù)，需要輸入人類掌握的相關(guān)特征，這是困難且復(fù)雜的。為了解決這個(gè)問(wèn)題，表示學(xué)習(xí)出現(xiàn)了，即讓機(jī)器自主學(xué)習(xí)并獲得所需要的特征；但是現(xiàn)實(shí)世界是很復(fù)雜的，同一個(gè)物體在不同的光照下會(huì)有不同的顏色，在不同的觀察角度下又會(huì)有不同的形狀，表示學(xué)習(xí)無(wú)法習(xí)得這樣的高級(jí)特征。深度學(xué)習(xí)的出現(xiàn)解決了這個(gè)問(wèn)題，深度學(xué)習(xí)具有多個(gè)線性或非線性映射，能夠?qū)訉舆f進(jìn)地學(xué)習(xí)到線條等簡(jiǎn)單特征，再根據(jù)這些簡(jiǎn)單特征構(gòu)建復(fù)雜概念，達(dá)到近乎于人的識(shí)別能力。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

多層感知機(jī)（MultiLayer Perceptron，MLP）基于生物神經(jīng)元模型，最典型的MLP 包括3 層：輸入層、隱層和輸出層，不同層之間是全連接的。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）處理具有網(wǎng)格圖案的數(shù)據(jù)（如圖像），旨在自動(dòng)學(xué)習(xí)特征的空間結(jié)構(gòu)層次，通常包括3 種類型的層：卷積層、池化層和全連接層。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，具有更強(qiáng)的學(xué)習(xí)能力。深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）使用概率和無(wú)監(jiān)督學(xué)習(xí)生成輸出，從輸入層開(kāi)始將網(wǎng)絡(luò)的相鄰兩層當(dāng)作一個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）進(jìn)行訓(xùn)練，之后將上一個(gè)RBM 的隱藏層當(dāng)作下一個(gè)RBM 的可見(jiàn)層。生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［5］，同時(shí)包含判別式模型和生成式模型，可以用于生成一個(gè)全新的不存在的圖像。

1.2 激活函數(shù)

激活函數(shù)的主要作用是使網(wǎng)絡(luò)具有非線性建模能力，常用的激活函數(shù)為：

1）Sigmoid 函數(shù)。Sigmoid 函數(shù)又叫l(wèi)ogistic 函數(shù)，可以作為二分類的一類激活函數(shù)。Sigmoid 函數(shù)易于求導(dǎo)，但是在反向傳播時(shí)容易出現(xiàn)“梯度消失”問(wèn)題。

2）tanh 函數(shù)。tanh 函數(shù)也是一類常見(jiàn)的激活函數(shù)，與Sigmoid 函數(shù)相比，由于均值為0，具有更高的收斂速度，也會(huì)出現(xiàn)“梯度消失”的問(wèn)題。

3）ReLU（Rectified Linear Unit）函數(shù)。ReLU 函數(shù)避免了“梯度爆炸”和“梯度消失”的問(wèn)題，能有效地實(shí)現(xiàn)梯度下降和反向傳播，是目前常用的一種激活函數(shù)。ReLU 函數(shù)還有很多變種，如Leaky ReLU、RReLU（Randomized leaky ReLU）、Noisy ReLU 等。上述激活函數(shù)的具體形式如表1 所示。

表1 激活函數(shù)的形式Tab.1 Forms of activation functions

1.3 損失函數(shù)

深度學(xué)習(xí)中，損失函數(shù)用來(lái)衡量真實(shí)值與預(yù)測(cè)值之間的不一致程度。訓(xùn)練過(guò)程中通過(guò)使用梯度下降等優(yōu)化方法來(lái)最小化損失函數(shù)的值，進(jìn)而得到高精度的結(jié)果。常用的損失函數(shù)有CrossEntropy、均方誤差（Mean-Square Error，MSE）損失函數(shù)、log 損失函數(shù)、指數(shù)損失函數(shù)（Adaboost）、Hinge 損失函數(shù)等，它們的基本形式如表2 所示。

表2 損失函數(shù)的基本形式Tab.2 Basic forms of loss functions

2 可解釋性定義及重要性

目前，關(guān)于可解釋性并沒(méi)有清晰的定義和目標(biāo)。最早關(guān)于可解釋性的定義是2017 年Kim 等［6］在ICML（International Conference on Machine Learning）上提出的“Interpretation is the process of giving explanations to Human”，也就是說(shuō)，可解釋性是一個(gè)讓人類理解的過(guò)程。Doshi-Velez 等［7］定義其為“Interpretability is the ability to explain or to present in understandable terms to a human”。同年，Miller［8］給出了更進(jìn)一步的定義，可解釋性是人們可以理解決策原因的程度。這表明，可解釋性的最終目的并非完全理解神經(jīng)網(wǎng)絡(luò)中所有的內(nèi)部特征，而是能夠定量地拆分出來(lái)多少比例的信息是可以解釋的、多少比例的信息是不可以解釋的、多少比例的信息是確實(shí)被網(wǎng)絡(luò)建模的、多少比例的信息是基于已有的信息進(jìn)行合理猜測(cè)的。只要盡可能地把可以解釋的特征信息分離出來(lái)，得到一個(gè)定量分析，就可以建立相互信任的關(guān)系。

Molnar［9］詳細(xì)闡述了可解釋性的重要性?？偨Y(jié)如下：

1）人類的好奇心。對(duì)于不透明的機(jī)器學(xué)習(xí)模型，人們會(huì)本能地思考為什么它的分類精度這么高？只有真正理解了它的機(jī)制，科技才能進(jìn)一步發(fā)展。

2）人類對(duì)找到事物存在意義的渴望。當(dāng)機(jī)器學(xué)習(xí)逐漸滲透到人們的生活中，解釋其發(fā)生的原因就顯得尤為重要。比如推薦系統(tǒng)，人們?cè)诒煌扑]某些產(chǎn)品時(shí)，渴望知道內(nèi)部原因，從而對(duì)該推薦具有更高的認(rèn)同感。

3）安全性。如果機(jī)器學(xué)習(xí)在安全系統(tǒng)的應(yīng)用過(guò)程中發(fā)生失誤，帶來(lái)了巨大的危害；但人類卻不了解其內(nèi)部機(jī)制，無(wú)法解釋機(jī)器學(xué)習(xí)的決策，那么對(duì)它的使用將是特別可怕的。

4）社會(huì)接受度。人們對(duì)于自己要使用的物品具有很強(qiáng)的防范性，只有一個(gè)能給出解釋并被人們理解的產(chǎn)品才會(huì)有更高的社會(huì)信任度，進(jìn)而有更好的發(fā)展和應(yīng)用。

5）倫理道德。機(jī)器可能在學(xué)習(xí)的過(guò)程中學(xué)到種族歧視等偏見(jiàn)，而可解釋性使得人們可以查找原因并及時(shí)對(duì)其進(jìn)行修復(fù)。

3 深度學(xué)習(xí)可解釋性研究現(xiàn)狀

近年來(lái)，學(xué)者們提出了很多解釋深度學(xué)習(xí)模型的方法?？山忉屝缘难芯繌拇篌w范疇上可分為被動(dòng)解釋、主動(dòng)干預(yù)解釋以及補(bǔ)充解釋。根據(jù)是否需要改變網(wǎng)絡(luò)結(jié)構(gòu)或優(yōu)化過(guò)程可將相關(guān)研究分為被動(dòng)解釋和主動(dòng)干預(yù)解釋。

1）被動(dòng)解釋方法。針對(duì)的是一個(gè)訓(xùn)練過(guò)的網(wǎng)絡(luò)，所有的權(quán)值都是已經(jīng)學(xué)習(xí)過(guò)的，該方法只是試圖從中提取邏輯規(guī)則或一些可理解的模式。

2）主動(dòng)干預(yù)解釋方法。該方法需要在訓(xùn)練前做一些小的改變，比如引入額外的網(wǎng)絡(luò)結(jié)構(gòu)或者在訓(xùn)練過(guò)程中施加可解釋性的限制，進(jìn)而使網(wǎng)絡(luò)變得更易于解釋（如更像決策樹（Decision Tree，DT））。

3）補(bǔ)充解釋。將相關(guān)的領(lǐng)域知識(shí)（如信息論）整合到網(wǎng)絡(luò)中，得到更多信息的解釋和更好的可解釋性，是一種新興的解釋思路。

3.1 基于隱層可視化的可解釋性

理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部特征，一個(gè)自然的想法就是對(duì)隱層運(yùn)用一些可視化方法生成有實(shí)際含義的人類能理解的圖像。Zeiler 等［1］在2014 年提出反卷積（Deconvolution）網(wǎng)絡(luò)模型，將中間層的特征圖作為輸入，經(jīng)過(guò)解池-矯正-反卷積操作，逆向重構(gòu)生成圖片，突出顯示輸入圖像中的哪些模式激活了特定的神經(jīng)元，其中，由于卷積神經(jīng)網(wǎng)絡(luò)中的最大池化操作是不可逆的，故而解池過(guò)程只能獲得一個(gè)近似的逆。具體方法為：執(zhí)行池化操作時(shí)使用一組switch 變量記錄下每個(gè)區(qū)域最大值的位置；解池時(shí)生成的特征圖只需保證每個(gè)區(qū)域在之前記錄下的位置是最大值，其他位置置0，解池操作的示意圖如圖1 所示。

圖1 解池操作示意圖Fig.1 Schematic diagram of unpooling operation

2017 年Bau 等［10］提出了網(wǎng)絡(luò)切割（Network Dissection）方法，該方法可以自動(dòng)化地標(biāo)定任意給定的網(wǎng)絡(luò)內(nèi)部帶有語(yǔ)義的神經(jīng)元，并通過(guò)計(jì)算隱層-概念對(duì)的匹配程度，量化分析了不同卷積網(wǎng)絡(luò)內(nèi)部神經(jīng)元的語(yǔ)義特征。同年，Zhang 等［11-12］提出了解釋圖（Explanatory Graph）模型可視化濾波器。解釋圖中的每個(gè)節(jié)點(diǎn)嚴(yán)格表示某個(gè)子模式，每個(gè)邊表示不同模式的同時(shí)激活關(guān)系和空間關(guān)系，進(jìn)而將高層卷積層的混亂的知識(shí)表達(dá)拆分開(kāi)來(lái)，并且具備了更好的可遷移性。

另一方面，由于神經(jīng)網(wǎng)絡(luò)在維數(shù)和觀測(cè)量上的可擴(kuò)展性，維數(shù)降階也被應(yīng)用于神經(jīng)網(wǎng)絡(luò)的隱層可視化。Aubry等［13］為了了解神經(jīng)網(wǎng)絡(luò)提取到的特征與自然圖像中場(chǎng)景因素（比如物體樣式、3D 視角、場(chǎng)景的照明配置等）之間的關(guān)系，使用主成分分析（Principal Component Analysis，PCA）對(duì)隱層的激活進(jìn)行了可視化。Rauber 等［14］首次利用t-分布隨機(jī)近鄰嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）對(duì)神經(jīng)網(wǎng)絡(luò)隱層的高維數(shù)據(jù)進(jìn)行降維，探索了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的觀察表示之間的關(guān)系和人工神經(jīng)元之間的關(guān)系。

基于隱層可視化的可解釋性方法利用了網(wǎng)絡(luò)內(nèi)部隱層的信息，解釋更有效；但有時(shí)隱層并沒(méi)有特定的含義，主觀性較強(qiáng)。

3.2 基于類激活映射的可解釋性

類激活映射（Class Activation Mapping，CAM）的本質(zhì)是對(duì)特征圖進(jìn)行線性加權(quán)來(lái)獲得類別熱力圖，與原圖疊加來(lái)可視化對(duì)預(yù)測(cè)輸出的貢獻(xiàn)分布。2015 年Zhou 等［15］提出了CAM，利用全局平均池化（Global Average Pooling）層代替全連接層，直接使用訓(xùn)練后全連接層上的模型權(quán)重。Selvaraju等［16］利用梯度信息，提出了梯度加權(quán)類激活映射（Gradientweighted CAM，Grad-CAM），對(duì)特征圖的局部梯度求平均作為特征圖的權(quán)重。Chattopadhyay 等［17］則認(rèn)為梯度圖上每個(gè)元素的貢獻(xiàn)是有差異的，故而增加了一個(gè)額外的權(quán)重對(duì)梯度圖的權(quán)重進(jìn)行了二次加權(quán)，提出了Grad-CAM++模型。

以上3 種方法的內(nèi)部機(jī)制如圖2 所示，其中：表示特定類C的熱力圖在（i，j）位置上的值；表示類C在第k層的模型權(quán)重；表示第k層特征圖的第（i，j）個(gè)元素；γC表示特定類C在全連接層的分?jǐn)?shù)；Z表示歸一化因子，是一個(gè)常數(shù)；表示類別C在第k層特征圖的梯度圖上二次加權(quán)的權(quán)重。

圖2 三種類激活映射方法的內(nèi)部機(jī)制Fig.2 Internal mechanisms of three class activation mapping methods

Wang 等［18］發(fā)現(xiàn)Grad-CAM 很容易找到錯(cuò)誤置信度的樣本，即部分權(quán)重較低的特征圖獲得了很高的置信度，而且局部的梯度存在飽和問(wèn)題，受噪聲影響很大，進(jìn)而提出了一種不依賴梯度的權(quán)重表示方法（Score-weighted CAM，Score-CAM）。該方法定義權(quán)重為每個(gè)激活映射在目標(biāo)類別上的前向傳遞分?jǐn)?shù)。文中還提出了置信度提升（Channelwise Increase of Confidence，CIC），即：

其中：Al表示卷積層l的激活代表Al的第k個(gè)通道用Up(·)表示對(duì)上采樣，s(·)為歸一化 函數(shù)。式（1）表示將特征圖上采樣后，與原圖像進(jìn)行點(diǎn)乘，用處理后的圖像響應(yīng)與原圖像響應(yīng)之差表示該特征圖的重要性。

同年，Desai 等［19］利用Ablation分析，提出了Ablation-CAM 方法。該方法遍歷地將每層特征圖置0 再進(jìn)行網(wǎng)絡(luò)前向獲取目標(biāo)類別得分，把該值與原始得分的相對(duì)大小作為權(quán)重。這5 種方法的優(yōu)缺點(diǎn)如表3 所示。

表3 基于類激活映射的5種方法優(yōu)缺點(diǎn)對(duì)比Tab.3 Advantages and disadvantages comparison among five methods based on class activation mapping

基于類激活映射的可解釋性方法通過(guò)對(duì)特征圖分配不同的權(quán)重來(lái)生成類激活圖，實(shí)現(xiàn)了區(qū)域級(jí)的可視化，可以進(jìn)一步區(qū)別分類；但它們關(guān)于權(quán)重的分配缺乏對(duì)應(yīng)的理論基礎(chǔ)。

3.3 基于敏感性分析的可解釋性

敏感性分析（Sensitivity Analysis）是一類定量描述模型輸入變量對(duì)輸出變量的重要性程度的方法。神經(jīng)網(wǎng)絡(luò)的敏感性分析方法可以分為變量敏感性分析和樣本敏感性分析。在變量敏感性分析中，基于偏導(dǎo)的敏感性分析方法利用不同隱層激活函數(shù)［20-22］的偏導(dǎo)數(shù)來(lái)評(píng)估輸入變量對(duì)輸出的影響。具體的細(xì)節(jié)如表4 所示。Dombi 等［23］提出了平均影響值（Mean Impact Value，MIV）方法，直接變動(dòng)各個(gè)自變量的特征值，并按觀測(cè)樣本數(shù)進(jìn)行平均，得到對(duì)應(yīng)的輸出的變化值，其絕對(duì)值大小表示變量的重要性程度。

表4 基于偏導(dǎo)的敏感性分析方法Tab.4 Sensitivity analysis methods based on partial derivatives

在樣本敏感性分析中，Koh 等［24］利用影響力函數(shù)，刻畫了對(duì)訓(xùn)練樣本施加輕微擾動(dòng)后特定測(cè)試樣本損失函數(shù)的變化，來(lái)理解模型的預(yù)測(cè)效果。LIME（Local Interpretable Model-agnostic Explanation）方法［25］是一種與模型無(wú)關(guān)的局部近似。在關(guān)注的樣本點(diǎn)附近進(jìn)行輕微擾動(dòng)后，探測(cè)模型的輸出發(fā)生的變化，根據(jù)這種變化在興趣點(diǎn)附近擬合出一個(gè)可解釋的簡(jiǎn)單模型（如線性模型、決策樹）。

Hui 等［26］認(rèn)為負(fù)貢獻(xiàn)可能不等于負(fù)相關(guān)性，需要在關(guān)聯(lián)分解中分別處理正貢獻(xiàn)和負(fù)貢獻(xiàn)，提出了一種基于負(fù)特征和多數(shù)貢獻(xiàn)的分解規(guī)則，能夠同時(shí)提高網(wǎng)絡(luò)中各屬性的貢獻(xiàn)對(duì)最終網(wǎng)絡(luò)決策的敏感性和相關(guān)性，產(chǎn)生了良好的可解釋結(jié)果。

基于敏感性分析的可解釋性方法把解釋性歸因于輸入特征或者樣本，適合解釋個(gè)體輸入，但通常很難從中獲得對(duì)網(wǎng)絡(luò)的總體理解。

3.4 基于魯棒性擾動(dòng)測(cè)試的可解釋性

魯棒性即深度學(xué)習(xí)模型抵抗輸入擾動(dòng)并給出正確判斷的能力。例如著名的對(duì)抗樣本實(shí)驗(yàn)，將一個(gè)模型能正確識(shí)別的目標(biāo)故意加上微小擾動(dòng)后，深度學(xué)習(xí)模型就會(huì)給出錯(cuò)誤的結(jié)論，這極大地增大了模型應(yīng)用的安全隱患。因此，對(duì)模型的魯棒性進(jìn)行評(píng)估是很必要的，由此也發(fā)展出了很多基于魯棒性擾動(dòng)測(cè)試來(lái)解釋模型的方法。

Gowal 等［27］利用簡(jiǎn)單的定界技術(shù)，即區(qū)間定向傳播（Interval Bound Propagation，IBP），通過(guò)省略神經(jīng)網(wǎng)絡(luò)的最后一層線性層，提高了對(duì)單模型結(jié)構(gòu)的驗(yàn)證精度；并且，由于IBP 的計(jì)算成本僅相當(dāng)于網(wǎng)絡(luò)的兩次前向傳遞，可以執(zhí)行更廣泛的超參數(shù)搜索，進(jìn)而訓(xùn)練大型的神經(jīng)網(wǎng)絡(luò)。

Pezeshkpour 等［28］提出了對(duì)鏈路預(yù)測(cè)模型的對(duì)抗性修改。通過(guò)對(duì)知識(shí)圖譜的修改，識(shí)別出添加到知識(shí)圖譜中的或者從知識(shí)圖譜中刪除的事實(shí)，這些事實(shí)能夠在模型經(jīng)過(guò)重新訓(xùn)練后更改對(duì)目標(biāo)事實(shí)的預(yù)測(cè)。利用對(duì)圖的刪除，可以識(shí)別出對(duì)預(yù)測(cè)鏈接最有影響的事實(shí)來(lái)研究可解釋性；利用對(duì)圖的添加，評(píng)估模型的魯棒性。作者設(shè)計(jì)了一種能夠最小程度改變圖結(jié)構(gòu)使得目標(biāo)事實(shí)的預(yù)測(cè)結(jié)果在重新學(xué)習(xí)后發(fā)生變化最大的方法，稱為通過(guò)對(duì)抗性圖編輯完成魯棒性和可解釋性（Completion Robustness and Interpretability via Adversarial Graph Edits，CRIAGE）。

Moshkovitz 等［29］發(fā)現(xiàn)真實(shí)數(shù)據(jù)是接近線性可分的，這一隱含特性可以同時(shí)使模型具有可解釋性和魯棒性。在決策樹的背景下，提出了基于決策樹的風(fēng)險(xiǎn)評(píng)分算法BBM-RS（learning Risk Scores relying on Boost-By-Majority）算法，利用本身就具有可解釋性的風(fēng)險(xiǎn)評(píng)分模型，保證生成的分類器在具有較高的分類精度的同時(shí)，具有魯棒性和可解釋性。Koo等［30］探究了第一層的激活函數(shù)對(duì)模型的可解釋性的影響，發(fā)現(xiàn)指數(shù)激活函數(shù)可以產(chǎn)生魯棒的表示，而與網(wǎng)絡(luò)深度無(wú)關(guān)。通過(guò)設(shè)置CNN 第一層的激活函數(shù)為指數(shù)激活，可以在激活前抑制背景，只傳播有辨識(shí)性的信號(hào)，從而使第一層濾波器具有更好的可解釋性，同時(shí)顯著提高模型的魯棒性。

Chen 等［31］提出了一種具有非負(fù)約束的深度矩陣分解（Deep Denoising Non-negative Matrix Factorization，DDNMF）模型，用于學(xué)習(xí)數(shù)據(jù)的魯棒可解釋的深度學(xué)習(xí)表示。具體地說(shuō)，DDNMF 包含教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)兩個(gè)部分。每個(gè)網(wǎng)絡(luò)都包括一個(gè)編碼器和解碼器，其中：學(xué)生網(wǎng)絡(luò)的編碼器和解碼器間包括一個(gè)非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）模塊，接受并分解編碼后的表示，再通過(guò)矩陣乘法恢復(fù)表示，以進(jìn)行后續(xù)的解碼，為模型帶來(lái)可解釋性；而教師網(wǎng)絡(luò)抑制輸入數(shù)據(jù)中的噪聲。此外，通過(guò)定義一個(gè)可解釋的損失，確保知識(shí)從教師網(wǎng)絡(luò)轉(zhuǎn)移到學(xué)生網(wǎng)絡(luò)，增強(qiáng)表示的魯棒性。

基于魯棒性擾動(dòng)測(cè)試的可解釋性方法通過(guò)對(duì)精心設(shè)計(jì)過(guò)的新輸入對(duì)模型預(yù)測(cè)的影響程度進(jìn)行解釋，為模型提供了安全保證，但這類舉例的方法解釋力最低。

3.5 基于頻率原理的可解釋性

對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，參數(shù)越多，模型的訓(xùn)練精度越高，對(duì)應(yīng)的泛化能力越弱；但是對(duì)于深度神經(jīng)網(wǎng)絡(luò)（DNN），其參數(shù)遠(yuǎn)遠(yuǎn)多于訓(xùn)練數(shù)據(jù)，然而DNN 在保持高訓(xùn)練精度的同時(shí)，泛化能力也很強(qiáng)。為了研究DNN 的泛化能力，2018 年，Xu等［32］提出使用頻率原理（Frequency principle，F(xiàn)-principle）來(lái)解釋神經(jīng)網(wǎng)絡(luò)，即在訓(xùn)練過(guò)程中，DNN 會(huì)先捕獲低頻分量，同時(shí)保持較小的高頻分量，之后再緩慢地捕獲高頻分量。因此，對(duì)低頻占優(yōu)的目標(biāo)函數(shù)及對(duì)象，DNN 往往具有較好的泛化能力；而對(duì)于高頻占優(yōu)對(duì)象，DNN 則具有較差的表現(xiàn)。這也能解釋對(duì)低頻占優(yōu)的目標(biāo)函數(shù)為什么提前終止訓(xùn)練能防止過(guò)擬合。

Xu 等［33］從傅里葉分析的角度，解釋了訓(xùn)練好的DNN 在擬合奇偶函數(shù)時(shí)泛化能力差的原因。在理想條件下，從理論上證明了頻率原理是由于激活函數(shù)的平滑性導(dǎo)致的，并將DNN 低頻占優(yōu)的原則和雅可比方法先收斂高頻的特性相結(jié)合，加快求解泊松方程，為求解微分方程的數(shù)值解提供了新思路。Xu 等［34］利用頻率原理，解釋了為什么更深層的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快。對(duì)于一個(gè)從隱層到輸出層的子網(wǎng)絡(luò)，其等效目標(biāo)函數(shù)由隱層上一層的輸出和真實(shí)標(biāo)簽構(gòu)成。文中將整個(gè)神經(jīng)網(wǎng)絡(luò)分成pre-condition 和learning 兩個(gè)部分，并著重分析了learning 部分的表現(xiàn)，發(fā)現(xiàn)更深層的神經(jīng)網(wǎng)絡(luò)的有效目標(biāo)函數(shù)在訓(xùn)練過(guò)程中會(huì)更趨近于低頻，再基于低頻先收斂的F-principle，為更深的神經(jīng)網(wǎng)絡(luò)收斂更快提供了一種可能的解釋。

Zhang 等［35］類比熱力學(xué)系統(tǒng)，提出了線性頻率原理（Linear Frequency Principle，F(xiàn)LP）模型，用一個(gè)簡(jiǎn)單的微分方程刻畫了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的關(guān)鍵特征，在一定情況下可以定量預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果。FLP 模型只考慮網(wǎng)絡(luò)參數(shù)的一些宏觀統(tǒng)計(jì)量，忽略了單個(gè)參數(shù)的具體行為，這種刻畫方式對(duì)準(zhǔn)確理解DNN 的學(xué)訓(xùn)練過(guò)程提供了幫助，進(jìn)而解釋了DNN 在參數(shù)極多的情況下依然強(qiáng)大的泛化能力的原因。后續(xù)，Zhang 等［36］又將頻率原理的內(nèi)隱偏差作為兩層神經(jīng)網(wǎng)絡(luò)的顯式懲罰加以明確，利用FLP 模型準(zhǔn)確預(yù)測(cè)了大寬度的雙層ReLU 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果，給出了泛化誤差邊界的先驗(yàn)估計(jì)，朝著定量理解一般神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和泛化邁進(jìn)了一步。

Luo 等［37］對(duì)一般DNN 的訓(xùn)練行為進(jìn)行研究，通過(guò)一些適當(dāng)?shù)墓烙?jì)量刻畫初始階段、中間階段和最后階段的頻率原理，建立了傅里葉分析的理論框架，發(fā)現(xiàn)DNN 的正則性轉(zhuǎn)化為損失函數(shù)在頻域中的衰減率，驗(yàn)證了頻率原理的通用性，為更好地理解DNN 的訓(xùn)練過(guò)程奠定了頻率原理的理論基礎(chǔ)。Wang 等［38］注意到CNN 可以利用人類無(wú)法感知的圖像高頻信號(hào)，并探究了卷積核的平滑性和模型魯棒性之間的關(guān)系，提出了幫助CNN 提高對(duì)抗魯棒性的不需要訓(xùn)練或者微調(diào)模型的防御方法。

基于頻率原理的可解釋性方法對(duì)模型體系結(jié)構(gòu)沒(méi)有要求，但不容易合并特定領(lǐng)域的知識(shí)。

3.6 基于信息論的可解釋性

解釋深度學(xué)習(xí)的另一種方法是基于信息論的方法，其中著名的是由Tishby 等［39］在2000 年提出的信息瓶頸理論。文中把信號(hào)x中的相關(guān)信息定義為該信號(hào)提供的關(guān)于另一個(gè)信號(hào)y的信息，如面部圖像提供的關(guān)于人名的信息。將x中所有與y相關(guān)的信息捕獲，就可以任意壓縮x而不丟失預(yù)測(cè)y的能力，即為x尋找一個(gè)能最大限度地保留y信息的短代碼。理解信號(hào)x，不僅需要預(yù)測(cè)y，還需要知道x的哪些特征在預(yù)測(cè)中起作用，這與神經(jīng)網(wǎng)絡(luò)可解釋的需求不謀而合?；谛畔⑵款i理論，Tishby 等［40］在2015 年提出了信息平面，通過(guò)層間和輸入輸出變量之間的互信息來(lái)量化網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)而產(chǎn)生了網(wǎng)絡(luò)分層架構(gòu)的一種可能的解釋——最優(yōu)的架構(gòu)、層數(shù)和每層的特征及連接都與信息瓶頸權(quán)衡的分岔點(diǎn)有關(guān)，即輸入層相對(duì)于輸出層的相關(guān)壓縮，層狀網(wǎng)絡(luò)的層次化表示對(duì)應(yīng)于沿信息曲線的結(jié)構(gòu)相變。

Schwartz-Ziv 等［41］發(fā)現(xiàn)深度學(xué)習(xí)訓(xùn)練過(guò)程中包含“特征擬合”和“特征壓縮”兩個(gè)階段，并對(duì)信息平面中的DNN 進(jìn)行了可視化。圖3 展示了tanh、ReLU、PReLU 這3 種激活函數(shù)在基于隨機(jī)梯度下降的訓(xùn)練過(guò)程中的信息平面，其中：橫軸表示輸入X和隱層T的互信息；縱軸表示輸出Y和隱層T的互信息；不同位置表示了不同隱層保留的關(guān)于X和Y的信息的多少；一條線代表一輪迭代，隨著迭代輪次的增加，顏色逐漸由深色變?yōu)闇\色；每條線上的點(diǎn)代表不同隱層，右上角代表第一個(gè)隱層，左下角代表最后一個(gè)隱層。從圖3 可以看出，第一層始終位于右上角，位置幾乎沒(méi)有變化，始終包含很多關(guān)于X和Y的信息，而深層最初包含X和Y的信息非常少，但隨著epoch 的增加，所包含X和Y的信息也逐漸增多。根據(jù)其位置的變化，該過(guò)程可分為兩個(gè)階段：第一個(gè)階段每個(gè)點(diǎn)都往右上角移動(dòng)，表示隱層學(xué)習(xí)到了關(guān)于X和Y的信息，即“特征擬合”；第二個(gè)階段向左移動(dòng)，表示隱層逐漸減少關(guān)于X的信息，即丟掉無(wú)關(guān)信息進(jìn)行“特征壓縮”。

圖3 三種激活函數(shù)訓(xùn)練過(guò)程中的信息平面Fig.3 Information planes in training process of three activation functions

針對(duì)難以通過(guò)增加網(wǎng)絡(luò)參數(shù)觀察到過(guò)擬合問(wèn)題，Achille等［42］提出參數(shù)數(shù)量不能真正衡量神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度，真正起作用的是網(wǎng)絡(luò)參數(shù)中所含參數(shù)的信息量。利用權(quán)重中的信息來(lái)衡量學(xué)習(xí)模型的復(fù)雜性，為權(quán)重產(chǎn)生了一個(gè)新的信息瓶頸，并證明了網(wǎng)絡(luò)表示學(xué)習(xí)成分的不變性和獨(dú)立性是由權(quán)值中的信息限定的。Pimentel 等［43］將探針作為互信息的估計(jì)，引入了控制函數(shù)評(píng)估探針的有效性并進(jìn)行了相應(yīng)解釋，反駁了“為了避免探針學(xué)會(huì)了任務(wù)本身，應(yīng)該使用更簡(jiǎn)單探針模型”［44］的觀點(diǎn)，給出了如何選擇探針的建議。Bang等［45］以信息瓶頸原理為標(biāo)準(zhǔn)，提出了一種用于解釋的變分信息瓶頸（Variational Information Bottleneck for Interpretation，VIBI）。對(duì)于每個(gè)實(shí)例，解釋器返回一個(gè)概率，即是否將一個(gè)詞、短語(yǔ)或句子（自然語(yǔ)言處理領(lǐng)域）或者一組像素（計(jì)算機(jī)視覺(jué)領(lǐng)域）等特征塊作為解釋選擇，再將選定的特征塊作為信息瓶頸來(lái)最大限度地壓縮輸入和輸出之間的信息。該方法是系統(tǒng)無(wú)關(guān)的，可以解釋任何黑箱模型。

基于信息論的可解釋性方法將信息論領(lǐng)域的相關(guān)概念應(yīng)用到神經(jīng)網(wǎng)絡(luò)，可以獲得更多信息的解釋，但在泛化到不同的網(wǎng)絡(luò)結(jié)構(gòu)時(shí)效果較差。

3.7 基于可解釋模塊的可解釋性

基于可解釋模塊的可解釋性研究構(gòu)建了新的可解釋的深度學(xué)習(xí)模型，促進(jìn)了深度學(xué)習(xí)模型可解釋性的進(jìn)一步發(fā)展。

膠囊網(wǎng)絡(luò)（Capsule）由Sabour 等［46］在2017 年提出。膠囊是一種新型神經(jīng)元，輸出一個(gè)有長(zhǎng)度和方向的活動(dòng)向量來(lái)表示一個(gè)整體或者整體部分，活動(dòng)向量的范數(shù)（長(zhǎng)度）代表它的置信度，方向代表實(shí)例化參數(shù)。膠囊神經(jīng)元將輸入向量v1和v2先做仿射變換，得到u1和u2；然后做加權(quán)和s=c1u1+c2u2，之后通過(guò)一個(gè)擠壓方程（squashing function）v=得到輸出向量v，其中，做加權(quán)和的系數(shù)c1和c2是通過(guò)動(dòng)態(tài)路由（Dynamic Routing）機(jī)制得到的。動(dòng)態(tài)路由使得每個(gè)膠囊能夠編碼一個(gè)特定語(yǔ)義的概念，可以清晰地知道每一個(gè)“膠囊”所做的工作。

可解釋的基于候選區(qū)域的CNN（Region-CNN，R-CNN）是在2017 年由Wu 等［47］提出。R-CNN 由一個(gè)用于目標(biāo)檢測(cè)的區(qū)域建議（region proposal）組件和一個(gè)興趣區(qū)域（Region of Interest，RoI）預(yù)測(cè)組件組成，其中RoI預(yù)測(cè)組件基于RoIPooling 算子對(duì)邊界框建議進(jìn)行分類和回歸。為了使其實(shí)現(xiàn)弱監(jiān)督自動(dòng)化學(xué)習(xí)，作者提出了一個(gè)有向無(wú)環(huán)與或圖（directed acyclic And-Or Graph，AOG）解析算子，并用其代替RoIPooling 算子；因此，在檢測(cè)過(guò)程中，每個(gè)包圍框都可以由實(shí)時(shí)從AOG 派生的最佳解析樹進(jìn)行解釋。

Chen 等［48］在2016 年提出了基于信息最大化的生成對(duì)抗網(wǎng)絡(luò)（Information-maximizing Generative Adversarial Network，Info-GAN）模型，能以完全無(wú)監(jiān)督的方式學(xué)習(xí)解離化表征的生成對(duì)抗網(wǎng)絡(luò)的信息理論擴(kuò)展。Info-GAN 改進(jìn)了GAN，將輸入噪聲向量分解為兩部分，以此來(lái)最大化可以得到的互信息，從而實(shí)現(xiàn)更加具有可解釋性的表示。Info-GAN 的基本結(jié)構(gòu)如圖4 所示，輸入的噪聲分為隨機(jī)噪聲Z和隱向量C，其中，隱向量C有先驗(yàn)分布，包含了生成數(shù)據(jù)的特征；然后通過(guò)生成器G 可以得到生成數(shù)據(jù)G（Z，C）。Info-GAN 要求生成數(shù)據(jù)和隱向量C之間有盡可能多的互信息，從而保證在生成數(shù)據(jù)的過(guò)程中損失的隱向量C中包含的信息盡可能少。同時(shí)，真實(shí)數(shù)據(jù)（X_real）和生成數(shù)據(jù)（X_fake）要經(jīng)過(guò)判別器D 判斷數(shù)據(jù)的真假，并根據(jù)互信息更新生成器G 和判別器D。

圖4 Info-GAN的基本結(jié)構(gòu)Fig.4 Basic structure of Info-GAN

Gu［49］提出了可解釋圖膠囊網(wǎng)絡(luò)（Graph Capsule Networks，GraCapsNets），使用一個(gè)基于多頭注意力的圖池化操作替換基本路由部分。由于圖池化操作揭示了哪些輸入特征被池化為相關(guān)特征，故而可以很容易地解釋分類決策。

基于可解釋模塊的可解釋性方法可以更好地針對(duì)目標(biāo)任務(wù)進(jìn)行解釋，但需要網(wǎng)絡(luò)和解釋模塊之間的兼容性。

3.8 基于優(yōu)化方法的可解釋性

傳統(tǒng)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法結(jié)構(gòu)清晰，深度神經(jīng)網(wǎng)絡(luò)性能優(yōu)越，把現(xiàn)有的機(jī)器學(xué)習(xí)方法轉(zhuǎn)化成等價(jià)的神經(jīng)網(wǎng)絡(luò)，就能兼具兩者的優(yōu)點(diǎn)。

最早的工作是Daubechies 等［50］提出的迭代收縮閾值算法（Iterative Shrinkage Thresholding Algorithm，ISTA），它是求解稀疏編碼的優(yōu)化方法中較著名的一個(gè)方法。在此之后，出現(xiàn)了很多對(duì)ISTA 的改進(jìn)。Zhou 等［51］引入了一種新的自適應(yīng)動(dòng)量矢量到ISTA 中，并將其轉(zhuǎn)化為一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，將對(duì)L1 范數(shù)的優(yōu)化方法與LSTM 結(jié)合起來(lái)，提出了稀疏編碼網(wǎng)絡(luò)模型SC2Net（Sparse Coding to Network）。這種自適應(yīng)的ISTA考慮了優(yōu)化變量更新時(shí)每個(gè)維度之間的不同和歷史信息，彌補(bǔ)了常見(jiàn)的對(duì)L1 范數(shù)的優(yōu)化的部分不足。Gregor 等［52］將ISTA 展開(kāi)到循環(huán)神經(jīng)網(wǎng)絡(luò)中，提出了學(xué)習(xí)的迭代收縮閾值算 法（Learned ISTA，LISTA）。Liu 等［53］提出了ALISTA（Analytic LISTA），只留下步長(zhǎng)大小和閾值參數(shù)的數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)，大幅簡(jiǎn)化了訓(xùn)練，并具有與LISTA 相當(dāng)?shù)男阅堋?/p>

2015 年Zheng 等［54］把CNN 和條件 隨機(jī)場(chǎng)（Conditional Random Field，CRF）概率圖模型結(jié)合起來(lái)。具體地，將條件隨機(jī)場(chǎng)的求解表示成RNN 的相關(guān)運(yùn)算，構(gòu)造了名為CRFRNN 的基本單元，將其作為CNN 的一部分插入網(wǎng)絡(luò)結(jié)構(gòu)中。在學(xué)習(xí)CRF 參數(shù)的同時(shí)，基于反向傳播對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行端對(duì)端的訓(xùn)練，避免了后向處理，在圖像語(yǔ)義分割上實(shí)現(xiàn)了突破。

Wang 等［55］提出了一種深度L0 編碼器對(duì)L0 范數(shù)的稀疏逼近問(wèn)題進(jìn)行了優(yōu)化。該編碼器基于穩(wěn)健迭代算法，通過(guò)引入新的神經(jīng)元和池化函數(shù)，建模了一個(gè)前向式神經(jīng)網(wǎng)絡(luò)，擁有更好的學(xué)習(xí)能力，在分類和聚類任務(wù)中有很好的表現(xiàn)。Zuo 等［56］針對(duì)盲反卷積問(wèn)題，將lp范數(shù)最小化問(wèn)題的解，即廣義閾值收縮（Generalized Shrinkage-Thresholding，GST）算子推廣到p＜0 的情況，提出了能實(shí)現(xiàn)稀疏編碼的回復(fù)式神經(jīng)網(wǎng)絡(luò)。通過(guò)迭代指定的GST 參數(shù)，可以動(dòng)態(tài)地實(shí)現(xiàn)顯著性邊緣選擇和時(shí)變正則化，使得模糊核估計(jì)具有更好的魯棒性。

2017 年，E［57］在其發(fā)表的論文中將深度神經(jīng)網(wǎng)絡(luò)視為離散的動(dòng)力系統(tǒng)，通過(guò)數(shù)學(xué)推導(dǎo)，展示了使用微分方程解釋深度殘差網(wǎng)絡(luò)（Residual Network，ResNet）。Lu 等［58］進(jìn)一步表示很多深度神經(jīng)網(wǎng)絡(luò)都可以和常微分方程聯(lián)系起來(lái)，利用數(shù)值分析中的結(jié)論，提出了一種線性多步體系結(jié)構(gòu)（Linear Multi-step architecture，LM-architecture），可以在 任何類 似ResNet 的網(wǎng)絡(luò)上使用，并且具有更高的精度。2018 年，Chen等［59］利用常微分方程（Ordinary Differential Equation，ODE）構(gòu)造了一個(gè)新的深度神經(jīng)網(wǎng)絡(luò)模型ODENet。2019 年Grathwohl 等［60］對(duì)算法進(jìn)行進(jìn)一步改進(jìn)，提出了可逆動(dòng)力學(xué)自由形式的雅可比矩陣（Free-Form Jacobian Of Reversible Dyanamics，F(xiàn)FJORD）方法，降低了算法的復(fù)雜性?？傮w來(lái)說(shuō)，基于ODE 的可解釋方法中，將神經(jīng)網(wǎng)絡(luò)對(duì)隱藏狀態(tài)的導(dǎo)數(shù)進(jìn)行參數(shù)化，不需要再分層傳播梯度與更新參數(shù)，大幅降低了存儲(chǔ)成本。此外，由于網(wǎng)絡(luò)的輸出是通過(guò)計(jì)算常微分方程得到的，而現(xiàn)代ODE 的求解方法已經(jīng)很成熟，這類模型的精度和速度也有較大提升。

另一方面，由于偏微分方程（Partial Differential Equation，PDE）在圖像處理、計(jì)算機(jī)視覺(jué)等方面的優(yōu)異表現(xiàn)，很多學(xué)者將PDE 與深度神經(jīng)網(wǎng)絡(luò)聯(lián)系起來(lái)，也取得了很好的成果。2009 年Lin 等［61］設(shè)計(jì)了一種基于PDE 的神經(jīng)網(wǎng)絡(luò)模型，能較好地解決很多圖像處理問(wèn)題。2017 年Haber等［62］提出了使用PDE 來(lái)解釋包括ResNet 在內(nèi)的一類用于圖像、語(yǔ)音、視頻學(xué)習(xí)的高精度深度神經(jīng)網(wǎng)絡(luò)的方法。2020 年Ruthotto 等［63］將神經(jīng)網(wǎng)絡(luò)訓(xùn)練與PDE 約束優(yōu)化聯(lián)系起來(lái)，證明了PDE 約束優(yōu)化中模型參數(shù)的正則化可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)輸出的正則化，提出了一種基于拉格朗日乘子法的前向傳播算法，使得模型在較少標(biāo)簽的情況下也具有較高的預(yù)測(cè)精度。

基于優(yōu)化方法的可解釋性方法擁有對(duì)目標(biāo)任務(wù)更強(qiáng)的解釋性，但受限于優(yōu)化方法自身的某些不足，如利用范數(shù)實(shí)現(xiàn)稀疏性所導(dǎo)致的高昂的計(jì)算代價(jià)、方程解的穩(wěn)定性等。

3.9 小結(jié)

本節(jié)從8 個(gè)方面對(duì)可解釋性的研究現(xiàn)狀進(jìn)行整理，表5總結(jié)了這8 類方法的特點(diǎn)以及部分結(jié)合方法的描述。

表5 各類方法特點(diǎn)對(duì)比及結(jié)合方法描述Tab.5 Comparison of characteristics of various methods and description of combined methods

4 可解釋性的評(píng)價(jià)指標(biāo)

由于模型、規(guī)則和假設(shè)的多樣性，截至目前，還沒(méi)有出現(xiàn)一個(gè)統(tǒng)一且通用的可解釋性的標(biāo)準(zhǔn)化指標(biāo)。由于決策樹方法是最具解釋性的機(jī)器學(xué)習(xí)方法，一些方法通過(guò)對(duì)模型加以改動(dòng)，使之更像決策樹來(lái)增加模型的可解釋性。通過(guò)評(píng)價(jià)模型的解釋復(fù)雜性（Interpretation Complexity，IC），即模型中參數(shù)的數(shù)量來(lái)衡量這類模型的可解釋性是一種直觀且容易理解的指標(biāo)。IC 值越低，模型越具有可解釋性。文獻(xiàn)［44］中采用了這種指標(biāo)，表6 展示了其部分實(shí)驗(yàn)結(jié)果。

表6 中，對(duì)比對(duì)象包括和標(biāo)準(zhǔn)的決策樹（DT）算法、魯棒的決策樹（Robust DT，RobDT）算法［65］、風(fēng)險(xiǎn)評(píng)分算法LCPA（Lattice Cutting Plane Algorithm）［66］和基于決策樹的風(fēng)險(xiǎn)評(píng)分BBM-RS（learning Risk Scores relying on Boost-By-Majority）。對(duì)于DT 和RobDT 算法，IC 是樹中內(nèi)部節(jié)點(diǎn)的數(shù)量，對(duì)于風(fēng)險(xiǎn)評(píng)分（LCPA 和BBM-RS），它是權(quán)向量中非零項(xiàng)的數(shù)量。從表6 中可以看出，BBM-RS 算法在7 個(gè)數(shù)據(jù)集中的IC 值都是最低的，表明了結(jié)合決策樹的風(fēng)險(xiǎn)評(píng)分算法具有更好的可解釋性。

表6 不同算法的IC指標(biāo)的部分實(shí)驗(yàn)結(jié)果Tab.6 Some experimental results of IC index among different algorithms

5 可解釋性深度學(xué)習(xí)的應(yīng)用

隨著深度學(xué)習(xí)的可解釋性研究的發(fā)展，越來(lái)越多的領(lǐng)域運(yùn)用可解釋的深度學(xué)習(xí)模型解決問(wèn)題。

5.1 網(wǎng)絡(luò)安全應(yīng)用

研究發(fā)現(xiàn)，攻擊者通常可以從中間層特征推斷出輸入信息。Xiang 等［67］提出了一種新型的隱私保護(hù)機(jī)制：將實(shí)值特征轉(zhuǎn)化為復(fù)值特征，將輸入信息編碼隱藏在復(fù)值特征的隨機(jī)相位，構(gòu)建復(fù)值神經(jīng)網(wǎng)絡(luò)。在不同的數(shù)據(jù)集和網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法可以有效抵御各種攻擊，保證用戶信息的安全性且?guī)缀鯖](méi)有精度損失。

另外，2019 年郭文博等［68］認(rèn)為現(xiàn)有的應(yīng)用于網(wǎng)絡(luò)安全方面的深度學(xué)習(xí)模型可解釋性極低，與網(wǎng)絡(luò)安全本身需要的高透明度相矛盾，因此這些模型“不值得信任”；為此作者提出了非線性近似的局部解釋方法（Local Explanation Method using Nonlinear Approximation，LEMNA），引入Fused Lasso 處理特征間的依賴關(guān)系，并將其融入到一個(gè)混合線性模型中來(lái)擬合局部非線性的決策邊界，獲得聚類該樣本的重要特征作為解釋。

Xu 等［69］在2021 年提出一種支持解釋的軟件復(fù)用檢測(cè)（Interpretation-enabled Software Reuse Detection，ISRD）方法，從粗粒度到細(xì)粒度地捕獲程序語(yǔ)義，使用包含功能層、基本塊層和指令層的多層次標(biāo)記模型來(lái)唯一標(biāo)識(shí)程序，并構(gòu)造函數(shù)調(diào)用圖分析程序行為，使軟件復(fù)用檢測(cè)結(jié)果具有可解釋性。

5.2 推薦系統(tǒng)應(yīng)用

Lu 等［70］在2018 年提出了一種多任務(wù)推薦模型，可以從用戶的評(píng)論中共同學(xué)習(xí)評(píng)級(jí)預(yù)測(cè)和推薦解釋。具體地，使用矩陣因子分解模型進(jìn)行評(píng)級(jí)預(yù)測(cè)，使用序列到序列學(xué)習(xí)模型進(jìn)行解釋生成。該模型通過(guò)增強(qiáng)解釋生成過(guò)程，解釋了用戶對(duì)某一物品看法的潛在原因。

樹增強(qiáng)嵌入方法（Tree-enhanced Embedding Method，TEM）［71］結(jié)合了基于嵌入的模型和樹模型的優(yōu)點(diǎn)。首先利用樹模型學(xué)習(xí)顯式的決策規(guī)則（又稱交叉特征），然后使用嵌入模型合并交叉特征進(jìn)行預(yù)測(cè)。核心是引入嵌入技術(shù)和注意力機(jī)制代替原本的全連接層，保留了模型的可解釋性，從而使推薦過(guò)程是完全透明和可自我解釋的。

2019 年一種用于從用戶行為中學(xué)習(xí)非糾纏表示的宏觀-微觀解離化變分自動(dòng)編碼器（Macro-micro Disentangled Variational Auto-Encoder，MacridVAE）［72］被提出。宏解離通過(guò)了解用戶意圖，推斷與其相關(guān)的高層次因素，捕獲用戶對(duì)不同高層次因素的偏愛(ài)。微解離通過(guò)VAE 對(duì)信息進(jìn)行理論解釋，使每個(gè)維度可以獨(dú)立反映一個(gè)低層次因素。這一方法不僅在性能上取得了實(shí)質(zhì)性的改進(jìn)，并且是可解釋和可控制的。

Ye 等［73］在2021 年提出了一種基于XGBoost 和注意機(jī)制的可解釋推薦模型，解決了模型預(yù)測(cè)的自解釋問(wèn)題。從基于XGBoost 的樹部分提取有效交叉特征，將結(jié)果輸入到基于注意機(jī)制的嵌入式模型中，捕捉用戶id、商品id 和交叉特征之間的不可見(jiàn)交互，用于預(yù)測(cè)用戶和推薦項(xiàng)目之間的匹配分?jǐn)?shù)。最后根據(jù)得分為不同的用戶項(xiàng)目生成不同的推薦理由，在保證推薦性能的同時(shí)，提高了推薦理由的可解釋性。

5.3 醫(yī)療應(yīng)用

Biffi 等［74］在2018 年提出了一個(gè)三維卷積變分自編碼器（Variational Auto-Encoder，VAE）模型，用于心臟病患者的醫(yī)療圖像分類。該模型利用從3D 分割中學(xué)習(xí)到的可解釋的任務(wù)相關(guān)解剖學(xué)模式（Anatomic Pattern），允許在圖像的原始輸入空間中可視化和量化所學(xué)習(xí)到的病理學(xué)特定重構(gòu)模式。

2020 年Schaumberg 等［75］提出一種可解釋的深度學(xué)習(xí)模型，開(kāi)發(fā)了一種社交媒體上的機(jī)器人，使用機(jī)器學(xué)習(xí)分類器來(lái)幫助病理學(xué)家獲得具有挑戰(zhàn)性病例的實(shí)時(shí)反饋。如果病理學(xué)家在社交媒體上發(fā)布了一個(gè)病例，并@該機(jī)器人，則它會(huì)使用帖子中的病理文本和圖像，生成疾病狀態(tài)的定量預(yù)測(cè)，并實(shí)時(shí)搜索社交媒體和PubMed 的類似案例；同時(shí)發(fā)布摘要，通知分享類似病例的病理學(xué)家，病理學(xué)家之間隨后展開(kāi)更具價(jià)值的討論。

2020 年Wang 等［76］提出一種使用膠囊網(wǎng)絡(luò)的可解釋深度學(xué)習(xí)架構(gòu)（single-cell Capsule Networks，scCapsNet）。該模型通過(guò)識(shí)別競(jìng)爭(zhēng)性單細(xì)胞類型，執(zhí)行特征選擇，進(jìn)而識(shí)別編碼不同類型亞細(xì)胞的基因組。

2021 年P(guān)intelas 等［77］提出一種可解釋的圖像分類框架，用于皮膚癌的預(yù)測(cè)問(wèn)題。該框架結(jié)合了分割和聚類技術(shù)來(lái)提取紋理特征，并過(guò)濾了高度相關(guān)和不太重要的特征，最后構(gòu)建了一個(gè)全局的基于向量的特征層次樹，用于為人類提供有意義和可理解的模型預(yù)測(cè)解釋。

5.4 社交網(wǎng)絡(luò)應(yīng)用

對(duì)社交網(wǎng)絡(luò)中謠言的真實(shí)性進(jìn)行判別，可以通過(guò)適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)。但由于神經(jīng)網(wǎng)絡(luò)本身的不可解釋性，證據(jù)的發(fā)現(xiàn)過(guò)程也很難解釋。Wu 等［78］根據(jù)謠言傳播的“自證性”，即假消息的相關(guān)評(píng)論及轉(zhuǎn)發(fā)中會(huì)出現(xiàn)能佐證其真實(shí)性的內(nèi)容，將決策樹模型整合到協(xié)同注意網(wǎng)絡(luò)中，提出了基于決策樹的協(xié)同注意網(wǎng)絡(luò)（Decision Tree-based Co-Attention network，DTCA）模型，基于決策樹發(fā)現(xiàn)證據(jù)并通過(guò)決策條件對(duì)證據(jù)的發(fā)現(xiàn)過(guò)程進(jìn)行了解釋。Lu 等［79］為了準(zhǔn)確檢測(cè)社交網(wǎng)絡(luò)上的假新聞，盡可能準(zhǔn)確地刻畫其傳播模式，提出了圖感知協(xié)同注意網(wǎng)絡(luò)（Graph-aware Co-Attention Network，GCAN）模型，通過(guò)展示注意力權(quán)重分布，根據(jù)源文本內(nèi)容和傳播用戶的序列，直觀地呈現(xiàn)出確定一篇報(bào)道為謠言時(shí)的證據(jù)——可疑轉(zhuǎn)發(fā)者及他們關(guān)注的詞語(yǔ)。

Ni 等［80］提出一個(gè)綜合模型來(lái)描述社會(huì)影響疫苗決策的過(guò)程，將多準(zhǔn)則信念模型與社會(huì)網(wǎng)絡(luò)分析相結(jié)合，證明整個(gè)疫苗接種覆蓋率主要取決于個(gè)人的信念和判斷決策標(biāo)準(zhǔn)，從社會(huì)網(wǎng)絡(luò)中個(gè)體自愿的接種行為解釋了社會(huì)接種覆蓋率。

6 結(jié)語(yǔ)

隨著深度學(xué)習(xí)的發(fā)展，人們意識(shí)到深度學(xué)習(xí)的不可解釋性帶來(lái)的應(yīng)用瓶頸，因此越來(lái)越多的學(xué)者開(kāi)始了深度學(xué)習(xí)可解釋性的研究。

本文從具體的文獻(xiàn)出發(fā)，從8 個(gè)方面總結(jié)了現(xiàn)有的關(guān)于深度學(xué)習(xí)的可解釋方法。其中，大部分的方法試圖理解已經(jīng)訓(xùn)練過(guò)的網(wǎng)絡(luò)，嘗試從中提取一些邏輯規(guī)則或人類可理解的模式，是被動(dòng)的解釋方法?；陔[層可視化的方法解釋了隱藏層的意義，主要集中在計(jì)算機(jī)視覺(jué)領(lǐng)域，提供了全局的可解釋性；基于類激活映射的方法對(duì)特征圖分配不同權(quán)重生成類激活圖，來(lái)解釋個(gè)體的分類決策；基于敏感性分析的方法是一種模型無(wú)關(guān)的歸因，常用來(lái)評(píng)估特征的重要性；基于魯棒性擾動(dòng)的方法是一種例子解釋，解釋一個(gè)新輸入（比如對(duì)抗樣本）對(duì)模型預(yù)測(cè)的影響程度。后3 類方法都提供的是局部的可解釋性。

主動(dòng)方法則需要在訓(xùn)練前做一些改變，例如引入額外的網(wǎng)絡(luò)結(jié)構(gòu)或修改訓(xùn)練過(guò)程。基于可解釋模塊的方法引入事前可解釋的神經(jīng)元或組件；基于優(yōu)化方法的可解釋方法利用傳統(tǒng)機(jī)器學(xué)習(xí)的先驗(yàn)知識(shí)，修改網(wǎng)絡(luò)結(jié)構(gòu)，促使網(wǎng)絡(luò)變得更加可解釋。

從現(xiàn)有的研究情況看，可解釋性仍有幾個(gè)可能的研究方向。首先，主動(dòng)的可解釋性方法探索不足。對(duì)被動(dòng)方法的一些分析也表明，神經(jīng)網(wǎng)絡(luò)不一定學(xué)習(xí)那些容易被人類理解的表征，如基于頻率原理的方法，就研究了關(guān)于頻率信號(hào)的規(guī)律這一人類不易理解的信息。因此，如何在不損害網(wǎng)絡(luò)性能的前提下主動(dòng)地使網(wǎng)絡(luò)具有可解釋性仍然是一個(gè)有待解決的問(wèn)題。

另一個(gè)重要的研究方向是如何更好地將領(lǐng)域知識(shí)整合到網(wǎng)絡(luò)中?？山忉屝允顷P(guān)于提供解釋的，而解釋建立在可理解的術(shù)語(yǔ)之上，這些術(shù)語(yǔ)針對(duì)特定的目標(biāo)任務(wù)?，F(xiàn)在已經(jīng)有很多方法構(gòu)造不同類型的解釋，但解釋中使用的與領(lǐng)域相關(guān)的術(shù)語(yǔ)仍非常簡(jiǎn)單，像素和顏色、材料、紋理等視覺(jué)概念（計(jì)算機(jī)視覺(jué)領(lǐng)域）以及詞匯（自然語(yǔ)言處理領(lǐng)域）作為領(lǐng)域術(shù)語(yǔ)，構(gòu)成了解釋的基本單位?；谛畔⒄摰姆椒☉?yīng)用信息論相關(guān)的術(shù)語(yǔ)解釋神經(jīng)網(wǎng)絡(luò)，提供了一種新思路。如果可以利用更多的領(lǐng)域/任務(wù)相關(guān)的術(shù)語(yǔ)，將獲得更多信息的解釋和更好的可解釋性。