基于規(guī)則的建模方法的可解釋性及其發(fā)展

周志杰 曹 友 胡昌華 唐帥文 張春潮 王 杰

系統(tǒng)建模是一種簡化實際工程系統(tǒng)的技術(shù),通過它可以對實際系統(tǒng)進行分析、預(yù)測、仿真和改進,以滿足工程應(yīng)用需求[1].近年來,以深度神經(jīng)網(wǎng)絡(luò)(Deep neural networks,DNN)為代表的黑箱模型由于其良好的操作性與建模精度,在諸如人臉識別[2]、智慧醫(yī)療[3]和聲紋識別[4?5]等領(lǐng)域中得到了廣泛的應(yīng)用.然而,黑箱模型的內(nèi)部參數(shù)與結(jié)構(gòu)難以被人理解,其輸出的合理性與可靠性也難以得到驗證,這從一定程度上增加了黑箱模型在實際工程應(yīng)用中的潛在風(fēng)險,尤其是在如醫(yī)療診斷決策等對安全性敏感的任務(wù)中[1,6?7].在工程實踐中,為了滿足實際系統(tǒng)的高可靠性需求,一方面是在實際系統(tǒng)的可靠性設(shè)計中考慮更多因素.另一方面,就是通過合理的建模方法建立出可靠且可理解的模型以增強人類對實際工程系統(tǒng)的認識,獲得系統(tǒng)的真實狀態(tài),并據(jù)此采取合適的策略對實際系統(tǒng)進行改進和維護,確保其安全可靠地工作[1].因此,建模方法的可解釋性逐漸成為了系統(tǒng)建模必須考慮的重要因素.

建模方法的可解釋性指其以可理解的方式表達實際系統(tǒng)行為的能力,它有利于提高模型的可信度.在構(gòu)建模型時,模型的結(jié)構(gòu)與表達方式清晰易理解,能融入真實系統(tǒng)的設(shè)計原理與經(jīng)驗知識;在推理計算時,保持過程的合理與透明性;在模型優(yōu)化時,保證優(yōu)化后模型的上述性質(zhì)不被破壞.這些都利于建立人與模型間的信任關(guān)系,并進一步增強人與模型之間的交互與協(xié)作[1,8?9].為了提高系統(tǒng)建模方法的可解釋性,諸多研究人員就模型的可解釋性問題開展了廣泛和深入的研究,但由于對可解釋性的理解存在主觀性,目前學(xué)術(shù)界還未給出其統(tǒng)一的定義[1,8?12].在相關(guān)研究中,不同研究者看問題的角度不同,賦予了“可解釋性”不同的含義,因而所提出的可解釋性方法也各有側(cè)重.

模型的可解釋性可以分為兩類:1)事后可解釋性(Post-hoc 可解釋性),旨在通過設(shè)計高保真的解釋方法或者構(gòu)建高精度的解釋模型對原本可解釋性弱的模型進行解釋,以可理解的方式展現(xiàn)其工作機制[13].例如,隨機森林(Random forest,RF)[14],提升樹(Boosting tree,BT)[15],DNN[2?5,16]等模型由于參數(shù)量大,結(jié)構(gòu)復(fù)雜,工作機制透明性低,屬于一類可解釋性弱的模型.針對這些模型,研究人員提出包括規(guī)則提取[17?20]、模型蒸餾[21]、激活最大化[22]、敏感性分析[23?25]、特征反演[26]、類激活映射[27]等在內(nèi)的一系列方法幫助人們從整體或者局部理解模型內(nèi)部的復(fù)雜機理[28].2)事前可解釋性(Ante-hoc 可解釋性),指模型本身內(nèi)置的可解釋性,即無需采取額外的手段便可理解模型的工作機制.在建模中為了實現(xiàn)Ante-hoc 可解釋性,通常選擇結(jié)構(gòu)透明、易于理解的自解釋模型,例如線性回歸[29]、樸素貝葉斯[30]、決策樹[31]、基于規(guī)則的模型[32]等.對于線性模型,可以通過模型權(quán)重體現(xiàn)特征之間的相關(guān)關(guān)系,并通過矩陣計算線性組合樣本的特征值,最終復(fù)現(xiàn)線性模型的決策過程[33].對于樸素貝葉斯模型,其概率推理過程是透明可理解的[34];而決策樹模型中,每一條從父節(jié)點到子節(jié)點的路徑都可轉(zhuǎn)化為一條二分產(chǎn)生式規(guī)則,形成可追溯的推理過程[35?36].但是單個決策樹模型的建模能力較弱,在實際工程中往往集成多個決策樹構(gòu)成集成學(xué)習(xí)相關(guān)方法,其可解釋性也隨之降低[37].由于規(guī)則能夠更加直觀地描述和解釋系統(tǒng)機理,因而基于規(guī)則的建模方法(Rule-based modeling approach,RBM)在理論及應(yīng)用中得到了更加廣泛的認可與關(guān)注.

人工智能領(lǐng)域的符號主義學(xué)派強調(diào)通過邏輯來描述和模擬人的智能行為,將知識表示系統(tǒng)分為四類:1)基于邏輯的知識表示;2)語義網(wǎng)絡(luò);3)基于框架的知識表示;4)產(chǎn)生式知識表示.產(chǎn)生式知識表示最早來源于美國數(shù)學(xué)家 Post 提出的波斯特計算模型(Post machine),它描述的是人類思維判斷中的一種固定邏輯結(jié)構(gòu)關(guān)系,即常見的“原因?結(jié)果”、“條件?結(jié)論”以及“前提?操作”等[38].產(chǎn)生式知識表示有多種可以互相轉(zhuǎn)化的形式,例如邏輯蘊含式和產(chǎn)生式規(guī)則.在現(xiàn)有的研究中,基于規(guī)則的建模方法中的“規(guī)則”指的就是產(chǎn)生式規(guī)則.產(chǎn)生式規(guī)則描述為“IF-THEN”形式,從Newell 和Simon 等開發(fā)的基于規(guī)則的產(chǎn)生式系統(tǒng)開始,已逐漸成為了專家系統(tǒng)、人工智能等領(lǐng)域中應(yīng)用最廣泛的知識表示方法[1,32].最初的產(chǎn)生式規(guī)則對確定性信息具有較為直觀的描述能力.1965 年,Zadeh 在Information and Control雜志發(fā)表“Fuzzy sets”,提出了一種利用模糊集合和模糊邏輯分析復(fù)雜系統(tǒng)的新方法[38].由該方法衍生的模糊規(guī)則,如Mamdani-Larsen (ML)型規(guī)則[1,39]及Takagi-Sugeno(TS)型規(guī)則[1,40?41],通過語義變量和模糊命題為系統(tǒng)行為的描述提供了更加易于理解的表達形式,且更加符合人類的推理模式[32].在諸多領(lǐng)域中,基于模糊規(guī)則的建模方法能夠有效利用定量信息和定性知識處理模糊不確定性.但是在實際工程系統(tǒng)中,模糊不確定性(Fuzzy uncertainty)、不完備性(Incompleteness)、概率不確定性(Probabilistic uncertainty)等各類不確定性廣泛共存,這嚴重制約了模糊規(guī)則的建模性能[42?45].為此,Yang 等于2006 年在Dempster-Shafer 證據(jù)理論[46?47]、決策理論[48]、模糊理論[38]和傳統(tǒng)產(chǎn)生式規(guī)則[1,32,38]的基礎(chǔ)上,將置信框架引入傳統(tǒng)產(chǎn)生式規(guī)則,提出了基于證據(jù)推理算法的置信規(guī)則庫推理方法(Belief rule-base inference methodology using the evidential reasoning approach,RIMER)[42,45].RIMER 方法的核心之一是置信規(guī)則庫(Belief rule base,BRB),它是傳統(tǒng)模糊規(guī)則庫(Fuzzy rule base,FRB)的一般化,能為工程系統(tǒng)中知識提供更加可靠的描述[45].

RBM 的優(yōu)勢在于其內(nèi)置的可解釋性,本文的“可解釋性”側(cè)重于說明如何建立和保持RBM 的內(nèi)置可解釋性,即如何在構(gòu)建知識庫時獲得可解釋性,如何保證推理過程的透明可解釋,如何在優(yōu)化過程中保持可解釋性.RBM 的可解釋性主要取決于幾個因素,包括模型結(jié)構(gòu)、規(guī)則數(shù)目、模糊集的形狀等[8,10,45].Zhou 等結(jié)合前人的研究從模糊集和模糊規(guī)則層面將FRB 的可解釋性分為低級可解釋性(Low-level interpretability)和高級可解釋性(Highlevel interpretability)[10].然而,隨著模糊規(guī)則被拓展為置信規(guī)則,高低級可解釋性在描述BRB 系統(tǒng)的可解釋性方面存在一定的局限性.本文主要對RBM 的發(fā)展進行概述,從知識庫、推理機、模型優(yōu)化等角度分析總結(jié)典型文獻中關(guān)于其可解釋性的研究,并在此基礎(chǔ)上對其未來發(fā)展進行了闡述,旨在為RBM 的發(fā)展和改進提供一定的參考和借鑒.本文的整體框架如圖 1 所示.

圖1 論文整體框架Fig.1 The overall framework of the paper

1 RBM 基礎(chǔ)理論簡介

構(gòu)建RBM 時,一般先從專家或領(lǐng)域知識獲取規(guī)則以構(gòu)成一個知識庫,隨后設(shè)計有效的推理引擎實現(xiàn)對觀測信息的推理從而得到結(jié)論[42,45].RBM 中產(chǎn)生式規(guī)則的一般形式為:

其中,X={Xi;i=1,···,T}是屬性的集合,且每個屬性都可從有限集合A={A1,A2,···,AT}中獲取值(或命題).Ai={Aij;j=1,···,Ji=|Ai|}表示由Xi的參考值(或假設(shè))組成的集合,這些參考值可以是定性的也可以是定量的;{X1→A1,X2→A2,···,XM→AM}定義了一系列的前提條件,它們代表了所研究問題的基本狀態(tài),可由邏輯“與”或者邏輯“或”連接;D={Dj;j=1,···,N}表示由結(jié)果組成的集合,且Dj可以表示一個結(jié)論或一個動作;F表示一個邏輯函數(shù),反映了前提條件與結(jié)果D之間的關(guān)系.

產(chǎn)生式規(guī)則自1934 年提出以來,其發(fā)展主要圍繞不確定性知識的描述展開[49].傳統(tǒng)的產(chǎn)生式規(guī)則一般用于對確定性信息的描述.但是隨著人們對工程系統(tǒng)認識的不斷加深,越來越多的研究認為處理不確定性信息的能力對提高模型可解釋性與建模精度有著重要意義.基于此,傳統(tǒng)的產(chǎn)生式規(guī)則也逐漸擴展成為模糊規(guī)則和置信規(guī)則[50?51].本節(jié)將從不確定性信息處理能力角度對RBM 的發(fā)展進行介紹.同時,本節(jié)也將對決策樹和貝葉斯網(wǎng)絡(luò)等一類可視為特殊規(guī)則的模型進行介紹,以幫助讀者更加全面理解RBM 的發(fā)展.

1.1 基于傳統(tǒng)產(chǎn)生式規(guī)則的建模方法

傳統(tǒng)產(chǎn)生式規(guī)則通?？梢詫懗扇缦滦问?

其中,X為產(chǎn)生式規(guī)則的前提(前件),它一般由事實的邏輯組合構(gòu)成,表示該規(guī)則被使用的條件;Y表示一組結(jié)論(后件).產(chǎn)生式規(guī)則的含義是如果前提X滿足,則可得到結(jié)論Y.

下面以一條醫(yī)生判斷病人是否感冒的規(guī)則為例對傳統(tǒng)產(chǎn)生式規(guī)則進行解釋:

其中事實的邏輯組合“發(fā)燒∧咳嗽”是該條規(guī)則是否被使用的先決條件,∧為邏輯連接符,表示邏輯

1.2 基于FRB的建模方法

“與”.當(dāng)上述事實的邏輯組合滿足時,該條規(guī)則被激活產(chǎn)生結(jié)論“病人感冒”.由這個例子可以看出,產(chǎn)生式規(guī)則能簡單明確地描述專家知識,符合人類推理的思維模式.但是上述規(guī)則僅能夠確定性的描述“發(fā)燒”、“咳嗽”和“感冒”,并不能進一步的解釋病人發(fā)燒/咳嗽/感冒的程度.

基于FRB 的建模方法可分為兩類[1],即精確模糊建模方法(Precise fuzzy modeling,PFM)和語義模糊建模方法(Linguistic fuzzy modeling,LFM).TS 型模糊規(guī)則與ML 型模糊規(guī)則是構(gòu)成FRB 的兩種常用組件.其中,基于TS 型規(guī)則庫的建模方法是PFM 的代表方法之一,其主要目的是獲得具有良好精度的模糊模型,這種方法在模糊變量的使用上一般不會賦予模糊集相關(guān)意義.基于ML 型規(guī)則庫的建模方法是LFM 的代表方法之一,主要目的是獲得具有良好可解釋性的模糊模型,在其規(guī)則中,前件和后件使用由語義術(shù)語組成的語言變量和模糊集來定義相關(guān)意義.同理,與PFM 相比,在推理機的選擇與構(gòu)造上,LFM 也更傾向于保證推理過程的透明和推理結(jié)果的可解釋性.

TS 型規(guī)則庫中第k條規(guī)則可描述如下[1,40?41]:

其中,L為規(guī)則條數(shù),∧為連接符,表示邏輯“與”,結(jié)合實際需求,邏輯連接符也可以是表示邏輯“或”的∨;表示第k條規(guī)則中第i個輸入的參考值,一般為一組帶有物理意義且相互排斥的語義值;Y k為輸出結(jié)果,ck為輸出結(jié)果的參數(shù).TS 型模糊規(guī)則將仿射函數(shù)作為模糊規(guī)則的輸出結(jié)果,通過將復(fù)雜非線性系統(tǒng)局部分解為一系列線性系統(tǒng),使其具備較好的逼近性能.TS 型模糊規(guī)則在控制領(lǐng)域得到了廣泛的應(yīng)用[52?53].

與TS 型規(guī)則相比,ML 型規(guī)則的后件具有更加簡潔直觀的表達方式,ML 型規(guī)則庫第k條規(guī)則描述為[1,39]:

由式(3)與(4)可以看出,ML 型規(guī)則和TS 型規(guī)則具有相同的前提結(jié)構(gòu)和不同的后件部分.ML型規(guī)則的后件部分是一個模糊集,用以更加直觀地描述實際系統(tǒng).TS 型規(guī)則的是一個線性仿射函數(shù),用以精確地擬合實際系統(tǒng).在建立ML 型規(guī)則時,其關(guān)鍵在于將定性與定量知識轉(zhuǎn)化為由語義術(shù)語組成的語言變量和模糊集.在建立TS 型規(guī)則時,其關(guān)鍵在于選擇合適的函數(shù)對實際系統(tǒng)進行擬合.

現(xiàn)實系統(tǒng)中,存在著多種不確定性.舉例來說,“約翰很年輕的可能性是0.8”.“年輕”一詞是年齡的模糊表達,帶有模糊不確定性.“0.8”是我們給出該信息的確定度,帶有概率不確定性.ML 型模糊規(guī)則能較好地描述和處理模糊不確定性,但是難以較好處理廣泛存在的概率不確定性[42,45].置信框架是一種描述信息不確定性的理想方法[42?45],因此有必要結(jié)合置信框架對模糊規(guī)則進行一般化的擴展.

1.3 基于BRB的建模方法

BRB 通常由一系列置信規(guī)則構(gòu)成,其中第k條規(guī)則表述為[42,45]:

在后續(xù)研究中,Chang 等對上述置信規(guī)則的假設(shè)進行了擴展,提出了基于“或”假設(shè)的置信規(guī)則及相應(yīng)的激活權(quán)重計算方法,并進一步探討了兩種假設(shè)下置信規(guī)則的相互關(guān)系[54?57];Liu 等認為上述置信規(guī)則的前件部分不能較好地描述不確定性,于是對置信規(guī)則的前件進行了擴展,提出了擴展置信規(guī)則庫模型(Extended BRB model)[58?59].

1.4 其他特殊形式的規(guī)則

產(chǎn)生式規(guī)則在描述人類知識方面具有較好的通用性,例如,圖搜索中的狀態(tài)轉(zhuǎn)換規(guī)則、程序設(shè)計的詞法規(guī)則、邏輯中的邏輯蘊含式、數(shù)學(xué)中的微積分公式、化學(xué)中分子式的分解變換規(guī)則等都可用產(chǎn)生式規(guī)則來描述.現(xiàn)有研究中,許多建模方法中的知識表示方法均可以輕松地轉(zhuǎn)化為產(chǎn)生式規(guī)則,例如樹模型(決策樹、故障樹)和貝葉斯網(wǎng)絡(luò)等.因此,這些知識表示方法也可以視作特殊形式的產(chǎn)生式規(guī)則.下面將以故障樹以及貝葉斯網(wǎng)絡(luò)為例,對其與產(chǎn)生式規(guī)則的轉(zhuǎn)化關(guān)系進行介紹.

1)故障樹與產(chǎn)生式規(guī)則的轉(zhuǎn)化

故障樹是一種因果演繹分析方法,它把系統(tǒng)的故障(結(jié)果)及其發(fā)生的直接原因作為頂事件和底事件,采用邏輯門來描述故障原因間的邏輯關(guān)系,用樹形結(jié)構(gòu)來描述原因與結(jié)果之間的因果關(guān)系.可以看出,故障樹的知識表示方式與產(chǎn)生式規(guī)則具有極強的關(guān)聯(lián)性,兩者本質(zhì)上的邏輯關(guān)系是等價[60].

圖2 所示的是故障樹中常見的兩個基本單元,其與產(chǎn)生式規(guī)則的對應(yīng)轉(zhuǎn)化關(guān)系為:故障樹中的“與門”表明多個基本事件同時發(fā)生時頂事件才會發(fā)生,這與產(chǎn)生式規(guī)則中“交”邏輯一致.因此,“與門”故障樹轉(zhuǎn)化的產(chǎn)生式規(guī)則為:

圖2 故障樹Fig.2 Fault tree

同理,故障樹中的“或門”表明多個基本事件中,只要有一個事件發(fā)生,頂事件就會發(fā)生,這與產(chǎn)生式規(guī)則中“并”邏輯一致.因此,“或門”故障樹轉(zhuǎn)化的產(chǎn)生式規(guī)則為:

2)貝葉斯網(wǎng)絡(luò)與產(chǎn)生式規(guī)則的轉(zhuǎn)化

貝葉斯網(wǎng)絡(luò)是一種基于有向無環(huán)圖模型來描述因果關(guān)系的概率模型.通常,一個復(fù)雜的貝葉斯網(wǎng)絡(luò)可以分解為若干個如圖3 所示的貝葉斯網(wǎng)絡(luò)片段.每個貝葉斯網(wǎng)絡(luò)片段包含一個子節(jié)點和若干個父節(jié)點,節(jié)點由有向弧連接,從父節(jié)點指向子節(jié)點.貝葉斯網(wǎng)絡(luò)將父節(jié)點與子節(jié)點分別視作前提條件和推理結(jié)論,并通過概率表來描述父節(jié)點與子節(jié)點間的關(guān)系.

圖3 貝葉斯網(wǎng)絡(luò)片段Fig.3 Bayesian network fragment

在如圖3 所示的貝葉斯網(wǎng)絡(luò)片段中,每個父節(jié)點Xi可能含有多個狀態(tài)Ai={Ai,1,···,Ai,J}(i=1,···,T,j=1,···,J),子節(jié)點D也可能有多個狀態(tài)D1,···,DN.因此,該貝葉斯網(wǎng)絡(luò)片段可轉(zhuǎn)換為如下產(chǎn)生式規(guī)則(置信規(guī)則):

其中β1,···,βN為相對于子節(jié)點各狀態(tài)的置信度,θ和δ分別表示規(guī)則權(quán)重和屬性權(quán)重.這些參數(shù)均可以通過分析概率表和專家經(jīng)驗來確定[61].

2 RBM 的可解釋性

可解釋性是RBM 的固有特征[10,62],現(xiàn)有研究主要從三個方面對其展開探討:知識庫(Knowledge base)、推理機(Reasoning engine)和模型優(yōu)化(Model optimization).此外,一些文獻也對該方法的Post-hoc 可解釋性進行了研究.本節(jié)主要內(nèi)容如圖4 所示.

圖4 RBM 可解釋性的主要內(nèi)容Fig.4 The main contents of RBM interpretability

2.1 知識庫

在RBM 中,知識庫由一系列規(guī)則組成.可解釋的知識庫需要具備清晰明確的語義,完備、簡潔、一致的規(guī)則以及具有物理意義的結(jié)構(gòu)和參數(shù)[1].

2.1.1 清晰明確的語義

1)語義的可區(qū)分性

語義可區(qū)分性用來描述規(guī)則輸入劃分空間的合理性.IF-THEN 規(guī)則輸入的參考值及其匹配區(qū)間應(yīng)該具備可區(qū)分性,以表示一個明確的語義[10,63?64].

2)匹配度的標準化與互補性

匹配度的標準化指論域U內(nèi)至少存在一個數(shù)據(jù)點相對于某個參考值的匹配度等于1,且所有參考值的匹配度應(yīng)該處于0 到1 之間,即[10,64]:

其中,T表示前提屬性參考值的數(shù)量,x0表示論域U內(nèi)的某個定值.aξ(?)表示相對于第ξ個參考值的匹配度.

匹配度的互補性指在論域U內(nèi)前提屬性空間參考值的所有匹配度之和應(yīng)該小于或等于1,即[10]:

要保證明確的語義,一種方法是通過專家經(jīng)驗確定相應(yīng)的前提屬性的參考值與匹配區(qū)間.另一種常用的方法是通過使用模糊集之間的相似性測度來合并相似的模糊集以保證其可區(qū)分性.常用的相似性測度為Jaccard 相似系數(shù)(Jaccard similarity coefficient),其計算方法如下所示[65]:

其中A和B表示兩個模糊集,∩和|?|分別表示集合的交集和基數(shù).Jaccard 相似系數(shù)的范圍為0 到1.當(dāng)兩個模糊集完全相同時,Jaccard 相似系數(shù)的值為1;當(dāng)二者完全不相似時,Jaccard 相似系數(shù)的值為0.Zwick 等對模糊集之間的許多相似性測度進行了比較分析[66].

此外,Mencar 等還提出了一種基于可能性測度的量化方法[67?68],該方法通過量化模糊集重疊的程度來評估可區(qū)分性,并且可以有效減少相似模糊集合合并過程中的計算量,其定義如下:

其中A和B表示兩個模糊集,μA(x)表示輸入x對于模糊集A的隸屬度.現(xiàn)有用于量化模糊集可分辨性的方法大多只基于輸入數(shù)據(jù),而沒有使用輸出數(shù)據(jù)中包含的信息.Zhou 和Gan 提出了一種局部熵,通過考慮輸入輸出樣本提供的信息來實現(xiàn)模糊集可區(qū)分性的測量[69].

2.1.2 規(guī)則庫的完備性

規(guī)則庫的完備性指對于任何一種可能的輸入(定量或定性)都應(yīng)該至少匹配一個參考值,并且至少應(yīng)激活一個規(guī)則,即一個可解釋的規(guī)則庫應(yīng)該包含系統(tǒng)的所有工作模態(tài),其描述如下[70]:

其中T表示前提屬性參考值的數(shù)量.U是x的整個可行域.aξ(x)表示與第ξ個參考值的匹配程度.L表示規(guī)則數(shù).wl表示第l條規(guī)則的激活權(quán)重.

Meesad 等認為完備性主要包括兩個要素:模糊劃分的完備性和模糊規(guī)則結(jié)構(gòu)的完備性,并分別提出了相應(yīng)的完備性測度[71].Espinosa 等提出了具有語言完整性的自治模糊規(guī)則提取算法,在保持規(guī)則庫語義完整性及覆蓋性的同時,能夠很好地擬合輸入輸出數(shù)據(jù)[72].Li 等通過模糊減法聚類(Fuzzy subtraction clustering)計算出輸入數(shù)據(jù)的最佳聚類數(shù)和聚類中心,并將其作為各屬性參考值,該方法在輸入信息完備的前提下能有效保證規(guī)則庫的完備性[73].為了保證參考值在優(yōu)化過程中對空間分區(qū)覆蓋的可解釋性,De Oliveira 等在優(yōu)化過程中引入了覆蓋約束[64].不同于上述研究,Zhou 等提出了基于“效用統(tǒng)計”的規(guī)則庫在線構(gòu)造方法,該方法能依據(jù)輸入模態(tài)的變化實時地增加和刪除規(guī)則,保證規(guī)則庫的緊湊和完備[74].

2.1.3 規(guī)則庫的簡潔性

規(guī)則庫的簡潔性是保證其可解釋性的關(guān)鍵要求之一[75].根據(jù)Occam 剃須刀原理“The best model is the simplest one fitting the system behaviors well”,在保證模型建模性能處于滿意水平的前提下,規(guī)則庫的規(guī)模必須盡可能小以易于對工程系統(tǒng)的全局性理解.規(guī)則庫中規(guī)則的數(shù)量會隨著前提屬性和參考值的數(shù)量增長呈指數(shù)增長,即規(guī)則的組合爆炸[42,45].這嚴重限制了規(guī)則庫模型的工程應(yīng)用.因此,必須采取一定的手段保證適當(dāng)數(shù)量的前提屬性和參考值.

特征選擇的目標是在建模精度和模型復(fù)雜度之間找到最優(yōu)的平衡點,產(chǎn)生一個緊湊、簡潔、具有良好泛化和解釋能力的規(guī)則模型[1].常用的特征選擇算法有過濾式(Filter)特征選擇算法與包裝器(Wrapper)特征選擇算法[1,76].Filter 特征選擇算法按照特征的某種特性(例如相關(guān)性)對各個特征進行評分,設(shè)定閾值進行特征篩選.該方法簡單有效,但是由于沒有啟發(fā)式學(xué)習(xí)過程的參與,往往不能得到最佳特征子集.Wrapper 特征選擇算法需要建立相應(yīng)的目標函數(shù),并利用學(xué)習(xí)算法獲得模型的精度估計,以選擇最優(yōu)特征子集.但是該方法的主要問題是當(dāng)特征數(shù)量比較大的時候,其效率低下.

規(guī)則庫模型結(jié)構(gòu)學(xué)習(xí)的主要目的是通過啟發(fā)式學(xué)習(xí)方法確定合適數(shù)量的屬性參考值,從而降低模型復(fù)雜度.例如,Chang 等首先利用多維約簡技術(shù)(Multiple dimensionality reduction techniques)提出了BRB 結(jié)構(gòu)學(xué)習(xí)方法[77?78].王應(yīng)明等通過對粗糙集理論的推導(dǎo)進一步探索了BRB 結(jié)構(gòu)學(xué)習(xí)[79].Chang 等通過將結(jié)構(gòu)和參數(shù)學(xué)習(xí)與Akaike 信息準則(AIC)結(jié)合構(gòu)建優(yōu)化目標函數(shù),有效降低了模型復(fù)雜度[80].當(dāng)工程系統(tǒng)較為復(fù)雜時,構(gòu)建合理結(jié)構(gòu)的層次模型,使其規(guī)則數(shù)量隨前提屬性的數(shù)量線性增加,有利于降低模型復(fù)雜度[45].

此外,Chang 等還提出了一般化的析取假設(shè)下的BRB 模型(Disjunctive BRB),并在有限范圍內(nèi)討論了其與傳統(tǒng)BRB 模型間的轉(zhuǎn)化關(guān)系與一致性[55].同時,也提出了一種在傳統(tǒng)假設(shè)下的BRB 結(jié)構(gòu)和參數(shù)優(yōu)化方法,并將其擴展到析取假設(shè)下,為降低規(guī)則庫規(guī)模提供了新的思路[57].

2.1.4 規(guī)則的一致性

規(guī)則的一致性能有效防止在推理過程及輸出結(jié)果中出現(xiàn)歧義.對于可解釋的規(guī)則庫,相互沖突的規(guī)則是不能共存的.如果規(guī)則庫是由專家知識提取得到,規(guī)則的一致性容易得到保證.但數(shù)據(jù)驅(qū)動的規(guī)則提取過程往往會因為帶噪聲的數(shù)據(jù)而產(chǎn)生沖突規(guī)則.嚴重不一致的規(guī)則無疑會導(dǎo)致規(guī)則庫性能退化,并使之無法解釋.Jin 等認為規(guī)則的一致性不應(yīng)局限于規(guī)則之間,還應(yīng)該考慮規(guī)則與人類常識之間的一致性,并給出了規(guī)則的一致性定義如下[75]:

其中Ri,Rk代表第i條規(guī)則與第k條規(guī)則,SRC(?)表示規(guī)則后件的相似性,定義為

S(?,?)是規(guī)則后件模糊集Bi和Bk之間的相似性度量.在置信規(guī)則中,其表示為后件置信分布之間的相似性度量.SRP(?)表示規(guī)則前提的相似性,定義為

SRP(?)表示規(guī)則前提的相似性,表示規(guī)則前件模糊集.

上述定義中,在兩條規(guī)則的SRP和SRC成正比例的情況下,如果兩個規(guī)則的SRP較高,則其一致性程度會趨向于低.在特殊情況下,當(dāng)兩條規(guī)則具有相同的前提和結(jié)果,或兩條規(guī)則的SRP和SRC相等,或兩條規(guī)則的SRP等于0 時,一致性程度達到最大值1.但是當(dāng)兩條規(guī)則具有相同的前提和結(jié)果時,往往會出現(xiàn)冗余,影響模型的緊湊性.此外,如果規(guī)則前提相同但規(guī)則后件不同,兩條規(guī)則的一致性范圍為0 到1.如果兩條規(guī)則的前提非常不同 (SRP非常低),其一致性程度則處于較高水平.這符合規(guī)則的一致性假設(shè),即兩條帶有較大差異前提的規(guī)則常被認為是一致的[10,75,81].

2.1.5 結(jié)構(gòu)及參數(shù)的物理意義

帶有物理意義的結(jié)構(gòu)主要體現(xiàn)在兩方面:規(guī)則的結(jié)構(gòu)和規(guī)則庫的結(jié)構(gòu).對于規(guī)則的結(jié)構(gòu),ML 型規(guī)則和TS 型規(guī)則是兩種應(yīng)用最為廣泛的模糊規(guī)則,二者具有相同的前提結(jié)構(gòu)和不同的后件部分.ML型規(guī)則的后件部分是一個模糊集,TS 型規(guī)則的是一個線性仿射函數(shù).相比較于TS 型規(guī)則,ML 型規(guī)則的模糊集在描述知識方面更加直觀.置信規(guī)則就是在ML 型規(guī)則的基礎(chǔ)上擴展而來.對于規(guī)則庫的結(jié)構(gòu),為了清晰描述復(fù)雜工程系統(tǒng)內(nèi)部各組件間的邏輯關(guān)系,規(guī)則庫一般會基于層次結(jié)構(gòu)來構(gòu)建,以明確輸入間的傳遞關(guān)系.在推理時,采用自底向上的推理方法,逐層對證據(jù)進行聚合產(chǎn)生更高級別的證據(jù)[42,45].例如,Yang 等和Hodges 等構(gòu)建的用來確定容器包含石墨的置信度的層次模糊規(guī)則庫,其中每一條規(guī)則及組件間均有較強的邏輯關(guān)系[45,82].

在規(guī)則的參數(shù)方面,以置信規(guī)則為例,其參數(shù)主要包括屬性權(quán)重、規(guī)則權(quán)重、激活權(quán)重以及置信度等.其中屬性權(quán)重δ∈[0,1] 表示該前提屬性相對于其他屬性的重要度;規(guī)則權(quán)重θ∈[0,1] 表示該條規(guī)則相對于其他規(guī)則的重要度;激活權(quán)重w∈[0,1]表示對應(yīng)規(guī)則被輸入激活的程度,它由輸入信息、屬性權(quán)重與規(guī)則權(quán)重共同決定;置信度βi∈[0,1] 表示對結(jié)果的支持程度.上述參數(shù)具有一定的主觀性,其值的大小一般依賴于專家經(jīng)驗.此外,Feng 等[24]還在BRB 中引入了屬性可靠度r∈[0,1] 用以表示輸入信息的可靠程度.屬性可靠度體現(xiàn)了屬性的客觀性,它與系統(tǒng)的內(nèi)部機理、工作環(huán)境密切相關(guān).

2.2 推理機

知識庫的可解釋性保證了其能以可理解的方式準確描述實際系統(tǒng)中的不確定信息.為了產(chǎn)生可靠的結(jié)果,推理機對不確定信息的處理能力至關(guān)重要.澳大利亞西澳大學(xué)Walley 教授認為可從六個標準來對現(xiàn)有不確定性推理方法進行評價[83?84]:

標準1.可解釋性(Interpretation).指推理方法對不確定信息的處理應(yīng)有足夠明確的解釋,可以用于指導(dǎo)評估,理解結(jié)論,并將其作為行動的基礎(chǔ).

標準2.不精確信息描述能力(Imprecision).指推理方法對不精確信息的描述能力,即能夠?qū)Σ糠只蛉康臒o知、有限的或相互矛盾的信息以及不確定性的不精確評估.

標準3.演算能力(Calculus).指推理方法應(yīng)該具有整合不確定性信息的能力,即能夠結(jié)合新的信息更新不確定度,并使用它們來計算其他不確定度,最終得出結(jié)論并做出決策.

標準4.一致性(Consistency).指推理方法的不確定性推理過程應(yīng)該和假設(shè)保持一致.

標準5.評估的可行性(Assessment).指推理方法需要具備處理各種類型信息的能力,包括用自然語言表示的不確定性,例如“if A then probably B”.同時也能將定性判斷與定量的不確定性信息結(jié)合起來.

標準6.計算的可行性(Computation).指推理方法能夠通過合理高效的計算過程得到推理結(jié)論.

上述六個標準從理論和實踐對不確定性推理方法進行了衡量,其中標準1 (Interpretation)是對不確定性推理方法的基本要求,它可以支撐演算過程,保證模型的一致性,同時還能夠指導(dǎo)評估過程[83?85].

常用的不確定性推理方法主要包括貝葉斯概率推理方法(Bayesian probability reasoning)、信任函數(shù)(Belief function)、可能性推理方法(Possibility reasoning)以及似然推理方法(Likelihood reasoning).本文將結(jié)合上述六種標準對上述不確定性方法進行簡要分析.

1)貝葉斯概率推理方法

貝葉斯概率方法通過無條件概率P(A)或者條件概率P(A|B)對不確定性進行描述,具有簡單的行為解釋能力,這使得其不確定性整合過程變得合理,也保證了推理結(jié)果的一致性.貝葉斯概率推理依賴于精確的概率描述,難以有效模擬實際工程系統(tǒng)中廣泛存在的無知性、信息不完備性,也無法處理自然語言中的不確定性與專家意見之間的沖突[83,85].

另一方面,精確概率的獲取本身是一件較為困難的工作,因此貝葉斯概率推理方法在評估和計算(標準5,6)方面也存在挑戰(zhàn),導(dǎo)致其在實際應(yīng)用中存在諸多限制[86?88].早期,有研究通過簡化貝葉斯概率假設(shè),使用類似于模糊邏輯中max/min 規(guī)則的簡單規(guī)則來整合證據(jù)[89].然而,這會產(chǎn)生不一致的概率.最近,有些研究基于專家對變量之間因果關(guān)系的理解來判斷條件的獨立性,將變量之間的關(guān)系以圖形化表示形成一些新模型,例如信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)或有向無環(huán)圖[87,90?93].這些模型的優(yōu)勢在于有效減少了評估和計算的工作量,在許多實際問題中這是非常重要的.

總的來說,貝葉斯概率推理方法在標準1,3,4上具有較好表現(xiàn),但是在標準2,5 上不具有優(yōu)勢.對于標準6,貝葉斯概率推理的擴展方法在一定程度上可以滿足工程需求.

2)信任函數(shù)理論

信任函數(shù)理論是對經(jīng)典概率論的擴展,是Dempster-Shafer (D-S)證據(jù)推理方法的關(guān)鍵理論,由Dempster 在20 世紀60 年代提出,后又由Shafer不斷發(fā)展[46?47,92].信任函數(shù)是一個定義在辨識框架Ω所有子集上的實值函數(shù),可以描述為如下形式:

其中m(?)是 Ω的子集上的概率質(zhì)量函數(shù).A和B是定義在辨識框架 Ω 上的子集.

依據(jù)Shafer 的闡述,信任函數(shù)可以通過多值映射的精確概率測度生成,這種多值映射具有一定的行為解釋[47].但信任函數(shù)的演算在很大程度上依賴于Dempster 的組合規(guī)則,需要有條件獨立性的明確判斷支持,因而在實際應(yīng)用時應(yīng)更多地注意Dempster 組合規(guī)則的確切使用條件以避免產(chǎn)生直覺上的不一致,從而影響其解釋性和評估過程[93?95].信任函數(shù)理論在充分考慮Dempster 組合規(guī)則應(yīng)用條件的前提下,可在一定程度上較好滿足標準1～4.另外,信任函數(shù)可以對各類型的局部無知、有限信息或矛盾證據(jù)進行建模,但是難以對語義中的概率判斷建模,難以滿足標準5[96].在計算方面,信任函數(shù)理論中的概率質(zhì)量函數(shù)m(?)用來描述不確定性信息,在采用Dempster 組合規(guī)則對概率質(zhì)量函數(shù)進行融合的過程中,計算的復(fù)雜度會隨著辨識框架中元素個數(shù)增加而呈指數(shù)增加,這就是信任函數(shù)面臨的“組合爆炸”問題.“組合爆炸”問題較大程度限制了信任函數(shù)在實際工程中的應(yīng)用.為使信任函數(shù)在實踐中獲得較好的計算效率,許多研究嘗試通過近似的方法來降低計算復(fù)雜性,例如Voorbraak 定義了信任函數(shù)的貝葉斯近似,該方法能夠在不對融合結(jié)果產(chǎn)生實質(zhì)影響的前提下有效減少計算量[97].可見,對于標準6 而言,信任函數(shù)理論需要進一步結(jié)合其他方法來彌補不足.

3)可能性推理方法

1965 年,Zadeh 教授首次提出了模糊集理論,通過可能性度量來描述不確定性,并為自然語言中的模糊表達式提供數(shù)學(xué)模型以模擬語義的不精確性和模糊性,有效彌補了人工智能領(lǐng)域中經(jīng)典概率在處理多種不確定性方面的弱點[38,98].

一階可能性測度與二階可能性測度在可能性推理方法中十分重要[98?99].一階可能性測度用可能性分布來定義,一般解釋為一致的上概率,具有較好的計算性能,可以較好滿足標準1,4,6.它可以有效處理語義中的模糊帶來的不確定性,但主要缺陷是它們不能對許多常見的不確定性類型進行建模,例如無法模擬自然語言中的精確概率判斷[100].因此一階可能性測度難以滿足標準2,3,5.可能性測度是一種非常特殊的上概率,但上概率本身在許多問題上是不充分的,一般需要進行上下概率預(yù)測[98].為此,需要考慮可能性測度的對偶測度,即必要性測度.必要性測度一般解釋為一致的下概率.假設(shè)可能性測度表示為π,其所描述的上概率可以計算為:

其中A為集合U的子集.必要性測度所描述的下概率可以計算為:

其中Ac表示A的補集.可能性測度與必要性測度滿足.在所有概率分布集合上定義的二階可能性測度比一階測度更具表現(xiàn)力,它能夠同時對精確或不精確的不確定性判斷進行建模.但二階測度比一階測度復(fù)雜得多,因此很難解釋和評估,例如對定性判斷建模來說,二階測度就過于復(fù)雜[99?100].因此,二階測度雖然能夠彌補一階測度在標準2～5 上的不足,但這是以降低其在標準1,5 上的表現(xiàn)為代價的.

4)似然推理方法

與上述三種方法相比,似然推理方法在推理不確定性、部分信息無知、自然語言中概率判斷的模糊性、專家意見之間的沖突等方面更加具有一般性,滿足標準1～4[85,101].似然推理方法中上、下概率、期望和條件概率是通過一種自然擴展(Natural extension)的技術(shù)從初始估計中構(gòu)造出來的,具有較好的行為解釋,可以用來驗證初始評估的一致性,并確保評估與結(jié)論的一致性[84,102].在復(fù)雜問題中應(yīng)用似然推理進行推論和決策的一般方法是自然擴展,該方法可以簡化為一個線性規(guī)劃問題.但還需要進一步的研究來尋找涉及獨立性判斷的自然擴展有效方法[83?84].Yang 等提出的ER 規(guī)則可以看做一種特殊的似然概率推理方法[44?45].Wang 等在此基礎(chǔ)上推導(dǎo)出來的ER 解析算法有效降低了計算量,使其更具有工程適用性,但證據(jù)不獨立的問題仍然困擾著ER 規(guī)則[103].

基于上述四種方法的分析,這些方法中的每一種都存在一些特殊問題,似然推理方法更具有普遍意義.但需要強調(diào)的是,上述分析的目的不是為了判斷推理方法的優(yōu)劣.事實上,隨著拓展研究的不斷推進,推理方法針對特定問題的改進依然可以較好地滿足工程需求.

2.3 模型優(yōu)化

在工程實踐中,一般通過兩種手段實現(xiàn)模型的可解釋性[10,42,45].其一是充分結(jié)合實際系統(tǒng)機理信息與專家知識構(gòu)建滿足可解釋性要求的模型,但是這種方法依賴于對實際系統(tǒng)內(nèi)部機理的完全剖析,顯然這是一項極具挑戰(zhàn)的工作.其二是先利用有限的專家知識構(gòu)建初始模型,再利用優(yōu)化學(xué)習(xí)方法對初始模型的結(jié)構(gòu)和參數(shù)進行調(diào)整,以保證模型可解釋性的同時提高其建模性能.從工程角度來看,當(dāng)專家能夠完全掌握實際系統(tǒng)機理信息時,可采用第一種手段構(gòu)建可解釋的模型.但由于實際工程系統(tǒng)結(jié)構(gòu)復(fù)雜,專家很難完全獲得和掌握其機理信息,相對而言,有限的專家知識和樣本數(shù)據(jù)是更容易獲得的.因此,第二種手段在工程中更為普遍.通過第二種手段構(gòu)建的模型,結(jié)合了專家從全局角度對真實系統(tǒng)的認識和數(shù)據(jù)樣本中與真實系統(tǒng)緊密相關(guān)的實測信息,這使得模型對真實系統(tǒng)行為的解釋能力和工程適用性得到了增強.

在RBM 中,面向精度的自適應(yīng)優(yōu)化學(xué)習(xí)算法常常會產(chǎn)生矛盾或者不可辨識的模型參數(shù)及結(jié)構(gòu)[45].雖然這可能有利于提高模型優(yōu)化的精度,但其會嚴重影響建模方法的泛化性能和可解釋性.建模精度和可解釋性是相互制約的目標,理想的情況是在很大程度上滿足這兩個標準.因此,研究人員通常更期望采用優(yōu)化算法并根據(jù)用戶的需求在可解釋性和建模精度之間取得最佳的平衡.為實現(xiàn)這個目標,需要構(gòu)建合理的可解釋性約束與優(yōu)化目標函數(shù),并選擇高效的優(yōu)化學(xué)習(xí)算法對模型的參數(shù)及結(jié)構(gòu)進行調(diào)整,主要可分為兩個方面:一是對模糊集、權(quán)重等參數(shù)進行優(yōu)化,確保規(guī)則庫的明確語義、一致性、完備性及物理意義等;二是對規(guī)則庫進行簡化,獲得合適規(guī)模的模型,確保其緊湊性與可讀性.

Jin 等在進化算法的適應(yīng)度函數(shù)中加入了可分辨性、完備性和一致性度量,提出了一種利用進化策略從數(shù)據(jù)中生成可區(qū)分的、完整的、一致的、緊湊的模糊規(guī)則(Distinguishable,complete,consistent and compact fuzzy rule,DC3fuzzy rule)的方法,該研究表明,當(dāng)訓(xùn)練數(shù)據(jù)較少時,提高訓(xùn)練后模型的可解釋性有利于提高其綜合性能[75].文獻[104]在設(shè)計進化算法時,將對可解釋性的尋優(yōu)轉(zhuǎn)化為相應(yīng)的約束條件,提出了一種基于協(xié)同進化的模糊建模技術(shù)(Fuzzy CoCo),實現(xiàn)了對隸屬函數(shù)和規(guī)則的兩個獨立但相互交織的搜索過程.文獻[105]考慮了所得規(guī)則庫的透明性及工程所需的逼近精度,提出了一種可靠的數(shù)據(jù)驅(qū)動方法來確定模糊系統(tǒng)的結(jié)構(gòu)及參數(shù),例如輸入變量及其隸屬函數(shù)等.在BRB建模領(lǐng)域,通過自適應(yīng)優(yōu)化方法保證模型可解釋性的相關(guān)研究還不夠系統(tǒng).Yang 等首次提出了BRB模型參數(shù)離線優(yōu)化方法,并強調(diào)專家知識是BRB可解釋的基礎(chǔ),BRB 的參數(shù)尋優(yōu)過程應(yīng)該是一個基于專家初始判斷的局部過程[106?107].Zhou 等首次提出了BRB 參數(shù)在線更新方法,并結(jié)合實際系統(tǒng)的機理信息在參數(shù)更新過程中引入了專家干預(yù),有效保證了優(yōu)化過程的可解釋性[108].此外,Zhou 等還首次提出了BRB 結(jié)構(gòu)在線更新算法,有效減小了規(guī)則庫的規(guī)模[74].基于上述研究,Chang 等首次提出了BRB 參數(shù)和結(jié)構(gòu)聯(lián)合優(yōu)化模型,為建立更加緊湊的規(guī)則庫模型奠定了基礎(chǔ)[109].

2.4 其他解釋方法

上述研究致力于提高模型的Ante-hoc 可解釋性.事實上,其Post-hoc 可解釋性也受到較多的關(guān)注,常見的方法有對模型的敏感性分析(Sensitivity analysis)與局部近似分析(Local approximate analysis).敏感性分析指在給定假設(shè)下定量地研究自變量發(fā)生某種變化對某一特定的因變量影響程度的一種不確定分析技術(shù).Feng 等通過求導(dǎo)建立了輸入與可靠度、權(quán)重等BRB 參數(shù)的關(guān)系,實現(xiàn)了對BRB 模型參數(shù)的敏感性分析,該方法能夠為工程實際中的復(fù)雜系統(tǒng)維護決策提供指導(dǎo)[24].Yang 等通過對BRB 系統(tǒng)的匹配度及激活權(quán)值等參數(shù)進行了敏感性分析,考察了效用值和屬性權(quán)重對系統(tǒng)準確性的影響,并提出了一種新的激活權(quán)值計算方法和參數(shù)優(yōu)化方法,提高了BRB 系統(tǒng)的可解釋性[25].文獻[110]提出了模糊集最大擾動和平均擾動的定義,并討論了若干模糊推理方法的擾動結(jié)果.文獻[111]基于連接詞和蘊涵算子對模糊推理方法進行了敏感性分析.局部近似分析一般指分析模型局部的逼近過程,然后基于此可對模型全局推理過程進行分析.Chen 等對BRB 系統(tǒng)的推理和近似性質(zhì)進行了理論分析,分析結(jié)果揭示了BRB 系統(tǒng)的推理機制擁有優(yōu)越的逼近性能,即BRB 系統(tǒng)的統(tǒng)一多模型分解結(jié)構(gòu)(The unified multi-model decomposition structure)將輸入空間劃分成不同的局部區(qū)域然后進行分布逼近[112].Chen 等的研究為實際應(yīng)用中BRB 系統(tǒng)的使用和優(yōu)化提供了理論基礎(chǔ).

3 RBM 可解釋性的應(yīng)用

建模方法的可解釋性具有重要的理論和實踐價值,它有助于加深使用者對模型的理解和信任以開展進一步的應(yīng)用活動,例如故障診斷、緩解過擬合和模型遷移.此外,可解釋性還有益于發(fā)現(xiàn)新知識,甚至促成新理論.

總而言之,RBM 可解釋性的工程意義具體可以體現(xiàn)在以下幾個應(yīng)用領(lǐng)域:

1)輔助分析與決策.RBM 可解釋性有利于提高人工分析和決策的效率,提高分析與決策結(jié)果的可信度.在醫(yī)療領(lǐng)域,RBM 一般會作為專家系統(tǒng)輔助醫(yī)生做出正確決策.2002 年,Yuan 等基于模糊邏輯推理方法開發(fā)了腎移植指派專家系統(tǒng)[113].2009 年,Kong 等構(gòu)建了基于置信規(guī)則的臨床決策支持系統(tǒng)(Clinical decision support systems,CDSS),實現(xiàn)了臨床醫(yī)療的現(xiàn)場決策[114].Zhou 等還提出了一種用于診斷胃癌淋巴結(jié)轉(zhuǎn)移的決策支持系統(tǒng)[115].Hossain 等針對患者體征和癥狀的不確定性,基于規(guī)則庫專家系統(tǒng)建立了急性冠脈綜合征的評估模型,該模型在后面的研究里還用于診斷結(jié)核病[116].在工商業(yè)領(lǐng)域,RBM 可以用來對生產(chǎn)過程提供指導(dǎo)和預(yù)測.2012～2014 年間,Zalnezhad 等基于模糊規(guī)則實現(xiàn)了航空航天AL7075-T6 合金Ti-N 涂層結(jié)合強度預(yù)測[117].同時還建立了AL7075-T6 合金鈦錫鍍層表面粗糙度隨直流電源、溫度、直流偏壓、氮氣流量等輸入工藝參數(shù)變化的模糊模型,實現(xiàn)了涂層試樣的微動疲勞壽命的預(yù)測,依靠所建立的模型有效改善了生產(chǎn)工藝,提高了產(chǎn)品品質(zhì)[118].Chen 等開發(fā)了一個具有非線性現(xiàn)金流約束的投資組合優(yōu)化的BRB 系統(tǒng),實現(xiàn)了投資風(fēng)險的輔助決策[119].

2)復(fù)雜系統(tǒng)健康管理.RBM 的可解釋性保證了所建立的模型具有輸出的可追溯性,即可依據(jù)輸出對輸入的相關(guān)情況進行分析,這在復(fù)雜系統(tǒng)的健康管理中具有重要的作用.Xie 等基于模糊規(guī)則建立了預(yù)警機故障預(yù)測與健康管理系統(tǒng),不僅可以增強預(yù)警機健康狀態(tài)監(jiān)測能力,而且可以提高其雷達故障診斷和維修的效率[120].Ishibashi 等基于規(guī)則的遺傳模糊系統(tǒng)(Genetic fuzzy rule-based system,GFRBS)混合模型提出了一種通用系統(tǒng)剩余使用壽命的預(yù)測方法,該方法自動生成模糊規(guī)則,并對關(guān)聯(lián)的隸屬度函數(shù)進行調(diào)優(yōu)[121].該方法應(yīng)用于商用航空飛機發(fā)動機的剩余使用壽命預(yù)測取得了較好的效果.2015 年,Zhou 等提出了一種用于復(fù)雜系統(tǒng)行為預(yù)測的模型,該模型最大的優(yōu)勢在于可以利用客觀世界的專家經(jīng)驗,使專家參與到操作過程中[122].2016 年,Hu 等提出了一個BRB 預(yù)測模型來預(yù)測網(wǎng)絡(luò)安全狀況這一隱含行為,以規(guī)則的形式展示了網(wǎng)絡(luò)安全狀況的演化過程[123].Feng 等基于BRB 系統(tǒng)構(gòu)建了用于WD615 型柴油發(fā)動機安全性評估的專家系統(tǒng),通過敏感性分析方法得到了影響發(fā)動機安全性的關(guān)鍵因素,為下一步該型發(fā)動機的維護保養(yǎng)提供支持[24].Zhou 等基于前期研究,開發(fā)了復(fù)雜系統(tǒng)安全性推演演示驗證系統(tǒng),如圖5 所示.該系統(tǒng)的關(guān)鍵是依據(jù)復(fù)雜系統(tǒng)的故障樹、設(shè)計資料、專家經(jīng)驗以及測試數(shù)據(jù)構(gòu)建規(guī)則庫,并采用ER 推理方法生成結(jié)果.同時,用戶可以依據(jù)輸出結(jié)果和激活規(guī)則對輸入信息進行分析,從而確定復(fù)雜系統(tǒng)安全性薄弱環(huán)節(jié).

圖5 復(fù)雜系統(tǒng)安全性推演演示驗證系統(tǒng)Fig.5 Complex system security demonstration and verification system

3)知識發(fā)現(xiàn)(Knowledge discovery in database,KDD),是指從數(shù)據(jù)中識別出有效的、新穎的、潛在有用的、最終可理解的模式的過程.RBM 在知識發(fā)現(xiàn)的優(yōu)勢主要為其具有較高的性能并且易于用戶理解,通常不需要進行其他可視化操作.常見的應(yīng)用情況是采用RBM 從清洗后的海量數(shù)據(jù)中提取數(shù)據(jù)映射模式,最后利用規(guī)則將挖掘到的數(shù)據(jù)模式可視化地呈現(xiàn)給用戶.基于規(guī)則的知識發(fā)現(xiàn)方法主要包括決策樹、基于模糊規(guī)則的聚類方法和基于模糊規(guī)則的數(shù)據(jù)?；椒╗1].

4)基于規(guī)則的控制.RBM 具有實時性好,操作簡單且計算量小等特點,在工程中可以避免復(fù)雜控制系統(tǒng)難以建立精確數(shù)學(xué)模型的問題,在控制領(lǐng)域應(yīng)用廣泛.牛培峰等采用兩層模糊規(guī)則控制方法實現(xiàn)了對循環(huán)流化床床溫的控制系統(tǒng)[124].張海等人提出一種全新的基于模糊推理與規(guī)則控制的高度跟蹤算法,該算法具有較好的實時性,收斂性及可擴展性,在跟蹤效果與運算速度上均優(yōu)于傳統(tǒng)算法,對巡航導(dǎo)彈、無人機具有較高的應(yīng)用價值[125].

此外,RBM 還可用于模型驗證與診斷.傳統(tǒng)的驗證方法通常基于模型在驗證集上的誤差來評估其泛化性能,但當(dāng)所用數(shù)據(jù)集存在偏差或驗證集與訓(xùn)練集同分布時,上述方法變得不可靠.RBM 的可解釋性可作為一種可靠的依據(jù)來對模型進行分析和調(diào)試,以診斷出模型中存在的缺陷并采取相應(yīng)人為干預(yù),避免產(chǎn)生錯誤決策.

4 RBM 面臨的問題及未來發(fā)展

RBM 由于其較好的可解釋性與建模精度得到了廣泛應(yīng)用.但在工程實踐中,仍舊存在幾個問題:

1)忽略了專家初始判斷在建模過程中的重要性.專家知識是基于規(guī)則建模方法的可解釋性的重要來源,它能輔助確定模型的結(jié)構(gòu)、參數(shù)數(shù)量與大小.專家知識準確與否、可信與否影響著所建模型的精確性與可解釋性,專家知識的局限性同樣會制約所建模型的性能.因此,RBM 需采用一系列優(yōu)化算法進行尋優(yōu),但在其過程中應(yīng)充分考慮專家初始判斷,避免純數(shù)據(jù)驅(qū)動的尋優(yōu)過程.

2)處理高維信息的能力較弱.隨著實際工程系統(tǒng)不斷復(fù)雜化,建模過程中對高維信息的處理越來越難以避免.RBM 在處理高維信息時面臨的關(guān)鍵問題是“維數(shù)災(zāi)難”,盡管已有研究能較大程度上減小規(guī)則庫的規(guī)模,但是目前的研究仍不具有足夠的一般性.例如特征選擇方法可以輔助剔除大量冗余特征,但是這樣的剔除過程是否合理,是否適用于所有情況仍缺少足夠的依據(jù).“維數(shù)災(zāi)難”帶來的典型問題有:如何獲取海量規(guī)則信息? 如何解釋復(fù)雜規(guī)則庫? RBM 沒有內(nèi)置的學(xué)習(xí)機制,如何對海量規(guī)則進行優(yōu)化?

3)可擴展能力較弱.隨著人們對實際工程系統(tǒng)認識的不斷加深,新的組成(屬性、參考值、規(guī)則等)被期望引入原有規(guī)則庫的同時應(yīng)盡量避免對原有規(guī)則庫的更改.現(xiàn)有研究對參考值、規(guī)則等的增減進行了研究,一定程度上保障了規(guī)則庫擴展的合理性,但是鮮有研究考慮到屬性輸入數(shù)量的增減.RBM的適應(yīng)性調(diào)整有利于建立更加完備可靠的知識庫,對用戶理解和使用RBM 具有較好的輔助作用.因此,如何建立更具一般擴展性的規(guī)則模型是一個需要解決的實際問題.

4)缺乏統(tǒng)一的可解釋性評估方法.RBM 可解釋性研究領(lǐng)域缺乏統(tǒng)一的科學(xué)評估體系用于評估解釋方法的優(yōu)劣.現(xiàn)有許多評估方法是依賴于人類認知的定性評估方法,難以保證評估結(jié)果的可靠性.此外,迫切需要構(gòu)建統(tǒng)一的可解釋性評估方法,以統(tǒng)一RBM 的性能衡量,這將為其在實踐過程中的進一步應(yīng)用提供幫助.

RBM 的優(yōu)勢在于其具有基于語義實現(xiàn)復(fù)雜非線性建模的可解釋性.從RBM 自身而言,未來圍繞上述四個問題的發(fā)展方向都將對提高其建模能力具有較大的促進作用.另一方面,對RBM 的擴展或者與其他方法的結(jié)合也是一個重要的發(fā)展方向.Zhou 等突破深度學(xué)習(xí)依賴于神經(jīng)網(wǎng)絡(luò)的困境,提出了一種全新的深度學(xué)習(xí)框架—深度隨機森林模型(Deep random forest)[126].該模型由大量決策樹組成,決策樹模型可以視作基于特殊二分規(guī)則的模型.與神經(jīng)網(wǎng)絡(luò)模型相比,決策樹的二分規(guī)則更易于解釋,且更容易形成清晰的推理過程[35?36].深度隨機森林模型為以RBM 為基礎(chǔ)進一步探索可解釋的深度學(xué)習(xí)框架提供了指導(dǎo).除此之外,受模糊神經(jīng)網(wǎng)絡(luò)啟發(fā),也有研究嘗試將規(guī)則嵌入神經(jīng)網(wǎng)絡(luò),從一定程度上提高了模型的透明性,增強了模型的局部解釋能力.在未來的研究里,如何進一步融合RBM 與其他建模方法并推動其向深度發(fā)展,仍舊是一個很有價值的研究課題.

5 結(jié)論

建模方法的可解釋性在理論與工程領(lǐng)域具有很高的研究價值,已經(jīng)成為了國內(nèi)外學(xué)者研究的熱點問題,并且取得了較好的研究成果.RBM 作為一種可自解釋的建模方法,在可解釋性研究領(lǐng)域受到廣泛的關(guān)注.本文總結(jié)分析了RBM 的發(fā)展過程,從知識庫、推理機、自適應(yīng)學(xué)習(xí)方法以及其他解釋方法等方面系統(tǒng)梳理了國內(nèi)外與RBM 可解釋性相關(guān)的典型工作,同時對RBM 的工程應(yīng)用進行了簡要的總結(jié),為其發(fā)展和改進提供了一定的參考和借鑒.從本文的總結(jié)可以看出,RBM 的可解釋性研究還處于初級階段,依然存在許多關(guān)鍵問題尚待解決,例如處理高維信息的能力弱,缺乏統(tǒng)一的可解釋性評估方法等.針對這些問題,本文所討論的未來的研究方向,有利于進一步推動RBM 可解釋性研究,提高其建模性能.