基于多深度置信網(wǎng)絡(luò)融合的航空電子設(shè)備故障預(yù)測*

梁天辰

(中國西南電子技術(shù)研究所，成都 610036)

0 引 言

隨著航空電子設(shè)備在各類飛機(jī)平臺的大量部署，設(shè)備對整機(jī)的重要性和運(yùn)行安全性影響不斷提高[1]。由于航空環(huán)境應(yīng)力對失效退化影響復(fù)雜多變，電子設(shè)備內(nèi)部器件間不斷交聯(lián)影響，導(dǎo)致其故障往往具有明顯的隨機(jī)性和關(guān)聯(lián)性[2]。針對航空電子設(shè)備故障的隨機(jī)關(guān)聯(lián)問題，故障預(yù)測方法通過預(yù)置傳感器獲取到易損關(guān)鍵器件的歷史數(shù)據(jù)，根據(jù)具體方法對器件歷史數(shù)據(jù)進(jìn)行挖掘建模，結(jié)合飛行中設(shè)備內(nèi)器件的實(shí)時(shí)數(shù)據(jù)預(yù)測設(shè)備的整體退化降級狀態(tài)。推進(jìn)故障預(yù)測方法在航空電子設(shè)備的應(yīng)用，將退化趨勢與維修決策的制定相結(jié)合，可有效降低設(shè)備維修成本，提高設(shè)備運(yùn)行安全，避免維修決策失誤帶來的災(zāi)難性后果。

目前，故障預(yù)測方法主要包括基于失效模型的預(yù)測方法和基于數(shù)據(jù)驅(qū)動的方法[3]。基于失效模型的預(yù)測方法是根據(jù)專家經(jīng)驗(yàn)，對元件故障機(jī)理、材料性質(zhì)和外部負(fù)載等要素進(jìn)行研究分析，以此建立準(zhǔn)確的數(shù)學(xué)模型表征失效趨勢。申海東[4]基于熱網(wǎng)絡(luò)轉(zhuǎn)換方法，設(shè)計(jì)建立了熱阻與溫度之間的數(shù)學(xué)模型，反應(yīng)晶體管的性能退化。Tang等人[5]使用截?cái)嗾龖B(tài)分布建模方法來估計(jì)退化狀態(tài)，并考慮測量不確定度和估計(jì)漂移參數(shù)的分布，以獲得精確且封閉形式的鋰離子電池剩余壽命分布。雖然以上方法通過實(shí)驗(yàn)驗(yàn)證了故障預(yù)測的準(zhǔn)確性，但在實(shí)際應(yīng)用中存在以下問題：一是預(yù)測模型的建立非常依賴于建模工程師的專業(yè)知識和工程經(jīng)驗(yàn)，建模過程需要消耗大量人力且通用性較差；二是當(dāng)預(yù)測對象失效特性復(fù)雜，實(shí)時(shí)負(fù)載環(huán)境與歷史環(huán)境存在明顯差異，準(zhǔn)確的失效模型難以建立。

深度學(xué)習(xí)作為人工智能的重要分支已經(jīng)在機(jī)械、醫(yī)學(xué)和圖像識別等領(lǐng)域取得突破性進(jìn)展。多深度置信網(wǎng)絡(luò)(Multi-deep Belief Network，DBN)是一種基于數(shù)據(jù)驅(qū)動的無監(jiān)督深度學(xué)習(xí)模型，通過多級受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)自動捕獲原始數(shù)據(jù)中高質(zhì)量的特征，實(shí)現(xiàn)性能降級趨勢的高非線性擬合。DBN模型的優(yōu)勢在于可忽略設(shè)備內(nèi)部器件的機(jī)理差異和數(shù)據(jù)分布差異，基于各器件的輸出數(shù)據(jù)直接完成預(yù)測模型構(gòu)建，特征提取能力相較于淺層學(xué)習(xí)模型有明顯優(yōu)勢。但傳統(tǒng)的深度置信網(wǎng)絡(luò)構(gòu)建只考慮歷史數(shù)據(jù)的內(nèi)在特性，且單一DBN的特征提取能力不足以修正實(shí)際場景與歷史場景間數(shù)據(jù)分布差異帶來的預(yù)測偏差。

針對航空電子設(shè)備的復(fù)雜工況和現(xiàn)有方法性能的不足，本文提出了基于多深度置信網(wǎng)絡(luò)模型融合的智能預(yù)測方法。該方法首先采用遷移學(xué)習(xí)策略和Dropout機(jī)制對設(shè)備的關(guān)鍵器件數(shù)據(jù)進(jìn)學(xué)習(xí)，構(gòu)建多個(gè)符合實(shí)際場景的深度置信網(wǎng)絡(luò)，提升多個(gè)模型特征提取的差異性；然后根據(jù)改進(jìn)的遺傳算法確認(rèn)融合權(quán)重，將DBN模型組集成為完整的預(yù)測框架，避免傳統(tǒng)深度置信網(wǎng)絡(luò)構(gòu)建對歷史數(shù)據(jù)的過學(xué)習(xí)和特征提取能力不足問題；最后根據(jù)完整預(yù)測框架得到各易損器件的故障預(yù)測結(jié)果，結(jié)合預(yù)設(shè)的故障門限得出各器件的剩余壽命，取最小剩余壽命作為設(shè)備的剩余壽命預(yù)計(jì)值。

1 深度置信網(wǎng)絡(luò)遷移訓(xùn)練

在航空電子設(shè)備的預(yù)測任務(wù)中，實(shí)時(shí)監(jiān)測獲取的數(shù)據(jù)量有限且符合目標(biāo)域的概率分布，而其他工況下的歷史數(shù)據(jù)符合源域的概率分布，與實(shí)時(shí)監(jiān)測數(shù)據(jù)分布不同卻存在內(nèi)在聯(lián)系，因此本文對DBN模型進(jìn)行Dropout策略和跨域遷移訓(xùn)練，實(shí)現(xiàn)模型在應(yīng)用場景的適應(yīng)性修正。

1.1 受限玻爾茲曼機(jī)

如圖1所示，受限玻爾茲曼機(jī)是DBN模型的組成單元，通過輸入輸出數(shù)據(jù)的差值最小化實(shí)現(xiàn)RBM的特征學(xué)習(xí)。

圖1 RBM結(jié)構(gòu)圖

圖1中，vm、am表示可見層m節(jié)點(diǎn)的狀態(tài)和偏置，hn、bn表示隱含層n節(jié)點(diǎn)的狀態(tài)和偏置，(v,h)對應(yīng)的能量函數(shù)定義如下式：

(1)

式中:θ={wij,ai,bj}，wij表示節(jié)點(diǎn)間的連接權(quán)重。

由式(1)可以定義(v,h)的聯(lián)合概率分布和似然函數(shù)為

(2)

(3)

當(dāng)可見層狀態(tài)v確定時(shí)，隱含層節(jié)點(diǎn)j的激活概率為

(4)

當(dāng)隱含層狀態(tài)h確定時(shí)，隱含層節(jié)點(diǎn)i的激活概率為

(5)

(6)

為了使RBM能最大程度地?cái)M合可見層輸入的數(shù)據(jù)，需要以對數(shù)似然函數(shù)的最大值為目標(biāo)，對RBM模型的參數(shù)θ={wij,ai,bj}進(jìn)行求解。對數(shù)似然函數(shù)偏導(dǎo)數(shù)如下：

(7)

(8)

(9)

式中：V表示可見層的確定輸入，v表示可見層節(jié)點(diǎn)的狀態(tài)。

在給定可見層狀態(tài)v后，先根據(jù)公式(4)計(jì)算出P(h|v)確定隱含層狀態(tài)h,再根據(jù)式(5)計(jì)算出P(v|h)確定可見層狀態(tài)v′，當(dāng)v′和v值誤差小于預(yù)期，則認(rèn)為隱含層已經(jīng)捕獲原始數(shù)據(jù)中的信息映射結(jié)構(gòu)；若誤差大于預(yù)期，則根據(jù)對比散度算法[6]修正對應(yīng)參數(shù)。對比散度算法對結(jié)構(gòu)參數(shù)的修正量如下：

(10)

(11)

(12)

式中：η表示模型學(xué)習(xí)率，v(0)表示可見層初始狀態(tài)，v(k)表示可見層k步吉布斯抽樣后的狀態(tài)。

1.2 深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)是由一系列特征提取結(jié)構(gòu)(受限玻爾茲曼機(jī)或自動編碼器)堆疊而成的概率生成模型，通過調(diào)節(jié)每相鄰兩層神經(jīng)元節(jié)點(diǎn)間的連接權(quán)值，學(xué)習(xí)輸入層和隱藏層間的聯(lián)合概率分布，擬合對應(yīng)數(shù)據(jù)間蘊(yùn)含的特征信息。圖2定義了一個(gè)具有l(wèi)層隱藏層深度置信網(wǎng)絡(luò)，虛線為Dropout策略下失效的神經(jīng)元，輸入數(shù)據(jù)x為有時(shí)序關(guān)系的數(shù)據(jù)值。網(wǎng)絡(luò)的構(gòu)造流程主要分為無監(jiān)督權(quán)值初始化和有監(jiān)督全局精調(diào)兩部分。

圖2 深度置信網(wǎng)絡(luò)結(jié)構(gòu)圖

傳統(tǒng)DBN有監(jiān)督全局精調(diào)是在初始化權(quán)值的基礎(chǔ)上，根據(jù)反向傳播算法對DBN中每一個(gè)神經(jīng)元權(quán)重進(jìn)行修正。在有限樣本下，該策略構(gòu)造的DBN模型泛化性和魯棒性不足，模型間的差異性較小，不利于多模型的融合，因此本文將Dropout機(jī)制引入DBN構(gòu)造。在誤差計(jì)算之前，DBN模型中的隱藏神經(jīng)元按Dropout率隨機(jī)置為失效，有效神經(jīng)元前饋鏈接成新的網(wǎng)絡(luò)。根據(jù)梯度下降算法將新網(wǎng)絡(luò)的前饋誤差傳遞到新網(wǎng)絡(luò)的每一個(gè)有效神經(jīng)元，修改層間的連接權(quán)重。由于每次訓(xùn)練過程的新網(wǎng)絡(luò)中有效神經(jīng)元上下層連接關(guān)系都不相同，訓(xùn)練后的神經(jīng)元不再依賴固定的連接關(guān)系，促使網(wǎng)絡(luò)變得更獨(dú)立和隨機(jī)。

1.3 跨域遷移訓(xùn)練

DBN模型的遷移訓(xùn)練流程如下：

Step1 從數(shù)據(jù)庫中調(diào)出預(yù)測目標(biāo)的歷史數(shù)據(jù)進(jìn)行歸一化操作并構(gòu)建訓(xùn)練樣本集，對實(shí)時(shí)監(jiān)測數(shù)據(jù)進(jìn)行歸一化操作并構(gòu)建遷移樣本集。

Step2 根據(jù)模型結(jié)構(gòu)參數(shù)和超參數(shù)完成DBN模型的構(gòu)建設(shè)置。

Step3 DBN模型使用訓(xùn)練樣本集進(jìn)行無監(jiān)督權(quán)值初始化，得到RBM的連接參數(shù)并替換DBN的結(jié)構(gòu)權(quán)重。

Step4 DBN模型使用訓(xùn)練樣本集進(jìn)行含Dropout的全局精調(diào)，循環(huán)迭代新的DBN網(wǎng)絡(luò)直到誤差收斂。

Step5 采用遷移樣本集對訓(xùn)練后的DBN模型進(jìn)行Dropout策略的全局精調(diào)，直到達(dá)到預(yù)設(shè)均方誤差值，完成模型遷移訓(xùn)練。

2 多模型融合的預(yù)測框架

考慮到機(jī)載場景的復(fù)雜應(yīng)力環(huán)境和單一DBN模型特征學(xué)習(xí)能力不足間的矛盾，本文提出一種多模型融合的預(yù)測框架，如圖3所示。

圖3 預(yù)測框架圖

2.1 模型融合算法

模型融合算法是通過對適應(yīng)函數(shù)全局最優(yōu)解的搜索，整合差異性預(yù)測模型間的特征挖掘優(yōu)勢，消除由環(huán)境負(fù)載差異帶來的預(yù)測結(jié)果偏差并完成模型修正，實(shí)現(xiàn)故障預(yù)測精度的提升。本文采用一種改進(jìn)遺傳算法確定多個(gè)深度置信網(wǎng)絡(luò)預(yù)測的融合權(quán)重，算法的運(yùn)行流程圖如圖4所示。

圖4 改進(jìn)遺傳算法流程圖

(1)優(yōu)化目標(biāo)

模型融合算法以多模型融合預(yù)測結(jié)果與實(shí)時(shí)數(shù)據(jù)的誤差最小為優(yōu)化目標(biāo)，衡量每輪迭代后的融合效果。其適應(yīng)度函數(shù)的數(shù)學(xué)表達(dá)式如下：

ε=minfitness，

(13)

(14)

式中：t表示第t個(gè)樣本，datareal表示標(biāo)簽值，dataprel表示模型1的預(yù)測值，w1表示模型1的融合權(quán)重。

(2)精英保留操作

在遺傳操作開始時(shí)將父代中適應(yīng)度計(jì)算結(jié)果最優(yōu)的染色體中的一段基因直接遺傳到子代的染色體中，這段基因占總基因數(shù)的比例為P，選取的基因個(gè)數(shù)為P×N,N代表一個(gè)染色體中基因總數(shù)。該操作可以有效避免融合權(quán)重的優(yōu)秀表征在遺傳操作中喪失。

(3)自適應(yīng)交叉操作

自適應(yīng)交叉在傳統(tǒng)交叉的基礎(chǔ)上依據(jù)不同染色的適應(yīng)度大小對交叉概率進(jìn)行調(diào)整，適應(yīng)度小的染色體交叉概率小，適應(yīng)度大的染色體采用大的交叉概率。自適應(yīng)交叉的計(jì)算公式如下：

Pc=k(fmax-f′)/(fmax-fave) 。

(15)

式中：k表示初始交叉概率，fmax表示適應(yīng)度最大值，fave表示適應(yīng)度平均值，f′表示當(dāng)前染色體適應(yīng)度。

2.2 多模型融合流程

為了兼顧多個(gè)模型學(xué)習(xí)的特征信息，所提方法的整體流程如下：

Step1 對目標(biāo)預(yù)測庫的歷史數(shù)據(jù)進(jìn)行歸一化處理，按照每個(gè)樣本為預(yù)測步長N+1構(gòu)造模型訓(xùn)練樣本集；對實(shí)時(shí)監(jiān)測數(shù)據(jù)進(jìn)行同樣的歸一化處理，按照1∶1的數(shù)據(jù)比例構(gòu)造遷移訓(xùn)練樣本集和模型融合樣本集。

Step2 根據(jù)模型訓(xùn)練樣本集、遷移訓(xùn)練樣本集和遷移訓(xùn)練算法構(gòu)建遷移后的DBN模型組。

Step3 遷移后的DBN模型組以遷移訓(xùn)練樣本集的最后一個(gè)樣本為基礎(chǔ)對未來的退化趨勢進(jìn)行預(yù)測，得到遷移預(yù)測結(jié)果。

Step4 根據(jù)模型融合算法、遷移預(yù)測結(jié)果和模型融合樣本集，對融合權(quán)重進(jìn)行全局尋優(yōu)，確定模型組的融合權(quán)重，集成得到完整的預(yù)測模型。

Step5 將模型融合樣本集的最后一個(gè)樣本輸入完整的預(yù)測模型，不斷迭代直到預(yù)測值超過原定閾值，輸出預(yù)測目標(biāo)的故障預(yù)測結(jié)果。

3 實(shí)驗(yàn)驗(yàn)證

鋰離子電池系統(tǒng)作為飛機(jī)的啟動電源和備用電源已經(jīng)部署于波音和空客等多個(gè)航空公司的諸多機(jī)型[7]，因此本文以鋰離子電池作為電源模塊的關(guān)鍵性器件驗(yàn)證所提方法。實(shí)驗(yàn)數(shù)據(jù)采用美國航空航天局的4組鋰離子電池?cái)?shù)據(jù)[8]，電池額定容量為2 A·h，實(shí)驗(yàn)溫度為25 ℃。4組鋰離子電池先以1.5 A的充電電流充電，直到電壓達(dá)到4.2 V；然后前三組以2 A的放電電流放電，直到電池電壓分別降至2.7 V、2.5 V和2.2 V，第四組和第二組的操作相同；通過重復(fù)充放電循環(huán)操作加速電池老化直到電池故障，實(shí)驗(yàn)數(shù)據(jù)展示如圖5所示。

圖5 實(shí)驗(yàn)數(shù)據(jù)展示圖

實(shí)驗(yàn)以前三組電池?cái)?shù)據(jù)作為歷史數(shù)據(jù)，以第四組數(shù)據(jù)中第1～33個(gè)循環(huán)數(shù)據(jù)作為遷移訓(xùn)練數(shù)據(jù)，第34～66個(gè)循環(huán)數(shù)據(jù)作為模型融合數(shù)據(jù)，第67～132個(gè)循環(huán)數(shù)據(jù)作為預(yù)測分析數(shù)據(jù)。預(yù)測采用三步預(yù)測，即根據(jù)最初數(shù)據(jù)組{x1,x2,x3}預(yù)測x4，再根據(jù)預(yù)測到的x4組成新的數(shù)據(jù)組{x2,x3,x4}預(yù)測x5，隨后依次預(yù)測直到故障閾值。

為了驗(yàn)證本文方法融合策略對預(yù)測性能提升，以及深度學(xué)習(xí)模型與淺層模型特征提取能力的差異，實(shí)驗(yàn)設(shè)置三種對比方法：

(1)本文方法：DBN模型隱藏層設(shè)置為[50 50 50]、[75 75 75]、[100 100 100]，最大學(xué)習(xí)周期數(shù)為300，遷移學(xué)習(xí)迭代次數(shù)200,動量系數(shù)0.95，學(xué)習(xí)率0.05，Dropout率為0.5，初始交叉概率為0.7，保留概率為0.3。

(2)單一DBN模型，結(jié)構(gòu)參數(shù)和超參數(shù)與本文方法一致。

(3)支持向量回歸[8](Support Vector Regression,SVR)，核函數(shù)采用徑向基函數(shù)，懲罰系數(shù)為1，核函數(shù)參數(shù)gamma為0.7。

三種方法的預(yù)測結(jié)果如圖6～8所示。

圖6 本文方法預(yù)測結(jié)果

圖7 單一深度置信網(wǎng)絡(luò)預(yù)測結(jié)果

圖8 支持向量回歸預(yù)測結(jié)果

表1給出了三種方法預(yù)測結(jié)果的統(tǒng)計(jì)分析，其中均方根誤差、最大相對誤差和平均相對誤差是對預(yù)測誤差的直觀分析數(shù)據(jù)，相關(guān)度則是預(yù)測曲線和實(shí)際曲線的互相關(guān)計(jì)算結(jié)果，代表兩者的一致性程度。工業(yè)中普遍采用30%額定容量作為故障門限，故障門限值為1.4 A·h，本文方法得出的電源模塊剩余壽命為32循環(huán)周期，真實(shí)剩余壽命為31循環(huán)周期，設(shè)備剩余壽命預(yù)測誤差為3.23%。

表1 預(yù)測結(jié)果統(tǒng)計(jì)分析表

比較分析實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：

(1)本文提出的多模型融合預(yù)測框架通過融合多個(gè)具有差異性模型將特征提取效果最大化，相比單一DBN模型擁有更好的預(yù)測性能，預(yù)測精度提高了一個(gè)數(shù)量級。

(2)基于深度置信網(wǎng)絡(luò)的遷移學(xué)習(xí)方法解決了原始域和目標(biāo)域的差異問題，且作為深度學(xué)習(xí)模型相較于淺層學(xué)習(xí)模型有著更好的學(xué)習(xí)捕獲特征的能力。

4 結(jié)束語

本文分析了航空電子設(shè)備故障預(yù)測的工程需求，針對數(shù)據(jù)偏差和退化特征提取能力不足問題提出了結(jié)合Dropout策略和遷移訓(xùn)練的DBN模型構(gòu)建方法，修正了外部環(huán)境差異帶來的數(shù)據(jù)分布偏差，并通過改進(jìn)遺傳算法實(shí)現(xiàn)了DBN模型組預(yù)測性能的集成。實(shí)驗(yàn)表明本文方法對航空電子設(shè)備的故障演化有更準(zhǔn)確的預(yù)測效果，剩余壽命預(yù)測誤差在4%以內(nèi)，可以為相關(guān)設(shè)備視情維修的維修決策制定提供參考依據(jù)。未來將進(jìn)一步研究深度學(xué)習(xí)模型在小樣本變工況場景下的特征提取策略。