基于稀疏自動編碼器的飛參數(shù)據(jù)異常檢測

基于稀疏自動編碼器的飛參數(shù)據(jù)異常檢測

杜辰飛，曲建嶺，孫文柱，高峰

(海軍航空工程學院青島校區(qū)，山東 青島 266041)

摘要：為了改善人工判讀飛參數(shù)據(jù)效率低且易出現(xiàn)誤判和漏判的不良狀況，本文提出一種基于稀疏自動編碼器(Sparse auto-encoder，SAE)的飛參數(shù)據(jù)異常檢測方法。首先構(gòu)建了SAE的基本框架，然后以滑動窗口的形式生成訓練樣本。其次，用正常樣本并結(jié)合BP算法對整個網(wǎng)絡模型進行訓練和優(yōu)化以得到相應的正常樣本重構(gòu)誤差分布閾值。最后，根據(jù)測試樣本的重構(gòu)誤差對飛參數(shù)據(jù)中的典型異常進行檢測。實驗證明，該方法可在樣本不平衡的情況下，僅利用正常樣本構(gòu)建參數(shù)空間，并得到正常樣本重構(gòu)誤差分布門限，準確檢測出飛參數(shù)據(jù)中的異常，實現(xiàn)飛參數(shù)據(jù)機器判讀。

關(guān)鍵詞：飛參數(shù)據(jù)；異常檢測；稀疏自動編碼器；反向傳播算法；重構(gòu)誤差

doi：10.11823/j.issn.1674-5795.2015.02.03

中圖分類號：V328.3；TP181

文章編號：1674-5795(2015)02-0011-04

收稿日期：2015-01-23；修回日期：2015-03-06

作者簡介：杜辰飛(1988-)，男，碩士研究生，主要研究方向為航空儀表；曲建嶺(1968-)，男，教授，博士，主要研究方向為航空儀表、飛參數(shù)據(jù)應用、人工智能、模式識別等。

Flight Data Abnormity Detection Method Based on Sparse Auto-encoder

DU Chenfei，QU Jianling，SUN Wenzhu，GAO Feng

(Naval Aeronautical Engineering Institute Qingdao Branch，Qingdao 266041，China)

Abstract：To improve the adverse conditions of flight data manual interpretation such as low efficiency and inevitable errors or omissions，this paper presents a method based on sparse auto-encoder(SAE)for flight data abnormity detection.Firstly，we make the basic framework for SAE.Secondly we generate the training samples in the form of a sliding window.Thirdly，we use normal samples and BP algorithm to fulfill training and optimization of the entire network so as to get reconstruction error distribution threshold of normal samples.Finally，according to the reconstruction error of test samples we detect typical abnormity in flight data.Experiments show that this computer-based flight data interpretation method can get reconstruction error threshold distribution of the normal samples in the case of sample imbalance and detect abnormity of flight data accurately.

Key words：flight data；abnormity detection；sparse auto-encoder；back-propagation algorithm；reconstruction error

0引言

高強度的飛參判讀工作使飛參判讀員長期處于疲勞狀態(tài)，增加了飛參判讀誤判、漏判的概率，而不斷完善的飛機安全監(jiān)控和視情維護體制卻對飛參判讀的效率和準確率提出了更高的要求。深度學習技術(shù)的興起和異常檢測方法的日趨完善為解決上述問題奠定了理論基礎。深度學習神經(jīng)網(wǎng)絡是一種利用經(jīng)過無監(jiān)督逐層貪心預訓練和精雕的多隱含層非線性網(wǎng)絡結(jié)構(gòu)從無類標數(shù)據(jù)樣本中提取高維復雜輸入數(shù)據(jù)的分層特征，進而得到數(shù)據(jù)集壓縮表示的機器學習算法[1]，其最大的優(yōu)勢在于它將模式識別和特征分類器結(jié)合到一個框架中，不但能發(fā)掘同類數(shù)據(jù)的內(nèi)在線性或非線性關(guān)系，而且能明確不同類別數(shù)據(jù)間的界限，提高了無類標數(shù)據(jù)樣本的利用率，克服了傳統(tǒng)淺層神經(jīng)網(wǎng)絡梯度稀釋、訓練時間長和易陷入局部最小等缺陷[2-4]。稀疏自動編碼器是一種典型的深度結(jié)構(gòu)，能充分體現(xiàn)深度理論的優(yōu)勢，彌補傳統(tǒng)淺層結(jié)構(gòu)的不足，在樣本數(shù)量不平衡的情況下，有效利用正常樣本得到重構(gòu)誤差函數(shù)的分布規(guī)律，確定分類邊界。因此本文提出基于SAE的飛參數(shù)據(jù)異常檢測方法，輔助機器判讀，減少誤判和漏判，提高飛參判讀的效率和準確率。

1SAE方法原理

為解決淺層神經(jīng)網(wǎng)絡受到梯度稀釋的影響不能精確擬合高維復雜函數(shù)且容易陷入局部最小等問題，2006年Hinton提出深度學習的概念，將限制性波爾茲曼機用于構(gòu)建深度置信網(wǎng)絡，并用無監(jiān)督逐層貪心訓練算法對DBN進行預訓練，取得了良好的效果，開啟了神經(jīng)網(wǎng)絡研究的新紀元[5]。2007年Benjio經(jīng)過對深度結(jié)構(gòu)的細致研究，提出稀疏自動編碼器的概念，利用KL散度懲罰隱含層節(jié)點的激活值，將其約束在非激活狀態(tài)值附近，因而隱含層節(jié)點數(shù)量很大時，該結(jié)構(gòu)依然能提取輸入數(shù)據(jù)的結(jié)構(gòu)性特征，提取高維數(shù)據(jù)變量的稀疏解釋性因子，有效保留原始輸入的非0特征，提高了表示學習算法的魯棒性，增強了數(shù)據(jù)的線性可分性，使分類邊界更加清晰，并且能有效控制變量規(guī)模，在一定程度上改變數(shù)據(jù)內(nèi)部結(jié)構(gòu)，豐富了原始數(shù)據(jù)包含信息，使得信息表述的全面性和準確率得到顯著的提高[6]，因此SAE被廣泛用于圖像分類、圖像還原和圖像去噪等領(lǐng)域[7-9]。2012年馬云龍將并列SAE用于異常值檢測取得了良好的效果[10]，2013年鄧俊利用SAE實現(xiàn)了語義情感辨識[11]。

SAE的基本結(jié)構(gòu)如圖1所示，輸入層接收d維輸入向量x∈[0，1]d，然后將其映射到隱含表示y∈[0，1]d′，該映射可表示為

y=fθ(x)=s(Wx+b)

(1)

式中：θ={W，b}為網(wǎng)絡參數(shù)；s為sigmoid函數(shù)；W為d′×d維的權(quán)值矩陣；b為偏置向量。

圖1　稀疏自動編碼器

隱含層表達y通過逆映射得到重構(gòu)向量z∈[0，1]d，逆映射為

z=gθ′(y)=s(W′y+b′)

(2)

式中：θ′={W′，b′}；W′為d×d′維的權(quán)值矩陣；b′為偏置向量；且有W′=WT，因而SAE具有關(guān)聯(lián)的權(quán)值。

樣本xi首先映射到y(tǒng)i，然后通過逆映射得到重構(gòu)zi，{θ，θ′}用最小均方誤差函數(shù)來優(yōu)化網(wǎng)絡參數(shù)，其表達式為

(3)

式中：n為樣本數(shù)量；L為平方誤差，即

(4)

SAE的核心是對原型自動編碼器的代價函數(shù)加入約束條件，使大部分隱含層節(jié)點處于“抑制”狀態(tài)，將隱含層節(jié)點輸出值限定在0附近[12]，SAE的代價函數(shù)表達式為

(5)

式中：ρ為隱含層節(jié)點的激活值；ρj為隱含層節(jié)點的平均激活值；β為常數(shù)，代表稀疏懲罰項的比重。

懲罰項的實質(zhì)是Kullback-Leibler(KL)散度[13]，表示的是分別具有平均值ρ和ρj且服從貝努利分布的兩個隨機變量之間的差距，一般形式為

(6)

為了對SAE進行精雕，本文采用BP算法對SAE進行整體性調(diào)整[13-15]，基本方法如下：

(7)

(8)

(9)

1)根據(jù)初始化的權(quán)值矩陣和偏置進行前饋傳導計算，利用前向傳導公式，得到L2，L3，…，Lnl的激活值。

2)對于第Lnl層(輸出層)的每個輸出單元i，我們根據(jù)以下公式計算殘差

(10)

3)對l=nl-1，nl-2，nl-3，…，2的各個層，第l層的第i個節(jié)點的殘差計算方法如下

(11)

(12)

根據(jù)遞推過程我們將nl-1與nl的關(guān)系替換為l與l+1的關(guān)系，因而可以得到

(13)

因此，SAE梯度可表示為

(14)

4)計算SAE偏導數(shù)

(15)

(16)

2飛參數(shù)據(jù)異常檢測

飛參數(shù)據(jù)中的正常樣本遠多于異常樣本，并且飛參數(shù)據(jù)異常的種類有很多，由此帶來的樣本不平衡問題嚴重影響了傳統(tǒng)神經(jīng)網(wǎng)絡的分類效果(如圖2、3所示)，同時，淺層結(jié)構(gòu)不能擬合高維復雜函數(shù)使分類器精度受到一定程度的影響[16-18]。為了克服上述缺陷，本文從某型飛機300個架次的飛行數(shù)據(jù)中提取正常樣本用于訓練SAE以得到正常數(shù)據(jù)的重構(gòu)誤差分布閾值(如圖4所示)，最后用完成訓練的SAE檢測帶有異常的飛行數(shù)據(jù)。若該數(shù)據(jù)存在異常，那么其對應時刻的代價函數(shù)將超出閾值；因此，若超出閾值，則可判定該時刻的飛行數(shù)據(jù)出現(xiàn)異常。檢測結(jié)果用0，1表示，0表示該時刻飛行數(shù)據(jù)正常，1表示該時刻飛行數(shù)據(jù)異常。

圖2　樣本平衡分類效果

圖3　樣本不平衡分類效果

圖4　重構(gòu)誤差分布閾值

2.1飛參樣本提取方法

飛參訓練樣本可由一個或幾個參數(shù)構(gòu)成，便于SAE捕捉到正常樣本代價函數(shù)特征，確定分類邊界，提升訓練的效率和檢測的準確率。

根據(jù)發(fā)生異常的參數(shù)種類，本文選取左發(fā)排氣溫度(T4_L)、右發(fā)排氣溫度(T4_R)、左發(fā)高壓轉(zhuǎn)子轉(zhuǎn)速(N2_L)、右發(fā)高壓轉(zhuǎn)子轉(zhuǎn)速(N2_R)、左發(fā)低壓轉(zhuǎn)子轉(zhuǎn)速(N1_L)、右發(fā)低壓轉(zhuǎn)子轉(zhuǎn)速(N1_R)、左發(fā)滑油壓力(PH_L)、右發(fā)滑油壓力(PH_R)、左發(fā)滑油溫度(TH_L)、右發(fā)滑油溫度(TH_R)共10個參數(shù)構(gòu)建一個寬度為12 s，移動步長為1 s的滑動窗口作為一個訓練樣本。

2.2飛參數(shù)據(jù)異常檢測實例

1)野值檢測

野值是一種與先驗知識不符的數(shù)據(jù)，一般由線路接觸不良或瞬間強干擾產(chǎn)生，是數(shù)字式記錄設備中不可避免的電氣特性，一般表現(xiàn)為采樣點嚴重偏離正常狀態(tài)，曲線中含有尖峰或毛刺。如圖5所示，某架次飛行數(shù)據(jù)發(fā)動機滑油壓力中含有野值，相應的檢測效果如圖6所示。

圖5　含有野值的滑油壓力

圖6　滑油壓力野值檢測

2)發(fā)動機喘振檢測

喘振是由于氣流在渦輪發(fā)動機壓氣機的葉片通道內(nèi)嚴重分離而造成的壓氣機不穩(wěn)定，從而使渦輪發(fā)動機的工作狀態(tài)嚴重地偏離了設計工作狀態(tài)的故障。發(fā)生喘振時，可以觀察到發(fā)動機工作不連續(xù)，高壓轉(zhuǎn)子轉(zhuǎn)速迅速下降，排氣溫度急劇升高。如圖7所示，2203~2209 s右發(fā)發(fā)生喘振，相應的檢測效果如圖8所示。

圖7　右發(fā)喘振

圖8　喘振檢測

2.3檢測效果比較

在樣本不平衡的情況下，本文所用方法的檢測效果明顯優(yōu)于基于淺層神經(jīng)網(wǎng)絡的方法和完全依靠熟練人工判讀的效果。實驗與統(tǒng)計數(shù)據(jù)如表1所示(實驗中，檢測飛參數(shù)據(jù)異常327個)。

表1　檢測效果比較

3結(jié)論

傳統(tǒng)的異常檢測方法需要大量的先驗知識，但是飛參數(shù)據(jù)中的異常樣本極少，已經(jīng)發(fā)生的異常僅是個

例，因而傳統(tǒng)檢測方法無法提取飛參數(shù)據(jù)異常的特征，對新生種類異常的檢測效果較差。同時，淺層結(jié)構(gòu)不能擬合高維復雜函數(shù)，非凸優(yōu)化能力較差，梯度稀釋使模型易陷入局部最小，分類效果較差。而以SAE為理論基礎的異常檢測方法的最大優(yōu)勢就是可以在遇到未知種類的異常時，通過學習正常飛行參數(shù)的代價函數(shù)模式來識別異常數(shù)據(jù)。理論上，如果訓練樣本完備，基于SAE的方法可以發(fā)現(xiàn)所有異常模式并確定異常發(fā)生的時刻，檢測準確率接近100%，因此，將SAE用于飛行數(shù)據(jù)異常檢測是實現(xiàn)飛行數(shù)據(jù)機器判讀的有效途徑。

參考文獻

[1] HINTON G，OSINDERO S.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18(7)：1527-1554.

[2] ERHAN D，BENGIO Y，COUVILLE A.Why does unsupervised pre-training help deep learning[J].Journal of Machine Learning Research，2010，11(3)：625-660.

[3] POON H，DOMINGOS P.Sum-product networks：a new deep architecture[C]//Proc of IEEE International Conference on Computer Vision.Barcelona：IEEE，2011：689-690.

[4] ZINKEVICH M，SMOLA A，WEIMER M，et al.Parallelized stochastic gradient descent[J]Advances in Neural Information Processing Systems.2010(23)：2595-2603.

[5] BENGIO Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning，2009，2(1)：1-127.

[6] BENGIO Y，LAMBLIN P，POPOVICI D.Greedy layerwise training of deep networks in Advances[C]//Proc of the 20thInternational Conference on Neural Information Processing Systems.Cambridge：MIT Press，2007：153-159.

[7] 孫志軍，薛磊，許陽明.深度學習研究綜述[J].計算機應用研究，2012，29(8)：2805-2810.

[8] GLOROT X，BORDES A，BENGIO Y.Deep Sparse Rectifier Neural Networks[C]//Proc of the 14thInternational Conference on Artificial Intelligence and Statistics.Fort Lauderdale：IEEE，2011：315-323.

[9] BENGIO Y，DELALLEAU O.On the expressive power of deep architectures[C]//Proc of the 14thInternational Conference on Discovery Science.Berlin：Springer-Verlag，2011：18-36.

[10] YUNLONG MA，PENG ZHANG，YANAN CAO.Parallel Auto-encoder for Efficient Outlier Detection[C]//Proc of IEEE International Conference on Big Data.Silicon Valley：IEEE，2013：15-17.

[11] MUHAMMAD G，BASTIAAN K W，MENGJIE Zhang.Sparse Representations in Deep Learning for Noise-Robust Digit Classification[C]//Proc of the 28thInternational Conference on Image and Vision Computing.Wellington：IEEE，2013：340-345.

[12] CHARALAMPOUS K，KOSTAVELIS I，AMANATIADIS A. Sparse deep-learning algorithm for recognition and categorization[J].Electronics Letters，2012，48(20)：55-56.

[13] YUXI LUO，YI WAN.A Novel Efficient Method for Training Sparse Auto-Encoders[C]//Proc of the 6thInternational Congress on Image and Signal Processing.Hangzhou：IEEE，2013：1019-1023.

[14] XIAO JUAN JIANG，YINGHUA ZHANG，WENSHENG ZHANG.A Novel Sparse Auto-Encoder for Deep Unsupervised Learning[C]//Proc of the 6thInternational Conference on Advanced Computational Intelligence.Hangzhou：IEEE，2013：256-261.

[15] BENJAMIN L，ROMAIN H，CLEMENT C.Learning Deep Neural Networks for High Dimensional Output Problems[C]//Proc of the IEEE International Conference on Machine Learning and Applications.Miami Beach:IEEE，2009：63-68.

[16] WONG W K，MINGMING SUN.Deep Learning Regularized Fisher Mappings[J].IEEE Transactions on Neural Networks，2011，22(10)：1668-1675.

[17] BENGIO SAMY，LI DENG，HUGO LAROCHELLE.Guest Editors’ Introduction：Special Section on Learning Deep Architectures [J].IEEE Transactions On Pattern Analysis And Machine Intelligence，2013，35(8)：1795-1797.

[18] TELMO AMARAL，LUIS M，LUIS S.Using Different Cost Functions to Train Stacked Auto-encoders[C]//Proc of 12thMexican International Conference on Artificial Intelligence.Mexico City:IEEE，2013：114-120.