基于CRBMs-RVR的渦軸發(fā)動機輸出功率衰退預(yù)測

童志偉，魯峰，黃金泉

（南京航空航天大學能源與動力學院，南京 210016）

0 引言

性能參數(shù)反映著航空發(fā)動機性能狀態(tài)，隨著發(fā)動機服役時間的累積，各部件受到自然磨損、腐蝕、積垢等影響發(fā)生性能退化，導(dǎo)致整機性能參數(shù)實際值與基線值之間產(chǎn)生相應(yīng)的偏差。通過發(fā)動機傳感器數(shù)據(jù)對性能參數(shù)進行預(yù)測，可掌握發(fā)動機性能衰退趨勢，制定最佳維修策略，降低維修成本，提高設(shè)備運行的可靠性。

目前，針對航空發(fā)動機性能參數(shù)預(yù)測技術(shù)的研究主要有基于模型和基于數(shù)據(jù)2種。Takahisa等基于發(fā)動機機載模型設(shè)計了卡爾曼濾波器，實時估計表征氣路部件性能狀態(tài)的健康參數(shù)，并將其用于機載模型實現(xiàn)對發(fā)動機性能參數(shù)的預(yù)測，這種基于模型的方法很大程度上依賴于機載模型的精度?；跀?shù)據(jù)的預(yù)測方法以發(fā)動機傳感器數(shù)據(jù)為基礎(chǔ)，利用算法本身強大的非線性映射能力，直接建立發(fā)動機傳感器參數(shù)與發(fā)動機性能參數(shù)之間的映射關(guān)系。譚巍等采用支持向量回歸算法建立了航空發(fā)動機性能衰退綜合指標的預(yù)測模型，對性能衰退趨勢進行預(yù)測；在此基礎(chǔ)上，曹惠玲等基于滑動時窗策略實時更新訓練樣本并自適應(yīng)優(yōu)化支持向量機建模參數(shù)，實現(xiàn)了對發(fā)動機性能參數(shù)的在線預(yù)測；丁剛等基于過程神經(jīng)網(wǎng)絡(luò)算法，對航空發(fā)動機性能衰退過程排氣溫度裕度進行預(yù)測。然而，航空發(fā)動機是復(fù)雜的強非線性、非平穩(wěn)系統(tǒng)，且傳感器測量結(jié)果通常含噪聲，傳統(tǒng)的基于模型和基于數(shù)據(jù)的預(yù)測方法無法提供預(yù)測結(jié)果的概率分布，忽略了由樣本數(shù)據(jù)的不確定性而導(dǎo)致的預(yù)測結(jié)果不確定的問題。由Tipping提出的一種基于貝葉斯框架的稀疏概率模型——相關(guān)向量機（Relevance Vector Machines，RVM），模型結(jié)構(gòu)相較于神經(jīng)網(wǎng)絡(luò)模型、支持向量機（Support Vector Machines，SVM）模型結(jié)構(gòu)簡單且泛化能力強，具有很強的噪聲處理能力和概率式輸出的獨特優(yōu)勢，然而和諸多智能算法一樣，在實際應(yīng)用中容易受到數(shù)據(jù)特征選擇的影響。對于航空發(fā)動機而言，傳統(tǒng)的特征提取法如主成分分析法（Principal Component Analysis，PCA）等線性變換算法很大程度上破壞了數(shù)據(jù)的非線性結(jié)構(gòu)，從而影響學習算法的學習效果。

因此，本文針對航空渦軸發(fā)動機時間序列模型因輸入維度高而導(dǎo)致計算負荷大、因輸入?yún)?shù)冗余而導(dǎo)致模型學習效率低等問題，引入了1類非線性特征提取方法——連續(xù)限制玻爾茲曼機（Continuous Restricted Boltzmann Machines，CRBM），通過堆疊多個CRBM組建CRBMs深度網(wǎng)絡(luò)，提高對高維數(shù)據(jù)深層特征的提取能力。將CRBMs深度網(wǎng)絡(luò)與相關(guān)向量回歸（Relevance Vector Regression，RVR）算法相結(jié)合，構(gòu)建基于CRBMs-RVR的渦軸發(fā)動機輸出功率衰退預(yù)測模型，并給出預(yù)測結(jié)果的概率分布。

1 CRBMs-RVR預(yù)測算法

CRBMs-RVR預(yù)測算法由CRBMs深度網(wǎng)絡(luò)與RVR回歸模型結(jié)合構(gòu)成，其結(jié)構(gòu)如圖1所示。從圖中可見，網(wǎng)絡(luò)由可視層單元={v,=1,2,…,}、隱含層單元={h,=1,2,…,}和層間權(quán)值向量={w}連接而成。其中、和的上標分別表示當前可視層和隱含層層號，3層隱含層單元數(shù)分別為、、。首先利用CRBMs深度網(wǎng)絡(luò)對高維數(shù)據(jù)進行特征提取，挖掘數(shù)據(jù)深層信息并消除信息冗余；然后利用RVR回歸算法進行建模，獲得新特征數(shù)據(jù)與期望輸出之間的映射關(guān)系。

圖1 CRBMs-RVR預(yù)測算法結(jié)構(gòu)

1.1 連續(xù)受限玻爾茲曼機

受限玻爾茲曼機（Restricted Boltzmann Machines，RBM）是一種隨機遞歸的神經(jīng)網(wǎng)絡(luò)，由于其具有表示力強、易于推理等優(yōu)點，在分類、降維、特征學習等任務(wù)執(zhí)行中應(yīng)用廣泛。然而，傳統(tǒng)的RBM網(wǎng)絡(luò)由二值可見層和隱層單元組成，在處理連續(xù)數(shù)據(jù)時表現(xiàn)不佳。針對表現(xiàn)為連續(xù)形式的航空發(fā)動機傳感器數(shù)據(jù)，引入Hinton等提出的CRBM，通過在激活函數(shù)sigmoid單元的輸入端對樣本增加零均值的高斯單元噪聲，用連續(xù)形式的隨機單元替換傳統(tǒng)RBM中的二進制隨機單元。CRBM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。從圖中可見，可視層為網(wǎng)絡(luò)的輸入端，接收原始數(shù)據(jù)，單元個數(shù)與原始數(shù)據(jù)維度相同；隱含層是經(jīng)CRBM網(wǎng)絡(luò)提取的新特征，其單元個數(shù)即為新特征的維度。

圖2 CRBM網(wǎng)絡(luò)結(jié)構(gòu)

在訓練過程中，采用最小化對比散度權(quán)重更新算法（Minimizing Contrastive Divergence，MCD）迭代更新隱含層單元和可視層單元狀態(tài)。在迭代計算的第步，隱含層單元狀態(tài)表示為

式中：N(0,1)為以0為均值、1為標準差的標準正態(tài)分布函數(shù)，系數(shù)σ與函數(shù)N(0,1)相乘則產(chǎn)生1個均值為0、方差為σ的高斯噪聲；為sigmoid函數(shù)

式中：、分別為sigmoid函數(shù)的上、下漸近線，通常取=0、=1；為控制sigmoid函數(shù)斜率的參數(shù)。

根據(jù)MCD算法，權(quán)值系數(shù)w以及參數(shù)的更新公式為

1.2 CRBMs-RVR

由于單個CRBM特征提取能力有限，為了提高對數(shù)據(jù)深層特征的提取能力，堆疊多個CRBM構(gòu)建CRBMs深度網(wǎng)絡(luò)。在CRBMs-RVR預(yù)測算法結(jié)構(gòu)（圖1）中，CRBMs深度網(wǎng)絡(luò)由3個CRBM堆疊而成。在深度網(wǎng)絡(luò)中，前一個CRBM的輸出作為當前CRBM的輸入，每個CRBM內(nèi)部單獨訓練層間權(quán)值矩陣，并將變換后的向量作為當前CRBM的輸出，整個訓練過程以完全無監(jiān)督方式進行。對于包含組維原始樣本集V{ }v,=1,2,...,,=1,2,...,，利用CRBMs深度網(wǎng)絡(luò)逐層提取特征，最終獲得包含組、維數(shù)為的特征數(shù)據(jù)集，表示為{ }h,=1,2,...,,=1,2,...,。需要說明的是，提取的特征數(shù)據(jù)僅為原始樣本的特征表達，無任何物理意義。

首先初定CRBMs的隱含層層數(shù)，計算重構(gòu)誤差，判斷重構(gòu)誤差是否小于設(shè)定的閾值。如果重構(gòu)誤差小于閾值，則確定深度網(wǎng)絡(luò)結(jié)構(gòu)為；否則，向深度網(wǎng)絡(luò)末端堆疊1個CRBM，增加網(wǎng)絡(luò)深度。

利用建立訓練好的CRBMs深度網(wǎng)絡(luò)對原始數(shù)據(jù)集進行特征提取，將輸出的特征數(shù)據(jù)集合作為RVR模型的輸入，=(,,…,t)，為所對應(yīng)的期望輸出。假設(shè)訓練樣本{(,t)}相互獨立，二者之間的非線性關(guān)系為

式中：=(,,…,w)為權(quán)值向量；(h,h)為核函數(shù)，=1,2,…,，=1,2,…,；ε為零均值、方差為的高斯噪聲，則有

對于組訓練樣本(,)={(h,t)}，似然函數(shù)為

式中：表示維度為×(+1)的結(jié)構(gòu)矩陣，=[,,…，?]，?=[1,(h,),…,(h,h)]。

當已知似然函數(shù)和先驗分布后，依據(jù)貝葉斯公式可以得到權(quán)值向量的后驗概率分布

由于(|,)與(|)均滿足高斯分布，則權(quán)值向量的后驗概率仍然滿足高斯分布

式中：Σ=(+)，為后驗協(xié)方差；=ΣΦt，為均值；矩陣=diag(,…，α)。

為求解權(quán)值向量的最大后驗分布，通過最大化邊緣似然函數(shù)(|,)計算超參數(shù)的估計值，并對其進行優(yōu)化。邊緣似然函數(shù)的計算公式為

對邊緣似然函數(shù)的超參數(shù)和求偏導(dǎo)，并令導(dǎo)數(shù)式為0，得到

(1)地形地貌：高山出名茶的有利條件是多雨、溫差大，從海拔高度來看，高海拔(>1 000 m)區(qū)氣溫過冷，日照時間偏長，不利于茶葉生長；低海拔(<200 m)區(qū)因氣溫偏高，茶樹根部透水性差，也不利于茶樹生長。

式中：γ=1-αΣ，Σ表示后驗協(xié)方差矩陣的第個對角元素；為樣本總數(shù)。

在預(yù)測過程中，對于新的輸入向量，相應(yīng)預(yù)測分布為

2 渦軸發(fā)動機輸出功率衰退預(yù)測模型

2.1 數(shù)據(jù)預(yù)處理

針對某型含氣路部件健康因子的雙轉(zhuǎn)子渦軸發(fā)動機部件級模型，模擬發(fā)動機氣路部件性能衰退，獲取傳感器數(shù)據(jù)與輸出功率數(shù)據(jù)集。根據(jù)工程實際情況，渦軸發(fā)動機可用氣路傳感器測量參數(shù)選擇包括：動力渦輪轉(zhuǎn)速n、燃氣渦輪轉(zhuǎn)速n、壓氣機出口壓力和溫度、動力渦輪進口壓力和溫度、燃油流量W以及旋翼負載總距角。氣路部件健康因子選取壓氣機、燃氣渦輪和動力渦輪流量變化系數(shù)ΔS、ΔS、ΔS，以及效率變化系數(shù)ΔS、ΔS、ΔS，表示為Δ=[ ΔS,ΔS,ΔS,ΔS,ΔS,ΔS]。

將發(fā)動機歷史狀態(tài)作為附加因素考慮到預(yù)測模型中，以體現(xiàn)時間序列的狀態(tài)演化關(guān)系。依據(jù)前個步長的發(fā)動機氣路部件傳感器信息，完成對個步長后輸出功率N的預(yù)測，預(yù)測模型為

式中：=[,,,,,,,]；為非線性函數(shù)，表示預(yù)測模型輸入與輸出之間的映射關(guān)系。

渦軸發(fā)動機各參數(shù)的數(shù)量級不同，因此對數(shù)據(jù)進行歸一化處理，防止在模型訓練過程中出現(xiàn)梯度消失問題，并使網(wǎng)絡(luò)快速收斂。根據(jù)式（22），將樣本數(shù)據(jù)歸一化至[0,1]。

式中：、分別為原始數(shù)據(jù)和歸一化后的標準數(shù)據(jù)；、分別為原始數(shù)據(jù)的最大值和最小值。

2.2 渦軸發(fā)動機輸出功率衰退預(yù)測模型

基于CRBMs-RVR算法建立渦軸發(fā)動機輸出功率預(yù)測模型。利用CRBMs深度網(wǎng)絡(luò)對維的原始數(shù)據(jù)提取維非線性深層特征，并將特征信息作為RVR回歸模型的輸入，建立與期望輸出功率之間的映射關(guān)系。引入均方根誤差、平均絕對誤差來評價預(yù)測模型的性能

核函數(shù)的選取以及核參數(shù)的設(shè)置很大程度上決定了RVR模型的學習效果。選擇應(yīng)用最為廣泛的高斯核函數(shù)，并利用粒子群算法（Particle Swarm Optimization，PSO）對高斯核函數(shù)參數(shù)進行自動尋優(yōu)，目標函數(shù)為RVR模型訓練過程預(yù)測結(jié)果的平均絕對誤差。高斯核函數(shù)計算公式為

式中：、分別為數(shù)據(jù)空間內(nèi)的樣本點，為高斯核函數(shù)的核參數(shù)。

基于CRBMs-RVR的渦軸發(fā)動機輸出功率預(yù)測模型的構(gòu)建主要步驟如下：

（1）獲取渦軸發(fā)動機運行數(shù)據(jù)。

（2）構(gòu)建訓練樣本矩陣和預(yù)測樣本矩陣。確定預(yù)測模型的嵌入步長與預(yù)測步長，將預(yù)處理后的重構(gòu)矩陣作為預(yù)測模型的訓練樣本矩陣和預(yù)測樣本矩陣。

（3）構(gòu)建CRBMs深度網(wǎng)絡(luò)結(jié)構(gòu)。確定CRBMs深度網(wǎng)絡(luò)層數(shù)和層間節(jié)點數(shù)，并自下而上逐層訓練。

（4）利用CRBMs深度網(wǎng)絡(luò)對原始樣本矩陣進行逐層特征提取并降維，將新特征數(shù)據(jù)輸入RVR預(yù)測模型。

（5）構(gòu)建RVR預(yù)測模型。以訓練樣本預(yù)測結(jié)果的平均誤差為目標函數(shù)，利用PSO算法對核函數(shù)參數(shù)進行尋優(yōu)。

（6）輸入預(yù)測樣本矩陣，檢測模型精度，若未滿足誤差要求，則返回第（3）步。

（7）得到基于CRBMs-RVR的渦軸發(fā)動機輸出功率預(yù)測模型。

3 仿真結(jié)果與分析

驗證基于CRBMs-RVR的渦軸發(fā)動機輸出功率預(yù)測模型的性能。計算機的配置為AMD Ryzen 5 3500U，內(nèi)存為8G。算法驗證仿真平臺為Matlab 2016b。

3.1 試驗說明

參照NASA基于MAPSS仿真平臺對渦扇發(fā)動機發(fā)生氣路部件性能退化的統(tǒng)計結(jié)果，在地面設(shè)計點處模擬渦軸發(fā)動機5000個飛行循環(huán)內(nèi)氣路部件性能衰退，獲得傳感器參數(shù)與輸出功率的時間序列數(shù)據(jù)。5000個飛行循環(huán)內(nèi)氣路部件健康因子退化曲線如圖3所示。

圖3 氣路部件健康因子退化曲線

3.2 渦軸發(fā)動機輸出功率衰退預(yù)測結(jié)果

為了說明CRBMs深度網(wǎng)絡(luò)在特征提取方面的優(yōu)越性，分別建立傳統(tǒng)的RVR預(yù)測模型、基于PCARVR算法的預(yù)測模型與本文提出的CRBMs-RVR預(yù)測模型進行對比，預(yù)測結(jié)果對比如圖4所示。每個模型在10倍交叉驗證的基礎(chǔ)上進行完善，以保證可靠性。

從圖中可見，隨著渦軸發(fā)動機部件性能的衰退，輸出功率呈衰退趨勢。在3種模型預(yù)測結(jié)果中，基于CRBMs-RVR的預(yù)測模型預(yù)測值與實際值的貼合度最高；基于PCA-RVR的預(yù)測模型預(yù)測值在實際值曲線附近上下波動，表現(xiàn)出較差的穩(wěn)定性；基于傳統(tǒng)RVR的預(yù)測模型預(yù)測精度最低，預(yù)測值逐漸偏離實際值。

圖4 3種模型預(yù)測結(jié)果對比

3種模型的預(yù)測結(jié)果分析見表1。從表中可見，基于PCA-RVR算法的模型預(yù)測結(jié)果的均方根誤差為0.0264、絕對誤差為0.0235，與基于傳統(tǒng)RVR的預(yù)測模型相比分別減小38.4%和40.8%；基于CRBMs-RVR算法的模型預(yù)測結(jié)果的均方根誤差僅為0.0152、絕對誤差僅為0.0148，與基于傳統(tǒng)RVR的預(yù)測模型相比分別減小64.6%和62.7%。這主要是因為RVR模型對輸入數(shù)據(jù)結(jié)構(gòu)敏感，采用特征提取算法對高維數(shù)據(jù)進行特征提取并降維，有效地消除了數(shù)據(jù)的冗余信息，有利于RVR模型的學習；簡化模型結(jié)構(gòu)，降低了模型訓練時間。在測試過程中，RVR模型結(jié)構(gòu)稀疏且僅為簡單矩陣運算，因此包含PCA以及CRBMs特征提取算法的預(yù)測模型計算負荷小幅增加，但計算耗時仍處于非常低的水平。

表1 3種模型預(yù)測結(jié)果分析

對比基于CRBMs深度網(wǎng)絡(luò)以及PCA對原始數(shù)據(jù)集進行特征提取的2種預(yù)測模型，可以看出基于CRBMs-RVR算法模型的預(yù)測結(jié)果比基于PCA-RVR算法模型的更優(yōu)。這主要是因為PCA是一類線性變換法，在面對表現(xiàn)為強非線性關(guān)系的渦軸發(fā)動機數(shù)據(jù)時，信息特征提取能力受限，從而影響了學習機的學習效果。而CRBMs深度網(wǎng)絡(luò)對發(fā)動機傳感器數(shù)據(jù)進行逐層特征提取，能夠?qū)υ紭颖緮?shù)據(jù)深層的非線性關(guān)系做出更加本質(zhì)的刻畫，因此基于CRBMs-RVR算法的預(yù)測模型預(yù)測效果最佳。

3.3 預(yù)測結(jié)果概率式輸出

基于CRBMs-RVR算法的預(yù)測模型可以量化樣本數(shù)據(jù)本身的不確定性以及建模的不確定性，獲得預(yù)測結(jié)果的概率式輸出。在95%的置信區(qū)間內(nèi)，渦軸發(fā)動機預(yù)測結(jié)果概率式輸出如圖5所示。

圖5 預(yù)測結(jié)果概率式輸出

從圖中可見，預(yù)測結(jié)果95%的置信區(qū)間覆蓋了所有時間序列點處的渦軸發(fā)動機輸出功率的實際值，預(yù)測精度非常高。為渦軸發(fā)動機輸出功率衰退預(yù)測提供概率式輸出，避免了因不確定性導(dǎo)致的預(yù)測風險，這也是基于RVR算法建立預(yù)測模型的獨特優(yōu)勢。

4 結(jié)論

（1）RVR模型對輸入數(shù)據(jù)結(jié)構(gòu)敏感，對高維冗余的數(shù)據(jù)進行特征提取并降維，可有效簡化模型結(jié)構(gòu)、提高模型預(yù)測精度。

（2）與未進行特征提取的傳統(tǒng)RVR預(yù)測模型和基于主成分分析法的PCA-RVR模型相比，本文提出的基于CRBMs-RVR的預(yù)測模型預(yù)測結(jié)果的均方根誤差分別減小64.6%和42.4%，驗證了CRBMs深度網(wǎng)絡(luò)對于呈強非線性特征的航空發(fā)動機數(shù)據(jù)具有較高的特征提取能力。

（3）本文提出的基于CRBMs-RVR的預(yù)測算法，實現(xiàn)了對渦軸發(fā)動機輸出功率衰退的預(yù)測，模型結(jié)構(gòu)簡單且預(yù)測精度高，并提供預(yù)測結(jié)果的概率分布，避免了因不確定性而導(dǎo)致的預(yù)測風險。同時本方法可以應(yīng)用到航空發(fā)動機故障診斷等領(lǐng)域，有廣泛的應(yīng)用前景。