改進(jìn)深度信念網(wǎng)絡(luò)在飛機(jī)下降段油耗估計中的應(yīng)用

劉家學(xué) 尹 鵬

(中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300)

0 引 言

隨著航空運(yùn)輸?shù)牟粩喟l(fā)展，航空煤油的消耗量逐年增長，民航業(yè)在能源、環(huán)境方面面臨著越來越大的挑戰(zhàn)。對民航業(yè)而言，精細(xì)化燃油管理有助于減少燃油消耗，因此設(shè)計良好的油耗模型對提高燃油利用率減少民航碳排放具有重大意義[1-2]。

飛機(jī)飛行過程主要包括爬升、巡航和下降三個階段，這三個階段的油耗量占整個飛行過程的90%以上，當(dāng)航程越短時，下降段油耗量占比越大。許多學(xué)者在飛機(jī)油耗估計領(lǐng)域做了深入研究，并提出多種方法進(jìn)行建模分析，如線性回歸模型[3-4]、模糊邏輯控制模型[5]、支持向量回歸模型[6]等。這些方法雖然不同程度地提高了估計精度，但由于飛機(jī)下降段油耗會受到氣象條件和飛機(jī)性能衰減的影響，估計精度和魯棒性并不高。為了解決以上問題，文獻(xiàn)[7]提出了基于BP神經(jīng)網(wǎng)絡(luò)的油耗估計模型，利用神經(jīng)網(wǎng)絡(luò)良好的抗干擾和非線性映射能力，提高了估計精度和魯棒性；文獻(xiàn)[8]利用遺傳算法對BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化，進(jìn)一步提高了模型性能和油耗估計精度。然而飛機(jī)下降段油耗影響因素眾多，非線性關(guān)系復(fù)雜，BP神經(jīng)網(wǎng)絡(luò)模型屬于淺層模型，對復(fù)雜函數(shù)的表達(dá)能力有限。深度信念網(wǎng)絡(luò)(DBN)[9]模型由多個受限玻爾茲曼機(jī)(RBM)堆疊而成，具有深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，可以用來解決復(fù)雜非線性問題，但是RBM可見層的輸入被限制為二值[10]，當(dāng)處理連續(xù)油耗輸入數(shù)據(jù)時會導(dǎo)致信息丟失，影響模型估計精度。

針對現(xiàn)有方法存在的不足，本文提出了一種基于改進(jìn)DBN模型的下降段油耗估計方法。通過引入高斯-伯努利受限玻爾茲曼機(jī)(GBRBM)，解決受限玻爾茲曼機(jī)(RBM)在處理連續(xù)油耗輸入數(shù)據(jù)時信息丟失問題；采用自適應(yīng)步長(AS)減少DBN訓(xùn)練時間。本文利用改進(jìn)DBN模型的深層非線性網(wǎng)絡(luò)結(jié)構(gòu)[11]來實(shí)現(xiàn)油耗影響因素與油耗之間復(fù)雜非線性函數(shù)關(guān)系的逼近。先通過多層RBM對油耗影響因素輸入向量做逐層非線性變換，再利用頂層的BP網(wǎng)絡(luò)對變換后的數(shù)據(jù)進(jìn)行油耗估計，最后得到油耗估計值。文中以均方根誤差、平均絕對百分比誤差以及擬合優(yōu)度為評價基準(zhǔn)，判斷模型的實(shí)用性。

1 下降段油耗影響因素分析及選取

飛機(jī)快速存儲記錄器(Quick Access Recorder，QAR)中記錄了許多下降段油耗影響因素數(shù)據(jù)，包括飛機(jī)重量、下降距離、下降率、風(fēng)速等諸多參數(shù)。各影響因素對油耗的影響程度不盡相同，以下降段油耗與下降距離關(guān)系為例，隨著下降距離的增加飛機(jī)油耗不斷增多，下降距離對下降段油耗影響顯著，且下降距離與油耗之間呈非線性關(guān)系。

本文根據(jù)QAR數(shù)據(jù)中記錄的油耗影響因素數(shù)據(jù)，逐一分析與油耗的關(guān)系，最終選取飛機(jī)總重、下降距離、下降率、風(fēng)速、風(fēng)向、大氣總溫、俯仰角、迎角、左發(fā)轉(zhuǎn)速、右發(fā)轉(zhuǎn)速等10個參數(shù)作為油耗估計模型輸入。各參數(shù)與油耗呈非線性關(guān)系且相比之前方法模型參數(shù)增多導(dǎo)致模型更加復(fù)雜，本文利用改進(jìn)的深度信念網(wǎng)絡(luò)(GBRBM-DBN)模型解決這些問題。

2 GBRBM-DBN油耗估計模型

Hinton等在2006年提出深度學(xué)習(xí)的概念。深度信念網(wǎng)絡(luò)(DBN)是深度學(xué)習(xí)中常用的一種網(wǎng)絡(luò)模型，它是基于能量概率分布的模型，由多個RBM模型堆疊而成，上一層(低層)RBM的隱藏層(輸出層)作為下一層(高層)RBM的可見層(輸入層)，每一層訓(xùn)練后的輸出都是對輸入的非線性變換。GBRBM-DBN油耗估計模型利用高斯-伯努利受限玻爾茲曼機(jī)(GBRBM)替代第一層RBM，處理連續(xù)的油耗輸入數(shù)據(jù)。

2.1 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)(RBM)是一個兩層的無向圖模型，包含一個可見層V和一個隱藏層H，如圖1所示?？梢妼雍碗[藏層的神經(jīng)元在層內(nèi)無連接，層間全連接。可見層用于接收輸入數(shù)據(jù)，隱藏層對可見層進(jìn)行重構(gòu)。

圖1 RBM結(jié)構(gòu)

假設(shè)所有的可見層單元v和隱藏層單元h均為二值分布，即?i,j，vi∈{0,1}，hj∈{0,1}。對于給定的一組狀態(tài)(v,h)，RBM的能量函數(shù)為：

式中：n為可見層單元數(shù)目；m為隱藏層的單元數(shù)目；θ={wij,ai,bj}是RBM的參數(shù)；wij是隱藏層單元與可見層單元之間的連接權(quán)重；ai和bj分別表示可見層和隱藏層單元的偏置。根據(jù)能量函數(shù)，可以得出這組狀態(tài)(v,h)的聯(lián)合概率分布為：

式中：Zθ為歸一化因子。在給定可見層單元v或隱藏層h的基礎(chǔ)上，計算出RBM隱藏層單元h和可見層單元v的條件概率分布分別為：

式中：

當(dāng)給定一組訓(xùn)練樣本集合S={v1,v2,…,vn}時，其目標(biāo)就是最大化如下似然函數(shù)：

式中：N為訓(xùn)練樣本數(shù)量。

2.2 高斯-伯努利受限玻爾茲曼機(jī)

高斯-伯努利受限玻爾茲曼機(jī)(GBRBM)[13]引入高斯函數(shù)，使得輸入向量不再局限于必須符合伯努利分布(二值分布)，解決了RBM處理連續(xù)輸入向量時信息丟失問題。類比RBM，GBRBM的能量函數(shù)改為:

(8)

式中：σ是高斯函數(shù)的標(biāo)準(zhǔn)差；vi表示可見層的第i個實(shí)值輸入向量，即第i個油耗影響因素輸入向量；hj仍為二值，即hj∈{0,1}；m為可見層單元數(shù)目，即油耗影響因素輸入向量個數(shù)；n為隱藏層的單元數(shù)目。根據(jù)能量函數(shù)，得到GBRBM可見層單元和隱藏層單元的條件概率分別為：

(10)

文中N(μ,σi)為具有均值μ和標(biāo)準(zhǔn)差σ的高斯函數(shù)。GBRBM的訓(xùn)練過程與RBM一樣，均采用無監(jiān)督訓(xùn)練機(jī)制進(jìn)行訓(xùn)練。

2.3 GBRBM-DBN油耗估計模型架構(gòu)

本文提出的GBRBM-DBN油耗估計模型，根據(jù)潘廣源等[14]提出的基于重構(gòu)誤差的DBN網(wǎng)絡(luò)深度確定方法，確定隱藏層層數(shù)為3。因此GBRBM-DBN油耗估計模型包含一個GBRBM、兩個RBM，并在頂層連接一個BP神經(jīng)網(wǎng)絡(luò)，GBRBM的可見層接收油耗影響因素輸入向量，其隱藏層作為第一個RBM的可見層。同樣，第一個RBM的隱藏層作為第二個RBM的可見層，經(jīng)過逐層非線性變換后，再通過BP網(wǎng)絡(luò)進(jìn)行油耗估計。建立的GBRBM-DBN油耗估計模型架構(gòu)如圖2所示。

圖2 GBRBM-DBN油耗估計模型架構(gòu)

2.4 CD-K訓(xùn)練算法中的自適應(yīng)步長

GBRBM-DBN油耗估計模型利用K步對比散度(CD-K)算法分別對GBRBM和RBM進(jìn)行預(yù)訓(xùn)練[15]，參數(shù)θ更新公式如下：

(12)

式中：η表示步長；〈·〉P表示概率分布P的期望。但在實(shí)際情況下聯(lián)合概率分布Pθ(v,h)的期望很難求出，因此利用CD算法中的K步Gibbs采樣方法得到其近似值。

由于在CD算法中每個RBM均需要進(jìn)行多次迭代，且每次迭代后的參數(shù)更新方向不盡相同，所以需要選擇適當(dāng)?shù)牟介Lη。如果選擇的η較大，容易引起振蕩；如果η較小，則會導(dǎo)致收斂速度緩慢。為解決這個問題，提出了一種自適應(yīng)步長(AS)的方法[16]。

式中：α>1表示η的增加系數(shù)；β<1表示η的減小系數(shù)，且0<β<α。如果兩次連續(xù)的參數(shù)更新方向相同，則η增加；如果方向相反，則η減小，從而避免了步長選擇不當(dāng)造成的問題，并提高了CD-K算法的收斂速度。

2.5 GBRBM-DBN油耗估計算法

本文利用GBRBM-DBN模型進(jìn)行油耗估計，模型輸入是下降段油耗影響因素，設(shè)第i個油耗影響因素輸入向量為Xi=[xi1,xi2,…,xij]，其中xij為第i個影響因素的第j個輸入樣本值，模型輸出是下降段油耗估計值Y。對輸入數(shù)據(jù)進(jìn)行歸一化轉(zhuǎn)化為相同量綱，歸一化公式如下：

在GBRBM-DBN模型中，將歸一化的油耗數(shù)據(jù)賦值給GBRBM的可見層單元，通過GBRBM和RBM對輸入向量X進(jìn)行非線性變換，重構(gòu)到另外一個向量空間Z，即H(X)→Z。然后給定一組向量空間Z與目標(biāo)油耗Y的配對組合{(Z1,Y1),(Z2,Y2),…, (Zn,Yn)}來學(xué)習(xí)BP網(wǎng)絡(luò)模型Yn+1=G(Z)，通過最小化目標(biāo)損失函數(shù)L，得到估計模型的適合參數(shù)W：

LW=‖Y-G(Z)‖2

(15)

GBRBM-DBN油耗估計模型的訓(xùn)練分為預(yù)訓(xùn)練和反向微調(diào)兩部分，過程如下：

(1) 預(yù)訓(xùn)練階段。用CD-K算法分別對GBRBM和RBM進(jìn)行無監(jiān)督預(yù)訓(xùn)練，K一般取值為1；在預(yù)訓(xùn)練過程中，采用自適應(yīng)步長(AS)方法更新步長η；更新參數(shù)θ，這里θ={wij,ai,bj}。

(2) 反向微調(diào)階段。在模型頂層利用BP算法進(jìn)行自上而下的參數(shù)微調(diào)[17]。由于模型在預(yù)訓(xùn)練階段已經(jīng)得到模型參數(shù)，在利用BP算法參數(shù)微調(diào)時只需要對已知參數(shù)空間進(jìn)行局部搜索即可[18]。具體的GBRBM-DBN油耗估計算法流程如圖3所示。

圖3 算法流程

在GBRBM-DBN油耗估計模型訓(xùn)練完成后，給定一組油耗影響因素輸入數(shù)據(jù)，便可以得到對應(yīng)的油耗估計值。

3 實(shí)驗(yàn)仿真

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)數(shù)據(jù)來源于某航空公司同一航線和機(jī)型的下降段QAR數(shù)據(jù)，選取飛機(jī)總重、下降距離、下降率、風(fēng)速、風(fēng)向、大氣總溫、俯仰角、迎角、左發(fā)轉(zhuǎn)速、右發(fā)轉(zhuǎn)速等10個參數(shù)作為油耗估計模型輸入，以油耗值作為輸出?？偣搏@得8 000多組下降段數(shù)據(jù)，以80%數(shù)據(jù)作為訓(xùn)練樣本，20%數(shù)據(jù)作為測試樣本。

文中選取10個油耗影響因素作為模型輸入，因此GBRBM的可見層節(jié)點(diǎn)數(shù)為10，隱藏層節(jié)點(diǎn)數(shù)為8，兩個RBM的隱藏層節(jié)點(diǎn)數(shù)逐層遞減，分別為6和4，BP神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)為3。經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)?shù)螖?shù)大于2 000后，均方誤差的值不再發(fā)生變化，因此設(shè)定迭代次數(shù)為2 000。

3.2 性能指標(biāo)

對于GBRBM-DBN油耗估計模型，本文以均方根誤差(RMSE)、平均絕對百分比誤差(MAPE)以及擬合優(yōu)度值(R)作為評價體系，這三種指標(biāo)的定義分別為：

(16)

(18)

3.3 實(shí)驗(yàn)結(jié)果及比較分析

3.3.1實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)程序編碼在MATLAB 2009a平臺上完成，計算機(jī)處理器為Intel-I7，內(nèi)存為8 GB。將選取出的油耗影響因素實(shí)驗(yàn)數(shù)據(jù)X歸一化后輸入到GBRBM-DBN油耗估計模型中，通過GBRBM和RBM進(jìn)行非線性變換得到Z=H(X)，再利用頂層連接的BP神經(jīng)網(wǎng)絡(luò)對變換后的數(shù)據(jù)進(jìn)行油耗估計得到油耗估計值Y=G(Z)。仿真實(shí)驗(yàn)結(jié)果如圖4和圖5所示。

圖4 油耗估計值和實(shí)際值

圖5 相對誤差

圖4為部分樣本的油耗估計值和實(shí)際值的對比結(jié)果，圖5為油耗估計值和實(shí)際值的相對誤差。GBRBM-DBN模型各評價指標(biāo)值如下：均方根誤差為58.74，平均絕對百分比誤差為2.67%，擬合優(yōu)度為0.972 3。

根據(jù)圖4和圖5以及評價指標(biāo)值可以看出，GBRBM-DBN估計模型的油耗估計值與實(shí)際值偏差較小，考慮到下降段油耗還會受到天氣狀況和航路擁堵等其他因素的影響，所以允許誤差存在，本文提出的油耗估計模型在誤差允許范圍內(nèi)具有可行性。

3.3.2不同步長時間復(fù)雜度比較

在不同步長時間復(fù)雜度的對比實(shí)驗(yàn)中，用自適應(yīng)步長與三種不同的固定步長(η=0.1，η=0.5，η=0.9)進(jìn)行比較。對于自適應(yīng)步長來說，初始步長設(shè)置為0.1，增加系數(shù)α和減小系數(shù)β的值分別為1.2和0.6。表1為自適應(yīng)步長與三種固定步長的時間復(fù)雜度對比?？梢钥闯?，自適應(yīng)步長優(yōu)于固定步長。

表1 不同步長時間復(fù)雜度對比

3.3.3不同模型油耗估計結(jié)果比較

文中分別對BP神經(jīng)網(wǎng)絡(luò)模型、RBM-DBN模型以及本文提出的GBRBM-DBN模型的油耗估計結(jié)果進(jìn)行了比較。由式(16)-式(18)分別計算得出這三種模型油耗估計結(jié)果的MSE、MAPE和擬合優(yōu)度R，計算結(jié)果如表2所示。

表2 不同模型結(jié)果對比

由表2可以看出，GBRBM-DBN模型的非線性擬合能力要優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型和RBM-DBN模型，估計精度也有小幅度提高；GBRBM-DBN模型在飛機(jī)下降段油耗估計方面有較大優(yōu)勢。

4 結(jié) 語

為準(zhǔn)確估計飛機(jī)燃油消耗量，本文針對飛機(jī)下降階段提出了一種基于改進(jìn)DBN模型的油耗估計方法。通過實(shí)驗(yàn)驗(yàn)證了在引入GBRBM后，改進(jìn)DBN油耗估計模型的非線性擬合能力和估計精度均有小幅度提高；在CD-K訓(xùn)練算法中加入自適應(yīng)步長(AS)加快了收斂速度，降低了時間復(fù)雜度。分析改進(jìn)DBN油耗估計模型的評價指標(biāo)值，考慮實(shí)際誤差存在的原因，可以得出，本文提出的方法是一種有效的飛機(jī)下降段油耗估計方法，可為其他飛行階段的油耗估計提供一定的參考。