LSTM網(wǎng)絡(luò)和ARMA模型對慣性器件隨機誤差預(yù)測適應(yīng)性分析

楊 其， 陳水忠， 沈淑梅， 朱振華

(1.火箭軍工程大學(xué),a.士官學(xué)院，山東 青州 262500；b.初級指揮學(xué)院，西安 710025；2.中國航空工業(yè)集團(tuán)公司洛陽電光設(shè)備研究所，河南 洛陽 471000)

0 引言

慣性器件可以在不借助外部信息的孤立系統(tǒng)中直接測量比力和角速率值，因此在飛行器、艦船、智能設(shè)備等眾多領(lǐng)域得到了廣泛應(yīng)用，同時作為一種自推算制導(dǎo)方式，慣性制導(dǎo)本身也不可避免地存在缺陷，其誤差會隨時間不斷累積并放大。依靠地面靜態(tài)環(huán)境建立誤差模型并標(biāo)定系數(shù)，可以在一定程度上對誤差進(jìn)行補償。但地面標(biāo)定環(huán)境總是與實際工作的動態(tài)環(huán)境存在一定差別，誤差模型也難以對真實誤差完全補償，一般將兩者的差距歸入隨機誤差。

造成慣性器件產(chǎn)生隨機誤差有眾多因素[1-5]，按照目前已知的物理原因一般將其分為量化噪聲、零偏不穩(wěn)定性、角度隨機游走、速率斜坡等。解決隨機誤差的最根本方法是對誤差來源的物理機制深入研究，提高制造工藝消除誤差，但這樣的做法不僅導(dǎo)致費效比較高，而且目前對某些慣性器件隨機誤差成因并未形成統(tǒng)一的結(jié)論。例如,慣性器件的零偏不穩(wěn)定性多認(rèn)為由電子元件的閃爍噪聲導(dǎo)致，但對閃爍噪聲形成機理和分析方法仍未形成確定性共識[6-7]。因此，目前對隨機誤差的補償方法多基于將各種噪聲作為濾波項加入系統(tǒng)方程進(jìn)行在線實時濾波[8-9]，但濾波方法本質(zhì)上是一種信號融合工具，需要建立在對實際系統(tǒng)描述基本準(zhǔn)確的基礎(chǔ)上，不加任何驗證直接對濾波系統(tǒng)方程進(jìn)行擴(kuò)展極易導(dǎo)致對實際系統(tǒng)的欠擬合，使濾波難以收斂，這也是大量改進(jìn)形式濾波算法難以實際應(yīng)用的重要原因。

本文研究主要針對慣性器件隨機誤差預(yù)測問題，對比了成熟的基于時間序列的自回歸-滑動平均(Auto-Regressive and Moving Average Model，ARMA)建模方法和流行的深度學(xué)習(xí)的長短時記憶(Long Short-Term Memory，LSTM)網(wǎng)絡(luò)在該問題上的適用性和實時預(yù)測效率。

1 隨機誤差A(yù)RMA模型擬合局限性分析

按照時間先后順序記錄的一系列慣性器件輸出的數(shù)據(jù)可以作為一個時間序列。由于慣性器件受到各種不確定因素的作用，輸出的時間序列中包含各種隨機誤差，同時慣性器件作為實際存在的物理系統(tǒng)，相鄰時間點上的輸出會存在狀態(tài)延續(xù)性，可以認(rèn)為時間序列反映了系統(tǒng)的內(nèi)在規(guī)律，并通過擬合序列建模的方法來預(yù)測系統(tǒng)進(jìn)一步的輸出。在無實時性要求情況下，常用方法為建立ARMA模型，即認(rèn)為慣性器件時間序列y(n)包含了以下分解項

y(n)=f(n)+s(n)+x(n)

(1)

式中,f(n)，s(n)，x(n)分別表示趨勢項、周期項和隨機項。其中，趨勢項提取可采用差分法或最小二乘法，對周期項亦可通過功率譜密度分析并差分去除。ARMA模型主要針對隨機項x(n)，并認(rèn)為當(dāng)前時刻的測量值與之前的p個測量值、白噪聲w(n)以及之前的q個時間平移白噪聲w(n-1)，w(n-2)，…，w(n-q)相關(guān)，即

(2)

但在工程應(yīng)用中,慣性器件誤差輸出最為突出的特征表現(xiàn)為性能可重復(fù)性差，即存在一次通電誤差和逐次通電誤差，因此必須獲取足夠長的時間樣本才能夠真實反映慣性器件的特性。假設(shè)時間序列樣本服從AR(1)模型且時間序列長度為N，可以根據(jù)式(2)構(gòu)建N-1個方程，即

(3)

式中：a1為AR(1)模型參數(shù);w(n)為白噪聲。

(4)

對式(4)中部分參數(shù)進(jìn)行近似，令

(5)

(6)

(7)

以某陀螺儀上電輸出為例進(jìn)行時間序列分析，獲取長度為500的時間序列(第1組)，如圖1所示。

圖1 陀螺輸出序列樣本Fig.1 Original series of gyro output

對獲取時間序列逐步回歸提取趨勢項，其趨勢項表達(dá)式為

f(t)=59.365 2+68.711 5t-8.375 2t-2-766.356 4t1/2+
667.456 8t-1/2+86.265 7e-t+675.354lnt。

(8)

提取趨勢項后的樣本序列如圖2所示。

圖2 提取趨勢項后序列樣本Fig.2 Time series after extracting the trend term

經(jīng)功率譜檢驗，序列中存在的周期項并不顯著。對其進(jìn)行ARMA建模，分別求解自相關(guān)函數(shù)和偏自相關(guān)函數(shù)，如圖3所示。

圖3 自相關(guān)和偏自相關(guān)函數(shù)(第1組)Fig.3 Autocorrelation function and the partial autocorrelation function (Group 1)

時間序列應(yīng)識別為一階MA模型，參數(shù)估計值為b1=0.731 8。

在同樣試驗條件下，對同一個陀螺再次上電獲取長度為500的時間序列(第2組)，提取趨勢項為

f(t)=65.341 5+67.253 4t-6.674 3t-2-638.236 4t1/2+

681.259 1t-1/2+90.300 2e-t+585.567 3lnt

(9)

其自相關(guān)函數(shù)和偏自相關(guān)函數(shù)如圖4所示。

時間序列識別為一階MA模型，參數(shù)估計值為b1=0.567 1。

兩組時間序列擬合后的殘差均近似為白噪聲，對比如圖5所示。

圖4 自相關(guān)和偏自相關(guān)函數(shù)(第2組)Fig.4 Autocorrelation function and the partial autocorrelation function (Group 2)

圖5 擬合殘差(第1組和第2組)Fig.5 The fitting residuals (Group 1 and Group 2)

通過算例對比可以看到，依據(jù)不同樣本序列對同一個慣性器件建立的ARMA模型在趨勢項和模型參數(shù)上仍差別較大。由于算例直接獲取的時間序列并不長，有可能導(dǎo)致周期性誤差未能完全體現(xiàn)，但算例對比足以說明在慣性器件逐次通電誤差影響下，即使ARMA模型構(gòu)建的十分精確，使用該模型對另一組數(shù)據(jù)的預(yù)測效果也并不理想，同時,模型建立的時間序列數(shù)據(jù)在靜態(tài)環(huán)境中獲取，用其擬合動態(tài)環(huán)境激勵出的隨機誤差結(jié)果將更不理想。

2 隨機誤差預(yù)測LSTM網(wǎng)絡(luò)構(gòu)建

通過分析可以看到，由于慣性器件本身存在逐次通電誤差，時間序列樣本相當(dāng)于在隨機過程中提取了一個片段，而且該隨機過程的平穩(wěn)性和遍歷性無法確定，對“片段數(shù)據(jù)”進(jìn)行高精度的ARMA建模極易導(dǎo)致過擬合，使模型泛化能力下降。而提高預(yù)測精度需要付出巨大的時間成本，并集中體現(xiàn)在時間序列樣本獲取長度上，因此難以應(yīng)用于實時性要求高的場合。但借鑒其思路，如果能夠?qū)⒔⒕唧w的預(yù)測模型替代為建立深度學(xué)習(xí)網(wǎng)絡(luò)，事先利用大量的標(biāo)簽數(shù)據(jù)對其進(jìn)行訓(xùn)練，不僅可以解決ARMA模型泛化能力不夠的問題，而且訓(xùn)練完善的網(wǎng)絡(luò)在實際使用時具有較高的實時性。

慣性器件作為實際物理系統(tǒng)，當(dāng)前時刻輸出與相鄰時刻的輸出必然存在一定的相關(guān)性，變化規(guī)律并不像公共場合客流數(shù)據(jù)一樣存在無窮方參與博弈，出現(xiàn)無規(guī)則跳變，因此對慣性器件輸出序列的預(yù)測采用LSTM網(wǎng)絡(luò)是一種合適的構(gòu)建形式，其基本組成單元如圖6所示。

圖6 LSTM網(wǎng)絡(luò)基本單元Fig.6 Basic unit of LSTM network

LSTM網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種[10-11]，每個基本單元輸入xn與前一個單元輸出hn-1連接后通過線性單元σ(Sigmoid函數(shù)運算)轉(zhuǎn)化為區(qū)間[0,1]之間的系數(shù)fn，同樣tanh單元表示將數(shù)值映射到區(qū)間[-1,1]之間，這一部分的特征映射表達(dá)式為

(10)

式中,Wf,bf,Wi,bi,Wc,bc為待訓(xùn)權(quán)重。

(11)

式(11)實際上包含了“遺忘門”的設(shè)計，通過線性疊加確定本次輸入信息的權(quán)重和對之前信息的遺忘比例[12-14]。遺忘門控單元的設(shè)計主要用于控制數(shù)據(jù)長期依賴性信息的流動，近似于滑動平均的思想：可令αhn-1+(1-α)hn→hn，如果α接近于1,則可以記憶久遠(yuǎn)地傳遞信息，而α接近于0,則完全遺忘，防止訓(xùn)練中出現(xiàn)由長期依賴性導(dǎo)致的梯度消失。

基本單元的輸出向外的傳遞系數(shù)Cn再次經(jīng)過一個遺忘門并向同層和其他層傳遞，即

(12)

將基本單元按照問題的規(guī)模和預(yù)測輸出的長度連接為拓?fù)浣Y(jié)構(gòu)即可完成網(wǎng)絡(luò)主要部分的搭建。

3 LSTM網(wǎng)絡(luò)預(yù)測效果對比

LSTM網(wǎng)絡(luò)實現(xiàn)采用Keras序貫?zāi)Ｐ?Sequential)，增加多個LSTM網(wǎng)絡(luò)層接收輸入信息并作為隱藏層訓(xùn)練。針對隨機誤差實時估計，深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計目的在于對同一型號的慣性器件能夠根據(jù)在線敏感到的數(shù)據(jù)，依靠訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)實時估算即將出現(xiàn)的隨機誤差，因此在LSTM網(wǎng)絡(luò)輸出時，應(yīng)根據(jù)需要估算的隨機誤差序列長度的規(guī)模設(shè)計一個全連接層(Dense)來連接隱藏層和輸出層[15-18]。

首先對某陀螺儀獲取1000組序列長度為420個時序點的標(biāo)簽樣本，在這些樣本中既包含多次通電獲取到的序列，也包含在一次通電過程中對陀螺儀輸出截取獲得的序列樣本。保留樣本的后10組作為預(yù)測數(shù)據(jù)，前990組作為訓(xùn)練樣本，首先設(shè)計5層LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，輸入數(shù)據(jù)按照Keras三維格式組織并全部標(biāo)準(zhǔn)化為區(qū)間[0,1]之間數(shù)值，選擇平均絕對誤差百分比(Mean Absolute Percentage Error，MAPE)作為誤差比較值。

訓(xùn)練完成后對預(yù)測數(shù)據(jù)的MAPE值為0.270 8，擬合結(jié)果與實際數(shù)據(jù)對比如圖7所示。

圖7 預(yù)測擬合效果對比(5層網(wǎng)絡(luò))Fig.7 Comparison of the predicted results of LSTM (5 layers) networks

LSTM網(wǎng)絡(luò)如需滿足慣性器件在線預(yù)測的要求，必須具備較高的實時性并能依據(jù)較短時間序列完成預(yù)測的能力。為了驗證網(wǎng)絡(luò)的實時性，對網(wǎng)絡(luò)輸入輸出規(guī)模修改后進(jìn)行在線預(yù)測仿真，訓(xùn)練完成后預(yù)測結(jié)果與實際數(shù)據(jù)對比如圖8所示。

圖8 在線實時預(yù)測效果對比(5層網(wǎng)絡(luò))Fig.8 Online predicted results of LSTM(5 layers) networks

可以看到,由于樣本序列縮短卻需要預(yù)測更遠(yuǎn)的數(shù)據(jù)輸出，LSTM預(yù)測能力出現(xiàn)退化而且預(yù)測結(jié)果存在延遲。為了改善結(jié)果，嘗試構(gòu)建更深的隱藏層，進(jìn)一步增加LSTM層數(shù)至15層，引入Dropout機制概率為0.1，多次對超參數(shù)進(jìn)行調(diào)整后，網(wǎng)絡(luò)對測試樣本的擬合以及在線預(yù)測結(jié)果如圖9所示。

圖9 15層LSTM網(wǎng)絡(luò)預(yù)測效果Fig.9 Predicted results of LSTM(15 layers) networks

可以看到,在采用更多LSTM層數(shù)時，擬合和預(yù)測精度得到了一定的改善。但在線預(yù)測過程中由于時間序列規(guī)模縮小，預(yù)測準(zhǔn)確率下降明顯,當(dāng)然準(zhǔn)確率下降的原因仍有訓(xùn)練樣本不夠龐大和參數(shù)設(shè)置的原因。但通過觀察圖8、圖9，可以看到預(yù)測對噪聲變化趨勢仍保證相當(dāng)?shù)钠鹾隙?，仍可以將這個結(jié)果作為有色噪聲范圍對濾波算法進(jìn)行優(yōu)化設(shè)計。

4 結(jié)論

對慣性器件實際應(yīng)用環(huán)境而言，ARMA建模可以提取出慣性器件輸出變化的趨勢項、周期項并建立其中隨機變化部分的自回歸滑動平均模型，但需要較長的時間樣本和一定規(guī)模的計算復(fù)雜度，因此方法多應(yīng)用于不計時效比和實時性的設(shè)計、精度驗證和工藝提高階段；而深度學(xué)習(xí)的LSTM網(wǎng)絡(luò)通過訓(xùn)練,在樣本擬合預(yù)測中同樣可以達(dá)到較好的效果，而且減少了ARMA方法中趨勢項和周期項判斷，在線實時預(yù)測中LSTM網(wǎng)絡(luò)預(yù)測能力會隨著時間序列的縮短出現(xiàn)較大的退化，但可以通過疊加更多層LSTM并減小預(yù)測輸出的規(guī)模使預(yù)測更為精準(zhǔn)，再根據(jù)其輸出對控制系統(tǒng)的濾波算法進(jìn)一步優(yōu)化設(shè)計。

[2] MICHAEL A,BLENDER,HEIDI W.Flight dynamics of a hypersonic vehicle during inlet un-start[C]//The 16th AIAA/DLR/DGLR International Space Planes and Hypersonic Systems and Technologies Conference,2009:AIAA-2009-7292.

[3] BO W,ZHI H D,CHENG L,et al.Estimation of information sharing error by dynamic deformation between inertial navigation system [J].IEEE Transactions on Industrial Electronics,2014,61(4):2015-2023.

[4] SAVAGE P G.Analytical modeling of sensor quantization in strapdown inertial navigation error equations[J].Journal of Guidance,Control and Dynamics,2002,25(5):833-842.

[5] 張瑞民，楊其，魏詩卉，等.捷聯(lián)慣測組合標(biāo)定及誤差補償技術(shù)[M].北京：國防工業(yè)出版社，2017.

[6] STHAL F,DEVEL M,IMBAUD J,et al.Study on the origin of 1/fnoise in quartz resonators[J].Journal of Statistical Mechanics Theory & Experiment,2016(5):054025.

[7] JONES B K.Electrical noise as a measure of quality and reliability in electronic devices.[J] Advances in Electronics and Electron Physics,1993,87(1):201-257.

[8] BROWN R G,HWANG P Y C.Introduction to random signals and applied Kalman filtering[M].3rd ed.New York:John Wiley & Sons,Inc.,1997.

[9] 韓松來.GPS和捷聯(lián)慣導(dǎo)組合導(dǎo)航新方法及系統(tǒng)誤差補償方案研究[D].長沙：國防科學(xué)技術(shù)大學(xué),2010.

[10] HOCHREITER S,SCHMIDHUBER.J.Long short-term memory[J].Neural Computation,1997,9(8):1735-1780.

[11] GERS F A,SCHMIDHUBER J,CUMMINS F.Learning to forget:continual prediction with LSTM[J].Neural Computation,2000,12(10):2451-2471.

[12] HOCHREITER S,BENGIO Y,FRASCONI P.Gradient flow in recurrent nets:the difficulty of learning long-term dependencies[J].Field Guide to Dynamical Recurrent Networks,2001,28(2):237-243.

[13] BENGIO S,BENGIO Y.Taking on the curse of dimensionality in joint distributions using neural networks[J].IEEE Transactions on Neural Networks,Special Issue on Data Mining and Knowledge Discovery,2000,11(3):550-557.

[14] SUTSKEVER I,VINYALS O,LE Q V.Sequence to sequence learning with neural networks[J].Computer Science，2014(4):310-311.

[15] LIPTON Z C,BERKOWITZ J.A critical review of recurrent neural networks for sequence learning[J].Computer Science，2015(1):104-112.

[16] HASIM S,ANDREW S,FRANCOISE B.Long short-term memory current neural networks architecture for large scale acoustic modeling[C]//Proceeding of Interspeech, ISCA,2014:338-342.

[17] GRAVE A.Generating sequences with recurrent neural networks[J].Computer Science,2013(1):234-243.

[18] PALANGI H,DENG L,SHEN Y,et al.Deep sentence embedding using long short-term memory networks:analysis and application to information retrieval[J].IEEE/ACM Transactions on Audio Speech & Language Processing, 2015,24(4):694-707.