基于增量稀疏核極限學習機的發(fā)動機狀態(tài)在線預測

劉敏， 張英堂， 范紅波， 李志寧

(陸軍工程大學石家莊校區(qū)，河北,石家莊 050003)

發(fā)動機狀態(tài)在線預測是在其運行過程中通過實時預測其轉(zhuǎn)速、油壓、油溫、水溫、排氣溫度、振動特征和油液金屬磨粒濃度等狀態(tài)參數(shù)，分析發(fā)動機健康狀況發(fā)展趨勢，及時發(fā)現(xiàn)并排除其潛在和早期故障，從而實現(xiàn)預知維修，對提高設(shè)備可靠性，降低維護成本具有重要意義[1].

與離線預測相比，在線預測模型具有對新增樣本進行自學習以實時更新自身預測能力的優(yōu)勢，預測精度高且自適應性強. 因此，國內(nèi)外學者提出了大量基于人工神經(jīng)網(wǎng)絡(luò)[2]，支持向量機[3]，極限學習機與核極限學習機[4]等智能學習算法的在線預測方法，并取得了良好的應用效果. 然而由于在線預測過程中，樣本貫序累積，且缺乏有效的樣本篩選和在線建模策略，導致在線預測模型存在模型膨脹、泛化性不足和更新時間過長等問題，在線預測的實時性與準確性有待提高[5-6].

大量研究表明，樣本稀疏化和增量式建模是解決上述問題的有效途徑[7-8]. Huynh等[9]提出了具有增量建模能力的在線貫序神經(jīng)網(wǎng)絡(luò)，但未進行樣本稀疏化. Zhou等[10]基于滑動時間窗與Cholesky因式分解提出了帶有遺忘機理的在線KELM模型,實現(xiàn)了樣本后向刪減與增量建模，一定程度上提高了在線建模效率. Simone等[11]提出了基于近似線性獨立的在線貫序KELM，通過預設(shè)誤差閾值篩選有效樣本增量更新預測模型，提高了在線建模效率. 張英堂等[12]提出了基于快速留一交叉驗證的在線KELM模型，自適應篩選有效新增樣本更新預測模型，進一步提高了模型泛化性和在線更新速度. 然而由于缺乏刪除舊樣本和限制模型膨脹的有效策略，上述在線預測模型在實際應用中的在線處理能力仍有待提升.

因此，本文提出了增量稀疏核極限學習機算法，并將其應用于發(fā)動機狀態(tài)在線預測. 首先提出樣本信息度量方法稀疏化訓練樣本，并在線構(gòu)造規(guī)模有限且結(jié)構(gòu)稀疏的稀疏測量矩陣，然后提出增樣更新與遷移更新算法相結(jié)合的方法對核權(quán)重矩陣進行增量更新，最終實現(xiàn)ISKELM的快速在線建模.

1 增量稀疏核極限學習機模型

(1)

式中:L為隱層節(jié)點數(shù)；β=[β1β2…βL]T為隱層輸出權(quán)重向量；h(xi)=[h1(xi)h2(xi)…h(huán)L(xi)]為從n維輸入空間到L維隱層特征空間的特征映射向量.

ELM的訓練目標是訓練誤差和輸出權(quán)重范數(shù)的最小化，可以表述為

(2)

通過解最優(yōu)化方程可得

β=HT(γ-1+HHT)-1y,

(3)

式中：H=[h(x1)Th(x2)T…h(huán)(xt)T]T為所有輸入的映射矩陣;y=[y1y2…yt]T為輸入對應的目標輸出向量；γ為懲罰系數(shù). 應用Mercer條件定義核矩陣G=HHT,G(i,j)=h(xi)·hT(xj)=k(xi,xj). 由此，得到KELM的模型輸出為

ft(·)=h(·)HT(γ-1I+HHT)-1y=

(4)

式中：k(·)為核函數(shù)矩陣;α為KELM的輸出權(quán)重矩陣.

k(·)=[k(x1,·)k(x2,·)…k(xt,·)].

(5)

α=[α1α2…αt]=(γ-1I+G)-1y.

(6)

由式(4)可知，隨著樣本數(shù)的增加，模型的計算量持續(xù)增大，在線化處理困難. 因此，需要篩選有效樣本以對k(·)進行稀疏化處理，從而提高在線建模效率. 根據(jù)稀疏表征理論[8]，基于k(·)構(gòu)造稀疏測量矩陣Φt如下：

Φt=[k(c1,·)k(c2,·)…k(cmt,·)].

(7)

則增量稀疏核極限學習機模型在時刻t的輸出可以定義為

(8)

式中：{c1,c2，…,cmt}?{x1,x2,…,xt}，ci為第i個核中心樣本；mt?t為有效樣本數(shù)，即模型的階數(shù)；αi,t為t時刻第i個核函數(shù)的權(quán)重.

t+1時刻樣本xt+1對應的輸出表示為

(9)

當樣本序貫產(chǎn)生時，為實現(xiàn)增量稀疏核極限學習機的在線建模，本文提出了基于樣本信息度量的稀疏測量矩陣構(gòu)造方法和基于增樣更新與遷移更新算法相結(jié)合的核權(quán)重矩陣遞推更新方法.

2 基于樣本信息度量構(gòu)造稀疏測量矩陣

2.1 樣本信息度量方法

設(shè)樣本xt+1在Ft下的條件后驗概率為pt(xt+1|Ft)，則將xt+1對當前測量矩陣Φt的有效信息量定義為xt+1在時刻t的條件概率自信息量.

I(xt+1|Ft)=-logpt(xt+1|Ft).

(10)

設(shè)測量矩陣Φt的在Ft原子個數(shù)為mt，核中心ci(1≤i≤mt)的條件后驗概率為pt(ci|Ft)，則將Φt在時刻t所具有的平均自信息量定義為Φt的條件概率熵，即：

對于Ft下的

Φt=[k(c1,·)k(c2,·)…k(cmt,·)]，

利用核密度估計計算得到核中心c的條件后驗概率為

(12)

式中θ為核寬度.

因此，xt+1的條件概率自信息量和Φt的條件概率熵分別表示為

(13)

(14)

本文中基于I(xt+1|θ,Ft)和H(Φt|θ,Ft)篩選有效樣本并刪除冗余樣本，在線構(gòu)造稀疏測量矩陣，其基本過程包括在線擴充和在線修剪矩陣，其基本過程如圖1所示. 文中采用的核函數(shù)均為單位范數(shù)核，即?x∈X，k(x,x)=1.

圖1 測量矩陣Φ t的構(gòu)造過程Fig.1 Construction process of the measurement matrix Φt

2.2 稀疏測量矩陣在線擴充

測量矩陣Φt中所有核中心的條件后驗概率矩陣為pt(c|θ,Ft)：

(15)

根據(jù)式(11)得到Φt的條件概率熵為

(16)

(17)

式中kt=[kθ(c1,xt+1)…kθ(cmt,xt+1)]T∈mt×1.

(18)

(19)

(20)

2.3 稀疏測量矩陣在線修剪

(21)

由以上分析可知，本文中提出的樣本稀疏化方法，無需預先定義稀疏化參數(shù)，而是根據(jù)新舊樣本的有效信息量對大規(guī)模樣本進行無監(jiān)督稀疏化，具有更高的自適應性和靈活性，可提高樣本稀疏化效率. 在最佳階數(shù)內(nèi)擴充與修剪測量矩陣，僅保留最有效樣本，可使矩陣始終保持規(guī)模和結(jié)構(gòu)最優(yōu)化. 經(jīng)分析可知，構(gòu)造測量矩陣的計算復雜度為O(m). 在稀疏化條件下，m值有限且較小，可有效滿足實際在線應用的要求.

3 ISKELM核權(quán)重矩陣增量更新

為匹配稀疏測量矩陣擴充與修剪過程，限制模型膨脹，并實現(xiàn)核權(quán)重矩陣的快速更新，本文提出一種增樣更新和遷移更新算法相結(jié)合的改進增量式建模方法.

3.1 增樣更新算法

核權(quán)重矩陣增樣更新過程對應于測量矩陣Φt在線擴充過程. 當Φt規(guī)模小于m時，若新樣本滿足2.2節(jié)中的條件，則用于擴充Φt，同時更新相應核權(quán)重矩陣. ISKELM的核權(quán)重矩陣為α=(γ-1I+G)-1y. 在時刻t，記Ct=γ-1I+Gt.

對于t+1時刻的新樣本(xt+1,yt+1)，有

(22)

式中λt=γ-1+kt+1,t+1，kt=[k1,t+1…kmt,t+1]T.

Ct+1的逆矩陣為

(23)

3.2 遷移更新算法

核權(quán)重矩陣遷移更新過程對應于測量矩陣Φt的在線修剪過程. 當Φt規(guī)模達到最大m時，為實現(xiàn)現(xiàn)有規(guī)模為m下的模型更新，本文提出一種利用有效樣本替換冗余樣本的遷移更新算法.

(24)

(25)

對于t+1時刻的新樣本(xt+1,yt+1)有

(26)

(27)

本文提出的方法在最佳階數(shù)內(nèi)對當前模型核權(quán)重矩陣進行遞推更新，極大地縮短了計算時間，同時有效限制了模型膨脹. 同時，核權(quán)重矩陣更新計算復雜度為O(m2)，滿足實際在線應用要求.

4 仿真與實驗分析

為說明本文所提方法在系統(tǒng)狀態(tài)在線預測中的有效性，以Lorenz混沌時間序列模擬復雜系統(tǒng)數(shù)據(jù)變化過程進行在線預測仿真實驗. 以8V150ZAL型柴油機為對象進行發(fā)動機狀態(tài)參數(shù)在線預測實驗分析. 利用ISKELM進行在線預測仿真與實驗分析的流程如圖2所示.

圖2 ISKELM在線預測流程圖Fig.2 Online modeling process of ISKELM

4.1 Lorenz混沌時間序列預測實驗

將ISKELM應用于Lorenz混沌時間序列在線預測，以驗證本方法的有效性. Lorenz混沌時間序列可描述為

(28)

從Lorenz時間序列中選1 000個數(shù)據(jù)點，令嵌入維數(shù)為10，得到990組樣本. 由于在線預測中用于初始建模的已有樣本較少，在線新增樣本較多，因此將所有樣本按1∶4的比例分為訓練樣本和測試樣本. 即以前190組作為訓練樣本初始化預測模型，后800組作為測試樣本模擬在線數(shù)據(jù)對初始模型進行在線更新. 分別建立FM-OKELM，F(xiàn)L-OKELM和ISKELM三種預測模型作為對比實驗對時間序列進行在線預測. 模型初始化訓練階段，選擇KELM的核函數(shù)為高斯核函數(shù)，即k(ui,uj)=exp(-‖ui-uj‖2/θ). 任取網(wǎng)絡(luò)參數(shù)(γ,θ)值為(2,1)，設(shè)FL-OKELM的時間窗長L∈(1,40)，ISKELM的稀疏測量矩陣規(guī)模m∈(1,40). 則190組樣本訓練得到的均方根誤差(RMSE)平均值隨L和m的變化曲線如圖3所示.

圖3 時間序列預測誤差隨L與m的變化曲線Fig.3 Curves of prediction error varying with the change of L and m for Lorenz time series

由圖3可知，分別取FL-OKELM的時間窗長L=15，ISKELM的稀疏測量矩陣規(guī)模m=9，可使得模型預測精度最高且規(guī)模最小，同時可防止模型膨脹. 以預測精度為適應度值，對FL-OKELM與ISKELM中KELM的網(wǎng)絡(luò)參數(shù)(γ,θ)進行尋優(yōu)，根據(jù)大量研究經(jīng)驗[1]將參數(shù)尋優(yōu)范圍分別設(shè)置為γ∈[0.1,1 000]，θ∈[0.1,1 000]，進而通過網(wǎng)格搜索法得到兩個網(wǎng)絡(luò)中(γ,θ)參數(shù)組合的最優(yōu)值分別為(987,3.33)和(865,2.24)，從而建立預測模型. 同理得到FM-OKELM的最佳(γ,θ)值為(513,1.76)，并建立相應預測模型. 利用以上三種模型對Lorenz混沌時間序列進行800步在線預測，得到預測曲線如圖4所示.

圖4 Lorenz混沌時間序列預測曲線Fig.4 Prediction curves of Lorenz time series

由圖4可知，當預測步長較小時，三種方法均可較好地匹配目標序列. 但隨著預測步長的增加，F(xiàn)L-OKELM和FM-OKELM的預測誤差變大，而ISKELM仍保持較高的預測精度. 在整個預測過程中，ISKELM的預測結(jié)果與實際值基本吻合，精度最高且相對穩(wěn)定.

圖5是800步預測中三種方法的計算時間與預測步長的變化關(guān)系曲線，其中“+”表示800個樣本中用于模型在線更新的有效樣本.

圖5 在線預測時間與預測步長變化關(guān)系曲線Fig.5 Curves of prediction time varying with the change of prediction step

由圖5可以看出，ISKELM只篩選了部分樣本作為有效樣本對模型進行增量更新，而且預測步長越長，樣本篩選效率越高，從而大大縮短了模型的在線學習時間. 因此，與FL-OKELM和FM-OKLEM相比，ISKELM具有更快的在線預測速度.

利用三種方法對Lorenz混沌時間序列進行在線預測時的模型訓練和測試結(jié)果如表1所示.

表1 Lorenz混沌時間序列在線預測結(jié)果

由表1可知，在測試階段，與FM-OKELM和FL-OKELM 相比，ISKELM的預測速度分別提高了84.29%和57.55%，預測精度分別提高了40.16%和26.94%. 此結(jié)果進一步證明ISKELM通過篩選有效樣本和刪除冗余樣本，并在最佳階數(shù)內(nèi)對模型進行遞推更新，可有效提高樣本稀疏化效率，限制模型膨脹，并縮短在線建模時間，進而提高在線預測的速度和精度.

4.2 變速工況下發(fā)動機狀態(tài)參數(shù)在線預測

發(fā)動機結(jié)構(gòu)復雜，狀態(tài)參數(shù)繁多，對其狀態(tài)進行在線預測時，需選擇測試分析簡便、抗干擾性強且能有效反映其動力性能和技術(shù)狀況變化過程的參數(shù)表征其工作狀態(tài). 排氣溫度作為主要的氣動熱力性能參數(shù)可有效表征發(fā)動機的燃燒效率和熱損耗，且測試方便、干擾小，常用于表征發(fā)動機運行狀態(tài)[1]. 故本文通過預測排氣溫度變化過程，分析發(fā)動機技術(shù)狀態(tài)變化趨勢.

在8V150ZAL型柴油機變速工況下，采集其排氣溫度數(shù)據(jù)，部分相關(guān)實驗數(shù)據(jù)如表2所示.

表2 柴油機運行狀態(tài)參數(shù)

從所有實驗數(shù)據(jù)中截取201組數(shù)據(jù)，以1為嵌入維數(shù)，構(gòu)造200組時間序列樣本. 按在線預測中新增樣本體量大的原則劃分訓練集與測試集，以前70組作為訓練樣本初始化模型，后130組作為測試樣本在線更新模型. 在模型初始化階段，70組樣本訓練得到的平均RMSE隨L和m的變化曲線如圖6所示.

圖6 排氣溫度預測誤差隨L與m的變化曲線Fig.6 Curves of prediction error varying with the change of L and m for exhaust gas temperature

由圖6可知，F(xiàn)L-OKELM的時間窗長和ISKELM的稀疏測量矩陣規(guī)模的最佳值分別為L=7和m=5. 與4.1節(jié)相同，利用網(wǎng)格搜索法獲得KELM網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)(γ,θ)的最佳值，并建立相應預測模型，各模型對排氣溫度進行130步預測得到的預測曲線如圖7所示.

由圖7可知，ISKELM可以更好地匹配目標序列，準確預測排氣溫度的變化趨勢，有效跟蹤和反映柴油機的技術(shù)狀態(tài). 利用三種方法對排氣溫度進行在線預測時的模型訓練和測試結(jié)果如表3所示.

由表3中數(shù)據(jù)可知，在測試階段，與FM-OKELM 和FL-OKELM相比，ISKELM的預測速度分別提高了80.50%和31.72%，預測精度分別提高了48.56%和15.81%. 該實驗結(jié)果進一步證明ISKELM在模型在線學習和更新方面具有明顯優(yōu)勢，可有效提高發(fā)動機狀態(tài)在線預測速度和精度.

圖7 排氣溫度預測曲線Fig.7 Prediction curves of exhaust gas temperature

表3 發(fā)動機排氣溫度在線預測結(jié)果

5 結(jié) 論

為解決在線預測中樣本貫序累積且稀疏化效率較低、模型膨脹和更新速度較慢等問題，建立了規(guī)模有限且結(jié)構(gòu)稀疏的ISKELM在線預測模型. 基于樣本信息度量實現(xiàn)樣本自適應前向稀疏與后向刪減，并在最佳階數(shù)內(nèi)對稀疏測量矩陣進行在線擴充與修剪，提高了樣本稀疏化和在線建模效率. ISKELM采用增樣更新與遷移更新算法對核權(quán)重矩陣進行增量更新，降低了算法復雜度，提高了模型在線更新速度. 混沌時間序列與發(fā)動機狀態(tài)參數(shù)在線預測仿真與實驗結(jié)果表明，與FM-OKELM和FL-OKELM等現(xiàn)有模型相比，ISKELM具有更高的在線預測速度和精度，為發(fā)動機狀態(tài)在線預測提供了新的更有效的方法.