基于未來可預(yù)知特征的高速列車變流器超溫故障KFF-LSTM預(yù)測方法

劉典，秦勇，楊偉君，周偉，扈海軍，楊寧，劉冰，趙鵬飛，董光磊

(1. 北京交通大學(xué) 軌道交通控制與安全國家重點實驗室，北京，100044；2. 中國鐵道科學(xué)研究院 機車車輛研究所，北京，100081；3. 北京縱橫機電科技有限公司，北京，100094；4. 中南大學(xué) 交通運輸工程學(xué)院，湖南 長沙，410075；5. 中南大學(xué) 軌道交通安全教育部重點實驗室，湖南 長沙，410075)

隨著數(shù)據(jù)、算力、算法、模型的發(fā)展，面向高速列車譜系的故障預(yù)測與健康管理(PHM)技術(shù)[1]涵蓋了鐵路移動裝備結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化及流式的海量健康狀態(tài)數(shù)據(jù)。然而，目前高速列車設(shè)備狀態(tài)異常診斷大部分仍基于傳感器測量閾值組合以事后報警的形式呈現(xiàn)，少部分設(shè)備的健康態(tài)勢評估也僅在短期預(yù)測具有較高置信度。對于高速運營列車來說，提前幾分鐘甚至幾秒收到預(yù)警信息，承運單位難以消除設(shè)備故障造成的影響。

長時間序列預(yù)測(long sequence time-series forecasting，LSTF)是一種以較高預(yù)測容量來捕捉輸出與輸入之間長距離依賴關(guān)系的預(yù)測方法[2-4]，已在疾病傳播[5]、經(jīng)濟金融[6]、能源電力[7-8]、自動駕駛[9]、運量預(yù)測[10-11]、狀態(tài)識別[12]、故障診斷[13-16]等諸多領(lǐng)域成功應(yīng)用。JORDAN[17]提出了包含單個自連接節(jié)點的循環(huán)神經(jīng)網(wǎng)絡(luò)模型(recurrent neural networks，RNN)，該方法在短序列任務(wù)上的表現(xiàn)效果優(yōu)異，但關(guān)聯(lián)長序列反向傳播時過長序列導(dǎo)致梯度消失或爆炸，預(yù)測效果較差；CHUNG等[18]在傳統(tǒng)RNN 基礎(chǔ)上提出了門控循環(huán)單元結(jié)構(gòu)(gated recurrent unit，GRU)，可有效緩解梯度消失或爆炸現(xiàn)象，但仍不能完全解決梯度消失的問題。金曉航等[19]基于轉(zhuǎn)速、溫度、功率與風(fēng)速等風(fēng)力發(fā)電特征數(shù)據(jù)，采用稀疏自編碼神經(jīng)網(wǎng)絡(luò)算法對風(fēng)電機組異常狀態(tài)預(yù)警，但如能結(jié)合未來可預(yù)知氣象數(shù)據(jù)來強化模型，可取得更好的預(yù)測效果；谷歌團隊開發(fā)的BERT[20]和OpenAI 團隊開發(fā)的GPT-3[21]，以復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)、海量參數(shù)以及強大算力在時序數(shù)據(jù)預(yù)測中取得了成果，在GPT-3 中有1 750億個參數(shù)、96層網(wǎng)絡(luò)與上百個GPU強大算力支持，但由于鐵路場景的算力成本和時效性約束，沒有足夠的經(jīng)濟性優(yōu)勢。

由于預(yù)知推演和工程可實踐性的難度，基于未來可預(yù)知變量的模型并未廣泛應(yīng)用。但近年來在交通領(lǐng)域基于未來可預(yù)知變量的模型已經(jīng)有了工程應(yīng)用的實例。2022 年，北京亦莊開設(shè)了自動駕駛示范區(qū)，基于交通信號燈信息聯(lián)網(wǎng)，某路口某時刻的紅綠燈狀態(tài)成為未來可預(yù)知的變量信息。導(dǎo)航軟件通過該未來可預(yù)知的信息，并結(jié)合路況向司機推薦行駛速度，最終可以通過模型計算實現(xiàn)“全程綠燈”。通過大數(shù)據(jù)、先驗知識及物理定律來預(yù)知推演未來某時刻的某變量，可以為既有模型提供更多的可研究方向和應(yīng)用場景。

高速列車的運營故障診斷面臨預(yù)測更準、響應(yīng)更快等挑戰(zhàn)，本文作者以牽引變流器電機定子的超溫故障為對象，引入靜態(tài)、緩變、動態(tài)物理量與恒定狀態(tài)量等未來可預(yù)知特征KFF(known future feature)數(shù)據(jù)進行訓(xùn)練。通過調(diào)整長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory，LSTM)的輸出門、狀態(tài)更新單元及隱變量，降低預(yù)測狀態(tài)與真實狀態(tài)的物理狀態(tài)偏差和時間相位偏滯，以優(yōu)化模型的預(yù)測準確度與及時性，并基于高速列車真實運營數(shù)據(jù)對KFF-LSTM 模型與傳統(tǒng)模型進行了對比和分析。

1 KFF-LSTM故障預(yù)測模型

1.1 LSTM神經(jīng)網(wǎng)絡(luò)基本原理

神經(jīng)網(wǎng)絡(luò)預(yù)測的準確度與及時性指標定義如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)預(yù)測的準確度與及時性指標定義Fig. 1 Accuracy and timeliness definition of neural network prediction

LSTM是一種反饋型時間循環(huán)神經(jīng)網(wǎng)絡(luò)[22]，具有長短期信息記憶能力，作為一種特殊遞歸神經(jīng)網(wǎng)絡(luò)，LSTM 隱藏層增加了記憶單元C與遺忘門F，在時間序列軸時間步t時，記憶單元Ct可以從狀態(tài)向量中進行讀取、寫入或刪除的操作；輸入門使記憶單元決定是否更新單元狀態(tài)；遺忘門使記憶單元可以丟棄其記憶；輸出門使單元細胞可以決定輸出信息是否可用。LSTM神經(jīng)元通過輸入門、遺忘門和輸出門的狀態(tài)組合和記憶單元操作，實現(xiàn)對長序列數(shù)據(jù)的預(yù)測，其原理如圖2所示。

圖2 LSTM模型原理圖Fig. 2 Schematic diagram of LSTM model

LSTM 模型的輸入?yún)?shù)為Xt、記憶層Ct-1、隱藏層St-1，設(shè)有遺忘門Ft、輸入門It、候選記憶單元為C′t、輸出門Ot，輸出參數(shù)為當(dāng)前記憶層Ct、隱藏層St和輸出Yt，其中Yt為St的一個維度，模型可表征為：

式中，σ為Sigmoid 激活函數(shù)；⊙為Hadamard 乘積；tanh 為雙曲正切激活函數(shù)；wF與bF分別為遺忘門權(quán)重矩陣和偏置項；wI與bI分別為輸入門權(quán)重矩陣和偏置項；wC與bC為候選記憶門權(quán)重矩陣和偏置項；wX和wH分別為輸出門輸入矩陣X和隱狀態(tài)矩陣H的權(quán)重矩陣；bO為輸出門的偏置項。

1.2 KFF-LSTM故障預(yù)測模型構(gòu)建

通過在LSTM 神經(jīng)網(wǎng)絡(luò)加入未來可預(yù)知特征KFF(known future feature)進行訓(xùn)練與優(yōu)化，形成KFF-LSTM 故障預(yù)測模型。模型中引入的未來特征包括不可預(yù)知特征數(shù)據(jù)X(u)和可預(yù)知特征數(shù)據(jù)X(p)，對于高速列車時序數(shù)據(jù)集，其特征狀態(tài)包括動態(tài)物理量、緩變/靜態(tài)物理量和恒定狀態(tài)量。

1) 動態(tài)物理量是隨列車運營工況而實時動態(tài)變化的狀態(tài)特征量。對于部分不可預(yù)知的動態(tài)物理量，基于固定線路、固定操作指令、里程、時速等信息，以時序平移、前后狀態(tài)繼承、大數(shù)據(jù)預(yù)測等方式可轉(zhuǎn)換為未來可預(yù)知的特征值。例如根據(jù)列車運行圖、運行速度與里程點位置，列車經(jīng)過給定線路某位置的時刻是可預(yù)知的，結(jié)合天氣預(yù)報可預(yù)知該時刻、該位置通過列車的室外溫度；結(jié)合購票檢票信息通過旅客及其行李的平均質(zhì)量可以推算出某區(qū)段的列車載運總質(zhì)量；由于給定線路固定里程位置時接觸網(wǎng)壓比較穩(wěn)定，結(jié)合線路運行圖以及前車通過某里程點的接觸網(wǎng)壓有效值預(yù)知列車到達該里程點的接觸網(wǎng)壓。

2) 緩變/靜態(tài)物理量是某行駛區(qū)間僅發(fā)生緩慢變化或保持不變的列車運行物理特征量。對于固定線路同一車型的某車次列車，其緩變/靜態(tài)物理量是恒定的，如轉(zhuǎn)向架空氣彈簧壓力。

3) 恒定狀態(tài)量是某行駛區(qū)間保持恒定的列車運行狀態(tài)特征量，如軟件版本等。

對高速列車牽引變流器的電機定子溫度故障相關(guān)特征數(shù)據(jù)集，其物理量特征類型、特征描述、數(shù)據(jù)來源與是否可預(yù)知列表如表1所示。

表1 高速列車牽引變流器電機定子溫度物理特征數(shù)據(jù)集Table 1 Physical features of high-speed train traction converter motor stator temperature

KFF-LSTM 模型算法步驟分為特征選取、預(yù)知推演、數(shù)據(jù)歸一化、特征權(quán)重分配、模型訓(xùn)練與特征預(yù)測。引入歷史已知特征與未來可知特征數(shù)據(jù)的KFF-LSTM模型原理圖如圖3所示。在特征選取階段，產(chǎn)品專家按照數(shù)據(jù)性質(zhì)將數(shù)據(jù)分為定類數(shù)據(jù)、定序數(shù)據(jù)、定距數(shù)據(jù)、定比數(shù)據(jù)，通過行業(yè)經(jīng)驗及先驗知識進行特征值選??；在預(yù)知推演階段，基于全路列車大數(shù)據(jù)、物理定律、產(chǎn)品特性，推演動態(tài)物理量、緩變/靜態(tài)物理量在未來時刻的特征值；在數(shù)據(jù)歸一化階段，通過0均值歸一化方法避免數(shù)值大的特征對模型訓(xùn)練產(chǎn)生負面效果；在特征權(quán)重分配階段，依據(jù)模型預(yù)訓(xùn)練結(jié)果調(diào)整特征權(quán)重參數(shù)以獲得更優(yōu)的預(yù)測效果；在KFF-LSTM 模型訓(xùn)練與特征預(yù)測階段，通過引入未來可預(yù)知特征數(shù)據(jù)，提高模型預(yù)測準確性、降低時序偏置(滯后)步數(shù)。

圖3 KFF-LSTM模型原理圖Fig. 3 Schematic diagram of KFF-LSTM model

在KFF-LSTM 預(yù)測模型中，為生成預(yù)測值Yt和下一個時間片的完整輸入，需計算隱藏節(jié)點的輸出St。當(dāng)計算未來不可預(yù)知特征X(u)(Xt∈X(u))時，沿用原模型表達式；當(dāng)計算未來可預(yù)知特征X(p)(Xt∈X(p))時，由于下一時刻的特征值是已知的，故不需要記憶單元Ct和隱藏狀態(tài)單元St參與運算，輸出Yt的計算公式如下：

在歷史區(qū)間可預(yù)知特征Xt(p)和不可預(yù)知特征Xt(u)皆為模型輸入，在預(yù)測區(qū)間可預(yù)知特征Xt(p)仍作為模型輸入并參與權(quán)重矩陣和偏置項計算。

2 牽引變流器電機定子溫度預(yù)測

2.1 數(shù)據(jù)集描述與預(yù)處理

牽引變流器作為高速列車電能轉(zhuǎn)換的關(guān)鍵部件，在列車運行過程中會產(chǎn)生大幅熱量，而服役過程中冷卻系統(tǒng)濾網(wǎng)堵塞會導(dǎo)致變流器過熱，超溫嚴重時引發(fā)燒損等故障，影響列車正常運營。針對高速列車牽引變流器電機定子的超溫故障，對某型21 列車的239 個特征采樣點收集了10.4 萬個數(shù)據(jù)樣本，數(shù)據(jù)集樣本包括線路號、車次號、所在車廂與功能位置等靜態(tài)物理量，閾值超限標簽、操作狀態(tài)等緩變物理量，日期時刻、里程信息、運行車速、定子溫度、冷卻液溫度、室外環(huán)境溫度、電機轉(zhuǎn)速/功率/電流/電壓等動態(tài)物理量。

由于不同車型的設(shè)備與技術(shù)條件差異，其物理特征的關(guān)聯(lián)影響有所差別；不同線路的列車運行圖與里程地理信息完全不同，無法從不同線路中獲取有效未來可預(yù)知信息，因此，對于不同車型、不同線路的列車運行數(shù)據(jù)集采用獨立的模型參數(shù)進行訓(xùn)練及預(yù)測。對于多源異構(gòu)數(shù)據(jù)集的預(yù)處理如下。

1) 統(tǒng)頻處理。由于各類傳感器采樣頻率不統(tǒng)一，將所有特征狀態(tài)數(shù)據(jù)統(tǒng)頻為1/60 Hz(采樣間隔1 min)，針對超統(tǒng)頻的狀態(tài)數(shù)據(jù)采用極值重抽樣降頻，針對低統(tǒng)頻的狀態(tài)數(shù)據(jù)采用線性插值升頻。

2) 數(shù)據(jù)清洗。對于整備狀態(tài)列車無運行速度的數(shù)據(jù)樣本，由于數(shù)據(jù)價值密度低，不是溫度故障預(yù)測模型關(guān)注的狀態(tài)數(shù)據(jù)，進行直接刪除。

3) 數(shù)據(jù)填充。由于運營現(xiàn)場工況較為復(fù)雜，在數(shù)據(jù)采集、傳輸和轉(zhuǎn)儲過程中有部分數(shù)據(jù)缺失，缺失數(shù)據(jù)用時域最近的上一個樣本數(shù)據(jù)填充。

4) 歸一化。牽引變流器電機定子溫度相關(guān)特征包括溫度、電壓、電流、壓強、質(zhì)量、長度等物理量，為避免不同物理量單位換算對模型訓(xùn)練的影響，采用0均值歸一化對訓(xùn)練驗證數(shù)據(jù)集進行預(yù)處理使各特征均值為0、方差為1。

式中：Z為歸一化后的特征值；x和xˉ分別為當(dāng)前樣本特征值與數(shù)據(jù)集樣本平均值；N為數(shù)據(jù)集樣本數(shù)量。

5) 特征值選取。根據(jù)行業(yè)專家經(jīng)驗和先驗知識，并結(jié)合基于數(shù)據(jù)驅(qū)動的特征相關(guān)性及貢獻度進行特征值選取，區(qū)分該特征是否可預(yù)知。其中，特征貢獻度及特征權(quán)重分配采用SHAP模型[23]分析結(jié)果為依據(jù)進行決策，通過將輸出值歸因到每一個特征的Shapely 值來評價模型每個特征對結(jié)果的貢獻度。經(jīng)各特征對預(yù)測結(jié)果的正向、負向貢獻度分析，特征值貢獻度排序由高至低依次為功率類、溫度類、狀態(tài)類、壓強類。

2.2 模型訓(xùn)練及預(yù)測

基于牽引變流器電機定子溫度狀態(tài)特征數(shù)據(jù)，將數(shù)據(jù)劃分為訓(xùn)練集和測試集，通過訓(xùn)練集和測試集分別擬合KFF-LSTM、LSTM、GRU、RNN模型，分別以1 步、4 步、8 步、16 步為跨度進行預(yù)測。選擇平均絕對誤差(MAE)、均方根誤差(RMSE)和R2分數(shù)綜合評價各模型預(yù)測準確度：

式中：E為平均絕對誤差；ERMS為均方根誤差；R2為R2 分數(shù)；y、與分別為真實值、預(yù)測值與真實值的平均值。其中，MAE 用于衡量預(yù)測值與真實值之間的平均絕對誤差，越小表示模型越準確；RMSE用于評價回歸模型預(yù)測結(jié)果與真實值的偏離程度，其單位與數(shù)據(jù)集一致，RMSE越低表明模型越穩(wěn)定；R2 分數(shù)是綜合評價回歸模型的指標，越接近1表示模型綜合評價越高。

在滯后性評價方面，基于TLCC算法和數(shù)據(jù)集的波峰-波谷特性，通過逐步移動模型預(yù)測時間序列，計算預(yù)測與真實時序數(shù)據(jù)間的相關(guān)性，確定最強相關(guān)性所在的移動步數(shù)為滯后步數(shù)。詳細步驟為：將各模型的預(yù)測結(jié)果向時間軸的負或正方向移動i個時間步，再將平移后的各模型預(yù)測數(shù)據(jù)與真實值進行比較，計算Pearson相關(guān)系數(shù)ρ，

式中，Cov(·)為兩序列協(xié)方差，σy與分別為真實值與預(yù)測值的自標準差乘積。

根據(jù)式(9)計算定位移動i步的相關(guān)系數(shù)，當(dāng)系數(shù)達到最大時定位移動步數(shù)i為滯后步，若i<0，則預(yù)測值超前真實值i步，反之滯后i步。

2.3 數(shù)據(jù)實驗結(jié)果

通過KFF-LSTM、LSTM、GRU(深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時間序列)與RNN模型分別對某高速列車牽引變流器電機定子溫度數(shù)據(jù)集的前70%數(shù)據(jù)進行訓(xùn)練集數(shù)據(jù)預(yù)測，對后30%數(shù)據(jù)集進行測試集數(shù)據(jù)預(yù)測，模型訓(xùn)練不會接觸到測試集中的數(shù)據(jù)，實驗結(jié)果如圖4所示，由于訓(xùn)練集中溫度的實際值參與模型訓(xùn)練，故可以通過多次迭代使預(yù)測值與訓(xùn)練值趨于一致，難以考量模型泛化性和在新數(shù)據(jù)集中的效果；測試集中溫度實際值不參與模型訓(xùn)練，結(jié)果可以驗證模型的泛化性，更具備工程可實踐性。由圖4可見，在訓(xùn)練集部分和測試集部分，本文方法KFF-LSTM 的預(yù)測結(jié)果曲線更貼合實際結(jié)果，即預(yù)測結(jié)果的準確度和滯后性都比其他模型的更優(yōu)。

圖4 不同模型超前16步預(yù)測結(jié)果對比Fig. 4 Comparison chart of 16-step prediction results among different models

通過消融實驗，分別采用RNN、GRU、LSTM 及KFF-LSTM 模型進行超前1 步、4 步、8步、16 步時序數(shù)據(jù)預(yù)測，在訓(xùn)練集與測試集中計算并對比MAE、RMSE、R2 評價指標，同時對比不同預(yù)測區(qū)間超前步數(shù)下不同方法的偏滯步數(shù)以評價不同模型的預(yù)測及時性，結(jié)果如表2所示。從表2可見：超前1步預(yù)測預(yù)測時，本文方法預(yù)測結(jié)果在預(yù)測準確性和及時性上要優(yōu)于次優(yōu)模型預(yù)測結(jié)果，但差別不大。隨著預(yù)測區(qū)間的延展，各模型預(yù)測準確性和及時性的差距開始增大，本文方法的預(yù)測結(jié)果始終優(yōu)于其他模型。

表2 各模型預(yù)測效果對比Table 2 Comparison of prediction results among different models

實驗結(jié)果表明：

1) 預(yù)測準確度評價方面，KFF-LSTM 模型在超前1～16步預(yù)測的MAE、RMSE均比RNN、GRU和LSTM 方法的低。相對于其他3 種方法，KFFLSTM 模型訓(xùn)練集的MAE 與RMSE 的最小誤差分別降低了9.4%～42.0%與4.6%～45.6%，KFF-LSTM模型測試集的MAE 與RMSE 的最小誤差分別降低了3.8%～18.0%與1.7%～10.8%；KFF-LSTM 模型預(yù)測結(jié)果的R2 分數(shù)亦優(yōu)于其他3 種方法的R2 分數(shù)，在超前16步的訓(xùn)練集與測試集預(yù)測結(jié)果的R2分數(shù)分別提升了4.3%與26.5%，預(yù)測的準確度有較大改善。

2) 預(yù)測及時性評價方面，隨著預(yù)測區(qū)間的超前步數(shù)增加，KFF-LSTM 模型的響應(yīng)偏滯要顯著低于其他3種方法的響應(yīng)偏滯。相對于其他3種方法，KFF-LSTM模型超前4步、8步和16步預(yù)測的偏滯步數(shù)的最少偏滯步數(shù)分別降低了50%、60%與40%。

綜上可知，相比于其他預(yù)測模型，KFF-LSTM模型具有更好的數(shù)據(jù)擬合能力，無論是在訓(xùn)練集還是測試集的預(yù)測結(jié)果上均表現(xiàn)出更好的真值逼近與時間響應(yīng)性能。

3 結(jié)論與展望

1) 面向長序列時間預(yù)測的準確性及滯后性問題，提出了一種KFF-LSTM 模型。該模型將未來可預(yù)知的特征數(shù)據(jù)引入模型的訓(xùn)練及預(yù)測，對經(jīng)典LSTM模型架構(gòu)的輸出門、狀態(tài)更新單元及隱變量進行調(diào)整以優(yōu)化預(yù)測準確度與響應(yīng)的及時性。

2) 基于高速列車牽引變流器的實際運營數(shù)據(jù)進行了KFF-LSTM、LSTM、RNN 和GRU 模型的變流器電機定子溫度預(yù)測，通過消融實驗對比，KFF-LSTM 模型在MAE、RMSE 與R2 指標表征的準確度和偏滯步數(shù)表征的響應(yīng)及時性均優(yōu)于其他3種方法的最優(yōu)結(jié)果。

3) 基于未來可預(yù)知特征的KFF-LSTM 長時序數(shù)據(jù)預(yù)測模型豐富了高速列車關(guān)鍵裝備的故障診斷與預(yù)警方法，其預(yù)測結(jié)果可以作為設(shè)備健康度診斷和視情維修計劃的重要參考，下一步研究工作的重難點是如何將算法延伸應(yīng)用至高速列車裝備健康度定量分析及模型可解釋性拓展。