基于KF-LSTM組合模型的短期電離層TEC預(yù)測

李 磊 黎 競 楊 晨

1 大連海事大學(xué)理學(xué)院,大連市凌海路1號,116026

電離層作為近地空間的重要組成部分,一直是與人類社會發(fā)展和生活息息相關(guān)的重要環(huán)境區(qū)域[1]。電離層總電子含量(total electron content,TEC)是描述電離層性質(zhì)的重要參量之一,測量電離層總電子含量,研究其變化規(guī)律,并對其進行預(yù)測,是電離層研究的重要內(nèi)容[2],因此建立高精度的電離層TEC短期預(yù)報模型具有重要的科學(xué)和應(yīng)用價值[3]。根據(jù)建模方法的不同,基于時間序列的電離層TEC短期預(yù)測模型通常分為經(jīng)典數(shù)學(xué)統(tǒng)計法和人工智能法兩大類,其中經(jīng)典數(shù)學(xué)統(tǒng)計法模型主要包括時間序列法、相關(guān)分析法、自回歸移動平均模型等[1-3];人工智能法有模糊理論、支持向量機、灰度模型、反向傳播神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、門限循環(huán)單元神經(jīng)網(wǎng)絡(luò)、長短期記憶神經(jīng)網(wǎng)絡(luò)等[4-7]。由于電離層TEC數(shù)據(jù)具有非線性、非平穩(wěn)性等特點,人工智能法憑借較強的學(xué)習(xí)能力及處理非線性與時變性問題的巨大優(yōu)勢,近年來在電離層TEC短期建模中得到越來越多的應(yīng)用。其中,長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)是一種特殊結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型,解決了長序列數(shù)據(jù)訓(xùn)練過程中的梯度消失和梯度爆炸問題,適合處理和預(yù)報電離層TEC序列[4-8]。

卡爾曼濾波(Kalman filter,KF)是利用線性系統(tǒng)狀態(tài)方程對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法,作為一種基于時域離散的自回歸優(yōu)化算法,能夠有效去除噪聲并還原數(shù)據(jù),減少隨機噪聲對觀測數(shù)據(jù)的影響,可在去除突變數(shù)據(jù)的同時保持數(shù)據(jù)原有的變化趨勢,是應(yīng)用非常廣泛的數(shù)據(jù)預(yù)處理方法[2]。與均值濾波和中值濾波相比,卡爾曼濾波的數(shù)據(jù)平滑效果更好,具有更強的普適性[9]。因此,卡爾曼濾波適合處理包含隨機噪聲的電離層TEC數(shù)據(jù)。

本文采用卡爾曼濾波對電離層TEC數(shù)據(jù)進行預(yù)處理,并對處理后的數(shù)據(jù)采用LSTM建模,構(gòu)建一種新的電離層TEC短期預(yù)測模型(KF-LSTM組合模型),通過與其他3種模型的預(yù)測結(jié)果進行比較,分析該模型在不同緯度地區(qū)的預(yù)測效果及特點。

1 模型基本原理

1.1 卡爾曼濾波

利用卡爾曼濾波算法,只要獲知上一時刻狀態(tài)的估計值及當(dāng)前狀態(tài)的觀測值,就可以通過反饋環(huán)路計算出當(dāng)前狀態(tài)的估計值。反饋環(huán)路包含預(yù)測和更新兩個部分,其中預(yù)測部分公式為:

(1)

(2)

(3)

(4)

(5)

1.2 LSTM

與傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)和一般神經(jīng)網(wǎng)絡(luò)相比,LSTM連接神經(jīng)元的方式具有顯著不同的特點。在RNN基礎(chǔ)上,LSTM增加了輸入門、遺忘門和輸出門3個邏輯控制單元門,這3種門結(jié)構(gòu)分別執(zhí)行不同的功能,主要通過sigmoid(σ) 函數(shù)和tanh函數(shù)實現(xiàn)對信息的控制和保護,并根據(jù)歷史狀態(tài)不斷更新調(diào)節(jié)輸出數(shù)據(jù)[11]。

LSTM神經(jīng)元工作過程主要包括4步,具體見文獻[10]。本文在LSTM模型設(shè)計時,激活函數(shù)采用tanh函數(shù),損失函數(shù)采用均方誤差(mean-square error,MSE),優(yōu)化器采用Adam優(yōu)化器。

1.3 電離層TEC預(yù)測模型的構(gòu)建

采用預(yù)測結(jié)果均方誤差最小的原則構(gòu)建KF-LSTM組合模型,對電離層TEC進行短期預(yù)測。具體流程如下:

1)數(shù)據(jù)獲取。選取格網(wǎng)點位置連續(xù)42 d的TEC小時數(shù)據(jù),將其分為訓(xùn)練集數(shù)據(jù)和預(yù)測集數(shù)據(jù)。

2)卡爾曼濾波預(yù)處理。利用卡爾曼濾波算法對TEC數(shù)據(jù)進行預(yù)處理,平滑TEC數(shù)據(jù),減小TEC數(shù)據(jù)中隨機噪聲對組合模型建立和預(yù)測的影響,提升TEC數(shù)據(jù)的質(zhì)量。

3)超參數(shù)選優(yōu)。選取同一時段的TEC數(shù)據(jù),構(gòu)建不同超參數(shù)的KF-LSTM組合模型預(yù)測電離層TEC。結(jié)合模型復(fù)雜度、訓(xùn)練時間等因素,比較不同超參數(shù)模型的預(yù)測效果,選擇最優(yōu)超參數(shù)。

4)模型訓(xùn)練與預(yù)測。根據(jù)最優(yōu)超參數(shù)構(gòu)建KF-LSTM組合模型,輸入訓(xùn)練集數(shù)據(jù)進行模型訓(xùn)練,利用訓(xùn)練后的KF-LSTM組合模型預(yù)測測試集數(shù)據(jù)。

5)預(yù)測結(jié)果比較分析。將KF-LSTM組合模型的TEC預(yù)測結(jié)果與BP神經(jīng)網(wǎng)絡(luò)、LSTM、C1PG(CODE′s 1-daypredicted GIM)產(chǎn)品的預(yù)測結(jié)果進行比較,分析模型預(yù)測效果。

2 實驗數(shù)據(jù)與結(jié)果分析

2.1 實驗數(shù)據(jù)

本文所用數(shù)據(jù)為歐洲定軌中心(CODE)發(fā)布的全球電離層TEC數(shù)據(jù)。CODE基于IGS全球GNSS臺站的觀測數(shù)據(jù),利用球諧函數(shù)構(gòu)建了全球電離層TEC地圖,其經(jīng)緯度分辨率為5°×2.5°,時間分辨率為1 h。為驗證組合模型的有效性,分別選取高、中、低緯度及赤道共6個不同緯度(75°N、60°N、45°N、30°N、15°N、0°)與6個不同經(jīng)度(15°E、60°E、120°E、40°W、90°W、160°W)進行組合,總共得到36個網(wǎng)格點288組數(shù)據(jù),時間范圍為2016年和2018年的4個時段(doy40～81、67～108、220～261、247～288)。

2.2 KF-LSTM組合模型超參數(shù)選優(yōu)

選取2018年doy67～108不同位置的9個格網(wǎng)點 TEC數(shù)據(jù)確定KF-LSTM組合模型超參數(shù),超參數(shù)及其選取范圍分別為隱藏層數(shù)L∈[1,2,3]、隱藏層神經(jīng)元個數(shù)S∈[50,100,200,400]、輸入數(shù)據(jù)長度R∈[120,168,240]。以此參數(shù)設(shè)置為基礎(chǔ),以預(yù)測結(jié)果均方根誤差最小為目標(biāo),確定KF-LSTM組合模型的最優(yōu)超參數(shù)。

表1給出不同超參數(shù)的KF-LSTM組合模型預(yù)測結(jié)果對比,由表中數(shù)據(jù)可知,輸入數(shù)據(jù)長度R=168(7 d)的模型預(yù)測效果優(yōu)于輸入數(shù)據(jù)長度R=120(5 d)和R=240(10 d)的模型預(yù)測效果。計算結(jié)果表明,L=2、S=200的模型訓(xùn)練時間較短且精度較高,因此將其設(shè)定為優(yōu)選參數(shù)。

表1 KF-LSTM組合模型的前5組最優(yōu)參數(shù)組合及其均方根誤差

基于上述結(jié)果,本文選用4層LSTM模型,具體設(shè)置為隱藏層2層,第1、2層隱藏神經(jīng)元個數(shù)均為200個;輸入神經(jīng)元個數(shù)為168個,即前7 d TEC數(shù)據(jù);輸出神經(jīng)元個數(shù)為24個,即預(yù)測數(shù)據(jù)為1 d(24 h);模型迭代次數(shù)為500次。

2.3 單站電離層TEC預(yù)測

為分析KF-LSTM組合模型預(yù)測電離層TEC的效果,在2016年和2018年各選取4個時間段,從高、中、低緯度及赤道地區(qū)選取不同的經(jīng)度,總計36個格網(wǎng)點共288組數(shù)據(jù),分別采用BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型、KF-LSTM組合模型進行TEC建模和預(yù)測,同時引入CODE發(fā)布的C1PG產(chǎn)品,對4種模型的TEC預(yù)測結(jié)果進行對比。圖1為4種模型對2018年doy77 共18個格網(wǎng)點TEC的預(yù)測結(jié)果。

總體而言,各模型都能較好地預(yù)測電離層TEC在24 h內(nèi)的變化。為定量分析各模型預(yù)測TEC的效果,引入 均方根誤差(root mean square error,RMSE)、平均絕對誤差(mean absolute error,MAE)和平均絕對百分比誤差(mean absolute percentage error,MAPE)3個指標(biāo)評價預(yù)測結(jié)果。各指標(biāo)計算方法如下:

(6)

(7)

(8)

式中,TECci為某時刻的CODE-TEC數(shù)據(jù),TECmi為某模型對該時刻的預(yù)測值,N為預(yù)測TEC的樣本個數(shù)。

表2(單位TECu)為各模型對36個格網(wǎng)點288組TEC數(shù)據(jù)預(yù)測的均方根誤差、平均絕對誤差和平均絕對百分比誤差統(tǒng)計結(jié)果?？梢钥闯?從均方根誤差角度而言,KF-LSTM組合模型預(yù)測TEC的RMSE值為2.867 TECu,與C1PG預(yù)測結(jié)果的差值僅為0.047 TECu,整體上比BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型分別小0.549 TECu和0.179 TECu,減小幅度分別為16.1%和5.9%。從平均絕對誤差角度來說,KF-LSTM組合模型預(yù)測TEC的MAE值為1.794 TECu,與BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型、C1PG模型相比分別減少了0.348 TECu、0.173 TECu和0.112 TECu,降低幅度分別為16.2%、8.8%和5.9%。從平均絕對百分比誤差來看,KF-LSTM組合模型預(yù)測TEC的MAPE值為16.8%,同BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型、C1PG模型相比,分別減少了3.5%、1.6%和3.4%。

表2 4種模型的誤差統(tǒng)計結(jié)果

綜上分析,在電離層TEC短時預(yù)測方面,LSTM模型優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型,與熊波等[12]的測試結(jié)果一致。KF-LSTM組合模型在3項評估指標(biāo)上均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型和LSTM模型,預(yù)測效果總體上優(yōu)于C1PG模型。說明通過KF-LSTM組合模型預(yù)測電離層TEC是可行的,其預(yù)測結(jié)果在4種模型中也是最佳的。

2.4 不同緯度地區(qū)電離層TEC預(yù)測

為進一步評估各模型在不同緯度地區(qū)的預(yù)測效果,引入絕對誤差Δ和相對誤差Ur對TEC的預(yù)測結(jié)果進行評價,其定義分別為:

Δ=|TECci-TECmi|

(9)

(10)

式中,TECci為某時刻的CODE-TEC數(shù)據(jù),TECmi為某模型對該時刻的預(yù)測值。

表3(單位%)給出4種模型預(yù)測TEC的絕對誤差和相對誤差的分類百分比統(tǒng)計結(jié)果,圖2為分布直方圖,可以看出,對于不同緯度地區(qū),4種模型預(yù)測TEC的效果顯著不同。從絕對誤差角度分析,KF-LSTM組合模型顯示出最好的預(yù)測效果,82.93%的預(yù)測絕對誤差控制在Δ<3.0 TECu之內(nèi),分別比C1PG模型、BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型高2.35%、4.9%和5.73%;其中,KF-LSTM組合模型TEC預(yù)測數(shù)據(jù)的48.41%控制在Δ<1.0 TECu的較高精度范圍內(nèi),分別比C1PG模型、BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型高5.15%、6.74%和8.51%。

圖2 4種模型預(yù)測TEC的絕對誤差和相對誤差的分類百分比統(tǒng)計

表3 4種模型預(yù)測TEC的絕對誤差Δ和相對誤差Ur的分類統(tǒng)計

從相對誤差角度分析,KF-LSTM組合模型同樣具有最好的預(yù)測效果,86.26%的預(yù)測相對誤差控制在Ur<30%,分別比LSTM模型、BP神經(jīng)網(wǎng)絡(luò)模型、C1PG模型高2.94%、6.44%和6.60%;其中,KF-LSTM組合模型TEC預(yù)測數(shù)據(jù)的23.00%控制在Ur<5%的較高精度范圍內(nèi),分別比C1PG模型、LSTM模型、BP神經(jīng)網(wǎng)絡(luò)模型高1.91%、2.56%和3.48%。

綜上,無論從絕對誤差還是相對誤差的角度分析,KF-LSTM組合模型預(yù)測電離層TEC的效果均優(yōu)于其他3種模型。

由表3數(shù)據(jù)可得,除赤道地區(qū)外,對于Δ<1.0 TECu、Δ<2.0 TECu的數(shù)據(jù)占全部統(tǒng)計數(shù)據(jù)的比例,KF-LSTM組合模型均高于其他3種模型;對于赤道地區(qū),KF-LSTM組合模型的預(yù)測結(jié)果僅低于C1PG模型,高于LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型。對于Δ<3.0 TECu的數(shù)據(jù)統(tǒng)計情況,除15°N和赤道地區(qū)外,KF-LSTM組合模型同樣高于其他模型;而對于30°N、45°N、75°N來說,KF-LSTM組合模型中Δ<3.0 TECu的數(shù)據(jù)占比范圍為82.81%～96.96%,明顯高于其他模型的77.17%～95.22%。對于15°N和赤道地區(qū),4種模型TEC預(yù)測結(jié)果中Δ<3.0 TECu的數(shù)據(jù),KF-LSTM組合模型仍僅低于C1PG模型,高于LSTM模型 和BP神經(jīng)網(wǎng)絡(luò)模型。由表3還可以看出,相對于C1PG模型,KF-LSTM組合模型預(yù)測TEC的絕對誤差在赤道區(qū)域較大,隨著緯度的升高,絕對誤差逐漸變小,相對于LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型來說,KF-LSTM組合模型預(yù)測電離層TEC更為準(zhǔn)確。

從相對誤差角度分析,除赤道地區(qū)外,Ur<5%、Ur<10%、Ur<15%、Ur<20%、Ur<25%、Ur<30%的數(shù)據(jù)中,KF-LSTM組合模型占比高于其他3種模型;對于赤道地區(qū)來說,與絕對誤差統(tǒng)計結(jié)果一致,KF-LSTM組合模型的占比僅低于C1PG模型,高于LSTM模型 和BP神經(jīng)網(wǎng)絡(luò)模型。對于Ur<30%的數(shù)據(jù),除赤道地區(qū)外,KF-LSTM模型的比例最低為76.04%,最高可達93.57%,明顯優(yōu)于其他3種模型。在赤道地區(qū),KF-LSTM模型Ur<30%的數(shù)據(jù)占比為89.32%,比C1PG模型低3.13%。同樣,對于Ur<5%的高精度來說,在赤道地區(qū),KF-LSTM模型的比例較C1PG模型低2.08%。總體來說,KF-LSTM組合模型預(yù)測TEC的相對誤差在赤道區(qū)域略低于C1PG模型,優(yōu)于LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型,但在其他緯度地區(qū),KF-LSTM組合模型的預(yù)測效果更優(yōu)。

3 結(jié) 語

本文選取2016年和2018年4個時間段36個格網(wǎng)點共288組CODE-TEC數(shù)據(jù),利用卡爾曼濾波對數(shù)據(jù)進行預(yù)處理,并融合LSTM神經(jīng)網(wǎng)絡(luò)模型,構(gòu)建KF-LSTM短期電離層組合模型預(yù)測TEC。將預(yù)測結(jié)果與BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型、C1PG模型的預(yù)測結(jié)果進行對比,結(jié)果顯示:

1)從均方根誤差角度分析,KF-LSTM組合模型與C1PG模型預(yù)測結(jié)果相當(dāng),整體上優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型和LSTM模型;從平均絕對誤差和平均絕對百分比誤差角度來說,KF-LSTM組合模型預(yù)測結(jié)果好于BP神經(jīng)網(wǎng)絡(luò)模型、LSTM模型和C1PG模型?？傮w來說,KF-LSTM組合模型的預(yù)測效果更優(yōu)。

2)利用絕對誤差和相對誤差評估4種模型在不同緯度地區(qū)的預(yù)測效果,總體來說,KF-LSTM組合模型預(yù)測電離層TEC的效果均要優(yōu)于其他3種模型。但從各模型對不同緯度的具體預(yù)測效果分析來看,在赤道地區(qū),KF-LSTM組合模型預(yù)測結(jié)果的相對誤差和絕對誤差略低于C1PG模型,優(yōu)于LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型;對于15°N～75°N地區(qū),KF-LSTM組合模型預(yù)測電離層TEC更為準(zhǔn)確。

致謝：感謝歐洲定軌中心提供的數(shù)據(jù)支持。