基于WT-BiLSTM-ARMA模型的PM2.5濃度預(yù)測研究＊

程妍菲，張明輝，王寶珠

(河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401)

0 引言

近年來，隨著工業(yè)化進程的不斷加快，我國的能源消耗量也在持續(xù)增加，導(dǎo)致PM2.5(測量直徑為2.5微米或更小的顆粒物)等空氣污染物大量聚積[1]。研究表明，長期暴露在含有高濃度污染物的環(huán)境中，會給人類的身體健康帶來極大危害。不僅如此，空氣污染問題也給我國的交通運輸、社會經(jīng)濟等帶來了重大損失[2]。高效且精準的預(yù)報不僅能夠為環(huán)保部門及時了解未來的空氣質(zhì)量變化趨勢提供一定的參考，而且對生態(tài)環(huán)境的管理和保護有重大意義[3]。

目前已知的預(yù)測方法可分為兩類：通過機理模型預(yù)測和通過統(tǒng)計模型預(yù)測。機理模型的本質(zhì)是根據(jù)對大氣污染物的產(chǎn)生、轉(zhuǎn)換、擴散的物理化學(xué)過程來建模，從而進行后續(xù)預(yù)測分析[4]。比較典型的有美國的WRF-Chem 模型[5]、CMAQ 模型[6]等，但考慮到預(yù)測過程較為復(fù)雜、建模難度較大、預(yù)測精度不足且難以提升等問題，機理模型并沒有得到廣泛應(yīng)用。相較于機理模型，統(tǒng)計模型不用考慮復(fù)雜的物理化學(xué)過程，建模過程較為簡單且預(yù)測精度易于優(yōu)化，因而被廣泛使用[7-9]。隨著人工智能技術(shù)的逐步推廣，越來越多的研究人員也致力于將機器學(xué)習與該領(lǐng)域相結(jié)合的研究，采用基于統(tǒng)計模型的機器學(xué)習模型進行空氣質(zhì)量的預(yù)測[10-12]。例如，白鶴鳴等人在北京市空氣質(zhì)量數(shù)據(jù)的基礎(chǔ)上建立了BP神經(jīng)網(wǎng)絡(luò)模型，得到了較好的預(yù)測效果[13]。L 等人將HW(霍爾特-溫特斯)與ANN 進行結(jié)合應(yīng)用于里約熱內(nèi)盧的空氣質(zhì)量預(yù)測，得到了足夠準確的預(yù)測結(jié)果[14]。Wang 等人采用了Convnet 和基于Densebase 的雙向選通循環(huán)單元，結(jié)合了Convnet、Dense 和Bi-GRU，也獲得了較好的預(yù)測效果[15]。

隨著機器學(xué)習研究的不斷深入，人工神經(jīng)網(wǎng)絡(luò)也在不斷豐富和發(fā)展[16]。1997 年，Honchreater 和Schmidhuber 兩人共同提出長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory，LSTM)并于2001年提出了進一步的改進[17]。由于LSTM 神經(jīng)網(wǎng)絡(luò)自帶循環(huán)記憶單元，所以在具有前后依賴關(guān)系的時間序列的處理問題上具有自身獨特的優(yōu)勢并且能夠處理具有較長時滯的序列，廣泛應(yīng)用于各個領(lǐng)域的預(yù)測問題上[18,19]。

本文在LSTM 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，建立了基于雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(Bi-directional Long Short Term Memory,BiLSTM)的預(yù)測模型，相較于傳統(tǒng)的LSTM模型，BiLSTM模型的預(yù)測效果更為準確。

1 理論支持

1.1 小波分解

小波變換最早由Mallat 提出，Mallat 在Burt 和Adelson的塔形圖像分解和重構(gòu)算法的啟發(fā)下，提出了小波變換的Mallat 快速算法[20,21]。本文采用小波分解技術(shù)對原始的PM2.5 時間序列數(shù)據(jù)進行處理，將具有高頻細節(jié)特征的高頻信號分離出來，從而獲得了更多的數(shù)據(jù)特征[22]。分解過程表達如下：

其中，H代表低通濾波器，G代表高通濾波器，Aj代表由低通濾波器得到的低頻分量，Dj代表由高通濾波器得到的高頻分量。而小波變換過程中的分解信號的每一層都是預(yù)分解信號的一半，因此我們需要進行兩次插值重建來恢復(fù)信號長度，重建公式表示如下：

其中，H2和H相對應(yīng)，G2和G相對應(yīng)。

本文采用小波分解算法進行四層分解和重構(gòu)，以獲得D1，D2，D3，D4四個高頻細節(jié)分量和A一個低頻近似分量[23]。

1.2 CEEMDAN

自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise,CEEMDAN) 在經(jīng)驗?zāi)Ｊ椒纸?Empirical Mode Decomposition,EMD)的基礎(chǔ)上，疊加了集成經(jīng)驗?zāi)Ｊ椒纸?Ensemble Empirical Mode Decomposition,EEMD)中的加入高斯噪聲和通過多次疊加并平均來抵消噪聲的思想。信號分解能力更強，更有利于特征的提取[24]。

1.3 BiLSTM

本文在LSTM 的基礎(chǔ)上對高頻分量進行預(yù)測[25]。LSTM 是長短期神經(jīng)網(wǎng)絡(luò)，與RNN 模型的功能相類似，用于表示時間序列數(shù)據(jù)的動態(tài)時間行為。不同的是，LSTM 中的隱藏層被一個長短期記憶單元所取代。因此，相較于傳統(tǒng)的RNN 模型，LSTM 模型可以解決長期依賴性和消失梯度的問題。然而，LSTM 的隱藏層只能獲取過去的特征。因此本文采用BiLSTM 模型，從而可以更好地理解過去和未來兩個方向的時間序列數(shù)據(jù)，進行更加準確的預(yù)測。BiLSTM 層結(jié)構(gòu)如圖1所示。

圖1 BiLSTM結(jié)構(gòu)

圖1 中，一個LSTM 單元由一個輸入門、一個輸出門和一個忘記門組成，且LSTM 有兩個重要屬性，一個是隨著時間而變化的隱藏層ht,另一個是維持長期記憶的細胞Ct。Ct由此時的輸入門it、遺忘門ft和前一時刻的隱藏層ht-1和記憶細胞Ct-1決定，而隱藏層ht則由記憶細胞Ct和此時的輸入數(shù)據(jù)確定，表示為：

其中，W和B分別表示通過模型訓(xùn)練獲得的權(quán)重矩陣和偏差向量。σ表示sigmoid 激活函數(shù)，“·”表示元素對元素的乘積。

1.4 ARMA

自回歸滑動平均模型(Autoregressive Moving Average Model,ARMA)由自回歸模型(Autoregressive Model,AR)與移動平均模型(Moving Average Model,MA)混合得到。它通過對擾動項進行模型分析來將過去值、當前值和誤差結(jié)合起來，是研究平穩(wěn)時間序列的一種重要方法[26]。本文采用ARMA 模型對小波分解所得的低頻近似分量進行預(yù)測。數(shù)學(xué)模型如下：

其中，A表示輸入數(shù)據(jù)，φ表示自回歸模型系數(shù)，φ0是一個定值，θ表示滑動平均模型系數(shù)，εt表示白噪聲過程。p和q表示ARMA 模型的兩個系數(shù)，其中pp 表示延遲算子，q表示滑動平均窗口的大小。

2 模型建立

2.1 數(shù)據(jù)來源

本文研究數(shù)據(jù)來源于北京市生態(tài)環(huán)境監(jiān)測中心，包括2017 年1 月-2020 年1 月北京市6 個國控站點測得的PM2.5濃度數(shù)據(jù)，如表1所示。

表1 北京市六個大氣污染國控站點坐標

2.2 WT-BiLSTM-ARMA模型

WT-BiLSTM-ARMA 模型預(yù)測流程如圖4 所示。以下具體描述建模步驟，其中步驟四和步驟五為模型創(chuàng)新點。

圖4 預(yù)測流程

步驟一對原始數(shù)據(jù)進行歸一化處理：

其中，xi表示原始序列，n表示序列長度，yi表示歸一化結(jié)果。

步驟二對數(shù)據(jù)進行四階小波分解，得到四個高頻信號D1，D2，D3，D4和一個低頻信號A。將分解結(jié)果按3:1 的比例分為訓(xùn)練集和測試集。此處以天壇監(jiān)測站的PM2.5 數(shù)據(jù)集為例，得到結(jié)果如圖2 和圖3 所示。其中圖2為分解得到的低頻序列，可以看出低頻序列A具有明顯的趨勢性和一定的周期性。而圖3中的高頻序列D1-D4則明顯反映了原始時間序列趨勢的隨機波動變化。

圖2 小波分解得低頻序列

圖3 小波分解得高頻序列

步驟三將小波分解得到的四個高頻信號進行數(shù)據(jù)處理，從而獲得BiLSTM 模型和ARMA 模型對應(yīng)的輸入特征。

步驟四將步驟三的結(jié)果輸入BiLSTM 模型進行訓(xùn)練并將小波分解得到的低頻信號A 輸入ARMA 模型進行訓(xùn)練。

步驟五將測試集數(shù)據(jù)輸入訓(xùn)練后的BiLSTM 和ARMA 模型，獲得各自的預(yù)測結(jié)果，并通過對各個預(yù)測結(jié)果進行小波重構(gòu)得到最終預(yù)測值。

2.3 預(yù)測效果評價指標

本文采用平均絕對誤差MAE、均方根誤差RMSE和方差R2作為指標來對預(yù)測結(jié)果進行評價。

MAE 表示所有單個預(yù)測值與算術(shù)平均值的偏差的絕對值的平均，反映了預(yù)測值誤差的真實情況，模型越完美，該值越小。

RMSE 又稱標準誤差，是預(yù)測值與真實值偏差的平方值與觀測次數(shù)n比值的平方。模型的精度越高，該值越小。

R2為擬合優(yōu)度的統(tǒng)計度量，其值越接近1，表示模型擬合越好。

三項指標表示如下：

其中，y為數(shù)據(jù)實際值，ypredict為模型得到的預(yù)測值，n表示數(shù)據(jù)集的長度。

2.4 預(yù)測結(jié)果

預(yù)測結(jié)果如表2和圖5～圖10所示。

表2 各監(jiān)測點預(yù)測結(jié)果

圖5 東四監(jiān)測站預(yù)測結(jié)果

圖6 天壇監(jiān)測站預(yù)測結(jié)果

圖7 萬柳監(jiān)測站預(yù)測結(jié)果

圖8 懷柔監(jiān)測站預(yù)測結(jié)果

圖9 昌平監(jiān)測站預(yù)測結(jié)果

圖10 奧體中心監(jiān)測站預(yù)測結(jié)果

表2 記錄了WT-BiLSTM-ARMA 模型在六個監(jiān)測點的PM2.5 濃度數(shù)據(jù)的基礎(chǔ)上得到的預(yù)測結(jié)果。圖5-圖10 為WT-BiLSTM-ARMA 模型在六個監(jiān)測點的數(shù)據(jù)的測試集的基礎(chǔ)上得到的預(yù)測值與真實值的對比結(jié)果。

3 對比分析

3.1 模型對比

為了驗證本文提出的預(yù)測模型的精確度和有效性，本文將所提出模型與其余幾種預(yù)測模型進行了對比分析，包括單一模型LSTM、BiLSTM、ARMA 以及混合模型WT-BiLSTM 模型和CEEMDAN-BiLSTM模型[27]。如圖11 所示，WT-BiLSTM 模型將小波分解得到的所有序列送入BiLSTM 模型進行預(yù)測，而CEEMDAN-BiLSTM 模型是采用CEEMDAN 分解方法對原始數(shù)據(jù)進行分解。

圖11 模型對比

3.2 結(jié)果對比

本文將六個監(jiān)測點的數(shù)據(jù)輸入各個模型并求得結(jié)果的平均值，比對結(jié)果如表3所示。

由表3 可得，單一預(yù)測模型ARMA、LSTM 和BiLSTM 均取得了較好的預(yù)測效果，但多次試驗所得數(shù)據(jù)證明BiLSTM 的預(yù)測效果要好于LSTM 和ARMA。但由于PM2.5 數(shù)據(jù)本身存在自相關(guān)性，所以單一模型的預(yù)測結(jié)果存在一定的滯后問題。

與單一模型相比，CEEMDAN-BiLSTM 模型的預(yù)測精度有所提高，但是存在總體預(yù)測值小于實際值的問題，且模型運行時間過長。因此，WT-BiLSTM 模型和WT-BiLSTM-ARMA 模型的預(yù)測結(jié)果更為精確且實用性更強。由于ARMA 更適用于低頻數(shù)據(jù)的預(yù)測，所以我們將低頻分量A輸入ARMA 模型時所得到的結(jié)果更為精確。

通過對預(yù)測結(jié)果評價指標的全面分析，本文提出的WT-BiLSTM-ARMA 模型與單一模型BiLSTM 相比，RMSE 降低了66.8%，MAE 降低了64%，R2提高了5.03%；與混合模型WT-BiLSTM 相比，RMSE 降低了40.5%，MAE 降低了50.2%，R2提高了1.15%，具有更高的預(yù)測精度。

4 結(jié)束語

隨著全球范圍內(nèi)空氣質(zhì)量的不斷惡化，精準的空氣質(zhì)量預(yù)測對生態(tài)治理和環(huán)境保護工作都具有重大意義。本文提出的WT-BiLSTM-ARMA 模型可以通過小波分解算法在大量原始數(shù)據(jù)中提取出周期特征和隨機特征，得到了較高的預(yù)測精度，具有良好的推廣性。本文將所述模型與單一模型LSTM、BiLSTM、ARMA 以及混合模型CEEMDAN-BiLSTM 和WTBiLSTM 進行了對比。實驗結(jié)果表明，該模型更適合于PM2.5的預(yù)測。

本文的研究不足之處在于僅以時間的維度作為自變量進行分析，忽略了空間維度的影響。未來可以結(jié)合其他時間序列分析模型、空間分析模型以及數(shù)據(jù)分解方法進行改進，以獲得更好的預(yù)測結(jié)果。本模型也可按需應(yīng)用于燃氣負荷，短期網(wǎng)絡(luò)流量以及短期人流量等預(yù)測問題。