改進(jìn)的LSTM模型在月降水量預(yù)測(cè)中的應(yīng)用

韓 瑩,談昊然,王樂豪,羅 嘉

(1. 南京信息工程大學(xué)自動(dòng)化學(xué)院,江蘇 南京 210044;2. 湖北省公眾氣象服務(wù)中心,湖北 武漢 430074)

1 引言

降水量是影響旱澇最重要的因素。降水量過少會(huì)導(dǎo)致干旱,持續(xù)干旱致使糧食減產(chǎn)甚至絕收。反之,強(qiáng)降水會(huì)造成暴雨洪澇,繼而引發(fā)山洪、泥石流等次生災(zāi)害,嚴(yán)重威脅人們生命財(cái)產(chǎn)安全。因此,熟練掌握降水規(guī)律,精準(zhǔn)預(yù)測(cè)降水量,對(duì)旱澇災(zāi)害的研究和控制具有重要指導(dǎo)意義[1]。

降水量預(yù)測(cè)的方法基本分為兩類:基于過程和數(shù)據(jù)驅(qū)動(dòng)的?；谶^程的降水量預(yù)測(cè)方法的優(yōu)點(diǎn)是對(duì)降水物理過程解釋清晰,但物理過程的復(fù)雜性增加了建模難度,需要給出一系列假設(shè)才能夠?qū)δＰ颓蠼狻?shù)據(jù)驅(qū)動(dòng)的方法是經(jīng)驗(yàn)型的,不需要對(duì)降水物理過程進(jìn)行分析,只根據(jù)降水量的歷史數(shù)據(jù)進(jìn)行預(yù)測(cè),模型簡(jiǎn)單易操作。

統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)是目前最常見的數(shù)據(jù)驅(qū)動(dòng)的降水量預(yù)測(cè)方法。統(tǒng)計(jì)方法方面,近年來最為流行的是基于差分自回歸移動(dòng)平均(AutoRegressive Integrated Moving Average,ARIMA)模型的預(yù)測(cè)方法[2,3]。研究表明,當(dāng)降水量時(shí)間序列是線性或接近線性時(shí),統(tǒng)計(jì)模型能產(chǎn)生令人滿意的預(yù)測(cè)結(jié)果。但當(dāng)時(shí)間序列呈現(xiàn)非線性時(shí),其預(yù)測(cè)結(jié)果往往差強(qiáng)人意。有鑒于此,適合復(fù)雜非線性過程建模的機(jī)器學(xué)習(xí)方法廣泛應(yīng)用于降水預(yù)測(cè)中。Hartigan等[3]使用隨機(jī)森林(Random Forest, RF)和支持向量回歸(Support vector regression, SVR)對(duì)悉尼流域內(nèi)降水和氣溫進(jìn)行預(yù)測(cè);Xiang等[4]利用決策樹和FR的雙系統(tǒng)協(xié)同影響模型對(duì)重慶市34個(gè)氣象觀測(cè)站的數(shù)據(jù)進(jìn)行預(yù)測(cè);Peng等[5]基于極限學(xué)習(xí)機(jī)和基因表達(dá)式構(gòu)建了日降水量預(yù)測(cè)混合模型;勾志竟等[6]結(jié)合遺傳算法和BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)研究了天津市日降水等級(jí)的預(yù)測(cè)方法;Ali等[7]采用先對(duì)數(shù)據(jù)進(jìn)行完全集合經(jīng)驗(yàn)?zāi)B(tài)分解(Complementary Ensemble Empirical Mode Decomposition, CEEMD),再用RF結(jié)合核嶺回歸(Kernel Ridge Regression, KRR)預(yù)測(cè)的方法,進(jìn)行月降水預(yù)報(bào)。

然而,傳統(tǒng)機(jī)器學(xué)習(xí)方法無法捕獲輸入序列的長(zhǎng)期記憶[9],從而影響預(yù)測(cè)精度。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long-Short Term Memory, LSTM)克服了上述缺點(diǎn),被廣泛應(yīng)用于多個(gè)領(lǐng)域[10-12]。在降水預(yù)測(cè)方面:利用LSTM,劉新等[9]對(duì)青藏高原月降水量進(jìn)行預(yù)測(cè);沈皓俊等[13]利用LSTM研究了中國(guó)夏季降水情況;Ni等[14]給出了兩類改進(jìn)的LSTM模型,基于小波分解的(Wavelet Decomposition, WD)-LSTM和Convolutional Neural Networks, CNN)-LSTM,并分別探討了其在徑流和降雨預(yù)測(cè)的應(yīng)用;Kang等[15]選定多輸入變量的LSTM模型對(duì)江西景德鎮(zhèn)日降水量進(jìn)行預(yù)測(cè)。

雖然基于LSTM的降水預(yù)測(cè)模型已經(jīng)顯示出強(qiáng)大的優(yōu)勢(shì),但由于剛剛起步,還存在很多問題。比如,現(xiàn)有的基于LSTM的降水預(yù)測(cè)模型都未解決一直困擾LSTM的過擬合問題,從而在預(yù)測(cè)上存在滯后性。這主要是由于LSTM訓(xùn)練中需要循環(huán)調(diào)整權(quán)重造成的。注意到新提出的寬度學(xué)習(xí)系統(tǒng)具有直接計(jì)算權(quán)重,運(yùn)算簡(jiǎn)單、快捷的優(yōu)點(diǎn),本文嘗試引入寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)改進(jìn)LSTM,提出了LSTM-BLS降水量預(yù)測(cè)模型。新模型借助于BLS不用大量訓(xùn)練直接計(jì)算權(quán)重的特點(diǎn)解決了基于LSTM預(yù)測(cè)中的滯后問題。

為了有效的驗(yàn)證新模型,選取了湖北省具有不同地域、降水特點(diǎn)的五個(gè)代表性站點(diǎn),進(jìn)行月降水量預(yù)測(cè)的實(shí)證研究。首先,在預(yù)測(cè)精度上,與基線模型、現(xiàn)有降水預(yù)測(cè)模型相比較,新模型在均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)和決定系數(shù)(R2-score)三個(gè)評(píng)價(jià)指標(biāo)方面均表現(xiàn)最佳。其次,在穩(wěn)定性上,通過分析時(shí)間步長(zhǎng)分別為1、3和6個(gè)月對(duì)各模型預(yù)測(cè)精度的影響,證明了雖然所有模型的預(yù)測(cè)精度會(huì)隨著時(shí)間步長(zhǎng)增加而降低,但在不同的時(shí)間步長(zhǎng)下,本文模型在三個(gè)評(píng)價(jià)指標(biāo)方面仍然表現(xiàn)最佳。在運(yùn)算效率上,因?yàn)锽LS計(jì)算方便、快捷的特點(diǎn),加入了BLS的LSTM-BLS模型與LSTM模型相比,運(yùn)算效率上并沒有下降。

2 模型原理與結(jié)構(gòu)

本章首先給出LSTM和BLS的基本原理,然后給出本文提出的新的模型。

2.1 LSTM原理及結(jié)構(gòu)

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeural Network,RNN)在數(shù)據(jù)處理方面顯示出巨大的潛力。但其只能記住部分序列,一旦序列過長(zhǎng),其準(zhǔn)確率就會(huì)降低。因此提出了LSTM模型[16]。LSTM的結(jié)構(gòu)見圖1。

圖1 LSTM結(jié)構(gòu)原理

其中xt是輸入向量,it是時(shí)間步長(zhǎng)t中的輸入狀態(tài),ft是時(shí)間步長(zhǎng)t中的遺忘狀態(tài),ot是時(shí)間步長(zhǎng)t中的輸出狀態(tài),ht-1和ct-1是時(shí)間步長(zhǎng)t-1中的隱藏狀態(tài)和單元狀態(tài)。以tanh和sigmoid激活函數(shù)σ的形式添加非線性。

LSTM原理在式(1)-(6)中給出。

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

其中,Wf、Wi、Wc、WO分別代表遺忘門、輸入門、記憶單元和輸出門的相應(yīng)的權(quán)值向量,bf、bi、bc、bo分別代表遺忘門、輸入門、記憶單元和輸出門的損壞變量,*是矩陣的Hadamard積。

2.2 BLS原理及結(jié)構(gòu)

在傳統(tǒng)的隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,陳俊龍等[17]于2018年初提出了BLS,消除了訓(xùn)練過程長(zhǎng)的缺點(diǎn),并且提供了很好的泛化能力。

假設(shè)X包含N個(gè)樣本,每個(gè)樣本有M個(gè)維度,Y是屬于RN×Q的輸出矩陣,其中Q是輸出的維度。BLS的結(jié)構(gòu)見圖2。

圖2 BLS結(jié)構(gòu)原理

第n個(gè)特征由式(7)映射后生成p個(gè)節(jié)點(diǎn)。

Zi=φ(XWei+βei),i=1,2,…,n

(7)

Ej=ζ(ZnWhj+βhj),j=1,2,…,m

(8)

其中Wei、Whj和βei、βhj是隨機(jī)生成的權(quán)重和偏置。最終,BLS模型可以表示為式(9)。

Y=[Z1,…,Zn|E1,…,Em]W=HW

(9)

2.3 LSTM-BLS月降水預(yù)測(cè)模型

通過上述分析,融和深度學(xué)習(xí)和寬度學(xué)習(xí)的優(yōu)勢(shì),本文提出了LSTM-BLS月降水量預(yù)測(cè)模型。模型整體架構(gòu)見圖3。

圖3 LSTM-BLS模型整體框架

LSTM-BLS降水量預(yù)測(cè)模型模型的具體運(yùn)算步驟如下

1)降水序列數(shù)據(jù)的輸入

對(duì)降水?dāng)?shù)據(jù)進(jìn)行預(yù)處理,輸入到LSTM中。

2)基于LSTM的訓(xùn)練

車身長(zhǎng)/寬/高(mm) ..................................4425/1940/1236

為防止過擬合,每層LSTM后都加一層Dropout,最后一層輸入到全連接層。

3)基于BLS的預(yù)測(cè)

首先,將全連接層的輸出作為前n組映射特征集合Zn=[Z1,Z2,…,Zn],每組包含節(jié)點(diǎn)p個(gè),則映射特征的隱藏層節(jié)點(diǎn)數(shù)為np。映射特征經(jīng)過激活函數(shù)非線性變換后,由式(8)生成m組增強(qiáng)節(jié)點(diǎn),每組包含節(jié)點(diǎn)q個(gè),增強(qiáng)節(jié)點(diǎn)的隱藏層節(jié)點(diǎn)數(shù)為mq,可以得到式(9)。

其次,求解輸出權(quán)重W,其求解問題見式(10)。

(10)

其中‖·‖F(xiàn)是指F范數(shù),H是隱藏層由式(11)表示。

H=[Zn|Em]=(h1,h2,…,hL)∈RK×L

(11)

其中,hj∈RK,j=1,…,L為隱藏層H的第j節(jié)點(diǎn),L=np+mq是隱藏層節(jié)點(diǎn)數(shù),K是時(shí)間序列的輸入數(shù)量。

式(10)是一個(gè)最小二乘問題,是關(guān)于W的凸優(yōu)化估計(jì),旨在求出使訓(xùn)練誤差最小時(shí)的輸出權(quán)重W。對(duì)其進(jìn)行求解,結(jié)果見式(12)

W=H+Y

(12)

其中H+是H的偽逆。但通常情況下,上述解的泛化誤差可能會(huì)很大,特別是對(duì)于一些病態(tài)問題。為了提升網(wǎng)絡(luò)的泛化能力,在原式引入F范數(shù)正則項(xiàng)以防止網(wǎng)絡(luò)過擬合,得到式(13)。

(13)

式(13)為一個(gè)嶺回歸問題。C表示對(duì)權(quán)重平方和的進(jìn)一步約束,可以由式(14)最終求解得到權(quán)重W。

W=HT(CI+HHT)-1Y,K

W=(CI+HTH)-1HTY,K≥L

(14)

4)輸出預(yù)測(cè)結(jié)果

將式(14)中通過運(yùn)算得到的權(quán)重W與隱藏層H結(jié)合得到最終的預(yù)測(cè)結(jié)果。

3 實(shí)例分析

3.1 研究地區(qū)以及數(shù)據(jù)集描述

湖北省地處亞熱帶,除高山地區(qū)外,大部分為亞熱帶季風(fēng)性濕潤(rùn)氣候。平均降水量為800-1600mm。降水分布呈由南向北遞減趨勢(shì)。

降水量分布有明顯的季節(jié)變化,梅雨期地勢(shì)高低相差懸殊。

本文數(shù)據(jù)由中國(guó)國(guó)家氣象中心網(wǎng)站獲取。數(shù)據(jù)的范圍為1975-2020年湖北地區(qū)氣象觀測(cè)站實(shí)測(cè)降水量觀測(cè)數(shù)據(jù)。月降水量是由數(shù)據(jù)中的原始日降水?dāng)?shù)據(jù)累加計(jì)算得到。將一共550個(gè)月的數(shù)據(jù)以9:1的比例設(shè)為訓(xùn)練集和測(cè)試集,測(cè)試集為最近幾年的降水量數(shù)據(jù)。

為了驗(yàn)證本文模型的有效性,根據(jù)湖北省氣候、地域特點(diǎn),選取了具有不同地域、降水特點(diǎn)的鄂西南巴東、鄂西北十堰、鄂東北孝感、鄂東南武漢和和江漢平原荊門地區(qū)測(cè)站點(diǎn)進(jìn)行月降水量預(yù)測(cè)實(shí)證。

3.2 參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

將月降水量映射為S×τ×D個(gè)3張量數(shù)據(jù)作為模型的輸入。其中,S為樣本數(shù)量(samples),τ為時(shí)間步長(zhǎng)(timesteps),D為特征個(gè)數(shù)(features),由于本文模型為單輸入單輸出,所以D為1。

采用Dropout退出部分神經(jīng)元來防止過擬合,確定隨機(jī)丟棄比例P值。再通過全連接層,將其輸出當(dāng)做BLS層的映射特征,生成增強(qiáng)節(jié)點(diǎn),最后算出輸出權(quán)重W。N1為每個(gè)映射特征節(jié)點(diǎn)個(gè)數(shù),N2為映射特征個(gè)數(shù),N3為增強(qiáng)節(jié)點(diǎn)個(gè)數(shù),C為L(zhǎng)2正則化參數(shù)。本文所用的全部參數(shù)見表1。參數(shù)為多次實(shí)驗(yàn)后選取的最優(yōu)參數(shù)。

表1 LSTM-BLS模型主要參數(shù)表

選取RMSE(式(15))、MAE(式(16))和R2-score(式(17))對(duì)算法的精確度進(jìn)行評(píng)估。RMSE對(duì)預(yù)測(cè)值誤差十分敏感,能夠體現(xiàn)預(yù)測(cè)的精準(zhǔn)度。MAE可以避免誤差相互抵消的問題,可以準(zhǔn)確反映實(shí)際預(yù)測(cè)誤差。R2＿score常用于判斷回歸方程的擬合程度,數(shù)值在0到1之間,越大表示模型的預(yù)測(cè)性能越好。

(15)

(16)

(17)

3.3 不同站點(diǎn)預(yù)測(cè)精度比較分析

3.3.1 與基線模型對(duì)比分析

選取基線模型ARIMA[2]、SVR[4]和RNN與本文提出的模型進(jìn)行對(duì)比分析。基線模型同樣采取參數(shù)最優(yōu)表現(xiàn)時(shí)的指標(biāo)數(shù)據(jù),對(duì)比結(jié)果見圖4。以巴東站1個(gè)月的時(shí)間步長(zhǎng)為例,本文模型與ARIMA、SVR和RNN對(duì)比RMSE值分別減少了29.25、23.25和6.55;MAE值分別減少了30.00、24.00和6.87;R2-score值增加了0.18、0.14和0.10。本文模型表現(xiàn)明顯優(yōu)于基線模型。

圖4 基線模型與本文模型指標(biāo)對(duì)比

3.3.2 與現(xiàn)有模型對(duì)比分析

進(jìn)一步地,分別將現(xiàn)有模型與本文模型進(jìn)行對(duì)比分析,對(duì)比結(jié)果見圖5。本文模型與現(xiàn)有的EEMD-ARIMA[3]、CEEMD-RF-KRR[8]、LSTM[13]、WD-LSTM[15]和CNN-LSTM[15]模型相比,RMSE值分別減少了2.62、2.39、2.60、1.66和1.14;MAE值分別減少了2.53、2.64、1.88、1.94和1.74;R2-score值分別增加了0.05、0.06、0.03、0.01和0.01。顯然,本文模型表現(xiàn)在三個(gè)指標(biāo)上都是最優(yōu)的,進(jìn)一步證明了本文模型的有效性和準(zhǔn)確性。

圖5 現(xiàn)有模型與本文模型指標(biāo)對(duì)比

為進(jìn)一步驗(yàn)證本文模型有效性,以巴東站為例,對(duì)LSTM系列相關(guān)模型預(yù)測(cè)進(jìn)行可視化。將測(cè)試集的降水序列和各個(gè)模型的預(yù)測(cè)值進(jìn)行擬合,對(duì)比可視化見圖6。

圖6 LSTM系列模型與原始降水量擬合

從圖6可以看出,在降水量突變的月份本文模型的預(yù)測(cè)結(jié)果要明顯優(yōu)于現(xiàn)有的所有模型。而且對(duì)強(qiáng)降水月份和干旱月份凈水量預(yù)測(cè)的準(zhǔn)確性也明顯優(yōu)于現(xiàn)有模型。注意到,現(xiàn)有的基于LSTM模型,在個(gè)別月份預(yù)測(cè)上都不可避免的存在很強(qiáng)的滯后性,因此無法精準(zhǔn)預(yù)測(cè)。嚴(yán)重的會(huì)出現(xiàn)預(yù)測(cè)的結(jié)果是一個(gè)月、甚至幾個(gè)月前的降水量。而本文模型不但擬合程度大大提高,而且解決了滯后性問題。

3.4 穩(wěn)定性分析

不改變模型中的超參數(shù),將預(yù)測(cè)長(zhǎng)度分別設(shè)置為3和6個(gè)月,對(duì)所有站點(diǎn)進(jìn)行預(yù)測(cè)。取所有測(cè)站點(diǎn)預(yù)測(cè)結(jié)果的平均值,結(jié)果見表2。結(jié)合1個(gè)月預(yù)測(cè)長(zhǎng)度的預(yù)測(cè)結(jié)果,可以看出隨著預(yù)測(cè)長(zhǎng)度的增加,所有預(yù)測(cè)模型的預(yù)測(cè)精度都有所下降。但是,LSTM-BLS模型在不同預(yù)測(cè)長(zhǎng)度下,預(yù)測(cè)精度都為最優(yōu)。證明了新模型的穩(wěn)定性。

表2 不同預(yù)測(cè)長(zhǎng)度下各個(gè)模型評(píng)價(jià)指標(biāo)對(duì)比

3.5 運(yùn)算效率分析

運(yùn)算效率也是算法的主要評(píng)價(jià)指標(biāo)。以1個(gè)月的預(yù)測(cè)長(zhǎng)度為例,在保證LSTM-BLS與LSTM訓(xùn)練都達(dá)到最優(yōu)結(jié)果的情況下,效率對(duì)比見表3。由表3可以看出,LSTM-BLS訓(xùn)練時(shí)間只比LSTM長(zhǎng)兩秒左右,效率沒有明顯的下降。其原因是BLS不需大量運(yùn)算、直接計(jì)算權(quán)重的特點(diǎn)使得LSTM-BLS相比LSTM,在運(yùn)算效率上不會(huì)有太大的下降。

表3 LSTM-BLS和LSTM運(yùn)算效率對(duì)比

4 結(jié)論

分析現(xiàn)有降水預(yù)測(cè)模型的缺點(diǎn),本文提出了LSTM-BLS降水預(yù)測(cè)模型。通過實(shí)證研究,證明本文模型借助于BLS不用大量訓(xùn)練、直接計(jì)算權(quán)重的特點(diǎn)解決了LSTM預(yù)測(cè)中存在的滯后問題,且運(yùn)算效率沒有下降。本文模型為降水量預(yù)測(cè)提供了新的思路。探討了在降水量預(yù)測(cè)中,同時(shí)融合深度學(xué)習(xí)與寬度學(xué)習(xí)優(yōu)勢(shì)的可能性。本文模型只考慮的歷史降水?dāng)?shù)據(jù),接下來的研究中,將加入氣象、地貌等特征,進(jìn)一步提高降水預(yù)測(cè)精度。