基于CEEMDAN-BO-BiGRU的礦井涌水量預(yù)測研究

侯恩科, 夏冰冰*, 吳章濤, 榮統(tǒng)瑞

(1.西安科技大學(xué)地質(zhì)與環(huán)境學(xué)院, 西安 710054, 2.陜西彬長小莊礦業(yè)有限公司, 咸陽 713500)

礦井涌水量是指在礦山建設(shè)和生產(chǎn)過程中,地表水和地下水通過各種途徑和方式,在單位時間內(nèi)涌入井巷中的水量,是選擇開采方案、礦井排水系統(tǒng)設(shè)計的重要依據(jù),提高礦井涌水量預(yù)測的準確度對于預(yù)防透水事故、保證安全生產(chǎn)十分重要[1-2]。由于礦井水文地質(zhì)條件復(fù)雜多樣,且影響因素眾多,導(dǎo)致礦井涌水量預(yù)測成為一項比較困難且復(fù)雜的工作[3-4]。因此,研究提高礦井涌水量預(yù)測準確度的方法具有重要意義。

中國礦井涌水量預(yù)測方法經(jīng)過長期發(fā)展,主要有解析法、水均衡法、數(shù)值模擬法、經(jīng)驗公式法、回歸分析法、模糊數(shù)學(xué)、灰色預(yù)測等[5]。此外還有神經(jīng)網(wǎng)絡(luò)、支持向量機等方法也運用到礦井涌水量預(yù)測[6-7]。但由于水文地質(zhì)條件復(fù)雜、所選參數(shù)缺乏代表、模型選擇不當往往導(dǎo)致預(yù)測結(jié)果偏差較大[8]。因此有部分學(xué)者選擇從涌水量的時間序列特征進行分析,研究其特征。李建林等[9]將混沌理論與廣義回歸神經(jīng)網(wǎng)絡(luò)(generalized regression neural network,GRNN)結(jié)合在一起,利用涌水量時間序列相空間重構(gòu)來確定GRNN輸入層神經(jīng)元的個數(shù)及其取值,建立混沌-廣義回歸神經(jīng)網(wǎng)絡(luò)模型,對礦井涌水量進行預(yù)測。劉曉丹等[10]分別建立X12季節(jié)調(diào)整模型、差分整合移動平均自回歸模型(autoregressive integrated moving average model,ARIMA)和季節(jié)性差分整合移動平均自回歸模型(seasonal autoregressive integrated moving average model,SARIMA)模型,比較3種模型預(yù)測結(jié)果的誤差,探討涌水量預(yù)測最優(yōu)模型。喬美英等[11]提出了利用遺傳算法(genetic algorithm,GA)優(yōu)化支持向量機(support vector machines,SVM)尋找其最優(yōu)參數(shù),提高涌水量預(yù)測的準確率。但由于涌水量數(shù)據(jù)的不穩(wěn)定性及隨機波動性,導(dǎo)致涌水量預(yù)測精度不高。

對于數(shù)據(jù)的波動性,經(jīng)驗?zāi)B(tài)分解(empirical mode decomposition,EMD),集合經(jīng)驗?zāi)B(tài)分解(ensemble empirical mode decomposition,EEMD)可將不穩(wěn)定原始變形序列分解為若干穩(wěn)定的分量,揭示原始序列的內(nèi)在規(guī)律,提高預(yù)測精度,但EMD與EEMD存在模態(tài)混疊和噪聲殘留問題導(dǎo)致分解效果不佳。對此María等[12]提出自適應(yīng)白噪聲平均總體經(jīng)驗?zāi)B(tài)分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)算法可有效地將振動信號突變分解為高頻本征模態(tài)函數(shù)分量特征,該算法已廣泛應(yīng)用于電力、交通、礦山等[13-15]領(lǐng)域的預(yù)測。且近年來隨著深度學(xué)習(xí)的發(fā)展,循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)憑借其記憶能力被用于處理時序性和非線性問題,門控循環(huán)單元(gated recurrent unit,GRU)是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)秀變體,其最大特點是不僅解決了RNN存在的梯度爆炸問題,而且提高了收斂速度與預(yù)測精度,但GRU只能單向處理數(shù)據(jù),只能學(xué)習(xí)過去時刻數(shù)據(jù)進行預(yù)測[16]。雙向門控循環(huán)單元(bi-directional gated recurrent unit,BiGRU)由前向與后向兩個GRU網(wǎng)絡(luò)構(gòu)成,能學(xué)習(xí)某一時刻前后數(shù)據(jù)信息進行預(yù)測[17],提高預(yù)測準確性。

深度學(xué)習(xí)算法在進行預(yù)測時需要對其參數(shù)進行調(diào)優(yōu),如隱藏層節(jié)點個數(shù)、迭代周期、學(xué)習(xí)率等,不同的參數(shù)取值會影響預(yù)測的精度,為此常采用優(yōu)化算法進行調(diào)優(yōu),貝葉斯優(yōu)化算法對目標函數(shù)進行次數(shù)很少的評估就能獲得最優(yōu)解,非常適用于求解目標函數(shù)表達式未知以及評估代價高昂的復(fù)雜優(yōu)化問題,且不需要大量的采樣點便可以得到最優(yōu)解,適合深度學(xué)習(xí)模型的超參數(shù)調(diào)優(yōu)問題[18-19]。

綜上,為去除涌水量數(shù)據(jù)不穩(wěn)定性即隨機波動性的影響,提高涌水量預(yù)測精度,提出基于自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解和貝葉斯優(yōu)化算法優(yōu)化雙向門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)時間序列組合預(yù)測模型CEEMDAN-BO-BiGRU對礦井涌水量進行預(yù)測,首先通過CEEMDAN對涌水量數(shù)據(jù)進行分解,分解為多個子固有模態(tài)分量(intrinsic mode function, IMF)分量。然后利用貝葉斯優(yōu)化算法對BiGRU的超參數(shù)組合進行尋優(yōu),建立貝葉斯優(yōu)化(Bayesian optimization, BO)-BiGRU模型對各分量分別進行預(yù)測,最后疊加得到最終的涌水量多步預(yù)測結(jié)果。應(yīng)用小莊煤礦礦井涌水量數(shù)據(jù)對該模型進行驗證。該方法可應(yīng)用于礦井涌水量的預(yù)測,為礦井水害防治提供指引。

1 模型基本原理

1.1 CEEMDAN算法原理

CEEMDAN是一種針對EMD和EEMD改進的自適應(yīng)后驗分解算法,通過在原始數(shù)據(jù)所分解的IMF分量中加入自適應(yīng)的白噪聲,解決了EMD和EEMD算法存在的模態(tài)混疊和噪聲殘留問題。CEEMDAN具體步驟如下。

(1)

r1=x-IMF1

(2)

步驟2定義Ek(·)為EMD分解中獲得的第k階模態(tài)分量的算子,再次向殘余分量中添加白噪聲,得到新序列r1(i)=r1+ε1E1[n(i)],對r1(i)再次進行EMD分解得到IMF2。

(3)

式(3)中:ε1為添加的白噪聲。

去除二階分量IMF后的殘差r2為

r2=r1-IMF2

(4)

步驟3通過重復(fù)步驟2,得到第k+1階本征模態(tài)分量IMFk+1和第k個殘余分量rk。

(5)

rk=rk-1-IMFk

(6)

直到殘余分量信號極值點個數(shù)不超過2個為止,可得到k個本征模態(tài)分量IMFk,原始涌水量序列可表示為

(7)

式(7)中:R為最終殘差。

1.2 貝葉斯優(yōu)化超參數(shù)算法原理

貝葉斯優(yōu)化算法是一種利用概率代理模型對目標函數(shù)進行擬合,根據(jù)后驗概率分布構(gòu)造采集函數(shù),采樣函數(shù)在最大概率出現(xiàn)全局最優(yōu)區(qū)域選取新的樣本點,通過不斷迭代更新樣本點,使目標函數(shù)最小的全局優(yōu)化算法[18-19]。

貝葉斯優(yōu)化的核心是概率代理模型和采集函數(shù)的選取,常用的概率代理模型主要有高斯過程(gaussian process,GP),樹形Parzen估計器(tree parzen estimator,TPE),由于TPE相較于GP在效率和精度上均有提高,采用TPE作為貝葉斯優(yōu)化的概率代理模型,其定義為

(8)

式(8)中:p(c|q)為模型損失函數(shù)為q,超參數(shù)為c的后驗概率;c為超參數(shù)組合;q為目標函數(shù)評價目標值;q*為目標函數(shù)評價最大值;t(c)為觀測值ci損失函數(shù)小于q*時的概率密度;u(c)為觀測值ci損失函數(shù)大于q*時的概率密度。

采集函數(shù)主要用來衡量觀測點對函數(shù)擬合的影響并選取影響最大的點進行下一步觀測,采集函數(shù)采用期望增量(expected increment,EI),其定義為

(9)

式(9)中:γ=p(q

1.3 BiGRU原理

門控循環(huán)單元(GRU)由Cho等[20]在2014年提出,相比RNN的另一種變體長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)它具有快速收斂和參數(shù)更少的優(yōu)點,在保證預(yù)測性能的前提下,簡化了復(fù)雜的結(jié)構(gòu),提高了運算速度。因此,GRU更簡單、更有效。該網(wǎng)絡(luò)能夠?qū)W習(xí)時間序列的長期依賴關(guān)系,并對于時間序列相關(guān)問題的解決具有獨特優(yōu)勢。

GRU網(wǎng)絡(luò)主要由復(fù)位門和更新門組成,其單元結(jié)構(gòu)如圖1所示。

ht為隱藏層的輸出;xt為當前時刻輸入;σ、tanh分別為Sigmoid激活函數(shù)和激活函數(shù)圖1 GRU單元結(jié)構(gòu)Fig.1 Structure of GRU unit

rt=σ(Wrht-1+Urxt+br)

(10)

(11)

式中:Wr、Wh為不同門控機制對當前時刻輸入xt的權(quán)重;Ur、Uh為不同門控機制對隱藏層輸入ht的權(quán)重;br、bh為偏置向量。

zt=tanh(Wzht-1+Uzxt+bz)

(12)

(13)

式中:Wz為不同門控機制對當前時刻輸入xt的權(quán)重;Uz為不同門控機制對隱藏層輸入ht的權(quán)重;bz為偏置向量。

GRU網(wǎng)絡(luò)記憶功能強大,但其預(yù)測只依賴于之前所有時刻的信息規(guī)律,而輸出也與未來時刻的信息有一定關(guān)系。雙向門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)BiGRU是傳統(tǒng)GRU的改進,通過結(jié)合一個前向GRU層,與一個后向GRU層組成,可以充分學(xué)習(xí)數(shù)據(jù)的前后信息特征,其結(jié)構(gòu)如圖2所示。

表示從初始到最終時刻正向計算隱藏層的狀態(tài);表示從最終到初始時刻反向計算隱藏層的狀態(tài)圖2 BiGRU網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 BiGRU network structure

最終結(jié)合前向?qū)优c后向?qū)虞敵鼋Y(jié)果,得到相應(yīng)時刻的輸出結(jié)果yt,相應(yīng)表達式分別為

(14)

(15)

(16)

式中:f1、f2、f3為不同層間的激活函數(shù);ω1～ω6為各層相應(yīng)權(quán)重。

2 CEEMDAN-BO-BiGRU多步預(yù)測模型構(gòu)建

2.1 組合模型構(gòu)建

為消除礦井涌水量數(shù)據(jù)波動所帶來的預(yù)測誤差和進一步提高BiGRU模型的預(yù)測精度,將3種算法進行組合,構(gòu)建CEEMDAN-BO-BiGRU組合模型。首先將礦井水量序列數(shù)據(jù)進行分解,得到有限個IMF分量。然后將各分量依次代入BiGRU模型,利用貝葉斯優(yōu)化確定模型最優(yōu)參數(shù),提高模型預(yù)測的準確性,最后對各IMF分量進行預(yù)測,并將各分量預(yù)測結(jié)果相加得到最終涌水量預(yù)測結(jié)果。具體步驟如下,流程圖如圖3所示。

圖3 CEEMDAN-BO-BiGRU組合模型結(jié)構(gòu)圖Fig.3 CEEMDAN-BO-BiGRU combined model structure

步驟1針對礦井涌水量的隨機性和不穩(wěn)定性利用CEEMDAN對礦井涌水量序列數(shù)據(jù)進行分解得到若干個平穩(wěn)且具有規(guī)律性的分量IMF和殘差余量。

步驟2構(gòu)建BiGRU,本次采用python3.10語言環(huán)境與tensorflow2.9.1框架下進行BiGRU網(wǎng)絡(luò)模型構(gòu)建如圖4所示,主要由一層BiGRU層,一層Dropout層,兩層Dense層構(gòu)成。其中Dropout層可以避免模型過擬合,提升泛化能力;Dense層為全連接層,最后一層全連接層通過轉(zhuǎn)換輸出維度得到最終的預(yù)測結(jié)果。該模型隱藏層激活函數(shù)采用Relu激活函數(shù),優(yōu)化器采用Adam優(yōu)化器,損失函數(shù)采用MSE。

圖4 BiGRU模型結(jié)構(gòu)Fig.4 BiGRU model structure

步驟3對各分量進行歸一化處理,然后采用滑動窗口以一定步長n對各分量進行劃分,如式(17)所示,把前n時刻的數(shù)據(jù)(xt-n,xt-n-1,…,xt-1)做為輸入,第n+1時刻數(shù)據(jù)xt作為輸出,構(gòu)建監(jiān)督學(xué)習(xí)模型BiGRU訓(xùn)練輸入集與輸出集,由于各分量數(shù)據(jù)規(guī)律存在差異,為使預(yù)測結(jié)果更準確,因此采用貝葉斯優(yōu)化確定各分量最優(yōu)模型輸入步長n。

(17)

步驟4確定貝葉斯優(yōu)化采樣點個數(shù)與迭代次數(shù),將所構(gòu)建模型的學(xué)習(xí)率、隱藏層神經(jīng)元個數(shù)、迭代次數(shù)、滑動窗口步長設(shè)為尋優(yōu)超參數(shù)并設(shè)值參數(shù)尋優(yōu)范圍。把各分量訓(xùn)練集及超參數(shù)的初始采樣點代入步驟3構(gòu)建的BiGRU模型進行訓(xùn)練,以測試集的均方根誤差作為目標函數(shù)輸出,由式(8)和式(9)迭代更新得到各分量基于BiGRU模型關(guān)于學(xué)習(xí)率、隱藏層神經(jīng)元個數(shù)、迭代次數(shù)、滑動窗口步長的最優(yōu)超參數(shù)組合,以此構(gòu)建BO-BiGRU模型。

步驟5利用BO-BiGRU模型及其對應(yīng)分量進行訓(xùn)練及預(yù)測,將各分量結(jié)果相加得到最終涌水量預(yù)測結(jié)果,之后采用平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)和平均絕對百分比誤差(mean absolute percentage error,MAPE)對CEEMDAN-BO-BiGRU涌水量預(yù)測模型預(yù)測精度進行評價,各評價指標表達式分別為

(18)

(19)

(20)

2.2 遞歸多步預(yù)測過程

采用遞歸策略進行涌水量多部預(yù)測,首先利用上述構(gòu)建模型進行預(yù)測輸出xt+1,得到超前一步預(yù)測結(jié)果;然后將一步預(yù)測結(jié)果xt+1與前n-1步數(shù)據(jù)結(jié)合作為歷史數(shù)據(jù),輸入模型得到超前兩步預(yù)測結(jié)果xt+2,以此類推得到超前三步預(yù)測結(jié)果,其過程如圖5所示。

圖5 遞歸多部預(yù)測過程圖Fig.5 Recursive multi-part prediction process diagram

3 實例分析

3.1 涌水量數(shù)據(jù)選取及預(yù)處理

陜西彬長小莊礦業(yè)有限公司位于陜西省咸陽市彬長礦區(qū)中部,隸屬于陜西彬長礦業(yè)集團有限公司。井田面積約46.227 5 km2,主采4煤層,生產(chǎn)能力6×106t/a,礦井充水水源主要為大氣降水、地表水和側(cè)向補給等。本次實驗數(shù)據(jù)采集該礦2019年2月12日—2019年12月31日礦井單位涌水量日監(jiān)測數(shù)據(jù),共201條,如圖6所示,把2019年2月12日—2019年7月22日數(shù)據(jù)作為訓(xùn)練集,2019年7月23日—2019年8月31日劃分為測試集,并利用以上數(shù)據(jù)進行建模與驗證。

圖6 礦井涌水量序列圖Fig.6 Sequence diagram of mine water surge

從圖6中可以看出,小莊礦井涌水量數(shù)據(jù)波動大,平穩(wěn)性差,礦井涌水量最大值為1 217.33 m3/h,最小值為692.25 m3/h,采用原始序列進行模型預(yù)測較困難,因此利用CEEMDAN方法對于礦井涌水量進行降噪和分解,最終分解為5個IMF分量和一個殘差分量,其結(jié)果如圖7所示,可以看出,分解后各分量更平穩(wěn),波動性更小,有利于BiGRU神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。

圖7 涌水量CEEMDAN分解結(jié)果Fig.7 CEEMDAN decomposition results of the influx of water

3.2 貝葉斯超參數(shù)優(yōu)化

為進一步提高BiGRU模型預(yù)測精度,分別利用貝葉斯優(yōu)化對以上6個涌水量子分量建立BO-BiGRU模型。首先劃分合理的參數(shù)尋優(yōu)范圍,如表1所示,并設(shè)置貝葉斯優(yōu)化迭代周期為200;然后利用貝葉斯優(yōu)化算法對BiGRU模型超參數(shù)進行優(yōu)化。經(jīng)過優(yōu)化,得到各分量最優(yōu)參數(shù)組如表2所示。

表1 超參數(shù)約束條件Table 1 Hyperparameter constraints

表2 各分量參數(shù)優(yōu)化結(jié)果Table 2 Optimization results of each IMF component parameter

3.3 涌水量預(yù)測結(jié)果分析

利用BO-BiGRU模型對與其對應(yīng)的IMF分別進行遞歸三步預(yù)測,將各個 IMF和殘差分量(residual components, Res)預(yù)測結(jié)果加和最終得到的未來1～3 d日單位涌水量預(yù)測結(jié)果,如圖8所示?？梢钥闯?CEEMDAN-BO-BiGRU模型在單步及多步預(yù)測對于涌水量的變化趨勢均可以有效跟隨,且預(yù)測誤差較為平穩(wěn)。為說明CEEMDAN-BO-BiGRU模型的實用性,將預(yù)測結(jié)果與CEEMDAN-BiGRU模型、BiGRU模型、BP神經(jīng)網(wǎng)絡(luò),SVM進行對比實驗,各模型未來1～3 d預(yù)測結(jié)果對比如圖9所示。

圖8 1～3步涌水量預(yù)測結(jié)果與真實值對比圖Fig.8 1 to 3 step surge prediction results and the real value of the comparison chart

圖9 各模型涌水量預(yù)測結(jié)果對比Fig.9 Comparison of the predicted results of each model surge

可以看出,CEEMDAN-BO-BiGRU模型在單步及多步預(yù)測對于涌水量的變化趨勢均可以有效跟隨,但隨著預(yù)測步數(shù)的增加,決定系數(shù)R2減小,即預(yù)測誤差逐步增大,這是由于遞歸多部預(yù)測采用前一步預(yù)測值作為真實值對后一步進行預(yù)測,產(chǎn)生的預(yù)測誤差累積造成的。對于采用CEEMDAN方法的模型在進行一步預(yù)測時對真實值均有較好的擬合,且沒有明顯的滯后顯現(xiàn),預(yù)測誤差相對平穩(wěn),沒有較大波動,尤其在數(shù)據(jù)變化較大的時候也有很好的跟隨性,在2步和3步預(yù)測也可以較好預(yù)測真實值,而BiGRU模型,BP神經(jīng)網(wǎng)路,SVM不僅誤差大而且存在明顯的延遲現(xiàn)象,預(yù)測效果差,這是由于通過CEEMDAN方法的分解可以解釋原始數(shù)據(jù)在不同時間頻率下的周期變化規(guī)律,減少涌水量數(shù)據(jù)的非平穩(wěn)性與隨機波動性,解決了BiGRU存在的預(yù)測滯后現(xiàn)象,提高預(yù)測精度。

針對各模型預(yù)測效果,采用MAE、RMSE、MAPE進一步對模型預(yù)測精度進行評價,其結(jié)果如表3所示,可以看出,CEEMDAN-BO-BiGRU 相比CEEMDAN-BiGRU預(yù)測誤差略有降低,表明貝葉斯優(yōu)化對模型參數(shù)進行尋優(yōu)也在一定程度提升了預(yù)測精度。綜合來看本文提出的CEEMDAN-BO-BiGRU模型涌水量對未來1～3步預(yù)測結(jié)果MAE、RMSE與MAPE均最小,擁有最好的預(yù)測效果。由此可見,CEEMDAN-BO-BiGRU模型可以有效學(xué)習(xí)礦井涌水量數(shù)據(jù)的歷史時刻的深層次特征信息進行預(yù)測,使其具有較高的預(yù)測精度。

表3 幾種模型評價指標比較Table 3 Comparison of several model evaluation indexes

4 結(jié)論

針對涌水量不穩(wěn)定性及隨機波動性,建立一種CEEMDAN-BO-BiGRU的礦井涌水量預(yù)測方法,利用彬長礦區(qū)小莊煤礦礦井涌水量數(shù)據(jù)對未來3步進行預(yù)測及對比分析。通過驗證得到以下結(jié)論。

(1)通過CEEMDAN分解礦井涌水量時間序列之后再預(yù)測,可以將復(fù)雜的涌水量數(shù)據(jù)分解為多個平穩(wěn)的子分量,減少數(shù)據(jù)不穩(wěn)定性即波動性所帶來的誤差,解決了BiGRU存在的預(yù)測滯后現(xiàn)象,提高模型預(yù)測精度。

(2)采用貝葉斯優(yōu)化算法對BiGRU模型超參數(shù)組合進行尋優(yōu),對于模型的預(yù)測精度在一定程度上有所提升。

(3)通過模型對比,CEEMDAN-BO-BiGRU可以充分挖掘和學(xué)習(xí)礦井涌水量歷史信息隱藏變化規(guī)律,對未來礦井涌水量1步進行準確預(yù)測,對2～3步進行較準確預(yù)測。該方法可應(yīng)用于礦井涌水量短期預(yù)測,為礦井防治水提供依據(jù)。

(4)總體上該方法隨著預(yù)測步數(shù)增加,預(yù)測精度受影響變大,在今后的研究中可以通過引入涌水量相關(guān)因素,在模型中增加注意力機制,進一步減小多步預(yù)測誤差。