基于PSO-Adam-GRU的煤礦瓦斯?jié)舛阮A(yù)測模型

馬莉 潘少波 代新冠 宋爽 石新莉

摘?要：煤礦瓦斯?jié)舛鹊木珳?zhǔn)預(yù)測是礦井瓦斯防治的關(guān)鍵。為了準(zhǔn)確可靠地預(yù)測工作面瓦斯?jié)舛?，提出了一種基于門控循環(huán)單元方法的工作面瓦斯?jié)舛阮A(yù)測模型。采用鄰近均值法對數(shù)據(jù)缺失值和異常值進(jìn)行補(bǔ)全，采用MinMaxScaler方法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行歸一化處理，為了提高模型精度和穩(wěn)定性，采用粒子群算法和Adam算法對GRU超參數(shù)進(jìn)行優(yōu)化，從而構(gòu)建了基于PSO-Adam-GRU的工作面瓦斯?jié)舛阮A(yù)測模型。以崔家溝煤礦生產(chǎn)監(jiān)測數(shù)據(jù)為樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練，采用平均絕對誤差、均方根誤差、運(yùn)行時間3種評價指標(biāo)對預(yù)測模型性能進(jìn)行評估，并將預(yù)測結(jié)果與BPNN和LSTM進(jìn)行對比。結(jié)果表明：PSO-Adam-GRU較BPNN和LSTM具有更高的精度和穩(wěn)定性，在預(yù)測過程中MAE可降低到0.058，RMSE可降低到0.005.結(jié)果表明，基于PSO-Adam-GRU的瓦斯?jié)舛阮A(yù)測模型和參數(shù)優(yōu)選方法可有效預(yù)測出瓦斯?jié)舛龋撃Ｐ驮谕咚節(jié)舛葧r間序列預(yù)測方面具有更高的準(zhǔn)確性和魯棒性，可為礦井瓦斯治理提供一定指導(dǎo)意見。

關(guān)鍵詞：煤礦安全;瓦斯?jié)舛阮A(yù)測;門控循環(huán)單元;粒子群算法

中圖分類號：TD 713

文獻(xiàn)標(biāo)志碼：A

文章編號：1672-9315（2020）02-0363-06

DOI：10.13800/j.cnki.xakjdxxb.2020.0224開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Gas concentration prediction model of working

face based on PSO-Adam-GRU

MA Li1，PAN Shao-bo 1，DAI Xin-guan1，SONG Shuang 2，SHI Xin-li 1

（1.College of Communication and InformationEngineering，Xian University of Science and Technology，Xian 710054，China;

2.College of Energy Science and Engineering，Xian University of Science and Technology，Xian 710054，China）Abstract：The accurate prediction of coal mine gas concentration is the key to mine gas prevention and control.Topredict the gas concentration of the working face

accurately and reliably，a gas concentration prediction model based on gate recurrent unit was proposed，the data missing value and outlier value were complemented by the neighboring mean method，and the experimental data was normalized by MinMaxScaler method.In order to improve the accuracy and stability of the model，the PSO and Adam algorithm are used to calculate the GRU hyperparameter Optimization，so as to construct a PSO-Adam-GRU gas concentration prediction model of working surface.

It takes Cuijiagou coal mine monitoring data as sample data for model training，and the performance of the prediction model was evaluated by the Mean Absolute Error，Root Mean Square Error and running time，Then the prediction results were compared with BPNN and LSTM methods.The experimental results show that GRU has higher precision and stability than BPNN and LSTM method，the MAE can be reduced to 0.058 during the prediction process，and the RMSE can be reduced to 0.005.The results indicate that the gas concentration prediction model and parameter optimization method based on PSO-Adam-GRU can effectively predict the gas concentration，the model has higher accuracy and robustness in gas concentration time series prediction，which can be provide some guidance for gas control in mine.

Key words：coal mine safety;gas concentration prediction;GRU;PSO

0?引?言

瓦斯?jié)舛阮A(yù)測對煤礦安全生產(chǎn)管理有重要意義，而瓦斯?jié)舛茸兓c煤礦井下溫度、風(fēng)流等多種因素相關(guān)，變化趨勢較復(fù)雜，很難通過線性關(guān)系對瓦斯變化趨勢進(jìn)行描述和預(yù)測。而瓦斯?jié)舛葦?shù)據(jù)作為一種流數(shù)據(jù)，在時間上具有天然的連續(xù)性，可以理解為這種數(shù)據(jù)在前后時間序列上具有較強(qiáng)的相關(guān)性和因果性。因此，通過門控循環(huán)單元對基于時間序列的瓦斯數(shù)據(jù)變化趨勢進(jìn)行預(yù)測分析，實(shí)現(xiàn)瓦斯?jié)舛葍?nèi)在關(guān)聯(lián)關(guān)系的自動挖掘，通過對模型參數(shù)的不斷調(diào)試，實(shí)現(xiàn)煤礦瓦斯?jié)舛鹊母呔阮A(yù)測，為煤礦安全管理提供一定的決策依據(jù)。

針對瓦斯?jié)舛阮A(yù)測問題，國內(nèi)外專家做了大量的研究工作，其中付華、錢建生、郭瑞圍繞支持向量機(jī)（SVM）構(gòu)建了瓦斯預(yù)測模型[1-3];劉奕君、姜雷采用神經(jīng)網(wǎng)絡(luò)進(jìn)行了瓦斯?jié)舛阮A(yù)測的研究[4-5];此外一些專家采用馬爾科夫模型[6]、多元分布滯后模型[7]、插值梯形模糊信息?；确椒ㄟM(jìn)行瓦斯?jié)舛鹊念A(yù)測[8]。以上的瓦斯?jié)舛阮A(yù)測方法在瓦斯?jié)舛阮A(yù)測的準(zhǔn)確性和可靠性上都有很大的提高，但是研究數(shù)據(jù)樣本偏小、時間跨度短，在其他場景應(yīng)用上具有一定的局限性，難以適應(yīng)變化趨勢復(fù)雜的瓦斯?jié)舛刃蛄小?/p>

近年來，隨著大數(shù)據(jù)和人工智能的發(fā)展，門控循環(huán)單元（Gated Recurrent Unit，GRU）在人體運(yùn)動預(yù)測[9-10]、能源預(yù)測[11-12]、智能制造[13]、交通管理[14]等方面都取得了很好的應(yīng)用。GRU是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，其最大的特點(diǎn)在于上一次迭代的輸出結(jié)果與下一次處理之后的輸出結(jié)果密切相關(guān)，因此GRU適用于處理在時間上連續(xù)且相互影響的數(shù)據(jù)。針對傳統(tǒng)技術(shù)所存在的問題和瓦斯?jié)舛葧r間序列的特點(diǎn)，結(jié)合GRU處理時間序列數(shù)據(jù)的優(yōu)越性，實(shí)現(xiàn)基于GRU的遞歸神經(jīng)網(wǎng)絡(luò)瓦斯?jié)舛阮A(yù)測模型，根據(jù)瓦斯?jié)舛鹊臅r空相關(guān)性實(shí)現(xiàn)時間序列縮放處理，利用實(shí)測監(jiān)控數(shù)據(jù)完成模型的驗(yàn)證和分析，同時能根據(jù)預(yù)測精度進(jìn)行自適應(yīng)更新，使得瓦斯?jié)舛阮A(yù)測在保證精度和時效性的前提下獲得更好的實(shí)用性和擴(kuò)展性。

1?理論與建模

1.1?門控循環(huán)單元

GRU是LSTM的優(yōu)秀變體，由更新門和重置門2部分組成，較LSTM含有更少的參數(shù)，因此更易于訓(xùn)練和緩解過擬合問題。其結(jié)構(gòu)單元如圖1所示。

GRU結(jié)構(gòu)單元的運(yùn)行原理公式如式（1）～（4）所示。

1）更新門：確定上一隱藏層狀態(tài)中記憶信息。

2）重置門：確定上一時刻隱藏層中遺忘信息。

3）確定當(dāng)前記憶內(nèi)容

4）確定當(dāng)前時刻隱藏層保留的信息

式中?W和U為權(quán)重;t和t-1為時刻;σ為Sigmoid函數(shù);h為隱藏層狀態(tài);x為輸入信息，[·]j為向量的第j個元素。

1.2?粒子群優(yōu)化算法

網(wǎng)格搜索法（Grid Search）[15-16]是一種指定參數(shù)窮舉搜索的方法，是將估計的參數(shù)通過交叉驗(yàn)證的方法進(jìn)行優(yōu)化，以此得到最優(yōu)參數(shù)的學(xué)習(xí)算法。即將各個參數(shù)的可能值進(jìn)行自由排列組合，列舉出所有可能的組合結(jié)果生成“網(wǎng)格”。網(wǎng)格的數(shù)量決定了模型的計算精度和運(yùn)算成本，通常網(wǎng)格越密集精準(zhǔn)度越高，運(yùn)行成本越高 。但是當(dāng)搜索參數(shù)設(shè)定的區(qū)間足夠大時，且搜索步長足夠小時，則需要較大的代價去尋找最優(yōu)解。因此本論文采用粒子群優(yōu)化算法（PSO）[17]，它是先確定一個小范圍的“優(yōu)質(zhì)”參數(shù)搜索區(qū)間，然后在此區(qū)間中再進(jìn)行小步長的精準(zhǔn)搜索，從而降低運(yùn)行成本，提高模型精準(zhǔn)率。其運(yùn)行原理如圖2所示。

1.3?工作面瓦斯?jié)舛阮A(yù)測模型構(gòu)建

根據(jù)Adam[18]原理和PSO優(yōu)化算法，采用PSO-Adam優(yōu)化算法優(yōu)化GRU參數(shù)建立工作面瓦斯?jié)舛阮A(yù)測模型的流程如圖3所示?；赑SO-Adam-GRU工作面瓦斯?jié)舛阮A(yù)測模型可分為3個步驟：輸入層的數(shù)據(jù)處理、隱藏層的PSO-Adam優(yōu)化訓(xùn)練和輸出層的數(shù)據(jù)預(yù)測。其中隱藏層的PSO-Adam訓(xùn)練過程包括PSO全局優(yōu)化和Adam局部優(yōu)化，在全局優(yōu)化階段，采用PSO將訓(xùn)練初始點(diǎn)優(yōu)化到全局最優(yōu)解的鄰域，以此降低運(yùn)行成本和提高精準(zhǔn)度;在局部優(yōu)化階段則采用Adam，從而使訓(xùn)練能夠自適應(yīng)的計算每個參數(shù)的學(xué)習(xí)效率，降低參數(shù)選取對模型精度的影響。

2?數(shù)據(jù)預(yù)處理

為保證模型的可靠性與實(shí)用性，選取崔家溝礦工作面2018年7月1至2018年11月2日10 000條生產(chǎn)監(jiān)控數(shù)據(jù)為研究基礎(chǔ)。該數(shù)據(jù)包括10個變量：抽采濃度、混合流量、累計抽采日流量、純流量、上隅角瓦斯?jié)舛?、回風(fēng)流瓦斯?jié)舛?、工作面風(fēng)量、溫度、抽采負(fù)壓、工作面瓦斯?jié)舛取Ｊ紫?，對原始?shù)據(jù)進(jìn)行清洗，采用鄰近均值法對數(shù)據(jù)缺失值和異常值進(jìn)行補(bǔ)全。其次，對數(shù)據(jù)進(jìn)行劃分，將數(shù)據(jù)以7∶3劃分為訓(xùn)練集和測試集，其中訓(xùn)練集用于模型訓(xùn)練，測試集用于檢驗(yàn)?zāi)Ｐ蛯W(xué)習(xí)效果。最后，針對數(shù)據(jù)中包含不同量綱的特征值和目標(biāo)特征值變化較小的特點(diǎn)，采用MinMaxScaler方法對數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)縮放到[0，1]，以此提高數(shù)據(jù)的運(yùn)行效率和預(yù)測的精度。原始數(shù)據(jù)和處理后的數(shù)據(jù)如圖4和圖5所示，MinMaxS-caler運(yùn)行原理如式（5）～（6）所示。

式中?Xstd為將X歸一化到[0，1]之間;

XMin為列最小值;

Max，Min為MinMaxScaler最終結(jié)果大小范圍。

3?結(jié)果與分析

3.1?評價指標(biāo)

為保證模型預(yù)測的性能，在相同實(shí)驗(yàn)樣本的前提下利用PSO-Adam-GRU，BP[19]?和LSTM[20]對工作面瓦斯?jié)舛冗M(jìn)行模型訓(xùn)練和分析。同時采用平均絕對誤差（MAE）、均方根誤差（RMSE）、運(yùn)行時間3種評價指標(biāo)對預(yù)測模型性能進(jìn)行評估。其運(yùn)行公式如式（7）～（8）所示。

式中?fi為瓦斯?jié)舛阮A(yù)測值;yi為瓦斯?jié)舛日鎸?shí)值。

3.2?模型對比分析

根據(jù)PSO-Adam-GRU模型算法設(shè)計，PSO對GRU的尋優(yōu)結(jié)果為batch=20，神經(jīng)元數(shù)量=128，learning_rating=0.01，Dropout=0.1，采用兩層的隱藏層結(jié)構(gòu)。此外，采用相同參數(shù)下的LSTM網(wǎng)絡(luò)，兩層隱藏層結(jié)構(gòu)的BP網(wǎng)絡(luò)分別建立工作面瓦斯?jié)舛阮A(yù)測模型。本實(shí)驗(yàn)搭建環(huán)境：CPU（i7-8700），顯卡（七彩虹-2080），內(nèi)存（32 G）。采用Keras[21]深度學(xué)習(xí)框架進(jìn)行開發(fā)。

上述3種模型的測試結(jié)果性能對比如圖6和圖7所示。從圖6可以看出，GRU在測試平均絕對誤差和均方根誤差上都優(yōu)于BP和LSTM預(yù)測模型，同時GRU的測試誤差分別集中在0.06～0.08和0.005～0.010，誤差離散更少、范圍更小，具有更高的穩(wěn)定性。從圖7可以看出，GRU的誤差曲線收斂速度更快，同時可收斂到更優(yōu)的梯度解。表1為3種預(yù)測模型詳細(xì)的性能對比，由表1可得，GRU所消耗的運(yùn)行成本更低為112 s，平均絕對誤差可降低到0.058，均方根誤差可降低到0.005，具有更高的精度。其原因?yàn)椋篏RU中含有更新門和重置門，較傳統(tǒng)的BP網(wǎng)絡(luò)更適合處理關(guān)聯(lián)性較強(qiáng)的瓦斯?jié)舛葧r間序列;此外相比于LSTM預(yù)測模型，GRU含有更少的參數(shù)，在降低運(yùn)行成本的同時，降低了過擬合問題的可能性。

4?結(jié)?論

1）采用PSO-Adam算法優(yōu)化GRU模型參數(shù)，以煤礦生產(chǎn)監(jiān)控數(shù)據(jù)為基礎(chǔ)建立瓦斯?jié)舛阮A(yù)測的PSO-Adam-GRU模型，并與傳統(tǒng)的BP模型、LSTM模型進(jìn)行對比分析。

2）采用MinMaxScaler方法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，消除不同特征之間不同量級之間的影響，可有效的提高數(shù)據(jù)質(zhì)量、提高模型收斂速度。

3）PSO-Adam-GRU預(yù)測模型相比LSTM和BP網(wǎng)絡(luò)具有更高的預(yù)測精度和穩(wěn)定性，更適用于工作面瓦斯?jié)舛葧r間序列的預(yù)測。

參考文獻(xiàn)（References）：

[1] 付?華，代?巍.基于ACPSO的PSR-MK-LSSVM瓦斯?jié)舛葎討B(tài)預(yù)測方法[J].傳感技術(shù)學(xué)報，2016，29（6）：903-908.

FU Hua，DAI Wei.A dynamic prediction method of gas concentration in PSR-MK-LSSVM based on ACPSO[J].Journal of Transduction Technology，2016，29（6）：903-908.

[2]錢建生.深度學(xué)習(xí)耦合粒子群優(yōu)化SVM的瓦斯?jié)舛阮A(yù)測[J].煤礦安全，2016，47（11）：173-176.

QIAN Jian-sheng.Gas concentration prediction of deep learning coupled particle swarm optimization SVM[J].Safety in Coal Mines，2016，47（11）：173-176.

[3]郭?瑞，徐廣璐.基于信息融合與GA-SVM的煤礦瓦斯?jié)舛榷鄠鞲衅黝A(yù)測模型研究[J].中國安全科學(xué)學(xué)報，2013，23（9）：33-38.

GUO Rui，XU Guang-lu.Research on multi-sensor prediction model of coal mine gas concentration based on information fusion and GA-SVM[J].Chinese Journal of Safety Science，2013，23（9）：33-38.

[4]

劉奕君，趙?強(qiáng)，郝文利.基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測研究[J].礦業(yè)安全與環(huán)保，2015，42（2）：56-60.

LIU Yi-jun，ZHAO Qiang，HAO Wen-li.Study on gas concentration prediction based on genetic algorithm optimized BP neural network[J].Mining Safety & Environmental Protection，2015，42（2）：56-60.

[5]姜?雷.基于BP神經(jīng)網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測模型構(gòu)建及仿真[J].礦業(yè)安全與環(huán)保，2010，37（4）：37-39.

JIANG Lei.Construction and simulation of coal mine gas concentration prediction model based on BP neural network[J].Mining Safety & Environmental Protection，2010，37（4）：37-39.

[6]韓婷婷，吳世躍，王鵬軍.基于馬爾科夫殘差修正的瓦斯?jié)舛阮A(yù)測[J].工礦自動化，2014，40（3）：28-31.

HAN Ting-ting，WU Shi-yue，WANG Peng-jun.Prediction of gas concentration based on markov residual correction[J].Industrial and Mining Automation，2014，40（3）：28-31.

[7]楊?麗，劉?暉，毛善君，等.基于多元分布滯后模型的瓦斯?jié)舛葎討B(tài)預(yù)測[J].中國礦業(yè)大學(xué)學(xué)報，2016，45（3）：455-461.

YANG Li，LIU Hui，MAO Shan-jun，et al.Dynamic prediction of gas concentration based on multivariate distributed lag model[J].Journal of China University of Mining & Technology，2016，45（3）：455-461.

[8]

吳兆法，吳?響，錢建生.基于插值梯形模糊信息粒化的瓦斯?jié)舛融厔蓊A(yù)測[J].工礦自動化，2014，40（12）：31-36.

WU Zhao-fa，WU Xiang，QIAN Jian-sheng.Trend prediction of gas concentration based on interpolation trapezoidal fuzzy information granulation[J].Industrial Automation，2014，40（12）：31-36.

[9]桑海峰，陳紫珍.基于雙向門控循環(huán)單元3D人體運(yùn)動預(yù)測[J].電子與信息學(xué)報，2019，41（9）：2256-2263.

SANG Hai-feng，CHEN Zi-zhen.3D Human motion prediction based on two-way gated cyclic unit[J].Journal of Electronics & Information Technology，2019，41（9）：2256-2263.

[10]桑海峰，陳紫珍，何大闊.基于雙向GRU和注意力機(jī)制模型的人體動作預(yù)測[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2019，31（7）：1166-1174.

SANG Hai-feng，CHEN Zi-zhen，HE Da-kuo.Human motion prediction based on two-way GRU and attention mechanism model[J].Journal of Computer-Aided Design & Computer Graphics，2019，31（7）：1166-1174.

[11]王增平，趙?兵.基于GRU-NN模型短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2019，43（5）：53-62.

WANG Zeng-ping，ZHAO Bing.Short term load forecasting method based on GRU-NN model[J].Automation of Electric Power Systems，2019，43（5）：53-62.

[12]

牛哲文，余澤遠(yuǎn)，李?波，等.基于深度門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的短期風(fēng)功率預(yù)測模型[J].電力自動化設(shè)備，2018，38（5）：36-42.

NIU Zhe-wen，YU Ze-yuan，LI Bo，et al.A short-term wind power prediction model based on neural network with deep gated loop unit[J].Electric Power Automation Equipment，2018，38（5）：36-42.

[13]WANG Jin-jiang，YAN Jian-xing，

CHEN，et al.Deep heterogeneous GRU model for predictive analytics in smart manufacturing：Application to tool wear prediction[J].Computers in Industry，2019，111：1-14.

[14]Bert Dijk，Bruno F Santos，Joao P Pita.The recoverable robust stand allocation problem：a GRU airport case study[J].OR Spectrum，2019，41（3）：615-639.

[15]Mehdi Poorabdollah，Arezoo Kamran.Optimising cure cycle of unsaturated polyester nanocomposites using directed grid search method[J].Polymers & AMP，Polymer Composites，2019，27（5）：253-261.

[16]Hatem A，F(xiàn)ayed，Amir F Atiya.Speed up grid-search for parameter selection of support vector machines[J].Applied Soft Computing Journal，2019，80：202-210.

[17]

Boukhalfa Ghoulemallah，Belkacem Sebti，Chikhi Abdesselem，et al.Application of fuzzy PID controller based on genetic algorithm and particle swarm optimization in direct torque control of double star induction motor[J].Journal of Central South University，2019，26（7）：1886-1896.

[18]

CHANG Zi-han，ZHANG Yang，CHEN Wen-bo.Electricity price prediction based on hybrid model of adam optimized LSTM neural network and wavelet transform[J].Energy，2019：1-12.

[19]

WANG Liang，WANG Guang-wei，NING Xiao-jun，et al.Application of BP neural network to the prediction of coal ash melting characteristic temperature[J].Fuel，2020：1-8.

[20]

GENG Zhi-qiang，CHEN Guo-fei，HAN Yong-ming，et al.Semantic relation extraction using sequential and tree-structured LSTM with attention[J].Information Sciences，2020，509：182-192.

[21]

Fan H B，Liu W F，Wu J P et al.E

cosystem carbon pools in mixed stands of hardwood species and masson pine/Takungan karbon ekosistem dirian campur spesies kayu keras dan pain Masson[J].Journal of Tropical Forest Science，2013，25（2）：154-165.