基于CNN-Bi-LSTM模型的煤含水率預測研究

劉 強，李 娜，張 淼，李 昊，劉冠佑，張 帆

(1.國家能源投資集團神華黃驊港務(wù)有限責任公司，河北省滄州市，061000；2.中國礦業(yè)大學〈北京〉人工智能學院，北京市海淀區(qū)，100083)

0 引言

2023年8月，國家發(fā)展改革委等部門發(fā)布了關(guān)于印發(fā)《綠色低碳先進技術(shù)示范工程實施方案》的通知，對實施新發(fā)展階段的生態(tài)建設(shè)提出了新要求，作為我國最重要的化石能源之一，煤炭的清潔利用一直是一個熱點問題[1]。在煤炭的開采、運輸、儲存中，水資源的利用對降低煤炭揚塵起著重要的作用[2]。如何做到煤炭堆場含水率的動態(tài)檢測，對合理利用水資源、降低煤炭堆場及周邊污染有著重要意義[3]。

煤炭水分監(jiān)測技術(shù)主要采用微波技術(shù)、核磁共振等非接觸式檢測技術(shù)[4]。王玉曼[5]利用最小二乘支持向量機算法對微波透射煤炭含水率檢測方法進行了修正，進一步提高了檢測精度，近年來深度學習在諸多領(lǐng)域都得到了廣泛應(yīng)用[6-7]，在水分動態(tài)預測方面，深度學習方法多應(yīng)用于土壤、作物、木材等研究對象[8]。另據(jù)研究表明，含水率在時間維度上是一個動態(tài)的連續(xù)過程，相鄰時刻的含水率存在著相互影響，而煤炭露天堆場含水率的變化機理與土壤等物質(zhì)相似，易受到溫度和濕度等氣象因素的影響，在變化趨勢上表現(xiàn)出動態(tài)連續(xù)性[9]。因此，通過獲取大量的煤炭含水率和氣象的時間序列數(shù)據(jù)，可以建立數(shù)據(jù)驅(qū)動的煤炭含水率預測模型。

筆者在露天堆場儲運煤含水率監(jiān)測研究的基礎(chǔ)上，提出了一種新的基于CNN-Bi-LSTM混合網(wǎng)絡(luò)的煤炭含水率預測模型[10]。該模型將基于殘差機制的一維CNN(卷積神經(jīng)網(wǎng)絡(luò))與基于注意力機制的雙向LSTM(長短期神經(jīng)網(wǎng)絡(luò))網(wǎng)絡(luò)(Bi-LSTM)相結(jié)合，融合了CNN的特征提取能力和Bi-LSTM的時間序列特征記憶能力，通過特定區(qū)域氣象等多源數(shù)據(jù)融合分析實現(xiàn)對露天堆場煤炭的含水率趨勢預測，并通過對模型訓練使其學習到氣象數(shù)據(jù)對煤炭含水率的影響，以實現(xiàn)對未來時刻煤炭含水率的動態(tài)預測[11-12]。

1 模型構(gòu)建

為了使網(wǎng)絡(luò)模型能夠正確理解序列數(shù)據(jù)并提取其關(guān)鍵特征，需要構(gòu)建由氣象特征、煤炭含水率特征和時間特征這3部分組成的時間序列數(shù)據(jù)，并基于CNN的數(shù)據(jù)特征提取能力和LSTM的上下文關(guān)聯(lián)能力[13]，提出并建立了CNN-Bi-LSTM混合網(wǎng)絡(luò)結(jié)構(gòu)模型。該模型由殘差機制的一維CNN網(wǎng)絡(luò)、Bi-LSTM網(wǎng)絡(luò)以及注意力結(jié)構(gòu)融合構(gòu)成，由CNN網(wǎng)絡(luò)提取數(shù)據(jù)集關(guān)鍵特征并整理成序列交由Bi-LSTM網(wǎng)絡(luò)進行學習，注意力機制對學習結(jié)果進行附加的權(quán)重分配，以使預測輸出盡可能地接近觀測值，CNN-Bi-LSTM混合模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1、2-恒等映射；3-Bi-LSTM層；4-注意力層；5-輸出層；6、7-一維殘差映射。圖1 CNN-Bi-LSTM混合模型的網(wǎng)絡(luò)結(jié)構(gòu)

基于殘差機制的CNN網(wǎng)絡(luò)結(jié)構(gòu)，通過殘差網(wǎng)絡(luò)在不同卷積層之間加入恒等映射，利用基本殘差塊實現(xiàn)殘差網(wǎng)絡(luò)的聚合與收斂，使CNN網(wǎng)絡(luò)中的數(shù)據(jù)可以跨層流動以克服過度擬合問題，殘差塊的輸出見式(1)：

xl+1=xl+F(xl，{Wl})

(1)

式中：xl+1——殘差塊的輸出；

xl——直接映射部分；

F(xl，{Wl})——要學習的殘差映射部分。

ht=ot×tanh(ct)

(2)

式中：ht——LSTM輸出值；

ot——輸出門輸出；

ct——新的記憶細胞。

其中，當前單元狀態(tài)見式(3)：

(3)

式中：ft——遺忘門的概率向量；

ct-1——前置記憶細胞；

it——遺忘門的概率向量；

其中，遺忘門的輸出見式(4)：

ft=sigmoid(Wxfxt+Whfht-1+bf)

(4)

式中：Wxf——遺忘門賦予xt的權(quán)重；

Whf——遺忘門賦予ht-1的權(quán)重；

xt——當前時間節(jié)點的輸入；

ht-1——上一個時間節(jié)點的輸出；

bf——遺忘門的偏置。

最后，注意力機制對LSTM單元的輸出[h1，h2，…，ht，…，ht]賦不同的權(quán)重，使該模型能夠?qū)π蛄兄械牟煌瑫r間步長給予不同程度的關(guān)注，從而對當前任務(wù)目標選擇更關(guān)鍵的預測信息。

訓練過程以最小化重建誤差為網(wǎng)絡(luò)參數(shù)優(yōu)化目標，重建誤差的目標損失函數(shù)見式(5)：

(5)

式中 ：Loss——目標損失函數(shù)；

y——實際的含水率。

N——數(shù)據(jù)量。

2 實驗驗證

2.1 實驗環(huán)境及模型參數(shù)

為了驗證所提方法的有效性和可靠性，實驗采用戴爾Precision 7920工作站平臺，GPU型號是Nvidia Quadro RTX4000，核心處理器型號為Intel Xeon 4210R×2，處理器主頻2.4 GHz，本地盤存儲大小1 TB，內(nèi)存64 GB，網(wǎng)絡(luò)帶寬是1 Gbps。網(wǎng)絡(luò)模型的訓練使用Facebook深度學習框架pytorch，編程語言采用python3.7，以及基于多GPU并行訓練實現(xiàn)完成。

CNN-Bi-LSTM混合模型的參數(shù)設(shè)置：卷積層尺寸為3；卷積層和池化層激活函數(shù)選擇ReLU激活函數(shù)；LSTM隱含層2層，激活函數(shù)選擇tanh；Dropout為0.3；時間步長為5，批大小為2，初始學習率為0.01；優(yōu)化函數(shù)為Adam，損失函數(shù)為MSE Loss，訓練量為10 000。

根據(jù)CNN-Bi-LSTM混合模型的參數(shù)設(shè)置，實驗中對規(guī)范模型的構(gòu)造如下：輸入訓練集數(shù)據(jù)為三維數(shù)據(jù)向量(2，5，5)，其中第2維度5為時間步長大小，第3維度5為輸入維度的5個特征。首先，數(shù)據(jù)進入帶殘差結(jié)構(gòu)的一維卷積層提取特征，得到三維輸出向量(2，5，128)，其中128為輸出通道數(shù)；接著，該向量進入最大池化層，池化層不改變向量尺寸，得到三維輸出向量(2，5，128)；然后，輸出向量進入帶注意機制的Bi-LSTM層進行訓練，得到二維輸出向量(2，32)，其中32為正向和逆向2層LSTM拼接的大??；最后，進入全連接層得到輸出值，并在LSTM層加入Dropout以防止過擬合。訓練共進行10 000個Epochs，每2 500個Epochs學習率衰減為原來的0.1倍。

2.2 數(shù)據(jù)獲取及預處理

煤炭堆場灑水作業(yè)實驗采集了我國河北黃驊港煤炭轉(zhuǎn)運港口煤炭堆存場2020年6～12月和2021年1～4月的煤炭每小時采樣的含水率數(shù)據(jù)和采樣時刻的氣象數(shù)據(jù)，每天對煤炭堆垛進行多次人工采樣，每隔1 h采樣1次，每次采樣3組。將采集的煤炭采用烘干法獲取含水率后取3組樣本的平均值作為該時刻含水率。氣象數(shù)據(jù)取自堆場內(nèi)部分布的距離采樣堆垛最近的氣象監(jiān)測站，每條氣象數(shù)據(jù)包含溫度、濕度、氣壓、風速4項特征。

在獲取到足量數(shù)據(jù)后，將含水率數(shù)據(jù)和氣象數(shù)據(jù)按時間一致性進行整合，并剔除了受降水、作業(yè)等自然或人為因素影響而產(chǎn)生的異常數(shù)據(jù)，保留了4 350條有效數(shù)據(jù)。為便于模型讀取，利用滑動窗口的方法對有效數(shù)據(jù)進行序列劃分，共產(chǎn)生2 004個長度為5的序列。樣本數(shù)據(jù)包含溫度、空氣濕度、氣壓、風速、上一時刻含水率5項特征，以當前時刻含水率作為標簽。其中，上一時刻含水率即為烘干法獲得的相鄰前一采樣點的煤炭含水率值。最后，將全部序列按照5∶1的比例交叉劃分訓練集和測試集，全年數(shù)據(jù)中的部分訓練數(shù)據(jù)集見表1。

表1 全年數(shù)據(jù)中的部分訓練數(shù)據(jù)集

全年數(shù)據(jù)集中各變量的統(tǒng)計分析結(jié)果見表2。

表2 全年數(shù)據(jù)集中各變量的統(tǒng)計分析結(jié)果

由于數(shù)據(jù)采集的季節(jié)不同，氣象數(shù)據(jù)的變化，尤其是溫度和濕度的變化范圍較大，而煤炭含水率觀測值在0.9%～27%時出現(xiàn)了小范圍的波動，因此增加了精準預測的難度。

2.3 評價指標

為了驗證和評估模型的有效性和性能，本文重點考察了以下5個評價指標。

(1)均方誤差，見式(6)：

(6)

(2)均方根誤差，見式(7)：

(7)

(3)平均絕對值誤差，見式(8)：

(8)

(4)擬合優(yōu)度，見式(9)：

(9)

(5)絕對百分比誤差，見式(10)：

(10)

式中：N——測試集樣本數(shù)量；

yPred——預測值；

y——真實值；

上述指標中，R2方法數(shù)值越接近1，模型的判別度越好。MAE、RMSE、MAE和MAPE的值越接近0，預測精度越高。

3 結(jié)果與討論

為了進一步考察所提出CNN-Bi-LSTM混合模型的可靠性，選擇了支持向量機(SVM)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短時記憶網(wǎng)絡(luò)(LSTM)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)和筆者提出的CNN-Bi-LSTM模型進行對比分析，并采用相同的訓練數(shù)據(jù)集和參數(shù)設(shè)置對各模型進行了訓練。訓練結(jié)束后，利用同一組測試數(shù)據(jù)集對模型進行測試，通過對未來1 h的預測值與觀測值的比較，以評估各模型對煤炭含水率的預測精度[10]。CNN-Bi-LSTM混合模型與其他模型的預測精度比較見表3。

表3 CNN-Bi-LSTM混合模型與其他模型的預測精度比較

由表3可以看出，R2和MAE是表征模型性能的主要指標，其中R2反映了實驗中回歸預測模型整體的擬合度，用于檢測各預測模型對樣本含水率觀測值的擬合程度；MAE反映了所有單個樣本含水率觀測值與算數(shù)平均值的偏差，用于直觀反映實際含水率預測誤差的大小[11]。相較于SVM、RNN、LSTM、CNN模型，筆者所構(gòu)建的CNN-Bi-LSTM混合模型的R2和MAE分別為0.997 1和0.081 2，明顯優(yōu)于其他模型的性能指標，且其MSE、RMSE和MAPE指標性能仍優(yōu)于其他模型，分別達到了0.052 8、0.229 9和1.611 7。

CNN-Bi-LSTM混合模型與其他模型的預測值和觀測值比較如圖2所示。

圖2 CNN-Bi-LSTM混合模型與其他模型的預測值和觀測值比較

由圖2可以看出，隨著模型復雜程度的提高，模型的擬合能力也有不同程度的提高。與SVM、RNN、LSTM和 CNN相比，CNN-Bi-LSTM混合模型的擬合效果明顯好于上述其他模型，其兼顧CNN的特征提取能力和LSTM的序列預測能力在煤炭含水率預測任務(wù)中得到了充分體現(xiàn)。當氣象參數(shù)驟變時會出現(xiàn)個別異常點現(xiàn)象，但各預測模型的適應(yīng)性差別較明顯，其中SVM泛化性最差，RNN、LSTM和CNN泛化性次之，而CNN-Bi-LSTM泛化性最好。

此外，為了分析比較SVM、RNN、LSTM、CNN和CNN-Bi-LSTM模型預測值的絕對誤差情況，研究分析了以上5種模型的絕對誤差分布，并對各模型的MAE分值在每個子圖中進行標注。CNN-Bi-LSTM混合模型與其他模型絕對誤差分析結(jié)果如圖3所示。盡管大部分模型基本都能將絕對誤差控制在[-2，2]范圍內(nèi)，但從表2可以看出，煤炭含水量的存在范圍只有[0.9，27]，標準差僅為4.57，相對而言，筆者提出的預測模型可以將大部分誤差控制在[-0.5，0.5]范圍，預測性能更加優(yōu)越。

圖3 CNN-Bi-LSTM混合模型與其他模型絕對誤差分析

CNN-Bi-LSTM模型結(jié)構(gòu)保證了神經(jīng)網(wǎng)絡(luò)能夠正確理解序列數(shù)據(jù)并提取關(guān)鍵特征，同時在結(jié)構(gòu)上抑制了過擬合問題，保證了網(wǎng)絡(luò)對擾動的魯棒性。

將此模型用于實際生產(chǎn)后，灑水頻率由之前的5～6次/d，降低到2～3次/d；每次灑水量從每次固定60 s，變?yōu)楦鶕?jù)實時預測含水率來控制灑水時長；通過對每個煤種進行單獨預測，對各煤種不同環(huán)境下的含水率下降因素進行獲取，預測后按需灑水，提高灑水量精確度。通過本模型預測的灑水量需求為備水、調(diào)水提供依據(jù)，能夠?qū)崿F(xiàn)調(diào)水、備水一體化管控和聯(lián)動。

4 結(jié)論

(1)提出一種用于預測煤炭含水率的CNN-Bi-LSTM混合模型結(jié)構(gòu)。該模型將殘差結(jié)構(gòu)的一維CNN和基于注意力機制的Bi-LSTM相結(jié)合，融合CNN特征提取能力和Bi-LSTM的時間序列特征記憶能力，以CNN提取的樣本特征作為LSTM的輸入序列，訓練得到最終的預測結(jié)果。

(2)實驗結(jié)果表明，提出的CNN-Bi-LSTM混合模型在預測精度和收斂率上均優(yōu)于常見的回歸預測模型，所有評估指標得分均優(yōu)于其他模型，在煤炭堆垛表層煤炭含水率預測方面取得了優(yōu)異的性能，預測模型具有泛化能力強、收斂速度快、尋優(yōu)精度高的特點。

(3)所提出的煤炭堆垛含水率預測方法，對優(yōu)化儲運煤管控決策、實現(xiàn)儲運煤智能化發(fā)展提供重要的理論參考。在保證模型預測精準度的前提下，解決了傳統(tǒng)監(jiān)測模式存在含水率獲取時間長、檢測精度低和難以動態(tài)監(jiān)測等3個典型問題。

(4)使用基于筆者提出的含水率預測方法建立的灑水管控模型后，煤炭堆場降低了用水量，提升了港口經(jīng)濟效益，減少了煤炭堆場起塵概率，環(huán)境狀況得到了改善。