GSK-XGBoost模型在井底風(fēng)溫預(yù)測中的應(yīng)用*

紀(jì)俊紅，馬銘陽，崔鐵軍，昌潤琪

(遼寧工程技術(shù)大學(xué) 安全科學(xué)與工程學(xué)院，遼寧 葫蘆島125000)

0 引言

隨著我國煤炭開采量的持續(xù)增長，許多礦井的開采條件不斷惡化，其中的礦井熱害對礦工和設(shè)備的危害急劇增加，成為亟待解決的問題。井下工作環(huán)境惡劣，伴有高溫、高濕、有毒氣體，都靠風(fēng)流帶走，因此，風(fēng)流參數(shù)測定的準(zhǔn)確性非常重要。而風(fēng)溫測量在井筒底部就存在測量不準(zhǔn)確的問題，其根源在于，風(fēng)流從井筒經(jīng)過，其間的換熱、傳質(zhì)過程較為復(fù)雜，這一過程，是既包含顯熱交換又包含潛熱交換的復(fù)雜的、動態(tài)的演化過程，傳統(tǒng)方法計算誤差大，研究人員不易掌握[1-3]。

近年來，礦井智能化飛速發(fā)展，機器學(xué)習(xí)算法被廣泛應(yīng)用在瓦斯涌出量預(yù)測、瓦斯?jié)B透率預(yù)測、巖爆指標(biāo)體系預(yù)測等方面[4-8]，為更智能地建立擬合模型，部分學(xué)者嘗試通過機器學(xué)習(xí)算法對淋水井筒的風(fēng)溫進行預(yù)測：呂品等[9]首次建立了基于BP神經(jīng)網(wǎng)絡(luò)的淋水井筒風(fēng)溫預(yù)測模型，對比經(jīng)驗公式模型，提供了新思路；張翔等[10]將粒子群優(yōu)化算法應(yīng)用到BP神經(jīng)網(wǎng)絡(luò)中，對其權(quán)值和閾值進行了優(yōu)化，有效地改善BP神經(jīng)網(wǎng)絡(luò)的局部最優(yōu)；段艷艷[11]利用支持向量機良好的非線性能力，將其應(yīng)用于礦井風(fēng)溫的預(yù)測中，建立了礦井風(fēng)溫預(yù)測支持向量機模型；張群[12]采用trainlm()函數(shù)對BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺陷進行了優(yōu)化，并將其運用到潘三礦進行預(yù)測研究；馬恒等[13]運用T-S模糊神經(jīng)網(wǎng)絡(luò)建立新的預(yù)測模型，無需考慮復(fù)雜多變影響因素的制約，模型預(yù)測精度有所提升。

以上研究不同程度地推動了淋水井筒風(fēng)溫預(yù)測的發(fā)展，但應(yīng)用的算法多為神經(jīng)網(wǎng)絡(luò)模型，而神經(jīng)網(wǎng)絡(luò)模型在運行過程中存在樣本需求量大，易陷入局部最優(yōu)等缺陷。基于此，本文提出GSK-XGBoost模型，該模型中的XGBoost算法在運算時具有精度更高、靈活性更強、對樣本需求量較小等優(yōu)點，更適用于本文這種監(jiān)測點有限、數(shù)據(jù)較少的小樣本風(fēng)溫預(yù)測。針對XGBoost模型超參數(shù)較多復(fù)雜性較大的缺點，采用網(wǎng)格搜索結(jié)合K折交叉驗證對模型優(yōu)化，進行參數(shù)尋優(yōu)，建立網(wǎng)格搜索結(jié)合K折交叉驗證優(yōu)化XGBoost的礦井井底風(fēng)溫預(yù)測模型，并對模型的性能進行評估。經(jīng)實例驗證，GSK-XGBoost模型更適用于井底風(fēng)溫的預(yù)測，為井底風(fēng)溫預(yù)測提供一條新思路。

1 模型構(gòu)建

1.1 XGBoost模型

XGBoost算法于2016年提出，具有預(yù)測精度較高、訓(xùn)練速度較快、抗擬合能力較強、對樣本量和特征數(shù)據(jù)類型要求較低等特點，在醫(yī)學(xué)、生物學(xué)及人工智能等多個領(lǐng)域的表現(xiàn)性能較好[14-16]。

XGBoost目標(biāo)函數(shù)如式(1)：

(1)

樹的復(fù)雜度Ω(f)見式(2)：

(2)

式中：γ是復(fù)雜度參數(shù)；T為葉子節(jié)點數(shù)；λ是葉子權(quán)重w的懲罰系數(shù)。

在XGBoost中采用了目標(biāo)函數(shù)二階泰勒展開。假設(shè)將均方誤差用作損失函數(shù)，則目標(biāo)函數(shù)可以推導(dǎo)為式(3)：

(3)

式中：gi和hi分別為損失函數(shù)的一階和二階梯度統(tǒng)計量。根據(jù)所有損失值的總和來計算最終損失值。葉子j的最優(yōu)權(quán)重wj*以及目標(biāo)函數(shù)的最優(yōu)值為式(4)，(5)：

(4)

(5)

總而言之，是將目標(biāo)函數(shù)的優(yōu)化轉(zhuǎn)換為確定二次函數(shù)的最小值的問題。此外，引入了正則化項，使XGBoost具有更好的抗過度擬合能力。

1.2 網(wǎng)格搜索結(jié)合K折交叉驗證

XGBoost算法參數(shù)較多，超參數(shù)的取值會影響預(yù)測準(zhǔn)確性，需優(yōu)化才能保證模型質(zhì)量。網(wǎng)格搜索是1種窮舉算法，將所搜索到的參數(shù)劃分為一定范圍內(nèi)長度相同的網(wǎng)格，網(wǎng)格中的每個點代表1組參數(shù)，通過網(wǎng)格中所有點來搜尋最佳解，獲取最優(yōu)參數(shù)[17-18]。

同時，為避免模型過擬合或欠擬合，將網(wǎng)格搜索法與K折交叉驗證法相結(jié)合，進一步提高模型預(yù)測性能。K折交叉驗證法本質(zhì)是將數(shù)據(jù)集等比例劃分為K份，其中的1份作為測試集，剩余數(shù)據(jù)作為訓(xùn)練集。重復(fù)進行K次實驗，得到K個模型，通過K次實驗后取評價指標(biāo)的平均值作為評價性能指標(biāo)[19]。K折交叉驗證過程原理如圖1所示。

圖1 K折交叉驗證原理Fig.1 Principle of K-fold cross-validation

1.3 GSK-XGBoost預(yù)測模型

綜上所述，本文選用網(wǎng)格搜索算法結(jié)合K折交叉驗證組成“K折網(wǎng)格搜索交叉驗證法”(Grid Search and K-Cross-Validation，GSK)對XGBoost回歸模型進行優(yōu)化，構(gòu)建GSK-XGBoost模型，構(gòu)建過程如下[20-21]：

第1步：數(shù)據(jù)預(yù)處理。對樣本數(shù)據(jù)進行歸一化處理，生成模型訓(xùn)練樣本集。

第2步：構(gòu)建XGBoost模型。初始化XGBoost參數(shù)，設(shè)置參數(shù)空間及步距。

第3步：參數(shù)尋優(yōu)。應(yīng)用網(wǎng)格搜索法結(jié)合K折交叉驗證(本文K取5)，對XGBoost進行參數(shù)尋優(yōu)，進行多次迭代縮小搜索范圍對XGBoost回歸模型參數(shù)進行調(diào)整，獲得XGBoost模型的最優(yōu)超參數(shù)，并進行更新。

第4步：使用訓(xùn)練集構(gòu)建GSK-XGBoost模型并進行預(yù)測。構(gòu)建預(yù)測模型，采用測試集評估模型性能。

第5步：當(dāng)輸出結(jié)果滿足評價標(biāo)準(zhǔn)時，輸出結(jié)果。

GSK-XGBoost預(yù)測模型構(gòu)建流程如圖2所示。

圖2 GSK-XGBoost模型的構(gòu)建流程Fig.2 Construction process of GSK-XGBoost model

2 井下風(fēng)溫影響因素分析

2.1 井下風(fēng)溫影響因素選取

豎井井筒環(huán)境與平巷有所不同，豎井井筒橫穿巖石種類較多，各類巖石熱物理性質(zhì)也各有差異，造成圍巖溫度變化較大，且地下水系出現(xiàn)在井筒的位置隨機，滴水點和滴水量不易測量，其熱濕環(huán)境變化復(fù)雜，影響因素較多[22]。

結(jié)合傳統(tǒng)井底計算公式分析，傳統(tǒng)計算井底風(fēng)溫時，認(rèn)為自壓縮溫升是最主要的熱源[23]。地面大氣壓力和井筒深度與風(fēng)流壓縮密切相關(guān)，深部開采的井筒高差較大，空氣由井筒向下流動時，其壓力和溫升均會上升，此過程為自壓縮過程。在重力場的作用下位能轉(zhuǎn)化為焓升而造成溫升。

實際礦井風(fēng)流自壓縮過程并非絕熱過程，而是復(fù)雜演化的傳熱、傳質(zhì)伴隨自壓縮的過程。此過程的熱交換和濕交換顯著影響著井筒內(nèi)風(fēng)溫、濕度的變化。而井口風(fēng)溫會直接影響工作面風(fēng)溫，尤其對淺井，影響更為顯著。

因此，本文選取井口風(fēng)溫、入風(fēng)相對濕度、地面大氣壓力、井筒深度作為主要影響因素。選用參考文獻[13]中的數(shù)據(jù)進行模型構(gòu)建，部分通風(fēng)參數(shù)整理結(jié)果見表1。

表1 通風(fēng)參數(shù)原始數(shù)據(jù)(部分?jǐn)?shù)據(jù))Table 1 Original data sheet of ventilation parameters(partial data)

2.2 性能評價指標(biāo)

本文采用平均相對誤差MRE、均方根誤差RMSE與決定系數(shù)R2對預(yù)測結(jié)果進行評價。平均相對誤差反映測量的可信程度；均方根誤差衡量預(yù)測值同真值之間的偏差；決定系數(shù)反映預(yù)測值與實際值分布的一致性，越接近1，相關(guān)越強。具體的計算公式如(6)～(8)：

(6)

(7)

(8)

3 井下風(fēng)溫GSK-XGBoost預(yù)測模型

3.1 實驗環(huán)境

本例實驗環(huán)境為ASUSTek Computer Inc筆記本，CPU：Intel(R)Core(TM)i5-8265U CPU@1.60GHZ 1.68GHZ，RAM：8GB，使用軟件為Python3.7，anaconda3集成開發(fā)環(huán)境。采用極限梯度上升XGBoost科學(xué)計算包建立預(yù)測模型。

3.2 數(shù)據(jù)處理

為消除量綱差異，提高預(yù)測精度，采用min-max歸一化對原始數(shù)據(jù)進行處理，結(jié)果落在[0，1]之間，處理公式如(9)：

(9)

式中：X為歸一化后數(shù)據(jù)；x為原始數(shù)據(jù)；min為數(shù)據(jù)最小值；max為數(shù)據(jù)最大值。

選取處理后的前20組數(shù)據(jù)作為訓(xùn)練樣本，剩余6組數(shù)據(jù)作為測試樣本，導(dǎo)入預(yù)測模型訓(xùn)練。

3.3 模型構(gòu)建與結(jié)果分析

在GSK-XGBoost模型搭建中，通過“5折網(wǎng)格搜索交叉驗證法”確定XGBoost中使用樹的數(shù)量、最大回歸樹深度、學(xué)習(xí)速率的最優(yōu)超參數(shù)，其中最大回歸樹深度用來防止陷入過度擬合，學(xué)習(xí)速率控制模型的效率與適應(yīng)能力。GSK-XGBoost預(yù)測模型參數(shù)優(yōu)化結(jié)果見表2。

表2 GSK-XGBoost預(yù)測模型參數(shù)優(yōu)化結(jié)果Table 2 Parameters optimization results of GSK-XGBoost prediction model

分別構(gòu)建隨機森林(RF)模型、BP神經(jīng)網(wǎng)絡(luò)(BPNN)模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型與GSK-XGBoost模型，對測試樣本進行預(yù)測，井底風(fēng)溫預(yù)測值與實際值結(jié)果對比見表3，不同模型預(yù)測值與真實值對比分布曲線如圖3所示。

表3 各模型井底風(fēng)溫預(yù)測結(jié)果及誤差Table 3 Prediction results and errors of wind temperature at well bottom by each model

圖3 各模型井底風(fēng)溫預(yù)測對比Fig.3 Comparison on prediction results of wind temperature at well bottom by each model

為驗證本文方法的有效性，采取平均絕對誤差、平均相對誤差與均方根誤差分別對RF模型、BPNN模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型與GSK-XGBoost模型進行分析，4種模型的結(jié)果對比見表4。

表4 各井底風(fēng)溫預(yù)測模型評價對比Table 4 Evaluation and comparison of each prediction model for wind temperature at well bottom

由圖3可以看出，RF模型、BPNN模型及T-S模糊神經(jīng)網(wǎng)絡(luò)模型在預(yù)測過程中，均出現(xiàn)了較大偏差，GSK-XGBoost模型預(yù)測的礦井井底風(fēng)溫與實際值最為接近，趨勢最為吻合，預(yù)測精度更高。由表3～4可看出，GSK-XGBoost預(yù)測模型預(yù)測值與真實值的平均絕對誤差為0.12 ℃，平均相對誤差為0.54%，均方根誤差為0.12 ℃，預(yù)測較為準(zhǔn)確，結(jié)果較好。與RF模型、BPNN模型和T-S模糊神經(jīng)網(wǎng)絡(luò)模型相比，預(yù)測誤差均有了明顯的改善，通過“5折網(wǎng)格搜索交叉驗證法”優(yōu)化后的XGBoost模型，平均相對誤差分別降低了2.12%，0.88%，0.3%，均方根誤差分別降低了0.66，0.24，0.11 ℃，驗證了本文提出的GSK-XGBoost模型可有效地提升井底風(fēng)溫預(yù)測精度。

4 實例驗證

為進一步檢驗GSK-XGBoost預(yù)測模型的預(yù)測精度及通用性，作者于2020年10月實測了山西省長治市某礦井5組數(shù)據(jù)，利用訓(xùn)練好的預(yù)測模型進行檢驗。井下實測數(shù)據(jù)見表5，預(yù)測數(shù)據(jù)評估結(jié)果見表6，實測數(shù)據(jù)井底風(fēng)溫的預(yù)測值與真實值對比如圖4所示。

表5 井下實測數(shù)據(jù)Table 5 Measured underground data

表6 實測數(shù)據(jù)井底風(fēng)溫評估結(jié)果Table 6 Evaluation results of wind temperature at well bottom with measured data

圖4 井底風(fēng)溫實測數(shù)據(jù)預(yù)測對比Fig.4 Comparison of predicted wind temperature at well bottom with measured data

通過對表6與圖4的分析可知，本文建立的預(yù)測模型的預(yù)測相對誤差范圍在0.308 6%～0.759 5%之間，均方根誤差為0.085 ℃，整體預(yù)測精度可滿足井下實際的需要；決定系數(shù)R2的值為0.947 4，非常接近1，表明模型已經(jīng)實現(xiàn)良好的預(yù)測，說明本文提出的GSK-XGBoost模型在井底風(fēng)溫預(yù)測方面具有可行性。

5 結(jié)論

1)采用“5折網(wǎng)格搜索交叉驗證法”對XGBoost模型進行優(yōu)化，確定模型的最優(yōu)參數(shù)，提高模型擬合度。經(jīng)參數(shù)尋優(yōu)，當(dāng)使用樹的數(shù)量為150，最大回歸樹深度為3，學(xué)習(xí)速率為0.1時，XGBoost模型性能最佳。

2)將GSK-XGBoost模型預(yù)測結(jié)果與隨機森林模型、BP神經(jīng)網(wǎng)絡(luò)模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型相比，平均相對誤差分別降低了2.12%，0.88%，0.3%，均方根誤差分別降低了0.66，0.24，0.11 ℃，預(yù)測精度均有了明顯提升。

3)作者通過實測山西某礦井底風(fēng)溫數(shù)據(jù)對模型的有效性進行驗證，均方根誤差為0.085 ℃，決定系數(shù)R2的值為0.947 4，進一步說明預(yù)測模型在井底風(fēng)溫預(yù)測以及礦井熱害防治中的可行性與實用性，適合工程實際的應(yīng)用，為礦井井底風(fēng)溫的預(yù)測提供1種新的有效方法。