Gradient Boosting 算法在典型淺埋煤層液壓支架選型中的應(yīng)用

張 杰，孫 遙，謝黨虎，蔡維山，劉清洲，龍晶晶

（1.西安科技大學(xué) 能源學(xué)院，陜西 西安710054；2.陜西涌鑫礦業(yè)有限責(zé)任公司，陜西 榆林719407；3.甘肅廠壩有色金屬有限責(zé)任公司，甘肅 隴南742500）

近年來，大采高綜采技術(shù)在淺埋煤層開采中得到了廣泛應(yīng)用，已成為煤礦開采主要方向[1]。而由于采高加大，導(dǎo)致采場礦壓顯現(xiàn)劇烈，極易引發(fā)冒頂、壓架及片幫等事故，故此，支架阻力的合理選型具有積極意義。目前，支架阻力的選型方法主要有理論計(jì)算法、相似模擬法、數(shù)值模擬以及神經(jīng)網(wǎng)絡(luò)法等。其中理論計(jì)算方法[2-4]過于理想化，同實(shí)際覆巖有一定差異；數(shù)值模擬[5-7]的各項(xiàng)參數(shù)同地質(zhì)條件相關(guān)，準(zhǔn)確參數(shù)難以獲取；相似模擬[8-10]對材料要求較高，難以準(zhǔn)確模擬實(shí)際地質(zhì)條件；神經(jīng)網(wǎng)絡(luò)法[11-12]綜合考慮各影響條件，但其對數(shù)據(jù)量要求較高，極易過度學(xué)習(xí)，普適性差?；诖?，提出梯度提升（GBRT）算法來預(yù)測支架阻力，避免了以上方法的不足。但模型的預(yù)測精度和泛化能力受參數(shù)的影響明顯，因此采用改進(jìn)的邏輯斯諦（Logistic）算法對參數(shù)進(jìn)行優(yōu)化，建立支架阻力預(yù)測的LR-GBRT 模型。

1 研究方法

1.1 基于邏輯斯諦算法的特征選擇

邏輯斯諦是1 種速度快，能夠快速吸收新數(shù)據(jù)并更新模型的適合分類問題的算法模型[13]。選擇該模型對樣本進(jìn)行特征預(yù)處理。對于樣本訓(xùn)練集A=（xi，yi），i=1，2，3，…，N，其中：xi，為影響支架阻力yi的特征向量，單個(gè)樣本訓(xùn)練集的代價(jià)函數(shù)（cost function）cost（hθ，y）為：

在L2中選擇權(quán)值系數(shù)之差小于0.5 的閾值，L1中選擇其權(quán)值為0 的特征集組合成1 個(gè)新的集合，并將L1中的權(quán)值平均分配給該新集合中的特征值。將經(jīng)過L1和L2正則化后的數(shù)據(jù)集作為梯度提升決策樹的原始數(shù)據(jù)進(jìn)行回歸預(yù)測。

1.2 梯度提升決策樹算法

GBRT 在每次迭代時(shí)通過對其損失函數(shù)最小化，在殘差減少的梯度方向上新建立1 棵弱決策樹。最后將所有的弱決策樹累加起來得到強(qiáng)決策樹得到最終預(yù)測結(jié)果[14]。

將液壓支架的阻力用y 表示，影響液壓支架阻力的變量用x 表示，N 表示用于訓(xùn)練的樣本數(shù)。算法過程如下。

1.2.1 定義算法中默認(rèn)的損失函數(shù)L（yi，f（xi））

式中：f（xi）為預(yù)測液壓支架阻力值，i=1，…，N。

初始化強(qiáng)學(xué)習(xí)器f0（x）為：

式中：ρ 為只有1 個(gè)根節(jié)點(diǎn)的樹，來估計(jì)使損失函數(shù)極小化的常數(shù)值。

1.2.2 迭代m＝1，2，3，…，M 次后的負(fù)梯度值

式中：I 為指示函數(shù)，滿足條件x 落入葉子節(jié)點(diǎn)區(qū)域時(shí)取1，否則取0。

該算法最終模型由數(shù)個(gè)子模型集成所得，當(dāng)模型訓(xùn)練速度較大時(shí)，會忽略一些樣本信息,容易過擬合?；诖?，加入?yún)?shù)來控制子算法模型的學(xué)習(xí)速率，則式（7）變?yōu)椋?/p>

1.2.3 M 次迭代后得到集成算法模型

根據(jù)上述分析以及樹的最大分裂節(jié)點(diǎn)和最大樹深關(guān)系，選取樹深3 為GBRT 樹深參數(shù)。LR-GBRT算法流程圖如圖1。

圖1 LR-GBRT 算法流程圖Fig.1 Flowchart of LR-GBRT algorithm

2 液壓支架阻力預(yù)測模型的建立與評價(jià)

2.1 影響因素以及樣本選取

選擇樣本數(shù)據(jù)首先應(yīng)確定所研究問題的影響因素。根據(jù)前人研究表明，影響工作面支架阻力的主要因素有[15-17]：煤層埋深、工作面長度、頂板巖石抗拉抗壓強(qiáng)度、頂板厚度、來壓步距。樣本選擇時(shí)數(shù)據(jù)應(yīng)選取代表性樣本，避免數(shù)據(jù)集中化，樣本越具有代表性，模型越具有普適性。在通過現(xiàn)場調(diào)研及文獻(xiàn)查閱，選取43 組具有代表性的淺埋煤層工作面數(shù)據(jù)。其中，隨機(jī)選取28 組作為訓(xùn)練數(shù)據(jù)，15 組作為預(yù)測數(shù)據(jù)。部分?jǐn)?shù)據(jù)見表1。

表1 部分?jǐn)?shù)據(jù)Table 1 Partial data

2.2 模型的建立與評價(jià)

為消除參數(shù)的量綱不同對預(yù)測精度的影響，調(diào)用Python-Sklearn 庫的Proprocessing.MinMaxScaler函數(shù)進(jìn)行歸一化處理。

為驗(yàn)證基于LR-GBRT 預(yù)測模型的預(yù)測能力，搭建并調(diào)試決策樹（DTR, 樹深取3）、線性回歸（LR）、彈性網(wǎng)回歸（ENR）以及支持向量機(jī)（SVM,核函數(shù)取rbf，C=1×103，γ=0.2，其中，C 是懲罰系數(shù)，即對支架阻力預(yù)測結(jié)果誤差的寬容度，γ 為rbf 核函數(shù)自帶參數(shù)，該值決定了預(yù)測后的支架阻力數(shù)據(jù)映射到新的特征空間后的分布）等常用算法的預(yù)測模型至最優(yōu)狀態(tài)，并用訓(xùn)練樣本集分別訓(xùn)練以上模型進(jìn)行預(yù)測比較。

為了驗(yàn)證各模型的阻力預(yù)測結(jié)果，采用平均絕對誤差（MAE）、均方誤差（MSE）和擬合度（R2）3 個(gè)指標(biāo)來評價(jià)各模型在測試集上的預(yù)測效果，其中平均絕對誤差和均方誤差越接近0，擬合度越接近于1，說明模型擬合性能越好，支架阻力的預(yù)測準(zhǔn)確率越高。

式中：yi為第i 個(gè)測試樣本的支架阻力真實(shí)值；為其對應(yīng)的支架阻力預(yù)測值；為測試樣本均值；i＝1，2，3，…，N；N=45。

為獲取預(yù)測支架阻力的3 種指標(biāo)值，減少隨機(jī)誤差，采用了10 折交叉檢驗(yàn)法[18]來總體評價(jià)模型的預(yù)測能力。在k 折交叉檢驗(yàn)中（本文取10），樣本被分割成k 個(gè)大小相等的樣本子集，保留1 個(gè)子樣集作為驗(yàn)證數(shù)據(jù)，剩余k-1 個(gè)子樣集訓(xùn)練模型，將該過程重復(fù)k 次，每個(gè)子樣本僅用作驗(yàn)證數(shù)據(jù)1 次。最后，將來自每次所得結(jié)果值進(jìn)行平均，可得到1 個(gè)總體性能評價(jià)指標(biāo)。

2.3 預(yù)測結(jié)果分析

基于支架阻力訓(xùn)練樣本集，對上述各算法模型調(diào)試至最優(yōu)態(tài)，將其在測試集上的支架阻力預(yù)測結(jié)果同實(shí)際阻力值進(jìn)行比較，預(yù)測模型結(jié)果如圖2。

圖2 預(yù)測模型結(jié)果Fig.2 Prediction model results

由圖2 可知，DTR 和SVR 的擬合趨勢較好，偏差相對較?。籐R 和EN 誤差相對較大，原因可能是因?yàn)橛糜谟?xùn)練的數(shù)據(jù)集較少；LR-GBRT 預(yù)測模型對數(shù)據(jù)預(yù)測效果最好，擬合度高，更適用于小樣本數(shù)據(jù)情況；6 折交叉驗(yàn)證結(jié)果見表2。表2 結(jié)合不同評價(jià)指標(biāo)描述了上述預(yù)測模型在測試集上的支架阻力預(yù)測性能。對比模型交叉驗(yàn)證結(jié)果可知，LR-GBRT的可解釋變異和擬合度相較于其它4 個(gè)模型的值最接近1，均方誤差和平均絕對誤差的值相較于其它4個(gè)模型值最小。LR-GBRT 模型表現(xiàn)最優(yōu)，體現(xiàn)了LR-GBRT 回歸模型在預(yù)測液壓支架阻力上具有較好的預(yù)測精度。由此也可看出，支架阻力同各影響因素支架具有復(fù)雜的非線性關(guān)系特點(diǎn)。

表2 6 折交叉驗(yàn)證結(jié)果Table 2 Results of 6-fold cross validation

3 工程應(yīng)用

Qt 是C++跨平臺應(yīng)用程序框架，該框架受到廣泛應(yīng)用。例如，Itasca 公司在該框架下開發(fā)了FLAC、PFC 以及UDEC 等多款數(shù)值模擬軟件。Python 同其結(jié)合為PyQt，在PyQt 環(huán)境下，將訓(xùn)練好的模型封裝并進(jìn)行GUI 開發(fā)，以便工程實(shí)際應(yīng)用。

為了驗(yàn)證開發(fā)后的系統(tǒng)在預(yù)測最大液壓支架阻力的實(shí)際效果，分別對南梁煤礦1-2煤工作面和韓家灣煤礦3302 工作面采用在線式KJ513 型礦壓監(jiān)測系統(tǒng)在工作面上部、中部和下部分別布置3 條測線，以工作面距開切眼100 m 位置處開始觀測。工作面上中下3 部分支架工作阻力隨工作面推進(jìn)的變化曲線如圖3。在此過程中南梁礦發(fā)生12 次周期來壓，韓家灣礦發(fā)生10 次。最大來壓分別為8 439 kN和12 003 kN，GBRT 預(yù)測結(jié)果分別為9 024 kN 和12 320 kN，工作阻力和預(yù)測最大阻力比值分別為：93.5%和97.4%，實(shí)踐證明，該系統(tǒng)能較好的對液壓支架阻力進(jìn)行預(yù)測，達(dá)到現(xiàn)場應(yīng)用要求。

4 結(jié) 論

1）基于梯度提升理論，通過選取煤層埋深、工作面長度、覆巖抗拉抗壓強(qiáng)度、直接頂厚度和來壓步距等7 個(gè)主要影響因素作為液壓支架阻力選型的判別指標(biāo)，結(jié)合43 組淺埋煤層樣本數(shù)據(jù)，利用Python3.6 建立了液壓支架阻力預(yù)測的GBRT 模型，并限制其學(xué)習(xí)速率，防止模型過擬合。

2）利用DTR、SVR、EN、LR 和LR-GBRT 構(gòu)建的預(yù)測模型，對樣本的支架阻力預(yù)測進(jìn)行交叉檢驗(yàn)以檢驗(yàn)其可靠度。結(jié)果表明，用LR-GBRT 模型預(yù)測本文樣本的擬合度最高，同比其余4 種算法具有較高的精確度?？梢姡撃Ｐ蛯︻A(yù)測支架阻力是行之有效的，它為支架阻力的選型確定提供了1 條新途徑。

圖3 支架工作阻力隨工作面推進(jìn)的變化曲線Fig.3 Variation curves of support working resistance with working face advance

3）基于PYQT 進(jìn)行GUI 開發(fā)，能更好的將其應(yīng)用于工程實(shí)踐；需要指出的是，該于液壓支架阻力的預(yù)測中還只是初步嘗試，模型的預(yù)測結(jié)果很大程度上取決于指標(biāo)的選取。今后的研究工作中，將進(jìn)一步研究影響支架阻力的因素，如構(gòu)造應(yīng)力、地下水作用以及掘進(jìn)速度等，考慮更多的影響因素并建立云數(shù)據(jù)平臺囊括更多數(shù)據(jù)，以期進(jìn)一步增強(qiáng)模型的泛化能力，為支架阻力選型提供1 個(gè)新途徑。