多層DAE協(xié)同LSSVM的瓦斯突出預(yù)測模型

付 華 梁 漪

(遼寧工程技術(shù)大學(xué)電氣與控制工程學(xué)院 遼寧 葫蘆島 125105)

0 引 言

煤巖體高應(yīng)力、高瓦斯壓力采掘空間區(qū)配合礦震動載易引發(fā)瓦斯突出動力災(zāi)害，原空間地質(zhì)動力系統(tǒng)失穩(wěn)，存積的彈性能呈爆發(fā)式瞬間釋放，產(chǎn)生煤巖體破碎并拋出的現(xiàn)象，嚴(yán)重威脅井下施工人員生命安全和設(shè)備安全。我國淺部煤炭資源接近枯竭，隨著深部開采，煤巖體承載更高的應(yīng)力和能量，瓦斯突出發(fā)生的可能性愈發(fā)增大。因此，對其預(yù)測成為礦井深部開采迫切解決的科學(xué)問題[1-2]。

針對瓦斯突出預(yù)測的研究有很多成果，經(jīng)典預(yù)測方法從機(jī)理角度以單因素作用或多因素多指標(biāo)綜合作用開展預(yù)測工作，產(chǎn)生了D、K綜合指標(biāo)預(yù)測、地質(zhì)動力區(qū)劃等方法[3-5]。這些方法理論相對簡單，需要大量的試驗(yàn)數(shù)據(jù)支撐，數(shù)據(jù)獲取過程復(fù)雜，消耗較高的時間成本和經(jīng)濟(jì)成本。為彌補(bǔ)以上經(jīng)典預(yù)測方法的不足，許多學(xué)者開發(fā)了大量基于智能理論預(yù)測方法，提高突出預(yù)測效率和預(yù)測準(zhǔn)確率，得到了廣泛的應(yīng)用。這類方法通常使用降維手段提取動態(tài)監(jiān)測數(shù)據(jù)有效的特征信息來加速模型決策，例如：文獻(xiàn)[6-7]使用主元分析(Principal Component Analysis，PCA)選取對突出貢獻(xiàn)率較高的主元影響因子；文獻(xiàn)[8]使用局部線性嵌入(Local Linear Embedding，LLE)將高維突出影響因子數(shù)據(jù)映射至低維空間；文獻(xiàn)[9]使用鄰域粗糙集(Neighborhood Rough Set，NRS)提取反映突出的主要敏感指標(biāo)。其中PCA是線性降維方法，而突出影響因子間具有非線性關(guān)系；LLE要求樣本集是稠密均勻的且只保留訓(xùn)練樣本的局部特征，對于離散的測試樣本，不能為突出分類問題提取更有效的特征；NRS缺乏對模糊數(shù)據(jù)相應(yīng)的處理方法。

基于以上分析，文中結(jié)合去噪自編碼器(Denoising Autoencoder，DAE)抗干擾能力強(qiáng)、魯棒性強(qiáng)和最小二乘支持向量機(jī)(Least Square Support Vector Machine，LSSVM)操作簡單的優(yōu)點(diǎn)，建立瓦斯突出預(yù)測模型。以DAE獲取更高效的隱藏特征為目的，設(shè)計(jì)多層DAE網(wǎng)絡(luò)，并結(jié)合瓦斯突出影響因子在時間軸上的特點(diǎn)和交叉熵規(guī)則定義多層DAE網(wǎng)絡(luò)的代價函數(shù)，用BP算法和梯度下降法更新多層DAE網(wǎng)絡(luò)的權(quán)重和閾值，得到的特征作為LSSVM的輸入，對樣本進(jìn)行瓦斯突出分類。

1 預(yù)測模型設(shè)計(jì)

1.1 動靜態(tài)約束下多層DAE網(wǎng)絡(luò)的特征提取

1.1.1多層DAE

多層DAE網(wǎng)絡(luò)是由L個去噪自編碼器鏈接而成，DAE是Pascal Vincent[10]等在自編碼器AE的基礎(chǔ)上提出的一種神經(jīng)網(wǎng)絡(luò)，屬于典型的單隱層反饋神經(jīng)網(wǎng)絡(luò)。相較于傳統(tǒng)的反饋神經(jīng)網(wǎng)絡(luò)，DAE抗干擾能力強(qiáng)，因此選用DAE去提取原始樣本的隱藏特征。多層DAE網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 多層DAE網(wǎng)絡(luò)結(jié)構(gòu)

式中:α和β分別為動態(tài)影響因子和靜態(tài)影響因子的控制參數(shù)，α+β=1。λw為正則參數(shù)，常用交叉驗(yàn)證法確定。

1.1.2多層DAE網(wǎng)絡(luò)參數(shù)更新

初始化多層DAE網(wǎng)絡(luò)相關(guān)參數(shù)，包括網(wǎng)絡(luò)層數(shù)L，加噪概率q，輸入、重構(gòu)層節(jié)點(diǎn)數(shù)，隱層節(jié)點(diǎn)數(shù)，動態(tài)影響因子控制參數(shù)α，靜態(tài)影響因子控制參數(shù)β，隨機(jī)初始化編碼器參數(shù)θ和解碼器參數(shù)θ′。

首先進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練，利用“最大-最小值”歸一化處理后的瓦斯突出數(shù)據(jù)在多層DAE網(wǎng)絡(luò)中正向傳播得到特征和重構(gòu)輸出。

其次進(jìn)行網(wǎng)絡(luò)微調(diào)，采用BP算法以式(1)為調(diào)優(yōu)標(biāo)準(zhǔn)計(jì)算多層DAE網(wǎng)絡(luò)權(quán)重W的變化量，表達(dá)式為：

式中：

因此，式(2)可以寫為：

同理，偏置b的變化量為：

(6)

最后，按照式(5)和式(6)梯度減小的方向?qū)?quán)重W和偏置b進(jìn)行更新，置學(xué)習(xí)率η=0.01，更新規(guī)則如下：

按照式(7)進(jìn)行t次迭代，直至多層DAE網(wǎng)絡(luò)收斂，此時的動靜態(tài)影響因子特征Y(L)方可用于下一步的分類。

1.2 多層DAE協(xié)同LSSVM預(yù)測模型

s.t.ci=uTφ(yi)+v+ξi

式中:J(u,v,ξ)為突出預(yù)測模型目標(biāo)函數(shù)，ξi為容許誤差，C為懲罰參數(shù)。

同SVM求解方式一樣，使用拉格朗日算子將上述優(yōu)化問題轉(zhuǎn)變?yōu)榍蠼鈱ε紵o約束問題，將約束條件整合到式(8)的目標(biāo)函數(shù)。

式中:L(u,v,ξ,λ)為重新定義的突出預(yù)測模型目標(biāo)函數(shù)，λi為拉格朗日算子。

一般地，懲罰參數(shù)C根據(jù)經(jīng)驗(yàn)選擇。

2 瓦斯突出影響因子選取

瓦斯突出是在特殊的地質(zhì)賦存條件下，煤巖體系統(tǒng)能量先以穩(wěn)態(tài)積聚再以非穩(wěn)態(tài)釋放的非線性動力過程，是外部荷載環(huán)境、內(nèi)部結(jié)構(gòu)、構(gòu)造及其物理力學(xué)性質(zhì)的多物理場耦合作用的結(jié)果。通常瓦斯突出影響因子之間呈現(xiàn)復(fù)雜的非線性關(guān)系，致使某一因子是否為突出必要條件沒有明確的劃分。因此，結(jié)合相關(guān)文獻(xiàn)[12-15]，綜合考慮瓦斯、地質(zhì)構(gòu)造、煤的物理性質(zhì)因素，選取13個突出影響因子，并從時間角度出發(fā)，將其劃分為動態(tài)和靜態(tài)兩種類別。

靜態(tài)影響因子Xs={煤層地質(zhì)構(gòu)造x1，地應(yīng)力x2，煤的破壞類型x3，煤層厚度x4，煤層埋深x5，煤的堅(jiān)固性系數(shù)x6，煤系地層的含水性x7，煤巖滲透率x8，巖漿入侵x9}。

部分影響因子為定性因子，使用前需量化處理，量化標(biāo)準(zhǔn)見表1。

表1 定性因子量化說明

3 確定模型結(jié)構(gòu)參數(shù)

經(jīng)整理，研究選取開灤礦業(yè)集團(tuán)錢家營煤礦5號煤層14組典型的瓦斯突出礦井監(jiān)測數(shù)據(jù)和86組無突出礦井監(jiān)測數(shù)據(jù)形成樣本空間，根據(jù)表1對定性因子進(jìn)行量化，同時將所有樣本按照“最大-最小值”進(jìn)行歸一化處理形成樣本集。置測試樣本與檢驗(yàn)樣本的比例為85:15。按照表2將樣本空間分為5種分配類型，組內(nèi)抽樣為無放回隨機(jī)抽取，所有分配類型下的樣本均用于模型的各項(xiàng)檢驗(yàn)。置動態(tài)影響因子控制參數(shù)α=0.5，靜態(tài)影響因子控制參數(shù)β=0.5，高斯核參數(shù)為1 000，懲罰參數(shù)C=50，迭代次數(shù)t=200。

表2 樣本分配類型

3.1 確定模型網(wǎng)絡(luò)層數(shù)

固定加噪概率q=0.4，正則參數(shù)λw=0.01，分別檢驗(yàn)帶有L=2～5層DAE網(wǎng)絡(luò)的模型預(yù)測性能，每個網(wǎng)絡(luò)的第l=2,3,4,5隱層節(jié)點(diǎn)數(shù)分別設(shè)置為11、9、7、5，以平均分類準(zhǔn)確率和訓(xùn)練時間為檢驗(yàn)標(biāo)準(zhǔn)，試驗(yàn)統(tǒng)計(jì)結(jié)果如圖2所示。

圖2 多層DAE網(wǎng)絡(luò)平均分類準(zhǔn)確率和訓(xùn)練時間統(tǒng)計(jì)

由圖2可得，不是網(wǎng)絡(luò)層數(shù)越多模型的效果越好。訓(xùn)練時間隨網(wǎng)絡(luò)層數(shù)增加而迅速遞增。根據(jù)試驗(yàn)結(jié)果，從模型準(zhǔn)確性和節(jié)約成本的角度出發(fā)，置模型中多層DAE網(wǎng)絡(luò)層數(shù)L=2。

3.2 確定模型最優(yōu)隱層節(jié)點(diǎn)數(shù)

同BP神經(jīng)網(wǎng)絡(luò)類似，隱層節(jié)點(diǎn)數(shù)對模型性能有重大影響，數(shù)量過少，網(wǎng)絡(luò)無法訓(xùn)練或壓縮性能很差；數(shù)量過多，訓(xùn)練容易陷入局部最優(yōu)，所以最優(yōu)隱層節(jié)點(diǎn)數(shù)需要人為多次實(shí)驗(yàn)確定。結(jié)合“控制變量法”和“窮舉法”的思想，反復(fù)試驗(yàn)并計(jì)算模型平均均方根誤差RMSE，選擇最小誤差所對應(yīng)的隱層節(jié)點(diǎn)數(shù)確定多層DAE網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。具體做法如下：

h(1)表示第一隱層節(jié)點(diǎn)數(shù)，h(2)表示第二隱層節(jié)點(diǎn)數(shù)。因多層DAE網(wǎng)絡(luò)在預(yù)測模型中起維度壓縮作用，因此有1

圖3 模型采用不同隱層節(jié)點(diǎn)數(shù)的預(yù)測效果

顯然h(1)=10時，RMSE達(dá)到最小值0.305。其次置h(1)=10，對h(2)在[2,9]區(qū)間內(nèi)的候選整數(shù)值進(jìn)行逐一實(shí)驗(yàn)，RMSE統(tǒng)計(jì)結(jié)果如圖3虛線所示?？梢奾(2)=7時，RMSE達(dá)到最小值0.279。因此，瓦斯突出預(yù)測模型中多層DAE網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為13(輸入層節(jié)點(diǎn)數(shù))→10(第一隱層節(jié)點(diǎn)數(shù))→7(第二隱層節(jié)點(diǎn)數(shù))→13(重構(gòu)層點(diǎn)數(shù))。

3.3 確定模型加噪概率和正則參數(shù)

針對動靜態(tài)類型輸入數(shù)據(jù)，在合適的區(qū)間內(nèi)設(shè)定加噪概率q和匹配恰當(dāng)?shù)恼齽t參數(shù)λw對模型的預(yù)測表現(xiàn)極為關(guān)鍵。置正則參數(shù)λw=0.01，其他參數(shù)均按常規(guī)選取。以q=0.10為起點(diǎn)，按照0.1步長逐漸增加q值至q=0.90，重復(fù)5次試驗(yàn)獲取平均RMSE，并用MATLAB R2014a中的cftool工具箱擬合加噪概率q與RMSE之間的關(guān)系，擬合曲線如圖4所示。

圖4 噪化參數(shù)q對模型預(yù)測效果的擬合關(guān)系

由圖4可得，所嘗試的數(shù)據(jù)點(diǎn)中q=0.40時RMSE最小為0.298。實(shí)際中不需精確計(jì)算使RMSE達(dá)到最小值的加噪概率q，根據(jù)擬合結(jié)果認(rèn)定在以0.4為左邊界的閉區(qū)間[0.4，0.47]內(nèi)選擇q值即為合理，后續(xù)試驗(yàn)皆規(guī)定q=0.40。

此外，采用交叉驗(yàn)證法確定合適的正則參數(shù)，設(shè)預(yù)選范圍λw∈{0.001,0.01,0.1,1,10,100,1 000}，改后λw∈{0.001,0.01,0.1,1,10,100}將該范圍內(nèi)λw的取值逐次代入模型中，得到相應(yīng)的RMSE分別為0.315、0.303、0.338、0.376、0.402、0.457，因此預(yù)測模型的最優(yōu)λw為0.01。

4 模型預(yù)測對比

4.1 DAE與多層DAE特征提取能力對比

本節(jié)進(jìn)行DAE-10-LSSVM模型、DAE-7-LSSVM模型和多層DAE-LSSVM模型預(yù)測效果對比，用于觀察單層DAE與多層DAE在瓦斯突出數(shù)據(jù)集上特征提取能力的差別。其中DAE-10-LSSVM相當(dāng)選用與多層DAE-LSSVM中第一隱層輸出的同等維度特征作用于分類器進(jìn)行預(yù)測，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為13→10→13。DAE-7-LSSVM相當(dāng)選用與多層DAE-LSSVM中第二隱層輸出的同等維度特征作用于分類器進(jìn)行預(yù)測，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為13→7→13，兩模型其他參數(shù)設(shè)置均與多層DAE-LSSVM保持一致。采用F1度量和模型訓(xùn)練時間Tp描述模型預(yù)測性能和收斂性能，對比結(jié)果見表3。

表3 5種樣本分配方式下3個模型預(yù)測準(zhǔn)確性和有效性對比

由表3可知，5次試驗(yàn)中多層DAE-LSSVM模型F1度量值都高于其他兩模型，平均度量更是遠(yuǎn)超其他兩模型，表現(xiàn)了較高的準(zhǔn)確性。DAE-7-LSSVM模型對于不同組合方式的樣本，預(yù)測準(zhǔn)確性浮動較大，模型穩(wěn)定性較差，DAE-10-LSSVM模型較其稍有改觀。在模型訓(xùn)練時間方面，多層DAE-LSSVM模型收斂速度略慢于另外兩模型，因?yàn)樵撃Ｐ蛷?fù)雜度相較而言更為復(fù)雜，勢必多花費(fèi)一些時間訓(xùn)練模型，鑒于其優(yōu)秀的預(yù)測性能，并且收斂時間也在可接受的范圍內(nèi)，總體上認(rèn)為多層DAE-LSSVM模型較另外兩模型有更大的優(yōu)勢。

4.2 不同模型預(yù)測效果比較

為驗(yàn)證所提模型相較于其他智能預(yù)測模型是否具有優(yōu)越性，與PCA-LSSVM模型、LLE-LSSVM模型、LSSVM分類器、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測精度對比。BP神經(jīng)網(wǎng)絡(luò)采用13→7→1拓?fù)浣Y(jié)構(gòu)，激勵函數(shù)為Sigmoid函數(shù)，訓(xùn)練網(wǎng)絡(luò)時設(shè)置學(xué)習(xí)率為0.01，迭代次數(shù)為500次。采用表2中5種分配方式下的樣本組合，從均方根誤差RMSE、F1度量兩方面評價模型預(yù)測性能。對比結(jié)果見表4。

表4 5個模型預(yù)測效果對比

由表4可知，多層DAE-LSSVM模型的RMSE和F1度量值在5個智能預(yù)測模型中均為最小。相較PCA-LSSVM模型、LLE-LSSVM模型，所提模型的RMSE和F1度量值分別提高27.5%和22.3%，亦證明所提模型能夠獲得更有效的特征表示。相較LSSVM分類器，所提模型的RMSE和F1度量值分別提高50.0%和44.5%，亦證明在瓦斯突出預(yù)測過程中，減少樣本維度能構(gòu)使得預(yù)測準(zhǔn)確率大大提升。相較BP神經(jīng)網(wǎng)絡(luò)，所提模型的RMSE和F1度量值分別提高55.3%和55.7%，亦證明LSSVM分類器比Sigmoid函數(shù)在分類問題上獲得更優(yōu)越的性能。綜上，多層DAE-LSSVM模型能更適用于瓦斯突出預(yù)測，具有良好的理論價值和實(shí)用價值。

5 結(jié) 語

以瓦斯突出影響因子為基礎(chǔ)數(shù)據(jù)，根據(jù)瓦斯突出影響因子在時間域上的分布特點(diǎn)，將其分為動、靜態(tài)影響因子，并基于交叉熵準(zhǔn)則設(shè)計(jì)適用于突出樣本特征提取的多層DAE網(wǎng)絡(luò)代價函數(shù)，以此作為網(wǎng)絡(luò)的調(diào)優(yōu)標(biāo)準(zhǔn)。由該網(wǎng)絡(luò)提取的樣本特征用于訓(xùn)練LSSVM分類器，建立多層DAE網(wǎng)絡(luò)協(xié)同LSSVM模型用于試驗(yàn)區(qū)的瓦斯突出預(yù)測。

應(yīng)用實(shí)際的瓦斯突出影響因子數(shù)據(jù)進(jìn)行多次重復(fù)試驗(yàn)，確定多層DAE-LSSVM預(yù)測模型的結(jié)構(gòu)參數(shù)，與不同網(wǎng)絡(luò)結(jié)構(gòu)的單層DAE-LSSVM相比，證明多層DAE-LSSVM模型有較好的降維效果。同PCA-LSSVM、LLE-LSSVM、LSSVM、BP神經(jīng)網(wǎng)絡(luò)瓦斯突出預(yù)測模型對比，證明所提模型預(yù)測準(zhǔn)確率高，魯棒性強(qiáng)。