基于Relief 算法與ReLU核ELM的煤礦開采最大下沉預(yù)測模型研究

魏 勇，唐延?xùn)|，喻 強(qiáng)，楊春蘭

(1.四川工程職業(yè)技術(shù)學(xué)院 建筑工程系，四川 德陽 618000；2.成都理工大學(xué) 地質(zhì)災(zāi)害防治與地質(zhì)環(huán)境保護(hù)國家重點(diǎn)實(shí)驗(yàn)室，四川 成都 610059；3.西華大學(xué) 土木建筑與環(huán)境學(xué)院，四川 成都 610039)

煤礦開采地表最大下沉值是反映地表移動(dòng)與變形程度的一個(gè)重要參數(shù)，水平移動(dòng)和各項(xiàng)變形值的大小均可表示成最大下沉值的關(guān)系函數(shù)。針對(duì)煤礦開采下沉預(yù)測，國內(nèi)外開展了大量的研究工作，并取得了豐碩的研究成果。

傳統(tǒng)方法主要包括實(shí)測分析方法、影響函數(shù)方法及數(shù)值模擬方法等。Jung等人基于可靠量測數(shù)據(jù)，對(duì)地表沉陷的形成機(jī)理與預(yù)測方法進(jìn)行分析研究[1]，該類方法能較好地處理演化規(guī)律較為簡單的數(shù)據(jù)，若演化規(guī)律復(fù)雜時(shí)，則誤差較大；Nicieza等人采用一種三維的n-k-g 影響函數(shù)預(yù)測地表下沉值[2]，該類方法在相似地質(zhì)條件下十分適用，但是巖體地質(zhì)條件往往復(fù)雜多變[3]；數(shù)值模擬方法有以阿威爾申為代表的連續(xù)介質(zhì)學(xué)派和以波蘭學(xué)者李特維尼申為代表的隨機(jī)介質(zhì)學(xué)派[4]，這兩種方法均基于巖土結(jié)構(gòu)情況、巖土力學(xué)參數(shù)及合理數(shù)學(xué)假設(shè)，需要取得大量且大范圍區(qū)域的巖體物理力學(xué)及地質(zhì)結(jié)構(gòu)參數(shù)，這使得做到真實(shí)模擬的難度較高。其他研究方法(3S技術(shù)、灰色系統(tǒng)及神經(jīng)網(wǎng)絡(luò)等)也為解決該問題提供了相應(yīng)途徑[5-7]，但仍尚存諸多不足[8]。

隨著非線性科學(xué)的飛速發(fā)展，一種名為極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)的單隱層前饋神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在各行各業(yè)[9-11]，該算法具有基本數(shù)學(xué)模型簡潔、數(shù)據(jù)泛化能力強(qiáng)大、學(xué)習(xí)速度快及能夠跳出局部最優(yōu)解而獲得全局最優(yōu)解的優(yōu)勢。該算法也解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)選擇隱函數(shù)層數(shù)的難題，便于應(yīng)用及推廣。

不同核函數(shù)往往適用于不同的數(shù)據(jù)類型，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)經(jīng)常運(yùn)用Sigmoid系方程作為模型核函數(shù)。該函數(shù)對(duì)中央?yún)^(qū)域信號(hào)增益大而對(duì)兩頭信號(hào)有抑制，從神經(jīng)科學(xué)上看，中央?yún)^(qū)為神經(jīng)元興奮態(tài)而兩側(cè)為抑制態(tài)[12]。因此，該類核函數(shù)處理極值顯著的預(yù)測問題會(huì)顯得乏力。

隨著神經(jīng)科學(xué)的發(fā)展，科學(xué)家發(fā)現(xiàn)了生物神經(jīng)具有稀疏激活性。Lennie[13]研究發(fā)現(xiàn)，人類大腦運(yùn)作時(shí)，最多只有1% 的神經(jīng)元被激活，而在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)，其核函數(shù)有近乎一半的神經(jīng)元被激活[14]，這一點(diǎn)不符合神經(jīng)科學(xué)的研究，也不利于簡化優(yōu)化運(yùn)算網(wǎng)絡(luò)。大量研究表明[15-17]，因ReLU function 具有反對(duì)稱結(jié)構(gòu)，計(jì)算中不會(huì)出現(xiàn)兩側(cè)抑制的問題，函數(shù)圖形狀也較sigmoid更接近神經(jīng)元的稀疏激活模式[18]。

另外，在解決非線性預(yù)測回歸問題中，不同的輸入?yún)?shù)往往得到不同的輸出結(jié)果[19-21]，所以對(duì)輸入?yún)?shù)進(jìn)行篩選以獲得最優(yōu)輸入數(shù)據(jù)就顯得十分重要。作為一種特征權(quán)值算法，Relief Algorithm因其可根據(jù)各個(gè)參數(shù)與目標(biāo)值的特征相關(guān)性，對(duì)參數(shù)賦予不同的權(quán)重值，而剔除權(quán)值小于閾值的參數(shù)，故可以做到篩選參數(shù)以優(yōu)化輸入數(shù)據(jù)[22]。

本文以阜新礦區(qū)36 個(gè)工作面的巖移數(shù)據(jù)為基礎(chǔ)資料[23]，引入Relief Algorithm與以ReLU function為核函數(shù)的ELM算法，對(duì)煤礦開采最大下沉進(jìn)行預(yù)測。首先運(yùn)用Relief Algorithm對(duì)所獲得的參數(shù)建立篩選優(yōu)化模型，選出對(duì)最大下沉值貢獻(xiàn)較大的參數(shù)而剔除貢獻(xiàn)不是太大的參數(shù)?；诤Y選優(yōu)化后的參數(shù)，建立以ReLU function為核函數(shù)的ELM算法的煤礦開采最大下沉值預(yù)測模型；在預(yù)測模型中，對(duì)ELM的隱含層進(jìn)行篩選以優(yōu)化預(yù)測模型，且將該計(jì)算結(jié)果與ELM常用的核函數(shù)如Sigmoid function，Sine function，Hardlim function及Radial basis function的計(jì)算結(jié)果進(jìn)行對(duì)比研究。

1 預(yù)測方法

1.1 Relief Algorithm篩選優(yōu)化輸入?yún)?shù)

Relief Algorithm是一種由Kira提出的特征權(quán)重算法[24]，算法根據(jù)參數(shù)特征對(duì)其他參數(shù)距離的區(qū)分能力計(jì)算參數(shù)的類別與參數(shù)間的特征。本文中，將所有巖移數(shù)據(jù)選出，作為m個(gè)樣本，計(jì)算參數(shù)樣本與目標(biāo)樣本在特征屬性上的假設(shè)間隔。計(jì)算中，計(jì)算與目標(biāo)樣本距離最近的近鄰樣本(分為同類最近臨點(diǎn)和不同類最近臨點(diǎn))，如果樣本與同類最近臨點(diǎn)距離小于與不同類最近臨點(diǎn)，則認(rèn)為該特征對(duì)區(qū)分樣本是有益的，應(yīng)該增加權(quán)值；反之，則是無益的，降低權(quán)值。以上過程重復(fù)P次，并累加作為特征權(quán)值。更新特征屬性p的權(quán)值可用下式表達(dá)：

(1)

式中，x為參數(shù)樣本；p∈P；H(x)為x的同類最近臨點(diǎn)；M(x)為x的非同類最近臨點(diǎn)。diff()函數(shù)形式見式(2)。

(2)

最后，得到各參數(shù)的特征權(quán)值。特征權(quán)值越大，表示該參數(shù)與目標(biāo)關(guān)系越密切。根據(jù)所得的特征權(quán)值，以篩選預(yù)測模型輸入?yún)?shù)。

1.2 基于ReLU function核的ELM預(yù)測最大下沉值

ELM是由南洋理工大學(xué)黃廣斌教授提出用于求解單隱層神經(jīng)網(wǎng)絡(luò)的算法[25]。相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，ELM在保障了訓(xùn)練精度的同時(shí)也兼顧了訓(xùn)練的效率。在訓(xùn)練初始，ELM隨機(jī)初始化輸入權(quán)重和偏置，并得到相應(yīng)的輸出權(quán)值；隨著訓(xùn)練的進(jìn)行，其權(quán)值隨著訓(xùn)練樣本及核函數(shù)進(jìn)行相應(yīng)調(diào)整。假設(shè)有N組樣本(Xi，ti)，其中Xi=[xi1，xi2，…，xin]T∈RN,ti=[ti1，ti2，…,tin]T∈RM。即一個(gè)含有L個(gè)隱含神經(jīng)元的訓(xùn)練網(wǎng)絡(luò)可表示為：

(3)

式中，g(x)為核函數(shù)；oj為模型輸出；Wi=[wi1，wi2，…，win]T為輸入權(quán)值；βi為輸出權(quán)值；bi為第i個(gè)隱含神經(jīng)元的偏置。

訓(xùn)練的目的是使得輸出的誤差最小，即求解βi，Wi和bi，模型訓(xùn)練目標(biāo)值tj值如式(4)可得。

(4)

式(4)用矩陣形式可表達(dá)為式(5)。

H=βT

(5)

式中，H為隱含層的輸出；β為其輸出權(quán)值；T為輸出期望，其中：

H(a1,…,aL;b1,…,bL;x1,…,xN)=

β通過最小二乘法求解[26]：

(6)

在隱含層輸出列滿秩時(shí)，利用Moore-Penrose廣義逆進(jìn)行求解，求解過程見文獻(xiàn)[27]。

在本文所建立的最大下沉預(yù)測模型中，核函數(shù)選用ReLU function[28]：

(7)

式中，a為小于1的常數(shù)，一般而言，a取值0.01。

ELM常用核函數(shù)Sigmoid function，Hardlim function及Radial basis function形式[29]如下：

Sigmoid function形式：

(8)

Hardlim function形式：

g(x)=2·hardlim(ai·x)

(9)

式中，定義hardlim(x)函數(shù)，當(dāng)輸入元素大于0時(shí)，函數(shù)返回1；否則返回0；ai為隱含層節(jié)點(diǎn)參數(shù)。

Radial basisfunction形式：

(10)

式中，σ為實(shí)常參數(shù)，且σ=1-accu，accu為算法信度，一般取值0.95。

2 案例分析

2.1 案例數(shù)據(jù)

搜集了阜新礦區(qū)36 個(gè)工作面的巖移數(shù)據(jù)[23]，分別有煤層采厚、煤層傾角、平均采深、走向長度、傾向長度、覆巖單向抗壓強(qiáng)度以及對(duì)應(yīng)的最大下沉，整理獲得巖移數(shù)據(jù)，如表1所示。

2.2 優(yōu)化參數(shù)結(jié)果

根據(jù)表1數(shù)據(jù)，建立最大下沉與6個(gè)參數(shù)特征類別判斷的Relief 模型，并返回相應(yīng)特征權(quán)值，計(jì)算結(jié)果見表2。

由表2 可知，在所有參數(shù)中，采厚與最大下沉的特征權(quán)值最大，達(dá)到了0.6650；而覆巖單向抗壓強(qiáng)度、傾角與最大下沉特征權(quán)值最小，分別為0.0163和0.0096。由于特征權(quán)值的波動(dòng)較大，數(shù)據(jù)間未能出現(xiàn)明顯分層，也沒有相應(yīng)閾值可參考，不利于人工篩選參數(shù)。需要引入P-value檢驗(yàn)對(duì)參數(shù)優(yōu)化模型進(jìn)行分析，從而篩選得到最優(yōu)預(yù)測參數(shù)。

表1 巖移數(shù)據(jù)

表2 Relief 模型計(jì)算結(jié)果

P-value檢驗(yàn)是一項(xiàng)重要的推斷統(tǒng)計(jì)內(nèi)容，其計(jì)算結(jié)果為檢驗(yàn)決策提供重要的依據(jù)。計(jì)算所得的P-value即是概率，在原來假設(shè)為真的前提下，對(duì)原假設(shè)的支持程度，反映其統(tǒng)計(jì)可靠差異性[30]。一般而言，以顯著性水平0.05有統(tǒng)計(jì)學(xué)差異性。本文假設(shè)所有的參數(shù)均和最大下沉關(guān)系不顯著，若P-value < 0.05，則計(jì)算結(jié)果拒絕了原假設(shè)；若P-value > 0.05，則計(jì)算結(jié)果接受了原假設(shè)；若P-value = 0.05，則需要增加樣本重新計(jì)算。P-value檢驗(yàn)計(jì)算方法及公式詳見文獻(xiàn)[30]，計(jì)算結(jié)果見表3。

表3 顯著性P-value檢驗(yàn)計(jì)算結(jié)果

由表3可知，其中4組P-value<0.05，分別是采厚(P-value=0.0127)、平均采深(P-value=0.0243)、走向長度(P-value=0.0486)和傾向長度(P-value=0.0426)，說明采厚、平均采深、走向長度和傾向長度與最大下沉關(guān)系密切，可以作為預(yù)測模型的輸入?yún)?shù)。而傾角和覆巖單向抗壓強(qiáng)度的P-value均大于0.05。因此，在預(yù)測模型中將傾角和覆巖單向抗壓強(qiáng)度兩組參數(shù)剔除。

2.3 最大下沉預(yù)測結(jié)果

依據(jù)前文優(yōu)化參數(shù)模型，建立以ReLU function為核函數(shù)的ELM最大下沉預(yù)測模型。模型中，選取前30組為訓(xùn)練樣本，后6組為驗(yàn)證數(shù)據(jù)。以采厚、平均采深、走向長度和傾向長度為預(yù)測模型輸入，最大下沉為預(yù)測模型目標(biāo)。為了消除量綱及數(shù)量級(jí)的差異，所有數(shù)據(jù)均采用歸一化處理。為了對(duì)比分析ReLU function核與ELM常用核函數(shù)Sigmoid function，Hardlim function及Radial basis function的差異，分別建立4類核函數(shù)的ELM預(yù)測模型，設(shè)置其隱含層數(shù)目為1組循環(huán)數(shù)，計(jì)算結(jié)果通過均方根誤差(Root Mean Square Error，RMSE)評(píng)價(jià)精度。分別計(jì)算4類核函數(shù)的ELM預(yù)測精度，如圖1所示。

圖1 不同核函數(shù)ELM預(yù)測精度

(11)

式中，N為樣本數(shù)目；ti為最大下沉預(yù)測值；yi為原始最大下沉值。

由圖1可知，ReLU function核、Sigmoid function核及Radial basis function的ELM返回的RMSE均隨隱含層神經(jīng)元數(shù)目增加有收斂的趨勢，而Hardlim function核的ELM返回的RMSE無固定趨勢，預(yù)測效果不好。就3種有收斂趨勢的核函數(shù)而言，在隱含層神經(jīng)元小于100時(shí)，Sigmoid function核能將RMSE收斂到0.2～0.4之間；Radial basis function核能將RMSE收斂到0.6；而在隱含層神經(jīng)元數(shù)目達(dá)到57時(shí)，ReLU核能將RMSE收斂到0.2左右。據(jù)文獻(xiàn)[31]可知，當(dāng)RMSE達(dá)到0.2時(shí)，預(yù)測精度良好。因此，本文采用ReLU function核ELM最大下沉預(yù)測模型的隱含層神經(jīng)元數(shù)目為57，其預(yù)測結(jié)果和原始數(shù)據(jù)如圖2所示。

圖2 ReLU核ELM預(yù)測結(jié)果

通過分析圖2的預(yù)測結(jié)果可知，預(yù)測所得數(shù)據(jù)與原始數(shù)據(jù)的相關(guān)系數(shù)達(dá)到了0.9358，預(yù)測結(jié)果精度較高。

3 結(jié) 論

基于對(duì)核函數(shù)認(rèn)識(shí)，本文首先引入Relief Algorithm對(duì)輸入?yún)?shù)進(jìn)行優(yōu)化篩選，然后提出了將ReLU function的極限學(xué)習(xí)機(jī)算法運(yùn)用到了煤礦開采最大下沉預(yù)測之中。主要結(jié)論如下：

(1)通過Relief Algorithm計(jì)算可知，采厚、平均采深、走向長度和傾向長度與最大下沉具有顯著關(guān)系。因計(jì)算樣本來自阜新礦區(qū)，煤層傾角和覆巖單向抗壓強(qiáng)度差別不大，故在本例中煤層傾角和覆巖單向抗壓強(qiáng)度與最大下沉關(guān)系不顯著。

(2)通過隱含層神經(jīng)元數(shù)目疊加實(shí)驗(yàn)可知，ReLU function核、Sigmoid function核及Radial basis function的ELM返回的RMSE有收斂的趨勢，而以Hardlim function為核的ELM返回的RMSE無固定趨勢，效果最差。其中，ReLU function核計(jì)算結(jié)果收斂趨勢最優(yōu)，精度最高。

(3)當(dāng)隱含層神經(jīng)元數(shù)目為57時(shí)，基于ReLU function核ELM的模型能獲得計(jì)算精度較高的預(yù)測結(jié)果，其預(yù)測值與原始數(shù)據(jù)的相關(guān)系數(shù)達(dá)到了0.9358。