膨脹土分類的PCA-ELM模型及應(yīng)用

，, 2，

(1.中南大學(xué) 資源與安全工程學(xué)院，長沙 410083；2.中國人民解放軍91292部隊(duì)，河北 高碑店 074000)

1 研究背景

膨脹土是我國廣泛分布的一種富含強(qiáng)親水性礦物的高塑性黏土，素有“工程癌癥”之稱，常給工程建設(shè)帶來巨大挑戰(zhàn)與危害[1-3]。在富含膨脹土區(qū)域進(jìn)行工程建設(shè)時(shí)，首先應(yīng)對膨脹土進(jìn)行分類，區(qū)分其脹縮等級(jí)，然后確定工程設(shè)計(jì)及相應(yīng)處理措施[4]。若對膨脹土類別進(jìn)行了漏判或誤判，將給工程建設(shè)埋下隱患，甚至造成重大災(zāi)害事故[1-4]。

國內(nèi)外關(guān)于膨脹土分類主要分為單因素分類法與多因素分類法。單因素分類法簡單、易于工程應(yīng)用，如風(fēng)干含水量法[5]、塑性圖法[6]等。且指標(biāo)取值往往存在隨機(jī)性與模糊性，故單因素分類法具有一定片面性，易造成膨脹土類別誤判。多因素分類法綜合考慮多個(gè)指標(biāo)，一些學(xué)者運(yùn)用模糊數(shù)學(xué)[7]、多元回歸分析[8]、距離判別分析[9]、Fisher判別分析[10]、云模型[11]等進(jìn)行分析，比單因素分類法更為有效。以上方法取得了一定效果，但由于膨脹土本身的復(fù)雜性與相關(guān)理論的局限性，目前仍未有一種方法適用于所有的工程環(huán)境。

極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)是2004年由黃廣斌等[12]提出的一種求解單隱含層神經(jīng)網(wǎng)絡(luò)算法。模型簡單可靠，無需設(shè)置大量網(wǎng)絡(luò)參數(shù)，并具有較快的學(xué)習(xí)速度、良好的泛化性能和較高的預(yù)測精度，已被廣泛應(yīng)用于故障診斷[13]、邊坡可靠度分析[14]、電力負(fù)荷預(yù)測[15]等領(lǐng)域。為此，筆者借鑒極限學(xué)習(xí)機(jī)的思想,并結(jié)合主成分分析(Principal Component Analysis，PCA)，提出一種膨脹土分類的PCA-ELM模型。通過采用主成分分析(PCA)對樣本進(jìn)行相關(guān)性處理得出變量主成分，以減少極限學(xué)習(xí)機(jī)輸入因子，然后構(gòu)建基于極限學(xué)習(xí)機(jī)的膨脹土分類模型，最后引用相關(guān)文獻(xiàn)實(shí)例驗(yàn)證該模型的可行性。

2 PCA-ELM分類模型

2.1 主成分分析

主成分分析(PCA)是由Pearson提出的一種基于降維思想的多元統(tǒng)計(jì)方法，能有效去除樣本冗余信息，將多個(gè)指標(biāo)轉(zhuǎn)化為少量相互獨(dú)立且包含原數(shù)據(jù)大部分信息的綜合性指標(biāo)[16]。通過對樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除指標(biāo)間量綱及數(shù)值差異，然后計(jì)算其相關(guān)矩陣特征值及特征向量，得出累計(jì)方差貢獻(xiàn)率，從而確定樣本主成分。計(jì)算步驟如下[17]：

(1)對樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。假設(shè)樣本總數(shù)為n，指標(biāo)總數(shù)為p，則樣本數(shù)據(jù)矩陣A為

A=(aij)n×p。

(1)

式中aij為第i個(gè)樣本的第j個(gè)指標(biāo)值。

原始數(shù)據(jù)標(biāo)準(zhǔn)化處理后的矩陣A*為：

(2)

(3)

(2)計(jì)算相關(guān)矩陣R特征值及特征向量，R為

R=A*TA*/(n-1) 。

(4)

求出R的特征值為：λ1≥λ2≥…≥λp，相應(yīng)特征向量為：μ1,μ2,…,μp。

(3)計(jì)算方差貢獻(xiàn)率ηi及累計(jì)方差貢獻(xiàn)率η∑(m)，即：

(5)

(6)

累計(jì)方差貢獻(xiàn)率是指方差貢獻(xiàn)率的累計(jì)總和，反映了各指標(biāo)對因變量的綜合影響力，故依據(jù)累計(jì)方差貢獻(xiàn)率確定主成分個(gè)數(shù)，當(dāng)累計(jì)方差貢獻(xiàn)率>80%時(shí)，對應(yīng)的前m個(gè)主成分包含樣本大部分信息[16-17]。

(4)計(jì)算主成分對應(yīng)的特征向量Up×m為

Up×m=[u1,u2,…,um] 。

(7)

式中ui為各樣本主成分特征值，i=1,2,…,m。

則樣本主成分矩陣Zn×m為

Zn×m=An×pUp×m。

(8)

圖1 極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of extreme learning machine

2.2 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)見圖1[13-15]。該網(wǎng)絡(luò)由輸入層、隱含層及輸出層構(gòu)成，神經(jīng)元個(gè)數(shù)分別為d，l，t。圖1中xi,oi,yi分別為樣本輸入層、隱含層、輸出層數(shù)據(jù)。輸入層接收樣本數(shù)據(jù)，隱含層通過激活函數(shù)對輸入數(shù)據(jù)進(jìn)行轉(zhuǎn)換，輸出層將計(jì)算結(jié)果輸出。計(jì)算步驟如下。

(1)初始化ELM參數(shù)。隨機(jī)生成輸入層與隱含層權(quán)值w及隱含層閾值b：

(9)

b=[b1b2…bl]T。

(10)

(2)計(jì)算隱含層輸出矩陣H。設(shè)隱含層激活函數(shù)為f(x)，則H為

H=

(11)

(3)計(jì)算輸出權(quán)值。設(shè)隱含層與輸出層連接權(quán)值v為

(12)

則樣本輸出Y可表示為

Y=Hv。

(13)

輸出層權(quán)值v求解模型為

(14)

(15)

式中H+為H的Moore-Penrose廣義逆。

可見極限學(xué)習(xí)機(jī)將神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為矩陣求逆問題，提高了運(yùn)算速度；且網(wǎng)絡(luò)參數(shù)設(shè)置容易，只需預(yù)設(shè)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)；同時(shí)黃廣斌等[12]己經(jīng)證明其可任意逼近任何連續(xù)目標(biāo)函數(shù)，具有良好的泛化性能和預(yù)測精度。

2.3 PCA-ELM組合模型

膨脹土分類數(shù)據(jù)通常存在維數(shù)高、數(shù)據(jù)量大、部分變量間相關(guān)性強(qiáng)等特點(diǎn)[4]，若直接作為模型輸入，將嚴(yán)重降低計(jì)算效率，甚至影響預(yù)測結(jié)果。因此，通過主成分分析求得能反映樣本絕大部分信息的主成分，減少極限學(xué)習(xí)機(jī)的輸入，以縮短訓(xùn)練時(shí)間，加快收斂速度，提高分類精度。膨脹土分類的PCA-ELM組合模型計(jì)算步驟如下：

(1)將膨脹土原始分類數(shù)據(jù)進(jìn)行PCA處理，得到新的數(shù)據(jù)集。

(2)分別將新的數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其中訓(xùn)練集占數(shù)據(jù)總數(shù)的70%，訓(xùn)練集占30%。

(3)將訓(xùn)練集作為極限學(xué)習(xí)機(jī)的輸入，并采用十折交叉驗(yàn)證優(yōu)化極限學(xué)習(xí)機(jī)隱含層節(jié)點(diǎn)數(shù)，從而得到最優(yōu)的極限學(xué)習(xí)機(jī)預(yù)測模型。

(4)將測試集作為最優(yōu)極限學(xué)習(xí)機(jī)模型輸入，得到分類結(jié)果。

將主成分分析與極限學(xué)習(xí)機(jī)組合，結(jié)合了兩者優(yōu)勢，可很好解決膨脹土分類問題，該組合分類模型計(jì)算流程見圖2。

圖2 PCA-ELM模型計(jì)算流程Fig.2 Calculation flowchart of PCA-ELM model

3 分類指標(biāo)的選取

膨脹土分類指標(biāo)可分為直接指標(biāo)與間接指標(biāo)[4]。直接指標(biāo)法直觀，如膨脹量、收縮量、礦物含量等指標(biāo)，但對測試人員專業(yè)技能要求較高；間接指標(biāo)法不夠直觀，但測試方法簡單，并具有一定合理性，如液限、塑限、自由膨脹率等指標(biāo)。工程中常用間接指標(biāo)法進(jìn)行分類。通過對國內(nèi)外膨脹土分類指標(biāo)進(jìn)行統(tǒng)計(jì)分析[1-11]，結(jié)果表明：液限、塑性指數(shù)、粒度組成與自由膨脹率4個(gè)指標(biāo)被選用頻率最高。因此，文中選用液限X1、塑性指數(shù)X2、<2 μm膠粒含量X3與自由膨脹率X4作為分析指標(biāo)。

這4個(gè)指標(biāo)中的液限表示土體呈可塑狀態(tài)的上限含水率，塑性指數(shù)表示土體呈塑性狀態(tài)的含水量范圍，兩者均與土的粒徑組成、黏性礦物含量、比表面積等關(guān)系密切[7]； 粒度組成是反映膨脹土物質(zhì)組成特性的基本指標(biāo)，土中<2 μm膠粒含量越高，表明蒙脫石成分越多，親水性越強(qiáng)，膨脹性越大[4]；自由膨脹率直接反映土的脹縮特性，黏性礦物含量越高，親水性越強(qiáng)，自由膨脹率越大[10]。

參考《膨脹土地區(qū)建筑技術(shù)規(guī)范》(GB 50112—2013)[18]、《公路路基設(shè)計(jì)規(guī)范》(JTG D30—2004)[19]以及文獻(xiàn)[4]—文獻(xiàn)[7]，將膨脹土分為強(qiáng)膨脹土、中等膨脹土、弱膨脹土與非膨脹土4個(gè)類別。

4 工程實(shí)例

4.1 膨脹土數(shù)據(jù)集選取

為驗(yàn)證所建立的改進(jìn)PCA-ELM膨脹土分類方法的有效性，文中以2個(gè)膨脹土工程實(shí)例進(jìn)行分析。選取文獻(xiàn)[7]中當(dāng)(陽)—宜(昌)高速公路與文獻(xiàn)[10]中合(肥)—六安—葉(集)高速公路共32個(gè)膨脹土樣本進(jìn)行分析，樣本實(shí)測值及類別見表1。

表1 膨脹土實(shí)測值及類別Table 1 Measured values and categories of expansive soils

4.2 主成分提取

由于分類指標(biāo)間存在一定相關(guān)性，易造成樣本信息輸入重復(fù)，增加模型訓(xùn)練復(fù)雜度，降低泛化性能。因此對各指標(biāo)主成分進(jìn)行提取，得到包含樣本大部分信息且互無關(guān)聯(lián)的綜合性變量。由式(1)—式(6)計(jì)算相關(guān)矩陣的特征值、方差貢獻(xiàn)率及方差累計(jì)貢獻(xiàn)率，見表2。特征值與成分?jǐn)?shù)的關(guān)系見圖3，也稱碎石圖。

表2 主成分特征值計(jì)算結(jié)果Table 2 Calculated eigenvalues of principal component

圖3 不同成分?jǐn)?shù)的特征值Fig.3 Eigenvalues ofdifferent component numbers

依據(jù)方差累計(jì)貢獻(xiàn)率確定主成分個(gè)數(shù)，選取前2項(xiàng)主成分進(jìn)行相關(guān)性分析，由此可求得主成分向量為

U4×2=

由主成分向量得出2個(gè)主成分的表達(dá)式分別為：

F1=0.559 9X1+0.546 2X2+0.536 8X3+0.316 3X4；

F2=0.132 6X1+0.241 2X2+0.173 5X3-0.945 6X4。

依據(jù)式(7)和式(8)求得各樣本主成分矩陣Z30×3為

4.3 預(yù)測結(jié)果分析

模型計(jì)算過程采用MATLAB軟件實(shí)現(xiàn)，將主成分作為模型輸入，以膨脹土類別為輸出。分別選取2個(gè)膨脹土工程70%的樣本數(shù)據(jù)為訓(xùn)練集，30%的樣本數(shù)據(jù)為測試集，即當(dāng)—宜高速公路選取10個(gè)為訓(xùn)練集，5個(gè)為測試集，合—六—葉高速公路選取12個(gè)為訓(xùn)練集，5個(gè)為測試集。選取sig函數(shù)作為隱含層神經(jīng)元的激勵(lì)函數(shù)，采用十折交叉驗(yàn)證確定最優(yōu)隱含層節(jié)點(diǎn)數(shù)，從而得到最優(yōu)極限學(xué)習(xí)機(jī)預(yù)測模型。由于樣本訓(xùn)練集和測試集是隨機(jī)劃分的，且輸入層與隱含層權(quán)值及隱含層閾值也是隨機(jī)給定的，故模型輸出結(jié)果穩(wěn)定性較差，運(yùn)行20次，求其平均值。

4.3.1 十折交叉驗(yàn)證結(jié)果分析

通過設(shè)置不同的隱含層節(jié)點(diǎn)數(shù)，采用十折交叉驗(yàn)證計(jì)算模型分類誤差，見圖4。由圖4可知，當(dāng)隱含層節(jié)點(diǎn)數(shù)設(shè)定為35時(shí)，分類精度達(dá)到最佳，且逐漸趨于穩(wěn)定。故在分析測試集分類精度時(shí)，將隱含層神經(jīng)元個(gè)數(shù)設(shè)為35，此時(shí)十折交叉驗(yàn)證精度隨運(yùn)行次數(shù)的關(guān)系見圖5。由圖5可知，對于同樣的數(shù)據(jù)輸入，進(jìn)行多次訓(xùn)練，算法輸出結(jié)果的波動(dòng)明顯，運(yùn)行20次平均精度為94.20%。

圖4 隱含層節(jié)點(diǎn)數(shù)與訓(xùn)練集分類精度關(guān)系Fig.4 Relation between node in hidden layer and classification accuracy of training set

圖5 運(yùn)行次數(shù)與十折交叉驗(yàn)證精度關(guān)系Fig.5 Relation between running times and 10-fold cross validation accuracy

4.3.2 測試集分類結(jié)果分析

將剩余的30%樣本數(shù)據(jù)作為測試集輸入至最優(yōu)極限學(xué)習(xí)機(jī)模型，得到測試集分類結(jié)果，見圖6。由圖6可知，測試集分類精度較高，平均精度為79.00%。

圖6 運(yùn)行次數(shù)與測試集分類精度關(guān)系Fig.6 Relation between running times and classification accuracy of test set

4.3.3 分類結(jié)果對比

同時(shí)將PCA-ELM模型與ELM,BP神經(jīng)網(wǎng)絡(luò)分類結(jié)果進(jìn)行對比分析，都采用十折交叉驗(yàn)證確定最優(yōu)模型參數(shù)，然后將測試集作為模型輸入，得到模型分類精度。通過模型仿真測試，ELM隱含層最優(yōu)節(jié)點(diǎn)數(shù)為38，BP神經(jīng)網(wǎng)絡(luò)由于需優(yōu)化參數(shù)較多，文中僅進(jìn)行優(yōu)化網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)，網(wǎng)絡(luò)層數(shù)同樣設(shè)置為3層，其他參數(shù)均為MATLAB神經(jīng)網(wǎng)絡(luò)工具箱默認(rèn)參數(shù)，隱含層最優(yōu)節(jié)點(diǎn)數(shù)為9。3種模型訓(xùn)練集和測試集平均分類精度見圖7。由圖7可知，PCA-ELM,ELM,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集分類精度分別為94.20%，87.25%，75.67%，測試集分類精度分別為79.00%，77.91%，72.43%，可見，PCA-ELM模型分類精度較高，將其應(yīng)用于膨脹土分類是可行的。

圖7 分類模型與分類精度關(guān)系Fig.7 Relation between classification model and accuracy

圖8 分類模型與訓(xùn)練時(shí)間關(guān)系Fig.8 Relation between classification model and training time

各分類模型訓(xùn)練時(shí)間見圖8，PCA-ELM,ELM,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間分別為21，24，2 116 s。由于模型訓(xùn)練次數(shù)為20次，優(yōu)化隱含層節(jié)點(diǎn)數(shù)為51個(gè)，并進(jìn)行了十折交叉驗(yàn)證，故模型迭代循環(huán)次數(shù)為10 200次，計(jì)算量較大。PCA-ELM模型輸入變量通過主成分分析降為2個(gè),僅用了21 s完成運(yùn)算，運(yùn)算速度非?？欤m用于大規(guī)模數(shù)據(jù)的計(jì)算；ELM模型訓(xùn)練時(shí)間為24 s，由于ELM模型輸入變量為4個(gè),大于PCA-ELM模型的輸入變量的個(gè)數(shù)， 故ELM模型運(yùn)算速度稍慢；BP神經(jīng)網(wǎng)絡(luò)運(yùn)算速度最慢，訓(xùn)練時(shí)間達(dá)到了2 116 s，由于BP神經(jīng)網(wǎng)絡(luò)需不斷通過反向傳播按誤差函數(shù)梯度方向調(diào)整網(wǎng)絡(luò)權(quán)重和閾值，使網(wǎng)絡(luò)誤差平方和最小，故學(xué)習(xí)效率低，收斂速度慢。

5 結(jié) 論

(1)在極限學(xué)習(xí)機(jī)算法基礎(chǔ)上，結(jié)合主成分分析思想，提出一種膨脹土分類PCA-ELM模型。結(jié)合工程實(shí)例對所建立模型進(jìn)行驗(yàn)證，分類結(jié)果與文獻(xiàn)結(jié)果具有較高的一致性，訓(xùn)練集分類精度達(dá)94.20%，測試集分類精度達(dá)79.00%，可滿足工程需要。

(2)采用主成分分析對樣本數(shù)據(jù)進(jìn)行相關(guān)性處理得出主成分，將4個(gè)變量縮減為2個(gè)變量，減少了極限學(xué)習(xí)機(jī)的輸入，消除了各指標(biāo)間相關(guān)性，降低了模型復(fù)雜度，與未經(jīng)過主成分分析處理的極限學(xué)習(xí)機(jī)模型分類結(jié)果相比，精度更高。

(3)與BP神經(jīng)網(wǎng)絡(luò)模型相比，PCA-ELM分類模型具有較快的運(yùn)算速度，適用于大規(guī)模數(shù)據(jù)的訓(xùn)練和預(yù)測，模型循環(huán)10 200次，PCA-ELM模型僅用了21 s，而BP神經(jīng)網(wǎng)絡(luò)用了2 116 s。