基于變量篩選優(yōu)化極限學(xué)習(xí)機(jī)的混凝土壩變形預(yù)測(cè)模型

曹恩華，包騰飛，胡紹沛，袁榮耀，鄢 濤1，2，

(1.河海大學(xué) 水文水資源與水利工程科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，南京 210098； 2.河海大學(xué) 水資源高效利用與工程安全國(guó)家工程研究中心，南京 210098； 3.河海大學(xué) 水利水電學(xué)院，南京 210098； 4.三峽大學(xué) 水利與環(huán)境學(xué)院，湖北 宜昌 443002)

1 研究背景

作為重要的基礎(chǔ)設(shè)施，混凝土壩在發(fā)電、防洪、灌溉和供水等方面發(fā)揮了重要作用[1-2]，對(duì)其結(jié)構(gòu)性態(tài)的準(zhǔn)確預(yù)測(cè)是保障其安全運(yùn)行的重要措施[3]。作為大壩結(jié)構(gòu)性態(tài)最直觀、最有效的反映，變形已經(jīng)被廣泛用作混凝土壩的主要監(jiān)測(cè)指標(biāo)[4-6]?；谧冃伪O(jiān)測(cè)數(shù)據(jù)建立可靠的預(yù)測(cè)模型，是大壩安全監(jiān)控領(lǐng)域重要研究方向之一。

變形反映了在內(nèi)、外部環(huán)境的影響下，大壩結(jié)構(gòu)的非線性動(dòng)態(tài)演化[7-8]。相關(guān)的監(jiān)控模型主要分為3種：統(tǒng)計(jì)模型、確定性模型和混合模型[4，7，9-11]。確定性模型需要盡可能精確的材料參數(shù)、幾何形狀，以及大壩和地基的工作條件，這在實(shí)際工程中難以實(shí)現(xiàn)[11]。統(tǒng)計(jì)模型無需考慮大壩和壩基的物理特性，因此更易于實(shí)施[12]，它是大壩變形監(jiān)測(cè)中最為常用的建模方法；但是，統(tǒng)計(jì)模型的泛化能力和預(yù)測(cè)時(shí)延性較差，使得此類模型在實(shí)際應(yīng)用中效果并不理想[13]。

近年來，隨著人工智能技術(shù)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)和支持向量機(jī)(Support Vector Machine，SVM)等算法已廣泛應(yīng)用于大壩變形監(jiān)控領(lǐng)域[14-18]。然而上述算法也存在一定的局限性，如收斂速度緩慢、容易陷入局部極小值以及核參數(shù)難以選擇等。為了避免上述問題，本文選取極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)作為大壩變形的基礎(chǔ)預(yù)測(cè)模型。ELM是由Huang等[19]于2006年提出的一種新型單隱含層神經(jīng)網(wǎng)絡(luò)，該算法能夠隨機(jī)生成輸入層與隱含層之間的連接權(quán)重以及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元的數(shù)量即可獲得理想的輸出。與ANN、SVM等算法相比，ELM具有簡(jiǎn)單易用、收斂速度快以及泛化能力強(qiáng)等優(yōu)點(diǎn)[4]。

本文中，ELM模型的輸入向量通過統(tǒng)計(jì)模型HST(Hydraulic-Season-Time)獲取。HST通常會(huì)引入較高維度的變量，在機(jī)器學(xué)習(xí)過程中，這些變量并不是同等重要的，不相關(guān)變量將使得模型更為復(fù)雜，進(jìn)而增加過擬合風(fēng)險(xiǎn)、影響預(yù)測(cè)性能。若能夠篩選出具有代表性的變量，消除不相關(guān)的變量，則可以降低模型復(fù)雜度從而提高預(yù)測(cè)精度。Dombi等[20]提出使用平均影響值(Mean Impact Value，MIV)來反映神經(jīng)網(wǎng)絡(luò)中權(quán)重矩陣的變化，這是評(píng)估神經(jīng)網(wǎng)絡(luò)變量相關(guān)性的最佳指標(biāo)之一。MIV算法通過計(jì)算輸入變量增加(減少)之前(之后)的模型輸出變化來衡量變量的相關(guān)性，從而篩選出與因變量高度相關(guān)的因子。本文結(jié)合MIV與ELM算法的特性，對(duì)各變量的重要性進(jìn)行排序，從而篩選出具有代表性的最簡(jiǎn)輸入變量集。為進(jìn)一步提高篩選出的變量可信度，本文提出采用基于MIV排序的反向逐變量剔除法，通過對(duì)應(yīng)ELM模型的輸出精度變化來驗(yàn)證并確定最佳輸入變量集，這一操作可以提高變量篩選的可靠性。

本文著重研究以下4個(gè)主題：①結(jié)合理論分析與監(jiān)測(cè)數(shù)據(jù)建立混凝土壩變形統(tǒng)計(jì)模型，確定初始變量集；②基于MIV-ELM模型量化各變量重要性，采用正反分析法確定最佳輸入變量集；③基于篩選出的最佳變量集和確定的ELM網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行混凝土壩變形分析；④驗(yàn)證提出模型的可拓展性。

2 變量篩選理論

2.1 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(ELM)是由Huang等[19]于2006年提出的新型前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱含層和輸出層組成。對(duì)于N組樣本(xi，ti(i=1,2,…,N))，其中xi和ti分別為神經(jīng)網(wǎng)絡(luò)的輸入樣本和輸出，假設(shè)隱含層激活函數(shù)為g(x)，則包含l個(gè)隱含層神經(jīng)元的模型輸出為

(1)

式中：bi為i個(gè)隱含層神經(jīng)元的閾值；ωi和βi分別為神經(jīng)網(wǎng)絡(luò)的輸入、輸出權(quán)重。式(1)可以表示為

Hβ=T′ 。

(2)

(3)

式中yi為神經(jīng)網(wǎng)絡(luò)的期望輸出。

2.2 基于MIV-ELM的變量篩選

基于變量篩選方法剔除不相關(guān)變量，可以提高模型的準(zhǔn)確性，并降低模型過度擬合的風(fēng)險(xiǎn)。Dombi等[20]提出使用MIV來反映神經(jīng)網(wǎng)絡(luò)中加權(quán)矩陣的變化，MIV的主要原理是通過相應(yīng)神經(jīng)網(wǎng)絡(luò)的輸出來確定自變量對(duì)因變量的影響程度。當(dāng)模型輸入發(fā)生輕微變化時(shí)，影響程度用MIV指數(shù)表示，符號(hào)代表相關(guān)方向，絕對(duì)值代表影響度。本文將混凝土壩的變形監(jiān)測(cè)數(shù)據(jù)分為訓(xùn)練集F和測(cè)試集T，首先將訓(xùn)練集中的每個(gè)獨(dú)立變量在原值的基礎(chǔ)上加/減10%，形成2個(gè)新的訓(xùn)練樣本F1和F2(每次改變其中一個(gè)變量，其他變量保持原值)。然后使用ELM分別對(duì)F1和F2進(jìn)行建模并預(yù)測(cè)，得到預(yù)測(cè)結(jié)果A1和A2，二者差值即為該變量對(duì)模型輸出影響的變化值(IV)。MIV-ELM結(jié)構(gòu)如圖1所示。

圖1 MIV-ELM模型結(jié)構(gòu)Fig.1 Structure of the MIV-ELM model

基于觀測(cè)次數(shù)對(duì)IV進(jìn)行平均得到各變量對(duì)應(yīng)的MIV，根據(jù)其絕對(duì)值大小對(duì)變量進(jìn)行排序，當(dāng)變量的累計(jì)貢獻(xiàn)率達(dá)到限定條件時(shí)，完成變量選擇，獲得最佳輸入變量集。各個(gè)自變量對(duì)輸出的相對(duì)貢獻(xiàn)率和累積貢獻(xiàn)率可根據(jù)式(4)和式(5)計(jì)算得到，即：

(4)

(5)

式中：m為總的變量個(gè)數(shù)；n為當(dāng)前疊加變量個(gè)數(shù)；γi為第i個(gè)變量對(duì)因變量的相對(duì)貢獻(xiàn)率；μ是前n個(gè)變量的累積貢獻(xiàn)率。綜上所述，本文提出的HST-MIV-ELM算法流程如圖2所示。本文選用了均方根誤差RMSE、平均絕對(duì)誤差MAE、決定系數(shù)R2、均方誤差MSE、相關(guān)系數(shù)R及均方根偏差RMSD等指標(biāo)對(duì)模型進(jìn)行全面評(píng)價(jià)。

圖2 HST-MIV-ELM模型流程Fig.2 Flow chart of the HST-MIV-ELM model

3 應(yīng)用實(shí)例

3.1 工程概況

以某碾壓混凝土重力壩為例，其最大壩高為72.4 m，該壩變形監(jiān)測(cè)系統(tǒng)包括水平位移和垂直位移。選取第4壩段EX5測(cè)點(diǎn)對(duì)應(yīng)的位移相關(guān)監(jiān)測(cè)數(shù)據(jù)構(gòu)建模型并分析模型的預(yù)測(cè)性能。數(shù)據(jù)范圍為2016年6月6日至2018年10月22日期間的739組數(shù)據(jù)(日觀測(cè))，位移和水位變化過程線如圖3所示，其中訓(xùn)練集F對(duì)應(yīng)1～709次監(jiān)測(cè)數(shù)據(jù)，其余部分設(shè)為測(cè)試集。

圖3 EX5測(cè)點(diǎn)的位移和水位變化過程線Fig.3 Variations of displacement and water level at monitoring point EX5

3.2 獲取初始變量

基于HST模型理論[13]，可以確定本文研究壩型的統(tǒng)計(jì)模型因子，如表1所示。其中，ai、b1i、b2i和ci分別表示對(duì)應(yīng)項(xiàng)的系數(shù)，H為觀測(cè)日上游水深與基準(zhǔn)日上游水深的差值，t表示從基準(zhǔn)日到觀測(cè)日的累計(jì)天數(shù)，θ表示時(shí)效因子，且θ=t/100。由此確定的模型初始變量集以及通過多元線性回歸得到的各系數(shù)值見表1。

表1 HST系數(shù)值及相應(yīng)影響因子Table 1 HST coefficient values and corresponding impact factors

HST對(duì)應(yīng)的擬合和預(yù)測(cè)過程如圖4所示。由圖4可以看出，HST模型的擬合結(jié)果與真實(shí)值趨勢(shì)大致相同，但效果并不是很理想；該模型在測(cè)試集上的結(jié)果與實(shí)際值相差較大，說明對(duì)于本節(jié)研究的案例，HST并不能很好地描述大壩變形。

圖4 HST的擬合和預(yù)測(cè)結(jié)果Fig.4 Fitted and predicted results of HST

3.3 變量提取

在ELM模型的基礎(chǔ)上，采用MIV算法分析上節(jié)中9個(gè)變量對(duì)變形的影響程度。通過分析，選擇水平位移累計(jì)貢獻(xiàn)率μ在0.950 2以上的變量作為ELM模型的輸入變量。各變量的|MIV|排序及對(duì)應(yīng)的μ值分別見圖5和表2，其中x1—x9分別對(duì)應(yīng)表1中的9個(gè)因子?？梢钥闯?，當(dāng)μ達(dá)到0.950 2時(shí)，共篩選出7個(gè)變量，即(x4，x5，x6，x8，x9，x3，x2)。

圖5 基于MIV的變量排序Fig.5 MIV-based variable ranking

表2 變量累計(jì)貢獻(xiàn)率Table 2 Cumulative contribution of variables

3.4 反向逐變量剔除法

由于ELM的學(xué)習(xí)過程有一定的隨機(jī)性，為進(jìn)一步驗(yàn)證本文3.3節(jié)篩選的輸入變量集的可靠性，本節(jié)提出了反向逐變量剔除法，即根據(jù)各個(gè)變量的MIV排序逆向逐個(gè)剔除，并選取均方誤差(Mean Square Error,MSE)作為評(píng)價(jià)指標(biāo)量化剩余變量對(duì)應(yīng)的ELM模型精度。計(jì)算結(jié)果見圖6。

圖6 反向逐變量剔除結(jié)果Fig.6 Results of reverse variable-by-variable elimination

從圖6可以得出結(jié)論：不同變量組合的輸出結(jié)果對(duì)應(yīng)的MSE值呈現(xiàn)先下降后上升的趨勢(shì)。隨著與變形不相關(guān)或相關(guān)性較小變量的剔除，模型的預(yù)測(cè)精度呈上升趨勢(shì)，當(dāng)某一變量被剔除后，模型的精度達(dá)到最高水平，若繼續(xù)剔除剩余變量，預(yù)測(cè)精度開始下降。可以看出，當(dāng)剔除變量x1后，模型的預(yù)測(cè)精度達(dá)到最高，說明3.3節(jié)中7個(gè)變量組成的輸入變量集是有效的，該方法彌補(bǔ)了ELM隨機(jī)性帶來的不確定性，使得篩選結(jié)果更加可靠。

3.5 確定ELM網(wǎng)絡(luò)結(jié)構(gòu)

以(x4，x5，x6，x8，x9，x3，x2)為輸入、水平位移為輸出構(gòu)建ELM模型，首先應(yīng)當(dāng)確定模型的網(wǎng)絡(luò)結(jié)構(gòu)以便得到最佳的輸出結(jié)果。結(jié)合前文所述，模型的輸入層共有7個(gè)神經(jīng)元，輸出層有1個(gè)神經(jīng)元，選取Sigmiod函數(shù)作為模型的激活函數(shù)。同時(shí)，ELM的預(yù)測(cè)性能很大程度上取決于隱含層神經(jīng)元個(gè)數(shù)l，它對(duì)模型的預(yù)測(cè)準(zhǔn)確性有很大的影響[4]。通過分析，當(dāng)l取值超過60，模型的模擬精度明顯降低。因此本文采用區(qū)間分割方法分析了l∈[1，60]時(shí)隱含層神經(jīng)元個(gè)數(shù)對(duì)模型預(yù)測(cè)結(jié)果的影響，即每次取靠近區(qū)間中間的點(diǎn)作為l的取值并參與建模和驗(yàn)證模型性能，然后將該點(diǎn)作為區(qū)間分割點(diǎn)，并成為下一個(gè)區(qū)間的左(右)邊界，重復(fù)該操作直到遍歷所有取值。選取MSE和R2作為性能評(píng)價(jià)指標(biāo)，分析結(jié)果如圖7所示。從圖7可以看出，當(dāng)l=40時(shí)，模型得到最小MSE值和最大R2，說明此時(shí)ELM模型性能最佳。

圖7 隱含層神經(jīng)元個(gè)數(shù)的確定過程Fig.7 Process of determining the number of neurons in the hidden layer

3.6 模型性能比較

選取大壩變形領(lǐng)域的常用模型(HST、ELM和HST-ELM)與HST-MIV-ELM模型進(jìn)行比較，以驗(yàn)證后者在大壩變形預(yù)測(cè)中的優(yōu)越性。通過HST、ELM同HST-ELM的對(duì)比，可以驗(yàn)證基于統(tǒng)計(jì)模型確定模型輸入的有效性；HST-ELM與HST-MIV-ELM的對(duì)比，可以證明基于MIV-ELM的變量篩選方法的可靠性。各模型的擬合、預(yù)測(cè)過程見圖4和圖8，為了更加直觀地評(píng)價(jià)各模型性能，本文采用了RMSE、MAE和R量化模型的擬合和預(yù)測(cè)結(jié)果[4]，具體見表3。

圖8 各模型的擬合和預(yù)測(cè)結(jié)果Fig.8 Fitted and predicted results of each model

表3 各模型性能評(píng)價(jià)指標(biāo)Table 3 Values of performance evaluation indicators for each model

從圖8和表3可以看出，ELM模型在訓(xùn)練和測(cè)試階段的性能遠(yuǎn)低于其他模型，HST次之，說明單一的統(tǒng)計(jì)模型或機(jī)器學(xué)習(xí)算法往往并不適用于非穩(wěn)定、非線性較強(qiáng)的大壩變形預(yù)測(cè)。相比之下，經(jīng)過HST優(yōu)化的ELM不論在訓(xùn)練階段還是在測(cè)試階段都表現(xiàn)出了較好的性能，其絕對(duì)殘差面積也明顯小于單一模型。與精度較高的HST模型相比較，HST-ELM在測(cè)試階段的RMSE、MAE和R值分別為0.516、0.434和0.746，同比RMSE和MAE分別降低了12.1%、10.52%，同比尺提升了3.76%。說明通過HST提取模型輸入變量是切實(shí)可行的，其能夠在一定程度上提升模型預(yù)測(cè)精度。然而，由圖8(b)和表3可以看出，HST-ELM模型在測(cè)試階段的效果并不是很好，預(yù)測(cè)結(jié)果在變化幅度較大節(jié)點(diǎn)上的變化趨勢(shì)差異較大。對(duì)比分析HST-MIV-ELM，它在訓(xùn)練階段和測(cè)試階段的絕對(duì)殘差都是最小的，且各指標(biāo)均有明顯的提高。與HST-ELM相比，其RMSE、MAE分別降低13.18%和7.6%，R提升了17.56%。說明本文提出的變量篩選方法能夠有效地剔除不相關(guān)變量，保留對(duì)結(jié)果影響較大的變量，從而提高模型的準(zhǔn)確度和可靠性。為了更加直觀地對(duì)比分析各個(gè)模型的性能，圖9和圖10分別為各模型位移預(yù)測(cè)結(jié)果的對(duì)比和泰勒?qǐng)D。

圖9 不同模型位移預(yù)測(cè)結(jié)果Fig.9 Comparison among different models in testing phase

圖10 各模型位移預(yù)測(cè)值泰勒?qǐng)DFig.10 Taylor diagram of the predicted displacement values for each model

很明顯，ELM模型對(duì)應(yīng)的決定系數(shù)過小，因此對(duì)于變形數(shù)據(jù)波動(dòng)性較大的混凝土壩工程來說，單一的神經(jīng)網(wǎng)絡(luò)在溫度測(cè)值不完整的大壩變形分析中是沒有意義的。HST-ELM的性能均優(yōu)于ELM，說明基于HST模型提取的輸入變量對(duì)提高ELM模型性能有著重要作用。變量篩選后模型的預(yù)測(cè)精度進(jìn)一步提高，說明MIV對(duì)提高模型整體性能具有重要意義。由泰勒?qǐng)D可以看出，HST-MIV-ELM的綜合指標(biāo)最接近真實(shí)值，可以得出與上文中同樣的結(jié)論。

4 模型可拓展性驗(yàn)證

通過上文分析，HST-MIV-ELM的性能優(yōu)于傳統(tǒng)變形預(yù)測(cè)模型。為了驗(yàn)證該模型在大壩變形預(yù)測(cè)中的可拓展性，本節(jié)從預(yù)測(cè)時(shí)延性和適用性2個(gè)方面進(jìn)行了分析。

4.1 預(yù)測(cè)時(shí)延性驗(yàn)證

為了驗(yàn)證所提出的模型對(duì)大壩變形的長(zhǎng)期預(yù)測(cè)效果，我們依次以2018年10月22日之后的60組、90組、120組和150組觀測(cè)數(shù)據(jù)作為模型測(cè)試集，分別構(gòu)建HST-MIV-ELM模型。表4為各試驗(yàn)組對(duì)應(yīng)的性能評(píng)價(jià)指標(biāo)。由表4可以看出，HST-MIV-ELM可以較好地預(yù)測(cè)大壩變形的周期性行為。

表4 不同時(shí)長(zhǎng)預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)值Table 4 Values of evaluation indicators corresponding to different forecast lengths

4.2 適用性驗(yàn)證

為了驗(yàn)證本文提出的模型廣泛適用于不同的混凝土壩型，以某混凝土雙曲拱壩為例，說明模型的有效性。選取該壩PL11-1測(cè)點(diǎn)對(duì)應(yīng)的900個(gè)變形作為分析對(duì)象，變形和水位變化過程線如圖11所示。其中1～800組數(shù)據(jù)作為訓(xùn)練集，801～900組數(shù)據(jù)作為測(cè)試集。

圖11 PL11-1的位移和水位變化Fig.11 Variations of deformation and water level at monitoring point PL11-1

首先通過MIV方法對(duì)初始輸入變量進(jìn)行篩選，確定變量篩選結(jié)果為(x1，x8，x4，x5，x6，x7)。基于變量篩選結(jié)果，構(gòu)建HST-MIV-ELM模型，并與HST、ELM以及HST-ELM的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。各模型預(yù)測(cè)結(jié)果及性能評(píng)價(jià)指標(biāo)分別如圖12和圖13所示。

圖12 各模型的預(yù)測(cè)結(jié)果Fig.12 Prediction results of each model

圖13 各模型RMSE和MAE對(duì)比Fig.13 Comparison of RMSE and MAE among different models

可以看出，受原始數(shù)據(jù)波動(dòng)性的影響，各模型針對(duì)PL11-1測(cè)點(diǎn)建模得到的預(yù)測(cè)結(jié)果均取得了較好的效果，預(yù)測(cè)值的變化趨勢(shì)接近真實(shí)值。圖13表明，HST-MIV-ELM模型對(duì)應(yīng)的RMSE與MAE均是最小的，說明該模型的預(yù)測(cè)性能優(yōu)于其他模型。

5 結(jié) 論

本研究提出了一種新型的混凝土壩變形預(yù)測(cè)模型，該模型基于HST、MIV和ELM模型三者的結(jié)合，主要結(jié)論總結(jié)如下：

(1)提出的MIV-ELM變量篩選法可以一定程度上降低模型的復(fù)雜度，提高模型的預(yù)測(cè)性能和預(yù)測(cè)性能。

(2)傳統(tǒng)的預(yù)測(cè)模型更適用于數(shù)據(jù)波動(dòng)性較小的變形預(yù)測(cè)，本文提出的HST-MIV-ELM模型針對(duì)不同壩型、不同波動(dòng)程度的原始數(shù)據(jù)，均能較好地模擬和預(yù)測(cè)大壩變形，具有較強(qiáng)的穩(wěn)健性。

(3)從預(yù)測(cè)時(shí)延性和可拓展性2個(gè)角度驗(yàn)證了HST-MIV-ELM模型的性能。結(jié)果表明，提出的模型對(duì)不同混凝土壩工程具有較強(qiáng)的適用性。