基于深度全連接神經(jīng)網(wǎng)絡(luò)的大壩變形預(yù)測研究

楊 恒 岳建平 邢 尹 周欽坤

1 河海大學(xué)地球科學(xué)與工程學(xué)院，南京市佛城西路8號，211100

隨著我國大壩等水利工程建造數(shù)量的大幅度增加，大壩的安全性受到社會各界的廣泛關(guān)注。目前，對觀測得到的大壩變形多源監(jiān)測數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)報與反演是保障大壩安全的重要手段[1]。大壩變形的影響因素主要可以分為水壓、溫度和時效3類，水壓因素直接作用在大壩上，與水庫水位變化有密切關(guān)系；溫度因素間接作用于大壩，溫差和邊界約束是產(chǎn)生應(yīng)力的主要原因[2]；而時效因素是許多非線性因素的綜合，對于混凝土大壩，主要反映了壩體混凝土材料特性(如混凝土徐變、老化等)、壩基巖體的材料特性(如巖石蠕變、節(jié)理裂隙等)、壩體結(jié)構(gòu)缺陷(如施工質(zhì)量等)、壩基結(jié)構(gòu)缺陷(如軟弱結(jié)構(gòu)面等)等因素對變形效應(yīng)量的影響[3]，另外水位、溫度和時效之間也存在著一定的相關(guān)性。由于各種影響因素的內(nèi)在聯(lián)系錯綜復(fù)雜，主次關(guān)系變化不定，所以高效地預(yù)測大壩變形依舊存在著很多挑戰(zhàn)。

隨著人工神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展和模糊數(shù)學(xué)理論的完善，不少學(xué)者將二者結(jié)合應(yīng)用于大壩變形預(yù)測，這些改進(jìn)方法雖然對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，預(yù)測精度有所提高，但模型方法參數(shù)較多，建模過程繁瑣，導(dǎo)致建模比較困難。而基于深度學(xué)習(xí)算法的全連接神經(jīng)網(wǎng)絡(luò)包括多層隱藏層，可實現(xiàn)無監(jiān)督學(xué)習(xí)，從而以更少的模型參數(shù)、更快的收斂速度和更高的擬合精度來逼近現(xiàn)實[4]，在水質(zhì)預(yù)測[5]、大氣污染預(yù)測[6]、降雨預(yù)測[7]等領(lǐng)域應(yīng)用較多，而在大壩變形預(yù)測領(lǐng)域應(yīng)用較少。

本文利用豐滿大壩實測的多源監(jiān)測數(shù)據(jù)，建立基于最優(yōu)學(xué)習(xí)算法的深度全連接神經(jīng)網(wǎng)絡(luò)預(yù)測模型，對豐滿大壩位移變形量進(jìn)行預(yù)測，并將預(yù)測結(jié)果與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行對比，以驗證本文深度全連接神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測大壩位移變形的可行性和優(yōu)越性。

1 構(gòu)建深度全連接神經(jīng)網(wǎng)絡(luò)

1.1 全連接神經(jīng)網(wǎng)絡(luò)

全連接神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比更強調(diào)網(wǎng)絡(luò)的深度。隱藏層和輸出層層數(shù)之和為網(wǎng)絡(luò)的深度，記為d，隱藏層可由多層構(gòu)成，記為hi，隱藏層對應(yīng)的激活函數(shù)記為Ai。

隱藏層第1層的輸出值h1為：

h1=A1(W1x+b1)

(1)

隱藏層其他層的輸出值hi為：

hi=Ai(Wihi-1+bi), 1

(2)

式中，Wi為權(quán)重值，bi為偏置。

常見的激活函數(shù)包括對數(shù)S型函數(shù)sigmoid、雙曲正切函數(shù)tanh和線性整流函數(shù)ReLu。

1.2 優(yōu)化學(xué)習(xí)算法

梯度下降法是目前使用最為廣泛的優(yōu)化算法，也是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)最常用的優(yōu)化方法，主要包括批量梯度下降法(BGD)和隨機梯度下降法(SGD)。其中，BGD的每步迭代使用全部的訓(xùn)練數(shù)據(jù)，所以參數(shù)更新方向比較穩(wěn)定，但收斂速度較慢，比較耗時；而SGD的每步迭代隨機選取訓(xùn)練樣本，收斂速度較快，但由于訓(xùn)練樣本的隨機性，參數(shù)更新不穩(wěn)定，因此二者都存在比較大的缺陷。隨著深度學(xué)習(xí)的興起，很多深度優(yōu)化算法被提出并用于對網(wǎng)絡(luò)的優(yōu)化訓(xùn)練。

1.2.1 小批量梯度下降法(MBGD)

MBGD[8]是BGD和SGD兩種梯度下降法的綜合體現(xiàn)，在每步迭代過程中從n個訓(xùn)練樣本隨機抽取m(m

1.2.2 動量法(momentum)

動量法[9]是為解決SGD更新方向完全依賴當(dāng)前batch從而使更新十分不穩(wěn)定而提出的。在更新時通過動量因子保留之前的更新方向，并加入該輪的梯度，從而提高學(xué)習(xí)效率，增加穩(wěn)定性，能有效避免模型陷入局部最優(yōu)。具體迭代更新公式為：

(3)

v←γv+ηg

(4)

式中，γ為動量因子，一般設(shè)置為0.9，η為學(xué)習(xí)率，θ為初始參數(shù)，v為下降動量。

1.2.3 自適應(yīng)學(xué)習(xí)率的優(yōu)化算法(AdaGrad)

AdaGrad算法[10]是借鑒模型引入正則化項以緩減過擬合現(xiàn)象的思路提出的，該算法可以解決梯度消失的問題。參數(shù)更新的迭代過程為：

(5)

r←r+g⊙g

(6)

(7)

θ←θ+Δθ

(8)

式中，η為全局學(xué)習(xí)率，δ為數(shù)值穩(wěn)定量，θ為初始參數(shù)，r為梯度累計量。

RMSProp算法[11]是AdaGrad算法的擴(kuò)展算法，將AdaGrad算法迭代過程式(6)修改為式(9)，能有效克服AdaGrad算法梯度急劇減小的問題。具體參數(shù)更新為：

r=ρr+(1-ρ)g⊙g

(9)

式中，ρ為指數(shù)衰減率。

1.2.4 自適應(yīng)矩估計優(yōu)化算法(Adam)

Adam算法[12]是利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率，將momentum法和RMSprop算法的優(yōu)勢相結(jié)合。參數(shù)更新的迭代過程為：

(10)

m←p1m+(1-p1)g

(11)

v←p2v+(1-p2)g⊙g

(12)

由于m和v的初始值取0，所以需要對m和v進(jìn)行糾正：

(13)

(14)

(15)

θ←θ+Δθ

(16)

1.3 深度全連接神經(jīng)網(wǎng)絡(luò)的建模步驟

1)數(shù)據(jù)預(yù)處理。訓(xùn)練樣本和測試樣本的劃分及數(shù)據(jù)標(biāo)準(zhǔn)化處理。

2)網(wǎng)絡(luò)構(gòu)建。確定網(wǎng)絡(luò)結(jié)構(gòu)，激活函數(shù)和損失函數(shù)的選取。

3)優(yōu)化算法的選取。將經(jīng)過標(biāo)準(zhǔn)化處理的訓(xùn)練樣本數(shù)據(jù)輸入步驟2)的網(wǎng)絡(luò)模型，經(jīng)過多輪調(diào)試，設(shè)置MBGD、momentum法、RMSprop算法和Adam算法的相關(guān)參數(shù)，利用設(shè)置好的4種深度優(yōu)化學(xué)習(xí)算法對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化訓(xùn)練，通過觀察訓(xùn)練損失函數(shù)值的變化曲線，選取最合適的優(yōu)化學(xué)習(xí)算法，得到基于最優(yōu)學(xué)習(xí)算法的大壩變形預(yù)測模型。

4)模型預(yù)測。將測試樣本數(shù)據(jù)中各影響因子輸入步驟3)的網(wǎng)絡(luò)模型，對大壩位移值進(jìn)行預(yù)測。

5)模型評價。通過MAE、MAPE和 RMSE三種評價指標(biāo)對預(yù)測模型進(jìn)行評價。

2 實例分析

2.1 數(shù)據(jù)預(yù)處理

本文選取豐滿大壩某壩段監(jiān)測點1985-01-04～1988-04-09共187期的多源監(jiān)測數(shù)據(jù)進(jìn)行分析，選取前160期監(jiān)測數(shù)據(jù)作為訓(xùn)練樣本，后27期監(jiān)測數(shù)據(jù)作為測試樣本。

為消除不同量綱對模型帶來的影響并提高神經(jīng)網(wǎng)絡(luò)的運行效率和預(yù)測精度，需要對原始數(shù)據(jù)進(jìn)行預(yù)處理。本文使用min-max標(biāo)準(zhǔn)化將原始數(shù)據(jù)映射到[0～1]之間，具體計算公式為：

(17)

相應(yīng)的反歸一化處理計算公式為：

x=y(max(x)-min(x))+min(x)

(18)

式中，y為預(yù)處理后的樣本數(shù)據(jù)，x為原始樣本數(shù)據(jù)，min(x)和max(x)為樣本中各輸入對應(yīng)的最小值和最大值。

2.2 全連接神經(jīng)網(wǎng)絡(luò)的構(gòu)建

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置

圖1 深度全連接神經(jīng)網(wǎng)絡(luò)大壩變形預(yù)測模型結(jié)構(gòu)Fig.1 Structure of dam deformation prediction model with deep fully connected neural network

2.2.2 模型搭建平臺

本文程序的實現(xiàn)基于python3.7環(huán)境和PaddlePaddle深度學(xué)習(xí)框架，隱藏層使用的激活函數(shù)是sigmoid函數(shù)，輸出層采用的是tanh函數(shù)；大壩位移預(yù)測屬于回歸問題，所以選用的損失函數(shù)為均方誤差。

2.3 優(yōu)化算法的選取

2.3.1 優(yōu)化算法超參數(shù)的設(shè)置

本文選用MBGD、momentum法、RMSprop算法和Adam算法等4種不同的優(yōu)化學(xué)習(xí)算法對模型進(jìn)行訓(xùn)練。經(jīng)過多輪調(diào)試，最終確定最優(yōu)學(xué)習(xí)率都取0.01，momentum 法動量因子γ取0.9，RMSprop算法ρ值取0.95，δ采用默認(rèn)值1×10-6；Adam算法δ采用默認(rèn)值1×10-8，p1和p2分別取0.9和0.99；中間變量都默認(rèn)取0，隨機選取各初始參數(shù)。

2.3.2 網(wǎng)絡(luò)訓(xùn)練

將經(jīng)過標(biāo)準(zhǔn)化處理的訓(xùn)練樣本數(shù)據(jù)各影響因素和對應(yīng)的大壩實測位移量作為輸入，采用設(shè)置好的4種優(yōu)化算法對網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練。本文訓(xùn)練采用雙層循環(huán)，內(nèi)層循環(huán)設(shè)置batch-size為10，即每次迭代隨機抽取10組樣本數(shù)據(jù)更新參數(shù)；網(wǎng)絡(luò)外層循環(huán)epoch-num取100，即進(jìn)行100輪訓(xùn)練，在每輪迭代開始前要將訓(xùn)練數(shù)據(jù)進(jìn)行隨機打亂。通過觀察各優(yōu)化算法損失函數(shù)值的變化情況選擇最合適的優(yōu)化算法，將訓(xùn)練批次編號作為X軸，該批次的訓(xùn)練損失作為Y軸，4種優(yōu)化算法損失函數(shù)值的變化曲線如圖2～5所示。通過觀察可知，Adam算法的收斂速度最快、效率最高，并且最終損失值降到最低值0.027。

圖2 MBGD損失函數(shù)值變化曲線Fig.2 MBGD loss function value change curve

圖3 Momentum法損失函數(shù)值變化曲線Fig.3 Momentum loss function value change curve

圖4 RMSProp算法損失函數(shù)值變化曲線Fig.4 RMSProp loss function value change curve

圖5 Adam算法損失函數(shù)值變化曲線Fig.5 Adam loss function value change curve

2.4 模型預(yù)測

通過對比發(fā)現(xiàn)，Adam算法為最優(yōu)深度學(xué)習(xí)算法，所以本文運用基于Adam算法的深度全連接神經(jīng)網(wǎng)絡(luò)對大壩位移變形量進(jìn)行預(yù)測。將標(biāo)準(zhǔn)化處理后的27期測試樣本數(shù)據(jù)中各影響因子輸入網(wǎng)絡(luò)模型，預(yù)測所對應(yīng)的位移變形量，然后通過反標(biāo)準(zhǔn)化處理得到最終的位移預(yù)測值，具體結(jié)果見表1(單位mm)。為進(jìn)一步評估本文神經(jīng)網(wǎng)絡(luò)的預(yù)測精度，利用傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)對同樣的大壩監(jiān)測數(shù)據(jù)進(jìn)行訓(xùn)練并預(yù)測，BP神經(jīng)網(wǎng)絡(luò)的隱藏層為1層，隱藏層神經(jīng)元個數(shù)根據(jù)經(jīng)驗公式和反復(fù)實驗取13，最終確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為6-13-1，訓(xùn)練方式為默認(rèn)的梯度下降法，其他參數(shù)的設(shè)置和激活函數(shù)的選取與本文神經(jīng)網(wǎng)絡(luò)一致，預(yù)測結(jié)果見表1(單位mm)。

2.5 模型評價

由表1可知，本文深度全連接神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)都可以對大壩位移變形進(jìn)行有效的預(yù)測，而本文神經(jīng)網(wǎng)絡(luò)的預(yù)測值與大壩位移的真實值更接近。為更加客觀地評價本文深度全連接神經(jīng)網(wǎng)絡(luò)的預(yù)測精度，通過MAE、MAPE和RMSE三種評價指標(biāo)進(jìn)行評價，具體計算結(jié)果見表2(單位mm)。由表可知，本文神經(jīng)網(wǎng)絡(luò)的預(yù)測精度更高，能更好地描述大壩位移的變形趨勢。

表1 兩種神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果對比

表2 兩種模型3種指標(biāo)的計算結(jié)果

3 結(jié) 語

本文通過PaddlePaddle深度學(xué)習(xí)框架，將深度全連接神經(jīng)網(wǎng)絡(luò)引入大壩變形監(jiān)測領(lǐng)域，并選擇最優(yōu)的深度學(xué)習(xí)算法對深度全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，建立了基于Adam算法的深度全連接神經(jīng)網(wǎng)絡(luò)大壩變形預(yù)測模型。通過實測的大壩多源監(jiān)測數(shù)據(jù)驗證表明，該預(yù)測模型既能增加傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的非線性學(xué)習(xí)能力，又能提高擬合預(yù)測的精度，很好地避免了模型的過擬合，可更加準(zhǔn)確地描述大壩的真實狀態(tài)，為大壩的安全施工和運行提供參考依據(jù)。