瀝青路面車轍LSTM-BPNN特征融合預(yù)測模型研究

尚千里，田波，李思李*，權(quán)磊

(1.重慶交通大學(xué) 土木工程學(xué)院，重慶市 400074；2.交通運(yùn)輸部公路科學(xué)研究院)

1 前言

由于交通量日益增加和軸載的重型化，瀝青路面主要病害之一的車轍變形嚴(yán)重影響道路使用壽命和行車安全。車轍成因有交通荷載、環(huán)境氣候、路面結(jié)構(gòu)及瀝青混合料材料特性等，但主要病源是路面在重載交通和環(huán)境溫度的作用下，產(chǎn)生水平和垂直應(yīng)力引起中面層流動而形成的。重復(fù)荷載作用下小變形車轍不斷積累會導(dǎo)致瀝青路面產(chǎn)生永久性變形，造成路面排水性減弱出現(xiàn)積水現(xiàn)象，引起路面抗滑性能、平整度下降，同時(shí)伴隨著裂縫和坑槽等破壞問題的產(chǎn)生，如不及時(shí)發(fā)現(xiàn)并修復(fù)，會導(dǎo)致路用性能整體下降，影響行車舒適性和威脅行車安全。因此，近年來瀝青路面車轍病害的預(yù)測及評估方法越來越得到路面研究人員的關(guān)注。

研究人員從車轍現(xiàn)象成因出發(fā)，運(yùn)用各種方法對瀝青路面車轍進(jìn)行預(yù)測研究并取得了一定的成果。T.F.Fwa等基于c-φ概念開發(fā)出了c-φ車轍預(yù)測模型，提出采用冪函數(shù)關(guān)系表達(dá)式作為車轍累計(jì)變形預(yù)測的基本方程；Safwat F等提出了一種黏彈性理論方法用于預(yù)測交通荷載作用下瀝青路面材料的車轍，可以有效預(yù)測在不同加載情況下試件板的車轍累加過程；Masoud K等采用瀝青層和粒料層力學(xué)本構(gòu)關(guān)系進(jìn)行路面車轍預(yù)測，并通過試驗(yàn)驗(yàn)證此方法可有效預(yù)測車轍性能。隨著有限元軟件展現(xiàn)出數(shù)值模擬方面的優(yōu)越性，令其在道路領(lǐng)域的應(yīng)用得到普及。Gamil.M.S.Abdullah采用Abaqus軟件對經(jīng)過處理后的泡沫瀝青混合料在最佳瀝青用量下的車轍過程進(jìn)行了模擬，并與試驗(yàn)觀測結(jié)果進(jìn)行了比較，且利用車輪跟蹤試驗(yàn)結(jié)果進(jìn)行了標(biāo)定，標(biāo)定后的模型可以很好地預(yù)測混合料的車轍性能。李喜等同樣利用Abaqus有限元軟件建立路面結(jié)構(gòu)不同時(shí)間與深度處的溫度場，同時(shí)考慮交通荷載隨時(shí)間分布特性，得到車轍與平均氣溫的相關(guān)關(guān)系式和平均溫度為20 ℃時(shí)的車轍與荷載作用次數(shù)的擬合公式。

盡管在這一領(lǐng)域已經(jīng)進(jìn)行了許多研究，但在某些情況下物理和力學(xué)相關(guān)車轍問題仍然沒有完全解釋，用數(shù)學(xué)方法解釋過于繁雜。因此，一些研究者把機(jī)器學(xué)習(xí)算法應(yīng)用到路用性能預(yù)測中，如Hasan Ziari等采用人工神經(jīng)網(wǎng)絡(luò)以碳納米管(CNT)含量、測試溫度和加載頻率為輸入，以復(fù)數(shù)模量為輸出來預(yù)測車轍性能；Hongren Gong等通過深度神經(jīng)網(wǎng)絡(luò)采用與路面有關(guān)的材料、結(jié)構(gòu)、交通和氣候的17種特征變量進(jìn)行車轍預(yù)測，并與多項(xiàng)式回歸預(yù)測結(jié)果比對，表明深度神經(jīng)網(wǎng)絡(luò)具有更高的預(yù)測精確度?？紤]到已有研究在神經(jīng)網(wǎng)絡(luò)預(yù)測時(shí)樣本容量小、模型精度低等原因，該文在神經(jīng)網(wǎng)絡(luò)預(yù)測的基礎(chǔ)上采用一種名為特征融合LSTM-BPNN的新車轍預(yù)測模型。長短期記憶(LSTM)用來學(xué)習(xí)時(shí)序特征，BP神經(jīng)網(wǎng)絡(luò)用來學(xué)習(xí)基本特征，通過注意力機(jī)制隱式融合兩種類型的特征。注意力機(jī)制將通過衡量基本特征的影響自動調(diào)整時(shí)間序列的權(quán)重。

2 算法介紹

2.1 LSTM

作為深度學(xué)習(xí)算法之一的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)在訓(xùn)練過程中存在著梯度消失的問題。也就是說，當(dāng)數(shù)據(jù)序列足夠長時(shí)，靠后的時(shí)間步長的錯誤很難影響到先前時(shí)間步長的計(jì)算。這也意味著RNN很難將距離較遠(yuǎn)的上下文信息關(guān)聯(lián)起來，這個問題也被稱為長期依賴問題。經(jīng)過多年的探索，Hochreiter S和Schmidhuber J兩位研究者對RNN的隱藏結(jié)構(gòu)做出了改進(jìn)，以避免梯度消失問題。于是擁有解決長期依賴問題能力的長短期記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)誕生。LSTM主要由遺忘門、輸入門和輸出門3部分組成。遺忘門決定上一時(shí)刻的隱藏層狀態(tài)有多少可以保留到當(dāng)前時(shí)刻，它是一個sigmoid函數(shù)層；輸入門決定了當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入值有多少保存在隱藏層狀態(tài)。分為兩個步驟，首先，構(gòu)建sigmoid函數(shù)層，即輸入門會決定哪些值需要被更新；然后，經(jīng)過一個tanh函數(shù)層處理，作為加入到隱藏層狀態(tài)的候選值；輸出門用來控制層狀態(tài)有多少輸出到LSTM網(wǎng)絡(luò)的當(dāng)前輸出值。當(dāng)在t時(shí)刻，輸入為Xt，前一個隱藏層狀態(tài)為Xt-1，遺忘門狀態(tài)為ft，則遺忘門、輸入門和輸出門三者的數(shù)學(xué)表達(dá)式依次如式(1)、(2)、(3)所示：

ft=σ(Wf[ht-1,xt]+bf)

(1)

(2)

(3)

式中：Wf、Wi、WC、Wo為權(quán)重向量；bf、bi、bC、bo為偏置項(xiàng)。

2.2 BPNN

基于前饋神經(jīng)網(wǎng)絡(luò)的BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network，BPNN)是最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)，其輸出結(jié)果采用正向傳播，誤差采用反向傳播方式進(jìn)行。它是一個功能強(qiáng)大的算法模型，為深度學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)，并且在很多領(lǐng)域的應(yīng)用都取得成功。其主要由輸入層、隱藏層和輸出層構(gòu)成，且隱藏層根據(jù)需要可設(shè)置多層，通常為一層結(jié)構(gòu)。BP網(wǎng)絡(luò)示意圖見圖1。BPNN的運(yùn)算過程主要分為兩個階段，第一階段是信號的前向傳播，從輸入層經(jīng)過隱藏層，最后到達(dá)輸出層；第二階段是誤差的反向傳播，從輸出層到隱藏層，最后到輸入層，依次調(diào)節(jié)隱藏層到輸出層的權(quán)重和偏置，輸入層到隱藏層的權(quán)重和偏置。

圖1 BP神經(jīng)網(wǎng)絡(luò)示意圖

3 數(shù)據(jù)來源及預(yù)處理

3.1 LTPP數(shù)據(jù)庫

開始于1987年的路面長期使用性能(LTPP)項(xiàng)目是由美國聯(lián)邦公路局(FHWA)負(fù)責(zé)運(yùn)營管理，監(jiān)測著2 581條試驗(yàn)段的路面性能數(shù)據(jù)，其中加拿大占141條，美國占2 440條。其制定了受結(jié)構(gòu)設(shè)計(jì)、氣候環(huán)境、交通荷載、材料、施工質(zhì)量和養(yǎng)護(hù)水平等因素影響的路面性能研究計(jì)劃并實(shí)施。目前已經(jīng)建立了世界上規(guī)模最大和最全面的路面性能數(shù)據(jù)庫。LTPP項(xiàng)目主要由兩部分組成：一般路面研究(GPS)和特殊路面研究(SPS)。GPS通過試驗(yàn)段來研究不同路面類型的一般性能，而SPS均為考慮特定的工程因素而修建的。一般來說，每個GPS和SPS試驗(yàn)段均由152 m的監(jiān)測部分組成，每端有一個15.2 m的材料取樣段。當(dāng)有足夠的數(shù)據(jù)可用時(shí)進(jìn)行分析，研究不同因素對路面性能的影響，并建立路面性能預(yù)測模型用于路面設(shè)計(jì)和管理。LTPP項(xiàng)目作為一項(xiàng)長期的國家工作，為了滿足人們對路面數(shù)據(jù)的需求，該項(xiàng)目已經(jīng)投資開發(fā)了一個可公開訪問的數(shù)據(jù)庫。而且為北美交通運(yùn)輸部門提供了許多研究成果，包括路面新技術(shù)、手冊指南、新型路面檢測方法及設(shè)備等。

3.2 數(shù)據(jù)預(yù)處理

3.2.1 樣本數(shù)據(jù)集構(gòu)建

該文旨在采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)開發(fā)一個瀝青路面車轍深度大數(shù)據(jù)預(yù)測模型。為了得到具有良好泛化能力的模型，必須構(gòu)建一個模型訓(xùn)練和測試所需的數(shù)據(jù)量龐大且高質(zhì)量的觀測數(shù)據(jù)集。為此，對從LTPP數(shù)據(jù)庫下載的18 553條車轍深度(Rutting Depth，RD)原始數(shù)據(jù)和供模型預(yù)測的相關(guān)數(shù)據(jù)進(jìn)行清洗。具體方法如下：

(1)由于模型僅適用于處理數(shù)值型數(shù)據(jù)，但原始數(shù)據(jù)中路面結(jié)構(gòu)材料為非數(shù)值型數(shù)據(jù)，必須采用獨(dú)熱編碼(One-hot Encoding)將非數(shù)值型數(shù)據(jù)路面結(jié)構(gòu)材料轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。獨(dú)熱編碼也稱為一位有效編碼，對于任何給定的狀態(tài)均通過賦值0、1轉(zhuǎn)化成二進(jìn)制數(shù)串供模型使用。但是編碼后的路面結(jié)構(gòu)層數(shù)、厚度及各層材料組合過于繁雜，該文采用PCA(Principal Components Analysis)即主成分分析進(jìn)行降維處理，把組合繁雜的路面結(jié)構(gòu)材料處理為5種路面結(jié)構(gòu)材料。

(2)對于數(shù)據(jù)稀疏問題，將所有試驗(yàn)路段數(shù)據(jù)混合在一起，保證了有足夠的數(shù)據(jù)來建立預(yù)測模型。

(3)為了回避人為因素影響，保證車轍數(shù)據(jù)有足夠長的序列進(jìn)行建模，樣本數(shù)據(jù)集構(gòu)建采用間隔年限2年或以上時(shí)間段，定義每次修復(fù)施工后車轍深度為初始車轍深度RD0。

(4)對于交通荷載數(shù)據(jù)的缺失值，用當(dāng)前公路中的最新數(shù)據(jù)進(jìn)線填充，因?yàn)樵囼?yàn)路的交通量相對穩(wěn)定。

(5)模型使用所有試驗(yàn)路數(shù)據(jù)建模，為了區(qū)分試驗(yàn)路段，加入了試驗(yàn)路位置數(shù)據(jù)特征(經(jīng)度、緯度、海拔)。

(6)刪除存在異常的數(shù)據(jù)點(diǎn)。

3.2.2 特征選取

供建模使用的特征因素分為試驗(yàn)路本身具有的和隨時(shí)間增長而變化兩類。由于長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)在預(yù)測具有時(shí)間序列特征時(shí)遠(yuǎn)優(yōu)于其他神經(jīng)網(wǎng)絡(luò)，所以把上述因素特征按照是否具有強(qiáng)時(shí)序性分為基本特征和時(shí)序特征?；咎卣髦饕窃囼?yàn)路固有的不隨時(shí)間明顯變化的特征，包括路面服役年限和位置信息等。時(shí)序特征隨時(shí)間變化明顯，該文時(shí)序特征主要采用氣候中與溫度和降雨有關(guān)的特征。特征大致分為路面結(jié)構(gòu)與施工、環(huán)境氣候、交通荷載和路面性能4大類。特征詳細(xì)指標(biāo)見表1。

表1 特征指標(biāo)統(tǒng)計(jì)

3.3 數(shù)據(jù)寬表

由于RD測量和RD0之間的時(shí)間周期不同，所以需要創(chuàng)建具有不同長度的時(shí)序特征。但是模型輸入端長度是固定的，因此首先提取20年的所有氣象特征數(shù)據(jù)，確保完全覆蓋從最近修復(fù)施工到RD測量之間的時(shí)間間隔。然后刪除早于RD0測量時(shí)間的氣象數(shù)據(jù)，并使用一個幻數(shù)(例如-100)填充到已刪除的氣候序列中。在經(jīng)過數(shù)據(jù)清洗工作之后，該文根據(jù)基本特征使用BP神經(jīng)網(wǎng)絡(luò)和時(shí)序特征使用LSTM神經(jīng)網(wǎng)絡(luò)的原則，構(gòu)建供建模使用的數(shù)據(jù)寬表如圖2所示。

圖2 數(shù)據(jù)寬表

4 LSTM-BPNN特征融合模型建立

4.1 模型介紹

研究LSTM和BP神經(jīng)網(wǎng)絡(luò)各自優(yōu)缺點(diǎn)后，利用各自的優(yōu)勢搭建用于瀝青路面車轍預(yù)測的LSTM-BPNN特征融合機(jī)器學(xué)習(xí)模型，模型結(jié)構(gòu)見圖3。模型左部分為BPNN結(jié)構(gòu)，用來學(xué)習(xí)不具時(shí)序性的基本特征，具有很強(qiáng)的非線性擬合性能，在該模型中將其設(shè)置為3層結(jié)構(gòu)，分別為S1輸入層，S2隱藏層，S3輸出層。模型右部分為LSTM神經(jīng)網(wǎng)絡(luò)，用來模擬時(shí)間序列特征數(shù)據(jù)，更好地捕捉具有時(shí)序性的氣候特征對瀝青路面車轍的影響。LSTM結(jié)構(gòu)由遺忘門、輸入門和輸出門組成。為了使模型預(yù)測更具精準(zhǔn)性，在LSTM結(jié)構(gòu)中加入屏蔽層，用來屏蔽掉輸入值中的無效特征值。

圖3 LSTM-BPNN特征融合模型結(jié)構(gòu)示意圖

在搭建好BPNN和LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)后，采用注意力方法使基本特征來影響和改變長短期記憶結(jié)構(gòu)中時(shí)序特征的權(quán)重a大小，使兩神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征融合。特征融合的輸出激活函數(shù)f設(shè)置為sigmoid函數(shù)，則權(quán)重輸出函數(shù)如式(4)所示，LSTM網(wǎng)絡(luò)的最終輸出結(jié)果見式(5)。

(4)

(5)

式中：Wa、Wh、Ws為權(quán)重矩陣；ba為偏置向量。

(6)

4.2 模型驗(yàn)證

由于原始數(shù)據(jù)存在數(shù)據(jù)稀疏、空缺值、異常數(shù)據(jù)等因素影響建模，遂進(jìn)行數(shù)據(jù)清洗工作，并使用清洗后的3 430條記錄的車轍深度數(shù)據(jù)構(gòu)建用于訓(xùn)練和測試模型的高質(zhì)量數(shù)據(jù)集。為了可以充分利用樣本數(shù)據(jù)進(jìn)行建模，從有限的數(shù)據(jù)中獲得盡可能多的有效信息，以保證預(yù)測模型的精確性。該文采用10折交叉驗(yàn)證方法將清洗完成的全部樣本數(shù)據(jù)進(jìn)行劃分，從而得到3 087條記錄訓(xùn)練集和343條記錄測試集來制作用于輸入的數(shù)據(jù)寬表。其中訓(xùn)練集和測試集的結(jié)果如圖4、5所示。

圖4 訓(xùn)練集預(yù)測結(jié)果

圖5 測試集預(yù)測結(jié)果

采用決定系數(shù)R2和均方根誤差(RMSE)指標(biāo)進(jìn)行模型評估，評估指標(biāo)計(jì)算見式(7)、(8)：

(7)

(8)

由訓(xùn)練集和測試集的預(yù)測結(jié)果可證明LSTM-BPNN特征融合模型的有效性，并且模型的預(yù)測性能很可觀，使用訓(xùn)練集和測試集R2分別達(dá)到了0.821和0.796。為了更直觀地展示模型的預(yù)測效果，現(xiàn)取測試集上100條車轍深度數(shù)據(jù)的預(yù)測值和觀測值進(jìn)行誤差分析，結(jié)果見圖6。

圖6 觀測值與預(yù)測值比對

圖6顯示：誤差絕對值在3 mm以內(nèi)，由此可見該模型在瀝青路面車轍預(yù)測性能上表現(xiàn)優(yōu)異。

5 預(yù)測模型性能比對

上述章節(jié)已經(jīng)證明了LSTM-BPNN模型的有效性，為了進(jìn)一步驗(yàn)證該模型在預(yù)測瀝青路面車轍方面的優(yōu)越性，該文選取4種常用的回歸預(yù)測模型進(jìn)行預(yù)測性能對比試驗(yàn)，分別是極端梯度提升回歸模型(XGBR)、梯度下降樹模型(GBDT)、純反向神經(jīng)網(wǎng)絡(luò)模型(BPNN)和線性回歸模型(LR)。各模型參數(shù)的調(diào)試訓(xùn)練均采用與LSTM-BPNN模型同樣的車轍數(shù)據(jù)訓(xùn)練集，并用決定系數(shù)R2和均方根誤差RMSE指標(biāo)進(jìn)行模型評估，將4種模型在同樣測試數(shù)據(jù)集上進(jìn)行回歸預(yù)測，試驗(yàn)結(jié)果見圖7和表2。

圖7 4種模型預(yù)測效果對比

表2 4種模型試驗(yàn)結(jié)果對比

從這4種模型的比對試驗(yàn)結(jié)果看，表現(xiàn)最差的是線性回歸模型，R2僅為0.684。表現(xiàn)最好的是基于決策樹的XGBR模型和GBDT模型，二者R2接近，但XGBR模型的RMSE更小，預(yù)測性能更穩(wěn)定。但其預(yù)測性能仍低于R2為0.796和RMSE為3.625的LSTM-BPNN模型。LSTM-BPNN模型是在BP神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上引入在預(yù)測時(shí)序特征表現(xiàn)優(yōu)異的長短期記憶網(wǎng)絡(luò)，并通過注意方法進(jìn)行融合。使其在預(yù)測瀝青路面車轍方面，發(fā)揮自身網(wǎng)絡(luò)優(yōu)勢，各司其職，關(guān)聯(lián)耦合。充分捕捉不同類型氣候變化與車轍趨勢的潛在關(guān)聯(lián)性，從而更加準(zhǔn)確地預(yù)測未來的瀝青路面車轍深度。

6 結(jié)論

(1)通過美國LTTP數(shù)據(jù)庫建立了一個新的瀝青路面車轍預(yù)測模型，該模型是將BP神經(jīng)網(wǎng)絡(luò)和LSTM長短期記憶網(wǎng)絡(luò)使用注意方法進(jìn)行融合的LSTM-BPNN特征融合模型。經(jīng)過與其他4種常用預(yù)測模型比對表明：該模型預(yù)測性能及穩(wěn)定性均高于其他模型。公路檢測部門可利用該模型預(yù)測瀝青路面車轍的衰減變化，實(shí)現(xiàn)在精確的時(shí)間點(diǎn)進(jìn)行修復(fù)路面，降低人力檢測成本。另外該模型具有一定的泛化能力，只要提供高質(zhì)量數(shù)據(jù)集，可進(jìn)行平整度、抗滑性能等路用性能的預(yù)測。

(2)LSTM-BPNN模型雖能實(shí)現(xiàn)車轍深度的高精度預(yù)測，但其不能像基于決策樹的預(yù)測模型一樣實(shí)現(xiàn)特征重要性排序和可視化解釋預(yù)測過程。在后續(xù)研究中可考慮將行業(yè)熟知的與預(yù)測目標(biāo)有關(guān)的因果關(guān)系加入機(jī)器學(xué)習(xí)模型，實(shí)現(xiàn)基于行業(yè)知識的機(jī)器學(xué)習(xí)而非數(shù)據(jù)本身的學(xué)習(xí)。通過這種知識誘導(dǎo)型機(jī)器學(xué)習(xí)可進(jìn)一步提升路用性能的預(yù)測能力。