基于卷積長短時記憶網(wǎng)絡的國際平整度指標預測?

黃凱楓 劉慶華

（江蘇科技大學電子信息學院 鎮(zhèn)江 212100）

1 引言

中國公路發(fā)展非常迅速，在運營和養(yǎng)護過程中很多問題都會影響司機或乘客的體感舒適性。比如路面施工過程中產(chǎn)生的破損和裂紋，或者是較低的平整度（路面的顛簸），更重要的是可能會出現(xiàn)生命安全問題［1～3］，因而路面平整度的檢測是路面質(zhì)量評價必不可少的內(nèi)容。

在對路面平整度進行評價時，一般采用國際平整度指標（IRI）作為指標［4～5］。國際平整度指標的采集需要依靠激光雷達來完成，激光雷達采集到的距離數(shù)據(jù)不是離散的也不是獨立的，是連續(xù)的數(shù)據(jù)序列，所以在處理的過程中需要考慮時間的特性。Mason 等［6］使用循環(huán)神經(jīng)網(wǎng)絡RNN 對CPU 利用率進行預測；孫帆等［7］利用長短期記憶網(wǎng)絡LSTM 對短期電力負荷進行預測，結(jié)果優(yōu)于傳統(tǒng)的預測方法。

針對以上研究內(nèi)容，本文將卷積神經(jīng)網(wǎng)絡和LSTM 結(jié)合起來對國際平整度指標進行預測，利用卷積神經(jīng)網(wǎng)絡的權(quán)值共享優(yōu)點對雷達距離數(shù)據(jù)進行特征的提取，突出數(shù)據(jù)空間上的特征，利用長短期記憶網(wǎng)絡提取數(shù)據(jù)的序列特征，將兩者提取出的特征當成一個新的特征輸入全連接層一次來獲得預測結(jié)果，通過將CNN-LSTM 網(wǎng)絡與LSTM 網(wǎng)絡對國際平整度指標的預測結(jié)果對比，得出前者具有更好的預測精度。

2 相關(guān)模型理論

2.1 LSTM長短期記憶網(wǎng)絡

在數(shù)據(jù)預測領域，基礎的神經(jīng)網(wǎng)絡為RNN 神經(jīng)網(wǎng)絡［8］，它能夠?qū)⑶耙粫r刻從網(wǎng)絡層獲得的信息傳遞到下一時刻的網(wǎng)絡層，但當輸入數(shù)據(jù)的維度過大時，每次迭代都會在訓練過程中輸入與前一時刻相關(guān)的數(shù)據(jù)，造成輸入數(shù)據(jù)越發(fā)的復雜。隨著迭代次數(shù)的增加，反向傳播過程更加復雜誤差項的值會迅速增大或減小，梯度爆炸或消失的情況可能會出現(xiàn)，使得梯度無法完成長時間的傳遞。LSTM 網(wǎng)絡是RNN 網(wǎng)絡的優(yōu)化，成功解決了RNN 在面對維度過高的數(shù)據(jù)時產(chǎn)生的梯度問題［9～10］，它主要由三個門組成，分別為遺忘門、輸入門和輸出門。三個門都可控制每個單元的單元狀態(tài)，而LSTM 的核心部分就是單元狀態(tài)，網(wǎng)絡中的數(shù)據(jù)信息可以通過單元狀態(tài)在網(wǎng)絡中進行循環(huán)，LSTM 的結(jié)構(gòu)圖如圖1 所示。

圖1 LSTM結(jié)構(gòu)圖

在圖1 中，ft代表遺忘門，由上一時刻的記憶狀態(tài)Ct-1和t時刻依舊保留的信息Ct共同決定；it代表輸入門，t時刻的輸入xt由輸入門的激活函數(shù)共同決定；ot代表輸出門，需要確定可以輸出的值ht。LSTM網(wǎng)絡的計算過程如下：

1）對歷史輸入信息進行管理，對無用信息選擇遺忘，計算公式如式（1）所示。

式（1）中，Wf代表輸入門的權(quán)重，σ為sigmoid激勵函數(shù)，bf為遺忘門的偏置項。

2）使用sigmoid函數(shù)對輸入xt做權(quán)重計算獲得輸入門的值，使用tanh 函數(shù)對輸入xt做權(quán)重計算獲得下一時刻需要更新的信息，計算公式如式（2）、（3）所示。

其中，輸入門和單元狀態(tài)的權(quán)重用Wi和Wc表示，偏置項分別為bi和bc，C?t為中間向量。

3）生成新的單元狀態(tài)。這個過程主要分為兩步，第一步為去除舊信息，第二步為使用中間向量添加新信息，計算公式如式（4）所示。

4）計算輸出門的值以及為下一時刻的單元狀態(tài)更新做準備，將激活過的ot值與使用tanh 函數(shù)壓縮的單元狀態(tài)相乘得到最終的結(jié)果，計算公式如式（5）、（6）所示。

2.2 CNN模型

卷積神經(jīng)網(wǎng)絡是深度學習算法中的一種基礎算法，它不對任務進行拆分，直接對損失函數(shù)進行優(yōu)化。卷積神經(jīng)網(wǎng)絡具有局部感知域、權(quán)值共享和多卷積核的特點，局部感知域在很大程度上減少了參數(shù)的數(shù)量，加速網(wǎng)絡的訓練；權(quán)值共享在提高網(wǎng)絡學習效率的同時能夠減輕數(shù)據(jù)的過擬合程度；多卷積核的存在能夠?qū)⒉煌矸e核得到的特征圖進行拼接來獲取圖像所有的特征信息［11］。

卷積層是卷積神經(jīng)網(wǎng)絡中完成數(shù)據(jù)特征提取的關(guān)鍵部分。卷積核數(shù)量的增多能夠帶來更加豐富的特征，也可能帶來網(wǎng)絡更高的復雜度、更長的網(wǎng)絡收斂時間和過擬合的風險［12］。池化層能夠降低特征信息的維度，保留圖像的有效特征，減少參數(shù)和網(wǎng)絡的計算量，有效避免過擬合。

3 CNN-LSTM模型結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡與LSTM 網(wǎng)絡的混合模型CNN-LSTM 結(jié) 構(gòu) 如 圖2 所 示。CNN-LSTM 模 型 的第一部分為CNN 卷積神經(jīng)網(wǎng)絡，用于提取數(shù)據(jù)的特征，在卷積層后添加池化層防止過擬合和提高運行效率，第一部分包括卷積層和池化層，卷積層采用3×3卷積核，池化層采用3×3平均池化，對于雷達數(shù)據(jù)，平均池化更能保存數(shù)據(jù)的特征信息。模型的第二部分是LSTM 網(wǎng)絡，通過輸入CNN 卷積神經(jīng)網(wǎng)絡提取到的特征來對國際平整度指標進行預測。

圖2 CNN-LSTM模型結(jié)構(gòu)框架

4 實驗與分析

4.1 數(shù)據(jù)來源及描述

實驗采用的數(shù)據(jù)集為激光測距雷達采集的10組距離數(shù)據(jù)，由于在測量過程中不可避免地產(chǎn)生數(shù)據(jù)缺失的現(xiàn)象，對數(shù)據(jù)集中進行缺失值處理，在本文中采用K 最近距離鄰法（K-means clustering）對缺失值進行填補，其本質(zhì)是通過找相似來對數(shù)據(jù)進行填補［13］，缺失值處理后的數(shù)據(jù)集總共包含4167條距離數(shù)據(jù)，對數(shù)據(jù)集作歸一化處理來提升泛化能力和訓練速度［14］。在數(shù)據(jù)集中隨機選取500 條數(shù)據(jù)作為測試集，其余部分作為訓練集使用。

4.2 評價指標

選定評估指標對預測方法的準確度或精度進行評價。本文使用平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）作為誤差指標，計算公式如式（7）所示。它可以消除序列數(shù)據(jù)中水平單元和計量單元的影響，準確反映誤差的相對值［15］，其他常用的評價指標在評價時容易受到序列取值范圍的影響，在某些特定條件下不能真正對模型做出評價。

式中，yi為實際值，y?i為預測值，n為值的個數(shù)。

在對模型進行實際測試時，還需要考慮模型的準確度和召回率［12］，準確度和召回率的計算公式如式（8）和式（9）所示。

式中，N表示預測類別數(shù)，Pi是某類預測類別正確的數(shù)量，反之，Ni是某類預測類別錯誤的數(shù)量，Wj是被識別錯類別的數(shù)量。

4.3 模型參數(shù)設置及訓練

搭建模型的整體框架，對模型參數(shù)進行配置，進行訓練和測試。在配置參數(shù)時，初始學習率為0.001，隨著迭代次數(shù)的增加，學習率逐漸減小5%，損失函數(shù)使用MSE 函數(shù)，批處理數(shù)量為400，迭代次數(shù)為10000，使用Adam 優(yōu)化算法，在網(wǎng)絡各層之間設置dropout層，神經(jīng)元失活比例為0.4，避免了訓練過程中過多的參數(shù)量和模型過擬合的問題［13］。在本文中，路面平整度一共分為五級，等級由國際平整度指標IRI表示。

4.4 結(jié)果分析

本節(jié)首先驗證CNN-LSTM 模型的有效性，然后將CNN-LSTM 模型與LSTM 模型的預測結(jié)果進行對比分析。訓練后得到的模型損失值如圖3 所示。由于在實際訓練時，模型收斂速度較快，所以圖中只顯示前500 次迭代數(shù)據(jù)。由圖可知，在經(jīng)過30 次左右迭代后，模型開始收斂，到100 次左右迭代時，模型已經(jīng)完全收斂，說明該模型在預測路面平整度時有效。

圖3 CNN-LSTM模型損失值圖

在對準確率和召回率進行測試時，本文使用了混淆矩陣進行表示，結(jié)果如圖4 所示，圖中的橫縱坐標分別代表路面原等級和預測路面等級，從圖中可以得到，預測模型的準確率為90.61%，召回率為87.89%，滿足路面平整度的預測需求。

圖4 CNN-LSTM模型預測混淆矩陣圖

表1 對比了LSTM 網(wǎng)絡、CNN-LSTM 網(wǎng)絡的精度，從表格可以看到，CNN-LSTM 網(wǎng)絡的平均絕對百分比誤差為0.3488，小于LSTM 模型，說明CNN-LSTM 網(wǎng)絡對路面國際平整度指標具有更好的預測能力。

表1 模型預測結(jié)果評價指標對比

在觀察模型對于路面國際平整度指標的預測結(jié)果時，分別選取了50個樣本數(shù)據(jù)和500個樣本數(shù)據(jù)來對真實值和預測值進行對比，將LSTM 網(wǎng)絡和CNN-LSTM網(wǎng)絡的預測結(jié)果進行對比。LSTM網(wǎng)絡的預測結(jié)果如圖5 所示，CNN-LSTM 網(wǎng)絡的預測結(jié)果如圖6 所示。從圖中可以觀察到，CNN-LSTM 模型對于平整度指標的預測的準確度更高，預測結(jié)果的曲線圖更加平滑，預測值和真實值的擬合程度更高，說明對于路面平整度指標來說，CNN-LSTM 網(wǎng)絡具有更好的預測效果，能夠更加充分地考慮數(shù)據(jù)之間的相關(guān)性。

圖5 LSTM模型預測結(jié)果圖

圖6 LSTM模型預測結(jié)果圖

5 結(jié)語

國際平整度的預測對路面質(zhì)量的評級具有較大的意義，能夠為公路養(yǎng)護部門提供智能化決策方向。本文使用激光雷達采集的距離數(shù)據(jù)，將卷積神經(jīng)網(wǎng)絡與長短時記憶網(wǎng)絡相結(jié)合，完成了對國際平整度指標的預測，卷積神經(jīng)網(wǎng)絡提取數(shù)據(jù)的空間維度特征，LSTM網(wǎng)絡提取數(shù)據(jù)的時間維度特征，通過對比LSTM 模型與本文提出的CNN-LSTM 模型，證明了CNN-LSTM 模型的有效性和較好的預測結(jié)果。