基于隨機(jī)森林的瀝青路面性能預(yù)測

張金喜，郭旺達(dá)，宋 波，禚永昌，張陽光

(1.北京工業(yè)大學(xué)城市交通學(xué)院交通工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124；2.北京市道路工程質(zhì)量監(jiān)督站，北京 100076)

目前，我國交通基礎(chǔ)設(shè)施建設(shè)日趨完善，道路工程由“建”轉(zhuǎn)“養(yǎng)”已成為當(dāng)下發(fā)展的必然趨勢.路面性能預(yù)測是路面養(yǎng)護(hù)與管理的重要內(nèi)容，精確地把握瀝青路面關(guān)鍵性能指標(biāo)的衰變情況，有利于針對(duì)最佳的養(yǎng)護(hù)時(shí)機(jī)，制定科學(xué)的養(yǎng)護(hù)決策方案，以發(fā)揮路面最大的服役效益[1].路面狀況指數(shù)(pavement condition index，PCI)作為路面技術(shù)狀況評(píng)定的關(guān)鍵指標(biāo)之一，用來評(píng)價(jià)路面的完好程度.因此如何對(duì)瀝青路面PCI進(jìn)行更加準(zhǔn)確、高效的預(yù)測，已經(jīng)成為路面養(yǎng)護(hù)管理領(lǐng)域研究的重要課題.

瀝青路面性能衰變是路面在實(shí)際服役過程中對(duì)引起其原有路面結(jié)構(gòu)或功能改變的因素的反饋.這些因素包括路面結(jié)構(gòu)、交通荷載、自然環(huán)境、養(yǎng)護(hù)干預(yù)等，冗雜繁多，因此表征路面性能的性能指標(biāo)與其影響因素之間的非線性關(guān)系是極其復(fù)雜的.針對(duì)路面性能預(yù)測問題，國內(nèi)外眾多學(xué)者研究方法不一.路面性能預(yù)測的經(jīng)典模型是確定型模型，杜艷花[2]、張金喜等[3]通過總結(jié)高速公路路面性能指標(biāo)隨時(shí)間的變化特點(diǎn)，采用指數(shù)型函數(shù)對(duì)歷史數(shù)據(jù)進(jìn)行擬合，分別用于預(yù)測國際平整度指數(shù)(international roughness index，IRI)和路面PCI的衰變情況；肖金平等[4]在分析不同路面結(jié)構(gòu)的基礎(chǔ)上，建立了路面性能指標(biāo)的余弦函數(shù)型衰變方程，計(jì)算結(jié)果與實(shí)測結(jié)果一致性較好.然而經(jīng)典研究方法是一般只考慮性能指標(biāo)關(guān)于時(shí)間序列的經(jīng)驗(yàn)預(yù)測模型，未能建立路面性能指標(biāo)與其影響因素之間的非線性關(guān)系，與實(shí)際路面性能衰變情況匹配度相差較大，并且預(yù)測精度隨著預(yù)測周期的推移會(huì)逐漸降低.近年來隨著機(jī)器學(xué)習(xí)受到越來越多的關(guān)注，針對(duì)這種非線性的路面性能預(yù)測問題便有了新的研究方向.諸如人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)、支持向量機(jī)(support vector machine，SVM)等人工智能方法在路面性能預(yù)測領(lǐng)域的出現(xiàn)，解決了傳統(tǒng)線性預(yù)測模型無法應(yīng)對(duì)性能指標(biāo)突變的問題.Satish等[5]基于人工神經(jīng)網(wǎng)絡(luò)建立平整度預(yù)測模型，雖然預(yù)測結(jié)果優(yōu)于線性回歸模型，但是由于樣本集不足導(dǎo)致局部出現(xiàn)過擬合的現(xiàn)象；趙靜等[6]將灰色理論與支持向量機(jī)模型相結(jié)合，綜合考慮路齡、交通荷載等因素建立車轍深度指數(shù)預(yù)測模型，在項(xiàng)目級(jí)預(yù)測中驗(yàn)證了模型的精度，考慮到支持向量機(jī)模型易于表征小樣本情況下的非線性映射關(guān)系，對(duì)于路網(wǎng)級(jí)預(yù)測的效果仍有待驗(yàn)證.

Breiman提出的隨機(jī)森林(randorn forest,RF)模型[7]，可以有效地處理多因素耦合影響下的非線性回歸問題.相較其他機(jī)器學(xué)習(xí)模型，RF的魯棒性好、預(yù)測能力強(qiáng).RF不僅克服了傳統(tǒng)經(jīng)驗(yàn)?zāi)Ｐ驮谔幚韽?fù)雜交互作用的不足，而且與神經(jīng)網(wǎng)絡(luò)相比具有更強(qiáng)的抗噪和抗過擬合的能力.此外通過對(duì)比選取支持向量機(jī)核函數(shù)等參數(shù)復(fù)雜程度，構(gòu)建RF模型的超參數(shù)更容易理解.RF算法已經(jīng)成功被應(yīng)用到許多研究領(lǐng)域[8-12].但目前該算法在道路工程領(lǐng)域還未得到充分應(yīng)用.基于以上分析，本文提出一種基于RF的路面性能預(yù)測方法，并與神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)預(yù)測模型的預(yù)測能力進(jìn)行對(duì)比，以期找到一種路面狀況指數(shù)的精確預(yù)測方法來指導(dǎo)路面養(yǎng)護(hù)管理工作.

1 研究方法

RF算法是一種在決策樹的基礎(chǔ)上建立的集成學(xué)習(xí)算法，可以用于解決分類和回歸問題.由于其泛化能力強(qiáng)、抗噪性能好，因此在地理[8]、農(nóng)業(yè)[9]、農(nóng)林學(xué)[10-11]、生物學(xué)[12]等領(lǐng)域都已經(jīng)取得了成功的應(yīng)用和推廣.RF對(duì)多重共線性不敏感，所以缺失數(shù)據(jù)和不平衡數(shù)據(jù)對(duì)預(yù)測結(jié)果的不良影響很小，最多可用數(shù)千個(gè)特征變量進(jìn)行準(zhǔn)確預(yù)測.現(xiàn)階段RF算法被視作是構(gòu)建非線性預(yù)測模型的最優(yōu)算法之一.

1.1 決策樹回歸算法

決策樹是RF算法的理論基礎(chǔ)，在此對(duì)決策樹算法進(jìn)行簡要介紹.決策樹作為識(shí)別重要變量和2個(gè)及以上特征變量關(guān)系最快的方法之一，可以用于解決分類和回歸問題.通常一棵決策樹由根節(jié)點(diǎn)出發(fā)，經(jīng)由內(nèi)部節(jié)點(diǎn)逐層生長，最終在葉子節(jié)點(diǎn)處觸發(fā)生長閾值而停止生長.其中根節(jié)點(diǎn)代表整個(gè)總體，決策樹通過使用二分遞歸分割，將樣本集合通過相關(guān)策略拆分成2個(gè)子節(jié)點(diǎn)[13].經(jīng)過逐步拆分，最終由葉子結(jié)點(diǎn)輸出預(yù)測結(jié)果.假設(shè)存在一個(gè)同時(shí)包含預(yù)測變量和特征變量的訓(xùn)練數(shù)據(jù)集D，構(gòu)造決策樹回歸算法流程如下.

1)遍歷全部特征后，找到最優(yōu)劃分特征和分割點(diǎn)(x(j),s)，滿足均方誤差MSE(x(j),s)最小，然后劃分為2個(gè)節(jié)點(diǎn).

2)對(duì)生成的2個(gè)節(jié)點(diǎn)重復(fù)調(diào)用1)，直至滿足模型預(yù)設(shè)的停止生長條件(比如設(shè)置樹深、葉子節(jié)點(diǎn)包含的最少樣本數(shù)等).

3)根據(jù)最終生成的所有葉子節(jié)點(diǎn)，得到?jīng)Q策樹回歸器

(1)

式中：Rm為葉子節(jié)點(diǎn)的數(shù)量；cm為m點(diǎn)處的輸出值；I為指示函數(shù).

1.2 RF基礎(chǔ)理論

RF是以決策樹為基學(xué)習(xí)器通過集成方式構(gòu)建而成的有監(jiān)督機(jī)器學(xué)習(xí)方法[14]，進(jìn)一步在決策樹的訓(xùn)練過程引入了隨機(jī)性，使其具備優(yōu)良的抗過擬合以及抗噪能力.RF分別從樣本選取和特征選擇2個(gè)角度體現(xiàn)其隨機(jī)性[15].

1)隨機(jī)選取樣本：RF中每一棵決策樹的樣本集均是從原始數(shù)據(jù)集中采用Bootstrap策略有放回地抽取、重組形成與原始數(shù)據(jù)集等大的子集合.這就意味著同一個(gè)子集里面的樣本可以是重復(fù)出現(xiàn)的，不同子集中的樣本也可以是重復(fù)出現(xiàn)的.

2)隨機(jī)選取特征：不同于單個(gè)決策樹在分割過程中考慮所有特征后，選擇一個(gè)最優(yōu)特征來分割節(jié)點(diǎn).RF通過在基學(xué)習(xí)器中隨機(jī)考察一定的特征變量，之后在這些特征中選擇最優(yōu)特征[16].特征變量考察方式的隨機(jī)性使得RF模型的泛化能力和學(xué)習(xí)能力優(yōu)于個(gè)體學(xué)習(xí)器.

1.3 RF回歸算法

在回歸問題中，隨機(jī)森林回歸(random forest regression,RFR)模型在表征一組輸入和輸出之間高度非線性關(guān)系時(shí)表現(xiàn)出強(qiáng)大的學(xué)習(xí)能力.RFR算法流程如下：

1)組建訓(xùn)練集D，采用Bootstrap策略從訓(xùn)練集D中有放回地重復(fù)取樣，組成T個(gè)與訓(xùn)練集D容量大小相等的新訓(xùn)練集Di(1≤i≤T)，即T個(gè)互相獨(dú)立的回歸決策樹.

2)在回歸樹i的M個(gè)特征中隨機(jī)考察m個(gè)子特征，遍歷每一個(gè)抽樣子特征后找到最優(yōu)劃分特征和分割點(diǎn)，滿足均方誤差MSE最小，然后劃分為2個(gè)節(jié)點(diǎn)并且不做剪枝處理.

3)對(duì)生成的2個(gè)節(jié)點(diǎn)重復(fù)調(diào)用步驟2)，直至滿足模型預(yù)設(shè)的停止生長條件，決策樹hi生長完成.

4)集結(jié)所有獨(dú)立生長完成的回歸決策樹隨即生成RF回歸器

(2)

2 基于RF的路面性能預(yù)測

RF作為一種結(jié)構(gòu)復(fù)雜、實(shí)現(xiàn)簡單的集成學(xué)習(xí)算法，無須假設(shè)變量服從正態(tài)性等條件下即可完成對(duì)復(fù)雜數(shù)據(jù)集的分類和回歸建模[17]，且對(duì)數(shù)據(jù)中的噪聲和異常值的包容程度較高，能夠有效地處理復(fù)雜的非線性交互作用，在很多領(lǐng)域的預(yù)測問題中都被證明了是一種有效的預(yù)測方法，但是在道路工程中的應(yīng)用寥寥無幾.由于本研究中預(yù)測變量與相關(guān)解釋變量均為連續(xù)型的數(shù)值變量，因此路面性能預(yù)測本質(zhì)上是一種非線性的回歸問題.鑒于此，本研究基于PCI數(shù)據(jù)組建訓(xùn)練RFR模型的樣本集，并通過對(duì)比RFR模型較路面性能預(yù)測中常用機(jī)器學(xué)習(xí)模型(ANN、SVM)的預(yù)測能力，探討RFR模型在瀝青路面性能預(yù)測中的應(yīng)用.本文提出技術(shù)路線如圖1所示.

圖1 技術(shù)路線Fig.1 Technical route

2.1 數(shù)據(jù)準(zhǔn)備

特征變量相關(guān)描述如表1所示.本文以北京市瀝青路面為研究對(duì)象，從相關(guān)部門收集整理了2010—2016年的道路檢測數(shù)據(jù)，氣候相關(guān)數(shù)據(jù)為北京市包括通州、密云在內(nèi)的9個(gè)縣區(qū)7年的氣象數(shù)據(jù)，交通參數(shù)、路面結(jié)構(gòu)相關(guān)數(shù)據(jù)來自相關(guān)單位建養(yǎng)計(jì)劃.通過調(diào)查發(fā)現(xiàn)，路面性能檢測時(shí)間可能會(huì)與養(yǎng)護(hù)工期沖突，因此造成目標(biāo)年P(guān)CI值的缺失.此外在養(yǎng)護(hù)干預(yù)下路面結(jié)構(gòu)、材料的變化會(huì)導(dǎo)致路面性能變化趨勢突變.養(yǎng)護(hù)干預(yù)對(duì)于路面性能衰變影響重大，為排除此項(xiàng)因素干擾，本研究在進(jìn)行數(shù)據(jù)篩選時(shí)選取的路段均為預(yù)測目標(biāo)3年內(nèi)發(fā)生過養(yǎng)護(hù)干預(yù).本研究將PCI-1、AADT、AGE、PT、BT、ST、AP、AAT、SD作為模型的輸入變量，PCI作為模型的目標(biāo)輸出變量.根據(jù)路面性能預(yù)測相關(guān)數(shù)據(jù)的收集以及參考國內(nèi)外文獻(xiàn)中進(jìn)行路面性能預(yù)測工作提取的特征變量，確定組建容量為10×1 249的樣本集用于構(gòu)建路面性能預(yù)測的RF模型，其中訓(xùn)練集與測試集的劃分比例為7∶3.

表1 特征變量相關(guān)描述Table 1 Description of the feature variables

2.2 預(yù)測模型的構(gòu)建及調(diào)優(yōu)

本研究基于RF的路面性能預(yù)測模型的開發(fā)在Python 3.5平臺(tái)上實(shí)現(xiàn).在訓(xùn)練模型過程中，必須定義對(duì)應(yīng)于RF算法的超參數(shù).在RF模型的構(gòu)建過程中，為了使預(yù)測模型誤差最小，采用網(wǎng)格搜索和十折交叉驗(yàn)證的方法對(duì)路面性能預(yù)測模型中關(guān)鍵的超參數(shù)進(jìn)行優(yōu)化，搜索結(jié)果如圖2所示.其中R2平均值和R2標(biāo)準(zhǔn)差分別表示十折交叉驗(yàn)證下模型性能平均得分和穩(wěn)定性，前者越大說明模型性能得分越高，后者越小說明模型穩(wěn)定性越好.首先要確定的RF中決策樹的數(shù)量n_estimators，從圖2(a)可以看出隨著決策樹的數(shù)量由1增加到200時(shí)，R2平均值和R2標(biāo)準(zhǔn)差都呈現(xiàn)急劇變化并逐漸趨于穩(wěn)定.值得注意的是，如圖3所示模型的收斂時(shí)間由0.003 s增加至0.470 s.說明較少的樹無法很好地刻畫非線性關(guān)系，導(dǎo)致訓(xùn)練后的RF模型擬合不足，當(dāng)超過一定的臨界值后，繼續(xù)增加決策樹的數(shù)量并不會(huì)顯著提高模型的性能，反而會(huì)增加計(jì)算時(shí)間.除此之外，RF模型通過設(shè)置決策樹的最大深度max_depth控制其生長，當(dāng)達(dá)到此閾值時(shí)決策樹會(huì)自動(dòng)終止訓(xùn)練.由圖2(b)可知，max_depth的模型性能曲線整體變化趨勢基本與n_estimators相同，本文不再進(jìn)行過多贅述.通過折衷考慮模型性能得分、穩(wěn)定性和計(jì)算時(shí)間，本研究采用n_estimators=71、max_depth=51作為預(yù)測模型的最優(yōu)超參數(shù).

圖2 十折交叉驗(yàn)證下關(guān)鍵參數(shù)調(diào)優(yōu)結(jié)果Fig.2 Results of the key parameters optimization using 10-fold cross-validation

圖3 收斂時(shí)間隨n_estimators變化趨勢Fig.3 Trend of the convergence time varies with the n_estimators

2.3 評(píng)價(jià)指標(biāo)

定量地比較不同機(jī)器學(xué)習(xí)模型學(xué)習(xí)效果的優(yōu)劣，是機(jī)器學(xué)習(xí)中一個(gè)不可或缺且十分重要的環(huán)節(jié).本研究采用均方根誤差(root mean square error，RMSE)、平均絕對(duì)誤差(mean absolute error，MAE)、決定系數(shù)(R2)三個(gè)評(píng)價(jià)指標(biāo)，評(píng)價(jià)機(jī)器學(xué)習(xí)模型的性能.前兩者是衡量預(yù)測值與實(shí)際值的接近程度，值越小說明預(yù)測精度越高；R2是預(yù)測值對(duì)于實(shí)際值的表達(dá)能力，值越大說明預(yù)測精度越高(最大為1).表征上述指標(biāo)的數(shù)學(xué)表達(dá)分別為

(3)

(4)

(5)

3 結(jié)果與分析

3.1 特征重要性分析

本研究將基于RF的PCI預(yù)測模型的特征重要程度置換為相對(duì)特征重要程度.圖4給出了9種特征變量對(duì)于PCI預(yù)測的相對(duì)重要性得分.可以看出，PCI與目標(biāo)年上1年的PCI高度相關(guān)，時(shí)間序列數(shù)據(jù)對(duì)于路面性能預(yù)測至關(guān)重要.年平均日交通量AADT對(duì)于PCI預(yù)測的重要程度較大，這點(diǎn)通過交通荷載增加對(duì)路面結(jié)構(gòu)綜合累計(jì)損傷作用的增加不難被解釋.不同路齡狀況下路面性能衰變趨勢差異性顯著，因此PCI對(duì)于路齡這一特征變量敏感度較高.與路面自身結(jié)構(gòu)相關(guān)的特征變量中面層厚度PT、基層厚度BT這2個(gè)特征重要性略有差異，底基層厚度ST重要程度略低.由圖4可知，與氣象相關(guān)的特征變量對(duì)于PCI的影響同樣不容忽視，相對(duì)重要程度由大到小排序依次是日照時(shí)數(shù)SD、年降水量AP、年平均氣溫AAT，三者直接影響路面材料性能進(jìn)而影響路面性能的衰變.

圖4 特征變量重要性Fig.4 Feature variable importance

3.2 預(yù)測模型驗(yàn)證與評(píng)價(jià)

本研究為證明基于RF的PCI預(yù)測模型的預(yù)測能力，保持與前者相同的訓(xùn)練集和測試集，分別采用路面性能預(yù)測領(lǐng)域成功應(yīng)用的2種機(jī)器學(xué)習(xí)模型(SVM和ANN)進(jìn)行對(duì)比研究.按照式(3)～(5)提出的評(píng)價(jià)指標(biāo)，進(jìn)一步定量地對(duì)比本文提出的3種機(jī)器學(xué)習(xí)模型性能.

表2給出了不同預(yù)測模型的RMSE、MAE、R2值以及計(jì)算時(shí)間.從表2看出，RFR模型在測試集和訓(xùn)練集上表現(xiàn)出的學(xué)習(xí)能力和泛化能力強(qiáng)于ANN、SVR模型，對(duì)PCI預(yù)測具有可接受的準(zhǔn)確性.總體來說，3種模型在訓(xùn)練集上的RMSE分別為1.042、0.650、0.399，MAE分別為0.778、0.455、0.306，RFR表現(xiàn)出來的學(xué)習(xí)能力要優(yōu)于SVR和ANN模型.RFR預(yù)測模型的泛化能力優(yōu)越性顯著：相較前兩者，RFR模型的RMSE在測試集上分別降低了42.5%和17.7%，MAE分別下降了44.1%和15.8%，說明RF的預(yù)測值更加逼近實(shí)際值.此外，3種模型計(jì)算時(shí)間分別為0.259、0.130、0.174 s，這表明三者在此數(shù)據(jù)量大小下的計(jì)算效率并未存在顯著性差異.

表2 評(píng)價(jià)指標(biāo)匯總Table 2 Summary of the evaluation indices

圖6 3種模型測試集預(yù)測值與實(shí)際值對(duì)比Fig.6 Comparison of the predicted and actual testing set of three models

圖5、6分別給出了評(píng)估3種模型在訓(xùn)練集和測試集上預(yù)測值和實(shí)際值對(duì)比的散點(diǎn)圖.通過對(duì)比訓(xùn)練集、測試集的預(yù)測結(jié)果，其中基于RF的PCI預(yù)測模型的R2分別達(dá)到0.976和0.916，預(yù)測精度優(yōu)于其他2個(gè)模型.對(duì)比圖5、6可知，訓(xùn)練集的預(yù)測精度普遍高于其對(duì)應(yīng)的測試集的精度，考慮到R2相差不過10%且測試集樣本量不大，所以這種偏差并不嚴(yán)重.就訓(xùn)練集樣本來說，ANN模型的預(yù)測值和實(shí)際值較零誤差線分散程度最大，SVM模型次之，RFR模型幾乎擬合在零誤差線附近，說明預(yù)測值和實(shí)際值基本達(dá)到一致.在測試集訓(xùn)練結(jié)果中顯示，RFR模型的R2達(dá)到0.916均高于ANN模型(0.746)和SVM模型(0.866).

圖5 3種模型訓(xùn)練集預(yù)測值與實(shí)際值對(duì)比Fig.5 Comparison of the predicted and actual training set of three models

3種模型預(yù)測結(jié)果存在差異性的原因在于，ANN模型需要依靠大量數(shù)據(jù)樣本不斷地修正模型來防止過擬合，提高自身的學(xué)習(xí)效果.本研究中數(shù)據(jù)集的數(shù)量相較于超量、海量數(shù)據(jù)集來說，訓(xùn)練不足難以發(fā)揮人工神經(jīng)網(wǎng)絡(luò)的性能.SVM模型較ANN模型來說可以較好地表征小樣本下的非線性映射關(guān)系，但是其本身屬于弱學(xué)習(xí)器，而RF屬于由一系列弱學(xué)習(xí)器(決策樹)集結(jié)在一起的集成算法，并且通過引入隨機(jī)性增加模型抗噪能力，對(duì)于復(fù)雜結(jié)構(gòu)的路面性能預(yù)測數(shù)據(jù)集預(yù)測精度勢必強(qiáng)于單一的弱學(xué)習(xí)器(ANN、SVM).綜上所述，基于RF的瀝青路面狀況指數(shù)PCI預(yù)測模型就路網(wǎng)級(jí)預(yù)測能力來說，優(yōu)于人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)預(yù)測模型，在處理非線性回歸問題上優(yōu)勢顯著.

4 結(jié)論

1)本研究依據(jù)北京地區(qū)2010—2016年間路面性能特征、路面結(jié)構(gòu)特征、氣象特征以及交通參數(shù)特征，以瀝青路面PCI為研究對(duì)象，采用機(jī)器學(xué)習(xí)中的RF算法建立了北京市瀝青路面PCI預(yù)測模型.該模型能夠準(zhǔn)確識(shí)別相關(guān)特征變量與PCI間復(fù)雜的耦合關(guān)系，用于預(yù)測目標(biāo)年的PCI有較高的準(zhǔn)確率.

2)本研究引入神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)2種經(jīng)典機(jī)器學(xué)習(xí)算法，利用可視化散點(diǎn)圖以及參考的3種評(píng)價(jià)指標(biāo)，通過對(duì)比研究證明了RF模型強(qiáng)大的學(xué)習(xí)和泛化能力：對(duì)學(xué)習(xí)結(jié)果和樣本集擬合后，RF模型預(yù)測值更為逼近實(shí)際值；在訓(xùn)練集和測試集上的RMSE、MAE和R2都要優(yōu)于ANN和SVM機(jī)預(yù)測模型，驗(yàn)證了RF模型的有效性以及優(yōu)越性.

3)路面性能預(yù)測是路面養(yǎng)護(hù)管理的重要內(nèi)容，基于RF算法的PCI預(yù)測模型通過高效、準(zhǔn)確的預(yù)測可以推動(dòng)建立現(xiàn)代公路養(yǎng)護(hù)管理體系，為后續(xù)北京市瀝青路面養(yǎng)護(hù)規(guī)劃以及養(yǎng)護(hù)資金調(diào)配提供指導(dǎo).