基于深度學(xué)習(xí)技術(shù)的路面隱患排查應(yīng)用與實(shí)踐

呂偉杰　許基獻(xiàn)　斯錦偉　王佳　李家偉

摘要 隨著公路建設(shè)事業(yè)的快速發(fā)展，道路隱患排查管理任務(wù)伴隨而來(lái)，特別是前期建設(shè)的一批高速公路已逐步進(jìn)入中修或大修期，相關(guān)管理部門(mén)越來(lái)越重視道路通行隱患監(jiān)測(cè)數(shù)據(jù)的收集和分析。為了增強(qiáng)基于機(jī)器視覺(jué)數(shù)字圖像處理的道路隱患排查識(shí)別效率和準(zhǔn)確性，在目標(biāo)檢測(cè)技術(shù)中引入卷積神經(jīng)網(wǎng)絡(luò)CNN算法，快速識(shí)別帶邊界的隱患目標(biāo)類(lèi)型、位置和區(qū)域，并基于CNN通過(guò)隱患目標(biāo)輪廓網(wǎng)絡(luò)CCN方法進(jìn)行定位和提取病害形狀。在CCN算法中引入道路隱患類(lèi)型識(shí)別準(zhǔn)確率、召回率和方差比值即F值指標(biāo)，來(lái)評(píng)價(jià)算法模型，根據(jù)最大F值劃分和確定隱患目標(biāo)相應(yīng)的輪廓區(qū)域。工程驗(yàn)證結(jié)果表明，文章所提出的隱患識(shí)別效率和準(zhǔn)確率較高，可用性強(qiáng)。置信度閾值取最優(yōu)值后，準(zhǔn)確率、召回率、F值可達(dá)到91.8%、86.1%和84.6%。

關(guān)鍵詞 數(shù)字圖像處理；卷積神經(jīng)網(wǎng)絡(luò)；隱患目標(biāo)；CCN

中圖分類(lèi)號(hào) U445.4文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 2096-8949（2023）24-0015-04

0 引言

隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，公路交通在國(guó)民經(jīng)濟(jì)和人們生活中發(fā)揮著越來(lái)越重要的作用，在我國(guó)公路交通領(lǐng)域表現(xiàn)的更加突出，全國(guó)縱橫覆蓋格局已成規(guī)模效應(yīng)。在高速公路的長(zhǎng)期運(yùn)營(yíng)過(guò)程中，會(huì)發(fā)生各種類(lèi)型的路面通行隱患。公路服役周期內(nèi)，路面表觀病害對(duì)行駛安全、行駛平穩(wěn)性、路基安全造成多種風(fēng)險(xiǎn)，為公路養(yǎng)護(hù)和隱患排查帶來(lái)諸多不確定挑戰(zhàn)，快速檢測(cè)病害、定位病害成為研究的重要內(nèi)容[1-4]。在當(dāng)前從國(guó)家到地方的道路檢測(cè)和評(píng)價(jià)的框架下，普遍采用的多功能車(chē)在一定范圍和周期內(nèi)解決了這一問(wèn)題，然而巡查頻率、隱患排除效率、管控效果均急需提高，需要改變依靠多功能車(chē)采集、利用人力視覺(jué)篩查標(biāo)簽的傳統(tǒng)方式，而形成真正意義的隱患發(fā)現(xiàn)、識(shí)別、排除半自動(dòng)化作業(yè)。顯然，隱患確認(rèn)關(guān)鍵動(dòng)作需要人工干預(yù)，這樣一來(lái)既釋放了被大量占用的人工，同時(shí)也增強(qiáng)了隱患發(fā)現(xiàn)處置能力。即便如此，基于視覺(jué)分析技術(shù)的隱患識(shí)別方法包括自適應(yīng)閾值分割法、邊緣檢測(cè)法、形態(tài)學(xué)AI法、小波分析等算法，仍難以克服多域多候背景誤差、臨界近似度、參數(shù)復(fù)雜精度低問(wèn)題。并且，對(duì)于車(chē)道動(dòng)態(tài)跟蹤、安全隱患目標(biāo)的快速檢索、重定位、清晰度和數(shù)字圖像處理，均對(duì)路面隱患的及時(shí)發(fā)現(xiàn)、及時(shí)處置造成一定的技術(shù)滯后。

基于圖像解析深度學(xué)習(xí)技術(shù)的持續(xù)發(fā)展[5]，卷積神經(jīng)網(wǎng)絡(luò)在工業(yè)、空間、設(shè)計(jì)包括交通領(lǐng)域已經(jīng)獲得廣泛應(yīng)用。近年來(lái)，部分學(xué)者試圖將CNN應(yīng)用于土木工程結(jié)構(gòu)的表觀隱患排查。例如，Cha等[6]將CNN與滑動(dòng)窗口技術(shù)相結(jié)合應(yīng)用于裂縫識(shí)別，其訓(xùn)練數(shù)據(jù)設(shè)定為40 000張圖片（256×256像素），測(cè)試圖片大小為5 888×3 584像素，測(cè)試持續(xù)時(shí)間為4.5 s，最終驗(yàn)證準(zhǔn)確率約為98%。Dorafshan等[7]構(gòu)建了SDNET 2018裂紋圖像數(shù)據(jù)庫(kù)，方便檢測(cè)人員和技術(shù)人員測(cè)試和驗(yàn)證，在此基礎(chǔ)上靈活架構(gòu)識(shí)別方法，包括采用CNN檢測(cè)識(shí)別裂縫和坑槽，這一思路與邊緣計(jì)算方法明顯不同。

在眾多識(shí)別方法比較中，將CNN和邊緣計(jì)算快速識(shí)別相結(jié)合，形成前后臺(tái)相互促進(jìn)的檢測(cè)策略，取得了較好效果[8]。Ni等[9]通過(guò)基于卷積自動(dòng)處理明顯結(jié)構(gòu)裂縫的CNN框架，達(dá)到特征融合和像素級(jí)分類(lèi)效果。但這些方法需要算力保證，識(shí)別計(jì)算過(guò)程要求高，并且?guī)?lái)與CNN目標(biāo)檢測(cè)結(jié)果相違背的識(shí)別錯(cuò)誤。后續(xù)處理仍需要采用其他方法。為了解決上述問(wèn)題，Girshick等[10]使用CNN作為內(nèi)核并將其與選擇性搜索算法相結(jié)合。HeK等[11]提出了空間金字塔池化（SPP-Net），其使用全圖像卷積共享特征圖方法來(lái)減少R-CNN的訓(xùn)練和測(cè)試時(shí)間，并且目標(biāo)檢測(cè)精度也有所提高。顯然，人工識(shí)別算法在交通領(lǐng)域尤其公路行業(yè)越來(lái)越多地被應(yīng)用到生產(chǎn)作業(yè)和養(yǎng)護(hù)管理環(huán)節(jié)，樣本持續(xù)增長(zhǎng)、算法模型不斷創(chuàng)新演進(jìn)，包括算法與算法之前的集成研發(fā)，都促成了新技術(shù)、新裝備、新方法大量涌現(xiàn)，以CNN為基礎(chǔ)結(jié)合CCN創(chuàng)新模式大幅提高行業(yè)應(yīng)用的實(shí)用性和普及率，在車(chē)載及機(jī)載算力限制條件下，令檢測(cè)識(shí)別效果更理想。

該文介紹了基于CNN和CCN方法的路面隱患定位及形狀提取，計(jì)算帶邊界的提取隱患區(qū)域的位置和面積。針對(duì)該方法的評(píng)價(jià)，介紹了準(zhǔn)確率（P）、召回率（R）和F值指數(shù)，并驗(yàn)證了所提方法的有效性。

1 路面隱患檢測(cè)識(shí)別技術(shù)原理

路面隱患檢測(cè)識(shí)別技術(shù)主要包括軟件層面的神經(jīng)網(wǎng)絡(luò)圖像識(shí)別和硬件環(huán)境層面的車(chē)載或機(jī)載邊緣計(jì)算智能設(shè)備。路面隱患識(shí)別的過(guò)程如圖1所示。目前，路面圖像的采集方式是巡檢車(chē)等攝像機(jī)，特殊情況下也伴飛無(wú)人機(jī)空中視角抓拍，形成單目多目多視角等識(shí)別要求，算法模型大小、集成度、精度須根據(jù)不同搭載進(jìn)行配置。一致的過(guò)程是，前端邊緣負(fù)責(zé)采集、預(yù)處理、基礎(chǔ)數(shù)據(jù)加載、回傳，算力越強(qiáng)對(duì)圖像清晰度敏感性越低，目標(biāo)越小則對(duì)圖像清晰度要求越高，后端負(fù)責(zé)數(shù)據(jù)匯集、分類(lèi)整理、二次檢測(cè)、綜合分析。具體識(shí)別過(guò)程可劃分為按預(yù)定規(guī)則的快速抽幀，使用圖像分割、一致化、色階值、區(qū)域增強(qiáng)等數(shù)字圖像處理技術(shù)進(jìn)行預(yù)處理，必要情況下，通過(guò)小樣本變換增加輸入；通過(guò)專(zhuān)業(yè)人員根據(jù)行業(yè)應(yīng)用要求進(jìn)行經(jīng)驗(yàn)標(biāo)注，形成人為定義的隱患特征庫(kù)；初始化CNN識(shí)別網(wǎng)絡(luò)，設(shè)定初步參數(shù)，進(jìn)行初次訓(xùn)練，重復(fù)流程，進(jìn)行規(guī)?；{(diào)參，達(dá)到分級(jí)化置信度；訓(xùn)練完成，通過(guò)驗(yàn)證集實(shí)測(cè)路面隱患識(shí)別排查的效果，如裂縫、坑槽、交安破損，根據(jù)邊界框尺寸信息，評(píng)估實(shí)際檢測(cè)效果和置信度指數(shù)。對(duì)于水平和垂直隱患目標(biāo)，在邊界框確定后，提取區(qū)域目標(biāo)形狀并得到隱患面積，通過(guò)反向色差隱患目標(biāo)表征信息更豐富、更準(zhǔn)確。

在硬件環(huán)境層面，具備了深度學(xué)習(xí)技術(shù)準(zhǔn)備后，需要對(duì)當(dāng)前的巡查車(chē)做智能化升級(jí)，使之適配于新型業(yè)務(wù)模式下的路面隱患排查任務(wù)：①運(yùn)用5G技術(shù)構(gòu)造前端車(chē)載邊緣計(jì)算；②新增高清攝像頭，加載前端采集和識(shí)別模型；③組件優(yōu)化和匹配，最小化功耗和最大化分類(lèi)圖像處理性能。具體需做的升級(jí)改動(dòng)包括：通過(guò)技術(shù)選型采用成熟的邊緣主機(jī)、智能攝像頭、5G移動(dòng)通信模塊和北斗雙模系統(tǒng)實(shí)現(xiàn)系統(tǒng)化智能巡查車(chē)硬件環(huán)境的升級(jí)，邊緣主機(jī)和通信模塊安裝于駕駛室側(cè)壁，攝像頭安裝于車(chē)頂向前方向，視野覆蓋路面和兩側(cè)交安，北斗雙模系統(tǒng)天線則需安裝在車(chē)頂或駕駛室外部后側(cè)，并確保其上方?jīng)]有遮擋。在此智能硬件基礎(chǔ)上，加載邊緣計(jì)算系統(tǒng)軟件，包括圖像預(yù)處理模塊、樁號(hào)和坐標(biāo)對(duì)應(yīng)模塊、快速識(shí)別模塊，與中心管理系統(tǒng)形成云邊協(xié)同的隱患識(shí)別，基于快速識(shí)別模塊可將病害圖像賦值車(chē)道線標(biāo)識(shí)、左右幅標(biāo)識(shí)，與樁號(hào)互為對(duì)應(yīng)，從而準(zhǔn)確定位和溯源路面隱患和病害的時(shí)空位置，方便工程人員快速化現(xiàn)場(chǎng)確認(rèn)和隱患排除。基于無(wú)人機(jī)的路面隱患檢測(cè)主要采用車(chē)機(jī)協(xié)同飛控作業(yè)系統(tǒng)、航線預(yù)設(shè)、定點(diǎn)復(fù)拍、新型無(wú)人機(jī)載遙感技術(shù)等實(shí)現(xiàn)多視角聯(lián)動(dòng)，與路政巡查車(chē)伴飛配合。利用無(wú)人機(jī)的空中視角和航線定制，實(shí)現(xiàn)道路外側(cè)、特殊結(jié)構(gòu)物、車(chē)載和人員視角觀察不到位置的隱患巡查工作。同樣，通過(guò)無(wú)人機(jī)機(jī)載邊緣計(jì)算設(shè)備將預(yù)處理的圖像分析結(jié)果通過(guò)5G模塊或中繼網(wǎng)絡(luò)同步傳輸至中心管理系統(tǒng)，從而達(dá)到同一時(shí)空車(chē)載和機(jī)載不同路徑的隱患排查協(xié)同效果。

2 路面隱患檢測(cè)技術(shù)實(shí)現(xiàn)方法

2.1 卷積模型架構(gòu)技術(shù)流程

CNN模型架構(gòu)通常包括對(duì)輸入圖像的一簇堆疊層（如卷積、激活和極化）進(jìn)行特征提取，以及通過(guò)全連接層進(jìn)行分類(lèi)，以輸出每個(gè)類(lèi)的分值。每一層負(fù)責(zé)不同的功能，并使用前一層的結(jié)果作為后一層的輸入。

對(duì)于機(jī)器視覺(jué)任務(wù)，CNN網(wǎng)絡(luò)需要：①?gòu)脑紙D像中提取特征；②使用分配有初始隨機(jī)權(quán)重和偏差的過(guò)濾器將特征向前饋送，以預(yù)測(cè)類(lèi)別；③計(jì)算預(yù)測(cè)分值與基本事實(shí)之間的損失；④應(yīng)用反向傳播來(lái)調(diào)整濾波器權(quán)重并不斷置信，最終獲得優(yōu)化模型。

已經(jīng)有一些研究試圖將深度學(xué)習(xí)方法應(yīng)用于土木工程結(jié)構(gòu)，例如基于CNN的混凝土機(jī)架檢測(cè)方法，并且所提出的模型相對(duì)于傳統(tǒng)圖像處理技術(shù)的優(yōu)勢(shì)已經(jīng)得到證明。此外，CNN還應(yīng)用于高效隧道檢查和內(nèi)壁裂縫檢測(cè)。然而，CNN在基礎(chǔ)設(shè)施檢查中的應(yīng)用仍處于起步階段，使用CNN進(jìn)行結(jié)構(gòu)損傷檢測(cè)的研究仍在持續(xù)發(fā)展中。

2.2 模型訓(xùn)練、驗(yàn)證和測(cè)試

在模型訓(xùn)練特征提取方面，路面隱患排查工作場(chǎng)景主要在野外、公路沿線和兩側(cè)，視頻圖像采集受氣候、光線、環(huán)境等影響，導(dǎo)致每次巡查拍攝源圖像都存在差異。為準(zhǔn)確識(shí)別分析造成一定的難度，需要對(duì)含有干擾信息的源圖像進(jìn)行灰度、對(duì)比度及極值化預(yù)處理，利用小波變換濾波方法確保分析處理后的豐富細(xì)節(jié)。模型通過(guò)調(diào)配神經(jīng)網(wǎng)絡(luò)分支類(lèi)型、層級(jí)參數(shù)、置信度等不斷迭代和訓(xùn)練，生成高可靠高可用性的隱患識(shí)別網(wǎng)絡(luò)。在對(duì)多份隱患病害圖像樣本分析后，不難發(fā)現(xiàn)，塊狀、網(wǎng)狀、條狀、變形、缺失等隱患病害不同特征的呈現(xiàn)形式，利用向量機(jī)分類(lèi)器對(duì)其特征進(jìn)行統(tǒng)計(jì)歸類(lèi)，從而幫助管理人員在大量巡查圖像中自動(dòng)獲取有價(jià)值的分析結(jié)果。在經(jīng)過(guò)海量樣本訓(xùn)練成熟后，該模型可確保巡查采集和分析效果的連續(xù)性和可靠性，方便管理人員對(duì)巡查路段做出準(zhǔn)確評(píng)估。

以常見(jiàn)隱患路面裂縫為例，裂縫來(lái)自智能巡查車(chē)實(shí)際采集的道路圖片，大小為2 048×2 000像素。通過(guò)圖像切片、旋轉(zhuǎn)、鏡像等獲得訓(xùn)練樣本集，其中有裂紋的樣本數(shù)為15 235，無(wú)裂紋的樣本數(shù)為21 642。之后，使用預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，所有數(shù)據(jù)輪換50個(gè)紀(jì)元，最終識(shí)別精度值可以達(dá)到95%以上。CNN關(guān)鍵參數(shù)分別為：訓(xùn)練時(shí)間50 s，軌距32，訓(xùn)練率10?4，衰減系數(shù)10?6，如圖2所示，顯示了使用上述參數(shù)獲得的準(zhǔn)確率性能。

3 應(yīng)用實(shí)例

在浙江省甬莞高速公路等工程項(xiàng)目中，通過(guò)動(dòng)態(tài)抽幀采集數(shù)百公里的路面圖像集，對(duì)完整和受損的路面進(jìn)行了系統(tǒng)化CNN特征圖的訓(xùn)練、驗(yàn)證和測(cè)試，路面背景的處理方法則采用雙值圖像處理方法進(jìn)行處理。在典型實(shí)例中可以看出，背景噪點(diǎn)很難去除，效果也不容忽視。因此，一些傳統(tǒng)的圖像處理算法很難破解。研究將有意義的圖像組件突出出來(lái)，進(jìn)行一系列基于形狀的圖像演算處理，以表達(dá)和描繪區(qū)域形狀構(gòu)造，識(shí)別和表征目標(biāo)對(duì)象最本質(zhì)的形狀特征，如輪廓和對(duì)象區(qū)域。典型的CCN方法用于處理路面圖像時(shí)，廣泛結(jié)合數(shù)字圖像處理技術(shù)，根據(jù)邊界框區(qū)域中的最小灰度值重現(xiàn)塊狀裂縫形狀。

主要步驟如下：

（1）塊狀裂縫的特征之一，是與路面背景存在灰度級(jí)差異，最暗的像素一般屬于裂紋，提取裂紋區(qū)域（CNN處理）。

（2）由于路面的灰色背景，第一步的提取容易產(chǎn)生噪聲，例如局部黑噪聲。在該文中，這些區(qū)域中的像素被濾除（局部黑噪聲被去除）。

（3）第二步降噪后，需恢復(fù)路面像素的詳細(xì)過(guò)程：①高斯模糊（卷積核為9×9），生成新像素；②執(zhí)行低閾值二值化（閾值為0），極化像素使裂縫沿路面像素?cái)U(kuò)展；③使用大模板（7×7）侵蝕細(xì)化裂縫；④使用小模板（3×3）膨脹以平滑裂縫；⑤再次使用小模板（3×3）。

根據(jù)灰度骨架和裂紋原點(diǎn)像素細(xì)化裂紋形狀，灰度值均差超過(guò)一定范圍予以刪除。從而過(guò)濾掉一些背景像素，這些像素在形態(tài)處理過(guò)程中被誤認(rèn)為是隱患目標(biāo)。

進(jìn)一步使用輪廓檢測(cè)，在圖像中定位和鎖定隱患目標(biāo)的區(qū)域邊界，如圖3所示。在所提出的路面隱患檢測(cè)和識(shí)別方法中，也可以嘗試更多的數(shù)字圖像處理方法。

在該工程實(shí)踐中，經(jīng)過(guò)大量隱患目標(biāo)識(shí)別排查測(cè)試和驗(yàn)證，對(duì)標(biāo)計(jì)算真陽(yáng)性率（TPR）、真陰性率（TNR）、假陽(yáng)性率（FPR）和假陰性率（FNR），4個(gè)指標(biāo)經(jīng)統(tǒng)計(jì)分析，得到準(zhǔn)確率（P%）、回歸率（R%）和F值（F%）。工程驗(yàn)證表明，P%、R%和F%于實(shí)際隱患排查識(shí)別中整體性能相應(yīng)達(dá)到91.8%、86.1%和84.6%。

4 結(jié)語(yǔ)

該文提出了基于深度學(xué)習(xí)模型的路面隱患檢測(cè)方法框架。引入目標(biāo)檢測(cè)中的CNN算法，快速識(shí)別帶邊界的被提取隱患區(qū)域的類(lèi)型、位置和區(qū)域，CNN基于CCN方法用于定位和提取病害形狀。從測(cè)試結(jié)果中可以得出以下結(jié)論：

（1）基于CCN的CNN集成方法可以在路檢車(chē)采集的圖片上有效地搜索定位隱患，準(zhǔn)確提取坑槽、車(chē)轍、裂縫形狀。

（2）測(cè)試結(jié)果表明，該檢測(cè)方法工作效率高，漏檢率較低，雖存在少量誤檢，仍可直接應(yīng)用于路面隱患的自動(dòng)檢測(cè)。

（3）引入準(zhǔn)確率（P）、召回率（R）、F值等指標(biāo)對(duì)算法進(jìn)行評(píng)估，根據(jù)最大F值確定隱患框?qū)?yīng)的輪廓區(qū)域，整體性能達(dá)到91.8%，86.1%和84.6%。

顯然，不足和需要加強(qiáng)之處在于，需通過(guò)后臺(tái)幾何學(xué)習(xí)法進(jìn)行進(jìn)一步誤檢篩查。

參考文獻(xiàn)

[1]Mohebian P， Aval SBB， Noori M，et al. Visible Particle Series Search Algorithm and Its Application in Structural Damage Identification[J]. Sensors. 2022（3）：1275.

[2]Li Z.， Noori M.， Altabey W. A.，et al. A multi-objective optimization algorithm for Bouc–Wen–Baber–Noori model to identify reinforced concrete columns failing in different modes[C]， Proceedings of the Institution of Mechanical Engineers， Part L： Journal of Materials： Design and Applications，2021（9）： 2165-2182.

[3]Altabey， W.A. Applying Deep learning and Wavelet Transform for Predicting the Vibration behavior in Variable Thickness Skew Composite Plates with Intermediate Elastic Support[J]， Vibroengineering， 2021（4）： 770-783.

[4]Altabey， W.A. Prediction of Natural Frequency of Basalt Fiber Reinforced Polymer （FRP） Laminated Variable Thickness Plates with Intermediate Elastic Support Using Artificial Neural Networks （ANNs） Method[J]， Vibroengineering，2017（5）：3668-3678.

[5]Wang T.， Altabey W. A.， Noori M.，et al. A Deep Learning Based Approach for Response Prediction of Beam-Like Structures[J]， Structural Durability and Health Monitoring，2020（4）： 315-338.

[6]Cha Y. J.， Choi W. O. Deep Learning - based Crack Damage Detection Using Convolutional Neural Networks[J]. Computer-aided Civil and Infrastructure Engineering，2017（5）， 361-378.

[7]Dorafshan S.， Thomas R. J.， Maguire M. Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image - based Crack Detection in Concrete[J]. Construction and Building Materials， 2018，186， 1031-1045.

[8]Dorafshan S.， Thomas R. J.， Maguire M. An Annotated Image Dataset for Non-contact Concrete Crack Detection Using Deep Convolutional Neural Networks[J]. Data in Brief，2018， 21， 1664-1668.

[9]Ni F. T.， Zhang J.， Chen Z. Q. Pixel-level Crack Delineation in Images with Convolutional Feature Fusion[J]. Structural Control and Health Monitoring， 2018.

[10]Girshick R.， Donahue J.， Darrell T. Rich Feature Hicrarchies for Accurate Object Detection and Semantic Segmentation[C]， IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2014.

[11]He K.， Zhang X.， Ren S.. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015（9）， 1904 -1916.