基于機(jī)器視覺的路面裂縫病害多目標(biāo)識(shí)別技術(shù)

薄曉寧

（太原工業(yè)學(xué)院 山西省太原市 030008）

路面裂縫病害是高速公路日常養(yǎng)護(hù)遇到的最常見問題之一，同時(shí)也是評(píng)估高速公路狀態(tài)的核心因素之一，決定著高速公路是否需要維修。以前高速公路都是采用人工檢測(cè)路面裂縫情況的方法來了解高速公路的實(shí)際情況，但這種方式已經(jīng)表現(xiàn)出各種的弊端，如高風(fēng)險(xiǎn)性、低效率、高成本、作業(yè)難度大等。隨著信息技術(shù)和圖像技術(shù)的研究越來越深入，有人開始嘗試將視覺學(xué)習(xí)運(yùn)用于路面裂縫病害識(shí)別中[1]，同時(shí)也有很多學(xué)者著眼于研究多目標(biāo)識(shí)別技術(shù)。

1 相關(guān)概述

人們通過視覺感知環(huán)境，機(jī)器視覺是使用計(jì)算機(jī)模擬人的感知過程，從客觀環(huán)境中提取圖像信息，機(jī)器憑借電子化感知、理解圖像并進(jìn)行分析，后可以用于測(cè)量、檢測(cè)和控制等。隨著國(guó)民經(jīng)濟(jì)快速發(fā)展，交通量迅猛增長(zhǎng)，且越來越多的大型車輛出現(xiàn)可能還伴隨有超載的情況，這都會(huì)對(duì)路面造成相當(dāng)程度的破壞，路面裂縫病害是世界各國(guó)路面使用中最常見的問題之一，在公路日常養(yǎng)護(hù)中，及早地發(fā)現(xiàn)并處理路面裂縫病害有著很大意義。

近年來，目標(biāo)識(shí)別與檢測(cè)已經(jīng)成為了圖像處理技術(shù)的研究熱點(diǎn)之一[2]，尤其是低信噪比、環(huán)境復(fù)雜下的多目標(biāo)檢測(cè)，多目標(biāo)檢測(cè)技術(shù)的研究和應(yīng)用影響著很多的行業(yè)和領(lǐng)域，對(duì)多目標(biāo)識(shí)別技術(shù)的研究有著重大意義。對(duì)于小且多的目標(biāo)檢測(cè)的難點(diǎn)在于：目標(biāo)小且容易受到周圍環(huán)境的干擾，僅靠單幀圖像根本無法獲得圖像的有效信息，必須對(duì)多幀的圖像序列進(jìn)行綜合分析；對(duì)于連續(xù)幀圖像的處理極大考驗(yàn)著系統(tǒng)的實(shí)時(shí)性和計(jì)算能力。

基于機(jī)器視覺的目標(biāo)識(shí)別技術(shù)是建立在數(shù)字圖像識(shí)別和理解的基礎(chǔ)上，利用計(jì)算機(jī)對(duì)獲取的圖像信息進(jìn)行感知、分析以及理解。以往的圖像識(shí)別技術(shù)的步驟有：獲取目標(biāo)圖像、對(duì)樣本圖像預(yù)處理、提取特征圖、對(duì)圖像分類判別等。近幾年，隨著對(duì)深度學(xué)習(xí)的深入研究，機(jī)器可以在一定數(shù)量的樣本集下進(jìn)行一段時(shí)間的學(xué)習(xí)和訓(xùn)練，可以自己歸納特征，有著較高的效率和準(zhǔn)確度。

基于機(jī)器視覺的目標(biāo)跟蹤主要包含兩部分[3]：

（1）識(shí)別動(dòng)態(tài)目標(biāo)：采集一段視頻，獲得一個(gè)圖像序列，對(duì)得到的連續(xù)幀中的目標(biāo)進(jìn)行計(jì)算和檢測(cè)，先提取目標(biāo)圖像特征，在對(duì)其標(biāo)注標(biāo)簽，識(shí)別目標(biāo)完成；

（2）目標(biāo)追蹤：獲得目標(biāo)的位置、路徑、方向、位移量等基本數(shù)據(jù)信息，機(jī)器經(jīng)過復(fù)雜的計(jì)算和分析，理解目標(biāo)后對(duì)目標(biāo)進(jìn)行跟蹤。

基于機(jī)器視覺的路面裂縫病害多目標(biāo)識(shí)別技術(shù)，是建立在機(jī)器視覺和圖像處理基礎(chǔ)之上，首計(jì)算機(jī)先從客觀環(huán)境中獲取路面圖像并對(duì)原始圖像信息感知并分析，這個(gè)過程中涉及的運(yùn)算有圖像灰度化、圖像增強(qiáng)處理和二值化、去除干擾等，從而獲得到一種預(yù)處理的圖像；其次，對(duì)預(yù)處理圖像上裂縫進(jìn)行分析并計(jì)算其裂縫形態(tài)特征值，同時(shí)去除偽裂縫；最后通過系列的運(yùn)算得出路面裂縫的相關(guān)結(jié)果并形成記錄。

2 路面裂縫病害與識(shí)別方法

2.1 路面裂縫圖像預(yù)處理

從圖像形態(tài)角度檢測(cè)路面裂縫病害的最常見方法是線狀目標(biāo)檢測(cè)，由于一些路面裂縫小且弱，加上周圍環(huán)境或是拍攝天氣的影響，圖像的識(shí)別度不夠精準(zhǔn)，因此要對(duì)圖像進(jìn)行預(yù)處理[4]。

（1）預(yù)處理第一步就是圖像灰度化，將采集到的路面裂縫彩色圖像去除彩色信息，僅保留灰度圖像。

（2）圖像濾波。路面裂縫圖像在采集過程中，會(huì)受到周圍復(fù)雜環(huán)境影響，如噪聲等，噪音會(huì)干擾圖像信息識(shí)別，會(huì)影響到后續(xù)裂縫檢測(cè)結(jié)果。因此，預(yù)處理的第二步是在第一步的基礎(chǔ)上獲取灰度圖像濾波，使得圖像可以去除噪音等干擾信息同時(shí)最大程度保留圖像的路面裂縫關(guān)鍵信息。

（3）圖像增強(qiáng)?？紤]到采集的路面裂縫圖像會(huì)受各種因素影響，如有些采集地點(diǎn)光線很暗，對(duì)此要使用一定圖像算法增強(qiáng)路面裂縫圖像，增大裂縫與其他部分圖像的差異。

（4）圖像二值化。選擇適合的灰度閾值，以閾值為分界點(diǎn)，比閾值小的是目標(biāo)，標(biāo)記為1，比閾值大的是非目標(biāo)部分，標(biāo)記為0，由此灰度圖被分割成目標(biāo)和非目標(biāo)兩部分。

2.2 路面裂縫圖像檢測(cè)

二值化后獲得的圖像中包含大量的偽裂縫，需要采取一定措施去除這部分偽裂縫。裂縫部分相較于偽裂縫部分，有著較大的噪音部分面積，同時(shí)裂縫長(zhǎng)寬比值也較大，由此可以篩選出偽裂縫并將其去除，最終獲得裂縫的相關(guān)信息。在實(shí)際的圖像檢測(cè)過程中，圖像邊緣是常用的圖像特征之一[5]，因攜帶大部分關(guān)鍵有效信息，經(jīng)常以此作為核心特征條件。

邊緣檢測(cè)的主要內(nèi)容：首先，借助常用的邊緣算子，提取邊緣點(diǎn)集，分析灰度變化。其次，對(duì)邊緣點(diǎn)集進(jìn)行填補(bǔ)或是剔除某些邊界點(diǎn)，并將邊緣點(diǎn)連線。經(jīng)常用到的檢測(cè)算子有canny 算子、微分算子等，在Manab 中，edge 函數(shù)使用了這些算子對(duì)灰度圖像邊緣進(jìn)行檢測(cè)。

2.3 路面裂縫圖像識(shí)別

對(duì)于得到的裂縫圖像，利用圖像形態(tài)技術(shù)，對(duì)圖像進(jìn)行一系列計(jì)算，最終可得到裂縫長(zhǎng)和寬的值、裂縫面積、裂縫形狀、裂縫朝向等信息。并將路面裂縫的詳細(xì)信息記錄到數(shù)據(jù)庫中，以便之后使用。其中，圖像識(shí)別的方法多種，常用的有決策理論法、神經(jīng)網(wǎng)絡(luò)方法、幾何變換法、結(jié)構(gòu)方法以及模板匹配法，每一種圖像識(shí)別的方式都有相應(yīng)的適用場(chǎng)景，也在某些場(chǎng)景下存在一定的不足。因此，在實(shí)際應(yīng)用中，要結(jié)合實(shí)際情況，綜合分析選擇最佳的圖像識(shí)別方法。

2.4 特征提取

2.4.1 裂縫“病害”面積計(jì)算

路面裂縫圖像面積的計(jì)算本質(zhì)上是計(jì)算某一區(qū)域包含的像素?cái)?shù)，且圖像已經(jīng)進(jìn)行二值化處理，此時(shí)只需要計(jì)算圖像中灰度值為0 的像素個(gè)數(shù)占像素總數(shù)的比例，從而得出裂縫面積。定義A 是目標(biāo)物的像素個(gè)數(shù)，也即二值化裂縫圖像中裂縫面積，設(shè)f(x,y)大小是M*N，目標(biāo)物f(x,y)=1，背景是0，此時(shí)路面裂縫目標(biāo)面積為：

最后路面裂縫病害的像素個(gè)數(shù)占像素總個(gè)數(shù)的比例是：

通過μ 的值，最終可計(jì)算出路面裂縫的實(shí)際面積。

2.4.2 裂縫“病害”長(zhǎng)度計(jì)算

由于路面裂縫病害表現(xiàn)非常復(fù)雜，其長(zhǎng)度計(jì)算不是一件易事，因此對(duì)多幅處理后的圖像進(jìn)行分析和研究，發(fā)現(xiàn)找到裂縫病害的“骨架”部分，可以統(tǒng)計(jì)像素個(gè)數(shù)，在結(jié)合圖像的長(zhǎng)或是寬的像素個(gè)數(shù)，可計(jì)算出“骨架”的長(zhǎng)度。

2.5 灰度圖像形態(tài)學(xué)

運(yùn)用imdilate 函數(shù)實(shí)現(xiàn)圖像膨脹、imerode 函數(shù)進(jìn)行圖像腐蝕。其中先完成腐蝕后進(jìn)行膨脹的過程稱為開運(yùn)算，先完成腐蝕后進(jìn)行膨脹的過程稱為閉運(yùn)算。開運(yùn)算用來消除小物體，可以在不明顯改變面積的情況下分離物體和較大平滑物體的邊界；閉運(yùn)算是用來和鄰近物體連接、填充小空洞，在不明顯改變面積的情況下平滑其邊界。對(duì)于存在很多小的噪聲的圖像要連續(xù)經(jīng)過多次的開和閉運(yùn)算才可以有較好的效果。

3 多語義機(jī)器視覺識(shí)別

3.1 基于Mask R-CNN的識(shí)別模型框架

對(duì)目標(biāo)的檢測(cè)與定位有較好識(shí)別精度的一種識(shí)別模型是卷積神經(jīng)網(wǎng)絡(luò)（CNN），用該模型開展路面裂縫病害識(shí)別有著較高的識(shí)別率和準(zhǔn)確度。路面裂縫病害的特點(diǎn)是有較大的長(zhǎng)寬比，同時(shí)與背景相比其像素面積較小[6]，因此，要在卷積神經(jīng)網(wǎng)絡(luò)加入淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)的數(shù)據(jù)信息，用來提取路面裂縫病害幾何特征、分類語義，提取各層維度的路面裂縫特征，構(gòu)建多尺度特征圖，如圖1所示。

圖1：特征金字塔網(wǎng)絡(luò)模型

利用多層次多維度特征融合，每層特征是獨(dú)立預(yù)測(cè)，深層特征將底層特征和上采樣相融合，最后將主干網(wǎng)絡(luò)的特征圖輸出，其中主干網(wǎng)絡(luò)用于提取圖像特征。增加網(wǎng)絡(luò)寬度或深度幾乎不影響網(wǎng)絡(luò)性能，因此可以在原來網(wǎng)絡(luò)上增加卷積層，也不會(huì)影響特征圖信息，如大小、尺寸等，如表1所示，特征圖尺寸和大小一致時(shí)，不需要再進(jìn)行降采樣和升采樣處理。

表1：性能評(píng)價(jià)指標(biāo)

3.2 識(shí)別模型訓(xùn)練

通過大量數(shù)據(jù)集對(duì)識(shí)別模型進(jìn)行訓(xùn)練，以增強(qiáng)模型泛化能力，同時(shí)將明顯路面裂縫圖像加入到數(shù)據(jù)集中對(duì)識(shí)別模型進(jìn)行訓(xùn)練，利于提高識(shí)別模型對(duì)于路面裂縫識(shí)別的精確度、準(zhǔn)確度，降低誤識(shí)別。

3.3 路面裂縫病害訓(xùn)練數(shù)據(jù)標(biāo)注與參數(shù)學(xué)習(xí)

盡可能多的收集各種分辨率的路面裂縫圖像用于訓(xùn)練和測(cè)試識(shí)別模型，其中將路面裂縫病害圖像分為訓(xùn)練集和測(cè)試集，且訓(xùn)練集的比例要遠(yuǎn)遠(yuǎn)大于測(cè)試集，如：病害圖像訓(xùn)練集和測(cè)試集的比例為9:1。在訓(xùn)練模型的過程中，可以對(duì)圖像進(jìn)行對(duì)比度、翻轉(zhuǎn)、調(diào)整亮度和對(duì)稱將訓(xùn)練集倍數(shù)增加，這樣識(shí)別模型可實(shí)現(xiàn)更好的魯棒性以及有著更好的泛化能力。

識(shí)別模型性能用PIXAP、PIXREC、PIXACC以及IOU進(jìn)行評(píng)估，并使用AP50和AP75評(píng)價(jià)指標(biāo)進(jìn)行性能評(píng)估。經(jīng)過上述過程訓(xùn)練出的識(shí)別模型具有良好的泛化性能，可以較精確地識(shí)別路面裂縫病害。即使隨著層數(shù)增加，圖像特征變得更抽象、輪廓信息明顯缺失，然而，高層特征圖通過疊加底層特征圖，完好地保留了路面裂縫圖像的幾何特征，有效提升了識(shí)別模型對(duì)于不同尺寸路面裂縫的識(shí)別能力。

4 多目標(biāo)識(shí)別

4.1 多目標(biāo)識(shí)別框架

基于機(jī)器視覺的路面裂縫圖像多目標(biāo)識(shí)別就是將路面裂縫圖像信息作為輸入，在對(duì)輸入的圖像信息進(jìn)行處理，機(jī)器視覺主要理解和感知圖像信息，感知到的結(jié)果作為下一步動(dòng)作的輸入，而多目標(biāo)識(shí)別包括了分割目標(biāo)、目標(biāo)檢測(cè)和目標(biāo)識(shí)別等幾部分[7]，其中主要利用了圖像處理和模式識(shí)別技術(shù)。

多目標(biāo)識(shí)別的分類識(shí)別過程如下：

（1）采集一段路面裂縫的視頻，得到一個(gè)圖像序列，提取圖像序列的每一幀圖像

（2）對(duì)連續(xù)兩幀圖像做差值計(jì)算，初步獲得多目標(biāo)位置區(qū)域，其中過濾干擾信息，獲得精確的多個(gè)目標(biāo)區(qū)域。

（3）使用Gabor 濾波器，其中尺度設(shè)為5、方向參數(shù)設(shè)為8，將圖像樣本劃分成均勻方塊，提取目標(biāo)圖像的Gabor 特征。

（4）對(duì)所有樣本特征進(jìn)行訓(xùn)練，將得到的樣本圖像特征作為Fisher 分類器的輸入信息，最終得到分類識(shí)別結(jié)果。

對(duì)圖像分割需要借助圖像分割算法，該算法主要是將目標(biāo)與圖像背景區(qū)別開來完成目標(biāo)提取，其中分割結(jié)果的精準(zhǔn)與否會(huì)影響后續(xù)目標(biāo)識(shí)別、目標(biāo)定位以及目標(biāo)提取的準(zhǔn)確度，這要求在實(shí)際的工作場(chǎng)景中，要根據(jù)具體情況，選擇最佳的圖像分割算法。

4.2 Gabor特征的提取

特征提取是機(jī)器視覺識(shí)別目標(biāo)圖像的重要中間環(huán)節(jié)，對(duì)目標(biāo)識(shí)別的精度和準(zhǔn)確度有著至關(guān)重要的影響，從大量復(fù)雜的無序的信息數(shù)據(jù)中提取到核心關(guān)鍵的圖像特征，對(duì)路面裂縫目標(biāo)圖像起著決定性作用。對(duì)于路面裂縫病害圖像，不同的分類方法，會(huì)得到多種圖像特征類型，按照區(qū)域大小分為局部特征和全部特征兩種[8]；按照特征分為紋理特征、輪廓特征、線條特征以及矩特征等。

對(duì)于對(duì)目標(biāo)圖像的檢測(cè)方法有密集選取、稀疏選取和其他選取三種，從以往的研究成果看，這三種方法都適用于部分場(chǎng)景，在一些場(chǎng)景下會(huì)存在一定的不足，主要原因就是比較依賴圖像目標(biāo)背景，因此，很多的實(shí)際情況中會(huì)采用多種描述子相結(jié)合進(jìn)行機(jī)器視覺的路面裂縫病害圖像多目標(biāo)的識(shí)別。Gabor 變換在時(shí)域和空域都是變換的，有良好的局部性。2D Gabor 濾波器和動(dòng)物視網(wǎng)膜接受模型吻合，可以同時(shí)接受頻率、時(shí)間的最小不確定性。

4.3 Fisher判別準(zhǔn)則

對(duì)路面裂縫病害圖像中特征進(jìn)行提取并進(jìn)行定量化分析后，將對(duì)目標(biāo)圖像進(jìn)行提取并對(duì)提取的目標(biāo)圖像要進(jìn)行一定的定量分析。對(duì)圖像的判別分析的本質(zhì)是對(duì)集合空間做劃分，因此，對(duì)路面裂縫病害圖像的判別分析可以轉(zhuǎn)化成在一個(gè)投影上對(duì)原集合的劃分。Fisher 線性判別將訓(xùn)練集在某一方向投影，得到不同類別的最小類內(nèi)和最大類間散布矩陣，然后根據(jù)這種新投影特征，可識(shí)別數(shù)據(jù)并將其分類。

Fisher 判別法的結(jié)果如何關(guān)鍵點(diǎn)在于選取訓(xùn)練集的精準(zhǔn)度和圖像信息在降維過程中特征信息的損失比例。Fisher 判別分析方法的核心是將高維不好處理的問題通過降低維度進(jìn)行處理，從而達(dá)到對(duì)多維多層次向量在低維度空間進(jìn)行判別分析的目的。

5 總結(jié)

目前機(jī)器視覺已經(jīng)初步應(yīng)用于路面裂縫病害的識(shí)別中，研究機(jī)器視覺路面裂縫病害多目標(biāo)識(shí)別技術(shù)以及圖像預(yù)處理過程，對(duì)判別和特征提取算法的優(yōu)化，都具有非常大的意義，可以提高路面裂縫病害識(shí)別的效率和準(zhǔn)確度，極大方便了公路養(yǎng)護(hù)工作。本文研究了多語義機(jī)器視覺識(shí)別和多目標(biāo)識(shí)別技術(shù)，希望對(duì)機(jī)器視覺路面裂縫病害多目標(biāo)識(shí)別技術(shù)的研究提供一定的參考，以期未來實(shí)現(xiàn)路面裂縫識(shí)別的智能化，提高路面裂縫病害識(shí)別效率和準(zhǔn)確率。