一種新的瀝青路面灌封裂縫自動(dòng)提取方法

鄧硯學(xué)， 張志華*， 張新秀

(1.蘭州交通大學(xué)測(cè)繪與地理信息學(xué)院， 蘭州 730070； 2.蘭州交通大學(xué)地理國(guó)情監(jiān)測(cè)技術(shù)應(yīng)用國(guó)家地方聯(lián)合工程研究中心， 蘭州 730070；3.甘肅省地理國(guó)情監(jiān)測(cè)工程實(shí)驗(yàn)室， 蘭州 730070； 4.甘肅省公路路網(wǎng)檢測(cè)重點(diǎn)實(shí)驗(yàn)室， 蘭州 730070)

灌封裂縫作為瀝青路面最常見(jiàn)的病害之一，其檢測(cè)結(jié)果為路面技術(shù)狀況評(píng)定及路面養(yǎng)護(hù)管理決策提供技術(shù)依據(jù)。雖然人工現(xiàn)場(chǎng)病害檢測(cè)精度高，但檢測(cè)效率低且主觀性較強(qiáng)。傳統(tǒng)的路面病害提取方法，通過(guò)道路檢測(cè)車快速采集路面圖像，運(yùn)用基于圖像視覺(jué)的路面病害檢測(cè)方法，如自適應(yīng)閾值分割法、邊緣檢測(cè)法、形態(tài)法、小波分析等算法[1]，實(shí)現(xiàn)瀝青路面病害識(shí)別與提取。路面病害圖像包含各種道路場(chǎng)景、車道線、油漬、不同的光照背景和其他污漬。傳統(tǒng)方法只能處理特定類型的病害圖像[2]，易受光照條件的影響[3]，效率較低[4]。

近年來(lái)，得益于深度學(xué)習(xí)強(qiáng)大的非線性擬合能力和高效的圖像處理能力[5]，基于深度學(xué)習(xí)的路面病害檢測(cè)方法極大地提高了病害檢測(cè)效率。Cha等[6]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks， CNN)和滑動(dòng)窗口技術(shù)識(shí)別裂縫，驗(yàn)證精度和測(cè)試速度均有明顯提升。Dorafshan等[7]結(jié)合CNN和邊緣檢測(cè)識(shí)別混凝土表面裂縫，識(shí)別效率高于邊緣檢測(cè)方法。陳健昌等[8]先通過(guò)分類方法消除路面圖像中的標(biāo)線干擾因素，再運(yùn)用建立的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，實(shí)現(xiàn)了路面裂縫的智能化識(shí)別。沙愛(ài)民等[9]使用3個(gè)CNN模型級(jí)聯(lián)檢測(cè)路面裂縫和坑槽，檢測(cè)效果優(yōu)于傳統(tǒng)的圖像處理方法?；诳焖賲^(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional neural network, Faster R-CNN)改進(jìn)的路面病害檢測(cè)方法能夠明顯提高對(duì)病害的檢測(cè)準(zhǔn)確率和定位精度[10-11]。雖然基于深度學(xué)習(xí)的路面病害檢測(cè)方法效率較高，但檢測(cè)結(jié)果包含病害目標(biāo)和背景，不能精確提取病害，而由全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)[12]發(fā)展而來(lái)的圖像語(yǔ)義分割[13]方法能夠更精確地提取病害目標(biāo)?；诟怕首詣?dòng)編碼器[14]改進(jìn)的編解碼網(wǎng)絡(luò)(encoder-decoder network)，其編碼器通過(guò)卷積與池化或下采樣操作，提取圖像數(shù)據(jù)特征，生成高度抽象特征圖；解碼器通過(guò)反卷積或上采樣操作恢復(fù)特征分辨率，逐步得到與輸入圖像相同維度的特征圖。SegNet[15]是語(yǔ)義分割方法中最經(jīng)典的編解碼網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)作為編碼器的VGG16進(jìn)行改進(jìn)，保留VGG16前13層，刪除全連接層。在解碼器中，通過(guò)池化索引和上采樣運(yùn)算，最終輸出的特征圖尺寸與輸入圖像一致。Yu等[16]使用雙邊分割網(wǎng)絡(luò)(bilateral segmentation network， BiSeNet)，提高實(shí)時(shí)語(yǔ)義分割的精度和速度。BiSeNet由空間路徑和上下文路徑組成。空間路徑提取空間信息并生成特征圖。上下文路徑由主干網(wǎng)和注意力模塊組成，提取紋理特征。特征融合模塊融合兩部分特征。Bang等[17]提出了由ResNet[18]和SegNet的反卷積層組成的編解碼網(wǎng)絡(luò)，檢測(cè)由黑盒相機(jī)拍攝的街景圖像裂縫，但由于街景圖象包含各類復(fù)雜物體且裂縫尺寸小，誤檢率較高。Chen等[19]采用不含頂層的VGG16網(wǎng)絡(luò)作為編碼器，并使用開(kāi)源的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化SegNet，實(shí)現(xiàn)混凝土路面、瀝青路面和橋面裂縫的自動(dòng)化檢測(cè)，但因數(shù)據(jù)集數(shù)量較少及網(wǎng)絡(luò)性能限制，該方法的病害識(shí)別精度較低。

綜上分析，瀝青路面灌封裂縫提取研究存在3個(gè)問(wèn)題：①邊緣檢測(cè)、閾值分割和區(qū)域分割等方法易受光照的影響、效率低，不適用于處理海量的路面灌封裂縫圖像；②基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法不能精確提取灌封裂縫；③SegNet難以提取較小尺寸的灌封裂縫，易出現(xiàn)漏檢和誤檢。針對(duì)以上問(wèn)題，提出一種精確提取瀝青路面灌封裂縫的方法。首先，采用多尺度視網(wǎng)膜(multi-scale Retinex,MSR)方法增強(qiáng)原始圖像的對(duì)比度，并制作Asphalt-Sealed-Crack數(shù)據(jù)集；其次，選擇ResNet50網(wǎng)絡(luò)作為編碼器提取圖像的多尺度特征，在解碼器中，用不同空洞率的空洞卷積層獲取更豐富的特征，逐步將空洞卷積層提取的特征與編碼器提取的特征進(jìn)行融合，得到與輸入圖像維度相同的組合特征圖；最后，利用灌封裂縫和假陽(yáng)性的像素面積和長(zhǎng)寬差的絕對(duì)值作為閾值，剔除假陽(yáng)性，提取精確的灌封裂縫。

1 瀝青路面灌封裂縫的語(yǔ)義分割

為提取瀝青路面的灌封裂縫，主要研究由圖像增強(qiáng)處理、語(yǔ)義分割和異值剔除3個(gè)部分組成，其提取技術(shù)流程如圖1所示。

圖1 灌封裂縫提取流程

1.1 圖像增強(qiáng)處理

光照不均勻會(huì)降低路面圖像的對(duì)比度，而改善對(duì)比度能夠提高病害的檢測(cè)精度。王奎等[20]針對(duì)低照度圖像的曝光不足問(wèn)題，通過(guò)對(duì) Retinex 理論的分析，在 HSV(Hue,Saturation,Value)顏色空間下對(duì) Retinex 進(jìn)行了改進(jìn)，改善了圖像的泛灰現(xiàn)象。侯越等[21]利用卷積自編碼重構(gòu)圖像，擴(kuò)增數(shù)據(jù)集。Rizzi等[22]運(yùn)用自動(dòng)色彩均衡改善圖像的對(duì)比度。如圖2所示，實(shí)驗(yàn)選用496幅(512×512)圖像對(duì)卷積自編碼進(jìn)行1 000次迭代訓(xùn)練得到的圖像病害模糊，質(zhì)量最差；自動(dòng)色彩均衡對(duì)圖像的增強(qiáng)效果不如MSR。MSR方法有效降低光照不均勻?qū)υ紙D像質(zhì)量的影響，得到的圖像其質(zhì)量均勻，病害特征較為清晰。

圖2 圖像增強(qiáng)處理效果

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)(transfer learning) 是一種將經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練的模型權(quán)重參數(shù)遷移到其他相近領(lǐng)域模型的方法。與隨機(jī)初始化CNN初始權(quán)重不同，遷移學(xué)習(xí)使用已訓(xùn)練模型的權(quán)重參數(shù)作為新模型的初始權(quán)重，有效減少模型對(duì)標(biāo)簽數(shù)據(jù)的需求，同時(shí)減少訓(xùn)練時(shí)間，提高效率。遷移學(xué)習(xí)方法已被成功應(yīng)用到基于深度學(xué)習(xí)的路面病害檢測(cè)中。Kasthuriangan等[23]結(jié)合數(shù)據(jù)驅(qū)動(dòng)、遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)方法自動(dòng)檢測(cè)路面病害；Mandal等[24]利用遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)檢測(cè)路面裂縫，減少標(biāo)簽數(shù)據(jù)需求的同時(shí)，提高了檢測(cè)精度；Hang等[25]提出了由遷移學(xué)習(xí)、分塊閾值和基于張量投票的曲線檢測(cè)組成的路面裂縫和灌封裂縫檢測(cè)方法，解決裂縫和灌封裂縫相互誤檢的問(wèn)題。

1.3 編解碼網(wǎng)絡(luò)

SegNet結(jié)構(gòu)如圖3所示，在編碼器部分的最大池化操作時(shí)記錄了最大值所在位置，然后在解碼器時(shí)通過(guò)對(duì)應(yīng)的池化索引實(shí)現(xiàn)非線性上采樣，上采樣階段無(wú)需學(xué)習(xí)。上采樣后得到一個(gè)稀疏特征圖，再通過(guò)卷積得到稠密特征圖，重復(fù)上采樣，最后用激活函數(shù)得到分類結(jié)果。SegNet 的優(yōu)勢(shì)就在于：不用保存整個(gè)編碼器部分的特征圖，只需保存池化索引；上采樣階段無(wú)需學(xué)習(xí)，可以大幅減少網(wǎng)絡(luò)訓(xùn)練時(shí)的內(nèi)存占用。

圖3 SegNet 結(jié)構(gòu)圖

受SegNet編解碼結(jié)構(gòu)的啟發(fā)，用性能優(yōu)于VGG16的ResNet50作為圖4中的編碼器，網(wǎng)絡(luò)輸入層的圖像分辨率為256×256×3，分別代表寬度、長(zhǎng)度和通道數(shù)。通過(guò)一個(gè)池化層、49個(gè)卷積層進(jìn)行下采樣，編碼器網(wǎng)絡(luò)最終輸出特征圖的寬度、高度和卷積核數(shù)量為8×8×2 048。

conv為卷積；rate為空洞卷積層中的空洞率，如rate 4表示空洞卷積層的空洞率為4

在解碼過(guò)程中，利用不同空洞率的空洞卷積層代替池化索引層。如圖4中的解碼器所示，由兩條路徑生成分辨率為16×16×2的特征圖：一組為分辨率為8×8×2的特征圖；用空洞率為4、卷積核為3×3的卷積層，對(duì)16×16×2的特征圖進(jìn)行空洞卷積，得到另一組特征圖。將兩組特征圖融合并進(jìn)行兩倍上采樣，得到16×16×2的特征圖。相比SegNet的上采樣+直接池化索引，上述操作能獲取更多細(xì)微病害的特征。特征圖32×32×2和64×64×2的獲取過(guò)程與特征圖16×16×2相似。

對(duì)64×64×2大小的組合特征圖進(jìn)行四倍上采樣，得到與輸入圖像尺寸相同的特征圖，通過(guò)SoftMax 層生成特征圖的分辨率為256×256×2，表示其寬度、高度和類別數(shù)，然后將特征圖輸入SoftMax函數(shù)以實(shí)現(xiàn)分類預(yù)測(cè)。

1.4 異值剔除

編解碼網(wǎng)絡(luò)的輸出包含灌封裂縫和假陽(yáng)性，兩者的面積差異較大。對(duì)預(yù)測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)分析，可知：①灌封裂縫為條狀，假陽(yáng)性呈散點(diǎn)狀；②對(duì)于灌封裂縫和假陽(yáng)性，無(wú)論是長(zhǎng)寬差的絕對(duì)值L，還是其面積A均有重復(fù)的區(qū)間，單獨(dú)使用L或者A，都不能完全剔除假陽(yáng)性。如表1所示，同時(shí)利用A和L作為閾值，可有效剔除假陽(yáng)性。其中L的表達(dá)式為

表1 測(cè)試圖像中灌封裂縫和假陽(yáng)性的統(tǒng)計(jì)結(jié)果

L=abs(x-y)

(1)

式(1)中：x、y分別為病害的長(zhǎng)和寬；abs(·)為絕對(duì)值函數(shù)；L為x和y差的絕對(duì)值。

2 實(shí)驗(yàn)與分析

2.1 評(píng)價(jià)指標(biāo)

衡量圖像語(yǔ)義分割方法性能的指標(biāo)包括準(zhǔn)確度、運(yùn)行時(shí)間和內(nèi)存占用[26]，主要采用F1分?jǐn)?shù)(F1-score，F(xiàn)1)和平均交異比(mean intersection over union，MIoU)。MIoU可以理解為各類像素的預(yù)測(cè)區(qū)域和真實(shí)區(qū)域的交并比的平均值，能夠反映出分割目標(biāo)和真實(shí)目標(biāo)的重合度。F1是統(tǒng)計(jì)學(xué)中用來(lái)衡量二分類模型精確度的一種指標(biāo)，它同時(shí)兼顧了分類模型的精確率Precision和召回率Recall。MIoU和F1的計(jì)算公式為

(2)

式(2)中：pii為分割正確的數(shù)量；pij為本屬于i類但預(yù)測(cè)為j類的像素?cái)?shù)量；pji為本屬于j類但預(yù)測(cè)為i類的像素?cái)?shù)量；k為圖像數(shù)量。

(3)

式(3)中：TP為真陽(yáng)性，實(shí)際為正樣例預(yù)測(cè)為正樣例；FP為假陽(yáng)性，實(shí)際為負(fù)樣例預(yù)測(cè)為正樣例；FN為假陰性，實(shí)際為正樣例預(yù)測(cè)為負(fù)樣例；TN為真陰性，實(shí)際為負(fù)樣例預(yù)測(cè)為負(fù)樣例；TP+FP表示預(yù)測(cè)為正樣例的總數(shù)；TP+FN為實(shí)際的正樣例總數(shù)。

2.2 實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)環(huán)境

檢測(cè)車采集的圖像分辨率為1 688×1 874。使用labelme標(biāo)注工具對(duì)包含灌封裂縫的890幅圖像進(jìn)行精確標(biāo)注。對(duì)每幅圖像進(jìn)行裁剪，最后挑選出15 000幅圖像(256×256)組成Asphalt-Sealed-Crack數(shù)據(jù)集。其中9 000幅用于訓(xùn)練，4 500幅用于測(cè)試，1 500幅用于驗(yàn)證。

實(shí)驗(yàn)環(huán)境為Windows10，Anaconda 4.9.2，Tensorflow-GPU 1.15.4，顯卡為微星Tesla T4，內(nèi)存大小為16 GB。

2.3 訓(xùn)練方法

為了使與CNN參數(shù)相關(guān)的代價(jià)函數(shù)值最小，實(shí)驗(yàn)運(yùn)用隨機(jī)梯度優(yōu)化方法對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，以交叉熵作為損失函數(shù)，判定實(shí)際輸出與期望輸出的接近程度，可表示為

(4)

式(4)中：J(θ)為代價(jià)函數(shù)；θ為網(wǎng)絡(luò)參數(shù)；pi為第i個(gè)像素的目標(biāo)值；qi為第i個(gè)像素的預(yù)測(cè)值；m為圖像中像素的總數(shù)。

同時(shí)采用自適應(yīng)距估計(jì)(adaptive moment estimation，Adam)優(yōu)化器，其計(jì)算公式為

(5)

式(5)中：t為迭代次數(shù)，設(shè)為200；mt和vt分別為一階動(dòng)量項(xiàng)和二階動(dòng)量項(xiàng)；β1、β2為動(dòng)力值，分別取0.90和0.995；m′t、v′t分別為mt和vt的無(wú)偏值；θt為第t次迭代模型的參數(shù)；?θJ(θ)為t次迭代代價(jià)函數(shù)關(guān)于θ的梯度大??；ε為一個(gè)取值很小的數(shù)，取1×10-8；η為學(xué)習(xí)率，取0.001。

以上為Adam優(yōu)化器的參數(shù)更新過(guò)程，與其他優(yōu)化器相比，Adam 避免了局部最小化問(wèn)題，具備計(jì)算高效、梯度下降平滑和參數(shù)調(diào)整簡(jiǎn)單的優(yōu)點(diǎn)。采用ResNet50的權(quán)重作為網(wǎng)絡(luò)的初始權(quán)重參數(shù)，學(xué)習(xí)速率調(diào)整策略使用多項(xiàng)式衰減策略，權(quán)重衰減使用L2 正則化，衰減系數(shù)為0.000 01。

2.4 實(shí)驗(yàn)測(cè)試與分析

使用Asphalt-Sealed-Crack訓(xùn)練SegNet網(wǎng)絡(luò),用測(cè)試集測(cè)試得到的模型。測(cè)試集中含有道路標(biāo)線的圖像，其測(cè)試結(jié)果中的假陽(yáng)性較多，較小尺寸的灌封裂縫漏檢率較高。實(shí)驗(yàn)中取標(biāo)線周圍4個(gè)點(diǎn)(不在標(biāo)線內(nèi))的像素值均值逐一填充標(biāo)線后，測(cè)試結(jié)果中的假陽(yáng)性明顯減少，但存在漏檢細(xì)微灌封裂縫、灌封裂縫輪廓變形的問(wèn)題?？斩淳矸e層具有增大感受野、更加關(guān)注小尺寸病害特征的優(yōu)點(diǎn)。采用不同空洞率的空洞卷積層提取特征圖，與上一步提取的特征融合，得到豐富信息的組合特征圖。與之前的測(cè)試結(jié)果相比，加入空洞卷積操作之后，漏檢率和誤檢率均得以改善，物體的輪廓分割準(zhǔn)確。圖5中，分割結(jié)果的形狀、輪廓與原圖一致，細(xì)節(jié)保持完整，但部分非灌封裂縫被預(yù)測(cè)為灌封裂縫。多次微調(diào)模型及數(shù)據(jù)擴(kuò)增，但收效甚微。實(shí)驗(yàn)統(tǒng)計(jì)分析大量的預(yù)測(cè)結(jié)果，在分割結(jié)果的基礎(chǔ)上，運(yùn)用50

圖5 灌封裂縫分割結(jié)果

實(shí)驗(yàn)中的原始圖像由路面檢測(cè)車在不同條件下拍攝的圖像組成，圖像的質(zhì)量差異較大。路面光照條件良好、勻速行駛等條件下所拍攝的圖像質(zhì)量較好，在路面光照條件較差、隧道、非勻速行駛等條件下拍攝的圖像質(zhì)量較差。此外，道路標(biāo)線同樣影響圖像對(duì)比度。由圖2、圖6可知，雖然MSR方法改善圖像整體的對(duì)比度，有助于降低漏檢率，但部分非灌封裂縫，其像素值變得與灌封裂縫的像素值相同，被預(yù)測(cè)為灌封裂縫。

方框標(biāo)記的是較為聚集的假陽(yáng)性，多為小面積的瀝青油斑或路面污漬；圓圈標(biāo)記的是呈散點(diǎn)狀分布的假陽(yáng)性，多為顏色較深的瀝青混合料

采用兩種方式解決假陽(yáng)性：一是包含深度學(xué)習(xí)和大數(shù)據(jù)的數(shù)據(jù)驅(qū)動(dòng)方法，實(shí)驗(yàn)中對(duì)SegNet進(jìn)行改進(jìn)，將VGG16替換為ResNet，同時(shí)，將池化索引層替換為空洞卷積層，經(jīng)裁剪，數(shù)據(jù)擴(kuò)增處理后，數(shù)據(jù)集圖像達(dá)到15 000幅，雖然數(shù)據(jù)驅(qū)動(dòng)方法最終沒(méi)有解決假陽(yáng)性問(wèn)題，但是卻讓方法更具魯棒性，灌封裂縫分割更精確；二是運(yùn)用閾值算法解決假陽(yáng)性；雖然數(shù)據(jù)驅(qū)動(dòng)方法可以解決假陽(yáng)性，但需要制作大量的標(biāo)簽數(shù)據(jù)，還需花費(fèi)大量的時(shí)間和精力優(yōu)化網(wǎng)絡(luò)，因此，運(yùn)用提出的閾值法剔除假陽(yáng)性，提取完整的灌封裂縫。

2.5 評(píng)價(jià)

為客觀評(píng)價(jià)改進(jìn)方法、BiSeNet和SegNet三者的性能，將后兩種方法在相同數(shù)據(jù)集上迭代訓(xùn)練200次。圖7為3種方法在訓(xùn)練過(guò)程中MIoU和Loss的變化情況。隨著訓(xùn)練次數(shù)增加，BiSeNet和SegNet的MIoU先增后減；改進(jìn)方法的MIoU不斷增長(zhǎng)，最終穩(wěn)定在77%以上。表2對(duì)比了3種方法的4個(gè)性能指標(biāo)，改進(jìn)方法均優(yōu)于另外兩種方法。圖8為3種方法對(duì)灌封裂縫的分割結(jié)果：SegNet分割效果較差，假陽(yáng)性較多，病害輪廓變形，部分細(xì)節(jié)缺失；BiSeNet的分割效果一般，預(yù)測(cè)結(jié)果中的假陽(yáng)性較少且相對(duì)集中，但物體輪廓變形嚴(yán)重；所提方法的分割結(jié)果與輸入圖像在面積、形狀和輪廓上保持一致，存在點(diǎn)狀假陽(yáng)性。對(duì)甘肅省部分路段的灌封裂縫進(jìn)行檢測(cè)。手動(dòng)提取的灌封裂縫5 679條，提出方法剔除假陽(yáng)性后，共提取5 820條病害，其中有141條假陽(yáng)性，占2.49%；漏檢5條，占0.09%。綜上，本文方法的MIoU、分割效果均優(yōu)于其他兩種方法。

圖7 3種方法的性能對(duì)比

表2 對(duì)比3種方法的4個(gè)性能指標(biāo)

圖8 3種方法對(duì)裂縫灌封的分割結(jié)果

3 結(jié)論

針對(duì)SegNet在提取病害時(shí)存在漏檢小尺寸病害、假陽(yáng)性多、病害輪廓變形的問(wèn)題，提出集圖像增強(qiáng)處理、語(yǔ)義分割和異值剔除為一體的瀝青路面灌封裂縫提取方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證得出如下結(jié)論。

(1)利用改進(jìn)的編解碼網(wǎng)絡(luò)提取測(cè)試集中的灌封裂縫，MIoU、F1分別達(dá)到0.776 3和0.899 9，比SegNet分別提高了2.5%，10.2%。

(2)與手動(dòng)提取病害相比，所提方法能夠高效的提取多種瀝青路面的灌封裂縫，誤檢率和漏檢率分別為2.49%，0.09%，具有一定的應(yīng)用前景。

(3)在今后研究中，應(yīng)進(jìn)一步提高對(duì)車載瀝青路面灌封裂縫的提取精度和速率，研究算法對(duì)瀝青路面多種病害的泛化能力。