Mask RCNN 模型在路面缺陷檢測(cè)中的應(yīng)用

李 畫(huà) 李明晶* 李 凱 趙雪竹

（長(zhǎng)春大學(xué) 電子信息工程學(xué)院，吉林 長(zhǎng)春130022）

1 概述

公路路面在運(yùn)營(yíng)過(guò)程中，由于溫度、水分、風(fēng)化以及荷載等多重因素的影響，路面結(jié)構(gòu)強(qiáng)度會(huì)逐漸降低，最終導(dǎo)致道路表面產(chǎn)生多種病害特征(如裂縫、坑槽、修補(bǔ)等)，極大地降低了路面的使用性能，也帶來(lái)巨大的經(jīng)濟(jì)損失和事故風(fēng)險(xiǎn)。在目前主流的維護(hù)流程中，對(duì)路面修補(bǔ)的檢測(cè)及路面質(zhì)量的統(tǒng)計(jì)通常是由人工方式完成的。不僅需要耗費(fèi)大量的時(shí)間和精力，而且工作效率又不高，還會(huì)引起在城市快速路、主干路和高速公路等交通道路網(wǎng)絡(luò)的堵塞進(jìn)而影響人們正常的交通運(yùn)行。

近年來(lái)在目標(biāo)檢測(cè)與識(shí)別領(lǐng)域，提出了基于區(qū)域選擇網(wǎng)絡(luò)(Region Proposal Network，RPN)的目標(biāo)檢測(cè)與識(shí)別算法。本文對(duì)Mask RCNN 算法在路面缺陷檢測(cè)中的應(yīng)用進(jìn)行了研究，主要檢測(cè)的路面缺陷包括：橫向裂縫、縱向裂縫、塊狀裂縫、坑槽、塊狀修補(bǔ)、灌縫修補(bǔ)。

2 基于區(qū)域選擇的目標(biāo)檢測(cè)算法

2.1 經(jīng)典目標(biāo)檢測(cè)算法

目前主流的目標(biāo)檢測(cè)與識(shí)別框架是基于區(qū)域選擇的目標(biāo)檢測(cè)算法來(lái)實(shí)現(xiàn)的，它將原來(lái)復(fù)雜的檢測(cè)過(guò)程轉(zhuǎn)化為簡(jiǎn)單的分類(lèi)任務(wù)，并通過(guò)深度學(xué)習(xí)的方法以提高檢測(cè)精度與有效性，其中具有代表性的目標(biāo)檢測(cè)算法為RCNN、Fast RCNN 以及Faster RCNN。RCNN 利用了啟發(fā)式的區(qū)域提取即選擇性搜索(Selective Search)提取目標(biāo)候選區(qū)域，在候選區(qū)域中利用CNN 網(wǎng)絡(luò)提取特征，并通過(guò)訓(xùn)練支持向量機(jī) (SVM)或Softmax 等分類(lèi)器，對(duì)特征進(jìn)行分類(lèi)。相較于RCNN 模型，F(xiàn)ast RCNN 提出了感興趣區(qū)域池化(Region of interest pooling，ROI Pooling) 的網(wǎng)絡(luò)層，對(duì)每個(gè)區(qū)域都提取一個(gè)固定維度的特征表示，從而提高了模型的檢測(cè)精度及效率。在Fast RCNN 基礎(chǔ)上提出了Faster RCNN 算法，F(xiàn)aster RCNN 提出的區(qū)域選擇網(wǎng)絡(luò), 使得目標(biāo)檢測(cè)算法速度進(jìn)入的一個(gè)新的階段。

2.2 Mask RCNN 算法

Mask RCNN 是在Faster RCNN 的基礎(chǔ)上用ROI Align 代替ROI Pooling，并且增加全卷積網(wǎng)絡(luò)(Fully Convolutional Network,FCN)來(lái)產(chǎn)生對(duì)應(yīng)的mask 分支。Mask RCNN 包含分類(lèi)(class)預(yù)測(cè)和掩碼(mask) 預(yù)測(cè)為兩個(gè)分支，其中class 預(yù)測(cè)分支過(guò)程與Faster RCNN 一致，即對(duì)ROI 給出預(yù)測(cè)，產(chǎn)生相應(yīng)的類(lèi)別標(biāo)簽以及矩形框的輸出邊界，而mask 預(yù)測(cè)分支產(chǎn)生的每個(gè)二值掩碼依賴分類(lèi)預(yù)測(cè)結(jié)果，基于當(dāng)前分隔出物體類(lèi)別。Mask RCNN 對(duì)于每個(gè)class 類(lèi)別均獨(dú)立地對(duì)應(yīng)一個(gè)mask 類(lèi)別，有效的避免類(lèi)間的競(jìng)爭(zhēng)，提升了模型的性能。

ROI Align 是一種區(qū)域特征聚集方式, 很好地解決了ROI Pooling 操作中兩次量化造成的區(qū)域不匹配(mis-alignment)的問(wèn)題。ROI Align 取消量化操作，使用雙線性插值的方法，充分利用原圖中的虛擬像素值，相比于ROI Pooling 沒(méi)有引入任何量化操作，即原圖中的像素和特征圖中的像素是完全對(duì)齊的，克服了ROI Pooling 量化誤差過(guò)大的缺點(diǎn)，不僅會(huì)提高檢測(cè)的精度，同時(shí)也會(huì)有利于實(shí)例分割。

3 實(shí)驗(yàn)過(guò)程與分析

本次實(shí)驗(yàn)使用的路面缺陷數(shù)據(jù)來(lái)自于GoPro 相機(jī)的現(xiàn)場(chǎng)采集，整個(gè)數(shù)據(jù)集共包含5000 多張圖片，每個(gè)類(lèi)別樣本約為830張。訓(xùn)練集、驗(yàn)證集和測(cè)試集按著80%-10%-10%比例來(lái)劃分，本次實(shí)驗(yàn)采用Labelme 開(kāi)源標(biāo)注工具作為標(biāo)注軟件，標(biāo)注后生成的json 文件相比于xml 文件跟容易處理。在人工進(jìn)行標(biāo)注缺陷后，將標(biāo)注樣本數(shù)據(jù)集轉(zhuǎn)化為二值掩碼標(biāo)簽的格式進(jìn)行訓(xùn)練。本次實(shí)驗(yàn)通過(guò)python 編程語(yǔ)言在Tensorflow深度學(xué)習(xí)框架下進(jìn)行，最終結(jié)果由多次實(shí)驗(yàn)結(jié)果綜合得到。為了衡量Mask RCNN算法模型在路面缺陷檢測(cè)中的準(zhǔn)確性與有效性，本次實(shí)驗(yàn)采用平均準(zhǔn)確率均值（mean Average Precison，mAP）來(lái)作評(píng)價(jià)標(biāo)準(zhǔn)。

3.1 不同特征提取網(wǎng)絡(luò)下的檢測(cè)效果

將標(biāo)注好的路面缺陷數(shù)據(jù)集放入Mask RCNN 模型中進(jìn)行迭代訓(xùn)練。在不同深度的殘差網(wǎng)絡(luò)下，隨著迭代次數(shù)的變化，其平均準(zhǔn)確率均值見(jiàn)表1。

表1 不同深度殘差網(wǎng)絡(luò)下的檢測(cè)效果

由表1 得出，ResNet101 相較于ResNet50 網(wǎng)絡(luò)，在測(cè)試集中其mAP 值平均提高了3.8%左右，從而可以得出殘差網(wǎng)絡(luò)ResNet101 在路面缺陷檢測(cè)中的性能優(yōu)于ResNet50。ResNet50與ResNet101 準(zhǔn)確度差不多，但是計(jì)算量只有后者的一半，因此在本次路面缺陷檢測(cè)的實(shí)驗(yàn)過(guò)程中，選擇采用Mask RCNN與ResNet50 相結(jié)合的方法。

圖1 Mask RCNN+ResNet50 模型的部分檢測(cè)結(jié)果圖

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中采用原圖壓縮1/2+ ResNet50 模型訓(xùn)練得到的部分檢測(cè)結(jié)果如圖1 所示。在圖1 中，框選區(qū)域代表各種路面缺陷所對(duì)應(yīng)的位置，框選區(qū)域的左上方顯示了該模型對(duì)于框選區(qū)域目標(biāo)的分類(lèi)類(lèi)別及其類(lèi)別預(yù)測(cè)的概率值。本實(shí)驗(yàn)為不同的路面缺陷設(shè)置了不同顏色的矩形框以便于區(qū)分。圖1（a）中坑槽的概率值為1.00，圖1（b）塊狀修補(bǔ)概率值為0.98；圖1（c）縱向裂縫的概率值為0.97，圖1（d）中塊狀裂縫的概率值為0.93。

4 結(jié)論

研究采用Mask RCNN 算法分別與不同深度的殘差網(wǎng)絡(luò)相結(jié)合的方法進(jìn)行路面缺陷檢測(cè)，可用于檢測(cè)多種不同類(lèi)型的路面缺陷。通過(guò)實(shí)驗(yàn)驗(yàn)證，ResNet101 相較于ResNet50 能夠取得更好的識(shí)別檢測(cè)效果。實(shí)驗(yàn)結(jié)果表明，Mask RCNN 與ResNet50 或ResNet101 相結(jié)合的方法，能夠?qū)崿F(xiàn)自動(dòng)提取并識(shí)別路面缺陷特征，預(yù)測(cè)路面缺陷類(lèi)別及類(lèi)別概率值，可以應(yīng)用于多種路面缺陷檢測(cè)，檢測(cè)準(zhǔn)確率高達(dá)92.1%，當(dāng)模型迭代次數(shù)達(dá)到數(shù)萬(wàn)級(jí)別時(shí)，檢測(cè)準(zhǔn)確率可以達(dá)到99.4%，可以滿足工程的實(shí)際需求。但是，由于ResNet101 的網(wǎng)絡(luò)層數(shù)較深，導(dǎo)致對(duì)于單張圖像的檢測(cè)時(shí)間穩(wěn)定在0.6S 左右，而網(wǎng)絡(luò)層數(shù)較潛ResNet50 對(duì)于單張圖像的檢測(cè)時(shí)間穩(wěn)定在0.4S 左右，實(shí)時(shí)性有待提高。