基于Mask R-CNN和遷移學(xué)習(xí)的混凝土道路裂縫智能識(shí)別研究

劉智勇

（廣州地鐵集團(tuán)有限公司 廣州510335）

0 引言

混凝土結(jié)構(gòu)在服役或施工過程中常會(huì)產(chǎn)生不同程度和大小的裂縫等表觀病害［1］，如果混凝土表面裂縫沒有及時(shí)查明或進(jìn)行修補(bǔ)，將會(huì)影響結(jié)構(gòu)的耐久性及使用壽命［2］。為滿足我國公路運(yùn)輸發(fā)展的需求，我國建設(shè)了大量的混凝土道路，在長期服役過程中，受車輛的擠壓作用，混凝土的強(qiáng)度性能也會(huì)發(fā)生變化，從而出現(xiàn)大規(guī)模表觀裂縫，對(duì)公路運(yùn)輸產(chǎn)生重大安全隱患［3-4］。因此，有必要對(duì)混凝土道路定期進(jìn)行檢測(cè)維護(hù)［5］。通過裂縫的形態(tài)特征及表觀特征，可以推斷裂縫劣化的潛在原因，為我國公路結(jié)構(gòu)的健康檢測(cè)和診斷提供依據(jù)［6］。

國內(nèi)大量學(xué)者在裂縫的識(shí)別及定位上提出了思路和方法［7-9］，但目前為止，針對(duì)公路混凝土表面裂縫的有效識(shí)別方面仍沒有得出較好的結(jié)果。因此，本文在已有的研究基礎(chǔ)上，提開發(fā)一種基于Mask R-CNN的混凝土道路智能識(shí)別算法，首先對(duì)小樣本數(shù)據(jù)集進(jìn)行增廣，然后用Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)COCO數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，最終實(shí)現(xiàn)混凝土道路裂縫的智能識(shí)別。

1 數(shù)據(jù)集制作

1.1 數(shù)據(jù)增廣

試驗(yàn)數(shù)據(jù)來源于廣東省某混凝土路面的實(shí)地拍攝，通過無人機(jī)、高精度數(shù)碼相機(jī)等設(shè)備采集了710張復(fù)雜背景下的道路裂縫圖片，對(duì)其中環(huán)境干擾較大、影響深度學(xué)習(xí)結(jié)果的圖像進(jìn)行剔除，最終選取330張作為數(shù)據(jù)集，所選樣本數(shù)據(jù)包含不同光照強(qiáng)度、不同拍攝角度、不同裂縫數(shù)量的圖像，部分裂縫樣本數(shù)據(jù)如圖1所示。

圖1 裂縫樣本圖像Fig.1 Fracture Sample Image

由于深度卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別精度對(duì)樣本數(shù)據(jù)集有極高的要求，330張裂縫數(shù)據(jù)集圖像不能夠支撐網(wǎng)絡(luò)訓(xùn)練。因此本文通過對(duì)裂縫圖像進(jìn)行垂直翻轉(zhuǎn)90°、水平翻轉(zhuǎn)90°、逆時(shí)針旋轉(zhuǎn)45°、順時(shí)針旋轉(zhuǎn)45°以及圖像擴(kuò)大1.5倍的方法進(jìn)行樣本數(shù)據(jù)增廣，如圖2所示，剔除環(huán)境影響較大的圖像，數(shù)據(jù)增廣后的裂縫數(shù)據(jù)集共1 960張。按照60%、20%、20%的比例對(duì)訓(xùn)練集、驗(yàn)證集、測(cè)試集進(jìn)行劃分，最終得到訓(xùn)練圖片1 176張，驗(yàn)證圖片392張、測(cè)試圖片392張。

圖2 數(shù)據(jù)擴(kuò)展后的裂縫圖像Fig.2 Fracture Image after Data Expansion

通過有監(jiān)督深度學(xué)習(xí)的方式對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，通過Labelling程序?qū)χ谱鞯牧芽p數(shù)據(jù)集進(jìn)行標(biāo)記，標(biāo)記后按照裂縫圖像的輪廓?jiǎng)?chuàng)建目標(biāo)區(qū)域，標(biāo)注裂縫面積，由于本文只識(shí)別裂縫一個(gè)類別，因此統(tǒng)一采用裂縫的英文crack作為識(shí)別裂縫的標(biāo)簽名稱。

1.2 遷移學(xué)習(xí)

由于目標(biāo)區(qū)域有標(biāo)簽及掩碼的真實(shí)樣本數(shù)量相對(duì)較少，對(duì)于單標(biāo)簽數(shù)據(jù)集及小樣本數(shù)據(jù)集，在深度卷積神經(jīng)網(wǎng)絡(luò)計(jì)算過程中，容易出現(xiàn)模型的過度擬合問題，在本文的研究中，除對(duì)樣本進(jìn)行數(shù)據(jù)增廣外，還使用了COCO數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)，通過應(yīng)用COCO數(shù)據(jù)集的訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí)，并凍結(jié)了1～4層骨干網(wǎng)絡(luò)的訓(xùn)練權(quán)重，如圖3所示。

圖3 遷移學(xué)習(xí)過程中進(jìn)行特征值融合Fig.3 Eigenvalue Fusion is Carried out in the Process of Transfer Learning

在進(jìn)行遷移學(xué)習(xí)后，首先可以使Mask R-CNN神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到新的特征信息，其次可以通過調(diào)節(jié)全連接層的權(quán)值文件，并剔除原始神經(jīng)網(wǎng)絡(luò)中的特征信息，可較好地解決模型的過度擬合問題，直到神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)束，模型的準(zhǔn)確率仍處于穩(wěn)定狀態(tài)，最終獲得可識(shí)別混凝土道路裂縫的權(quán)值文件。

2 Mask R-CNN目標(biāo)檢測(cè)原理

Mask R-CNN是一種在Faster R-CNN基礎(chǔ)上改進(jìn)而來的深度卷積神經(jīng)網(wǎng)絡(luò)（CNN），Mask R-CNN改進(jìn)了Faster R-CNN的缺陷，取消了原始Faster R-CNN神經(jīng)網(wǎng)絡(luò)中感興趣區(qū)域池化技術(shù)，創(chuàng)新了感興趣區(qū)域?qū)R技術(shù)（RoIAlign），并增加了掩碼預(yù)測(cè)技術(shù)，如圖4所示，既可以對(duì)復(fù)雜環(huán)境下目標(biāo)進(jìn)行精準(zhǔn)識(shí)別，并且可以對(duì)目標(biāo)識(shí)別物體進(jìn)行實(shí)例分割，在混凝土表面裂縫檢測(cè)中，有良好的應(yīng)用前景。

圖4 Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)框架Fig.4 Mask R-CNN Deep Convolutional Neural Network Framework

2.1 FPN

傳統(tǒng)的Faster R-CNN對(duì)特征區(qū)域進(jìn)行選取主要是通過深度卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，通過提取最后一層圖片的特征信息，輸入到區(qū)域候選網(wǎng)絡(luò)中，但由于傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)會(huì)將小目標(biāo)特征自動(dòng)識(shí)別為隨機(jī)噪聲進(jìn)行過濾，因此對(duì)裂縫的識(shí)別并效果并不理想。

為解決傳統(tǒng)CNN網(wǎng)絡(luò)帶來的問題，本文選取Mask R-CNN神經(jīng)網(wǎng)絡(luò)，并引入FPN算法，F(xiàn)PN使用自上而下的體系結(jié)構(gòu)，如圖5所示，可對(duì)特征區(qū)域更好的提取語言信息及圖片信息，在準(zhǔn)確率及計(jì)算速度上也可以得到很好地提升?；诖?，本文通過使用ResNet與FPN相結(jié)合的主干網(wǎng)絡(luò)對(duì)裂縫圖像進(jìn)行訓(xùn)練，可在保證計(jì)算精度的同時(shí)，大幅度提升計(jì)算速度。

圖5 特征信息提取的FPN網(wǎng)絡(luò)結(jié)構(gòu)［10］Fig.5 FPN Network Structure for Feature Information Extraction［10］

2.2 RPN

區(qū)域候選網(wǎng)絡(luò)（RPN）通常在Faster R-CNN網(wǎng)絡(luò)中被用來提取目標(biāo)檢測(cè)標(biāo)記框，在Mask R-CNN中的RPN結(jié)構(gòu)與Faster R-CNN。區(qū)域候選網(wǎng)絡(luò)通過將圖片分割成若干個(gè)窗口，在每個(gè)候選框內(nèi)產(chǎn)生標(biāo)記點(diǎn)，對(duì)檢測(cè)區(qū)域進(jìn)行標(biāo)定，在本文選用的Mask R-CNN神經(jīng)網(wǎng)絡(luò)中通過神經(jīng)元卷積，對(duì)得到的標(biāo)記點(diǎn)機(jī)械能排除和過濾，最后通過NMS抑制算法，提取出建議候選區(qū)，最終選取真實(shí)裂縫位置的區(qū)域，如圖6所示。

圖6 RPN神經(jīng)網(wǎng)路結(jié)構(gòu)［11］Fig.6 RPN Neural Network Structure［11］

2.3 RoIAlign

感興趣區(qū)域?qū)R技術(shù)（RoI Align）改進(jìn)了傳統(tǒng)CNN網(wǎng)絡(luò)中感興趣區(qū)域池化技術(shù)的不足，消除了量化操作，通過雙線性插值的方法計(jì)算像素值，可較好地解決邊界不匹配的問題（見圖7）。通過對(duì)特征圖上距離較近的像素得到整體像素值，最后的感興趣區(qū)域?qū)R結(jié)果就是對(duì)每個(gè)單元格內(nèi)的采樣點(diǎn)進(jìn)行最大池化。在RoIAlign的過程中可以進(jìn)行反向傳播計(jì)算，即可得到實(shí)例分割區(qū)域（即本文裂縫區(qū)域）的圖像。

圖7 RoI Align算法雙線性插值［12］Fig.7 The Roi Align algorithm is Bilinear Interpolation［12］

3 結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

基于Mask R-CNN神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)算法，本文將目前應(yīng)用較為普遍的SSD算法和Yolov3算法應(yīng)用在混凝土路面的識(shí)別檢測(cè)中，比較Mask R-CNN算法與SSD算法、Yolov3算法在裂縫識(shí)別檢測(cè)中方面的優(yōu)勢(shì)。本文試驗(yàn)在64位Win10操作系統(tǒng)進(jìn)行，集成開發(fā)環(huán)境選用spyder，具體計(jì)算機(jī)配置如下：Window 10操作系統(tǒng)，32 G內(nèi)存，CPU為Inter Cor i7-7500u，6 GB顯存，GPU為NVIDA GeForce RTX 1660 Super。

3.2 識(shí)別方法比較

首先將訓(xùn)練測(cè)試機(jī)輸入到Mask R-CNN算法中，訓(xùn)練得到混凝土路面裂縫神經(jīng)網(wǎng)絡(luò)模型，目標(biāo)檢測(cè)及實(shí)例分割效果如圖8所示，可以發(fā)現(xiàn)，通過Mask RCNN神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以準(zhǔn)確地對(duì)混凝土表面的裂縫進(jìn)行識(shí)別，并對(duì)裂縫面積通過實(shí)例分割進(jìn)行表征，且整體識(shí)別率較高。

圖8 Mask R-CNN神經(jīng)網(wǎng)絡(luò)識(shí)別效果Fig.8 Mask R-CNN Neural Network Recognition Renderings

根據(jù)訓(xùn)練過程中得到的召回率（Recall）和精準(zhǔn)度（Precision）計(jì)算不同神經(jīng)網(wǎng)絡(luò)得到的平均精度值（mAP），對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的性能進(jìn)行評(píng)價(jià)，精準(zhǔn)度、召回率以及平均精度值的計(jì)算公式分別為：

式中：FP為裂縫被誤檢為其他對(duì)象的數(shù)量；TP為正確檢測(cè)出裂縫的數(shù)量；FN為其他對(duì)象被錯(cuò)誤檢測(cè)成裂縫的數(shù)量；Precision為精確度；Nc為含有裂縫圖片的數(shù)量；N為數(shù)據(jù)集圖片的總數(shù)。

為研究Mask R-CNN神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)模型與其他主流神經(jīng)網(wǎng)絡(luò)相比的優(yōu)勢(shì)，將SSD算法、Yolov3算法的檢測(cè)結(jié)果與Mask R-CNN的檢測(cè)效果進(jìn)行對(duì)比，具體結(jié)果如表1所示。

表1 不同神經(jīng)網(wǎng)絡(luò)模型的測(cè)試結(jié)果Tab.1 Test Results of Different Neural Network Models

從表1中可以看出，本文提出的Mask R-CNN算法的召回率、準(zhǔn)確率及mAP均好于傳統(tǒng)的SSD、Yolov3目標(biāo)檢測(cè)算法，SSD算法在裂縫圖像檢測(cè)中的檢測(cè)效果很難讓人滿意，Yolov3算法雖然準(zhǔn)確率較高，但mAP值較低，從圖8?中也可以看出，本文提出的Mask R-CNN算法在實(shí)例分割中也得到了較好的效果，可在檢測(cè)同時(shí)估算裂縫的面積，在其他傳統(tǒng)檢測(cè)模型中并不能做到實(shí)例分割的效果。

3.3 圖像增廣方法比較

本文在數(shù)據(jù)集制作中選用了圖像增廣，為驗(yàn)證數(shù)據(jù)增廣對(duì)裂縫圖像減少模型過度擬合的效果，本文通過對(duì)比試驗(yàn)進(jìn)行研究，選取未進(jìn)行數(shù)據(jù)增廣的圖像進(jìn)行訓(xùn)練，對(duì)比試驗(yàn)結(jié)果如表2所示。

由表2可知，數(shù)據(jù)增廣對(duì)Mask R-CNN神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果有顯著影響，且未進(jìn)行數(shù)據(jù)增廣的數(shù)據(jù)集在訓(xùn)練過程中有較高的過度擬合效應(yīng)，使得模型在訓(xùn)練結(jié)果過程中表現(xiàn)較不穩(wěn)定，因此在混凝土表面裂縫數(shù)據(jù)集不足的情況下，可以使用本文提出數(shù)據(jù)增廣手段對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增，提高模型的檢測(cè)效果。

表2 數(shù)據(jù)集增廣對(duì)比試驗(yàn)結(jié)果Tab.2 Experimental Results of Augmented Data Set

4 結(jié)論

本文通過選取Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行遷移學(xué)習(xí)對(duì)混凝土路面表觀裂縫進(jìn)行檢測(cè)，得到以下結(jié)論：

⑴本文研究的Mask R-CNN算法應(yīng)用于混凝土表面裂縫檢測(cè)總體準(zhǔn)確率和召回率均達(dá)到了98.12%和96.31%，取得了較好的檢測(cè)效果與分割效果，為混凝土裂縫智能檢測(cè)和識(shí)別提供了一種快速、高效的解決方案。

⑵使用數(shù)據(jù)增廣和COCO數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)可以有效解決Mask R-CNN算法在識(shí)別裂縫過程中易出現(xiàn)的過度擬合問題，可得到較好的檢測(cè)效果。

⑶與傳統(tǒng)的Yolov3、SSD目標(biāo)檢測(cè)算法相比，本文提出的Mask R-CNN目標(biāo)檢測(cè)算法有較高的準(zhǔn)確性，并可在目標(biāo)檢測(cè)的同時(shí)對(duì)裂縫面積進(jìn)行分割，更加高效地對(duì)公路路面混凝土裂縫進(jìn)行檢測(cè)。