基于改進(jìn)Faster-RCNN的瀝青路面裂縫檢測(cè)①

徐 康,馬榮貴

(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

隨著我國(guó)高速公路的快速發(fā)展,現(xiàn)在已經(jīng)進(jìn)入高速公路的養(yǎng)護(hù)階段,因此路面病害的及時(shí)發(fā)現(xiàn)和修復(fù)就變得尤為重要. 裂縫作為路面病害早期的表現(xiàn)形式,它的及時(shí)發(fā)現(xiàn)和防止能夠有效地防止其發(fā)展成更嚴(yán)重的路面病害,延長(zhǎng)公路使用壽命. 所以,高效、安全的裂縫檢測(cè)方法對(duì)于制定科學(xué)的公路養(yǎng)護(hù)決策具有重要的實(shí)際意義[1,2].

為了解決路面裂縫自動(dòng)檢測(cè)的問(wèn)題,國(guó)內(nèi)外眾多學(xué)者做出了很多研究. 李清泉等使用最小代價(jià)路徑搜索算法進(jìn)行裂縫檢測(cè),該方法雖然準(zhǔn)確性高,但易受光線的影響[3]. 曹建農(nóng)等采用中值轉(zhuǎn)換的方法實(shí)現(xiàn)了路面裂縫損傷自動(dòng)識(shí)別和特征測(cè)量,但其操作過(guò)程復(fù)雜,難以實(shí)現(xiàn)快速的批量檢測(cè)[4]. 任亮等采用脊線檢測(cè)方式對(duì)所有可疑裂縫目標(biāo)進(jìn)行標(biāo)注,使用Prim 算法構(gòu)造最小生成樹(shù)使所有不連續(xù)裂縫相連,通過(guò)裂縫的方向和對(duì)比度特征刪除所有強(qiáng)制偽連接,最后對(duì)斷裂裂縫進(jìn)行填充,獲得完整裂縫結(jié)構(gòu)[5]. 李偉等對(duì)預(yù)處理后的三維路面裂縫圖像以聚類方式進(jìn)行識(shí)別,然后通過(guò)計(jì)算路面裂縫圓形度判斷路面裂縫的類別,并對(duì)網(wǎng)狀裂縫的破損程度進(jìn)行參數(shù)分析[6]. 邱延峻等通過(guò)檢驗(yàn)三維路面裂縫的傾斜度、高斯分布、邊緣梯度3 種主要特征,可以有效地提取裂縫,得到完整的路面裂縫二值圖像[7].

隨著深度學(xué)習(xí)的發(fā)展,其也在路面裂縫檢測(cè)中得到了廣泛應(yīng)用. Qiao 等提出了一種新的基于深度特征聚合網(wǎng)絡(luò)的裂縫檢測(cè)算法,該算法采用了空間通道擠壓和激發(fā)注意機(jī)制模塊[8]; Li 等提出了一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和形態(tài)學(xué)特征提取技術(shù)的像素級(jí)裂縫檢測(cè)方法[9]; Wan 等提出了一種基于編解碼網(wǎng)絡(luò)的架構(gòu)CrackResAttentionNet,在每個(gè)編碼器后連接位置注意模塊和通道注意模塊,以總結(jié)遠(yuǎn)程上下文信息[10];Qu 等通過(guò)一種新的多尺度卷積特征融合模塊,提出了一種用于裂紋檢測(cè)的深度監(jiān)督卷積神經(jīng)網(wǎng)絡(luò),在多尺度卷積特征融合模塊中,高級(jí)特征在不同的卷積階段被直接引入到低級(jí)特征中[11]; 吳秋怡提出一種語(yǔ)義分割網(wǎng)絡(luò)模型,將裂縫圖片與對(duì)應(yīng)標(biāo)簽進(jìn)行逐像素的學(xué)習(xí)與訓(xùn)練,從而使訓(xùn)練出的網(wǎng)絡(luò)模型能夠識(shí)別裂縫的具體區(qū)域和形態(tài),實(shí)現(xiàn)像素級(jí)的識(shí)別精度[12]; 蔡志興等提出了一個(gè)名為Crack U-Net 的像素級(jí)分類模型[13]; 孫朝云等提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)融合模型的路面裂縫識(shí)別方法,用SSD 網(wǎng)絡(luò)模型進(jìn)行裂縫分類檢測(cè),用U-Net 網(wǎng)絡(luò)模型進(jìn)行裂縫分割,并且用深度殘差網(wǎng)絡(luò)替換兩個(gè)網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)[14]; 沙愛(ài)民等將卷積神經(jīng)網(wǎng)絡(luò)技術(shù)引入了基于圖像分析的路面病害識(shí)別與測(cè)量[15]; 李永緒等提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫識(shí)別方法,融合了CLAHE 與深度學(xué)習(xí)算法[16].

綜上所述,雖然國(guó)內(nèi)外關(guān)于路面裂縫檢測(cè)的研究很多,但是幾乎沒(méi)有一種相對(duì)成熟并且能應(yīng)用到實(shí)際路面檢測(cè)中的方法. 而且現(xiàn)有的大多數(shù)研究中,實(shí)驗(yàn)所用的數(shù)據(jù)集多為手機(jī)或商用攝像頭拍攝,這也成了實(shí)驗(yàn)成果向?qū)嶋H應(yīng)用轉(zhuǎn)化的阻力. 因此,本文應(yīng)用實(shí)際道路檢測(cè)中的路面圖像作為實(shí)驗(yàn)數(shù)據(jù)集,結(jié)合多模型特征提取網(wǎng)絡(luò)和注意力機(jī)制,提出了一種改進(jìn)的Faster-RCNN 瀝青路面裂縫檢測(cè)方法,研究路線如圖1 所示.

圖1 研究路線

1 數(shù)據(jù)集的準(zhǔn)備與制作

裂縫圖像的采集和數(shù)據(jù)集的建立是實(shí)驗(yàn)準(zhǔn)備階段的主要工作. 為了便于將實(shí)驗(yàn)成果向?qū)嶋H應(yīng)用轉(zhuǎn)化,裂縫圖片應(yīng)該盡可能地來(lái)自實(shí)際的路面檢測(cè)實(shí)驗(yàn)中,所以本實(shí)驗(yàn)所用數(shù)據(jù)集中的圖片,全部都是由道路病害檢測(cè)時(shí)所用的多功能道路檢測(cè)車在高速公路上拍攝所得.

實(shí)驗(yàn)數(shù)據(jù)采集設(shè)備為多功能道路檢測(cè)車,采集設(shè)備如圖2 所示. 檢測(cè)車上用于采集路面信息的相機(jī)為兩個(gè)相同的并行排列的線陣相機(jī),每個(gè)相機(jī)拍攝范圍為2 m,檢測(cè)車的最大路面檢測(cè)寬度為4 m,可以實(shí)現(xiàn)對(duì)單車道的覆蓋. 線陣相機(jī)的檢測(cè)分辨率為1 mm,采集到的路面信息的圖片上的每個(gè)像素都對(duì)應(yīng)真實(shí)路面上1 mm 的距離,清楚地了解采集到的圖片中裂縫的實(shí)際尺寸.

圖2 多功能道路檢測(cè)車示意圖

檢測(cè)車輸出的路面信息的圖片為2944×2048,圖像尺寸太大,不便于輸入深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí). 因此需要對(duì)圖片進(jìn)行分割. 實(shí)驗(yàn)將圖片分割為500×500 大小,對(duì)于原圖片邊緣,分割后不夠500×500 大小的圖片進(jìn)行舍棄. 然后從分割后的圖片中選擇包含有路面裂縫的圖片13 000 張.

檢測(cè)車采用LED 陣列照明,由于光照不均勻的影響,因此采集到的路面圖像存在光暗相間的條紋,這是本文的路面圖像與自然光照條件下采用手機(jī)或商用攝像機(jī)拍攝所得路面圖像的區(qū)別. 圖3 是自然光照條件下拍攝的路面圖像,圖4 是檢測(cè)車拍攝的路面裂縫圖像. 因此,本文的路面圖像擁有更加復(fù)雜的背景.

圖3 自然光照條件下拍攝的路面裂縫圖像

圖4 3 種裂縫圖像

本實(shí)驗(yàn)將裂縫主要分為3 類: 橫向裂縫(簡(jiǎn)稱“橫縫”),縱向裂縫(簡(jiǎn)稱“縱縫”)和網(wǎng)狀裂縫(簡(jiǎn)稱“網(wǎng)裂”). 《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》中對(duì)橫縫和縱縫的定義比較模糊,并且對(duì)網(wǎng)裂沒(méi)有外觀上的定義. 因此,在本實(shí)驗(yàn)中,制作數(shù)據(jù)集時(shí),按照如下對(duì)各類裂縫的定義對(duì)圖片進(jìn)行標(biāo)記(圖片的水平方向?yàn)榕c行車方向垂直的方向):

(1)橫向裂縫: 對(duì)于單個(gè)裂縫,如果該裂縫在與水平方向上的投影與在垂直方向上的投影的比例≥1,則認(rèn)為該裂縫是橫向裂縫,如圖4(a).

(2)縱向裂縫: 對(duì)于單個(gè)裂縫,如果該裂縫在垂直方向上的投影與在水平方向上的投影的比例≥1,則認(rèn)為該裂縫是橫向裂縫,如圖4(b).

(3)網(wǎng)狀裂縫: 如果該裂縫形成了閉合區(qū)域,則認(rèn)為該裂縫是網(wǎng)狀裂縫,如圖4(c).

數(shù)據(jù)集13 000 張圖片中,有橫縫圖片6 686 張,縱縫圖片5 750 張,網(wǎng)裂圖片564 張.

2 Faster-RCNN 概述

2017年,Ren 等在檢測(cè)準(zhǔn)確率和檢測(cè)速度兩點(diǎn)對(duì)Fast-RCNN 進(jìn)行改進(jìn),建立了Faster-RCNN 方法[17],該方法在主要作出以下兩點(diǎn)改進(jìn):

(1)產(chǎn)生候選框的方法由區(qū)域生成網(wǎng)絡(luò)(region proposal network,RPN)代替原來(lái)的selective search 方法,使得候選框的數(shù)量從原有的約2 000 個(gè)減少到300 個(gè),而且候選框的質(zhì)量也有明顯提高,有效提升訓(xùn)練和測(cè)試時(shí)的速度;

(2)產(chǎn)生候選框的卷積網(wǎng)絡(luò)和目標(biāo)檢測(cè)的卷積網(wǎng)絡(luò)共享.

其主要網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示. 網(wǎng)絡(luò)結(jié)構(gòu)由4 部分組成.

圖5 Faster-RCNN 網(wǎng)絡(luò)結(jié)構(gòu)模型

(1)特征提取部分: 對(duì)于輸入網(wǎng)絡(luò)的每張圖片,Faster-RCNN 網(wǎng)絡(luò)首先需要對(duì)輸入進(jìn)行一系列的卷積和池化操作,生成該輸入對(duì)應(yīng)的特征圖. 而且,相對(duì)于RCNN對(duì)于每個(gè)候選框進(jìn)行特征提取操作產(chǎn)生大量的冗余的卷積操作,Faster-RCNN 只需對(duì)全圖進(jìn)行一次特征提取操作,顯著地提高了網(wǎng)絡(luò)在特征提取操作時(shí)的速度.

(2)區(qū)域生成網(wǎng)絡(luò): 這是Faster-RCNN 網(wǎng)絡(luò)中提出的全新的結(jié)構(gòu),用于生成候選框,結(jié)構(gòu)如圖6 所示.RPN 層的作用實(shí)際上相當(dāng)于一個(gè)二分類的分類器,先在特征圖(feature map)上均勻地生成一系列K×H×W大小的區(qū)域(稱為anchors),通過(guò)Softmax 對(duì)這些區(qū)域與標(biāo)記的真實(shí)的數(shù)據(jù)進(jìn)行對(duì)比,確定這些區(qū)域所屬的類別,即屬于前景還是背景. 經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練,做好對(duì)anchors 的前景和背景的標(biāo)記之后,就得到了目標(biāo)的大致位置. 最后,再利用bounding box regression 對(duì)anchors的位置進(jìn)行修正,得到更為準(zhǔn)確的目標(biāo)位置(稱為proposals).

圖6 RPN 網(wǎng)絡(luò)結(jié)構(gòu)

(3)ROI 池化層: 該層收集第(2)步中輸出的特征圖和proposals 信息,對(duì)其進(jìn)行歸一化后,形成固定長(zhǎng)度的輸出,送入后面的全連接層進(jìn)行目標(biāo)分類.

(4)分類回歸層: 利用ROI 池化層的輸出,對(duì)得到的proposals 進(jìn)行分類,并且再次用bounding box regression 對(duì)其位置進(jìn)行修正,得到最終的目標(biāo)位置.

3 基于改進(jìn)Faster-RCNN 的瀝青路面裂縫識(shí)別方法的實(shí)現(xiàn)

整個(gè)數(shù)據(jù)集中包含13 000 張路面裂縫圖像,實(shí)驗(yàn)中按照8:2 的比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集. 為了保證訓(xùn)練集和測(cè)試集圖像分配的均衡性,采用隨機(jī)挑選的方式選出2 600 張圖片作為測(cè)試集,剩下的圖像則為訓(xùn)練集. 然后將訓(xùn)練集中的10 400 張路面圖像輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練. 網(wǎng)絡(luò)采用SGD 優(yōu)化器,優(yōu)化器參數(shù)和網(wǎng)絡(luò)訓(xùn)練時(shí)的其他參數(shù)設(shè)置如表1 所示.

表1 網(wǎng)絡(luò)訓(xùn)練時(shí)的參數(shù)設(shè)置

3.1 實(shí)驗(yàn)平臺(tái)

硬件: CPU 為英特爾i5 的計(jì)算機(jī)一臺(tái),操作系統(tǒng)為Windows 10.

軟件: 實(shí)驗(yàn)采用Anaconda3 軟件,在PyTorch 框架下運(yùn)用了numpy、PIL 等庫(kù)進(jìn)行實(shí)驗(yàn),也用到了Google瀏覽器中云端硬盤的Colab 服務(wù)等.

3.2 不同結(jié)構(gòu)的特征提取網(wǎng)絡(luò)的實(shí)驗(yàn)

為了驗(yàn)證Faster-RCNN 在不同的特征提取網(wǎng)絡(luò)下的性能. 實(shí)驗(yàn)選取VGG16、MobileNet-V2、ResNet50三種特征網(wǎng)絡(luò)從mAP 和總損失兩方面進(jìn)行對(duì)比,以構(gòu)建精確度高、速度更快的Faster-RCNN 網(wǎng)絡(luò). 3 種網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果如圖7 所示.

VGG16、MobileNet-V2 和ResNet50 平均每輪的訓(xùn)練時(shí)間分別為238 s、204 s、327 s,ResNet50 平均每輪訓(xùn)練時(shí)間比VGG16 和MobileNet-V2 分別高了89 s和123 s. 但是根據(jù)圖7 的實(shí)驗(yàn)結(jié)果,ResNet50 對(duì)裂縫的檢測(cè)精度在其余兩種網(wǎng)絡(luò)上方,訓(xùn)練總損失在其余兩種網(wǎng)絡(luò)下方,因此檢測(cè)效果明顯優(yōu)于VGG16 和MobileNet-V2,平均檢測(cè)精確度達(dá)到80.58%.

圖7 3 種網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果

鑒于以上實(shí)驗(yàn)結(jié)果,對(duì)3 種特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析. 3 種網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)如表2 所示.

表2 3 種網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù)

由表2 可知,VGG16 只有16 層,而MobileNet-V2和ResNet50 網(wǎng)絡(luò)層數(shù)相當(dāng),分別為53 層和54 層,因此MobileNet-V2 和ResNet50 能提取到更多的裂縫信息; VGG16 只用了3×3 大小的卷積核,MobileNet-V2使用1×1 和3×3 兩種大小的卷積核,ResNet50 除了第1 層卷積層使用了7×7 大小的卷積核,也是大量使用了1×1 和3×3 兩種大小的卷積核,因?yàn)?×1 和3×3 兩種卷積核的使用,MobileNet-V2 和ResNet50 比VGG16能從圖像中獲取更多的關(guān)于裂縫的細(xì)節(jié)信息; 從輸出的特征圖通道數(shù)來(lái)看,3 種網(wǎng)絡(luò)的特征圖輸出分別是512、1 280 和2 048,而輸出的特征圖通道越多,就包含越多的裂縫的特征信息. 綜上所述,ResNet50 在3 種特征提取網(wǎng)絡(luò)中具有最好的裂縫檢測(cè)效果,符合實(shí)驗(yàn)結(jié)果. 因此,在ResNet50 對(duì)裂縫的識(shí)別精確度明顯高于另外另種網(wǎng)絡(luò)的情況下,選擇ResNet50 網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步實(shí)驗(yàn).

3.3 不同深度的特征提取網(wǎng)絡(luò)的實(shí)驗(yàn)

如圖8,在觀察ResNet50 與Faster-RCNN 結(jié)合的實(shí)驗(yàn)結(jié)果時(shí)發(fā)現(xiàn),細(xì)微裂縫的漏檢問(wèn)題并沒(méi)有得到很好地解決,還是有比較多的細(xì)微裂縫漏檢問(wèn)題.

圖8 裂縫漏檢示例

在仔細(xì)對(duì)裂縫本身的特征進(jìn)行分析之后發(fā)現(xiàn),雖然裂縫相對(duì)于其他信息層次比較豐富的檢測(cè)目標(biāo),檢測(cè)特征簡(jiǎn)單,且特征相對(duì)集中,不存在目標(biāo)之間重疊,即不具備時(shí)空層次,但是檢測(cè)難度也較大. 因此,為進(jìn)一步提高檢測(cè)精確度和速度,本文提出對(duì)ResNet 系列的網(wǎng)絡(luò)模型進(jìn)行對(duì)比,以獲取性能更高的特征提取網(wǎng)絡(luò). 實(shí)驗(yàn)結(jié)果如圖9 所示.

圖9 ResNet 系列網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

ResNet18、ResNet50 和ResNet101 平均每輪訓(xùn)練時(shí)間分別為168 s、327 s、393 s,ResNet50 和ResNet101識(shí)別精確度變化曲線都在ResNet18 曲線上方,總損失曲線都在ResNet18 網(wǎng)絡(luò)下方. ResNet50 和ResNet101平均檢測(cè)精確度分別達(dá)到80.58%和81.48%,ResNet101的精確度比ResNet50 高了0.71%,總損失也略低,但平均每輪訓(xùn)練時(shí)間比ResNet50 長(zhǎng)了66 s,大約是ResNet50平均每輪訓(xùn)練時(shí)間的20%.

這3 種特征提取網(wǎng)絡(luò)屬于同一系列,網(wǎng)絡(luò)結(jié)構(gòu)上的差異不大,因此主要是網(wǎng)絡(luò)深度和輸出的特征圖通道數(shù)影響網(wǎng)絡(luò)的裂縫檢測(cè)性能,ResNet18 網(wǎng)絡(luò)層數(shù)和輸出的特征圖通道較小,因此檢測(cè)精確度較ResNet50和ResNet101 低,ResNet50 和ResNet101 檢測(cè)精確度相差不大,說(shuō)明網(wǎng)絡(luò)深度的提高,對(duì)檢測(cè)精確度的提高有限,反而導(dǎo)致訓(xùn)練時(shí)間明顯延長(zhǎng). 而且,ResNet101 也沒(méi)有很好地解決裂縫的漏檢問(wèn)題. 因此,選擇檢測(cè)精確度較高且訓(xùn)練時(shí)間更少的ResNet50 進(jìn)行下一步實(shí)驗(yàn).

3.4 特征提取網(wǎng)絡(luò)加入注意力機(jī)制

注意力機(jī)制,是從人腦和人眼的感知機(jī)制中受到啟發(fā),將關(guān)注點(diǎn)聚焦在能夠輔助判斷的局部信息的機(jī)制. 其本質(zhì)是對(duì)實(shí)驗(yàn)感興趣的信息進(jìn)行定位,對(duì)無(wú)用的信息進(jìn)行抑制,即調(diào)整信息對(duì)應(yīng)的權(quán)重,使任務(wù)信息具有較高的權(quán)重,不相關(guān)的信息具有較低的權(quán)重,最后的輸出結(jié)果一般都是權(quán)重圖或者是權(quán)重特征向量. 從原理上來(lái)說(shuō),注意力機(jī)制主要分為空間注意力機(jī)制、通道注意力機(jī)制、空間和通道混合注意力機(jī)制3 種.

CBAM (convolutional block attention module)模塊就是空間和通道混合注意力機(jī)制中具有代表性的網(wǎng)絡(luò),結(jié)構(gòu)如圖10 所示. 其中通道注意力學(xué)習(xí)的是通道的重要性,空間注意力學(xué)習(xí)的是空間位置的重要性.

圖10 CBAM 模塊結(jié)構(gòu)示意

輸入圖像經(jīng)過(guò)CBAM 模塊運(yùn)算后,并不會(huì)改變尺寸,因此CBAM 是一種“即插即用”模塊. 由于注意力模塊能夠?qū)θ蝿?wù)信息定位的特性,實(shí)驗(yàn)選擇在特征提取網(wǎng)絡(luò)ResNet50 中加入CBAM 模塊. 但是為了不改變ResNet50 網(wǎng)絡(luò)中殘差塊的結(jié)構(gòu),實(shí)驗(yàn)選擇在如圖11(a)和圖11(b)的兩個(gè)位置加入CBAM 模塊,分別記作插入點(diǎn)“a”和插入點(diǎn)“b”. 對(duì)于這兩個(gè)加入位置,本文設(shè)計(jì)了3 個(gè)實(shí)驗(yàn): 在插入點(diǎn)“a”和“b”分別加入CBAM 模塊和在兩個(gè)位置同時(shí)加入CBAM 模塊,分別記作實(shí)驗(yàn)方案A、B、C,得到的實(shí)驗(yàn)結(jié)果如圖12 所示.

圖11 CBAM 模塊與ResNet50 特征提取網(wǎng)絡(luò)相結(jié)合的3 種實(shí)驗(yàn)方案

ResNet50 和實(shí)驗(yàn)方案A、B、C 的平均每輪訓(xùn)練時(shí)間分別為327 s、328 s、328 s、330 s,訓(xùn)練時(shí)間相差不大. 由圖12 可得,ResNet50+A 作為特征提取網(wǎng)絡(luò)時(shí),與ResNet50 的檢測(cè)精確度比較接近,總損失也很接近;ResNet50+B 和ResNet50+C 與ResNet50 相比,精確度略有提高,分別達(dá)到了85.57%和81.61%,總損失相應(yīng)地也有所下降. 對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析,ResNet50+A 方案引入注意力模塊時(shí),輸入圖像還未進(jìn)行特征提取,圖像中包含的信息還比較多,并不容易定位到實(shí)驗(yàn)感興趣的區(qū)域; ResNet50+B 方案引入注意力模塊時(shí),是在輸入圖像的特征圖上進(jìn)行操作,特征圖中包含更多特征信息,更大的感受野,所以在提取特征后加入CBAM擁有更好的識(shí)別效果; ResNet50+C 方案是在位置a 和b 同時(shí)加入CBAM,可能是受到位置a 處加入CBAM的影響,所以此方案的識(shí)別效果并沒(méi)有ResNet50+B好. 因此,ResNet50+B 具有最好的識(shí)別效果. 如圖13,進(jìn)一步查看裂縫檢測(cè)結(jié)果,與圖8 相比,裂縫的漏檢問(wèn)題得到了有效的解決.

圖12 在不同位置加入CBAM 模塊的實(shí)驗(yàn)結(jié)果

圖13 方案B 的裂縫檢測(cè)結(jié)果

4 結(jié)語(yǔ)

對(duì)于瀝青路面裂縫檢測(cè)問(wèn)題,文中提出了一種改進(jìn)的Faster-RCNN 網(wǎng)絡(luò)模型,包括不同特征提取網(wǎng)絡(luò)與Faster-RCNN 結(jié)合和在特征提取網(wǎng)絡(luò)中加入CBAM模塊的方法. 結(jié)果表明:

(1)無(wú)論是與VGG16、MobileNet-V2 相比,還是與同系列的ResNet18、ResNet101 相比,ResNet50 都具有更好的裂縫檢測(cè)效果,精度能達(dá)到80.58%,但是細(xì)微裂縫的漏檢問(wèn)題依然存在;

(2)針對(duì)裂縫的漏檢問(wèn)題,將注意力機(jī)制加入特征提取網(wǎng)絡(luò),檢測(cè)效果比調(diào)整前有所提高,在特征提取結(jié)束之后加入CBAM 模塊的效果最好,精度達(dá)到85.57%,并且之前漏檢的裂縫能被有效地檢測(cè)出來(lái).