基于Mask R-CNN的防波堤復(fù)雜護(hù)面塊體檢測和分割方法

高林春，王收軍，陳松貴，趙 旭，陳漢寶

(1.天津理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院，天津 300384；2.交通運輸部天津水運工程科學(xué)研究院港口水工建筑技術(shù)國家工程實驗室，天津 300456；3.天津理工大學(xué)機(jī)電工程國家級實驗教學(xué)示范中心，天津 300384)

防波堤護(hù)面層是防波堤與波浪直接接觸的部分，承受波浪的沖擊作用，保護(hù)防波堤其他部位不受破壞。斜坡式防波堤的破壞可以定義為其功能的部分或全部喪失，通常與護(hù)面層的水力失穩(wěn)有關(guān)[1-2]。Husdon[3]使用護(hù)面塊體移動的百分比來描述破壞的特征。JTS 154-1—2011《防波堤設(shè)計與施工規(guī)范》給出了每100 m2護(hù)面層需要安放的塊體個數(shù)。通常判斷護(hù)面層是否破壞的手段之一是比較一定面積護(hù)面層塊體的個數(shù)和該面積內(nèi)實際應(yīng)安放的塊體個數(shù)。

目前，通常采用人工手動統(tǒng)計方法得到護(hù)面塊體的個數(shù)。該方法需要操作人員去現(xiàn)場進(jìn)行實地統(tǒng)計或通過圖像進(jìn)行統(tǒng)計，效率低、精度差。隨著人工智能的興起，深度學(xué)習(xí)算法發(fā)展迅猛，計算機(jī)代替人工識別護(hù)面塊體成為可能。由于防波堤護(hù)面層塊體的擺放存在較多粘連，當(dāng)使用深度學(xué)習(xí)算法檢測和分割塊體時分割困難，因此護(hù)面塊體的精確分割是實現(xiàn)護(hù)面塊體個數(shù)統(tǒng)計的重要前提。

傳統(tǒng)的目標(biāo)檢測算法在背景和目標(biāo)區(qū)分明顯時效果較好，但是需要人為的設(shè)計特征，算法魯棒性較差，時間復(fù)雜度較高，難以為復(fù)雜的護(hù)面塊體識別提供有效方法[4-5]。2012年以來，深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)發(fā)展迅速，在ImageNet圖像識別大賽中將圖像分類錯誤率從25%降至15.3%[6]。Ciresan等[7]用CNN來挑戰(zhàn)語義分割，打破了CNN只用于目標(biāo)分類的常規(guī)做法，CNN開始用于圖像分割領(lǐng)域。CNN不需要人為的設(shè)計特征，可以通過訓(xùn)練網(wǎng)絡(luò)提取圖像特征，大大提高了算法的魯棒性。Girshick等[8]提出了RCNN(regions with CNN)，將深度學(xué)習(xí)算法應(yīng)用于目標(biāo)檢測，通過訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征提取，然后將訓(xùn)練得到的模型用于目標(biāo)定位和圖像分割。He等[9]于2017年提出Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)可以對密集的目標(biāo)進(jìn)行識別和分割，且算法具有較高的識別和分割準(zhǔn)確率。

本文將Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)用于復(fù)雜的防波堤扭王字塊的檢測和分割，并準(zhǔn)確識別了圖像中扭王字塊的邊界，可為斜坡式防波堤健康狀態(tài)監(jiān)測提供算法支持。

1 檢測和分割方法

1.1 圖像采集

采用從?？低旸S網(wǎng)絡(luò)攝像機(jī)拍攝的視頻中截取的防波堤護(hù)面層扭王字塊圖像作為訓(xùn)練樣本，試驗中扭王字塊單個重量為25 kg，塊體最大高度42 cm，拍攝時相機(jī)距扭王字塊表面3 m。該訓(xùn)練樣本為大小不一的彩色圖，如圖1(a)所示。在使用Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練時，首先要制作訓(xùn)練使用的數(shù)據(jù)集，即對樣本進(jìn)行標(biāo)注。由于訓(xùn)練圖像中扭王字塊過于密集，標(biāo)注的圖像過多會加大訓(xùn)練的時間開銷。因此，本文共標(biāo)注15張防波堤護(hù)面層扭王字塊圖像作為訓(xùn)練數(shù)據(jù)，其中，訓(xùn)練集12張圖像，測試集3張圖像。

圖1 標(biāo)注前后的扭王字塊Fig.1 Accropodes before and after labeling

1.2 圖像標(biāo)注

選擇圖像中所有扭王字塊作為目標(biāo)，使用標(biāo)注軟件labelme的多邊形功能將所有扭王字塊的邊緣輪廓標(biāo)注出來，不同的塊體用不同的標(biāo)簽，如unit1，unit2。Labelme在標(biāo)注完成后會自動生成一個與標(biāo)注圖像命名相同的json文件來保存所有的標(biāo)注信息，標(biāo)注后的圖像如圖1(b)所示。標(biāo)注點形成了一個閉合的多邊形，多邊形內(nèi)部為扭王字塊目標(biāo)。圖像中的不同扭王字塊會用不同顏色的閉合多邊形包圍，以表示不是同一塊體。對數(shù)據(jù)集中的所有圖像都進(jìn)行標(biāo)注，生成與圖像一一對應(yīng)的json文件，此時每個json文件只包含與之對應(yīng)的圖像的信息，而輸入Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)中的json文件應(yīng)包含數(shù)據(jù)集中的所有標(biāo)注信息，因此需要將所有的json文件合并成一個json文件，輸入到Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

1.3 基于Mask R-CNN的護(hù)面塊體檢測

1.3.1 Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)基本結(jié)構(gòu)

Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)主要框架如圖2所示，是基于Faster RCNN[10]改進(jìn)而來的，使用RolAlign代替了RoIPooling，并添加了一個用于預(yù)測目標(biāo)掩膜(Mask)的新分支。圖2上方灰色部分為Faster RCNN框架，下方紅色部分是在Faster RCNN基礎(chǔ)上新增的實例分割網(wǎng)絡(luò)。常用的Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)有ResNet50和ResNet101，主干網(wǎng)絡(luò)的選擇會直接影響特征提取的最終結(jié)果。研究表明，在相同的條件下，使用ResNet101比ResNet50的網(wǎng)絡(luò)效果更好[11]。

圖2 Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)框架Fig.2 Framework of Mask R-CNN deep learning network

采用ResNet101與FPN(feature pyramid networks)相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)對扭王字塊圖像進(jìn)行特征提取。ResNet101網(wǎng)絡(luò)包含101個卷積層，通過卷積進(jìn)行特征提取，形成stage1、stage2、stage3、stage4、stage5共5層特征圖，不同階段的特征圖大小和維度均不同。stage5包含很強(qiáng)的語義信息，但是它的特征圖最小，空間信息損失很大。為了充分利用ResNet101網(wǎng)絡(luò)各個階段提取的特征，使用FPN網(wǎng)絡(luò)將不同階段的特征圖進(jìn)行融合，并將融合后的特征圖輸入?yún)^(qū)域候選網(wǎng)絡(luò)。FPN為特征金字塔網(wǎng)絡(luò)[12]，它在自底向上特征提取過程后增加了自頂而下的特征融合過程，并將兩個過程橫向連接，即將底層的空間信息和高層的語義信息融合，從而提升模型的檢測性能，也可以更好地檢測圖像中的小目標(biāo)。

區(qū)域候選網(wǎng)絡(luò)對特征圖中的感興趣區(qū)域(ROI)進(jìn)行前景或背景的二值分類，并對包含扭王字塊體的邊界框回歸，使得邊界框盡量貼合塊體大小。

通過區(qū)域候選網(wǎng)絡(luò)過濾一部分ROI，剩下包含扭王字塊的ROI，這些ROI被輸入ROIAlign中調(diào)整為固定的尺寸，然后分別輸入分類和邊框回歸兩個網(wǎng)絡(luò)。分類和邊框回歸網(wǎng)絡(luò)利用訓(xùn)練的ROI分類器和邊框回歸器來進(jìn)行扭王字塊的識別，將ROI分為背景或扭王字塊，并調(diào)整ROI的邊界框，最后準(zhǔn)確地檢測到扭王字塊。分割掩膜(Mask)網(wǎng)絡(luò)是一個卷積網(wǎng)絡(luò)，取ROI分類器分類結(jié)果是前景的ROI為輸入生成其掩碼，掩碼的大小和形狀與扭王字塊一致，通過掩碼對扭王字塊進(jìn)行分割。最后將識別與分割結(jié)果相結(jié)合，得到分割后的圖像。

1.3.2 模型參數(shù)

使用Windows10操作系統(tǒng)，顯卡為NVIDIA Quadro RTX 5000，顯存為16GB。使用Mask R-CNN-FPN- ResNet101做主干網(wǎng)絡(luò)。

預(yù)訓(xùn)練模型使用COCO2014數(shù)據(jù)集訓(xùn)練得到的權(quán)重模型，在此基礎(chǔ)上訓(xùn)練適用于扭王字塊識別和分割的Mask R-CNN模型。COCO2014數(shù)據(jù)集是微軟在2014年發(fā)布的大型圖像數(shù)據(jù)集，包含82 783個訓(xùn)練樣本，40 504個驗證樣本以及40 775個測試樣本，是目標(biāo)檢測競賽的常用數(shù)據(jù)集之一。

對最終選擇的參數(shù)組合通過多次試驗進(jìn)行比較：①取max epoch為30，初始學(xué)習(xí)率0.001，動量默認(rèn)0.9。試驗表明，網(wǎng)絡(luò)對塊體的識別效果不佳，即網(wǎng)絡(luò)欠擬合，模型復(fù)雜度較低。②取max epoch為60，初始學(xué)習(xí)率0.001，動量默認(rèn)0.9，結(jié)果表明，網(wǎng)絡(luò)會存在將一個目標(biāo)檢測為兩個的現(xiàn)象，即網(wǎng)絡(luò)過擬合，泛化能力較差。

載入預(yù)訓(xùn)練模型的權(quán)重對手動標(biāo)注的扭王字塊訓(xùn)練集進(jìn)行訓(xùn)練，根據(jù)模型訓(xùn)練的情況對參數(shù)進(jìn)行微調(diào)，最終的參數(shù)設(shè)置如下：訓(xùn)練集樣本數(shù)為12，測試集樣本數(shù)為3，循環(huán)次數(shù)為100，批大小為1，迭代次數(shù)為50次，學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為0.000 5。訓(xùn)練網(wǎng)絡(luò)需要運行時間約 11 h，訓(xùn)練完成后分割需要幾秒鐘。

檢測模型性能的重要評價指標(biāo)是精確率和召回率。精確率表示正確分類的目標(biāo)占整個被分為該類目標(biāo)個數(shù)的百分比；召回率表示正確分類的目標(biāo)占該類所有目標(biāo)個數(shù)的比例。在計算精確率和召回率時，使用交并比(intersection over union，IOU)來評估預(yù)測質(zhì)量，IOU值越大，表明預(yù)測結(jié)果與真實值越接近。不同的IOU閾值與精確率和召回率的關(guān)系如表1所示。精確率和召回率的計算公式如下：

表1 IOU閾值對測試結(jié)果的影響

(1)

(2)

式中：P為精確率；R為召回率；NTP為存在的目標(biāo)塊體并被正確檢測出來的數(shù)量；NFP為將其他目標(biāo)預(yù)測為塊體的數(shù)量；NFN為將目標(biāo)塊體預(yù)測錯誤的數(shù)量。

從表1可以看出，隨著IOU閾值的遞增，精確率和召回率逐步下降，當(dāng)IOU閾值為0.9時，精確率和召回率大幅減小。通過比較不同IOU閾值下的精確率和召回率，本文選擇0.5作為IOU閾值，此時精確率和召回率取得最大值。

2 方法驗證

2.1 原圖和分割后的圖像

目標(biāo)塊體是指圖像中需要識別的扭王字塊體。圖3是包含多個目標(biāo)塊體的原圖和分割后的圖像。由圖3(a)可以看到圖像中有許多有一定重疊度的目標(biāo)塊體；圖3(b)為使用訓(xùn)練好的Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)識別后的結(jié)果，多個目標(biāo)塊體分別被不同顏色的掩碼覆蓋并各自處于一個獨立的虛線框內(nèi)，每個虛線框上方是該框內(nèi)目標(biāo)的預(yù)測標(biāo)簽和得分，即該虛線框中目標(biāo)塊體的類別和目標(biāo)塊體屬于該類別的概率。本文試驗只對扭王字塊一個類別進(jìn)行訓(xùn)練，因此最后預(yù)測的結(jié)果只有一個類別。

圖3 原圖與分割后的圖像樣本Fig.3 Samples of original image and segmented image

為了驗證方法的可靠性，首先，對Mask R-CNN模型訓(xùn)練過程的損失函數(shù)進(jìn)行分析；其次，選擇3張圖像作為驗證集，利用Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)對其進(jìn)行分割，再進(jìn)行精確率和召回率的分析。

Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)在訓(xùn)練的過程中需要計算預(yù)測結(jié)果和標(biāo)注值間的損失并進(jìn)行反向傳播來優(yōu)化模型參數(shù)，損失變化曲線如圖4 所示。

圖4 Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)目標(biāo)分類Loss及Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)目標(biāo)掩膜Loss曲線Fig.4 Target classification Loss and target mask Loss curves of Mask R-CNN deep learning network

Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)的損失分兩部分組成：①Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)的heads損失，包括邊框回歸損失、分類損失、掩膜損失；②RPN網(wǎng)絡(luò)的損失，包括RPN前景/背景分類損失和RPN邊界框回歸損失。如圖4(a)所示為組成Mask R-CNN損失的五部分損失。如圖4(b)所示為RPN對候選框前景或背景的判斷損失和RPN提取的邊界框損失。從圖4 可以看出，隨著迭代次數(shù)的增加，各部分損失的衰減趨勢相同，迭代50次后，總的損失降為0.12，掩膜損失降為0.08，剩下四部分損失都小于0.02，對數(shù)據(jù)擬合效果好。

2.2 Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)測試結(jié)果

將訓(xùn)練好的Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)在測試集上進(jìn)行測試，最終得到的平均精確率為91.83%，平均召回率為92.94%。在檢測過程中，由于目標(biāo)塊體之間有一定的重疊度，加上目標(biāo)塊體的密集性以及圖像邊緣處的塊體無法識別，會有漏檢的情況發(fā)生，從而影響識別的精確率和召回率。

2.3 工程實例驗證

采用訓(xùn)練得到的模型對無人機(jī)航拍的某港口防波堤護(hù)面層圖像進(jìn)行分割識別。該防波堤扭王字塊重25 t，塊體最大高度4.2 m，航拍高度為30～50 m。選擇6張圖像進(jìn)行預(yù)測，如圖5所示，其中圖5(a)(b)為防波堤同一位置、不同高度拍攝的圖像；圖5(c)(d)為同一高度、不同角度拍攝的圖像；圖5(e)(f)的拍攝高度和角度相同，圖5(e)中的白色框內(nèi)為規(guī)則擺放的塊體，其余塊體為不規(guī)則擺放，圖5(f)中塊體均為不規(guī)則擺放。分別對圖5(a)～(f)識別結(jié)果進(jìn)行統(tǒng)計分析，每張圖像中識別出的塊體個數(shù)占圖像中總塊體個數(shù)的百分比分別為90.7%、89.3%、87.7%、86.9%、70.6%和82.4%。

圖5 實際防波堤護(hù)面塊體預(yù)測結(jié)果Fig.5 Prediction results of actual breakwater armour blocks

從預(yù)測結(jié)果可以看出：①使用實驗室塊體圖像作為訓(xùn)練樣本得到的網(wǎng)絡(luò)模型可以對防波堤護(hù)面層的原型圖像進(jìn)行識別且識別效果較好，最大識別精確率為90.7%，說明該方法具有良好的移植性。②圖5(a)～(d)中塊體均為不規(guī)則擺放方式，圖5(a)的拍攝高度為30 m，圖5(b)的拍攝高度為50 m，識別塊體個數(shù)占比之差為1.4%；圖5(c)(d)的拍攝角度不同，識別塊體個數(shù)占比之差為0.8%，由此可見，拍攝高度和角度對于不規(guī)則擺放塊體的識別效果影響不大，說明該方法具有良好的通用性。③通過對比圖5的6幅圖可知，影響防波堤護(hù)面扭王字塊識別精度的主要因素是塊體的擺放規(guī)則。對于圖6(a)中規(guī)則擺放方式，由于在訓(xùn)練集中缺少該擺放方式，因此識別精度較差(圖5(e))，而對于如圖6(b)所示的不規(guī)則擺放方式，實驗室訓(xùn)練的網(wǎng)絡(luò)具有良好的識別精度(圖5(f))。因此，可以使用實驗室物理模型數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)去識別原型中采集的圖像，節(jié)約了人力物力，大大減少了工作量，為防波堤護(hù)面層健康監(jiān)測提供了技術(shù)支持。

圖6 防波堤護(hù)面塊體的擺放形式Fig.6 Placement form of breakwater armour block

3 結(jié) 語

本文將Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)用于防波堤復(fù)雜護(hù)面塊體的檢測，能夠使用實驗室塊體圖像訓(xùn)練好的網(wǎng)絡(luò)自動檢測圖像中的目標(biāo)塊體并對圖像中目標(biāo)塊體的個數(shù)進(jìn)行統(tǒng)計，解決了由于塊體粘連識別和分割困難的問題。Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)對比較密集和有一定重疊度的扭王字塊進(jìn)行較為準(zhǔn)確的識別和分割，未出現(xiàn)識別錯誤的情況；目標(biāo)分割的平均精確率為91.83%，平均召回率為92.94%；使用訓(xùn)練的網(wǎng)絡(luò)對訓(xùn)練集中沒有的防波堤護(hù)面層原型圖像進(jìn)行識別，在塊體為不規(guī)則擺放時，塊體的識別率可達(dá)90.7%，且拍攝角度和高度對識別精度影響不大，證明了該方法具有良好的移植性和通用性；同時，可以使用實驗室物理模型數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)去識別防波堤原型中采集的圖像，提供了一種使用實驗室物理模型訓(xùn)練結(jié)果來識別原型塊體的新方法。