基于改進(jìn)Mask RCNN算法的管道焊縫缺陷檢測(cè)

杜志虎，韓亮，薛彥宇，丁勝奪

（中國(guó)石油集團(tuán)安全環(huán)保技術(shù)研究院有限公司，北京 102206)

0 引言

管道的長(zhǎng)時(shí)間運(yùn)輸會(huì)導(dǎo)致管道內(nèi)部發(fā)生變異，管道焊縫表面可能會(huì)出現(xiàn)氣孔、夾渣、未熔合和未焊透等缺陷[1]，這些缺陷會(huì)造成焊縫連接強(qiáng)度下降，應(yīng)力集中，影響管道質(zhì)量，甚至?xí)斐晒艿朗鹿?。為了保證管道焊接件部位的質(zhì)量，急需對(duì)管道焊縫進(jìn)行高效和精準(zhǔn)檢測(cè)。傳統(tǒng)的焊縫檢測(cè)是人工依靠焊縫檢驗(yàn)尺進(jìn)行測(cè)量，但檢測(cè)結(jié)果過(guò)于主觀，檢測(cè)效率低，難以滿足現(xiàn)代化生產(chǎn)需求。伴隨著科技的不斷進(jìn)步，傳統(tǒng)射線底片經(jīng)過(guò)底片掃描儀后可以形成X 射線數(shù)字化底片。然而，現(xiàn)場(chǎng)射線底片評(píng)定主要靠人工，但現(xiàn)在各行業(yè)對(duì)精度的要求越來(lái)越高，手工測(cè)量漸漸不能滿足要求?？傮w來(lái)說(shuō)，該方法總體成本相對(duì)較高、主觀性大、效率低、對(duì)底片損傷大等缺點(diǎn)且射線對(duì)人體有害，人工評(píng)片越來(lái)越不能滿足工業(yè)生產(chǎn)發(fā)展的需要。

上述檢測(cè)方法雖然達(dá)到較好的檢測(cè)效果，但過(guò)程煩瑣，人工參與較多，易受現(xiàn)實(shí)環(huán)境和設(shè)備影響，難以實(shí)現(xiàn)實(shí)時(shí)的自動(dòng)化、智能化檢測(cè)。近年來(lái)，隨著深度學(xué)習(xí)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks，CNN)、自編碼網(wǎng)絡(luò)(AutoEncoder, AE) 等被應(yīng)用于焊縫表面缺陷檢測(cè)。但深度學(xué)習(xí)需要大量的數(shù)據(jù)樣本，大量檢測(cè)模型被陸續(xù)提出，找出適用于焊接缺陷檢測(cè)的深度學(xué)習(xí)模型是目前的研究熱點(diǎn)及難點(diǎn)。目前，人工神經(jīng)網(wǎng)絡(luò)，統(tǒng)計(jì)模式和模糊理論等方法被應(yīng)用于工業(yè) X 射線圖像缺陷檢測(cè)。常用的分類方法有 BP( Back Propagation) 神 經(jīng) 網(wǎng) 絡(luò)[2]、CNN、模糊神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)[3-5]等。何怡等人[6]對(duì)X 射線底片數(shù)字圖像預(yù)處理后，提取焊縫缺陷的參數(shù)，然后利用統(tǒng)計(jì)模式識(shí)別方法對(duì)缺陷分類，實(shí)現(xiàn)管道焊縫的計(jì)算機(jī)輔助評(píng)判。G. Vámos 等人[7]摒棄了專家知識(shí)，運(yùn)用基于貝葉斯網(wǎng)絡(luò)的決策算法，自動(dòng)識(shí)別和分類管道焊縫缺陷。但該方法在學(xué)習(xí)過(guò)程中的可行性較差，并且在實(shí)際應(yīng)用中效果較差。T. W. Liao[8]設(shè)計(jì)了模糊 K-NN分類器和模糊 C 均值分類器，實(shí)現(xiàn) X 射線檢測(cè)的焊縫缺陷的分類，并通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)無(wú)監(jiān)督的 F-NN 算法能降低誤檢率漏檢率，但其檢測(cè)性能較差。T. Y. Lim等人[9]設(shè)計(jì)了基于 BP 算法的多層感知機(jī)網(wǎng)絡(luò)模型，并通過(guò)實(shí)驗(yàn)證明該方法可克服神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)小樣本導(dǎo)致的過(guò)擬合問(wèn)題，具有較高的準(zhǔn)確率。張曉光[10]提出的神經(jīng)網(wǎng)絡(luò)模型，可應(yīng)用于焊縫缺陷識(shí)別系統(tǒng)中，在少量樣本情況下仍有較高的識(shí)別率。王慶[11]、孫志剛[12]運(yùn)用改進(jìn)后的 Faster R-CNN 深度學(xué)習(xí)算法進(jìn)行管道缺陷識(shí)別，具有識(shí)別精度高、成本低的優(yōu)點(diǎn)。于志洋等人[13]針對(duì)檢測(cè)精度與效率兩個(gè)重要的工業(yè)指標(biāo)，提出一種基于全卷積網(wǎng)絡(luò)的級(jí)聯(lián)分割、檢測(cè)、濾波三種任務(wù)的缺陷檢測(cè)方法。

綜上所述：1) 管道焊縫表面缺陷檢測(cè)有朝著智能化檢測(cè)發(fā)展的趨勢(shì)，在降低對(duì)物理實(shí)驗(yàn)條件要求的同時(shí)，不斷加大對(duì)智能檢測(cè)算法的依賴性。2) 高精度的檢測(cè)算法通常具有復(fù)雜的計(jì)算和較長(zhǎng)的處理時(shí)間，因此，追求焊縫缺陷檢測(cè)算法在準(zhǔn)確性和效率方面實(shí)現(xiàn)雙贏，是智能化檢測(cè)算法成功應(yīng)用于實(shí)際的關(guān)鍵。

1 算法設(shè)計(jì)

文章提出一種基于改進(jìn)Mask RCNN[14]的管道焊縫缺陷檢測(cè)算法(DCMask RCNN) ，通過(guò)該算法實(shí)現(xiàn)缺陷檢測(cè)的步驟主要包含：1) 通過(guò)數(shù)字圖像處理技術(shù)對(duì)X 射線圖像進(jìn)行預(yù)處理，采用自適應(yīng)直方圖均衡化(AHE)方法進(jìn)行圖像增強(qiáng)，提高圖像的局部對(duì)比度以及獲得更多的圖像細(xì)節(jié)，同時(shí)提出一種數(shù)據(jù)增強(qiáng)方法—切片拼接；2) 使用DCMask RCNN確定焊縫區(qū)域，通過(guò)切片采樣，獲取多張包含焊縫的圖像塊；3) 使用DCMask RCNN 進(jìn)行焊縫缺陷分割與特征提??；4) 使用DCMask RCNN進(jìn)行焊縫缺陷檢測(cè)。算法流程圖如圖1所示。

圖1 算法流程圖

論文采用的數(shù)據(jù)集為公開的GDXray數(shù)據(jù)集中的Welds，包含67張數(shù)字化射線照片的集合，這些照片來(lái)自焊縫缺陷識(shí)別的循環(huán)試驗(yàn)。圖像像素大小為630 dpi。圖像文件格式為TIFF，無(wú)壓縮。圖像為8位灰度值。在獲取該數(shù)據(jù)集后，針對(duì)X射線圖像具有噪聲和對(duì)比度弱的特點(diǎn)，采用圖像去噪和圖像增強(qiáng)等圖像預(yù)處理操作，降低/消除噪聲和提高對(duì)比度。

1.1 圖像預(yù)處理

1) 去噪

射線照相膠片通常有噪聲和對(duì)比度不足，由于檢驗(yàn)技術(shù)所涉及的內(nèi)在因素，如非均勻照明和圖像捕獲設(shè)備的強(qiáng)度范圍有限。掃描射線照相圖像中的噪聲通常以隨機(jī)分布的像素為特征，其強(qiáng)度值與其相鄰像素不同。為了減少/消除噪聲，應(yīng)用了高斯低通濾波器，高斯濾波是對(duì)具有高斯模板的圖像進(jìn)行卷積運(yùn)算。模板遵循二維高斯分布：

其中： (x,y)為高斯分布上任意點(diǎn)的坐標(biāo)，σ 為標(biāo)準(zhǔn)差，決定了高斯函數(shù)圖的寬度，影響高斯濾波的程度。高斯核可以抑制較小尺度的信號(hào)，保留較大尺度的信號(hào)。因此，高斯濾波器應(yīng)抑制噪聲并保留前景圖像中的缺陷細(xì)節(jié)，平滑缺陷并模擬背景圖像中沒(méi)有缺陷的焊道，從而得到一系列不同尺度的前景圖像、背景圖像和差異圖像。

2) 圖像增強(qiáng)

為了將圖像強(qiáng)度值調(diào)整到指定范圍以進(jìn)行對(duì)比度拉伸，使用自適應(yīng)直方圖均衡化(AHE)對(duì)X 射線圖像進(jìn)行對(duì)比度增強(qiáng)。AHE 算法通過(guò)計(jì)算圖像的局部直方圖，重新分布亮度來(lái)改變圖像的對(duì)比度。

1.2 數(shù)據(jù)增強(qiáng)

由于GDXray 數(shù)據(jù)集中X 射線圖像數(shù)量過(guò)少，會(huì)導(dǎo)致模型過(guò)擬合和檢測(cè)效果差，因此論文采用幾何變換對(duì)該數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，如水平、垂直翻轉(zhuǎn)和鏡像，從 15～30 度隨機(jī)旋轉(zhuǎn)建立管道焊縫缺陷數(shù)據(jù)集。同時(shí)，提出一種切片拼接方法在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用，該方法對(duì)同一張或多張X射線圖像裁剪一定尺度圖像塊后進(jìn)行拼接，圖2展示了該方法的示例圖。擴(kuò)充后的數(shù)據(jù)集包含422張圖像。

圖2 切片拼接

2 基于DCMask RCNN的管道焊縫缺陷檢測(cè)算法

DCMask RCNN算法是基于Mask RCNN算法設(shè)計(jì)的，本節(jié)首先介紹Mask RCNN算法，引入空洞卷積，提出DCMask RCNN算法。

2.1 DCMask RCNN算法

Mask RCNN[14]網(wǎng)絡(luò)架構(gòu)主要由三部分構(gòu)成：1)ResNet-FPN 為ResNet[15]與FPN[16]的結(jié)合，包括3 個(gè)部分，自下而上連接、自上而下連接和橫向連接；2) Fast RCNN[17]，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN) 提取圖像特征，然后使用Region Proposal Network(RPN) 提取出ROI(Region of Interest) ，再使用ROI Pooling 將這些ROI 變成固定尺寸，再輸入至全連接層進(jìn)行邊框回歸和分類預(yù)測(cè)；3) Mask，實(shí)現(xiàn)分割任務(wù)。

論文將ResNet-FPN 中提取特征圖的卷積層替換為空洞卷積(Dilated Convolutions)[18]，整體的DCM RCNN算法的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 DCMask RCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 空洞卷積

空洞卷積(Dilated Convolutions)[18]也稱為膨脹卷積，膨脹卷積算子在過(guò)去被稱為“具有膨脹濾波器的卷積”。使F:?2→?為一個(gè)離散函數(shù)，Ωr=[-r,r]2??2，k:Ωr→? 為一個(gè)尺度(2r+ 1)2的離散濾波器。離散卷積算子*可以定義為：

論文采用[18]中的方法，使l作為一個(gè)膨脹因子，*l定義為：

其中，*l為一個(gè)膨脹卷積或一個(gè)l維的膨脹卷積，相似地，卷積*為1維的空洞卷積。

3 實(shí)驗(yàn)結(jié)果及分析

論文采用GDXray 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在焊縫缺陷檢測(cè)過(guò)程中，使用分割網(wǎng)絡(luò)對(duì)管道焊縫和缺陷進(jìn)行自動(dòng)分割，焊縫缺陷分割效果如圖4所示，其中，(a) 為原X 射線圖像，(b) 為分割效果圖，可以看出分割結(jié)果較好，焊縫缺陷幾乎完全與背景分離。對(duì)分割后的焊縫缺陷進(jìn)行標(biāo)注，主要分為有缺陷和無(wú)缺陷兩類，當(dāng)焊縫存在缺陷時(shí)，用矩形框標(biāo)注該缺陷。檢測(cè)效果如圖5 所示，其中，(a)為原始數(shù)據(jù)的一部分；(b) 為增強(qiáng)和焊縫缺陷分割后的圖像；(c) 為檢測(cè)到的缺陷效果圖。

圖4 焊縫缺陷分割結(jié)果

圖5 焊縫缺陷檢測(cè)

由實(shí)驗(yàn)結(jié)果可以看出，論文提出的算法具有較好的檢測(cè)效果。其中數(shù)據(jù)增強(qiáng)起到巨大的作用，因?yàn)榇罅康臄?shù)據(jù)是模型訓(xùn)練和表現(xiàn)好的基礎(chǔ)，而少量的數(shù)據(jù)可能會(huì)導(dǎo)致模型特征提取不足、目標(biāo)難以識(shí)別或產(chǎn)生過(guò)擬合。同時(shí)算法自動(dòng)提取特征和對(duì)焊縫區(qū)域和焊縫缺陷進(jìn)行分割，減少人為干擾，避免了手動(dòng)導(dǎo)致的偏差，可以提高特征提取效率和豐富度，從而提高焊縫缺陷檢測(cè)的檢測(cè)效果和效率。

4 結(jié)論

本文介紹并分析了一種新方法的設(shè)計(jì)和實(shí)施焊縫區(qū)域自動(dòng)提取及焊縫缺陷檢測(cè)。將空洞卷積代替Mask RCNN 中提取圖像特征的普通卷積層，提出的DCMask RCNN 算法將焊縫區(qū)域提取、特征提取、焊縫缺陷分割及檢測(cè)整合為一體，算法可以進(jìn)行端到端的訓(xùn)練和優(yōu)化，減少人工參與，提高了檢測(cè)效果和效率。論文提出一種數(shù)據(jù)增強(qiáng)方法—切片拼接，使圖像內(nèi)容更豐富，模型可以獲取更多的上下文信息。實(shí)驗(yàn)測(cè)試證明，本文提出的算法可以實(shí)現(xiàn)X 射線圖像管道焊縫缺陷的較好檢測(cè)結(jié)果。