基于壓力容器裂紋圖像檢測(cè)及識(shí)別算法研究

張?zhí)旆?冉秉東,王 楷

(1.河南省鍋爐壓力容器安全檢測(cè)研究院,河南 鶴壁 450016;2.重慶大學(xué) 自動(dòng)化學(xué)院,重慶 400044)

壓力容器是一種承壓類(lèi)特種設(shè)備,它承載著巨大壓力且相當(dāng)廣泛,一旦發(fā)生爆炸或泄漏往往會(huì)引起火災(zāi)、中毒等災(zāi)難性事故,給人民生命財(cái)產(chǎn)和環(huán)境造成嚴(yán)重?fù)p害[1]。但是它又是現(xiàn)代化工業(yè)必不可少的生產(chǎn)設(shè)備,許多關(guān)鍵性的工藝流程更需要一些特殊的壓力容器來(lái)保證運(yùn)行,壓力容器承受各種不同壓力,包括恒定的壓力、變化的壓力或交替變化的壓力,有些還有附加的溫度或機(jī)械應(yīng)力,因此容易由于壓力問(wèn)題導(dǎo)致容器產(chǎn)生裂紋。壓力容器裂紋的檢測(cè)及識(shí)別直接影響壓力容器的安全運(yùn)行,傳統(tǒng)人工檢測(cè)不僅影響工廠(chǎng)的加工生產(chǎn),而且檢測(cè)效率低下、準(zhǔn)確率不高,因此實(shí)現(xiàn)壓力容器裂紋的自動(dòng)化檢測(cè)及識(shí)別成為現(xiàn)代化工業(yè)領(lǐng)域的一個(gè)重要任務(wù)。

壓力容器裂紋的檢測(cè)及識(shí)別方法主要有:1)基于傳統(tǒng)圖像處理檢測(cè)及識(shí)別;2)基于深度學(xué)習(xí)的檢測(cè)及識(shí)別;3)基于超聲波的檢測(cè)及識(shí)別。在傳統(tǒng)圖像檢測(cè)識(shí)別方面,基于真實(shí)裂紋像素始終比周?chē)h(huán)境暗的假設(shè),閾值分割法簡(jiǎn)單高效及計(jì)算速度快的優(yōu)點(diǎn),Oliver等人對(duì)裂紋檢測(cè)分為2個(gè)階段,并使用2個(gè)不同級(jí)別的閾值來(lái)檢測(cè)裂紋[2]。R.Kapela等人利用梯度直方圖的方法對(duì)裂紋進(jìn)行分割,然后利用SVM對(duì)其進(jìn)行分類(lèi)[3]。D.Ai等人提出基于SVM算法和概率生成模型融合的算法來(lái)檢測(cè)裂紋[4]。在深度學(xué)習(xí)檢測(cè)識(shí)別方面,H.Maeda等人利用SSD來(lái)檢測(cè)裂紋[5]。Li等人使用了一種叫做OLCMNet輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò),用于在有限的計(jì)算預(yù)算下檢測(cè)駕駛員的注意力分散[6]。Yang等人在HED網(wǎng)絡(luò)的基礎(chǔ)上引入了特征金字塔模塊和自上而下的體系架構(gòu)來(lái)檢測(cè)裂紋[7]。J.Cheng等人采用Unet網(wǎng)絡(luò)來(lái)檢測(cè)裂紋任務(wù)[8]。在超聲波檢測(cè)識(shí)別方面,馬桂振等人利用超聲檢測(cè)方法來(lái)研究檢測(cè)鍋爐裂紋信息[9]。JH.Jang等人采用高重復(fù)率脈沖激光器和高速激光多普勒測(cè)振儀來(lái)產(chǎn)生非線(xiàn)性交互超聲波[10]。R.Wang等人提出了基于裂紋波相互作用的非線(xiàn)性超聲技術(shù)來(lái)研究疲勞裂紋,以此來(lái)檢測(cè)金屬材料在長(zhǎng)期使用下出現(xiàn)的疲勞裂紋[11]。

以上方法在裂紋檢測(cè)識(shí)別中取得了不錯(cuò)效果,但還存在很多問(wèn)題:超聲波方法需要操作者具備相應(yīng)的先驗(yàn)經(jīng)驗(yàn)和知識(shí),否則難于實(shí)現(xiàn)缺陷的檢測(cè),該方法要求較高、較難推廣;傳統(tǒng)圖像方法易受到噪聲干擾,穩(wěn)定性差、自適應(yīng)能力差;深度學(xué)習(xí)方法利用神經(jīng)網(wǎng)絡(luò)自己學(xué)習(xí)數(shù)據(jù)的特征,可以提取壓力容器裂紋圖像更深層次特征,更加準(zhǔn)確定位和分類(lèi)壓力容器裂紋。雖然深度學(xué)習(xí)算法要求相對(duì)較高,但以其識(shí)別精確度高、識(shí)別效率高和應(yīng)用范圍廣等優(yōu)勢(shì),受到了許多研究學(xué)者的喜愛(ài)。因此筆者選擇壓力容器裂紋圖像為研究對(duì)象,采用深度學(xué)習(xí)方法實(shí)現(xiàn)壓力容器裂紋的自動(dòng)檢測(cè)及識(shí)別。

圖像的檢測(cè)及識(shí)別常用深度學(xué)習(xí)模型有Faster R-CNN和YOLO模型。Faster R-CNN識(shí)別準(zhǔn)確率高但存在模型復(fù)雜、檢測(cè)速度慢等問(wèn)題,YOLO把檢測(cè)問(wèn)題轉(zhuǎn)換為回歸問(wèn)題,運(yùn)行加快但存在精度欠佳。在研究中將YOLO v3主干網(wǎng)Darknet-53替換成為New Efficient Net-B0以此減少模型的參數(shù)量和存儲(chǔ)空間進(jìn)而降低算法模型的復(fù)雜程度,并且增加一個(gè)104x104的特征圖以此提升檢測(cè)識(shí)別準(zhǔn)確率。

1 基于深度學(xué)習(xí)壓力容器裂紋檢測(cè)及識(shí)別方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深層人工神經(jīng)網(wǎng)絡(luò)。相較于人工神經(jīng)網(wǎng)絡(luò),它具有局部連接、共享權(quán)重2種特性。卷積神經(jīng)網(wǎng)絡(luò)組成主要包括卷積層、池化層、激活層、全連接層。最重要的卷積層也叫特征提取層,卷積層通過(guò)不同的卷積核卷積前一層,每個(gè)卷積核對(duì)應(yīng)一個(gè)提取特征,與前一層的感受連接。卷積核共享網(wǎng)絡(luò)權(quán)重,每個(gè)卷積核提取有限的信息,因此通常使用多個(gè)卷積核來(lái)獲取更多特征[12]。

1.2 卷積神經(jīng)網(wǎng)絡(luò)模型

1)卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)形成了很多成熟的網(wǎng)絡(luò)模型,經(jīng)典的如Alex Net、VGGNet、Google Net、Res Net和DenseNet等。在目標(biāo)檢測(cè)領(lǐng)域,楊祖莨等人直接使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)隧道內(nèi)停車(chē)檢測(cè)[13];何育欣等人使用VGGNet進(jìn)行熊貓面部檢測(cè)[14]。基于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上,出現(xiàn)了更加優(yōu)秀的檢測(cè)算法模型。Ren S等人設(shè)計(jì)出基于候選區(qū)域的深度學(xué)習(xí)目標(biāo)檢測(cè)算法Faster-R-CNN[15]。Redmon J等人在2016年提出基于回歸的目標(biāo)檢測(cè)算法YOLO v1(you only look once),實(shí)現(xiàn)了目標(biāo)識(shí)別與定位的統(tǒng)一[16]。之后經(jīng)過(guò)Redmon等人繼續(xù)研究,先后提出改進(jìn)版本YOLO v2[17]和YOLO v3[18],準(zhǔn)確率得到了進(jìn)一步提高。

2)Faster-RCNN:是由微軟Shaoqing.Ren等提出。他們?cè)O(shè)計(jì)了一種區(qū)域建議網(wǎng)絡(luò)RPN來(lái)生成建議區(qū)域,它和檢測(cè)網(wǎng)絡(luò)共享全圖的卷積特征,使得區(qū)域建議檢測(cè)幾乎不花時(shí)間。

3)YOLO v1:其總體思想是輸入圖像被劃分成SxS的網(wǎng)格,如果一個(gè)目標(biāo)的中心點(diǎn)落在某個(gè)網(wǎng)格中,那么這個(gè)網(wǎng)格就負(fù)責(zé)這個(gè)目標(biāo)的檢測(cè)。

4)YOLO v2:針對(duì)YOLO v1的不足,主要有以下幾點(diǎn)改進(jìn):①縮減網(wǎng)絡(luò);②利用區(qū)域生成網(wǎng)絡(luò)(RPN網(wǎng)絡(luò))來(lái)得到候選框;③使用K-means聚類(lèi)算法得到更加符合數(shù)據(jù)集的錨框;④刪除了全鏈接層和最后一個(gè)pooling層,使得最后的卷積層可以有更高的分辨率;⑤設(shè)計(jì)出全新的骨干網(wǎng)絡(luò)Darknet-19。

5)YOLO v3:使用新的Darknet-53網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò),Darknet-53引入了ResNet[19]網(wǎng)絡(luò)的殘差結(jié)構(gòu)以減少深層網(wǎng)絡(luò)的訓(xùn)練。

2 基于NewEfficientNet-B0-YOLO v3算法壓力容器裂紋檢測(cè)模型

算法的具體改進(jìn)分為2個(gè)部分。1)更換YOLO v3原有主干網(wǎng)絡(luò)Darknet-53替換成為NewEfficient Net-B0以減少模型的參數(shù)量和存儲(chǔ)空間;2)改進(jìn)多尺度預(yù)測(cè),增加了一個(gè)104x104特征圖,方便對(duì)細(xì)小裂紋檢測(cè)。改進(jìn)后YOLO v3的檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 改進(jìn)YOLO v3檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Improved YOLO v3 detection network structure

2.1 基于NewEfficientNet-B0的輕量化方法

算法模型要部署在小型移動(dòng)設(shè)備或嵌入式設(shè)備上,會(huì)受到內(nèi)存空間、處理器計(jì)算能力等多方面條件的制約,因此精簡(jiǎn)模型和降低模型的參數(shù)量以減少其存儲(chǔ)空間和計(jì)算消耗成為一個(gè)關(guān)鍵技術(shù)問(wèn)題。對(duì)于縮小網(wǎng)絡(luò)模型尺寸目前有2種思路:1)改變當(dāng)前已有的網(wǎng)絡(luò)結(jié)構(gòu),直接設(shè)計(jì)一種新的輕量級(jí)基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu);2)以目前正在使用的骨干網(wǎng)絡(luò)基礎(chǔ)上,利用模型剪枝等各種削減參數(shù)的方法,壓縮模型大小得到衍生的輕量級(jí)基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。選擇1)提出了一種基于New Efficient Net的輕量化方法來(lái)對(duì)算法模型進(jìn)行精簡(jiǎn)、壓縮,以便減少所需的存儲(chǔ)空間和計(jì)算資源。

2.1.1 改進(jìn)算法檢測(cè)模型的輕量化方法

Mingxing Tan等人提出了Efficient Net網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)使用神經(jīng)網(wǎng)絡(luò)搜索設(shè)計(jì)得到的新型卷積神經(jīng)網(wǎng)絡(luò)模型[20]。筆者使用Efficient Net系列模型中最小的Efficient Net-B0來(lái)替換傳統(tǒng)YOLO V3中的Darknet-53作為骨干網(wǎng)絡(luò)。但是在使用Efficient Net-B0替換Darknet-53之前,需要對(duì)原Efficient Net-B0做出一點(diǎn)修改,修改后的Efficient Net-B0網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 修改后的EfficientNet-B0Table 1 Modified EfficientNet-B0

2.1.2 移動(dòng)翻轉(zhuǎn)瓶頸卷積

MBConv其實(shí)就是MobileNet V3網(wǎng)絡(luò)中的InvertedResidualBlock。不同的是一個(gè)是采用的激活函數(shù)不一樣,Efficient Net的MBConv中使用的都是Swish激活函數(shù),另一個(gè)是在每MBConv中都加入了SE(queeze-and-Excitation)。MBConv結(jié)構(gòu)如圖2所示。

圖2 MBConv結(jié)構(gòu)Fig.2 MBConv structure

2.1.3 SE通道注意力機(jī)制

Efficient Net模型中的核心組成結(jié)構(gòu)為移動(dòng)翻轉(zhuǎn)瓶頸卷積(MBConv,mobile inverted bottleneckconvolution)模塊,該模塊引入SENet(Squeeze-and-Excitation Networks)[21]中SE通道注意力機(jī)制,增強(qiáng)通道關(guān)聯(lián)信息的提取能力。SENet模塊如圖3所示,它在旁路中調(diào)整每個(gè)通道的權(quán)重,根據(jù)不同的數(shù)據(jù)集和任務(wù)環(huán)境提升或減少不同通道的重要性。SENet的核心思想在于通過(guò)網(wǎng)絡(luò)根據(jù)loss去學(xué)習(xí)特征權(quán)重,使得有效的feature map權(quán)重大,無(wú)效或效果小的feature map權(quán)重小的方式訓(xùn)練模型達(dá)到更好的結(jié)果。SEblock嵌在原有的一些分類(lèi)網(wǎng)絡(luò)中不可避免地增加了一些參數(shù)和計(jì)算量,但是在效果面前還是可以接受的。SEblock并不是一個(gè)完整的網(wǎng)絡(luò)結(jié)構(gòu),而是一個(gè)子結(jié)構(gòu),可以嵌到其他分類(lèi)或檢測(cè)模型中。在這種結(jié)構(gòu)中,Squeeze和Excitation是2個(gè)非常關(guān)鍵的操作。

圖3 SE模塊的示意圖Fig.3 Schematic diagram of SE module

2.2 改進(jìn)多尺度預(yù)測(cè)方法

YOLO v3系列算法借鑒了FPN結(jié)構(gòu),融合了3個(gè)不同尺寸的特征圖,為了提高了對(duì)于微小裂紋的檢測(cè)精度。因此把輸出的張量擴(kuò)增到4個(gè)尺度,改進(jìn)后的特征圖結(jié)構(gòu)如圖4所示,改進(jìn)部分為紅色部分。52×52尺寸的特征圖經(jīng)過(guò)上采樣后和104×104尺度進(jìn)行拼接,融合之后作為第4個(gè)尺度輸出。改進(jìn)后的YOLO v3將網(wǎng)絡(luò)中4個(gè)檢測(cè)層的特征圖分別劃分為104×104,52×52,26×26,13×13每個(gè)檢測(cè)層提供了3種不同尺寸的anchor。

圖4 改進(jìn)特征圖結(jié)構(gòu)Fig.4 Improved feature map structure

2.3 邊界框預(yù)測(cè)與分類(lèi)

在算法檢測(cè)識(shí)別過(guò)程中,首先將輸入的壓力容器裂紋圖像處理成為416像素x416像素,然后再將壓力容器裂紋圖像劃分成為4個(gè)SxS的網(wǎng)格。最后每個(gè)單元網(wǎng)格負(fù)責(zé)檢測(cè)落入其中心的裂紋,同時(shí)輸出多個(gè)預(yù)測(cè)框及其置信度。每個(gè)邊界框包含參數(shù)(tx,ty,tw,th,tc),其中(tx,ty)為候選框的中心坐標(biāo),(tw,th)為候選框的中心點(diǎn)。C為置信度。在位置預(yù)測(cè)上,假設(shè)Anchor Box設(shè)置在每個(gè)網(wǎng)格單元的左上角,坐標(biāo)位置為(cx,cy),寬度和高度為(pw,ph),最終生成的預(yù)測(cè)坐標(biāo)為(bx,by,bw,bh),其公式為其中:(bx,by)為預(yù)測(cè)邊界框的中心坐標(biāo);(bw,bh)為預(yù)測(cè)框的高度和寬度。在輸出多個(gè)預(yù)測(cè)框之后,將拋棄掉置信度低的預(yù)測(cè)框并通過(guò)非極大抑制獲得裂紋位置。

筆者采用Logistics分類(lèi)器。假設(shè)訓(xùn)練樣本集合X={x1,x2,x3,…},其中樣本xi由一系列的屬性表示即x1=(a1,a2,a3,…),樣本中的類(lèi)別為0或1。引入?yún)?shù)θ=(θ1,θ2,3,…),那么logistics函數(shù)公式為

若hθ(x)＞0.5則分類(lèi)為1,即屬于壓力容器裂紋圖像。如hθ(x)＜0.5則分類(lèi)為0,即不屬于壓力容器裂紋圖像。

3 實(shí)驗(yàn)分析

3.1 壓力容器裂紋數(shù)據(jù)集構(gòu)建

數(shù)據(jù)來(lái)源于河南省鍋爐壓力容器安全檢測(cè)研究院鶴壁分院,經(jīng)過(guò)數(shù)據(jù)擴(kuò)充之后,部分?jǐn)?shù)據(jù)集如圖5所示。

圖5 壓力容器裂紋圖像數(shù)據(jù)集Fig.5 Pressure Vessel Crack Image Dataset

3.2 實(shí)驗(yàn)環(huán)境及配置

針對(duì)基于壓力容器裂紋圖像檢測(cè)及識(shí)別實(shí)驗(yàn),具體實(shí)驗(yàn)環(huán)境配置如下所示:

1)操作系統(tǒng):Ubuntu16.04操作系統(tǒng);

2)編譯器:Pycharm2020;

3)處理器:Intel?Xeon(R)CPU E5-2650 v4@2.20 GHz×24;

4)內(nèi)存:1T;

5)顯卡為:RTX2080Ti;

6)顯存容量:12 GB;

7)編譯語(yǔ)言:Python 3.7.5。

3.3 評(píng)價(jià)指標(biāo)

3.3.1 m AP

平均精度AP是以召回率為橫坐標(biāo),準(zhǔn)確率為縱坐標(biāo),得到的曲線(xiàn)(又稱(chēng)P-R曲線(xiàn)),AP值為P-R曲線(xiàn)下方的面積值。AP代表每個(gè)類(lèi)別的測(cè)試模型的性能,而m AP代表所有類(lèi)別的測(cè)試模型的性能,這是所有AP的平均值。m AP公式為

3.3.2 檢測(cè)速度

算法模型對(duì)一幅壓力容器裂紋圖像檢測(cè)識(shí)別的所花費(fèi)多少時(shí)間。

3.3.3 參數(shù)數(shù)量

算法模型的參數(shù)數(shù)量。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 算法模型主要實(shí)驗(yàn)參數(shù)表

改進(jìn)YOLO v3模型主要設(shè)置參數(shù)細(xì)節(jié)如表2所示。

表2 算法模型主要實(shí)驗(yàn)參數(shù)表Table 2 The main experimental parameters of the algorithm model

3.4.2 壓力容器裂紋圖像檢測(cè)及識(shí)別效果

部分壓力容器裂紋的檢測(cè)及識(shí)別效果如圖6所示。

圖6 檢測(cè)識(shí)別效果圖Fig.6 Detection and recognition effect diagram

3.4.3 不同算法模型loss

對(duì)于每個(gè)網(wǎng)絡(luò)模型在300個(gè)批次訓(xùn)練過(guò)程當(dāng)中,保存其所有的loss值,在1 820訓(xùn)練集當(dāng)中以7∶3作為訓(xùn)練和驗(yàn)證,每1個(gè)batch size存一次loss則獲得300*40個(gè)loss值,再對(duì)loss值進(jìn)行可視化,不同算法模型的loss曲線(xiàn)對(duì)比如下圖7所示。

圖7 loss圖Fig.7 loss diagram

3.4.4 算法模型測(cè)試結(jié)果與分析

在本次實(shí)驗(yàn)中使用780張壓力容器裂紋圖像數(shù)據(jù)進(jìn)行測(cè)試實(shí)驗(yàn),Faster-RCNN、YOLO v3、改進(jìn)YOLO v3模型測(cè)試實(shí)驗(yàn)結(jié)果如表3所示。

表3 測(cè)試結(jié)果Table 3 Model test results

由實(shí)驗(yàn)測(cè)試結(jié)果知,改進(jìn)YOLO v3的m AP在原基礎(chǔ)上由0.74提升到0.81,效果提高9%;檢測(cè)速度由0.26提升到0.11,效果提高42.3%;模型參數(shù)數(shù)量由61.5 M減少到16.8 M,減少72.6%;FLOPs由154.6GFLOPs減少到35.6GFLOPs,減少76.9%。

4 結(jié)束語(yǔ)

1)從理論上分析了以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的Faster-RCNN和YOLO檢測(cè)識(shí)別算法,分析了其優(yōu)缺點(diǎn)后,通過(guò)分析訓(xùn)練時(shí)loss變化曲線(xiàn)和模型測(cè)試結(jié)果結(jié)果,選擇了改進(jìn)YOLO v3網(wǎng)絡(luò)模型。該算法模型能夠提取壓力容器裂紋圖像更加深層次的特征,并且還能能夠防止網(wǎng)絡(luò)層次增加導(dǎo)致梯度消失問(wèn)題。

2)為精簡(jiǎn)模型和降低模型的參數(shù)量以減少其存儲(chǔ)空間和計(jì)算消耗,提出基于New Efficient Net-B0的輕量化方法。為提高對(duì)微小壓力容器裂紋的識(shí)別精度,提出改進(jìn)多尺度預(yù)測(cè)方法,增加了一個(gè)104×104的特征尺度方便對(duì)微小壓力容器裂紋的檢測(cè)識(shí)別。通過(guò)最終的實(shí)驗(yàn)的測(cè)試結(jié)果的對(duì)比與分析,可以得到改進(jìn)YOLO v3在檢測(cè)識(shí)別的準(zhǔn)確率和降低算法模型參數(shù)數(shù)量效果相比其他模型更好。