基于RetinaNet-AACIDD的鋁合金鑄件X-ray圖像缺陷檢測(cè)方法*

叢 明,孫心海,武曉軒

(大連理工大學(xué)機(jī)械工程學(xué)院,大連 116024)

0 引言

隨著輕量化技術(shù)的發(fā)展,鋁合金壓鑄件已廣泛應(yīng)用于汽車、航空航天等領(lǐng)域。在壓鑄過程中,鑄件產(chǎn)生氣泡、縮孔、裂紋等缺陷是不可避免的。對(duì)于此類鋁合金鑄件內(nèi)部的缺陷,通常通過射線成像進(jìn)行無損檢測(cè)[1]。傳統(tǒng)的檢測(cè)算法以手工設(shè)計(jì)特征為主,對(duì)于復(fù)雜的工業(yè)場(chǎng)景,這種方法的泛化能力較弱不具有普適性[2]。

在鋁合金鑄件X-ray圖像缺陷檢測(cè)的最新研究中,FERGUSON等[3]基于Mask R-CNN是一種可同時(shí)檢測(cè)和分割X射線圖像中缺陷的鑄件缺陷檢測(cè)系統(tǒng)[4],通過使用遷移學(xué)習(xí)來減少訓(xùn)練所需的數(shù)據(jù)集規(guī)模并獲得更高的檢測(cè)精度。DU等[5]通過在Faster R-CNN的基礎(chǔ)上引入特征金字塔(feature pyramid networks,FPN)網(wǎng)絡(luò)[6],提高了模型對(duì)X射線圖像中小尺度缺陷的檢測(cè)精度。但是缺陷簡(jiǎn)單識(shí)別單一。REN等[7]提出了一種三階段深度學(xué)習(xí)算法,該算法可以準(zhǔn)確識(shí)別汽車發(fā)動(dòng)機(jī)X射線圖像中的氣泡缺陷,準(zhǔn)確率可達(dá)到90%以上。TANG等[8]提出了一種將空間注意力機(jī)制和雙線性池結(jié)合的卷積神經(jīng)網(wǎng)絡(luò),提高了網(wǎng)絡(luò)對(duì)細(xì)微缺陷的學(xué)習(xí)能力。然而,對(duì)鋁合金鑄件X射線圖像的缺陷檢測(cè)工作仍存在缺陷檢測(cè)種類單一、對(duì)多尺度缺陷檢測(cè)性能較差以及各類缺陷樣本分布不均勻等問題。

針對(duì)上述問題,本文制作了含有14 640張鋁合金鑄件內(nèi)部X射線圖像缺陷數(shù)據(jù)集ALU-Xray,提出了一種基于深度學(xué)習(xí)的缺陷檢測(cè)算法,采用橫向連接的方式將淺層特征與上采樣后的深層語義信息自上而下依次融合,實(shí)現(xiàn)了模型對(duì)氣泡、裂紋等尺度較小的缺陷和復(fù)雜背景下的疏松、縮孔等缺陷的高精度檢測(cè)。

1 缺陷檢測(cè)算法模型

1.1 RetinaNet-AACIDD算法結(jié)構(gòu)

鋁合金鑄件X射線圖像缺陷檢測(cè)算法RetinaNet-AACIDD主要是基于RetinaNet算法[9]進(jìn)行改進(jìn),如圖1所示。算法的主干網(wǎng)絡(luò)采用ResNet-50[10],使用深層次的網(wǎng)絡(luò)可以獲取缺陷圖像更深層的語義特征,并且ResNet網(wǎng)絡(luò)使用的殘差塊結(jié)構(gòu)可以克服學(xué)習(xí)效率和準(zhǔn)確率隨網(wǎng)絡(luò)深度加深而無法有效提高的問題,相對(duì)于傳統(tǒng)的VGG等分類網(wǎng)絡(luò)可以獲得更高準(zhǔn)確度。為了減少X射線圖像噪聲以及復(fù)雜背景的干擾,在Conv3_x、Conv4_x、Conv5_x后加入將通道注意力機(jī)制和空間注意力機(jī)制混合的注意力模塊CS-Block,通過對(duì)特征圖中不同通道和空間上的特征信息進(jìn)行進(jìn)一步篩選,來抑制無關(guān)信息,進(jìn)而增加缺陷所在區(qū)域和有效的特征信息在特征圖中所占權(quán)重,降低背景、噪聲等其他信息對(duì)缺陷檢測(cè)的干擾。為了更充分地利用提取出的特征,進(jìn)一步提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)精度,在CS-Block模塊后加入使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的多尺度特征融合模塊(multid-scale feature integration module,MFIM),采用橫向連接的方式將淺層特征與上采樣后的深層語義信息自上而下依次融合,構(gòu)建出兼具各級(jí)語義信息和缺陷位置信息的多尺度融合特征圖。再通過Conv3×3的卷積層對(duì)生成的特征圖再次進(jìn)行特征提取,以消除上采樣過程可能帶來的混疊效應(yīng)。之后再將多尺度融合后的特征圖輸入到分類和回歸模塊。

圖1 RetinaNet-AACIDD算法結(jié)構(gòu)圖

在分類和回歸階段,在P3、P4、P5預(yù)測(cè)特征層(prediction layer)上分別得到經(jīng)過Conv3×3的卷積層再次卷積融合后的Mp3、Mp4、Mp5三個(gè)多尺度特征圖。其中,Mp3對(duì)應(yīng)圖像的淺層紋理特征,Mp4對(duì)應(yīng)中間層的過渡特征,Mp5對(duì)應(yīng)圖像較深層的語義特征。在Mp5的基礎(chǔ)上,依次通過Conv3×3,stride=2的卷積層得到Mp6、Mp7,對(duì)應(yīng)圖像的深層語義特征。最后,在P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層上進(jìn)行缺陷的檢測(cè)。

RetinaNet-AACIDD缺陷檢測(cè)算法的預(yù)測(cè)器由分類子網(wǎng)絡(luò)(class subnet)和定位子網(wǎng)絡(luò)(box subnet)兩部分組成。其中class subnet負(fù)責(zé)預(yù)測(cè)目標(biāo)類別,box subnet負(fù)責(zé)預(yù)測(cè)目標(biāo)邊界框回歸參數(shù)。兩個(gè)子網(wǎng)絡(luò)均由4個(gè)Conv3×3,stride=1,channel=256的卷積層和一個(gè)Conv3×3,stride=1,channel=36的卷積層組成。

1.2 注意力機(jī)制CS-Block

鋁合金鑄件X射線圖像中存在大量噪聲,而且缺陷所在的背景復(fù)雜,會(huì)影響網(wǎng)絡(luò)對(duì)缺陷的檢測(cè)。為了減少圖像中噪聲和復(fù)雜背景的干擾,在RetinaNet-AACIDD主干網(wǎng)絡(luò)的Conv1和Conv5_x后加入混合注意力機(jī)制,即卷積注意力模塊(CBAM),以增加缺陷相關(guān)特征在特征圖中的權(quán)重,從而降低背景等信息對(duì)缺陷檢測(cè)的干擾。CBAM模塊由通道注意力模塊(channel attention module,CAM)和空間注意力模塊(spatial attention module,SAM)組成,相比于只關(guān)注通道的注意力機(jī)制SENet(squeeze and excitation networks)可以取得更好的檢測(cè)效果,其模型結(jié)構(gòu)如圖2所示。

(a) CS-Block-A

Conv1和Conv5_x輸出的結(jié)果作為CBAM的輸入特征圖,首先經(jīng)過CAM模塊:在空間維度進(jìn)行基于寬度和高度的平均池化和最大池化來壓縮空間尺寸,然后將池化后的結(jié)果分別輸入多層感知機(jī)MLP中來學(xué)習(xí)通道維度的特征,再將MLP輸出的特征進(jìn)行add操作,接著經(jīng)過Sigmoid函數(shù)進(jìn)行激活,得到最終的通道注意力特征圖;然后作為SAM模塊的輸入特征圖,在通道維度進(jìn)行平均池化和最大池化來對(duì)通道進(jìn)行壓縮,然后將提取的兩個(gè)單通道圖合并得到一個(gè)channel=2的特征圖,接著通過Conv7×7的卷積層進(jìn)行卷積操作,再經(jīng)過Sigmoid函數(shù)激活,最后加權(quán)得到調(diào)整后的特征。

1.3 多尺度特征融合MFIM模塊

經(jīng)過注意力機(jī)制CS-Block模塊共生成Ocs3、Ocs4、Ocs5三個(gè)特征圖,其中Ocs5是低分辨率、具有較大的感受野和深層語義+特征的深層特征,用于檢測(cè)尺度較大的缺陷;Ocs3是高分辨率、具有淺層紋理而缺少深層語義信息的淺層特征,用于檢測(cè)小尺度的缺陷;Ocs4介于二者之間,是具有圖像過渡特征的中間層。為了更充分地利用提取出的特征,提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)性能,在CS-Block模塊后加入多尺度特征融合模塊,該模塊使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)。首先Ocs3、Ocs4、Ocs5三個(gè)特征圖分別通過Conv1×1,通道為256的卷積層,在不改變特征圖原有寬高兩個(gè)維度的情況下,將所有輸出特征圖的通道數(shù)進(jìn)行降維,都統(tǒng)一變?yōu)?56。再采用橫向連接,即將淺層紋理位置等特征與上采樣后的深層語義信息自上而下地依次融合,完成深層語義信息的向下傳遞。進(jìn)而在Ocs3、Ocs4上構(gòu)建出兼具各級(jí)語義信息和缺陷位置信息的多尺度融合特征圖,如圖3所示。

圖3 多尺度特征融合模塊結(jié)構(gòu)圖

由于上采樣后的深層特征圖在與橫向連接的淺層特征圖疊加過程中可能導(dǎo)致特征不連續(xù),使得融合后的特征圖失真,所以需要使用3×3的卷積核對(duì)生成的多尺度特征融合特征圖再次進(jìn)行卷積融合,即對(duì)特征進(jìn)行再次提取,保證特征的穩(wěn)定性,以消除上采樣過程可能帶來的混疊效應(yīng)。之后再將多尺度融合后的特征圖輸入到分類和回歸模塊,在P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層上進(jìn)行分類和回歸。最終提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)性能。

1.4 預(yù)測(cè)特征層上的錨框尺寸設(shè)計(jì)

在RetinaNet-AACIDD網(wǎng)絡(luò)中,P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層用于缺陷檢測(cè)。每個(gè)位置都采用由3個(gè)尺度和3個(gè)比例組成的共9組錨點(diǎn)進(jìn)行預(yù)測(cè)。在預(yù)測(cè)時(shí),每個(gè)錨點(diǎn)根據(jù)目標(biāo)缺陷的Ground Truth與其交并比(intersection over union,IoU)的大小來衡量缺陷檢測(cè)的準(zhǔn)確度。為了獲得適合X射線圖像數(shù)據(jù)集的錨點(diǎn)尺寸,提高模型對(duì)ALU-Xray數(shù)據(jù)集中不同尺度缺陷檢測(cè)的準(zhǔn)確率,對(duì)ALU-Xray數(shù)據(jù)集中所有缺陷的Ground Truth邊界通過K-means聚類算法進(jìn)行了統(tǒng)計(jì)分析,得到氣泡、裂紋、縮孔、疏松等4類缺陷的聚類中心分別為[13,13]、[17,15]、[32,55]、[68,21],結(jié)合其尺寸分布散點(diǎn)圖(如圖4所示),設(shè)計(jì)如表1所示的錨點(diǎn)的尺度和比例,以獲得錨點(diǎn)與缺陷的Ground Truth間最大的IoU。

表1 預(yù)測(cè)特征層錨點(diǎn)尺度及比例

圖4 ALU-Xray數(shù)據(jù)集缺陷尺寸分布散點(diǎn)圖

1.5 遷移學(xué)習(xí)

RetinaNet-AACIDD檢測(cè)算法采用ResNet-50作為主干網(wǎng)絡(luò),其Conv1_x、Conv2_x、Conv3_x等卷積層主要用來提取圖像的紋理信息、邊緣信息等淺層特征,對(duì)不同的檢測(cè)目標(biāo)具有一定的通用性。而深層網(wǎng)絡(luò)Conv5_x是用來提取圖像更深層的語義信息的,這種深層特征的提取通常針對(duì)的是具體的數(shù)據(jù)集。為此,在模型訓(xùn)練時(shí)利用ResNet-50網(wǎng)絡(luò)在ImageNet大型數(shù)據(jù)集上訓(xùn)練好的權(quán)重來進(jìn)行模型初始化。在訓(xùn)練過程中將淺層網(wǎng)絡(luò)的權(quán)重固定保持不變,對(duì)深層的網(wǎng)絡(luò)權(quán)重進(jìn)行微調(diào),即使用遷移學(xué)習(xí)的方式進(jìn)行模型訓(xùn)練,如圖5所示。

圖5 遷移學(xué)習(xí)原理框圖

由于是使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型預(yù)訓(xùn)練權(quán)重基礎(chǔ)上訓(xùn)練,大大縮短了模型的訓(xùn)練時(shí)間,提高了計(jì)算資源的利用率。同時(shí),通過遷移學(xué)習(xí)利用不同任務(wù)間淺層特征的共性,可以提高模型對(duì)淺層一般特征的提取能力,在樣本數(shù)量有限的情況下提高模型的分類精度。

2 數(shù)據(jù)集制作及模型評(píng)價(jià)指標(biāo)

2.1 數(shù)據(jù)集制作

數(shù)據(jù)集中鋁合金鑄件內(nèi)部缺陷圖像來源于一家汽車零部件工廠,包括汽車散熱板、鏈條罩蓋、油底殼、曲軸箱體、離合器殼體、變速器殼體等零部件的X射線缺陷圖像。制作數(shù)據(jù)集時(shí),采用LabelImg軟件進(jìn)行圖像中缺陷的標(biāo)注和類標(biāo)簽的生成,并將每個(gè)圖像中的缺陷類別、位置等信息以Pascal VOC格式保存在對(duì)應(yīng)的XML文件中。原始缺陷圖像分辨率為1140×1192像素,調(diào)整為512×512像素,即本文所制作的鋁合金鑄件X射線圖像缺陷數(shù)據(jù)集ALU-Xray的圖像分辨率大小。最終制作成的ALU-Xray數(shù)據(jù)集中具體包括的缺陷有氣孔、縮孔、疏松、裂紋等,共計(jì)14 640張,數(shù)據(jù)集中部分缺陷圖像展示如圖6所示。

(a) 氣泡 (b) 縮孔

隨機(jī)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集、驗(yàn)證集、測(cè)試集3個(gè)部分,所占比例為8:1:1,數(shù)據(jù)集各缺陷的數(shù)量等信息如表2所示。

表2 ALU-Xray數(shù)據(jù)集信息

2.2 模型評(píng)價(jià)指標(biāo)

精確率(precision,P)和召回率(recall,R)是目標(biāo)檢測(cè)任務(wù)中模型性能常用的評(píng)價(jià)的指標(biāo),計(jì)算公式為:

(1)

(2)

式中:TP(true positive)指被正確劃分為正樣本的個(gè)數(shù),FP(false positive)指被錯(cuò)誤劃分為正樣本的個(gè)數(shù),FN(false negative)指被錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù)。

因此,精確率也被稱為查準(zhǔn)率,側(cè)重考察在預(yù)測(cè)結(jié)果中為正樣本的準(zhǔn)確程度,召回率也可被稱為查全率,側(cè)重考察真實(shí)的正樣本被正確預(yù)測(cè)的全面程度。將模型對(duì)每一類樣本檢測(cè)結(jié)果的Precision作為橫坐標(biāo),Recall作為縱坐標(biāo)所得到的圖像稱為P-R曲線,P-R曲線與橫縱坐標(biāo)軸所圍成的面積就是這類樣本的平均精度(average precision,AP)值,計(jì)算公式如下:

(3)

但是AP只是針對(duì)一個(gè)缺陷類別計(jì)算所得的評(píng)價(jià)指標(biāo),為了在與Faster R-CNN、YOLOv5、YOLOv3以及RetinaNet基準(zhǔn)模型等網(wǎng)絡(luò)進(jìn)行對(duì)比時(shí)更好的評(píng)估RetinaNet-AACIDD網(wǎng)絡(luò)模型對(duì)多個(gè)缺陷類別檢測(cè)的性能,本文選擇的模型評(píng)價(jià)指標(biāo)為目標(biāo)檢測(cè)任務(wù)中最常用的評(píng)估指標(biāo)mAP,即所有類別AP的平均值,計(jì)算公式為:

(4)

式中:n表示數(shù)據(jù)集中類別的個(gè)數(shù)。

在目標(biāo)檢測(cè)任務(wù)中還有一個(gè)與召回率相對(duì)的常用評(píng)價(jià)指標(biāo),反映的是模型沒有正確預(yù)測(cè)出的正樣本占所有正樣本的比例,即漏檢率(miss rate,MR),計(jì)算公式為:

(5)

此外,對(duì)于目標(biāo)檢測(cè)任務(wù),模型的性能好壞還有一個(gè)重要評(píng)測(cè)標(biāo)準(zhǔn)就是檢測(cè)速度。本文采用幀率(frame rate)作為模型檢測(cè)速度的度量標(biāo)準(zhǔn),測(cè)量單位為每秒鐘模型所能檢測(cè)的圖像的數(shù)量(frame per second,FPS),計(jì)算公式為:

(6)

式中:ImageNum表示檢測(cè)圖像的總數(shù)量,Time表示檢測(cè)所用的總時(shí)間。

3 實(shí)驗(yàn)

3.1 鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)

本文采用的鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)由高頻X射線機(jī)、控制臺(tái)、工業(yè)級(jí)數(shù)字平板探測(cè)器、計(jì)算機(jī)圖像處理系統(tǒng)、機(jī)械傳動(dòng)控制系統(tǒng)、鉛房防護(hù)系統(tǒng)等組成。檢測(cè)內(nèi)容包括氣泡、疏松、縮孔、裂紋等,檢測(cè)節(jié)拍為1.2～15幀,可分辨的最小深孔為0.3～0.4 mm,X射線機(jī)在實(shí)時(shí)成像時(shí)對(duì)鋁合金的透照能力可以達(dá)到80 mm。檢測(cè)時(shí)工件置于X射線源和工業(yè)級(jí)數(shù)字平板探測(cè)器中間的工作平臺(tái)上,如圖7所示。

圖7 鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)

3.2 缺陷檢測(cè)算法的軟件和硬件環(huán)境

本實(shí)驗(yàn)的深度學(xué)算法在Ubuntu16.04的操作系統(tǒng)下進(jìn)行訓(xùn)練,GPU選用NVIDIA GeForce RTX 3090,軟件環(huán)境采用CUDA11.1和cuDNN8.0,處理器使用Intel Core i9-10900X,如表3所示,所提出的缺陷檢測(cè)算法模型基于PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)[11]。

3.3 模型設(shè)置

根據(jù)本文鋁合金鑄件X-ray缺陷圖像數(shù)據(jù)集的特點(diǎn),對(duì)網(wǎng)絡(luò)的相關(guān)模型參數(shù)進(jìn)行了相應(yīng)設(shè)置,以達(dá)到模型最佳的檢測(cè)性能。RetinaNet-AACIDD缺陷檢測(cè)算法在訓(xùn)練過程中,為了減少模型中的參數(shù),將輸入圖片大小調(diào)整為512×512。采用BN(batch normalization)對(duì)數(shù)據(jù)進(jìn)行批量初始化,來提高模型的收斂數(shù)速度。并綜合考慮GPU內(nèi)存利用率和參數(shù)調(diào)整速度,將模型的批處理大小(batch size)設(shè)置為4。在訓(xùn)練中,采用隨機(jī)梯度下降法(stochastic gradient descent,SGD)優(yōu)化網(wǎng)絡(luò)參數(shù),最大迭代次數(shù)(epoch)設(shè)為15。為防止模型過擬合,對(duì)模型的初始學(xué)習(xí)率(learning rate)、動(dòng)量(momentum)、權(quán)重衰減系數(shù)(weight decay)等非網(wǎng)絡(luò)訓(xùn)練所得的超參數(shù)取值進(jìn)行了多次實(shí)驗(yàn),并對(duì)以上超參數(shù)設(shè)置如下:學(xué)習(xí)率設(shè)置為0.005,動(dòng)量設(shè)置為0.9,權(quán)重衰減系數(shù)設(shè)置為0.000 5。

3.4 錨框改進(jìn)前后對(duì)比實(shí)驗(yàn)結(jié)果

在模型改進(jìn)的過程中,為了更好的驗(yàn)證針對(duì)ALU-Xray數(shù)據(jù)集,使用改進(jìn)的K-means聚類算法重新設(shè)計(jì)的錨框?qū)鶞?zhǔn)模型RetinaNet網(wǎng)絡(luò)性能提升的效果,在錨框改進(jìn)前后設(shè)計(jì)了算法對(duì)氣泡、疏松、縮孔、裂紋等不同尺度缺陷的檢測(cè)性能對(duì)比實(shí)驗(yàn),以及算法整體檢測(cè)性能的對(duì)比。以每類缺陷的檢測(cè)平均精度和所有類別的均值平均精度作為模型性能評(píng)價(jià)指標(biāo),對(duì)比結(jié)果如表4、圖8和圖9所示。

表4 錨框改進(jìn)前后對(duì)比實(shí)驗(yàn)結(jié)果(mAP)

圖8 錨框改進(jìn)前后平均精度對(duì)比圖 圖9 錨框改進(jìn)前后mAP對(duì)比圖

可以看出錨框通過使用改進(jìn)的K-means聚類算法重新設(shè)后,對(duì)不同尺度的缺陷平均檢測(cè)精度都有明顯的提升,均值平均精度由原來的91.15%提升到93.28%,提升了2.13%。其中,錨點(diǎn)的改進(jìn)對(duì)小尺度缺陷檢測(cè)性能提升更明顯,如尺度最小的氣泡類缺陷,平均檢測(cè)精度提升了4%,對(duì)于數(shù)據(jù)集中小尺度缺陷較多的裂紋類缺陷提升幅度也相對(duì)較大,提升了2.3%。此外,對(duì)于疏松、縮孔類尺度相對(duì)較大的缺陷,其平均檢測(cè)精度也有所提升?？梢?對(duì)特定的數(shù)據(jù)集如ALU-Xray,使用改進(jìn)的K-means聚類算法重新設(shè)計(jì)與數(shù)據(jù)集中待檢測(cè)目標(biāo)大小相近的錨框,對(duì)檢測(cè)算法的檢測(cè)精度提升是有效的。對(duì)于待檢測(cè)目標(biāo)尺度差距較大的數(shù)據(jù)集,這種改進(jìn)的對(duì)模型檢測(cè)精度的提升效果更顯著。

3.5 混合注意力模塊CS-Block對(duì)比實(shí)驗(yàn)分析

在模型錨框改進(jìn)的基礎(chǔ)上,為了驗(yàn)證混合注意力模塊CS-Block,對(duì)于提高模型在圖像噪聲和復(fù)雜背景環(huán)境下對(duì)缺陷檢測(cè)性能提升的效果,在RetinaNet+NewAnchor的基礎(chǔ)上,設(shè)計(jì)了加入混合注意模塊CS-Block和未加入CS-Block進(jìn)行訓(xùn)練的兩組模型的對(duì)比實(shí)驗(yàn)。在保證模型所有訓(xùn)練參數(shù)相同的前提下,以兩組模型分別對(duì)各類型缺陷檢測(cè)的平均精度和所有類別的均值平均精度作為指標(biāo)進(jìn)行了對(duì)比,如表5所示。其中各類型缺陷檢測(cè)的平均精度和所有類別的均值平均精度對(duì)比如圖10和圖11所示,噪聲和復(fù)雜背景下兩個(gè)模型檢測(cè)效果的對(duì)比如圖12所示。

表5 混合注意力模塊CS-Block加入前后模型性能對(duì)比(mAP)

圖10 混合注意力模塊CS-Block加入前后各類型缺陷的AP對(duì)比圖 圖11 混合注意力模塊CS-Block加入前后mAP對(duì)比圖

圖12 噪聲和復(fù)雜背景下模型檢測(cè)效果對(duì)比圖

通過未加入CS-Block和加入CS-Block訓(xùn)練的算法模型的實(shí)驗(yàn)結(jié)果對(duì)比可以看出,對(duì)于噪聲和背景復(fù)雜的鋁合金鑄件X射線圖像,在模型中加入將通道注意力和空間注意力機(jī)制混合的注意力模塊CS-Block對(duì)檢測(cè)算法性能的性能有顯著地提升效果,均值平均精度從93.28%提升到96.53%,模型整體檢測(cè)精度提升了3.25%。其中,對(duì)氣泡類缺陷的檢測(cè)精度提升效果明顯,從87.9%提升到了92.3%,提升了4.4%。對(duì)疏松、縮孔、裂紋類缺陷也分別提升了2.9%、3.6%、2.1%。

在設(shè)計(jì)混合注意力模塊CS-Block的過程中,為了驗(yàn)證由通道注意力模塊C-Block和空間注意力模塊S-Block組成的CS-Block模塊,相比于只關(guān)注特征通道的通道注意力機(jī)制SENet、ECANet對(duì)模型性能提升的效果,以RetinaNet+NewAnchor作為基準(zhǔn)模型,設(shè)計(jì)了分別加入混合注意力模塊CS-Block、SENet、ECANet的3組模型進(jìn)行對(duì)比實(shí)驗(yàn),以所有類別缺陷的均值平均精度作為評(píng)價(jià)指標(biāo),在保證所有訓(xùn)練參數(shù)相同的情況下,實(shí)驗(yàn)結(jié)果如表6所示。

表6 加入不同注意力模塊的模型檢測(cè)性能對(duì)比

可以看出不同注意力模塊對(duì)模型在鋁合金鑄件X射線圖像中缺陷檢測(cè)的精度都有一定的提升效果,但是相對(duì)于只關(guān)注特征圖通道間信息的通道注意力機(jī)制SENet、ECANet等模型,CS-Block對(duì)模型的提升效果更明顯,模型整體檢測(cè)精度提升了3.25%。這是因?yàn)镃S-Block在通道注意力后加入的空間注意力機(jī)制可以使模型對(duì)缺陷的空間位置信息的特征進(jìn)行更好提取,可以進(jìn)一步提高對(duì)處于復(fù)雜結(jié)構(gòu)背景中缺陷特征的提取能力。

3.6 與經(jīng)典模型和基準(zhǔn)模型的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)模型的檢測(cè)性能,將RetinaNet-AACIDD網(wǎng)絡(luò)模型與常用的目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比實(shí)驗(yàn),包括近年提出的模型精度、速度相對(duì)工業(yè)中使用廣泛的YOLOv3目標(biāo)檢測(cè)算法都有所改進(jìn)的一階段檢測(cè)算法YOLOv5,以及經(jīng)典的二階段檢測(cè)算法Faster R-CNN。同時(shí),也加入了與基線模型RetinaNet的對(duì)比實(shí)驗(yàn)。以更好的對(duì)比RetinaNet-AACIDD模型改進(jìn)后檢測(cè)性能提升的效果。

在實(shí)驗(yàn)過程中,分別改變各個(gè)檢測(cè)算法的模型參數(shù)進(jìn)行了多組實(shí)驗(yàn),最終分別取各組效果最好的一組參數(shù)訓(xùn)練出的模型進(jìn)行檢測(cè)性能的對(duì)比。模型性能對(duì)比指標(biāo)包括對(duì)各類型缺陷檢測(cè)的平均精度、漏檢率,所有類別的均值平均精度和檢測(cè)速度,實(shí)驗(yàn)結(jié)果如表7、表8所示。各檢測(cè)算法的檢測(cè)效果對(duì)比如圖13所示。

表7 各個(gè)檢測(cè)算法性能對(duì)比(mAP)

表8 各個(gè)檢測(cè)算法性能對(duì)比(MR)

圖13 各檢測(cè)算法的檢測(cè)效果對(duì)比圖

通過各個(gè)檢測(cè)算法的性能對(duì)比不難看出RetinaNet-AACIDD在保證了檢測(cè)速度的前提下,實(shí)現(xiàn)了對(duì)各個(gè)類型缺陷更高的檢測(cè)精度。模型整體檢測(cè)性能mAP為96.53%,相對(duì)于YOLOv5、Faster R-CNN分別高出30.4%、15.8%,并具有更低的漏檢率,平均漏檢率為4.55%,相對(duì)YOLOv5、Faster R-CNN分別低了48.4%、25.98%。尤其是在小尺度缺陷的檢測(cè)性能上RetinaNet-AACIDD的檢測(cè)性能的表現(xiàn)更優(yōu)異,如對(duì)于氣泡類缺陷RetinaNet-AACIDD檢測(cè)的平均精度相對(duì)于YOLOv5、Faster R-CNN分別高出31.1%、28.4%,漏檢率則低了44.7%、40.8%。此外,RetinaNet-AACIDD對(duì)基準(zhǔn)模型RetinaNet的檢測(cè)性能提升效果也很顯著,模型總體檢測(cè)精度mAP提升了5.38%,漏檢率則降低了6.93%。對(duì)氣泡、裂紋、疏松、縮孔4類缺陷的檢測(cè)精度分別提升了8.4%、3.9%、4.8%、4.4%。漏檢率則分別降低了8.9%、5.4%、6.2%、7.2%。

這是因?yàn)镽etinaNet-AACIDD的特征提取網(wǎng)絡(luò)采用了更深的ResNet-50殘差網(wǎng)絡(luò),更有利于對(duì)缺陷深層特征的提取,并且加入的CB-Block模塊,通過對(duì)特征圖的通道特征和空間特征進(jìn)行進(jìn)一步的特征提取,可以更好地抑制噪聲、復(fù)雜背景對(duì)不同種類缺陷檢測(cè)的干擾,在CS-Block注意力模塊后加入的多尺度特征整合模塊,則可以通過將淺層紋理位置等特征與深層語義信息進(jìn)行融合,完成深層語義信息的向下傳遞,結(jié)合多尺度特征預(yù)測(cè),最終使得模型對(duì)氣泡、裂紋等尺度較小的缺陷以及復(fù)雜背景下缺陷的檢測(cè)精度顯著提升。RetinaNet-AACIDD檢測(cè)算法對(duì)各類缺陷的檢測(cè)效果展示如圖14所示。

(a) 氣泡 (b) 縮孔

4 結(jié)論

本文制作了一個(gè)大型的鋁合金鑄件內(nèi)部X射線圖像缺陷數(shù)據(jù)集ALU-Xray,并根據(jù)缺陷的類型分別進(jìn)行了標(biāo)注,包括氣泡類4672張、縮孔類3056張、疏松類4832張、裂紋類2080張,共計(jì)14 640張。同時(shí),提出一種基于深度學(xué)習(xí)的面向鋁合金鑄件X射線圖像的缺陷檢測(cè)算法RetinaNet-AACIDD。該算法基于RetinaNet算法進(jìn)行改進(jìn),通過加入由通道注意力模塊C-Block和空間注意力模塊S-Block組成的混合注意力模塊CS-Block,將計(jì)算出的通道注意力權(quán)重和空間注意力權(quán)重對(duì)特征圖的特征信息進(jìn)行進(jìn)一步整合,有效降低了噪聲、背景等無關(guān)信息對(duì)RetinaNet-AACIDD算法檢測(cè)精度的影響,并通過在CS-Block注意力模塊后加入多尺度特征整合模塊,采用橫向連接的方式將淺層特征與上采樣后的深層語義信息自上而下依次融合,完成了深層語義信息的向下傳遞,結(jié)合多尺度特征預(yù)測(cè),最終使得模型對(duì)氣泡、裂紋等尺度較小的缺陷以及復(fù)雜背景下缺陷的檢測(cè)精度顯著提升。并通過對(duì)比實(shí)驗(yàn),證明了RetinaNet-AACIDD算法有著優(yōu)異的檢測(cè)性能,在IoU=0.5時(shí)其mAP為96.53%,相對(duì)于YOLOv5、Faster R-CNN、RetinaNet分別高出30.4%、15.8%、5.38%,并具有更低的漏檢率,平均漏檢率為4.55%,相對(duì)YOLOv5、Faster R-CNN分別低了48.4%、25.98%、6.93%。同時(shí),在本文的實(shí)驗(yàn)環(huán)境下RetinaNet-AACIDD檢測(cè)算法的檢測(cè)速度為13 fps,可以有效實(shí)現(xiàn)工業(yè)生產(chǎn)環(huán)境中的鋁合金鑄件內(nèi)部缺陷實(shí)時(shí)檢測(cè)。