基于邊緣AI 的焊縫X 射線圖像缺陷檢測

王睿，胡云雷，劉衛(wèi)朋，李海濤

(1.河北工業(yè)大學(xué)，天津，300131；2.哈爾濱工業(yè)大學(xué)，先進(jìn)焊接與連接國家重點(diǎn)實(shí)驗(yàn)室，哈爾濱，150001)

0 序言

X 射線焊縫檢測在管道焊接和連接領(lǐng)域應(yīng)用廣泛[1].針對(duì)X 射線焊縫圖像底片的質(zhì)檢，更多的是采用人工檢測的方式，根據(jù)工程師的經(jīng)驗(yàn)來判斷檢測結(jié)果的好壞，在檢測效率和檢測標(biāo)準(zhǔn)上會(huì)受到主觀性的制約.X 射線焊縫圖像的檢測大多基于主觀設(shè)定閾值來凸顯缺陷特征，焊縫缺陷對(duì)比度低，許多時(shí)候不易直接提取特征，而且，基于閾值的方式很難對(duì)缺陷類型進(jìn)行定位和分類[2].隨著計(jì)算機(jī)和人工智能的發(fā)展，許多學(xué)者從傳統(tǒng)的主觀提取X 射線焊縫圖像特征，轉(zhuǎn)向用自動(dòng)學(xué)習(xí)的方式提取X 射線焊縫特征[3-4].劉涵等人[5]采用卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks，CNN)和Softmax 分類器，研究了基于石油鋼管場景下的焊縫的缺陷檢測與識(shí)別.樊丁等人[6]改進(jìn)了模型中的指數(shù)線性單元(exponential linear unit，ELU)函數(shù)，來識(shí)別焊縫X 射線圖像的缺陷.謝經(jīng)明等人[7]通過減少X 射線焊縫識(shí)別網(wǎng)絡(luò)的檢測層數(shù)，提高卷積神經(jīng)網(wǎng)絡(luò)的推理速度.

卷積神經(jīng)網(wǎng)絡(luò)通過反向傳播學(xué)習(xí)缺陷特征，通過數(shù)據(jù)提高模型的魯棒性，利用卷積神經(jīng)網(wǎng)絡(luò)可以有效解決X 射線焊縫缺陷自動(dòng)檢測問題.目標(biāo)檢測的主要算法包括以Faster R-CNN[8]系列為代表的兩階段目標(biāo)檢測算法和以YOLO[9]系列為代表的一階段算法.從焊縫缺陷檢測的已有研究來看，焊縫自動(dòng)辨識(shí)技術(shù)的研究建立在高性能計(jì)算機(jī)之上[10]，所提出的算法參數(shù)較多、權(quán)重較大、訓(xùn)練較慢，更多考慮的是模型單方面性能，缺乏對(duì)硬件資源的全面考慮.

針對(duì)以上問題，結(jié)合X 射線焊縫缺陷檢測任務(wù)特點(diǎn)，算法基于YOLO 目標(biāo)檢測框架，引入輕量級(jí)的倒殘差結(jié)構(gòu)[11]，加快缺陷信息在邊緣硬件上的傳播效率.采用多尺度預(yù)測機(jī)制，精準(zhǔn)識(shí)別不同缺陷特征.跨網(wǎng)格擴(kuò)增缺陷正樣本，加快模型訓(xùn)練過程中的收斂速度.最后，通過計(jì)算機(jī)以及邊緣設(shè)備進(jìn)行焊接質(zhì)檢試驗(yàn)，研究輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的檢測性能和智能硬件的運(yùn)行性能.

1 系統(tǒng)架構(gòu)

邊緣分布式運(yùn)算具有實(shí)時(shí)性、高效性、安全性和低成本等特點(diǎn)[12]，試驗(yàn)采用的邊緣人工智能(artificial intelligence，AI)檢測器的核心部件為K210 芯片，芯片功耗為0.3 W，主要負(fù)責(zé)圖像檢測、控制器運(yùn)算和數(shù)據(jù)處理.K210 是RISC-V 雙核64 位CPU，支持機(jī)器視覺多模態(tài)識(shí)別，具有神經(jīng)網(wǎng)絡(luò)硬件加速器，其處理器運(yùn)算能力為1 TOPS，相比于擁有128 個(gè)CUDA 單元的Jetson Nano，K210 芯片具有良好的性能指標(biāo)和更低廉的價(jià)格.

系統(tǒng)部署流程如圖1 所示，首先組成適用于提取缺陷特征的數(shù)據(jù)集，通過深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建檢測模型，訓(xùn)練出來的模型文件通過勘智官方提供的工具鏈轉(zhuǎn)換成K210 芯片支持的KModel格式，轉(zhuǎn)換后的模型燒錄進(jìn)邊緣識(shí)別設(shè)備.

圖1 系統(tǒng)部署流程圖Fig.1 Flow chart of system deployment

具有辨識(shí)能力的嵌入式設(shè)備可以對(duì)焊縫圖像進(jìn)行區(qū)域性檢測，安裝在檢測器前方的攝像頭將缺陷圖片信息傳遞給K210 芯片，芯片利用自身神經(jīng)網(wǎng)絡(luò)加速器處理輸入圖片，最終獲得目標(biāo)位置類別等處理結(jié)果.通過物聯(lián)網(wǎng)模塊進(jìn)行MQTT 協(xié)議通信，連接物聯(lián)網(wǎng)云平臺(tái)并上傳設(shè)備狀態(tài)信息，云平臺(tái)統(tǒng)計(jì)邊緣AI 設(shè)備的狀態(tài)信息，方便工程人員觀察統(tǒng)計(jì)X 射線焊縫缺陷信息.把邊緣硬件驗(yàn)證算法和云端數(shù)據(jù)存儲(chǔ)相結(jié)合，極大增加了缺陷識(shí)別系統(tǒng)的魯棒性.

2 CNN 模型

2.1 模型架構(gòu)

復(fù)雜模型在工業(yè)場景或低端設(shè)備上難以被使用，工程設(shè)計(jì)需要采用更加輕量的網(wǎng)絡(luò)形式，卷積網(wǎng)絡(luò)不僅要在性能和模型大小之間進(jìn)行衡量取舍，同時(shí)要考慮勘智官方工具鏈對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的支持.YOLO-M 是基于格子預(yù)測，相比較于先產(chǎn)生候選區(qū)域，再生成候選框的雙階段算法，其不僅有更快的檢測速度，也具有良好的準(zhǔn)確率.如圖2 所示，針對(duì)焊縫缺陷多尺度的特征，從3 個(gè)不同輸出層對(duì)X 射線焊縫缺陷進(jìn)行檢測，網(wǎng)絡(luò)可以更好地辨別缺陷特征.

圖2 YOLO-M 架構(gòu)圖Fig.2 YOLO-M architecture diagram

考慮到邊緣設(shè)備的加速器結(jié)構(gòu)和計(jì)算效率等問題，為了充分滿足K210 邊緣設(shè)備的需求特點(diǎn)，算法的主干網(wǎng)絡(luò)采用輕量的線性瓶頸的倒殘差結(jié)構(gòu)，從而實(shí)現(xiàn)在不同圖像細(xì)粒度上聚合并形成圖像特征.隨著神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，網(wǎng)絡(luò)的參數(shù)不斷更新，預(yù)測層結(jié)果不斷接近目標(biāo)真實(shí)結(jié)果，訓(xùn)練結(jié)束后卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)達(dá)到最佳，通過最佳參數(shù)的模型實(shí)現(xiàn)焊縫辨識(shí)任務(wù).

2.2 主干網(wǎng)絡(luò)結(jié)構(gòu)

如圖2 所示，主干網(wǎng)絡(luò)采用倒殘差(inverted residual)結(jié)構(gòu)，倒殘差先使用1 × 1 的卷積(convolution，Conv)結(jié)構(gòu)，目的是將低維空間映射到高維空間，增加維度后采用分離提取的方式來提取特征，由于將傳統(tǒng)的卷積改為了分離提取的方式，使得網(wǎng)絡(luò)的計(jì)算量和參數(shù)大幅減少，線性瓶頸的倒殘差結(jié)構(gòu)的中間層可以增加通道數(shù)來提取更多特征，更好的識(shí)別X 射線焊縫缺陷信息.對(duì)于低維空間圖片信息而言，進(jìn)行線性映射會(huì)保存X 射線焊縫缺陷特征，而非線性函數(shù)會(huì)影響缺陷信息的傳遞，殘差結(jié)構(gòu)兩邊的維度信息通道數(shù)都比較少，可以認(rèn)為是“低維向量”，所以后面線性激活選擇大小為1 ×1 的卷積核.倒殘差結(jié)構(gòu)可以增加缺陷信息在不同層級(jí)之間的傳播能力，保持目標(biāo)向量信息傳輸，有著更好的內(nèi)存使用效率.一個(gè)瓶頸塊的操作運(yùn)算F(x)可以表示為3 個(gè)運(yùn)算操作的組合.

式中：A為 線性變換函數(shù)；N為卷積的每個(gè)通道非線性變換函數(shù)；B為輸出域的線性變換函數(shù)；x為卷積運(yùn)算輸入.

如圖3 所示，深度可分離卷積(deep separable convolution，DSC)將傳統(tǒng)的卷積提取特征的過程分解為兩部分，首先對(duì)輸入每個(gè)通道的圖像信息采用輕量級(jí)的單通道濾波器，分別提取不同信息，然后通過逐點(diǎn)卷積組成新的圖像信息.在達(dá)到同樣的輸出效果的同時(shí)，采用分離提取的方式比傳統(tǒng)卷積參數(shù)減少8～9 倍.

圖3 深度可分離卷積模型Fig.3 Deeply separable convolution model

2.3 目標(biāo)框生成

在X 射線焊縫缺陷檢測訓(xùn)練任務(wù)中，YOLOM 網(wǎng)絡(luò)通過k-mean 聚類產(chǎn)生適合焊縫缺陷的先驗(yàn)框，目的是對(duì)預(yù)測焊縫缺陷識(shí)別框進(jìn)行約束，根據(jù)預(yù)測頭的結(jié)構(gòu)特點(diǎn)，在最小的特征圖上，其單位面積內(nèi)的圖像感知范圍最大，應(yīng)用最大尺度的先驗(yàn)框，適合辨識(shí)尺度較大的目標(biāo).在最大的特征圖上，其單位面積內(nèi)的圖像感知范圍最小，應(yīng)用最小尺度的先驗(yàn)框，適合辨識(shí)尺度小的目標(biāo).

YOLO-M 網(wǎng)絡(luò)輸出三維特征來表達(dá)缺陷坐標(biāo)x和y、寬度w和高度h、缺陷置信度、缺陷類別.其中，缺陷坐標(biāo)x和y、缺陷寬度w、高度h經(jīng)先驗(yàn)框微調(diào)與真正的目標(biāo)缺陷圖像重合，置信度信息判斷是否存在目標(biāo)缺陷，缺陷類別信息判缺陷類型.通過網(wǎng)絡(luò)訓(xùn)練得到最優(yōu)損失函數(shù)，損失函數(shù)L由邊框信息損失函數(shù)Lbox、目標(biāo)置信度損失函數(shù)Lobj和目標(biāo)分類損失函數(shù)Lcls組成.網(wǎng)絡(luò)中置信度預(yù)測和類別預(yù)測均采用二分類交叉熵?fù)p失LBCE(binary cross entropy loss，BCE)，邊框回歸采用Complete IoU(CIoU) loss[13].

式中：tx，ty，tw，th為歸化后的坐標(biāo)和寬、高度信息；gx，gy，gw，gh為 標(biāo)注框的坐標(biāo)和寬、高度信息；cx，cy為預(yù)設(shè)先驗(yàn)框的左上角坐標(biāo)信息；pw，ph為預(yù)設(shè)先驗(yàn)框的寬、高度信息；bx，by，bw，bh為網(wǎng)絡(luò)輸出的坐標(biāo)和寬、高度信息；σ為Sigmoid 歸一化函數(shù)[9]，加快模型收斂；n為輸出信息數(shù)量；ti為 目標(biāo)信息；oi為輸出信息；L為模型損失函數(shù)；Lbox為邊框信息損失函數(shù)；Lobj為 目標(biāo)置信度損失函數(shù)；Lcls為目標(biāo)分類損失函數(shù).

為了增加焊縫缺陷正樣本和加快網(wǎng)絡(luò)的收斂速度，如圖4 所示，網(wǎng)絡(luò)采用跨網(wǎng)格的預(yù)測機(jī)制，模型基于網(wǎng)格預(yù)測，缺陷中心點(diǎn)所在的網(wǎng)格負(fù)責(zé)預(yù)測缺陷，同時(shí)增加相鄰網(wǎng)格作為負(fù)責(zé)預(yù)測缺陷的網(wǎng)格，通過跨網(wǎng)格策略極大提高了網(wǎng)絡(luò)訓(xùn)練時(shí)的收斂速度.網(wǎng)絡(luò)訓(xùn)練中采用數(shù)據(jù)增強(qiáng)策略，隨機(jī)拼接缺陷圖片，增強(qiáng)小目標(biāo)的檢測能力.每一個(gè)網(wǎng)格生成3 個(gè)先驗(yàn)框，先驗(yàn)框通過調(diào)整生成目標(biāo)框，在輸出真正目標(biāo)框之前，模型通過目標(biāo)框分?jǐn)?shù)特征信息篩選和保留最優(yōu)目標(biāo)框.

圖4 預(yù)測機(jī)制Fig.4 Prediction mechanism

3 試驗(yàn)結(jié)果與分析

3.1 X 射線數(shù)據(jù)集

訓(xùn)練算法和驗(yàn)證算法的數(shù)據(jù)集由GDXray 公共數(shù)據(jù)庫[14]和中國石油天然氣管道科學(xué)研究院提供的缺陷底片樣本共同組成.從聯(lián)合數(shù)據(jù)集中獲取2 070 個(gè)具有相同大小的不同缺陷裁剪補(bǔ)丁，圖像的尺寸為128 像素 × 128 像素.圖5、圖6、圖7 和圖8 分別為裂紋(crack，CR)、氣孔(porosity，PO)、未焊透(lack of penetration，LOP)、未熔合(lack of fusion，LOF)缺陷圖像檢測過程可視化.X 射線焊縫缺陷圖像具有模糊、多尺度等特征，其中，裂紋缺陷大小不一，未焊透缺陷對(duì)比度極低，未熔合缺陷長寬對(duì)比大，氣泡缺陷相對(duì)微小.

圖5 CR 圖像檢測過程可視化Fig.5 Visualization of CR image detection process.(a)input；(b) output；(c) confidence；(d) class

圖7 LOP 圖像檢測過程可視化Fig.7 Visualization of LOP image detection process.(a)input；(b) output；(c) confidence；(d) class

圖8 LOF 圖像檢測過程可視化Fig.8 Visualization of LOF image detection process.(a)input；(b) output；(c) confidence；(d) class

3.2 網(wǎng)絡(luò)試驗(yàn)分析

3.2.1 評(píng)價(jià)指標(biāo)

以下指標(biāo)評(píng)估網(wǎng)絡(luò)的綜合性能，例如準(zhǔn)確率(average precision，AP)、平均準(zhǔn)確率(mean average precision，mAP)、每秒幀數(shù)(frames per second，F(xiàn)PS)、模型參數(shù)(model parameters，MP).

式中：YAP為 準(zhǔn)確率；YMP為 模型參數(shù)量；NTP為檢測結(jié)果正確的圖片數(shù)量；NFP為檢測結(jié)果錯(cuò)誤的圖片數(shù)量；c為卷積輸入通道數(shù)；n為卷積輸出通道數(shù)；h，w為卷積核的高度和寬度；1 為偏置因子.

3.2.2 結(jié)果可視化

卷積神經(jīng)網(wǎng)絡(luò)是黑盒模型，通過可視化輸出層的方式驗(yàn)證網(wǎng)絡(luò)的效果.卷積神經(jīng)網(wǎng)絡(luò)輸出三維向量，每一層的二維向量都代表不同含義，如圖5～圖8所示，其中圖5～圖8 中b 圖為可視化缺陷檢測結(jié)果，包括缺陷位置框，缺陷類別和置信度分?jǐn)?shù).圖5～圖8 中c 圖為可視化缺陷檢測過程中置信度信息層.圖5～圖8 中d 圖為可視化缺陷檢測過程中類別信息層.

檢測過程中，缺陷圖片上會(huì)形成特征信息，把特征信息映射到原圖片上產(chǎn)生不同顏色，由于是跨網(wǎng)格預(yù)測機(jī)制，所以缺陷附近也存在不同程度信息，網(wǎng)絡(luò)篩選分?jǐn)?shù)最優(yōu)的信息，通過置信度和類別分?jǐn)?shù)的綜合評(píng)定，網(wǎng)絡(luò)最終確定缺陷類型.

3.2.3 試驗(yàn)對(duì)比

對(duì)比試驗(yàn)網(wǎng)絡(luò)包括主流一階段目標(biāo)識(shí)別網(wǎng)絡(luò)、二階段目標(biāo)識(shí)別網(wǎng)絡(luò)、多階段目標(biāo)識(shí)別網(wǎng)絡(luò)以及基于非邊框預(yù)測的目標(biāo)識(shí)別網(wǎng)絡(luò)，在X 射線焊縫缺陷數(shù)據(jù)集上驗(yàn)證網(wǎng)絡(luò)的有效性，網(wǎng)絡(luò)運(yùn)行硬件的顯卡環(huán)境為Nvidia Gefore GTX TITAN，對(duì)比結(jié)果如表1 所示.

表1 焊縫識(shí)別效果對(duì)比Table 1 Comparison of weld recognition effect

由于裂紋缺陷的尺度不均勻，對(duì)比度較小，不同檢測網(wǎng)絡(luò)對(duì)于裂紋的識(shí)別率較低.具有多尺度檢測機(jī)制的網(wǎng)絡(luò)可以更好識(shí)別不同尺度缺陷，其中，YOLO-M 網(wǎng)絡(luò)對(duì)于不同類型的缺陷都具有較好的檢測效果.特征殘差提取結(jié)構(gòu)使得YOLO-M 網(wǎng)絡(luò)整體參數(shù)量極低，模型權(quán)重僅為3.6 M，較少的計(jì)算量和更高效的殘差結(jié)構(gòu)使得網(wǎng)絡(luò)具有較高的推理速度，在計(jì)算機(jī)上的前向推理速度為100 幀/s，可以實(shí)時(shí)檢測焊縫缺陷.

由于嵌入式平臺(tái)的內(nèi)存限制，只有參數(shù)較少的網(wǎng)絡(luò)才能進(jìn)行部署.YOLO-M 網(wǎng)絡(luò)進(jìn)一步轉(zhuǎn)化為K210 芯片支持的KModel 網(wǎng)絡(luò)格式，轉(zhuǎn)化后的模型權(quán)重僅為3.7 M.識(shí)別過程中，由于攝像頭傳輸信息加大噪聲對(duì)缺陷識(shí)別任務(wù)的影響，所以使用程序?qū)?shù)據(jù)集加入隨機(jī)的椒鹽噪聲和高斯噪聲，提升網(wǎng)絡(luò)識(shí)別能力.如圖9 所示，K210 邊緣設(shè)備具有良好的識(shí)別效果.經(jīng)過測試，由于試驗(yàn)中攝像頭采集性能的限制，K210 設(shè)備上的網(wǎng)絡(luò)檢測速度為11 幀/s，檢測準(zhǔn)確率為93.5%.

圖9 嵌入式設(shè)備和檢測結(jié)果Fig.9 Embedded device and detection results.(a) K210 development board；(b) bubble defect detection results

4 結(jié)論

(1) YOLO 系列檢測模型的計(jì)算量主要集中于主干網(wǎng)絡(luò)，采用倒殘差結(jié)構(gòu)減少模型參數(shù)量，加快了缺陷特征提取速度，模型參數(shù)量僅為3.6 M.從訓(xùn)練可視化圖得出，多尺度檢測網(wǎng)絡(luò)可以學(xué)習(xí)缺陷信息，識(shí)別不同焊縫缺陷.

(2) 由于裂紋缺陷的尺度不均勻，對(duì)比度較小，不同檢測網(wǎng)絡(luò)對(duì)于裂紋的識(shí)別率較低，需要不斷擴(kuò)增數(shù)據(jù)集，提高網(wǎng)絡(luò)的擬合能力.

(3) 在勘智K210 設(shè)備上進(jìn)行試驗(yàn)，YOLO-M 網(wǎng)絡(luò)檢測準(zhǔn)確率為93.5%，檢測速度為11 幀/s，該網(wǎng)絡(luò)可以檢測小目標(biāo)缺陷.試驗(yàn)結(jié)果證明了低成本焊縫自動(dòng)質(zhì)檢的可行性，所提方法可結(jié)合數(shù)字射線成像檢測設(shè)備進(jìn)行缺陷質(zhì)檢試驗(yàn).