基于改進(jìn)的Faster-RCNN 的焊縫特征提取

曹晉晉

（天津理工大學(xué)電氣工程與自動(dòng)化學(xué)院，天津 300384）

在智能焊接工作過程中，焊縫特征提取是實(shí)現(xiàn)機(jī)器人實(shí)時(shí)焊縫跟蹤焊接的基礎(chǔ)[1-3]。在實(shí)際焊接工作中，焊接現(xiàn)場(chǎng)環(huán)境復(fù)雜，焊縫形式多樣，傳統(tǒng)的圖像處理方法識(shí)別模型單一，且在圖像提取過程中易受到弧光、飛濺、煙霧等因素的干擾，焊縫目標(biāo)識(shí)別難度增大，無法完全適應(yīng)復(fù)雜工作場(chǎng)景下的焊縫跟蹤。

近年來，隨著計(jì)算機(jī)圖像處理技術(shù)能力的提升以及深度學(xué)習(xí)理論的迅速發(fā)展，深度學(xué)習(xí)技術(shù)正逐步應(yīng)用于焊縫圖像識(shí)別、焊縫跟蹤和焊縫缺陷檢測(cè)等領(lǐng)域[4-6]。該技術(shù)通過對(duì)大量的數(shù)據(jù)樣本進(jìn)行訓(xùn)練，可以在復(fù)雜的環(huán)境下精準(zhǔn)地識(shí)別目標(biāo)。

焊縫特征識(shí)別系統(tǒng)的結(jié)構(gòu)如圖1 所示，首先通過相機(jī)等視覺系統(tǒng)掃描焊件獲取圖像信息并傳到計(jì)算機(jī)中，接著對(duì)接收的圖像進(jìn)行預(yù)處理和特征提取，進(jìn)而對(duì)識(shí)別出的焊縫進(jìn)行標(biāo)定，將坐標(biāo)轉(zhuǎn)換后發(fā)送到控制器，控制器接收坐標(biāo)信息后，驅(qū)動(dòng)焊槍進(jìn)行焊接完成焊接任務(wù)。

圖1 焊縫識(shí)別系統(tǒng)

在對(duì)焊縫識(shí)別的研究中，樊德金等[7]首次利用最小二乘法對(duì)焊縫進(jìn)行擬合。李鶴喜等[8]針對(duì)焊接機(jī)器人的焊縫識(shí)別視覺建模使用了深度學(xué)習(xí)的方式來構(gòu)建，其網(wǎng)絡(luò)模型中輸入層、隱含層和輸出層構(gòu)成了全連接層，相當(dāng)于一個(gè)分類器用于焊縫目標(biāo)識(shí)別，對(duì)不同類別的焊縫進(jìn)行分類，但未做到定位檢測(cè)。

張宇飛等[9]依托Python 平臺(tái)，開發(fā)出基于OpenCV的焊縫識(shí)別程序。鄒焱飚等[10]還提供了一個(gè)根據(jù)深度分層特征的焊縫檢驗(yàn)單元，有很好的畸變?nèi)萑棠芰Γ梢栽谠肼曃廴镜臅r(shí)序圖中定位焊縫。

陳凱等[11]通過先分類再分割的思想來實(shí)現(xiàn)對(duì)目標(biāo)焊縫的識(shí)別定位。楊中雨等[12]利用自適應(yīng)矩估計(jì)的方法避免了卷積網(wǎng)絡(luò)識(shí)別陷入局部最優(yōu)解。劉美菊等[13]提出了一種改進(jìn)型網(wǎng)絡(luò)壓縮算法，解決了設(shè)備成本高的問題。馬徐峰[14]利用改進(jìn)的SSD 模型對(duì)焊縫進(jìn)行識(shí)別跟蹤，解決了原網(wǎng)絡(luò)特征語義性不強(qiáng)的問題。張永帥等[15]通過全卷積網(wǎng)絡(luò)對(duì)焊縫圖像進(jìn)行點(diǎn)到點(diǎn)的像素級(jí)分類，將高層特征和低層特征進(jìn)行融合，完善邊緣細(xì)節(jié)，有效地提高了圖像分割精度。

深度學(xué)習(xí)經(jīng)典檢測(cè)方法有以下2 種：①單階段檢測(cè)方法。如Yolo 系列，即通過一個(gè)回歸得到結(jié)果；②雙階段檢測(cè)方法，如Faster-RCNN、Mask-RCNN，雙階段相對(duì)于一階段多了一個(gè)預(yù)選步驟，因此速度比較慢。

單階段最核心的優(yōu)勢(shì)是速度非?？?，適合做實(shí)時(shí)檢測(cè)任務(wù)，但是缺點(diǎn)也是有的，即效果通常不會(huì)太好；雙階段檢測(cè)速度通常較慢，但是準(zhǔn)確率較高。

為了克服環(huán)境因素，更高效率地識(shí)別提取焊縫特征信息，本文在Faster-RCNN 網(wǎng)絡(luò)的基礎(chǔ)上，用ResNet網(wǎng)絡(luò)代替VGG 網(wǎng)絡(luò)，優(yōu)化了網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)，克服了傳統(tǒng)模型檢測(cè)精度低、易受環(huán)境影響、訓(xùn)練耗時(shí)長(zhǎng)等問題。ResNet 網(wǎng)絡(luò)既提高了網(wǎng)絡(luò)深度，又避免了梯度消失現(xiàn)象。同時(shí)用FPN（特征金字塔）網(wǎng)絡(luò)來代替原有的RPN 網(wǎng)絡(luò)，更好地解決了多尺度圖像的檢測(cè)問題。從實(shí)驗(yàn)結(jié)果可以看出，隨著訓(xùn)練周期的增加，數(shù)據(jù)集的損失值相應(yīng)減少，焊縫特征檢測(cè)的置信率達(dá)到98%以上，精確率達(dá)到99.6%，能夠滿足焊縫特征提取系統(tǒng)的工作要求。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的焊縫特征提取

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為深度學(xué)習(xí)中的典型模型，在對(duì)圖像數(shù)據(jù)集的訓(xùn)練過程中，獲取被檢測(cè)目標(biāo)的特征，通過反復(fù)訓(xùn)練，達(dá)到在不同的工作環(huán)境下均可完成對(duì)目標(biāo)特征的檢測(cè)識(shí)別效果，保證模型的魯棒性[16]。相比傳統(tǒng)圖像處理方法，深度學(xué)習(xí)法夠獲取圖像特征像素之間的規(guī)律，從而有效地解決因環(huán)境差異引起的圖像識(shí)別困難等問題。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2 所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

1.2 卷積過程

卷積過程首先要對(duì)圖像中的特征點(diǎn)進(jìn)行賦值，然后對(duì)圖像中的賦值區(qū)域進(jìn)行卷積運(yùn)算，得到的結(jié)果作為對(duì)應(yīng)位置新的特征值，然后沿著圖像右方或下方平移該卷積核，繼續(xù)進(jìn)行新特征值的計(jì)算，最終獲得圖像信息。2 個(gè)通道的卷積運(yùn)算過程如圖3 所示。

圖3 2 個(gè)通道的卷積運(yùn)算過程

1.3 模型選擇

目前典型的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)有VGG16、ResNet等。本文利用Pytorch 框架構(gòu)建ResNet18 模型，對(duì)焊縫數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)焊縫圖像的自動(dòng)檢測(cè)提取。

1.4 殘差網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中，提高網(wǎng)絡(luò)性能一般從拓展網(wǎng)絡(luò)的寬度或增加網(wǎng)絡(luò)的深度2 個(gè)方面入手。同一個(gè)模型下，層數(shù)淺的網(wǎng)絡(luò)相當(dāng)于之后在做等價(jià)映射，網(wǎng)絡(luò)層數(shù)深的其性能往往會(huì)更加優(yōu)越。但是在實(shí)際應(yīng)用中，或多或少會(huì)存在信息丟失、損耗等問題，同時(shí)還有可能導(dǎo)致梯度消失或者梯度爆炸，使得很深的網(wǎng)絡(luò)無法訓(xùn)練[17]。

殘差網(wǎng)絡(luò)能夠利用殘差塊實(shí)現(xiàn)數(shù)據(jù)的跳躍鏈接，既能保證信息傳輸?shù)耐暾?，又能降低?xùn)練壓力。如圖4 所示，完成x→F（x）的映射，可以通過2 種方法實(shí)現(xiàn)。左圖為一般方法，右圖則是利用殘差塊推動(dòng)數(shù)據(jù)跨層傳播，對(duì)比可知，殘差映射F（x）－x更容易得到優(yōu)化，同時(shí)更能捕捉到數(shù)據(jù)的波動(dòng)，更具效率。

圖4 普通映射與殘差網(wǎng)絡(luò)映射示意圖

殘差塊示意圖如圖5 所示，2 個(gè)3×3 卷積層的連接順序均為卷積層、規(guī)范化層和激活函數(shù)。跳躍連接即從輸入端直接到達(dá)最后的ReLU 激活函數(shù)前。通道數(shù)相同時(shí)，殘差塊依照左側(cè)流程圖疊加；若不同時(shí)，輸入數(shù)據(jù)需要通過1×1 卷積層變化后，才可以繼續(xù)疊加。

圖5 殘差塊示意圖

1.5 FPN 算法

RCNN 網(wǎng)絡(luò)在目標(biāo)檢測(cè)時(shí)，特征識(shí)別全部作用在最后一層，當(dāng)處理小目標(biāo)物體檢測(cè)時(shí)，往往因?yàn)檎Z義信息的丟失，導(dǎo)致檢測(cè)結(jié)果不夠準(zhǔn)確。在實(shí)際焊接工作中，待識(shí)別的物體各種尺度都有，為了提升檢測(cè)精度和效率，更好地完成多尺度的目標(biāo)檢測(cè)，使RCNN網(wǎng)絡(luò)更好地應(yīng)用在焊縫檢測(cè)中，本文選擇FPN 算法對(duì)圖像進(jìn)行處理。

一般的圖像多尺度檢測(cè)方法圖6 所示，對(duì)原始圖像逐層提取特征，然后進(jìn)行擬合、識(shí)別、預(yù)測(cè)，這種方法的優(yōu)點(diǎn)是能夠完成不同尺度下的目標(biāo)檢測(cè)，但是在實(shí)際應(yīng)用中，占用的系統(tǒng)內(nèi)存較大，工作量繁重。

圖6 多尺度金字塔

FPN 網(wǎng)絡(luò)的檢測(cè)流程如圖7 所示。圖像的分辨率信息和語音信息由不同網(wǎng)絡(luò)完成，原始圖像經(jīng)卷積處理后，通過1×1 卷積層變成相同的尺寸，這樣做的目的是將不同網(wǎng)絡(luò)得到信息進(jìn)行疊加，在保證檢測(cè)精度的同時(shí)又能提升工作效率，更適合焊接工作中的小目標(biāo)識(shí)別。

圖7 FPN 網(wǎng)絡(luò)

2 實(shí)驗(yàn)步驟和流程

2.1 數(shù)據(jù)集制作

數(shù)據(jù)集的制作一般需要將圖片名稱、格式和尺寸進(jìn)行統(tǒng)一，在進(jìn)行分類實(shí)驗(yàn)時(shí)，不同的數(shù)據(jù)集需要存放在不同的文件夾下，收集到的圖片質(zhì)量一定程度上影響著模型訓(xùn)練的結(jié)果。數(shù)據(jù)集如圖8 所示。

圖8 數(shù)據(jù)集

2.2 網(wǎng)格訓(xùn)練與測(cè)試

本實(shí)驗(yàn)的運(yùn)行環(huán)境如下：CPU 使用的是Intel Core i9-12900kf，主頻5.5 GHz，運(yùn)行內(nèi)存32 G，頻率5 400 Hz，GPU 使用的是GeForce RTX 3090 24G 顯存的版本，系統(tǒng)的NVIDIA 的CUDA 版本是11.1，采用Windows10 的操作系統(tǒng)，搭建的是Anaconda 的Python3.7 的編程環(huán)境，采用的是PyTorch 的深度學(xué)習(xí)框架。本文通過平移和翻轉(zhuǎn)的方式擴(kuò)充采集的焊縫數(shù)據(jù)集。訓(xùn)練網(wǎng)絡(luò)的焊縫圖像共10 000 張，包括2 000張?jiān)紙D像和8 000 張?jiān)鰪?qiáng)圖像。其中8 000 張圖片用作訓(xùn)練，2 000 張圖像用作測(cè)試。

本次實(shí)驗(yàn)采取的是Faster-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練模型是ResNet50。其中輸入到網(wǎng)絡(luò)的圖片大小壓縮成了756×1 008 的保持原比例的像素。模型訓(xùn)練的總的訓(xùn)練步數(shù)分別為5、10、20 個(gè)周期，優(yōu)化器采用的是SGD 優(yōu)化器，基礎(chǔ)的學(xué)習(xí)率是0.02，沖量設(shè)置是0.9，權(quán)值衰減系數(shù)是0.000 1。每次的訓(xùn)練樣本是80 張圖片。

對(duì)訓(xùn)練集和測(cè)試集分別進(jìn)行圖像片大小的調(diào)整、圖像增強(qiáng)、數(shù)據(jù)集的擴(kuò)充以及圖像標(biāo)準(zhǔn)化的處理，其主要目的是讓圖像數(shù)據(jù)將轉(zhuǎn)化為模型能夠接受的數(shù)據(jù)類型及格更適合進(jìn)行實(shí)驗(yàn)。通過標(biāo)準(zhǔn)化后，使數(shù)據(jù)更符合數(shù)據(jù)中心化分布規(guī)律，能增加模型的泛化能力。

2.3 訓(xùn)練過程

在正向傳播過程中，數(shù)據(jù)會(huì)按照各層網(wǎng)絡(luò)順序依次傳播，并記錄每次圖像的數(shù)據(jù)與標(biāo)簽。輸出結(jié)果的有效性通過損失值反映，當(dāng)數(shù)據(jù)結(jié)果與期望值存在較大差異時(shí)，數(shù)據(jù)會(huì)通過反向傳播來修正誤差，并記錄下每次的損失值進(jìn)行匯總。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)評(píng)估

分別設(shè)置不同的訓(xùn)練周期對(duì)采集到的數(shù)據(jù)進(jìn)行訓(xùn)練，記錄并繪制損失率曲線圖。通過觀察曲線圖的走勢(shì)可以看出模型是否有效，結(jié)果是否準(zhǔn)確。不同訓(xùn)練周期下的訓(xùn)練集與測(cè)試集的損失率曲線圖如圖9—圖11 所示，訓(xùn)練結(jié)果如表1 所示。觀察可知，損失率隨著訓(xùn)練時(shí)長(zhǎng)的增加均有不同程度的降低，這說明沒有過擬合現(xiàn)象的發(fā)生。周期為10 時(shí)，2 條曲線已經(jīng)幾乎重合，周期為20 時(shí)，準(zhǔn)確率達(dá)到99.6%。

表1 不同訓(xùn)練周期的訓(xùn)練結(jié)果

圖9 訓(xùn)練周期為5 時(shí)的損失率

圖10 訓(xùn)練周期為10 時(shí)的損失率

圖11 訓(xùn)練周期為20 時(shí)的損失率

3.2 焊縫特征提取結(jié)果

選取2 000 張焊縫圖像進(jìn)行焊縫特征的提取實(shí)驗(yàn)。焊縫圖像原圖如圖12 所示，焊縫特征提取結(jié)果如圖13所示。圖中方框是跟蹤到的焊縫區(qū)域。焊接時(shí)通常伴隨著不同程度的弧光、飛濺等的干擾，有些強(qiáng)干擾甚至?xí)⑻卣鼽c(diǎn)區(qū)域完全淹沒。焊縫特征提取結(jié)果顯示，本文所提方法能克服焊接時(shí)的噪聲干擾，可以較為準(zhǔn)確地定位焊縫，保證了焊縫提取的精度。實(shí)驗(yàn)結(jié)果表明大部分檢測(cè)結(jié)果的置信度都在98%以上，精確率達(dá)到99.6%。

圖12 焊縫圖像原圖

圖13 焊縫特征提取結(jié)果

4 結(jié)束語

本文使用Pytorch 搭建ResNet50 模型，為了更加準(zhǔn)確高效地識(shí)別提取焊縫，對(duì)模型結(jié)構(gòu)進(jìn)行調(diào)整優(yōu)化，通過反復(fù)訓(xùn)練，繪制出數(shù)據(jù)損失率的曲線圖，驗(yàn)證了模型的有效性。在使用該網(wǎng)絡(luò)對(duì)焊縫圖像識(shí)別的的實(shí)驗(yàn)中，焊縫識(shí)別的準(zhǔn)確率達(dá)到了99.6%，滿足了實(shí)際工作的要求。