基于深度學(xué)習(xí)的TIG焊背部熔池檢測和熔寬提取

盧振洋，宮兆輝，閆志鴻，翟思寬

(北京工業(yè)大學(xué)汽車結(jié)構(gòu)部件先進(jìn)制造技術(shù)教育部工程研究中心, 北京 100124)

焊縫成形的檢測與控制是焊接自動(dòng)化過程中的基本問題之一，同時(shí)也是一直未能從根本上解決的問題.原因之一是焊縫成形的可靠傳感比較困難，需要在焊接過程中精確地檢測熔寬、熔深或反面熔透，現(xiàn)有的熔池成形傳感方法很多，包括超聲波法傳感熔透[1-4]，電弧電壓、弧光法傳感熔池振蕩信息[5-9]，聲信號(hào)傳感等離子焊小孔行為[10-11]，X射線法傳感焊接熔池形狀[12-14]，紅外測溫法傳感焊接溫度場，視覺傳感器傳感焊接熔池信息等，其中視覺傳感的方式最符合人工焊接的認(rèn)知，也是本文所采用的方法.還有一方面原因是焊接過程的復(fù)雜情況太多，使得采集到的信號(hào)處理難度比較大，精確實(shí)時(shí)的自動(dòng)化處理更是難上加難.

人工智能是近幾年發(fā)展比較快的領(lǐng)域，其中深度學(xué)習(xí)方面更是取得了很多突出成果，傳統(tǒng)的研究方法解決不了的問題，在應(yīng)用深度學(xué)習(xí)方法后，都有了新的進(jìn)展，比如，人臉識(shí)別和人體姿態(tài)研究等[15-20].

近年來深度學(xué)習(xí)在焊接研究中獲得了大量應(yīng)用，主要包括：焊接熔透預(yù)測、熔池圖像識(shí)別、3D增材制造質(zhì)量監(jiān)測等.

熔透預(yù)測方面，山東大學(xué)劉新峰[21]通過提取焊縫特征參數(shù)，利用傳統(tǒng)逆向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)模型對焊接穿孔/熔透狀態(tài)進(jìn)行預(yù)測，但是精度較低；覃科等[22]提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)(convotional neural networks-machine,CNN-M)對形態(tài)復(fù)雜的CO2焊接熔池形態(tài)進(jìn)行識(shí)別的方法，研究結(jié)果表明，CNN-M 在網(wǎng)絡(luò)的訓(xùn)練過程和檢測過程中的識(shí)別率均要優(yōu)于BP 神經(jīng)網(wǎng)絡(luò)；Kim 等[23]利用深度學(xué)習(xí)開發(fā)了熔化極氣體保護(hù)焊(gas metal-arc welding,GMA)焊接接頭背部焊道監(jiān)測算法，研究結(jié)果表明，焊接電壓與電流信號(hào)經(jīng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后可很好地預(yù)測背部焊道的產(chǎn)生情況.

熔池圖像識(shí)別方面的研究主要集中在缺陷檢測，電子科技大學(xué)的張明星[24]以工業(yè)生產(chǎn)所拍攝的鋼管焊縫為試驗(yàn)對象，利用 X 射線和神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷檢測；南昌航空大學(xué)的鄭志遠(yuǎn)[25]將深度學(xué)習(xí)和超聲時(shí)差衍射法(time of flight diffration detector,TOFDD)成像結(jié)合，實(shí)現(xiàn)了缺陷的自動(dòng)識(shí)別與分類；華中科技大學(xué)的鄧星[26]開發(fā)了采用深度學(xué)習(xí)和支持向量機(jī)(support vector machine,SVM)的缺陷檢測系統(tǒng)；Ye 等[27]開發(fā)了基于神經(jīng)網(wǎng)絡(luò)的視覺檢測系統(tǒng)，用于識(shí)別電子元器件中電阻點(diǎn)焊缺陷.

3D增材制造質(zhì)量監(jiān)測方面，Tang 等[28]通過提取3個(gè)特征參數(shù)，利用深度學(xué)習(xí)在增材制造過程中缺陷監(jiān)測方面取得了很好的效果；Shevchik 等[29]結(jié)合聲發(fā)射傳感器及機(jī)器學(xué)習(xí),研究了聲發(fā)射信號(hào)在增材制造過程中質(zhì)量監(jiān)測方面的應(yīng)用.

近5年來深度學(xué)習(xí)技術(shù)在焊接以及基于焊接的增材制造方法的過程控制中均獲得應(yīng)用，因?yàn)閭鹘y(tǒng)的淺層的神經(jīng)網(wǎng)絡(luò)方法采用圖像特征作為網(wǎng)絡(luò)的輸入，所以首先需要對圖像進(jìn)行特征提取，而在特征的提取過程中，許多有用信息可能會(huì)丟失.但是卷積神經(jīng)網(wǎng)絡(luò)直接將圖像所有像素值作為輸入，結(jié)構(gòu)采用深層網(wǎng)絡(luò)，利用大數(shù)據(jù)進(jìn)行訓(xùn)練，避開了特征工程，所以效果更好，相對于傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)大幅提升了特征提取的準(zhǔn)確度和過程控制的響應(yīng)速度.

但是，深度學(xué)習(xí)在焊接方面沒有針對焊接過程中焊接熔池的精確定位與識(shí)別，以及焊接熔寬的提取的研究.

區(qū)別于已有只是對熔透狀態(tài)的研究，本文將利用視覺傳感的方法采集圖像，通過傳統(tǒng)圖像處理與深度學(xué)習(xí)相結(jié)合，來解決熔池圖片處理中精確對熔池狀態(tài)分類和定位熔池邊界、獲得最大熔寬等分類和回歸相關(guān)問題，實(shí)現(xiàn)對熔池的檢測.本文設(shè)計(jì)的系統(tǒng)可直接應(yīng)用到工業(yè)現(xiàn)場，保證實(shí)時(shí)性和準(zhǔn)確率.

1 硬件平臺(tái)搭建和數(shù)據(jù)采集

1.1 硬件設(shè)備搭建

本文焊接方法采用TIG焊，焊接材料為2 mm厚低碳鋼，TIG焊機(jī)采用的是Liler的Aerowave焊機(jī).通過Manta G-145B/C-30fps相機(jī)采集焊接過程的背部熔池圖片，采集卡是NI公司的USB數(shù)據(jù)采集卡，可以通過PC上的LabView進(jìn)行編程控制，傳感器和外觸發(fā)是自主設(shè)計(jì)的硬件電路.

硬件設(shè)備組成如圖1所示,焊接過程采用的是TIG焊脈沖焊，將相機(jī)和數(shù)據(jù)采集卡采集到的圖片和電流電壓信號(hào)傳輸?shù)接?jì)算機(jī),計(jì)算機(jī)對數(shù)據(jù)處理之后可通過電流電壓控制器和伺服電機(jī)控制器調(diào)節(jié)焊接電流電壓和工作臺(tái)運(yùn)動(dòng).在焊接過程中，為了保證采集到清楚的圖片，需要在焊接弧光最弱的時(shí)刻采集圖像，所以設(shè)計(jì)通過外觸發(fā)控制相機(jī)在指定焊接電壓上升沿處采集圖像，通過采集卡采集3路信號(hào)(電流、電壓和外觸發(fā))，硬件平臺(tái)保證了焊接背部熔池圖片對應(yīng)當(dāng)前時(shí)刻的電流和電壓值.

1.2 圖像采集

為了讓深度學(xué)習(xí)的網(wǎng)絡(luò)有一個(gè)健壯的魯棒性，就需要大量的圖像，所以采集的圖像數(shù)量要多，涵蓋的焊接情況也要盡量多.

將Manta相機(jī)的幀率設(shè)置在16 Hz,采像過程中，通過隨機(jī)改變電流的方法來實(shí)現(xiàn)不同的焊接情況.初步將焊接的情況分為正常熔透(見圖2(a))、未熔透(見圖2(b))和燒穿(見圖2(c))3種情況.最終采集得到了10 000張正常熔透照片、10 000張未熔透照片和130張燒穿照片.

2 熔池圖像分析和圖像處理

2.1 熔池圖像分析

圖2(a)所示是一個(gè)比較理想的熔池，邊界清楚，呈階躍型，邊界形狀規(guī)則，熔池內(nèi)部只有少量的熔渣，熔池外部亮度由暗到亮均勻漸變，這類熔池邊界的提取算法容易實(shí)現(xiàn)且較可靠.

但是，在常規(guī)焊接中，熔池圖像干擾因素很多，形態(tài)很復(fù)雜，圖3為各種類型的熔池圖像.圖3(a)中，上部分邊界被熔渣覆蓋，已經(jīng)失去了邊界特征，很難設(shè)計(jì)對應(yīng)的圖像處理算法；圖3(b)中，熔透區(qū)基本被熔渣覆蓋，其圖像特征極易與未熔透混淆；圖3(c)中，熔池高亮區(qū)域很不規(guī)則，當(dāng)前熔透區(qū)與先前熔透區(qū)連接在一起，難以區(qū)分；圖3(d)中，熔池尾部受氧化皮干擾嚴(yán)重，熔池邊界也受熔渣和氧化皮干擾極不規(guī)則；圖3(e)中，熔池的周圍受即將剝落的氧化皮干擾,熔池內(nèi)部受熔渣干擾；圖3(f)中，熔池下半部分邊界模糊，無明顯的階躍信號(hào)，圖像處理困難；圖3(g)中，熔池邊界極不規(guī)則,邊界很難界定.因?yàn)檫@些原因，傳統(tǒng)的圖像處理需要設(shè)計(jì)不同的方法針對可能出現(xiàn)的所有熔池進(jìn)行處理，而且在這之前還需要針對每一種熔池進(jìn)行分類，程序復(fù)雜，可靠性不高.

2.2 圖像處理

對于求邊界的問題，傳統(tǒng)的圖像處理有很多相關(guān)的研究，Reborts邊緣檢測算子、Sobel邊緣檢測算子、差分邊緣檢測等都是比較好的邊緣檢測方法，這些算法大都是基于邊界的梯度變化來進(jìn)行邊緣的檢測，其中Canny邊緣檢測算子的適應(yīng)性很強(qiáng)，本文也基于Canny算子設(shè)計(jì)了一套邊緣檢測算法對熔池邊緣進(jìn)行了提取，具體流程如圖4所示.

其中，Canny邊緣檢測算法可以分為以下5個(gè)步驟：1)應(yīng)用高斯濾波來平滑圖像，目的是去除噪聲；2)找尋圖像的強(qiáng)度梯度；3)應(yīng)用非最大抑制技術(shù)來消除邊誤檢(本來不是但檢測出來是)；4)應(yīng)用雙閾值的方法來決定可能的(潛在的)邊界；5)利用滯后技術(shù)來跟蹤邊界.

高斯濾波器與圖像進(jìn)行卷積，該步驟將平滑圖像，以減少邊緣檢測器上明顯的噪聲影響.大小為(2k+1)×(2k+1)的高斯濾波器核的生成方程式為

1≤i,j≤2k+1

式中：i、j分別為行數(shù)和列數(shù)；H為卷積核.

尋找圖像的強(qiáng)度梯度需要計(jì)算梯度模G和方向θ，其計(jì)算式分別為

θ=arctan 2(Gy,Gx)

式中Gy、Gx分別為水平和垂直方向的差分.

本文選取的σ=1.4，這套算法在邊界梯度明顯的熔池圖像中表現(xiàn)很好，但是當(dāng)出現(xiàn)復(fù)雜焊接熔池圖片和較多外部干擾后，算法的適應(yīng)性就表現(xiàn)得不是很好.算法的圖片處理情況如圖5所示,圖5(a)是圖像干擾少、邊界梯度明顯的圖像處理情況，圖5(b)是圖像邊界復(fù)雜后，圖像處理情況.

從圖5的結(jié)果可以看出，在焊接圖片簡單、邊界梯度不復(fù)雜并明顯的情況下，圖像處理算法可以很好地找出邊界，連接邊界寬度，當(dāng)邊界復(fù)雜后，邊界信息提取得不完整，如果針對每一種情況都設(shè)計(jì)一套算法，算法的復(fù)雜度會(huì)很高，并且無法保證所有的圖片都適合，所以就需要一種新的方法來進(jìn)行邊界的識(shí)別，因此研究中引入了深度學(xué)習(xí)的方法對熔池進(jìn)行處理，通過深度學(xué)習(xí)在特征學(xué)習(xí)方面的優(yōu)勢來解決熔池邊界提取問題.

3 深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建與訓(xùn)練

3.1 深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建

本文的難點(diǎn)在于對熔池寬度的預(yù)測，因?yàn)檫@類回歸問題相較于之前許多研究的分類問題更加復(fù)雜.深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)在圖像處理上表現(xiàn)突出，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測，不僅包含了分類問題也包含了回歸問題.本文用到的是一套深層卷積神經(jīng)網(wǎng)絡(luò)，基于谷歌開源的Tensorflow進(jìn)行的網(wǎng)絡(luò)搭建，不僅算法穩(wěn)定性更高，而且工程化實(shí)現(xiàn)更簡單.

在搭建神經(jīng)網(wǎng)絡(luò)方面，主要考慮了網(wǎng)絡(luò)的可移植性、速度和準(zhǔn)確率，深度神經(jīng)網(wǎng)絡(luò)要在一些嵌入式平臺(tái)上應(yīng)用，比如機(jī)器人和自動(dòng)駕駛，就十分需要一種輕量級(jí)、低延遲(同時(shí)精度尚可接受)的網(wǎng)絡(luò)模型，為了使研究成果可以工程化運(yùn)用，在特征提取的卷積層方面引用了Mobilenet網(wǎng)絡(luò)，它是一個(gè)可適應(yīng)硬件條件有限的輕量化卷積神經(jīng)網(wǎng)絡(luò).Mobilenet的一個(gè)特點(diǎn)是深度可分解[30]，深度可分解就是將標(biāo)準(zhǔn)卷積分解成一個(gè)深度卷積和一個(gè)點(diǎn)卷積(1×1卷積核).深度卷積將每個(gè)卷積核應(yīng)用到每一個(gè)通道，而1×1卷積用來組合通道卷積的輸出，每一層的分解圖如圖6所示，這種分解可以有效減少計(jì)算量，降低模型大小.

由于只有熔池一類需要識(shí)別，需要的網(wǎng)絡(luò)復(fù)雜度不高，但是追求高速的處理效果，因此選擇速度最快的SSD模型進(jìn)行修改，仿照VGG-SSD的結(jié)構(gòu)，用Mobilenet替換VGG進(jìn)行特征的提取.Mobilenet總共有28層——1個(gè)輸入層、2×13個(gè)中間卷積層和1個(gè)輸出層，修改后的神經(jīng)網(wǎng)絡(luò)是在Mobilenet的conv13后面添加了8個(gè)卷積層，然后仿照SSD運(yùn)用特征金字塔結(jié)構(gòu)進(jìn)行檢測的方法，在網(wǎng)絡(luò)的最后總共抽取6層用作檢測，搭建出一套ssd_mobilenet網(wǎng)絡(luò),并通過GPU加速.網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示.

在損失函數(shù)方面采取類似Fast RCNN中的損失函數(shù)，總的損失函數(shù)是localization los(loc)和confidence loss(conf)的加權(quán)和，即

confidence loss(conf)為

localization loss(loc)為

式中：(gcx,gcy,gw,gh)表示groundtruth box；(dcx,dcy,dw,dh)表示default box；(lcx,lcy,lw,lh)表示預(yù)測的box相對于default box的偏移量.

對比Tensorflow公布的5個(gè)在COCO上訓(xùn)練得到的不同組合網(wǎng)絡(luò)模型組合.這些網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確度和精度如表1所示，COCO mAP是評價(jià)網(wǎng)絡(luò)模型準(zhǔn)確度的標(biāo)準(zhǔn)，數(shù)值越大，準(zhǔn)確度越高.可以看到，網(wǎng)絡(luò)的精度和速度是相互沖突的關(guān)系.

從表1可以看出，ssd_mobilenet的速度最快，但是準(zhǔn)確率相對其他的組合形式不是很高，這主要是因?yàn)镃OCO數(shù)據(jù)集的數(shù)據(jù)類別多，但是本研究針對的焊接熔池只有一類，著重點(diǎn)只在識(shí)別和回歸，所以速度有保證的前提下，準(zhǔn)確率在可接受范圍內(nèi).

表1 網(wǎng)絡(luò)模型精度和速度

以上是訓(xùn)練網(wǎng)絡(luò)的基本模型，訓(xùn)練得到的參數(shù)需要應(yīng)用到測試網(wǎng)絡(luò)對新數(shù)據(jù)集進(jìn)行測試，在測試的神經(jīng)網(wǎng)絡(luò)的最后，沒有采用box的形式回歸整個(gè)熔池，而是采用了熔池寬度進(jìn)行回歸.網(wǎng)絡(luò)模型預(yù)測的值是像素個(gè)數(shù)，在對大量焊件進(jìn)行測量之后，計(jì)算出像素?cái)?shù)與實(shí)際長度之間的比例關(guān)系，并將比例以參數(shù)形式編輯到程序中，使神經(jīng)網(wǎng)絡(luò)直接輸出焊接熔池圖片的實(shí)際寬度.

3.2 圖像分類和圖像標(biāo)記

本文將TIG焊反面熔池圖像分為三大類，分別是未熔透、正常熔透和燒穿，通過對比圖片發(fā)現(xiàn)，正常熔透和未熔透照片的特征比較復(fù)雜，單純用圖像處理來分出3類比較難，但是把未燒穿(正常熔透、未熔透)和燒穿分開比較容易，因?yàn)槲礋┑膱D片都是偏紅色，圖片藍(lán)色通道的像素值都小，而燒穿的照片，如圖2(c)所示，由于大面積弧光的影響，藍(lán)色通道的像素值多，通過這一特點(diǎn)可以將圖片分為未燒穿和燒穿，通過圖像處理可以得到3種類型圖片的藍(lán)色色度分布圖，圖像處理過程如圖8所示.先將原圖進(jìn)行轉(zhuǎn)換，得到體現(xiàn)顏色空間的HSV圖像，對HSV圖像進(jìn)行通道的提取，得到藍(lán)色通道的分布情況.

原圖是彩色圖像，轉(zhuǎn)換成HSV圖像，設(shè)(r,g,b)分別是一個(gè)顏色的紅、綠和藍(lán)坐標(biāo)，它們的值是0～1的實(shí)數(shù).H∈[0,360)是角度的色相角，而S,V∈[0,1]分別是飽和度和亮度，HSV的計(jì)算為

V=max

式中：min=min(r,g,b)；max=max(r,g,b).

如圖9(a)所示是燒穿圖片的藍(lán)色區(qū)域，圖9(b)是未燒穿圖片的藍(lán)色區(qū)域，燒穿圖片的藍(lán)色區(qū)域很大，未燒穿的藍(lán)色區(qū)域較小.

統(tǒng)計(jì)部分典型圖片(燒穿、正常熔透和未熔透)的藍(lán)色分量，統(tǒng)計(jì)過程如圖10所示.統(tǒng)計(jì)結(jié)果如表2所示，表格數(shù)據(jù)一定程度上反映了燒穿熔池圖像和未燒穿熔池圖像在藍(lán)色通道最大灰度值的分布情況，燒穿的熔池圖像藍(lán)色通道灰度值255分布得比較多，未燒穿的熔池圖像，藍(lán)色通道最大灰度值很少達(dá)到255且分布少.

表2 藍(lán)色通道灰度值和數(shù)量

將圖片分為燒穿和未燒穿之后，將未燒穿的圖片制作成數(shù)據(jù)集，通常，在訓(xùn)練有監(jiān)督的機(jī)器學(xué)習(xí)模型的時(shí)候，會(huì)將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集.為了更好地進(jìn)行分類，并提高精度，研究中只做了1個(gè)分類，類別為penetration.圖片標(biāo)記用到的是labelImg-master標(biāo)記軟件，標(biāo)記的過程中不標(biāo)記未熔透的照片，訓(xùn)練集和驗(yàn)證集中的熔透照片標(biāo)記是將標(biāo)記的box正好包含住熔池，如圖11所示，box的上下左右邊框正好和熔池相切，box的高度乘以比例系數(shù)可以反映出熔池的寬度.總共標(biāo)記了6 978張正常熔透的照片作為訓(xùn)練集，標(biāo)記了1 000張正常熔透的照片作為驗(yàn)證集，2 022張正常熔透照片和2 865張未熔透的照片未作標(biāo)記，作為測試集，第2節(jié)中分析過的復(fù)雜熔池圖片均在測試集中.

3.3 訓(xùn)練模型

將標(biāo)記好的xml數(shù)據(jù)轉(zhuǎn)換成指定格式的csv文件后，再將csv文件轉(zhuǎn)換成record文件，完成數(shù)據(jù)集的制作,設(shè)置網(wǎng)絡(luò)模型的參數(shù)是訓(xùn)練前的必要準(zhǔn)備.由于重新開始訓(xùn)練參數(shù)可能造成網(wǎng)絡(luò)收斂失敗，因此在網(wǎng)絡(luò)訓(xùn)練開始時(shí)，運(yùn)用ssd_mobilenet的參數(shù)初始化網(wǎng)絡(luò)，之后訓(xùn)練過程就是在更新初始化的網(wǎng)絡(luò)參數(shù).由于需要模型很快地運(yùn)行，因此開始設(shè)置學(xué)習(xí)率為0.004，batch_size=8.在網(wǎng)絡(luò)開始運(yùn)行時(shí)，loss下降明顯，在10 000步之后收斂到1.5左右，停止網(wǎng)絡(luò)訓(xùn)練，進(jìn)行模型測試，測試結(jié)果顯示部分圖片識(shí)別效果很好，還有一部分無法識(shí)別，所以還需要進(jìn)一步降低loss，提高網(wǎng)絡(luò)的精度，重新開始訓(xùn)練，在原有的基礎(chǔ)上改變batch_size=16，學(xué)習(xí)率為0.003，繼續(xù)訓(xùn)練到20 000步，將學(xué)習(xí)率改為0.002，loss有所下降，但不明顯，改變學(xué)習(xí)率為0.001，batch為8，訓(xùn)練過程的loss如圖12所示，定位損失函數(shù)、分類損失函數(shù)和整體損失函數(shù)都是收斂的，60 000步之后將學(xué)習(xí)率調(diào)整0.000 5，繼續(xù)訓(xùn)練到70 000步之后，loss穩(wěn)定在1左右，保存1個(gè)網(wǎng)絡(luò)訓(xùn)練，將保存的72 104步的網(wǎng)絡(luò)用來試之前的測試集，結(jié)果相對之前的模型準(zhǔn)確率有所提高.訓(xùn)練的調(diào)參過程如圖13所示.

4 試驗(yàn)結(jié)果

對測試集數(shù)據(jù)進(jìn)行試驗(yàn)，結(jié)果顯示，用圖像處理分類出燒穿和未燒穿的照片，用深度學(xué)習(xí)分類出的正常熔透和未熔透照片的正確率都是100%.圖14(a)所示，圖片是未熔透，網(wǎng)絡(luò)輸出是在圖片上標(biāo)記未熔透，圖14(b)所示，圖片是正常熔透，網(wǎng)絡(luò)輸出是在圖片上標(biāo)記熔透，同時(shí)檢測熔池寬度，并給出寬度值.

對之前列舉出的圖像處理難以解決的圖像進(jìn)行預(yù)測，得到的結(jié)果如圖15所示，從結(jié)果可以看出，不僅熔池的分類很準(zhǔn)確，而且邊界的定位很精準(zhǔn).

為了試驗(yàn)深度學(xué)習(xí)在預(yù)測寬度上的準(zhǔn)確率，將一系列圖片進(jìn)行人工測試，這一系列的圖片是一次焊接過程中的前、中和后期的一部分圖片，手動(dòng)測出并記錄的熔池寬度與用神經(jīng)網(wǎng)絡(luò)測試這一系列圖片得到的熔池寬度進(jìn)行對比和數(shù)據(jù)計(jì)算，得出平均誤差是1.14%，最大相對誤差5.23%，神經(jīng)網(wǎng)絡(luò)試驗(yàn)的結(jié)果基本吻合人工手動(dòng)測試的結(jié)果，圖16所示是2種結(jié)果的折線圖，計(jì)算每幅圖像平均耗時(shí)23 ms，實(shí)時(shí)性更好.將整套算法集成到工業(yè)計(jì)算機(jī)后，現(xiàn)場測試可以保證準(zhǔn)確率和實(shí)時(shí)性.

5 結(jié)論

1)采用深度學(xué)習(xí)單個(gè)卷積神經(jīng)網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)了熔池的分類和邊界的回歸，在標(biāo)記時(shí)，對于未熔透圖像，不做標(biāo)記，對于熔透圖像，標(biāo)記為目標(biāo)出現(xiàn)，并對熔池邊界進(jìn)行框選，最終訓(xùn)練后的網(wǎng)絡(luò)可同時(shí)實(shí)現(xiàn)熔池的檢測和熔池最寬邊界的提取.

2)將TIG焊熔透信息分為3類：未熔透、熔透和燒穿，通過圖像分析，得出可用圖像處理方式進(jìn)行燒穿的篩選，再用深度學(xué)習(xí)方法進(jìn)行熔透與未熔透分類，2種分類正確率均達(dá)到了100%.相對已有的研究，在熔透狀態(tài)預(yù)測上準(zhǔn)確率更高.

3)對TIG焊熔透視覺圖像進(jìn)行分析可以看出，熔池圖像干擾因素很多，圖像類型復(fù)雜，很難用圖像處理算法準(zhǔn)確可靠地提取熔寬，而采用卷積神經(jīng)網(wǎng)絡(luò)模型，在樣本足夠大的情況下，通過GPU加速，可準(zhǔn)確快速地進(jìn)行熔寬的提取，模型計(jì)算與手動(dòng)測量的最大相對誤差為5.23%，單張圖片處理速度為23 ms，達(dá)到了工程應(yīng)用的水平.