管道焊接激光視覺跟蹤的定位方法研究

甘文龍,羅會信,王中任

(1.武漢科技大學機械自動化學院,湖北 武漢 430081；2.湖北文理學院機械與汽車工程學院,湖北 襄陽 441053)

1 引 言

隨著現(xiàn)代工業(yè)的發(fā)展,自動化焊接技術(shù)在船體、石化管道、航空等領(lǐng)域的應(yīng)用越來越廣泛。在石化施工行業(yè),由于大直徑厚壁管對接焊工作量大且質(zhì)量要求高,因此管道全位置自動焊成為國內(nèi)外的研究熱點,而對焊縫的識別以及精確定位是實現(xiàn)自動焊接過程的關(guān)鍵問題之一。因此,研究一種針對厚壁管道的焊縫區(qū)域位置精確定位具有重要意義[1-3]。

從國內(nèi)外的文獻來看[4-8],在管道焊接自動化的過程中對焊縫區(qū)域的定位、識別主要是通過在焊接過程中加入各類型傳感器,例如電弧傳感器、電磁傳感器、超聲波傳感器等[5]。近年來,隨著視覺技術(shù)的發(fā)展,視覺傳感系統(tǒng)由于其豐富的視覺信息、非接觸、測量精度高等優(yōu)點被廣泛用于焊接跟蹤中。黎咸西等人[6]通過分析非規(guī)則焊縫坡口中心線的點坐標找出特征信息?；羝降萚7]研究一種基于結(jié)構(gòu)光的V型焊縫實時圖像處理方法,該方法首先對圖像進行閾值處理和邊緣檢測,基于斜率分析和最小二乘法相結(jié)合的檢測方法獲取圖像的特征信息。但是該方法定位的特征點坐標精度不高,難以滿足高精度的焊接要求。楊雪君等[8]也對結(jié)構(gòu)光的V型坡口焊縫特征點的識別定位做了相關(guān)研究,通過模板匹配的方法提取焊縫的初始位置,然后采用分離像素法對激光條紋分成多個區(qū)域,分別擬合直線相交定位特征點。該方法提取的特征點位置坐標精度上可以滿足使用要求,但是在分區(qū)域擬合直線時是靠經(jīng)驗劃分,魯棒性不是很強。

在實際的焊接工業(yè)環(huán)境中,焊縫圖像的獲得一般有主動視覺傳感和被動視覺傳感兩大類[9-10]。主動視覺是通過外加光源照明,并附加組合濾光系統(tǒng)來獲得焊縫圖像,較被動視覺方式有更高測量精度和抗干擾性?；诖?本文提出一種以直線激光為外加光源,CCD攝像機為圖像提取工具、以視覺處理系統(tǒng)為內(nèi)核,基于幾何形狀的模板匹配技術(shù)實現(xiàn)對焊縫圖像的初步識定位,然后通過角點檢測的方式精確定位焊縫特征點。

2 激光視覺傳感系統(tǒng)

采用自主研發(fā)的激光視覺傳感器系統(tǒng)結(jié)構(gòu)如圖1(a)所示,該系統(tǒng)由三部分構(gòu)成:視覺傳感系統(tǒng)、爬行焊接機器人系統(tǒng)及主控一體機。其中視覺傳感系統(tǒng)由一個數(shù)字攝像機和“一字”線激光發(fā)射器組成。本實驗選用的是型號為acA640-90 gm-Basler ace的CCD攝像機,激光器中心波長為664 nm,功率為200 mW。攝像機安裝于焊槍前方60 mm處,為了保證焊縫圖像能較好地反映焊槍與焊縫的偏差情況,采用攝像機的光軸與管道的徑向方向一致,也就是垂直于管道平面,激光發(fā)射器以一定的角度斜射在焊縫坡口上,確保攝像機可以捕獲激光條紋。線激光發(fā)射器射出特定頻率激光條紋打在工件表面并由工件表面特征調(diào)制成特定形狀的激光條紋,如圖1(b)所示。為了滿足焊接工藝,保證焊接質(zhì)量,厚管道焊接母材對接時必須有一定的間隙,這樣可以保證焊接過程中熔透,故激光打在坡口上在根部會有兩個特征點c、d。CCD攝像機用于拍攝包含激光條紋的圖像傳輸?shù)街骺赜嬎銠C,計算機通過一定的圖像處理算法獲得所需的焊縫特征點的圖像坐標以及對機器人狀態(tài)的讀取,得出實際焊槍與焊縫的偏差,送給控制系統(tǒng)處理,最后由執(zhí)行機構(gòu)完成自動糾偏。

圖1 激光視覺傳感器和V型坡口的示意圖

3 焊縫初始位置區(qū)域的定位

3.1 模板匹配提取焊縫初始位置

在實際現(xiàn)場焊接過程中,由于外部焊接環(huán)境的強烈弧光以及坡口的不規(guī)則性對坡口條紋產(chǎn)生的反射等因素的影響,對CCD攝像機在圖像的獲取和傳輸中會引入大量的噪聲,這些干擾會對后續(xù)的焊縫識別定位產(chǎn)生不利影響,如圖2(a)所示。焊接過程產(chǎn)生的主要是離散的噪聲以及脈沖噪聲等尖波干擾,通過實際分析采用中值濾波進行去噪處理[11],中值濾波是一種典型的非線性濾波方式,其基本思想是用像素點鄰域灰度值的中值來代替該像素點的灰度值,可以有效地去除脈沖噪聲、椒鹽噪聲的同時又能保留圖像的邊緣細節(jié)。在鏡頭前面放置線偏振鏡,可以弱化反光的影響,綜合處理得到的圖像如圖2(b)所示。

圖2 圖像對比

為了準確地識別、定位焊縫區(qū)域,本文采用基于模板匹配的方式對焊接中焊縫位置的識別。在進行模板匹配時,合適的模板選取決定著匹配精度和速度。根據(jù)激光條紋與背景區(qū)域的較大差異性選取模板圖像如圖3(a)所示,該區(qū)域只占原始圖像面積的9.12%,可以將計算時間縮小,去除干擾。模板匹配[12]的原理是:通過模板中每個點的灰度值與模板區(qū)域移動在圖像中灰度值的差值,使用歸一化相關(guān)系數(shù)(NCC)相似度量來決定相似程度,即:

(1)

圖3 模板匹配及閾值分割

3.2 圖像閾值分割

圖像由具有不同灰度集合的目標區(qū)域與背景區(qū)域組成。采用圖像閾值分割的目的主要就是為了分離出背景圖像(黑色)與前景圖像(結(jié)構(gòu)光白色),分離后針對前景圖像進行系列處理獲得需要的特征點。激光條紋和背景圖像之間的灰度值差別較大,本文采用Otsu自適應(yīng)閾值方法分割出合適的閾值,即:

(2)

式中,g(x,y)為處理后圖像在點(x,y)處的灰度值；f(x,y)為原始圖像的灰度值；其中T為Otsu算法分割獲取的最佳分割閾值。閾值處理后結(jié)果如圖3(c)所示,在閾值處理后,圖像中的激光條紋區(qū)域的信息被保留下來,而無關(guān)的背景區(qū)域被很大程度的去掉。

4 焊縫特征信息提取

4.1 激光條紋邊界角點檢測

本文采用Shi-Tomasi角點檢測法確定條紋邊界線,即由閾值處理首先得到激光條紋的二值化圖像；再通過邊緣檢測來得到邊緣,如圖4所示。

圖4 邊緣檢測

邊緣檢測后的激光條紋的上下邊界比較“平齊”,放大的局部如圖中的1、2、3段所示,表現(xiàn)為典型的L型角點；對邊緣線進行亞像素角點檢測得到角點坐標。角點檢測作為圖像處理中的重要一步,其檢測的提取方法分為兩類:一是尋找圖像中最大的曲率點或圖像中曲率變化大的點；二是基于計算灰度圖像的灰度分布來得到最大變化灰度強度值來定義為角點[13]。Shi-Tomasi檢測算法工作原理是計算圖像像素所在位置的梯度。以一階導(dǎo)數(shù)作為像素所在位置的梯度計算,假設(shè)該像素位置的一階導(dǎo)數(shù)為局部區(qū)域最大值,且在水平方向和豎直方向上均有變化,即在2個方向的梯度局部最大,則認為該像素位置為角點。設(shè)灰度圖像I在點(x,y)處的灰度值為I(x,y),以該點為中心建立一個w×w的窗口,將窗口在圖像上移動(Δx,Δy),計算圖像中的灰度變化E。局部圖像的灰度變化程度用近似的互相關(guān)函數(shù)E(x,y)表示,公式如下:

(3)

由于角點是灰度值變化最大的點,因此需要求得E(Δx,Δy)的最大值,對其進行泰勒展開:

(4)

Ix=I?[-1,0,1]=?I/?x

Iy=I?[-1,0,1]T=?I/?y

(5)

w(x,y)=g(x,y,σ)

其中,Ix和Iy為灰度圖像在x和y方向的偏導(dǎo)數(shù)；符號?表示卷積；w(x,y)為高斯濾波器。定義一個2×2的矩陣T:

(6)

因此,E(Δx,Δy)可以表達為矩陣形式:

(7)

設(shè)α、β為矩陣T的兩個特征值,通過特征值可以將圖像區(qū)域分為三類[14],如圖5所示。

(1)平滑區(qū)域:α≈0且β≈0,兩個特征值都很小,因此在任何方向的強度變化都可以忽略不計；

(2)邊緣區(qū)域:α?β或β?α,兩個特征值之間的差異很大,意味著在一個方向強度顯著變化；

(3)角點區(qū)域:α≈β,αβ?0,意味著在各個方向的強度變化很大,表現(xiàn)出特征點性質(zhì),即角點。

定義R為兩個特征值中的最小值:

R=min(α,β)

(8)

Shi-Tomasi算法將R值與預(yù)先設(shè)置的閾值進行比較,若R大于最小閾值,即β≥α且α≥kλmax,其中k為錯誤角點響應(yīng)抑制常數(shù),通常取0.04(Harris and Stephens,1988),λmax為圖像中任意像素點較小特征值中的最大值,則判定此像素點為強角點。

圖5 特征值分布

4.2 角點亞像素提取

采用Shi-Tomasi角點檢測算法得到角點位置后,為了提取更精確的角點位置,需要計算亞像素的角點位置,其原理如圖6(a)所示,基于向量正交法的亞像素角點定位。假設(shè)點p為像素角點,真實角點位于q,DIpi表示在q的一個鄰域點pi處的圖像梯度,該梯度向量與由q點和pi點組成的向量正交,由于圖像像素的離散化,以誤差ε表示兩者的正交程度,即:εi=DIpi·(q-pi),因此,計算角點亞像素位置坐標即對以下函數(shù)求最小值:

(9)

對f 求偏導(dǎo),通過將εi設(shè)為0建立系統(tǒng)方程如下:

(10)

(11)

計算得到q的解即為精確的角點位置。求得激光條紋邊界線的角點亞像素位置及坐標如圖6(c)所示。

圖6 中心線及特征點提取

4.3 直線擬合及焊縫特征信息提取

本文采用中值法,以提取的邊界亞像素精確角點坐標作為輸入點,擬合直線,擬合方程為:

y=a0+a1x

(12)

(13)

令得到的上下邊界直線方程為:

(14)

聯(lián)立得到激光中心線方程為y=((k1+k2)/2)x+((b1+b2)/2),提取的中心線如圖6(b)所示。以L1、L2的交點作為左焊縫的特征點坐標,L3、L4的交點作為右焊縫的特征點坐標,再以這兩點作為基準取平均得到焊縫中心位置坐標P(x0,y0)。

5 實驗結(jié)果與分析

為了驗證提出的算法準確性與穩(wěn)定性,搭建實驗平臺。實驗所用焊接母材管道規(guī)格為Φ625×25,焊接接口坡口角度為30°,形成坡口寬度為18 mm。保證焊縫圖像在攝像機視野范圍內(nèi)的前提下,對攝像機在同一高度下拍攝焊縫中心不同像素位置(250～450像素)的50幅圖像進行檢測,選取隨機的5張圖片將檢測得到的結(jié)果坐標與人工判斷的特征點坐標進行比較,得到的對比如表1所示。由表中可以看出,識別算法有較高的精度。

表1 特征點誤差分析

根據(jù)拍攝的50幅圖像,計算識別特征點的定位誤差,得到如圖7所示。打在焊材表面的特征點,即左、右坡口的提取平均誤差在0.4個像素以內(nèi)；打在坡口上的特征點,即左、右焊縫的提取在0.6個像素以內(nèi),其主要原因是坡口的不規(guī)則以及反光帶來的精度下降,整體的平均誤差在0.5個像素以內(nèi),結(jié)果證明有較高的定位精度。

圖7 特征點提取誤差

6 結(jié) 語

本文利用自主設(shè)計的激光視覺傳感系統(tǒng)研究了對管道V型坡口焊縫的識別與精確定位,簡單快速且定位精度高。采用模板匹配方法,基于相關(guān)性系數(shù)比較來實現(xiàn)目標區(qū)域的初步定位,能夠準確獲取焊縫初始區(qū)域位置；然后采用Shi-Tomasi算法對初步定位區(qū)域?qū)崿F(xiàn)對特征點的精確定位。通過實驗對焊接現(xiàn)場的50幅圖像進行檢測,識別定位的特征點坐標具有較高的精度為后續(xù)的實現(xiàn)自動跟蹤焊接奠定了基礎(chǔ)。

參考文獻:

[1] U Reisgen,M Purrio,G Buchholz,et al.Machine vision system for online weld pool observation of gas metal arc welding processes[J].Weld World,2014,58(5):707-711.

[2] SUN Nongliang,CUI Hongxing,LIANG Shaohua,et al.Method for initial point positioning of micro butt welding seam[J].Optics and Precision Engineering,2017,25(3):765-771.(in Chinese)

孫農(nóng)亮,崔紅星,梁少華,等.微細對接焊縫初始點定位方法[J].光學 精密工程,2017,25(3):765-771.

[3] Haiyong Chen,KunLiu,GuanshengXing,et al.A robust visual servo control system for narrow seam double head welding robot[J].Int J Adv Manuf Technol,2014,71:1849-1860.

[4] Shi YH,Yoo WS,Na SJ.Mathematical modeling of rotational arc sensor in GMAW and its applications to seam tracking and endpoint detection[J].Sci Technol Weld Joining,2006,(11):723-730.

[5] Xu Y L,Zhong J Y,Ding M Y,et al.Chen SB(2013)The acquisition and processing of real-time information for height tracking of robotic GTAW process by arc sensor[J].Int J Adv Manuf Technol,2013,65:1031-1043.

[6] LI Xianxi,XIONG Zhenyu.Idetification of Image characters for multi-pass welding seam based on vision sensing[J].Journal of Nanchang Hangkong University:Natural Sciences,2011,(1):53-57.(in Chinese)

黎咸西,熊震宇.基于視覺傳感的多層多道焊縫圖像特征的識別[J].南昌航空大學學報:自然科學版,2011,(1):53-57.

[7] HUO Ping,LI Junmeng,ZENG Hanlin,et al.The real-time image processing V-shaped seam method based on a structure light[J].Electric Welding Machine,2014,44(12):55-60.(in Chinese)

霍平,李軍萌,曾翰林,等.一種基于結(jié)構(gòu)光的V型焊縫實時圖像處理方法[J].電焊機,2014,44(12):55-60.

[8] YANG Xuejun,XUYanling,HUANGSeji,et al.A recognition algorithm for feature point of V-Groove welds based on structured light[J].Journal of Shanghai JiaoTong University,2016,50(10):1573-1576.(in Chinese)

楊雪君,許燕玲,黃色吉,等.一種基于結(jié)構(gòu)光的V型坡口焊縫特征點識別算法[J].上海交通大學學報,2016,50(10):1573-1576.

[9] Wei Huang,RadovanKovacevic.A Laser-Based Vision System for Weld Quality Inspection[J].Sensors 2011,11,506-521.

[10] Xuewu Wang.Three-dimensional vision-based sensing of GTAW:areview[J].Int J Adv Manuf Technol,2014,72:333-345.

[12] Khalid M Hosny.Robust template matching using orthogonal legendre moment invariants[J].Journal of Computer Science,2010,6(10):1083-1087.

[13] ZHU Lijuan.Novel corner detection algorithm incorporating bilateral kernel function[J].Laser & Infrared,2013,43(5):569-572.(in Chinese)

朱麗娟.一種雙邊核函數(shù)的新Harris角點檢測算法[J].激光與紅外,2013,43(5):569-572.

[14] ZOU Zhiyuan,AN Bowen,CAO Fang,etal.Adaptive corner point detection of infrared images[J].Laser & Infrared,2015,45(10):1272-1276.(in Chinese)

鄒志遠,安博文,曹芳,等.一種自適應(yīng)紅外圖像角點檢測算法[J].激光與紅外,2015,45(10):1272-1276.