多特征提取與BT-SVM的焊縫表面缺陷檢測

胡曦,余震,劉海生

(1.武漢科技大學(xué) 機(jī)械自動化學(xué)院,武漢 430081; 2.湖北文理學(xué)院 機(jī)械工程學(xué)院,湖北襄陽 441053)

在自動化焊接生產(chǎn)中,焊縫缺陷自動檢測分類是智能焊接中的重要組成部分,焊縫質(zhì)量檢測是保證焊接質(zhì)量的重要手段[1]。缺陷圖像的特征提取是實現(xiàn)缺陷檢測的基礎(chǔ),其速度和精確性將直接影響到缺陷提取的實時性與后續(xù)分類的準(zhǔn)確性[2-3]。目前基于機(jī)器視覺的焊縫缺陷特征提取主要有主動視覺和被動視覺兩種方法,基于被動視覺的焊縫缺陷特征提取方法是通過工業(yè)相機(jī)直接采集焊縫表面圖像[4],然后經(jīng)過圖像處理,根據(jù)焊縫表面的缺陷幾何形狀特點和灰度分布特性獲取焊縫表面質(zhì)量信息。該方法適用于焊縫缺陷面積較大的缺陷類型,如焊穿、焊瘤、焊縫成型不良等,采用被動視覺能更加準(zhǔn)確地獲得焊縫外觀缺陷信息[5]。但由于焊接管道全位置光照強(qiáng)度存在差異,而被動視覺方法受光照影響較大,導(dǎo)致焊縫缺陷分類精度較低,并且相機(jī)軸線垂直于管道,采集到的圖像只具有二維特征,而對于一些二維特征不明顯,需用到三維特征的缺陷類型,如咬邊及類似缺陷則不容易被檢測出來?；谥鲃右曈X的焊縫缺陷特征提取方法,與被動視覺相比,具有精度高、抗干擾能力較強(qiáng)、受光照變化影響小等優(yōu)點[6]。它通過線激光器發(fā)射一條垂直于焊縫的激光線,然后提取激光條紋圖像進(jìn)行特征提取,從而獲得焊縫表面三維信息。針對不同類型的焊縫外觀缺陷,其線激光輪廓特征不同,因此可通過提取線激光輪廓特征來判定缺陷類型。然而由于焊縫表面成形復(fù)雜,僅通過單一線激光特征進(jìn)行缺陷識別不太準(zhǔn)確,隨機(jī)性較大。本文在綜合考慮以上各方面后,擬結(jié)合主動視覺和被動視覺兩種方法下獲得的焊縫圖像特點,分別提取多種有代表性的焊縫特征,訓(xùn)練支持向量機(jī)(Support vector machine,SVM)分類器,去提高焊縫缺陷檢測準(zhǔn)確率。

SVM是早期由Vapnik等提出的一種統(tǒng)計監(jiān)督學(xué)習(xí)分類器[7-8],它基于結(jié)構(gòu)風(fēng)險最小化(SRM)構(gòu)造最優(yōu)超平面,最大限度地減小泛化誤差的上限,故SVM具有良好的分類能力[9],并且現(xiàn)已廣泛應(yīng)用于故障診斷、缺陷識別、語音驗證、文本檢測等模式識別問題中。文獻(xiàn)[10]為實現(xiàn)對單向閥的故障診斷,從單向閥的時域振動信號入手,選取峭度、近似熵及裕度因子3種時域指標(biāo)作為特征參數(shù),訓(xùn)練SVM分類器,并用測試樣本進(jìn)行故障診斷實驗,準(zhǔn)確率達(dá)到98%。文獻(xiàn)[11]針對油管內(nèi)外表面的缺陷識別,提出一種將漏磁信號特征量和支持向量機(jī)相結(jié)合的方法,從時域和頻域兩個角度提取漏磁信號波形的峰谷高,峰谷長,面積、信息熵特征量、小波分解特征量5個參數(shù)作為輸入特征量,通過樣本數(shù)據(jù)訓(xùn)練構(gòu)建油管內(nèi)外表面缺陷識別SVM模型,實現(xiàn)對油管內(nèi)外表面缺陷的識別。文獻(xiàn)[12]提取缺陷特征,利用支持向量機(jī)識別X射線底片焊縫缺陷。文獻(xiàn)[13]提出將拉普拉斯特征映射(Laplacian eigenmaps,LE)算法與支持向量機(jī)算法相結(jié)合應(yīng)用于焊管焊縫缺陷檢測。支持向量機(jī)在解決小樣本、非線性識別問題中具有較好的性能,其中,一對其余支持向量機(jī)是應(yīng)用廣泛的一種多類分類算法,但該算法存在不可分區(qū)域,及樣本不平衡問題等缺點。二叉樹支持向量機(jī)(BT-SVM)作為多類分類算法[14],克服了一對其余支持向量機(jī)存在不可分區(qū)域的缺憾,提高了訓(xùn)練速度。因此,針對管道焊縫缺陷檢測問題,提出采用多方法特征提取,結(jié)合被動視覺傳感和激光視覺傳感兩種方法的優(yōu)點,定義10個焊縫圖像特征值,4個線激光條紋特征值,并構(gòu)建BT-SVM分類器,提取樣本圖像的14個特征參數(shù)輸入分類器訓(xùn)練,從而對焊縫表面缺陷進(jìn)行分類識別。

1 焊縫圖像采集裝置及缺陷類型

在焊縫表面缺陷檢測中,如何在焊接車間的復(fù)雜環(huán)境下獲取清晰圖像樣本,是硬件設(shè)計的關(guān)鍵。焊縫圖像采集系統(tǒng)主要由鏡頭、相機(jī)、光源、圖像采集卡構(gòu)成,安裝在全自動焊接機(jī)器人上組成一套光、電、機(jī)一體的缺陷檢測裝置。管道焊縫圖像采集系統(tǒng)的設(shè)備原理圖如圖1所示。

圖1 管道焊縫表面缺陷檢測分類系統(tǒng)

通過結(jié)合實際生產(chǎn)情況,對焊縫缺陷進(jìn)行了較為完全統(tǒng)計和歸類,主要分為正常焊縫、焊瘤、焊穿、氣孔、成型不良與咬邊,如圖2所示,且各類缺陷特點如表1中所示。

圖2 焊縫類型

表1 常見焊縫缺陷圖像特點

2 被動視覺焊縫圖像特征提取

對于焊縫表面中面積較大、二維特征清晰的缺陷,采用被動視覺傳感技術(shù)能準(zhǔn)確地獲得焊縫表面缺陷信息。

2.1 焊縫圖像預(yù)處理過程

在復(fù)雜焊接環(huán)境中所獲取焊縫圖像中存在較多噪聲,對焊縫缺陷檢測與分類造成干擾,所以首先要對目標(biāo)圖像進(jìn)行預(yù)處理以突出焊縫表面特征,減少圖像中的噪聲。通過圖像預(yù)處理得到焊縫缺陷ROI特征區(qū)域,選用3×3中值濾波模板,通過開運(yùn)算與閉運(yùn)算對焊縫圖像進(jìn)行處理,使目標(biāo)特征更加明顯,提高缺陷的識別率。處理后焊縫效果圖如圖3所示。

2.2 焊縫缺陷幾何形狀特征提取

由于焊接環(huán)境復(fù)雜,產(chǎn)生的焊縫缺陷類型隨機(jī)多變,僅憑單一特征值難以區(qū)分特征類別。針對焊接實踐中出現(xiàn)的焊縫缺陷的圖像特點,定義8類幾何形狀特征參數(shù)如下:

1)缺陷的面積:標(biāo)記為同一缺陷所形成的連通域區(qū)域大小,缺陷面積與缺陷的灰度值完全無關(guān),只與缺陷像素點的個數(shù)相關(guān),則

(1)

式中:x為像素點的橫坐標(biāo);y為像素點的縱坐標(biāo);Rd為缺陷區(qū)域內(nèi)所有像素點形成的集合。

2)缺陷區(qū)域周長:缺陷區(qū)域輪廓線上的像素間的距離之和,是一個整體特征參數(shù),可以用來區(qū)分簡單或者復(fù)雜形狀的缺陷。周長計算方法是將缺陷區(qū)域邊界上的像素點的總數(shù)作為周長,即

(2)

式中Rb為缺陷區(qū)域的邊界點所組成的集合。

3)圓形度:是在面積與周長的基礎(chǔ)上,計算缺陷邊界復(fù)雜程度的特征量,判斷目標(biāo)形狀和圓的接近程度。

4)矩形度:指的是缺陷的面積與缺陷對應(yīng)的最小外接矩形面積的比值。

5)缺陷區(qū)域的長短徑比[15]:缺陷區(qū)域長軸和短軸的比值,是一種常用的形狀特征,它可實現(xiàn)對缺陷形狀的長短的一種計量,可以從一定程度上描述缺陷的形狀。

Lb=LA/SA

(3)

(4)

式中:LA為長徑;SA為短徑,方向與長徑的方向垂直。

6)缺陷區(qū)域的歐拉數(shù):歐拉數(shù)是一種拓?fù)涮匦?為圖像中連通分量的個數(shù)減去孔洞的個數(shù)。歐拉數(shù)可以用來識別單孔特征和多孔特征,對于氣孔和焊穿識別效果較好。

E(A)=M-H

(5)

式中:A為缺陷區(qū)域;M為缺陷區(qū)域中連通分量的個數(shù);H為缺陷區(qū)域的孔洞數(shù)。

7)填充度:表示缺陷的面積與焊縫總面積之比,可有效區(qū)分正常焊縫和缺陷焊縫。

8)區(qū)域緊度的形狀因子:若L為輪廓長度,F為區(qū)域面積,則形狀因子C定義為:

C=max(1,C1)

(6)

(7)

圓的形狀因子C=1,如果缺陷區(qū)域輪廓復(fù)雜或者有洞,C>1。

2.3 缺陷區(qū)域面積波形圖極差特征提取

通過觀察成型不良、焊瘤、焊穿3種缺陷形狀和位置特點發(fā)現(xiàn),采用面積、形狀等特征難以區(qū)分這3種類別。因此,本文采用ROI波形分析法提取易于區(qū)分3種缺陷的特征,其ROI區(qū)域如圖4所示。

圖4 3種缺陷ROI圖

波形分析法主要步驟是:ROI區(qū)域列向面積求和、波形圖繪制及曲線平滑、1階差分求取極差特征。

2.3.1 ROI區(qū)域列向面積求和

設(shè)焊縫缺陷特征圖像的大小為m×n,其對應(yīng)矩陣為T。

(8)

對矩陣T的每一列進(jìn)行面積求和,Sj為每一列像素點面積累加值,ROI缺陷區(qū)域像素點面積xi,j置為1,其余區(qū)域xi,j置為0。

(9)

向量S,即為該缺陷特征圖對應(yīng)的波形序列:

S=[S1…Sj…Sn]

(10)

2.3.2 波形圖繪制及曲線平滑

建立ROI區(qū)域面積橫縱坐標(biāo)波形圖,為了提高1階差分后波形的總體趨勢的準(zhǔn)確性,使用均值濾波器對波形進(jìn)行平滑處理,以消除波形中的噪聲,得到波形圖如圖5所示。

圖5 列向面積累加波形圖

成型不良的波形相較與焊瘤、焊穿的波形上升和下降幅度更大。

對于橫向缺陷像素進(jìn)行相同處理,可得到橫向波形面積累加波形圖,如圖6所示。

圖6 橫向面積累加波形圖

焊瘤的波形相較與成型不良、焊穿的波形上升和下降幅度更大。

2.3.3 波形極差特征參數(shù)提取

在離散函數(shù)中,1階差分可以反應(yīng)波形上升下降幅度的差,離散函數(shù)的1階差分定義為

Y(k)=X(k+1)-X(k)

(11)

改進(jìn)的一階差分方法,則

dj=Sj+w-Sjj∈[1,n-w]

(12)

式中:w為進(jìn)行差分的兩個元素之間的橫坐標(biāo)像素距離;w的值太小,無法反映焊接缺陷的特征。如果該值太大,則可能超過大多數(shù)缺陷區(qū)域的長度。經(jīng)過多次對比實驗,取w值為30。

由此得到焊縫缺陷的1階差分序列為

D=[d1…dj…dn]

(13)

取差分序列的極差R作為輸入特征來區(qū)分兩種焊縫缺陷類型

R=max(dj)-min(di),di,dj∈D

(14)

3 焊縫激光條紋圖像特征提取

3.1 激光條紋圖像采集

輔助線激光特征提取的焊縫表面質(zhì)量檢測方法屬于主動視覺技術(shù),主要根據(jù)激光條紋在焊縫表面的變形來獲得焊縫缺陷信息,具有精度高、抗干擾能力較強(qiáng)等優(yōu)點。本文對于二維特征不清晰,具有三維特征的缺陷類型,如咬邊及類似不易被檢測的缺陷,采用激光視覺傳感來提取管道焊縫三維特征。

激光條紋圖像采集實驗裝置示意圖如圖7所示,相機(jī)光軸與激光方向夾角為45°,采集到的正常焊縫線激光條紋圖如圖8所示。

圖7 焊縫激光條紋表征提取實驗平臺

圖8 正常焊縫

對于咬邊、氣孔、焊瘤、焊穿這4種具有三維形貌特征的缺陷,其線激光條紋圖像有明顯的差異,可根據(jù)各自條紋特征進(jìn)行分類,采集缺陷樣本線激光條紋圖如圖9所示。

圖9 線激光缺陷圖

3.2 激光條紋特征分析

分析大量咬邊、氣孔、焊瘤、焊穿(如圖10所示)線激光條紋特點,設(shè)定O點為焊縫中心點,線激光條紋相較O點最大偏移點為P(l,h)。

圖10 線激光條紋圖

由于咬邊缺陷一般出現(xiàn)在焊縫兩側(cè),所以咬邊缺陷相較于氣孔、焊瘤、焊穿3種缺陷l值更大,而h值明顯較小,因而提取最大偏移點P可有效區(qū)分咬邊缺陷。

氣孔、焊瘤、焊穿3種缺陷出現(xiàn)位置隨機(jī),而線激光條紋變化都較大,僅靠特征點P難以區(qū)分。

氣孔缺陷在激光條紋輪廓中一般表現(xiàn)為斷點,設(shè)定N為激光條紋連通域數(shù)量,氣孔N>1,而其余類型激光條紋為一條連續(xù)的線,則N=1。

焊瘤激光條紋與焊穿激光條紋輪廓特征類似,詳細(xì)比較二者差異,可以把激光條紋看作函數(shù)曲線,分別求取其2階導(dǎo)數(shù),判斷斜率k變化,反應(yīng)條紋的形狀變化,從而來對兩者進(jìn)行區(qū)分。

峰度系數(shù)Kurt反映焊縫線激光條紋曲線的陡峭程度,其表達(dá)式為:

(15)

(16)

4 焊縫缺陷二叉樹支持向量機(jī)分類器

支持向量機(jī)[8]是一種二分類模型,它的基本模型是定義在特征空間上的間隔最大的線性分類器,其原理是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且使幾何間隔最大的分離超平面。

常用的核函數(shù)有線性、多項式、徑向基(RBF)和Sigmoid 4種。由于徑向基核函數(shù)能有效減少計算復(fù)雜性,具有較好的分類效果,因此選用徑向基函數(shù)作為分類器核函數(shù),其公式為

(17)

4.1 管道焊縫外觀缺陷分類模型

本文采用二叉樹支持向量機(jī)進(jìn)行缺陷分類,系統(tǒng)流程圖如圖11所示。

圖11 焊縫缺陷分類系統(tǒng)流程圖

4.2 二叉樹支持向量機(jī)結(jié)構(gòu)設(shè)計

分類樹的不同節(jié)點位置和結(jié)構(gòu)將使測試結(jié)果有很大不同。隨著節(jié)點的分類加深,可能導(dǎo)致錯誤累積,所以生成合適的二叉樹結(jié)構(gòu)非常重要,一般包括兩種方法:第一種是基于樣本點在類中的分布,將優(yōu)先級分配給具有較大分布區(qū)域的類;第二種是基于類之間的距離乘積,體積越大,類的分布區(qū)域越大。本文根據(jù)多類分類二叉樹生成思路,在研究各類焊縫缺陷的特征區(qū)分度,綜合考慮分類的準(zhǔn)確性和分類的效率,并經(jīng)多次試驗對比后,采用二叉樹支持向量機(jī)分類器結(jié)構(gòu)如圖12所示。

圖12 二叉樹支持向量機(jī)結(jié)構(gòu)

采用被動視覺傳感技術(shù)焊縫圖像特征提取和線激光條紋焊縫圖像特征提取兩種方法所得到的各個特征參數(shù)作為支持向量機(jī)的特征輸入?yún)?shù),特征參數(shù)如表2所示。

表2 BT-SVM特征輸入?yún)?shù)表

各個支持向量機(jī)的特征參數(shù)輸入對應(yīng)關(guān)系為

SVM1?P1,P2,P7

(18)

C1C4C6置為1,C2C3C5置為-1。

SVM2?P4,P5,P6,P11

(19)

C4置為1,C1C6置為-1。

SVM3?P3,P8,P9

(20)

C5置為1,C2C3置為-1。

SVM4?P11,P12,P13,P14

(21)

C1置為1,C6置為-1。

SVM5?P10,P12,P14

(22)

C2置為1,C3置為-1。

5 測試與分析

5.1 測試數(shù)據(jù)

管道焊縫缺陷圖像數(shù)據(jù)來源于中國化學(xué)工程第六建設(shè)有限公司的焊接管道,樣本原始數(shù)據(jù)集一共由270張單類標(biāo)準(zhǔn)管道焊縫缺陷圖片構(gòu)成,數(shù)據(jù)分為6類,其中正常焊縫60張,焊瘤缺陷50張,焊穿缺陷42張,氣孔缺陷46張,成型不良缺陷35張,咬邊缺陷37張?？紤]到每個兩類問題中正類樣本數(shù)目可能與負(fù)類樣本數(shù)目差距過大,從而導(dǎo)致訓(xùn)練樣本不平衡問題,所以經(jīng)過數(shù)據(jù)增強(qiáng)處理,使得每種樣本達(dá)到60張,共計360張訓(xùn)練樣本。部分焊縫缺陷樣本如圖13所示。

圖13 部分焊縫缺陷樣本

5.2 測試環(huán)境

硬件環(huán)境:相機(jī)型號acA1300-60gm-Basler,激光器選用LC650-16-3-F型,具有高亮度和光線細(xì)的特征,其實驗測試平臺如圖14所示。

圖14 管道焊縫表面缺陷檢測分類平臺

軟件環(huán)境:軟件系統(tǒng)采用Intel(R)Core(TM)i5-4460,64位Windows 7操作系統(tǒng),開發(fā)環(huán)境基于VS2013,特征參數(shù)的計算和分類器的訓(xùn)練及測試都采用Open CV庫函數(shù)來實現(xiàn)。

5.3 結(jié)果與分析

測試過程:首先對焊縫采集系統(tǒng)采集到的焊縫樣本圖像進(jìn)行預(yù)處理,將其分割為焊縫圖像和激光條紋圖像,再分別提取基于被動視覺傳感技術(shù)和激光視覺傳感技術(shù)兩種方法的特征參數(shù),將參數(shù)輸入二叉樹支持向量機(jī)進(jìn)行訓(xùn)練。最后輸入焊縫圖像進(jìn)行分類檢測,其部分檢測結(jié)果如圖15所示。

圖15 部分焊縫缺陷分類檢測結(jié)果

焊接管道直徑400 mm,小車速度10 mm/s,相機(jī)每秒拍攝一幀圖像,對一個焊縫缺陷較多的管道進(jìn)行全位置焊縫檢測識別。此次試驗相機(jī)一共采集了1 100張焊縫圖片,且實時分類統(tǒng)計得到最終測試數(shù)據(jù)如表3所示。

表3 焊縫缺陷分類檢測測試數(shù)據(jù)表

從表3可以看出,本文方法分類識別率可以達(dá)到96.94%,準(zhǔn)確率較高。基于二叉樹支持向量機(jī)的缺陷分類算法能夠有效檢測出缺陷,其中對正常焊縫、焊瘤的分類效果最好,對氣孔的分類效果較差,因為氣孔有可能出現(xiàn)單氣孔和多氣孔狀況,并且有些氣孔過于細(xì)微,圖像難以識別,導(dǎo)致漏檢或誤檢為正常焊縫。

6 結(jié)論

1)針對不同類型的焊縫表面缺陷圖像特點,提出一種被動視覺傳感和激光視覺傳感兩種手段相結(jié)合的方法對焊縫圖像進(jìn)行多特征提取。

2)建立了合理的BT-SVM分類器,定義并提取出14個焊縫特征作為分類器的輸入?yún)?shù),設(shè)定輸出分別為氣孔、咬邊、成型不良、焊穿、焊瘤以及無缺陷6種類型。對一個焊縫缺陷較多的管道進(jìn)行全位置焊縫檢測識別,驗證本文方法可有效識別焊縫表面缺陷及其類型,準(zhǔn)確率達(dá)到96.94%。