采用ORB-SVM模型的鋁合金熔滴復(fù)合電弧堆積層形貌缺陷快速識(shí)別

郭鑫鑫,杜軍,馬琛,魏正英

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,710049,西安)

傳統(tǒng)金屬增材制造工藝大多使用粉末[1-3]或絲材[4-6]作為原材料,制備成本高,而很多牌號(hào)的金屬不易制粉或絲,常常使得工藝在材料選擇方面受限。本課題組提出了一種非常具有前景的替代方案,以感應(yīng)加熱與TIG電弧作為熱源,金屬鑄錠作為原材料的增材制造新方法,即熔滴復(fù)合鎢極惰性氣體保護(hù)焊(tungsten inert gas welding,TIG)電弧堆積成形方法[7-9],其具有高效率低成本等優(yōu)點(diǎn)。

熔滴復(fù)合TIG電弧成形過(guò)程中如熔滴沖擊速度、電弧熱輸入、成形速度、噴頭流量、基板溫度等可變工藝參數(shù)繁多,由于堆積層尺寸對(duì)工藝參數(shù)的高靈敏度[10]以及復(fù)雜的材料冶金過(guò)程,不可避免地會(huì)出現(xiàn)未熔合、不連續(xù)、溢流等堆積層形貌缺陷。

機(jī)器學(xué)習(xí)因其在分類(lèi)、回歸和聚類(lèi)等數(shù)據(jù)任務(wù)中前所未有的性能而受到越來(lái)越多的關(guān)注[11],基于機(jī)器學(xué)習(xí)的方法在增材制造堆積層形貌特征提取、識(shí)別、預(yù)測(cè)與控制中具有廣闊的應(yīng)用前景。Shi等[12]基于卷積自編碼器的方法從表面輪廓中提取信息特征,并通過(guò)有監(jiān)督的機(jī)器學(xué)習(xí),進(jìn)一步量化表面形態(tài)與機(jī)器參數(shù)之間的相關(guān)性。Zhang等[13]提出了應(yīng)用深度學(xué)習(xí)框架自動(dòng)檢測(cè)增材制造金屬零件表面質(zhì)量,在欠熔、過(guò)熔和良好的識(shí)別中表現(xiàn)出了出色的性能。Zhu等[14]為了實(shí)現(xiàn)焊縫表面缺陷的無(wú)損智能識(shí)別,提出了一種基于深度學(xué)習(xí)的焊縫表面缺陷智能識(shí)別方法,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)自動(dòng)學(xué)習(xí)高級(jí)特征,利用提取的高級(jí)特征對(duì)隨機(jī)森林進(jìn)行訓(xùn)練,預(yù)測(cè)分類(lèi)結(jié)果。Deng等[15]根據(jù)視覺(jué)傳感器獲得的電弧增材制造(wire arc additive manufacturing,WAAM)成形零件的尺寸建立了機(jī)器學(xué)習(xí)模型。Xia等[16]提出了一種基于激光傳感器的WAAM表面粗糙度測(cè)量方法。為了提高WAAM沉積層的表面完整性,開(kāi)發(fā)了不同的機(jī)器學(xué)習(xí)模型。發(fā)展實(shí)時(shí)檢測(cè)的主要困難是圖像處理的速度[17],雖然近年來(lái)隨著機(jī)器學(xué)習(xí)的發(fā)展增材制造過(guò)程監(jiān)測(cè)獲得了長(zhǎng)足的進(jìn)步,然而上述監(jiān)測(cè)模型的構(gòu)建需要價(jià)格昂貴的GPU來(lái)縮短圖像特征提取與訓(xùn)練時(shí)間,成為制約該技術(shù)在監(jiān)控設(shè)備終端部署應(yīng)用的瓶頸。

本文旨在開(kāi)發(fā)一種低計(jì)算資源的在線(xiàn)監(jiān)測(cè)方法,用于實(shí)現(xiàn)鋁合金熔滴復(fù)合TIG電弧增材制造過(guò)程堆積層形貌缺陷快速識(shí)別,提高堆積層成形質(zhì)量,降低制造成本。在目標(biāo)識(shí)別領(lǐng)域,圖像特征提取是進(jìn)行后續(xù)工作的關(guān)鍵步驟[18],圖像處理需要時(shí)間,從而導(dǎo)致整個(gè)系統(tǒng)的滯后,所以首先基于ORB算法自動(dòng)快速提取堆積層形貌特征的二進(jìn)制描述符,并且提取的特征向量是旋轉(zhuǎn)不變和抗噪聲的;然后采用BOW模型對(duì)堆積層形貌圖像數(shù)據(jù)集中所有的 ORB 描述子進(jìn)行聚類(lèi)構(gòu)造視覺(jué)詞典;最后將每張圖像的視覺(jué)單詞直方圖作為輸入特征訓(xùn)練支持向量機(jī)堆積層形貌識(shí)別模型,并借助網(wǎng)格搜索算法與k-fold交叉驗(yàn)證優(yōu)化模型參數(shù)。

1 試驗(yàn)設(shè)備與方案

1.1 試驗(yàn)設(shè)備

本文以自主研發(fā)的鋁合金熔滴復(fù)合TIG電弧增材制造設(shè)備開(kāi)展堆積層形貌缺陷識(shí)別研究。該工藝結(jié)合了變極性TIG電弧和感應(yīng)加熱系統(tǒng),工藝原理如圖1所示。作用于坩堝外圍的高頻電磁感應(yīng)線(xiàn)圈將坩堝內(nèi)的材料加熱至熔融態(tài),在惰性氣體的壓力驅(qū)動(dòng)下熔融態(tài)鋁合金經(jīng)底部過(guò)濾網(wǎng)過(guò)濾后進(jìn)入熔覆頭中的流道,經(jīng)流道作用后在噴孔處形成熔滴并快速射向位于熔覆頭正下方的基板;同時(shí)變極性TIG電弧作用于鋁合金基板形成熔池,三維運(yùn)動(dòng)控制系統(tǒng)帶動(dòng)基板向堆積層監(jiān)測(cè)系統(tǒng)方向移動(dòng)。熔滴在氣壓驅(qū)動(dòng)下連續(xù)落入熔池與基板發(fā)生冶金結(jié)合,液態(tài)金屬凝固后形成堆積層。

堆積原材料采用鋁合金棒材,將其加工成直徑為 60 mm、高度為 80 mm 的圓柱放置于石墨坩堝內(nèi)熔化,2024鋁合金化學(xué)成分Al、Cu、Mn、Mg、Zn質(zhì)量分?jǐn)?shù)分別為92.94%、4.75%、0.5%、1.56%、0.25%。

成形過(guò)程中保持 TIG 焊槍和熔覆頭不動(dòng),基板隨運(yùn)動(dòng)平臺(tái)移動(dòng),CMOS 相機(jī)與焊槍的相對(duì)位置不變,鏡頭聚焦在熔池及堆積層后沿,實(shí)時(shí)抓取堆積層表面形貌。試驗(yàn)裝置及相機(jī)基本參數(shù)如表1所示。

表1 試驗(yàn)裝置及CMOS相機(jī)基本參數(shù)

1.2 試驗(yàn)方案

TIG電弧峰值電流、基板移動(dòng)速度、噴頭流量和基板加熱溫度是對(duì)堆積層形貌影響最大的4個(gè)主要工藝參數(shù),本文將主要針對(duì)這4個(gè)工藝參數(shù)對(duì)堆積層形貌的影響展開(kāi)研究。單層單道成形工藝參數(shù)變化范圍如表2所示。

表2 單層單道堆積成形工藝參數(shù)

采用數(shù)據(jù)清洗及圖像灰度化處理篩選出良好、未熔合、溢流、不連續(xù)4種類(lèi)型的堆積層形貌數(shù)據(jù)集,為了使訓(xùn)練后的模型泛化能力更強(qiáng)運(yùn)用數(shù)據(jù)增強(qiáng)手段使訓(xùn)練數(shù)據(jù)分布更加豐富,具體圖像預(yù)處理與標(biāo)記方法參考文獻(xiàn)[19],最終獲得數(shù)據(jù)集共有14 000張圖像,每個(gè)類(lèi)別訓(xùn)練集的數(shù)量為3 500。

圖2顯示了不同工藝參數(shù)組合下堆積層可能存在的形貌類(lèi)型,對(duì)于圖2(b),由于基板移動(dòng)速度過(guò)快導(dǎo)致熱輸入不足,基板熔深較淺,鋁合金熔滴不能和基板發(fā)生冶金結(jié)合,堆積層宏觀(guān)形貌表現(xiàn)為寬度較窄,并且與圖2(a)相比前端重熔程度較低;通過(guò)增大電弧電流或減小基板移動(dòng)速度等方式提高單位時(shí)間熱輸入量,可顯著降低未熔合缺陷,然而過(guò)多的熱輸入會(huì)導(dǎo)致嚴(yán)重的溢流,由于熔池表面中心液體被擠壓到周?chē)?堆積層寬度變大,魚(yú)鱗紋特征減弱,如圖2(c)所示;當(dāng)熔滴流量過(guò)小時(shí),在制造過(guò)程中熔滴沉積系統(tǒng)變得不穩(wěn)定,降低了零件成形的穩(wěn)定性,堆積層不連續(xù),如圖2(d)所示。因此,對(duì)堆積層邊緣和關(guān)鍵點(diǎn)等底層特征進(jìn)行可靠提取,可實(shí)現(xiàn)形貌缺陷的準(zhǔn)確識(shí)別。

2 特征提取與編碼

2.1 基于ORB算法的特征提取

面向FAST和可旋轉(zhuǎn)的BRIEF(oriented FAST and rotated BRIEF,ORB)[20]是一種快速特征點(diǎn)檢測(cè)和描述的算法,可以通過(guò)試驗(yàn)證明ORB比SIFT快兩個(gè)數(shù)量級(jí)。該算法基于改進(jìn)與優(yōu)化的FAST關(guān)鍵點(diǎn)檢測(cè)器和BRIEF二進(jìn)制描述符方法,改進(jìn)后的算法解決了BRIEF描述子不具備旋轉(zhuǎn)不變性的問(wèn)題,并通過(guò)構(gòu)建高斯金字塔,在每一層金字塔圖像上檢測(cè)角點(diǎn),實(shí)現(xiàn)尺度不變性,關(guān)鍵點(diǎn)檢測(cè)與描述流程如圖3所示。

2.1.1 關(guān)鍵點(diǎn)檢測(cè)

加速段測(cè)試特征(features from accelerated segments test,FAST)的檢測(cè)算法是公認(rèn)的最快的特征點(diǎn)提取方法,使用以點(diǎn)P為中心點(diǎn)的圓上的像素,設(shè)置閾值強(qiáng)度,統(tǒng)計(jì)連續(xù)比點(diǎn)P更亮或者更暗的點(diǎn)的數(shù)量,只有該數(shù)量達(dá)到一定的條件,點(diǎn)P才會(huì)被視為特征點(diǎn)[21]。但是該算法的特征點(diǎn)不具備尺度不變性,因此首先建立圖像高斯金字塔,設(shè)置比例因子為1.2,為了保證整體匹配精度,金字塔的層數(shù)為8;然后在每層金字塔上采用FAST算法提取特征點(diǎn),采用Harris角點(diǎn)函數(shù)響應(yīng)值對(duì)關(guān)鍵點(diǎn)排序,確定要查找的最大關(guān)鍵點(diǎn)數(shù)為150,堆積層形貌檢測(cè)到的關(guān)鍵點(diǎn)如圖4所示。

為了使關(guān)鍵點(diǎn)具有旋轉(zhuǎn)不變性,使用灰度質(zhì)心法,通過(guò)計(jì)算像素點(diǎn)與鄰域像素點(diǎn)的矩得到這一區(qū)域的質(zhì)心;特征點(diǎn)與質(zhì)點(diǎn)的夾角作為FAST特征點(diǎn)的主方向。這個(gè)計(jì)算過(guò)程得到的特征稱(chēng)為定向FAST特征(oriented-FAST,oFAST)。

2.1.2 特征描述

上述算法找到了關(guān)鍵點(diǎn)的位置和方向,接下來(lái)利用這個(gè)關(guān)鍵點(diǎn)將其周?chē)鷧^(qū)域的信息用一組向量描述出來(lái),由此可以減少旋轉(zhuǎn)和尺度變化等帶來(lái)的影響。

二值魯棒獨(dú)立基本特征(binary robust independent elementary features,BRIEF)描述子[22]采用二進(jìn)制字符串作為特征點(diǎn)描述符,速度更快,同時(shí),它有著很好的識(shí)別率。首先平滑圖像,然后在關(guān)鍵點(diǎn)周?chē)S機(jī)選取256個(gè)像素對(duì),定義二值τ

(1)

式中P(A)為P在A點(diǎn)的強(qiáng)度。比較兩個(gè)不同像素點(diǎn)的明暗關(guān)系,得到0或1的結(jié)果,將所有結(jié)果組合就是BRIEF特征。OpenCV以字節(jié)為單位表示,因此每個(gè)關(guān)鍵點(diǎn)的特征描述符數(shù)量為32。雖然ORB提取圖像特征較少,但更有意義[23],保證了識(shí)別準(zhǔn)確率的情況下加快了圖像處理速度。

為了解決特征的旋轉(zhuǎn)不變性,ORB算法采用oFAST特征點(diǎn)的主方向作為BRIEF描述子的主方向,將旋轉(zhuǎn)后的描述子記為steered BRIEF。結(jié)合貪婪算法篩選出類(lèi)內(nèi)方差大、相關(guān)性低的采樣點(diǎn)對(duì),最終提取出的BRIEF特征稱(chēng)為rBRIEF特征。

整個(gè)特征提取與訓(xùn)練過(guò)程是在一臺(tái)配置為Intel(R) Core(TM) i5-8300H CPU、8.00 GB RAM的筆記本電腦上,基于Python 3.7,opencv-python 4.5.3.56 提取出14 000張堆積層形貌圖像共1432 130個(gè)ORB特征向量,用時(shí)大約90 s。

2.2 基于BOW模型的特征編碼

考慮到不同圖像具有不同數(shù)量的ORB特征點(diǎn),為了得到維度相同的特征向量表示每張圖像用于堆積層形貌缺陷的識(shí)別,使用詞袋模型(bag of word,BOW)對(duì)上述得到的ORB特征編碼[24]。BOW模型通過(guò)對(duì)底層信息進(jìn)行統(tǒng)計(jì),得到相關(guān)概率統(tǒng)計(jì)信息,克服了底層特征引起的語(yǔ)義鴻溝。

本研究使用ORB描述子作為特征點(diǎn),其快速的特征點(diǎn)檢測(cè)與二進(jìn)制串的表達(dá)形式,使得BOW模型的訓(xùn)練十分方便。使用Kmeans算法對(duì)圖像數(shù)據(jù)集中所有的ORB描述子進(jìn)行聚類(lèi),形成n個(gè)聚類(lèi)中心即包含n個(gè)簇,一個(gè)聚類(lèi)中心代表一個(gè)視覺(jué)單詞,所有視覺(jué)單詞做成視覺(jué)詞典,詞典構(gòu)造完以后,根據(jù)統(tǒng)計(jì)堆積層形貌圖像訓(xùn)練集中每個(gè)特征向量到聚類(lèi)中心的距離,將其分配到最近的視覺(jué)單詞,記錄每個(gè)聚類(lèi)中心在圖像的出現(xiàn)頻率,最終將每張圖像表示成視覺(jué)單詞直方圖。這樣就能用一個(gè)向量來(lái)描述一幅圖像,在很大程度上減少了計(jì)算量,實(shí)現(xiàn)圖像的全局表達(dá),并且生成的最終向量維度相同便于分類(lèi)器的訓(xùn)練。

3 堆積層形貌缺陷識(shí)別

3.1 支持向量機(jī)與參數(shù)優(yōu)化

本文采用支持向量機(jī)(support vector machine,SVM)對(duì)4種不同堆積層形貌識(shí)別。SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,具有良好的泛化性能和計(jì)算效率[17],是處理工程分類(lèi)問(wèn)題的常用方法。給定訓(xùn)練樣本集

(2)

SVM通過(guò)選擇一個(gè)優(yōu)化的超平面來(lái)分離數(shù)據(jù)點(diǎn),使兩類(lèi)之間的差值最大化,其可以描述為如下的優(yōu)化問(wèn)題[25]

(3)

約束條件為

yi(wxi-b)≥1-ξi,ξi≥0,i=1,…,l

(4)

式中:w為與超平面垂直的向量;C為懲罰因子;ξi為稀疏變量。

在本文SVM模型中,核函數(shù)類(lèi)型為徑向基(radial basis function,RBF)核函數(shù)

k(xi,x)=exp(-γ‖xi-x‖2),γ>0

(5)

核函數(shù)的作用是將訓(xùn)練向量xi映射到高維空間,從而在高維空間進(jìn)行線(xiàn)性分類(lèi)[26],核函數(shù)參數(shù)γ取值越小,模型分類(lèi)就越細(xì)致,但會(huì)出現(xiàn)過(guò)擬合問(wèn)題。誤差項(xiàng)懲罰因子C>0的作用是權(quán)衡訓(xùn)練風(fēng)險(xiǎn)與模型結(jié)構(gòu)風(fēng)險(xiǎn),懲罰因子C越大,則訓(xùn)練風(fēng)險(xiǎn)越小,模型結(jié)構(gòu)風(fēng)險(xiǎn)越大,會(huì)存在過(guò)擬合問(wèn)題;反之,則存在欠擬合問(wèn)題。

盡管SVM在默認(rèn)值下運(yùn)行良好,但參數(shù)優(yōu)化可以幫助提高SVM的性能[27]。采用網(wǎng)格搜索算法與k-fold交叉驗(yàn)證尋找最佳的γ和C值。設(shè)置C和γ的搜索范圍同為[0.001,0.01,0.1,1,10,100],將堆積層形貌特征數(shù)據(jù)集隨機(jī)提取70%作為訓(xùn)練集,然后將訓(xùn)練集等分為10個(gè)互斥子集。對(duì)于網(wǎng)格中每一組(C,γ),不重復(fù)地取任意一個(gè)子集作為測(cè)試數(shù)據(jù),其余子集作為訓(xùn)練數(shù)據(jù)[16],統(tǒng)計(jì)10次訓(xùn)練交叉驗(yàn)證準(zhǔn)確率均值。

3.2 缺陷識(shí)別結(jié)果

Kmeans聚類(lèi)算法中參數(shù)n代表BOW模型聚類(lèi)中心的數(shù)量,決定了編碼后最終特征向量的維度,取值變化會(huì)影響堆積層形貌識(shí)別算法的準(zhǔn)確率[28]以及編碼過(guò)程、SVM模型訓(xùn)練和識(shí)別的用時(shí),所以上述網(wǎng)格搜索算法與k-fold交叉驗(yàn)證是在n分別取值為100、200、300、400、500時(shí)基于Python的Scikit-learn庫(kù)來(lái)實(shí)現(xiàn)的。

隨著n增大生成的視覺(jué)單詞直方圖維度變大,使得BOW特征編碼與SVM形貌識(shí)別時(shí)間增長(zhǎng),尤其是SVM在識(shí)別更高維度的特征向量時(shí)需要更多的時(shí)間,對(duì)應(yīng)SVM網(wǎng)格搜索算法的最優(yōu)參數(shù)如表3所示。

表3 SVM模型最優(yōu)參數(shù)與準(zhǔn)確率

對(duì)于參數(shù)n的不同取值,所得到ORB-SVM模型識(shí)別單張圖像的時(shí)間如圖5所示,處理單張圖片特征提取大約耗時(shí)6.4 ms,在整個(gè)視覺(jué)識(shí)別過(guò)程占比超過(guò)50%,從而導(dǎo)致整個(gè)系統(tǒng)的滯后,所以提升特征提取的速度是發(fā)展實(shí)時(shí)檢測(cè)的關(guān)鍵。

當(dāng)n=500時(shí),模型準(zhǔn)確率沒(méi)有升高反而需要更多地運(yùn)行時(shí)間,所以選擇n=400、C=10、γ=0.01為ORB-SVM模型參數(shù),此時(shí)識(shí)別單張圖片形貌的時(shí)間約為9 ms,測(cè)試集準(zhǔn)確率為0.96。對(duì)比課題組前期基于NVIDIA RTX 2080 Ti GPU運(yùn)算識(shí)別結(jié)果為12 ms/幀,準(zhǔn)確率為0.99[19],該算法無(wú)需借助昂貴的GPU,能夠在保證較高識(shí)別準(zhǔn)確率下獲得更快的識(shí)別速度。

圖6為識(shí)別結(jié)果的混淆矩陣,可知大部分測(cè)試樣本都被正確地識(shí)別。根據(jù)混淆矩陣計(jì)算的模型評(píng)價(jià)指標(biāo)如表4所示,模型性能以F1分?jǐn)?shù)衡量[29]

(6)

式中:P為精確率;R為召回率。各類(lèi)別F1分?jǐn)?shù)全部大于0.94,證明模型效果較優(yōu)。

表4 不同類(lèi)別的精確率、召回率和F1

4 結(jié) 論

由于電弧復(fù)合熔滴成形過(guò)程涉及眾多參數(shù)和一系列復(fù)雜的材料冶金、物化及熱力耦合現(xiàn)象,不可避免會(huì)出現(xiàn)形貌缺陷問(wèn)題。為了提高堆積層成形質(zhì)量,并且考慮到識(shí)別速度對(duì)實(shí)時(shí)應(yīng)用來(lái)說(shuō)極為關(guān)鍵,本文利用ORB算法自動(dòng)檢測(cè)堆積層圖像關(guān)鍵點(diǎn),基于BRIEF的二進(jìn)制特征描述,可以高效、快速地存儲(chǔ)在內(nèi)存中,能夠在計(jì)算資源非常有限的設(shè)備上運(yùn)行;使用BOW模型對(duì)ORB特征編碼得到維度相同的特征向量用于堆積層形貌缺陷的識(shí)別;視覺(jué)單詞的數(shù)量決定最終特征向量的維度,并顯著影響SVM識(shí)別時(shí)間,借助網(wǎng)格搜索算法與k-fold交叉驗(yàn)證優(yōu)化SVM的超參數(shù),模型在參數(shù)n=400、C=10、γ=0.01時(shí)識(shí)別形貌的準(zhǔn)確率為0.96,識(shí)別速度約為9 ms/幀,表明了該模型的優(yōu)越性。