基于深度子空間學(xué)習(xí)的焊縫缺陷檢測(cè)方法

李進(jìn)軍,王肖鋒,葛為民+

(1.天津理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,天津 300384;2.天津理工大學(xué) 天津市先進(jìn)機(jī)電系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室,天津 300384;3.天津理工大學(xué) 機(jī)電工程國家級(jí)實(shí)驗(yàn)教學(xué)示范中心,天津 300384)

0 引言

焊接技術(shù)是制造業(yè)中使用頻率最高的一種加工方式,廣泛應(yīng)用于工業(yè)生產(chǎn)的各個(gè)領(lǐng)域,如鐵路橋梁隧道、石油裝備制造、航空航天、能源電力等。在焊接過程中,受生產(chǎn)環(huán)境和焊接工藝的影響,焊接質(zhì)量難以保證,不可避免產(chǎn)生各種焊縫缺陷,影響構(gòu)件的使用壽命,如焊瘤、氣孔和飛濺等缺陷[1-2]。因此,如何對(duì)焊縫缺陷進(jìn)行高效、準(zhǔn)確的檢測(cè)成為熱點(diǎn)。隨著人工智能技術(shù)的發(fā)展,學(xué)者開始利用深度學(xué)習(xí)技術(shù)對(duì)焊縫缺陷進(jìn)行智能檢測(cè)。其主要步驟包括焊縫圖像采集、圖像預(yù)處理、特征提取和分類識(shí)別[3-5]。因其非接觸、智能化、高精度、無損傷等優(yōu)點(diǎn),已成為焊縫缺陷檢測(cè)的主要方法。深度學(xué)習(xí)核心思想是通過構(gòu)建具有多個(gè)隱含層的機(jī)器學(xué)習(xí)模型訓(xùn)練大量的數(shù)據(jù),學(xué)習(xí)更為有用的深度特征,進(jìn)而提升分類或預(yù)測(cè)的準(zhǔn)確性[6]。深度學(xué)習(xí)模型通常層次結(jié)構(gòu)復(fù)雜,硬件要求高,收斂緩慢,甚至?xí)霈F(xiàn)過擬合現(xiàn)象,并且需要海量的訓(xùn)練樣本。而深度子空間模型[7]以深度學(xué)習(xí)[8-9]為基礎(chǔ),將經(jīng)典的子空間特征學(xué)習(xí)方法進(jìn)行結(jié)構(gòu)改造,利用相同或不同的單層子空間進(jìn)行數(shù)據(jù)映射,采用簡單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)數(shù)據(jù)的抽象表達(dá)。深度子空間模型在人臉識(shí)別[7,10-11]、手寫數(shù)字識(shí)別[12]、物體識(shí)別[13-15]、表情識(shí)別[16]、異常事件檢測(cè)[17]等方面均有廣泛應(yīng)用。

近年來,學(xué)者對(duì)深度子空間模型進(jìn)行了廣泛研究,相繼提出了主成分分析網(wǎng)絡(luò)(Principal Component Analysis Network,PCANet)及線性判別分析網(wǎng)絡(luò)(Linear Discriminative Analysis Network,LDANet)[10]、獨(dú)立成分分析網(wǎng)絡(luò)(Independent Component Analysis Network,ICANet)[11]、典型相關(guān)分析網(wǎng)絡(luò)(Canonical Correlation Analysis Networks,CCANet)[18]、局部二進(jìn)制模式網(wǎng)絡(luò)(Local Binary Pattern Network,LBPNet)[19]等。其中最具代表性的是CHAN等[10]提出的PCANet,以主成分分析(Principal Component Analysis,PCA)子空間作為基本映射單元,將PCA、二進(jìn)制哈希編碼及塊擴(kuò)展直方圖相結(jié)合,進(jìn)而得到圖像的多層抽象特征。PCANet僅包含兩層卷積層,訓(xùn)練過程簡單高效,能適應(yīng)不同任務(wù)、不同數(shù)據(jù)類型的網(wǎng)絡(luò)模型。

針對(duì)PCANet研究,主要有以下兩種思路:①增加網(wǎng)絡(luò)層數(shù),使其像卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)一樣能夠挖掘圖像中的深度特征[20-23]。其網(wǎng)絡(luò)層數(shù)的增加必然降低數(shù)據(jù)處理速度,背離了PCANet采用簡單網(wǎng)絡(luò)結(jié)構(gòu)獲得深度特征的初衷。②通過優(yōu)化子空間投影的目標(biāo)函數(shù)[24-26],獲得特定目標(biāo)的深度特征。參照PCA擴(kuò)展為二維PCA(2-Dimensional PCA,2DPCA)的思路,YU等[27]提出了二維PCANet(2-Dimensional PCANet,2DPCANet),利用2DPCA作卷積核,無需向量化,直接針對(duì)數(shù)據(jù)矩陣進(jìn)行降維,保留了矩陣本身的行列結(jié)構(gòu)信息。KONG等[28]和韓冰等[29]提出了改正的2DPCANet算法,并將其分別應(yīng)用在人臉識(shí)別和極光圖像識(shí)別。這些網(wǎng)絡(luò)模型中的2DPCA均采用F范數(shù)的平方作為目標(biāo)函數(shù)的距離度量方式,容易受到噪聲數(shù)據(jù)的影響,在實(shí)際應(yīng)用中其魯棒性存在一定的局限性。針對(duì)2DPCANet的魯棒性問題,LI等[30]提出了基于L1范數(shù)的2DPCANet(L1-2DPCANet)算法。XU等[31]用Lp范數(shù)度量協(xié)方差矩陣之間的差異性,提出了魯棒性PCANet算法。以上算法均采用了一種迭代的貪婪求解算法(greedy algorithm),即投影矩陣中的每個(gè)投影向量是逐個(gè)求解,每次只優(yōu)化局部投影向量,將導(dǎo)致得到的投影矩陣并不是全局最優(yōu)。如圖像維數(shù)較大,其貪婪求解算法耗時(shí)過長,且容易陷入局部最優(yōu)解[32]。

為解決上述問題,本文提出一種魯棒非貪婪雙向二維主成分分析網(wǎng)絡(luò)(Robust Non-Greedy Bi-Directional two-dimensional PCANet,RNG-BDPCANet)。RNG-BDPCANet在L1范數(shù)距離度量標(biāo)準(zhǔn)下,利用雙向二維主成分分析作卷積核,采用非貪婪策略得到目標(biāo)函數(shù)最優(yōu)的整體投影矩陣,具有較強(qiáng)的魯棒性。最后,分別在自制焊縫數(shù)據(jù)集及ORL、Yale B人臉數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)對(duì)比與分析。

1 實(shí)驗(yàn)平臺(tái)與焊縫圖像預(yù)處理

1.1 實(shí)驗(yàn)平臺(tái)

1.1.1 生產(chǎn)信息交互系統(tǒng)

在工序之間信息交互設(shè)計(jì)中,主要考慮研究焊接工序與打磨工序之間的生產(chǎn)信息交互,開發(fā)了生產(chǎn)現(xiàn)場(chǎng)信息交互系統(tǒng),如圖1所示。在機(jī)器人焊接子系統(tǒng)中,機(jī)器人控制柜與焊機(jī)通過DeviceNet現(xiàn)場(chǎng)總線建立通信,在機(jī)器人系統(tǒng)中添加ARC弧焊包,由控制柜所配對(duì)的示教器開發(fā)焊接程序,將起弧信號(hào)、送絲信號(hào)、送氣信號(hào)等傳輸給焊機(jī),設(shè)定焊接時(shí)所需的各個(gè)參數(shù),焊機(jī)控制著焊接時(shí)各種焊接工藝參數(shù),如送絲速度、電壓、送氣等。本系統(tǒng)可以通過profibus-DP模塊連接PLC,讀取機(jī)器人在焊接過程中的實(shí)時(shí)信息數(shù)據(jù),能夠?qū)崟r(shí)采集焊接過程中的焊接工藝參數(shù),通過觀測(cè)焊縫成形情況實(shí)時(shí)進(jìn)行調(diào)節(jié),并能更高效地獲得成形質(zhì)量良好的焊縫。然后,利用圖像處理技術(shù),焊縫缺陷智能評(píng)判系統(tǒng)根據(jù)焊縫表面實(shí)時(shí)圖像確定焊接表面缺陷的位置及尺寸,再指導(dǎo)打磨機(jī)器人進(jìn)行路徑規(guī)劃和打磨作業(yè)并反饋打磨表面形貌是否規(guī)則,確保打磨表面能符合加工表面質(zhì)量要求。

圖1 生產(chǎn)信息交互系統(tǒng)

1.1.2 智能評(píng)判系統(tǒng)

智能評(píng)判系統(tǒng)由機(jī)器人焊接子系統(tǒng)、機(jī)器人打磨子系統(tǒng)、視頻采集子系統(tǒng)和焊縫缺陷檢測(cè)子系統(tǒng)組成,如圖2所示。視頻采集子系統(tǒng)由CMOS攝像機(jī)、LED光源和由Sinamicsv90伺服驅(qū)動(dòng)器控制的三自由度行走十字架組成。主要目的是為了通過映美精工業(yè)相機(jī)識(shí)別焊接機(jī)器人在焊接完成后的焊縫缺陷,如氣孔,飛濺,焊瘤等。工業(yè)相機(jī)安裝在十字架的Y軸末端的云臺(tái)上,通過PLC和V90伺服控制三自由度十字架的電機(jī),對(duì)工業(yè)相機(jī)的空間位置進(jìn)行調(diào)整。并利用PWM脈沖控制云臺(tái)對(duì)相機(jī)的姿態(tài)進(jìn)行微調(diào),以滿足最佳視覺識(shí)別效果。

圖2 智能評(píng)判系統(tǒng)

該系統(tǒng)采集焊接、打磨工序的關(guān)鍵過程信息及檢測(cè)數(shù)據(jù),基于主成分分析網(wǎng)絡(luò)(PCANet)方法對(duì)焊縫表面缺陷進(jìn)行特征提取及分類識(shí)別研究,學(xué)習(xí)開發(fā)焊縫外觀質(zhì)量與焊接工藝參數(shù)的智能評(píng)判模型,為焊接、打磨工藝及數(shù)據(jù)庫的持續(xù)良性的改進(jìn),并提供優(yōu)化參數(shù)。

1.2 焊縫缺陷檢測(cè)流程

焊縫表面圖像的缺陷檢測(cè)包括視頻圖像采集、圖像預(yù)處理、特征提取和缺陷檢測(cè)4個(gè)階段,具體流程如圖3所示。在大型港口結(jié)構(gòu)件的實(shí)際生產(chǎn)制造過程中,為了保證焊縫缺陷檢測(cè)的實(shí)時(shí)性,在焊接機(jī)器人完成2 m～4 m的焊接距離后,CMOS相機(jī)開始以焊接速度同步移動(dòng),獲取焊縫視頻,進(jìn)行缺陷檢測(cè)。但是由于實(shí)驗(yàn)平臺(tái)大小有限,在焊接機(jī)器人完成全部規(guī)劃路徑后,CMOS相機(jī)以焊接速度移動(dòng)捕獲焊縫視頻。在圖像處理階段,采用多種數(shù)字圖像處理方法組合獲得一系列包含有效焊縫區(qū)域的局部塊圖像。在缺陷檢測(cè)階段,首先,為了突出焊縫局部區(qū)域特征,降低計(jì)算復(fù)雜度,采用滑動(dòng)窗口方法將焊縫區(qū)域圖像分割為一系列包含有效焊縫區(qū)域的局部塊圖像。將滑動(dòng)窗口在焊縫圖像上以一定的步長從左向右移動(dòng)?；瑒?dòng)窗口的高度與焊縫區(qū)域圖像相同,寬度為步幅的整數(shù)倍。然后,利用RNG-BDPCANet算法對(duì)焊縫圖像進(jìn)行特征提取,在獲取最能表明圖像信息數(shù)據(jù)的同時(shí),大大降低了圖像矩陣的維數(shù)。最后,通過支持向量機(jī)對(duì)焊縫表面圖像進(jìn)行分類識(shí)別,完成對(duì)焊縫表面圖像的缺陷檢測(cè)。為了解決相鄰局部塊圖像和相鄰幀圖像之間出現(xiàn)重疊區(qū)域的問題,通過局部塊優(yōu)化和跨幀優(yōu)化來提高缺陷檢測(cè)的準(zhǔn)確率。

圖3 焊縫缺陷檢測(cè)流程圖

1.2.1 焊縫表面圖像預(yù)處理

在實(shí)際焊接過程中,由于焊接環(huán)境的特殊性,CCD攝像機(jī)采集到的大型結(jié)構(gòu)件焊縫表面圖像包含大量的冗余信息,無法直接準(zhǔn)確識(shí)別,滿足不了目標(biāo)識(shí)別的要求。為了提取焊縫表面缺陷的有效特征信息,首先需要對(duì)圖像進(jìn)行處理,以便于后續(xù)的圖像分割。步驟如下:

步驟1為了減少計(jì)算量,先將原始彩色圖像轉(zhuǎn)換為灰度圖像,如圖4a所示。

圖4 圖像預(yù)處理和焊縫區(qū)域分割

步驟2現(xiàn)場(chǎng)采集的焊縫表面圖像包含大量的噪聲干擾,嚴(yán)重影響焊縫區(qū)域的提取。為了減少或者消除噪聲,同時(shí)保護(hù)圖像的焊縫邊緣信息,采用鄰域大小為5×5的中值濾波核對(duì)焊縫表面圖像進(jìn)行濾波處理,如圖4b所示。

步驟3利用Sobel算子檢測(cè)焊縫邊緣,如圖4c所示。

步驟4將灰度圖像轉(zhuǎn)化為二值圖像,再采用Otsu自適應(yīng)閾值分割方法,最小化二值圖像的白色前景和黑色背景的類內(nèi)方差,直觀地呈現(xiàn)出焊縫區(qū)域,效果如圖4d所示。

步驟5進(jìn)行形態(tài)學(xué)膨脹操作將不連續(xù)焊縫區(qū)域連接起來,通過適當(dāng)矩形框標(biāo)記出焊縫區(qū)域,如圖4e～圖4f所示。

1.2.2 潛在焊縫表面缺陷分割

潛在焊縫表面缺陷分割以第二階段獲得包圍焊縫的二值化灰度矩形框圖像作為輸入,輸出焊縫表面缺陷圖像。該階段可分為3個(gè)步驟,分別如圖5所示。

圖5 潛在焊縫表面缺陷分割

步驟1氣孔的分割。由于表征氣孔的像素集中在低灰度區(qū)域,采用分段線性變換方法對(duì)灰度圖像進(jìn)行增強(qiáng),使得灰度圖像中表征氣孔和焊縫的像素分離。對(duì)線性變換后的圖像進(jìn)行二值化分割,二值圖像中的白色像素表征氣孔。

步驟2焊瘤的分割。在二值矩形圖像中,焊瘤區(qū)域的列像素個(gè)數(shù)大于合格焊縫區(qū)域的列像素個(gè)數(shù)。將二值矩形圖像在垂直方向進(jìn)行灰度投影,可分割出焊瘤。

步驟3飛濺的分割。焊縫區(qū)域鄰近的白色像素小區(qū)域表征飛濺,可易于將飛濺從焊縫表面圖像中分割出來。

2 深度子空間學(xué)習(xí)算法

2.1 PCANet

2.1.1 PCANet輸入層

首先,在PCANet輸入層對(duì)圖像進(jìn)行塊采集,設(shè)N個(gè)訓(xùn)練樣本Xi(i=1,2,…,N),其維數(shù)為m×n。采樣窗口大小為k1×k2,且滿足0

(1)

其中:‖·‖2為向量的2范數(shù),W=[v1,v2,…,vk]∈Rmn×k,Ik×k∈Rk×k表示單位矩陣。對(duì)于第i個(gè)樣本Xi,提取該樣本中所有像素的鄰域塊(重疊),PCA對(duì)圖像矩陣向量化后,重新構(gòu)成向量化樣本集表示為:

(2)

對(duì)給定的N個(gè)訓(xùn)練樣本均進(jìn)行如上操作,為不失一般性,進(jìn)行去均值處理,處理后的數(shù)據(jù)矩陣為:

(3)

2.1.2PCANet卷積層

利用PCA算法求解數(shù)據(jù)矩陣X的特征向量,并轉(zhuǎn)化為卷積層第一層的p個(gè)卷積核為:

l=1,2,…,p。

(4)

(5)

卷積層第二層訓(xùn)練樣本變?yōu)镹×p個(gè),取q個(gè)卷積核。采集所有訓(xùn)練樣本的像素塊,為不失一般性,也需進(jìn)行去均值處理,第二階段的輸出表示為:

i=1,2,…,N;l=1,2,…,p;

k=1,2,…,q。

(6)

2.1.3 PCANet輸出層

i=1,2,…,N;l=1,2,…,p;

k=1,2,…,q。

(7)

i=1,2,…,N。

(8)

PCANet算法的目標(biāo)函數(shù)采用2范數(shù)的平方作為距離度量方式。當(dāng)樣本中出現(xiàn)離群點(diǎn)或噪聲時(shí),計(jì)算得到的投影矩陣容易受到影響。在將像素塊轉(zhuǎn)為列向量時(shí),破壞了樣本的空間結(jié)構(gòu)。因此,PCANet在計(jì)算時(shí)忽視了圖像的部分結(jié)構(gòu)特征。

2.2 Robust Non-Greedy BDPCANet

2.2.1 RNG-BDPCANet輸入層

鑒于以上問題,受深度子空間學(xué)習(xí)和目標(biāo)函數(shù)投影距離的啟發(fā),本文首先利用BDPCA代替PCA作卷積核,無需向量化,分別對(duì)圖像的行、列方向進(jìn)行兩次特征提取,實(shí)現(xiàn)了行、列兩個(gè)方向的數(shù)據(jù)降維,其具體處理流程如圖6所示。

圖6 BDPCA算法流程圖

BDPCA算法直接針對(duì)數(shù)據(jù)矩陣進(jìn)行降維,保留了矩陣本身的行列結(jié)構(gòu)信息,其目標(biāo)函數(shù)為:

(9)

式中:‖·‖F(xiàn)為向量的Frobenius范數(shù),W=[v1,v2,…,vk]∈Rn×k(k?m),Ik×k∈Rk×k表示單位矩陣。

然后,RNG-BDPCANet采用對(duì)離群點(diǎn)更加魯棒的L1范數(shù)來度量學(xué)習(xí)樣本的深度非線性特征,最大化特征空間的投影距離。則其目標(biāo)函數(shù)改為:

i=1,2,…,N。

(10)

(11)

通過引入極性參數(shù)pij(t),目標(biāo)函數(shù)式(10)可以改為:

i=1,2,…,N。

(12)

i=1,2,…,N。

(13)

算法1RNG-BDPCANet非貪婪求解算法。

輸入:訓(xùn)練樣本X=[X1,X2,…,XN],其中,假定訓(xùn)練樣本Xi(i=1,2,…,N)已進(jìn)行去均值處理;

輸出:投影矩陣Wt∈Rn×k。

當(dāng)目標(biāo)函數(shù)不收斂,執(zhí)行以下步驟:

步驟1令W(0)=0,t=0,Wt∈Rn×k(k?m)。

步驟2對(duì)于所有的i∈{1,2,…,m}和j∈{1,2,…,n},計(jì)算其極性參數(shù)pij(t)。

步驟3令t=t+1,計(jì)算S的奇異值使Wt=U[Ik×k;0(n-k)×k]VΤ。

步驟4求解出新的Wt后,再返回式(11)計(jì)算新的極性參數(shù)pij(t),直至迭代到滿足收斂條件或設(shè)定的閾值為止。

2.2.2 RNG-BDPCANet卷積層

l=1,2,…,p。

(14)

i=1,2,…,N;l=1,2,…,p。

(15)

(16)

然后,通過第l個(gè)濾波得到的所有輸入樣本,可得到數(shù)據(jù)矩陣

(17)

最終,所有的p個(gè)濾波經(jīng)處理后得到最終的數(shù)據(jù)矩陣為:

(18)

k=1,2,…,q。

(19)

第二階段的輸出表示為:

i=1,2,…,N;l=1,2,…,p;

k=1,2,…,q。

(20)

2.2.3 RNG-BDPCANet輸出層:哈希與直方圖

首先,利用赫維賽德階躍函數(shù)二值化卷積層輸出的數(shù)據(jù)矩陣,該函數(shù)可被表示為

(21)

每個(gè)像素點(diǎn)可用如下函數(shù)表示,該像素點(diǎn)為一個(gè)范圍在[0,2q-1]的整數(shù)值

i=1,2,…,N;l=1,2,…,p;

k=1,2,…,q。

(22)

(23)

綜上所述,本文提出的RNG-BDPCANet算法在PCANet的基礎(chǔ)上,直接針對(duì)二維數(shù)字圖像進(jìn)行特征學(xué)習(xí),保留了圖像中的空間結(jié)構(gòu)信息。與此同時(shí),RNG-BDPCANet調(diào)整目標(biāo)函數(shù),在L1范數(shù)距離度量標(biāo)準(zhǔn)下,利用非貪婪算法,使得目標(biāo)函數(shù)整體投影矩陣最優(yōu),進(jìn)一步提高算法的準(zhǔn)確性的同時(shí)兼顧其魯棒性。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提算法的有效性及魯棒性,分別在自制的焊縫數(shù)據(jù)集、ORL和Yale B人臉數(shù)據(jù)集進(jìn)行分類率實(shí)驗(yàn),同時(shí)以PCANet、2DPCANet和L1-(2D)2PCANet作為對(duì)比算法,進(jìn)行性能的實(shí)驗(yàn)對(duì)比分析。再使用支持向量機(jī)(Support Vector Machine,SVM)算法對(duì)提取的特征進(jìn)行分類,以此驗(yàn)證RNG-BDPCANet算法的有效性。實(shí)驗(yàn)軟件環(huán)境為Windows 10、Microsoft Visual Studio 2015、MATLAB R2017a和OpenCV 3.4.10,采用Intel i7-6500U(2.50GHz)處理器,32 GB內(nèi)存的硬件環(huán)境。

3.1 焊縫數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果及分析

當(dāng)CMOS相機(jī)捕獲焊縫幀圖像時(shí),很多因素會(huì)影響捕獲圖像的質(zhì)量,如噪聲、雜質(zhì)、焊縫外觀、復(fù)雜生產(chǎn)環(huán)境、照明條件和冗余工件背景等。若直接對(duì)采集的圖像進(jìn)行特征提取和缺陷檢測(cè),大量的噪聲特征參與分類識(shí)別,減弱了焊縫缺陷本質(zhì)特征對(duì)分類識(shí)別的主導(dǎo)作用,這極大地降低了缺陷檢測(cè)的可靠性和準(zhǔn)確性。此外,圖像的高維度使得計(jì)算成本過大,無法滿足實(shí)時(shí)檢測(cè)的要求。為了提取有效識(shí)別區(qū)域的特征,需要依次執(zhí)行圖像預(yù)處理、焊縫區(qū)域分割和局部塊圖像分割3個(gè)圖像處理步驟,以方便后續(xù)的特征提取和缺陷識(shí)別。所有實(shí)驗(yàn)數(shù)據(jù)樣本均經(jīng)過零均值處理,其中訓(xùn)練樣本和測(cè)試樣本零均值化所采用的均值來源于訓(xùn)練樣本的均值。焊縫數(shù)據(jù)集一共包含25個(gè)焊縫子集,每個(gè)子集16幅,共400幅樣本圖像,包含焊瘤、表面氣孔、焊接飛濺、合格焊縫4個(gè)焊縫類別,其分辨率為120×80,部分樣本圖像如圖7所示。為了測(cè)試本算法的魯棒性,本文還需對(duì)各個(gè)數(shù)據(jù)集進(jìn)行加噪處理,如圖8所示。

圖7 焊縫數(shù)據(jù)集示例

圖8 40%遮蓋噪聲示例

在每個(gè)焊縫圖像中分別隨機(jī)抽取2、3、4、5、6幅作為訓(xùn)練樣本,其余作測(cè)試樣本。訓(xùn)練樣本中隨機(jī)抽取40%樣本添加遮蓋噪聲。設(shè)k1=k2=9,p=q=8,直方圖采樣的重疊率為50%?？紤]到噪聲的隨機(jī)性,重復(fù)5次隨機(jī)遮蓋噪聲進(jìn)行分類率實(shí)驗(yàn),得到平均分類率和標(biāo)準(zhǔn)差分別如表1所示。

表1 各算法在焊縫數(shù)據(jù)集中的平均識(shí)別率 %

表1列舉了RNG-BDPCANet、PCANet、2DPCANet和L1-(2D)2PCANet四種算法在焊縫數(shù)據(jù)集中的平均識(shí)別率。表2為4種算法在40%遮蓋噪聲下的平均識(shí)別率。對(duì)每次更改樣本個(gè)數(shù),均隨機(jī)進(jìn)行5次實(shí)驗(yàn),且每次噪聲塊的位置隨機(jī)分配。由表1和表2可知,本文提出的算法相對(duì)于其他3種算法平均識(shí)別率高;且對(duì)于來自噪聲塊的干擾,其標(biāo)準(zhǔn)差較小,相比于其他算法一直維持在穩(wěn)定的狀態(tài)。

表2 各算法在40%遮蓋噪聲下的平均識(shí)別率 %

如圖9所示為各算法在焊縫數(shù)據(jù)集中的分類率對(duì)比圖。由圖9可知,隨著訓(xùn)練樣本的不斷增多,其平均分類率逐漸增加,且逐漸收斂。RNG(2D)2PCANet算法其分類率均高于其他3種算法,這是由于二維算法提取了更多的圖像模式特征,且損失圖像的行列結(jié)構(gòu)信息偏少。從距離度量方式看,范數(shù)大部分情形下分類率要略高于范數(shù)相對(duì)應(yīng)的算法,這是由于范數(shù)度量方式具有一定的抗噪能力和分類優(yōu)越性。

圖9 各算法在焊縫數(shù)據(jù)集中的分類率對(duì)比圖

如圖10所示為焊縫檢測(cè)實(shí)驗(yàn)平臺(tái)測(cè)試的分類識(shí)別結(jié)果,其中分類識(shí)別結(jié)果1～4分別表示合格、未熔合、飛濺及漏焊。為了對(duì)比觀察焊縫缺陷類型及其所在位置,分別用黑色、黃色、紅色、綠色邊界框來標(biāo)記合格、未熔合、飛濺及漏焊。通過對(duì)不同焊縫缺陷類型的檢測(cè)結(jié)果進(jìn)行比對(duì),其分類識(shí)別率分別為96.25%、96.87%和97.07%,其平均分類識(shí)別率為96.7%。該實(shí)驗(yàn)中對(duì)視頻流數(shù)據(jù)的圖像預(yù)處理、特征提取及其分類識(shí)別的所需時(shí)間為50 s。實(shí)驗(yàn)結(jié)果表明,本文所提出算法對(duì)視頻流數(shù)據(jù)同樣有效,能夠應(yīng)用于實(shí)際的焊縫缺陷在線檢測(cè)。

圖10 焊縫檢測(cè)實(shí)驗(yàn)平臺(tái)測(cè)試的分類識(shí)別結(jié)果

3.2 基于人臉數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證算法的準(zhǔn)確性,又在人臉數(shù)據(jù)集上進(jìn)行分類率實(shí)驗(yàn)。ORL數(shù)據(jù)集由40個(gè)人臉圖像組成,每人10幅,共400幅樣本圖像,分辨率為112×92。Yale B數(shù)據(jù)集包含15個(gè)人臉圖像,每人11幅共165幅,分辨率為100×100。圖11展示了Yale B和ORL數(shù)據(jù)集的部分圖像。為了測(cè)試RNG(2D)2PCANet算法的魯棒性,在40%遮蓋噪聲下,從Yale B和ORL數(shù)據(jù)集中分別在隨機(jī)位置上對(duì)應(yīng)加入40×40、40×40和30×30的雜點(diǎn)噪聲進(jìn)行覆蓋。上述遮蓋噪聲位置任意且不超越圖像邊界,如圖12所示。

圖11 人臉數(shù)據(jù)集示例

圖12 40%遮蓋噪聲示例

表3和表4分別列舉了各算法在ORL和Yale B人臉數(shù)據(jù)集中的平均識(shí)別率。重復(fù)實(shí)驗(yàn)與噪聲塊的位置處理方式與焊縫圖像相同。本文所提算法平均識(shí)別率高,標(biāo)準(zhǔn)差小于被對(duì)比的PCANet、2DPCANet和L1-(2D)2PCANet貪婪算法,在噪聲的干擾下,該算法的波動(dòng)性小于其他3種算法,容噪性較好。

表3 各算法在ORL數(shù)據(jù)集中人臉平均識(shí)別率 %

表4 各算法在Yale B數(shù)據(jù)集中人臉平均識(shí)別率 %

如圖13所示為各算法在ORL和Yale B人臉數(shù)據(jù)集中的分類率對(duì)比圖。在每個(gè)訓(xùn)練樣本中分別隨機(jī)抽取1、2、3、4、5、6、7、8、9、10幅作為訓(xùn)練樣本,其余作測(cè)試樣本。訓(xùn)練樣本中隨機(jī)抽取40%樣本添加遮蓋噪聲?？紤]到噪聲的隨機(jī)性,重復(fù)5次隨機(jī)遮蓋噪聲進(jìn)行分類率實(shí)驗(yàn)。可以看出,隨著訓(xùn)練樣本的不斷增多,算法分類率逐漸提高且逐漸收斂,這是由于隨著訓(xùn)練樣本的逐漸增加,網(wǎng)絡(luò)學(xué)習(xí)能力大大加強(qiáng),其分類識(shí)別能力隨之提高,而RNG-BDPCANet算法比其他算法學(xué)習(xí)能力更強(qiáng),因而更快收斂。與在ORL數(shù)據(jù)集中和焊縫數(shù)據(jù)集中顯示的有所不同的是,Yale B數(shù)據(jù)集中RNG-BDPCANet算法在訓(xùn)練樣本較少時(shí),其分類率才會(huì)優(yōu)于其他3種算法。探究其原因,發(fā)現(xiàn)Yale B數(shù)據(jù)集中的背景與人臉圖像的差異較ORL數(shù)據(jù)集和焊縫數(shù)據(jù)集明顯,算法可能適用于背景干擾較少的環(huán)境。

圖13 各算法在ORL和Yale B人臉數(shù)據(jù)集中的分類率對(duì)比圖

4 結(jié)束語

本文基于深度子空間學(xué)習(xí)提出一種簡單有效的RNG-BDPCANet算法應(yīng)用于焊縫缺陷在線檢測(cè)。通過對(duì)不同焊縫缺陷類型的檢測(cè)結(jié)果進(jìn)行比對(duì),其平均分類識(shí)別率為96.7%。該實(shí)驗(yàn)中對(duì)視頻流數(shù)據(jù)的圖像預(yù)處理、特征提取及其分類識(shí)別的所需時(shí)間為50 s。實(shí)驗(yàn)結(jié)果表明,本文所提算法能夠應(yīng)用于實(shí)際的焊縫缺陷在線檢測(cè)。該算法通過結(jié)合深度子空間學(xué)習(xí)和優(yōu)化目標(biāo)函數(shù),在L1范數(shù)距離度量標(biāo)準(zhǔn)下,利用雙向二維主成分分析作卷積核,學(xué)習(xí)樣本的深度非線性特征;并給出其非貪婪的求解算法,得到目標(biāo)函數(shù)最優(yōu)的整體投影矩陣。將RNG-BDPCANet與PCANet、2DPCANet和L1-(2D)2PCANet貪婪算法,分別在焊縫人工數(shù)據(jù)集及ORL、Yale B人臉數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)對(duì)比與分析,多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了該算法的有效性。由于L1的優(yōu)點(diǎn),使得樣本中混入較多噪聲數(shù)據(jù)時(shí),算法依然能夠呈現(xiàn)較好的魯棒性,且其對(duì)于不同的遮蓋噪聲具有一定的適應(yīng)性。然而,本文算法需要迭代求解,將影響到算法的時(shí)間復(fù)雜度。因此,在一定程度上限制了該算法的實(shí)際應(yīng)用。下一階段的工作重點(diǎn)是針對(duì)焊接機(jī)器人焊縫表面缺陷實(shí)時(shí)圖像,進(jìn)一步進(jìn)行深度特征學(xué)習(xí)及多種缺陷識(shí)別研究。