基于機(jī)器視覺的鎢棒曲面缺陷檢測(cè)方法

林雄 徐哲壯 陳劍

（福州大學(xué)電氣工程與自動(dòng)化學(xué)院 福建省福州市 350108）

在工業(yè)生產(chǎn)中，鎢棒屬于小體積的棒材金屬，其金屬曲面易形成刮傷、孔洞、未見光等不同類型的缺陷，為了提高企業(yè)的經(jīng)濟(jì)效益，需要對(duì)生產(chǎn)的鎢棒進(jìn)行缺陷檢測(cè)，及時(shí)發(fā)現(xiàn)缺陷并加以分析,根據(jù)缺陷產(chǎn)生原因?qū)ο鄳?yīng)生產(chǎn)環(huán)節(jié)加以改進(jìn)，從而減少缺陷產(chǎn)品的產(chǎn)生的同時(shí),對(duì)存在缺陷的鎢棒進(jìn)行剔除回收，保證最終的鎢棒成品質(zhì)量。目前，國(guó)內(nèi)鎢棒生產(chǎn)企業(yè)普遍還是依賴于人工目視檢測(cè)，目檢對(duì)檢測(cè)光源、工人經(jīng)驗(yàn)等要求高，工人長(zhǎng)時(shí)間檢測(cè)出現(xiàn)視覺疲勞，造成檢測(cè)效率低、速度慢，還會(huì)出現(xiàn)誤檢、漏檢的情況。

近年來(lái)，隨著機(jī)器視覺在各個(gè)領(lǐng)域的廣泛應(yīng)用，其中應(yīng)用機(jī)器視覺解決金屬表面缺陷檢測(cè)是金屬制造廠商熱點(diǎn)之一，對(duì)于企業(yè)的經(jīng)濟(jì)效益意義重大[1-4]。目前在棒材類金屬缺陷檢測(cè)領(lǐng)域開展了多項(xiàng)研究：文獻(xiàn)[5]等人利用HOG 特征提取棒材表面的螺紋缺陷特征信息，并用主成分分析法提高檢測(cè)速度；文獻(xiàn)[6]提出了一種基于機(jī)器視覺的棒材表面裂紋檢測(cè)系統(tǒng)，通過邊緣檢測(cè)和形態(tài)學(xué)等圖像處理技術(shù)提取缺陷邊緣，實(shí)現(xiàn)對(duì)裂紋缺陷進(jìn)行準(zhǔn)確定位和檢測(cè)；文獻(xiàn)[7]提出基于二維Gabor 小波的濾波算法和缺陷特征信息分析，實(shí)現(xiàn)對(duì)紅鋼棒材的凹痕，擦傷缺陷的檢測(cè)。

針對(duì)鎢棒曲面缺陷圖像的特點(diǎn)，對(duì)鎢棒缺陷檢測(cè)算法進(jìn)行深入研究，采用圖像增強(qiáng)、邊緣檢測(cè)、形態(tài)學(xué)處理等圖像處理技術(shù)，實(shí)現(xiàn)缺陷定位并提取缺陷區(qū)域圖像，計(jì)算缺陷區(qū)域的紋理特征作為SVM 分類模型輸入，實(shí)現(xiàn)對(duì)缺陷樣品的有效預(yù)測(cè)分類。本文的研究工作為小體積棒材金屬曲面缺陷檢測(cè)和準(zhǔn)確識(shí)別提供了一種有效的檢測(cè)方案，具有一定的實(shí)用價(jià)值。

1 鎢棒缺陷檢測(cè)系統(tǒng)概述

鎢棒缺陷存在于棒身，面陣相機(jī)無(wú)法直接捕獲曲面結(jié)構(gòu)圖像，且面陣相機(jī)受光線散射影響，部分缺陷成像不明顯，與背景灰度值相近。故本文搭建線陣相機(jī)鎢棒圖像采集系統(tǒng)，該采集系統(tǒng)明場(chǎng)成像效果相較于暗場(chǎng)缺陷區(qū)域灰度變化更為明顯，缺陷目標(biāo)顯著，故采用明場(chǎng)成像，線性光源高角度照明。

采集原理：鎢棒圖像采集平臺(tái)如圖1所示，傳送帶和懸空攔截杠組成運(yùn)動(dòng)控制模塊，該模塊實(shí)現(xiàn)鎢棒旋轉(zhuǎn)，其具體方法為：輸送帶輕微傾斜，輸送帶由電機(jī)驅(qū)動(dòng)運(yùn)行，輸送帶往高處運(yùn)行，攔截杠懸于傳送帶表面上方，待檢鎢棒?？吭跀r截杠的光滑邊緣上，鎢棒受輸送帶牽引力從而勻速旋轉(zhuǎn)。

圖1：圖像采集平臺(tái)

工業(yè)線陣相機(jī)以固定行頻采集棒材表面圖像，當(dāng)線陣相機(jī)完成一行圖像數(shù)據(jù)的采集后，棒材剛好旋轉(zhuǎn)至下一位置，使鎢棒每次移動(dòng)的距離剛好等于相機(jī)單次曝光獲得的圖像寬度，從而完成連續(xù)的圖像數(shù)據(jù)采集。

由于鎢棒生產(chǎn)工藝環(huán)節(jié)問題，導(dǎo)致鎢棒曲面表面存在多種缺陷，孔洞缺陷、刮傷缺陷、未見光缺陷作為常見的缺陷類型，缺陷成因相異,缺陷形式各有不同。采集系統(tǒng)所獲取的部分缺陷圖像如圖2所示。

圖2：鎢棒曲面圖像

鎢棒曲面缺陷檢測(cè)分類的基本流程為：首先利用圖像采集平臺(tái)獲取鎢棒灰度圖，其次采用圖像增強(qiáng)算法、邊緣檢測(cè)、形態(tài)學(xué)閉運(yùn)算等一系列圖像處理方法，提取鎢棒感興趣區(qū)域(Regions of interest，ROI)，即缺陷區(qū)域圖像，然后通過灰度共生矩陣計(jì)算ROI 區(qū)域的紋理特征，運(yùn)用SVM 分類器實(shí)現(xiàn)鎢棒曲面不同類型缺陷的預(yù)測(cè)分類[8-10]。鎢棒曲面缺陷檢測(cè)與分類流程如圖3所示。

2 圖像預(yù)處理

對(duì)鎢棒曲面圖像進(jìn)行灰度化處理,減少圖像的復(fù)雜度和信息處理量。原始圖像尺寸太大，為了增加檢測(cè)算法處理速度、提高系統(tǒng)整體檢測(cè)效率，對(duì)圖像進(jìn)行降采樣操作。降采樣算法主要采用雙線性插值法是在水平和豎直方向根據(jù)臨近的兩個(gè)像素的位置進(jìn)行線性插值減少圖像尺寸，統(tǒng)一鎢棒圖像尺寸，得到450×225pixel 圖像。

鎢棒圖像灰度不均，存在局部較暗的區(qū)域，通過Gamma 校正可以提高圖像整體亮度，增強(qiáng)圖像對(duì)比度，降低后續(xù)缺陷分割難度。Gamma 校正通過將像素灰度值a進(jìn)行歸一化，然后通過灰度變換得到校正后的像素灰度值為特征指數(shù)。Gamma 校正公式可表示為：

3 缺陷分割與提取

為便于特征提取，需準(zhǔn)確知道缺陷具體位置，故進(jìn)行ROI 提取。由于鎢棒材質(zhì)、生產(chǎn)工藝等問題，鎢棒圖像背景區(qū)域存在較多的噪聲容易造成缺陷的錯(cuò)誤分割，針對(duì)以上問題，本文提出一套適用于鎢棒曲面圖像ROI提取流程，具體流程如下：Otsu-Canny 算法的邊緣檢測(cè)獲取缺陷邊緣，運(yùn)用形態(tài)學(xué)閉運(yùn)算修復(fù)斷裂缺陷邊緣，得到缺陷輪廓的外接矩陣，截取對(duì)應(yīng)的鎢棒圖像。

3.1 基于Otsu-Canny算法的邊緣檢測(cè)

本文選擇基于邊緣檢測(cè)的Canny 算子進(jìn)行缺陷分割處理。Canny 邊緣檢測(cè)基本流程如下所示：

（1）高斯濾波函數(shù)濾波去噪處理，二維高斯函數(shù)如下：

式中：σ為高斯函數(shù)的分布參數(shù)，σ的大小控制高斯濾波對(duì)圖像的平滑程度。

通過g(x,y,σ)對(duì)原圖像R(x,y)進(jìn)行平滑處理，F(xiàn)(x,y)為平滑濾波之后的圖像，計(jì)算公式如下：

（2）2 方向3×3 的Sobel 算子結(jié)合高斯平滑和微分求導(dǎo)，計(jì)算F(x,y)圖像上每個(gè)像素點(diǎn)對(duì)應(yīng)梯度矢量，得到圖像梯度矩陣。表1 為Sobel 梯度模板。

表1：Sobel 梯度模板

Gx，Gy分別為F(x,y)與x方向和y方向的Sobel 梯度模板卷積的結(jié)果。G(x,y)為梯度圖像像素點(diǎn)(x,y)的梯度幅值，計(jì)算公式如下：

（3）通過非極大值抑制排除冗余的非邊緣像素，得到細(xì)化的邊緣；

（4）采用Otsu 算法自適應(yīng)獲取高低閾值，根據(jù)閾值k 將經(jīng)過非極大值抑制處理之后的圖像的灰度級(jí)劃分為A、B 兩類，像素屬于類A、B 的概率設(shè)為P1(k)、P2(k)，類A、B 的平均灰度級(jí)為則有圖像的類間方差為：

3.2 形態(tài)學(xué)邊緣修復(fù)

由于鎢棒表面部分缺陷與背景之間灰度變化不明顯，邊緣檢測(cè)所提取的部分缺陷邊緣易出現(xiàn)小范圍斷裂。通過采用形態(tài)學(xué)閉運(yùn)算操作來(lái)修復(fù)邊緣小斷裂并保證缺陷總體形狀和位置不變。S為結(jié)構(gòu)元素，使用S對(duì)I進(jìn)行形態(tài)學(xué)閉運(yùn)算處理，Ib為處理之后的邊緣檢測(cè)結(jié)果。數(shù)學(xué)表達(dá)如下：

3.3 ROI提取

為了消除表面噪聲和等干擾信息造成的誤檢邊緣，通過計(jì)算各個(gè)邊緣的輪廓周長(zhǎng)，進(jìn)行缺陷邊緣判定：將圖像上的每個(gè)邊緣輪廓的周長(zhǎng)和周長(zhǎng)閾值L進(jìn)行對(duì)比。若大于閾值L，判定為屬于缺陷的邊緣，保留該部分邊緣；否則作為誤檢邊緣進(jìn)行消除。若圖像中不存在邊緣的輪廓周長(zhǎng)大于閾值L，則鎢棒曲面不存在缺陷，將鎢棒判定為良品。

4 缺陷區(qū)域紋理特征提取與分類

4.1 灰度共生矩陣

鎢棒ROI 區(qū)域圖像上相隔一定距離的兩個(gè)像素間存在一定的灰度關(guān)系，即灰度空間相關(guān)特性。通過灰度共生矩陣計(jì)算灰度空間特性，描述缺陷區(qū)域圖像的紋理特征。灰度共生矩陣通過計(jì)算統(tǒng)計(jì)所有從灰度i的像素點(diǎn)沿a方向移動(dòng)步距d到達(dá)灰度為j的像素點(diǎn)的概率p(i,j)。本文選擇能量、對(duì)比度、熵、逆方差、標(biāo)準(zhǔn)差和相關(guān)性6 種特征參數(shù)代表鎢棒缺陷區(qū)域圖像的紋理特征。

能量F1反映缺陷區(qū)域圖像灰度分布均勻程度和紋理粗細(xì)程度；

對(duì)比度F2反映了缺陷區(qū)域圖像紋理的清晰度；

熵F3反映缺陷區(qū)域圖像中紋理的非均勻程度或復(fù)雜程度；

逆方差F4反映缺陷區(qū)域圖像紋理的同質(zhì)性，衡量圖像紋理局部變化量；

標(biāo)準(zhǔn)差F5反映缺陷區(qū)域圖像像素值與均值的離散程度，為灰度共生矩陣元素均值，h為矩陣長(zhǎng)，w為矩陣寬；

相關(guān)性F6反映了缺陷區(qū)域圖像紋理的一致性。

其中：

方向a分別取0°、45°、90°和 135°，步距d取1，通過計(jì)算鎢棒缺陷區(qū)域圖像可得到4 個(gè)方向所對(duì)應(yīng)灰度共生矩陣，然后根據(jù)式（7）～（12）即可計(jì)算每個(gè)灰度共生矩陣的能量、對(duì)比度、熵、逆方差、標(biāo)準(zhǔn)差和相關(guān)性6 個(gè)特征值，即每個(gè)鎢棒缺陷區(qū)域圖像對(duì)應(yīng)24 個(gè)特征值。將這些特征值進(jìn)行組合作為缺陷分類模型的輸入特征向量。

4.2 支持向量機(jī)

本文的鎢棒缺陷區(qū)域圖像訓(xùn)練數(shù)據(jù)集為D={(x1,y1),(x2,y2),...,(xm,ym)}，其中xi是通過灰度共生矩陣獲取的24維紋理特征向量；yi是三種缺陷種類標(biāo)簽。在樣本空間中，超平面的定義如下：

5 試驗(yàn)方案和結(jié)果分析

5.1 實(shí)驗(yàn)準(zhǔn)備

計(jì)算機(jī)配置為：Intel Core i5-8300H 的CPU，1 個(gè)NVIDIA GeForce GTX 1080Ti 的GPU 和32G 的內(nèi)存；編碼器型號(hào)為歐姆龍E6B2-cwz1x，功率2500p/r;線性LED 光源長(zhǎng)15mm，功率為20w，圖4 為鎢棒缺陷檢測(cè)平臺(tái)實(shí)物圖。

圖4：鎢棒曲面缺陷檢測(cè)平臺(tái)

5.2 缺陷區(qū)域紋理特征提取實(shí)驗(yàn)

通過缺陷分割映射到鎢棒圖像上，并截取對(duì)應(yīng)的缺陷區(qū)域圖像進(jìn)行特征提取，為了驗(yàn)證特征值選取的合理性，選取240 張鎢棒圖像ROI 為試驗(yàn)樣本，其中孔洞缺陷、刮傷缺陷和未見光缺陷的缺陷區(qū)域ROI 各80 幅，計(jì)算鎢棒圖像上ROI 區(qū)域的紋理特征值F1，F(xiàn)2，F(xiàn)3，F(xiàn)4，F(xiàn)5，F(xiàn)6在四個(gè)不同α 方向下的平均值進(jìn)行對(duì)比。

圖5 可以比較發(fā)現(xiàn)，同一種的缺陷所對(duì)應(yīng)的特征參數(shù)分布范圍較為穩(wěn)定，而不同缺陷類型之間所提取的特征值存在一定區(qū)別，孔洞的對(duì)比度整體遠(yuǎn)大于其他兩種缺陷，孔洞的逆方差整體稍微小于其他兩種缺陷，刮傷的相關(guān)性和標(biāo)準(zhǔn)差整體大于其他兩種缺陷。因此以上6種圖像紋理特征能夠有效反映出鎢棒缺陷區(qū)域特征信息的差異。不同缺陷類型所對(duì)應(yīng)的區(qū)域圖像紋理特征參數(shù)存在一定差異，為模型分類提供了數(shù)據(jù)依據(jù)。

圖5：不同類型缺陷區(qū)域特征參數(shù)對(duì)比

5.3 缺陷分類結(jié)果

利用采集平臺(tái)獲取鎢棒缺陷圖像共600 張，其中孔洞缺陷樣本，刮傷缺陷樣本，未見光缺陷樣本各200 張，以6:4 為比例劃分訓(xùn)練集和測(cè)試集。

表2 分別為SVM 分類器對(duì)測(cè)試集樣本的預(yù)測(cè)分類結(jié)果，整體正確率達(dá)到93.33%，誤檢率僅為6.67%，其中孔洞缺陷檢測(cè)正確率最高，到達(dá)96.25%。分類實(shí)驗(yàn)結(jié)果證明，利用灰度共生矩陣提取缺陷區(qū)域的紋理特征作為特征向量，對(duì)鎢棒缺陷分類具有良好的效果，對(duì)不同類型的鎢棒曲面缺陷分類具有較好的適用性，其精度高，滿足企業(yè)生產(chǎn)需求。并且利用缺陷檢測(cè)算法對(duì)單根鎢棒進(jìn)行缺陷檢測(cè)的平均總耗時(shí)僅為1.732 秒，檢測(cè)速度快，能夠基本滿足工業(yè)現(xiàn)場(chǎng)檢測(cè)需求。

表2：鎢棒曲面缺陷的預(yù)測(cè)分類結(jié)果

6 結(jié)束語(yǔ)

本文提出了一套基于機(jī)器視覺的鎢棒曲面缺陷檢測(cè)方法，利用線陣相機(jī)獲取鎢棒曲面圖像后，通過預(yù)處理、邊緣檢測(cè)和形態(tài)學(xué)操作等，提取缺陷區(qū)域，并基于灰度共生矩陣進(jìn)行缺陷的特征提取和識(shí)別。本文深入研究了鎢棒曲面缺陷圖像辨識(shí)方法，設(shè)計(jì)搭建了硬軟件模塊，形成了自動(dòng)化程度高的缺陷檢測(cè)系統(tǒng)，對(duì)小體積棒材缺陷檢測(cè)具有借鑒意義。實(shí)驗(yàn)結(jié)果表明本文所述方法可用于鎢棒曲面的缺陷檢測(cè)，檢測(cè)識(shí)別與分類準(zhǔn)確度可達(dá)到93.33%，能夠基本滿足鎢棒廠家對(duì)鎢棒檢測(cè)缺陷的需求，較大程度提高檢測(cè)效率，具有較高的應(yīng)用價(jià)值。