基于方向梯度直方圖的螺紋連接件端面缺陷檢測(cè)方法

戚嘉輝,趙一鳴,王 壯,胡燕海

（寧波大學(xué) 機(jī)械工程與力學(xué)學(xué)院,浙江 寧波 315211）

隨著工業(yè)技術(shù)的發(fā)展,金屬零部件越來(lái)越多地出現(xiàn)在生活和生產(chǎn)的各個(gè)領(lǐng)域中.然而由于生產(chǎn)和安裝過(guò)程中的不確定因素,一些零部件會(huì)有磨損、劃痕、安裝失敗等問(wèn)題,目前大部分工廠都采用人工來(lái)檢測(cè)零部件缺陷,但是人工檢測(cè)效率低、勞動(dòng)強(qiáng)度大,在檢測(cè)過(guò)程中的準(zhǔn)確率也無(wú)法保證,并且檢測(cè)比如螺紋連接件這種表面反光強(qiáng)烈的零部件時(shí),很容易產(chǎn)生視覺(jué)疲勞.鑒于零部件的缺陷和安裝誤差會(huì)對(duì)生產(chǎn)生活形成重大威脅,因此為保障機(jī)械零部件的穩(wěn)定工作,對(duì)螺紋連接件類零部件進(jìn)行高準(zhǔn)確率檢測(cè)具有重大意義.

張一明[1]對(duì)金屬零部件表面進(jìn)行亞像素邊緣提取,并采用霍夫變換算法檢測(cè)圖像中的直線和圓,通過(guò)模板匹配對(duì)表面圖像中的缺陷進(jìn)行定位和識(shí)別.李佳偉[2]提出了一種新的閾值分割方法,針對(duì)小型機(jī)械零部件內(nèi)外輪廓的幾何特征,提出了一種新的最小包圍圓檢測(cè)的方法.Choi 等[3]采用Gabor 濾波器提取缺陷,并提出了一種形態(tài)學(xué)評(píng)分函數(shù)以評(píng)估缺陷的特征.

在螺紋連接件檢測(cè)中,李順[4]先將圖片二值化,再對(duì)圖像進(jìn)行濾波處理、形態(tài)學(xué)處理和角度調(diào)整,采用Sobel 算子對(duì)螺紋連接件輪廓部分進(jìn)行處理,并對(duì)檢測(cè)出來(lái)的邊緣進(jìn)行角點(diǎn)刪選.此方法對(duì)背景跟螺紋連接件差距較大的環(huán)境檢測(cè)效果較好,但缺乏在工廠流水線實(shí)際生產(chǎn)環(huán)境下的實(shí)驗(yàn)驗(yàn)證.陳守恒等[5]采用模板匹配的定位方法,經(jīng)過(guò)一系列預(yù)處理和區(qū)域搜索,以檢測(cè)螺紋連接件是否存在,但是不能檢測(cè)螺紋連接件是否歪斜,且準(zhǔn)確率僅接近90%,平均耗時(shí)為102.4 ms.

本文針對(duì)背景與零部件灰度值接近、平均耗時(shí)長(zhǎng)、準(zhǔn)確率不夠高的情況,提出用中值濾波去除圖像中的噪聲,利用圖像微分法對(duì)圖片進(jìn)行銳化增強(qiáng),并通過(guò)Sobel 邊緣檢測(cè)算子加強(qiáng)螺紋連接件端面邊緣,利用方向梯度直方圖確定圖像上的邊緣輪廓,以提高對(duì)螺紋連接件端面檢測(cè)的準(zhǔn)確率.

1 總體方案設(shè)計(jì)

檢測(cè)對(duì)象是報(bào)警器底盤上的螺紋連接件.報(bào)警器底盤是一個(gè)直徑為10 cm 的圓,文中將螺紋連接件端面設(shè)置為ROI 區(qū)域(圖1).

圖1 報(bào)警器底盤及ROI 區(qū)域

檢測(cè)系統(tǒng)硬件由圖像采集系統(tǒng)、PLC、上位機(jī)和傳送帶組成[6-8],圖像采集系統(tǒng)由光源、相機(jī)、鏡頭構(gòu)成.由于檢測(cè)工件為圓形工件,且表面反光比較強(qiáng)烈,因此采用藍(lán)色高角度環(huán)形光源,可突出顯示被測(cè)工件邊緣變化和原本難以看清的高反光部分,并且光線擴(kuò)散較為均勻,對(duì)工件后續(xù)檢測(cè)的效果較好.由于安裝有30 cm 高度限制,因此選取500萬(wàn)像素黑白CCD 相機(jī)和16 mm 工業(yè)鏡頭.

工件檢測(cè)流程如下: 工件放在夾具上,通過(guò)傳送帶輸送,當(dāng)工件傳送到環(huán)形光源下,被彈起的彈簧頂住,暫停輸送,同時(shí)將拍照信號(hào)傳給PLC,相機(jī)開(kāi)始拍照.相機(jī)拍到的圖像經(jīng)過(guò)圖像處理,將工件分為良品和瑕疵品.若為良品,則給PLC一個(gè)高電平信號(hào),反之,則給PLC 一個(gè)低電平信號(hào).PLC根據(jù)計(jì)算機(jī)的高低電平信號(hào)將瑕疵品和良品通過(guò)機(jī)械手進(jìn)行分揀.瑕疵品缺陷特征為螺紋連接件端面磨損和螺紋連接件端面歪斜.

本文先將采集到的圖像進(jìn)行圖像預(yù)處理[9-12],預(yù)處理包括灰度處理[13]、圖像濾波和圖像銳化增強(qiáng).將經(jīng)過(guò)圖像預(yù)處理的圖片進(jìn)行Sobel 邊緣檢測(cè),通過(guò)每個(gè)目標(biāo)圖像的方向梯度直方圖分布提取出螺紋連接件端面的輪廓特征,即可以得到螺紋連接件端面的磨損情況.同時(shí),對(duì)圖像進(jìn)行二值化處理,通過(guò)處理后的圖像可以判斷螺紋連接件端面的歪斜情況.如果螺紋連接件端面的磨損和歪斜情況在一定范圍內(nèi),就判定該工件為良品.

2 圖像處理方法

2.1 圖像濾波

通常相機(jī)采集到的圖像有很多噪聲,圖像中的噪聲主要分為高斯噪聲和椒鹽噪聲兩類.高斯噪聲是由于攝影機(jī)掃描圖片產(chǎn)生的,椒鹽噪聲是由于光電轉(zhuǎn)變及解碼處理產(chǎn)生的.一般情況下,噪聲可通過(guò)濾波方法進(jìn)行處理.本文分別使用高斯濾波、均值濾波、中值濾波進(jìn)行比對(duì).

通過(guò)分析實(shí)驗(yàn)圖像可發(fā)現(xiàn),均值濾波對(duì)椒鹽噪聲的去除效果較差,而高斯濾波能有效清除椒鹽噪聲和高斯噪聲.但經(jīng)過(guò)高斯濾波處理后,螺紋連接件端面邊緣變得更加模糊,缺少了像素細(xì)節(jié).中值濾波對(duì)噪聲的處理效果較好,并且保留了較為完整的螺紋連接件端面邊緣細(xì)節(jié).綜上所述,本文采取中值濾波對(duì)圖像進(jìn)行處理.

2.2 銳化增強(qiáng)

圖像銳化增強(qiáng)[14-15]的效果是增強(qiáng)圖像的灰度值變化劇烈部分,使圖像更加清晰.圖像邊緣信息主要集中在圖像頻譜的高頻部分,因此用微分法來(lái)抑制圖像的中低頻分量,讓圖像的高頻分量順利通過(guò).本文使用梯度微分法對(duì)圖像進(jìn)行銳化處理,梯度方向是圖像灰度值變化最大的方向,對(duì)圖像f(x,y)在點(diǎn)(x,y)的梯度 ?f(x,y)定義為矢量,計(jì)算如下:

通過(guò)梯度 ?f(x,y)可以得到銳化結(jié)果,本文采用比較梯度 ?f(x,y)與閾值T的方法確定銳化后的輸出圖像f′(x,y),對(duì)比方法如下.

2.3 輪廓提取

本文采用Sobel 邊緣檢測(cè)器[16-18]對(duì)處理后的圖像進(jìn)行邊緣查找.

Sobel 邊緣檢測(cè)對(duì)噪聲較多的圖像以及水平和垂直方向灰度漸變的邊緣圖像處理效果較好,而且檢測(cè)速度比較快,符合該類對(duì)檢測(cè)速度有要求的檢測(cè)項(xiàng)目,且對(duì)硬件需求不高.而Canny 算法會(huì)導(dǎo)致選取區(qū)域的灰度值差值較大,并使圖像的邊緣信息丟失細(xì)節(jié),且Canny算法對(duì)人工選取閾值依懶性強(qiáng),不同環(huán)境的閾值需要人工調(diào)整.Laplacian算法對(duì)圖像的噪聲比較敏感,會(huì)使處理后的圖像產(chǎn)生許多不是邊緣的冗雜信息.

設(shè)輸入圖像為F,用3×3 的矩陣與圖像F做卷積,Gx和Gy分別代表橫向和縱向邊緣檢測(cè)的灰度值,計(jì)算如下:

上述方法得到的螺紋連接件端面圖形比較穩(wěn)定,能對(duì)圖形進(jìn)行輪廓提取[19].由于傳統(tǒng)方向梯度直方圖只能提取直線,對(duì)曲線提取效果不佳,且當(dāng)圖形中存在多個(gè)目標(biāo)的直線邊緣時(shí),該方法可能會(huì)失效.

本文在使用方向梯度直方圖提取輪廓的基礎(chǔ)上對(duì)曲線提取做了優(yōu)化.由于需要檢測(cè)的螺紋連接件端面輪廓是統(tǒng)一且已知的,可以把經(jīng)過(guò)Sobel算子處理后的曲線部分當(dāng)作目標(biāo)圖像的理想輪廓,將目標(biāo)圖像的理想輪廓以1 像素為步長(zhǎng),在檢測(cè)圖像上進(jìn)行掃描,找到與目標(biāo)圖像理想輪廓重合度最高的輪廓,再在該輪廓周圍進(jìn)行方向梯度直方圖處理和特征的提取.

通過(guò)式(5)和式(6)得到的梯度幅值圖G(i,j)和梯度方向圖θ(i,j)計(jì)算出梯度方向編碼圖O(i,j)和方向梯度直方圖H(k),通過(guò)方向梯度直方圖可以得到最強(qiáng)梯度的方向?yàn)閗max.由于螺紋連接件端面的大小是固定的,因此可以將掃描線lp換成經(jīng)過(guò)Sobel 處理后的螺紋連接件端面曲線,對(duì)lp在檢測(cè)區(qū)域內(nèi)沿直線方向以1 像素為步長(zhǎng)進(jìn)行掃描,x軸掃描完畢后,則向y軸的下1 像素繼續(xù)掃描,具體示意如圖2 所示.

圖2 曲線邊緣位置直方圖

沿著最強(qiáng)梯度方向kmax,在圖像上按式(7)進(jìn)行統(tǒng)計(jì),統(tǒng)計(jì)每條lp上的灰度值總和,算法如下:

得到掃描曲線在最強(qiáng)梯度方向上當(dāng)前位置p的邊緣位置直方圖,在圖像上具有最強(qiáng)邊緣方向的直線邊緣處,邊緣位置直方圖會(huì)有較大響應(yīng),據(jù)此就可以定位邊緣位置.

本文方法對(duì)直線和曲線輪廓均可以提取,能檢測(cè)出螺紋連接件端面的缺陷特征.將檢測(cè)出的輪廓與模板輪廓作比較,當(dāng)與模板的輪廓不一致時(shí),有磨損的螺紋連接件端面表面輪廓就會(huì)有錯(cuò)誤的邊緣信息,從提取出的螺紋連接件端面表面輪廓信息中得到上述輪廓點(diǎn)的像素值,并與模板輪廓的像素值做差.根據(jù)多次實(shí)驗(yàn)結(jié)果比對(duì)發(fā)現(xiàn),當(dāng)差值像素點(diǎn)數(shù)量超過(guò)20 時(shí),即可視該螺紋連接件存在磨損.

在安裝螺紋連接件的過(guò)程中可能會(huì)出現(xiàn)螺紋連接件歪斜的情況,歪斜了的螺紋連接件端面在環(huán)形光照條件下采集到的圖像像素值會(huì)因?yàn)榉垂庠蚨?因此本文將檢測(cè)區(qū)域進(jìn)行二值化處理.設(shè)定閾值T,對(duì)每個(gè)像素值G(x,y)進(jìn)行判定,小于閾值T的判定為檢測(cè)目標(biāo),也就是螺紋連接件大于閾值T的即為背景.螺紋連接件端面歪斜或者螺紋連接件沒(méi)打上的目標(biāo)像素值遠(yuǎn)遠(yuǎn)低于良品的目標(biāo)像素值,根據(jù)多次實(shí)驗(yàn)結(jié)果比對(duì),發(fā)現(xiàn)二值化圖像中暗的部分小于24%時(shí),即視該螺紋連接件端面存在歪斜.二值化處理公式如下.

3 實(shí)驗(yàn)結(jié)果與分析

本文研究的報(bào)警器底盤螺紋連接件檢測(cè)系統(tǒng)實(shí)驗(yàn)裝置如圖3 所示.

圖3 報(bào)警器底盤螺紋連接件檢測(cè)系統(tǒng)

Canny 輪廓提取方法和本文輪廓提取方法如圖4 所示.

圖4 Canny 輪廓提取與本文方法的對(duì)比圖

傳統(tǒng)Canny 輪廓提取的高低閾值需要自己設(shè)置,根據(jù)閾值的不同提取出來(lái)的輪廓效果也不同.但本文方法能自動(dòng)提取邊緣而無(wú)需設(shè)定閾值,通過(guò)模板輪廓對(duì)曲線進(jìn)行了擬合,能夠自動(dòng)確定輪廓的方向和位置.

原圖和經(jīng)過(guò)本文方法處理后的圖片對(duì)比如圖5和圖6 所示.

圖5 原圖

圖6 本文方法處理后圖像

為了取得真實(shí)數(shù)據(jù),在生產(chǎn)線的真實(shí)環(huán)境進(jìn)行測(cè)試.本實(shí)驗(yàn)對(duì)生產(chǎn)線1 d產(chǎn)量的2 500個(gè)報(bào)警器底盤進(jìn)行了檢測(cè),然后人工復(fù)檢,以驗(yàn)證檢測(cè)的準(zhǔn)確率.檢測(cè)結(jié)果見(jiàn)表1,從表中數(shù)據(jù)可見(jiàn),對(duì)螺紋連接件端面磨損和螺紋連接件端面歪斜的檢測(cè)準(zhǔn)確率分別達(dá)到了99.4%和98.6%.由表2 的檢測(cè)結(jié)果可見(jiàn),相比傳統(tǒng)Canny 算法[20]和Sobel 算法[21],本文方法明顯提高了檢測(cè)的準(zhǔn)確率,能滿足工業(yè)使用的要求.

表1 算法測(cè)試結(jié)果

表2 本文方法與傳統(tǒng)算法對(duì)比

4 結(jié)論

本文針對(duì)實(shí)際生產(chǎn)需求,設(shè)計(jì)了報(bào)警器底盤螺紋連接件的檢測(cè)系統(tǒng),采用了灰度化處理、中值濾波、Sobel 邊緣檢測(cè)、梯度直方圖輪廓提取、二值化等方法對(duì)圖像進(jìn)行處理,對(duì)螺紋連接件端面磨損和螺紋連接件端面歪斜的實(shí)測(cè)檢測(cè)準(zhǔn)確率分別達(dá)到了99.4%和98.6%,平均檢測(cè)時(shí)長(zhǎng)83.46 ms.相比其他傳統(tǒng)算法,大大提高了檢測(cè)的準(zhǔn)確率,有效克服了傳統(tǒng)檢測(cè)檢測(cè)準(zhǔn)確率不高、人工檢測(cè)效率過(guò)低的弊端,為檢測(cè)螺紋連接件等反光零部件提供了有效思路.下一步將針對(duì)不同環(huán)境的情況進(jìn)行研究,嘗試使用深度學(xué)習(xí)方法對(duì)檢測(cè)出來(lái)的缺陷進(jìn)行處理及分類,在增加實(shí)驗(yàn)場(chǎng)景前提下,使檢測(cè)工作在任何實(shí)驗(yàn)環(huán)境下都能進(jìn)行,并進(jìn)一步提升準(zhǔn)確率,增加實(shí)時(shí)性.