基于顯微成像與圖像處理的工件表面漏光缺陷檢測(cè)算法*

李勝軍，鄭 灼

(1. 吉林省經(jīng)濟(jì)管理干部學(xué)院，長(zhǎng)春 130021;2. 沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110023)

?

基于顯微成像與圖像處理的工件表面漏光缺陷檢測(cè)算法*

李勝軍1，鄭 灼2

(1. 吉林省經(jīng)濟(jì)管理干部學(xué)院，長(zhǎng)春 130021;2. 沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110023)

為了解決工件表面微米級(jí)針孔缺陷特征不明顯而導(dǎo)致其難以檢出的問題，提出了基于顯微成像與圖像處理的針孔漏光缺陷檢測(cè)系統(tǒng)。首先，對(duì)針孔缺陷檢測(cè)精度、視野覆蓋范圍進(jìn)行分析，完成視覺系統(tǒng)設(shè)計(jì)，達(dá)到對(duì)缺陷清晰成像的目的。然后利用Canny分割與膨脹處理圖像缺陷目標(biāo)，遍歷輪廓提取面積、長(zhǎng)軸特征，通過加入缺陷坐標(biāo)系模型，完成缺陷定性判斷。實(shí)驗(yàn)測(cè)試結(jié)果顯示：與當(dāng)前缺陷檢測(cè)技術(shù)相比，文中算法擁有更高的缺陷檢出率。

漏光缺陷檢測(cè)；顯微成像；長(zhǎng)軸特征；遍歷輪廓；缺陷定性判斷

0 引言

隨著“智能制造”的概念深化和實(shí)踐，在企業(yè)制造成本不斷升高的背景下，利用先進(jìn)智能處理技術(shù)，實(shí)現(xiàn)低成本高品質(zhì)制造已經(jīng)是必然趨勢(shì)[1-4]。工件材料加工中，難免出現(xiàn)微米級(jí)針孔缺陷不良，以往采用手電筒對(duì)光，人眼查看是否漏光，來決定是否存在針孔缺陷。這種檢測(cè)方式不僅效率低、人力成本高，而且存在漏檢隱患。于是，工廠提出了基于工業(yè)相機(jī)的缺陷檢查方式，隨著應(yīng)用的深入，面臨的挑戰(zhàn)也更大，比如微米級(jí)針孔缺陷很難打光成像穩(wěn)定，即使勉強(qiáng)成像，也很難通過圖像定位方式來檢出不良。

在缺陷檢測(cè)方面，國內(nèi)研究人員已經(jīng)將計(jì)算機(jī)視覺技術(shù)引入到該領(lǐng)域中，對(duì)其展開研究，如董本志[5]提出了大數(shù)據(jù)環(huán)境下超聲波焊縫缺陷識(shí)別算法。通過主成分分析和CURE聚類算法將缺陷回波信號(hào)編碼轉(zhuǎn)換成可進(jìn)行匹配的對(duì)象，進(jìn)而將當(dāng)前檢測(cè)缺陷特征與歷史檢測(cè)數(shù)據(jù)進(jìn)行匹配，并利用最近鄰方法實(shí)現(xiàn)了對(duì)缺陷歷史檢測(cè)數(shù)據(jù)集的擴(kuò)充,達(dá)到缺陷檢測(cè)目的。但是，此技術(shù)依靠大數(shù)據(jù)樣本做分析基礎(chǔ)，在特征成像微弱，往往影響了檢出效果。徐科[6]提出了基于Tetrolet變換的熱軋鋼板表面缺陷識(shí)別應(yīng)用, 通過Tetrolet變換將熱軋鋼板表面圖像分解成不同尺度和方向的子帶,提取子帶的Tetrolet高通系數(shù)矩陣特征,得到一個(gè)高維的特征矢量；利用核保局投影算法對(duì)高維特征矢量進(jìn)行降維,將降維后的低維特征矢量輸入支持向量機(jī)，達(dá)到了缺陷檢測(cè)目的。然而，這種技術(shù)未充分考慮特征成像不穩(wěn)定的情況。在針對(duì)微米級(jí)缺陷時(shí)，往往不能準(zhǔn)確檢出不良。Z johsdyan l[7]提出了基于主成分分析的缺陷檢測(cè)系統(tǒng)，采用改進(jìn)優(yōu)化的主成分分析算子檢測(cè)缺陷邊緣，然后計(jì)算邊緣內(nèi)的像素，根據(jù)像素?cái)?shù)量，確定所測(cè)對(duì)象的性質(zhì)，達(dá)到了微小缺陷檢測(cè)的目的。但是該種技術(shù)是以缺陷成像清晰為先決條件，未考慮針孔漏光缺陷的微小性和不穩(wěn)定性，往往存在缺陷漏檢與誤檢的問題。Wang[8]提出了基于計(jì)算機(jī)視覺的缺陷檢測(cè)系統(tǒng)，采用改進(jìn)優(yōu)化的分水嶺分割缺陷邊緣，然后根據(jù)缺陷形態(tài)確定缺陷等級(jí)，結(jié)合模糊聚類算法，達(dá)到了微小缺陷測(cè)量目的。但是該種技術(shù)是以理想條件下分割缺陷，未考慮缺陷成像不穩(wěn)定不清晰的干擾情況，往往存在無檢出缺陷能力的評(píng)價(jià)結(jié)果。

為了提高微米級(jí)針孔缺陷的檢出率，從視覺硬件選型與視覺算法兩個(gè)方面入手，提出了基于顯微成像與圖像處理的針孔漏光缺陷檢測(cè)算法。針對(duì)微米級(jí)針孔缺陷物理特征微小，普通成像方式難以穩(wěn)定采集到清晰圖像的問題，本文對(duì)視覺硬件：相機(jī)、鏡頭和光源進(jìn)行組合測(cè)試，得到最佳配置與組合，完成視覺選型，得到穩(wěn)定成像的缺陷圖像。同時(shí)，針對(duì)針孔缺陷難以收集大數(shù)據(jù)樣本，導(dǎo)致先驗(yàn)學(xué)習(xí)方式檢測(cè)方式的不準(zhǔn)確性問題，本文將工件底部面光源近距離背面打光，通過調(diào)高相機(jī)曝光時(shí)間，用來進(jìn)一步補(bǔ)償缺陷圖像亮度，達(dá)到打光突出漏光孔缺陷的目的。最后，采用二值分割與輪廓查找，根據(jù)漏光孔面積特征，定位并計(jì)算漏光孔長(zhǎng)軸，完成漏光缺陷檢測(cè)。最后基于軟件工程，把以上方法逐個(gè)實(shí)現(xiàn)，并集成在檢測(cè)系統(tǒng)中。最后，測(cè)試了本文算法的檢測(cè)精度。

1 針孔漏光缺陷檢測(cè)

本文設(shè)計(jì)的基于顯微成像與圖像處理的針孔漏光缺陷檢測(cè)技術(shù)過程見圖1，其主要包含了: ①本研究主要達(dá)成兩個(gè)目標(biāo)：②針孔缺陷及其微小，提出了基于顯微成像的視覺選型機(jī)制，使其既能滿足視覺清晰度要求，同時(shí)兼顧成本的打光解決方案。③基于圖像處理的缺陷檢測(cè)。

圖1 本文機(jī)制架構(gòu)

1.1 基于顯微成像的視覺選型

本文檢測(cè)對(duì)象是工件表面針孔缺陷，該種穿孔缺陷的實(shí)際物理長(zhǎng)軸多為微米級(jí)。傳統(tǒng)的打光方式，由于缺乏集中穿透微米級(jí)區(qū)域的能力，很難在相機(jī)感光芯片上成像。且普通的定焦工業(yè)鏡頭由于放大倍率有限，也很難將針孔放大到圖像可視范圍內(nèi)。由于顯微鏡頭主要應(yīng)用于高精度高要求的醫(yī)學(xué)級(jí)檢測(cè)，因此，本文耦合顯微鏡頭與工業(yè)相機(jī)，將其運(yùn)用于微米級(jí)針孔缺陷檢查，同時(shí)引入基于底部光源的精確光流數(shù)照明缺陷打光技術(shù)來獲取針孔圖像。故本文經(jīng)過反復(fù)選型實(shí)驗(yàn)，最終采用底部面光源照亮工件材料，從下往上打光。其中，光源的尺寸為50×50mm方形，光流參數(shù)為11000Lux，同時(shí)采用提高相機(jī)曝光參數(shù)對(duì)缺陷亮度進(jìn)行補(bǔ)償。由于目標(biāo)微小，為微米級(jí)，同樣經(jīng)過 反復(fù)選型實(shí)驗(yàn)，最終選擇顯微鏡頭，放大倍率為500萬，經(jīng)過機(jī)構(gòu)改裝，完成從顯微領(lǐng)域到工業(yè)領(lǐng)域的跨界應(yīng)用。

相機(jī)分辨率為感光芯片上感光像元數(shù)，決定圖像清晰程度，反映在成像上為圖像像素矩陣的長(zhǎng)和寬。根據(jù)項(xiàng)目工程基準(zhǔn)，檢測(cè)標(biāo)準(zhǔn)為25μm，視野范圍12×9mm，精度要求5μm/pixel，經(jīng)過計(jì)算(相機(jī)分辨率=視野范圍/精度)，相機(jī)分辨率不低于432萬像素，故選用500萬像素的CMOS工業(yè)相機(jī)。

本文視覺硬件系統(tǒng)架構(gòu)如圖2a所示，硬件系統(tǒng)如圖2b所示，由顯微鏡頭、底部面光源等組成。最終成像結(jié)果如圖3所示，圖中左上角的白點(diǎn)即針孔缺陷，雖然微小，但經(jīng)過本系統(tǒng)打光，已經(jīng)可以在計(jì)算機(jī)上成像區(qū)分，可見達(dá)到了視覺選型打光成像目的。圖中部的較大白色圓形，為工件材料上固有的基準(zhǔn)圓，本文將此基準(zhǔn)源作為Mark圓，以此圓心為坐標(biāo)系原點(diǎn)，推算缺陷坐標(biāo)，完成數(shù)據(jù)采集和電子履歷化。

(a)視覺硬件架構(gòu)

(b)視覺硬件實(shí)物圖圖2 本文缺陷檢測(cè)硬件圖

圖3 針孔缺陷成像

1.2 基于圖像處理的缺陷檢測(cè)

得到微米級(jí)針孔缺陷圖像后，開始設(shè)計(jì)圖像處理算法和軟件系統(tǒng)，見圖4。如圖3所示，為待處理原圖，可見缺陷目標(biāo)與背景分明，故本文采用canny檢測(cè)算子[9-10]提取特征，其包含高斯平滑濾波、邊緣像素賦值和方位角計(jì)算、局部極大值計(jì)算。

利用高斯平滑濾波器卷積處理圖像：

成功平定白蓮教后，嘉慶皇帝全面研究大清的形勢(shì)，仔細(xì)審視之下，嘉慶皇帝發(fā)現(xiàn)，白蓮教起義不過是大清王朝軀體上的一個(gè)瘡口，體內(nèi)的病癥，比外在表現(xiàn)出來的要沉重得多。

S(i,j)=G[i,j,σ]·I[i,j]

(1)

式中，I(i,j)代表圖像坐標(biāo)((i,j)的像素值，G為高斯平滑函數(shù)，S((i,j)代表高斯卷積處理圖像。

為了計(jì)算邊緣像素值變化的方向性和幅度，需進(jìn)一步計(jì)算圖像像素S(i,j)的一階有限差分偏導(dǎo)[11]：

P(x,y)=(S[i,j+1]-S[i,j]+
S[i+1,j+1]-S[i+1,j])/2

(2)

Q(x,y)=(S[i,j+1]-S[i+1,j]+
S[i,j+1]-S[i+1,j+1])/2

(3)

式中，P、Q分別代表圖像在坐標(biāo)(i,j)處的一階偏導(dǎo)數(shù)，表示像素值在這兩個(gè)方向的值變化趨勢(shì)。

由于邊緣上的點(diǎn)賦值和方位角都會(huì)比較大，為了判斷像素點(diǎn)是否在邊緣上，根據(jù)式(2)～ 式(3)，計(jì)算其賦值和方位角：

(4)

θ[i,j]=arctan(Q/P)

(5)

其中，M代表像素值變化賦值，θ代表像素值變化方向。

圖4 缺陷檢測(cè)算法過程

根據(jù)式(4)、式(5)的M與θ兩個(gè)參數(shù)，求局部極大值，細(xì)化圖像邊緣，完成canny檢測(cè)處理[12-13]，如圖5所示，可見準(zhǔn)確得到缺陷和基準(zhǔn)圓邊緣。但是存在斷續(xù)，需對(duì)其進(jìn)行膨脹處理：

D=B⊕S={x,y|Sxy∩B≠?}

(6)

式中，S代表Canny處理完的圖像像素值，S為膨脹結(jié)構(gòu)分子(3×3單位矩陣)。

然后，采用霍夫變換[14-15]定位基準(zhǔn)圓(MARK)：

R2=(x·cos(?))2+(y·sin(?))2

(7)

式中，R為圓半徑，?為曲率。

由式(7)構(gòu)成基準(zhǔn)圓邊緣點(diǎn)集合方程，計(jì)算并記錄圓心坐標(biāo)，圓像素半徑。由于該基準(zhǔn)圓為標(biāo)準(zhǔn)園，物理半徑已知，得到像素距離與物理距離轉(zhuǎn)換比例，為后續(xù)缺陷物理長(zhǎng)軸計(jì)算做好基礎(chǔ)數(shù)據(jù)準(zhǔn)備。如圖8所示，準(zhǔn)確定位基準(zhǔn)圓，并標(biāo)注圓心，以圓心為原點(diǎn)建立坐標(biāo)系。計(jì)算得到缺陷物理長(zhǎng)軸與坐標(biāo)顯示在系統(tǒng)UI中，如圖9所示。

本文通過提出耦合高斯邊緣檢測(cè)、形態(tài)學(xué)膨脹、輪廓分析和特征計(jì)算的缺陷檢測(cè)方法，同時(shí)以本身Mark為自參考物，有效解決了缺乏先驗(yàn)樣本的問題。

圖5 Canny分割結(jié)果

圖6 膨脹結(jié)果

圖7 缺陷定位結(jié)果

圖8 坐標(biāo)系建立結(jié)果

圖9 缺陷檢測(cè)結(jié)果

2 實(shí)驗(yàn)與討論

本文檢測(cè)技術(shù)結(jié)合視覺選型與圖像算法實(shí)現(xiàn)微米級(jí)缺陷檢出，而傳統(tǒng)方式依靠普通打光與算法，將當(dāng)前缺陷檢出性能較好的技術(shù)即文獻(xiàn)[5]、文獻(xiàn)[6]設(shè)為對(duì)照組，并基于VS2015平臺(tái)開發(fā)實(shí)現(xiàn)，算法實(shí)驗(yàn)參數(shù)如：相機(jī)曝光參數(shù)為99995μs、缺陷長(zhǎng)軸基準(zhǔn)為25μm、基準(zhǔn)圓MARK半徑為1.5mm。

本文開發(fā)的工件標(biāo)定系統(tǒng)界面如圖10所示，具有動(dòng)態(tài)視頻、靜態(tài)圖像顯示、讀碼記錄、曝光參數(shù)調(diào)整、缺陷定位計(jì)算、坐標(biāo)記錄的功能。檢測(cè)圖11中右上角針孔缺陷，圖中部的較大白色圓形，為工件材料上固有的基準(zhǔn)圓，本文將此基準(zhǔn)源作為Mark圓，以此圓心為坐標(biāo)系原點(diǎn)，推算缺陷坐標(biāo)。首先利用Canny檢測(cè)缺陷和基準(zhǔn)圓邊緣，在此基礎(chǔ)上，膨脹處理得到強(qiáng)化后的邊緣輪廓圖像，如圖12所示。然后分析輪廓長(zhǎng)軸，定位缺陷位置并用紅色標(biāo)注針孔位置；以霍夫變換定位基準(zhǔn)圓MARK并定位圓心建立坐標(biāo)系，以綠色標(biāo)準(zhǔn)，如圖13所示，最終將缺陷長(zhǎng)軸和坐標(biāo)在系統(tǒng)UI中顯示，如圖14所示。綜合分析可見，本文開發(fā)的針孔缺陷檢測(cè)系統(tǒng)準(zhǔn)確檢出不良。

而利用對(duì)照組文獻(xiàn)[3]技術(shù)處理圖11右上角的原圖時(shí)，由于此技術(shù)未充分考慮特征成像不穩(wěn)定，且依靠大數(shù)據(jù)樣本做分析基礎(chǔ)，在針孔缺陷圖像極不明顯的情況時(shí)，往往不能定位檢出。如圖15所示, 圖像左上角缺陷成像及其微弱，最終無法檢出并標(biāo)注，如圖16所示，將不良材料漏檢為OK品，具有品質(zhì)不良隱患。

而利用對(duì)照組文獻(xiàn)[4]技術(shù)處理圖11右上角的原圖時(shí)，由于此技術(shù)未充分考慮特征成像不穩(wěn)定，在針對(duì)微米級(jí)缺陷時(shí)，往往不能準(zhǔn)確檢出不良。如圖17所示, 把基準(zhǔn)圓誤檢為缺陷，如圖18所示，NG數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過標(biāo)準(zhǔn)不良，仍然具有品質(zhì)不良隱患。

圖10 系統(tǒng)界面

圖11 原圖

圖12 Canny處理結(jié)果

圖13 缺陷定位結(jié)果

圖14 系統(tǒng)判斷結(jié)果

圖15 文獻(xiàn)[5]成像定位結(jié)果

圖16 文獻(xiàn)[6]的檢測(cè)結(jié)果

圖17 文獻(xiàn)[5]成像定位結(jié)果

圖18 文獻(xiàn)[6]檢測(cè)結(jié)果

3 結(jié)論

本文提出了基于顯微成像與圖像處理的針孔缺陷檢測(cè)系統(tǒng)，來實(shí)現(xiàn)微米級(jí)針孔缺陷的識(shí)別與檢測(cè)。采用顯微鏡頭與高精度光流的打光方式解決難以成像地問題。采用耦合Canny檢測(cè)、膨脹處理、基準(zhǔn)圓MARK定位等圖像處理算法解決缺乏先驗(yàn)樣本的針孔檢測(cè)。最后抽取一幀針孔缺陷圖像供本研究和對(duì)照組技術(shù)處理，以是否能對(duì)缺陷清晰成像、準(zhǔn)確分割計(jì)算為客觀評(píng)價(jià)依據(jù)，實(shí)驗(yàn)數(shù)據(jù)表明：本文檢測(cè)算法可精確定位出微小缺陷的位置，并準(zhǔn)確計(jì)算出缺陷長(zhǎng)軸為27.63μm。利用顯微成像融合圖像處理的檢測(cè)技術(shù)能夠精確地檢測(cè)工件表面上的納米級(jí)微小缺陷，在產(chǎn)品質(zhì)量在線檢測(cè)領(lǐng)域具有較好的實(shí)際應(yīng)用價(jià)值。

[1] 余建波,盧笑蕾,宗衛(wèi)周. 基于局部與非局部線性判別分析和高斯混合模型動(dòng)態(tài)集成的晶圓表面缺陷探測(cè)與識(shí)別[J]. 自動(dòng)化學(xué)報(bào)，2016, 42(1):47-59.

[2] 王德會(huì), 王喜順, 方海濤,等. 自動(dòng)螺絲鎖付機(jī)器人控制系統(tǒng)研究及路徑優(yōu)化 [J]. 組合機(jī)床與自動(dòng)化加工技術(shù)，2016(3): 107-110.

[3] Adriana Giret, Emilia Garcia, Vicente Botti. An Engineering Framework for Service-Oriented Intelligent Manufacturing Systems[J]. Computers in Industry, 2016, 81(9): 116-127.

[4] Qing-lin Guo, Ming Zhang. Multiagent-based scheduling optimization for Intelligent Manufacturing System [J]. The International Journal of Advanced Manufacturing Technology, 2010, 44 (5): 595-605.

[5] 董本志. 大數(shù)據(jù)環(huán)境下超聲波焊縫缺陷識(shí)別方法的研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2016, 23(2): 171-176.

[6] 徐科，基于Tetrolet變換的熱軋鋼板表面缺陷識(shí)別方法[J]. 機(jī)械工程學(xué)報(bào), 2015,18(15): 42-47.

[7] Z johsdyan. Stable principal component pursuit-based thermographic data analysis for defect detection in polymer composites [J]. Journal of Process Control, 2015, 49:36-44.

[8] L Wang. Calculation of flexible printed circuit boards (FPC) global and local defect detection based on computer vision [J]. Circuit World, 2015, 42(2): 1201-1209.

[9] Tingnian He, Xiaohong Li, Yun Jiang. Improved HT Object Detection Algorithm Based on Canny Edge Operator[J]. Journal of Multimedia, 2014, 9 (9): 1089-1096.

[10] Mayur A Ingle, Girish R Talmale. Respiratory Mask Selection and Leakage Detection System Based on Canny Edge Detection Operator [J]. Procedia Computer Science, 2015, 78(10): 323-329.

[11] Weizhong Dai. An improved compact finite difference scheme for solving an N‐carrier system with Neumann boundary conditions[J]. Methods Partial Differential, 2011, 27 (2): 436-446.

[12] 左俊彥, 張建國, 鐘濤. 基于Canny檢測(cè)的股骨邊緣輪廓連接算法[J]. 山東大學(xué)學(xué)報(bào)(工學(xué)版), 2015, 11(3): 65-72.

[13] Tai Kuang, Qing-Xin Zhu, Yue Sun. Edge detection for highly distorted images suffering Gaussian noise based on improve Canny algorithm [J]. Kybernetes, 2011, 40 (5): 883-893.

[14] Oliver J Woodford, Minh-Tri Pham, Atsuto Maki. Demisting the Hough Transform for 3D Shape Recognition and Registration [J]. International Journal of Computer Vision, 2014, 106 (3): 332-341.

[15] Md Saiful Islam, UiPil Chong. Improvement in Moving Target Detection Based on Hough Transform and Wavelet[J]. IETE Technical Review, 2015, 32 (1): 46-51.

(編輯 李秀敏)

Pinhole Light-Leaking of Work Piece Surface Defect Inspection Algorithm Based on Microscopic Imaging and Image Processing

LI Sheng-jun1，ZHENG Zhuo2

(1.Jilin Province Economic Management Cadre University, Changchun 130000, China；2.School of Information Science and Engineering，Shenyang University of Technology, Shenyang 110023, China)

In order to solve the material surface micro-scale pinhole defect feature is not obvious, hard to check out the problem, based on microscopic imaging and image processing is proposed pinhole light-leaking defect inspection system. First of all, the comprehensive analysis of vision inspection accuracy, coverage, and the complete visual system selection, achieve the goal of defect clear imaging. Then by using threshold segmentation and expansion processing image defect target, traverse contour extraction area, long axis, complete defect qualitative judgment. At last, the programming algorithm and system, to join the defect coordinate system model, test results show that compared with the current defect inspection methods, this system has higher defect detection ability.

light leakage defect detection；microscopic imaging; characteristics of long axis; traverse outline; defect quality judgment

1001-2265(2017)06-0141-04

10.13462/j.cnki.mmtamt.2017.06.036

2016-12-09；

2017-01-10

吉林省科技攻關(guān)項(xiàng)目(20141204307GX)；吉林省教育廳科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(2015-3018)

李勝軍(1982—)，男，長(zhǎng)春人，吉林省經(jīng)濟(jì)管理干部學(xué)院講師，長(zhǎng)春理工大學(xué)碩士研究生，研究方向?yàn)橛?jì)算機(jī)應(yīng)用、缺陷檢測(cè)與識(shí)別、計(jì)算機(jī)軟件，(E-mail)LishngJ1982jl@163.com ；通訊作者：鄭灼(1973—)，男，江蘇揚(yáng)州人，沈陽工業(yè)大學(xué)副教授，博士，研究方向?yàn)椴牧媳砻婕夹g(shù)、計(jì)算機(jī)應(yīng)用，(E-mail)

TH165;TG506

A