金屬管器件表面缺陷實(shí)時(shí)檢測(cè)技術(shù)研究

黨領(lǐng)茹，朱 丹，佟新鑫

（1.中國科學(xué)院沈陽自動(dòng)化研究所，沈陽 110016；2.中國科學(xué)院大學(xué)，北京 100049；3.中國科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，沈陽 110016）

金屬管器件表面缺陷實(shí)時(shí)檢測(cè)技術(shù)研究

黨領(lǐng)茹1～3，朱 丹1,3，佟新鑫1,3

（1.中國科學(xué)院沈陽自動(dòng)化研究所，沈陽 110016；2.中國科學(xué)院大學(xué)，北京 100049；3.中國科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，沈陽 110016）

0 引言

金屬管器件廣泛應(yīng)用于汽車、航天、軸承、氣動(dòng)元件、液壓、機(jī)械加工等各個(gè)領(lǐng)域，而在金屬管器件生產(chǎn)過程中，由于原材料，生產(chǎn)設(shè)備，加工工藝，加工環(huán)境等因素的影響，導(dǎo)致金屬管器件表面出現(xiàn)各種瑕疵和缺陷，而缺陷的存在對(duì)器件的質(zhì)量和性能產(chǎn)生一定的影響。目前，國內(nèi)對(duì)于金屬管器件的外觀質(zhì)量檢測(cè)主要采用人工檢測(cè)的方法，不僅占用大量的人力，而且勞動(dòng)強(qiáng)度大，檢測(cè)結(jié)果容易受人為因素的影響，智能化程度低。

近年來，隨著圖像處理技術(shù)方面的不斷發(fā)展和成熟[1,2]，機(jī)器視覺技術(shù)在缺陷檢測(cè)方面得到了廣泛的推廣和應(yīng)用[3～5]。對(duì)于平面結(jié)構(gòu)目標(biāo)的檢測(cè)，如PCB，鋼板等[6,7]，多采用差影法[8]。此算法簡(jiǎn)單易操作，但實(shí)際生產(chǎn)條件下很難找到一個(gè)標(biāo)準(zhǔn)模板圖像。對(duì)于曲面結(jié)構(gòu)目標(biāo)，如水果，鋼管等，采集圖像時(shí)會(huì)出現(xiàn)光照不均勻問題，針對(duì)這一問題，馮斌等采用建立目標(biāo)光照模型的方法[9]，一定程度上削弱了曲面結(jié)構(gòu)帶來的光照不均問題，但此方法要求目標(biāo)與攝像機(jī)擺放的相對(duì)位置具有高度一致性，實(shí)際中很難實(shí)現(xiàn)。張建軍等采用線性濾波原理對(duì)圖像進(jìn)行背景光擬合[10]，有效的改善了光照不均勻現(xiàn)象。但窗口較大時(shí)，在硬件上很難實(shí)現(xiàn)。李江波等提出一種基于照度-反射模型的亮度均一化方法[11]，利用頻域的低通濾波獲取圖像的亮度分量，對(duì)原圖進(jìn)行光照校正，取得一定效果，但仍存在實(shí)時(shí)性的問題。

本文研究的是基于機(jī)器視覺的金屬管器件表面缺陷檢測(cè)系統(tǒng)，不僅檢測(cè)精度要求高，而且對(duì)實(shí)時(shí)性也有嚴(yán)格的要求。同時(shí)，由于金屬表面的強(qiáng)反光特性和結(jié)構(gòu)自身的曲面特性，給圖像處理方面帶來了很大檢測(cè)難度。本文提出了實(shí)時(shí)表面缺陷檢測(cè)系統(tǒng)的整體設(shè)計(jì)方案，并詳細(xì)的闡述了圖像處理系統(tǒng)的具體實(shí)現(xiàn)細(xì)節(jié)?？朔藗鹘y(tǒng)人工在線檢測(cè)的各種弊端，提高了生產(chǎn)效率及檢測(cè)準(zhǔn)確性，實(shí)現(xiàn)了實(shí)時(shí)連續(xù)檢測(cè)。

1 在線表面缺陷檢測(cè)系統(tǒng)整體設(shè)計(jì)

本系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)方案如圖1所示，整個(gè)系統(tǒng)包括自動(dòng)上料機(jī)構(gòu)、傳輸機(jī)構(gòu)、圖像采集系統(tǒng)、圖像處理系統(tǒng)以及分選機(jī)構(gòu)五個(gè)部分。其中圖像采集系統(tǒng)包括光學(xué)系統(tǒng)的設(shè)計(jì)，以及攝相機(jī)的選取和安置；圖像處理系統(tǒng)為整個(gè)系統(tǒng)的軟件設(shè)計(jì)部分，也是整個(gè)視覺系統(tǒng)的核心部分，包括圖像目標(biāo)分割、缺陷檢測(cè)和缺陷定位識(shí)別三大方面。

在整體系統(tǒng)設(shè)計(jì)中，考慮到周圍環(huán)境對(duì)圖像采集的影響，我們將圖像采集系統(tǒng)放在一個(gè)暗室中完成。這樣可以避免由于外界光照以及生產(chǎn)環(huán)境變化對(duì)成像效果的影響，得到一個(gè)相對(duì)穩(wěn)定的圖像采集環(huán)境。

圖1 總體結(jié)構(gòu)設(shè)計(jì)方案流程圖

系統(tǒng)的工作過程為：首先，金屬管器件由自動(dòng)上料機(jī)構(gòu)，按順序傳送到帶有固定卡槽的傳送帶上。然后，借助器件與傳送帶之間的滑動(dòng)摩擦力，金屬管器件將靠緊卡槽的一邊做自轉(zhuǎn)運(yùn)動(dòng)，保證器件在攝相機(jī)視場(chǎng)中時(shí)，能夠通過拍攝多幅圖像獲取到整個(gè)金屬管表面的圖像，系統(tǒng)中每個(gè)器件采集5幅圖像。然后，將獲取的圖片發(fā)送給圖像處理系統(tǒng)進(jìn)行缺陷檢測(cè)，如果存在缺陷，則由分選機(jī)構(gòu)將其剔除，如果為合格產(chǎn)品，則通過篩選。

2 圖像處理系統(tǒng)設(shè)計(jì)

圖像處理環(huán)節(jié)是整個(gè)機(jī)器視覺系統(tǒng)最為重要的環(huán)節(jié)。本文提出的用于金屬管器件表面缺陷檢測(cè)的圖像處理系統(tǒng)，設(shè)計(jì)中綜合考慮了算法的時(shí)間復(fù)雜度和有效性。

系統(tǒng)拍攝的圖像中包含背景區(qū)域，目標(biāo)區(qū)域以及目標(biāo)上的缺陷區(qū)域三部分，如圖2所示。系統(tǒng)中圖像處理算法的本質(zhì)目的就是將三個(gè)區(qū)域區(qū)分開，定位出目標(biāo)上缺陷區(qū)域的位置。首先，需要將背景區(qū)域與目標(biāo)區(qū)域區(qū)分開，實(shí)現(xiàn)目標(biāo)分割；然后，需要在目標(biāo)區(qū)域中提取出缺陷，完成缺陷的檢測(cè)。最后，定位出缺陷的具體位置，并進(jìn)行缺陷的識(shí)別。

圖2 原始圖像

2.1 目標(biāo)分割

圖像中背景區(qū)域并不是單一均勻的，這是由于傳輸機(jī)構(gòu)中卡槽的顏色與傳送帶顏色不一致導(dǎo)致的。其中，背景區(qū)域中較亮部分為卡槽，較暗部分為傳送帶。同時(shí)，器件本身有著它獨(dú)特的金屬顏色。因此，本文利用顏色信息的特定關(guān)系進(jìn)行目標(biāo)分割。

彩色圖像中包含著豐富的信息量，可以通過挖掘不同區(qū)域顏色信息中的特定關(guān)系，將背景與目標(biāo)區(qū)分開。首先，對(duì)RGB顏色空間中的顏色分量進(jìn)行觀察分析，發(fā)現(xiàn)各顏色分量中目標(biāo)與背景灰度級(jí)范圍重疊在一起，在單個(gè)顏色分量中不可能通過閾值實(shí)現(xiàn)分割；然后，隨機(jī)取圖像某一行的R，G，B分量進(jìn)行觀察，發(fā)現(xiàn)紅色分量中目標(biāo)區(qū)域和背景亮區(qū)域呈現(xiàn)較高的灰度值，而背景中的暗區(qū)域帶則呈現(xiàn)較低的灰度值，如圖3a所示。并且發(fā)現(xiàn)背景亮區(qū)域中藍(lán)色分量遠(yuǎn)大于綠色分量，而目標(biāo)區(qū)域中藍(lán)色分量基本小于紅色分量，圖3b中為圖像第100行中藍(lán)色分量減去紅色分量后的曲線圖。依據(jù)此特殊關(guān)系，設(shè)計(jì)了適用于本系統(tǒng)的目標(biāo)分割算法。

圖3 單行圖像色彩信息分析曲線

具體算法步驟為：

Step1：提取原圖像中的紅色分量圖像I_b和藍(lán)色分量圖像I_c。

Step2：設(shè)定固定閾值，對(duì)紅色分量圖像I_b進(jìn)行二值化，大于閾值的像素置為1，小于閾值的像素置為0，得到圖像I_d，如圖4d所示，圖中得到了目標(biāo)區(qū)域和背景亮區(qū)域位置信息。

Step3：結(jié)合圖像I_b和I_c的信息，將藍(lán)色分量大于紅色分量10個(gè)灰度值的像素位置置為1，反之則置為0，得到圖像I_e，如圖4e所示，圖中得到背景亮區(qū)域位置信息。

Step4：將圖像I_e取反，然后與圖像I_d進(jìn)行相與運(yùn)算，去除背景亮區(qū)域，得到圖像I_f，如圖4f所示。

Step5：對(duì)圖像I_f進(jìn)行形態(tài)學(xué)開運(yùn)算，去除噪聲點(diǎn)，平滑目標(biāo)邊緣。處理后得到圖像I_g，結(jié)果如圖4g所示。

Step6：將得到的圖像I_g與原圖像相乘得到目標(biāo)分割后的圖像，如圖4h所示。

圖4 圖像目標(biāo)分割過程圖

2.2 缺陷檢測(cè)

由于金屬管器件表面反射和曲面結(jié)構(gòu)特性，使得拍攝得到的金屬管圖像出現(xiàn)嚴(yán)重的光照不均現(xiàn)象。圖像中可以看出，目標(biāo)區(qū)域中中間部分亮度較高，邊緣附近出現(xiàn)明顯的暗區(qū)域帶。這種現(xiàn)象的存在導(dǎo)致處在不同區(qū)域的缺陷亮度特性差異大，很難使用固定閾值進(jìn)行缺陷分割。圖5為使用大津法閾值分割的結(jié)果，從結(jié)果中可以看出，缺陷檢測(cè)出來的同時(shí)出現(xiàn)嚴(yán)重的誤檢現(xiàn)象，即將亮區(qū)域中缺陷檢測(cè)出來的同時(shí)，暗區(qū)域部分區(qū)域也檢測(cè)為缺陷。

圖5 自適應(yīng)閾值缺陷分割結(jié)果

針對(duì)此種情況，本文設(shè)計(jì)了一種實(shí)時(shí)光照校正算法，去除光照影響，保留缺陷?？紤]到光照變化是一種大尺度緩慢的變化行為，而缺陷相對(duì)于目標(biāo)本身是一個(gè)低亮度的小結(jié)構(gòu)體，表現(xiàn)為小尺度范圍內(nèi)劇烈的變化。本算法的思想是：根據(jù)原圖像的大小和缺陷大小關(guān)系，確定縮放比例，通過對(duì)原圖像進(jìn)行縮小，并進(jìn)行均值濾波，將大尺度緩慢變化的信息保留下來，將小尺度劇烈變化的信息去除；然后將圖像放大到原圖像大小，所得圖像即為光照變化圖像。最后，從原圖像中減去光照?qǐng)D像，得到去除光照后的圖像。

算法具體步驟如下：

Step1：由圖像預(yù)處理完后的彩色圖像I_a，獲取平均灰度圖像I_b，如圖6b所示，轉(zhuǎn)換公式為：

式中，I_r，I_g，I_b分別為彩色圖像I_rgb的紅色分量，綠色分量和藍(lán)色分量。常規(guī)的灰度圖像是選擇r，g，b分量中最大值作為該點(diǎn)的灰度值，主要體現(xiàn)的是目標(biāo)亮度情況。而平均灰度圖像更能體現(xiàn)目標(biāo)顏色上的差異特點(diǎn)。

Step2：用雙線性插值算法，將平均灰度圖像I_b，縮小為原圖像大小的1/5，得到圖像I_c，如圖6c所示。其中，通用的插值方法有最近鄰插值法，雙線性插值和三次卷積法。最近鄰插值后會(huì)產(chǎn)生嚴(yán)重的鋸齒效應(yīng)，后兩種方法縮放后圖像質(zhì)量高，不會(huì)出現(xiàn)不連續(xù)現(xiàn)象，三次卷積法的計(jì)算精度高，但計(jì)算量大，因此選用了雙線性插值法進(jìn)行縮放；縮放比例的選取綜合原圖像中目標(biāo)的大小和缺陷大小來考慮，原圖像大小為250×250，塊狀缺陷尺寸大小一般在10×10范圍內(nèi)，線形缺陷的寬度一般在10個(gè)像素內(nèi)。選擇縮小比例為1/5能夠?qū)⑷毕莩叽缈s小在2×2的范圍內(nèi)。

Step3：選用3×3的模板，對(duì)縮小后的圖像I_c進(jìn)行均值濾波，得到濾波后圖像I_d，如圖6d所示。均值模板大小的選取，依據(jù)的是縮小后圖像缺陷尺寸大小。在經(jīng)過縮放后，缺陷大小縮小到2×2的范圍內(nèi)，算法中選用3×3的模板，既能夠保留好背景的光照信息，也能夠?qū)⑷毕萜交簟?/p>

Step4：同樣選用雙線性插值算法，將濾波后圖像I_d放大到原圖像大小，得到背景光照?qǐng)D像I_e，如圖6e所示。

Step5：將平均灰度圖像I_b與背景光照?qǐng)D像I_e相減，得到去除背景光照的圖像I_f，如圖6f所示。

Step6：選取固定閾值，對(duì)去除背景光照后的圖像I_f進(jìn)行二值化，結(jié)果如圖6g所示。從圖像I_f中可以發(fā)現(xiàn)，缺陷和目標(biāo)之間存在較大灰度差，因此可以使用固定閾值對(duì)其進(jìn)行分割，固定閾值分割大大減少了算法的時(shí)間復(fù)雜度。

圖6 缺陷檢測(cè)過程圖

2.3 缺陷定位識(shí)別

為了識(shí)別缺陷，首先要對(duì)缺陷進(jìn)行定位，找出缺陷所處的具體位置，然后根據(jù)缺陷的具體特征，判斷是否是缺陷。本文采用方向投影法實(shí)現(xiàn)缺陷的定位。該方法簡(jiǎn)單，快速，準(zhǔn)確性高。

具體步驟如下：

Step1：將得到的缺陷二值圖像進(jìn)行水平方向和垂直方向的投影，投影結(jié)果如圖7所示。

Step2：分別對(duì)水平和垂直方向的投影曲線進(jìn)行掃描，記下每對(duì)0到非0和非0到0的跳變點(diǎn)。

Step3：將水平和垂直方向的點(diǎn)對(duì)進(jìn)行組合，對(duì)組合形成的所有矩形區(qū)域分別進(jìn)行面積統(tǒng)計(jì)，面積值為0，則說明此區(qū)域?yàn)榉侨毕輩^(qū)域，面積值不為0，則說明此區(qū)域?yàn)榇袛嗳毕輩^(qū)域，對(duì)其進(jìn)行標(biāo)記。

圖7 缺陷圖像水平方向和垂直方向投影曲線

采用面積作為判斷缺陷的標(biāo)準(zhǔn)，當(dāng)待判斷缺陷區(qū)域的面積超過設(shè)定值時(shí)，則認(rèn)為此區(qū)域?yàn)槿毕輩^(qū)域，否則認(rèn)為此處為噪聲干擾。最后，綜合某一金屬管器件的所有圖像的判斷結(jié)果，如果其中存在含有缺陷區(qū)域的圖片，則判定此鋼管器件有缺陷，為不合格產(chǎn)品；否則，判定為合格產(chǎn)品。

3 實(shí)驗(yàn)結(jié)果分析

本文對(duì)400個(gè)金屬管器件圖像的處理結(jié)果進(jìn)行了統(tǒng)計(jì)分析。圖8中給出了典型缺陷類型的檢測(cè)結(jié)果，圖中可以看出，本文算法對(duì)各類缺陷都有很好的檢測(cè)效果。表1中給出了400個(gè)圖像的缺陷檢測(cè)的統(tǒng)計(jì)結(jié)果。

圖8 不同缺陷檢測(cè)結(jié)果

本文采用識(shí)別率，虛警率兩個(gè)指標(biāo)來衡量算法的有效性，計(jì)算公式如下：

識(shí)別率 = 檢測(cè)出的缺陷數(shù)目/缺陷樣本總數(shù)

虛警率 = 誤檢為缺陷的數(shù)目/合格樣本總數(shù)

從表格中數(shù)據(jù)可以看出，識(shí)別率達(dá)到98.8%，虛警率為1.3%。其中，出現(xiàn)漏檢現(xiàn)象主要原因是缺陷出現(xiàn)在目標(biāo)邊緣區(qū)域，缺陷的亮度與邊緣區(qū)域趨于一致，難以檢測(cè)出來，但由于會(huì)采集多幅金屬管表面缺陷圖像，出現(xiàn)在邊緣區(qū)域的缺陷在其它圖像的其中一幅中會(huì)出現(xiàn)在比較明顯的位置，保證缺陷能夠被檢測(cè)出來，使缺陷產(chǎn)品的檢測(cè)率達(dá)到100%。而由于缺陷產(chǎn)品和合格產(chǎn)品的區(qū)分邊界定義的不確定性，一定概率的虛警現(xiàn)象的存在是在廠商允許范圍內(nèi)的。

表1 樣本缺陷檢測(cè)結(jié)果統(tǒng)計(jì)

為驗(yàn)證算法的實(shí)時(shí)性，采用配置為Pentium(R)Dual-core CPU E6600 3.06GHz，2.00G內(nèi)存的計(jì)算機(jī)，運(yùn)用Visual C++6.0和OpenCV編程，對(duì)分辨率為250×250像素的彩色圖像進(jìn)行處理。結(jié)果表明，處理每幅圖像的時(shí)間基本小于0.042s，平均每個(gè)金屬管器件(5幅圖像)的檢測(cè)時(shí)間在0.21s內(nèi)，可以保證系統(tǒng)運(yùn)行的實(shí)時(shí)性。

4 結(jié)論

針對(duì)金屬管器件表面缺陷檢測(cè)問題，設(shè)計(jì)了基于機(jī)器視覺的檢測(cè)系統(tǒng)。結(jié)合金屬管器件圖像的特性，通過顏色信息的特定關(guān)系，實(shí)現(xiàn)目標(biāo)的簡(jiǎn)單準(zhǔn)確分割。在目標(biāo)分割圖像基礎(chǔ)上，提出實(shí)時(shí)光照校正算法，有效的解決了光照不均帶來的分割閾值選取困難的問題，實(shí)現(xiàn)使用固定閾值的缺陷分割。并且采用方向投影的方法定位缺陷位置，使用面積參數(shù)作為判斷缺陷與否的依據(jù)。算法步驟簡(jiǎn)單、有效，能夠?qū)崿F(xiàn)實(shí)時(shí)在線檢測(cè)。

本系統(tǒng)采用機(jī)器視覺技術(shù)，解決了金屬管器件表面缺陷檢測(cè)的問題。實(shí)現(xiàn)了檢測(cè)的自動(dòng)化和智能化，提高了檢測(cè)的速度和準(zhǔn)確率，應(yīng)用于工業(yè)生產(chǎn)中，有效的提高了生產(chǎn)的效率。

[1]Newman T S, Jain A K. A survey of automated visual inspection[J].Computer vision and image understanding,1995,61(2):231-262.

[2]Malamas E N, Petrakis E G M, Zervakis M, et al. A survey on industrial vision systems, applications and tools[J].Image and vision computing,2003,21(2):171-188.

[3]謝佩軍,計(jì)時(shí)鳴,程越.基于計(jì)算機(jī)視覺的晶振帽缺陷自動(dòng)檢測(cè)系統(tǒng)[J].儀器儀表學(xué)報(bào),2008,29(5):1079-1083.

[4]應(yīng)義斌,景寒松.機(jī)器視覺技術(shù)在黃花梨尺寸和果面缺陷檢測(cè)中的應(yīng)用[J].農(nóng)業(yè)工程學(xué)報(bào),1999,15(1):197-200.

[5]劉佳男.基于機(jī)器視覺的水果表面缺陷識(shí)別方法的研究[D].江南大學(xué),2012.

[6]彭向前,陳幼平,余文勇.一種基于機(jī)器視覺的浮法玻璃質(zhì)量在線檢測(cè)系統(tǒng)[J].制造業(yè)自動(dòng)化,2008,29(12):50-52.

[7]李煒,黃心漢.基于機(jī)器視覺的帶鋼表面缺陷檢測(cè)系統(tǒng)[J]. 華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2003,31(2):72-74.

[8]楊慶華,陳亮,荀一,等.基于機(jī)器視覺的 PCB 裸板缺陷自動(dòng)檢測(cè)方法[J].中國機(jī)械工程,2012,23(022):2661-2666.

[9]馮斌,汪懋華.計(jì)算機(jī)視覺技術(shù)識(shí)別水果缺陷的一種新方法[J].中國農(nóng)業(yè)大學(xué)學(xué)報(bào),2002,7(4):73-76.

[10]張建軍,胡惠靈,劉征宇,等.光照不均管道內(nèi)圖像增強(qiáng)算法的研究與應(yīng)用[J].計(jì)算機(jī)工程,2011,37(16):227-229.

[11]李江波,饒秀勤,應(yīng)義斌.基于照度-反射模型的臍橙表面缺陷檢測(cè)[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(7):338-342.

Research of metal tube device surface defect real-time detection technology

DANG Ling-ru1～3, ZHU Dan1,3, TONG Xin-xin1,3

針對(duì)金屬管器件的表面缺陷檢測(cè)進(jìn)行研究，以機(jī)器視覺技術(shù)為基礎(chǔ)，設(shè)計(jì)了金屬管器件表面缺陷在線檢測(cè)系統(tǒng)。根據(jù)生產(chǎn)線的實(shí)際檢測(cè)要求，提出了檢測(cè)系統(tǒng)的整體設(shè)計(jì)方案。針對(duì)金屬管器件圖像特點(diǎn)，設(shè)計(jì)了簡(jiǎn)單有效的圖像處理算法。首先，提出了基于顏色統(tǒng)計(jì)特性的目標(biāo)分割算法，實(shí)現(xiàn)了目標(biāo)與背景的準(zhǔn)確分割。然后，提出的實(shí)時(shí)光照校正算法，克服了光照影響，實(shí)現(xiàn)固定閾值的缺陷分割。最后，使用方向投影的方法定位缺陷區(qū)域，并采用面積指標(biāo)對(duì)缺陷進(jìn)行有效判定。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)于每個(gè)器件的平均檢測(cè)時(shí)間為0.21秒，缺陷產(chǎn)品的檢測(cè)率為100%，能夠滿足金屬管器件表面質(zhì)量實(shí)時(shí)檢測(cè)的要求。

機(jī)器視覺；光照不均；缺陷檢測(cè)

黨領(lǐng)茹（1989 -），女，河北石家莊人，碩士研究生，研究方向?yàn)閿?shù)字圖像處理，機(jī)器視覺。

TP27

A

1009-0134(2014)05(下)-0039-05

10.3969/j.issn.1009-0134.2014.05(下).11

2014-02-23