基于機器視覺的手機屏幕表面劃痕檢測研究

（上海應(yīng)用技術(shù)大學(xué) 機械工程學(xué)院，上海 201418）

引言

手機屏幕作為手機的重要組件之一，其表面狀況直接影響手機的質(zhì)量，所以在出廠前對屏幕表面進(jìn)行檢查具有重大意義。當(dāng)前，人工目測是最常用的缺陷檢測方法。但是人工目測非常耗時，不同的人甚至同一人在不同的情況下其測試的結(jié)果也會產(chǎn)生偏差[1]，不符合工業(yè)化生產(chǎn)高效和精確檢測的要求。

劃痕作為物體表面的一種細(xì)微特征，其長度、方向和深度不一，而且往往受產(chǎn)品表面的自然紋理或圖案所干擾，很難準(zhǔn)確提取劃痕特征。針對上述問題，很多研究者在劃痕視覺檢測方面做了大量研究。邊緣檢測算法[2-5]通常采用Laplacian、Canny、Sobel、Prewitt 算子對產(chǎn)品表面的劃痕進(jìn)行檢測，這些邊緣檢測算法在特定劃痕圖像上具有很好的檢測效果，但是當(dāng)待測物表面具有復(fù)雜紋理或者劃痕對比度低時，邊緣特征不易提取，極易導(dǎo)致誤檢或漏檢。Kokaram算法[6]是最常用的劃痕檢測方法之一，它構(gòu)造了劃痕亮度衰減的余弦分布，并利用中值濾波和Hough 變換實現(xiàn)篩選，然后利用Gibbs 采樣獲取劃痕的骨架，以確定它是真劃痕還是誤測，但是這種方法容易受到噪音干擾且耗時長。模板匹配法是劃痕檢測另一常用方法，文獻(xiàn)[7-8]根據(jù)標(biāo)準(zhǔn)圖像創(chuàng)建模板，然后采用基于形狀的模板匹配進(jìn)行劃痕檢測，該方法通常用于具有復(fù)雜背景的缺陷檢測，但容易受到圖像灰度變化的影響，且當(dāng)匹配目標(biāo)發(fā)生旋轉(zhuǎn)時，該算法不適用。

在上述文獻(xiàn)的基礎(chǔ)上，本文提出了基于機器視覺的手機屏幕表面劃痕檢測方法，該方法能夠準(zhǔn)確提取出完整的劃痕缺陷，具有較高的檢測效率和精度。

1 圖像采集

手機屏幕本身的透明透光、邊框反光特性，以及受常規(guī)的光學(xué)系統(tǒng)燈影、泛白、透視和反光的影響，使得檢測屏幕表面或邊框上的細(xì)小缺陷特征變得困難。根據(jù)手機屏幕特征，設(shè)計如圖1的圖像采集系統(tǒng)。手機屏幕圖像采集系統(tǒng)主要由光源、圖像采集卡、相機和鏡頭構(gòu)成[9]，相機采用德國Basler 工業(yè)相機acA2500-14gm，分辨率為500 萬像素，幀速率達(dá)21 fps，符合手機屏幕缺陷檢測的精度要求。鏡頭采用日本Computer 百萬像素工業(yè)鏡頭，靶面尺寸為2/3"，焦距為25 mm。光源選擇LED面光源，采用背面打光的方式。由LED面光源提供充足的光照，通過工業(yè)相機對待檢測目標(biāo)進(jìn)行數(shù)據(jù)采集，并通過圖像采集卡將采集到的手機屏幕圖像傳輸?shù)接嬎銠C，采集到的手機屏幕原始圖像見圖2。

圖1 手機屏幕圖像采集系統(tǒng)Fig.1 System of mobile phone screen defect acquisition

圖2 手機屏幕原始圖像Fig.2 Original image of mobile phone screen

2 手機屏幕缺陷檢測方法設(shè)計

手機屏幕在生產(chǎn)過程中需要經(jīng)過開料、倒邊、拋光、鍍膜等一系列加工工藝，其中任何一個工藝出現(xiàn)差錯，都有可能導(dǎo)致手機屏幕上出現(xiàn)劃痕。劃痕的寬度在1到7個像素不等，極為細(xì)微，圖3給出3種形態(tài)的劃痕局部放大圖，從圖中可以看到，手機屏幕上的劃痕形狀不規(guī)則，有曲線狀、直線狀，還有2條劃痕相交。

圖3 劃痕局部圖Fig.3 Partial images of scratch

針對上述3種形態(tài)的典型劃痕缺陷，設(shè)計了一種基于機器視覺的檢測方法，結(jié)合VisionPro 視覺集成系統(tǒng)和C#語言開發(fā)檢測軟件對手機屏幕進(jìn)行檢測，其檢測流程主要包括圖像定位、圖像校正、圖像增強和圖像分割4個部分。

2.1 圖像定位

在圖像采集過程中，檢測目標(biāo)在圖像中的位置總會存在一定角度的偏轉(zhuǎn)和位移，需要對圖像進(jìn)行定位，以便于后續(xù)圖像處理。PatMax算法采用模板定位技術(shù)，利用圖像特征間的空間位置和幾何特征信息進(jìn)行模板訓(xùn)練和圖像匹配，可以快速定位發(fā)生平移、縮放、旋轉(zhuǎn)甚至拉伸形變的物體，利用該算法得到的定位圖像具有很高定位精度且圖像具有較強的抗干擾性[10]。表1對比了PatQuick、PatMax、PatFlex 3種算法對于手機屏幕圖像的定位效果。

從表1可以看出，利用PatFlex算法進(jìn)行定位時，其耗時遠(yuǎn)遠(yuǎn)超過其他2種算法，且定位精度較低，PatMax和PatQuick算法定位耗時相差不多，但是使用PatMax算法定位得分最高，所以本文選擇PatMax算法對手機屏幕圖像進(jìn)行定位。

表1 定位結(jié)果Table1 Location results

2.2 圖像校正

仿射變換是從二維坐標(biāo)到二維坐標(biāo)之間的線性變換，且可以保持二維圖形的“平直性”和“平行性”[11]。

仿射變換可以通過一系列的原子變換的復(fù)合來實現(xiàn)，包括平移，縮放，翻轉(zhuǎn)，旋轉(zhuǎn)和剪切。這類變換可以用一個3×3的矩陣來表示，矩陣將(x,y,z)的原坐標(biāo)變換為(x′,y′,z′)的新坐標(biāo)，即

通過仿射變換，將仿射矩形內(nèi)的圖像區(qū)域轉(zhuǎn)換成直角矩形，實現(xiàn)圖像的校正，同時可以對背景部分進(jìn)行裁剪，并保留目標(biāo)區(qū)域，為進(jìn)一步的圖像處理節(jié)省大量時間，并減少一些錯誤檢測。圖2通過仿射變換后其校正結(jié)果如圖4所示。

圖4 仿射變換效果圖Fig.4 Effect diagram of affine transformation

2.3 圖像增強算法

2.3.1 剪切變換

剪切變換是傳統(tǒng)小波變換的多維版本，旨在解決不同尺度的各向異性和方向信息[12]。剪切變換的定義如下：

2）ψ1∈L2(R)是連續(xù)小波，滿足Calderon條件

顯然，剪切變換是三參數(shù)函數(shù)，其中a表示圖像尺度參數(shù)，s表示剪切方向，t表示平移。因此，剪切變換能夠在不同的尺度上設(shè)置不同的方向數(shù)。

本文采用剪切變換對仿射變換后的手機屏幕圖像進(jìn)行處理，將圖像分解為高頻部分和低頻部分，其中低頻部分包含了圖像的主體信息，高頻部分包含了圖像的邊緣或者噪聲以及細(xì)節(jié)部分。

2.3.2 灰度形態(tài)學(xué)

灰度形態(tài)學(xué)是二值形態(tài)學(xué)向灰度空間自然擴展，它由腐蝕、膨脹、開運算、閉運算組成[13]。本文采用灰度閉運算操作對手機屏幕圖像進(jìn)行處理。閉運算是先對圖像進(jìn)行膨脹運算再對圖像進(jìn)行腐蝕運算。經(jīng)過膨脹運算，將圖像中目標(biāo)像素連接起來，構(gòu)成離散的缺陷像素聚合體，以此填補斷開的目標(biāo)區(qū)域，確保缺陷的連貫性。然后通過腐蝕運算，圖像邊緣灰度值較低的點會被侵蝕，而灰度值較高的點得以保留，使目標(biāo)減小，以去除圖像中干擾部分?；叶乳]運算能夠填充目標(biāo)區(qū)域中的小洞，縫合小間隙，將相鄰小目標(biāo)聯(lián)接在一起，而總的位置和形貌不變。

2.3.3 剪切變換和灰度形態(tài)學(xué)結(jié)合的圖像增強算法

手機屏幕圖像灰度值分布非常不規(guī)則，劃痕的形狀、位置、粗細(xì)不一，當(dāng)劃痕較細(xì)時，缺陷區(qū)域和正常區(qū)域之間的圖像對比度很低，針對這一特點提出了一種基于剪切變換和灰度形態(tài)學(xué)結(jié)合的圖像增強算法，圖5為灰度形態(tài)學(xué)與剪切波變換結(jié)合算法流程圖，其具體步驟如下。

圖5 灰度形態(tài)學(xué)與剪切波變換結(jié)合算法流程圖Fig.5 Flow diagram of algorithm combining gray-scale morphology with shear wave transformation

1） 對手機屏幕圖像進(jìn)行Shearlet 分解，分解成低頻和高頻2部分；

2） 執(zhí)行灰度形態(tài)學(xué)操作，構(gòu)造0°、45°、90°和135°四種方向的元素形狀對低頻部分進(jìn)行灰度閉運算操作；

3） 采用N×M中值濾波[14]對高頻部分進(jìn)行去噪處理；

4） 采用剪切逆變換生成增強圖像。

對于較淺和較細(xì)的劃痕，由于部分缺陷邊緣模糊，原本完整的缺陷被分割為數(shù)段，構(gòu)造0°、45°、90°和135°四種方向的元素形狀對低頻部分執(zhí)行灰度閉運算操作，形態(tài)學(xué)濾波器的復(fù)合大小為9×9，復(fù)合原點X、Y均為4。如圖6（b）所示，經(jīng)過灰度形態(tài)學(xué)處理后的低頻圖像，目標(biāo)區(qū)域內(nèi)斷開的部分被填補，保證了劃痕缺陷的完整性。同時，如圖5（c）所示，高頻部分包含大量的噪音信息，采用N×M中值濾波對其進(jìn)行處理，根據(jù)多次實驗，N和M值均取7時達(dá)到最佳的去噪效果。從圖6（c）和圖5（d）的對比發(fā)現(xiàn)，高頻圖像經(jīng)過N×M中值濾處理后，其噪聲得到很好的消除。最后將經(jīng)過灰度形態(tài)學(xué)處理過的低頻圖像和經(jīng)過中值濾波處理過的高頻圖像進(jìn)行剪切逆變換操作，生成增強圖像，見圖6（e），可以看出灰度形態(tài)學(xué)與剪切波變換結(jié)合算法對目標(biāo)有很好的增強效果。

圖6 剪切變換和灰度形態(tài)學(xué)結(jié)合算法的結(jié)果Fig.6 Results of algorithm combining shear transformation with gray-scale morphology

2.4 圖像分割

經(jīng)過上述處理后，采用改進(jìn)的Otsu 雙閾值方法[15]來確定重構(gòu)圖像的最佳閾值t，即：

式中：L表示目標(biāo)區(qū)域內(nèi)灰度級個數(shù)；閾值t將其分為區(qū)域I和區(qū)域II；Pi表示灰度級為i的像素的概率；PI和PII表示區(qū)域I和區(qū)域II的像素與整個目標(biāo)區(qū)域內(nèi)總像素的比值。

式中：ωI和ωII分別表示區(qū)域I和區(qū)域II的灰度值；ω表示整個目標(biāo)區(qū)域的灰度均值。

式中：σin和σout分別表示類內(nèi)和類間方差。

進(jìn)行圖像分割時，閾值選取類內(nèi)方差最小、類間方差最大的點，即：

F的最大值即為最佳閾值t。

式中，f(i,j)是經(jīng)過圖像增強操作后手機屏幕圖像在點(i,j)處的灰度值。根據(jù)（8）式可以將全部的缺陷信息提取出來，為了驗證上述方法的有效性，對比了本文算法和形態(tài)學(xué)檢測法[16]缺陷分割效果，結(jié)果見圖7，可見本文方法能夠?qū)D像中目標(biāo)像素連接起來，填補了斷開的目標(biāo)區(qū)域，確保劃痕的連貫性。

圖7 缺陷分割Fig.7 Defect segmentation

3 實驗結(jié)果

實驗數(shù)據(jù)隨機選取通過本實驗圖像采集系統(tǒng)獲取的手機屏幕圖像450張，這450張照片是像素為2 592×1 944的BMP格式的8位灰度圖像，其中包括180張缺陷圖像和270張非缺陷圖像。試驗所用計算機平臺性能為

CPU：Inter i5 2.40 Ghz；

內(nèi)存：4.00 GB；

操作系統(tǒng)：64位Windows 7；

軟件平臺：Visual Studio 2010，VisionPro 8.2 SR1。

為了驗證上述算法的有效性，分別進(jìn)行3組實驗來比較本文算法、形態(tài)學(xué)檢測法和人工檢測法3種方法對3種形態(tài)的劃痕的檢測率、虛警率和每張圖像平均檢測時間，其中：a組實驗包括60張深淺不一的曲線劃痕圖像和90張無缺陷圖像；b組實驗包括60張直線狀劃痕圖像和90張無缺陷圖像；c組實驗包括60張交叉狀劃痕圖像和90張無缺陷圖像。3組實驗的結(jié)果見表2。

表2 3種檢測方法的比較Table2 Comparison of three test methods

由表2可知，對于深淺不一的曲線劃痕圖像文中所提出的方法的檢測率為97.3%，虛警率為2.7%，與形態(tài)學(xué)檢測法和人工檢測方法相比，文中方法的檢出率分別提高了3.3%和10.6%；對于直線狀的劃痕圖像，文中所提出的方法的檢測率為98.7%，虛警率為1.3%，與形態(tài)學(xué)檢測法和人工檢測方法相比，文中方法的檢出率分別提高了2%和9.4%；對于交叉狀的劃痕圖像文中所提出的方法的檢測率98%，虛警率為2%，與形態(tài)學(xué)檢測法和人工檢測方法相比，文中方法的檢出率分別提高了2%和9.3%；文中的檢測方法每張圖像的平均檢測時間均略少于形態(tài)學(xué)檢測方法，且遠(yuǎn)遠(yuǎn)低人工檢測方法。由圖6、圖7和表2的檢測結(jié)果可知，文中的方法具有較高的檢測效率，能夠完整地提取出劃痕，減小了手機屏幕劃痕的虛警率，對于較細(xì)小的劃痕，其效果尤為明顯。

4 結(jié)論

針對手機屏幕劃痕缺陷檢測的難點，采用面光源背光打光的方式獲取手機屏幕圖像，通過PatMax算法的模板定位技術(shù)對圖像進(jìn)行定位，通過仿射變換對圖像進(jìn)行校正并提取ROI，采用剪切變換和灰度形態(tài)學(xué)結(jié)合的圖像增強算法有效抑制了噪音，同時增強了圖像的細(xì)節(jié)信息，采用改進(jìn)的Otsu雙閾值方法確定了圖像的最佳閾值，對劃痕缺陷進(jìn)行了準(zhǔn)確的提取。實驗結(jié)果表明，文中的方法在有效去除噪聲的同時，能夠有效增強圖像的細(xì)節(jié)信息，填補目標(biāo)區(qū)域內(nèi)斷開的部分，保證劃痕缺陷的完整性。與形態(tài)學(xué)檢測法和人工檢測法使用對比，文中的方法具有較高的檢測精度和較高的檢測效率，其檢測性能符合手機屏幕缺陷的工業(yè)檢測要求。