基于數(shù)學形態(tài)學的手機屏缺陷檢測算法設(shè)計

許祖鑫，畢明德，孫志剛

（華中科技大學 控制科學與工程系 信息所，湖北 武漢 430074）

0 引言

當前手機產(chǎn)業(yè)中，對手機屏表面缺陷檢測的手段依舊停留在依靠人工肉眼觀察。然而人工檢測受檢測主體的主觀因素的限制且人眼無法實現(xiàn)產(chǎn)品高速生產(chǎn)時的在線缺陷檢測。機器視覺的發(fā)展使其能夠替代人眼，利用數(shù)字圖像處理技術(shù)完成手機屏表面缺陷檢測具有一定的實際意義。

數(shù)學形態(tài)學是由一組形態(tài)學的代數(shù)運算子組成［1］。最基本的形態(tài)學運算子有腐蝕、膨脹、開、閉。運用這些算子及其組合，進行圖像形態(tài)和結(jié)構(gòu)的分析及處理，包括圖像分割，邊緣檢測，圖像濾波，圖像增強和復原等方面的工作［2－3］。本文針對手機屏表面灰度圖像背景單一，缺陷有明顯形狀特征的特點，提出一種基于數(shù)學形態(tài)學的缺陷檢測方法。

1 手機屏表面缺陷圖像特征分析

在生產(chǎn)過程中，手機屏可能出現(xiàn)的缺陷可分為兩類，一類是劃痕（見圖1a），這類缺陷主要是人為因素造成的;另一類是晶點（見圖1b），這類缺陷主要是由產(chǎn)品本身內(nèi)部結(jié)構(gòu)發(fā)生微小畸變所導致的。

對大量缺陷圖像進行統(tǒng)計分析，表明缺陷在整個圖像中占的像素比重比背景小，輪廓比較清晰，但是背景與缺陷的灰度分布集中，二者對比度不明顯。從直方圖上看，圖像大都呈現(xiàn)比較集中的單峰結(jié)構(gòu)?？梢姡@些圖不宜直接采用閾值分割處理，而區(qū)域生長法嚴重依賴于初始種子像素［4］，同時計算量也較大，檢測的速度較慢。

圖1 （a），（b）分別劃痕與晶點缺陷樣本圖，（c），（d）分別為（a），（b）的直方圖

數(shù)學形態(tài)學方法能夠凸顯手機屏缺陷的形狀特性，并將其從背景中地分割出來，從而達到檢測疵點的目的。

2 灰度數(shù)學形態(tài)學

本文處理的缺陷圖像為灰度圖像，需利用灰度形態(tài)學［5］。二值數(shù)學形態(tài)學可方便地推廣到灰度圖像空間。只是灰度形態(tài)學的運算對象不是集合，而是圖像函數(shù)。設(shè)f（x，y）是輸入圖像，b（x，y）是結(jié)構(gòu)元素。用結(jié)構(gòu)元素b對輸入圖像f進行膨脹和腐蝕運算分別定義為:

式中:Df和Db分別是f和b的定義域。

對灰度圖像的膨脹（或腐蝕）操作有兩類效果:

（1）如果結(jié)構(gòu)元素的值都為正的，則輸出圖像會比輸入圖像亮（或暗）;

（2）根據(jù)輸入圖像中暗（或亮）細節(jié)的灰度值以及它們的形狀相對于結(jié)構(gòu)元素的關(guān)系，它們在運算中或被消減或被除掉。

灰度數(shù)學形態(tài)學中開啟和閉合運算的定義與在二值數(shù)學形態(tài)學中的定義一致。用b對f進行開啟和閉合運算的定義為:

開運算和閉運算操作幾乎都是“保留區(qū)域”形式的:最顯著的效果是，在灰度級上，閉運算消除了低于其鄰近點的孤立點，開運算消除了高于其鄰近點的孤立點。

基于以上灰度形態(tài)學基本運算，本文在缺陷提取中用到“黑帽”法來增強圖像陰影的細節(jié)?！昂诿薄狈ň褪?Black-Hat變換［6］，即對原始圖像閉運算再減去原始圖像后得到的圖像，可以得到一些重要的標記點?；叶葓D像分析中，這種方法對比較亮的背景中求暗的像素聚集體（顆粒），或在較暗的背景中求亮的像素聚集體非常有效。

Black-Hat變換的數(shù)學表達式為:

其中b是適當?shù)慕Y(jié)構(gòu)元素，f是輸入圖像。

在使用Black-Hat變換時，結(jié)構(gòu)元素的選取對結(jié)果會有很大的影響。適當?shù)倪x取闕值，便可得到邊緣圖像。

3 手機屏表面缺陷檢測算法設(shè)計

基于數(shù)學形態(tài)學的手機屏表面缺陷檢測算法流程如圖2所示。

圖2 表面缺陷檢測流程圖

3.1 圖像預處理

在圖像預處理過程中采用中值濾波［7］方法對待檢測圖像進行濾波。由于CCD面陣相機采集的圖像會因光照不均、CCD器件本身的噪聲等原因，而使得圖像存在噪聲。中值濾波不僅能有效濾除噪聲，且可克服線性濾波器帶來的圖像細節(jié)模糊，較好地保持了圖像邊緣，中值濾波對平滑脈沖干擾及圖像掃描噪聲尤為有效。

中值濾波就是用一個有奇數(shù)點的滑動窗口，將窗口中心點的值用窗口內(nèi)各點的中值代替，用數(shù)學公式表示為:

式中Med為窗口內(nèi)像素灰度值的中間值，fi為窗口內(nèi)的像素灰度值。

本文采用中值濾波不僅能有效濾除噪聲，且可以保持缺陷輪廓，不影響后續(xù)形態(tài)學處理。根據(jù)觀察大量樣本圖像，窗口大小選擇5×5較為合適。

3.2 形態(tài)學處理

步驟一:對濾波后的圖像進行Black-Hat變換。實驗采用明場照明方式，光線經(jīng)過缺陷位置時其方向會突變，只有少量光線進入相機。在圖像上的反映則為缺陷位置比正常區(qū)域暗。Black-Hat變換能將這些形狀明顯的較暗區(qū)域分離出來，在本研究中選擇5×5的結(jié)構(gòu)元素。Black-Hat變換結(jié)果如圖3所示。

圖3 （a），（b）分別為劃痕經(jīng)Black-Hat變換前后圖，（c），（d）分別為晶點經(jīng)Black-Hat變換前后圖

步驟二:對Black-Hat變換后的圖像進行二值化分割。Black-Hat變換后，圖像的灰度級主要集中在兩類，一類為缺陷，另一類為背景;因此采用最大類間方差法進行二值化。閥值T選取公式為:

式中m（i）、n2（i）分別為灰度級小于i的像素數(shù)目和大于、等于i的像素數(shù)目;v1（i）、v2（i）分別為它們的平均值。

公式（8）的意思是，取w（i）中的最大值時的下標作為二值化的分割閾值。w（i）實際上是一個以灰度值為自變量的函數(shù)，求閾值就是找出函數(shù)值取最大值的位置。對圖3（b）、（d）二值化的結(jié)果如圖4所示。

圖4 二值化后的圖像

步驟三:對二值化后的圖像進行形態(tài)學開運算。二值化后的圖像還有大量椒鹽噪聲，根據(jù)數(shù)學形態(tài)學理論，開運算能夠有效地濾掉這些噪聲，得到完整的缺陷圖，本研究選擇的結(jié)構(gòu)元素大小為5×5。開運算結(jié)果如圖5所示。

圖5 開操作去掉噪聲點后的完整缺陷圖

步驟四:繪制輪廓。運用OpenCV庫提供的輪廓繪制函數(shù)將缺陷輪廓畫出，保存輪廓數(shù)據(jù)，為后續(xù)提取特征量做準備。繪制輪廓結(jié)果如圖6所示。

圖6 缺陷輪廓圖

3.3 缺陷特征提取

形態(tài)特征是目標缺陷的基本特征，通過缺陷區(qū)域的面積、周長、重心、圓度、扁平度等形狀描述符來表示。手機屏表面缺陷的形態(tài)特征有比較明顯的區(qū)別，如劃痕缺陷一般長度較長，寬度較窄;而晶點缺陷的長和寬差異不大。本文選取面積、周長、圓度、扁平度四個特征量組成特征向量，各參數(shù)定義如下:

（1）面積A即缺陷區(qū)域內(nèi)的像素總個數(shù)，定義如下:

式中Ψ為整個圖像區(qū)域。

（2）周長P即缺陷邊界像素的總和。

（3）圓度C反映缺陷接近圓的程度，缺陷形狀越接近圓，圓度越小;形狀越復雜，圓度越大。圓度的計算公式為:

（4）扁平度R是缺陷的高度與寬度的比值，反映了缺陷在長軸方向上的長寬比例，其計算公式如下:?

式中L為缺陷長軸，即通過重心連接缺陷邊界上兩個最遠點線段的長度;W為短軸，即通過重心與長軸垂直并與缺陷外接矩形相交線段的長度。

3.4 缺陷分類

手機屏缺陷類別主要有兩類劃痕類、晶點類，且兩類形態(tài)特征區(qū)別較為明顯，因此本文采用最小距離分類器［8］進行缺陷分類。選擇馬氏距離［9］作為距離度量，因為馬氏距離考慮到了各種特性之間的聯(lián)系，并且是與尺度無關(guān)的。第i個樣本xi到樣本集X={x1，x2，…，xm}的馬氏距離定義為:

當計算出一個未知類別缺陷x的特征向量（面積、周長、圓度、扁平度）時，分別計算x到標準樣本集劃痕類和晶點類的馬氏距離，然后將它分配給距離最近的標準樣本所代表的類。

4 實驗結(jié)果

本研究采用VS2008的MFC編程來實現(xiàn)軟件平臺的搭建，其中部分圖像處理函數(shù)（如輪廓提取及繪制）用OpenCV的庫函數(shù)實現(xiàn)。相機型號是微視工業(yè)黑白面陣相機MVC－610DAMGE110，幀率110 fps，采集圖像分辨率為659×494。實驗結(jié)果如圖7所示，缺陷輪廓用黑線標出。

圖7 實驗結(jié)果圖

實驗中選取100幅尺寸為659×494的缺陷圖像（包括劃痕、晶點），提取特征向量作為標準樣本集，在vs2008上進行樣本缺陷分類實驗。圖6中各缺陷目標的形態(tài)特征量和分類結(jié)果見表1。

表1 表面缺陷的形態(tài)特征量

實驗結(jié)果表明，本文算法能夠快速、客觀地將缺陷目標提取出來，并能獲取準確的缺陷特征數(shù)據(jù)用于判別缺陷類型，分類正確率達到92%。算法平均用時為233 ms（實驗中使用的PC機CPU 為 Pentium（R）Dual-Core，2.00 GHz，內(nèi)存為 2 GB），該算法在快速性上能夠滿足工業(yè)生產(chǎn)的需求。

5 結(jié)束語

本文針對常見手機屏表面缺陷的特征，提出了一種基于數(shù)學形態(tài)學的表面檢測方法。首先針對圖像中存在的噪聲利用中值濾波器消除了椒鹽噪聲;再用灰度形態(tài)學方法將缺陷圖像分割出來;最后對提取的形態(tài)特征進行分析，確定缺陷分類標準，根據(jù)標準判別缺陷類型。結(jié)果表明，這種方法能夠有效地判別缺陷類型，具有速度快、檢測結(jié)果客觀等特性。

［1］ Serra J.Introduction to Mathematical Morphology［M］.New York:Academic Press，1982.

［2］Castleman K R.數(shù)字圖像處理［M］.朱志剛譯，北京:電子工業(yè)出版社，2000.

［3］劉真.用形態(tài)學方法進行數(shù)字圖像的分析和處理［J］.華北電力大學學報，1996，23（3）:59－64.

［4］王吉暉，偉其，王霞，等.基于數(shù)學形態(tài)學的像增強器缺陷的圖像檢測方法［J］.光學技術(shù)報，2005，31（3）:129－131.

［5］ Sternberg S R.Gray scale morphology［J］.Computer Vision，Graphics，and Image Processing，1986，35（1）:333－355.

［6］葉斌，彭嘉雄.基于形態(tài)學Top－Hat算子的小目標檢測方法［J］.中國圖像圖形學報，2002，11（7）:638－641.

［7］唐世偉，林君.小波變換與中值濾波相結(jié)合圖像去噪方法［J］.哈爾濱工業(yè)大學學報，2008，40（8）:1334－1336.

［8］曾勇.廣義近鄰模式分類研究［D］.上海:上海交通大學，2009.

［9］李仁兵，李艾華.馬氏距離法在支持向量機拒識區(qū)域中的應(yīng)用［J］.信息與控制，2010，3（39）:367－372.