一種基于Blob分析的攝像頭模組缺陷檢測(cè)方法

梁雄，張舞杰，李聽聽

（華南理工大學(xué)機(jī)汽學(xué)院，廣東廣州510640）

根據(jù)ABI對(duì)于智能終端影像技術(shù)的最新研究，2012年全年超過10億的攝像頭用于智能手機(jī)和平板，到2018年將達(dá)到27億智能終端的出貨量智能手機(jī)將占其中80%的份額，并且很多國(guó)家都在建設(shè)LTE網(wǎng)絡(luò)，智能手機(jī)及平板目前在視頻通話越來(lái)越普及，一個(gè)手機(jī)同時(shí)設(shè)置了前置及后置攝像頭，因此隨著電子產(chǎn)品需求的增加，手機(jī)攝像頭的需求量將會(huì)越來(lái)越大。

攝像頭簡(jiǎn)稱攝像頭模組，由鏡頭、紅外濾光片（IR Filter）、圖像傳感器（Sensor IC）、數(shù)字信號(hào)處理（DSP）以及軟板（FPC）構(gòu)成。在拍照及視頻過程中，光線穿過鏡頭后，經(jīng)過紅外濾光片濾波后照射到Sensor中，Sensor上圖像傳感器傳來(lái)的光線由光信號(hào)轉(zhuǎn)為電信號(hào)，然后經(jīng)過AD轉(zhuǎn)換為數(shù)字信號(hào)，供PC處理使用。在整個(gè)過程中圖像傳感器重要作用不言而喻，如果圖像傳感器上有灰塵都將會(huì)影響整個(gè)攝像頭的拍攝效果，從而影響手機(jī)的客戶滿意度。由于灰塵面積為μ級(jí)，等價(jià)于幾個(gè)像素，因此識(shí)別度較難，且隨著社會(huì)的快速發(fā)展，人們對(duì)手機(jī)像素的要求越來(lái)越高，因此對(duì)Sensor灰塵檢測(cè)精度要求也會(huì)加大。

Blob分析方法已經(jīng)被廣泛的應(yīng)用于很多行業(yè)中，例如工業(yè)檢測(cè)（塑料污點(diǎn)檢測(cè)）、醫(yī)學(xué)生物（血液細(xì)胞）、食品領(lǐng)域（如餅干）的品質(zhì)檢測(cè)、農(nóng)產(chǎn)品（如稻谷的缺陷檢測(cè)）及PCB表面上電子元器件檢測(cè)的應(yīng)用。目前該領(lǐng)域中的中高端設(shè)備完全被國(guó)外壟斷，國(guó)內(nèi)主要采用人工檢測(cè)的方法，由于人工檢測(cè)過程中人員流動(dòng)性大，導(dǎo)致培養(yǎng)新人需求成本較大，同時(shí)人工效率低，易誤判。因此針對(duì)目前情況，提出了一種基于Blob分析的攝像頭模組缺陷檢測(cè)方法。

1 檢測(cè)系統(tǒng)的軟硬件構(gòu)造及工作原理

1.1 檢測(cè)系統(tǒng)的硬件方案設(shè)計(jì)

圖1為攝像頭模組檢測(cè)系統(tǒng)硬件架構(gòu)圖。由圖1可知攝像頭模組硬件架構(gòu)由3部分組成：1）運(yùn)動(dòng)控制系統(tǒng)；2）光學(xué)系統(tǒng)；3）光照系統(tǒng)。運(yùn)動(dòng)控制系統(tǒng)包括IPMC8188運(yùn)動(dòng)控制卡、伺服電機(jī)、伺服驅(qū)動(dòng)器、絲桿、導(dǎo)軌及底座。光照系統(tǒng)由AOI環(huán)形光源、鹵素?zé)酎c(diǎn)光源、偏振片、單環(huán)形光源以及4路數(shù)字光源控制器。光學(xué)系統(tǒng)由相機(jī)、鏡頭構(gòu)成，其中相機(jī)為德國(guó)SVS的500萬(wàn)黑白相機(jī)和500萬(wàn)像素的彩色相機(jī)，接口采用網(wǎng)絡(luò)GigE Vision，鏡頭采用美國(guó)Thales Optem雙筒自動(dòng)調(diào)焦T型鏡頭。

1.2 系統(tǒng)工作原理

在百級(jí)無(wú)塵室下將物體放于工作臺(tái)上，通過上位機(jī)發(fā)送信號(hào)給運(yùn)動(dòng)控制卡，運(yùn)動(dòng)控制卡發(fā)送脈沖信號(hào)給電機(jī)運(yùn)轉(zhuǎn)將物體運(yùn)送到光照系統(tǒng)下。根據(jù)待檢測(cè)的物體的尺寸，調(diào)節(jié)鏡頭的放大倍率、物鏡以及鏡頭的工作距離，獲得質(zhì)量較高的圖片。相機(jī)內(nèi)部CCD將采集的圖片從模擬信號(hào)轉(zhuǎn)為數(shù)字信號(hào)，在傳輸?shù)接?jì)算機(jī)中，通過自行設(shè)計(jì)的圖像算法軟件對(duì)圖片進(jìn)行處理，從而檢測(cè)物體上是否有灰塵并存儲(chǔ)灰塵的坐標(biāo)于數(shù)據(jù)庫(kù)，在檢測(cè)完成調(diào)用保存的坐標(biāo)對(duì)物體上的灰塵進(jìn)行人工在線清潔。

圖1 攝像頭模組架構(gòu)圖Fig.1 The framework of the camera module

2 光照系統(tǒng)的設(shè)計(jì)及Sensor圖像獲取

圖像一般由背景以及目標(biāo)構(gòu)成，圖像的好壞直接影響算法的耗時(shí)性以及檢測(cè)的精確性進(jìn)而影響檢測(cè)的效率及準(zhǔn)確性。良好的圖片易于將目標(biāo)與背景分離開，利于算法的處理。采集圖片過程中，光照對(duì)圖像質(zhì)量好壞具有很大的影響。光照過程一般分為明場(chǎng)照明和暗場(chǎng)照明，明場(chǎng)照明指光通過目標(biāo)物體反射進(jìn)入鏡頭，一般采用高角度的光源；暗場(chǎng)照明指在照射過程中由于物體表面的凹凸變化（目標(biāo)物體），使得該漫反射的光線進(jìn)入相機(jī)，其余的光線被反射離開相機(jī)，一般采用低角度環(huán)形光源或者點(diǎn)光源。根據(jù)攝像頭模組上圖像傳感器材質(zhì)的特性，以及灰塵的特性，采用暗場(chǎng)照明，由于Sensor上有灰塵的區(qū)域呈現(xiàn)凹凸，導(dǎo)致光線進(jìn)入相機(jī)，使得灰塵區(qū)域呈現(xiàn)白色，其余區(qū)域呈現(xiàn)黑色，從而將背景與目標(biāo)分開。圖2為采集帶有灰塵的局部Sensor圖片，能夠很好的將灰塵及背景分離開。

圖2 光照下采集的Sensor圖像Fig.2 The acquisition image of the optical system

圖3 光照系統(tǒng)圖Fig.3 The image of the optical system

表1表示自行設(shè)計(jì)的光照系統(tǒng)下檢測(cè)的灰塵與金相顯微鏡對(duì)比圖。由表1得出自行設(shè)計(jì)的光照系統(tǒng)與金相顯微鏡下檢測(cè)到的灰塵數(shù)基本相同，因此自行設(shè)計(jì)的光照系統(tǒng)能夠滿足算法的需求。

表1 檢測(cè)灰塵數(shù)對(duì)比Tab.1 The comparison of the sensor number

3 圖像關(guān)鍵算法設(shè)計(jì)流程

3.1 圖像二值化

圖像二值化就是通過設(shè)定一定的閾值將背景與目標(biāo)物體分開[5]，使得圖像中的所以像素為0或255，從而為黑白圖像。在二值化過程中將大于閾值的像素點(diǎn)設(shè)為255，小于閾值的像素點(diǎn)設(shè)為0。目前普遍采用二值化為全局閾值和OSTU法，但本課題采集圖片像素為2 456×2 058，由于圖片較大，在光照過程中可能存在的微小不均勻性影響，為了提高實(shí)驗(yàn)的準(zhǔn)確性，對(duì)圖片進(jìn)行分割，然后在對(duì)分割區(qū)域求取閾值進(jìn)行二值化。

設(shè)圖像為G（x，y），x代表像素點(diǎn)的橫坐標(biāo)，y代表像素點(diǎn)的縱坐標(biāo)，每個(gè)像素點(diǎn)灰度值為G（xi，yi），二值化后的像素灰度值為F（xi，yi），采樣步長(zhǎng)為n，平均閾值為Tk，K為區(qū)域塊的標(biāo)記，則函數(shù)表達(dá)式為：

其中K為K1，K3中較小值

當(dāng)K為K3，K4時(shí)候二值化方法同上。

經(jīng)過實(shí)驗(yàn)驗(yàn)證，當(dāng)采樣步長(zhǎng)為n=64時(shí)圖像二值化的處理速度最快。

3.2 Blob分析

Blob就是將圖像中具有相同特征的點(diǎn)連通起來(lái)，從而將物體中的背景與目標(biāo)分離開，根據(jù)獲得的Blob連通域計(jì)算目標(biāo)物體的一些特征參數(shù)，例如目標(biāo)物體的形心、面積、周長(zhǎng)等。在Blob分析中最為核心的就是連通域如何進(jìn)行標(biāo)識(shí)，因此在Blob分析中先對(duì)二值化后的圖像先進(jìn)行連通域標(biāo)識(shí)。

3.3 運(yùn)用Blob游程鏈法獲取灰塵的形心

文獻(xiàn)[4]提出了一種在連通標(biāo)記法中引用動(dòng)態(tài)數(shù)組，按照從上到下，從左到右對(duì)圖像進(jìn)行掃描，掃描過程只處理相鄰兩行像素。因此為了保存在處理過程中相應(yīng)的數(shù)據(jù)，設(shè)計(jì)了CBlob類、BeginRow和EndRow兩個(gè)動(dòng)態(tài)鏈表，CBlob::BeginRow對(duì)應(yīng)處理第一行元素，CBlob::EndRow對(duì)應(yīng)第二行元素。在整個(gè)圖片搜索過程中尋找兩行之間的連通性關(guān)系，從而將連通性關(guān)系轉(zhuǎn)為了數(shù)組游程點(diǎn)之間的關(guān)系。如果兩行元素連通，將BeginRow歸屬于EndRow的所屬的Blob類中，否則為算法分配新的Blob類。

根據(jù)獲得的Blob中的連通域的關(guān)系求取灰塵的形心，求取形心的公式如下，設(shè)形心的坐標(biāo)為（Xcenter，Ycenter）：

其中xi，yi分別為連通區(qū)域灰塵中像元的橫坐標(biāo)和縱坐標(biāo)，zi為連通區(qū)域灰塵每行像元個(gè)數(shù)的綜合，m為構(gòu)成一個(gè)灰塵的總像元數(shù)。

4 實(shí)驗(yàn)結(jié)果及測(cè)試

4.1 實(shí)驗(yàn)結(jié)果

針對(duì)目前市場(chǎng)上的主流攝像頭模組為8.5×8.5 mm尺寸，采用自行研發(fā)的圖像處理軟件處理前、后的圖片如圖4和圖5所示。從圖4和5可以看出，處理后的圖片能將Sensor上的灰塵全部檢測(cè)出來(lái)并采用方框做標(biāo)記以便識(shí)別是否檢測(cè)，同時(shí)采用數(shù)據(jù)庫(kù)保存灰塵的坐標(biāo)，有利于下一步在線清潔的實(shí)現(xiàn)。該檢測(cè)為實(shí)現(xiàn)自動(dòng)檢測(cè)Sensor灰塵做好了準(zhǔn)備。

4.2 耗時(shí)性對(duì)比測(cè)試

針對(duì)尺寸為8.5×8.5 mm的攝像頭模組做了10組樣品的耗時(shí)性測(cè)試，對(duì)比了運(yùn)用Blob分析檢測(cè)與傳統(tǒng)的區(qū)域增長(zhǎng)法做了算法耗時(shí)性比較，比較結(jié)果如表2所示。

圖4 處理前Sensor圖像Fig.4 Unprocessed image of the Sensor

圖5 處理后Sensor圖像Fig.5 Processing image of the Sensor

表2 算法耗時(shí)性測(cè)試結(jié)果Tab.2 Result of the time-consuming

從以上耗時(shí)性測(cè)試結(jié)果表明，算法的耗時(shí)性與灰塵的個(gè)數(shù)有關(guān)系，灰塵越多耗時(shí)性越高。目前由客戶端反饋數(shù)據(jù)統(tǒng)計(jì)，一組供料中僅有10%左右的攝像頭模組需要檢測(cè)，且被檢測(cè)攝像頭模組中每一個(gè)攝像頭模組上的灰塵不會(huì)超過5個(gè)，普遍在0個(gè)左右，由以上表看出5個(gè)灰塵檢測(cè)耗時(shí)為300 ms，傳統(tǒng)的區(qū)域增長(zhǎng)法所需的時(shí)間最大為2 500 ms，是同等條件下Blob檢測(cè)的8倍，因此使用Blob算法能夠滿足攝像頭模組的檢測(cè)，同時(shí)能夠提高檢測(cè)效率。

4.3 灰塵形心檢測(cè)精度對(duì)比測(cè)試

由于灰塵的體積很小，在后續(xù)的清洗過程中需要進(jìn)行人工進(jìn)行清潔，因此對(duì)灰塵的位置精度要求較高，以便于能夠準(zhǔn)確清洗圖片，在檢測(cè)后根據(jù)灰塵的形心設(shè)置了框形區(qū)域。本文針對(duì)8.5×8.5 mm的攝像頭模組在自行設(shè)計(jì)的軟件下計(jì)算的形心坐標(biāo)與金相顯微鏡下計(jì)算的形心做了對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示。

從以上精度對(duì)比實(shí)驗(yàn)結(jié)果表明，自行設(shè)計(jì)的檢測(cè)精度與金相顯微鏡精度誤差范圍在2個(gè)像素以內(nèi)，因此表明基于Blob分析算法能夠滿足物體形心的檢測(cè)。根據(jù)目標(biāo)物體的形心標(biāo)準(zhǔn)，標(biāo)記物體的位置，從而能夠滿足人工在線清潔。

表3 精度對(duì)比結(jié)果Tab.3 Result of the precision comparison

5 結(jié)束語(yǔ)

根據(jù)實(shí)驗(yàn)數(shù)據(jù)得出，依據(jù)物體特性設(shè)計(jì)的光照及光源系統(tǒng)能夠完全滿足攝像頭模組上灰塵的檢測(cè)?；贐lob分析的攝像頭模組Sensor灰塵檢測(cè)方法耗時(shí)性較低，且定位精度較高，能夠滿足人工在線清潔以及高效率生產(chǎn)，為高像素的攝像頭模組缺陷檢測(cè)打下了基礎(chǔ)。

[1] 李映.手機(jī)攝像模組：像素攀高功能求新[N].中國(guó)電子報(bào)，2007-09-25.

[2] 馬寧.手機(jī)攝像頭的現(xiàn)狀與發(fā)展趨勢(shì)[J].世界電子元器件，2007（7）:39.MA Ning.Situation and trend of development of the mobile camera[J].Global Electronics China，2007（7）:39.

[3] 岡薩雷斯.數(shù)字圖像處理[M].北京:電子工業(yè)出版社，2009.

[4] 張二虎，馮江.Blob分析中基于游程鏈的連通區(qū)域標(biāo)記[J].應(yīng)用科學(xué)學(xué)報(bào)，2008（5）:536-540.ZHANG Er-hu，F(xiàn)ENG Jiang.Run-list based connected components labeling for Blob analysis[J].Journal of Applied Sciences，2008（5）:536-540.

[5] 霍宏濤.數(shù)字圖像處理[M].北京：機(jī)械工業(yè)出版社，2003.

[6] 陳書海，傅錄祥.實(shí)用數(shù)字圖像處理[M].北京：科學(xué)出版社，2005.

[7] 陳兵旗.實(shí)用數(shù)字圖像處理與分析[M].清華出版社，2008.

[8] Carmona E J，Martnez Cantos J，MIRA J.A new video segmentation method of moving objects based blob level knowledge[J].Pattern Recognition Letters，2008，29（3）:272-285.

[9] TSAI Duming，HUANG Tseyun.Automated surface inspection for statistical textures[J].Image and Vision Computing，2003，21（4）:307-323.

[10] HU Qing-mao，QIAN Guo-yu.WIESLAW L N.Fast connected-com-ponent labeling in three-dimensional binary images based on itera-tive recursion[J].Computer Vision and Image Understanding，2005，99（3）:414-434.