基于Harris角點(diǎn)特征的貼片元件視覺定位算法

王祖進(jìn)，黃筱調(diào)，顧萍萍

(1.南京工業(yè)大學(xué)機(jī)械與動力工程學(xué)院，江蘇南京210009;2.南京康尼機(jī)電股份有限公司，江蘇南京210038)

隨著貼片元件的微型化以及引腳間距的密集化，芯片貼裝領(lǐng)域?qū)N片機(jī)視覺系統(tǒng)的定位精度提出了更高的要求.因此，必須建立速度更快，精度更高的視覺定位算法［1］.而貼片機(jī)視覺系統(tǒng)定位算法主要包括貼片元件定位和PCB板定位算法2部分:貼片元件定位是對貼片元件中心相對于吸嘴中心的偏移量和貼片元件在拾取過程中的偏轉(zhuǎn)角度進(jìn)行檢測;PCB板定位是通過對母板上的定位標(biāo)志進(jìn)行檢測，進(jìn)而得到PCB板坐標(biāo)系與機(jī)器坐標(biāo)系之間的轉(zhuǎn)換關(guān)系.眾多學(xué)者對貼片機(jī)視覺系統(tǒng)的相關(guān)算法［2-4］進(jìn)行了研究，但對偏移量和偏轉(zhuǎn)角度的檢測基本都是分開進(jìn)行的，很少將兩者結(jié)合起來考慮.為此，文中提出一種基于Harris角點(diǎn)特征的貼片元件定位算法，其中以矩形引腳元件為研究對象，能夠同時檢測元件的偏移量和偏轉(zhuǎn)角度，且檢測精度都達(dá)到了亞像素級別.

1 貼片機(jī)視覺系統(tǒng)構(gòu)成

貼片機(jī)視覺系統(tǒng)主要結(jié)構(gòu)如圖1所示.光學(xué)系統(tǒng)由CCD相機(jī)和可編程控制的LED光源組成，高速圖像采集卡對圖像進(jìn)行采集，然后由PC機(jī)上的處理軟件對圖像進(jìn)行處理，產(chǎn)生相應(yīng)的控制信號.

圖1 視覺系統(tǒng)結(jié)構(gòu)示意圖

2 貼片元件視覺定位算法及其實(shí)現(xiàn)

基于Harris角點(diǎn)特征的貼片元件定位算法流程如圖2所示.

圖2 貼片元件定位算法流程圖

2.1 圖像預(yù)處理

貼片機(jī)視覺系統(tǒng)在采集元件圖像的過程中，會受到各種噪聲和不均勻光照的干擾.通過圖像預(yù)處理可以消除光照不均勻的影響，濾除噪聲，修補(bǔ)圖像內(nèi)部缺陷.首先通過頂帽變換消除光照不均勻的問題，然后利用伽瑪變換拉伸元件圖像的對比度［5］，再運(yùn)用數(shù)學(xué)形態(tài)學(xué)閉運(yùn)算濾除噪聲和修補(bǔ)缺陷［6］，最后進(jìn)行二值化.圖像預(yù)處理結(jié)果如圖3所示.

圖3 圖像預(yù)處理結(jié)果

2.2 引腳形狀判別

元件引腳的形狀分為矩形和圓形.不同形狀的引腳，相應(yīng)的定位算法也不同.所以在進(jìn)行定位之前，需要對貼片元件的引腳形狀進(jìn)行判別.首先用8連通模板對二值圖像進(jìn)行卷積，以標(biāo)記每個引腳的連通分量，為每個連通區(qū)域分配一個唯一的編號，并將輸出圖像中該連通區(qū)內(nèi)的所有像素賦值為該區(qū)域的編號，得到標(biāo)記圖像.以和標(biāo)記區(qū)域具有相同二階中心矩的橢圓長短軸為特征，來判別元件引腳形狀，但實(shí)際計算時不需要具體計算出橢圓的長短軸，只要求得標(biāo)記區(qū)域的2個二階中心矩的比值即可，矩形引腳的比值遠(yuǎn)大于1，圓形引腳的比值約等于1.

一幅M×N的數(shù)字圖像f(i，j)，其p+q階幾何矩mpq和中心矩μpq為

設(shè)X為標(biāo)記圖像的橫向坐標(biāo)矩陣，Y為標(biāo)記圖像的縱向坐標(biāo)矩陣，大小均為n×1.則標(biāo)記區(qū)域的二階中心矩的計算過程如下:

表1給出了2個圓形引腳和2個矩形引腳的各階矩及二階中心矩的比值.采用上述判別算法對6種類型的貼片元件進(jìn)行檢測，檢測結(jié)果如表2所示.

表1 部分引腳的矩特征

表2 引腳形狀檢測結(jié)果

2.3 偏轉(zhuǎn)角度和偏移量檢測

圖像的角點(diǎn)是兩個邊緣的交點(diǎn)，其所在鄰域是圖像中穩(wěn)定的、信息豐富的域，具有旋轉(zhuǎn)不變性和平移不變性.Harris算子［7-9］是一種有效的角點(diǎn)特征提取算子，具有計算簡單、提取的特征點(diǎn)均勻等優(yōu)點(diǎn).所以文中采用Harris角點(diǎn)特征作為貼片元件的定位特征.Harris角點(diǎn)特征提取步驟如下:

1)計算圖像I(x，y)在x，y方向上的梯度Ix，Iy:

式中:

?為卷積運(yùn)算.

2)計算圖像x，y方向梯度的乘積:

3)使用高斯函數(shù)對梯度乘積進(jìn)行高斯加權(quán):

式中w為9×9的高斯窗函數(shù).

4)計算自相關(guān)矩陣M的行列式detM和直跡traceM:

5)計算每個角點(diǎn)的響應(yīng)值R，并對小于閥值t的R置0:

式中α為經(jīng)驗(yàn)常數(shù)，取值0.04.

6)在3×3的鄰域內(nèi)進(jìn)行非極大值抑制，余下的局部極大值點(diǎn)即為圖像的角點(diǎn).

角點(diǎn)特征的提取結(jié)果如圖4所示.

圖4 角點(diǎn)特征提取結(jié)果

在xy坐標(biāo)系中標(biāo)注出每個角點(diǎn)，然后找出具有x軸坐標(biāo)最大、最小值以及y軸坐標(biāo)最大、最小值的4個基準(zhǔn)角點(diǎn)，最后通過計算其他角點(diǎn)與4個基準(zhǔn)角點(diǎn)的距離來判斷剩余角點(diǎn)與哪個基準(zhǔn)角點(diǎn)屬于同一類.通過最小二乘法對4類角點(diǎn)進(jìn)行直線擬合，并將擬合得到的直線平移0.75l(l為貼片元件的引腳長度)，去除已分類的角點(diǎn)，剔除虛假角點(diǎn)，對余下的角點(diǎn)再次進(jìn)行分類和最小二乘擬合，最后取8條直線斜率的平均值作為偏轉(zhuǎn)角度θ的檢測結(jié)果.其中虛假角點(diǎn)的判別方法是將余下角點(diǎn)分別帶入平移后的4條直線的直線方程，得到4個值y1，y2，y3，y4，若4個值中正數(shù)的個數(shù)為2，則此點(diǎn)為4條直線所構(gòu)成的封閉區(qū)間內(nèi)的點(diǎn)，否則為虛假點(diǎn).處理結(jié)果如圖5所示.

常用的圖像配準(zhǔn)方法［10-11］包括基于灰度的配準(zhǔn)方法和基于特征的配準(zhǔn)方法.基于灰度的圖像配準(zhǔn)方法對圖像的灰度變化比較敏感，計算的復(fù)雜度高，對目標(biāo)的旋轉(zhuǎn)、形變以及遮擋比較敏感;基于特征的圖像配準(zhǔn)方法［12-13］可以克服基于灰度的圖像配準(zhǔn)方法的缺點(diǎn)，在圖像配準(zhǔn)領(lǐng)域得到了廣泛的應(yīng)用.圖像的特征點(diǎn)比圖像的像素點(diǎn)要少很多，大大減少了匹配過程的計算量;特征點(diǎn)的匹配量值對位置的變化比較敏感，匹配的精確程度高;特征點(diǎn)的提取過程可以減少噪聲的影響，對灰度的變化、圖像形變以及遮擋等都有較好的適應(yīng)能力.所以文中采用基于Harris角點(diǎn)的圖像配準(zhǔn)方法對貼片元件的偏移量進(jìn)行檢測.

首先采用雙三次插值法對原灰度圖像進(jìn)行旋轉(zhuǎn)和放大，旋轉(zhuǎn)角度為-θ，放大倍數(shù)為2.因?yàn)樘卣鼽c(diǎn)的坐標(biāo)都為整數(shù)，使得最后檢測出的偏移量只能為整數(shù)個像素，無法檢測出小于1.0個像素的偏移量.而對圖像進(jìn)行放大處理，可使誤差由原來的1.0個像素減小為0.5個像素，從而實(shí)現(xiàn)偏移量的亞像素檢測.最后提取幾何變換后的圖像與未發(fā)生偏移的標(biāo)準(zhǔn)圖像的Harris角點(diǎn)特征，取角點(diǎn)附近的8.0個像素值作為匹配特征點(diǎn)向量，并進(jìn)行匹配，去除匹配錯誤點(diǎn)，得到最佳匹配點(diǎn)對，匹配點(diǎn)對間的坐標(biāo)差值即為貼片元件的偏移量.最終的匹配結(jié)果如圖6所示.

圖5 處理結(jié)果

圖6 圖像配準(zhǔn)結(jié)果

3 試驗(yàn)及結(jié)果分析

試驗(yàn)中以TQFP48-P-0707-0.5-K(如圖3a所示)型貼片元件為被測對象.偏轉(zhuǎn)角度的檢測結(jié)果如表3所示，偏移量的檢測結(jié)果如表4所示.由表3，4可以看出，文中算法對偏轉(zhuǎn)角度的檢測誤差小于0.1°，以像素來度量則小于 0.5 個像素，對偏移量的檢測誤差小于25 μm，以像素來度量則小于0.5個像素，兩者的檢測精度都到達(dá)了亞像素級別.

表3 偏轉(zhuǎn)角度檢測結(jié)果

表4 偏移量檢測結(jié)果

4 結(jié)論

在分析現(xiàn)有貼片元件定位方法的基礎(chǔ)上，提出了一種基于Harris角點(diǎn)特征的貼片元件定位方法，以矩形引腳元件為研究對象.首先采用頂帽變換、伽瑪變換以及數(shù)學(xué)形態(tài)學(xué)閉運(yùn)算對元件圖像進(jìn)行預(yù)處理;然后標(biāo)記元件引腳的連通區(qū)域，計算二階中心矩，以判別元件的引腳形狀;再通過Harris角點(diǎn)特征提取、分類和直線擬合等得到元件的偏轉(zhuǎn)角度;最后對元件圖像進(jìn)行旋轉(zhuǎn)和放大處理，并進(jìn)行基于Harris角點(diǎn)特征的圖像配準(zhǔn)，得到最佳匹配點(diǎn)對，匹配點(diǎn)對間的坐標(biāo)差值即為貼片元件的偏移量.檢測結(jié)果表明，文中算法能夠同時檢測貼片元件的偏移量和偏轉(zhuǎn)角度，偏移量誤差小于25 μm，偏轉(zhuǎn)角度誤差小于0.1°，檢測誤差均小于 0.5 個像素，達(dá)到了亞像素精度.

References)

［1］孫 力，蔡健榮，李永平，等.基于TOF成像技術(shù)的柑橘實(shí)時識別與定位［J］.江蘇大學(xué)學(xué)報:自然科學(xué)版，2013，34(3):293-297.Sun Li，Cai Jianrong，Li Yongping，et al.Real-time citrus recognition and location based on TOF imaging technology［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(3):293-297.(in Chinese)

［2］Lin C S，Lue L W.An image system for fast positioning and accuracy inspection of ball grid array boards［J］.Microelectronics Reliability，2001，41(1):119-128.

［3］Yeh C H，Shen T C，Wu F C.A case study:passive component inspection using a 1D wavelet transform［J］.International Journal of Advanced Manufacturing Technology，2003，22(11/12):899-910.

［4］解楊敏，劉 強(qiáng).高精度自動貼片機(jī)視覺系統(tǒng)定位算法研究［J］.光學(xué)技術(shù)，2008，34(3):449-454.Xie Yangmin，Liu Qiang.Research on locating algorithm of vision alignment system in automatic high precision chip mounter［J］.Optical Technique，2008，34(3):449-454.(in Chinese)

［5］王祖進(jìn)，黃筱調(diào).基于形態(tài)學(xué)的元件圖像邊緣檢測算法［J］.南京工業(yè)大學(xué)學(xué)報:自然科學(xué)版，2013，35(2):115-118.Wang Zujin，Huang Xiaodiao.Chip image edge detection algorithm based on morphology［J］.Journal of Nanjing University of Technology:Natural Science Edition，2013，35(2):115-118.(in Chinese)

［6］關(guān)柏青，于新瑞，王石剛.基于鏈碼分析及矩特征的元件類型檢測方法［J］.上海交通大學(xué)學(xué)報，2005，39(6):969-974.Guan Baiqing，Yu Xinrui，Wang Shigang.An inspection method of component type based on moment features and chain code［J］.Journal of Shanghai Jiaotong University，2005，39(6):969-974.(in Chinese)

［7］Lin H，Du P，Zhao W，et al.Image registration based on corner detection and affine transformation［C］∥2010 3rd International Congress on Image and Signal Processing，2010:2184-2188.

［8］Bellavia F，Tegolo D，Valenti C.Improving Harris corner selection strategy［J］.IET Computer Vision，2011，5(2):87-96.

［9］Chen J，Zou L，Zhang J，et al.The comparison and application of corner detection algorithms［J］.Journal of Multimedia，2009，4(6):435-441.

［10］Manuel G S，Thurman S T，F(xiàn)ienup J R.Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33(2):156-158.

［11］Wyawahare M V，Patil P M，Abhyankar H K.Image registration techniques:an overview ［J］.Image Processing and Pattern Recognition，2009，2(3):11-26.

［12］文貢堅，呂金建，王繼陽.基于特征的高精度自動圖像配準(zhǔn)方法［J］.軟件學(xué)報，2008，19(9):2293-2301.Wen Gongjian，Lü Jinjian，Wang Jiyang.An automated method for feature-based image registration with high-accuracy［J］.Journal of Software，2008，19(9):2293-2301.(in Chinese)

［13］Liao S，Chung A C S.Feature based nonrigid brain MR image registration with symmetric alpha stable filters［J］.IEEE Transactions on Medical Imaging，2010，29(1):106-119.