基于多角點(diǎn)結(jié)合的機(jī)箱標(biāo)準(zhǔn)件圖像特征提取方法

黃 堅(jiān)，劉桂雄，林鎮(zhèn)秋

（1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣州市華頡電子科技有限公司，廣東 廣州 510663）

基于多角點(diǎn)結(jié)合的機(jī)箱標(biāo)準(zhǔn)件圖像特征提取方法

黃 堅(jiān)1，劉桂雄1，林鎮(zhèn)秋2

（1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣州市華頡電子科技有限公司，廣東 廣州 510663）

機(jī)箱裝配具有部位多、標(biāo)準(zhǔn)件類型復(fù)雜特點(diǎn)，采用機(jī)器視覺進(jìn)行機(jī)箱裝配質(zhì)量檢測，提取具有較強(qiáng)表示能力圖像特征是關(guān)鍵，該文提出基于多角點(diǎn)結(jié)合的機(jī)箱標(biāo)準(zhǔn)件圖像特征提取方法。首先，分析機(jī)箱3大類標(biāo)準(zhǔn)件圖像特性及角點(diǎn)特征，指出角點(diǎn)特征較好地覆蓋機(jī)箱標(biāo)準(zhǔn)件特性；然后，分析Harris、Shi-Tomasi、Fast方法角點(diǎn)特征提取機(jī)理與判定條件，并結(jié)合3種方法提出多角點(diǎn)結(jié)合的機(jī)箱標(biāo)準(zhǔn)件圖像特征提取方法。結(jié)果表明：該方法能將背景中錯誤角點(diǎn)特征識別為偽角點(diǎn)特征，機(jī)箱標(biāo)準(zhǔn)件顯著特征識別為真角點(diǎn)特征，較好地解決受干擾影響錯誤提取角點(diǎn)特征問題。

機(jī)箱標(biāo)準(zhǔn)件；特征提??；角點(diǎn)特征；多角點(diǎn)結(jié)合

0 引 言

機(jī)箱裝配具有部位多、標(biāo)準(zhǔn)件類型復(fù)雜、結(jié)構(gòu)各異等特點(diǎn)[1]，目前多采用人工目測法檢測裝配質(zhì)量，但在高強(qiáng)度、重復(fù)性環(huán)境下人工容易疲憊導(dǎo)致決策失誤，難以滿足大批量工業(yè)生產(chǎn)檢測的需要[2]。引入機(jī)器視覺實(shí)現(xiàn)機(jī)器代人是制造產(chǎn)業(yè)升級的必然趨勢，圖像特征提取效果將直接影響機(jī)箱裝配質(zhì)量檢測效果，如何提取具有較強(qiáng)表示能力的圖像特征一直是智能圖像處理的研究熱點(diǎn)[3]。

圖像低層次特征是無需任何形狀、空間關(guān)系信息，可自動提取圖像中基本特性，形成適用于分類的特征向量，主要包括邊緣特征與角點(diǎn)特征[4]。邊緣特征關(guān)注灰度階梯變化位置，認(rèn)為目標(biāo)與周圍背景存在亮度差別。文獻(xiàn)[5]采用交叉試驗(yàn)方法改進(jìn)Canny邊緣檢測算法，去除圖像偽邊緣，實(shí)現(xiàn)各種型號電子芯片邊緣缺損情況檢測；本文作者所在團(tuán)隊(duì)[6]基于Canny邊緣檢測結(jié)合SVM分類器實(shí)現(xiàn)濾光片表面缺陷視覺檢測；Khadidos Alaa等[7]提出以圖像梯度矢量流場與輪廓法線的對齊程度作為局部邊緣特征，具有更準(zhǔn)確的弱邊界檢測效果。角點(diǎn)特征關(guān)注邊緣方向曲率變化，認(rèn)為邊緣方向快速變化點(diǎn)為角點(diǎn)，它可以壓縮數(shù)據(jù)表達(dá)圖像重要特征，廣泛應(yīng)用于圖像匹配與識別[8]。文獻(xiàn)[9]提出一種泰勒級數(shù)剔除偽角點(diǎn)的角點(diǎn)檢測算法，實(shí)現(xiàn)產(chǎn)品紅外圖像與可見光圖像匹配；西澳大利亞大學(xué)利用Harris角點(diǎn)形成特征集，構(gòu)建大小和間距的具有強(qiáng)穩(wěn)健性的圖像樣本集[10]；荷蘭烏得勒支大學(xué)基于Fast角點(diǎn)檢測，實(shí)現(xiàn)焊縫位置、寬度及斜率等特征提取[11]；Hanzaei S H[12]基于角特征與多類支持向量機(jī)分類器，實(shí)現(xiàn)標(biāo)準(zhǔn)件外觀缺陷檢測與分類。

角點(diǎn)特征提取算法不但對圖像尺度變化敏感，適合用于統(tǒng)一尺度圖像的匹配與識別，而且可壓縮數(shù)據(jù)表達(dá)圖像。本文將從機(jī)箱3大類標(biāo)準(zhǔn)件圖像特性及角點(diǎn)特征分析入手，分析Harris、Shi-Tomasi、Fast角點(diǎn)提取機(jī)理，提出基于多角點(diǎn)結(jié)合優(yōu)化提取機(jī)箱標(biāo)準(zhǔn)件圖像特征方法。

1 機(jī)箱標(biāo)準(zhǔn)件裝配圖像及角點(diǎn)特征分析

機(jī)箱裝配的標(biāo)準(zhǔn)件包括機(jī)箱功能件、機(jī)箱鈑金件與機(jī)箱緊固件。機(jī)箱功能件是指具有數(shù)據(jù)傳輸、信號輸出等功能的零部件，其標(biāo)準(zhǔn)主要考慮不同儀器設(shè)備之間的互通互聯(lián)，由領(lǐng)先設(shè)備制造行業(yè)、學(xué)會團(tuán)體組織制定。機(jī)箱鈑金件是指為機(jī)箱功能件提供裝配位置的零部件，機(jī)箱緊固件是指實(shí)現(xiàn)機(jī)箱功能件、機(jī)箱鈑金件連接緊固的零件，二者主要考慮機(jī)械制造中的互換性，使其在裝配與更換時不需輔助加工及修配，滿足使用、生產(chǎn)需求，主要由相關(guān)國際、國家與行業(yè)標(biāo)準(zhǔn)規(guī)定。某嵌入式機(jī)箱3大類標(biāo)準(zhǔn)件示意圖如圖1所示。

圖像角點(diǎn)特征包括兩邊交角、線段終點(diǎn)、曲率突變、局部亮/暗點(diǎn)等。機(jī)箱3大類標(biāo)準(zhǔn)件獨(dú)立零件圖如圖2所示，結(jié)合圖1可以看出，機(jī)箱通過機(jī)箱功能件、機(jī)箱緊固件與機(jī)箱鈑金件裝配形成，零件與零件之間在圖像上具有明顯邊界，零件整體在圖像上閉合、邊緣方向曲率存在突變或交角，機(jī)箱功能件具有局部亮/暗點(diǎn)，機(jī)箱緊固件具有凹槽、盲孔，任何機(jī)箱標(biāo)準(zhǔn)件圖像均具備角點(diǎn)特征。

機(jī)箱3類標(biāo)準(zhǔn)件角點(diǎn)特征統(tǒng)計如表1所示。由圖2、表1可見，交角、終點(diǎn)、曲率突變、亮/暗點(diǎn)等特征較好地覆蓋機(jī)箱3大類標(biāo)準(zhǔn)件的特征，且3類機(jī)箱標(biāo)準(zhǔn)件均具有上述特征的3類以上。但獲取的圖像樣本，會存在背景干擾，背景光滑、反射率高，圖像上存在較強(qiáng)灰度擾動，這便要求角點(diǎn)特征提取方法具有較強(qiáng)抗干擾能力，才可準(zhǔn)確獲取用以區(qū)分不同機(jī)箱標(biāo)準(zhǔn)件的角點(diǎn)特征。

圖1 某嵌入式機(jī)箱3大類標(biāo)準(zhǔn)件示意圖

圖2 機(jī)箱3大類標(biāo)準(zhǔn)件獨(dú)立零件圖

表1 機(jī)箱3類標(biāo)準(zhǔn)件角點(diǎn)特征統(tǒng)計表

2 基于多角點(diǎn)結(jié)合機(jī)箱標(biāo)準(zhǔn)件圖像特征提取方法

2.1 單一角點(diǎn)特征提取方法存在問題分析

Harris、Shi-Tomasi角點(diǎn)提取方法通過計算每個像素沿特定方向的誤差平方和（sum of squared diffences，SSD）判定角點(diǎn)特征[13-14]。設(shè)二維灰階圖像 I，若目標(biāo)位置坐標(biāo)為（x0，y0），目標(biāo)位置像素灰度值為 I（x0，y0），目標(biāo)位置平移（x，y）位置的像素灰度值為 I（x0+x，y0+y），為圖像加上窗 W，窗內(nèi)各位置（x，y）的權(quán)重為 w（x，y），則（x0，y0）位置沿不同方向（x，y）的誤差平方和 SSD 為 E（x，y）：

在二維圖像上，其灰階可以采用卷積方式計算。設(shè)圖像I沿水平方向、垂直方向的灰度階躍圖分別為 X、Y，則有：

對于較小的平移 x、y，有 O（x2）→0、O（y2）→0，E（x，y）可以簡化為

由于圖像窗W為矩形且離散，存在截斷誤差使角點(diǎn)判斷值R存在偏差，因此可采用平滑、圓形窗補(bǔ)償該誤差，如高斯窗WG等。

若位置（x0，y0）為角點(diǎn)特征，則矩陣M兩個特征值 λ1、λ2較大，但特征值 λ1、λ2計算復(fù)雜度大，直接以特征值作為角點(diǎn)特征閾值需要多次開平方根。Harris角點(diǎn)特征提取方法引入角點(diǎn)提取抗擾度k，以矩陣M的跡Tr（M）、行列式|M|共同計算Harris角點(diǎn)特征判斷值RH，則Harris角點(diǎn)特征判定條件為

隨著抗擾度k增大，Harris角點(diǎn)特征數(shù)量減少，出現(xiàn)偽角點(diǎn)可能性降低。

Shi-Tomasi方法認(rèn)為圖像每個像素灰度值變化光滑且穩(wěn)定，以特征值的最小值作為角點(diǎn)特征判定條件，引入角點(diǎn)閾值TS。則Shi-Tomasi角點(diǎn)特征判定條件[14]為

隨著角點(diǎn)閾值TS增大，Shi-Tomasi角點(diǎn)特征數(shù)量減少、穩(wěn)定性增加。

Fast角點(diǎn)特征提取方法認(rèn)為角點(diǎn)特征在圖像中是少量存在的，以目標(biāo)位置周圍鄰域像素提取閾值RF，從而達(dá)到加速提取圖像中角點(diǎn)特征的目的，其特征判定條件明顯比Harris方法、Shi-Tomasi方法寬松[14]。

Harris、Shi-Tomasi、Fast等角點(diǎn)特征提取方法采用單一指標(biāo)（RH、RS、RF）判定圖像上的角點(diǎn)特征，很可能會提取到圖像背景上擾動、灰度變化、點(diǎn)噪聲等非角點(diǎn)特征，抗干擾能力較弱。若綜合考慮將這3種方法結(jié)合提取角點(diǎn)，有助于獲得機(jī)箱標(biāo)準(zhǔn)件較為全面的角點(diǎn)特征。

2.2 基于多角點(diǎn)結(jié)合圖像特征提取方法

設(shè)有圖像二維灰階圖像I，使用Harris方法、Shi-Tomasi方法、Fast方法提取得到的單個角點(diǎn)特征分別為角點(diǎn)特征集合分別為PH、PS、PF。

那么結(jié)合 PH、PS、PF可以提取到由真角點(diǎn)、普通角點(diǎn)與偽角點(diǎn)共同構(gòu)成的標(biāo)準(zhǔn)件機(jī)箱圖像角點(diǎn)特征PC，基于多角點(diǎn)結(jié)合的標(biāo)準(zhǔn)件機(jī)箱圖像特征優(yōu)化提取方法流程如圖3所示。

則多角點(diǎn)結(jié)合特征PC、真角點(diǎn)普通角點(diǎn)（非真角點(diǎn)、非偽角點(diǎn)）偽角點(diǎn)定義式為

圖3 基于多角點(diǎn)結(jié)合的圖像特征優(yōu)化提取方法流程圖

根據(jù)多角點(diǎn)結(jié)合特征優(yōu)化提取方法定義式，多角點(diǎn)結(jié)合特征提取運(yùn)算正確的充分必要條件是下述2個等式同時成立：

若采用理想集合運(yùn)算的方式進(jìn)行計算，則多角點(diǎn)結(jié)合特征優(yōu)化提取算法為

式（7）、式（9）和式（10）結(jié)合即為多角點(diǎn)結(jié)合特征優(yōu)化提取方法。

3 試 驗(yàn)

采用深圳市度申科技有限公司睛馳U3S230M-H黑白工業(yè)相機(jī)（分辨率1920×1200、感光元件尺寸1/1.2″、像素大小 5.86 μm）；廣東奧普特科技股份有限公司的200萬級OPT-C7528-2M定焦鏡頭（徑向畸變＜0.02%）；視創(chuàng)科技有限公司的型號TXX-D708X21條形光源搭建標(biāo)準(zhǔn)件圖像采集裝置。機(jī)箱標(biāo)準(zhǔn)件圖像 Harris、Shi-Tomasi、Fast角點(diǎn)特征如圖 4（a）所示，3種方法均會提取到背景上的偽角點(diǎn)特征，其偽角點(diǎn)特征在空間分布上不一致。機(jī)箱標(biāo)準(zhǔn)件圖像多角點(diǎn)結(jié)合特征如圖4（b）所示，共提取多角點(diǎn)結(jié)合特征331處，其中真角點(diǎn)特征98處、普通角點(diǎn)特征24處、偽角點(diǎn)特征209處；該方法提取到的真角點(diǎn)特征均處于RS-232（圖中黃色虛框）與激光雕刻字符（圖中綠色框）上。多個機(jī)箱標(biāo)準(zhǔn)件圖像多角點(diǎn)結(jié)合特征提取結(jié)果如表2所示，本文方法準(zhǔn)確地將受機(jī)箱鈑金件粗糙光斑影響誤提取到角點(diǎn)特征識別為偽角點(diǎn)特征。

圖4 機(jī)箱標(biāo)準(zhǔn)件圖像多角點(diǎn)結(jié)合優(yōu)化特征

表2 多個機(jī)箱標(biāo)準(zhǔn)件圖像多角點(diǎn)結(jié)合特征提取結(jié)果表

4 結(jié)束語

1）從機(jī)箱3大類標(biāo)準(zhǔn)件圖像特性及角點(diǎn)特征分析入手，指出交角、終點(diǎn)、曲率突變、亮/暗點(diǎn)等角點(diǎn)特征較好地覆蓋機(jī)箱標(biāo)準(zhǔn)件的特征，且機(jī)箱3大類標(biāo)準(zhǔn)件均具有上述特征的3類以上。

2）分析指出 Harris方法、Shi-Tomasi方法、Fast方法等角點(diǎn)特征提取方法的提取機(jī)理、判別條件各有不同，受成像、擾動、亮度不均勻等噪聲導(dǎo)致各種方法提取到的偽角點(diǎn)各不相同，而機(jī)箱標(biāo)準(zhǔn)件圖像真角點(diǎn)特征則可以被3種方法同時提取到。

3）提出基于Harris方法、Shi-Tomasi方法和Fast方法結(jié)合的角點(diǎn)提取方法，建立機(jī)箱標(biāo)準(zhǔn)件圖像角點(diǎn)特征提取方法的定義式、判別式、計算公式，并應(yīng)用該方法提取機(jī)箱標(biāo)準(zhǔn)件結(jié)合特征。本文方法能將背景中錯誤角點(diǎn)特征識別為偽角點(diǎn)特征，機(jī)箱標(biāo)準(zhǔn)件顯著特征識別為真角點(diǎn)特征，對同類機(jī)箱標(biāo)準(zhǔn)件提取得到的真角點(diǎn)特征在數(shù)量、分布比單一角點(diǎn)提取方法更為集中，較好地解決受干擾影響錯誤提取角點(diǎn)特征問題。

[1]機(jī)械科學(xué)研究院.通用零部件標(biāo)準(zhǔn)化工作綜述[J].機(jī)械工業(yè)標(biāo)準(zhǔn)化與質(zhì)量，2016（12）：7-20，33.

[2]徐昌源，全燕鳴，郭清達(dá).改進(jìn)最小二乘法雙目視覺位姿測量技術(shù)研究與測試[J].中國測試，2016，42（9）：27-30，35.

[3]NIXON M S，AUGADO A S.Feature extraction&image processing for computer vision third edition[M].Nederland：Elsevier，2014：137-212.

[4]DI Y，LI M Y，QIAO T，et al.Edge detection and mathematic fitting for corneal surface with Matlab software[J].International Journal of Ophthalmology，2017，10（3）：336-342.

[5]劉慶民，張蕾，李雪.基于改進(jìn)Canny的芯片圖像邊緣檢測算法[J].計算機(jī)工程與設(shè)計，2016，37（11）：3063-3067，3117.

[6]黃堅(jiān)，劉桂雄，王小輝.濾光片表面缺陷視覺檢測系統(tǒng)多處理器調(diào)度優(yōu)化[J].中國測試，2015，41（10）：90-93.

[7]KHADIDOS A，SANCHEZ V，LI C T.Weighted level set evolution based on local edge features for medical image segmentation[J].IEEE Transactions on Image Processing，2017，26（4）：1979-91.

[8]LI G，ZHU R，CHAI H.A contour detector with improved corner detection[J].Multimedia Tools And Applications，2017，76（4）：5965-5984.

[9]高晶，吳育峰，吳昆，等.基于角點(diǎn)檢測的圖像匹配算法[J].儀器儀表學(xué)報，2013，34（8）：1717-1725.

[10]TENG Y， STANIER S， GOURVENEC S.Synchronised multi-scale image analysis of soil deformations[J].International Journal of Physical Modelling in Geotechnics，2017，17（1）：53-71.

[11]TU Z， XIE W， CAO J， et al.Variational method for joint optical flow estimation and edge-aware image restoration[J].Pattern Recognition，2017（65）：11-25.

[12]HANZAEI S H，AFSHAR A，BARAZANDEH F.Automatic detection and classification of the ceramic tiles’surface defects[J].Pattern Recognition，2017（66）：174-189.

[13]RAMAKRISHNAN N，WU M，LAM S K，et al.Enhanced low-complexity pruning for corner detection[J].Journal of Real-Time Image Processing，2016，12（1）：197-213.

[14]XING Y X，ZHANG D Y，ZHAO J H，et al.Robust fast corner detector based on filled circle and outer ring mask[J].Iet Image Processing，2016，10（4）：314-324.

（編輯：商丹丹）

Image feature extraction method for standard component of computer case based on multi-corner combination

HUANG Jian1， LIU Guixiong1， LIN Zhenqiu2
（1.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China；2.Guangzhou HuaJie Electronic Technology Co.，Ltd.，Guangzhou 510663，China）

The computer case assembly has lots of features such as many positions and complicated standard component types，thus extracting great presentation image feature is the key of computer case assembly quality inspection in machine vision.The image feature extraction method for standard component of computer case based on multi-corner combination was proposed in this paper.The three kinds of standard component image characteristics and corner features of computer case were analyzed，and the features of standard components of cover computer case with excellent corner features were pointed out.Then，extraction mechanism and determination condition of Harris， Shi-Tomasi， and Fast corner features were analyzed，and three methods for feature extraction of standard image of computer case were proposed.The results show that the algorithm can identify the error corner feature in the background as false corner feature and distinguishing feature of standard components of computer case as true corner feature，which can avoid the problem that corner features are wrongly extracted under the influence of interference.

standard component of computer case； feature extraction； corner feature； multicorner combination

A

1674-5124（2017）09-0123-05

10.11857/j.issn.1674-5124.2017.09.022

2017-04-13；

2017-05-19

廣州市科技計劃項(xiàng)目（2017010160641，201509010008）

黃 堅(jiān)（1990-），男，廣東揭陽市人，博士研究生，專業(yè)方向?yàn)榫軝z測與儀器儀表。

劉桂雄（1968-），男，廣東揭陽市人，教授，博導(dǎo)，主要從事先進(jìn)傳感與儀器研究。