基于改進(jìn)的加速魯棒特征的目標(biāo)識別

龍思源，張 葆，宋 策，孫保基

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所 航測部重點(diǎn)實(shí)驗(yàn)室，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049)

基于改進(jìn)的加速魯棒特征的目標(biāo)識別

龍思源1,2，張 葆1*，宋 策1，孫?；?,2

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所 航測部重點(diǎn)實(shí)驗(yàn)室，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049)

為了提高加速魯棒特征(SURF)算法的實(shí)時性和準(zhǔn)確性，本文提出了一種結(jié)合AGAST角點(diǎn)檢測和改進(jìn)的SURF特征描繪算法。首先利用AGAST角點(diǎn)檢測模板檢測特征點(diǎn)，再使用增加對角信息的哈爾小波響應(yīng)來生成特征點(diǎn)的描述子，之后利用特征袋對產(chǎn)生的描述子進(jìn)行編碼并生成新的特征向量，最后利用支持向量機(jī)(SVM)對特征向量進(jìn)行分類，完成識別。本文以SIFT和SURF算法為對照，分別進(jìn)行不同視角、光照和尺度的識別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文算法的平均識別率為98.0%、96.9%、97.1%，平均時間分別為66.1 ms、79.3 ms、41.0 ms，在識別率上較優(yōu)于SURF算法，所耗時間約是SURF算法的1/3。

圖像處理；目標(biāo)識別；加速魯棒特征；AGAST角點(diǎn)檢測

1 引 言

近年來，目標(biāo)自動識別已經(jīng)成為圖像處理領(lǐng)域的熱門方向，其核心是利用計(jì)算機(jī)視覺技術(shù)，對圖像或視頻中的內(nèi)容進(jìn)行識別和描述。它在人機(jī)交互、武器自動跟蹤、智能視頻監(jiān)控等領(lǐng)域有著很好的應(yīng)用前景和潛在的經(jīng)濟(jì)價值。然而，在圖像或視頻的采集過程中，經(jīng)常會受到環(huán)境影響，例如光照變化、視角變化、目標(biāo)尺度變化等，使得待檢測目標(biāo)發(fā)生光照、尺度和形狀上的變化，從而導(dǎo)致識別失敗[1]。

普遍來說，目標(biāo)的自動識別主要分為兩個步驟：(1)目標(biāo)圖像的特征向量提取；(2)訓(xùn)練分類器。由于局部特征往往都具有亮度、旋轉(zhuǎn)和尺度不變性，因此，在目標(biāo)識別和圖像匹配中有著極為廣泛的應(yīng)用[2]。所選取的目標(biāo)特征的穩(wěn)定與否，決定了該自動識別方法的優(yōu)劣。

2004年，加拿大學(xué)者David Lowe首次提出尺度不變特征變換(Scale Invariant Feature Transform，SIFT)算法[3]。該算法先利用高斯差分(Difference of Gaussian，DoG)算子找到圖像的特征關(guān)鍵點(diǎn)，再在關(guān)鍵點(diǎn)的4×4鄰域的每個小塊中計(jì)算其8個方向的灰度梯度方向直方圖。這樣就在每個關(guān)鍵點(diǎn)上構(gòu)建了一個128維的特征向量。SIFT特征算法具有較好的視角、尺度、亮度不變性，但是由于DoG算子的特性和特征向量的維數(shù)較高[4]，該算法的實(shí)時性能較差。在SIFT的基礎(chǔ)上，2006年Herbert Bay提出了加速魯棒特征(Speeded-up Robust Feature，SURF)算法[5]，其用快速海森矩陣為模板提取關(guān)鍵點(diǎn)，并利用Haar小波特征生成64維的特征向量，從而大大提高了算法的實(shí)時性[6]。2011年，Stefan Leutenegger等人提出的BRISK(Binary Robust In variant Scalable Keypoints,BRISK)算法和2012年Alexandre Alahi等人提出的FREAK(Fast Retina Keypoint,FREAK)算法都是基于二值化特征提取的算法。這兩種算法大大提高了特征提取的時間效率。然而，由于使用的是二值特征，丟失了很多圖片原有信息，它的識別效果遠(yuǎn)不如SIFT和SURF[7-8]。所以，目前世界上廣泛研究和使用的算法仍是SURF算法。

為了進(jìn)一步提高SURF算法的實(shí)時性和穩(wěn)定性[9]，本文以AGAST(Adaptive and Generic Accelerated Segment Test,AGAST)角點(diǎn)提取方法代替快速海森矩陣模板法，并對SURF特征描述子加以改進(jìn)，此外還加入了特征袋編碼，最后使用支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行特征分類，最終實(shí)現(xiàn)目標(biāo)識別。實(shí)驗(yàn)證明，該算法在實(shí)時性和不同尺度下的識別率都要高于原來的SURF算法。

2 SURF算法簡介

2.1 特征點(diǎn)檢測

在SURF算法中，圖像的顯著度由該像素點(diǎn)的Gaussian-Hessian矩陣行列式的值決定。圖像的不同尺度需要利用高斯核G(t)卷積得到，再與Hessian矩陣結(jié)合，這樣就可以得到x(x,y)，外尺度為σ的高斯海森矩陣，如式(1):

式中，與圖像卷積的矩陣即為高斯海森矩陣。其中Lxx(x,σ)、Lxy(x,σ)、Lyy(x,σ)表示高斯函數(shù)的二階微商。

為了進(jìn)一步加快運(yùn)算速度，SURF算法將Lxx(x,σ)、Lxy(x,σ)、Lyy(x,σ) 3種模板進(jìn)行近似處理，將原先的模板變換為Dxx(x,σ)、Dxy(x,σ)、Dyy(x,σ)，如圖1所示。

加入補(bǔ)償系數(shù)之后，其行列式如公式(2)所示:

其中0.9是Bay給出的一個經(jīng)驗(yàn)值。利用該行列式的值，同時結(jié)合非極大值抑制方法，就可以得到一系列特征點(diǎn)的位置和尺度。

2.2 特征描述

檢測出關(guān)鍵點(diǎn)之后，在生成描述向量之前需要確定主方向。SURF算法中，主方向的選取方法是統(tǒng)計(jì)特征點(diǎn)鄰域內(nèi)的Haar小波響應(yīng)。具體方法是：在尺度s下，在特征點(diǎn)附近半徑為6s的圓內(nèi)，統(tǒng)計(jì)圓心角為60°的扇形內(nèi)所有點(diǎn)的水平、垂直Haar小波響應(yīng)并進(jìn)行加權(quán)求和，然后以一定的角度旋轉(zhuǎn)扇形重復(fù)上述操作，最終得到一系列的模值，模值最大的方向即為該關(guān)鍵點(diǎn)的主方向。

圖1 高斯海森矩陣中的Lyy積分模板的近似DYYFig.1 Approximate DYY of Lyy integral template in Gaussian-Hessian matrix

確定關(guān)鍵點(diǎn)的主方向之后，在特征點(diǎn)周圍取一個4×4的正方形鄰域，每一個正方形小鄰域包含有5×5個像素，在每個小鄰域中統(tǒng)計(jì)25個像素的水平方向和垂直方向的Haar小波響應(yīng)，將它們作為特征描述(這里，水平和垂直均是相對于主方向)。這些Haar小波特征描述值為:水平方向值的和Σdx，水平方向絕對值的和Σ|dx|，垂直方向的和Σdy，垂直方向絕對值的和Σ|dy|。

圖2 SURF描述子的生成示意圖Fig.2 Schematic diagram of SURF descriptors generating

這樣，每個小區(qū)域就有4個值，而4×4個小鄰域內(nèi)共有64個值，即生成了該特征點(diǎn)的64維的描述向量。如圖2所示。

SURF算法在保證特征魯棒性和灰度變化信息的同時，將SIFT的128維描述向量減少到64維，大大縮短了特征向量的生成時間，相對于SIFT算法，極大地提高了實(shí)時性。

3 結(jié)合AGAST的改進(jìn)SURF算法

3.1 特征點(diǎn)檢測

SURF算法在特征點(diǎn)檢測中使用近似的快速海森矩陣模板進(jìn)行檢測，雖然速度比SIFT的Harris模板有了顯著的提高，但是實(shí)時性并不是很好。在尺度不變要求下，AGAST算法有著更高的計(jì)算效率和實(shí)時性[11]。

對于AGAST算法，為了較好實(shí)現(xiàn)尺度不變要求，需構(gòu)建尺度空間金字塔。它由n個octave層ci和n個中間層di組成(i=0,1,…,n-1)。ci是通過對原始圖像c0的依次半采樣得到的，而中間層di位于ci和ci+1之間，第一個內(nèi)層d0是對原始圖像c0的1.5倍下采樣得到的，其他內(nèi)層是依次對d0半采樣得到的。

圖3 AGAST在不同尺度下的層和內(nèi)層Fig.3 Octaves and intra-octaves of AGAST algorithm in different scales

完成尺度空間金字塔構(gòu)建后，可以進(jìn)行關(guān)鍵點(diǎn)的檢測。用FAST9-16模板分別作用于每個層和每個內(nèi)層，用于找到潛在的感興趣區(qū)域。使用該模板的前提是，在周圍16個像素的圓周上至少需要有9個連續(xù)的像素點(diǎn)比圓心像素充分亮或者充分暗。之后進(jìn)行非極大值抑制，非極大值抑制：(1)該點(diǎn)的FAST模板積分s須大于同一層周圍鄰域中8個點(diǎn)的積分s；(2)該點(diǎn)積分s必須大于相鄰層同一點(diǎn)的積分。滿足以上兩個條件的點(diǎn)才能被檢測為關(guān)鍵點(diǎn)。經(jīng)實(shí)驗(yàn)證明利用該方法檢測出的關(guān)鍵點(diǎn)，有著較好的尺度不變性，同時，較SURF具有更好的實(shí)時性，大大縮短了關(guān)鍵點(diǎn)的檢測時間[12]。

3.2 特征描述

在主方向確定后，SURF算法利用Haar小波特征的水平和垂直模板對正方形小鄰域進(jìn)行卷積和加權(quán)求和，構(gòu)造了64維向量對關(guān)鍵點(diǎn)進(jìn)行描述。但是，僅僅采用水平方向和垂直方向這兩個方向的Haar小波響應(yīng)統(tǒng)計(jì)量過于簡單。為了進(jìn)一步提高識別準(zhǔn)確率，本文加入了對角特征的采樣模板[13]，如圖4所示。

圖4(c)即為對角Haar小波響應(yīng)的模板，黑色塊的值為-1，白色塊的值為1，采用與SURF算法類似的方法進(jìn)行加權(quán)求和，在SURF向量中加入對角向量的和值以及對角向量的絕對值的和值。這樣改進(jìn)后的SURF描述子就變?yōu)?Σdx,Σ|dx|,Σdy,Σ|dy|,Σdd,Σ|dd|，描述關(guān)鍵點(diǎn)的特征向量相應(yīng)地變?yōu)?6維。雖然特征向量的維數(shù)有一定提高，但是得到的描述子包含更多的圖像信息，使得圖像的區(qū)分度更高。

3.3 特征袋編碼

為了進(jìn)一步提高算法的魯棒性，減少分類器的學(xué)習(xí)和分類時間，需對大量的特征向量進(jìn)行特征袋(Bag of Features,BoF)編碼。BoF的原理是利用已提取的全部局部特征的統(tǒng)計(jì)信息，對特征向量重新編碼，然后生成新的描述向量[14]。對特征進(jìn)行BoF編碼不僅不會丟失原有的圖像信息，而且會進(jìn)一步提高算法的實(shí)時性。

具體過程是，首先，對所有訓(xùn)練樣本中的局部特征向量進(jìn)行K-均值分類，把k個聚類中心{α1,…,αk}作為視覺詞匯構(gòu)成編碼本(k是人為選取)；然后，找到與待檢測圖片樣本中每一個局部特征向量最接近的視覺詞匯αi，并以αi代替該特征向量；再統(tǒng)計(jì){α1,…,αk}在該圖片樣本中出現(xiàn)的頻率直方圖，以該頻率直方圖為基礎(chǔ)，即可生成該圖片新的描述向量。

雖然選取的編碼本視覺詞匯數(shù)量遠(yuǎn)大于特征向量維數(shù)，例如選取1 000個詞匯數(shù)量遠(yuǎn)大于SURF的向量維數(shù)64，但是一個圖像的所有特征向量經(jīng)編碼后就是一個1 000維的帶有圖像局部特征統(tǒng)計(jì)信息的向量。而如果直接使用SURF，每個特征點(diǎn)均有一個64維向量，對于一幅分辨率為384×288的圖像，則會檢測出150～180個特征點(diǎn)，那么待處理的數(shù)值就有上萬個，不僅時間性能較差，而且不利于后面學(xué)習(xí)分類的數(shù)據(jù)使用。

3.4 特征分類

特征分類的方法有很多，如最近鄰分類器、神經(jīng)網(wǎng)絡(luò)分類器、Adaboosting分類器、支持向量機(jī)等。

SVM是一種二類分類模型，基本模型定義為特征空間上間隔最大的線性分類器，其是基于機(jī)器學(xué)習(xí)的分類算法，學(xué)習(xí)的策略即算法的核心是間隔最大化，即先將樣本通過一個變換核映射到更高維度的空間，然后在該空間中找到一個超平面將其分為兩類。

由于SVM有著較好的精確性和較低的時間復(fù)雜度，而且根據(jù)文獻(xiàn)，SVM對SIFT/SURF特征的分類效果較好，故本文選用SVM分類器對樣本進(jìn)行訓(xùn)練和分類[15]。

綜上所述，整個識別算法分為兩部分，首先進(jìn)行樣本的訓(xùn)練和BoF字典的生成，再利用SVM對特征向量進(jìn)行識別分類，整個識別過程如圖5所示。

圖5 識別算法流程Fig.5 Flowchart of proposed detection algorithm

4 實(shí)驗(yàn)與結(jié)果

為了檢驗(yàn)本文提出的目標(biāo)自動識別算法的性能，在Visual Studio 2012的軟件平臺上，分別使用SIFT特征、SURF特征和本文提出的特征算法對仿真圖像進(jìn)行目標(biāo)識別實(shí)驗(yàn)，使用識別率、識別時間兩種定量指標(biāo)對算法性能進(jìn)行評價。本文選取ALOI數(shù)據(jù)庫中的圖像進(jìn)行目標(biāo)識別，分別使用3種算法，對不同光照、視角和尺度的目標(biāo)圖像進(jìn)行識別。

4.1 不同視角實(shí)驗(yàn)

首先，每隔5°拍攝一幅物體的照片，每隔45°視角選取一個正樣本，共7個正樣本，進(jìn)行訓(xùn)練，其他的作為檢測樣本，如圖6所示。

圖6 不同角度的樣本目標(biāo)Fig.6 Objects of different vew-points

分別使用SIFT、SURF和本文提出的算法對102個檢測樣本進(jìn)行識別，正確數(shù)、正確率和平均識別時間見表1。

由表1可以看出，本文算法在正確率上高于SURF算法，但是略低于SIFT算法。在時間性能上，本文算法遠(yuǎn)高于SIFT和SURF算法，平均所需時間接近SURF算法的1/3；SIFT算子由于特征描述復(fù)雜度更高，其平均耗時遠(yuǎn)大于SURF算子，是本文算法的近9倍。

表1 不同視角下3種算法的性能比較Tab.1 Performances comparison of three algorithms under different view-points

4.2 不同光照實(shí)驗(yàn)

本實(shí)驗(yàn)中選取光照均勻亮度適中的圖像作為訓(xùn)練樣本，然后改變光照的角度和強(qiáng)度，作為待檢測樣本，如圖7所示。

圖7 不同光照的樣本目標(biāo)Fig.7 Objects of different illumination

同樣使用3種算法對49幅圖像進(jìn)行識別檢測，得到結(jié)果見表2。

表2 不同光照下3種算法的性能比較Tab.2 Performances comparison of three algorithms under different illumination

從表2可以看出，在光照變化的條件下，SIFT算子的識別率大幅降低，而本文算法和SURF算法仍然保持較高的識別率，同時，相對于SURF算法，時間性能仍可大幅提高。

4.3 不同尺度實(shí)驗(yàn)

下面，將視角和尺度相結(jié)合進(jìn)行檢測。訓(xùn)練樣本均選取不同視角實(shí)驗(yàn)中的訓(xùn)練樣本，對不同視角實(shí)驗(yàn)中的待檢測樣本進(jìn)行下采樣，將分辨率由384×288降為192×144，將這些下采樣圖片作為待檢測樣本，然后再使用3種算法對102幅圖像進(jìn)行識別檢測，結(jié)果如表3所示。

表3 不同尺度下3種算法的性能比較Tab.3 Performances comparison of three algorithms under different scales

在不同視角條件下，由于圖像被降采樣，可能會丟失一些特征，導(dǎo)致同種算法識別率有一定程度降低。但是橫向比較可發(fā)現(xiàn)，本文算法在保持了SIFT算子的高識別率下，大幅縮短了所需處理時間。

由上述3個對不同視角、不同光照、不同尺度的目標(biāo)進(jìn)行的識別實(shí)驗(yàn)結(jié)果可以看出，本文的改進(jìn)SURF算法，由于在描述子中加入了新的特征，識別率相對于原SURF算法略有提高，但在尺度和視角的魯棒性上比SIFT算法略低。本文提出的算法的最大優(yōu)勢是所需的平均時間相對于SURF算法縮短了近60%，是SIFT算法所需時間的近1/9，算法的實(shí)時性有了極大地提高。

5 結(jié) 論

本文在SURF算法的基礎(chǔ)上，對其特征點(diǎn)的檢測和特征點(diǎn)的描述進(jìn)行了改進(jìn)；使用速度更快的AGAST特征點(diǎn)檢測算法，大大提高了算法的實(shí)時性；而在特征點(diǎn)的描述中，在Haar小波特征的垂直和水平特征基礎(chǔ)上增加了對角特征以提高描述子的信息量、保證識別算法的魯棒性和準(zhǔn)確率。然后再配合特征袋編碼算法和支持向量機(jī)分類器完成識別。對ALOI數(shù)據(jù)庫圖像的實(shí)驗(yàn)結(jié)果顯示，在不同視角、光照、尺度的情況下，本文算法的識別率均能保持在95%以上，總體上優(yōu)于SIFT和SURF算法，而其平均時間約為SURF算法的1/3，SIFT算法處理時間的1/9，實(shí)時性有了極大地提高。本文算法相對于SURF算法有很好的實(shí)時性，同時對于視角和尺度的變化也保持了較高的魯棒性，在實(shí)際工程應(yīng)用中具有重要意義。

[1] 賈平,徐寧,張葉.基于局部特征提取的目標(biāo)自動識別[J].光學(xué) 精密工程,2013,21(7):1898-1905.

JIA P,XU N,ZHANG Y.Automatic target recognition based on local feature extraction[J].Opt.PrecisionEng.,2013,21(7):1898-1905.(in Chinese)

[2] 趙春陽,趙懷慈.多模態(tài)魯棒的局部特征描述符[J].光學(xué) 精密工程,2015,23(5):1474-1483.

ZHAO CH Y,ZHAO H C.Multimodality robust local feature descriptors[J].Opt.PrecisionEng.,2015,23(5):1474-1483.(in Chinse)

[3] LOWE D.Distinctive image features from scale-invariant keypoints[J].InternationalJ.ComputerVision,2004,60(2):91-110.

[4] HARRIS C,STEPHENS M.A combined corner and edge detector[J].AlveyVisionConference,1988(3):147-151.

[5] BAY H,TUYTELAARS T,VAN GOOL L.SURF:speeded-up robust features[J].ComputerVisionamp;ImageUnderstanding,2006,110(3):404-417.

[6] MIKOLAJCZYK K,SCHMID C.A performance evaluation of local descriptors[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2005,27(10):1615-1630.

[7] 王飛宇,邸男,賈平.結(jié)合尺度空間FAST角點(diǎn)檢測器和SURF描繪器的圖像特征[J].液晶與顯示,2014,29(4):598-604.

WANG F Y,DI N,JIA P.Image features using scale-space FAST corner detector and SURF descriptor[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):598-604.(in Chinese)

[8] 成培瑞,王建立,王斌,等.基于多尺度區(qū)域?qū)Ρ鹊娘@著目標(biāo)識別[J].中國光學(xué),2016,9(1):97-105.

CHENG P R,WANG J L,WANG B,etal..Salient object detection based on multi-scale region contrast[J].ChineseOptics,2016,9(1):97-105.(in Chinese)

[9] 武治國,李桂菊.動態(tài)目標(biāo)識別中的實(shí)時復(fù)雜巡航場景運(yùn)動檢測[J].液晶與顯示,2014,29(5):844-849.

WU ZH G,LI G J.Real-time complex cruise scene detection technology in target recognition[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(5):844-849.(in Chinese)

[10] MAIR E,HAGER G,BURSCHKA D,etal..Adaptive and generic corner detection based on the accelerated segment test[J].ComputerVision-ECCV,2010,2010:183-196.

[11] 王麗.融合底層和中層字典特征的行人重識別[J].中國光學(xué),2016,9(5):540-546.

WANG L.Pedestrian re-identification based on fusing low-level and mid-level features[J].ChineseOptics,2016,9(5):540-546.(in Chinese)

[12] ZHANG H,HU Q.Fast image matching based-on improved SURF algorithm[C].International Conference on Electronics,Communications and Automation Control,IEEE,2011:1460-1463.

[13] ROSTEN E,PORTER R B,DRUMMOND T,etal..Faster and better:a machine learning approach to corner detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(1):105-119.

[14] CSURKA G,DANCE C,FAN L,etal..Visual categorization with bags of keypoints[C].8th European Conference on Computer Vision,Progue,Czech Republic,2004:1-22.

[15] DONGHOON K,ROZENN D.Face components detection using SURF descriptors and SVMs[C].IEEE International Machine Vision and Image Processing Conference,IEEE,2008:51-56.

龍思源(1992—)，男，湖北襄陽人，碩士研究生，主要從事圖像處理和目標(biāo)識別方面的研究。E-mail:Alfred_lsy@163.com

張 葆(1966—)，男，吉林磐石人，博士，研究員，博士生導(dǎo)師，主要從事航空光電成像技術(shù)方面的研究。E-mail:cleresky@vip.sina.com

Objectdetectionbasedonimprovedspeeded-uprobustfeatures

LONG Si-yuan1,2,ZHANG Bao1*,SONG Ce1,SUN Bao-ji1,2

(1.KeyLaboratoryofAirborneOpticalImagingandMeasurement,ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor，E-mail：alfred_lsy@163.com

To improve the real-time performance and the accuracy of the SURF algorithm,an algorithm combined with AGAST corner detector and improved SURF feature descriptor is proposed.Firstly,feature points are detected by using AGAST corner detection template.Secondly,the Haar wavelet response with increased diagonal information is used to generate descriptor of feature points.Then,the generated descriptor is encoded by the feature bag and a new feature vector is generated.At last,the classification is fulfilled by Support Vector Machine(SVM).Finally,SVM is used to classify the feature vectors to complete the detection.Detection experiments for different view-points,illumination and scales are conducted respectively using SIFT and SURF algorithm as a control.The results show that the average detection rate of this algorithm is 98.0%,96.9% and 97.1%,and the average time is 66.1 ms,79.3 ms and 41.0 ms,respectively,which is better than that of SURF algorithm,and the time consumption is about 1/3 of the SURF algorithm.

image processing;object detection;Speeded-Up Robust Features;AGAST corner detection

2017-05-11；

2017-07-13

中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所重大創(chuàng)新資助項(xiàng)目(No.Y3CX1SS14C)

Supported by Major Innovation Project of CIOMP,CAS,China(No.Y3CX1SS14C)

2095-1531(2017)06-0719-07

TP391.4

A

10.3788/CO.20171006.0719