基于多尺度分析的稠密SIFT特征提取方法

肖 哲，秦志光，丁 熠，藍(lán) 天，于 躍

(電子科技大學(xué) 信息與軟件工程學(xué)院，四川 成都 610054)

0 引 言

尺度不變特征變換(scale invariant feature transform，SIFT)是最常見(jiàn)的局部特征描述符之一，研究者們?cè)谄浠A(chǔ)上提出了許多改進(jìn)方法[1-4]。根據(jù)采樣方式的不同，基于SIFT的圖像特征提取方法可分為稀疏SIFT特征和稠密SIFT特征兩種類型。

稀疏SIFT特征提取方法通常先利用函數(shù)映射構(gòu)建一個(gè)多尺度空間，然后通過(guò)極值檢測(cè)機(jī)制在不同尺度中捕捉特異點(diǎn)作為圖像采樣點(diǎn)。該方法能夠從較小數(shù)量的樣本中總結(jié)出足夠多的圖像局部特征，同時(shí)由于在采樣點(diǎn)選擇階段就相當(dāng)于進(jìn)行了一個(gè)關(guān)鍵點(diǎn)篩選的步驟，能夠較為準(zhǔn)確地靶定目標(biāo)圖像中最具代表性的特征，不容易受到背景信息干擾，無(wú)需后期加入人工篩選特征的工序，因此在圖像匹配和圖像檢索的任務(wù)中表現(xiàn)出色[5,6]。然而，也正因?yàn)橄∈鑃IFT采樣點(diǎn)主要集中在灰度變化敏感的圖像邊緣區(qū)域，許多包含在背景區(qū)域中的次要信息被丟棄，并且完全忽略了目標(biāo)空間位置關(guān)系等全局信息，不能夠完整地表示整幅圖像的整體屬性，在大數(shù)量的復(fù)雜圖像分類任務(wù)中往往表現(xiàn)不佳。

稠密SIFT(dense scale invariant feature transform)省去了傳統(tǒng)SIFT特征中尺度變換和采樣點(diǎn)檢測(cè)的步驟，直接在指定尺寸的采樣窗口中對(duì)圖像進(jìn)行均勻采樣。與稀疏SIFT特征相比，稠密SIFT特征提取方法不需要進(jìn)行采樣點(diǎn)篩選和特征歸一化等繁瑣計(jì)算，特征提取效率較高，易于實(shí)現(xiàn)。此外，通過(guò)均勻采樣提取到的稠密特征能夠更為全面地描述圖像不同區(qū)域的差異信息，并且一定程度上兼顧到圖像空間位置關(guān)系等全局信息，更適合圖像表示和圖像分類任務(wù)[7,8]。尤其是在視覺(jué)詞袋模型提出后，能夠完整描述圖像語(yǔ)義信息的稠密SIFT很快成為視覺(jué)詞袋模型中特征提取環(huán)節(jié)的標(biāo)準(zhǔn)配置之一[9-11]。然而，從另一個(gè)角度來(lái)看，盡管稠密SIFT特征有如上所述的許多優(yōu)勢(shì)，卻依然無(wú)法完全替代稀疏SIFT特征。其中一個(gè)原因是圖像的特征描述很大程度上依賴于圖像的尺度，很多細(xì)節(jié)結(jié)構(gòu)只存在于一定的尺度范圍內(nèi)，傳統(tǒng)的稀疏SIFT通過(guò)高斯金字塔空間來(lái)實(shí)現(xiàn)圖像的尺度變換，從而可以捕捉到原始圖像中難以發(fā)現(xiàn)的深層次細(xì)節(jié)信息。相比之下，稠密SIFT缺乏多尺度結(jié)構(gòu)，只能發(fā)現(xiàn)圖像在單一尺度下表現(xiàn)出來(lái)的表層特征，不利于挖掘圖像隱藏在深層次中的細(xì)節(jié)信息，而這部分信息的缺失勢(shì)必會(huì)對(duì)于圖像分類的結(jié)果造成不利的影響。

有鑒于此，本文結(jié)合稀疏SIFT和稠密SIFT各自的優(yōu)勢(shì)理念，提出一種基于多尺度空間變換的稠密SIFT特征提取方法。首先，利用離散二維小波對(duì)圖像進(jìn)行濾波，構(gòu)建基于小波變換的多尺度空間，然后按照稠密網(wǎng)格均勻采樣原則確定特征采樣區(qū)域，再分別提取每個(gè)小波子頻圖像的稠密SIFT特征，最后將所有子頻圖像中提取到的稠密SIFT特征進(jìn)行融合。根據(jù)上述方法得到的多尺度稠密SIFT特征既保留了圖像的全局信息和空間位置信息，又能夠很好地描述圖像的深層次細(xì)節(jié)信息，根據(jù)3種基于視覺(jué)詞袋模型及其衍生模型的圖像分類算法實(shí)驗(yàn)結(jié)果表明，該特征提取方法可以有效提高圖像分類任務(wù)的正確率。

1 基于多尺度空間的稠密SIFT特征提取

傳統(tǒng)SIFT特征通常采用高斯差分函數(shù)構(gòu)建圖像的多尺度空間結(jié)構(gòu)，然后在高斯差分空間中檢測(cè)極值點(diǎn)并從中篩選出有效的特征采樣點(diǎn)，相應(yīng)計(jì)算方式非常復(fù)雜。本文提出的基于多尺度空間的稠密SIFT特征提取方法不需要額外的特征采樣點(diǎn)檢測(cè)及篩選環(huán)節(jié)，因此可以通過(guò)更為簡(jiǎn)單易用的小波變換代替高斯變換構(gòu)建多尺度空間。然后利用指定尺寸、步長(zhǎng)的滑動(dòng)窗口在每一級(jí)子頻圖像上進(jìn)行均勻采樣，最后將所有的子頻圖像特征融合，生成具有多尺度特性的稠密SIFT特征。其過(guò)程如圖1所示。

圖1 多尺度空間稠密SIFT特征提取方法

圖中k是小波分解層數(shù)，n=(a,b,c,d) 是同一層中不同方向上的小波子頻圖像。經(jīng)過(guò)k次小波分解后，就可以獲得包括原始圖像尺度在內(nèi)的k+1層多尺度空間。除原始圖像外，每層包含4張子圖像，在每張子圖像上提取單尺度稠密SIFT特征，總共可以獲得(k*4)+1組特征向量，最后通過(guò)特征融合方法生成多尺度稠密SIFT特征。

1.1 構(gòu)建小波變換多尺度空間

小波變換是一種多尺度分析方法，其原理是利用特定的小波基對(duì)圖像進(jìn)行多次濾波操作，從而獲得不同尺度下不同方向的高頻系數(shù)與低頻系數(shù)集合，其中高頻系數(shù)是圖像中像素灰度或顏色變化迅速的部分，包含了圖像的邊緣等細(xì)節(jié)信息，低頻系數(shù)是圖像中像素灰度或顏色變化平緩的部分，包含了圖像的輪廓等背景信息。圖像經(jīng)過(guò)小波變換進(jìn)行多尺度分解后能夠得到不同分解層的信息增益，在不同尺度下分解的圖像具有不同的特性。

小波變換的關(guān)鍵在于小波基的選擇，本文中為簡(jiǎn)化運(yùn)算，采用二維離散Haar小波對(duì)圖像進(jìn)行分解。在利用小波變換對(duì)圖像進(jìn)行濾波處理時(shí)，可以將圖像視作一個(gè)二維矩陣，如圖2所示，原始圖像圖2(a)在經(jīng)過(guò)橫向、縱向兩次濾波后最終獲得二維離散Haar小波系數(shù)圖2(c)。

圖2 二維離散Haar小波變換

原始圖像經(jīng)過(guò)小波變換后映射到不同尺度空間，每一層小波變換空間包含一個(gè)低頻子圖像和3個(gè)不同方向的高頻子圖像，其中，低頻子圖像反應(yīng)了圖像的背景信息，高頻子圖像反映了圖像的細(xì)節(jié)信息。需要注意的是，隨著圖像分解層數(shù)的增加，計(jì)算的復(fù)雜度會(huì)急劇增大，實(shí)際應(yīng)用中一般不會(huì)超過(guò)三層。

1.2 提取多尺度稠密SIFT特征

原始圖像在經(jīng)過(guò)小波變換后分解為變換層數(shù)k個(gè)尺度下的 (k*4)+1幅子頻圖像，為了充分挖掘圖像在不同尺度、不同濾波方向上的細(xì)節(jié)信息，將對(duì)每一幅子頻圖像以及原始圖像分別進(jìn)行稠密SIFT特征提取，然后對(duì)提取出來(lái)的子頻圖像特征做歸并處理。

稠密SIFT特征提取方法通常首先將圖像劃分為一定尺寸均勻分布的網(wǎng)格，每個(gè)網(wǎng)格中提取一個(gè)特征點(diǎn)，然后利用傳統(tǒng)SIFT方法，通過(guò)統(tǒng)計(jì)特征點(diǎn)領(lǐng)域梯度直方圖作為該點(diǎn)特征描述符。該方法一定程度上繼承了傳統(tǒng)SIFT方法的旋轉(zhuǎn)不變性，同時(shí)具有更好的特征分布，但是由于每個(gè)網(wǎng)格之間相對(duì)孤立，網(wǎng)格尺寸的設(shè)定和劃分很大程度上影響到提取到的特征優(yōu)劣。本文在此基礎(chǔ)上提出一種改進(jìn)的滑動(dòng)窗口模式提取子頻圖像的稠密SIFT特征，具體步驟如下：

首先，如圖3所示，預(yù)設(shè)一個(gè)自定義大小的正方形窗口，然后使這個(gè)窗口按照一定步長(zhǎng)在圖像上自左向右、自上向下滑動(dòng)，每次滑動(dòng)截取的窗口即為采樣區(qū)塊。

圖3 基于滑動(dòng)窗口的特征采樣

其次，如圖4所示，將每個(gè)采樣區(qū)塊劃分為4*4=16個(gè)較小的區(qū)塊，每個(gè)小塊包含若干像素點(diǎn)，圖中每個(gè)小方格即為該采樣區(qū)塊中心點(diǎn)領(lǐng)域上的一個(gè)像素點(diǎn)，小方格中的箭頭長(zhǎng)度和方向分別代表該像素點(diǎn)的梯度模值和方向。

通過(guò)式(1)計(jì)算每個(gè)像素點(diǎn)的梯度模值m(x,y)和梯度方向θ(x,y)。其中(x,y)為該像素點(diǎn)所在的坐標(biāo)位置，L為該像素點(diǎn)的灰度值

(1)

然后根據(jù)高斯環(huán)形加權(quán)進(jìn)行統(tǒng)計(jì)，生成8個(gè)方向上的梯度直方圖，取直方圖的峰值作為該區(qū)塊的主方向。圖4中的圓形區(qū)域即為高斯加權(quán)的范圍，通常來(lái)說(shuō)，越靠近中心的像素點(diǎn)的方向?qū)υ摬蓸訁^(qū)塊主方向影響越大，因此每個(gè)像素點(diǎn)的加權(quán)隨著距離增加而減小，具體表現(xiàn)為高斯函數(shù)遞減。在獲取采樣區(qū)塊的主方向后，將每個(gè)小塊的主方向以其所在采樣區(qū)塊的主方向?yàn)榛鶞?zhǔn)進(jìn)行旋轉(zhuǎn)，歸入統(tǒng)一的坐標(biāo)系，這樣在統(tǒng)計(jì)每個(gè)采樣區(qū)塊的梯度直方圖時(shí)僅需考慮采樣點(diǎn)和特征點(diǎn)的相對(duì)方向，生成的描述符具有旋轉(zhuǎn)不變性。最后，如圖4中右圖所示，將每個(gè)采樣區(qū)塊中4*4=16個(gè)小塊的8位梯度直方圖連接起來(lái)，形成128維特征描述符。

在獲得包括原始圖像在內(nèi)的所有多尺度空間子頻圖像的稠密SIFT描述符之后，可以直接對(duì)特征進(jìn)行融合以獲得圖像的多尺度稠密SIFT特征，也可以對(duì)每個(gè)子頻圖像的特征單獨(dú)進(jìn)行訓(xùn)練分類，然后利用多分類器集成方法對(duì)結(jié)果進(jìn)行決策融合。在此，為計(jì)算簡(jiǎn)便，本文采用特征融合方法獲得多尺度稠密SIFT特征。

2 基于多種詞袋模型的圖像分類實(shí)驗(yàn)

2.1 實(shí)驗(yàn)方法

為驗(yàn)證本文提出的多尺度稠密SIFT特征的有效性，以及在不同圖像分類算法中的普適性，實(shí)驗(yàn)分別采用3種常見(jiàn)的圖像分類算法進(jìn)行測(cè)試，分別為：視覺(jué)詞袋模型(bag of visual word，BOVW)、基于直方圖交叉核的視覺(jué)詞袋模型(histogram intersection kernel，HIK)、以及基于空間金字塔匹配的視覺(jué)詞袋模型(spatial pyramid matching，SPM)。實(shí)驗(yàn)步驟如下：

(1)通過(guò)本文方法提取樣本圖像的多尺度稠密SIFT特征；

(2)利用多尺度稠密SIFT特征構(gòu)建詞袋算法的特征詞典，按照相應(yīng)算法生成圖像的視覺(jué)特征直方圖；

(3)利用LibSVM提供的rbf-SVM分類器進(jìn)行分類實(shí)驗(yàn)。

2.2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)數(shù)據(jù)選用來(lái)自加利福尼亞理工學(xué)院的Caltech 101數(shù)據(jù)集，包含101個(gè)類別8677張圖像。實(shí)驗(yàn)采用3次交叉驗(yàn)證，將每組圖像通過(guò)隨機(jī)抽樣均分為A、B、C這3個(gè)子集，每次實(shí)驗(yàn)選取其中一個(gè)子集作為訓(xùn)練集，另外兩個(gè)子集作為測(cè)試集，3輪實(shí)驗(yàn)后取平均值。

由表1可見(jiàn)，在3種不同的圖像分類算法中，本文提出的多尺度稠密SIFT特征分別與傳統(tǒng)SIFT特征相比，分類正確率分別提升了9.6%、6.1%、8.7%，與稠密SIFT特征相比，分類正確率分別提升6.7%、2.6%、5.9%，實(shí)驗(yàn)結(jié)果表明本文提出的方法能夠有效提升圖像分類算法的正確率。

表1 圖像分類實(shí)驗(yàn)結(jié)果

注：BOVW：視覺(jué)詞袋模型；HIK：基于直方圖交叉核的視覺(jué)詞袋模型；SPM：基于空間金字塔匹配的視覺(jué)詞袋模型。

3 結(jié)束語(yǔ)

本文提出了一種基于小波分析的多尺度稠密SIFT特征提取方法，該方法既保留了SIFT特征的多尺度結(jié)構(gòu)和對(duì)圖像細(xì)節(jié)的逐層分析特性，同時(shí)也具有稠密SIFT特征覆蓋面廣、兼具圖像空間位置關(guān)系等全局信息的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該方法提取的多尺度稠密SIFT特征可以有效提升圖像分類的準(zhǔn)確率。但是，與稠密SIFT特征一樣，本文方法直接提取的特征也存在特征維數(shù)過(guò)高的問(wèn)題，有必要在特征融合環(huán)節(jié)進(jìn)行特征選擇和特征池化來(lái)降低特征維度以提高分類算法效率；另外，對(duì)小波基的選擇與小波分解層數(shù)的擬定也有待進(jìn)一步的探討。在后續(xù)的研究中，將對(duì)上述兩個(gè)問(wèn)題進(jìn)行深入研究，進(jìn)一步完善本文提出的特征提取方法。