利用局部稀疏不變特征的遙感影像檢索

胡屹群, 周紹光， 岳 順， 劉曉晴

(河海大學(xué)地球科學(xué)與工程學(xué)院，南京 211100)

0 引言

隨著遙感數(shù)據(jù)量呈幾何級(jí)數(shù)的增長(zhǎng)，如何從大容量的遙感影像庫(kù)快速瀏覽和高效檢索出感興趣的目標(biāo)或者影像成為了人們關(guān)注的焦點(diǎn)，也是目前遙感界迫切需要解決的問(wèn)題之一。對(duì)于遙感影像數(shù)據(jù)庫(kù)來(lái)說(shuō)，一般的文字搜索模式的作用微乎其微。為了實(shí)現(xiàn)對(duì)遙感數(shù)據(jù)庫(kù)的更精確、更高效的檢索，近年來(lái)，基于內(nèi)容的圖像檢索(content-based image retrieval, CBIR)技術(shù)在遙感圖像檢索中得到了廣泛的應(yīng)用[1-2]。與傳統(tǒng)影像處理過(guò)程相似，特征提取是完成檢索的核心內(nèi)容，特征一般可分為低層視覺(jué)特征和高級(jí)語(yǔ)義特征。傳統(tǒng)的檢索方法主要是根據(jù)影像的低層視覺(jué)特征(如紋理、顏色和形狀等)來(lái)進(jìn)行檢索[3]，但是對(duì)于場(chǎng)景復(fù)雜、目標(biāo)繁多的遙感影像來(lái)說(shuō)，這些方法存在一定的局限性。局部不變特征(scale invariant feature transform，SIFT)[4-5]因具有較強(qiáng)的魯棒性以及對(duì)不同場(chǎng)景和目標(biāo)的獨(dú)立性，在遙感影像檢索中也得到了一定的應(yīng)用[6]。由于SIFT特征提供的語(yǔ)義信息不充足，Yang等[7]提出了利用視覺(jué)詞袋(bag of visual words,BOVW)[8]模型組合局部不變特征，通過(guò)構(gòu)建視覺(jué)詞典及空間金字塔匹配(spatial pyramid matching,SPM)[9]建立圖像表示模型。進(jìn)行遙感數(shù)據(jù)檢索時(shí)，將影像的SIFT特征與BOVW模型結(jié)合在一起能夠?qū)崿F(xiàn)更好的影像檢索功能[10]，因而在影像分類和影像檢索等遙感領(lǐng)域有廣泛的應(yīng)用。

然而，近10 a基于內(nèi)容的遙感影像檢索對(duì)影像提供的語(yǔ)義信息要求越來(lái)越高，傳統(tǒng)的特征提取的方式不可能完全表達(dá)出影像的語(yǔ)義內(nèi)容，因此，如何把影像的語(yǔ)義信息和機(jī)器提取的低層視覺(jué)特征聯(lián)系在一起已經(jīng)成為遙感領(lǐng)域基于內(nèi)容檢索的一大難題。與此同時(shí)，稀疏表示模型的研究[11]給遙感圖像處理和計(jì)算機(jī)視覺(jué)等領(lǐng)域帶來(lái)了深刻影響。基于過(guò)完備詞典的稀疏表示是一種圖像描述模型，利用詞典中少量原子的線性組合來(lái)表示或者近似表示原始圖像，實(shí)際上這些少量的原子已經(jīng)捕獲了圖像的主要結(jié)構(gòu)與本質(zhì)屬性。圖像的稀疏表示模型不僅能獲取圖像有效的稀疏表達(dá)，還能揭示圖像的語(yǔ)義信息。Mohamadzadeh等[12]提出使用稀疏表示進(jìn)行圖像檢索的方法，該方法主要利用形狀和紋理組合特征的稀疏表示進(jìn)行圖像檢索，并認(rèn)為稀疏表示特征可以減少檢索時(shí)間和數(shù)據(jù)內(nèi)存，簡(jiǎn)化搜索過(guò)程并盡可能找到需要的圖像。但是相比SIFT特征的稀疏表示，上述2種組合的稀疏表示花費(fèi)時(shí)間更多，過(guò)程更為復(fù)雜，這將會(huì)影響圖像的檢索效率。

本文提出的遙感影像檢索新方法是通過(guò)基于圖像SIFT特征的稀疏表示方式構(gòu)建視覺(jué)BOVW，實(shí)現(xiàn)影像信號(hào)的有效描述，能夠有效提高檢索精度和效率，并且提取的稀疏表示特征在影像檢索領(lǐng)域具有很強(qiáng)的適用性。

1 影像檢索原理

本文提出的基于局部稀疏不變特征的遙感影像檢索系統(tǒng)框架如圖1所示。該系統(tǒng)的流程主要包括3個(gè)階段： 建立稀疏表示特征數(shù)據(jù)庫(kù)階段、支持向量機(jī)(support vector machine,SVM)分類模型學(xué)習(xí)階段和查詢影像檢索階段。建立稀疏表示特征數(shù)據(jù)庫(kù)階段主要是對(duì)遙感影像數(shù)據(jù)庫(kù)里每張影像提取的大量SIFT特征進(jìn)行稀疏分解，獲取的稀疏表示直接作為提取的影像特征，形成較大的特征數(shù)據(jù)庫(kù); SVM分類模型學(xué)習(xí)階段是通過(guò)影像庫(kù)里隨機(jī)抽選的訓(xùn)練影像和測(cè)試影像學(xué)習(xí)并優(yōu)化而獲取一個(gè)最佳的分類模型，為后面的影像檢索階段提供相應(yīng)指導(dǎo); 查詢影像檢索階段首先對(duì)訓(xùn)練好的SVM分類模型輸入該影像的局部稀疏不變特征，接著SVM分類模型會(huì)判定查詢影像所屬的語(yǔ)義類別，最后查詢影像在分類器輸出的類別范圍內(nèi)進(jìn)行相似度匹配，按照距離排名和評(píng)價(jià)，完成影像檢索。

圖1基于局部稀疏不變特征的遙感影像檢索系統(tǒng)

Fig.1Remotesensingimageretrievalsystembasedonsparselocalinvariantfeatures

1.1 稀疏表示

近年來(lái)，稀疏表示已經(jīng)成為了遙感圖像處理的熱門問(wèn)題之一[13-14]。本文中，所有的數(shù)據(jù)都屬于實(shí)數(shù)域。

假設(shè)輸入信號(hào)b∈Rm，信號(hào)分解是指n個(gè)基本原子ai∈Rm的線性組合，(1≤i≤n)，構(gòu)建信號(hào)的表達(dá)式為

b=a1x1+a2x2+…+anxn=Ax,

(1)

式中：A=[a1,a2,…,an]∈Rm×n，為過(guò)完備字典；x=(x1,x2,…,xn)T∈Rn，為稀疏系數(shù)。通過(guò)式(2)的l1范數(shù)最小化求解就可以得到式(1)的最優(yōu)稀疏表示為

(2)

式中：λ為正則化參數(shù)； ‖·‖2為l2范數(shù)； ‖·‖1為l1范數(shù)。

1.2 基于稀疏表示的遙感影像SIFT特征提取

與普通圖像一樣，遙感影像像素間存在相關(guān)統(tǒng)計(jì)性，所以一般情況下遙感影像也會(huì)含有大量的冗余信息。如何在提取SIFT特征的同時(shí)去除或者減少這些冗余特征的信息，采用何種方式對(duì)影像進(jìn)行有效描述，是基于稀疏表示的遙感影像SIFT特征提取的研究初衷。首先，采用Lowe[5]的方法提取每幅影像的SIFT特征，即用均勻網(wǎng)格劃分影像，確定圖塊(patch)大小，計(jì)算特征向量(dense sift)；然后，以每幅影像的特征向量數(shù)據(jù)為原始信號(hào)，采用KSVD算法[15]訓(xùn)練過(guò)完備字典，OMP(orthogonal matching pursuit)算法進(jìn)行稀疏編碼[16]，即影像SIFT特征集的稀疏表示。

1.2.1 KSVD算法

因?yàn)镵SVD算法構(gòu)建的過(guò)完備字典是來(lái)自于訓(xùn)練數(shù)據(jù)本身，所以這些訓(xùn)練數(shù)據(jù)能夠充分被表示。該算法是一種基于矩陣奇異值分解的泛化K均值聚類算法。

影像訓(xùn)練特征的稀疏表示為

(3)

1.2.2 OMP算法

利用OMP算法實(shí)現(xiàn)SIFT特征的基于過(guò)完備字典的稀疏分解，該算法屬于貪婪追蹤算法，其主要思想是尋找使得影像在過(guò)完備字典上具有最大投影的少數(shù)單詞，不斷逼近原始影像。OMP算法在分解中選擇最佳的匹配單詞，使用Gram-Schmidt正交化方法進(jìn)行正交化處理，接著將影像在這些正交原子構(gòu)建的空間上投影，在稀疏分解的過(guò)程中，OMP算法不僅精度要求高，而且收斂速度快，計(jì)算時(shí)間少。利用OMP算法，影像的局部特征集y經(jīng)過(guò)N次分解得到，即

(4)

式中：xK為第K次分解得到的分量；aK為第K次分解得到的分量系數(shù)。

2 基于局部稀疏不變特征檢索流程

2.1 特征提取

2.1.1SIFT特征

數(shù)據(jù)庫(kù)中遙感影像大小為M×N像素，以a×a網(wǎng)格大小無(wú)重疊地劃分影像，一幅影像有(M/a)×(N/a)個(gè)圖像塊。設(shè)圖像塊大小為(2a×2a)，一個(gè)圖像塊計(jì)算一個(gè)描述子，即一個(gè)特征向量。計(jì)算時(shí)，每個(gè)圖像塊劃分為(a/2)×(a/2) 個(gè)方塊(Bins)，每個(gè)方塊可以提取8維的SIFT特征，所以每個(gè)圖像塊獲取的特征向量的維數(shù)為(a/2)×(a/2)×8=2a2。每個(gè)圖斑向左移動(dòng)一個(gè)網(wǎng)格就獲得新的圖像塊。以此類推，移動(dòng)到影像邊緣，然后往下移動(dòng)。最終一幅遙感影像由(M/a-1)×(N/a-1) 個(gè)2a2維特征向量表示。

2.1.2SIFT特征的稀疏表示

設(shè)置Yi為第i幅影像的特征數(shù)據(jù)集，i∈(1,m)，其中m為影像庫(kù)中影像個(gè)數(shù)。利用KSVD算法獲取每類影像的過(guò)完備字典D，設(shè)置Dk為第k類訓(xùn)練圖像的過(guò)完備字典，k∈(1,n)，n為影像數(shù)據(jù)集所有類別數(shù)目。在已知影像的特征數(shù)據(jù)集Y和相應(yīng)類別的過(guò)完備字典D以及稀疏度L的條件下，利用OMP算法對(duì)影像特征數(shù)據(jù)進(jìn)行重構(gòu)，得到每幅影像在其所屬類別的過(guò)完備字典下的稀疏系數(shù)Xi，i∈(1,m)。本文把影像根據(jù)過(guò)完備字典進(jìn)行稀疏分解后獲得稀疏系數(shù)Xi直接作為低層特征。

2.2 特征建模

在獲取影像集所有影像的局部稀疏特征之后，采用K-means聚類法將局部區(qū)域或者圖斑的特征進(jìn)行聚類。每個(gè)聚類中心看作視覺(jué)詞典中一個(gè)視覺(jué)詞匯(visual word)，視覺(jué)詞匯由聚類中心對(duì)應(yīng)特征形成的碼字(code word)表示，這就是特征量化過(guò)程。所有視覺(jué)詞匯形成的視覺(jué)詞典(visual vocabulary)就對(duì)應(yīng)一本碼書(shū)(code book)，詞典大小由詞匯的個(gè)數(shù)決定每個(gè)詞匯由一個(gè)2a2維特征向量表示。影像中每個(gè)特征都被映射到視覺(jué)詞典中某個(gè)詞匯上，這種映射通過(guò)計(jì)算特征的距離去實(shí)現(xiàn)。然后通過(guò)統(tǒng)計(jì)每個(gè)視覺(jué)單詞在一幅影像特征里出現(xiàn)的頻數(shù)，獲取每幅影像的特征袋(bag of features，BOF)。在每幅影像對(duì)應(yīng)的BOF提取完成的基礎(chǔ)上，利用空間金字塔匹配模型，獲得每一幅影像全局金字塔直方圖特征，事實(shí)上該特征是稀疏向量。

2.3 分類檢索

本文選擇采用SVM分類模型進(jìn)行語(yǔ)義檢索，嘗試在影像低層特征和影像高級(jí)語(yǔ)義信息上建立一定的聯(lián)系。首先,采用SVM分類器根據(jù)提取的不同類別影像的特征，學(xué)習(xí)影像的不同類別表示方法，即要表達(dá)的不同語(yǔ)義信息，將訓(xùn)練好的分類模型保存起來(lái)，對(duì)查詢影像提取其相應(yīng)的低層特征; 然后，利用訓(xùn)練好的分類模型將提取到的低層特征在影像語(yǔ)義類別上進(jìn)行判定，將查詢影像定位到相應(yīng)影像類別的范圍內(nèi)； 最后，在這個(gè)類別范圍內(nèi)進(jìn)行歐式距離檢索。為了避免因圖像分類的錯(cuò)誤而導(dǎo)致檢索結(jié)果的差錯(cuò)，對(duì)查詢圖像分類的返回結(jié)果取其最相似的前3個(gè)作為其分類結(jié)果，進(jìn)行圖像檢索時(shí)查詢圖像只要與數(shù)據(jù)庫(kù)中屬于前3類別的圖像進(jìn)行相似度計(jì)算，返回與其最相似的影像。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)和評(píng)估指標(biāo)

實(shí)驗(yàn)選擇Merced Land Use Dataset公開(kāi)的高空間分辨率遙感影像庫(kù)，包含21類衛(wèi)星影像。其中每個(gè)類別含有100幅影像，從每類隨機(jī)選擇10幅影像訓(xùn)練，剩余90幅影像用于測(cè)試，每幅影像的大小都是256像元×256像元。選用影像庫(kù)的示例如圖2所示。另外，在特征建模算法步驟中，本文統(tǒng)一設(shè)置視覺(jué)詞典的詞匯M=200，空間金字塔層數(shù)L=3，因?yàn)樵趨?shù)一致的情況下，提出的檢索方法查準(zhǔn)率和查全率相對(duì)提高，就能有效證明本文方法的優(yōu)勢(shì)。

(a) 農(nóng)業(yè) (b) 飛機(jī)(c) 棒球場(chǎng)(d) 海灘 (e) 建筑物(f) 灌木叢 (g) 密集居住區(qū)

(h) 森林 (i) 公路(j) 高爾夫球場(chǎng)(k) 海港(l) 交叉點(diǎn) (m) 中型居住區(qū)(n) 移動(dòng)公園

(o) 立交橋(p) 停車場(chǎng) (q) 河流 (r) 跑道(s) 稀疏居住區(qū)(t) 儲(chǔ)油罐(u) 網(wǎng)球場(chǎng)

圖2MercedLandUseDataset遙感影像示例

Fig.2SampleremotesensingimagesfromMercedLandUseDataset

3.2 分類檢索結(jié)果與對(duì)比分析

圖3是本文方法檢索的可視化效果圖，以查詢公路為例，從公路影像庫(kù)任意選擇一幅影像，根據(jù)相似度匹配值，從大到小排序，返回與查詢影像最為相似的前20幅影像，被錯(cuò)誤檢索的用加粗標(biāo)注。從圖3可以發(fā)現(xiàn)，只有圖3(q)影像是錯(cuò)誤的，該影像應(yīng)該屬于高爾夫球場(chǎng)，其余影像則是檢索正確，都屬于公路影像。

(a) 查詢影像:公路11(b) 公路11(c) 公路15(d) 公路39(e) 公路37(f) 公路38(g) 公路12(h) 公路33(i) 公路09(j) 公路03(k) 公路64(l) 公路34(m) 公路35(n) 公路55(o) 公路04(p) 公路01(q) 高爾夫球場(chǎng)50(r) 公路23(s) 公路26(t) 公路22(u) 公路21

圖3本文方法的可視化結(jié)果

Fig.3Visualizationresultsofnewmethodinthispaper

將本文方法與基于SIFT特征傳統(tǒng)檢索方法和基于紋理稀疏特征檢索方法進(jìn)行對(duì)比，其中紋理稀疏不變特征的獲取方法是將每幅圖像以8像元×8像元大小進(jìn)行無(wú)重疊切塊，接著對(duì)圖像塊的紋理特征進(jìn)行字典訓(xùn)練和稀疏編碼，從而獲取圖像塊的紋理稀疏表示特征。3種方法以分類精度和Kappa系數(shù)作為SVM分類效果評(píng)價(jià)指標(biāo)，以查準(zhǔn)率和查全率作為檢索性能的評(píng)價(jià)指標(biāo)。

為了便于分析比較，本文計(jì)算了傳統(tǒng)的SIFT、紋理稀疏不變特征和局部稀疏不變特征3種影像檢索方法的分類精度和Kappa系數(shù)(表1)，其SVM分類效果對(duì)比如圖4所示。

表1 3種方法分類效果對(duì)比表Tab.1 Comparison of three methods’ classification result

圖4 3種方法SVM分類效果對(duì)比

從表1和圖4可以看出，本文方法在訓(xùn)練測(cè)試影像數(shù)量為1∶9的情況下保持了平均88.01%的影像分類正確率，有效證明利用局部稀疏不變特征的分類效果高于前2種分類方法。該方法能夠使多種類別的影像在大多數(shù)情況下得到正確分類，提供較精確的影像語(yǔ)義類別信息，而在正確分類情況下能夠獲取較高的影像查準(zhǔn)率和查全率。因此本文選取了基于SIFT的稀疏表示構(gòu)建SVM分類模型，用該模型指導(dǎo)基于內(nèi)容的影像檢索應(yīng)用。采用圖像檢索系統(tǒng)中應(yīng)用最為廣泛的性能評(píng)價(jià)準(zhǔn)則查準(zhǔn)率、查全率以及相應(yīng)的查準(zhǔn)率-查全率曲線(圖5)。

圖5 查準(zhǔn)率-查全率曲線(平滑后的曲線)

從圖5可以看出，查準(zhǔn)率和查全率之間存在著相互依賴和相互制約的關(guān)系，如果提高查準(zhǔn)率，就會(huì)降低其查全率，反之亦然。總體而言，該曲線越偏向右上方，表明該方法的檢索性能越好。由此可知，本文方法在查準(zhǔn)率和查全率上具有優(yōu)勢(shì)。

另外考慮檢索影像的排序情況，本文還采用了在MPEG-7標(biāo)準(zhǔn)化處理中廣泛使用的平均歸一化修改檢索等級(jí)(average normalize modified retrieval rank, ANMRR)，ANMRR的取值范圍為0～1，取值越小，說(shuō)明檢索效果越好。具體的計(jì)算過(guò)程見(jiàn)參考文獻(xiàn)[12]。

通過(guò)計(jì)算ANMRR值進(jìn)行評(píng)價(jià)(表2)，獲知被檢索出的相關(guān)影像的個(gè)數(shù)和排序情況。

表2 ANMRR值對(duì)比Tab.2 Comparison of three methods’ ANMRR

表2中ANMRR值的定量比較證明了本文方法的檢索性能明顯優(yōu)于前面2種遙感影像檢索算法。

4 結(jié)論

依據(jù)稀疏表示模型的實(shí)效性和適用性，研究了一種結(jié)合局部稀疏不變特征和視覺(jué)詞袋模型的遙感影像檢索新方法，解決了傳統(tǒng)局部特征帶來(lái)的存儲(chǔ)困難、計(jì)算復(fù)雜的問(wèn)題。首先，以每幅影像大量的局部不變特征作為原始數(shù)據(jù)，使用KSVD算法學(xué)習(xí)過(guò)完備字典，OMP算法獲取稀疏系數(shù)矩陣，將獲取的稀疏系數(shù)矩陣替代原始的密集局部不變特征； 接著，利用視覺(jué)詞袋模型和空間金字塔匹配算法獲取新的直方圖向量，作為每幅影像最終全局表示； 最后，引入最佳SVM分類模型，通過(guò)輸入查詢影像的稀疏特征判定其所屬類別，在類別范圍內(nèi)進(jìn)行相似度匹配，完成檢索。實(shí)驗(yàn)表明，與傳統(tǒng)的局部特征檢索方法相比，新方法在提高檢索準(zhǔn)確性的同時(shí)，大大減少所需存儲(chǔ)局部不變特征的數(shù)量，提高了檢索的查準(zhǔn)率和查全率，為稀疏表示模型在遙感影像檢索研究領(lǐng)域開(kāi)拓了新思路。

參考文獻(xiàn)(References)：

[1] Du P J,Chen Y H,Tang H,et al.Study on content-based remote sensing image retrieval[C]//Proceedings of 2005 IEEE International Geoscience and Remote Sensing Symposium.Seoul:IEEE,2005.

[2] 程起敏.遙感圖像檢索技術(shù)[M].武漢:武漢大學(xué)出版社,2011.

Cheng Q M.Remote Sensing Image Retrieval Technologies[M].Wuhan:Wuhan University Press,2011.

[3] Dos Santos J A,Penatti O A B,Torres R D S.Evaluating the Potential of Texture and Color Descriptors for Remote Sensing Image Retrieval and Classification[R].Technical Report-IC-09-47,2009.

[4] Nandhini R,Joel T.Geographic image retrieval using local invariant features with euclidean distance[J].IEEE International Journal for Research and Development in Engineering,2014.222-225.

[5] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6] 吳銳航,李紹滋,鄒豐美.基于SIFT特征的圖像檢索[J].計(jì)算機(jī)應(yīng)用研究,2008,25(2):478-481.

Wu R H,Li S Z,Zou F M.Image retrieval based on SIFT features[J].Application Research of Computers,2008,25(2):478-481.

[7] Yang Y,Newsam S.Geographic image retrieval using local invariant features[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(2):818-832.

[8] Karakasis E G,Amanatiadis A,Gasteratos A,et al.Image moment invariants as local features for content based image retrieval using the bag-of-visual-words model[J].Pattern Recognition Letters,2015,55:22-27.

[9] 周維勛,邵振峰,侯繼虎.利用視覺(jué)注意模型和局部特征的遙感影像檢索方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2015,40(1):46-52.

Zhou W X,Shao Z F,Hou J H.Remote sensing imagery retrieval method based on visual attention model and local features[J].Geomatics and Information Science of Wuhan University,2015,40(1):46-52.

[10] Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatial pyramid matching for recognizing natural scene categories[C]//Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006:2169-2178.

[11] Yang J C,Wright J,Huang T S,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[12] Mohamadzadeh S,Farsi H.Content-based image retrieval system via sparse representation[J].IET Computer Vision,2016,10(1):95-102.

[13] Olshusen B A,Field D J.Sparse coding with an overcomplete basis set:A strategy employed by V1?[J].Vision Research,1997,37(23):3311-3325.

[14] Wright J,Ma Y,Mairal J,et al.Sparse representation for computer vision and pattern recognition[J].Proceedings of the IEEE,2010,98(6):1031-1044.

[15] Aharon M,Elad M,Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Singal Processing,2006,54(11):4311-4322.

[16] 霍 宏.生物視覺(jué)啟發(fā)的高分辨率遙感影像特征提取與目標(biāo)檢測(cè)研究[D].上海:上海交通大學(xué),2014.

Huo H.Biological Vision-Inspired Feature Extraction and Object Detection for High Resolution Remote Sensing Images[D].Shanghai:Shanghai Jiao Tong University,2014.