基于顏色特征和空間特征的圖像檢索

孫曉飛，潘文文，王 霞

(棗莊學(xué)院信息科學(xué)與工程學(xué)院，山東棗莊277160)

0 引言

隨著社會和科技的發(fā)展，各種圖像采集設(shè)備獲取到圖像數(shù)量巨大、種類繁多。圖像檢索是有效利用海量圖像數(shù)據(jù)的前提，也是當(dāng)今研究的熱點。當(dāng)前主要有基于文本的圖像檢索和基于內(nèi)容的圖像檢索兩大類?；谖谋镜臋z索方式反應(yīng)迅速但效果不佳，這是由于該方式是檢索圖像對應(yīng)的說明文字，而不是圖像本身?；趦?nèi)容的圖像檢索方式將圖像本身的語義內(nèi)容提取出來形成檢索特征[1－8]，可以更真實代表圖像本身，搜索結(jié)果也更精確，因而越來越受到重視。文獻(xiàn)[9]提出一種基于視覺一致性的圖像檢索技術(shù)，通過顏色量化簡化圖像，通過連通性進(jìn)行分區(qū)融合，從而達(dá)到圖像分割的目的，通過分割后的的區(qū)域顏色特征、面積特征、連通性特征進(jìn)行圖像檢索，對于顏色相似的圖像檢索效果較好。文獻(xiàn)[10]提出一種將顏色和形狀特征共同構(gòu)建混合不變量的特征描述方法，并用于圖像檢索，這種方法對于顏色和形狀兩種特征的使用較為合理，不是簡單將兩種特征加權(quán)使用，從而可以獲得較好效果。文獻(xiàn)[11]提出一個改進(jìn)的Itti視覺注意模型，綜合紋理特征和視覺感知關(guān)系構(gòu)造粗糙度圖，通過該改進(jìn)模型得到50個特征圖，然后采用局部二值模式傅立葉直方圖方法獲取高維特征，最后用局部保持投影方法降維以獲取低維特征用于檢索，該算法實現(xiàn)復(fù)雜，但效果較好。文獻(xiàn)[12]提出一種基于多特征點平均矩特征的圖像檢索方法，根據(jù)圖像的參照圓與形狀主方向?qū)D像劃分為多個同心圓，在同心圓內(nèi)確定一些特征點，使用一種基于多特征點平均矩特征來描述圖像，該算法對商標(biāo)等簡單圖像效果較好。文獻(xiàn)[13]提出一種基于加權(quán)特征空間信息視覺詞典的圖像檢索模型，考慮聚類過程中特征分布統(tǒng)計信息，提出一種均值加權(quán)方案，提高視覺詞典的描述能力，獲得了較好效果。這些方法計算量大，算法復(fù)雜，效果仍有很大的改進(jìn)空間。

文中方法受Google感知哈希算法的啟發(fā)，感知哈希算法的思想是:首先縮小圖片的尺寸，以減少計算量，然后將圖片轉(zhuǎn)為64級灰度，將每個像素的灰度值與平均值比較，大于平均值則記為1，否則記為0。將上一步的比較結(jié)果組合在一起，就構(gòu)成一個64位的圖片指紋。通過將不同圖片的指紋比對，判斷圖片的相似度。這種方法優(yōu)點是簡單快速，缺點是圖片的內(nèi)容不能變更，對圖片稍作修改則無法識別。這是由于感知哈希算法對圖像信息的保留太少，只保留大致的結(jié)構(gòu)特征。文中采用一種分塊的思想，達(dá)到保留足夠結(jié)構(gòu)信息的目的，從而獲得好的檢索結(jié)果。提出的圖像檢索算法首先將圖像劃分成10×10個子塊，計算子塊平均顏色值和空間位置作為檢索特征，在減少計算量的同時保留了圖像的顏色信息和空間位置信息，具有很好的檢索效果。

1 基于分塊的圖像檢索

將原圖像劃分為10×10個子塊，計算子塊平均灰度值gi和空間位置pi作為檢索特征fi，共100組特征值，即一幅圖像的特征集合 F = f1∪ f2∪ f3… ∪ f100，其中 fi= {gi，pi}，i=1，2，3…100，其中 pi=，即每個分區(qū)的空間位置特征為該分區(qū)質(zhì)心與圖片中心的歐式距離。計算兩幅圖像的差異，用相應(yīng)分區(qū)的平均灰度距離進(jìn)行度量，并以空間位置作為權(quán)值。對應(yīng)分區(qū)之間的差異為:

其中 Di(Im，In)為圖片 Im，In第 i個分區(qū)的差異值，dg(g(m，i)，g(n，i))為圖片 Im，In的第 i個分區(qū)平均灰度值g(m，i)，g(n，i)之間的差值。兩張圖片Im，In之間的總差異如公式(2)所示，其中N為分區(qū)個數(shù)100。

選擇公開的corel圖像庫，抽取其中5類，每類100張，共500張圖片。為使統(tǒng)計結(jié)果具有普遍性和準(zhǔn)確性，對這5大類500張圖片均進(jìn)行了處理，共500次檢索。通過對這500次檢索結(jié)果逐一計算各個查全率下的查準(zhǔn)率，來獲取平均查準(zhǔn)率。通過公式(2)計算圖片之間的差異，將檢索結(jié)果進(jìn)行排序，越靠前則與待檢索圖片的相似度越高。圖1為大象和馬的檢索結(jié)果，可見排在前50位的檢索結(jié)果正確率較高，算法對于恐龍和花檢索效果更佳。檢索結(jié)果混雜了形狀相近的其他分類的圖像，這是由于該方法使用灰度圖進(jìn)行檢索，雖然保留了圖像的結(jié)構(gòu)特征，但顏色特征不足。

圖1 基于分塊的搜索結(jié)果

文中使用的查準(zhǔn)率分為兩種情況:確定查全率的查準(zhǔn)率和確定檢出結(jié)果數(shù)量的查準(zhǔn)率，第一種情況的查準(zhǔn)率為

其中nr為查全率為r時檢出的正確結(jié)果數(shù)量，Nr為此時檢出的結(jié)果總數(shù)。文中使用式(4)計算查全率，其中n為此次檢出的正確結(jié)果數(shù)量，C為每類圖片的總數(shù)量100。分別計算了查全率為10%、20%、30%、40%、50%時5大類圖片的查準(zhǔn)率。

第二種情況使用式(5)計算檢出相應(yīng)數(shù)量結(jié)果時的查準(zhǔn)率，其中n為此次檢出的正確結(jié)果數(shù)，F(xiàn)為檢出的結(jié)果數(shù)量。分別計算了檢出圖片數(shù)量為10、20、30、40、50時5大類圖片的查準(zhǔn)率。

通過大量實驗，統(tǒng)計5大類圖像在兩種情況下的查準(zhǔn)率，如圖2所示。圖2(a)中恐龍的查準(zhǔn)率保持在100%，方法對于背景比較簡單的圖像，識別率非常高?；ǘ涞牟闇?zhǔn)率沒有明顯下降趨勢，在圖片前景形狀較固定的情況下，該方法表現(xiàn)優(yōu)秀。馬的平均查準(zhǔn)率較高，對于前景大小適中，即使顏色變化較大的圖片，準(zhǔn)確率也較高。公共汽車類前景占圖片總面積的比例很大，前景顏色的改變對本方法影響很大，故表現(xiàn)不佳。通過對比發(fā)現(xiàn)，方法對于形狀的辨認(rèn)準(zhǔn)確率優(yōu)于顏色。

圖2 2種情況下的查準(zhǔn)率

2 算法改進(jìn)

使用灰度計算兩幅圖像的差異，雖然能夠有效保留圖像的明暗和結(jié)構(gòu)信息，但對顏色不夠敏感，用相應(yīng)分區(qū)的平均顏色距離進(jìn)行度量，并以空間位置作為權(quán)值，以克服這種缺陷。對應(yīng)分區(qū)之間差異的計算方法為:

其中 dc(c(m，i)，c(n，i))為圖片 Im，In的第 i個分區(qū)平均顏色c(m，i)，c(n，i)之間的差值。通過實驗發(fā)現(xiàn)，采用街區(qū)距離可以在精度不變的情況下簡化運算，提高效率。pi為第i個分區(qū)質(zhì)心與圖片中心的街區(qū)距離:

改進(jìn)后的算法加入了顏色特征，從而能帶來更好的準(zhǔn)確性。如圖3所示，改進(jìn)后絕大多數(shù)圖片均有較好的查準(zhǔn)率。

圖4為改進(jìn)后大象和馬的檢索實例，準(zhǔn)確率比改進(jìn)前有明顯提高。圖4(a)為大象類搜索結(jié)果，此類圖像前景目標(biāo)較大，且與背景差異不夠明顯，但在算法改進(jìn)后檢索效果也較理想。圖4(b)中馬顏色、相對位置、大小等有相似之處，算法改進(jìn)后能捕捉這些相似特征，達(dá)到好的檢索效果。

圖3 corel圖像庫在查全率40%時的查準(zhǔn)率

圖4 改進(jìn)后的檢索結(jié)果

改進(jìn)后5大類圖片的查準(zhǔn)率如圖5所示，可見比之前都有很大提高。隨著查全率的提高，馬類查準(zhǔn)率基本保持在80%以上?；ǘ漕惖牟闇?zhǔn)率呈現(xiàn)一條平展的直線，表明算法對于前景形狀、位置相近的圖片表現(xiàn)優(yōu)秀且穩(wěn)定。大象類的背景與前景相近且背景復(fù)雜，公共汽車類圖片前景所占圖片比例太大，前景的改變對圖片空間結(jié)構(gòu)特征、顏色特征影響巨大，但查全率40%之前的查準(zhǔn)率都比較好。從圖5(b)可以看出絕大部分圖片在檢出50個結(jié)果時都有較好的查準(zhǔn)率，因而實用性較高。

圖5 改進(jìn)后算法的查準(zhǔn)率

3 算法復(fù)雜度對比

相對于其他研究成果，文中算法有更低的時間復(fù)雜度。文獻(xiàn)[3]的算法復(fù)雜度主要在預(yù)處理和計算圖像塊的差異兩個階段，對于給定寬W高H的圖像，分塊大小為n×n，其時間復(fù)雜度為O(L3)，其中L=(H/n)·(W/n)。文獻(xiàn)[4]需要進(jìn)行較多復(fù)雜計算，通過離散傅立葉變換將信號映射到頻域時的復(fù)雜度K為O(K)，使用全部復(fù)系數(shù)對目標(biāo)輪廓進(jìn)行傅立葉重構(gòu)時的復(fù)雜度為O(K)，使用部分系數(shù)對目標(biāo)輪廓進(jìn)行傅立葉重構(gòu)時的復(fù)雜度為O(K)，其中K為輪廓像素數(shù)，同時還可以看到傅立葉變換本身就很復(fù)雜。文獻(xiàn)[9]在計算每種顏色的連通性系數(shù)時需要較大的計算量，其時間復(fù)雜度為O(n2)，其中n為顏色種數(shù)32;文獻(xiàn)[12]使用了7個Hu不變矩，而Hu不變矩的計算很復(fù)雜，比如文中所用的p+q階中心距時間復(fù)雜度為O(N2)，其中N為圖像像素個數(shù)。文獻(xiàn)[13]的算法復(fù)雜度主要在于計算所有簇中特征點到聚類中心的距離均值和均方差，兩者復(fù)雜度均為O(N2)，其中N為視覺詞典中視覺單詞的數(shù)量。文獻(xiàn)[14]使用了模糊C均值聚類算法，其目標(biāo)函數(shù)的時間復(fù)雜度為O(N2)，其中N為矩陣的階。文獻(xiàn)[15]采用曲波變換的能量譜的香農(nóng)熵對圖像預(yù)分類，其計算香農(nóng)熵的時間復(fù)雜度為O(L)+O(J)，其中L是把2π等間隔劃分的角度數(shù)，J是尺度數(shù)，該算法在特征提取時也有類似復(fù)雜度的計算。文中算法復(fù)雜度最高的為公式(2)，時間復(fù)雜度為O(n)，其中n為分區(qū)個數(shù)100，故算法的時間復(fù)雜度更低，有更好的時間性能。

4 結(jié)束語

文中提出一種綜合明暗特征、結(jié)構(gòu)特征的圖像檢索方法，首先將圖像分塊，這可以按比例獲取圖像的結(jié)構(gòu)信息，再按塊計算平均灰度，結(jié)合空間位置信息作為該圖片的檢索信息。通過大量實驗發(fā)現(xiàn)算法對結(jié)構(gòu)相似圖片檢索效果好，對顏色不夠敏感，于是提出一種改進(jìn)方法，使用分塊平均RGB顏色結(jié)合空間位置描述圖像以提高查準(zhǔn)率，使用街區(qū)距離代替歐式距離以簡化運算，提高效率。通過對5大類共500張圖片進(jìn)行實驗，分別按查全率和檢出圖片數(shù)量計算10種情況下的查準(zhǔn)率，共5000次統(tǒng)計，從而較準(zhǔn)確驗證了算法的有效性，證明算法有較高的查準(zhǔn)率和實用性。今后研究的重點是進(jìn)一步提高復(fù)雜背景以及前景面積較大兩種情況下的檢索準(zhǔn)確率，并將算法應(yīng)用于其他領(lǐng)域。

致謝:感謝棗莊學(xué)院科研計劃青年項目(2011QN43)對本文的資助

[1] 黃祥林，沈蘭蓀.基于內(nèi)容的圖像檢索技術(shù)研究[J].電子學(xué)報，2002，30(7):1065－1071.

[2] 鄧誠強，馮剛.基于內(nèi)容的多特征綜合圖像檢索[J].計算機應(yīng)用，2003，23(7):100－102.

[3] 韋偉，張功萱.基于HVS的多尺度顯著性檢測算法[J].計算機應(yīng)用研究，2013，30(2):623－626.

[4] 師文，朱學(xué)芳.基于輪廓重構(gòu)和特征點弦長的圖像檢索[J].軟件學(xué)報，2014，25(7):1557－1569.

[5] 莊凌，莊越挺，吳江琴，等.一種基于稀疏典型性相關(guān)分析的圖像檢索方法[J].軟件學(xué)報，2012，23(5):1295－1304.

[6] Kunttu I，Lepisto L，Rauhamaa J，et al.Multiscale Fourier descriptors for defect image retrieval[J].Pattern Recognition Letters，2006，27(2):123－132.

[7] Abbasi S，Mokhtarian F，Kittler J.Enhancing CSS-based shape retrieval for objects with shallow concavities[J].Image and Vision Computing，2000，18(3):199－211.

[8] Zhang DS，Lu GJ.Study and evaluation of different Fourier methods for image retrieval[J].Image and Vision Computing，2005，23(1):33－49.

[9] 賀廣南，楊育彬，阮佳彬，等.基于視覺一致性的圖像檢索[J].中國圖象圖形學(xué)報，2011，16(4):503－509.

[10] 公明，曹偉國，李華.形狀和顏色混合不變量在圖像檢索用的應(yīng)用[J].中國圖象圖形學(xué)報，2013，18(8):990－1003.

[11] 黃傳波，金忠.應(yīng)用視覺注意多分辨率分析的圖像檢索[J].中國圖象圖形學(xué)報，2011，16(9):1656－1663.

[12] 黃元元，劉寧鐘.利用特征點平均矩特征的商標(biāo)圖像檢索[J].中國圖象圖形學(xué)報，2010，15(4):637－644.

[13] 董健.基于加權(quán)特征空間信息視覺詞典的圖像檢索模型[J].計算機應(yīng)用，2014，34(4):1172－1176.

[14] 張靜，許高峰.基于優(yōu)化分塊顏色直方圖及模糊C聚類的彩色圖像檢索方法[J].計算機工程與科學(xué)，2011，33(8):106－111.

[15] 李健，牛振山.基于曲波的紋理圖像檢索系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機工程與科學(xué)，2011，33(3):106－111，62－66.