一種特征加權(quán)融合的圖像檢索方法

鄒青青，何靜濤，朱　程

一種特征加權(quán)融合的圖像檢索方法

鄒青青，何靜濤，朱程

（蚌埠學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，安徽蚌埠233030）

提出了一種多特征加權(quán)融合的圖像檢索方法。應(yīng)用累積直方圖建立圖像的顏色特征，采用邊緣檢測(cè)的方法提取圖像中的形狀特征，基于空間頻率的估計(jì)自相關(guān)函數(shù)刻畫紋理的粒度。圖像檢索系統(tǒng)的實(shí)現(xiàn)由查詢圖例與圖像特征庫的各底層特征分量分別采取各自適用的距離度量方式，按動(dòng)態(tài)系數(shù)加權(quán)比對(duì)。實(shí)驗(yàn)表明，較之單一圖像特征，多特征融合的查準(zhǔn)情況更優(yōu)，各特征分量權(quán)值的動(dòng)態(tài)可調(diào)整使檢索算法具有靈活的表現(xiàn)。

特征表示；加權(quán)融合；相似性度量；圖像檢索系統(tǒng)

DOI：10.13420/j.cnki.jczu.2015.06.009

伴隨網(wǎng)絡(luò)互聯(lián)環(huán)境下信息持續(xù)爆炸式的增長，大數(shù)據(jù)時(shí)代已然到來。在海量數(shù)據(jù)資料里，圖像數(shù)據(jù)集合作為一類直觀的存在，其本身具有內(nèi)容涉及范圍廣、細(xì)節(jié)豐富等特點(diǎn)。圖像數(shù)據(jù)是各種事物的信息組合，同一個(gè)事物在不同圖像中可能表達(dá)事物的不同面，同時(shí)存在主觀視覺上的較大差異。在圖像檢索過程中，不論采用的方法是TBIR還是CBIR，在圖像內(nèi)容標(biāo)注、特征提取、圖像模型表示等方面的技術(shù)有待完善，在不同的應(yīng)用領(lǐng)域，檢索技術(shù)表現(xiàn)不一，檢索精確度有待提高。

1　圖像特征表示

圖像特征主要包括底層視覺特征和高層語義特征兩方面，底層視覺特征包括圖像的顏色、形狀、紋理等，屬定量特征，語義特征則是定性的，可借助相關(guān)反饋手段，動(dòng)態(tài)地學(xué)習(xí)相似度量，以推斷與用戶主觀概念吻合的抽象描述，到達(dá)圖像檢索效果。

1.1顏色特征

顏色是人類認(rèn)知事物的直觀特點(diǎn)，顏色特征是圖像檢索中應(yīng)用最為廣泛的特征，其穩(wěn)定性好且技術(shù)簡單，對(duì)大小、方向、空間等均具有不變性，因此可以通過顏色特征對(duì)圖像進(jìn)行檢索。顏色的特征表示有多種方式，其中，累積直方圖在計(jì)算速度上具有優(yōu)勢(shì)，且在對(duì)圖像幾何變換時(shí)趨于穩(wěn)定。

圖像特征的統(tǒng)計(jì)直方圖實(shí)則一個(gè)1-D的離散函數(shù)，即有

累積直方圖為

式中k代表圖像的特征取值，l是特征可取值的個(gè)數(shù)，nk表示圖像中具有特征值為k的像素個(gè)數(shù)，N是圖像像素的總和。

1.2形狀特征

形狀是刻畫物體的本質(zhì)特征，該特征一般在圖像分割完成后進(jìn)行提取，目前用于圖像檢索的形狀描述方法中邊緣檢測(cè)是用于獲取圖像內(nèi)物體輪廓的分割方法，這種算法有較好的效果，在圖像分析中應(yīng)用廣泛。

圖像先用高斯函數(shù)進(jìn)行平滑，然后再用拉普拉斯算子，它使用一個(gè)墨西哥草帽函數(shù)作為濾波器［1］。

采用以下5×5的LOG算子作為模板：

將Sobel算子與LOG算子結(jié)合進(jìn)行修正，取較小閾值的Sobel算子作為邊緣檢測(cè)的前提條件，然后進(jìn)行LOG的邊緣檢測(cè)。

1.3紋理特征

如Tuceryan定義的，紋理是“由一些具有相同特性的微小區(qū)域組成”，它的結(jié)構(gòu)由一些復(fù)雜出現(xiàn)的基元模式構(gòu)成，基元的數(shù)目和類型及基元之間的空間位置關(guān)系描述紋理特征［2］。在測(cè)量空間頻率的基礎(chǔ)上，由小基元組成的細(xì)紋理有較高的空間頻率，粗紋理的空間頻率低?；诳臻g頻率的紋理估計(jì)自相關(guān)函數(shù)為：

2　特征融合方法與實(shí)現(xiàn)

僅僅使用一種特征的方法只能表達(dá)圖像的部分屬性，缺乏足夠的信息，在圖像變換比較大的情況下不能取得理想的檢索效果。將兩個(gè)或兩個(gè)以上的圖像特征結(jié)合，綜合考慮共同檢索，圖像特征融合通過生成新的特征向量來表示綜合要點(diǎn)。新特征增加數(shù)據(jù)的維數(shù)，實(shí)現(xiàn)對(duì)來自不同信息源的所有屬性的整合，從而產(chǎn)生一個(gè)統(tǒng)一的特征空間，并采用標(biāo)準(zhǔn)的計(jì)算方法對(duì)其進(jìn)行處理。

2.1融合方式

組合特征既可以將不同的特征兩兩結(jié)合，也可以將兩個(gè)以上特征結(jié)合在一起。設(shè)Q為查詢圖像的特征向量，T為待查詢圖形庫中的圖像特征向量，根據(jù)式（1）至（4）對(duì)圖像顏色、形狀、紋理特征的描述，圖像特征加權(quán)融合的計(jì)算定義為下式：

其中，Tc、Tc、Tc表示于顏色、形狀、紋理分量，wc、ws、wt分別是三者的權(quán)值根據(jù)用戶檢索的不同要求，權(quán)值在確定閾值范圍內(nèi)取值不一，在具體檢索算法實(shí)現(xiàn)過程中，分層次計(jì)算不同的特征分量時(shí)，計(jì)算圖例與圖像的相似度Q/ T，并分別賦予權(quán)值初值，統(tǒng)計(jì)該權(quán)值對(duì)查詢結(jié)果相似度的判別以及對(duì)查全率與查準(zhǔn)率的影響，在相同樣本集合基礎(chǔ)上根據(jù)計(jì)算結(jié)果進(jìn)行修正確立權(quán)值的調(diào)整與分配。這種調(diào)整過程在特征匹配策略的實(shí)施中更為合理，能夠提高圖像檢索的效果。查詢圖例的特征向量Q同樣需要計(jì)算，它與T具有相同的特征信息表示空間，計(jì)算方法一致。

2.2圖像相似性度量

相似性度量函數(shù)對(duì)圖像查詢結(jié)果是否匹配至關(guān)重要，理想的圖像相似性度量結(jié)果應(yīng)與人眼的觀察一致。特征空間點(diǎn)與點(diǎn)之間的距離度量是較典型采用的方法，在圖像檢索過程中，每幅圖像由特征點(diǎn)的集合表示，所以特征空間點(diǎn)的比較，實(shí)際為兩個(gè)向量的比較。對(duì)于查詢圖像q和目標(biāo)圖像t，其特征向量分別為（fq1，fq2，fq3）和（ft1，ft2，ft3）而言，兩者的距離定義為：

圖1　圖像檢索系統(tǒng)過程圖

特征融合的圖像檢索是核心級(jí)的處理過程［3］，其算法本質(zhì)是圖例特征與圖像庫特征的相似度對(duì)

其中，i不同其特征取值在顏色、形狀、紋理特征之間變化，w為式（5）在特征融合過程中經(jīng)統(tǒng)計(jì)并修正后的權(quán)重，即各底層特征表示在圖像融合中的權(quán)值決定其在相似度量算法中的作用程度。令T、TQ分別表示融合后的待查圖像與圖例的特征向量，亦以||T-TQ計(jì)算圖像特征之間的距離，采用式（6）的優(yōu)點(diǎn)在于：基于不同的特征分別采取不同的距離度量方式更為準(zhǔn)確，如顏色分量計(jì)算采用直方圖相交距或Minkowski（明氏）距離，紋理分量比較粗糙度、方向度、平滑度等；形狀分量對(duì)比幾何屬性（球狀性）、區(qū)域密度等。相似性度量依托于認(rèn)知科學(xué)，特征表示方法不同導(dǎo)致相似性度量的結(jié)果可能不一致。

2.3檢索算法比，通過對(duì)圖像顏色直方圖的計(jì)算，加權(quán)圖像經(jīng)平滑處理后的形狀特征，以及有一定魯棒性的紋理信息表示，隨后得出檢索結(jié)果。圖1給出了檢索系統(tǒng)的過程模型。檢索過程概括為：查詢圖像→特征表示→加權(quán)融合→相似性度量←統(tǒng)一特征分量←特征表示←圖像庫。

圖像特征分量計(jì)算與比對(duì)的程序設(shè)計(jì)流程如下：

Step1：圖像預(yù)處理，去除圖像噪聲。

Step2：將預(yù)處理后的查詢圖像進(jìn)行特征提取，計(jì)算得到查詢圖例的顏色特征，賦顏色特征加權(quán)初值wc，記入圖例的特征向量集，檢索圖像庫，得出初步顏色特征的匹配結(jié)果集R1。

Step3：計(jì)算圖例形狀特征與紋理特征，分別賦予兩者的加權(quán)初值ws、wt，在顏色結(jié)果R1中檢索形狀、紋理匹配的項(xiàng)。

Step4：與用戶交互并記錄檢索結(jié)果，計(jì)算并記錄本次檢索的查準(zhǔn)率，返回執(zhí)行Step2，Step3，調(diào)整wc、ws、wt，重新計(jì)算并檢索得Ri，取查準(zhǔn)率為最高值的結(jié)果Ri。

3　實(shí)驗(yàn)結(jié)果

以Visual Studio 2010為開發(fā)工具，采用C#語言實(shí)現(xiàn)上述特征提取過程與檢索算法，圖像數(shù)據(jù)庫采用科雷爾（Corel）公司收集整理的1000幅圖片，其中涵蓋了多個(gè)主題，另增加同等規(guī)格的主題圖片作為數(shù)據(jù)庫檢索對(duì)象。實(shí)驗(yàn)中隨機(jī)抽取某一類主題圖像的10幅圖像為檢索圖例，動(dòng)態(tài)調(diào)整各底層分量權(quán)值，計(jì)算每幅圖像的查全率和查準(zhǔn)率，求其均值，實(shí)驗(yàn)結(jié)果如表1所示，修正各底層特征在查詢依據(jù)中的比重，可使查詢效果向理想值逼近。

表1　顏色、形狀、紋理特征按不同權(quán)值融合的檢索結(jié)果對(duì)比

圖2　提取圖例的顏色特征為依據(jù)的檢索結(jié)果

隨機(jī)選取一幅綠色樹葉圖像，對(duì)比單特征（顏色）與多特征的檢索結(jié)果。顏色特征采用累積直方圖的方法，即公式（2），多特征采用上述特征分量加權(quán)融合方式，抽取形狀及紋理特征的同時(shí)，允許對(duì)之進(jìn)行平移、翻轉(zhuǎn)及旋轉(zhuǎn)處理，檢索結(jié)果如圖2、3所示，查詢結(jié)果按相似度從大到小排列。

圖3　融合圖例多特征的檢索結(jié)果

從檢索結(jié)果可以看出，圖2檢索結(jié)果中的20幅圖片均符合顏色特征，但在相似性范圍內(nèi)的圖片僅有3張，查準(zhǔn)率較低。融合圖例特征的檢索結(jié)果表現(xiàn)出良好的排除無關(guān)圖像能力，得出了查準(zhǔn)率優(yōu)于圖2的圖像集；單特征方法的查全率為3%，多特征方法的查全率為13%；兩者的檢索時(shí)間相差無幾［4］。分析兩者的檢索效果，在權(quán)重上以某一特征為主體，輔以其它圖像特征，能夠有效彌補(bǔ)被檢索對(duì)象信息表示的缺失，從而提高檢索效率。

4　結(jié)論

從圖像的顏色、形狀、紋理特征的特點(diǎn)可以看出，僅基于一種特征的方法較為片面，只能表達(dá)圖像的部分屬性，在圖像尺度大或非正面表達(dá)圖像信息時(shí)，不能取得理想效果。綜上實(shí)驗(yàn)結(jié)果及數(shù)據(jù)表明，融合圖像的多種特征，可達(dá)到圖像不同信息源之間互補(bǔ)效果，提高檢索的靈活性以及CBIR系統(tǒng)的精確度。

［1］孫燮華.圖像處理C#.NET編程與實(shí)驗(yàn)［M］.北京：機(jī)械工業(yè)出版社，2010.

［2］Tuceryan M，Jain A K.Texture Analysis in the Handbook of Pattern Recognition and Computer Vision［M］.2nd ed.Singapore：World Scientific Publishing Corporation，1998：207-248.

［3］朱遠(yuǎn)毅，董道國，金城.一種基于多特征簽名的圖像檢索系統(tǒng)［J］.計(jì)算機(jī)應(yīng)用與軟件，2011，28（7）：82-85.

［4］茹立云，彭瀟，蘇中，等.基于內(nèi)容圖像檢索中的特征性能評(píng)價(jià)［J］.計(jì)算機(jī)研究與發(fā)展，2003，40（11）：1566-1570.

［責(zé)任編輯：桂傳友］

TP391

A

1674-1102（2015）06-0027-03

2015-05-13

蚌埠學(xué)院自然科學(xué)研究項(xiàng)目（2013ZR15），蚌埠學(xué)院自然科學(xué)研究重點(diǎn)項(xiàng)目（2013ZR04zd）。

鄒青青（1981-），女，江西撫州人，蚌埠學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系講師，碩士，研究方向?yàn)樘摂M現(xiàn)實(shí)及仿真技術(shù)，數(shù)字圖像處理；何靜濤（1978-），男，安徽蚌埠人，蚌埠學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系講師，碩士，研究方向?yàn)槎嗝襟w信息處理；朱程（1984-），女，安徽蚌埠人，蚌埠學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系講師，碩士，研究方向?yàn)榫W(wǎng)絡(luò)技術(shù)，多媒體信息處理。