二維最大熵模型在圖像分類算法中的應(yīng)用研究

王彥林, 金漢均, 梅洪洋

(1.武漢商學(xué)院 信息工程系, 武漢 430056; 2.華中師范大學(xué) 計(jì)算機(jī)學(xué)院, 武漢 430079)

?

二維最大熵模型在圖像分類算法中的應(yīng)用研究

王彥林1, 金漢均2*, 梅洪洋2

(1.武漢商學(xué)院 信息工程系, 武漢 430056; 2.華中師范大學(xué) 計(jì)算機(jī)學(xué)院, 武漢 430079)

針對(duì)圖像分類中使用視覺詞袋直方圖進(jìn)行分類時(shí)忽略圖像顏色信息缺點(diǎn),該文提出在一類圖像的HSI彩色空間上,通過(guò)H分量和S分量構(gòu)建二維最大熵模型,并將得到的二維最大熵分布作為該類樣本的底層參考特征向量,從而將待分類的圖像運(yùn)用歐式準(zhǔn)則與底層特征向量進(jìn)行匹配,最終實(shí)現(xiàn)圖像分類算法.實(shí)驗(yàn)表明,該文所提分類算法比基于視覺詞袋直方圖分類算法具有更高的查準(zhǔn)率.

視覺詞袋; 二維最大熵; 圖像分類; 樣本直方圖

伴隨大數(shù)據(jù)時(shí)代的到來(lái),數(shù)字圖像數(shù)量呈指數(shù)級(jí)增長(zhǎng),如何讓計(jì)算機(jī)自動(dòng)理解圖像內(nèi)容,盡可能準(zhǔn)確理解圖像所表達(dá)的含義,即圖像分類技術(shù),一直是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域的研究熱點(diǎn)之一.一套完整的圖像分類系統(tǒng)包含如下兩個(gè)模塊:底層特征的表達(dá)和分類器的訓(xùn)練.其中,底層特征的表達(dá)又可細(xì)分為底層特征的選擇和提取、特征空間的聚類和相似性度量這幾個(gè)步驟.

視覺詞袋((bag of visual words),BOVW)直方圖[1]是常用的底層特征表達(dá)模型之一,它首先在圖像上通過(guò)仿射不變檢測(cè)子[2]、高斯差分檢測(cè)子[3]等采樣方式獲取局部特征,每個(gè)特征對(duì)應(yīng)一個(gè)視覺詞匯;然后構(gòu)建碼本,采用k-means[4]、高斯混合[5]等方法對(duì)特征進(jìn)行聚類,形成相應(yīng)的詞頻,即BOVM直方圖.基于視覺詞袋直方圖分類算法建立在BOVM直方圖基礎(chǔ)上,訓(xùn)練圖像分類器后完成圖像分類.常用的圖像分類器有基于聯(lián)合概率分布的貝葉斯分類器[6]、基于后驗(yàn)概率分布的SVM分類器[7]等.采用BOVW直方圖表達(dá)視覺特征的方法進(jìn)行圖像分類時(shí)需指定碼本長(zhǎng)度,該長(zhǎng)度的選擇直接影響分類性能,在實(shí)踐中需要多次嘗試才能找到合適的碼本長(zhǎng)度[8].

針對(duì)BOVW直方圖作為底層特征表達(dá)時(shí)只表征了視覺詞匯在圖像中出現(xiàn)的頻次,忽略了視覺單詞在圖像中的顏色信息的缺點(diǎn),本文提出了一種二維最大熵分類器,它利用圖像HSI 彩色空間中的H分量和S分量在整個(gè)樣本空間上構(gòu)建二維最大熵模型,將最優(yōu)的二維最大熵分布作為一類樣本的底層特征向量,選擇合適的樣本容量和圖像的量化級(jí)數(shù),進(jìn)而完成圖像分類工作.

1 二維最大熵訓(xùn)練模型的構(gòu)建

HSI彩色空間將一幅彩色圖像分割成色度、飽和度、亮度3個(gè)顏色分量,由于人對(duì)顏色信息相對(duì)亮度信息更加敏感,HSI模式對(duì)同一對(duì)象在不同光照條件下具有很好的識(shí)別性,更加有利于圖像分類系統(tǒng)準(zhǔn)確率的提高,故選擇HSI彩色空間中的H分量和S分量作為二維最大熵訓(xùn)練模型基礎(chǔ).

將上述紋理描繪子應(yīng)用于樣本圖像中,得到樣本圖像的紋理描繪子:

最大熵模型以其訓(xùn)練速度快、預(yù)測(cè)性能高等優(yōu)點(diǎn),廣泛應(yīng)用于自然語(yǔ)言處理、數(shù)字圖像分割等應(yīng)用領(lǐng)域[9].設(shè)連續(xù)型隨機(jī)變量x和y的聯(lián)合密度函數(shù)為f(x,y),且Rm(x,y)是關(guān)于x、y的函數(shù),取約束條件E[Rm(x,y)]=?Rm(x,y)f(x,y)dxdy=Cm,則連續(xù)型的二維最大熵模型表示為[9-10]:

argmaxH(x,y)=-?f(x,y)ln[f(x,y)]dxdy,

s.t.E[Rm(x,y)]=?Rm(x,y)f(x,y)dxdy=Cm,

?f(x,y)dxdy=1.

(1)

(2)

通過(guò)拉格朗日乘子法,可解得一類樣本空間上最優(yōu)密度函數(shù)為:

(3)

2 二維最大熵模型的圖像分類算法

對(duì)圖像進(jìn)行分類有多種分類算法,如基于貝葉斯的分類算法[3-4]、基于核碼書的分類算法[5-6,8]、基于Fisher核分類算法[11]等,這些分類算法總體上分為兩步:首先,用訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練,調(diào)整統(tǒng)計(jì)決策過(guò)程,構(gòu)建分類模型;其次,用分類模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行分類,即將待分類圖像轉(zhuǎn)換成分類模型輸入數(shù)據(jù),使用構(gòu)建好的分類準(zhǔn)則判別類別歸屬.

設(shè)由上節(jié)中二維最大熵模型訓(xùn)練出的類別j的底層參考特征向量為:

(4)

待分類圖像的底層參考特征向量為:

P(H,S)=(p1(h1,s1),p2(h2,s2),…,pL(hL,sL)),

(5)

其中,L為量化等級(jí), 則待分類圖像與各類圖像間差異,采用歐式準(zhǔn)則表示為:

(6)

選擇dj(p,p*)最小且在閥值范圍內(nèi)的對(duì)應(yīng)類別作為待分類圖像所屬的類別.

結(jié)合公式(2)和(6),基于二維最大熵模型的圖像分類算法可使用如下流程圖表示:

圖1 基于二維最大熵模型的圖像分類算法流程圖Fig.1 The flowchart of image classification algorithm based on 2-D maximum entropy

在上述分類算法中,分類的準(zhǔn)確率主要受兩個(gè)參數(shù)的影響:訓(xùn)練樣本容量n和圖像量化等級(jí)L.下面通過(guò)兩組實(shí)驗(yàn)數(shù)據(jù)獲得合適的樣本容量和圖像量化等級(jí).訓(xùn)練樣本取自Caltech 256數(shù)據(jù)集,訓(xùn)練算法在Matlab R2010b中實(shí)現(xiàn).圖2顯示了蝴蝶類的樣本訓(xùn)練界面,圖中樣本直方圖即公式(4)所得的蝴蝶類底層特征向量.

圖2 蝴蝶類樣本訓(xùn)練Fig.2 Sample training of the butterfly class

圖像量化等級(jí)n的選取:首先在Caltech 256數(shù)據(jù)集上選擇10類樣本容量為24的訓(xùn)練圖像進(jìn)行二維最大熵模型訓(xùn)練,因?yàn)榱炕?jí)不高于圖像的灰度級(jí)數(shù)256,實(shí)驗(yàn)中量化級(jí)按2n(n=1,2,…,8)來(lái)進(jìn)行實(shí)驗(yàn)分析;其次在選擇100個(gè)對(duì)應(yīng)類測(cè)試數(shù)據(jù)進(jìn)行分類,獲得不同量化級(jí)下訓(xùn)練的模型對(duì)圖像分類算法查準(zhǔn)率的影響,實(shí)驗(yàn)結(jié)果如圖3所示.由圖可知,當(dāng)樣本容量不變時(shí),查準(zhǔn)率隨著量化級(jí)的增加而提高,特別是,當(dāng)量化級(jí)小于128時(shí),查準(zhǔn)率提高速度明顯,當(dāng)量化級(jí)大于等于128時(shí),查準(zhǔn)率提高速度變緩.

圖3 不同量化級(jí)對(duì)查準(zhǔn)率的影響Fig.3 Different quantization levels impact on recall ratio

圖像量化等級(jí)L的選擇:當(dāng)量化等級(jí)為128時(shí),首先,在CalTech 256數(shù)據(jù)集上選擇10類各30個(gè)的樣本,按照不同的樣本容量完成對(duì)應(yīng)類別的模型訓(xùn)練;其次,選擇100個(gè)對(duì)應(yīng)類測(cè)試數(shù)據(jù)進(jìn)行分類,獲得不同樣本容量下訓(xùn)練模型在圖像分類算法中的查準(zhǔn)率,如圖4所示.由實(shí)驗(yàn)結(jié)果可以看出,當(dāng)量化等級(jí)不變,訓(xùn)練樣本容量小于20時(shí),查準(zhǔn)率隨著訓(xùn)練樣本的增加而提高;當(dāng)訓(xùn)練樣本容量大于20時(shí),查準(zhǔn)率提高不明顯,甚至出現(xiàn)些微下降.

圖4 不同訓(xùn)練樣本容量對(duì)查準(zhǔn)率的影響Fig.4 Different sample training sizes impact on recall ratio

3 實(shí)驗(yàn)分析

在CalTech 256數(shù)據(jù)集上選擇2 000個(gè)10類測(cè)試數(shù)據(jù),將本文提出的基于二維最大熵的圖像分類算法與基于視覺詞袋直方圖分類算法進(jìn)行對(duì)比,結(jié)果如表1.這里,基于二維最大熵圖像分類算法中,n與L的值分別為20和128,采用歐式準(zhǔn)則進(jìn)行分類判別;基于視覺詞袋直方圖分類算法中首先利用SIFT提取局部特征,采用K-means算法對(duì)局部特征集進(jìn)行聚類,形成視覺詞袋直方圖,然后利用SVM進(jìn)行圖像分類[12].

表1 基于二維最大熵與基于視覺詞袋直方圖分類算法的查準(zhǔn)率對(duì)比Tab.1 Recall ratio comparison of image classification between 2-D maximum entropy algorithm and BOVM algorithm %

通過(guò)實(shí)驗(yàn)數(shù)據(jù)可以看出,本文提出的基于二維最大熵的圖像分類器對(duì)紋理復(fù)雜、易受背景色干擾的圖像,如蝴蝶、貓、椅子具有更好的分類效果,查準(zhǔn)率可獲得至少6%的提高.出現(xiàn)這種情況的主要原因在于視覺詞袋直方圖構(gòu)建算法.實(shí)驗(yàn)中,視覺詞袋直方圖構(gòu)建的流程圖如圖5所示.

圖5 視覺詞袋直方圖構(gòu)建Fig.5 Construction of BOVM histogram

視覺詞袋直方圖構(gòu)建的優(yōu)劣主要受制SIFT提取局部特征和K-means聚類算法,前者對(duì)圖像顏色和非線性光照變化不敏感,提取的局部特征具有一定的誤差,直接影響分類器的訓(xùn)練效果;后者將向量空間中n個(gè)特征點(diǎn)按照類內(nèi)方差和最小原則分為k類,但其初始中心的選擇具有隨機(jī)性,不同初始中心選擇直接導(dǎo)致不同的聚類結(jié)果.基于上述兩點(diǎn),本文提出的基于二維最大熵的訓(xùn)練模型將圖像的顏色分量信息作為構(gòu)造訓(xùn)練模型的要素之一,尋找綜合顏色信息和樣本紋理信息的最優(yōu)的一組底層特征向量,克服了基于視覺詞袋直方圖分類算法忽略圖像顏色信息的缺點(diǎn),故查準(zhǔn)率獲得一定程度的提高.

4 結(jié)論

針對(duì)視覺詞袋直方圖作為底層特征時(shí),忽略圖像顏色信息的缺點(diǎn),本文提出在一類圖像的HSI彩色空間上通過(guò)H分量和S分量構(gòu)建二維最大熵模型,并將訓(xùn)練得到的二維最大熵分布作為該類樣本的底層特征向量,然后利用歐式準(zhǔn)則將待分類圖像與底層特征向量進(jìn)行匹配,與某一類匹配度較高的就歸屬到該類.實(shí)驗(yàn)表明,樣本容量和圖像的量化級(jí)數(shù)分別取值為20和128時(shí),該分類方法相較基于視覺詞袋直方圖分類算法,在CalTech 256數(shù)據(jù)集上查準(zhǔn)率可獲得一定程度的提高.

[1] 趙 鑫. 圖像分類中的判別性增強(qiáng)研究[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué), 2013.

[2] Mikolajczjdc K,Schmid C. Scale and affine invariant interest point detectors.International[J].Journal of Computer Vision, 2004, 60(1): 63-86.

[3] Perronnin F, Dance C. Fisher kernels on visual vocabularies for image categorization[C]. CVPR′07, IEEE Conference on IEEE, 2007: 1-8.

[4] Wu J, Cui Z M. Zhao P P, et al. Visual vocabulary tree construction research using adaptive fuzzy k-means clustering[J]. Advanced Science Letters, 2012, 11(1): 258-262.

[5] Avrithis Y, Kalantidis Y. Approximate Gaussian mixtures for large scale vocabularies [C]//In: Proc of the 12th European Conference on Computer Vision, Firenze, Italy, 2012: 15-28.

[6] Bishop C M, Lasserre J. Generative or discriminative getting the best of both worlds [J]. Bayesian Statistics, 2007, 8: 3-23.

[7] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(1): 66-77.

[8] 沈項(xiàng)軍, 高海迪, 曾蘭玲,等. 多特征證據(jù)理論融合的視覺詞典構(gòu)建[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(12): 1676-1683.

[9] Begen A, Dellapietra S, Dellapietra V.A maximum entropy approach to natural language Processing[J].Computational Linguisties,1996, 22(1),38-73.

[10] 陶山山. 多維最大熵模型及其在海岸和海洋工程中的應(yīng)用研究[D].青島： 中國(guó)海洋大學(xué), 2013:83-92.

[11] Perronnin F, Snchez J, Mensink T. Improving the Fisher Kernel for Large-scale Image Classification [M]. Heraklion: Springer Berlin Heidelberg, 2010: 143-156.

[12] Feng Jie, Jiao Licheng, Zhang Xiangrong, et al. Bag-of-Visual-Words based on clonal selection algorithm for SAR image classification[J]. IEEE Geosci Remote Sensing Lett, 2011, 8:691-695.

Application of 2-D maximum entropy model in image classification algorithm

WANG Yanlin1， JIN Hanjun2， MEI Hongyang2

(1.Information Engineering Department， Wuhan Business University， Wuhan 430056;2.Computer School， Central China Normal University， Wuhan 430079)

A 2-D maximum entropy model is proposed to overcome the weakness of BOVM (bag of visual words) histogram which always neglects the information of image color. The 2-D maximum entropy mode of a class of image is built by H component and S component in HSI color space， and what’s more， the corresponding 2-D maximum entropy distribution is the bottom reference feature vectors， which is used to match with an input image by Euclidian criterion in image classification algorithm. Experiments illustrate that the algorithm presented in this paper has a higher image precision than the classification algorithm based on BOVM．

bag of visual words; 2-D maximum entropy; image classification; sample histogram

2014-12-10.

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(CCNU13B005);湖北省科技攻關(guān)項(xiàng)目(2011EJB010);湖北省科技支撐計(jì)劃項(xiàng)目(2013BAA104).

1000-1190(2015)04-0507-04

TP391.41< class="emphasis_bold">文獻(xiàn)標(biāo)識(shí)碼： A

A

*通訊聯(lián)系人. E-mail: jinhanjun@163.com.