圓周特征描述:有效的葉片圖像分類和檢索方法*

王 斌， 黃竹芹， 陳良宵

1(南京財經(jīng)大學(xué) 信息工程學(xué)院,江蘇 南京 210023)

2(電子商務(wù)省級重點實驗室(南京財經(jīng)大學(xué)),江蘇 南京 210023)

1 引 言

植物是地球生態(tài)系統(tǒng)的一個重要組成部分,目前已知的植物種類數(shù)量大約在40萬左右,還存在大量未被分類或未知的物種.植物的分類識別是生物和環(huán)境科學(xué)非常重要的一個研究課題,對生物多樣性保護(hù),生態(tài)農(nóng)業(yè)、生物安全等有著重要的意義.作為植物的六大器官之一的植物葉片,因其方便采集、狀態(tài)相對穩(wěn)定,且不同種類植物一般在其葉片的視覺特征上存在著差異,為植物的分類識別提供了非常有價值的線索,是植物分類的重要依據(jù).將計算機(jī)視覺技術(shù)引入植物分類的一個核心的工作就是對采集的植物葉片圖像進(jìn)行描述,以用于自動地對植物進(jìn)行分類識別.

一般葉片形狀往往存在較大的類內(nèi)變化,如圖 1(a)中給出的屬于同一類的 5幅葉片圖像,且又有許多葉片形狀具有非常小的類間差異、如圖1(b)中給出的屬于不同類的5幅葉片圖像,這些問題的存在給葉片圖像的精確識別帶來了很大的挑戰(zhàn).如何從葉片圖像中抽取具有強(qiáng)辨識能力的圖像特征,是解決該問題的關(guān)鍵.本文提出一種圓周特征葉片圖像描述方法,通過圓心置于葉片輪廓線上的圓與葉片圖像的輪廓線和目標(biāo)區(qū)域分別相交所得到的圓心角、區(qū)域像素點在圓周上的分布,以及它們的灰度統(tǒng)計來分別表征葉片圖像的輪廓、區(qū)域和灰度特征.

Fig.1 Leaf image samples圖1 葉片樣本的示例

本文的主要貢獻(xiàn)在于:

(1) 現(xiàn)有的葉片圖像僅從輪廓線、葉片區(qū)域或灰度級特征中的某一方面來描述葉片圖像,而本文提出的圓周特征描述自然地組合了圖像的輪廓線、區(qū)域和灰度信息,使其對葉片圖像的描述更為全面；

(2) 現(xiàn)有的多尺度方法在輪廓線上各點的尺度安排都是相同的,即它們所采用的各尺度級的尺度大小一般是固定的,并不隨輪廓線上點的變化而發(fā)生改變,而本文提出的多尺度描述方法是一種具有局部特性的多尺度安排,其各個尺度級的大小,即圓的半徑,取決于圓心所在的輪廓點與輪廓線上其他各點的距離,因此,當(dāng)圓心所在的輪廓點發(fā)生改變時,則圓的半徑也相應(yīng)地發(fā)生改變,這種有著局部特性的多尺度安排,使得描述子能夠更好地抽取到強(qiáng)辨識能力的形狀特征；

(3) 本文提出的方法在著名的葉片圖像檢索測試集 Flavia[1]和葉片圖像分類測試集 Swedish[2]上得到的結(jié)果要好于目前公開發(fā)表的方法在該測試集上報告的最好結(jié)果,證明了該方法的有效性.

2 相關(guān)工作

在葉片圖像描述方面,已提出了許多方法,這些方法可分為基于輪廓線的方法、基于區(qū)域的方法和基于灰度級特征的描述方法.基于輪廓線的方法描述葉片圖像僅考慮葉片圖像的邊界像素點[3].其中,最為著名的是Belongie等人[4]提出的形狀上下文(shape contexts)描述方法,該方法用原點位于輪廓線上的點的極坐標(biāo)柵格,來統(tǒng)計輪廓線其他各點相對于該點的空間分布,用產(chǎn)生的直方圖構(gòu)成基于該點的形狀描述,稱為形狀上下文,該方法非常好地描述了輪廓線上的點的空間關(guān)系,在形狀識別中效果顯著.Ling等人[5]在形狀上下文的基礎(chǔ)上,用輪廓點之間的內(nèi)距離代替形狀上下文算法中使用的輪廓點之間的歐氏距離,這里,內(nèi)部距離定義為輪廓線上兩個點關(guān)于目標(biāo)區(qū)域的最短路徑長度.內(nèi)部距離形狀上下文(IDSC)方法具有對關(guān)節(jié)變換的不敏感性.該方法在著名的Swedish[2]葉片圖像測試集上取得了94.13%的分類準(zhǔn)確率.近來,Zha等人[6]提出了一種引入學(xué)習(xí)機(jī)制的形狀上下文描述子.該方法對輪廓線進(jìn)行不同尺度的高斯卷積,產(chǎn)生多尺度的形狀上下文描述子,通過詞典學(xué)習(xí)方法[7]生成形狀模式詞典,統(tǒng)計一個形狀的多尺度形狀上下文描述在該模式詞典的所有模式上的分布,得到形狀的最終描述.因引入了學(xué)習(xí)機(jī)制,該方法具有非常好的形狀分類效果,在 Swedish[2]葉片圖像測試集上取得了97.07%的分類準(zhǔn)確率.

上述方法主要考慮目標(biāo)輪廓的空間關(guān)系,也有更多的方法著眼于葉片輪廓上的曲率特性.經(jīng)典的方法是Mokhtarian[8]提出的曲率尺度空間方法.該方法用不同寬度的高斯核去平滑曲線,同一尺度下的曲線拐點構(gòu)成一幅二值圖像(稱為CSS圖像),其中,圖像的橫軸坐標(biāo)代表拐點在曲線上的位置,縱坐標(biāo)代表高斯核的寬度.CSS圖像由若干個拱形輪廓組成,每一個關(guān)于形狀的凸和凹,其最大者構(gòu)成形狀描述.該方法被MPEG-7推薦為標(biāo)準(zhǔn)的輪廓線形狀描述.另有一些方法用與輪廓線的曲率特性相關(guān)的幾何量來生成描述子.Alajlan等人[9]提出了一種帶符號的三角形面積表示法來表示形狀輪廓的凸凹特性,該方法用頂點位于輪廓線的三角形的面積來描述形狀,并用相關(guān)的輪廓線的弧長來控制尺度.Mouine等人[10]對該方法進(jìn)行了拓展,除用三角形面積外,三角的邊長、內(nèi)角等幾何量也被用于形狀描述.不同于標(biāo)準(zhǔn)的基于微分的曲率計算法,Manay[11]提出了一種基于積分運(yùn)算的曲率度量方法.該方法用圓心位于輪廓線的圓盤與葉片區(qū)域相交的面積來度量輪廓線的曲率.Kumar等人[12]用該方法計算了不同尺度下輪廓線上點的曲率,構(gòu)成一個多尺度曲率直方圖(HoCS)來描述葉片圖像,并用該方法開發(fā)了一個葉片種類識別系統(tǒng).近年來,Hu等人[13]提出多尺度距離矩陣描述方法,Wang等人[14]提出多尺度拱高描述,Liu[15]提出基于高斯混合模型的形狀描述方法,這些基于輪廓線的描述方法都在Swedish葉片圖像測試集上取得了較好的分類效果.

輪廓線描述方法僅從葉片圖像的輪廓構(gòu)造描述子,而另有一些方法將葉片形狀區(qū)域內(nèi)所有的像素點作為輸入來產(chǎn)生描述子.Du[16]等人提取了葉片圖像的不變矩特征[17]和若干個區(qū)域度量,包括縱橫比、矩形度、凹凸性、偏心率、凸包面積比、凸包周長比等來描述形狀.Wang[18]等人用二值葉片圖像的7個幾何不變矩和16個Zernike矩來描述葉片形狀.文獻(xiàn)[19]將葉片圖像表示為一個2D的二值函數(shù),用基于該函數(shù)的2D傅里葉功率譜生成不變的形狀描述子,該方法在Swedish測試集上,采用1NN分類器,取得了92.27%的精確率,而采用支持向量機(jī)作為分類器,則取得96.53%的分類精確率.文獻(xiàn)[20]用快速Curvelet變換得到3個Curvelet系數(shù),對每一個系數(shù),用其第1個不變矩表征葉片形狀.

除了利用葉片的形狀構(gòu)造描述子之外,葉片圖像的灰度特征也被用來產(chǎn)生描述子.Wu等人[21]用多光譜技術(shù)進(jìn)行綠茶葉片分類.該方法抽取不同波長的綠茶葉片圖像的熵值作為紋理特征,用支持向量機(jī)(SVM)和徑向基函數(shù)(RBF)核函數(shù)可通過100%的精確度確定茶葉類別.Dalcimar等人[22]使用Gabor小波濾波器在更大的葉片數(shù)據(jù)集上進(jìn)行測試,計算每個濾波器響應(yīng)的能量,識別率達(dá)到 84.00%.Chaki[20]采用 Gabor濾波器和灰度共生矩陣(GLCM)提取葉片圖像的紋理特征.Tang[23]將非重疊窗口局部二值模式(LBP)和灰度共生矩陣(GLCM)相結(jié)合,用于綠茶葉片分類,該方法可通過較低的計算成本有效地提取葉片紋理特征.

上述方法由于僅從輪廓線、葉片區(qū)域或灰度級特征中的某一方面來描述葉片圖像,在識別率方面并不十分理想.盡管其中一些方法考慮組合葉片形狀特征和紋理特征去識別葉片圖像,但其算法并不能有效地融合這兩類特征,以使葉片圖像的識別率得到更大的提升.在文獻(xiàn)[24]中,我們首次提出了用圓周與葉片圖像相交的幾何特性來描述葉片圖像,而本文對該想法作了較大的拓展和深化,對3類圓周特征(葉片輪廓、葉片區(qū)域和灰度特征)的有效性進(jìn)行了深入的分析,并提出了一種對這3類圓周特征進(jìn)行有效融合的方法,實驗結(jié)果表明,該方法取得了比現(xiàn)有的葉片圖像描述方法更高的識別率.

3 圓周特征描述方法

本節(jié)提出了一種圓周特征葉片圖像描述方法,下面給出該方法的細(xì)節(jié).

3.1 圖像的預(yù)處理及表示

首先對葉片圖像進(jìn)行預(yù)處理操作,預(yù)處理的步驟如下.

(1) 彩色圖像灰度化,這里采用加權(quán)平均法,它是圖像灰度化最常用的方法,因為由該方法得出的結(jié)果更接近人的視覺感知,公式表示如下:

其中,R,G,B表示彩色圖像中每個像素點顏色的3個分量,即紅、綠、藍(lán)3種顏色,每個分量的取值區(qū)間為0～255,因此通過式(1),一個彩色圖像被變成灰度圖像,將有255個灰度級；

(2) 灰度圖像二值化,本文采用Matlab軟件中的graythresh函數(shù)來計算閾值,該函數(shù)實際采用了Otsu算法進(jìn)行閾值分割,得到的二值圖像函數(shù)如下:

為方便后面的計算,我們將上述函數(shù)變反,即葉片區(qū)域像素點的取值為1,反之為0；

(3) 用經(jīng)典的輪廓跟蹤算法提取葉片的輪廓線,再沿順時針方向?qū)⑤喞€均勻采樣成N個點 Ω={p1,p2,…,pN},由于輪廓線是閉合的,有pi+N=pi和pi-N=pi.

圖2給出了葉片圖像預(yù)處理的流程.經(jīng)過上述操作,我們得到了灰度圖像s(x,y)、二值圖像f(x,y)和均勻采樣后的輪廓線Ω={p1,p2,…,pN}.

Fig.2 Flow chart of the leaf image preprocess圖2 葉片圖像預(yù)處理流程示意圖

3.2 圓周特征

給定輪廓線Ω上的一個點pi和半徑R,我們可以得到一個以pi為圓心,以R為半徑的圓,我們用該圓分別提取葉片圖像的圓心角特征、圓周積分特征和圓周灰度統(tǒng)計特征.

(1) 圓心角

在該圓與輪廓線Ω的所有交點中,求取與圓心pi(xi,yi)距離最近的兩個交點,即從pi點出發(fā),分別按順時針和逆時針方向,遍歷輪廓線所經(jīng)歷的第1個交點,我們將它們分別記為.定義該圓與輪廓線Ω所成的圓心角為以pi為頂點,邊繞點pi沿順時針方向旋轉(zhuǎn)到邊,所轉(zhuǎn)過的角,記為,圖3給出了圓心角的示例.

Fig.3 The illustration of the central angle feature圖3 圓心角示例

我們稱該特征為基于輪廓點pi的圓心角特征,其中,為三角形的面積.不僅能很好地描述葉片輪廓的曲率屬性,并且不需要對特征值進(jìn)行額外的規(guī)范化處理；當(dāng)圖像發(fā)生旋轉(zhuǎn)、平移和縮放時,這3點的相對位置并不發(fā)生改變,因此,它們形成的角度大小不變,則圓心角特征具有內(nèi)在的旋轉(zhuǎn)、平移和縮放的不變性.

(2) 圓周積分

首先計算該圓的周長C=2πR,再在圓周上均勻采樣C=round(c)個點,這里,round()表示四舍五入取整,其中,坐標(biāo)可用下式來計算:

Fig.4 The illustration of the circular integral features圖4 圓周積分特征示例圓周積分特征示例

(3) 圓周灰度統(tǒng)計

為便于提取的灰度特征與前面抽取的形狀特征組合使用,我們首先將葉片區(qū)域的像素點的灰度值用它們的最大值歸一到區(qū)間[0,1].前面我們已對圓周均勻采樣了C個點,其中,j=1,2,…,C,本文對其中落在葉片區(qū)域內(nèi),即滿足的像素點的灰度信息進(jìn)行統(tǒng)計,得到它們的灰度均值和灰度標(biāo)準(zhǔn)差,定義如下:反映了葉片區(qū)域像素點沿圓周的灰度分布的平均水平,而則反映了葉片區(qū)域像素點沿圓周的灰度

?分布的平均波動強(qiáng)度.根據(jù)灰度統(tǒng)計特征的產(chǎn)生機(jī)制,其與圓周積分特征一樣具有平移、旋轉(zhuǎn)、縮放的不變性.圓周灰度統(tǒng)計特征的示例如圖5所示,藍(lán)色點表示圓心,紅色部分表示圓周與葉片區(qū)域相交的部分.

Fig.5 The illustration of the circular gray statistical features圖5 葉片圖像的圓周灰度統(tǒng)計示例

3.3 多尺度的圓周特征描述

人的視覺系統(tǒng)對目標(biāo)的視覺感知具有多尺度的特性,多尺度描述方法可以從不同層級描述葉片形狀,不但可以提取到葉片圖像的全局信息,還能捕捉到葉片圖像的局部細(xì)節(jié).本文提出的葉片圖像的圓周特征具有潛在的多尺度描述能力,通過改變圓的半徑R,可以產(chǎn)生多尺度的葉片圖像描述.

對于輪廓Ω上的點pi(xi,yi),我們?nèi)i為該點與Ω中的最遠(yuǎn)點的歐氏距離的一半,其數(shù)學(xué)定義如下:

由此確定圓的半徑R的取值范圍為(0,Ri].我們在該區(qū)間內(nèi)產(chǎn)生如下K個值:

那么以半徑作為尺度,并讓R分別取上述各值,我們得到了一個具有k級的尺度安排,r0為該尺度安排中的最大尺度,rK-1則為該尺度安排中的最小尺度.需要指出的是,輪廓點改變后,Ri將發(fā)生變化,對應(yīng)的尺度安排也將發(fā)生改變,因此,相較于現(xiàn)有的采用固定尺度的方法(它們一般在同一尺度級下,在輪廓各點都取相同的尺度值),該尺度安排具有局部特性.圖 6～圖 8分別給出多個尺度級的圓心角特征、圓周積分特征和圓周灰度統(tǒng)計特征的示例.

Fig.6 The illustration of the multiscale central angles under four scale levelsr0 ,r1,r2,r3圖6 多尺度的圓心角特征的示例,圖中給出了在4個尺度級r0、r1、r2、r3下的圓心角

我們用葉片圖像的多尺度圓周特征構(gòu)造描述子.對于每一尺度級rk,讓輪廓點索引由1變化至N,得到圓心角特征向量,圓周積分特征向量統(tǒng)計特征向量,以及圓周灰度.

Fig.7 The illustration of the multiscale circular integral features under four scale levelsr0,r1,r2,r3圖7 多尺度的圓周積分特征的示例,圖中給出了在4個r0、r1、r2、r3尺度級的圓周積分

Fig.8 The illustration of the circular gray statistical features under four scale levelsr0,r1,r2,r3圖8 多尺度的圓周灰度統(tǒng)計特征的示例圖,圖中給出了4個尺度級r0、r1、r2、r3的圓周灰度統(tǒng)計特征

如圖9所示,我們對給出的3幅葉片圖像(其中,a和b屬于同一類),繪出了它們的圓周積分特征β在尺度級r0、r1、r2、r3下的曲線,以便觀察圓周特征描述子的多尺度特性.圖中給出的 3幅葉片圖像具有整體形狀的相似性,葉片c與葉片a和b的差異性在于其具有邊緣鋸齒.根據(jù)圓周特征的多尺度描述機(jī)理,其大尺度描述子對形狀的細(xì)節(jié)不敏感,主要側(cè)重于形狀的粗粒度特征,而小尺度描述子則相反,主要刻畫形狀的細(xì)節(jié)信息.而觀察圖像中的4個尺度級r0、r1、r2、r3的特征曲線可以看出,在尺度r0,3幅圖像的特征曲線相互之間非常接近,而當(dāng)尺度逐漸減小(從r0變化到r3),葉片a與葉片b的特征曲線仍然保持相互靠近,而c的特征曲線逐漸遠(yuǎn)離葉片a和b的特征曲線.從圖9給出的特征曲線,可以清楚地觀察到圓周特征描述子的這種多尺度行為特性.

Fig.9 The curves of the circular integral featuresβ under four scale levelsr0,r1,r2,r3 for leaf images a,b and c(leaf a and leaf b blong to the same class)圖9 3幅樹葉圖像a、b、c(其中,a與b為同一類)的圓周積分特征β在尺度級r0、r1、r2、r3下的曲線

需要指出的是,本文提出的圓周特征描述子通過抽取圓心角和圓周積分特征描述葉片的形狀,通過抽取圓周灰度統(tǒng)計特征描述葉片的灰度信息.現(xiàn)有的葉片圖像識別方法大多僅通過形狀特征來進(jìn)行識別.而本文提出的圓周特征描述子,通過圓周與葉片圖像相交的幾何特性,有效地組合了葉片的形狀特征和灰度信息,從而具有較高的識別能力.我們在圖10中給出了一個例子,以進(jìn)一步說明圓周特征描述子的描述能力.圖10給出了3幅葉片灰度圖像(a和b屬于同一類),從形狀上看,它們非常相似,難以區(qū)分.圖中繪出了這3幅葉片圖像的圓心角特征α、圓周積分β、灰度統(tǒng)計特征μ和δ的特征曲線.對于各類特征,圖中還給出了葉片a的特征曲線分別與葉片b和葉片c的特征曲線的L1距離,以便于量化比較.從該圖可以看出,3幅圖像的圓心角特征α、圓周積分β曲線都非?？拷?如果僅依據(jù)該兩類特征進(jìn)行識別,就會將葉片a誤識別為與葉片c同一類.而觀察該圖的灰度統(tǒng)計特征μ和δ的特征曲線,葉片a和b的曲線相互靠近,而葉片c的曲線則遠(yuǎn)離葉片a和b的曲線.說明葉片c有著與a和b顯然不同的灰度信息,依據(jù)灰度統(tǒng)計特征,葉片a可以正確地識別為與葉片b同屬一類.

Fig.10 The curves of the central angle featureα,the circular integral featureβ,the circular gray statistical feature μ and circular gray statistical featureδ at scale levelr0 for leaf images a,b and c (a and b belong the same class),|.| denote theL1 distance between two curves圖10 3幅樹葉圖像a、b、c(其中,a與b為同一類)的圓心角特征α、圓周積分特征β、灰度統(tǒng)計特征μ和δ在尺度級r0下的曲線,|.|表示兩條曲線的L1距離

3.4 歸一化描述

本文提出的圓心角特征、圓周積分特征和圓周灰度統(tǒng)計特征已滿足平移、旋轉(zhuǎn)和縮放的不變性,但是由于葉片的輪廓線是一條閉合曲線,任意輪廓點都可以作為輪廓線的起始點,因此為得到歸一化的描述,我們僅需將描述子進(jìn)行始點歸一.我們用離散傅里葉變換來完成這一任務(wù).對尺度級rk下的圓心角序列,其離散傅里葉變換為

因輪廓起始點的變化僅改變傅里葉系數(shù)的相位信息,對于上述傅里葉系數(shù)序列,我們只取每個系數(shù)的幅度值,同時,為了使描述子更加緊致且對噪聲更具魯棒性,我們?nèi)∏癕個系數(shù)(M<

自此,我們得到了完全不依賴于形狀的平移、旋轉(zhuǎn)、縮放和輪廓線起始點的5類特征α、β、γ、μ和δ.但這5類特征一般有著不同的數(shù)量級,將它們組合使用去完成葉片圖像的分類和檢索任務(wù),可能會出現(xiàn)某類高數(shù)量級的特征在比較中處于支配地位,而使得其他低數(shù)量級的特征失效的問題.我們進(jìn)一步對它們進(jìn)行數(shù)量級的歸一.因為本文的工作主要是為了完成葉片圖像的分類和檢索任務(wù),在分類任務(wù)中,我們用訓(xùn)練集中的所有圖像,而對檢索任務(wù),我們用所有的數(shù)據(jù)庫圖像,來對這5類特征進(jìn)行數(shù)量級的歸一.這里,我們以執(zhí)行分類任務(wù)對圖像的圓周特征描述的α特征的數(shù)量級歸一為例,闡述其操作步驟如下.

(1) 對每一幅訓(xùn)練集圖像,計算其α特征的所有尺度的 0階傅里葉系數(shù)的均值,得到訓(xùn)練集圖像的索引號；

(3) 用Mα對所有的樣本(包括訓(xùn)練集和測試集)的α特征向量進(jìn)行歸一,即用特征向量α/Mα替換原來的特征向量α.

對特征μ和δ,我們進(jìn)行同樣的歸一化操作.但對特征β和γ的歸一化處理稍有不同.由β和γ的定義(見公式(5)),它們同屬圓周積分特征,分別計算的是圓周的內(nèi)弧和外弧與葉片區(qū)域相交的長度.用它們各自的Mβ和Mγ去進(jìn)行特征歸一,不能保持內(nèi)弧積分特征和外弧積分特征的原有比例關(guān)系這一有用的信息.為此,在上述歸一化操作的第3步,我們用max(Mβ,Mγ)去歸一所有樣本的β特征向量和γ特征向量.經(jīng)過上述歸一化操作,各類特征將具有同樣的數(shù)量級,方便在后續(xù)形狀特征的比較中對它們組合使用.對于執(zhí)行圖像檢索任務(wù),處理方法相似,不同的是,執(zhí)行歸一操作時,用的是所有的數(shù)據(jù)庫圖像,而不是訓(xùn)練集圖像(檢索任務(wù)沒有訓(xùn)練集),用計算的均值對所有樣本(包括檢索圖像和數(shù)據(jù)庫圖像)進(jìn)行歸一操作.

3.5 差異性度量

給定葉片圖像A和B,抽取它們的歸一化的圓周特征描述{αA,βA,γA,μA,δA}和{αB,βB,γB,μB,δB}.它們之間的距離定義為

其中,|.|表示L1距離.較小的dis(A,B)表示葉片A和葉片B之間有著較大的相似度,而dis(A,B)越大,則說明它們的差異越大.這里需要說明的是,在圓周特征描述中,圓心角特征α描述葉片圖像的輪廓線特征,圓周積分特征β和γ描述的是葉片區(qū)域的幾何特征,而圓周灰度統(tǒng)計特征μ和δ描述的是葉片圖像的灰度特征.因為在描述子中,圓心角特征只有一個特征向量,而圓周積分和圓周灰度特征各有兩個特征向量,為保證這 3類特征在特征比較中的特征數(shù)的平衡,在公式(16)中,對后兩類特征進(jìn)行了除2處理.

4 實驗結(jié)果及分析

本文的實驗平臺是一臺操作系統(tǒng)為Windows 10、CPU為Intel(R) Core(TM) i5、內(nèi)存8GB的個人計算機(jī),算法的編程實現(xiàn)工具為MATLAB R2010b.我們通過將本文提出的算法分別應(yīng)用于葉片圖像檢索和葉片圖像的分類,以驗證本文提出的算法的有效性.在實驗中,本文提出的算法的參數(shù)設(shè)置為:輪廓線采樣點的個數(shù)為256,所用的尺度個數(shù)為7,傅里葉變換中保留的傅里葉系數(shù)的個數(shù)為7.

4.1 葉片圖像檢索實驗

為了進(jìn)行葉片圖像檢索實驗,我們選用了著名的Flavia葉片圖像測試集[1].該測試集包含32種總共1 907個葉片樣本,每類包含50～72個樣本,大部分采自中國長江三角地區(qū),如中國七葉樹、紫荊、銀杏樹、廣玉蘭等.圖11給出了每一類的一個樣本,由該圖可以看出,許多樣本在形狀特征上具有很大的相似性,為正確區(qū)分它們帶來了挑戰(zhàn).

Fig.11 Image samples of 32 types of leaf samples in Flavia data set[1]圖11 Flavia數(shù)據(jù)集中的32類葉片樣本圖像示例[1]

已有許多方法[10,13,14,25,26]在該測試集上報告了結(jié)果,在實驗中,我們采用標(biāo)準(zhǔn)的檢索性能評估方法.常見的評估方法有兩種,一種是查準(zhǔn)率(precision)/查全率(recall)曲線法[10,14],另一種是平均精度均值(mean average precision,簡稱MAP)法[10,14,19].查準(zhǔn)率/查全率定義如下:

這里,n1是一次查詢返回的樣本的個數(shù),r是返回的圖像中與查詢圖像屬于同一類的個數(shù),n2是數(shù)據(jù)集中與查詢圖像屬于同一類的圖像個數(shù).查準(zhǔn)率是測量查詢的精度,而查全率則是測量從數(shù)據(jù)集中檢索相似形狀的能力.以數(shù)據(jù)集中每一幅圖像作為查詢樣本,與測試集中所有圖像進(jìn)行匹配,即計算它們之間的形狀差異度,再根據(jù)差異度由小到大,對返回的圖像進(jìn)行排序.對于每一個待查詢的形狀,令查全率從10%～100%發(fā)生變化,并計算所對應(yīng)的查準(zhǔn)率,由此繪出查準(zhǔn)率/查全率曲線.這里給定查全率,對應(yīng)的查準(zhǔn)率的計算方法為:根據(jù)公式(17),計算出返回圖像中與查詢圖像屬于同一類的個數(shù),再在排好序的圖像中確定應(yīng)返回的圖像個數(shù),從而計算查準(zhǔn)率,最后計算所有查詢圖像的查準(zhǔn)率的平均,得到平均查準(zhǔn)率.

對于平均精度均值MAP法,精度均值(average precision,簡稱AP)定義為

其中,n表示檢索中返回的圖像的個數(shù),p(j)是前j最佳匹配的準(zhǔn)確率,g(j)是標(biāo)記函數(shù),當(dāng)?shù)趈個最佳匹配與查詢圖像屬于同一類時為1,否則為0,Q表示數(shù)據(jù)集中與查詢圖像屬于同一類的圖像個數(shù).計算出所有查詢圖像的AP值,求均值后便可得到MAP值.

為了驗證本文提出的圓周特征描述法的有效性和優(yōu)越性,本文選取了近年來發(fā)表的 5種具有良好性能的葉片圖像檢索算法進(jìn)行比較:三角形面積法(TAR)[10]、多尺度距離矩陣(MDM)[13]、內(nèi)距離形狀上下文(IDCS)[5]、三角形邊長角度法(TSLA)[10]、多尺度拱形高度法(MARCH)[14].其中,多尺度距離矩陣(MDM)有多種不同的版本,我們選取的是效果最好的版本.在圖 12中,我們繪制了本文提出的算法和其他參與比較的算法的查準(zhǔn)率/查全率曲線.從該圖可以看出,對給定的每一個查全率,本文提出的圓周特征描述法都取得了比其他 5種方法更高的查準(zhǔn)率.當(dāng)查全率為 5%時,即平均每次查詢返回 2～3個與待查詢?nèi)~片最相似的葉片樣本,圓周特征描述法的查準(zhǔn)率達(dá)到了98.95%,比其他兩種最好方法MARCH[14]高和TSLA[10]分別高出了2.62%和5.49%；當(dāng)查全率達(dá)到50%時,即測試集中與待查詢樣本的同類樣本數(shù)的一半被返回時,圓周特征描述法的查準(zhǔn)率達(dá)到84.97%,分別高于其他兩種最好方法MARCH[14]和TSLA[10]達(dá)7.78%和11.75%.當(dāng)查全率達(dá)到100%時,圓周特征描述法的查準(zhǔn)率為29.88%,仍然高于其他參與比較的算法.

Fig.12 The precision/recall curves of the proposed circular features description and the other compared methods on the Flavia dataset圖12 在Flavia測試集上本文提出的圓周特征描述法和其他方法的查準(zhǔn)率/查全率曲線

本文提出的方法和其他5種參與比較的方法的MAP值,均在表1中列出.從該表可以看出,本文提出的圓周特征描述法取得了最高的MAP值79.9%,比方法TAR[10]、MAM-RM[13]、IDSC[5]、TSLA[10]和MARCH[14]分別高出了27.1%、20.8%、20.0%、10.0%、6.9%.值得指出的是,我們查閱了現(xiàn)有的在該測試集上公開報道的MAP值,本文提出的算法所報告的結(jié)果是目前的最好結(jié)果.以上數(shù)據(jù)表明,本文提出的算法的檢索性能要優(yōu)于其他葉片圖像檢索算法.

由于圓周特征描述法是一個多尺度描述子,我們做了另一組實驗來研究尺度個數(shù)K的選取對實驗結(jié)果的影響.在實驗中,我們讓尺度個數(shù)由1～11變化,并得到所對應(yīng)的MAP值,將實驗結(jié)果在圖13中繪制成折線圖.從該圖可以看出,當(dāng)僅取一個尺度時,即只取尺度安排中的最大尺度時,MAP值只有 59.2%,說明此時描述能力較弱,此時描述子只能描述出葉片的全局特征.隨著尺度個數(shù)K的增加,描述的粒度越來越小,捕捉葉片圖像的細(xì)節(jié)特征的能力越來越強(qiáng),直到K為7時,MAP達(dá)到最高:79.9%,而當(dāng)K再取更大的值時,MAP值并沒有繼續(xù)增長,其原因是,當(dāng)圓的半徑足夠小時,圓內(nèi)所包含的葉片像素點只有圓心甚至一個像素點也沒有,此時的尺度級已不具描述能力,因此我們以為取7個尺度級就能很好地完成葉片圖像檢索任務(wù).

Table 1 The comparisons of the MAP value of the proposed circular features description method with the other methods on Flavia data set表1 在Flavia數(shù)據(jù)集上的本文提出的圓周特征描述法與其他方法的MAP值的對比

Fig.13 The MAP scores of the proposed methods of taking various number of scale levelsKon the Flavia dataset圖13 在Flavia數(shù)據(jù)集上,本文提出的方法在尺度個數(shù)K取不同值情況下相應(yīng)的MAP值

本文提出的圓周特征描述法包括 3類特征:圓心角特征、圓周積分特征和圓周灰度統(tǒng)計特征,為研究它們在葉片圖像檢索中的貢獻(xiàn),我們做了另外 4組實驗:(1) 僅使用圓心角特征α；(2) 僅使用圓周積分特征β+γ；(3)僅使用圓周灰度統(tǒng)計特征μ+δ；(4) 所有特征組合α+β+γ+μ+δ.表 2中給出了該組實驗的結(jié)果.

Table 2 The MAP scores of using various kinds of circular features on the Flavia dataset表2 在Flavia數(shù)據(jù)集上,使用各類圓周特征描述的MAP值

從表2可以看出,本文提出的圓周特征描述在單獨使用某一類特征的情況下,圓心角特征的MAP值最高,達(dá)到了 71.91%,檢索效果最好,其次是圓周積分特征,MAP值為 60.37%,單獨使用圓周灰度統(tǒng)計特征時,MAP為44.97%,而組合所有的圓周特征,MAP達(dá)到79.94%.該組實驗說明,葉片圖像的輪廓線特征在識別中起到的作用最大,區(qū)域特征次之,灰度特征再次,這一結(jié)果也與葉片的實際識別依據(jù)相一致.但這3種特征組合使用可以彌補(bǔ)它們單個使用的不足,如形狀非常相似的葉片,再加入它們的灰度特征,將會明顯地提高識別效果.

4.2 葉片圖像分類實驗

為進(jìn)行葉片圖像分類性能的評估,我們選用了著名的 Swedish[2]測試集.該測試集中樣本采自瑞典,其中有15種類,每類有75個樣本,總共1 125幅圖像.圖14對其中的每一類給出了一個樣本,它們包括挪威楓、榆樹、夏櫟、灰榿木、椴樹、爆竹柳等.

Fig.14 15 speccies from the Swedish leaf dataset[2]圖14 Swedish數(shù)據(jù)集中的15類葉片樣本圖像示例[2]

現(xiàn)有算法[5,6,10,13-15,19]在該測試集上的分類性能評估方法是:將 Swedish[20]數(shù)據(jù)集每類 75個樣本圖像隨機(jī)分為25個訓(xùn)練樣本和50個測試樣本,因此總共有25×15=375個訓(xùn)練樣本構(gòu)成訓(xùn)練集,50×15=750個測試樣本構(gòu)成測試集,計算測試集中每個圖像和訓(xùn)練集中的每個樣本的相似度,并用最鄰近分類器(1-NN)進(jìn)行分類,即得到的與待測葉片樣本最相似的葉片圖像若與待測樣本屬于同一類,則認(rèn)為是一次正確的分類,統(tǒng)計所有測試的正確率記為分類率.在實驗中,我們采用與該方法相同的分類性能評估方法.由于測試集和訓(xùn)練集是隨機(jī)劃分的,與現(xiàn)有的算法[5,6,10,13-15,19]一樣,我們將實驗重復(fù)執(zhí)行10次,取其平均值.本文提出的圓周特征算法的有關(guān)參數(shù)與在Flavia測試集上的參數(shù)相同.為進(jìn)一步評估本文提出的圓周特征描述方法的分類性能,我們還將基于監(jiān)督學(xué)習(xí)的分類器引入該分類實驗,將訓(xùn)練集中的樣本的圓周特征描述子作為支持向量機(jī)(SVM)的輸入,用得到的分類器對測試集中的樣本進(jìn)行分類,統(tǒng)計分類率.在實驗中,我們所用的SVM程序為文獻(xiàn)[27]的作者提供的源代碼LIBSVM.

在表3中,我們給出了本文提出的圓周特征描述法在Swedish測試集上,分別采用1-NN分類器和SVM分類器的分類率.為與其他方法進(jìn)行對比,表3也列出了近年來在該測試集報告了較好結(jié)果的其他8種算法,這些方法大都報告了采用 1-NN分類器的分類率,文獻(xiàn)[19]中所提方法則報告了采用 SVM分類器的分類率.從該表可以看出,本文提出的方法在Swedish測試集上采用1-NN分類器,取得了98.84%的分類率,已高于其他參與比較的各種方法,值得指出的是,我們查閱了現(xiàn)有的在該測試集上公開報道的分類率,本文提出的算法所報告的結(jié)果是目前所見到的最好結(jié)果.而采用基于監(jiān)督學(xué)習(xí)的分類器SVM,本文所提方法的分類率又比98.84%的分類率進(jìn)一步提高了0.18%,達(dá)到了99.02%.該實驗結(jié)果表明,本文提出的葉片圖像描述方法在葉片圖像的分類性能方面優(yōu)于現(xiàn)有其他方法,證明了本文提出的方法的有效性以及相較于其他方法的優(yōu)越性.

Table 3 Comparison of classification rate of circular features description method proposed in this paper and other methods on Swedish dataset表3 Swedish數(shù)據(jù)集上本文提出的圓周特征描述法和其他方法的對比

5 結(jié) 論

本文提出了描述葉片圖像的圓周特征描述方法.該方法通過圓心位于輪廓線的圓,從葉片圖像提取了葉片圖像的輪廓線特征——圓心角、形狀區(qū)域特征——圓周積分特征、灰度特征——圓周灰度統(tǒng)計特征,從而比其他方法更為全面地描述了葉片圖像,且抽取的特征具有內(nèi)在的平移、旋轉(zhuǎn)、縮放的不變性.本文所提出的多尺度的描述框架,使得描述子能由粗到細(xì)地描述葉片特征.這種對葉片的形狀和灰度特征的全面描述和多尺度的安排,使得本文提出的方法具有非常強(qiáng)的葉片識別能力.在著名的Flavia葉片圖像測試集上的檢索實驗和Swedish葉片圖像測試集上的分類實驗,都獲得了比其他現(xiàn)有的葉片圖像描述方法更高的精確率,證明了本文提出的算法的有效性.