基于Fourier描述子和LBP相結(jié)合的植物葉片識別方法

張善文 張晴晴 齊國紅

摘要：針對植物葉片的復(fù)雜性導(dǎo)致基于葉片植物識別的識別率較低的問題，提出一種基于Fourier描述子和局部二值模式（local binary pattern，簡稱LBP）相結(jié)合的植物葉片識別方法。首先，利用Canny算法提取葉片的邊緣圖像，計(jì)算其中心-邊緣距離序列的傅里葉變換，得到葉片圖像的改進(jìn)Fourier描述子;然后，提取葉片圖像的局部二值模式特征;再利用判別典型相關(guān)分析算法將植物葉片的Fourier描述子和LBP特征進(jìn)行融合，得到1個(gè)有利于分類的聯(lián)合映射矩陣，由此將2類特征映射為1個(gè)低維特征向量;然后利用K-最近鄰分類器進(jìn)行植物識別。在公開的智能計(jì)算實(shí)驗(yàn)室（intelligent computing laboratory，簡稱ICL）葉片圖像數(shù)據(jù)庫上進(jìn)行分類試驗(yàn)，識別率高達(dá)94%以上。結(jié)果表明，提出的方法是有效可行的，該研究能夠?yàn)橹参镂锓N自動(dòng)識別系統(tǒng)提供技術(shù)參考。

關(guān)鍵詞：植物識別;植物葉片圖像;邊界角點(diǎn)序列;傅里葉描述子;改進(jìn)傅里葉描述子

中圖分類號： TP391.41 ?文獻(xiàn)標(biāo)志碼： A ?文章編號：1002-1302（2019）14-0273-04

利用葉片圖像進(jìn)行植物識別是計(jì)算機(jī)視角、圖像處理和植保等領(lǐng)域一個(gè)重要的研究方向[1-2]?；谥参锶~片圖像的植物識別方法研究一直是最直接、簡單和最有效的方法，也是生態(tài)學(xué)、模式識別、圖像處理、計(jì)算機(jī)科學(xué)等很多領(lǐng)域的一個(gè)重要研究方向，已經(jīng)涌現(xiàn)出了很多基于葉片圖像的植物識別方法和技術(shù)[3-6]。但由于植物葉片的顏色、紋理和形狀的復(fù)雜多樣性以及很多同類葉片存在較大差異性，而不同類葉片存在極大相似性，使得很多方法的實(shí)際識別效果不高，還不能滿足植物物種自動(dòng)識別系統(tǒng)需要[6]。葉片形狀表示葉片圖像的輪廓，是植物物種自動(dòng)識別的重要特征[2]。由于植物葉片邊緣的歸一化傅里葉描述子具有旋轉(zhuǎn)、縮放和平移等不變性，所以被廣泛應(yīng)用于基于葉片的植物識別中[7]。然而這些紋理特征過于單一，識別率并不十分理想。近年來，研究者將葉片形狀特征與紋理特征相結(jié)合以得到更高的識別率。張寧等將葉片幾何特征、灰度共生矩陣紋理特征、分形維數(shù)等多種特征相結(jié)合進(jìn)行植物識別[8]。丁嬌等將葉片形狀特征與紋理特征結(jié)合的同時(shí)，使用局部線性嵌入算法對特征降維[9]。付波等為解決由于植物葉片特征的相似性以及葉片旋轉(zhuǎn)導(dǎo)致植物識別率較低的問題，提出一種基于降維局部二值模式（local binary pattern，簡稱LBP）與葉片形狀特征相結(jié)合的植物葉片識別方法[10]。劉念等將LBP、灰度共生矩陣、Gabor濾波后的紋理特征與Hu不變矩、傅里葉算子等輪廓特征相結(jié)合，并利用深度信念網(wǎng)絡(luò)作為分類器構(gòu)架，提高了葉片識別率，但該方法特征計(jì)算時(shí)間以及訓(xùn)練時(shí)間過長，影響了算法識別效率[11]。由于有些同類植物葉片之間的差異可能較大（圖1-A），而有些異類葉片之間的差異可能較?。▓D1-B），導(dǎo)致現(xiàn)有一些植物識別方法的識別率不高。典型相關(guān)分析（canonical correlation analysis，簡稱CCA）是一種重要的研究2組異構(gòu)數(shù)據(jù)之間相關(guān)關(guān)系的多元統(tǒng)計(jì)分析算法。與傳統(tǒng)的特征抽取組合算法僅僅將多個(gè)特征或多組特征向量累積成一個(gè)高維向量的簡單方式相比，CCA能夠揭示二組特征之間的相關(guān)性，提取出的特征在模式分類中更具有鑒別力[12]。本研究在CCA的基礎(chǔ)上提出一種基于局部判別CCA的植物分類方法，并在智能計(jì)算實(shí)驗(yàn)室（intelligent computing laboratory，簡稱ICL）葉片圖像數(shù)據(jù)庫上進(jìn)行試驗(yàn)驗(yàn)證。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)所用的植物葉片圖像數(shù)據(jù)庫（http：//www.intelengine.cn/dataset/index.html）來源于中國科學(xué)院合肥智能機(jī)械研究所智能計(jì)算實(shí)驗(yàn)室。該數(shù)據(jù)庫包括220種植物的 16 851 個(gè)樣本，每種植物葉片的數(shù)目不一，最少的是五葉地錦，只有26幅葉片圖像;最多的是紫穗槐，有1 078幅葉片圖像。為使每種植物包含的葉片圖像數(shù)差別不過大，從該數(shù)據(jù)庫中選擇50種植物，每種植物選擇不同季節(jié)、光照和角度等拍攝條件下的30幅圖像。部分葉片圖像如圖2所示。

1.2 試驗(yàn)方法

植物葉片圖像的邊緣包含植物識別的大部分分類信息，是植物葉片圖像分割和分類的重要特征。Canny邊緣提取算法是一種簡單、實(shí)用的邊緣檢測方法，具有較好的邊緣檢測性能，在復(fù)雜圖像檢測和識別中得到了廣泛應(yīng)用[13-14]。傅里葉描述子（Fourier descriptor，簡稱FD）是一種計(jì)算簡單、抗噪性強(qiáng)的形狀特征描述方式[15]。由于其每個(gè)描述符都有具體物理意義，能夠兼顧全局及局部特征，適合植物葉片圖像特征描述。局部二值模式（local binary pattern，簡稱LBP）是一種有效的紋理提取算法，計(jì)算簡單且紋理特征豐富，近年來在圖像分類與識別中應(yīng)用比較廣泛。本研究在Canny邊緣提取算法、Fourier描述子、LBP的基礎(chǔ)上，提出1種植物識別方法，其流程如圖3所示。

2 結(jié)果與分析

在MATLAB 2010環(huán)境下實(shí)現(xiàn)本研究提出的植物識別方法，試驗(yàn)硬件平臺為英特爾雙核T6600處理器、主頻2.2 GHz和2GBDD R3內(nèi)存。

采用5-折交叉驗(yàn)證算法進(jìn)行植物識別試驗(yàn)，即將所有歸一化后的融合特征向量數(shù)據(jù)集隨機(jī)分為5個(gè)元素?cái)?shù)量相同的子集，每次將其中1個(gè)子集作為測試集，剩下4個(gè)子集作為訓(xùn)練集進(jìn)行訓(xùn)練，得到5個(gè)識別結(jié)果，再計(jì)算其平均值作為1次劃分的識別結(jié)果。本研究進(jìn)行50次重復(fù)的5-折交叉驗(yàn)證試驗(yàn)，計(jì)算50次試驗(yàn)結(jié)果的平均值，并與4種較新的基于葉片形狀描述子的植物識別方法進(jìn)行試驗(yàn)比較：基于局部描述子的植物識別方法（local descriptor，簡稱LD）[5]、基于 D-LLE 算法的多特征植物識別方法（D-locally linear embedding，簡稱D-LLE）[10]、基于降維LBP與葉片形狀特征的植物識別方法（LBP+shape）[12]、基于周期小波描述子的植物識別方法（PWD）[16]。

圖4為1幅葉片圖像的原圖像、二值化圖像、邊緣中心角點(diǎn)距離、中心角點(diǎn)距離、LBP圖像、中心角點(diǎn)距離序列和128點(diǎn)的歸一化Fourier描述子。圖5為圖4中灰度圖的LBP圖像及其直方圖。表1為5種方法的識別結(jié)果，比較的指標(biāo)為植物物種的正確識別率、方差和識別時(shí)間。

由表2可知，本研究提出的方法的識別結(jié)果最好。其原因是本研究方法提取的Fourier描述子與LBP相融合的特征向量能夠比較準(zhǔn)確地描述植物葉片的形狀特征，而且具有平移、旋轉(zhuǎn)和縮放不變性，且與角點(diǎn)序列中的起始點(diǎn)無關(guān)。

3 結(jié)論

在傳統(tǒng)傅里葉描述子和LBP的基礎(chǔ)上，提出了1種基于Fourier描述子和LBP相結(jié)合的植物識別方法。通過對平移、旋轉(zhuǎn)、尺度變換的葉片圖像提取傅里葉描述子，再通過LBP提取葉片圖像的紋理特征，然后利用CCA對2類特征進(jìn)行特征融合，得到的特征對圖像的平移、旋轉(zhuǎn)和縮放能夠保持不變，具有較高的形狀區(qū)分能力。在ICL葉片圖像數(shù)據(jù)庫上的試驗(yàn)結(jié)果表明，本研究方法能夠有效地進(jìn)行植物識別。下一步研究將葉片圖像的形狀特征與紋理特征相結(jié)合，以提高植物識別率。

參考文獻(xiàn)：

[1]張 寧，劉文萍. 基于圖像分析的植物葉片識別技術(shù)綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2011，28（11）：4001-4007.

[2]Waeldchen J，Maeder P. Plant species identification using computer vision techniques：a systematic literature review[J]. Archives of Computational Methods in Engineering，2018，25（2）：507-543.

[3]Chaki J，Parekh R，Bhattacharya S. Plant leaf recognition using texture and shape features with neural classifiers[J]. Pattern Recognition Letters，2015，58：61-68.

[4]Neto J C，Meyer G E，Jones D D，et al. Plant species identification using Elliptic Fourier leaf shape analysis[J]. Computers and Electronics in Agriculture，2006，50（2）：121-134.

[5]趙 洋. 基于局部描述子的紋理識別方法及其在葉片識別中的應(yīng)用[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2013.

[6]Bhardwaj A，Kaur M，Kumar A. Recognition of plants by leaf image using moment invariant and texture analysis[J]. International Journal of Innovation and Applied Studies，2013，3（1）：237-248.

[7]程 瓊，莊留杰，付 波. 基于傅立葉描述子和人工神經(jīng)網(wǎng)絡(luò)的步態(tài)識別[J]. 武漢理工大學(xué)學(xué)報(bào)，2008，30（1）：126-129.

[8]張 寧，劉文萍. 基于克隆選擇算法和K近鄰的植物葉片識別方法[J]. 計(jì)算機(jī)應(yīng)用，2013，33（7）：2009-2013.

[9]丁 嬌，梁 棟，閻 慶. 基于D-LLE算法的多特征植物葉片圖像識別方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2015，51（9）：158-163.

[10]付 波，楊 章，趙熙臨，等. 基于降維LBP與葉片形狀特征的植物葉片識別方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2018，54（2）：173-176，187.

[11]劉 念，闞江明. 基于多特征融合和深度信念網(wǎng)絡(luò)的植物葉片識別[J]. 北京林業(yè)大學(xué)學(xué)報(bào)，2016，38（3）：110-119.

[12]Hardoon D R，Szedmak S，Shawe-Taylor J. Canonical correlation analysis：An overview with application to learning methods[J]. Neural Computation，2004，16（12）：2639-2664.

[13]王小華，錢月晶. 一種改進(jìn)的Canny邊緣檢測算法[J]. 機(jī)電工程，2008，25（12）：60-63.

[14]曾 崢，李 彥，儲海平. 一種改進(jìn)的基于模糊增強(qiáng)的Canny邊緣提取算法[J]. 科學(xué)技術(shù)與工程，2009，9（18）：5538-5542.

[15]余超超，侯 進(jìn)，侯長征. 基于顯著圖與傅里葉描述子的交通標(biāo)志檢測[J]. 計(jì)算機(jī)工程，2017，43（5）：28-34.

[16]Zeng Q M，Zhu T L，Zhuang X E，et al. Using the periodic wavelet descriptor of plant leaf to identify plant species[J]. Multimedia Tools and Applications，2017，76（17）：17873-17890.