基于分段面積比的植物葉片圖像識(shí)別方法研究

殷云霞 孟慶全 徐先韜

(安徽中醫(yī)藥大學(xué)醫(yī)藥信息工程學(xué)院， 合肥 230012)

不同植物的葉片形態(tài)多樣，但每種植物的葉片又具有相對(duì)穩(wěn)定的形態(tài)特征。植物葉片形態(tài)特征的穩(wěn)定性，是人們借助計(jì)算機(jī)通過(guò)葉片圖像來(lái)識(shí)別植物的基本依據(jù)。圍繞葉片識(shí)別問(wèn)題，學(xué)者們從不同角度進(jìn)行了研究[1-4]。但在實(shí)踐中，要提取葉片的幾何特征和紋理特征仍然存在計(jì)算過(guò)程復(fù)雜和運(yùn)算量大的問(wèn)題。為實(shí)現(xiàn)對(duì)植物葉片的快速識(shí)別，并力求運(yùn)算簡(jiǎn)便，我們認(rèn)為可以采用基于葉片分段面積比的葉片形態(tài)特征提取方法。

1 葉片識(shí)別流程

按照基于葉片分段面積比的葉片形態(tài)特征提取方法，葉片圖像識(shí)別流程主要包括葉片采集與成像、葉片圖像預(yù)處理、等分分段處理、計(jì)算等分面積比、形成樣本數(shù)據(jù)集、樣本訓(xùn)練及葉片識(shí)別等環(huán)節(jié)(見(jiàn)圖1)。

1.1 葉片采集與成像

采集多種植物葉片，借助數(shù)碼相機(jī)制作葉片的數(shù)字圖像。本次實(shí)驗(yàn)，從安徽中醫(yī)藥大學(xué)的藥用植物園中，采集了白英、杜仲、枸杞、雞矢藤、夾竹桃、臘梅、枇杷、篇蓄、桑葉、烏桕、烏斂草、喜樹(shù)、山茶、杏、玉蘭、樟樹(shù)、銀杏、桂枝等18種植物的葉片，每種 5～10片。運(yùn)用佳能PowerShot SX720系列2030萬(wàn)像素的相機(jī)，將每張葉片都制成數(shù)字圖像。

1.2 葉片圖像預(yù)處理

通過(guò)圖像預(yù)處理，獲得圖像中的葉片輪廓，這是保證準(zhǔn)確提取葉片特征的關(guān)鍵。葉片圖像預(yù)處理操作主要包括灰度轉(zhuǎn)換、自動(dòng)閾值分割、形態(tài)學(xué)處理和旋轉(zhuǎn)4個(gè)環(huán)節(jié)。在實(shí)驗(yàn)中，我們采用的是matlab7.0數(shù)學(xué)軟件，葉片圖像預(yù)處理效果如圖2所示。

(1) 灰度轉(zhuǎn)換。利用加權(quán)公式GRAY=0.3R+0.59G+0.11B(其中：R、G、B分別對(duì)應(yīng)RGB彩色圖像中的紅色、綠色和藍(lán)色分量值)，將彩色葉片圖像轉(zhuǎn)換為灰度圖像。使用灰度圖像，可以大大減少圖像處理計(jì)算量。

(2) 閾值分割。采用大津閾值法(OTSU)[5]，將灰度圖像轉(zhuǎn)化為便于提取葉片邊緣輪廓的二值圖像。通常來(lái)說(shuō)，二值圖像的前景部分具有提取葉片區(qū)域的顯著標(biāo)識(shí)。

(3) 形態(tài)學(xué)處理。采集的植物葉片可能存在孔洞、雜點(diǎn)等情況。因此，在數(shù)碼成像后，需要對(duì)這些“噪音”進(jìn)行去除。采用圖像處理中常用的形態(tài)學(xué)方法，對(duì)二值圖像進(jìn)行膨脹、腐蝕處理[5]，可以解決“噪音”的問(wèn)題。通過(guò)膨脹操作，使邊界向外部擴(kuò)張。使用matlab7.0下的imdilate函數(shù)，可以快速完成該任務(wù)，填補(bǔ)葉片中的孔洞。通過(guò)腐蝕操作，使邊界向內(nèi)部收縮。使用matlab7.0下的imerode函數(shù)，可以進(jìn)行圖像腐蝕，消除小且無(wú)意義的物體如雜點(diǎn)。葉片圖像經(jīng)過(guò)膨脹、腐蝕處理后，提取其邊緣圖像。

圖1 基于圖像分段面積比進(jìn)行圖像識(shí)別的流程

圖2 葉片圖像預(yù)處理效果例示

(4) 旋轉(zhuǎn)。根據(jù)葉片二值圖像找出邊緣點(diǎn)之間的最遠(yuǎn)路徑，并依據(jù)這個(gè)路徑形成直線；然后計(jì)算這條直線與圖像橫軸之間的夾角，并以此夾角作為旋轉(zhuǎn)的角度，分別對(duì)二值圖像和灰度圖像進(jìn)行旋轉(zhuǎn)處理，從而得到去掉多余部分的預(yù)處理圖像。

1.3 葉片圖像特征提取

將預(yù)處理后的葉片二值圖像，繞葉片橫軸線進(jìn)行逆時(shí)針旋轉(zhuǎn)，從0°開(kāi)始旋轉(zhuǎn)至90°。圖像每旋轉(zhuǎn)5°，求取一次該圖像的外接矩形，測(cè)量記錄該矩形的長(zhǎng)(Ai)和寬(Bi)，計(jì)算該外接矩形的面積 。旋轉(zhuǎn)完畢，可計(jì)算獲得該葉片圖像的外接矩形最小面積(Areamin)值，得到該圖像的最小外接矩形。

在葉片圖像最小外接矩形測(cè)算過(guò)程中，由于圖像的對(duì)稱性，只需將圖像旋轉(zhuǎn)90°即可找出相應(yīng)矩形，而不必旋轉(zhuǎn)360°。此外，如果減小圖像旋轉(zhuǎn)的步長(zhǎng)，比如從5°減小為2°，則運(yùn)算結(jié)果將更加精確。

1.4 葉片圖像分段處理

將預(yù)處理后的葉片圖像，等分分割為若干段。計(jì)算出每段葉片的面積與其相應(yīng)分段的矩形面積的比值(Si)，計(jì)入數(shù)據(jù)庫(kù)。該數(shù)據(jù)記錄了葉片的邊緣形狀變化特征。在本次實(shí)驗(yàn)中，分段數(shù)i=20(如圖3所示)。

圖3 葉片等分分段示意圖

通過(guò)對(duì)全部葉片圖像進(jìn)行預(yù)處理和等分分段處理后，即可形成數(shù)據(jù)樣本集。本次實(shí)驗(yàn)，采集了18種植物葉片，形成2個(gè)數(shù)據(jù)樣本集：一個(gè)記為L(zhǎng)EAF2132，包含2 132個(gè)樣本。其中，銀杏葉樣本有1 078個(gè)，桂葉樣本有1 054個(gè)。另一個(gè)樣本集記為L(zhǎng)EAF130，存儲(chǔ)了除銀杏葉、桂葉以外的16種植物的葉片圖像，因此這個(gè)數(shù)據(jù)集上的葉片識(shí)別任務(wù)具有更高的難度。

2 葉片識(shí)別實(shí)驗(yàn)

2.1 NN算法與葉片識(shí)別

2.1.1 NN算法原理

神經(jīng)網(wǎng)絡(luò)(NN)算法是學(xué)科交叉性極強(qiáng)的機(jī)器學(xué)習(xí)算法之一，其算法模型主要由輸入層(輸入節(jié)點(diǎn))、隱層(隱節(jié)點(diǎn))、輸出層(輸出節(jié)點(diǎn))組成。輸入節(jié)點(diǎn)負(fù)責(zé)接收和處理訓(xùn)練樣本集的輸入變量，輸出節(jié)點(diǎn)給出輸出變量的預(yù)測(cè)結(jié)果。在眾多的神經(jīng)網(wǎng)絡(luò)模型中，最為基礎(chǔ)的算法當(dāng)屬三層神經(jīng)網(wǎng)絡(luò)。三層神經(jīng)網(wǎng)絡(luò)中最基本的單元稱作神經(jīng)元，一個(gè)神經(jīng)元包含輸入、輸出、權(quán)值向量、偏置和激活函數(shù)等幾個(gè)基本元素。神經(jīng)元的結(jié)構(gòu)如圖4所示。

圖4 神經(jīng)元的結(jié)構(gòu)

神經(jīng)元輸入依次經(jīng)過(guò)一個(gè)線性變換和一個(gè)非線性的映射，得到神經(jīng)元的輸出。一個(gè)神經(jīng)元所做的運(yùn)算為：

(1)

其中，ω表示權(quán)值向量，b表示偏置，σ(-)則代表激活函數(shù)。

激活函數(shù)一般有以下選擇：

① sigmoid激活函數(shù)[6]

(2)

② 雙曲正切激活函數(shù)[7]

(3)

③ ReLU激活函數(shù)

(4)

sigmoid激活函數(shù)滿足以下性質(zhì)：

σ′=σ(z)(1-σ(z))

(5)

圖5 三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

當(dāng)一個(gè)樣例(x1，x2，…，xD)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層，首先通過(guò)定義增廣的輸入x0，將式(1)中的偏置參數(shù)整合到權(quán)值向量中。其中，額外的輸入變量x0固定為1，則隱含層激活的計(jì)算可以通過(guò)下面這個(gè)函數(shù)：

(6)

類似地把第二層的偏置整合到第二層的權(quán)重向量中。于是，整體的網(wǎng)絡(luò)函數(shù)為：

(7)

2.1.2 運(yùn)用NN算法進(jìn)行葉片識(shí)別

實(shí)驗(yàn)環(huán)境為：64位Windows 7操作系統(tǒng)，i5主頻，2.4 GHz CPU，4 GB內(nèi)存。使用matlab7.0編程實(shí)現(xiàn)。

【實(shí)驗(yàn)一】 使用數(shù)據(jù)樣本集LEAF2132進(jìn)行實(shí)驗(yàn)。將葉片的圖像數(shù)據(jù)經(jīng)過(guò)之前提出的數(shù)據(jù)處理方式得到相關(guān)訓(xùn)練數(shù)據(jù)，然后對(duì)輸入樣本進(jìn)行歸一化處理。將該數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集包含1 500個(gè)樣本，測(cè)試集包含632個(gè)樣本。在訓(xùn)練集上訓(xùn)練網(wǎng)絡(luò)參數(shù)，在測(cè)試集上測(cè)試識(shí)別效果。在這次實(shí)驗(yàn)中，構(gòu)建了網(wǎng)絡(luò)結(jié)構(gòu)為22-20-2的三層神經(jīng)網(wǎng)絡(luò)。在每個(gè)網(wǎng)絡(luò)層的輸出處使用sigmoid激活函數(shù)，增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力。在整個(gè)網(wǎng)絡(luò)的輸出層使用softmax激活函數(shù)，獲得銀杏葉和桂葉的葉片形狀規(guī)律。圖6展示了在100個(gè)數(shù)據(jù)循環(huán)內(nèi)網(wǎng)絡(luò)損失函數(shù)和識(shí)別率的變化曲線。圖中，Error為均方誤差，Misclassfication rate為識(shí)別錯(cuò)誤率。最終在測(cè)試集上取得了99.4%的識(shí)別準(zhǔn)確率。

【實(shí)驗(yàn)二】 實(shí)驗(yàn)一只包含2種植物葉片，識(shí)別任務(wù)相對(duì)簡(jiǎn)單，不足以說(shuō)明模型的有效性。第二次實(shí)驗(yàn)使用樣本數(shù)據(jù)集LEAF130，其中訓(xùn)練集包含100個(gè)樣本，測(cè)試集包含30個(gè)樣本。數(shù)據(jù)的預(yù)處理方式與實(shí)驗(yàn)一相同。采用23-23-16的三層神經(jīng)網(wǎng)絡(luò)，同樣使用sigmoid和softmax激活函數(shù)。實(shí)驗(yàn)結(jié)果如圖7所示，其中Error為均方誤差、Misclassfication rate為識(shí)別錯(cuò)誤率。最終在測(cè)試集上取得了100%的識(shí)別準(zhǔn)確率。

圖6 實(shí)驗(yàn)一的均方誤差和識(shí)別錯(cuò)誤率

圖7 實(shí)驗(yàn)二的均方誤差和識(shí)別錯(cuò)誤率

2.2.1 MLR算法原理

多元線性回歸算法(multiple linear regression algorithm)簡(jiǎn)記為“MLR算法”。

如果變量(x1，x2，…，xn)與隨機(jī)變量y之間存在相關(guān)關(guān)系，通常就意味著當(dāng)xn取定值后，y便有相應(yīng)的概率分布與之對(duì)應(yīng)。隨機(jī)變量y與相關(guān)變量xn之間的概率模型為：

y=f(x1,x2,…,xn)+ε

(8)

其中，ε為隨機(jī)誤差。

當(dāng)式(8)中回歸函數(shù)為線性函數(shù)時(shí)，有

y=β0+β1x1+β2x2+…+βnxn+ε

(9)

其中，β0,β1,β2,…,βn為未知參數(shù)，也被稱為回歸系數(shù)。

如果(xi1，xi2，…，xin；yi)是式(9)中變量(x1，x2，…，xn；y)的一組觀測(cè)值，則線性回歸模型可以表示為：

yi=β0+β1xi1+β2xi2+…+βnxin+εi

(10)

式(10)寫(xiě)成矩陣形式，為

Y=Xβ+ε

(11)

2.2.2 運(yùn)用MLR算法進(jìn)行葉片識(shí)別

表1 MLR算法在訓(xùn)練集的識(shí)別結(jié)果

表2 MLR算法在測(cè)試集的識(shí)別結(jié)果

將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，訓(xùn)練集包含100個(gè)樣本，測(cè)試集包含30個(gè)樣本。實(shí)驗(yàn)結(jié)果，在訓(xùn)練集上識(shí)別正確率達(dá)到70%，在測(cè)試集上識(shí)別正確率只有60%。

從上述4次實(shí)驗(yàn)的結(jié)果可以看出，運(yùn)用基于分段面積比的植物葉片圖像識(shí)別方法，可以獲得較高的識(shí)別準(zhǔn)確率，而且識(shí)別耗時(shí)短(見(jiàn)表3)。另外，利用植物葉片圖像的等分分段技術(shù)，求取每一種葉片的分段面積比，采用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行葉片識(shí)別，其效果明顯優(yōu)于多元線性回歸模型。

表3 兩種算法的識(shí)別耗時(shí)對(duì)比

3 結(jié) 語(yǔ)

為了實(shí)現(xiàn)計(jì)算機(jī)對(duì)植物葉片的快速、準(zhǔn)確識(shí)別，我們將植物葉片分段面積比作為葉片的關(guān)鍵特征。實(shí)驗(yàn)結(jié)果表明，在計(jì)算獲得植物葉片分段面積比的基礎(chǔ)上，運(yùn)用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行植物葉片圖像識(shí)別，運(yùn)算簡(jiǎn)單，識(shí)別率高，易于實(shí)現(xiàn)。這次識(shí)別實(shí)驗(yàn)涉及的葉片背景比較簡(jiǎn)單、數(shù)據(jù)量較小。下一步研究，可采集更多種類的植物葉片，建立更大的葉片數(shù)據(jù)庫(kù)，增強(qiáng)深度學(xué)習(xí)訓(xùn)練樣本強(qiáng)度，增加分段數(shù)目，進(jìn)一步探討這種方法在復(fù)雜背景下對(duì)植物葉片的識(shí)別效果。