家畜飼料植物葉片的識(shí)別研究

孟 瑤，楊懷卿，楊惠斐，楊 華

（山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，山西 晉中 030801）

0 引言

國內(nèi)樹木資源豐富，有多種植物的葉片可供家畜食用[1]。合理利用這些葉片能擴(kuò)大家畜飼料選擇范圍，同時(shí)節(jié)約成本。為解決人工采集可作家畜飼料的植物葉片耗時(shí)耗力的問題，通常利用采摘機(jī)器人進(jìn)行自動(dòng)化采摘。植物葉片識(shí)別是自動(dòng)化采摘的關(guān)鍵步驟，多數(shù)學(xué)者采用機(jī)器學(xué)習(xí)的方法對(duì)葉片進(jìn)行識(shí)別，其中，卷積神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的讀取方式而被廣泛運(yùn)用于植物葉片識(shí)別研究中。

國內(nèi)外學(xué)者針對(duì)植物葉片識(shí)別進(jìn)行了大量研究。Jeon等[2]使用Googlenet模型自動(dòng)提取Flavia數(shù)據(jù)庫的植物葉片特征并進(jìn)行分類識(shí)別。Krizhevsky等[3]提出了包含7層隱藏層的AlexNet網(wǎng)絡(luò)模型，在ImageNet數(shù)據(jù)集中失誤率為15.4%。Rashad等[4]以10種不同的植物圖像集作為實(shí)驗(yàn)對(duì)象，在對(duì)植物圖像的識(shí)別過程中，提取到了部分植物葉片紋理特征，取得了較好的識(shí)別效果。于慧伶等[5]選取Flavia公共葉片數(shù)據(jù)集，考慮了葉片信息的邊緣形狀與內(nèi)部紋理特征，構(gòu)建了雙路卷積神經(jīng)網(wǎng)路結(jié)構(gòu)，提高了植物葉片的識(shí)別準(zhǔn)確率。孫穎異等[6]構(gòu)建了一種基于殘差連接的Alexnet卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)PlantVillage工程提供的12種植物葉片數(shù)據(jù)集進(jìn)行分類和識(shí)別。張帥[7]通過8層卷積神經(jīng)網(wǎng)絡(luò)模型分別對(duì)PlantNet葉片庫和自擴(kuò)展的葉片圖庫中的圖像進(jìn)行訓(xùn)練和識(shí)別，取得較好的識(shí)別效果。楊天天等[8]對(duì)7種柳屬植物葉片進(jìn)行圖像分析，通過對(duì)單一葉片相關(guān)特征融合比較進(jìn)行識(shí)別。龔丁禧等[9]針對(duì)傳統(tǒng)圖像識(shí)別技術(shù)的不足，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，在Swedish葉片集上優(yōu)化算法，該算法優(yōu)于傳統(tǒng)葉片識(shí)別算法。陶震宇[10]通過改進(jìn)ResNet-50網(wǎng)絡(luò)模型，根據(jù)農(nóng)業(yè)害蟲數(shù)據(jù)庫提供的花生病害圖像進(jìn)行訓(xùn)練和識(shí)別，實(shí)現(xiàn)了對(duì)花生蟲害的有效識(shí)別。邊緣等[11]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)Flavia數(shù)據(jù)集中的植物葉片進(jìn)行識(shí)別，準(zhǔn)確率可達(dá)90%以上。李龍龍等[12]利用LBP算法通過度量和提取圖像局部的紋理信息，不經(jīng)過預(yù)處理操作進(jìn)行識(shí)別。朱良寬等[13]利用CVL研究領(lǐng)域中的瑞典植物葉片集，提出一種融合DCGAN與遷移學(xué)習(xí)[14]的植物葉片識(shí)別方法。畢立恒等[15]為提高葉片圖像識(shí)別率，采用改進(jìn)神經(jīng)網(wǎng)絡(luò)算法[16-17]提高識(shí)別準(zhǔn)確率。王艷等[18]及丁常宏等[19]利用深度學(xué)習(xí)相關(guān)算法[20-21]對(duì)中草藥圖像進(jìn)行分類識(shí)別，取得不錯(cuò)的效果。尚建偉等[22]利用Res-Unet模型對(duì)德國波恩大學(xué)圖像庫提供的雜草數(shù)據(jù)進(jìn)行識(shí)別，準(zhǔn)確率可達(dá)98.67%。朱靜等[23]通過葉片圖像的形狀和葉緣特征，對(duì)14種植物337份葉片樣本的葉形測(cè)試準(zhǔn)確率達(dá)92%。闞江明[24]提出一種基于植物葉片圖像的自動(dòng)識(shí)別方法，該方法對(duì)葉片圖像進(jìn)行預(yù)處理后進(jìn)行識(shí)別，平均正確率為70.83%。

現(xiàn)有對(duì)植物葉片的識(shí)別方法，大多選取開源圖像進(jìn)行建模，并且部分學(xué)者在構(gòu)建神經(jīng)網(wǎng)絡(luò)模型時(shí)，并未對(duì)圖像進(jìn)行預(yù)處理，使得模型訓(xùn)練時(shí)間過長(zhǎng)，擴(kuò)展性不強(qiáng)。筆者采用Alexnet模型構(gòu)建可作家畜飼料的植物葉片識(shí)別模型，以人工采集植物葉片作為研究對(duì)象，采用灰度化處理和圖像增強(qiáng)相關(guān)方法對(duì)葉片圖像進(jìn)行預(yù)處理，從而提高模型識(shí)別準(zhǔn)確率，旨在實(shí)現(xiàn)對(duì)可作家畜飼料植物葉片的自動(dòng)識(shí)別。

1 材料與方法

1.1 植物葉片圖像獲取

（1）使用智能手機(jī)，對(duì)單一背景下可作家畜飼料的植物葉片進(jìn)行拍攝，構(gòu)建圖像數(shù)據(jù)庫。拍攝時(shí)間集中為2020年7—8月，地點(diǎn)為山西農(nóng)業(yè)大學(xué)植物園內(nèi)。葉片圖像主要有刺槐、金葉榆、山楂、泡桐、菊芋、毛梾、構(gòu)樹、桑樹8個(gè)種類。圖像數(shù)據(jù)庫共計(jì)5136張植物葉片，分辨率為4032像素×3024像素，隨機(jī)選取4104張圖像樣本作為訓(xùn)練集、1026張為測(cè)試集。

（2）考慮到自然環(huán)境對(duì)植物拍攝的影響，將室外采摘的植物葉片帶回室內(nèi)進(jìn)行歸類拍攝，光照為自然光+日光燈。將葉片平鋪于A4紙上，在距離葉片正上方20～35 cm處進(jìn)行拍攝，角度為80°—90°。可作家畜飼料的植物葉片圖像集如圖1所示。

圖1 可作家畜飼料的植物葉片圖像集合

1.2 方法

1.2.1 圖像灰度化 為更好抑制光照等因素對(duì)模型識(shí)別的干擾，需要將RGB彩色圖像轉(zhuǎn)換為灰度化圖像。本研究中采用加權(quán)平均法進(jìn)行灰度化處理。具體如式(1)。

其中，Y(x,y)是坐標(biāo)為(x,y)的像素點(diǎn)的灰度值，紅(R)、綠(G)、藍(lán)(B)為3個(gè)顏色分量。葉片原始圖像轉(zhuǎn)灰度化效果圖，如圖2所示。

圖2 葉片原始圖像轉(zhuǎn)灰度化圖像效果圖

1.2.2 數(shù)據(jù)增強(qiáng) 為了增加訓(xùn)練數(shù)據(jù)量，提高模型泛化能力，引入了OpenCV計(jì)算機(jī)視覺的數(shù)據(jù)增強(qiáng)方法。主要方法有2種。

（1）旋轉(zhuǎn)(rotation)。通過旋轉(zhuǎn)、鏡像翻轉(zhuǎn)擴(kuò)充數(shù)據(jù)集，將原始數(shù)據(jù)集擴(kuò)充到9600張。并按順時(shí)針方向旋轉(zhuǎn)90°—180°，所得到的葉片圖像旋轉(zhuǎn)效果圖如圖3所示。

圖3 葉片圖像旋轉(zhuǎn)效果圖

（2）對(duì)比度增強(qiáng)(contrast adjustment)。為了避免葉片受光不均勻而造成失真，對(duì)圖像的亮度以及顏色進(jìn)行調(diào)節(jié)，以此突出圖像紋理特征。葉片對(duì)比度增強(qiáng)效果圖如圖4所示。

圖4 葉片對(duì)比度增強(qiáng)效果圖

1.2.3 卷積神經(jīng)網(wǎng)絡(luò) CNN由輸入層、多個(gè)卷積層、池化層、全連接層、輸出層組成。由輸入層讀取預(yù)處理后的植物葉片圖像，經(jīng)過C1層提取出圖像特征，然后由S1層對(duì)卷積操作過后的圖像進(jìn)行降維處理，減少原始圖像帶來的參數(shù)，進(jìn)而通過全連接層將圖像特征進(jìn)行整合，再通過Softmax分類器對(duì)圖片進(jìn)行分類和識(shí)別，最后由輸出層將最終結(jié)果展示。CNN工作基礎(chǔ)結(jié)構(gòu)如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)的工作基礎(chǔ)結(jié)構(gòu)圖

1.2.4 Alexnet卷積神經(jīng)網(wǎng)絡(luò)模型 Alexnet是CNN中較為經(jīng)典的網(wǎng)絡(luò)模型，包含8層（5個(gè)卷積層和3個(gè)全連接層）。每一個(gè)卷積層中包含了激勵(lì)函數(shù)ReLU(Rectified Linear Unit)以及局部響應(yīng)歸一化LRN(Local Responce Normalization)處理。使用ReLU激活函數(shù)降低訓(xùn)練時(shí)間，解決了梯度彌散問題，LRN局部響應(yīng)歸一化層抑制模型中反饋較小的神經(jīng)元，增強(qiáng)模型泛化能力，并在全連接層后引入Dropout避免網(wǎng)絡(luò)過擬合。該模型在圖像分類和識(shí)別領(lǐng)域獨(dú)具特色。Alexnet模型網(wǎng)絡(luò)示意圖如圖6所示。

圖6 Alexnet卷積神經(jīng)網(wǎng)絡(luò)示意圖

在第1個(gè)卷積層中輸入大小尺寸為224×224×3的圖片，224個(gè)像素代表圖片的長(zhǎng)寬，RGB彩色圖通道為3通道，采用了96個(gè)11×11×3尺寸大小的卷積核，在步數(shù)為4的像素設(shè)置下，對(duì)所輸入的圖像進(jìn)行卷積操作。將輸出作為第2個(gè)卷積層的輸入，利用256個(gè)5×5×48尺寸大小的卷積核，在步數(shù)為1的像素設(shè)置下通過池化操作來降低參數(shù)量。緊接著第3個(gè)卷積層采用了384個(gè)3×3×256尺寸大小的卷積核，第4個(gè)采用了384個(gè)3×3×192尺寸大小的核，第5層采用256個(gè)3×3×192尺寸大小的卷積核，繼而進(jìn)行池化降維操作。第6、7、8層為模型的3個(gè)全連接層，第6、7層包含4096個(gè)通道，將之前學(xué)習(xí)到的圖像特征相融合，在第8層設(shè)置為1000輸出，通過Softmax進(jìn)行分類識(shí)別。

1.2.5 基于Alexnet網(wǎng)絡(luò)可作家畜飼料的植物葉片識(shí)別模型 為了對(duì)可作家畜飼料的植物葉片進(jìn)行識(shí)別，將預(yù)處理后的數(shù)據(jù)圖像輸入到Alexnet模型中進(jìn)行訓(xùn)練。經(jīng)過模型中的卷積池化等操作，提取出待檢測(cè)圖像的特征，配合Softmax分類器對(duì)圖像進(jìn)行分類識(shí)別。利用梯度下降等算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)訓(xùn)練，從而求得損失函數(shù)作為代價(jià)函數(shù)最小時(shí)所對(duì)應(yīng)網(wǎng)絡(luò)的參數(shù)，最后由輸出層將結(jié)果展示。基于Alexnet網(wǎng)絡(luò)可作家畜飼料的植物葉片的識(shí)別流程如圖7所示。

圖7 基于Alexnet網(wǎng)絡(luò)可作家畜飼料的植物葉片識(shí)別流程

在Alexnet模型中，卷積層和池化層是重要組成部分，卷積運(yùn)算[25]用式(2)表達(dá)。

采用卷積神經(jīng)網(wǎng)絡(luò)模型中的池化操作對(duì)卷積后的特征采樣，因此，池化運(yùn)算[25]如式(3)。

1.3 實(shí)驗(yàn)參數(shù)說明

1.3.1 實(shí)驗(yàn)平臺(tái) 實(shí)驗(yàn)在戴爾Inspiron5488版本電腦上運(yùn)行，CPU為Intel Core i5-8265U，8 G內(nèi)存；Win10 64位操作系統(tǒng)，開發(fā)工具為Pycharm 2019。

1.3.2 Alexnet模型訓(xùn)練 本次實(shí)驗(yàn)采用批量訓(xùn)練的方式，將數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集。訓(xùn)練集分為4104張，測(cè)試集為1026張。模型學(xué)習(xí)率初始設(shè)置為0.0004，train batch及 test batch設(shè)置為 32。選用tensorflow作為主要的深度學(xué)習(xí)框架，通過tf.data模塊將圖像數(shù)據(jù)轉(zhuǎn)化成tensorflow可讀的數(shù)據(jù)結(jié)構(gòu)，封裝多線程使得訓(xùn)練加速。本研究將迭代輪數(shù)(epoch)設(shè)置為50輪次，每輪迭代完成之后，觀察訓(xùn)練精度值是否提升從而保存當(dāng)前模型。

2 結(jié)果與分析

2.1 模型的穩(wěn)定性

為觀察Alexnet模型在訓(xùn)練過程中損失函數(shù)和準(zhǔn)確率的變化情況。模型會(huì)在訓(xùn)練完成后自動(dòng)保存日志，并引入matplotlib庫繪制損失函數(shù)及準(zhǔn)確率變化曲線圖。Alexnet模型對(duì)預(yù)處理前和預(yù)處理后的圖像進(jìn)行訓(xùn)練，所得的準(zhǔn)確率和損失函數(shù)的指標(biāo)值如圖8所示。從圖中可以看出，將預(yù)處理前的圖像輸入到模型中訓(xùn)練，隨著輸入圖像個(gè)數(shù)的遞減，損失函數(shù)呈緩慢下降趨勢(shì)，準(zhǔn)確率緩慢上升，模型訓(xùn)練時(shí)間相對(duì)較長(zhǎng)；而將經(jīng)過預(yù)處理后的圖像輸入到模型中訓(xùn)練，損失函數(shù)在第10輪迭代后有明顯下降趨勢(shì)，準(zhǔn)確率在第10輪迭代后有明顯提升，訓(xùn)練時(shí)間縮短，整體變化趨勢(shì)上模型趨于穩(wěn)定。

圖8 圖像預(yù)處理前后模型訓(xùn)練結(jié)果對(duì)比圖

2.2 識(shí)別準(zhǔn)確率

表1給出了8種可作家畜飼料的植物葉片在Alexnet模型中的識(shí)別準(zhǔn)確率。將圖像預(yù)處理前和預(yù)處理后的葉片識(shí)別率進(jìn)行對(duì)比，Alexnet卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)預(yù)處理后的可作家畜飼料的植物葉片識(shí)別準(zhǔn)確率達(dá)到98.38%。

表1 植物葉片識(shí)別準(zhǔn)確率

3 結(jié)論與討論

本研究構(gòu)建了Alexnet可作家畜飼料的植物葉片識(shí)別模型。在實(shí)驗(yàn)室對(duì)采集的8種可作家畜飼料的植物葉片進(jìn)行歸類拍攝，共計(jì)5130張。然后采用圖像預(yù)處理相關(guān)方法優(yōu)化葉片數(shù)據(jù)集，進(jìn)而構(gòu)建Alexnet卷積神經(jīng)網(wǎng)絡(luò)模型，分別對(duì)預(yù)處理前和預(yù)處理后的植物葉片進(jìn)行訓(xùn)練，識(shí)別率為78.52%和98.38%，表明該模型對(duì)圖像預(yù)處理后的植物葉片識(shí)別率較好。后續(xù)還需開展以下研究：（1）文章只對(duì)單一背景下可作家畜飼料的植物葉片進(jìn)行識(shí)別且種類較少，當(dāng)背景復(fù)雜且種類較多時(shí)，該如何構(gòu)建模型進(jìn)行識(shí)別。（2）本研究在采集植物葉片圖像時(shí)，拍攝背景單一且角度固定。當(dāng)背景復(fù)雜且拍攝角度多變時(shí)，葉片會(huì)出現(xiàn)重疊，并且會(huì)有光照影響。在這種狀態(tài)下，該如何對(duì)植物葉片圖像進(jìn)行處理以及構(gòu)建模型。