基于MobileNetV2和遷移學(xué)習(xí)的玉米病害識(shí)別研究

劉合兵， 魯?shù)眩?席磊

(1.河南農(nóng)業(yè)大學(xué)信息與管理科學(xué)學(xué)院，河南 鄭州 450046;2.河南經(jīng)貿(mào)職業(yè)學(xué)院，河南 鄭州 450046)

玉米作為一種重要作物，其整個(gè)生長(zhǎng)周期會(huì)受到各類病害的侵襲，病發(fā)處多為葉部、穗部和根部，其中葉部的大斑病、灰斑病和銹病等會(huì)對(duì)玉米生長(zhǎng)造成嚴(yán)重的影響[1-3]。近年來(lái)，此類病害有加重跡象[4]。目前，相關(guān)農(nóng)作物病害識(shí)別多通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行，包括支持向量機(jī)(support vector machines, SVM)模型[5-7]以及BP神經(jīng)網(wǎng)絡(luò)(back propagation neural network, BPNN)模型[8]等。但是，此類方法操作繁瑣，誤差大，且需要人為提取特征，實(shí)際應(yīng)用較為不便。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)是在人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks，ANNs)基礎(chǔ)上進(jìn)行卷積計(jì)算，并通過(guò)局部連接、池化等操作令模型具有對(duì)圖像的自我判斷能力，從而使病害識(shí)別更為高效。目前，CNN已在小麥、黃瓜以及煙草等病害識(shí)別中取得不錯(cuò)的進(jìn)展[9-11]。但在實(shí)際應(yīng)用中，CNN模型還存在缺乏數(shù)據(jù)去訓(xùn)練網(wǎng)絡(luò)的情況，導(dǎo)致在病害識(shí)別過(guò)程中相關(guān)信息無(wú)法得到及時(shí)反饋[12]。遷移學(xué)習(xí)是將已有的數(shù)據(jù)或模式應(yīng)用到相關(guān)卻不同的領(lǐng)域中，通過(guò)利用一個(gè)或者多個(gè)輔助領(lǐng)域任務(wù)中學(xué)到的有用知識(shí)來(lái)改變特定領(lǐng)域數(shù)據(jù)不足的問(wèn)題，從而達(dá)到提高學(xué)習(xí)效果的目的[13]。相關(guān)研究表明，遷移學(xué)習(xí)深度模型的泛化能力能縮短訓(xùn)練時(shí)間。鄭一力等[14]發(fā)現(xiàn)，將遷移學(xué)習(xí)應(yīng)用在Inception-V3等網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以得到較好的植物葉片識(shí)別效果。隨著時(shí)代的發(fā)展，傳統(tǒng)的CNN模型存在復(fù)雜度高、部署困難等缺點(diǎn)，不適合移動(dòng)設(shè)備的開(kāi)發(fā)與應(yīng)用，而不需要網(wǎng)絡(luò)連接、只部署在手機(jī)端的作物病害識(shí)別應(yīng)用軟件(application, APP)更符合實(shí)際需求。劉洋等[15]綜合比較了MobileNetV1模型和 InceptionV3模型在移動(dòng)端的差異后，發(fā)現(xiàn)MobileNetV1作為輕量級(jí)神經(jīng)網(wǎng)絡(luò)在移動(dòng)端性能更優(yōu)。而Mobile Net系列模型都具有相同特點(diǎn)[16]。因此，本試驗(yàn)以來(lái)自PlantVillage[17]公共數(shù)據(jù)集的玉米葉部病害為研究對(duì)象，將MobileNetV2和遷移學(xué)習(xí)相結(jié)合，在改進(jìn)網(wǎng)絡(luò)識(shí)別能力基礎(chǔ)上開(kāi)發(fā)了移動(dòng)端玉米病害識(shí)別系統(tǒng)，并對(duì)實(shí)地篩選的真實(shí)玉米葉片進(jìn)行驗(yàn)證，證明該系統(tǒng)具有良好的魯棒性和識(shí)別能力，減少了在異常和特殊情況下系統(tǒng)崩潰導(dǎo)致的識(shí)別錯(cuò)誤，為相關(guān)研究提供理論基礎(chǔ)與技術(shù)支持。

1 材料與方法

1.1 數(shù)據(jù)來(lái)源

本研究以健康玉米葉片以及3種玉米病害(玉米大斑病、玉米灰斑病、玉米銹病)葉片作為試驗(yàn)對(duì)象。試驗(yàn)數(shù)據(jù)來(lái)自PlantVillage[16]公共數(shù)據(jù)集，共3 852幅。示例圖像如圖1所示。

圖1 健康玉米葉片與玉米病害葉片示例圖像Fig.1 Example images of healthy maize leaves and diseased maize leaves

1.2 數(shù)據(jù)增強(qiáng)與數(shù)據(jù)預(yù)處理

由于試驗(yàn)中健康玉米葉片以及3種玉米病害(玉米大斑病、玉米灰斑病、玉米銹病)葉片數(shù)據(jù)量有限，故選擇通過(guò)數(shù)據(jù)增強(qiáng)[18]的方法擴(kuò)大數(shù)據(jù)集的規(guī)模，以增強(qiáng)原數(shù)據(jù)集中存儲(chǔ)圖像的多樣性，進(jìn)而達(dá)到增加模型泛化能力的作用。數(shù)據(jù)增強(qiáng)技術(shù)包含了多種變換因素，包括空間、幾何等各方面的變換操作均可以實(shí)現(xiàn)圖像增強(qiáng)的目的。本試驗(yàn)使用Python的PIL模塊對(duì)所有試驗(yàn)數(shù)據(jù)圖像進(jìn)行水平翻轉(zhuǎn)以增強(qiáng)模型魯棒性及適應(yīng)性。同時(shí)，針對(duì)數(shù)據(jù)集中玉米灰斑病圖像數(shù)量過(guò)少的情況，本試驗(yàn)特別對(duì)玉米灰斑病圖像增加垂直翻轉(zhuǎn)操作。數(shù)據(jù)增強(qiáng)后的所有樣本共計(jì)8 730幅，示例圖像如圖2所示。

為方便模型訓(xùn)練，將8 730幅圖像統(tǒng)一調(diào)整為224像素×224像素，并用0、1、2和3作為數(shù)據(jù)集的標(biāo)簽分別代表健康玉米葉片、玉米大斑病、玉米灰斑病和玉米銹病。依據(jù)增強(qiáng)后的圖像劃分?jǐn)?shù)據(jù)集，按8∶2的比例將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。數(shù)據(jù)增強(qiáng)后的圖像數(shù)量如圖3所示。

1.3 試驗(yàn)環(huán)境與思路

本研究采用TensorFlow作為玉米病害識(shí)別模型搭建和訓(xùn)練平臺(tái)，模型在GPU環(huán)境下運(yùn)行。試驗(yàn)的軟件及硬件配置如表1所示。

圖2 增強(qiáng)后健康玉米葉片和玉米病害葉片示例圖像Fig.2 Example images of healthy maize leaves and diseased leaves of maize after enhancement

圖3 數(shù)據(jù)增強(qiáng)后圖像數(shù)量Fig.3 Image numbers after data enhancement

表1 試驗(yàn)軟硬件配置Table 1 Test software and hardware configuration

試驗(yàn)選擇的模型為MobileNetV2模型[19]，其結(jié)構(gòu)如表2所示。其中，Conv2d為二維的卷積操作，Bottleneck為反向殘差模塊，Avgpool為全局池化操作，t為通道擴(kuò)展因子,c為輸出通道數(shù),n為塊重復(fù)次數(shù),s為步長(zhǎng)，k為自己樣本訓(xùn)練通道數(shù)。對(duì)試驗(yàn)所用的batchsize和學(xué)習(xí)率進(jìn)行測(cè)試并優(yōu)化，選擇其中效果最好的batchsize和學(xué)習(xí)率參數(shù)作為試驗(yàn)?zāi)J(rèn)參數(shù)。對(duì)試驗(yàn)所用數(shù)據(jù)的前2層卷積塊與最后一層卷積塊進(jìn)行特對(duì)比分析。采用ImageNet上預(yù)訓(xùn)練好的MobileNetV2模型參數(shù)作為遷移對(duì)象，用特征提取、全部遷移和微調(diào)3種方法，對(duì)遷移模型進(jìn)行訓(xùn)練。

表2 MobileNetV2模型結(jié)構(gòu)Table 2 Mobilenetv2 model structure

1.4 超參數(shù)設(shè)置

采用隨機(jī)梯度下降算法進(jìn)行優(yōu)化，隨機(jī)梯度下降算法的公式如下：

(1)

由公式(1)可知，除了梯度本身，bachsize和學(xué)習(xí)率這2個(gè)參數(shù)直接決定了模型的權(quán)重更新，從優(yōu)化本身來(lái)看是影響模型性能收斂最重要的參數(shù)[20]。η直接影響模型的收斂狀態(tài)，n則影響模型的泛化性能，因此本試驗(yàn)來(lái)測(cè)試bachsize和學(xué)習(xí)率對(duì)模型性能的影響。

1.5 模型評(píng)價(jià)指標(biāo)

采用準(zhǔn)確率(accuracy,A) 作為病害檢測(cè)結(jié)果的主要評(píng)價(jià)指標(biāo)，對(duì)模型進(jìn)一步分析采用精確率(precision,P)、召回率(recall,R) 、特異度(specificity,S)作為評(píng)價(jià)指標(biāo)[21]。各個(gè)指標(biāo)的計(jì)算是由分類結(jié)果的混淆矩陣得出，如表3所示。

表3 混淆矩陣Table 3 Confusion matrix

1.5.1 準(zhǔn)確率 準(zhǔn)確率即指識(shí)別分類任務(wù)中正確識(shí)別的樣本數(shù)與樣本總數(shù)的比值。準(zhǔn)確率的計(jì)算公式為：

(2)

對(duì)于普通數(shù)據(jù)集來(lái)講準(zhǔn)確率越高則模型效果越好。但對(duì)于數(shù)據(jù)集樣本數(shù)量不均等時(shí)，準(zhǔn)確率就不能作為評(píng)價(jià)的唯一標(biāo)準(zhǔn)，還需要其他指標(biāo)輔助進(jìn)行評(píng)判。

1.5.2 精確率 精確率可以簡(jiǎn)單理解為一個(gè)類的精確率越高，這個(gè)類被其他分類誤判的數(shù)量就越少。精確率的計(jì)算公式為：

(3)

1.5.3 召回率 召回率指一個(gè)類被錯(cuò)誤判斷給其他類的數(shù)量，數(shù)量越少則召回率的值越高。召回率跟精確率是相互制衡的指標(biāo)。如果一個(gè)類精確率提高，那么其召回率也會(huì)相應(yīng)的下降。召回率的計(jì)算公式為：

(4)

1.5.4 特異度 特異度表示的是所有負(fù)例中被分對(duì)的比例，衡量了分類器對(duì)負(fù)例的識(shí)別能力。特異度的計(jì)算公式為：

(5)

前面提到的評(píng)價(jià)指標(biāo)常被用在二分類模型評(píng)估上，而本試驗(yàn)的對(duì)象是四分類問(wèn)題，因此使用平均值的方法構(gòu)建試驗(yàn)的評(píng)價(jià)指標(biāo)。

1.6 遷移學(xué)習(xí)

試驗(yàn)遷移學(xué)習(xí)的過(guò)程如圖4所示。遷移學(xué)習(xí)[22-24]可以加快網(wǎng)絡(luò)模型收斂進(jìn)程，減少網(wǎng)絡(luò)訓(xùn)練所需的樣本數(shù)量和時(shí)間。利用遷移學(xué)習(xí)，將ImageNet從大量試驗(yàn)中得到的模型通用參數(shù)遷移到試驗(yàn)中，實(shí)現(xiàn)對(duì)玉米病害的識(shí)別。試驗(yàn)采用全部參數(shù)遷移、特征提取、微調(diào)3種不同遷移方法得到的模型與全新訓(xùn)練的MobileNetV2模型進(jìn)行對(duì)比，通過(guò)準(zhǔn)確率、精確率、召回率和特異度的對(duì)比，最終選擇效果最好的模型遷移方法。

1.6.1 全部參數(shù)遷移 全部參數(shù)遷移指的是基于模型的遷移學(xué)習(xí)方法，也是最常用的遷移學(xué)習(xí)方法，即通過(guò)一些手段來(lái)對(duì)源域的樣本進(jìn)行權(quán)重權(quán)衡，來(lái)對(duì)源域和目標(biāo)域的樣本進(jìn)行遷移。試驗(yàn)中全部遷移是采用預(yù)訓(xùn)練模型的結(jié)構(gòu)和初始權(quán)重，即ImageNet上已經(jīng)訓(xùn)練好的MobileNetV2模型文件在玉米病害數(shù)據(jù)集上直接應(yīng)用。

1.6.2 特征提取 特征提取是指將目標(biāo)域除全連接層之外的所有網(wǎng)絡(luò)的權(quán)重凍結(jié)，將源域中模型的全連接層替換為具有隨機(jī)權(quán)重的新全連接層，并且只訓(xùn)練新的全連接層。在本試驗(yàn)中，將ImageNet上已經(jīng)訓(xùn)練好的MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)，將原本的輸出層去掉，添加1個(gè)四分類的分類器，將ImageNet的MobileNetV2預(yù)先模型訓(xùn)練好的網(wǎng)絡(luò)作為試驗(yàn)任務(wù)的特征提取器，只對(duì)最后增加的分類器參數(shù)進(jìn)行重新學(xué)習(xí)，而預(yù)先訓(xùn)練好的網(wǎng)絡(luò)參數(shù)不會(huì)被修改或凍結(jié)。

1.6.3 微調(diào) 微調(diào)則是重新設(shè)計(jì)要遷移模型的卷積模塊，凍結(jié)網(wǎng)絡(luò)的部分層，重新訓(xùn)練部分層。通俗來(lái)說(shuō)，就是使用預(yù)訓(xùn)練網(wǎng)絡(luò)的初始化網(wǎng)絡(luò)，用新數(shù)據(jù)訓(xùn)練部分或整個(gè)網(wǎng)絡(luò)。試驗(yàn)將MobileNetV2網(wǎng)絡(luò)的第10個(gè)Bottleneck開(kāi)始凍結(jié)，然后對(duì)后面的Bottleneck重新進(jìn)行訓(xùn)練。因?yàn)榈讓泳W(wǎng)絡(luò)捕獲的是曲線、邊緣這種普遍的特征，在一般卷積神經(jīng)網(wǎng)絡(luò)底層提取信息都是相通的。保證這些權(quán)重不變，讓網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中重點(diǎn)關(guān)注玉米病害數(shù)據(jù)集特有的一些特征，對(duì)后面的網(wǎng)絡(luò)進(jìn)行調(diào)整，直到凍結(jié)所有卷積層為止，尋找出準(zhǔn)確率最高的微調(diào)方法作為試驗(yàn)的最終微調(diào)模型。

圖4 遷移學(xué)習(xí)流程圖Fig.4 Flow chart of transfer learning

2 結(jié)果與分析

2.1 超參數(shù)性能評(píng)估

2.1.1 batchsize值對(duì)模型性能的影響 將batchsize值設(shè)置為4的倍數(shù)，分別測(cè)試當(dāng)batchsize值為16、32、64時(shí)對(duì)模型準(zhǔn)確率的影響情況，測(cè)試結(jié)果如圖5所示。當(dāng)bachsize值為16時(shí)，模型識(shí)別準(zhǔn)確率顯現(xiàn)較低的水平。當(dāng)batchsize值為32時(shí)識(shí)別準(zhǔn)確率明顯增加，當(dāng)batchsize值為64時(shí)，準(zhǔn)確率的提升不明顯。最終設(shè)定試驗(yàn)?zāi)J(rèn)batchsize值為32。

圖5 不同bachsize值的測(cè)試準(zhǔn)確率對(duì)比Fig.5 Comparison of test accuracy for different bachsize values

2.1.2 學(xué)習(xí)率對(duì)模型性能的影響 神經(jīng)網(wǎng)絡(luò)每次更新參數(shù)都會(huì)存在誤差，學(xué)習(xí)率即指控制此誤差的其中1個(gè)參數(shù)。當(dāng)學(xué)習(xí)率設(shè)置過(guò)大時(shí)，會(huì)使損失函數(shù)曲線錯(cuò)過(guò)理論最優(yōu)點(diǎn)，網(wǎng)絡(luò)永遠(yuǎn)無(wú)法到達(dá)極值點(diǎn)；當(dāng)學(xué)習(xí)率設(shè)置過(guò)小時(shí)，損失函數(shù)曲線離理論最優(yōu)點(diǎn)較遠(yuǎn)，會(huì)增加網(wǎng)絡(luò)到達(dá)極值點(diǎn)的時(shí)間，且容易導(dǎo)致網(wǎng)絡(luò)困在局部最小值附近。試驗(yàn)對(duì)4種不同學(xué)習(xí)率進(jìn)行測(cè)試，分別設(shè)置學(xué)習(xí)率為0.1、0.01、0.001、0.000 1，在同樣條件下觀察試驗(yàn)結(jié)果。測(cè)試結(jié)果如圖6所示。本試驗(yàn)中，當(dāng)學(xué)習(xí)率設(shè)置為0.1時(shí)，由于損失函數(shù)震幅大，一直在梯度最小值附近，導(dǎo)致模型準(zhǔn)確率偏低。當(dāng)學(xué)習(xí)率設(shè)置為0.01時(shí)，準(zhǔn)確率有明顯提升。當(dāng)學(xué)習(xí)率設(shè)置為0.001時(shí)，準(zhǔn)確率繼續(xù)提升，但是增長(zhǎng)幅度較小，說(shuō)明學(xué)習(xí)率已經(jīng)接近最優(yōu)值。當(dāng)學(xué)習(xí)率為0.000 1時(shí)，模型測(cè)試準(zhǔn)確率出現(xiàn)降低，且準(zhǔn)確率穩(wěn)定過(guò)慢，說(shuō)明學(xué)習(xí)率可能錯(cuò)過(guò)最優(yōu)值。因此，將學(xué)習(xí)率為0.001作為試驗(yàn)的默認(rèn)學(xué)習(xí)率。

2.2 特征圖可視化對(duì)比

對(duì)MobileNetV2網(wǎng)絡(luò)卷積塊進(jìn)行特征可視化，可以更好地理解該模型的識(shí)別病害過(guò)程。從卷積塊(Bottleneck)淺層到深層選擇進(jìn)行可視化，結(jié)果如圖7所示。分別選取網(wǎng)絡(luò)第1個(gè)卷積、第2個(gè)卷積與第16個(gè)卷積進(jìn)行對(duì)比。從圖中可以看出卷積層圖像的形狀特征在第16個(gè)卷積時(shí)已經(jīng)無(wú)法辨認(rèn)其信息，原因是神經(jīng)網(wǎng)絡(luò)的淺層卷積層提取的特征強(qiáng)調(diào)的是紋理、細(xì)節(jié)等普遍存在的特征信息，在第1個(gè)卷積與第2個(gè)卷積圖像上基本能比較清晰地展現(xiàn)出來(lái)。隨著卷積層數(shù)的增加，深層卷積層提取的更多是抽象特征信息，這些抽象特征需要通過(guò)一些復(fù)雜運(yùn)算才能具體描述其中的含義[25]。

圖6 不同學(xué)習(xí)率下的測(cè)試準(zhǔn)確率Fig.6 Test accuracy at different learning rates

2.3 遷移學(xué)習(xí)方法性能評(píng)估

圖8是MobileNetV2遷移學(xué)習(xí)前后的混淆矩陣對(duì)比?；煜仃囍蠿和Y軸的數(shù)字0、1、2、3分別對(duì)應(yīng)著玉米正常葉、玉米大斑病、玉米灰斑病和玉米銹病。其中，X軸代表真實(shí)標(biāo)注的標(biāo)簽，Y軸代表網(wǎng)絡(luò)的預(yù)測(cè)標(biāo)簽，當(dāng)預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽一一對(duì)應(yīng)，即藍(lán)色深度越深時(shí)，證明識(shí)別相應(yīng)標(biāo)簽的效果越好。利用混淆矩陣可以明顯看出模型預(yù)測(cè)結(jié)果和實(shí)際結(jié)果之間的誤差。結(jié)果表明，微調(diào)模型在識(shí)別玉米大斑病和玉米灰斑病時(shí)有更好的識(shí)別準(zhǔn)確率。

表4為4種網(wǎng)絡(luò)模型測(cè)試集的準(zhǔn)確率、精確率、召回率、特異度與模型訓(xùn)練1個(gè)epoch所用時(shí)間的對(duì)比。其中，微調(diào)模型的性能最好。在整體識(shí)別率上，微調(diào)模型分別比全新訓(xùn)練模型、特征提取模型和全部遷移模型高出3.09%、4.69%和1.66%。精確率、召回率和特異度也有相應(yīng)的提升。對(duì)比4種模型訓(xùn)練1個(gè)epoch的平均時(shí)間可知，特征提取模型因?yàn)閮鼋Y(jié)了全部的Bottleneck，減少了模型對(duì)預(yù)訓(xùn)練的Bottleneck重新學(xué)習(xí)的過(guò)程，因此耗時(shí)最短。全新訓(xùn)練模型、全部遷移模型和微調(diào)訓(xùn)練模型的單個(gè)epoch時(shí)間所差無(wú)幾，三者的epoch時(shí)間約為特征提取模型的2倍。

從試驗(yàn)評(píng)價(jià)指標(biāo)來(lái)看，MobileNetV2微調(diào)模型最佳。從耗時(shí)成本來(lái)看，MobileNetV2特征提取模型用時(shí)最短。經(jīng)過(guò)試驗(yàn)得出不同遷移學(xué)習(xí)方法相比傳統(tǒng)模型在準(zhǔn)確率和時(shí)間上均有明顯優(yōu)勢(shì)，微調(diào)的MobileNetV2網(wǎng)絡(luò)更適合移動(dòng)端系統(tǒng)搭建。

圖7 不同卷積層的特征圖對(duì)比示例Fig.7 Comparative examples of characteristic diagrams of different convolution layers

(0)健康葉片(1)枯葉病(2)灰斑病(3)銹病 (0) Healthy leaves (1) Leaf blight (2)Gray spot (3) Rust圖8 4種模型的混淆矩陣Fig.8 Confusion matrix of four models

表4 4種模型結(jié)果對(duì)比Table 4 Comparison of results of four models

如圖9所示，對(duì)比傳統(tǒng)全新訓(xùn)練的MobileNetV2網(wǎng)絡(luò)，采用微調(diào)遷移學(xué)習(xí)方法的模型可以更快收斂，且微調(diào)模型的效率提升更為顯著，魯棒性更好。

2.4 玉米病害識(shí)別系統(tǒng)

為實(shí)現(xiàn)田間玉米病害的快速準(zhǔn)確地識(shí)別，以微調(diào)的MobileNetV2模型為基礎(chǔ)，開(kāi)發(fā)移動(dòng)端玉米病害識(shí)別系統(tǒng)。該系統(tǒng)無(wú)須借助網(wǎng)絡(luò)連接，用戶打開(kāi)手機(jī)APP進(jìn)行相應(yīng)操作便可實(shí)現(xiàn)對(duì)玉米葉部病害的精準(zhǔn)識(shí)別。系統(tǒng)界面包含“選擇照片”和“實(shí)時(shí)獲取”2個(gè)模塊?！斑x擇照片”模塊為靜態(tài)圖像的識(shí)別，可通過(guò)MobileNetV2模型對(duì)用戶手機(jī)中的圖片或現(xiàn)場(chǎng)拍照的照片進(jìn)行圖像處理與結(jié)果展示。“實(shí)時(shí)獲取”模塊為動(dòng)態(tài)圖像識(shí)別，即通過(guò)調(diào)用手機(jī)攝像頭權(quán)限進(jìn)行視頻拍攝，并把拍攝的視頻流轉(zhuǎn)化成圖像，然后通過(guò)MobileNetV2模型進(jìn)行實(shí)時(shí)分析，動(dòng)態(tài)展示識(shí)別結(jié)果。系統(tǒng)運(yùn)行過(guò)程如圖10所示。

系統(tǒng)使用Android Studio進(jìn)行開(kāi)發(fā)，在編譯時(shí)引入Java API、C++ API及TensorflowLite相關(guān)工具庫(kù)。首先將訓(xùn)練好的微調(diào)模型存儲(chǔ)為h5的格式，利用TensorflowLite自帶的轉(zhuǎn)換功能將模型轉(zhuǎn)換為tflite 的格式。添加調(diào)用攝像頭、讀取圖庫(kù)和動(dòng)態(tài)申請(qǐng)的權(quán)限，并在 Android 識(shí)別界面中添加“選擇照片”“實(shí)時(shí)獲取”按鈕，將編譯好的代碼運(yùn)行在 Redmi Note4X 3GB內(nèi)存標(biāo)準(zhǔn)版測(cè)試手機(jī)上。導(dǎo)入圖像后“識(shí)別結(jié)果”文字上方會(huì)顯示導(dǎo)入的圖像，在“識(shí)別結(jié)果”文字下方會(huì)顯示識(shí)別的標(biāo)簽、結(jié)果、準(zhǔn)確率及運(yùn)行時(shí)間。系統(tǒng)識(shí)別系統(tǒng)界面如圖11所示。

圖9 全新訓(xùn)練模型與微調(diào)模型對(duì)比Fig.9 Comparison between the new training model and the fine tuning model

為驗(yàn)證玉米病害識(shí)別系統(tǒng)在自然場(chǎng)景下的魯棒性，在大田環(huán)境下開(kāi)展實(shí)測(cè)。在“選擇照片”模塊的測(cè)試中，先對(duì)實(shí)地病發(fā)玉米葉片進(jìn)行拍照，然后隨機(jī)選取50幅用作測(cè)試樣本。測(cè)試結(jié)果如表5所示。經(jīng)測(cè)試，本系統(tǒng)能夠?qū)?2個(gè)測(cè)試樣本進(jìn)行準(zhǔn)確識(shí)別，識(shí)別準(zhǔn)確率為84%，每個(gè)樣本的平均測(cè)試耗時(shí)為1.16 s。在“實(shí)時(shí)獲取”模塊的測(cè)試中，同樣選擇實(shí)地拍攝的視頻中的50幀圖像作為測(cè)試樣本，本系統(tǒng)能夠準(zhǔn)確識(shí)別的有37幀，識(shí)別準(zhǔn)確率為74%，每個(gè)樣本的平均測(cè)試耗時(shí)為0.13 s。實(shí)地大田拍攝的圖像光照背景差異較大，且在拍攝過(guò)程中存在抖動(dòng)等現(xiàn)象，導(dǎo)致“實(shí)時(shí)獲取”模塊的識(shí)別準(zhǔn)確率低于“選擇照片”模塊?！皩?shí)時(shí)獲取”模塊中圖像差異度相對(duì)較小，幾乎相當(dāng)于模型重復(fù)對(duì)一種圖片進(jìn)行識(shí)別，因此平均耗時(shí)較短。

圖10 玉米病害識(shí)別系統(tǒng)運(yùn)行圖Fig.10 Operating diagram of maize disease identification system

圖11 手機(jī)識(shí)別系統(tǒng)界面Fig.11 Mobile phone identification system interface

表5 玉米病害實(shí)地測(cè)試結(jié)果Table 5 Field testing results of maize diseases

3 結(jié)論與討論

本研究提出一種基于遷移學(xué)習(xí)和MobileNetV2模型的玉米病害識(shí)別方法，保留了傳統(tǒng)MobileNetV2網(wǎng)絡(luò)模型對(duì)于淺層的識(shí)別能力，并在此基礎(chǔ)上加入遷移學(xué)習(xí)，將遷移學(xué)習(xí)后的模型進(jìn)行卷積層的刪減試驗(yàn)。試驗(yàn)結(jié)果表明，微調(diào)遷移學(xué)習(xí)后的MobileNetV2模型比全新訓(xùn)練的MobileNetV2模型在識(shí)別效率與識(shí)別準(zhǔn)確率方面均有所提高。微調(diào)的遷移學(xué)習(xí)方法相比于許景輝等[26]提到的遷移學(xué)習(xí)方法具有更好的識(shí)別結(jié)果。

試驗(yàn)結(jié)果表明，在準(zhǔn)確率、精確率、召回率、特異度4種評(píng)價(jià)指標(biāo)上，全新訓(xùn)練的MobileNetV2模型的結(jié)果為96.16%、95.87%、95.85%和98.75%；特征提取模型的結(jié)果為94.56%、94.15%、94.12%和98.22%；全部遷移模型的結(jié)果為97.59%、97.40%、97.40%和99.20%；微調(diào)模型的結(jié)果為99.25%、99.25%、99.20%和99.75%。通過(guò)分析發(fā)現(xiàn)，在4種指標(biāo)的性能表現(xiàn)上，微調(diào)模型優(yōu)于其他3種模型。在模型識(shí)別準(zhǔn)確率上，本文的微調(diào)MobileNetV2模型方法優(yōu)于王國(guó)偉等[27]的改進(jìn)LeNet模型和劉翱宇等[28]的TFL-ResNet模型。這表明本試驗(yàn)提出的微調(diào)MobileNetV2模型能更有效實(shí)現(xiàn)玉米葉部病害分類，為玉米病害辨識(shí)提供一種有效可行的方法。

為了驗(yàn)證本研究所提方法模型的實(shí)際性能，本研究設(shè)計(jì)并實(shí)現(xiàn)了基于Android平臺(tái)的玉米病害識(shí)別APP，并進(jìn)行實(shí)地?cái)?shù)據(jù)測(cè)試。采用拍照和實(shí)時(shí)獲取2種方法進(jìn)行試驗(yàn)，在準(zhǔn)確率和平均耗時(shí)2種評(píng)價(jià)指標(biāo)上，拍照的結(jié)果為84%、1.16s，實(shí)時(shí)獲取的結(jié)果為74%、0.13s，識(shí)別準(zhǔn)確率及速度略優(yōu)于劉洋等[15]的移動(dòng)端植物病害識(shí)別程序。與PRASAD等[29]的研究相比，本系統(tǒng)不需要手工設(shè)計(jì)特征并上傳至服務(wù)器。根據(jù)本研究提出的方法搭建的系統(tǒng)能更好應(yīng)用于日常檢測(cè)玉米病害，為開(kāi)發(fā)相關(guān)APP的提供參考。