改進(jìn)RegNet識別多種農(nóng)作物病害受害程度

杜甜甜，南新元，黃家興，張文龍，馬志俠

改進(jìn)RegNet識別多種農(nóng)作物病害受害程度

杜甜甜，南新元※，黃家興，張文龍，馬志俠

（新疆大學(xué)電氣工程學(xué)院，烏魯木齊 830017）

針對傳統(tǒng)農(nóng)作物病害識別方法效率低、受害程度識別不準(zhǔn)確的問題，提出了一個(gè)基于深度遷移學(xué)習(xí)和改進(jìn)RegNet的多種農(nóng)作物病害受害程度識別模型。該模型首先在RegNet輸入端進(jìn)行在線數(shù)據(jù)增強(qiáng)，用以提高訓(xùn)練樣本的多樣性；其次在模型的特征提取層引入了有效通道注意力機(jī)制，用以提高模型的特征提取能力；然后在模型的分類層引入多尺度特征融合策略，用以提高模型對細(xì)粒度特征的分類能力；最后使用深度遷移學(xué)習(xí)來優(yōu)化模型的整體性能，加快模型的收斂速度，提高模型的泛化能力。試驗(yàn)結(jié)果表明，改進(jìn)后的網(wǎng)絡(luò)模型在農(nóng)作物病害受害程度數(shù)據(jù)集上準(zhǔn)確率達(dá)到了94.5%，相較于RegNet原模型準(zhǔn)確率提高了10.4個(gè)百分點(diǎn)。改進(jìn)后的模型具有更好的特征提取能力，對細(xì)粒度特征有更強(qiáng)的分類能力，該模型為農(nóng)作物病害類型及其受害程度的識別提供了一種有效方法。

農(nóng)作物；模型；病害；RegNet；ECA注意力機(jī)制；多尺度特征融合；遷移學(xué)習(xí)

0 引 言

農(nóng)業(yè)是一個(gè)國家的基礎(chǔ)性產(chǎn)業(yè)，關(guān)乎民生發(fā)展，如何提高農(nóng)作物產(chǎn)量已經(jīng)成為各國面臨的重要問題之一。農(nóng)作物病害是影響農(nóng)作物產(chǎn)量的主要因素，及時(shí)準(zhǔn)確掌握農(nóng)作物病害類型及其受害程度是解決農(nóng)作物病害的首要問題[1]。當(dāng)下社會基層農(nóng)技人員流失，農(nóng)民對農(nóng)作物病害類型及其嚴(yán)重程度無法精準(zhǔn)判斷，造成化學(xué)試劑濫用，導(dǎo)致作物減產(chǎn)，造成經(jīng)濟(jì)損失。因此，研究出一種高效、低成本的農(nóng)作物病害識別方法，用于快速準(zhǔn)確識別農(nóng)作物患病類型及其受害程度[2]，具有較強(qiáng)的現(xiàn)實(shí)意義。

近年來，隨著計(jì)算機(jī)性能的發(fā)展，使得以卷積神經(jīng)網(wǎng)絡(luò)[3]為代表的圖像分類、目標(biāo)檢測等技術(shù)得到了極大的提升，這為農(nóng)作物病害的識別提供了新的解決方案。Jia等[4]通過構(gòu)建VGG-18和遷移學(xué)習(xí)相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對番茄10種病害的分類。孫俊等[5]在MobileNetv2中引入坐標(biāo)注意力機(jī)制，并采用分組卷積刪除模型中冗余的分類層，有效地減少了模型的參數(shù)量。鮑文霞等[6]使用遷移學(xué)習(xí)將在ImageNet數(shù)據(jù)集上學(xué)習(xí)到的先驗(yàn)知識遷移到蘋果葉部病害數(shù)據(jù)集上，并使用選擇性核卷積作用在瓶頸層，對蘋果的5種葉部病害達(dá)到了良好的識別效果。黃雪峰[7]提出使用Inception模塊和ResNet模塊相結(jié)合，用以提高玉米葉部病害的識別準(zhǔn)確率。Zhou等[1]提出了一種重構(gòu)殘差密集網(wǎng)絡(luò)用來識別番茄的葉部病害，該網(wǎng)絡(luò)結(jié)合了深度殘差網(wǎng)絡(luò)和密集網(wǎng)絡(luò)的優(yōu)點(diǎn)，提高了識別精度。張善文等[8]在VGG-16中引入可形變卷積，提高了對形變圖像特征的表達(dá)能力。Elhoucine等[9]使用超參數(shù)優(yōu)化的方法改進(jìn)MobileNet，通過使用5種不同的優(yōu)化器進(jìn)行訓(xùn)練，同時(shí)對學(xué)習(xí)率等參數(shù)進(jìn)行調(diào)參，實(shí)現(xiàn)了對大豆健康葉片、大豆角葉斑病和大豆豆銹病的分類。牛學(xué)德等[10]提出利用遷移學(xué)習(xí)改進(jìn)DenseNet對9類番茄葉部病害進(jìn)行分類，提高了分類精度。何東健等[11]提出了一種改進(jìn)殘差網(wǎng)絡(luò)的葡萄霜霉病分級模型，在ResNet-50的殘差體中引入最大池化層并加入了Dropout，有效避免了模型過擬合并提高了分類精度。溫長吉等[12]在ResNet-50的基礎(chǔ)上引入CBAM（Convolutional Block Attention Module, CBAM）注意力模型和跨層非局部模塊，實(shí)現(xiàn)了對不同種類農(nóng)作物病害的識別。

上述研究主要從模型選取、遷移學(xué)習(xí)和注意力機(jī)制等方面進(jìn)行改進(jìn)，雖取得了較好的結(jié)果，但依舊存在模型體積大、參數(shù)量多，對嵌入式設(shè)備不友好的問題，也存在因數(shù)據(jù)集樣本小，導(dǎo)致訓(xùn)練所得的模型泛化能力弱、容易產(chǎn)生過擬合等問題。并且上述研究僅針對農(nóng)作物病害類型進(jìn)行分類，沒有針對其受害程度進(jìn)行劃分，易造成農(nóng)藥濫用或防治不到位等情況，無法達(dá)到對農(nóng)作物病害精準(zhǔn)防治的目的?；诖?，本文首先使用在線數(shù)據(jù)增強(qiáng)擴(kuò)充樣本數(shù)據(jù)集，然后以RegNet網(wǎng)絡(luò)為基礎(chǔ)引入了ECA（Efficient Channel Attention，ECA）通道注意力機(jī)制和多尺度特征融合策略，最終提出一種基于深度遷移學(xué)習(xí)的農(nóng)作物病害受害程度識別模型（ECA-Multi-RegNet-DeepTL，RegNet-EMTL），以期通過對農(nóng)作物葉部病害細(xì)微特征進(jìn)行有效提取，提升農(nóng)作物病害受害程度分類準(zhǔn)確率，同時(shí)解決農(nóng)作物病害由于分類類別多、樣本數(shù)量少所造成的訓(xùn)練不充分、過擬合等問題，為農(nóng)作物病害類型及其受害程度的精準(zhǔn)識別提供思路。

1 材料與方法

1.1 數(shù)據(jù)集描述

本文采用的數(shù)據(jù)集包含兩個(gè)部分，分別用于遷移學(xué)習(xí)和農(nóng)作物病害受害程度模型訓(xùn)練。其中： Mini-ImageNet數(shù)據(jù)集[13]具有復(fù)雜的生活背景，用以訓(xùn)練模型對粗粒度特征的提取能力，以便使用遷移學(xué)習(xí)緩解農(nóng)作物病害數(shù)據(jù)集樣本少的問題，該數(shù)據(jù)集包含100種農(nóng)作物類別，共計(jì)60 000張樣本。PlantVillage植物病害圖像庫，該庫包含14種農(nóng)作物，共26種農(nóng)作物病害樣本信息。通過對兩個(gè)數(shù)據(jù)集篩選整理，本文選取了包含健康葉片和不同受害程度葉片等共計(jì)19種樣本。同時(shí)，本文利用Python網(wǎng)絡(luò)爬蟲工具抓取了在線農(nóng)業(yè)問答平臺的數(shù)據(jù)，用以對本文農(nóng)作物病害數(shù)據(jù)集進(jìn)行擴(kuò)充。最終，本次農(nóng)作物病害受害程度試驗(yàn)數(shù)據(jù)集共6 041張，按照4∶1的比例劃分為4 837張訓(xùn)練集和1 204張測試集。數(shù)據(jù)集中各病害類型及其受害程度樣本統(tǒng)計(jì)如表1所示。數(shù)據(jù)集樣例如圖1所示。

表1 數(shù)據(jù)集樣本統(tǒng)計(jì)信息

1.2 數(shù)據(jù)預(yù)處理

為了增加數(shù)據(jù)集的多樣性，提高模型的泛化能力，增加噪聲數(shù)據(jù)，避免出現(xiàn)過擬合現(xiàn)象，使模型更加適應(yīng)自然條件下的病害識別。本文采用在線數(shù)據(jù)增強(qiáng)策略，用以節(jié)約數(shù)據(jù)集收集擴(kuò)充的時(shí)間和空間。在線數(shù)據(jù)增強(qiáng)（Data Increase，DataIncr）[14-16]即在網(wǎng)絡(luò)前端對輸入網(wǎng)絡(luò)的每一批次圖像進(jìn)行數(shù)據(jù)擴(kuò)充，而后再將增強(qiáng)后的數(shù)據(jù)輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。該操作增強(qiáng)了數(shù)據(jù)輸入網(wǎng)絡(luò)的隨機(jī)性，增加了農(nóng)作物病害樣本的多樣性。本文的數(shù)據(jù)增強(qiáng)方式及處理效果如下圖2所示。

圖1 農(nóng)作物病害數(shù)據(jù)樣本示例圖

圖2 數(shù)據(jù)預(yù)處理示例圖

2 農(nóng)作物葉部病害模型構(gòu)建

2.1 RegNet網(wǎng)絡(luò)模型

RegNet網(wǎng)絡(luò)[17]主要通過調(diào)節(jié)參數(shù)來調(diào)整模型分布，以此來獲得不同的網(wǎng)絡(luò)結(jié)構(gòu)來處理不同分類任務(wù)。主要參數(shù)包括：每個(gè)RegStage中Block的次數(shù)d、每個(gè)RegStage中輸出矩陣的Channel數(shù)w和Block中每個(gè)Group的寬度。通過對這幾個(gè)參數(shù)的調(diào)節(jié)，使網(wǎng)絡(luò)的性能達(dá)到最優(yōu)的同時(shí)極大地減少了模型的參數(shù)量，加快了訓(xùn)練速度。RegNet設(shè)計(jì)空間網(wǎng)絡(luò)的主體由3部分組成，分別包括輸入層Steam、骨干層Body和輸出層RegHead，其結(jié)構(gòu)如圖3和表2所示。

注：di代表block的次數(shù)，g代表每個(gè)組的寬度，s是步距，wi是輸出矩陣的通道數(shù)，1×1、3×3是卷積核的尺寸，r為縮減系數(shù)。

表2 RegNet網(wǎng)絡(luò)結(jié)構(gòu)

注：GAP為全局平均池化。Dropout為隨機(jī)失活神經(jīng)元函數(shù)。FC為全連接層。

Note: GAP is global averaging pooling. Dropout is a random inactivated neuron function, and FC is a fully connected layer.

Steam層用來對不同尺寸的輸入數(shù)據(jù)進(jìn)行預(yù)處理，輸入圖像經(jīng)過一個(gè)步長為2、卷積核大小為3×3的普通卷積輸出一個(gè)32×112×112維的特征圖。骨干層Body通過堆積大量的RegStage來增加模型容量，提取多種農(nóng)作物病害類型的數(shù)據(jù)特征，增強(qiáng)模型的表征能力。Body由4個(gè)RegStage堆疊而成，每個(gè)RegStage由一系列的Block堆疊而成。Block為帶有分組卷積的殘差結(jié)構(gòu)，如圖3（Block）所示，左邊實(shí)線為步距=1的情況，右邊虛線為步距=2的情況，圖中代表圖片縮減系數(shù)，當(dāng)步距stride等于1時(shí)，輸入輸出的保持一致，當(dāng)?shù)扔?時(shí)輸出的為輸入的一半。最后將提取到的農(nóng)作物病害特征信息傳入由全局平均池化（Global Average Pooling，GAP）、隨機(jī)失活神經(jīng)元函數(shù)（Dropout）和全連接層（Fully Connected layer，F(xiàn)C）構(gòu)成的RegHead輸出層進(jìn)行分類。

2.2 改進(jìn)的RegNet網(wǎng)絡(luò)

2.2.1 注意力機(jī)制

由于農(nóng)作物病害數(shù)據(jù)主要采集于田間環(huán)境，導(dǎo)致數(shù)據(jù)集背景復(fù)雜、干擾信息多、噪聲大。對于模型而言，噪聲的存在會影響模型對病害特征的學(xué)習(xí)。而注意力機(jī)制的作用在于使模型關(guān)注重要的病害特征，弱化其他干擾因素，以此來提高模型對農(nóng)作物病害的識別能力。

ECA（Efficient Channel Attention）[18]是一種有效的通道注意力機(jī)制，采用的是一種不降維的局部跨通道交互策略，即在通道上采用一維卷積進(jìn)行滑動(dòng)濾波，此策略在節(jié)省了參數(shù)的同時(shí)也進(jìn)行了跨通道交互，同時(shí)還避免了通道削減。ECA模型結(jié)構(gòu)如圖4所示。

注：H、W、C分別為特征圖的高寬及通道數(shù)，代表Sigmoid激活函數(shù)。表示矩陣的加權(quán)操作。

從圖4中可以看出，輸入圖像首先通過一個(gè)GAP獲取未降維的所有特征信息，然后再通過一個(gè)自適應(yīng)一維卷積進(jìn)行特征權(quán)重的提取，最后通過Sigmoid激活函數(shù)，將特征信息映射到[0,1]之間，提高了圖像中有效特征的獲取。自適應(yīng)一維卷積主要是通過參數(shù)來調(diào)整輸入通道的大小。描述如式（1）所示：

2.2.2 改進(jìn)的多尺度特征融合策略

現(xiàn)有多尺度特征融合算法如特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）[19]、金字塔注意網(wǎng)絡(luò)（Pyramid Attention Networks，PAN）[20]等均針對不同尺度特征圖之間的融合，但是忽略了在同一層上不同區(qū)域之間的特征融合。在農(nóng)作物病害分類中，病害所屬類別需要利用具有大感受野的特征進(jìn)行判斷，對其受害程度則需要利用具有小感受野的特征進(jìn)行判斷，因此可以通過融合不同感受野特征信息來提高模型的整體性能。由于本文中需要對農(nóng)作物病害受害程度進(jìn)行劃分，即進(jìn)行圖像的細(xì)粒度識別。因此為了提高識別的準(zhǔn)確率，提出了改進(jìn)的空間金字塔池化方法，用以提升模型在不同尺度間對農(nóng)作物病害受害程度分類的精度，強(qiáng)化同一卷積層內(nèi)不同區(qū)域之間、不同特征之間的關(guān)聯(lián)性，避免不同作物之間同種病害的誤識別。因此，使用多尺度特征融合方法更加適應(yīng)本文的農(nóng)作物病害受害程度分類，改進(jìn)的多尺度特征融合網(wǎng)絡(luò)如圖5所示。

注：Conv為卷積操作，3×3、5×5和7×7代表卷積核的尺寸。MaxPool 代表最大池化，2×2代表池化核的大小。多尺度金字塔中特征矩陣分別采用1、2和3倍最大池化下采樣。S×S代表特征圖的大小，512是其通道數(shù)。

由圖5可以看出，多尺度特征融合模塊分為多尺度卷積和多尺度金字塔融合兩個(gè)模塊。對于左側(cè)的多尺度卷積部分，首先對輸入圖像使用3×3、5×5、7×7不同大小卷積核進(jìn)行卷積操作，以獲取同層卷積的層內(nèi)不同尺度的特征圖。然后，對特征圖采取2×2大小的池化核進(jìn)行最大池化下采樣，并進(jìn)行拼接（Concat）獲取多層卷積特征圖。把多層卷積特征圖通過1×1卷積進(jìn)行降維，生成××512維的特征圖，并以此作為多尺度特征金字塔的輸入。多尺度特征金字塔的主要作用是對特征圖進(jìn)行池化，通過選取不同大小的池化核對多層卷積特征圖進(jìn)行池化，池化過程中使用Padding填充使特征圖尺度不發(fā)生變化，最后通過對池化后的特征圖進(jìn)行拼接，輸出一個(gè)2 048維的特征向量。通過特征融合模塊，在不改變分辨率的情況下實(shí)現(xiàn)多尺度特征融合，然后通過特征金字塔來增強(qiáng)特征的復(fù)用，以此提高模型的泛化能力。

2.2.3 深度遷移學(xué)習(xí)

深度遷移學(xué)習(xí)即采用深度學(xué)習(xí)的方法進(jìn)行遷移學(xué)習(xí)，其中基于領(lǐng)域自適應(yīng)（Domain adaptation，DA）的遷移學(xué)習(xí)是深度遷移學(xué)習(xí)的代表[21]。根據(jù)目標(biāo)域是否有標(biāo)簽，可以進(jìn)一步分為有監(jiān)督、半監(jiān)督和無監(jiān)督的DA，其核心是減少源域和目標(biāo)域的分布差異[22]。在本文中由于目標(biāo)域均為有標(biāo)簽，所以使用有監(jiān)督的DA，且源域和目標(biāo)域同為分類任務(wù)，所以遷移方式為同構(gòu)遷移。

首先在源域Mini-ImageNet1000分類的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使網(wǎng)絡(luò)模型參數(shù)達(dá)到最佳狀態(tài)，而后將訓(xùn)練好的模型遷移至本文的農(nóng)作物病害分類識別上面。但是由于源域和目標(biāo)域的標(biāo)簽空間不同且訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分布不均，故本文采用微調(diào)（Fine-tune）[23]方法對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。通過凍結(jié)模型中的steam輸入層、body骨干層中的前兩個(gè)RegStage中的所有參數(shù)，只在淺層網(wǎng)絡(luò)中使用Mini-ImageNet數(shù)據(jù)集的參數(shù)和權(quán)重，避免了繁重地從頭訓(xùn)練的任務(wù)，極大地加快了模型訓(xùn)練的速度，同時(shí)提高了模型的泛化性能。用小樣本農(nóng)作物病害在深層網(wǎng)絡(luò)中重新訓(xùn)練使得網(wǎng)絡(luò)的性能更加滿足個(gè)性化需求。通過遷移學(xué)習(xí)初始化模型參數(shù)，該方式即減少了訓(xùn)練時(shí)間，又確保了目標(biāo)域農(nóng)作物病害特征提取不丟失，加快了模型的收斂速度，提升了模型的訓(xùn)練效果。

2.2.4 農(nóng)作物病害識別模型

本文提出了一種改進(jìn)RegNet的新網(wǎng)絡(luò)結(jié)構(gòu)用于農(nóng)作物病害受害程度識別模型（RegNet-EMTL），其模型框架如圖6所示。首先把圖像送入Steam模塊進(jìn)行特征提取，該模塊由Conv2d卷積、BN（Batch Normalization）批量歸一化和ReLU激活函數(shù)構(gòu)成，即圖6中的CBR_模塊，其中代表卷積核的大小。然后把特征圖輸入Body中，Body由4種RegStage組成，每個(gè)RegStage均包含BottleNeck_結(jié)構(gòu)，其中BottleNeck_1與BottleNeck_2差別在于，為1時(shí)捷徑分支上增加了一個(gè)Conv2d層和一個(gè)BN層。最后，把Body的輸出送入RegHead中的多尺度特征融合模塊，再通過1×1卷積進(jìn)行降維，之后再通過全局平均池化和全連接層進(jìn)行分類。RegNet-EMTL相較于原模型，首先在Body中對每一個(gè)RegStage中的Block內(nèi)的分組卷積殘差結(jié)構(gòu)進(jìn)行改進(jìn)，在分組卷積后加入了ECA通道注意力模塊，使其進(jìn)一步聚焦圖像的特征分布，改善模型的特征提取能力。然后，在RegHead中引入改進(jìn)的多尺度特征融合模塊，使不同感受野特征圖進(jìn)行融合，進(jìn)一步提高模型的識別準(zhǔn)確率。

3 試驗(yàn)環(huán)境與結(jié)果分析

3.1 試驗(yàn)環(huán)境配置與評價(jià)指標(biāo)

本文試驗(yàn)環(huán)境為Windows10操作系統(tǒng)，運(yùn)行內(nèi)存為16 GB，搭載Intel Core i7 10875處理器，GPU采用NVIDIA GTX2060 6 G，CUDA版本為10.1，深度學(xué)習(xí)框架為Pytorch 1.7.1，編譯環(huán)境為Pycharm/Python。試驗(yàn)批次（Batch Size）為16，迭代次數(shù)為100，動(dòng)量參數(shù)設(shè)置為0.9，采用隨機(jī)梯度下降法（Stochastic Gradient Descent, SGD）來優(yōu)化模型的各個(gè)參數(shù)，并且在最后的全連接層之前利用Droupout函數(shù)隨機(jī)失活神經(jīng)元個(gè)數(shù)，丟棄率為0.25，用來緩解模型的過擬合現(xiàn)象，加快模型的訓(xùn)練速度。初始學(xué)習(xí)率（Learn Rate）設(shè)置為0.001。在本文中RegNet各個(gè)自由變量分別取0=13，0=24，0=1，=13。

注：CBR-x是一個(gè)基本單元，Conv2d是卷積，BN為批量歸一化，ReLU為激活函數(shù)；RegStage1～ RegStage 4分別為4個(gè)階段，其中每個(gè)階段均包含BottleNeck模塊；ECA為有效通道注意力。

為了全方面評價(jià)本文提出的對19類農(nóng)作物病害識別模型RegNet-EMTL的分類性能，本文將采用準(zhǔn)確率（Accuracy）、精準(zhǔn)率（Precision）、召回率（Recall）、1分?jǐn)?shù)以及模型大小來評價(jià)模型的性能[24]。

3.2 試驗(yàn)結(jié)果與分析

3.2.1 消融試驗(yàn)

1）數(shù)據(jù)增強(qiáng)策略對模型的影響

為驗(yàn)證在線數(shù)據(jù)增強(qiáng)策略的有效性，本文以RegNet原模型為基礎(chǔ)開展對比試驗(yàn)。試驗(yàn)參數(shù)設(shè)置均相同，試驗(yàn)結(jié)果如表3所示。在引入在線數(shù)據(jù)增強(qiáng)策略后，模型的識別準(zhǔn)確率提升3.9個(gè)百分點(diǎn)，說明采用在線數(shù)據(jù)增強(qiáng)策略可以有效地?cái)U(kuò)充訓(xùn)練樣本的多樣性，提升模型的泛化能力?；诖耍诒疚钠渌谠囼?yàn)中，均默認(rèn)采用在線數(shù)據(jù)增強(qiáng)策略。

表3 數(shù)據(jù)增強(qiáng)策略下RegNet模型識別準(zhǔn)確率

2）注意力機(jī)制對模型的影響

對比不同注意力機(jī)制對模型的影響效果，本文在RegNet相同的網(wǎng)絡(luò)層之間分別添加了（Squeeze-and-Excitation，SE）[25]注意力模塊、（Coordinate Attention，CA）[26]注意力模塊和ECA注意力模塊，并通過測試集進(jìn)行驗(yàn)證，試驗(yàn)結(jié)果如表4所示，混淆矩陣如圖7所示。

表4 結(jié)合不同注意力機(jī)制模型識別準(zhǔn)確率

注：SE、CA、ECA分別為擠壓與激發(fā)注意力、坐標(biāo)注意力、有效通道注意力機(jī)制。RegNet均為數(shù)據(jù)增強(qiáng)策略下模型，下同。

Note: SE, CA, and ECA are squeeze and excitation attention, coordinate attention, and efficient channel attention mechanisms, respectively. RegNet is the model with data enhancement strategy, same below.

由表4可知，在引入SE注意力機(jī)制、CA注意力機(jī)制和ECA注意力機(jī)制后模型平均精度相較于原模型分別提升了0.4個(gè)、1.0個(gè)和1.5個(gè)百分點(diǎn)，可見RegNet在引入注意力機(jī)制后可以獲得更好的性能。對比可知，RegNet+ECA模型相較于RegNet+SE模型和RegNet+CA模型，添加了ECA注意力機(jī)制的RegNet網(wǎng)絡(luò)在病害受害程度識別任務(wù)中性能提升最為顯著，因此本文選取ECA注意力機(jī)制對模型進(jìn)行優(yōu)化。

分析圖7混淆矩陣圖發(fā)現(xiàn)，盡管RegNet+ECA模型在大多數(shù)類別上識別準(zhǔn)確率高于其他3種模型，但是，對部分同種病害的不同受害程度，如葡萄一般黑腐病A1和嚴(yán)重黑腐病A2、蘋果一般褐斑病B3和嚴(yán)重褐斑病B4誤分類情況嚴(yán)重，與其他3種模型相比并無優(yōu)勢。究其原因，可能與該模型RegHead分類層對相似病害特征之間的細(xì)小差別無法有效區(qū)分有關(guān)，需要進(jìn)一步改進(jìn)，提升分類精度。

注：主對角線上數(shù)字代表分類正確的樣本數(shù)量，其余為分類錯(cuò)誤的樣本量。

3）多尺度特征融合模塊對模型的影響

針對模型不能有效區(qū)分病害特征細(xì)微差別，進(jìn)而導(dǎo)致性能欠佳的問題，本研究在RegNet+ECA的基礎(chǔ)上，通過在RegHead分類層中引入改進(jìn)的多尺度特征融合模塊來對不同感受野特征圖進(jìn)行融合，同時(shí)強(qiáng)化同一卷積層內(nèi)不同區(qū)域之間特征的關(guān)聯(lián)性，使模型關(guān)注上下文信息，最終分類準(zhǔn)確率提升，提升了2.4個(gè)百分點(diǎn)，引入多尺度特征融合模塊后模型的識別效果如表5和圖8所示。

表5 引入多尺度特征融合模塊模型的識別準(zhǔn)確率

注：Multi為多尺度特征融合模塊。

Note: Multi is a multi-scale feature fusion module.

圖8 RegNet+ECA+Multi模型混淆矩陣圖

4）遷移學(xué)習(xí)對模型的影響

本文采用簡單遷移學(xué)習(xí)（Transfer Learning，TL）和深度遷移學(xué)習(xí)（Deep Transfer Learning，DeepTL）兩種方式進(jìn)行訓(xùn)練，以此來選取合適的遷移學(xué)習(xí)方式對模型進(jìn)行改進(jìn)。簡單遷移學(xué)習(xí)即指凍結(jié)RegHead之前的特征提取層進(jìn)行參數(shù)遷移。深度遷移學(xué)習(xí)即指凍結(jié)了模型的steam輸入層和body骨干層的前兩個(gè)RegStage。最后，通過設(shè)置相同的試驗(yàn)參數(shù)進(jìn)行試驗(yàn)，其試驗(yàn)結(jié)果準(zhǔn)確率曲線圖如圖9所示。

注：TL為遷移學(xué)習(xí)，DeepTL為深度遷移學(xué)習(xí)。

通過圖9可以看出，模型加入遷移學(xué)習(xí)后，在訓(xùn)練初期由于初始權(quán)重的存在使得模型已學(xué)習(xí)一些基本的網(wǎng)絡(luò)特征，所以訓(xùn)練效果上升比較快，但是在訓(xùn)練后期農(nóng)作物病害的個(gè)性化特征愈加突顯，若僅僅使用簡單遷移學(xué)習(xí)則不能滿足個(gè)性化的特征提取要求。所以使用深度遷移學(xué)習(xí)既滿足了在訓(xùn)練初期的淺層網(wǎng)絡(luò)中共用基本參數(shù)的思想，又在深層網(wǎng)絡(luò)中訓(xùn)練了農(nóng)作物病害的深層特征，達(dá)到了比較好的試驗(yàn)效果。經(jīng)過深度遷移學(xué)習(xí)后的RegNet-EMTL模型的準(zhǔn)確率為94.5%，較未引入深度遷移學(xué)習(xí)模型ECA-Multi-RegNet的準(zhǔn)確率提升了2.7個(gè)百分點(diǎn)且深度遷移學(xué)習(xí)后的模型收斂速度更快。最終，本文所提的RegNet-EMTL模型相較于RegNet原模型對農(nóng)作物病害受害程度分類準(zhǔn)確率提高了10.4個(gè)百分點(diǎn)，實(shí)現(xiàn)了對農(nóng)作物病害受害程度的精準(zhǔn)識別。

3.2.2 對比試驗(yàn)

為評估本文提出的（ECA-Multi-RegNet-DeepTL，RegNet-EMTL）模型對病害受害程度識別的有效性和優(yōu)越性，本文選取了常用于分類的VGG-16、ResNet-50、InceptionV3、ConvNeXt[27]和Vision Transformer（ViT）[28]網(wǎng)絡(luò)模型進(jìn)行性能比較，訓(xùn)練參數(shù)設(shè)置均相同。對比試驗(yàn)結(jié)果如表6及圖10所示。

表6 不同模型大小和識別準(zhǔn)確率

圖10 不同模型識別準(zhǔn)確率曲線

如表6所示，本文提出的RegNet-EMTL模型相較于ResNet-50、VGG-16、InceptionV3 和 ConvNeXt識別準(zhǔn)確率分別增加了2.1、6.0、3.7和1.6個(gè)百分點(diǎn)，而模型大小均小于這些模型。對比較新的非卷積分類模型ViT，發(fā)現(xiàn)該模型體積大，分類精度低，并不適合本文分類任務(wù)。從圖11中可以看出，本文所提模型相較于其他模型，在迭代次數(shù)為30時(shí)就趨于平穩(wěn)狀態(tài)，達(dá)到了快速收斂。而其他模型抖動(dòng)嚴(yán)重，收斂速度慢，識別準(zhǔn)確率低。主要原因在于訓(xùn)練數(shù)據(jù)集的背景復(fù)雜、數(shù)據(jù)樣本少，易造成網(wǎng)絡(luò)過擬合、泛化能力弱的問題。綜上，本文提出的模型準(zhǔn)確率均高于其他卷積模型，且模型體積更小，便于部署在移動(dòng)設(shè)備上。

3.2.3 模型性能評價(jià)結(jié)果

改進(jìn)后的RegNet-EMTL模型在不同農(nóng)作物病害及其受害程度上的識別結(jié)果如表7所示，可以看出該模型在健康葉片上面的分類識別準(zhǔn)確率較高，葡萄健康葉片和蘋果健康葉片的識別準(zhǔn)確率達(dá)到了100%。除蘋果褐斑病外，其余各類病害精準(zhǔn)率、召回率、1分?jǐn)?shù)均超過90%。通過計(jì)算可以得到模型的精準(zhǔn)率為94.5%，召回率為94.4%，1分?jǐn)?shù)為94.3%，表明模型具有較好的識別準(zhǔn)確率。

3.2.4 模型特征提取可視化

對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行可視化，有助于理解模型的每層特征圖的輸出，以此了解模型所學(xué)習(xí)的特征。根據(jù)可視化的特征圖，可以進(jìn)一步調(diào)整模型的參數(shù)，提升模型的各項(xiàng)性能。

表7 RegNet-EMTL模型在農(nóng)作物病害及其受害程度數(shù)據(jù)集上的識別結(jié)果

圖11為改進(jìn)模型RegNet-EMT訓(xùn)練后對不同病害的各層輸出特征的提取效果?？梢钥闯觯矸e神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是有層次性的。

圖11 各模塊輸出可視化圖

RegNet網(wǎng)絡(luò)的特征提取包括之前的輸入層Steam和RegStage1～RegStage4，輸出特征圖如圖11。原圖經(jīng)過輸入層Steam后其特征沒有發(fā)生明顯的變化，基本保留了原始圖像的所有信息。之后經(jīng)過特征提取層RegStage1到RegStage4，隨著卷積層數(shù)的加深，視覺內(nèi)容的相關(guān)性越來越少，更多呈現(xiàn)的是農(nóng)作物病害的紋理特點(diǎn)。在通過最深的特征提取層RegStage4后，其特征圖越來越抽象，最后通過分類層RegHead對其特征進(jìn)行分類。在圖11中，通過橫向?qū)Ρ炔煌N類農(nóng)作物在各個(gè)層間提取的特征圖，可以看出不同種類農(nóng)作物葉片輪廓特征及病害特征均不同。如圖11第四列A5中健康葡萄葉片最終的特征提取圖全為黑色，表明該葉片并未患病，而第三列A6中一般葡萄枯葉病最終輸出的特征圖中包含了病斑特征。同時(shí)，根據(jù)中間層的可視化輸出可以看出，本文所改進(jìn)的RegNet-EMTL模型可以很好地提取農(nóng)作物病害特征信息，用來對農(nóng)作物病害進(jìn)行分類識別研究。

4 結(jié) 論

為解決傳統(tǒng)農(nóng)業(yè)中依賴人工進(jìn)行農(nóng)作物病害情況識別導(dǎo)致的誤判和錯(cuò)判問題，本文提出了一種基于改進(jìn)RegNet的農(nóng)作物病害識別方法。首先，通過在線數(shù)據(jù)增強(qiáng)增加訓(xùn)練樣本的多樣性；其次，引入有效通道注意力機(jī)制提高模型的特征提取能力；然后，添加改進(jìn)的多尺度特征融合策略，將最終分類特征與圖像的全局特征共用，以判斷農(nóng)作物病害所屬的子類類別；最后，使用深度遷移學(xué)習(xí)，加速模型收斂，提升模型性能。最終，本文所提模型增強(qiáng)了對農(nóng)作物病害特征的提取能力，提高了農(nóng)作物病害受害程度的分類識別準(zhǔn)確率，對農(nóng)作物病害受害程度的識別準(zhǔn)確率達(dá)到94.5%，相較于RegNet原模型提高了10.4個(gè)百分點(diǎn)，且均高于VGG-16、ResNet-50、InceptionV3和ConvNeXt等主流分類網(wǎng)絡(luò)，表明了該方法對于農(nóng)作物病害受害程度分類識別具有一定的優(yōu)越性。

[1] Zhou C, Zhou S, Xing J, et al. Tomato leaf disease identification by restructured deep residual dense network[J]. IEEE Access, 2021, 9: 28822-28831.

[2] 王彥翔，張艷，楊成婭，等. 基于深度學(xué)習(xí)的農(nóng)作物病害圖像識別技術(shù)進(jìn)展[J]. 浙江農(nóng)業(yè)學(xué)報(bào)，2019，31(4)：669-676.

Wang Yanxiang, Zhang Yan, Yang Chengya, et al. Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J]. Acta Agriculturae Zhejiangensis, 2019, 31(4): 669-676. (in Chinese with English abstract)

[3] LeCun Y, Kavukcuoglu K, Farabet C. Convolutional networks and applications in vision[C]//Proceedings of 2010 IEEE International Symposium on Circuits and Systems. Paris France: IEEE, 2010: 253-256.

[4] Jia S, Jia P, Hu S. Automatic detection of tomato diseases and pests based on leaf images[C]//2017 Chinese Automation Congress (CAC). Jinan China: IEEE, 2017: 2537-2510.

[5] 孫俊，朱偉棟，羅元秋，等. 基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[6] 鮑文霞，吳剛，胡根生，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的蘋果葉部病害識別[J]. 安徽大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，45(1)：53-59.

Bao Wenxia, Wu Gang, Hu Gensheng, et al. Apple leaf disease recognition based on improved convolutional neural network[J]. Journal of Anhui University (Natural Science), 2021, 45(1): 53-59. (in Chinese with English abstract)

[7] 黃雪峰. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的玉米葉部病害識別算法及系統(tǒng)實(shí)現(xiàn)[D]. 合肥：安徽大學(xué)，2021.

Huang Xuefeng. Maize Leaf Disease Recognition Algorithm and System Implementation Based on Deep Convolutional Neural Network[D]. Hefei: Anhui University, 2021. (in Chinese with English abstract)

[8] 張善文，許新華，齊國紅，等. 基于可形變VGG-16模型的田間作物害蟲檢測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：188-194.

Zhang Shanwen, Xu Xinhua, Qi Guohong, et al. Detecting the pest disease of field crops using deformable VGG-16 model[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(18): 188-194. (in Chinese with English abstract)

[9] Elhoucine E, Recep E, Lahcen E. Beans leaf diseases classification using MobileNet Models[J]. IEEE Access, 2022, 10: 9471-9482.

[10] 牛學(xué)德，高丙朋，南新元，等. 基于改進(jìn)DenseNet卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片病害檢測[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38(1)：129-134.

Niu Xuede, Gao Bingpeng, Nan Xinyuan, et al. Detection of tomato leaf disease based on improved DenseNet convolutional neural network[J]. Jiangsu Journal of Agricultural Sciences, 2022, 38(1): 129-134. (in Chinese with English abstract)

[11] 何東健，王鵬，牛童，等. 基于改進(jìn)殘差網(wǎng)絡(luò)的田間葡萄霜霉病病害程度分級模型[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53(1)：235-243.

He Dongjian, Wang Peng, Niu Tong, et al. Classification model of grape downy mildew disease degree in field based on improved residual network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(1): 235-243. (in Chinese with English abstract)

[12] 溫長吉，王啟銳，陳洪銳，等. 面向大規(guī)模多類別的病蟲害識別模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(8)：169-177.

Wen Changji, Wang Qirui, Chen Hongrui, et al. Model for the recognition of large-scale multi-class diseases and pests[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 169-177. (in Chinese with English abstract)

[13] Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016: 3637-3645.

[14] Larson S, Zheng A, Mahendran A, et al. Iterative feature mining for constraint-based data collection to increase data diversity and model robustness[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP).Punta Cana, Dominican Republic: 2020: 8097-8106.

[15] 葉中華，趙明霞，賈璐. 復(fù)雜背景農(nóng)作物病害圖像識別研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(S1)：118-124，147.

Ye Zhonghua, Zhao Mingxia, Jia Lu. Image recognition of crop diseases in complex background[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 118-124, 147. (in Chinese with English abstract)

[16] 甘雨，郭慶文，王春桃，等. 基于改進(jìn)EfficientNet模型的作物害蟲識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(1)：203-211.

Gan Yu, Guo Qingwen, Wang Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)

[17] Ilija R, Kosaraju R P, Girshick R, et al. Designing network design spaces[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: 2020: 10428-10436.

[18] Wang Q, Wu B, Zhu P, et al, ECA-Net: efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA: 2020: 11531-11539.

[19] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: 2017: 2117-2125.

[20] Mei Y, Fan Y, Zhou Y. Image super-resolution with non-local sparse attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 3517-3526.

[21] Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[22] 李茂瑩，楊柳，胡清華. 同構(gòu)遷移學(xué)習(xí)理論和算法研究進(jìn)展[J]. 南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，11(3)：269-277.

Li Maoying, Yang Liu, Hu Qinghua. A survey on theories and algorithms about homogeneous transfer learning[J]. Journal of Nanjing University of Information Science and Technology (Natural Science Edition), 2019, 11(3): 269-277. (in Chinese with English abstract)

[23] 陳立福，武鴻，崔先亮，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)SAR圖像目標(biāo)識別[J]. 中國空間科學(xué)技術(shù)，2018，38(6)：45-51.

Chen Lifu, Wu Hong, Cui Xianliang, et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology, 2018, 38(6): 45-51. (in Chinese with English abstract)

[24] 蘇仕芳，喬焰，饒?jiān)? 基于遷移學(xué)習(xí)的葡萄葉片病害識別及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(10)：127-134.

Su Shifang, Qiao Yan, Rao Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J] Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract)

[25] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: 2018: 7132-7141.

[26] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 13713-13722.

[27] Liu Z, Mao H, Wu C Y, et al. A convnet for the 2020s[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 11976-11986.

[28] Meng L, Li H, Chen B C, et al. AdaViT: adaptive vision transformers for efficient image recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 12309-12318.

Identifying the damage degree of various crop diseases using an improved RegNet

Du Tiantian, Nan Xinyuan※, Huang Jiaxing, Zhang Wenlong, Ma Zhixia

(,,830017,)

Crop yield has been one of the most prominent issues in the world in recent years. However, crop diseases have posed a great threat to crop yield. It is a high demand to timely and accurately detect crop disease types and the degree of damage. The manual recognition can rely only on skilled technicians. But, the visual fatigue of humans can easily lead to reduce the accuracy rate. The current machine learning cannot consider the correlation between the attributes in the data set, resulting in low recognition accuracy. In this study, a network model was proposed to identify the damage degree of multiple crop diseases using deep transfer learning and improved RegNet. The model contained four aspects as follows. Firstly, an online data enhancement was carried out at the input side of this model. Nine strategies were selected for the data enhancement, such as the HSV color variation, grayscale transformation, and Gaussian noise. The diversity of data samples increased while reducing the time and space for the data set collection expansion. As such, the over-fitting of the network was alleviated during this time. Secondly, the Ef?cient Channel Attention (ECA) mechanism was introduced into the feature extraction layer of the model for the cross-channel interaction. The model was then improved to extract more subtle features, particularly for the crop disease features. As such, a higher accuracy of recognition was achieved for the crop disease damage, which increased by 1.5 percentage points, compared with the original model at the same model size. In addition, a multi-scale feature fusion was introduced into the classification layer of the model. A spatial pyramid pooling was adopted to highly improve the accuracy of the model. The degree of crop disease damage was classified at different scales, especially for the fine-grained features. Correspondingly, the accuracy of crop disease damage recognition increased by 2.4 percentage points. Finally, deep transfer learning was used to optimize the overall performance of the model. The convergence speed was accelerated to improve the generalization ability of the model. The recognition accuracy was improved by 2.7 percentage points, compared with the strategy without deep transfer learning. The experimental results show that the improved RegNet network model achieved 94.5 percentage points accuracy on the dataset of crop disease damage level, which was 10.4 percent higher than the original one. The recognition accuracy of the improved model was improved by 2.1, 6.0, 3.7, and 1.6 percentage points, respectively, compared with the commonly-used classification network models, such as ResNet50, VGG16, InceptionV3, and ConvNeXt. Consequently, higher accuracy of recognition and smaller model size were achieved in the improved classification model, compared with the rest. The better performance of feature extraction and stronger classification ability were also obtained for the fine-grained features during this time. The finding can also provide a promising way to identify the crop disease types and the degree of damage.

crops; models; disease; RegNet; ECA attention mechanism; multi-scale feature fusion; transfer learning

10.11975/j.issn.1002-6819.2022.15.016

TP391.41

A

1002-6819(2022)-15-0150-09

杜甜甜，南新元，黃家興，等. 改進(jìn)RegNet識別多種農(nóng)作物病害受害程度[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(15)：150-158.doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

Du Tiantian, Nan Xinyuan, Huang Jiaxing, et al. Identifying the damage degree of various crop diseases using an improved RegNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 150-158. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

2022-05-07

2022-06-20

國家自然科學(xué)基金項(xiàng)目（52065064）

杜甜甜，研究方向?yàn)橛?jì)算機(jī)視覺、農(nóng)業(yè)信息化。Email：1539263020@qq.com

南新元，教授，研究方向?yàn)闄C(jī)器視覺、模式識別、工業(yè)控制Email：nxyxd@sina.com