摘要:
為加強(qiáng)農(nóng)作物病害的識別,減少病害發(fā)生的頻率與強(qiáng)度,提高農(nóng)作物產(chǎn)量與品質(zhì),基于遷移學(xué)習(xí)構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對玉米葉片銹病、大小斑病和灰斑病進(jìn)行識別分類研究。通過對比AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2深度學(xué)習(xí)網(wǎng)絡(luò),GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%,模型收斂效果最好。通過進(jìn)一步優(yōu)化GoogLeNet模型架構(gòu),在inception模塊中插入卷積注意力模塊CBAM,使用LeakyReLU激活函數(shù)替換ReLU函數(shù),改進(jìn)后網(wǎng)絡(luò)通道注意力增強(qiáng),測試集的識別準(zhǔn)確率達(dá)到99.0%,識別準(zhǔn)確率提高2.7%。采用CAM和LIME算法對模型的可解釋性分析,改進(jìn)后網(wǎng)絡(luò)的可解釋性增強(qiáng),更好地關(guān)注葉片病害部分。
關(guān)鍵詞:深度學(xué)習(xí);玉米葉片病害;遷移學(xué)習(xí);可解釋性;圖像處理
中圖分類號:TP391.4; S435.131
文獻(xiàn)標(biāo)識碼:A
文章編號:2095-5553 (2025) 01-0204-09
Identification and explainability of maize leaf diseases based on
improved GoogLeNet
Niu Panting1, Zhang Baolin1, 2, 3, Pan Lijie1, Guo Jianpeng1
(1. College of Chemistry and Environmental Sciences, Inner Mongolia Normal University, Hohhot, 010020, China;
2. Inner Mongolia Key Laboratory of Environmental Chemistry, Hohhot, 010020, China;
3. Inner Mongolia Water-saving Agriculture Engineering Research Center, Hohhot, 010020, China)
Abstract:
In order to strengthen the identification of crop diseases, reduce the frequency and intensity of disease occurrence, and increase crop yield and quality, five kinds of deep learning frameworks based on transfer learning was used to identify and classify maize leaf diseases, including corn rust, leaf blight and gray spot. Compared with AlexNet, VGG19, ResNet50, GoogLeNet and MobileNetV2 deep learning networks, the recognition accuracy of GoogLeNet is the highest by 96.3%, and the model convergence effect is the best. By further optimizing the GoogLeNet model architecture, the Convolutional Block Attention Module (CBAM) is inserted into the inception module, and the LeakyReLU activation function is used to replace the ReLU function. After the improvement, the network channel attention is strengthened, the recognition accuracy of the test dataset reaches 99.0%, and the recognition accuracy is increased by 2.7%. CAM(Class Activation Mapping) and LIME(Local Interpretable Model-Agnostic Explanations) algorithms are used to analyze the model interpretability, the interpretability of the improved network shows higher explainability, with more attention on disease affected leaf regions.
Keywords:
deep learning; maize leaf disease; transfer learning; explainability; image processing
0"引言
玉米是我國的重要糧食作物,種植范圍廣、面積大。玉米葉部病害危害較重,影響玉米的產(chǎn)量和質(zhì)量[1]。要在保護(hù)生態(tài)的基礎(chǔ)上提高病蟲害防治水平,需要優(yōu)化病害識別方法與技術(shù),以減少病害發(fā)生頻率與強(qiáng)度。因此,農(nóng)作物病蟲害的無損檢測是精準(zhǔn)農(nóng)業(yè)、智慧農(nóng)業(yè)發(fā)展的必然需求。
由于深度學(xué)習(xí)具有自主學(xué)習(xí)和特征提取等優(yōu)點(diǎn),在圖像識別、語義分割等領(lǐng)域取得了重大突破,也成為農(nóng)業(yè)植物保護(hù)和環(huán)境保護(hù)的研究熱點(diǎn)[2]。深度學(xué)習(xí)的出現(xiàn)為病蟲害防治提出了新的思路與方法,農(nóng)作物病蟲害識別已進(jìn)入第3個階段,即基于深度學(xué)習(xí)的人工智能階段。學(xué)者們將以AlexNet[3]、VGG[4]、GoogLeNet[5]、ResNet[6]、DenseNet[7]、MobileNet[8]等為代表的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到農(nóng)作物病蟲害識別、監(jiān)測中,取得了不錯的效果?;贕oogLeNet搭建的蘋果樹葉片病害診斷模型在葉片病害識別精確率達(dá)98.4%[9]。李恩霖等[10]采用遷移學(xué)習(xí)構(gòu)建了5種卷積神經(jīng)網(wǎng)絡(luò),CNN的病蟲害識別模型在玉米3種病害上表現(xiàn)出良好的效果,準(zhǔn)確率達(dá)99.73%。許景輝等[11]采用遷移學(xué)習(xí)方法,基于VGG16構(gòu)建了新的全連接層,實(shí)現(xiàn)了大斑病與玉米銹病的智能識別。李靜等[12]通過改進(jìn)GoogLeNet模型,對玉米螟蟲害圖像識別準(zhǔn)確率達(dá)到96.44%。楊長磊等[13]采用遷移學(xué)習(xí),改進(jìn)MobileNet,在5萬余張農(nóng)作物圖像上進(jìn)行訓(xùn)練,病害識別準(zhǔn)確率達(dá)到了99.67%。Mohanty等[14]利用GoogleNet識別14種作物的26種疾病,準(zhǔn)確率達(dá)到99.35%。
雖然深度學(xué)習(xí)在圖像分類、語義分割、視頻處理和關(guān)鍵點(diǎn)檢測等多個領(lǐng)域都取得了優(yōu)秀的成果,但在可解釋性方面,與機(jī)器學(xué)習(xí)算法相比,深度學(xué)習(xí)有很大的滯后性,給研究帶來了很大的阻礙[15]。深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性是指理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制的能力[16]。在深度學(xué)習(xí)中,網(wǎng)絡(luò)通常由許多層和節(jié)點(diǎn)組成,層和節(jié)點(diǎn)之間的關(guān)系非常復(fù)雜,使得人們很難理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制。因此,深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性一直是一個熱門話題。近年來,研究人員提出了許多方法以增強(qiáng)深度學(xué)習(xí)的可解釋性。2016年,Zhou等[17]提出CAM算法,在圖像分類任務(wù)中生成熱力圖,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了可解釋與顯著性分析,同時展現(xiàn)了可幫助圖像分類模型解決定位問題的能力。2017年,根據(jù)CAM算法衍生出的Grad-CAM[18],對CAM進(jìn)行優(yōu)化改進(jìn),可以分析深度學(xué)習(xí)網(wǎng)絡(luò)的任意一層。LIME算法[19]是基于局部代理模型來對單個樣本進(jìn)行解釋,與網(wǎng)絡(luò)無關(guān),可用性很高。然而,在目前的植物病害識別領(lǐng)域中,模型在特征提取階段學(xué)習(xí)到了什么,依據(jù)什么進(jìn)行分類依舊是一種“黑盒”問題,可解釋性分析罕見報(bào)導(dǎo)。黑盒問題導(dǎo)致深度學(xué)習(xí)在玉米病害識別分類的可解性研究很少,亟需進(jìn)行研究探索,助力人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用和智慧農(nóng)業(yè)的發(fā)展。
本文以玉米葉片銹病、大小斑病和灰斑病為研究對象,采用遷移學(xué)習(xí)構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2五種卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行玉米葉片病害的識別、分類評估,選出最佳模型并進(jìn)行優(yōu)化,為病害監(jiān)督管理方面提出新的方法;進(jìn)而利用CAM、LIME算法對模型的可解釋性進(jìn)行探索,觀察網(wǎng)絡(luò)在圖像分類任務(wù)中的學(xué)習(xí)情況,對深度學(xué)習(xí)網(wǎng)絡(luò)的“學(xué)習(xí)”內(nèi)容進(jìn)行分析,明確網(wǎng)絡(luò)模型改進(jìn)的方向。基于深度學(xué)習(xí)技術(shù)的玉米病害葉片分類監(jiān)測和可解釋性研究,將有助于玉米病害的識別,做到及時防治,提高作物產(chǎn)量和品質(zhì)。
1"材料與方法
1.1"數(shù)據(jù)集構(gòu)建
數(shù)據(jù)圖像是訓(xùn)練模型的基礎(chǔ),數(shù)據(jù)集越大,網(wǎng)絡(luò)模型學(xué)習(xí)到的圖像特征越全面,在測試集上運(yùn)行效果更好。本研究的數(shù)據(jù)集由公開數(shù)據(jù)集、實(shí)地拍攝和網(wǎng)絡(luò)下載的圖像構(gòu)成。實(shí)地拍攝圖像和網(wǎng)絡(luò)下載圖像有大量的無關(guān)信息,需要進(jìn)行數(shù)據(jù)的預(yù)處理,增強(qiáng)圖像分類識別的有效性。采用GrabCut進(jìn)行圖像分割,去除圖像中的無關(guān)信息(如雜草、土壤、莖稈等)(圖1),得到健康玉米葉片圖像554張、玉米銹病圖像1239張、大小斑病圖像1094張、玉米灰斑病圖像555張,共計(jì)3442張圖像數(shù)據(jù)。同時,通過數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集。為防止數(shù)據(jù)樣本不均衡、數(shù)據(jù)樣本差距較大等導(dǎo)致的一系列問題,在進(jìn)行數(shù)據(jù)擴(kuò)充時,對玉米灰斑病和健康圖像進(jìn)行多次擴(kuò)充。經(jīng)過數(shù)據(jù)擴(kuò)充后,玉米健康葉片圖像為3324張,玉米銹病圖像3717張,大小斑病圖像3330張,玉米灰斑病圖像3286張,共計(jì)13657張(表1)。按8∶2的比例隨機(jī)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集與測試集。
1.2"研究方法
由于深度學(xué)習(xí)在眾多領(lǐng)域的成功應(yīng)用,國內(nèi)外學(xué)者將深度學(xué)習(xí)與農(nóng)業(yè)領(lǐng)域相結(jié)合,其中CNN得到廣泛應(yīng)用。CNN基本結(jié)構(gòu)包括卷積層(Conv)、池化層(Pooling)、激活函數(shù)(ReLU)、歸一化層(BN)和全連接層(FC)。對于農(nóng)作物病蟲害圖像,可以通過卷積層運(yùn)算提取特征,應(yīng)用池化層減少數(shù)據(jù)處理量并保留有用特征,通過完全連接層權(quán)重矩陣重建局部特征[2]。遷移學(xué)習(xí)是將在某個任務(wù)上訓(xùn)練出來的網(wǎng)絡(luò)模型參數(shù),經(jīng)過微調(diào)后直接運(yùn)用到新的任務(wù)中,可減少網(wǎng)絡(luò)模型訓(xùn)練時間,使模型的泛化能力得到提高[20]。遷移學(xué)習(xí)的訓(xùn)練成本低,在沒有深度學(xué)習(xí)機(jī)器的情況下也可以進(jìn)行。遷移學(xué)習(xí)也可運(yùn)用于小數(shù)據(jù)集,解決部分?jǐn)?shù)據(jù)不足或原有數(shù)據(jù)少的問題?;诖耍眠w移學(xué)習(xí)構(gòu)建深度學(xué)習(xí)模型。
1.2.1"技術(shù)路線
使用Python語言,基于Pytorch框架搭建網(wǎng)絡(luò)模型。采用遷移學(xué)習(xí)方法,構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2模型,并對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。采用相同的數(shù)據(jù),相同的超參數(shù)設(shè)計(jì)進(jìn)行訓(xùn)練,篩選出運(yùn)行效果最好的網(wǎng)絡(luò)模型并進(jìn)行優(yōu)化。通過比較模型改進(jìn)前后的混淆矩陣、識別準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和語義特征降維可視化,分析模型優(yōu)化效果。最后,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋性分析,將其作為重要的指標(biāo)之一進(jìn)行網(wǎng)絡(luò)評價。技術(shù)路線如圖2所示。
1.2.2"激活函數(shù)
在很多模型中使用ReLU作為激活函數(shù),如果輸入激活函數(shù)是大于0的信號,信號就將向后傳遞,其他輸出為0。ReLU是當(dāng)前使用最頻繁的激活函數(shù)。
f(x)=
xxgt;0
0x≤0
(1)
LeakyReLU是ReLU激活函數(shù)的一種變形,是為了解決ReLU激活函數(shù)的神經(jīng)元“死亡”問題提出的。LeakyReLU與ReLU的輸出僅在xlt;0時有差異,在ReLU中輸入小于0時,輸出為0;而LeakyReLU輸入小于0時,輸出為負(fù)值,梯度非常小。這樣,當(dāng)LeakyReLU激活函數(shù)輸入小于0的信號時,也能夠通過計(jì)算得到梯度。
f(x)=
xx≥0
axxlt;0
(2)
1.2.3"神經(jīng)網(wǎng)絡(luò)模型評價指標(biāo)
基于深度學(xué)習(xí)的農(nóng)作物病蟲害監(jiān)測識別中,常用于評價分類模型的指標(biāo)主要有準(zhǔn)確率、靈敏度、召回率、精確率和F1分?jǐn)?shù)等[21]。
1) "識別準(zhǔn)確率。
準(zhǔn)確率(Accuracy)是正確預(yù)測占所有預(yù)測的比例,計(jì)算如式(3)所示。
Accuracy=TN+TPTN+TP+FN+FP
(3)
式中:
TP——被網(wǎng)絡(luò)模型預(yù)測為正類的正樣本;
TN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的負(fù)樣本;
FP——被網(wǎng)絡(luò)模型預(yù)測為正類的負(fù)樣本;
FN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的正樣本。
2) "精確率。
精確率(Precision)是對網(wǎng)絡(luò)模型判斷出的所有正例(TP+FP)來說,真正例(TP)占的比例,計(jì)算如式(4)所示。
Precision=TPTP+FP
(4)
3) "召回率。
召回率(Recall)又稱查全率,表示的是分類器中判定為真的正例占總正例的比率,計(jì)算如式(5)所示。
Recall=TPTP+FN
(5)
4) "F1分?jǐn)?shù),計(jì)算如式(6)所示。
F1-Score=2×Precision×RecallPrecision+Recall
(6)
1.2.4"神經(jīng)網(wǎng)絡(luò)模型可解釋性
識別準(zhǔn)確率不是評價網(wǎng)絡(luò)模型的唯一指標(biāo),模型具有良好的可解釋性也是必要的。在深度學(xué)習(xí)發(fā)展中一直有一個困擾人們的問題,就是“黑盒”難題。在深度學(xué)習(xí)中,常用的CNN普遍被認(rèn)為是個黑盒,可解釋性不高。復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致模型有很大的不透明性,可解釋性相較于機(jī)器學(xué)習(xí)很差[22]。
在圖像分類任務(wù)中,第一個步驟是對數(shù)據(jù)集進(jìn)行訓(xùn)練,第二個步驟是對數(shù)據(jù)集進(jìn)行測試,而不管是訓(xùn)練還是測試,網(wǎng)絡(luò)結(jié)構(gòu)的內(nèi)容都是不透明的。只知道模型從訓(xùn)練中學(xué)到特征,再應(yīng)用到測試集,得到數(shù)據(jù)的分類結(jié)果;但不知道網(wǎng)絡(luò)模型究竟提取了何種特征,按照何種特征進(jìn)行分類,有哪些側(cè)重點(diǎn)。因此,對模型的可解釋性進(jìn)行研究,有助于對模型進(jìn)行評估,發(fā)現(xiàn)模型的不足。對于模型的可解釋性分析,可分為敏感性分析和梯度分析。敏感度分析就是分析模型對哪個特征更為敏感、更感興趣;梯度分析就是將數(shù)據(jù)集中的特征通過梯度變化,來說明數(shù)據(jù)集中的哪些特征是分類的依據(jù)。目前,網(wǎng)絡(luò)可解釋性研究的常用的方法包括CAM、LIME、Grad-CAM[23]、SmoothGrad[24]等。本文使用CAM、LIME對模型進(jìn)行可解釋性研究,并將可解釋性作為模型的重要評價指標(biāo)。CAM是類激活圖算法,計(jì)算簡單,可以有效地反映網(wǎng)絡(luò)在輸入中關(guān)注的特征,并繪制出相應(yīng)的熱力圖,可以發(fā)現(xiàn)模型在原圖的注意力,關(guān)注哪些區(qū)域。LIME算法是一種局部可解釋性模型算法,主要用于文本類與圖像類模型中,具有很強(qiáng)的通用性,性能優(yōu)越。
2"結(jié)果與分析
2.1"基于遷移學(xué)習(xí)的玉米葉片病害識別
2.1.1"試驗(yàn)超參數(shù)設(shè)置
采用遷移學(xué)習(xí)方法構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2進(jìn)行訓(xùn)練,對ImageNet圖像識別大賽網(wǎng)絡(luò)的權(quán)重參數(shù)進(jìn)行微調(diào)網(wǎng)絡(luò)。在訓(xùn)練網(wǎng)絡(luò)時,學(xué)習(xí)率過高網(wǎng)絡(luò)不穩(wěn)定,過低模型收斂很慢。采用學(xué)習(xí)率衰減法,每經(jīng)過10次迭代,學(xué)習(xí)率減半。模型Batchsize設(shè)置為64,采用Adam進(jìn)行參數(shù)優(yōu)化。
2.1.2"模型性能評價
1) "模型穩(wěn)定性。
深度學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)可以反映模型在訓(xùn)練過程中的穩(wěn)定性。如果訓(xùn)練集和測試集的損失函數(shù)值都趨于穩(wěn)定,表明模型訓(xùn)練穩(wěn)定;比較模型在訓(xùn)練集與測試集上的訓(xùn)練結(jié)果,二者間差距越小,說明模型在數(shù)據(jù)集上的表現(xiàn)越穩(wěn)定。根據(jù)模型在測試集上損失的變化可知,AlexNet的收斂最差,曲線波動最大,穩(wěn)定性不好(圖3)。通過比較不同模型在訓(xùn)練集和測試集上的誤差,可知全部網(wǎng)絡(luò)整體誤差很小(表2)。GoogLeNet與VGG19模型的泛化能力較好,誤差很小,模型表現(xiàn)良好。MobileNetV2的曲線波動很小,收斂效果優(yōu)于AlexNet、VGG19和ResNet50。比較模型在訓(xùn)練集與測試集的損失,可以發(fā)現(xiàn)ResNet50模型損失最小,AlexNet損失最大,說明AlexNet模型穩(wěn)定性最差。
2) "模型分類能力。
根據(jù)模型損失函數(shù)的變化(圖3),可以發(fā)現(xiàn)GoogLeNet的性能優(yōu)于其他模型,收斂效果和損失上表現(xiàn)較優(yōu)。AlexNet損失函數(shù)曲線在epoch=29和epoch=33時驟減,導(dǎo)致曲線波動很大,其原因可能是學(xué)習(xí)率設(shè)置不合理,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的收斂效果不好。VGG19和GoogLeNet在識別準(zhǔn)確率上相差不大,但VGG19在損失上表現(xiàn)較差,兩個網(wǎng)絡(luò)運(yùn)行效果遠(yuǎn)優(yōu)于其他網(wǎng)絡(luò)。在擴(kuò)充數(shù)據(jù)集上,GoogLeNet模型的損失值遠(yuǎn)小于其他網(wǎng)絡(luò),識別準(zhǔn)確率優(yōu)于其他網(wǎng)絡(luò)(圖4、表3),沒有出現(xiàn)過擬合的現(xiàn)象,模型運(yùn)行效果最好。
根據(jù)模型分類混淆矩陣(圖5),可以觀察到單個病害的識別效果,識別效果最好的是玉米銹病,其次是健康葉片,大小斑病和灰斑病分類效果較差。VGG19的運(yùn)行效果也很優(yōu)秀,存在單個病害識別優(yōu)于GoogLeNet網(wǎng)絡(luò)的現(xiàn)象。
2.2"基于改進(jìn)GoogLeNet算法的玉米葉片病害識別
2.2.1"模型架構(gòu)改進(jìn)
根據(jù)不同模型在數(shù)據(jù)集上的表現(xiàn)(表3),GoogLeNet性能最為優(yōu)秀,收斂效果好,準(zhǔn)確率最高,達(dá)到96.3%。因此,對GoogLeNet改進(jìn),推出一個更為優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)。GoogLeNet采用的inceptionModule結(jié)構(gòu),較好地解決了增加網(wǎng)絡(luò)深度帶來的梯度消失問題,同時采用了不同尺寸的卷積核和池化層來解決網(wǎng)絡(luò)規(guī)模可能造成的過擬合問題。
在改進(jìn)GoogLeNet時,引入注意力機(jī)制。注意力機(jī)制可以讓網(wǎng)絡(luò)更加關(guān)注重要的特征,從而提高網(wǎng)絡(luò)性能,增強(qiáng)圖像分類識別效果。常用的注意力機(jī)制模塊有SENet、CBAM、ECA和RFB等。CBAM[25]是常用于圖像分類的注意力機(jī)制,可以增強(qiáng)模型的表達(dá)能力,幫助網(wǎng)絡(luò)更好地捕捉圖像中的重要特征,提高模型的性能。CBAM有兩個并行的塊:通道注意力模塊和空間注意力模塊(圖6)。通道注意力模塊通過學(xué)習(xí)特定通道的重要性來加權(quán)每個通道的特征圖,空間注意力模塊通過自適應(yīng)地調(diào)整不同空間位置的特征響應(yīng)來提高模型的空間感知能力。CBAM可以自適應(yīng)地學(xué)習(xí)哪些特征最重要,并將其加權(quán)到模型中。加入CBAM模塊后,可以在通道維度和空間維度上進(jìn)行特征的重要性評估和特征的重新縮放,更好地捕捉具有不同大小和位置的對象,提高對圖像細(xì)節(jié)的感知,更好地捕捉圖像中的重要特征,提高網(wǎng)絡(luò)性能。采用CBAM注意力機(jī)制進(jìn)行網(wǎng)絡(luò)優(yōu)化,在GoogLeNet中加入注意機(jī)制,以改進(jìn)網(wǎng)絡(luò)性能。
在inception模塊中加入CBAM模塊,ReLU激活函數(shù)可能會出現(xiàn)Dead ReLU情形,因此采用LeakyReLU激活函數(shù)替代ReLU激活函數(shù)。LeakyReLU激活函數(shù)比ReLU函數(shù)更加穩(wěn)定,可以解決神經(jīng)元的“死亡”問題,相對于ReLU激活函數(shù)有更快的收斂速度。
在新的網(wǎng)絡(luò)模型中,在GoogLeNet的每個inception Module中添加CBAM模塊,以增強(qiáng)模型的注意力,增強(qiáng)特征表達(dá)能力,以提高模型分類準(zhǔn)確率和泛化能力。同時,將模型中的ReLU激活函數(shù)替換為LeakyReLU激活函數(shù),改進(jìn)后GoogLeNet的inception結(jié)構(gòu)如圖7(b)所示。
2.2.2"模型性能改進(jìn)
1) "模型穩(wěn)定性。
模型改進(jìn)前后穩(wěn)定性變化較大,網(wǎng)絡(luò)模型運(yùn)行曲線可以反映出模型在訓(xùn)練過程中的穩(wěn)定性。改進(jìn)后的GoogLeNet模型損失函數(shù)曲線波動更小,收斂效果更好,模型的穩(wěn)定性更好(圖8)。同時,對比訓(xùn)練集與測試集測試誤差(表4)可知,改進(jìn)后的GoogLeNet模型在訓(xùn)練集與測試集上的表現(xiàn)差距相較改進(jìn)前更小,說明改進(jìn)后GoogLeNet網(wǎng)絡(luò)模型在數(shù)據(jù)集上的表現(xiàn)更穩(wěn)定。
2) "模型準(zhǔn)確率。
將通過添加注意力機(jī)制和替換激活函數(shù)后的新模型,應(yīng)用于試驗(yàn)數(shù)據(jù),采用與之前試驗(yàn)相同的參數(shù)設(shè)計(jì),對比改進(jìn)前后模型運(yùn)行的效果。可以看出,改進(jìn)后的GoogLeNet在識別準(zhǔn)確率方面的表現(xiàn)遠(yuǎn)優(yōu)于優(yōu)化前的模型(圖9)。根據(jù)改進(jìn)后GoogLeNet的混淆矩陣(圖10),可以看出模型對所有的玉米病害的識別性能都有所提升,其中,玉米大小斑病的提升效果最好,灰斑病與大小斑病錯誤識別的情形明顯減少。
對比模型改進(jìn)前后的模型評價指標(biāo)(表5),可以發(fā)現(xiàn),改進(jìn)后的GoogLeNet在識別準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)上均優(yōu)于改進(jìn)前的GoogLeNet。模型的精確率提高了,錯誤率降低了,網(wǎng)絡(luò)模型分類效果明顯有提升;F1分?jǐn)?shù)增加,說明網(wǎng)絡(luò)模型分類效果變好。改進(jìn)后GoogLeNet模型的性能參數(shù)平均為99.0%,接近于1,模型達(dá)到穩(wěn)態(tài),模型性能良好。改進(jìn)后GoogLeNet模型的性能遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)模型。
3) "特征可視化。
對訓(xùn)練好的模型進(jìn)行語義特征降維可視化研究,通過測試集數(shù)據(jù)的降維可視化,觀察模型將不同數(shù)據(jù)劃分到什么位置,有助于理解模型在面對圖像進(jìn)行了怎樣的判斷。將數(shù)據(jù)投影到二維空間,可以觀察到模型的聚類情況,采用t-SNE(t-Distributed Stochastic Neighbor Embedding)函數(shù)對測試集的數(shù)據(jù)圖像降維可視化(圖11)??梢园l(fā)現(xiàn),測試集的數(shù)據(jù)圖像的可分性很好,同類別之間間隔小,不同類之間間隔大。同時,也可以發(fā)現(xiàn)模型對灰斑病與大小斑病的分類存在混淆情況,分類效果遠(yuǎn)不如玉米的健康葉片,造成這一情況的主要原因可能是因?yàn)橛衩兹~片灰斑病與大小斑病的病狀存在相似性。
2.2.3"數(shù)據(jù)集大小對模型的影響
為探究數(shù)據(jù)集的大小對模型訓(xùn)練的影響,利用擴(kuò)充前的原始數(shù)據(jù)(3442張)與數(shù)據(jù)增強(qiáng)后的擴(kuò)充數(shù)據(jù)(13657張)分別進(jìn)行試驗(yàn)。采用提出的新模型進(jìn)行對比,學(xué)習(xí)率設(shè)置為當(dāng)test_loss經(jīng)過8次迭代沒有減小時,學(xué)習(xí)率減小為原學(xué)習(xí)率的10%;Batchsize設(shè)置為64;采用Adam進(jìn)行優(yōu)化參數(shù)??梢园l(fā)現(xiàn),擴(kuò)充數(shù)據(jù)集運(yùn)行的結(jié)果遠(yuǎn)優(yōu)于原始數(shù)據(jù)集,可知數(shù)據(jù)集的擴(kuò)充會使模型在測試集上表現(xiàn)更好(圖12)。
2.3"模型可解釋性研究
采用CAM算法對AlexNet、VGG19、ResNet50、GoogLeNet、MobileNetV2和改進(jìn)GoogLeNet算法進(jìn)行可解釋分析,可以發(fā)現(xiàn)改進(jìn)后的網(wǎng)絡(luò)可解釋性更好(圖13)。模型在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了神經(jīng)網(wǎng)絡(luò)模型的可解釋性。注意力機(jī)制可以將網(wǎng)絡(luò)的決策集中在輸入的特定區(qū)域或局部,改進(jìn)GoogLeNet算法可以更好地關(guān)注圖像中的病害部分。
同時,AlexNet網(wǎng)絡(luò)的可解釋性相對于其他網(wǎng)絡(luò)較差,模型的重點(diǎn)關(guān)注區(qū)域錯誤。因?yàn)樵贏lexNet網(wǎng)絡(luò)深層次結(jié)構(gòu)中,存在大量的卷積層和池化層,使得網(wǎng)絡(luò)中的每一個神經(jīng)元都難以解釋其具體的作用和含義,使AlexNet網(wǎng)絡(luò)的可解釋性較差。對所提出的改進(jìn)GoogLeNet網(wǎng)絡(luò)進(jìn)行LIME可解釋分析(圖14),綠色區(qū)域代表圖像當(dāng)前的類別一致,紅色則相反,玉米大小斑病病狀區(qū)域被識別出,LIME算法進(jìn)行可解釋分析效果良好。
3"討論
3.1"注意力機(jī)制對模型性能的影響
在網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力機(jī)制可以提升模型的精度、泛化能力和網(wǎng)絡(luò)可解釋性。注意力機(jī)制可以幫助網(wǎng)絡(luò)消除輸入中的噪聲和干擾,增強(qiáng)網(wǎng)絡(luò)可解釋性。根據(jù)模型優(yōu)化前后的運(yùn)行結(jié)果、混淆矩陣和語義降維可視化,可以發(fā)現(xiàn)改進(jìn)的算法在識別精度與算法性能方面都遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)。改進(jìn)后,識別準(zhǔn)確率提高2.7%,模型收斂效果更好,穩(wěn)定性有所增高。在深度學(xué)習(xí)網(wǎng)絡(luò)中添加注意力機(jī)制可以提升精度,這與其他學(xué)者的研究結(jié)果一致。在YOLOv5s的骨干網(wǎng)絡(luò)中加入CBAM注意力機(jī)制模塊,提高了識別精度,實(shí)現(xiàn)對溫室番茄快速識別[26]。YOLOv5s引入優(yōu)化后的CBAM模塊與改進(jìn)前相比農(nóng)作物病蟲害識別中精度提高了5%[27]。在輕量化Efficient網(wǎng)絡(luò)中引入CBAM模塊,在水稻常見病害數(shù)據(jù)集上的識別準(zhǔn)確率95.63%,提高了1.75%[28]。綜上所述,在網(wǎng)絡(luò)中添加注意力機(jī)制模塊確實(shí)可以避免無關(guān)信息的干擾,提升模型的性能,增強(qiáng)模型的特征提取能力,保留圖像的關(guān)鍵特征,提高模型分類能力。研究中,將CBAM模塊添加到inception模塊中提高了模型的表達(dá)能力、泛化能力和精度。
CNN的淺層卷積提取的都是顏色、紋理、邊緣和斑塊等特征,可以依據(jù)實(shí)際任務(wù)進(jìn)行改進(jìn)優(yōu)化神經(jīng)網(wǎng)絡(luò)。inception模塊能夠提取不同尺度的特征圖,而CBAM模塊能夠自適應(yīng)地對不同通道和空間位置進(jìn)行注意力加權(quán),能夠使得網(wǎng)絡(luò)更加關(guān)注重要的特征,加強(qiáng)特征圖的表達(dá)能力,提升模型的泛化能力。在后續(xù)研究中,可以嘗試在GoogLeNet模型的其他地方插入CBAM模塊,或者替換GoogLeNet中前幾層的卷積層。
3.2"激活函數(shù)對模型性能的影響
在優(yōu)化GoogLeNet模型時,引入LeakyReLU激活函數(shù),因?yàn)樵趯?shí)際訓(xùn)練中發(fā)現(xiàn)ReLU會出現(xiàn)神經(jīng)元死亡情況。采用LeakyReLU激活函數(shù)可以規(guī)避ReLU的“死亡”問題,提高網(wǎng)絡(luò)性能。LeakyReLU的引入使得梯度在小于0的區(qū)域不為0,從而減少訓(xùn)練過程中的抖動,使得訓(xùn)練更加穩(wěn)定。李靜等[12]基于GoogLeNet優(yōu)化識別玉米螟蟲研究中,將ReLU更換為Sigmoid激活函數(shù)。但是張瑞青等[29]基于AlexNet模型進(jìn)行改進(jìn)識別花生莢果等級的研究中,分析討論了激活函數(shù)的影響,發(fā)現(xiàn)更換為LeakyReLU激活函數(shù)時網(wǎng)絡(luò)模型訓(xùn)練提升效果微弱。本文采用LeakyReLU激活函數(shù),沒有做不同激活函數(shù)對模型運(yùn)行結(jié)果的影響,有待于進(jìn)一步研究。
3.3"玉米葉片病害誤判的原因分析
通過各種不同模型的運(yùn)行結(jié)果、混淆矩陣的比較,可以發(fā)現(xiàn)每個模型中玉米銹病的識別準(zhǔn)確率都高于另外兩種病害。對模型進(jìn)行語義降維可視化,發(fā)現(xiàn)玉米大小斑病與灰斑病有相互誤判的情況。其原因可能是數(shù)據(jù)圖像存在錯標(biāo)、病害情形復(fù)雜,存在混合病害,識別難度大,又或者因?yàn)榛野卟∨c大小斑病的發(fā)病性狀有相似性。灰斑病發(fā)病時,癥狀起初為橢圓形至矩圓形灰色至淡褐色,邊緣不太明顯,后期會變?yōu)楹稚“邊^(qū)域多局限于平行的葉脈之間[30]。玉米大小斑病發(fā)病癥狀呈橢圓形、近球形、柱形或倒棍棒形,中間或中間稍下處最寬,兩端漸細(xì)小,褐色至深褐色。由此可知大小斑病與灰斑病癥狀有相似性,可能導(dǎo)致模型在這兩種病害上的識別分類精度不如玉米銹病。
3.4"玉米葉片病害識別模型可解釋性
通過對所有搭建的網(wǎng)絡(luò)進(jìn)行CAM熱力圖進(jìn)行可解釋研究,發(fā)現(xiàn)改進(jìn)后的模型網(wǎng)絡(luò)可解釋性更好,這與其他學(xué)者研究一致。優(yōu)化后的網(wǎng)絡(luò)在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了網(wǎng)絡(luò)的可解釋性。王昕等[27]對優(yōu)化后的YOLOv5算法通過Grad-CAM進(jìn)行了可解釋分析,發(fā)現(xiàn)優(yōu)化前后的網(wǎng)絡(luò)關(guān)注點(diǎn)不同,優(yōu)化前的網(wǎng)絡(luò)更關(guān)注局部卷積,優(yōu)化后的網(wǎng)絡(luò)可以很好地將局部卷積與全局部卷積結(jié)合。于雪瑩等[31]通過采用特征圖和熱力圖對CBAM-ResNet進(jìn)行可視化分析,了解模型對蘋果病害的識別機(jī)制。通過分析與對比,優(yōu)化后的網(wǎng)絡(luò)可以更好地注意病害部分,降低對背景的關(guān)注。注意力機(jī)制模塊可以更加準(zhǔn)確地關(guān)注輸入數(shù)據(jù)的重要特征,增強(qiáng)網(wǎng)絡(luò)可解釋性。本研究對網(wǎng)絡(luò)進(jìn)行了LIME算法可解釋性研究,發(fā)現(xiàn)本研究的可解釋性、可行性很好。LIME算法有很強(qiáng)的通用性,但是運(yùn)行速度比CAM慢。因?yàn)長IME算法通過干擾數(shù)據(jù)樣本的輸入變量去理解預(yù)測是如何變化來理解分類模型,本研究中數(shù)據(jù)樣本的輸入變量為圖像中的每個像素[32]。
在玉米病害圖像識別分類任務(wù),對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋分析,可以發(fā)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)模型在數(shù)據(jù)圖像上的注意力,在關(guān)注什么區(qū)域,依據(jù)什么特征進(jìn)行分類。對深度學(xué)習(xí)模型進(jìn)行可解釋分析,有助于進(jìn)一步對模型的評估,也可以發(fā)現(xiàn)模型的缺點(diǎn),思考模型為什么分類錯誤,并提出改進(jìn)優(yōu)化方向。在后續(xù)研究中,為提高深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性,可以嘗試一些特殊的技術(shù)和方法,例如可視化、解釋性對抗訓(xùn)練和局部敏感性分析等,可以多采用一些可解釋性算法對深度學(xué)習(xí)圖像分類任務(wù)進(jìn)行分析。
4"結(jié)論
1) 基于AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2,通過遷移學(xué)習(xí)方法構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對3種玉米葉片病害進(jìn)行識別分類,研究表明GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%。
2) 通過在inception模塊中加入CABM改進(jìn)GoogLeNet,深度學(xué)習(xí)網(wǎng)絡(luò)在數(shù)據(jù)測試集上最高識別準(zhǔn)確率達(dá)到99.0%,較改進(jìn)前提高2.7%。研究表明在GoogLeNet中添加CBAM注意力機(jī)制模塊,提升了模型的穩(wěn)定性與識別精度,可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)特征表示,提高識別準(zhǔn)確率。
3) 網(wǎng)絡(luò)的可解釋分析表明改進(jìn)后的網(wǎng)絡(luò)對葉片病害部分更加關(guān)注,決策依據(jù)集中于病害區(qū)域,使可解釋性得到增強(qiáng)。因此,模型的可解釋性分析可以作為改進(jìn)網(wǎng)絡(luò)的參考。
參"考"文"獻(xiàn)
[1]
劉麗娟, 劉仲鵬, 張麗梅. 基于圖像處理技術(shù)的玉米葉部病害識別研究[J]. 吉林農(nóng)業(yè)科學(xué), 2014, 39(1): 61-65.
Liu Lijuan, Liu Zhongpeng, Zhang Limei. Studies on image processing of maize leaf diseases [J]. Journal of Jilin Agricultural Sciences, 2014, 39(1): 61-65.
[2]
翟肇裕, 曹益飛, 徐煥良, 等. 農(nóng)作物病蟲害識別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2021, 52(7): 1-18.
Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18.
[3]
Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks [C].Advances in Neural Information Processing Systems, 2012.
[4]
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. arXiv preprint arXiv: 1409. 1556, 2014.
[5]
Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions [C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015.
[6]
He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[7]
Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks [C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
[8]
Howard A, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv: 1704. 04861, 2017.
[9]
宋晨勇, 白皓然, 孫偉浩, 等. 基于GoogLeNet改進(jìn)模型的蘋果葉病診斷系統(tǒng)設(shè)計(jì)[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2021, 42(7): 148-155.
Song Chenyong, Bai Haoran, Sun Weihao, et al. Design of apple leaf disease diagnosis system based on GoogLeNet improved model [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(7): 148-155.
[10]
李恩霖, 謝秋菊, 蘇中濱, 等. 基于深度學(xué)習(xí)的玉米葉片病斑識別方法研究[J]. 智慧農(nóng)業(yè)導(dǎo)刊, 2021, 1(10): 1-10.
Li Enlin, Xie Qiuju, Su Zhongbin, et al. Research on maize leaf disease spot recognition based on deep learning [J]. Journal of Smart Agriculture, 2021, 1(10): 1-10.
[11]
許景輝, 邵明燁, 王一琛, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(2): 230-236.
Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236.
[12]
李靜, 陳桂芬, 安宇. 基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的玉米螟蟲害圖像識別[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào), 2020, 41(3): 110-116.
Li Jing, Chen Guifen, An Yu. Image recognition of pyrausta nubilalis based on optimized convolutional neural network [J]. Journal of South China Agricultural University, 2020, 41(3): 110-116.
[13]
楊長磊, 李彩林, 王佳文, 等. 基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害識別研究[J]. 農(nóng)業(yè)與技術(shù), 2021, 41(6): 1-3.
[14]
Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016, 7: 1419.
[15]
楊朋波, ?;w, 張彪, 等. 面向圖像分類的深度模型可解釋性研究綜述[J]. 軟件學(xué)報(bào), 2023, 34(1): 230-254.
Yang Pengbo, Sang Jitao, Zhang Biao, et al. Survey on interpretability of deep models for image classification [J]. Journal of Software, 2023, 34(1): 230-254.
[16]
陳沖, 陳杰, 張慧, 等. 深度學(xué)習(xí)可解釋性綜述[J]. 計(jì)算機(jī)科學(xué), 2023, 50(5): 52-63.
Chen Chong, Chen Jie, Zhang Hui, et al. A Review of interpretability in deep learning [J]. Computer Science, 2023, 50(5): 52-63.
[17]
Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[18]
Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. 2017 IEEE International Conference on Computer Vision (ICCV), 2017.
[19]
Ribeiro M T, Singh S, Guestrin C. “Why should i trust you?” explaining the predictions of any classifier [C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016: 1135-1144.
[20]
莊福振, 羅平, 何清, 等. 遷移學(xué)習(xí)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2015, 26(1): 26-39.
Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer learning research [J]. Journal of Software, 2015, 26(1): 26-39.
[21]
Ishengoma F S, Rai I A, Said R N. Identification of maize leaves infected by fall armyworms using UAV-based imagery and convolutional neural networks [J]. Computers and Electronics in Agriculture, 2021, 184: 106124.
[22]
蘇炯銘, 劉鴻福, 項(xiàng)鳳濤, 等. 深度神經(jīng)網(wǎng)絡(luò)解釋方法綜述[J]. 計(jì)算機(jī)工程, 2020, 46(9): 1-15.
Su Jiongming, Liu Hongfu, Xiang Fengtao, et al. Survey of interpretation methods for deep neural networks [J]. Computer Engineering, 2020, 46(9): 1-15.
[23]
Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. IEEE International Conference on Computer Vision. IEEE, 2017.
[24]
Smilkov D, Thorat N, Kim B, et al. SmoothGrad: Removing noise by adding noise [J]. arXiv Preprint arXiv: 1706. 03825, 2017.
[25]
Woo S, Park J, Lee J, et al. CBAM: Convolutional block attention module [C]. Proceedings of the 15th European Conference on Computer Vision (ECCV), 2018.
[26]
張俊寧, 畢澤洋, 閆英, 等. 基于注意力機(jī)制與改進(jìn)YOLO的溫室番茄快速識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(5): 236-243.
Zhang Junning, Bi Zeyang, Yan Ying, et al. Fast recognition of greenhouse tomato targets based on attention mechanism and improved YOLO [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 236-243.
[27]
王昕, 董琴, 楊國宇. 基于優(yōu)化CBAM改進(jìn)YOLOv5的農(nóng)作物病蟲害識別[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2023, 32(7): 261-268.
Wang Xin, Dong Qin, Yang Guoyu. YOLOv5 improved by optimized CBAM for crop pest identification [J]. Computer Systems amp; Applications, 2023, 32(7): 261-268.
[28]
衛(wèi)雅娜, 王志彬, 喬曉軍, 等. 基于注意力機(jī)制與EfficientNet的輕量化水稻病害識別方法[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(11): 172-181.
Wei Yana, Wang Zhibin, Qiao Xiaojun, et al. Lightweight rice disease identification method based on attention mechanism and EfficientNet [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(11): 172-181.
[29]
張瑞青, 李張威, 郝建軍, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)花生莢果等級圖像識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020,36(23): 171-180.
Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(23): 171-180.
[30]
周慧升. 玉米灰斑病的發(fā)生及綜合防治[J]. 云南農(nóng)業(yè), 2020(8): 56-58.
[31]
于雪瑩, 高繼勇, 王首程, 等. 基于生成對抗網(wǎng)絡(luò)和混合注意力機(jī)制殘差網(wǎng)絡(luò)的蘋果病害識別[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6): 166-174.
Yu Xueying, Gao Jiyong, Wang Shoucheng, et al. Apple disease recognition based on wassersteingenerative adversarialnetworks and hybrid attention mechanism residual network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 166-174.