• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)GoogLeNet的玉米葉片病害識別及其可解釋性研究

    2025-01-19 00:00:00牛潘婷張寶林潘麗杰郭建鵬
    關(guān)鍵詞:遷移學(xué)習(xí)圖像處理深度學(xué)習(xí)

    摘要:

    為加強(qiáng)農(nóng)作物病害的識別,減少病害發(fā)生的頻率與強(qiáng)度,提高農(nóng)作物產(chǎn)量與品質(zhì),基于遷移學(xué)習(xí)構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對玉米葉片銹病、大小斑病和灰斑病進(jìn)行識別分類研究。通過對比AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2深度學(xué)習(xí)網(wǎng)絡(luò),GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%,模型收斂效果最好。通過進(jìn)一步優(yōu)化GoogLeNet模型架構(gòu),在inception模塊中插入卷積注意力模塊CBAM,使用LeakyReLU激活函數(shù)替換ReLU函數(shù),改進(jìn)后網(wǎng)絡(luò)通道注意力增強(qiáng),測試集的識別準(zhǔn)確率達(dá)到99.0%,識別準(zhǔn)確率提高2.7%。采用CAM和LIME算法對模型的可解釋性分析,改進(jìn)后網(wǎng)絡(luò)的可解釋性增強(qiáng),更好地關(guān)注葉片病害部分。

    關(guān)鍵詞:深度學(xué)習(xí);玉米葉片病害;遷移學(xué)習(xí);可解釋性;圖像處理

    中圖分類號:TP391.4; S435.131

    文獻(xiàn)標(biāo)識碼:A

    文章編號:2095-5553 (2025) 01-0204-09

    Identification and explainability of maize leaf diseases based on

    improved GoogLeNet

    Niu Panting1, Zhang Baolin1, 2, 3, Pan Lijie1, Guo Jianpeng1

    (1. College of Chemistry and Environmental Sciences, Inner Mongolia Normal University, Hohhot, 010020, China;

    2. Inner Mongolia Key Laboratory of Environmental Chemistry, Hohhot, 010020, China;

    3. Inner Mongolia Water-saving Agriculture Engineering Research Center, Hohhot, 010020, China)

    Abstract:

    In order to strengthen the identification of crop diseases, reduce the frequency and intensity of disease occurrence, and increase crop yield and quality, five kinds of deep learning frameworks based on transfer learning was used to identify and classify maize leaf diseases, including corn rust, leaf blight and gray spot. Compared with AlexNet, VGG19, ResNet50, GoogLeNet and MobileNetV2 deep learning networks, the recognition accuracy of GoogLeNet is the highest by 96.3%, and the model convergence effect is the best. By further optimizing the GoogLeNet model architecture, the Convolutional Block Attention Module (CBAM) is inserted into the inception module, and the LeakyReLU activation function is used to replace the ReLU function. After the improvement, the network channel attention is strengthened, the recognition accuracy of the test dataset reaches 99.0%, and the recognition accuracy is increased by 2.7%. CAM(Class Activation Mapping) and LIME(Local Interpretable Model-Agnostic Explanations) algorithms are used to analyze the model interpretability, the interpretability of the improved network shows higher explainability, with more attention on disease affected leaf regions.

    Keywords:

    deep learning; maize leaf disease; transfer learning; explainability; image processing

    0"引言

    玉米是我國的重要糧食作物,種植范圍廣、面積大。玉米葉部病害危害較重,影響玉米的產(chǎn)量和質(zhì)量[1]。要在保護(hù)生態(tài)的基礎(chǔ)上提高病蟲害防治水平,需要優(yōu)化病害識別方法與技術(shù),以減少病害發(fā)生頻率與強(qiáng)度。因此,農(nóng)作物病蟲害的無損檢測是精準(zhǔn)農(nóng)業(yè)、智慧農(nóng)業(yè)發(fā)展的必然需求。

    由于深度學(xué)習(xí)具有自主學(xué)習(xí)和特征提取等優(yōu)點(diǎn),在圖像識別、語義分割等領(lǐng)域取得了重大突破,也成為農(nóng)業(yè)植物保護(hù)和環(huán)境保護(hù)的研究熱點(diǎn)[2]。深度學(xué)習(xí)的出現(xiàn)為病蟲害防治提出了新的思路與方法,農(nóng)作物病蟲害識別已進(jìn)入第3個階段,即基于深度學(xué)習(xí)的人工智能階段。學(xué)者們將以AlexNet[3]、VGG[4]、GoogLeNet[5]、ResNet[6]、DenseNet[7]、MobileNet[8]等為代表的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到農(nóng)作物病蟲害識別、監(jiān)測中,取得了不錯的效果?;贕oogLeNet搭建的蘋果樹葉片病害診斷模型在葉片病害識別精確率達(dá)98.4%[9]。李恩霖等[10]采用遷移學(xué)習(xí)構(gòu)建了5種卷積神經(jīng)網(wǎng)絡(luò),CNN的病蟲害識別模型在玉米3種病害上表現(xiàn)出良好的效果,準(zhǔn)確率達(dá)99.73%。許景輝等[11]采用遷移學(xué)習(xí)方法,基于VGG16構(gòu)建了新的全連接層,實(shí)現(xiàn)了大斑病與玉米銹病的智能識別。李靜等[12]通過改進(jìn)GoogLeNet模型,對玉米螟蟲害圖像識別準(zhǔn)確率達(dá)到96.44%。楊長磊等[13]采用遷移學(xué)習(xí),改進(jìn)MobileNet,在5萬余張農(nóng)作物圖像上進(jìn)行訓(xùn)練,病害識別準(zhǔn)確率達(dá)到了99.67%。Mohanty等[14]利用GoogleNet識別14種作物的26種疾病,準(zhǔn)確率達(dá)到99.35%。

    雖然深度學(xué)習(xí)在圖像分類、語義分割、視頻處理和關(guān)鍵點(diǎn)檢測等多個領(lǐng)域都取得了優(yōu)秀的成果,但在可解釋性方面,與機(jī)器學(xué)習(xí)算法相比,深度學(xué)習(xí)有很大的滯后性,給研究帶來了很大的阻礙[15]。深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性是指理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制的能力[16]。在深度學(xué)習(xí)中,網(wǎng)絡(luò)通常由許多層和節(jié)點(diǎn)組成,層和節(jié)點(diǎn)之間的關(guān)系非常復(fù)雜,使得人們很難理解網(wǎng)絡(luò)的決策過程和內(nèi)部機(jī)制。因此,深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性一直是一個熱門話題。近年來,研究人員提出了許多方法以增強(qiáng)深度學(xué)習(xí)的可解釋性。2016年,Zhou等[17]提出CAM算法,在圖像分類任務(wù)中生成熱力圖,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了可解釋與顯著性分析,同時展現(xiàn)了可幫助圖像分類模型解決定位問題的能力。2017年,根據(jù)CAM算法衍生出的Grad-CAM[18],對CAM進(jìn)行優(yōu)化改進(jìn),可以分析深度學(xué)習(xí)網(wǎng)絡(luò)的任意一層。LIME算法[19]是基于局部代理模型來對單個樣本進(jìn)行解釋,與網(wǎng)絡(luò)無關(guān),可用性很高。然而,在目前的植物病害識別領(lǐng)域中,模型在特征提取階段學(xué)習(xí)到了什么,依據(jù)什么進(jìn)行分類依舊是一種“黑盒”問題,可解釋性分析罕見報(bào)導(dǎo)。黑盒問題導(dǎo)致深度學(xué)習(xí)在玉米病害識別分類的可解性研究很少,亟需進(jìn)行研究探索,助力人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用和智慧農(nóng)業(yè)的發(fā)展。

    本文以玉米葉片銹病、大小斑病和灰斑病為研究對象,采用遷移學(xué)習(xí)構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2五種卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行玉米葉片病害的識別、分類評估,選出最佳模型并進(jìn)行優(yōu)化,為病害監(jiān)督管理方面提出新的方法;進(jìn)而利用CAM、LIME算法對模型的可解釋性進(jìn)行探索,觀察網(wǎng)絡(luò)在圖像分類任務(wù)中的學(xué)習(xí)情況,對深度學(xué)習(xí)網(wǎng)絡(luò)的“學(xué)習(xí)”內(nèi)容進(jìn)行分析,明確網(wǎng)絡(luò)模型改進(jìn)的方向。基于深度學(xué)習(xí)技術(shù)的玉米病害葉片分類監(jiān)測和可解釋性研究,將有助于玉米病害的識別,做到及時防治,提高作物產(chǎn)量和品質(zhì)。

    1"材料與方法

    1.1"數(shù)據(jù)集構(gòu)建

    數(shù)據(jù)圖像是訓(xùn)練模型的基礎(chǔ),數(shù)據(jù)集越大,網(wǎng)絡(luò)模型學(xué)習(xí)到的圖像特征越全面,在測試集上運(yùn)行效果更好。本研究的數(shù)據(jù)集由公開數(shù)據(jù)集、實(shí)地拍攝和網(wǎng)絡(luò)下載的圖像構(gòu)成。實(shí)地拍攝圖像和網(wǎng)絡(luò)下載圖像有大量的無關(guān)信息,需要進(jìn)行數(shù)據(jù)的預(yù)處理,增強(qiáng)圖像分類識別的有效性。采用GrabCut進(jìn)行圖像分割,去除圖像中的無關(guān)信息(如雜草、土壤、莖稈等)(圖1),得到健康玉米葉片圖像554張、玉米銹病圖像1239張、大小斑病圖像1094張、玉米灰斑病圖像555張,共計(jì)3442張圖像數(shù)據(jù)。同時,通過數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集。為防止數(shù)據(jù)樣本不均衡、數(shù)據(jù)樣本差距較大等導(dǎo)致的一系列問題,在進(jìn)行數(shù)據(jù)擴(kuò)充時,對玉米灰斑病和健康圖像進(jìn)行多次擴(kuò)充。經(jīng)過數(shù)據(jù)擴(kuò)充后,玉米健康葉片圖像為3324張,玉米銹病圖像3717張,大小斑病圖像3330張,玉米灰斑病圖像3286張,共計(jì)13657張(表1)。按8∶2的比例隨機(jī)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集與測試集。

    1.2"研究方法

    由于深度學(xué)習(xí)在眾多領(lǐng)域的成功應(yīng)用,國內(nèi)外學(xué)者將深度學(xué)習(xí)與農(nóng)業(yè)領(lǐng)域相結(jié)合,其中CNN得到廣泛應(yīng)用。CNN基本結(jié)構(gòu)包括卷積層(Conv)、池化層(Pooling)、激活函數(shù)(ReLU)、歸一化層(BN)和全連接層(FC)。對于農(nóng)作物病蟲害圖像,可以通過卷積層運(yùn)算提取特征,應(yīng)用池化層減少數(shù)據(jù)處理量并保留有用特征,通過完全連接層權(quán)重矩陣重建局部特征[2]。遷移學(xué)習(xí)是將在某個任務(wù)上訓(xùn)練出來的網(wǎng)絡(luò)模型參數(shù),經(jīng)過微調(diào)后直接運(yùn)用到新的任務(wù)中,可減少網(wǎng)絡(luò)模型訓(xùn)練時間,使模型的泛化能力得到提高[20]。遷移學(xué)習(xí)的訓(xùn)練成本低,在沒有深度學(xué)習(xí)機(jī)器的情況下也可以進(jìn)行。遷移學(xué)習(xí)也可運(yùn)用于小數(shù)據(jù)集,解決部分?jǐn)?shù)據(jù)不足或原有數(shù)據(jù)少的問題?;诖耍眠w移學(xué)習(xí)構(gòu)建深度學(xué)習(xí)模型。

    1.2.1"技術(shù)路線

    使用Python語言,基于Pytorch框架搭建網(wǎng)絡(luò)模型。采用遷移學(xué)習(xí)方法,構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2模型,并對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。采用相同的數(shù)據(jù),相同的超參數(shù)設(shè)計(jì)進(jìn)行訓(xùn)練,篩選出運(yùn)行效果最好的網(wǎng)絡(luò)模型并進(jìn)行優(yōu)化。通過比較模型改進(jìn)前后的混淆矩陣、識別準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和語義特征降維可視化,分析模型優(yōu)化效果。最后,對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋性分析,將其作為重要的指標(biāo)之一進(jìn)行網(wǎng)絡(luò)評價。技術(shù)路線如圖2所示。

    1.2.2"激活函數(shù)

    在很多模型中使用ReLU作為激活函數(shù),如果輸入激活函數(shù)是大于0的信號,信號就將向后傳遞,其他輸出為0。ReLU是當(dāng)前使用最頻繁的激活函數(shù)。

    f(x)=

    xxgt;0

    0x≤0

    (1)

    LeakyReLU是ReLU激活函數(shù)的一種變形,是為了解決ReLU激活函數(shù)的神經(jīng)元“死亡”問題提出的。LeakyReLU與ReLU的輸出僅在xlt;0時有差異,在ReLU中輸入小于0時,輸出為0;而LeakyReLU輸入小于0時,輸出為負(fù)值,梯度非常小。這樣,當(dāng)LeakyReLU激活函數(shù)輸入小于0的信號時,也能夠通過計(jì)算得到梯度。

    f(x)=

    xx≥0

    axxlt;0

    (2)

    1.2.3"神經(jīng)網(wǎng)絡(luò)模型評價指標(biāo)

    基于深度學(xué)習(xí)的農(nóng)作物病蟲害監(jiān)測識別中,常用于評價分類模型的指標(biāo)主要有準(zhǔn)確率、靈敏度、召回率、精確率和F1分?jǐn)?shù)等[21]

    1) "識別準(zhǔn)確率。

    準(zhǔn)確率(Accuracy)是正確預(yù)測占所有預(yù)測的比例,計(jì)算如式(3)所示。

    Accuracy=TN+TPTN+TP+FN+FP

    (3)

    式中:

    TP——被網(wǎng)絡(luò)模型預(yù)測為正類的正樣本;

    TN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的負(fù)樣本;

    FP——被網(wǎng)絡(luò)模型預(yù)測為正類的負(fù)樣本;

    FN——被網(wǎng)絡(luò)模型預(yù)測為負(fù)類的正樣本。

    2) "精確率。

    精確率(Precision)是對網(wǎng)絡(luò)模型判斷出的所有正例(TP+FP)來說,真正例(TP)占的比例,計(jì)算如式(4)所示。

    Precision=TPTP+FP

    (4)

    3) "召回率。

    召回率(Recall)又稱查全率,表示的是分類器中判定為真的正例占總正例的比率,計(jì)算如式(5)所示。

    Recall=TPTP+FN

    (5)

    4) "F1分?jǐn)?shù),計(jì)算如式(6)所示。

    F1-Score=2×Precision×RecallPrecision+Recall

    (6)

    1.2.4"神經(jīng)網(wǎng)絡(luò)模型可解釋性

    識別準(zhǔn)確率不是評價網(wǎng)絡(luò)模型的唯一指標(biāo),模型具有良好的可解釋性也是必要的。在深度學(xué)習(xí)發(fā)展中一直有一個困擾人們的問題,就是“黑盒”難題。在深度學(xué)習(xí)中,常用的CNN普遍被認(rèn)為是個黑盒,可解釋性不高。復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致模型有很大的不透明性,可解釋性相較于機(jī)器學(xué)習(xí)很差[22]。

    在圖像分類任務(wù)中,第一個步驟是對數(shù)據(jù)集進(jìn)行訓(xùn)練,第二個步驟是對數(shù)據(jù)集進(jìn)行測試,而不管是訓(xùn)練還是測試,網(wǎng)絡(luò)結(jié)構(gòu)的內(nèi)容都是不透明的。只知道模型從訓(xùn)練中學(xué)到特征,再應(yīng)用到測試集,得到數(shù)據(jù)的分類結(jié)果;但不知道網(wǎng)絡(luò)模型究竟提取了何種特征,按照何種特征進(jìn)行分類,有哪些側(cè)重點(diǎn)。因此,對模型的可解釋性進(jìn)行研究,有助于對模型進(jìn)行評估,發(fā)現(xiàn)模型的不足。對于模型的可解釋性分析,可分為敏感性分析和梯度分析。敏感度分析就是分析模型對哪個特征更為敏感、更感興趣;梯度分析就是將數(shù)據(jù)集中的特征通過梯度變化,來說明數(shù)據(jù)集中的哪些特征是分類的依據(jù)。目前,網(wǎng)絡(luò)可解釋性研究的常用的方法包括CAM、LIME、Grad-CAM[23]、SmoothGrad[24]等。本文使用CAM、LIME對模型進(jìn)行可解釋性研究,并將可解釋性作為模型的重要評價指標(biāo)。CAM是類激活圖算法,計(jì)算簡單,可以有效地反映網(wǎng)絡(luò)在輸入中關(guān)注的特征,并繪制出相應(yīng)的熱力圖,可以發(fā)現(xiàn)模型在原圖的注意力,關(guān)注哪些區(qū)域。LIME算法是一種局部可解釋性模型算法,主要用于文本類與圖像類模型中,具有很強(qiáng)的通用性,性能優(yōu)越。

    2"結(jié)果與分析

    2.1"基于遷移學(xué)習(xí)的玉米葉片病害識別

    2.1.1"試驗(yàn)超參數(shù)設(shè)置

    采用遷移學(xué)習(xí)方法構(gòu)建AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2進(jìn)行訓(xùn)練,對ImageNet圖像識別大賽網(wǎng)絡(luò)的權(quán)重參數(shù)進(jìn)行微調(diào)網(wǎng)絡(luò)。在訓(xùn)練網(wǎng)絡(luò)時,學(xué)習(xí)率過高網(wǎng)絡(luò)不穩(wěn)定,過低模型收斂很慢。采用學(xué)習(xí)率衰減法,每經(jīng)過10次迭代,學(xué)習(xí)率減半。模型Batchsize設(shè)置為64,采用Adam進(jìn)行參數(shù)優(yōu)化。

    2.1.2"模型性能評價

    1) "模型穩(wěn)定性。

    深度學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)可以反映模型在訓(xùn)練過程中的穩(wěn)定性。如果訓(xùn)練集和測試集的損失函數(shù)值都趨于穩(wěn)定,表明模型訓(xùn)練穩(wěn)定;比較模型在訓(xùn)練集與測試集上的訓(xùn)練結(jié)果,二者間差距越小,說明模型在數(shù)據(jù)集上的表現(xiàn)越穩(wěn)定。根據(jù)模型在測試集上損失的變化可知,AlexNet的收斂最差,曲線波動最大,穩(wěn)定性不好(圖3)。通過比較不同模型在訓(xùn)練集和測試集上的誤差,可知全部網(wǎng)絡(luò)整體誤差很小(表2)。GoogLeNet與VGG19模型的泛化能力較好,誤差很小,模型表現(xiàn)良好。MobileNetV2的曲線波動很小,收斂效果優(yōu)于AlexNet、VGG19和ResNet50。比較模型在訓(xùn)練集與測試集的損失,可以發(fā)現(xiàn)ResNet50模型損失最小,AlexNet損失最大,說明AlexNet模型穩(wěn)定性最差。

    2) "模型分類能力。

    根據(jù)模型損失函數(shù)的變化(圖3),可以發(fā)現(xiàn)GoogLeNet的性能優(yōu)于其他模型,收斂效果和損失上表現(xiàn)較優(yōu)。AlexNet損失函數(shù)曲線在epoch=29和epoch=33時驟減,導(dǎo)致曲線波動很大,其原因可能是學(xué)習(xí)率設(shè)置不合理,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的收斂效果不好。VGG19和GoogLeNet在識別準(zhǔn)確率上相差不大,但VGG19在損失上表現(xiàn)較差,兩個網(wǎng)絡(luò)運(yùn)行效果遠(yuǎn)優(yōu)于其他網(wǎng)絡(luò)。在擴(kuò)充數(shù)據(jù)集上,GoogLeNet模型的損失值遠(yuǎn)小于其他網(wǎng)絡(luò),識別準(zhǔn)確率優(yōu)于其他網(wǎng)絡(luò)(圖4、表3),沒有出現(xiàn)過擬合的現(xiàn)象,模型運(yùn)行效果最好。

    根據(jù)模型分類混淆矩陣(圖5),可以觀察到單個病害的識別效果,識別效果最好的是玉米銹病,其次是健康葉片,大小斑病和灰斑病分類效果較差。VGG19的運(yùn)行效果也很優(yōu)秀,存在單個病害識別優(yōu)于GoogLeNet網(wǎng)絡(luò)的現(xiàn)象。

    2.2"基于改進(jìn)GoogLeNet算法的玉米葉片病害識別

    2.2.1"模型架構(gòu)改進(jìn)

    根據(jù)不同模型在數(shù)據(jù)集上的表現(xiàn)(表3),GoogLeNet性能最為優(yōu)秀,收斂效果好,準(zhǔn)確率最高,達(dá)到96.3%。因此,對GoogLeNet改進(jìn),推出一個更為優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)。GoogLeNet采用的inceptionModule結(jié)構(gòu),較好地解決了增加網(wǎng)絡(luò)深度帶來的梯度消失問題,同時采用了不同尺寸的卷積核和池化層來解決網(wǎng)絡(luò)規(guī)模可能造成的過擬合問題。

    在改進(jìn)GoogLeNet時,引入注意力機(jī)制。注意力機(jī)制可以讓網(wǎng)絡(luò)更加關(guān)注重要的特征,從而提高網(wǎng)絡(luò)性能,增強(qiáng)圖像分類識別效果。常用的注意力機(jī)制模塊有SENet、CBAM、ECA和RFB等。CBAM[25]是常用于圖像分類的注意力機(jī)制,可以增強(qiáng)模型的表達(dá)能力,幫助網(wǎng)絡(luò)更好地捕捉圖像中的重要特征,提高模型的性能。CBAM有兩個并行的塊:通道注意力模塊和空間注意力模塊(圖6)。通道注意力模塊通過學(xué)習(xí)特定通道的重要性來加權(quán)每個通道的特征圖,空間注意力模塊通過自適應(yīng)地調(diào)整不同空間位置的特征響應(yīng)來提高模型的空間感知能力。CBAM可以自適應(yīng)地學(xué)習(xí)哪些特征最重要,并將其加權(quán)到模型中。加入CBAM模塊后,可以在通道維度和空間維度上進(jìn)行特征的重要性評估和特征的重新縮放,更好地捕捉具有不同大小和位置的對象,提高對圖像細(xì)節(jié)的感知,更好地捕捉圖像中的重要特征,提高網(wǎng)絡(luò)性能。采用CBAM注意力機(jī)制進(jìn)行網(wǎng)絡(luò)優(yōu)化,在GoogLeNet中加入注意機(jī)制,以改進(jìn)網(wǎng)絡(luò)性能。

    在inception模塊中加入CBAM模塊,ReLU激活函數(shù)可能會出現(xiàn)Dead ReLU情形,因此采用LeakyReLU激活函數(shù)替代ReLU激活函數(shù)。LeakyReLU激活函數(shù)比ReLU函數(shù)更加穩(wěn)定,可以解決神經(jīng)元的“死亡”問題,相對于ReLU激活函數(shù)有更快的收斂速度。

    在新的網(wǎng)絡(luò)模型中,在GoogLeNet的每個inception Module中添加CBAM模塊,以增強(qiáng)模型的注意力,增強(qiáng)特征表達(dá)能力,以提高模型分類準(zhǔn)確率和泛化能力。同時,將模型中的ReLU激活函數(shù)替換為LeakyReLU激活函數(shù),改進(jìn)后GoogLeNet的inception結(jié)構(gòu)如圖7(b)所示。

    2.2.2"模型性能改進(jìn)

    1) "模型穩(wěn)定性。

    模型改進(jìn)前后穩(wěn)定性變化較大,網(wǎng)絡(luò)模型運(yùn)行曲線可以反映出模型在訓(xùn)練過程中的穩(wěn)定性。改進(jìn)后的GoogLeNet模型損失函數(shù)曲線波動更小,收斂效果更好,模型的穩(wěn)定性更好(圖8)。同時,對比訓(xùn)練集與測試集測試誤差(表4)可知,改進(jìn)后的GoogLeNet模型在訓(xùn)練集與測試集上的表現(xiàn)差距相較改進(jìn)前更小,說明改進(jìn)后GoogLeNet網(wǎng)絡(luò)模型在數(shù)據(jù)集上的表現(xiàn)更穩(wěn)定。

    2) "模型準(zhǔn)確率。

    將通過添加注意力機(jī)制和替換激活函數(shù)后的新模型,應(yīng)用于試驗(yàn)數(shù)據(jù),采用與之前試驗(yàn)相同的參數(shù)設(shè)計(jì),對比改進(jìn)前后模型運(yùn)行的效果。可以看出,改進(jìn)后的GoogLeNet在識別準(zhǔn)確率方面的表現(xiàn)遠(yuǎn)優(yōu)于優(yōu)化前的模型(圖9)。根據(jù)改進(jìn)后GoogLeNet的混淆矩陣(圖10),可以看出模型對所有的玉米病害的識別性能都有所提升,其中,玉米大小斑病的提升效果最好,灰斑病與大小斑病錯誤識別的情形明顯減少。

    對比模型改進(jìn)前后的模型評價指標(biāo)(表5),可以發(fā)現(xiàn),改進(jìn)后的GoogLeNet在識別準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)上均優(yōu)于改進(jìn)前的GoogLeNet。模型的精確率提高了,錯誤率降低了,網(wǎng)絡(luò)模型分類效果明顯有提升;F1分?jǐn)?shù)增加,說明網(wǎng)絡(luò)模型分類效果變好。改進(jìn)后GoogLeNet模型的性能參數(shù)平均為99.0%,接近于1,模型達(dá)到穩(wěn)態(tài),模型性能良好。改進(jìn)后GoogLeNet模型的性能遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)模型。

    3) "特征可視化。

    對訓(xùn)練好的模型進(jìn)行語義特征降維可視化研究,通過測試集數(shù)據(jù)的降維可視化,觀察模型將不同數(shù)據(jù)劃分到什么位置,有助于理解模型在面對圖像進(jìn)行了怎樣的判斷。將數(shù)據(jù)投影到二維空間,可以觀察到模型的聚類情況,采用t-SNE(t-Distributed Stochastic Neighbor Embedding)函數(shù)對測試集的數(shù)據(jù)圖像降維可視化(圖11)??梢园l(fā)現(xiàn),測試集的數(shù)據(jù)圖像的可分性很好,同類別之間間隔小,不同類之間間隔大。同時,也可以發(fā)現(xiàn)模型對灰斑病與大小斑病的分類存在混淆情況,分類效果遠(yuǎn)不如玉米的健康葉片,造成這一情況的主要原因可能是因?yàn)橛衩兹~片灰斑病與大小斑病的病狀存在相似性。

    2.2.3"數(shù)據(jù)集大小對模型的影響

    為探究數(shù)據(jù)集的大小對模型訓(xùn)練的影響,利用擴(kuò)充前的原始數(shù)據(jù)(3442張)與數(shù)據(jù)增強(qiáng)后的擴(kuò)充數(shù)據(jù)(13657張)分別進(jìn)行試驗(yàn)。采用提出的新模型進(jìn)行對比,學(xué)習(xí)率設(shè)置為當(dāng)test_loss經(jīng)過8次迭代沒有減小時,學(xué)習(xí)率減小為原學(xué)習(xí)率的10%;Batchsize設(shè)置為64;采用Adam進(jìn)行優(yōu)化參數(shù)??梢园l(fā)現(xiàn),擴(kuò)充數(shù)據(jù)集運(yùn)行的結(jié)果遠(yuǎn)優(yōu)于原始數(shù)據(jù)集,可知數(shù)據(jù)集的擴(kuò)充會使模型在測試集上表現(xiàn)更好(圖12)。

    2.3"模型可解釋性研究

    采用CAM算法對AlexNet、VGG19、ResNet50、GoogLeNet、MobileNetV2和改進(jìn)GoogLeNet算法進(jìn)行可解釋分析,可以發(fā)現(xiàn)改進(jìn)后的網(wǎng)絡(luò)可解釋性更好(圖13)。模型在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了神經(jīng)網(wǎng)絡(luò)模型的可解釋性。注意力機(jī)制可以將網(wǎng)絡(luò)的決策集中在輸入的特定區(qū)域或局部,改進(jìn)GoogLeNet算法可以更好地關(guān)注圖像中的病害部分。

    同時,AlexNet網(wǎng)絡(luò)的可解釋性相對于其他網(wǎng)絡(luò)較差,模型的重點(diǎn)關(guān)注區(qū)域錯誤。因?yàn)樵贏lexNet網(wǎng)絡(luò)深層次結(jié)構(gòu)中,存在大量的卷積層和池化層,使得網(wǎng)絡(luò)中的每一個神經(jīng)元都難以解釋其具體的作用和含義,使AlexNet網(wǎng)絡(luò)的可解釋性較差。對所提出的改進(jìn)GoogLeNet網(wǎng)絡(luò)進(jìn)行LIME可解釋分析(圖14),綠色區(qū)域代表圖像當(dāng)前的類別一致,紅色則相反,玉米大小斑病病狀區(qū)域被識別出,LIME算法進(jìn)行可解釋分析效果良好。

    3"討論

    3.1"注意力機(jī)制對模型性能的影響

    在網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力機(jī)制可以提升模型的精度、泛化能力和網(wǎng)絡(luò)可解釋性。注意力機(jī)制可以幫助網(wǎng)絡(luò)消除輸入中的噪聲和干擾,增強(qiáng)網(wǎng)絡(luò)可解釋性。根據(jù)模型優(yōu)化前后的運(yùn)行結(jié)果、混淆矩陣和語義降維可視化,可以發(fā)現(xiàn)改進(jìn)的算法在識別精度與算法性能方面都遠(yuǎn)優(yōu)于優(yōu)化前的網(wǎng)絡(luò)。改進(jìn)后,識別準(zhǔn)確率提高2.7%,模型收斂效果更好,穩(wěn)定性有所增高。在深度學(xué)習(xí)網(wǎng)絡(luò)中添加注意力機(jī)制可以提升精度,這與其他學(xué)者的研究結(jié)果一致。在YOLOv5s的骨干網(wǎng)絡(luò)中加入CBAM注意力機(jī)制模塊,提高了識別精度,實(shí)現(xiàn)對溫室番茄快速識別[26]。YOLOv5s引入優(yōu)化后的CBAM模塊與改進(jìn)前相比農(nóng)作物病蟲害識別中精度提高了5%[27]。在輕量化Efficient網(wǎng)絡(luò)中引入CBAM模塊,在水稻常見病害數(shù)據(jù)集上的識別準(zhǔn)確率95.63%,提高了1.75%[28]。綜上所述,在網(wǎng)絡(luò)中添加注意力機(jī)制模塊確實(shí)可以避免無關(guān)信息的干擾,提升模型的性能,增強(qiáng)模型的特征提取能力,保留圖像的關(guān)鍵特征,提高模型分類能力。研究中,將CBAM模塊添加到inception模塊中提高了模型的表達(dá)能力、泛化能力和精度。

    CNN的淺層卷積提取的都是顏色、紋理、邊緣和斑塊等特征,可以依據(jù)實(shí)際任務(wù)進(jìn)行改進(jìn)優(yōu)化神經(jīng)網(wǎng)絡(luò)。inception模塊能夠提取不同尺度的特征圖,而CBAM模塊能夠自適應(yīng)地對不同通道和空間位置進(jìn)行注意力加權(quán),能夠使得網(wǎng)絡(luò)更加關(guān)注重要的特征,加強(qiáng)特征圖的表達(dá)能力,提升模型的泛化能力。在后續(xù)研究中,可以嘗試在GoogLeNet模型的其他地方插入CBAM模塊,或者替換GoogLeNet中前幾層的卷積層。

    3.2"激活函數(shù)對模型性能的影響

    在優(yōu)化GoogLeNet模型時,引入LeakyReLU激活函數(shù),因?yàn)樵趯?shí)際訓(xùn)練中發(fā)現(xiàn)ReLU會出現(xiàn)神經(jīng)元死亡情況。采用LeakyReLU激活函數(shù)可以規(guī)避ReLU的“死亡”問題,提高網(wǎng)絡(luò)性能。LeakyReLU的引入使得梯度在小于0的區(qū)域不為0,從而減少訓(xùn)練過程中的抖動,使得訓(xùn)練更加穩(wěn)定。李靜等[12]基于GoogLeNet優(yōu)化識別玉米螟蟲研究中,將ReLU更換為Sigmoid激活函數(shù)。但是張瑞青等[29]基于AlexNet模型進(jìn)行改進(jìn)識別花生莢果等級的研究中,分析討論了激活函數(shù)的影響,發(fā)現(xiàn)更換為LeakyReLU激活函數(shù)時網(wǎng)絡(luò)模型訓(xùn)練提升效果微弱。本文采用LeakyReLU激活函數(shù),沒有做不同激活函數(shù)對模型運(yùn)行結(jié)果的影響,有待于進(jìn)一步研究。

    3.3"玉米葉片病害誤判的原因分析

    通過各種不同模型的運(yùn)行結(jié)果、混淆矩陣的比較,可以發(fā)現(xiàn)每個模型中玉米銹病的識別準(zhǔn)確率都高于另外兩種病害。對模型進(jìn)行語義降維可視化,發(fā)現(xiàn)玉米大小斑病與灰斑病有相互誤判的情況。其原因可能是數(shù)據(jù)圖像存在錯標(biāo)、病害情形復(fù)雜,存在混合病害,識別難度大,又或者因?yàn)榛野卟∨c大小斑病的發(fā)病性狀有相似性。灰斑病發(fā)病時,癥狀起初為橢圓形至矩圓形灰色至淡褐色,邊緣不太明顯,后期會變?yōu)楹稚“邊^(qū)域多局限于平行的葉脈之間[30]。玉米大小斑病發(fā)病癥狀呈橢圓形、近球形、柱形或倒棍棒形,中間或中間稍下處最寬,兩端漸細(xì)小,褐色至深褐色。由此可知大小斑病與灰斑病癥狀有相似性,可能導(dǎo)致模型在這兩種病害上的識別分類精度不如玉米銹病。

    3.4"玉米葉片病害識別模型可解釋性

    通過對所有搭建的網(wǎng)絡(luò)進(jìn)行CAM熱力圖進(jìn)行可解釋研究,發(fā)現(xiàn)改進(jìn)后的模型網(wǎng)絡(luò)可解釋性更好,這與其他學(xué)者研究一致。優(yōu)化后的網(wǎng)絡(luò)在提高網(wǎng)絡(luò)準(zhǔn)確率的同時,增強(qiáng)了網(wǎng)絡(luò)的可解釋性。王昕等[27]對優(yōu)化后的YOLOv5算法通過Grad-CAM進(jìn)行了可解釋分析,發(fā)現(xiàn)優(yōu)化前后的網(wǎng)絡(luò)關(guān)注點(diǎn)不同,優(yōu)化前的網(wǎng)絡(luò)更關(guān)注局部卷積,優(yōu)化后的網(wǎng)絡(luò)可以很好地將局部卷積與全局部卷積結(jié)合。于雪瑩等[31]通過采用特征圖和熱力圖對CBAM-ResNet進(jìn)行可視化分析,了解模型對蘋果病害的識別機(jī)制。通過分析與對比,優(yōu)化后的網(wǎng)絡(luò)可以更好地注意病害部分,降低對背景的關(guān)注。注意力機(jī)制模塊可以更加準(zhǔn)確地關(guān)注輸入數(shù)據(jù)的重要特征,增強(qiáng)網(wǎng)絡(luò)可解釋性。本研究對網(wǎng)絡(luò)進(jìn)行了LIME算法可解釋性研究,發(fā)現(xiàn)本研究的可解釋性、可行性很好。LIME算法有很強(qiáng)的通用性,但是運(yùn)行速度比CAM慢。因?yàn)長IME算法通過干擾數(shù)據(jù)樣本的輸入變量去理解預(yù)測是如何變化來理解分類模型,本研究中數(shù)據(jù)樣本的輸入變量為圖像中的每個像素[32]。

    在玉米病害圖像識別分類任務(wù),對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行可解釋分析,可以發(fā)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)模型在數(shù)據(jù)圖像上的注意力,在關(guān)注什么區(qū)域,依據(jù)什么特征進(jìn)行分類。對深度學(xué)習(xí)模型進(jìn)行可解釋分析,有助于進(jìn)一步對模型的評估,也可以發(fā)現(xiàn)模型的缺點(diǎn),思考模型為什么分類錯誤,并提出改進(jìn)優(yōu)化方向。在后續(xù)研究中,為提高深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性,可以嘗試一些特殊的技術(shù)和方法,例如可視化、解釋性對抗訓(xùn)練和局部敏感性分析等,可以多采用一些可解釋性算法對深度學(xué)習(xí)圖像分類任務(wù)進(jìn)行分析。

    4"結(jié)論

    1) 基于AlexNet、VGG19、ResNet50、GoogLeNet和MobileNetV2,通過遷移學(xué)習(xí)方法構(gòu)建5種深度學(xué)習(xí)網(wǎng)絡(luò),對3種玉米葉片病害進(jìn)行識別分類,研究表明GoogLeNet的識別準(zhǔn)確率最高,達(dá)到96.3%。

    2) 通過在inception模塊中加入CABM改進(jìn)GoogLeNet,深度學(xué)習(xí)網(wǎng)絡(luò)在數(shù)據(jù)測試集上最高識別準(zhǔn)確率達(dá)到99.0%,較改進(jìn)前提高2.7%。研究表明在GoogLeNet中添加CBAM注意力機(jī)制模塊,提升了模型的穩(wěn)定性與識別精度,可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)特征表示,提高識別準(zhǔn)確率。

    3) 網(wǎng)絡(luò)的可解釋分析表明改進(jìn)后的網(wǎng)絡(luò)對葉片病害部分更加關(guān)注,決策依據(jù)集中于病害區(qū)域,使可解釋性得到增強(qiáng)。因此,模型的可解釋性分析可以作為改進(jìn)網(wǎng)絡(luò)的參考。

    參"考"文"獻(xiàn)

    [1]

    劉麗娟, 劉仲鵬, 張麗梅. 基于圖像處理技術(shù)的玉米葉部病害識別研究[J]. 吉林農(nóng)業(yè)科學(xué), 2014, 39(1): 61-65.

    Liu Lijuan, Liu Zhongpeng, Zhang Limei. Studies on image processing of maize leaf diseases [J]. Journal of Jilin Agricultural Sciences, 2014, 39(1): 61-65.

    [2]

    翟肇裕, 曹益飛, 徐煥良, 等. 農(nóng)作物病蟲害識別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2021, 52(7): 1-18.

    Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18.

    [3]

    Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks [C].Advances in Neural Information Processing Systems, 2012.

    [4]

    Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. arXiv preprint arXiv: 1409. 1556, 2014.

    [5]

    Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions [C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015.

    [6]

    He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

    [7]

    Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks [C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

    [8]

    Howard A, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv: 1704. 04861, 2017.

    [9]

    宋晨勇, 白皓然, 孫偉浩, 等. 基于GoogLeNet改進(jìn)模型的蘋果葉病診斷系統(tǒng)設(shè)計(jì)[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2021, 42(7): 148-155.

    Song Chenyong, Bai Haoran, Sun Weihao, et al. Design of apple leaf disease diagnosis system based on GoogLeNet improved model [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(7): 148-155.

    [10]

    李恩霖, 謝秋菊, 蘇中濱, 等. 基于深度學(xué)習(xí)的玉米葉片病斑識別方法研究[J]. 智慧農(nóng)業(yè)導(dǎo)刊, 2021, 1(10): 1-10.

    Li Enlin, Xie Qiuju, Su Zhongbin, et al. Research on maize leaf disease spot recognition based on deep learning [J]. Journal of Smart Agriculture, 2021, 1(10): 1-10.

    [11]

    許景輝, 邵明燁, 王一琛, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(2): 230-236.

    Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236.

    [12]

    李靜, 陳桂芬, 安宇. 基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的玉米螟蟲害圖像識別[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào), 2020, 41(3): 110-116.

    Li Jing, Chen Guifen, An Yu. Image recognition of pyrausta nubilalis based on optimized convolutional neural network [J]. Journal of South China Agricultural University, 2020, 41(3): 110-116.

    [13]

    楊長磊, 李彩林, 王佳文, 等. 基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害識別研究[J]. 農(nóng)業(yè)與技術(shù), 2021, 41(6): 1-3.

    [14]

    Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016, 7: 1419.

    [15]

    楊朋波, ?;w, 張彪, 等. 面向圖像分類的深度模型可解釋性研究綜述[J]. 軟件學(xué)報(bào), 2023, 34(1): 230-254.

    Yang Pengbo, Sang Jitao, Zhang Biao, et al. Survey on interpretability of deep models for image classification [J]. Journal of Software, 2023, 34(1): 230-254.

    [16]

    陳沖, 陳杰, 張慧, 等. 深度學(xué)習(xí)可解釋性綜述[J]. 計(jì)算機(jī)科學(xué), 2023, 50(5): 52-63.

    Chen Chong, Chen Jie, Zhang Hui, et al. A Review of interpretability in deep learning [J]. Computer Science, 2023, 50(5): 52-63.

    [17]

    Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization [C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

    [18]

    Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. 2017 IEEE International Conference on Computer Vision (ICCV), 2017.

    [19]

    Ribeiro M T, Singh S, Guestrin C. “Why should i trust you?” explaining the predictions of any classifier [C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016: 1135-1144.

    [20]

    莊福振, 羅平, 何清, 等. 遷移學(xué)習(xí)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2015, 26(1): 26-39.

    Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer learning research [J]. Journal of Software, 2015, 26(1): 26-39.

    [21]

    Ishengoma F S, Rai I A, Said R N. Identification of maize leaves infected by fall armyworms using UAV-based imagery and convolutional neural networks [J]. Computers and Electronics in Agriculture, 2021, 184: 106124.

    [22]

    蘇炯銘, 劉鴻福, 項(xiàng)鳳濤, 等. 深度神經(jīng)網(wǎng)絡(luò)解釋方法綜述[J]. 計(jì)算機(jī)工程, 2020, 46(9): 1-15.

    Su Jiongming, Liu Hongfu, Xiang Fengtao, et al. Survey of interpretation methods for deep neural networks [J]. Computer Engineering, 2020, 46(9): 1-15.

    [23]

    Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [C]. IEEE International Conference on Computer Vision. IEEE, 2017.

    [24]

    Smilkov D, Thorat N, Kim B, et al. SmoothGrad: Removing noise by adding noise [J]. arXiv Preprint arXiv: 1706. 03825, 2017.

    [25]

    Woo S, Park J, Lee J, et al. CBAM: Convolutional block attention module [C]. Proceedings of the 15th European Conference on Computer Vision (ECCV), 2018.

    [26]

    張俊寧, 畢澤洋, 閆英, 等. 基于注意力機(jī)制與改進(jìn)YOLO的溫室番茄快速識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(5): 236-243.

    Zhang Junning, Bi Zeyang, Yan Ying, et al. Fast recognition of greenhouse tomato targets based on attention mechanism and improved YOLO [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 236-243.

    [27]

    王昕, 董琴, 楊國宇. 基于優(yōu)化CBAM改進(jìn)YOLOv5的農(nóng)作物病蟲害識別[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2023, 32(7): 261-268.

    Wang Xin, Dong Qin, Yang Guoyu. YOLOv5 improved by optimized CBAM for crop pest identification [J]. Computer Systems amp; Applications, 2023, 32(7): 261-268.

    [28]

    衛(wèi)雅娜, 王志彬, 喬曉軍, 等. 基于注意力機(jī)制與EfficientNet的輕量化水稻病害識別方法[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(11): 172-181.

    Wei Yana, Wang Zhibin, Qiao Xiaojun, et al. Lightweight rice disease identification method based on attention mechanism and EfficientNet [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(11): 172-181.

    [29]

    張瑞青, 李張威, 郝建軍, 等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)花生莢果等級圖像識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020,36(23): 171-180.

    Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(23): 171-180.

    [30]

    周慧升. 玉米灰斑病的發(fā)生及綜合防治[J]. 云南農(nóng)業(yè), 2020(8): 56-58.

    [31]

    于雪瑩, 高繼勇, 王首程, 等. 基于生成對抗網(wǎng)絡(luò)和混合注意力機(jī)制殘差網(wǎng)絡(luò)的蘋果病害識別[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6): 166-174.

    Yu Xueying, Gao Jiyong, Wang Shoucheng, et al. Apple disease recognition based on wassersteingenerative adversarialnetworks and hybrid attention mechanism residual network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 166-174.

    猜你喜歡
    遷移學(xué)習(xí)圖像處理深度學(xué)習(xí)
    機(jī)器學(xué)習(xí)在圖像處理中的應(yīng)用
    電子制作(2018年18期)2018-11-14 01:48:20
    模糊圖像處理,刑事偵查利器
    圖像處理技術(shù)的實(shí)戰(zhàn)應(yīng)用
    基于多特征融合的跨域情感分類模型研究
    奇異值分解與移移學(xué)習(xí)在電機(jī)故障診斷中的應(yīng)用
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    一種基于遷移極速學(xué)習(xí)機(jī)的人體行為識別模型
    精华霜和精华液先用哪个| 亚洲国产欧洲综合997久久,| 国产黄色小视频在线观看| 最近在线观看免费完整版| 亚洲欧洲精品一区二区精品久久久| 亚洲av成人一区二区三| 熟女电影av网| 日韩成人在线观看一区二区三区| 国产精品精品国产色婷婷| 久99久视频精品免费| 亚洲天堂国产精品一区在线| 在线观看www视频免费| 两个人免费观看高清视频| 免费看美女性在线毛片视频| 亚洲第一欧美日韩一区二区三区| 亚洲最大成人中文| 一a级毛片在线观看| av在线天堂中文字幕| 国产麻豆成人av免费视频| 啦啦啦观看免费观看视频高清| 午夜激情av网站| 亚洲成人中文字幕在线播放| 一个人观看的视频www高清免费观看 | 国产精品久久久久久久电影 | 国产野战对白在线观看| 叶爱在线成人免费视频播放| 精品无人区乱码1区二区| 亚洲av中文字字幕乱码综合| 老熟妇仑乱视频hdxx| 亚洲精品美女久久久久99蜜臀| 欧美成人一区二区免费高清观看 | 国产乱人伦免费视频| 国产又色又爽无遮挡免费看| 麻豆av在线久日| 午夜成年电影在线免费观看| 国产视频一区二区在线看| 久久婷婷人人爽人人干人人爱| cao死你这个sao货| 精品久久久久久久久久久久久| 国产免费男女视频| 久久亚洲精品不卡| 亚洲五月婷婷丁香| 可以在线观看毛片的网站| 三级国产精品欧美在线观看 | tocl精华| 国产精品野战在线观看| 午夜福利18| 欧美性猛交╳xxx乱大交人| 精品熟女少妇八av免费久了| 亚洲国产日韩欧美精品在线观看 | 麻豆久久精品国产亚洲av| 国产精品免费一区二区三区在线| 国产真实乱freesex| 怎么达到女性高潮| 亚洲中文字幕一区二区三区有码在线看 | 深夜精品福利| bbb黄色大片| 国产1区2区3区精品| 老熟妇仑乱视频hdxx| av有码第一页| 欧美3d第一页| 一二三四在线观看免费中文在| 婷婷六月久久综合丁香| 香蕉国产在线看| 午夜精品一区二区三区免费看| 动漫黄色视频在线观看| 亚洲熟妇熟女久久| 欧美日韩一级在线毛片| 特级一级黄色大片| 在线永久观看黄色视频| 午夜精品在线福利| 精品国产乱子伦一区二区三区| 亚洲中文字幕一区二区三区有码在线看 | 91成年电影在线观看| 久久久精品国产亚洲av高清涩受| 欧美乱色亚洲激情| av国产免费在线观看| 狠狠狠狠99中文字幕| 老司机福利观看| 欧美绝顶高潮抽搐喷水| 丰满的人妻完整版| 亚洲欧美日韩高清专用| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| 国产真实乱freesex| 成人精品一区二区免费| 国产成人系列免费观看| 日韩高清综合在线| 成人18禁高潮啪啪吃奶动态图| 全区人妻精品视频| 视频区欧美日本亚洲| 亚洲欧美激情综合另类| 成人永久免费在线观看视频| 国产一区在线观看成人免费| 青草久久国产| 欧美高清成人免费视频www| 亚洲精品一区av在线观看| 欧美日韩亚洲综合一区二区三区_| 亚洲免费av在线视频| 国产精品亚洲美女久久久| 国产真人三级小视频在线观看| 亚洲国产欧美一区二区综合| 精品国产乱子伦一区二区三区| 男人舔女人的私密视频| av在线天堂中文字幕| 中出人妻视频一区二区| 动漫黄色视频在线观看| 俄罗斯特黄特色一大片| 欧洲精品卡2卡3卡4卡5卡区| 悠悠久久av| a级毛片a级免费在线| 日韩 欧美 亚洲 中文字幕| 亚洲欧美一区二区三区黑人| 亚洲avbb在线观看| 动漫黄色视频在线观看| 我要搜黄色片| 国内久久婷婷六月综合欲色啪| 久久国产精品影院| 五月玫瑰六月丁香| 亚洲一区高清亚洲精品| 国产视频一区二区在线看| 十八禁网站免费在线| 久99久视频精品免费| 国产亚洲精品一区二区www| 亚洲成人中文字幕在线播放| 久久九九热精品免费| 可以在线观看毛片的网站| 男女午夜视频在线观看| 99久久无色码亚洲精品果冻| 一级毛片精品| 午夜a级毛片| 在线观看午夜福利视频| 一级毛片精品| 无遮挡黄片免费观看| 免费搜索国产男女视频| 成人欧美大片| 国产高清激情床上av| 禁无遮挡网站| 在线十欧美十亚洲十日本专区| 国产真人三级小视频在线观看| 中国美女看黄片| 国产又黄又爽又无遮挡在线| 成人国产综合亚洲| 国产精品影院久久| 久久精品aⅴ一区二区三区四区| 久久香蕉国产精品| 丝袜人妻中文字幕| 人妻久久中文字幕网| 看片在线看免费视频| av福利片在线观看| 成人特级黄色片久久久久久久| 亚洲精品一区av在线观看| 亚洲熟妇中文字幕五十中出| 夜夜爽天天搞| 久久这里只有精品19| 日韩欧美国产在线观看| 亚洲av中文字字幕乱码综合| 久久精品91蜜桃| 五月伊人婷婷丁香| 亚洲熟妇熟女久久| 中亚洲国语对白在线视频| 午夜激情福利司机影院| 观看免费一级毛片| 日韩精品中文字幕看吧| 国产在线观看jvid| 制服诱惑二区| 搡老熟女国产l中国老女人| 国产精品av视频在线免费观看| 1024手机看黄色片| 色老头精品视频在线观看| 88av欧美| 桃色一区二区三区在线观看| 动漫黄色视频在线观看| av视频在线观看入口| 最近最新中文字幕大全电影3| 欧美一区二区精品小视频在线| 男女之事视频高清在线观看| 欧美最黄视频在线播放免费| 亚洲美女视频黄频| 国产日本99.免费观看| 亚洲午夜精品一区,二区,三区| 国产成年人精品一区二区| xxxwww97欧美| 我的老师免费观看完整版| 久久中文字幕一级| 精品一区二区三区av网在线观看| 中文字幕人成人乱码亚洲影| 国产成人aa在线观看| 日本熟妇午夜| av有码第一页| 91大片在线观看| 午夜免费成人在线视频| 欧美乱妇无乱码| 国产伦一二天堂av在线观看| 哪里可以看免费的av片| 国产单亲对白刺激| 久久精品人妻少妇| 两性夫妻黄色片| 好看av亚洲va欧美ⅴa在| 国产免费av片在线观看野外av| 欧美日韩福利视频一区二区| 亚洲成人免费电影在线观看| 岛国在线免费视频观看| 午夜日韩欧美国产| 五月玫瑰六月丁香| 日本三级黄在线观看| 午夜福利高清视频| 免费人成视频x8x8入口观看| 9191精品国产免费久久| 黄色女人牲交| 亚洲人成伊人成综合网2020| 夜夜看夜夜爽夜夜摸| 日韩欧美免费精品| 免费一级毛片在线播放高清视频| 18禁国产床啪视频网站| 精品日产1卡2卡| 国产亚洲精品久久久久久毛片| 露出奶头的视频| 国产精品 欧美亚洲| 999久久久国产精品视频| 一级片免费观看大全| 国产1区2区3区精品| 久久精品国产亚洲av香蕉五月| 国产精品美女特级片免费视频播放器 | 欧美不卡视频在线免费观看 | 超碰成人久久| 久久精品综合一区二区三区| svipshipincom国产片| 神马国产精品三级电影在线观看 | 大型黄色视频在线免费观看| 久久天躁狠狠躁夜夜2o2o| 亚洲av成人一区二区三| 国产午夜精品久久久久久| 99热这里只有精品一区 | av在线播放免费不卡| 在线观看免费午夜福利视频| 国产午夜福利久久久久久| 精品免费久久久久久久清纯| 久久精品国产综合久久久| 18禁国产床啪视频网站| 国产精品 欧美亚洲| 国产av在哪里看| 成人手机av| 少妇熟女aⅴ在线视频| 国产一区二区在线av高清观看| 欧美中文综合在线视频| 亚洲国产精品999在线| 真人一进一出gif抽搐免费| 成人高潮视频无遮挡免费网站| 哪里可以看免费的av片| 国产在线精品亚洲第一网站| 他把我摸到了高潮在线观看| 熟女少妇亚洲综合色aaa.| 国产精品久久久久久亚洲av鲁大| 1024手机看黄色片| 日本黄色视频三级网站网址| 中亚洲国语对白在线视频| 国产亚洲精品一区二区www| 亚洲熟妇中文字幕五十中出| 观看免费一级毛片| 色综合亚洲欧美另类图片| av片东京热男人的天堂| 两性夫妻黄色片| 色老头精品视频在线观看| 90打野战视频偷拍视频| 精品第一国产精品| 免费av毛片视频| 狂野欧美激情性xxxx| 日韩免费av在线播放| 午夜福利在线观看吧| 久久精品亚洲精品国产色婷小说| or卡值多少钱| 看片在线看免费视频| 美女黄网站色视频| 高清在线国产一区| 国产精品香港三级国产av潘金莲| 欧美中文日本在线观看视频| 国产男靠女视频免费网站| 亚洲色图 男人天堂 中文字幕| 激情在线观看视频在线高清| 搡老妇女老女人老熟妇| 国产精品野战在线观看| 九色成人免费人妻av| 亚洲欧洲精品一区二区精品久久久| 成人三级黄色视频| 亚洲免费av在线视频| 日韩免费av在线播放| 最近最新免费中文字幕在线| 国产免费男女视频| 在线观看美女被高潮喷水网站 | 亚洲av美国av| 天堂影院成人在线观看| 在线观看一区二区三区| 国产v大片淫在线免费观看| 97碰自拍视频| 国产成人一区二区三区免费视频网站| 亚洲全国av大片| 国产精华一区二区三区| 熟女电影av网| 俺也久久电影网| 国产精品一区二区三区四区免费观看 | 又粗又爽又猛毛片免费看| 青草久久国产| 妹子高潮喷水视频| 成人手机av| 精品不卡国产一区二区三区| 中国美女看黄片| 亚洲一区中文字幕在线| cao死你这个sao货| 亚洲午夜精品一区,二区,三区| 国产精品九九99| av片东京热男人的天堂| 国产乱人伦免费视频| 床上黄色一级片| xxxwww97欧美| av福利片在线观看| 黄色视频不卡| 久久国产精品人妻蜜桃| 美女黄网站色视频| 两个人看的免费小视频| 国产精品免费一区二区三区在线| 久久人妻av系列| 在线永久观看黄色视频| 天堂影院成人在线观看| 宅男免费午夜| 国产又黄又爽又无遮挡在线| 精品乱码久久久久久99久播| 两个人看的免费小视频| 天堂动漫精品| 啦啦啦观看免费观看视频高清| 美女黄网站色视频| 久久久久久久久免费视频了| 男女床上黄色一级片免费看| 人妻丰满熟妇av一区二区三区| 日韩欧美三级三区| 午夜久久久久精精品| 草草在线视频免费看| 欧美日韩亚洲国产一区二区在线观看| 啦啦啦免费观看视频1| 夜夜夜夜夜久久久久| 人人妻,人人澡人人爽秒播| 国产亚洲av嫩草精品影院| 欧美成人午夜精品| 麻豆av在线久日| 国语自产精品视频在线第100页| 狠狠狠狠99中文字幕| 亚洲自偷自拍图片 自拍| 极品教师在线免费播放| 国产免费男女视频| 成人午夜高清在线视频| 精品福利观看| 日韩高清综合在线| 精品国产超薄肉色丝袜足j| 18禁裸乳无遮挡免费网站照片| av免费在线观看网站| 人成视频在线观看免费观看| 国内精品一区二区在线观看| 母亲3免费完整高清在线观看| 757午夜福利合集在线观看| 日本a在线网址| 91在线观看av| 搡老妇女老女人老熟妇| 手机成人av网站| 两个人视频免费观看高清| 在线十欧美十亚洲十日本专区| а√天堂www在线а√下载| 国产免费男女视频| cao死你这个sao货| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av电影在线进入| 国产精品 欧美亚洲| 男女下面进入的视频免费午夜| 两人在一起打扑克的视频| 国产视频一区二区在线看| 亚洲一码二码三码区别大吗| 久热爱精品视频在线9| 日本 欧美在线| 亚洲精品一卡2卡三卡4卡5卡| 中亚洲国语对白在线视频| 久热爱精品视频在线9| 18美女黄网站色大片免费观看| 精品不卡国产一区二区三区| 久久午夜亚洲精品久久| 久久久久久人人人人人| 热99re8久久精品国产| 男人舔奶头视频| 国产成人一区二区三区免费视频网站| 午夜影院日韩av| 亚洲一区高清亚洲精品| 国产精品香港三级国产av潘金莲| 级片在线观看| 国产高清视频在线观看网站| 久久 成人 亚洲| 久久久久久大精品| 成人永久免费在线观看视频| 亚洲aⅴ乱码一区二区在线播放 | 18禁黄网站禁片午夜丰满| 大型黄色视频在线免费观看| 欧美黄色淫秽网站| 国内揄拍国产精品人妻在线| 观看免费一级毛片| 国产午夜精品久久久久久| 波多野结衣巨乳人妻| 亚洲性夜色夜夜综合| 国产午夜精品论理片| 18禁美女被吸乳视频| 亚洲午夜精品一区,二区,三区| 国产精品 国内视频| 一二三四在线观看免费中文在| 丝袜人妻中文字幕| 99久久久亚洲精品蜜臀av| 热99re8久久精品国产| av中文乱码字幕在线| 可以免费在线观看a视频的电影网站| 亚洲成人中文字幕在线播放| 伦理电影免费视频| 长腿黑丝高跟| 99久久99久久久精品蜜桃| 少妇裸体淫交视频免费看高清 | 听说在线观看完整版免费高清| 熟妇人妻久久中文字幕3abv| 亚洲五月天丁香| 亚洲国产高清在线一区二区三| 欧美色视频一区免费| 老汉色∧v一级毛片| 国产麻豆成人av免费视频| 男女午夜视频在线观看| 欧美中文综合在线视频| 国产成年人精品一区二区| 国产精品电影一区二区三区| 听说在线观看完整版免费高清| 不卡av一区二区三区| 日本 欧美在线| 久久精品91蜜桃| 日韩有码中文字幕| 久久国产乱子伦精品免费另类| 色av中文字幕| 在线免费观看的www视频| 99精品在免费线老司机午夜| 国内毛片毛片毛片毛片毛片| 国产精品1区2区在线观看.| 久久性视频一级片| 久久欧美精品欧美久久欧美| 精品欧美一区二区三区在线| 久久天堂一区二区三区四区| 国产视频内射| 欧美+亚洲+日韩+国产| 欧美丝袜亚洲另类 | 狠狠狠狠99中文字幕| 亚洲欧美精品综合一区二区三区| 制服诱惑二区| 国产野战对白在线观看| 久久伊人香网站| 深夜精品福利| 91九色精品人成在线观看| 最近最新中文字幕大全免费视频| 国产精品久久久久久久电影 | 禁无遮挡网站| 神马国产精品三级电影在线观看 | 亚洲男人天堂网一区| 黄色毛片三级朝国网站| а√天堂www在线а√下载| 久久国产精品影院| 国产精品美女特级片免费视频播放器 | 在线视频色国产色| 欧美国产日韩亚洲一区| 国产av不卡久久| 国产亚洲精品av在线| cao死你这个sao货| 三级国产精品欧美在线观看 | 亚洲专区字幕在线| 久久精品91无色码中文字幕| 老熟妇仑乱视频hdxx| 欧美中文日本在线观看视频| 久久精品国产清高在天天线| 精品高清国产在线一区| 亚洲av熟女| 精品国产超薄肉色丝袜足j| 久久久精品国产亚洲av高清涩受| 国产精品香港三级国产av潘金莲| 高潮久久久久久久久久久不卡| 露出奶头的视频| 老熟妇乱子伦视频在线观看| 国产av又大| 男女午夜视频在线观看| 国产高清videossex| 久久久水蜜桃国产精品网| 无限看片的www在线观看| 免费看十八禁软件| 日韩精品青青久久久久久| 欧美极品一区二区三区四区| 免费高清视频大片| 国产成+人综合+亚洲专区| 免费看十八禁软件| 日韩精品青青久久久久久| 色av中文字幕| 国产av不卡久久| 欧美绝顶高潮抽搐喷水| 国产成人影院久久av| 亚洲 国产 在线| 精品久久久久久成人av| 19禁男女啪啪无遮挡网站| 老司机深夜福利视频在线观看| 高清毛片免费观看视频网站| 久久久久亚洲av毛片大全| 日本三级黄在线观看| 女生性感内裤真人,穿戴方法视频| 天天一区二区日本电影三级| 制服诱惑二区| 国产在线观看jvid| 国产成人av激情在线播放| 久久人妻福利社区极品人妻图片| 国产亚洲av高清不卡| 非洲黑人性xxxx精品又粗又长| 一区福利在线观看| 国产av麻豆久久久久久久| 岛国在线免费视频观看| 每晚都被弄得嗷嗷叫到高潮| 亚洲欧美精品综合久久99| 波多野结衣高清作品| 一本大道久久a久久精品| 男插女下体视频免费在线播放| 亚洲精品一区av在线观看| 亚洲欧洲精品一区二区精品久久久| 亚洲无线在线观看| 欧美精品亚洲一区二区| 三级毛片av免费| 亚洲片人在线观看| 啦啦啦观看免费观看视频高清| 精品免费久久久久久久清纯| 黄色 视频免费看| 可以免费在线观看a视频的电影网站| 久久久久久久久久黄片| 欧美绝顶高潮抽搐喷水| 真人一进一出gif抽搐免费| 美女免费视频网站| 国产99久久九九免费精品| 久久精品国产亚洲av高清一级| 色哟哟哟哟哟哟| 精品午夜福利视频在线观看一区| 亚洲熟妇熟女久久| 老熟妇乱子伦视频在线观看| 99久久国产精品久久久| 国产蜜桃级精品一区二区三区| 午夜日韩欧美国产| 国产成人影院久久av| 2021天堂中文幕一二区在线观| 午夜久久久久精精品| 亚洲九九香蕉| 亚洲国产高清在线一区二区三| 成人国语在线视频| 亚洲熟妇中文字幕五十中出| 成人国产综合亚洲| 三级毛片av免费| 一进一出好大好爽视频| 国产午夜精品论理片| 香蕉国产在线看| 国产真人三级小视频在线观看| 国产99久久九九免费精品| 色播亚洲综合网| 亚洲全国av大片| 国产av一区在线观看免费| 久久久精品欧美日韩精品| 国产精品久久久久久久电影 | 美女 人体艺术 gogo| 男女做爰动态图高潮gif福利片| 亚洲国产欧美网| 男插女下体视频免费在线播放| 少妇人妻一区二区三区视频| 黄色a级毛片大全视频| а√天堂www在线а√下载| 老熟妇仑乱视频hdxx| 日本在线视频免费播放| av在线天堂中文字幕| 国产一级毛片七仙女欲春2| 老司机福利观看| 亚洲av日韩精品久久久久久密| 精品少妇一区二区三区视频日本电影| 欧美色欧美亚洲另类二区| 欧美黑人欧美精品刺激| 国产精品一区二区三区四区免费观看 | 亚洲精品国产精品久久久不卡| 婷婷精品国产亚洲av| 国产亚洲欧美98| 99热只有精品国产| 99国产精品一区二区三区| 99精品久久久久人妻精品| 久久99热这里只有精品18| 久久精品国产综合久久久| 香蕉国产在线看| 亚洲片人在线观看| 在线观看舔阴道视频| 后天国语完整版免费观看| 亚洲美女视频黄频| 欧美乱码精品一区二区三区| 在线观看午夜福利视频| 美女大奶头视频| 真人做人爱边吃奶动态| 桃红色精品国产亚洲av| 国产一区二区在线观看日韩 | 夜夜夜夜夜久久久久| 亚洲精品美女久久久久99蜜臀| 欧美精品亚洲一区二区| 亚洲一区高清亚洲精品| 黄色视频不卡| 久久香蕉精品热| 色av中文字幕| 最近视频中文字幕2019在线8| 三级国产精品欧美在线观看 | 熟女电影av网| 老司机福利观看| 熟女电影av网| 欧美另类亚洲清纯唯美| 极品教师在线免费播放| 少妇粗大呻吟视频|