基于多任務(wù)學(xué)習(xí)農(nóng)作物葉片病害診斷方法

鄭果 姜玉松

摘要：為了快速、準(zhǔn)確判別農(nóng)作物葉片病害圖像的病害類(lèi)型及病害程度，提出基于多任務(wù)學(xué)習(xí)的診斷方法。引入通道和空間注意力模型，對(duì)經(jīng)典的MobileNetV3網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，并在此基礎(chǔ)上構(gòu)建基于特征金字塔的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)作物類(lèi)型、病害類(lèi)型和病害程度的精準(zhǔn)識(shí)別。采用多種圖像增強(qiáng)方法對(duì)農(nóng)作物葉片病害圖像進(jìn)行擴(kuò)展，對(duì)改進(jìn)前后模型與其他圖像識(shí)別模型在農(nóng)作物病害葉片識(shí)別性能上進(jìn)行對(duì)比試驗(yàn)，并探究在有無(wú)數(shù)據(jù)增強(qiáng)處理?xiàng)l件下不同模型的性能。結(jié)果表明：該模型在作物類(lèi)型識(shí)別、病害類(lèi)型識(shí)別與病害程度識(shí)別任務(wù)上，平均準(zhǔn)確率比原模型分別提升1.38、2.24和2.03個(gè)百分點(diǎn)；召回率比原模型分別提升2.38、1.62和1.18個(gè)百分點(diǎn)；對(duì)比MobileNetV3，InceptionV3、YOLOv7模型，該模型在上述3個(gè)任務(wù)上平均識(shí)別準(zhǔn)確率和召回率均達(dá)到最高。

關(guān)鍵詞：智慧農(nóng)業(yè)；病害識(shí)別；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；多任務(wù)學(xué)習(xí)

doi：10.13304/j.nykjdb.2022.0650

中圖分類(lèi)號(hào)：S126 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：10080864（2024）01008910

病害給農(nóng)作物生產(chǎn)造成巨大損失，農(nóng)作物病害識(shí)別與防治對(duì)于提高農(nóng)業(yè)產(chǎn)量和質(zhì)量具有重大經(jīng)濟(jì)價(jià)值和現(xiàn)實(shí)意義[1]。及時(shí)準(zhǔn)確地掌握農(nóng)作物病害類(lèi)型、受損程度和發(fā)展趨勢(shì)，既能快速采取有效治理措施以降低病害對(duì)農(nóng)業(yè)生產(chǎn)造成的經(jīng)濟(jì)損失，又能避免盲目用藥造成的生態(tài)環(huán)境污染，為科學(xué)制定病害防治策略提供依據(jù)。傳統(tǒng)作物病害監(jiān)測(cè)主要依賴(lài)專(zhuān)家通過(guò)實(shí)地觀測(cè)作物表面特征進(jìn)行評(píng)估診斷，該方式不僅需要專(zhuān)家具有豐富的經(jīng)驗(yàn)，同時(shí)評(píng)估過(guò)程較為繁瑣、耗時(shí)，且具有一定的主觀性，難以滿(mǎn)足實(shí)際生產(chǎn)中大規(guī)模、快速病害監(jiān)測(cè)的應(yīng)用需求。

基于計(jì)算機(jī)視覺(jué)的圖像識(shí)別方法通過(guò)學(xué)習(xí)專(zhuān)家知識(shí)分析病害圖像的視覺(jué)特征，進(jìn)而判斷病害類(lèi)別。在病害發(fā)生早期，葉片圖像是根據(jù)經(jīng)驗(yàn)知識(shí)，從顏色、紋理、形狀、邊緣等角度進(jìn)行底層視覺(jué)特征提取[12]。隨著深度學(xué)習(xí)理論不斷完善，以深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為代表的學(xué)習(xí)方法在圖像識(shí)別領(lǐng)域取得了重大突破[3-5]，成為當(dāng)前農(nóng)作物葉片病害識(shí)別的主流方法。張帥堂等[3]針對(duì)茶葉葉片病害單光譜成像識(shí)別精度偏低的問(wèn)題，提出了基于高光譜成像和圖像處理融合技術(shù)的茶葉病斑快速識(shí)別方法。

劉瑾蓉等[8]根據(jù)銀杏輪紋病的葉片特點(diǎn)，設(shè)計(jì)了18層卷積神經(jīng)網(wǎng)絡(luò)，對(duì)5種不同患病程度的銀杏葉片辨識(shí)率可達(dá)92%。曾偉輝等[9]針對(duì)噪聲污染和復(fù)雜背景干擾的真實(shí)場(chǎng)景下農(nóng)作物病害圖像識(shí)別性能下降問(wèn)題，提出了一種新的面向農(nóng)作物病害識(shí)別應(yīng)用的高階殘差卷積神經(jīng)網(wǎng)絡(luò)方法，以實(shí)現(xiàn)作物病害的準(zhǔn)確識(shí)別。李淼等[10]針對(duì)作物小樣本引起的過(guò)擬合問(wèn)題，引入了知識(shí)遷移和深度學(xué)習(xí)方法。魏超等[11]采用6種深度網(wǎng)絡(luò)模型對(duì)作物病害圖像進(jìn)行特征抽取，采用交叉熵和正則化項(xiàng)組成損失函數(shù)進(jìn)行反向傳播調(diào)整，通過(guò)深度學(xué)習(xí)算法來(lái)檢測(cè)農(nóng)作物病害。劉洋等[12]針對(duì)農(nóng)作物病害識(shí)別模型在移動(dòng)端部署存在參數(shù)量大、計(jì)算復(fù)雜度高等問(wèn)題，對(duì)MobileNet和InceptionV3輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，使運(yùn)算速度和網(wǎng)絡(luò)尺寸之間達(dá)到平衡。Jiang 等[13]提出一種實(shí)時(shí)蘋(píng)果病害識(shí)別方法，引入Inception 結(jié)構(gòu)和Rainbow級(jí)聯(lián)，對(duì)SSD目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)。許景輝等[14]針對(duì)復(fù)雜田間背景下小數(shù)據(jù)樣本學(xué)習(xí)的玉米病害圖像識(shí)別問(wèn)題，提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別模型。

Chen等[15]將輕量級(jí)網(wǎng)絡(luò)MobileNetV2與遷移學(xué)習(xí)相結(jié)合，實(shí)現(xiàn)農(nóng)作物細(xì)小病害區(qū)圖像識(shí)別。趙立新等[16]利用遷移學(xué)習(xí)算法并輔以數(shù)據(jù)增強(qiáng)技術(shù)，實(shí)現(xiàn)棉花葉部病害圖像準(zhǔn)確分類(lèi)。王春山等[17]提出了改進(jìn)型的多尺度殘差輕量級(jí)病害識(shí)別模型，通過(guò)增加多尺度特征提取模塊，改變殘差層連接方式，將大卷積核分解進(jìn)行群卷積操作，顯著減少了模型參數(shù)，降低了存儲(chǔ)空間和運(yùn)算開(kāi)銷(xiāo)。劉陽(yáng)等[18]通過(guò)刪除SqueezeNet模型中的fire模塊數(shù)量并修改fire模塊參數(shù)，大幅減小5種模型的參數(shù)內(nèi)存需求及模型計(jì)算量，模型收斂迅速。

綜上所述，大多數(shù)研究將農(nóng)作物病害診斷看作一般圖像識(shí)別問(wèn)題，忽略了病害類(lèi)別與作物類(lèi)別、病害程度之間的內(nèi)在聯(lián)系，而實(shí)際上這種內(nèi)在聯(lián)系影響作物病害識(shí)別精度。因此，本文建立多任務(wù)深度學(xué)習(xí)模型，分析農(nóng)作物類(lèi)型、病害類(lèi)型以及病害程度三者之間的關(guān)系，實(shí)現(xiàn)農(nóng)作物病害遠(yuǎn)程自動(dòng)診斷，為農(nóng)作物病害精準(zhǔn)防治提供高效手段，有利于推動(dòng)深度學(xué)習(xí)技術(shù)與農(nóng)業(yè)生產(chǎn)深度融合，促進(jìn)傳統(tǒng)農(nóng)業(yè)向數(shù)字農(nóng)業(yè)轉(zhuǎn)變。

1 材料與方法

1.1 數(shù)據(jù)采集

由于攝像機(jī)拍攝時(shí)成像參數(shù)、拍攝距離、角度和天氣等變化，農(nóng)作物病害葉片采集面臨運(yùn)動(dòng)模糊、尺度變化、復(fù)雜背景干擾、局部遮擋、光照強(qiáng)度變化等問(wèn)題。為了滿(mǎn)足大田農(nóng)作物葉片病害識(shí)別需求，試驗(yàn)數(shù)據(jù)集來(lái)自PlantVillage官方數(shù)據(jù)網(wǎng)站（https：//github.com/spMohanty/PlantVillage-Dataset）。原數(shù)據(jù)集包含13種農(nóng)作物26類(lèi)病葉圖像和12種農(nóng)作物（蘋(píng)果、藍(lán)莓、櫻桃、玉米、葡萄、桃樹(shù)、辣椒、土豆、黃豆、草莓、番茄）健康葉圖像，總計(jì)54 306張，具體信息如表1所。

1.2 數(shù)據(jù)處理

從表1可以發(fā)現(xiàn)，每種作物的各類(lèi)病害葉片圖像數(shù)量差距較大。為了解決這種樣本數(shù)據(jù)不均衡導(dǎo)致模型性能下降的問(wèn)題，將樣本較少的病害類(lèi)別圖像進(jìn)行擴(kuò)充。首先，通過(guò)翻轉(zhuǎn)（水平和垂直2 個(gè)方向）、平移、隨機(jī)裁剪、旋轉(zhuǎn)、縮放（按照10%、20%、30%比例放大）、加高斯噪聲等方法將1幅原始圖像擴(kuò)展為20幅，使得多數(shù)類(lèi)別病害圖像數(shù)量達(dá)到5 000幅以上；然后，使用MATLAB將所有圖像進(jìn)行歸一化，使其分辨率為224×224；其次，在訓(xùn)練過(guò)程中，從每批圖像中隨機(jī)選擇2幅圖像，并以一定比例混合生成新的圖像，作為新的樣本。為了減少數(shù)據(jù)集劃分對(duì)試驗(yàn)的影響，本文采用交叉驗(yàn)證的模型訓(xùn)練方法[3，11]，隨機(jī)將數(shù)據(jù)集中每個(gè)類(lèi)別子集按照4∶1∶1的比例挑選樣本，生成訓(xùn)練集、驗(yàn)證集和測(cè)試集。采用交叉驗(yàn)證方式隨機(jī)重復(fù)10次，將平均值作為最后結(jié)果。本文借鑒文獻(xiàn)[3，9，11]中關(guān)于農(nóng)作物葉片病害程度標(biāo)注方案，對(duì)于農(nóng)作物病葉圖像，根據(jù)病區(qū)面積與葉片面積比值（α），將病害程度定義為L(zhǎng)1～L4 共4 個(gè)等級(jí)。L1表示健康，L2表示輕微損害（0<α≤30%），L3表示中度損害（30%<α≤50%），L4表示嚴(yán)重?fù)p害（50%<α≤100%）。

1.3 模型構(gòu)建與優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被普遍用于圖像分類(lèi)，并且已經(jīng)取得了重要進(jìn)展。為了提升卷積神經(jīng)網(wǎng)絡(luò)模型圖像識(shí)別精度，網(wǎng)絡(luò)模型設(shè)計(jì)越來(lái)越復(fù)雜，網(wǎng)絡(luò)層數(shù)逐漸加深，網(wǎng)絡(luò)參數(shù)數(shù)量激增，難以滿(mǎn)足實(shí)時(shí)應(yīng)用需求。本文在主干網(wǎng)絡(luò)后端引入空間和通道注意力模塊[21]和特征金字塔網(wǎng)絡(luò)模塊[22]，對(duì)輕量級(jí)MobileNetV3網(wǎng)絡(luò)模型進(jìn)行改進(jìn)[19]，用于農(nóng)作物病害快速識(shí)別。本文基于多任務(wù)學(xué)習(xí)[20]的深度卷積神經(jīng)網(wǎng)絡(luò)框架（圖1），通過(guò)共享底層特征模塊提高作物類(lèi)型識(shí)別、病害識(shí)別和病害程度識(shí)別3個(gè)任務(wù)的性能指標(biāo)。

1.3.1 卷積塊注意力模型 視覺(jué)注意力機(jī)制是通過(guò)設(shè)計(jì)一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使主干深度神經(jīng)網(wǎng)絡(luò)在特征學(xué)習(xí)時(shí)把注意力聚集在圖像重要區(qū)域的方法。本文引入輕量級(jí)注意力模型，由通道注意力和空間注意力2個(gè)子模塊組成，其框架結(jié)構(gòu)如圖2所示。

在通道注意力子模塊中，先將輸入特征圖F（H×W×C）分別經(jīng)過(guò)基于高（H）和寬（W）方向的全局最大池化和全局平均池化，得到2個(gè)1×1×C的特征圖，再分別輸入到全連接神經(jīng)網(wǎng)絡(luò)，對(duì)其輸出的2 個(gè)特征向量進(jìn)行元素加和運(yùn)算，再經(jīng)過(guò)sigmoid激活函數(shù)得到通道注意力特征，最后將該特征與輸入特征圖F進(jìn)行元素乘法運(yùn)算，其結(jié)果作為空間注意子模塊的輸入。

在空間注意力子模塊中，首先基于通道的全局最大值和全局平均值將上述通道注意力子模塊產(chǎn)生的特征圖F進(jìn)行池化操作，分別得到2個(gè)H×W×1的特征圖；然后將2個(gè)特征圖基于通道進(jìn)行拼接，再通過(guò)7×7卷積獲得H×W×1的特征圖；最后，該特征圖通過(guò)sigmoid 激活生成空間通道特征，并與輸入特征圖F進(jìn)行元素級(jí)乘法運(yùn)算，得到最終特征。

1.3.2 特征金字塔 卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積和池化不斷增加感受野進(jìn)行特征學(xué)習(xí)，低層卷積網(wǎng)絡(luò)偏重學(xué)習(xí)圖像的邊緣、紋理等底層視覺(jué)特征，高層網(wǎng)絡(luò)則偏重學(xué)習(xí)圖像類(lèi)別等高級(jí)語(yǔ)義特征。在傳統(tǒng)的MobileNetV3網(wǎng)絡(luò)中，經(jīng)過(guò)5次卷積和池化（2×2最大值池化）后的特征圖分辨率為輸入圖像原始分辨率的1/32，此時(shí)原始圖像中包含的小目標(biāo)就會(huì)被忽略掉。在農(nóng)作物葉片病害識(shí)別中，大多數(shù)病害癥狀表現(xiàn)為斑點(diǎn)，其分辨率低、體積小，很難被MobileNetV3的高層網(wǎng)絡(luò)探測(cè)到。針對(duì)此問(wèn)題，本文在MobileNetV3網(wǎng)絡(luò)基礎(chǔ)上引入特征金字塔網(wǎng)絡(luò)模塊，將上下文增強(qiáng)和特征細(xì)化相結(jié)合，將多尺度擴(kuò)展卷積得到的特征進(jìn)行融合，并自上而下注入特征金字塔網(wǎng)絡(luò)，以補(bǔ)充上下文信息，提升病斑等小目標(biāo)的識(shí)別精度。本文將MobileNetV3 網(wǎng)絡(luò)最后3個(gè)尺度的特征圖進(jìn)行融合：輸入特征圖為多個(gè)尺度的特征圖組成的特征金字塔（本文取MobileNetV3最后3個(gè)尺度的特征圖），最后一層特征圖經(jīng)過(guò)1×1卷積得到融合后對(duì)應(yīng)的最后一層特征，下一級(jí)尺度輸入特征經(jīng)過(guò)1×1 卷積的特征圖，與融合后的特征圖經(jīng)過(guò)2倍上采樣后，進(jìn)行像素級(jí)加操作，得到本層特征圖。依次重復(fù)上述操作，得到融合的特征圖，特征融合過(guò)程如圖3所示。

1.3.3 試驗(yàn)環(huán)境與參數(shù) 農(nóng)作物病害識(shí)別模型試驗(yàn)平臺(tái)為臺(tái)式計(jì)算機(jī)，處理器為Intel i7 10700k@ 3.8 GHz，32 G DDR4 內(nèi)存，2T西部數(shù)據(jù)硬盤(pán)，顯卡為NVIDIA GeForce GTX 1080Ti GPU；軟件環(huán)境為Ubuntu Linux操作系統(tǒng)，采用Pytorch深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練。在訓(xùn)練過(guò)程中，100 幅圖像為1 個(gè)批次（batch size），初始學(xué)習(xí)率（learning rate）為 0.001，動(dòng)量（momentum）設(shè)置為0.9，權(quán)值衰減率（decay）為0.000 3，訓(xùn)練代數(shù)（epoch）為200，進(jìn)行10 000次迭代。為驗(yàn)證本文方法有效性，將其與當(dāng)前農(nóng)作物病害識(shí)別前沿方法進(jìn)行對(duì)比，包括MobileNetV3[19]、InceptionV3[23]、YOLOV7[24]。

1.3.4 評(píng)價(jià)指標(biāo) 深度學(xué)習(xí)模型的性能評(píng)估是檢驗(yàn)訓(xùn)練過(guò)程中模型架構(gòu)設(shè)計(jì)和超參數(shù)設(shè)置是否合理的客觀依據(jù)。本文利用平均準(zhǔn)確率（average accuracy，AA）和召回率（recall，R）評(píng)價(jià)多類(lèi)圖像識(shí)別性能。單個(gè)類(lèi)別識(shí)別的準(zhǔn)確率（accuracy，Acc）及模型的平均準(zhǔn)確率和召回率計(jì)算公式如下。

式中，TP（true positive）表示樣本預(yù)測(cè)標(biāo)簽為正且實(shí)際的標(biāo)簽也為正的樣本數(shù)量，F(xiàn)P（falsepositive）表示樣本預(yù)測(cè)標(biāo)簽為正且實(shí)際的標(biāo)簽為負(fù)的樣本數(shù)量，M 為類(lèi)別總數(shù)，F(xiàn)N（false negative）表示樣本預(yù)測(cè)標(biāo)簽為負(fù)而實(shí)際標(biāo)簽為正的樣本數(shù)量，F(xiàn)P表示樣本預(yù)測(cè)標(biāo)簽為負(fù)且實(shí)際標(biāo)簽為負(fù)的樣本。

2 結(jié)果與分析

2.1 農(nóng)作物病害識(shí)別損失函數(shù)分析

圖4所示為本文改進(jìn)農(nóng)作物病害識(shí)別模型損失函數(shù)隨迭代次數(shù)的變化曲線，可以看出，前1 000次迭代，損失值迅速下降，模型快速收斂，至迭代1 500次損失函數(shù)趨于穩(wěn)定，而2 000次迭代以后損失值振蕩幅度較小，表明模型訓(xùn)練已經(jīng)收斂。

2.2 數(shù)據(jù)增強(qiáng)結(jié)果分析

利用增強(qiáng)前后的數(shù)據(jù)集分別對(duì)4種模型進(jìn)行訓(xùn)練和測(cè)試，驗(yàn)證增強(qiáng)方法對(duì)3類(lèi)任務(wù)性能的影響。從表2可以看出，未對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)操作時(shí)，作物識(shí)別、病害識(shí)別和病害程度識(shí)別的準(zhǔn)確率分別為95.23%、96.67% 和92.76%，召回率分別為94.28%、95.86%、93.67%；而數(shù)據(jù)增強(qiáng)后，在每個(gè)類(lèi)別上樣本保持均衡，作物識(shí)別、病害識(shí)別和病害程度識(shí)別的準(zhǔn)確率分別提升3.50、0.59和1.23個(gè)百分點(diǎn)，而召回率分別提升3.21、1.31和1.69個(gè)百分點(diǎn)。由此可見(jiàn)，數(shù)據(jù)增強(qiáng)操作對(duì)農(nóng)作物葉片病害診斷的性能提升具有重要作用。

2.3 農(nóng)作物病害識(shí)別結(jié)果分析

將本文方法與前沿算法在PlantVillage 數(shù)據(jù)集中對(duì)農(nóng)作物病害葉片和健康葉片識(shí)別效果進(jìn)行對(duì)比，結(jié)果如表3 所示。從表3 可以看出，與MobileNetV3、InceptionV3、YOLOv7 相比，本文方法在25 種類(lèi)別病害及健康葉片（C1～C5、C7、C10～C11、C15、C18～C19、C22～C24、C26～C31、C33～C36、C38） 的識(shí)別準(zhǔn)確率最高，而MobileNetV3僅在C25（黃豆健康葉）類(lèi)別上識(shí)別準(zhǔn)確率最高；InceptionV3 對(duì)類(lèi)別C8～C9、C12～C14、C20、C37等7種病害葉片識(shí)別效果最優(yōu)；YOLOv7則對(duì)C6、C17、C21、C32等4種類(lèi)別的識(shí)別準(zhǔn)確率最高。在農(nóng)作物病害識(shí)別平均準(zhǔn)確率方面，MobileNetV3、InceptionV3、YOLOv7的平均準(zhǔn)確率分別為95.02%、95.62%和96.92%，而本文方法的平均準(zhǔn)確率達(dá)到97.26%，比前者分別高出2.24、1.64和0.34個(gè)百分點(diǎn)。在召回率方面，本文方法在類(lèi)別C2～C4、C7、C10、C11、C14～C17、C19、C22～C23、C26～C28、C32～C36、C38上均取得最優(yōu)；在召回率方面，MobileNetV3、InceptionV3、YOLOv7 算法分別為95.99%、95.98% 和96.43%，本文方法為97.17%。綜上，本文方法采用多任務(wù)學(xué)習(xí)框架，通過(guò)引入CBAM注意力模塊和多尺度特征金字塔模塊對(duì)MobileNetV3進(jìn)行改進(jìn)，在平均準(zhǔn)率和召回率方面均取得了較大提升，表明模型性能得到改進(jìn)。

2.4 農(nóng)作物類(lèi)型識(shí)別結(jié)果分析

本文方法與其他3種算法在PlantVillage數(shù)據(jù)集上的農(nóng)作物類(lèi)型識(shí)別對(duì)比結(jié)果如表4所示。從表4可以看出，本文方法與3種前沿方法相比，在13 類(lèi)作物識(shí)別中，9 類(lèi)作物葉片圖像（P1～P7、P11、P13）識(shí)別準(zhǔn)確率更高；InceptionV3方法在2類(lèi)作物葉片圖像（P8和P10）識(shí)別準(zhǔn)確率最高，YOLOV7 方法在其余2 類(lèi)作物（P9 土豆和P12草莓）葉片圖像識(shí)別取得更高準(zhǔn)確率；在平均準(zhǔn)確率指標(biāo)上，本文方法達(dá)到98.73%，比MobileNetV3、InceptionV3和YOLOv7算法分別提高1.38、0.87 和0.37 個(gè)百分點(diǎn)。此外，與MobileNetV3算法相比，本文方法對(duì)各病害的識(shí)別準(zhǔn)確率均取得優(yōu)勢(shì)；與MobileNetV3、InceptionV3和YOLOv7等算法相比，本文方法在蘋(píng)果、藍(lán)莓、櫻桃、玉米、葡萄、橘子、桃樹(shù)、南瓜、番茄9種作物上的召回率取得明顯優(yōu)勢(shì)。試驗(yàn)結(jié)果表明，與MobileNetV3、InceptionV3、YOLOv7 等算法相比，本文方法在平均準(zhǔn)確率和召回率等指標(biāo)上具有優(yōu)勢(shì)，有效提升農(nóng)作物病害類(lèi)型識(shí)別的精度。

2.5 農(nóng)作物病害程度識(shí)別試驗(yàn)結(jié)果分析

從表5中可以看出，本文方法對(duì)病害程度4個(gè)級(jí)別的識(shí)別準(zhǔn)確率分別為95.86%、93.49%、93.68%、93.92%，比MobileNetV3、InceptionV3 和YOLOv7更高，平均準(zhǔn)確率（93.99%）分別比它們提高2.03、1.27和0.88個(gè)百分點(diǎn)。本文方法對(duì)4個(gè)等級(jí)的農(nóng)作物病害程度識(shí)別召回率分別達(dá)到96.82%、93.89%、92.76%、97.98%，平均召回率達(dá)到95.36%。該結(jié)果表明，本文提出的基于多任務(wù)學(xué)習(xí)的算法架構(gòu)，與MobileNetV3、InceptionV3 和YOLOv7等經(jīng)典算法相比，可以有效提高農(nóng)作物病害葉片圖像病害程度識(shí)別的準(zhǔn)確率。

3 討 論

本文提出了一種基于多任務(wù)學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，用于農(nóng)作物類(lèi)型、農(nóng)作物病害以及病害程度識(shí)別。針對(duì)數(shù)據(jù)集樣本失衡問(wèn)題，本文采用樣本增強(qiáng)方法對(duì)樣本較少的類(lèi)別圖像進(jìn)行擴(kuò)展；通過(guò)引入卷積塊注意力模塊和特征金字塔模塊對(duì)經(jīng)典的MobileNetV3 網(wǎng)絡(luò)進(jìn)行改進(jìn)。在PlantVillage數(shù)據(jù)集上，通過(guò)設(shè)置模型超參數(shù)，訓(xùn)練識(shí)別13種不同植物共26類(lèi)病害以及4種病害等級(jí)并選出最優(yōu)模型，與MobileNetV3、InceptionV3、YOLOv7經(jīng)典方法進(jìn)行對(duì)比試驗(yàn)。本文方法平均準(zhǔn)確率和召回率取得明顯優(yōu)勢(shì)。同時(shí)，在絕大多數(shù)類(lèi)別上，本文方法也取得一定優(yōu)勢(shì)，表明該方法能有效利用注意力機(jī)制、特征金字塔和關(guān)聯(lián)任務(wù)學(xué)習(xí)魯棒視覺(jué)特征，同時(shí)提高每項(xiàng)任務(wù)的識(shí)別性能，為農(nóng)作物病害遠(yuǎn)程自動(dòng)化診斷、提高農(nóng)業(yè)生產(chǎn)智能化水平提供了有力保障。綜上所述，本文方法可以更好地挖掘農(nóng)作物類(lèi)型識(shí)別、農(nóng)作物病害識(shí)別以及病害程度識(shí)別三者內(nèi)在關(guān)聯(lián)，為后續(xù)深入研究提供參考。

參考文獻(xiàn)

［1］ KAUR S， PANDEY S， GOEL S. Plants disease identificationand classification through leaf images： a survey [J]. Arch.Comp. Methods Eng.， 2018， 26（4）： 507-530.

［2］ ESGARIO J G， KROHLING R A， VENTURA J A， et al .. Deeplearning for classification and severity estimation of coffee leafbiotic stress [J]. Comp. Electron. Agric.， 2020， 16（9）： 155-162.

［3］ 張帥堂，王紫煙，鄒修國(guó)，等. 基于高光譜圖像和遺傳優(yōu)化神經(jīng)網(wǎng)絡(luò)的茶葉病斑識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（22）：200-207.

ZHANG S T， WANG Z Y， ZOU X G， et al .. Recognition of teadisease spot based on hyperspectral image and geneticoptimization neural network [J]. Trans. Chin. Soc. Agric. Eng.，2017， 33（22）： 200-207.

［4］ 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（19）： 209-215.

SUN J， TAN W J， MAO H P， et al . Recognition of multipleplant leaf diseases based on improved convolutional neuralnetwork [J]. Trans. Chin. Soc. Agric. Eng.， 2017， 33（19）：209-215.

［5］ MOHANTY S P， HUGHES D P， SALATHE M， et al .. Usingdeep learning for image-based plant disease detection [J].Front. Plant Sci.， 2016， 7（1）： 1-10.

［6］ 馬浚誠(chéng)，杜克明，鄭飛翔，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（12）： 186-192.

MA J C， DU K M， ZHENG F X， et al .. Disease recognitionsystem for greenhouse cucumbers based on deep convolutionalneural network [J]. Trans. Chin. Soc. Agric. Eng.， 2018， 34（12）：186-192

［7］ 張建華，孔繁濤，吳建寨，等. 基于改進(jìn)VGG卷積神經(jīng)網(wǎng)絡(luò)的棉花病害識(shí)別模型[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2018， 23（11）：167-177.

ZHANG J H， KONG F T， WU J Z， et al .. Image recognition ofcotton leaf diseases based on improved VGG convolutionalneural network [J]. J. Chin. Agric. Univ.， 2018，23（11）：167-177.

［8］ 劉瑾蓉，林劍輝，李婷婷. 基于卷積神經(jīng)網(wǎng)絡(luò)的銀杏葉片患病程度識(shí)別[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)， 2018， 20（6）：55-61.

LIU J R， LIN J H， LI T T. Identification of leaf disease gradebased on convolutional neural network [J]. J. Agric. Sci. Tech.，2018， 20（6）：55-61.

［9］ 曾偉輝，李淼，張健，等.面向農(nóng)作物病害識(shí)別的高階殘差卷積神經(jīng)網(wǎng)絡(luò)研究[J]. 中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2019，49（10）：781-791.

ZENG W H， LI M， HUANG J， et al .. Research on high-orderresidual convolution neural network for crop diseaserecognition application [J]. J. Univ. Sci. Tech. Chin. 2019，49（10）：781-791.

［10］ 李淼，王敬賢，李華龍，等.基于CNN 和遷移學(xué)習(xí)的農(nóng)作物病害識(shí)別方法研究[J].智慧農(nóng)業(yè)， 2019， 1（3）： 46-55.

LI M， WANG J X， LI H L， et al .. Method for identifying cropdisease based on CNN and transfer learning [J]. Smart Agric.，2019， 1（3）：46-55.

［11］ 魏超，范自柱，張泓，等. 基于深度學(xué)習(xí)的農(nóng)作物病害檢測(cè)[J].江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 40（2）： 71-77.

WEI C， WEI C， FAN Z Z， ZHANG H， et al .. Crop diseasedetection based on deep learning [J]. J. Jiangsu Univ. （Nat.Sci.）， 2019， 40（2）：71-77.

［12］ 劉洋，馮全，王書(shū)志. 基于輕量級(jí)CNN的植物病害識(shí)別方法及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（17）： 194-204.

LIU Y， FENG Q， WANG S Z. Plant disease identificationmethod based on lightweight CNN and mobile application [J].Trans. Chin. Soc. Agric. Eng.， 2019， 35（17）：194-204.

［13］ JIANG P， CHEN Y， LIU B， et al .. Real-time detection of appleleaf diseases using deep learning approach based on improvedconvolutional neural networks [J]. IEEE Access， 2019， 7：59069-59080.

［14］ 許景輝，邵明燁，王一琛，等.基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（2）：230-236.

XU J H， SHAO M Y， WANG Y C， et al .. Recognition of cornleaf spot and rust based on transfer learning with convolutionalneural network [J]. Tans. Chin. Soc. Agric. Mach.， 2020， 51（2）：230-236.

［15］ CHEN J， ZHANG D， NANEHKARAN Y A. Identifying plantdiseases using deep transfer learning and enhanced lightweightnetwork [J]. Multimedia Tools App.， 2020， 79（7）： 31497-31515.

［16］ 趙立新，侯發(fā)東，呂正超，等.基于遷移學(xué)習(xí)的棉花葉部病蟲(chóng)害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36（7）：184-191.

ZHAO L X， HOU F D， LYU Z C， et al .. Image recognition ofcotton leaf diseases and pests based on transfer learning [J].Trans. Chin. Soc. Agric. Eng.， 2020， 36（7）：184-191.

［17］ 王春山，周冀，吳華瑞，.改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2020， 36（20）：217-225.

WANG C S， ZHOU J， WU H R， et al .. Identification ofvegetable leaf diseases based on improved multi-scale ResNet [J].Trans. Chin. Soc. Agric. Eng.， 2020， 36（20）：217-225.

［18］ 劉陽(yáng)，高國(guó)琴. 采用改進(jìn)的 SqueezeNet 模型識(shí)別多類(lèi)葉片病害[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（2） ：187-195.

LIU Y， GAO G Q. Identification of multiple leaf diseases usingimproved SqueezeNet model [J]. Trans. Chin. Soc. Agric. Eng.，2021，37（2） ：187-195.

［19］ HOWARD A.， SANDLER M.， CHEN B.， et al .. Searching forMobileNetV3 [C]// Proceedigns of IEEE/CVF InternationalConference on Computer Vision （ICCV）. South Korea， 2019：1314-1324.

［20］ SANGHYUN W， JONGCHAN P， JOON-YOUNG L， et al ..CBAM： convolutional block attention module [C]// Proceedingsof European Conference on Computer Vision. Munich， Germany：2018： 3-19.

［21］ SENER O， KOLTUN V. Multi-task learning as multi-objectiveoptimization [J/OL]. arXiv：1810.04650v2 [cs.LG]. [2023-08-30] . https：//doi.org/10.48550/arXiv.1810.04650.

［22］ LIN T Y， DOLLAR P， GIRSHICK R.， et al .. Feature pyramidnetworks for object detection [C]// Proceedings of IEEEConference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society， 2017：936-944.

［23］ SZEGEDY C， VANHOUCKE V， IOFFE S， et al .. Rethinkingthe inception architecture for computer vision [C]// Proceedingsof IEEE Conference on Computer Vision and PatternRecognition （CVPR）. IEEE， 2016： 2818-2826.

［24］ WANG C Y， ALEXEY B， LIAO H Y.， YOLOv7： Trainable bagof-freebies sets new state-of-the-art for real-time objectdetectors [J/OL]. arXiv：2207.02696v1 [cs.CV] [2023-08-30].https：//doi.org/10.48550/arXiv.2207.02696.

（責(zé)任編輯：溫小杰）