基于改進(jìn)Yolov5植物病害檢測算法研究*

楊文姬，胡文超，趙應(yīng)丁，錢文彬

(江西農(nóng)業(yè)大學(xué)軟件學(xué)院，南昌市，330045)

0 引言

農(nóng)業(yè)是我國發(fā)展的重要產(chǎn)業(yè)，其中果蔬種植對(duì)于我國實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化具有重大意義。果蔬對(duì)于人類身體具有不可缺少的營養(yǎng)成分，同時(shí)還是我國經(jīng)濟(jì)的重要來源。然而果蔬在生產(chǎn)過程中，由于自身對(duì)病害的抵抗能力有限，從而使得果蔬感染病害。植物病害不僅會(huì)減少產(chǎn)量，甚至造成巨大的經(jīng)濟(jì)損失。植物病害主要發(fā)生在植物葉片，可以通過葉片病害特征判斷出植物感染病害類型。盡早地檢測出植物病害，能夠極大程度上減少產(chǎn)量損失、經(jīng)濟(jì)損失。然而，人工檢測需要耗費(fèi)大量時(shí)間和人力成本，檢測結(jié)果受人為主觀意識(shí)影響，且依賴專業(yè)知識(shí)。其次，專門從事病害識(shí)別的人才緊缺，且難以滿足市場需求，因此，需要用一種高效、快速的人工智能檢測方法解決這一難題。

傳統(tǒng)上的植物病害檢測是依賴擁有專業(yè)知識(shí)的專家用肉眼對(duì)感染病害的植物葉片進(jìn)行人為判斷。然而，由于我國種植面積較大，這種方法過于依賴人工，不僅耗時(shí)費(fèi)力，檢測結(jié)果受人為影響較大，失去客觀性。同時(shí)缺少大量的擁有專業(yè)知識(shí)的專家人才。

快速正確地檢測植物病害對(duì)提高果蔬種植產(chǎn)業(yè)的發(fā)展十分重要，已成為近幾年來農(nóng)業(yè)發(fā)展的研究熱點(diǎn)。在此背景下，人們研究了用各種光譜[1]和成像技術(shù)[2-3]來檢測植物病害。Arnal等[4]考慮葉片和莖中可見癥狀，使用數(shù)字圖像處理技術(shù)從可見光譜的數(shù)字圖像中檢測和分類植物病害。這種方法需要前期的輔助數(shù)據(jù)處理，不能對(duì)多種植物多種病害類別進(jìn)行檢測。

其次，該方法也需要精密儀器，不僅價(jià)格昂貴，體積過大不利于部署，同時(shí)檢測效果不是特別好。隨著硬件設(shè)備的快速發(fā)展，通過機(jī)器學(xué)習(xí)進(jìn)行植物病害的自動(dòng)檢測逐漸應(yīng)用廣泛。Elangovan等[5]對(duì)植物病害圖像進(jìn)行加載、預(yù)處理、分割、特征提取、SVM分類等步驟，從而檢測植物病害類別。支持向量機(jī)需要對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理；并且該方法將檢測分為多任務(wù)分別進(jìn)行，使檢測過程更加復(fù)雜。

傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要通過復(fù)雜的數(shù)據(jù)預(yù)處理和特征提取步驟，大大地降低了病害檢測的效率，且深度學(xué)習(xí)在計(jì)算機(jī)視覺取得了巨大突破，研究者開始轉(zhuǎn)向基于深度學(xué)習(xí)的病害識(shí)別與檢測研究。Mohanty等[6]使用深度卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別14種作物物種和26種疾病。Sun等[7]提出基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的植物葉片病害識(shí)別，通過對(duì)卷積層的輸入數(shù)據(jù)進(jìn)行批歸一化處理,以便加速網(wǎng)絡(luò)收斂。Durmu等[8]測試了兩個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)：AlexNet、SqueezeNet，檢測十個(gè)類別的番茄葉片圖像，取得了較好的效果。Fuentes等[9]將VGG網(wǎng)絡(luò)和ResNet(殘差網(wǎng)絡(luò))兩種深度特征提取器相結(jié)合，并且提出一種局部和全局注釋和數(shù)據(jù)增強(qiáng)方式，提高訓(xùn)練過程的準(zhǔn)確性。Zhou等[10]針對(duì)水稻病害圖像噪聲、圖片模糊、檢測精度低等問題，提出基于Faster RCNN和FCM-KM融合的水稻病害檢測方法。該方法雖然有一個(gè)較高的精度，但雙階段目標(biāo)檢測算法檢測速度慢。

因此，本文提出一種基于改進(jìn)Yolov5的植物病害檢測算法。為了更好地提取病害特征信息，通過增加輔助主干網(wǎng)，將輔助主干網(wǎng)的深層特征與主干網(wǎng)的淺層特征進(jìn)行融合，獲得特征提取能力更強(qiáng)的復(fù)合主干網(wǎng)。同時(shí)還修改原網(wǎng)絡(luò)的置信度損失函數(shù)，使用Varifocal Loss代替原來的Focal Loss。最后，將改進(jìn)后的Yolov5檢測算法對(duì)蘋果、番茄常見病害進(jìn)行檢測，驗(yàn)證本文改進(jìn)的Yolov5植物病害檢測模型的有效性。

1 Yolov5目標(biāo)檢測算法

Yolov5網(wǎng)絡(luò)結(jié)構(gòu)是由Input、Backbone、Neck、Prediction組成，具體結(jié)構(gòu)如圖1所示。

圖1 Yolov5s結(jié)構(gòu)圖

Yolov5的Input部分是網(wǎng)絡(luò)的輸入端，采用Mosaic數(shù)據(jù)增強(qiáng)方式[11]，對(duì)輸入數(shù)據(jù)隨機(jī)裁剪，然后進(jìn)行拼接。Backbone是Yolov5提取特征的網(wǎng)絡(luò)部分，特征提取能力直接影響整個(gè)網(wǎng)絡(luò)性能。Yolov5的Backbone相比于之前Yolov4[12]提出了新的Focus結(jié)構(gòu)。Focus結(jié)構(gòu)是將圖片進(jìn)行切片操作，將W(寬)、H(高)信息轉(zhuǎn)移到了通道空間中，使得在沒有丟失任何信息的情況下，進(jìn)行了2倍下采樣操作，具體操作如圖2所示。

圖2 Focus結(jié)構(gòu)圖

Neck是采用了FPN+PAN結(jié)構(gòu)，F(xiàn)PN[13]是自頂向下，將強(qiáng)語義特征傳遞下來；PAN[14]則是將淺層的定位信息傳遞給深層，增強(qiáng)多尺度定位能力。

Prediction是網(wǎng)絡(luò)的輸出端，Bounding Box損失函數(shù)采用的是DIOU_Loss[15]，在原來IOU_Loss的基礎(chǔ)上增加了中心點(diǎn)距離作為懲罰項(xiàng)，DIOU_Loss如式(1)所示。

(1)

式中：ρ()——兩個(gè)中心點(diǎn)的歐幾里得距離；

Bpre——預(yù)測框中心點(diǎn)坐標(biāo)；

Bgt——真實(shí)框中心點(diǎn)坐標(biāo)；

C——預(yù)測框和真實(shí)框最小外接矩形的對(duì)角線長度；

IOU——預(yù)測框與真實(shí)框的交集和并集的比值。

2 基于改進(jìn)的Yolov5網(wǎng)絡(luò)模型

改進(jìn)后的Yolov5網(wǎng)絡(luò)模型如圖3所示。

圖3 改進(jìn)后的Yolov5模型流程圖

2.1 錨框重設(shè)

Yolov5采用的初始錨框是根據(jù)COCO數(shù)據(jù)集中物體真實(shí)框大小進(jìn)行聚類生成。本試驗(yàn)的數(shù)據(jù)集小目標(biāo)尺寸占據(jù)大多數(shù)。因此，初始的錨框大小不適合本數(shù)據(jù)集。為了提高對(duì)象框和錨框的匹配概率，本文采用K-means聚類算法[16]對(duì)數(shù)據(jù)集對(duì)象框大小進(jìn)行聚類。對(duì)數(shù)據(jù)集進(jìn)行聚類之后，可以為Yolov5的小、中、大三個(gè)尺度中分別都提供3個(gè)預(yù)設(shè)錨框，共9個(gè)預(yù)設(shè)錨框。具體生成錨框大小如表1所示。

表1 植物病害數(shù)據(jù)集錨框大小對(duì)比Tab. 1 Comparison of anchor frame size of plant disease data set

K-means聚類算法主要分為3個(gè)步驟：首先，隨機(jī)設(shè)置K個(gè)特征空間內(nèi)的點(diǎn)作為初始聚類中心，本文設(shè)置K為9；其次，計(jì)算每個(gè)點(diǎn)到聚類中心點(diǎn)的距離，把每個(gè)點(diǎn)都聚類到離該點(diǎn)距離最近的聚類中心點(diǎn)；最后計(jì)算每個(gè)聚類中的所有點(diǎn)的平均值，并且將該平均值作為新的聚類中心點(diǎn)。然后不斷循環(huán)第二步和第三步，直到聚類中心點(diǎn)不在移動(dòng)為止。

2.2 Yolov5主干網(wǎng)結(jié)構(gòu)改進(jìn)

本文采用了復(fù)合主干網(wǎng)[17]的方法將Yolov5的主干網(wǎng)進(jìn)行復(fù)合，增強(qiáng)主干網(wǎng)的特征提取能力，提升網(wǎng)絡(luò)識(shí)別植物葉片病害的精度。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)一般只有一個(gè)。然而復(fù)合主干網(wǎng)是將一個(gè)和原主干網(wǎng)相同的主干網(wǎng)進(jìn)行連接，增加的主干網(wǎng)稱為輔助主干網(wǎng)。原主干網(wǎng)設(shè)為B1，輔助主干網(wǎng)設(shè)為B2，主干網(wǎng)分為L1、L2、L3、…、Ln個(gè)模塊。傳統(tǒng)的主干網(wǎng)是將Ln-1層的特征圖通過非線性變換H()輸入到第Ln層，如式(2)所示。

FLn=HLn(FLn-1)

(2)

式中：FLn——第Ln層特征圖，n≥1。

與傳統(tǒng)主干網(wǎng)不同，復(fù)合主干網(wǎng)是以輔助主干網(wǎng)B2每個(gè)模塊的輸出作為原主干網(wǎng)B1中同級(jí)模塊的輸入。通過不斷迭代將每個(gè)輔助主干網(wǎng)模塊與原主干網(wǎng)進(jìn)行連接，增強(qiáng)主干網(wǎng)特征提取能力。此操作可由式(3)表示。

FLn=HLn(FLn-1+G(FLn-1))

(3)

式中：G()——一種復(fù)合連接模塊，由一個(gè)1×1的卷積層和上采樣操作構(gòu)成，其中卷積層的目的是用來減少通道數(shù)。

本文采用復(fù)合主干網(wǎng)來增強(qiáng)Yolov5網(wǎng)絡(luò)模型，提高模型對(duì)植物病害特征提取能力，修改后的主干網(wǎng)，如圖4所示。

圖4 Yolov5復(fù)合主干網(wǎng)

2.3 Yolov5損失函數(shù)改進(jìn)

目前Yolov5計(jì)算類概率和目標(biāo)得分的損失函數(shù)采用的是平衡交叉熵?fù)p失函數(shù)，同時(shí)可以調(diào)用Focal Loss損失函數(shù)[18]來計(jì)算損失，并且通過設(shè)置gamma值的大小，對(duì)損失函數(shù)進(jìn)行調(diào)整。平衡交叉熵?fù)p失函數(shù)改善了樣本不平衡問題，盡管平衡交叉熵?fù)p失改善了正、負(fù)樣本間的不平衡，但由于其缺乏對(duì)難易樣本的區(qū)分，因此沒有辦法控制難易樣本之間的不均衡，平衡交叉熵?fù)p失函數(shù)如式(4)所示。

BCE(Pt)=-αtlog(Pt)

(4)

然而，F(xiàn)ocal Loss損失函數(shù)可以調(diào)節(jié)正、負(fù)樣本與難、易樣本。為了改善正負(fù)樣本的不均衡，引入了αt權(quán)重，提升精度；引入(1-Pt)γ用于調(diào)節(jié)難易樣本的權(quán)重，從而降低了一個(gè)框被錯(cuò)誤分類所帶來的影響。Focal Loss損失函數(shù)公式如式(5)所示。

FL(Pt)=-αt(1-Pt)γlog(Pt)

(5)

本文針對(duì)蘋果、番茄葉片病害斑點(diǎn)分布密集的特點(diǎn)，引入VarifocalNet[19]中的Varifocal Loss代替原本的Focal Loss來訓(xùn)練具有密集葉片病害區(qū)域的病害數(shù)據(jù)集。Varifocal Loss損失函數(shù)公式如式(6)所示。

(6)

這里的p表示預(yù)測得分，q是目標(biāo)IOU分?jǐn)?shù)。對(duì)于訓(xùn)練過程中的正樣本，將q設(shè)為bbox和gt box之間的IOU值。然而，負(fù)樣本的q則設(shè)為0，通過對(duì)縮放因子γ的調(diào)整，來減少負(fù)樣本的影響。

3 試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)環(huán)境

試驗(yàn)使用一臺(tái)安裝了Intel i7-9700k CPU@3.60 GHz，顯存為11 GB的NVIDIA RTX2080Ti顯卡，64 GB內(nèi)存的Win10系統(tǒng)的電腦。軟件環(huán)境包括Pytorch1.7.0、CUDA11.0、torchvision0.8.1。

網(wǎng)絡(luò)訓(xùn)練過程中，網(wǎng)絡(luò)模型的學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減設(shè)為0.000 5，以16張圖片為一個(gè)批次進(jìn)行300輪訓(xùn)練，采用動(dòng)量為0.937的SGD優(yōu)化器對(duì)參數(shù)進(jìn)行優(yōu)化，F(xiàn)ocal Loss的參數(shù)γ設(shè)為1.5，熱身次數(shù)(warmup)設(shè)置為3，預(yù)熱初始偏差為0.1。

3.2 數(shù)據(jù)集制作

為了能更早地檢測植物病害，及時(shí)減少植物病害帶來的經(jīng)濟(jì)損失。本試驗(yàn)的數(shù)據(jù)集是從2018 AI Challenger比賽中的農(nóng)作物病害檢測數(shù)據(jù)集中用python程序提取總共7種常見病害的早期感染圖像，共計(jì)1 395張圖像。其中包含蘋果三種常見病害，分別是黑星病(apple scab)、灰斑病(apple frogeve spot)、雪松銹病(cedar apple rust)；番茄四種常見病害，分別是早疫病(tomato early blight fungus)、晚疫病(tomato late blight water mold)、葉霉病(tomato leaf mold fungus)、斑枯病(tomato septoria leaf spot fungus)，如圖5所示。本試驗(yàn)使用Labelimg工具對(duì)數(shù)據(jù)圖像進(jìn)行標(biāo)注，標(biāo)記葉片病害感染區(qū)域和類別信息，具體標(biāo)注過程如圖6所示。然后通過翻轉(zhuǎn)、鏡像、亮度調(diào)整、高斯濾波、旋轉(zhuǎn)、縮放、平移等數(shù)據(jù)增強(qiáng)的方式，解決數(shù)據(jù)集不足的問題，增強(qiáng)訓(xùn)練效果。最終增強(qiáng)后的數(shù)據(jù)集共有7 326張圖像，再按照6∶2∶2的比例劃分為訓(xùn)練集、驗(yàn)證集、測試集。

(a) 蘋果灰斑病 (b) 蘋果黑星病 (c) 蘋果雪松銹病

圖6 植物葉片病害標(biāo)簽

3.3 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)目標(biāo)檢測算法的性能，本試驗(yàn)采用了P、R、AP、mAP指標(biāo)來進(jìn)行綜合評(píng)估。精確率P反應(yīng)預(yù)測為正的樣本中占有真正的正樣本比例，可以間接評(píng)價(jià)模型誤檢率，如式(7)所示。召回率R反應(yīng)檢測出來的正樣本占總的真樣本的比例，可以間接評(píng)價(jià)模型漏檢率，如式(8)所示。AP表示某一個(gè)類別的平均精確率，如式(9)所示。mAP表示所有類別的平均準(zhǔn)確率，如式(10)所示。

(7)

(8)

(9)

(10)

式中：TP——模型預(yù)測為正的正樣本；

FP——模型預(yù)測為負(fù)的負(fù)樣本；

FN——模型預(yù)測為正的負(fù)樣本。

3.4 試驗(yàn)結(jié)果分析

為了驗(yàn)證本文模型對(duì)蘋果、番茄病害的有效性，將模型在提供的數(shù)據(jù)集上進(jìn)行訓(xùn)練。改進(jìn)Yolov5網(wǎng)絡(luò)和對(duì)照網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖7所示，最終訓(xùn)練好的改進(jìn)模型各病害識(shí)別精度如表2所示。

圖7 改進(jìn)網(wǎng)絡(luò)訓(xùn)練過程對(duì)比

表2 不同病害的識(shí)別精度Tab. 2 Identification accuracy of different diseases

本文提出的改進(jìn)Yolov5算法在主干網(wǎng)上采取復(fù)合主干網(wǎng)，增加了輔助主干網(wǎng)，將每個(gè)模塊的輸出作為主主干網(wǎng)同級(jí)模塊的輸入。復(fù)合主干網(wǎng)增強(qiáng)對(duì)病害特征的提取能力，與原網(wǎng)絡(luò)對(duì)比實(shí)現(xiàn)精度提升，其對(duì)比結(jié)果如表3所示。

表3 引入復(fù)合主干網(wǎng)前后效果對(duì)比Tab. 3 Comparison of effects before and after the introduction of composite backbone network

由表3可得，加入復(fù)合主干網(wǎng)之后模型精確率比原來提高了0.5%，召回率從90.3%提升至91.0%，提高了0.7%，mAP@0.5提高了0.6%，mAP@0.5:0.95提高了3.6%。復(fù)合主干網(wǎng)有效的增強(qiáng)對(duì)葉片病害特征的提取能力，提高網(wǎng)絡(luò)模型精度。這里mAP@0.5表示IOU的閥值取0.5，mAP@0.5:0.95表示IOU閥值從0.5到0.95每隔0.05取一次，計(jì)算不同閾值平均mAP。

Yolov5在置信度損失、分類損失采用的是Focal Loss，解決了樣本不平衡問題。通過增加一個(gè)調(diào)制因子，減少易分類樣本的影響，更加注重困難、分類錯(cuò)的樣本。本文對(duì)置信度損失、分類損失進(jìn)行改進(jìn)，采用的是變焦損失函數(shù)(Varifocal loss)，對(duì)正負(fù)樣本的處理采用不對(duì)等的方式，使得訓(xùn)練過程中聚焦在高質(zhì)量的樣本。為了驗(yàn)證更換為變焦損失函數(shù)(Varifocal loss)的有效性，測試不同Loss函數(shù)的各項(xiàng)性能，如表4所示。

表4 損失函數(shù)效果對(duì)比Tab. 4 Loss function effect comparison

由表4可得，在復(fù)合主干網(wǎng)的Yolov5網(wǎng)絡(luò)中引入變焦損失函數(shù)(Varifocal loss)可以使得網(wǎng)絡(luò)識(shí)別精度得到較大的提升。復(fù)合主干網(wǎng)Yolov5的P從原來90.8%提升至94.0%，提高了3.2%；R從原來的91.0%提升至93.1%，提高了2.1%；mAP@0.5從原來的94.6%提升至95.7%，提高了1.1%；mAP@0.5:0.95從原來的67.7%提升至70.6%，提高了2.9%。結(jié)果顯示，引入復(fù)合主干網(wǎng)對(duì)原模型性能具有一定的提升效果。通過添加復(fù)合主干網(wǎng)可以提升模型對(duì)病害檢測效果。具體如圖8所示，其中a和b分別表示蘋果灰斑病、蘋果黑星病。

為驗(yàn)證本文改進(jìn)Yolov5算法性能，選擇原始SSD算法[20]、Retinanet算法[21]、EfficientDet算法[22]、Yolov3算法[23]和本文的改進(jìn)Yolov5算法在蘋果、番茄葉片病害數(shù)據(jù)集上進(jìn)行6組測試，如表5所示。

由表5可得，本文提出的改進(jìn)Yolov5檢測精度得到了一定程度的提高，說明本文改進(jìn)方法的有效性。與原始的Yolov5算法相比，雖然檢測單張圖片的時(shí)間僅僅只增加了0.012 s，與其他網(wǎng)絡(luò)檢測速度相比依然有一定的優(yōu)勢，但是本文提出的改進(jìn)方法mAP得到了1.7%的提升。相比其他網(wǎng)絡(luò)，改進(jìn)Yolov5具有很大的優(yōu)勢。各算法檢測對(duì)比如圖9所示。

表5 各算法的mAP比較Tab. 5 mAP comparison of each algorithm

4 結(jié)論

本文提出一種基于改進(jìn)Yolov5的植物病害檢測算法，對(duì)蘋果、番茄共7種常見病害區(qū)域進(jìn)行檢測。首先是采用復(fù)合主干網(wǎng)來增強(qiáng)網(wǎng)絡(luò)對(duì)病害特征提取能力，然后在使用Varifocal Loss作為置信度損失函數(shù)。結(jié)果表明，本文方法能很好地檢測蘋果、番茄的病害區(qū)域，并且取得較高的檢測性能。

1) 本文對(duì)Yolov5的主干網(wǎng)進(jìn)行改進(jìn)，增加與原主干網(wǎng)相同的輔助主干網(wǎng)，將輔助主干網(wǎng)各個(gè)模塊的輸出作為原主干網(wǎng)同級(jí)模塊的輸入，形成復(fù)合主干網(wǎng)，增強(qiáng)主干網(wǎng)對(duì)植物病害特征的提取能力。相比原來的網(wǎng)絡(luò)結(jié)構(gòu)，mAP提升了0.6%。

2) 本文在置信度損失、分類損失上將原來的Focal Loss替換為Varifocal Loss，對(duì)負(fù)樣本進(jìn)行衰減，對(duì)正樣本的進(jìn)行加權(quán)，使訓(xùn)練聚焦高質(zhì)量的樣本。結(jié)果表明，在復(fù)合主干網(wǎng)的Yolov5上，mAP進(jìn)一步提高1.1%。

3) 本文提出的改進(jìn)模型最終的檢測結(jié)果mAP為95.7%，在原始模型的基礎(chǔ)上提升了1.7%。在接下來的研究中，考慮葉片病害真實(shí)環(huán)境，對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，減小網(wǎng)絡(luò)模型的計(jì)算量，采用更加高效的網(wǎng)絡(luò)結(jié)構(gòu)，在輕量化的同時(shí)保證較高的準(zhǔn)確率，利于部署移動(dòng)設(shè)備。