融合多尺度特征的遮擋番茄病害圖像識(shí)別研究

摘要：針對(duì)復(fù)雜環(huán)境下因葉片重疊遮擋以及目標(biāo)較小等原因而導(dǎo)致番茄病害識(shí)別準(zhǔn)確率較低的問(wèn)題，提出一種多尺度級(jí)聯(lián)模型（IMS-Cascade）。該模型以級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)（Cascade R-CNN）為基礎(chǔ)，在主干網(wǎng)絡(luò)中引入融合上下文信息的可切換空洞卷積，使用復(fù)雜的多尺度卷積核提取目標(biāo)特征，解決同種病害因葉片遮擋而形狀差異較大的問(wèn)題，并在特征融合網(wǎng)絡(luò)中添加反饋連接模塊，使模型可以進(jìn)行多次的特征提取，提高淺層信息的利用率。最后在損失函數(shù)上增大準(zhǔn)確樣本的梯度，降低異常樣本對(duì)模型的影響。將該模型用于Plant Village公開(kāi)發(fā)表的部分番茄葉病害數(shù)據(jù)集上，mAP達(dá)到89.1%，平均準(zhǔn)確率達(dá)到99.36%，分別比原始Cascade R-CNN模型提高2.5%和1.84%，具有更高檢測(cè)精度，有利于復(fù)雜環(huán)境下的番茄病害檢測(cè)。

關(guān)鍵詞：番茄病害檢測(cè)；反饋連接；特征金字塔網(wǎng)絡(luò)；空洞卷積；多尺度

中圖分類號(hào)：S436.412; TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：20955553 （2024） 070194 07

Research on image recognition of shaded tomato diseases based on multi-scale feature fusion

Huang Xiaoyu1， Zhang Cong2， Chen Xiaoling1

（1. School of Mathematics and Computer Science， Wuhan Polytechnic University， Wuhan， 430023， China；

2. School of Electrical and Electronic Engineering， Wuhan Polytechnic University， Wuhan， 430023， China）

Abstract：

Aiming at the problems of low accuracy of tomato disease identification due to overlapping leaves and small targets in complex environments， a multi-scale cascade model （IMS-Cascade） is proposed. The model is based on cascade neural network （Cascade R-CNN）， the switchable Atrous convolution of fused context information is introduced into the backbone network， and complex multi-scale convolution kernels are used to extract target features to solve the problem that the shape of the same disease is greatly different due to leaf occlusion， and the feedback connection module is added to the feature pyramid networks， so that the model can extract features for many times and improve the utilization of shallow information. Finally， the gradient of accurate samples is increased in the loss function to reduce the influence of abnormal samples on the model. When the model is applied to a portion of the tomato leaf disease dataset published by Plant Village， the mean average precision （mAP） reaches 89.1% and the average precision reaches 99.36%. These results represent improvements of 2.5% and 1.84%， respectively， over the original Cascade R-CNN model. This indicates higher detection accuracy， which is beneficial for tomato disease detection in complex environments.

Keywords：

tomato disease detection; feedback connection; feature pyramid networks; dilated convolution; multi-scale

0 引言

我國(guó)是世界最大的番茄生產(chǎn)和消費(fèi)國(guó)家，但是受各種環(huán)境因素的影響，番茄病害頻頻發(fā)生，成為威脅番茄產(chǎn)量的主要因素。由于病害的種類繁多，人工識(shí)別耗時(shí)又耗力，因此能夠快速準(zhǔn)確地檢測(cè)番茄病害變得至關(guān)重要。早期的研究方法主要圍繞傳統(tǒng)的機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)，Gulhane等［1］提取了病斑的顏色和形狀特征，將原始特征圖與前饋人工神經(jīng)網(wǎng)絡(luò)相結(jié)合來(lái)識(shí)別棉花葉片病害。黎振等［2］將K-means分割與遷移學(xué)習(xí)相結(jié)合，對(duì)有背景干擾的番茄病害葉片進(jìn)行識(shí)別，通過(guò)降噪處理和K-means分割簡(jiǎn)化突出圖像特征。而近年來(lái)，目標(biāo)檢測(cè)技術(shù)取得了顯著的突破，正逐步應(yīng)用于農(nóng)作物病害。Zhang等［3］對(duì)目標(biāo)檢測(cè)模型中主干網(wǎng)絡(luò)進(jìn)行了改進(jìn)，并使用混合增強(qiáng)的數(shù)據(jù)集提高模型的魯棒性。郭小清等［4］針對(duì)不同時(shí)期同種番茄病害的不同癥狀，以及病害相似的問(wèn)題，使用不同尺度的卷積核建立基于AlexNet的多感受野識(shí)別模型，識(shí)別準(zhǔn)確率達(dá)到了88.2%。Zhang等［5］將Faster R-CNN主干網(wǎng)絡(luò)替換為深度殘差網(wǎng)絡(luò)，并利用K-means算法對(duì)anchor進(jìn)行改進(jìn)，識(shí)別準(zhǔn)確率提高了2.71%。張寧等［6］在InceptionV3網(wǎng)絡(luò)中引入注意力機(jī)制和多尺度卷積，提高番茄病害的信息表達(dá)，抑制了無(wú)效信息的干擾。

但目前已有的目標(biāo)檢測(cè)模型，在面臨復(fù)雜環(huán)境下番茄葉片遮擋重疊而導(dǎo)致同類病害形狀差異較大等問(wèn)題時(shí)，容易導(dǎo)致檢測(cè)精度下降。同時(shí)在特征提取的過(guò)程中容易忽略小目標(biāo)特征的重要性以及異常樣本對(duì)模型的影響。針對(duì)以上情況，本文提出一種IMS-Cascade模型，引入反饋機(jī)制和可切換空洞卷積（Switchable Atrous Convolution，SAC），并在損失函數(shù)上進(jìn)行改進(jìn)，最后使用該模型對(duì)番茄瘡痂病、晚疫病、葉霉病進(jìn)行識(shí)別，驗(yàn)證模型的有效性。

1 級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)

一般情況下提高目標(biāo)檢測(cè)精確度最常見(jiàn)的方式便是增大界定正負(fù)樣本的IOU閾值，但閾值過(guò)高可能會(huì)出現(xiàn)過(guò)擬合的情況，閾值過(guò)小會(huì)增大誤檢的概率。Cascade R-CNN［7］作為一個(gè)二階段目標(biāo)檢測(cè)模型，由Faster R-CNN改進(jìn)而來(lái)［8］，其核心是使用不同的IOU閾值來(lái)訓(xùn)練多個(gè)級(jí)聯(lián)的檢測(cè)器，每個(gè)階段的檢測(cè)器重點(diǎn)檢測(cè)IOU在不同范圍內(nèi)的候選框，可以使前一個(gè)階段訓(xùn)練過(guò)的候選框樣本，能更好地適應(yīng)后一個(gè)有更高閾值要求的檢測(cè)器，最終輸出更高精度的候選框，在提高精度的同時(shí)也降低過(guò)擬合出現(xiàn)的情況［9］。

因其特征金字塔網(wǎng)絡(luò)［10］（Feature Pyramid Network，F(xiàn)PN）的構(gòu)造，Cascade R-CNN在特征融合的過(guò)程中容易丟失淺層的小目標(biāo)特征，并且所使用的損失函數(shù)Smooth L1 Loss為了防止梯度爆炸而對(duì)異常值不敏感。而在遮擋情況下番茄葉病中會(huì)有較多小目標(biāo)，所以該網(wǎng)絡(luò)仍存在著檢測(cè)小目標(biāo)時(shí)錯(cuò)檢和漏檢的問(wèn)題。

2 多尺度級(jí)聯(lián)模型

本文提出的IMS-Cascade模型結(jié)構(gòu)如圖1所示，輸入圖片首先通過(guò)特征提取網(wǎng)絡(luò)中的SAC提取圖像特征圖，經(jīng)過(guò)改進(jìn)的級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)后，將特征圖送入到區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）中區(qū)分前、后景，篩選出建議區(qū)域，并映射到原圖上生成較為準(zhǔn)確的RoI（Region of Interesting），送入到RoI Align層中池化［11］，將其轉(zhuǎn)變?yōu)楣潭ňS度的特征后，通過(guò)全連接層進(jìn)行訓(xùn)練和回歸，利用探測(cè)分類概率（Softmax Loss）和優(yōu)化后的位置損失函數(shù)進(jìn)行目標(biāo)物體的類別分類和回歸定位，并使用多個(gè)級(jí)聯(lián)檢測(cè)器進(jìn)行重采樣，提高分類和回歸的精確度。本文將分別介紹模型中的級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)、SAC與損失函數(shù)的優(yōu)化方法。

2.1 可切換的空洞卷積

在FPN中，為將深層與淺層特征融合，需要對(duì)深層特征進(jìn)行上采樣的操作，擴(kuò)大圖像尺寸，那么在圖像尺寸縮小又?jǐn)U大的過(guò)程中，必定會(huì)丟失部分信息，降低空間分辨率［12］?？斩淳矸e可以擴(kuò)大感受野，但其中部分是由0來(lái)填充的，而使用這部分的像素進(jìn)行卷積會(huì)造成稀疏采樣，損失信息的連續(xù)性，并且若使用相同空洞率的空洞卷積進(jìn)行連續(xù)堆疊時(shí)，會(huì)出現(xiàn)網(wǎng)格效應(yīng)的情況，若為了檢測(cè)大目標(biāo)而使用較大空洞率也不利于提取部分小目標(biāo)特征。

在番茄葉霉病數(shù)據(jù)集中，病區(qū)形狀面積差異較大，為了減少特征丟失，本文對(duì)主干網(wǎng)絡(luò)ResNet50中的3×3卷積層進(jìn)行了修改，對(duì)于相同的輸入特征使用多個(gè)不同大小的空洞率進(jìn)行卷積，能更有效地檢測(cè)出不同比例的同類目標(biāo)。同時(shí)在卷積層的最后還引入了一種注意力機(jī)制的切換函數(shù)對(duì)多個(gè)卷積結(jié)果進(jìn)行加權(quán)和，計(jì)算卷積結(jié)果。主干網(wǎng)絡(luò)中所替換的卷積層具體結(jié)構(gòu)如圖2所示，中間是SAC組件，使用了空洞率分別為1和3的卷積，空洞率為1的卷積相當(dāng)于原始的3×3卷積。卷積后通過(guò)切換函數(shù)自適應(yīng)的選擇哪個(gè)空洞率下的卷積結(jié)果，保留信息量更大的通道特征。為了使切換函數(shù)可以較為準(zhǔn)確地計(jì)算出各個(gè)卷積層結(jié)果所占的份額，本文還添加了用來(lái)捕捉全局信息的上下文模塊，通過(guò)全局平均池化對(duì)輸入特征進(jìn)行處理，得到特征圖的全局壓縮特征量后，再通過(guò)1×1卷積進(jìn)行融合，得到圖像級(jí)特征，在SAC組件的前后都添加一個(gè)全局上下文模塊，可以使切換函數(shù)和卷積層都能獲取到圖像級(jí)特征，做出更穩(wěn)定的選擇，提高檢測(cè)性能。

SAC的計(jì)算過(guò)程可以用式（1）來(lái)表示。

Conv（x，w，1）=

S（x）×Conv（x，w，1）+［1－S（x）］×Conv（x，w+Δw，r）

（1）

式中：

Conv（x，w，r）——卷積操作；

r——空洞卷積的空洞率；

x——輸入；

w——權(quán)重；

Δw——可學(xué)習(xí)的權(quán)重參數(shù)；

S（x）——切換函數(shù)。

其中S（x）由5×5的平均池化層和1×1卷積層組成，用來(lái)計(jì)算分別從空洞率為1和3的卷積結(jié)果中融合多少份額的特征。Cascade R-CNN模型使用的是ImageNet模型的預(yù)訓(xùn)練權(quán)重，空洞率為1的卷積使用該權(quán)重，空洞率為3的卷積使用預(yù)訓(xùn)練權(quán)重來(lái)初始化缺失的權(quán)重，將空洞率為1的卷積權(quán)重設(shè)置為w，空洞率為3的卷積權(quán)重設(shè)置為w+Δw，Δw初始化為0，通過(guò)后續(xù)訓(xùn)練進(jìn)行權(quán)重更新。

2.2 級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)

Cascade R-CNN相較Faster R-CNN模型，添加了FPN，將主干網(wǎng)絡(luò)中的深層強(qiáng)語(yǔ)義低分辨率特征與淺層淺語(yǔ)義高分辨率的特征進(jìn)行融合，彌補(bǔ)淺層特征語(yǔ)義抽象不足的問(wèn)題。由于病害初期病區(qū)面積較小，為了能夠充分的利用淺層特征信息，本文在FPN中添加了反饋機(jī)制［13］，將每一層融合后的特征圖通過(guò)連接模塊反饋到同層自底向上的主干網(wǎng)絡(luò)中，同時(shí)也融合到最終輸出的特征圖上，在提高訓(xùn)練速度的同時(shí)還可以提高目標(biāo)檢測(cè)的準(zhǔn)確率。改進(jìn)的FPN結(jié)構(gòu)如圖3所示。

輸入圖片首先通過(guò)主干網(wǎng)絡(luò)卷積得到C1～C6特征圖，C1提取效果較差且占用內(nèi)存過(guò)大，因此不參與后續(xù)的操作。C6通過(guò)上采樣的方式經(jīng)過(guò)1×1卷積進(jìn)行降維操作，得到處理后的特征圖M6，確保與下一層的淺層特征圖相同。再將M6與經(jīng)過(guò)1×1卷積后的C5拼接得到特征圖M5，重復(fù)執(zhí)行上述操作可得到M4、M3、M2，將融合后的M層特征圖經(jīng)過(guò)3×3卷積消除上采樣帶來(lái)的混疊效應(yīng)，得到與C層特征圖大小相同的P2～P6特征圖，最后把P層特征圖組成的特征金字塔使用反饋連接模塊R反饋到同層的主干網(wǎng)絡(luò)中，使主干網(wǎng)絡(luò)再次對(duì)融合后的特征圖進(jìn)行特征提取，以達(dá)到多次多尺度查看圖像的效果。最后將兩次特征提取的結(jié)果利用融合模塊連接后輸出到后續(xù)的RPN網(wǎng)絡(luò)中。

該過(guò)程可以用式（2）來(lái)描述。

fti=Fti（fti+1，xti），xti=Bti（xti－1，Rti（ft－1i））

（2）

式中：

i——階段數(shù)，i=［1，6］；

t——迭代次數(shù)，t=［1，T］；

T——迭代總次數(shù)；

fti——

第t次迭代第i層輸出的特征；

Bti——第t次迭代主干網(wǎng)絡(luò)的階段數(shù)；

Fti——第t次迭代特征融合的階段數(shù)；

Rti——

fti經(jīng)過(guò)特征變換后得到的特征；

xti——

第t次迭代主干網(wǎng)絡(luò)第i層的輸出特征圖；

x0——輸入圖像。

2.2.1 反饋連接模塊

為實(shí)現(xiàn)級(jí)聯(lián)操作，將輸入圖片和反饋特征圖進(jìn)行連接，還需要對(duì)主干網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行修改。本文使用空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）［14］作為反饋連接模塊R，以不同的比例捕捉不同尺度下圖像的上下文信息。ASPP主要采用不同空洞率的空洞卷積對(duì)反饋特征圖進(jìn)行卷積，獲取全局特征，擴(kuò)大感受野，并將卷積結(jié)果融合到一張圖像上，達(dá)到高效準(zhǔn)確捕捉多尺度信息的目的，在不影響特征圖識(shí)別精度的條件下將其轉(zhuǎn)換為主干網(wǎng)絡(luò)可以接收的特征。

反饋連接模塊R共有4個(gè)并行分支來(lái)接收輸入特征fti，前3個(gè)分支由一個(gè)卷積層和Relu層構(gòu)成，卷積核大小分別為［1，3，3］，空洞率為［1，3，6］，填充為［0，3，6］，確保每一個(gè)分支輸出的特征維度都是輸入特征fti的1/4，輸出通道數(shù)是輸入通道數(shù)的1/4。最后1個(gè)分支由1個(gè)全局平均池化層、一個(gè)1×1卷積層和一個(gè)Relu層構(gòu)成，首先通過(guò)全局平均池化層壓縮特征，再由1×1卷積層和Relu層將壓縮后的特征變換為原始特征通道大小的1/4。最后將經(jīng)過(guò)4個(gè)分支處理后的特征沿著通道維度連接，通過(guò)1×1卷積降低通道數(shù)，得到一個(gè)與輸入特征尺寸大小相同的特征，形成最終的輸出R（f）。

2.2.2 融合模塊

FPN輸出特征圖的尺寸是固定的，因此在FPN的最后，還需要添加融合模塊，將fti與t+1次迭代同層得出的ft+1i結(jié)合，作為t+1次迭代第i層的fi值。融合模塊首先通過(guò)一個(gè)1×1的卷積層和Sigmoid函數(shù)對(duì)輸出特征ft+1i進(jìn)行操作，生成一個(gè)數(shù)值位于0～1之間的注意力權(quán)重α，用于對(duì)fti和ft+1i進(jìn)行權(quán)重融合，選擇兩個(gè)輸出特征中的哪些部分將更新成為下一個(gè)階段的fi，且FPN最終的輸出結(jié)果也是通過(guò)融合模塊連接多次特征提取的輸出結(jié)果。

2.3 損失函數(shù)優(yōu)化

目標(biāo)檢測(cè)的損失函數(shù)是一個(gè)多任務(wù)的損失函數(shù)，分為目標(biāo)分類損失和目標(biāo)定位損失。

Lp，u，tu，v=Lcls（p，u）+λ［u≥1］Lloc（tu，v）

（3）

式中：

Lcls——目標(biāo)分類損失；

Lloc——目標(biāo)定位損失；

λ——調(diào)整兩個(gè)任務(wù)的權(quán)重參數(shù)；

p——預(yù)測(cè)值；

u——真實(shí)值；

tu——類別u的位置回歸結(jié)果；

v——位置回歸目標(biāo)。

因此平衡損失最常規(guī)的一個(gè)方法就是通過(guò)調(diào)整λ來(lái)調(diào)整兩個(gè)損失的權(quán)重。

Cascade R-CNN網(wǎng)絡(luò)中目標(biāo)分類的損失函數(shù)是Smooth L1 Loss，如式（4）所示。

SmoothL1（x）=

0.5x2if xlt;1

x-0.5otherwise

（4）

x=x′－xgt

式中：

x′——模型預(yù)測(cè)的物體坐標(biāo)；

xgt——物體的真實(shí)坐標(biāo)。

兩個(gè)坐標(biāo)都是四點(diǎn)向量，表示物體框4個(gè)角的坐標(biāo)位置。其核心思想是：當(dāng)預(yù)測(cè)框和真實(shí)框的差別較大，也就是x≥1時(shí)，為使梯度保持穩(wěn)定，便會(huì)以恒定的速率進(jìn)行梯度下降，降低梯度爆炸的可能性；當(dāng)預(yù)測(cè)框和真實(shí)框的差別較小，也就是xlt;1時(shí)，便會(huì)自適應(yīng)地進(jìn)行動(dòng)態(tài)調(diào)整。因此Smooth L1 Loss在訓(xùn)練時(shí)的梯度變化較小，對(duì)異常值不敏感，使得訓(xùn)練不容易跑飛。Smooth L1 Loss的梯度如式（5）所示。

SmoothL1x=

xif xlt;1

±1otherwise

（5）

但是在訓(xùn)練過(guò)程中發(fā)現(xiàn)，由于個(gè)別番茄葉霉病的病區(qū)與地面的背景顏色較為相似，部分測(cè)試集樣本會(huì)把靠近地面的區(qū)域誤判成葉霉病，這一部分異常值會(huì)被當(dāng)作困難樣本。在目標(biāo)定位任務(wù)中，如果簡(jiǎn)單樣本的權(quán)重過(guò)高，則會(huì)消除困難樣本產(chǎn)生的較大梯度值，使得訓(xùn)練模型由簡(jiǎn)單樣本主導(dǎo)，進(jìn)而導(dǎo)致訓(xùn)練任務(wù)難以收斂。困難樣本雖然有利于提高檢測(cè)的性能，但是權(quán)重過(guò)高就會(huì)產(chǎn)生很大的梯度來(lái)阻礙訓(xùn)練［15］。本文為了平衡不同任務(wù)之間的關(guān)系，降低異常值的影響力，因此對(duì)梯度公式進(jìn)行了修改，增大準(zhǔn)確樣本在訓(xùn)練過(guò)程中的重要程度，修改后的梯度如式（6）所示。

Llocx=

αln（bx+1）if xlt;1

γotherwise

（6）

式中：

α——增大準(zhǔn)確樣本的梯度；

b——偏置；

γ——調(diào)整目標(biāo)定位任務(wù)誤差的上界。

本文中α默認(rèn)為0.5，γ默認(rèn)為1.5，當(dāng)x=1時(shí)，αln（b+1）=γ。修改后的損失函數(shù)如式（7）所示。

Lloc（x）=

αb（bx+1）ln（bx+1）－αxif xlt;1

γx+Cotherwise

（7）

式中： C——常數(shù)。

3 試驗(yàn)與結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)

本文選取了多項(xiàng)評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)估，包含各類病害的識(shí)別準(zhǔn)確率、損失值、FPS（每秒傳輸幀數(shù)），并將平均精度均值（Mean Average Precision，mAP）作為評(píng)估模型性能的重要指標(biāo)［16］。平均精準(zhǔn)度（Average Precision，AP）是由召回率（Recall）為橫坐標(biāo)、精準(zhǔn)率（Precision）為縱坐標(biāo)所繪的某一個(gè)類別的P-R曲線下的面積而計(jì)算得成，mAP是所有類別AP的平均值，mAP越大則模型的檢測(cè)精度越高，精準(zhǔn)率和召回率的計(jì)算如式（8）、式（9）所示。

Precision=TPTP+FP

（8）

Recall=TPTP+FN

（9）

式中：

TP——被分對(duì)為正樣本；

TN——被分對(duì)為負(fù)樣本；

FP——被錯(cuò)分為正樣本；

FN——被錯(cuò)分為負(fù)樣本。

其中TP+FP=所有預(yù)測(cè)框的數(shù)量［17］。

3.2 試驗(yàn)數(shù)據(jù)

本文選用美國(guó)農(nóng)業(yè)組織Plant Village所公開(kāi)發(fā)布的番茄病害數(shù)據(jù)集，一共包含了38種類別標(biāo)簽的50 000多張圖片，部分樣本信息如圖4所示。本文從中選取了含有小目標(biāo)以及葉片卷曲而造成陰影遮擋的三類病害圖像：番茄瘡痂病、番茄晚疫病、番茄葉霉病，每類圖片各500張，再經(jīng)過(guò)特征增強(qiáng)及旋轉(zhuǎn)處理后擴(kuò)增到3 480張，圖像大小為256像素×256像素，并采用LabelImg軟件對(duì)每一張圖片進(jìn)行了手工語(yǔ)義增強(qiáng)［18］。選取3 000張圖片作為訓(xùn)練數(shù)據(jù)集，每類各1 000張，480張圖片作為測(cè)試數(shù)據(jù)集，每類各160張。

3.3 試驗(yàn)環(huán)境與試驗(yàn)設(shè)置

本文試驗(yàn)使用Pytorch1.7.0框架，Win10操作系統(tǒng)，Python3.7版本，處理器為4.2 GHz的Intel Core i7-6700K，GPU為NVIDIA GeForce RTX 1080。

試驗(yàn)過(guò)程中，主干網(wǎng)絡(luò)選用ResNet50，并且采用ImageNet模型的預(yù)訓(xùn)練權(quán)重。參數(shù)優(yōu)化器采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）［19］，動(dòng)量參數(shù)設(shè)置為0.9，分類損失函數(shù)采用交叉熵?fù)p失函數(shù)。batch size為2，為降低batch size過(guò)小而帶來(lái)的影響，本文使用分組歸一化（Group Normalization，GN）［20］，來(lái)加快模型收斂速度。初始學(xué)習(xí)率設(shè)置為0.002，在前500次迭代時(shí)學(xué)習(xí)率以1/500的增長(zhǎng)率線性增長(zhǎng)，迭代500次后學(xué)習(xí)率穩(wěn)定在初始設(shè)定值，并在迭代第111 000次和第120 000次后分別將學(xué)習(xí)率降低90%，共迭代198 000次。

3.4 試驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的IMS-Cascade模型對(duì)于復(fù)雜環(huán)境下的番茄病害的識(shí)別效果更好，故而選取了目標(biāo)檢測(cè)常用基礎(chǔ)模型Faster R-CNN、單階段檢測(cè)模型中綜合性能較好的RetinaNet［21］、原始模型Cascade R-CNN與IMS-Cascade模型進(jìn)行對(duì)比試驗(yàn)。并且采用消融試驗(yàn)，驗(yàn)證級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)和SAC對(duì)于番茄病害檢測(cè)的有效性。

3.4.1 消融試驗(yàn)

本文將原始Cascade R-CNN、采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)以及同時(shí)采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)和SAC的3種模型進(jìn)行對(duì)比試驗(yàn)，并確保試驗(yàn)環(huán)境和其余參數(shù)的一致，對(duì)比訓(xùn)練過(guò)程中的mAP值、損失值變化以及每一類病害的分類準(zhǔn)確率。

圖5為不同改進(jìn)的模型在特征融合階段上同層的特征可視化圖，從每類病害葉片中各挑選1張圖片，圖中每一列的第1張為原圖，第2張是同時(shí)采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)和SAC模型的特征可視化圖，可以看出該圖可以較為準(zhǔn)確地劃分出葉片和背景區(qū)域，并且能大致識(shí)別到病區(qū)。第3張是采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)模型的特征可視化圖，因重復(fù)的提取淺層特征信息故而不能很好地將葉片和背景區(qū)域區(qū)分開(kāi)。第4張是Cascade R-CNN模型的特征可視化圖，可以看出大部分的病區(qū)信息都未能提取。

圖6展示了3種模型的損失變化曲線，采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)的模型均在約迭代110 000次時(shí)損失值開(kāi)始收斂，最后穩(wěn)定在一個(gè)數(shù)值較小的區(qū)域，而原始模型的損失值雖然收斂較快，卻遠(yuǎn)遠(yuǎn)高于采用了級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)的模型。

表1列出測(cè)試集在不同改進(jìn)下各類病害的識(shí)別準(zhǔn)確率以及mAP值。由表1可得，同時(shí)采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)和SAC模型的mAP值最高，可以達(dá)到88.7%，較原始模型提高2.1%，較僅采用級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)的模型提高0.6%，各類病害的平均識(shí)別準(zhǔn)確率達(dá)到99.44%，均高于其他兩種模型。并且添加SAC的模型在番茄葉霉病類別上的識(shí)別準(zhǔn)確率漲幅最高，較原始模型提高2.06%，番茄瘡痂病提高1.89%，番茄晚疫病提高1.81%，說(shuō)明SAC可以有效地解決易發(fā)生在葉霉病類別上錯(cuò)檢的情況。

以上試驗(yàn)表明，對(duì)于含有小目標(biāo)的番茄葉片病害數(shù)據(jù)集，級(jí)聯(lián)特征金字塔網(wǎng)絡(luò)可以有效地提高對(duì)于淺層小目標(biāo)特征的利用率，SAC可以多尺度的提取特征，提高同類病害不同形狀的準(zhǔn)確率，提升模型的檢測(cè)性能。

3.4.2 不同模型之間的性能比較

本文改進(jìn)后的模型與Cascade R-CNN模型試驗(yàn)得到的每類病害的混淆矩陣［22］如圖7和圖8所示，可以看出，改進(jìn)后的模型比原始模型的性能更好，晚疫病和葉霉病的錯(cuò)檢率都有降低。

為驗(yàn)證Cascade R-CNN模型的檢測(cè)性能，本文在作對(duì)比試驗(yàn)前對(duì)Faster R-CNN模型也進(jìn)行了修改，引入了未改進(jìn)的FPN。不同模型的損失值變化如圖9所示，F(xiàn)aster R-CNN、RetinaNet、Cascade R-CNN模型的損失均在約50 000次迭代后開(kāi)始收斂，IMS-Cascade R-CNN模型的損失在約120 000次迭代后趨于平穩(wěn)，能夠收斂到一個(gè)較低的值。

不同模型的mAP值變化如圖10所示，IMS-Cascade R-CNN模型從訓(xùn)練開(kāi)始就能保持較高的mAP值，最后穩(wěn)定在89.1%，高于其他三種模型。Faster R-CNN和Cascade R-CNN模型略低于本文改進(jìn)后的模型，但最后的收斂效果與RetinaNet接近。

表2列出了測(cè)試集在不同模型下的平均準(zhǔn)確率以及mAP值，其中平均準(zhǔn)確率為每一類病害識(shí)別準(zhǔn)確率的均值。

從表2可以看出，Cascade R-CNN模型的mAP值和平均準(zhǔn)確率均略高于Faster R-CNN和RetinaNet模型，而使用本文提出的IMS-Cascade模型進(jìn)行識(shí)別平均準(zhǔn)確率可以達(dá)到99.36%，高于原始模型1.84%，mAP值可以達(dá)到89.1%，高于原始模型2.5%，因此對(duì)于番茄病害識(shí)別的檢測(cè)性能更好。

4 結(jié)論

1）" 本文提出一種IMS-Cascade模型用于復(fù)雜環(huán)境下的番茄葉病害檢測(cè)，該模型針對(duì)檢測(cè)過(guò)程中番茄葉片卷曲遮擋、錯(cuò)檢漏檢等問(wèn)題，能夠多尺度地捕捉番茄病害的小目標(biāo)特征，為復(fù)雜環(huán)境下的番茄病害檢測(cè)提供一種新的思路。

2） 針對(duì)遮擋環(huán)境下病害目標(biāo)較小的問(wèn)題，本文在FPN中添加反饋機(jī)制，充分利用淺層信息，mAP值較Cascade模型提高1.5%，并針對(duì)FPN易丟失目標(biāo)信息的問(wèn)題將主干網(wǎng)絡(luò)中的普通卷積替換為SAC，mAP值提高1.8%，又在損失函數(shù)中提高準(zhǔn)確樣本的梯度，降低錯(cuò)檢對(duì)模型的影響。

3）" 本文提出的IMS-Cascade模型mAP值達(dá)到89.1%，平均準(zhǔn)確率達(dá)到99.36%，各項(xiàng)指標(biāo)均優(yōu)于對(duì)比模型Faster R-CNN、Cascade R-CNN、RetinaNet。但本文在試驗(yàn)中所使用的數(shù)據(jù)集種類不多，在接下來(lái)的研究中，如何在有更多病害種類的情況下仍保持高準(zhǔn)確率是需要挑戰(zhàn)的難點(diǎn)。

參 考 文 獻(xiàn)

［1］Gulhane V A， Gurjar A A. Detection of diseases on cotton leaves and its possible diagnosis ［J］. International Journal of Image Processing， 2011， 5（5）： 590-598.

［2］黎振， 陸玲， 熊方康. 基于k-means分割和遷移學(xué)習(xí)的番茄病理識(shí)別［J］. 江蘇農(nóng)業(yè)科學(xué)， 2021， 49（12）： 156-161.

Li Zhen， Lu Ling， Xiong Fangkang. Tomato pathological recognition based on K-means segmentation and transfer learning ［J］. Jiangsu Agricultural Sciences， 2021， 49（12）： 156-161.

［3］Zhang T， Zhu X K， et al. Deep learning based classification for tomato diseases recognition ［J］. IOP Conference Series： Earth and Environmental Science， 2010， 474（3）： 032014.

［4］郭小清， 范濤杰， 舒欣. 基于改進(jìn)Multi-Scale AlexNet的番茄葉部病害圖像識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（13）： 162-169.

Guo Xiaoqing， Fan Taojie，Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（13）： 162-169.

［5］Zhang Y， Song C， Zhang D. Deep learning-based object detection improvement for tomato disease ［J］. IEEE Access， 2020， 8： 56607-56614.

［6］張寧， 吳華瑞， 韓笑， 等. 基于多尺度和注意力機(jī)制的番茄病害識(shí)別方法［J］. 浙江農(nóng)業(yè)學(xué)報(bào)， 2021， 33（7）： 1329-1338.

Zhang Ning， Wu Huarui， Han Xiao， et al. Tomato disease recognition scheme based on multi-scale and attention mechanism ［J］. Acta Agriculturae Zhejiangensis， 2021， 33（7）： 1329-1338.

［7］Cai Z， Vasconcelos N. Cascade R-CNN： Delving into high quality object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2018.

［8］Ren S， He K， Girshick R， et al. Faster R-CNN towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2016， 39（6）： 1137-1149.

［9］王振， 張善文， 趙保平. 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的作物病害葉片分割［J］. 計(jì)算機(jī)工程與應(yīng)用， 2020， 56（15）： 242-250.

Wang Zhen， Zhang Shanwen， Zhao Baoping. Crop diseases leaf segmentation method based on cascade convolutional neural network ［J］. Computer Engineering and Applications， 2020， 56（15）： 242-250.

［10］Lin T Y， Dollár P， Girshick R， et al. Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017.

［11］岳有軍， 田博凱， 王紅君， 等. 基于改進(jìn)Mask RCNN的復(fù)雜環(huán)境下蘋(píng)果檢測(cè)研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2019，40（10）： 128-134.

Yue Youjun， Tian Bokai， Wang Hongjun， et al. Research on apple detection in complex environment based on improved Mask RCNN ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（10）： 128-134.

［12］方晨晨， 石繁槐. 基于改進(jìn)深度殘差網(wǎng)絡(luò)的番茄病害圖像識(shí)別［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（S1）： 203-208.

Fang Chenchen， Shi Fanhuai. Image recognition of tomato diseases based on improved deep residual network ［J］. Journal of Computer Applications， 2020， 40（S1）： 203-208.

［13］Qiao S， Chen L C， Yuille A. DetectoRS： Detecting objects with recursive feature pyramid and switchable atrous convolution ［C］. 2020 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2021.

［14］Chen L C， Papandreou G， Schroff F， et al. Rethinking atrous convolution for semantic image segmentation ［J］. Computer Vision and Pattern Recognition， ArXiv： 1706.05587， 2017.

［15］Pang J， Chen K， Shi J， et al. Libra R-CNN： Towards balanced learning for object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.

［16］何穎， 陳丁號(hào)， 彭琳. 基于改進(jìn)YOLOv5模型的經(jīng)濟(jì)林木蟲(chóng)害目標(biāo)檢測(cè)算法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（4）： 106-115.

He Ying， Chen Dinghao， Peng Lin. Analysis of research process on mechanized ginger planting technology based on the patent analysis method ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（4）： 106-115.

［17］Hassanien A E， Gaber T， Mokhtar U， et al. An improved moth flame optimization algorithm based on rough sets for tomato diseases detection ［J］. Computers and Electronics in Agriculture， 2017， 136： 86-96.

［18］蘇斐， 張澤旭， 趙妍平， 等. 基于輕量化YOLO-v3的綠熟期番茄檢測(cè)方法［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（3）： 132-137.

Su Fei， Zhang Zexu， Zhao Yanping， et al. Detection of mature green tomato based on lightweight YOLO-v3 ［J］.Journal of Chinese Agricultural Mechanization， 2022， 43（3）： 132-137.

［19］Ghadimi S， Lan G， Zhang H. Mini-batch stochastic approximation methods for nonconvex stochastic composite optimization ［J］. Mathematical Programming， 2014.

［20］Hu J， Shen L， Sun G. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 42（8）： 2011-2023.

［21］LIN T Y， GOYAL P， Girshick R， et al. Focal loss for dense object detection ［J］. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2020， 42（2）： 318-327.

［22］韓旭， 趙春江， 吳華瑞， 等. 基于注意力機(jī)制及多尺度特征融合的番茄葉片缺素圖像分類方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（17）： 177-188.

Han Xu， Zhao Chunjiang， Wu Huarui， et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（17）： 177-188.