基于RSTCNN的小麥葉片病害嚴(yán)重度估計(jì)

鮑文霞 林 澤 胡根生 梁 棟 黃林生 楊先軍

(1.安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國家地方聯(lián)合工程研究中心， 合肥 230601;2.中國科學(xué)院合肥物質(zhì)科學(xué)研究院， 合肥 230031)

0 引言

準(zhǔn)確地估計(jì)小麥病害的嚴(yán)重度，有助于麥田病情的精準(zhǔn)防控，同時(shí)針對(duì)性施用農(nóng)藥，減少種植成本和農(nóng)業(yè)生態(tài)環(huán)境污染，對(duì)于病害的科學(xué)防治尤為關(guān)鍵[1]。

目前小麥病害嚴(yán)重度估計(jì)主要依靠有經(jīng)驗(yàn)的工作人員到現(xiàn)場進(jìn)行目視觀察，人工方法耗時(shí)且費(fèi)力，而且依賴于經(jīng)驗(yàn)。利用可見光、多光譜或者紅外傳感器可以獲得作物病害信息，結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)高效監(jiān)測作物病害的嚴(yán)重程度，從而實(shí)時(shí)科學(xué)地精細(xì)化管控農(nóng)業(yè)生產(chǎn)，提升作業(yè)效率，對(duì)于實(shí)施“智慧農(nóng)業(yè)”有著積極意義。染病組織的光譜反射率有效地反映作物病害發(fā)生過程中的內(nèi)部結(jié)構(gòu)和形態(tài)等差異，因而利用光譜成像技術(shù)可以進(jìn)行小麥病害的嚴(yán)重度估計(jì)[2-3]，但該方法的計(jì)算成本較大，而且野外環(huán)境對(duì)高光譜圖像的采集造成一定影響。與傳統(tǒng)的人工檢測和高光譜成像相比，紅外和可見光圖像技術(shù)在小麥病害嚴(yán)重度估計(jì)工作中應(yīng)用更廣泛[4-5]。通過采集的紅外熱成像探明病害過程中的溫度變化規(guī)律，以及對(duì)RGB圖像的分析和處理，可實(shí)現(xiàn)對(duì)小麥葉銹病的快速檢測和分級(jí)。目前基于經(jīng)典機(jī)器視覺的病害嚴(yán)重度估計(jì)方式特征提取難，由于小麥病害葉片圖像易受復(fù)雜的背景環(huán)境干擾，尤其是同類別病害的不同嚴(yán)重度之間的顏色紋理特征相似，細(xì)粒度差異較小，傳統(tǒng)方法難以準(zhǔn)確地對(duì)小麥葉片病害進(jìn)行嚴(yán)重度估計(jì)。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，CNN)在圖像處理和分類中的應(yīng)用日益廣泛[6-9]。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，CNN能夠自動(dòng)檢索圖像的全局信息和局部特征，不需要人工檢測和提取，具有更好的性能[10-12]。

相比于作物病害的識(shí)別[13-15]，病害的嚴(yán)重度估計(jì)對(duì)方法的有效性和精確度的要求更高。由于作物病害不同嚴(yán)重度之間的特征差異小，準(zhǔn)確進(jìn)行病害嚴(yán)重度估計(jì)往往需要大量的數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練[16-19]。上述嚴(yán)重度估計(jì)方法均是直接對(duì)原始數(shù)據(jù)集進(jìn)行學(xué)習(xí)以實(shí)現(xiàn)對(duì)作物病害的嚴(yán)重度估計(jì)，學(xué)習(xí)的對(duì)象是病害圖像的全局信息，缺乏作物病害圖像局部區(qū)域之間的相互關(guān)聯(lián)性[20]。

小麥葉片病害的嚴(yán)重度等級(jí)之間的顏色紋理特征差異較小，可以歸屬于細(xì)粒度分類問題。目前，細(xì)粒度分類問題的解決方式可以分為兩類：基于圖像注意力區(qū)域檢測的方法[21-22]和基于圖像細(xì)粒度特征表達(dá)的方法[23-24]，分別通過弱監(jiān)督的信息檢測圖像中的注意力區(qū)域和使用高維圖像特征對(duì)圖像信息自適應(yīng)提取，實(shí)現(xiàn)精細(xì)化分類。文獻(xiàn)[25]研究表明，針對(duì)細(xì)粒度圖像的處理和分類問題，形態(tài)、輪廓特征的重要性表現(xiàn)較小，而局部細(xì)節(jié)特征則至關(guān)重要。針對(duì)小麥條銹病和白粉病癥狀主要位于葉片的局部區(qū)域的特征，運(yùn)用傳統(tǒng)分類方式對(duì)全局信息進(jìn)行卷積操作，勢必會(huì)影響最終的分類準(zhǔn)確率。本文通過注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)的聯(lián)合優(yōu)化和遞歸學(xué)習(xí)，構(gòu)造基于循環(huán)空間變換的卷積神經(jīng)網(wǎng)絡(luò)(Recurrent spatial transformer convolutional neural network，RSTCNN)方法用于小麥葉片病害的嚴(yán)重度估計(jì)。將圖像由卷積池化后生成的特征圖，通過空間變換(Spatial transformer，ST)層實(shí)現(xiàn)葉片的病害區(qū)域檢測，提取出病害特征的關(guān)鍵區(qū)域，接著以交替促進(jìn)的方式對(duì)注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)進(jìn)行聯(lián)合優(yōu)化，由分類子網(wǎng)絡(luò)實(shí)現(xiàn)圖像分類并依次遞歸學(xué)習(xí)。最后對(duì)各尺度全連接層的輸出進(jìn)行特征融合，再并入到Softmax層預(yù)測最終的概率，以實(shí)現(xiàn)病害的嚴(yán)重度估計(jì)。

1 材料與方法

1.1 數(shù)據(jù)來源

本文所用小麥葉片病害圖像來源于安徽省農(nóng)業(yè)科學(xué)研究院試驗(yàn)基地(31°89′N，117°25′E)，該試驗(yàn)基地作為國家級(jí)科研平臺(tái)，同時(shí)也是國家小麥育種分中心，長期以來一直承擔(dān)小麥、水稻等多種農(nóng)作物育種科研試驗(yàn)任務(wù)。葉片病害數(shù)據(jù)采集于2019年4月26日至2019年5月10日09:00—16:00，天氣晴朗且少云，相對(duì)濕度和溫度分別在30%～50%和18～25℃之間。此時(shí)該基地的小麥葉片正值青翠繁茂期，主要遭受條銹病、白粉病的侵?jǐn)_。拍攝設(shè)備為EOS80D型佳能數(shù)碼相機(jī)(圖像尺寸6 016像素×4 000像素，焦距4 mm，光圈f/22，曝光時(shí)間1/2 000 s)。采集并經(jīng)過篩選后得到兩類小麥葉片病害圖像各計(jì)180幅。研究區(qū)域和數(shù)據(jù)采集工作圖如圖1所示。

為了更好地檢驗(yàn)?zāi)Ｐ托阅?，針?duì)獲取的數(shù)據(jù)集樣本有限和不平衡的情況，先將原始樣本通過裁剪的方式，切分圖像的長邊為4等份，每幅圖像可擴(kuò)充得到4幅病害圖像，如圖2所示。接著對(duì)擴(kuò)充后的病害圖像按照病斑面積占葉片總面積的百分比R來界定病害嚴(yán)重程度[26]：0

表1 數(shù)據(jù)集樣本分布Tab.1 Sample distribution of dataset 幅

1.2 小麥病害嚴(yán)重度估計(jì)

針對(duì)同種病害不同嚴(yán)重度間的顏色、紋理特征差異較小以及細(xì)粒度圖像難以分類問題，本文構(gòu)建RSTCNN網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)由圖像分類和區(qū)域檢測兩個(gè)子任務(wù)的多層結(jié)構(gòu)構(gòu)成，運(yùn)用區(qū)域檢測和圖像分類兩個(gè)子網(wǎng)絡(luò)交替訓(xùn)練的思想，通過交替促進(jìn)的方式對(duì)注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)進(jìn)行聯(lián)合優(yōu)化和遞歸學(xué)習(xí)，從而達(dá)到精確估計(jì)小麥葉片病害嚴(yán)重度的目的。

1.2.1RSTCNN

RSTCNN主要包含3個(gè)尺度網(wǎng)絡(luò)(可根據(jù)需要疊加多個(gè)尺度)，每個(gè)尺度網(wǎng)絡(luò)的結(jié)構(gòu)都一樣，均以基礎(chǔ)分類網(wǎng)絡(luò)模型為框架，并插入空間金字塔池化(Spatial pyramid pooling，SPP)層固定輸出特征圖維度，各尺度網(wǎng)絡(luò)間通過ST層連接并進(jìn)行區(qū)域檢測。本文實(shí)驗(yàn)的每個(gè)尺度網(wǎng)絡(luò)以VGG19作為子網(wǎng)絡(luò)，圖像通過卷積池化層生成的特征圖，一方面輸入該尺度網(wǎng)絡(luò)的SPP層和全連接層，另一方面由空間變換層進(jìn)行區(qū)域檢測后，作為下一個(gè)尺度網(wǎng)絡(luò)的輸入。RSTCNN網(wǎng)絡(luò)架構(gòu)如圖3所示，其中as(s=1,2,3)表示各尺度網(wǎng)絡(luò)(Scale 1、Scale 2、Scale 3)，以VGG19作為框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示；bs表示各尺度網(wǎng)絡(luò)的卷積層和池化層，從輸入病害葉片圖像中提取特征；cs表示各尺度網(wǎng)絡(luò)的SPP層，用來在全連接層前統(tǒng)一輸出不同特征圖維度；ds表示各尺度網(wǎng)絡(luò)的全連接層和Softmax層，可得到單個(gè)分類子網(wǎng)絡(luò)的輸出結(jié)果。

在更高尺度的網(wǎng)絡(luò)中，以上層尺度網(wǎng)絡(luò)卷積池化后的特征圖作為研究對(duì)象，一方面由ST層(e1、e2)進(jìn)行區(qū)域檢測，由粗到細(xì)迭代生成病害細(xì)粒度表征的注意力區(qū)域并提取，另一方面通過分類子網(wǎng)絡(luò)，送入SPP層和全連接層。接著將注意力區(qū)域特征圖以循環(huán)的方式在下一個(gè)尺度網(wǎng)絡(luò)再次進(jìn)行迭代訓(xùn)練，然后對(duì)全連接層的輸出規(guī)范一致化后以Concat方式對(duì)特征圖通道合并以達(dá)到特征融合[27]的目的，最后并入到Softmax層預(yù)測該圖像病害嚴(yán)重度類別的概率，獲得更佳的分類效果。算法流程如下：

(1)將數(shù)據(jù)集通過分類子網(wǎng)絡(luò)提取特征并分類，然后在全連接層前將提取特征圖送入ST層區(qū)域，檢測得到葉片病害的注意力區(qū)域。

(2)將注意力區(qū)域生成的特征圖在分類子網(wǎng)絡(luò)的全連接層前通過SPP層，統(tǒng)一規(guī)范化特征圖的尺寸，并送入下級(jí)尺度網(wǎng)絡(luò)，再次進(jìn)行局部細(xì)粒度特征的學(xué)習(xí)和區(qū)域檢測。

(3)通過尺度內(nèi)分類損失和尺度間排序交叉熵?fù)p失聯(lián)合優(yōu)化，以相互強(qiáng)化的方式對(duì)圖像注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)進(jìn)行遞歸學(xué)習(xí)，并可根據(jù)需要決定尺度和迭代次數(shù)。

(4)綜合各尺度網(wǎng)絡(luò)全連接層的輸出，規(guī)范一致化后通過Concat進(jìn)行特征融合，再并入到Softmax層得到最終預(yù)測值，達(dá)到更佳的分類結(jié)果，實(shí)現(xiàn)葉片病害嚴(yán)重度的精準(zhǔn)估計(jì)。

1.2.2區(qū)域檢測和提取

區(qū)域檢測子網(wǎng)絡(luò)位于各個(gè)尺度網(wǎng)絡(luò)之間，通過空間變換有效檢測出上級(jí)尺度網(wǎng)絡(luò)特征圖中的注意力區(qū)域，提取并作為下級(jí)尺度網(wǎng)絡(luò)的輸入。ST層基本架構(gòu)如圖5所示，通過區(qū)位網(wǎng)絡(luò)和采樣映射機(jī)制[28-29]，在網(wǎng)絡(luò)中對(duì)數(shù)據(jù)進(jìn)行空間變換處理。其核心為空間轉(zhuǎn)換模塊，主要由3部分組成，其中區(qū)位網(wǎng)絡(luò)用來計(jì)算空間變換的參數(shù)，坐標(biāo)映射器得到輸入特征圖U到輸出特征圖V的映射位置對(duì)應(yīng)關(guān)系Tθ，圖像采樣器則根據(jù)輸入特征圖U和對(duì)應(yīng)映射關(guān)系Tθ，生成最終的輸出映射。

(1)區(qū)位網(wǎng)絡(luò)

區(qū)位網(wǎng)絡(luò)以特征圖作為輸入，仿射變換后經(jīng)一系列的隱藏網(wǎng)絡(luò)層學(xué)習(xí)并輸出變換參數(shù)θ。對(duì)于一個(gè)局部網(wǎng)絡(luò)，設(shè)輸入前一層的特征圖為U，則區(qū)位網(wǎng)絡(luò)的輸出表示為

θ=floc(U)

(1)

式中floc——卷積神經(jīng)網(wǎng)絡(luò)(局部網(wǎng)絡(luò))

θ——網(wǎng)絡(luò)輸出的變換矩陣，用作轉(zhuǎn)換器的訓(xùn)練參數(shù)(本文實(shí)驗(yàn)為二維仿射變換，θ為六維矩陣，元素分別記作θαβ(α=1,2;β=1,2,3))

(2)坐標(biāo)映射器

采用逆變換的方法獲得輸出特征圖，并生成網(wǎng)格上每個(gè)像素點(diǎn)的對(duì)應(yīng)值。根據(jù)區(qū)位網(wǎng)絡(luò)的參數(shù)，坐標(biāo)映射器構(gòu)建逆變換后的圖像與輸入圖像上采樣網(wǎng)格Gi的坐標(biāo)映射，得到輸入特征圖U∈RH×W×C到輸出特征圖V∈RH′×W′×C的各映射位置對(duì)應(yīng)關(guān)系Tθ。其中W、H是對(duì)應(yīng)特征圖的寬、高，C為通道數(shù)。通過仿射變換，將輸入和輸出的橫縱坐標(biāo)范圍規(guī)范一致化，得到變換后輸出的特征圖。

(2)

(3)圖像采樣器

由前兩部分傳輸變換獲得相應(yīng)的網(wǎng)格和坐標(biāo)映射關(guān)系Tθ后，將特征圖和坐標(biāo)映射關(guān)系同時(shí)作為生成器的輸入獲得輸出。

在原始圖中采樣像素復(fù)制到對(duì)應(yīng)圖中，生成輸出映射。將原圖像像素坐標(biāo)仿射變換為目標(biāo)圖像的像素點(diǎn)坐標(biāo)，表達(dá)為

(3)

k——核函數(shù)，表示實(shí)現(xiàn)重采樣功能的線性插值

Φx、Φy——采樣內(nèi)核k的輸入插值參數(shù)

綜上，ST層是一個(gè)可微模塊，既可對(duì)輸入特征圖進(jìn)行空間變換，也可作為網(wǎng)絡(luò)模塊插入到任務(wù)需求網(wǎng)絡(luò)的任意層中，使得CNN能夠自主在空間上轉(zhuǎn)換特征映射，進(jìn)行區(qū)域檢測和獲取。

對(duì)檢測區(qū)域進(jìn)行提取，設(shè)提取出的病害特征區(qū)域均為正方形，表示為(tx,ty,tl)，可得

(tx,ty,tl)=g(WcX)

(4)

式中g(shù)(·)——ST層網(wǎng)絡(luò)函數(shù)

X——輸入圖像

Wc——分類子網(wǎng)絡(luò)，從X中提取特征

tx、ty——檢測區(qū)域中心點(diǎn)坐標(biāo)

tl——檢測區(qū)域邊長

特征圖的注意力區(qū)域檢測示意圖如圖6所示。

假設(shè)特征圖的左上角是坐標(biāo)系的起點(diǎn)，用符號(hào)Cl表示左上角點(diǎn)，符號(hào)Cr表示右下角點(diǎn)。則根據(jù)ST層網(wǎng)絡(luò)的tx、ty和tl，可計(jì)算出裁剪后區(qū)域的x軸坐標(biāo)tx(Cl)、tx(Cr)和y軸坐標(biāo)ty(Cl)、ty(Cr)分別為

(5)

為實(shí)現(xiàn)整體網(wǎng)絡(luò)端到端優(yōu)化訓(xùn)練，需要定義掩膜函數(shù)為連續(xù)函數(shù)以易于在逆向傳播中優(yōu)化，這里使用二維boxcar函數(shù)的變體作為注意掩膜進(jìn)行近似裁剪操作，避免了直接根據(jù)坐標(biāo)和邊長信息生成(0,1)的掩膜，表達(dá)式為

M=(h(x-tx(Cl))-h(x-tx(Cr)))·
(h(y-ty(Cl))-h(y-ty(Cr)))

(6)

(7)

式中M——掩膜函數(shù)

h——Sigmoid激活函數(shù)

通過坐標(biāo)關(guān)系，將掩膜函數(shù)M和輸入圖像X的數(shù)組元素依次相乘提取區(qū)域Xatt，表達(dá)式為

Xatt=X?M(tx,ty,tl)

(8)

1.2.3空間金字塔池化

傳統(tǒng)CNN的全連接層是神經(jīng)元對(duì)于所有輸入的連接權(quán)重，若輸入尺寸不一致，則會(huì)使得全連接層參數(shù)無法固定。CNN要求輸入維度一致是導(dǎo)致隨機(jī)尺寸的圖像識(shí)別率低的關(guān)鍵。RSTCNN的各尺度網(wǎng)絡(luò)需要特征圖經(jīng)過ST層進(jìn)行區(qū)域檢測和特征提取，會(huì)使特征圖的尺寸發(fā)生改變。若采用傳統(tǒng)的數(shù)據(jù)集預(yù)處理的方式，對(duì)特征圖進(jìn)行裁剪或者放大，使其維度相同，則會(huì)帶來較大的弊端，一方面裁剪掉的區(qū)域可能會(huì)包含病害目標(biāo)區(qū)域，另一方面特征圖的放大也會(huì)導(dǎo)致圖像幾何方面的失真和扭曲[30]。

為了解決特征圖經(jīng)過ST層提取區(qū)域后特征圖尺寸會(huì)改變的問題，RSTCNN在各尺度網(wǎng)絡(luò)的全連接層前引入SPP層[31-32]，如圖7所示。不同尺寸的輸入特征圖規(guī)范化為一致性向量，以保存特征信息的同時(shí)，改進(jìn)模型的識(shí)別精度。SPP通過空間像素級(jí)的層次關(guān)系，將空間的第l層級(jí)進(jìn)行劃分(l∈N+)，其中每層有2l個(gè)子集，橫縱坐標(biāo)則依次切分成2l個(gè)網(wǎng)格，獲得4l塊特征圖。對(duì)于任意大小的輸入特征圖，每個(gè)子網(wǎng)絡(luò)上的3個(gè)池化層分別以4l個(gè)網(wǎng)格將特征圖分為4l塊，并采用最大池化以維持圖像特征的細(xì)節(jié)信息，得到相應(yīng)的4l維特征向量。最后將各池化層提取的特征融合，使任意尺寸特征圖均統(tǒng)一規(guī)范為同維的特征向量，不再固定限制輸入圖像的尺寸。從而避免了特征圖因適應(yīng)傳統(tǒng)CNN的方式需要進(jìn)行裁剪或扭曲，導(dǎo)致圖像部分信息丟失，特征提取難等問題。

1.2.4訓(xùn)練策略

整個(gè)網(wǎng)絡(luò)模型基于注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)聯(lián)合優(yōu)化和遞歸學(xué)習(xí)的思想，以相互促進(jìn)的方式迭代訓(xùn)練，算法流程如圖8所示。

具體的訓(xùn)練步驟如下：

(1)初始化分類子網(wǎng)絡(luò)中的卷積層和全連接層參數(shù)。

(3)設(shè)置學(xué)習(xí)率，先通過取值為0來固定分類和檢測子網(wǎng)絡(luò)參數(shù)。接著保持ST子網(wǎng)絡(luò)參數(shù)不變，優(yōu)化分類子網(wǎng)絡(luò)直到Lcls收斂。然后固定分類子網(wǎng)絡(luò)參數(shù)，并切換到尺度間的排序交叉熵?fù)p失來優(yōu)化兩個(gè)ST子網(wǎng)絡(luò)，直到Lrank收斂。

(4)返回步驟(3)，直到兩類子網(wǎng)絡(luò)損失均收斂。

RSTCNN的損失函數(shù)包含兩部分，由Y(s)和Y*構(gòu)成分類損失Lcls，其中Y(s)為預(yù)測的類別概率，Y*為真實(shí)類別。以及表示尺度間排序的交叉熵?fù)p失Lrank，Scale 1網(wǎng)絡(luò)和Scale 2網(wǎng)絡(luò)，以及Scale 2網(wǎng)絡(luò)和Scale 3網(wǎng)絡(luò)分別構(gòu)成兩個(gè)不同Lrank，表達(dá)式為

(9)

其中

(10)

式中L(X)——RSTCNN的損失函數(shù)

t——真實(shí)標(biāo)簽類別

margin——定值參數(shù)

綜上，通過RSTCNN獲取到的小麥圖像輸出的不同尺度特征表示為{F1,F2,…,Fi,…,FN}。其中N表示尺度數(shù)目，F(xiàn)i表示第i個(gè)尺度網(wǎng)絡(luò)的全連接層輸出。通過獨(dú)立地對(duì)每個(gè)Fi規(guī)范化統(tǒng)一后，以Concat方式實(shí)現(xiàn)特征融合，再并入到Softmax層得到最終的分類結(jié)果。

2 結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境和評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)軟件環(huán)境為Linux Ubuntu 16.04操作系統(tǒng)、NVIDIA GTX2070 GPU上的CUDA8.0平臺(tái)，使用Pytorch的開源軟件框架和Python編程語言實(shí)現(xiàn)。實(shí)驗(yàn)中采用批量訓(xùn)練方式，將訓(xùn)練集和測試集劃分為多個(gè)批次，以便更好對(duì)比觀察實(shí)驗(yàn)效果。所有模型訓(xùn)練的迭代周期(Epoch)均設(shè)置為300，通過L2正則化與Dropout策略減少模型過擬合程度，整個(gè)訓(xùn)練過程是迭代進(jìn)行的，并采用損失函數(shù)交替訓(xùn)練的策略來優(yōu)化網(wǎng)絡(luò)參數(shù)。

為了驗(yàn)證基于RSTCNN模型對(duì)小麥病害葉片進(jìn)行嚴(yán)重度估計(jì)算法的有效性，分別對(duì)網(wǎng)絡(luò)模型集成方式和參數(shù)選取進(jìn)行對(duì)比實(shí)驗(yàn)，同時(shí)也將傳統(tǒng)的機(jī)器學(xué)習(xí)分類器和流行的CNN進(jìn)行對(duì)比。模型評(píng)價(jià)指標(biāo)有精確率(Precision)、召回率(Recall)、F1值(F1 scores)以及準(zhǔn)確率(Accuracy)。其中，精確率針對(duì)預(yù)測結(jié)果，實(shí)際正樣本占預(yù)測為正樣本的比例。本文的正樣本指屬于某一類別的樣本，而負(fù)樣本指不屬于某一類別的樣本。召回率針對(duì)原樣本，預(yù)測為正樣本的數(shù)量占實(shí)際正樣本的比例。F1值為精確率與召回率的調(diào)和均值。準(zhǔn)確率為預(yù)測正確的結(jié)果占總樣本的比例。

2.2 不同分類網(wǎng)絡(luò)及其作為RSTCNN子網(wǎng)絡(luò)時(shí)嚴(yán)重度估計(jì)

運(yùn)用本文的RSTCNN模型，分別選取常用的VGG19、GoogleNet、ResNet50、AlexNet基礎(chǔ)網(wǎng)絡(luò)作為分類子網(wǎng)絡(luò)，并與區(qū)域檢測子網(wǎng)絡(luò)分別構(gòu)成RSTCNN_VGG19、RSTCNN_GoogleNet、RSTCNN_ResNet50、RSTCNN_AlexNet網(wǎng)絡(luò)模型。通過和基礎(chǔ)分類網(wǎng)絡(luò)進(jìn)行比較實(shí)驗(yàn)，驗(yàn)證RSTCNN模型通過分類實(shí)現(xiàn)對(duì)小麥葉片病害嚴(yán)重度估計(jì)的提升效果。

表2展示了不同分類網(wǎng)絡(luò)模型對(duì)小麥葉片病害嚴(yán)重度估計(jì)的結(jié)果，表明相較于傳統(tǒng)的分類網(wǎng)絡(luò)，所提出基于RSTCNN模型改進(jìn)網(wǎng)絡(luò)增強(qiáng)了基礎(chǔ)分類網(wǎng)絡(luò)對(duì)圖像中病害區(qū)域的檢測和分類能力。通過交替促進(jìn)的方式對(duì)注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)進(jìn)行聯(lián)合優(yōu)化和遞歸學(xué)習(xí)，根本性解決了細(xì)粒度圖像識(shí)別中，局部細(xì)節(jié)特征起主導(dǎo)作用的難點(diǎn)，各評(píng)價(jià)指標(biāo)均有一定的提升。

表2 不同分類網(wǎng)絡(luò)模型的嚴(yán)重度估計(jì)結(jié)果Tab.2 Severity estimation results of different network models %

圖9為不同分類網(wǎng)絡(luò)模型的嚴(yán)重度估計(jì)準(zhǔn)確率變化曲線，直觀地對(duì)比出RSTCNN模型在基礎(chǔ)分類網(wǎng)絡(luò)上改進(jìn)后，各個(gè)訓(xùn)練周期時(shí)精度的提升狀況，并減少了模型達(dá)到穩(wěn)定的訓(xùn)練周期，為小麥葉病的嚴(yán)重度估計(jì)提供了高效精準(zhǔn)的指導(dǎo)。其中RSTCNN網(wǎng)絡(luò)模型與VGG19聯(lián)合構(gòu)造的準(zhǔn)確率最高，因此本文所有的對(duì)比驗(yàn)證實(shí)驗(yàn)中，RSTCNN網(wǎng)絡(luò)模型均采用VGG19作為分類子網(wǎng)絡(luò)。

2.3 特征可視化和不同區(qū)域檢測子網(wǎng)絡(luò)對(duì)比

本文運(yùn)用多尺度網(wǎng)絡(luò)的優(yōu)勢，表現(xiàn)為模型訓(xùn)練時(shí)可逐漸聚焦到小麥葉片病害的顯著區(qū)域，并增強(qiáng)其特征信息表達(dá)能力，有利于提高嚴(yán)重度估計(jì)效果。另外針對(duì)分類網(wǎng)絡(luò)和ST網(wǎng)絡(luò)設(shè)計(jì)2個(gè)損失，通過限制其中一個(gè)網(wǎng)絡(luò)的參數(shù)來交替訓(xùn)練另一個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)圖像的注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)的聯(lián)合優(yōu)化和遞歸學(xué)習(xí)。由于該模型通過多尺度網(wǎng)絡(luò)對(duì)圖像及其特征圖進(jìn)行了多次區(qū)域檢測和再分類，從某種意義上也起到了擴(kuò)充數(shù)據(jù)集的效果。

對(duì)RSTCNN模型學(xué)習(xí)過程中生成的特征進(jìn)行可視化，以VGG19作為分類子網(wǎng)絡(luò)，通過3個(gè)尺度網(wǎng)絡(luò)的構(gòu)造形式，得到一系列特征圖如圖10所示，可以發(fā)現(xiàn)隨著RSTCNN尺度的增加，通過ST層的區(qū)域檢測和提取能力，逐漸定位并精細(xì)化了圖像中具有葉片病害的注意力區(qū)域，達(dá)到了提高病害嚴(yán)重度估計(jì)準(zhǔn)確率的目的。

為驗(yàn)證RSTCNN模型的ST層子網(wǎng)絡(luò)進(jìn)行注意力區(qū)域檢測的優(yōu)越性，本文選取了常用的區(qū)域檢測網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，分別得到小麥葉片病害嚴(yán)重度估計(jì)的準(zhǔn)確率。其中，全卷積自適應(yīng)網(wǎng)絡(luò)(FCAN)[33]由圖像域適應(yīng)網(wǎng)絡(luò)和特征自適應(yīng)網(wǎng)絡(luò)組成，以解決域適應(yīng)背景下的語義分割難題。多注意力卷積神經(jīng)網(wǎng)絡(luò)(MACNN)[34]利用特征圖不同通道關(guān)注的視覺信息不同會(huì)導(dǎo)致峰值響應(yīng)區(qū)域差異性的特點(diǎn)，聚類響應(yīng)區(qū)域接近的通道獲得注意力區(qū)域。多樣化視覺注意網(wǎng)絡(luò)(DVAN)[35]追求最大限度收集差異性信息，并結(jié)合圖像的不同區(qū)域和尺度的信息來建立動(dòng)態(tài)的類內(nèi)分類表示。

此外，本文還對(duì)各尺度(Scale 2、Scale 3、Scale 4)下的單獨(dú)嚴(yán)重度估計(jì)結(jié)果以及融合不同尺度特征的嚴(yán)重度估計(jì)結(jié)果(Scale 1+2、Scale 1+2+3、Scale 1+2+3+4)分別進(jìn)行了實(shí)驗(yàn)。圖11為不同注意力區(qū)域獲取方式和RSTCNN各個(gè)尺度下的病害嚴(yán)重度估計(jì)準(zhǔn)確率，通過實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，隨著融合尺度的增加，網(wǎng)絡(luò)模型更加復(fù)雜，但準(zhǔn)確率由較高提升逐漸變緩至甚微，綜合衡量3層尺度融合的網(wǎng)絡(luò)準(zhǔn)確率為最佳。Scale 4網(wǎng)絡(luò)效果不及Scale 3網(wǎng)絡(luò)效果，主要原因在于Scale 4丟失了較多的全局信息，導(dǎo)致部分病害區(qū)域的信息欠缺。

2.4 病害嚴(yán)重度估計(jì)結(jié)果混淆矩陣

在使用深度學(xué)習(xí)識(shí)別圖像時(shí)，混淆矩陣作為有效的可視化工具，將數(shù)據(jù)劃分為輸入類和預(yù)測輸出類的樣本數(shù)量，直觀地把分類結(jié)果的精度展示于一幅矩陣圖中，比較出分類結(jié)果和實(shí)際測得值間的差異，因此常被用在多分類問題中評(píng)價(jià)模型的精度。

實(shí)驗(yàn)對(duì)小麥葉片的條銹病和白粉病進(jìn)行病害等級(jí)分類為輕度、中度、重度，其中條銹病的輕度、中度、重度分別記為A、B、C，白粉病的輕度、中度、重度分別記為D、E、F，共計(jì)6類。VGG19基礎(chǔ)網(wǎng)絡(luò)模型和將VGG19作為分類子網(wǎng)絡(luò)的RSTCNN網(wǎng)絡(luò)模型的生成嚴(yán)重度估計(jì)混淆矩陣如圖12所示。圖中每行為小麥病害的實(shí)際種類，其總數(shù)Sum_lin表示歸屬該種類的實(shí)際數(shù)據(jù)。每列為小麥病害的預(yù)測種類，其總數(shù)Sum_col表示該種類的預(yù)測數(shù)據(jù)。行列交叉處的數(shù)值表示小麥病害被預(yù)測為相應(yīng)行種類的數(shù)目，而對(duì)角線上的值為預(yù)測正確的結(jié)果總數(shù)。根據(jù)結(jié)果，直觀展示出葉片病害嚴(yán)重度的真實(shí)數(shù)據(jù)和預(yù)測數(shù)據(jù)混淆的樣本數(shù)目，以及各類病害嚴(yán)重度樣本的分類錯(cuò)誤數(shù)據(jù)類型，表明RSTCNN網(wǎng)絡(luò)模型可以實(shí)現(xiàn)更精準(zhǔn)的嚴(yán)重度估計(jì)效果。

2.5 與傳統(tǒng)算法對(duì)比

為驗(yàn)證本文方法相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法的優(yōu)越性，實(shí)驗(yàn)將本文方法與3種在農(nóng)作物病害嚴(yán)重度估計(jì)上的傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行了比較分析。這3種傳統(tǒng)機(jī)器學(xué)習(xí)算法分別運(yùn)用K近鄰(KNN)分類[36]提取圖像顏色特征，利用隨機(jī)森林(RF)分類[37]提取圖像紋理特征和通過支持向量機(jī)(SVM)分類[38]提取圖像的組合特征。

實(shí)驗(yàn)中，通過開源庫Scikit-learn2.2調(diào)用3種經(jīng)典機(jī)器學(xué)習(xí)分類器。其中，KNN的樣本點(diǎn)相似性度量采用歐氏距離，待預(yù)測樣本附近標(biāo)簽的個(gè)數(shù)在通過交叉驗(yàn)證法后，選取5為最優(yōu)值用于比較實(shí)驗(yàn)。RF選取對(duì)樣本有放回抽樣進(jìn)行構(gòu)建，所有參數(shù)均先采用默認(rèn)值再調(diào)參，應(yīng)用十折交叉驗(yàn)證發(fā)現(xiàn)預(yù)測變量值為81且最大特征數(shù)為6時(shí)取得最佳結(jié)果。SVM選取分類庫NuSVC用于病害嚴(yán)重度的多分類，經(jīng)調(diào)參優(yōu)化，得到訓(xùn)練誤差上界和支持向量下限的值為0.5，核函數(shù)為RBF核，函數(shù)最高次冪為3時(shí)，效果最佳。在經(jīng)上述參數(shù)調(diào)優(yōu)設(shè)置后，不同經(jīng)典算法的平均嚴(yán)重度估計(jì)準(zhǔn)確率如圖13所示，可以發(fā)現(xiàn)相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，本文提出的RSTCNN網(wǎng)絡(luò)模型顯著提高了小麥葉片病害嚴(yán)重度估計(jì)的平均準(zhǔn)確率。

不同方法的精確率、召回率和F1值如表3所示，可以得到，相比于其他3種傳統(tǒng)機(jī)器學(xué)習(xí)方法，本文所提的RSTCNN方法具有更佳的評(píng)價(jià)指標(biāo)。

表3 與傳統(tǒng)機(jī)器學(xué)習(xí)算法的各類指標(biāo)對(duì)比結(jié)果Tab.3 Comparison of various indicators with traditional machine learning algorithms %

3 結(jié)論

(1)針對(duì)病害等級(jí)間特征差異較小、細(xì)粒度圖像難以分類的問題， RSTCNN運(yùn)用區(qū)域檢測和圖像分類2個(gè)子網(wǎng)絡(luò)交替訓(xùn)練的思想，基于注意力區(qū)域檢測和局部細(xì)粒度特征表達(dá)的聯(lián)合優(yōu)化和遞歸學(xué)習(xí)的方式，逐漸聚焦到圖像中具有葉片病害的注意力區(qū)域，減少無關(guān)信息的干擾，然后對(duì)檢測出的病害注意力區(qū)域自適應(yīng)提取，并送入下一級(jí)的分類網(wǎng)絡(luò)，依次迭代交替訓(xùn)練，最后通過多尺度特征融合，達(dá)到更好的分類效果，實(shí)現(xiàn)小麥葉片病害的嚴(yán)重度估計(jì)。與傳統(tǒng)分類網(wǎng)絡(luò)相比，RSTCNN網(wǎng)絡(luò)模型的精確率為94.3%，召回率為94.9%，F(xiàn)1值為94.6%，病害嚴(yán)重度估計(jì)準(zhǔn)確率達(dá)到95.8%，各評(píng)價(jià)指標(biāo)均有所提高，表明該模型顯著增強(qiáng)了基礎(chǔ)分類網(wǎng)絡(luò)對(duì)圖像中病害區(qū)域的分類能力。

(2)與常見的區(qū)域檢測網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，RSTCNN模型的ST層子網(wǎng)絡(luò)比其他方法嚴(yán)重度估計(jì)準(zhǔn)確率提高了4～5個(gè)百分點(diǎn)。另外還對(duì)各尺度下的單獨(dú)嚴(yán)重度估計(jì)結(jié)果以及融合不同尺度特征的嚴(yán)重度估計(jì)結(jié)果分別進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)融合尺度下的嚴(yán)重度估計(jì)準(zhǔn)確率更高。但隨著融合尺度的增加，網(wǎng)絡(luò)變得更復(fù)雜，準(zhǔn)確率卻只上升0.01個(gè)百分點(diǎn)，因此本文設(shè)計(jì)的3層尺度融合的網(wǎng)絡(luò)嚴(yán)重度估計(jì)準(zhǔn)確率為最佳。

(3)與農(nóng)作物病害嚴(yán)重度估計(jì)的傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行比較分析，相比于傳統(tǒng)基于顏色和紋理特征的方式，RSTCNN的分類準(zhǔn)確率提高了9～20個(gè)百分點(diǎn)，顯著提高了小麥葉片病害嚴(yán)重度等級(jí)的估計(jì)準(zhǔn)確率。