基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識(shí)別

鮑文霞，孫 慶，胡根生，黃林生，梁 棟，趙 健

（安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程研究中心，合肥 230601）

0 引 言

農(nóng)作物病蟲(chóng)害是造成農(nóng)作物產(chǎn)量損失的主要原因之一，是限制中國(guó)農(nóng)業(yè)優(yōu)質(zhì)、高效持續(xù)發(fā)展的主要因素，準(zhǔn)確識(shí)別農(nóng)作物病蟲(chóng)害并合理噴灑農(nóng)藥對(duì)于控制病蟲(chóng)害的傳播至關(guān)重要[1-4]。小麥作為中國(guó)的主要糧食作物之一，小麥赤霉病的多發(fā)性和不及時(shí)控制是影響小麥產(chǎn)量的主要因素，準(zhǔn)確、高效地識(shí)別小麥赤霉病可為防治小麥赤霉病和提高小麥產(chǎn)量提供重要保障。

近年來(lái)，基于病變圖像的農(nóng)作物病害識(shí)別是圖像處理和精準(zhǔn)農(nóng)業(yè)中具有挑戰(zhàn)性的研究課題[5-8]。大多數(shù)經(jīng)典的農(nóng)作物病害識(shí)別方法專(zhuān)注于從病變圖像中提取特征，例如，Hlaing 等[9]通過(guò)Johnson SB 分布模型對(duì)圖像的SIFT紋理特征進(jìn)行建模，從而獲得圖像的紋理統(tǒng)計(jì)信息，并結(jié)合顏色統(tǒng)計(jì)特征成功應(yīng)用于試驗(yàn)環(huán)境下的番茄植物病害圖像分類(lèi)。Zhang 等[10]提出了利用K-means 算法對(duì)圖像進(jìn)行分割處理，從分割圖像中提取PHOG 特征識(shí)別黃瓜葉片的4 種病害和蘋(píng)果葉片的3 種病害。Delwiche[11]利用近紅外光譜對(duì)赤霉病和其他霉病小麥籽粒進(jìn)行分類(lèi)，通過(guò)對(duì)2 個(gè)波長(zhǎng)上的差異分析建立最佳分類(lèi)模型，總體準(zhǔn)確率能達(dá)到95%～98%。梁琨等[12]利用光譜分析技術(shù)對(duì)小麥赤霉病進(jìn)行識(shí)別，通過(guò)對(duì)小麥高光譜圖像進(jìn)行主成分分析選擇最佳波長(zhǎng)，從而提取最佳波長(zhǎng)圖像的特征參數(shù)進(jìn)行分析建立最優(yōu)模型，識(shí)別精度達(dá)到90%以上。上述基于傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)方法都需要進(jìn)行特征提取和選擇，然而，由于農(nóng)作物病害圖像病變區(qū)域非常復(fù)雜和不規(guī)則，傳統(tǒng)的方法從圖像中選擇和提取出用于病害識(shí)別的最佳特征比較困難。

隨著深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)信息處理領(lǐng)域的深入研究，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）在圖像識(shí)別和分類(lèi)中的應(yīng)用日益廣泛[13-17]。在植物物種和病蟲(chóng)害識(shí)別中，CNN 被證明比傳統(tǒng)機(jī)器學(xué)習(xí)方法具有更好的性能[18-19]。Liu 等[20]提出了一種基于DCNN 的蘋(píng)果葉病的準(zhǔn)確識(shí)別方法，對(duì)4 種常見(jiàn)蘋(píng)果葉病數(shù)據(jù)集的試驗(yàn)結(jié)果表明，DCNN 可以為農(nóng)作物病害識(shí)別提供更好地解決方案，具有較高的準(zhǔn)確度和較快的收斂速度。Zhang 等[21]提出了一種將擴(kuò)張卷積和全局池化相結(jié)合的農(nóng)作物病害識(shí)別的全局卷積神經(jīng)網(wǎng)絡(luò)，所提出的方法能有效識(shí)別6 種黃瓜葉病，整體精度達(dá)到94.65%。借助加權(quán)的思想，Karthik 等[22]提出了一種殘差學(xué)習(xí)加權(quán)網(wǎng)絡(luò)，成功運(yùn)用于試驗(yàn)環(huán)境下的番茄葉片疾病檢測(cè)。上述方法雖然取得了較好的識(shí)別精度，但大多數(shù)僅限于試驗(yàn)室環(huán)境中，并且所采用的深度學(xué)習(xí)模型通常利用卷積層數(shù)較深的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提取目標(biāo)的特征，模型的全連接層需要大量的參數(shù)和數(shù)據(jù)來(lái)計(jì)算。本研究以大田環(huán)境下的灌漿期小麥赤霉病圖像為研究對(duì)象，針對(duì)麥穗生長(zhǎng)較為密集，麥葉和土壤形成的背景雜亂，室外光照復(fù)雜等問(wèn)題，利用深度語(yǔ)義分割網(wǎng)絡(luò)分割出麥穗圖像，降低復(fù)雜背景對(duì)后續(xù)識(shí)別的干擾；同時(shí)根據(jù)小麥赤霉病圖像中病變區(qū)域和健康區(qū)域顏色通道信息分布差異性，設(shè)計(jì)結(jié)構(gòu)較為簡(jiǎn)單的多路卷積神經(jīng)網(wǎng)絡(luò)分別提取R、G、B 3 個(gè)通道的特征，并結(jié)合對(duì)樣本數(shù)據(jù)具有更好適應(yīng)性的聯(lián)合損失函數(shù)，實(shí)現(xiàn)小麥赤霉病圖像的識(shí)別，為農(nóng)作物病害智能識(shí)別提供參考。

1 材料與方法

1.1 數(shù)據(jù)獲取

本文試驗(yàn)中所用的大田環(huán)境下的小麥圖像在合肥市廬江縣郭河鎮(zhèn)精準(zhǔn)農(nóng)業(yè)示范基地（31°25′～31°42′N(xiāo)，117°09′～117°16′E，海拔高度21 m）采集，該基地主要承擔(dān)小麥、水稻、玉米等多種農(nóng)作物的表型信息等科研工作。采集時(shí)間是2019 年5 月1 日至6 日9：00—16：00之間，天氣晴朗，溫濕度范圍分別在18～25 ℃和30%～50%。采用佳能EOS80D 手持?jǐn)?shù)字相機(jī)以3 984×2 656 的像素拍攝。共拍攝自然場(chǎng)景下灌漿期大田環(huán)境下的小麥群體圖像510 幅[23]。不同程度的小麥赤霉病圖像如圖1 所示。

圖1 不同程度小麥赤霉病圖像 Fig.1 Images of wheat scab in different degrees

1.2 算法流程

基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識(shí)別算法流程如下：1）采集自然場(chǎng)景下大田小麥群體圖像；2）對(duì)自然場(chǎng)景下的大田小麥群體圖像進(jìn)行增強(qiáng)和擴(kuò)充等預(yù)處理；3）利用深度語(yǔ)義分割網(wǎng)絡(luò)U-Net 去除背景，分割并選取完整的單株麥穗圖像用于赤霉病的識(shí)別；4）構(gòu)建多路卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)訓(xùn)練得到模型參數(shù)；5）利用訓(xùn)練好的多路卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)單株赤霉病麥穗圖像的測(cè)試集進(jìn)行分類(lèi)識(shí)別。

1.3 數(shù)據(jù)增強(qiáng)和擴(kuò)充

首先，由于圖像是在自然場(chǎng)景下拍攝，為了解決光照不均問(wèn)題，本研究采用Retinex 算法[24-25]對(duì)小麥圖像進(jìn)行增強(qiáng)處理。根據(jù)Retinex 理論，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對(duì)入射光的反射。Retinex 的基本原理如式（1）所示

由于R 是對(duì)數(shù)域的輸出，要轉(zhuǎn)換為數(shù)字圖像，必須將其量化為[0,255]的數(shù)字圖像范圍。采用式（2）進(jìn)行處理得到增強(qiáng)后的圖像。

式中 RMSRCRi為數(shù)字圖像輸出。

其次，數(shù)據(jù)集的多樣性可以使模型具有更強(qiáng)的泛化能力，因此我們對(duì)數(shù)據(jù)樣本進(jìn)行旋轉(zhuǎn)、裁剪、扭曲、改變圖像尺寸、增加圖像噪聲等擴(kuò)充方式來(lái)豐富訓(xùn)練集。擴(kuò)充前后的部分圖像如圖2 所示。

圖2 小麥群體圖像擴(kuò)充結(jié)果示意圖 Fig.2 Schematic diagram of wheat group image expansion results

1.4 小麥麥穗圖像分割

為了降低小麥葉片和農(nóng)田其他復(fù)雜環(huán)境等不相干目標(biāo)的干擾，本文利用深度語(yǔ)義分割網(wǎng)絡(luò)，分割得到單株麥穗圖像以利于后續(xù)的小麥赤霉病圖像識(shí)別。

常用的分割網(wǎng)絡(luò)有全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks, FCN）[26]、SegNet[27]、U-Net[28]等。FCN 訓(xùn)練過(guò)程繁瑣，對(duì)圖像的細(xì)節(jié)信息不夠敏感，沒(méi)有考慮到像素之間的關(guān)系，缺乏空間一致性。SegNet 要求高質(zhì)量圖像，否則會(huì)忽略鄰近的信息。而U-Net 能更好地避免這些問(wèn)題，同時(shí)更適合本文小麥樣本圖像不規(guī)則多變、顏色對(duì)比突兀等特點(diǎn)，所以采用U-Net 網(wǎng)絡(luò)分割麥穗圖像。U-Net 網(wǎng)絡(luò)結(jié)構(gòu)共含有23 個(gè)卷積層，由兩部分組成：壓縮通道與擴(kuò)展通道。壓縮通道主要用來(lái)捕獲圖像中上下文信息，是典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，重復(fù)采用2 個(gè)卷積層和1 個(gè)池化層結(jié)構(gòu)，每進(jìn)行1 次池化操作后特征圖的維度變成原來(lái)的2 倍。而與壓縮通道相對(duì)稱(chēng)的擴(kuò)展通道主要是對(duì)圖像中所需要分割出來(lái)的部分進(jìn)行精準(zhǔn)的像素邊界定位，在通道中先進(jìn)行1 次反卷積操作，使特征圖的維數(shù)減半，然后拼接對(duì)應(yīng)壓縮通道裁剪得到的特征圖，重新組成一個(gè)2 倍大小的特征圖，再經(jīng)過(guò)卷積層提取特征，并重復(fù)操作。在最后的輸出層，用2 個(gè)卷積層將64維的特征圖映射成2 維的輸出。

利用U-Net 網(wǎng)絡(luò)對(duì)大田環(huán)境下的小麥圖像進(jìn)行分割流程圖如圖3 所示。

圖3 小麥圖像分割流程圖 Fig.3 Flow chart of wheat image segmentation

1.5 麥穗赤霉病圖像識(shí)別

顏色特征是小麥麥穗病害的一個(gè)非常重要的特征，也是病害診斷的重要依據(jù)，因此，本研究設(shè)計(jì)結(jié)構(gòu)較為簡(jiǎn)單的多路卷積神經(jīng)網(wǎng)絡(luò)通過(guò)R、G、B 3 個(gè)顏色通道獲取具有高辨識(shí)性的麥穗赤霉病圖像特征，并結(jié)合聯(lián)合損失函數(shù)進(jìn)一步提高網(wǎng)絡(luò)對(duì)特征的識(shí)別性能。

1.5.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)[29-30]。卷積結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)占用的內(nèi)存量，也可以減少網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，緩解模型的過(guò)擬合問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)一般包含輸入層、卷積層、池化層、全連接層以及輸出層。不同層次之間相互促進(jìn)，相互作用。

1.5.2 多路卷積神經(jīng)網(wǎng)絡(luò)（M-CNN）

用于麥穗赤霉病圖像識(shí)別的多路卷積神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖4 所示。包含網(wǎng)絡(luò)輸入層、3 個(gè)顏色通道、3個(gè)單通道卷積神經(jīng)網(wǎng)絡(luò)（S-CNN）、1 個(gè)特征融合層（Fusion）、全連接層（FC）及1 個(gè)輸出層（Output）。為了使網(wǎng)絡(luò)達(dá)到增大類(lèi)間距離和減小類(lèi)內(nèi)距離的目標(biāo)，提取魯棒性更強(qiáng)的特征，引入了聯(lián)合損失函數(shù)學(xué)習(xí)。

圖4 多路卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig.4 Structure diagram of multi-way convolutional neural network

在多路卷積神經(jīng)網(wǎng)絡(luò)中，每張圖像首先分成R、G、B 3 個(gè)分量并分別送入3 個(gè)獨(dú)立的單通道卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取。在每一個(gè)單通道卷積神經(jīng)網(wǎng)絡(luò)中都包含許多不同大小的卷積核，可以在圖像中的相同子區(qū)域內(nèi)提取各種病變特征。然后將3 個(gè)分量的單通道卷積神經(jīng)網(wǎng)絡(luò)提取的3 個(gè)特征向量通過(guò)融合層拼接起來(lái)構(gòu)成一個(gè)高維特征向量送入到全連接層中，最后通過(guò)基于聯(lián)合損失函數(shù)學(xué)習(xí)來(lái)減少輸入圖像類(lèi)內(nèi)距離并增加輸入的類(lèi)間距離，從而完成最終的識(shí)別輸出。

1）單通道卷積神經(jīng)網(wǎng)絡(luò)（S-CNN）

根據(jù)CNN 一般結(jié)構(gòu)同時(shí)結(jié)合麥穗圖像的特點(diǎn)設(shè)計(jì)結(jié)構(gòu)較為簡(jiǎn)單的單通道卷積神經(jīng)網(wǎng)絡(luò)，用于提取麥穗圖像單通道的特征，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 S-CNN 結(jié)構(gòu)圖 Fig.5 Structure diagram of S-CNN

如圖5 所示，用于提取麥穗病害特征的S-CNN 可以分為10 個(gè)隱藏層：輸入層用于圖像的輸入；為了提高對(duì)圖像抽象特征的提取和增強(qiáng)圖像的信噪比，我們引入了6個(gè)卷積層（C1、C2、C3、C4、C5、C6），通過(guò)低層卷積對(duì)樣本數(shù)據(jù)提取邊緣、紋理、形狀等抽象特征，然后再通過(guò)高層卷積生成新的特征用于后續(xù)的識(shí)別。為了避免在特征降維過(guò)程中丟失樣本數(shù)據(jù)的關(guān)鍵信息，彌補(bǔ)圖像特征不變性的缺失，采用了4 個(gè)池化層（P1、P2、P3、P4），通過(guò)將輸入的特征映射劃分為若干個(gè)非重疊的矩陣，輸出每個(gè)矩陣區(qū)域的最大值，降低特征映射的計(jì)算復(fù)雜度和數(shù)據(jù)的大小，使特征獲得更好的位移魯棒性。為了減小梯度消失的可能性，在這10 個(gè)隱藏層中插入了6 個(gè)歸一化層（Norm）及ReLU 激活層。最后，將經(jīng)過(guò)最后1 個(gè)池化層的特征提取出來(lái)，完成后續(xù)的特征融合工作。

2）特征融合

為了充分利用不同通道信息，將經(jīng)過(guò)3 個(gè)單獨(dú)卷積神經(jīng)網(wǎng)絡(luò)的特征提取出來(lái)進(jìn)行特征融合[31-32]，常用的特征融合方法有疊加融合和向量拼接。

本研究采用向量拼接的融合方法。向量拼接的具體表示如下。假設(shè)現(xiàn)有特征向量將其在同一緯度上進(jìn)行拼接，最后融合的特征向量為

通過(guò)向量拼接特征融合策略可以使特征強(qiáng)度得到提升，避免了冗余特征對(duì)信息造成的負(fù)面影響，從而使得對(duì)小麥數(shù)據(jù)樣本進(jìn)行描述的特征更加豐富。

3）損失函數(shù)

現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡(luò)大多使用Softmax Loss 函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)，并廣泛應(yīng)用于分類(lèi)識(shí)別問(wèn)題中。其增大類(lèi)間距離性能強(qiáng)，但縮小類(lèi)內(nèi)距離性能弱。對(duì)于小麥赤霉病圖像識(shí)別來(lái)說(shuō)，由于小麥生長(zhǎng)各異且不具規(guī)則，同類(lèi)之間差別較大，這將會(huì)導(dǎo)致一些不規(guī)則生長(zhǎng)的同類(lèi)患病麥穗圖像無(wú)法被準(zhǔn)確識(shí)別。為了解決該問(wèn)題，保證可分性外，希望特征向量類(lèi)內(nèi)緊湊，類(lèi)間分離。引入了Center Loss[33]的損失函數(shù)來(lái)解決小麥赤霉病識(shí)別率不高的問(wèn)題。Center Loss 的具體計(jì)算如式（3）所示。

式中N 表示最小批次量， f ( xi)表示全連接層之前的特征，yic 表示第y 類(lèi)深度特征的中心，它會(huì)隨著不同的訓(xùn)練批次而改變；中心的修改通過(guò)對(duì)應(yīng)類(lèi)特征的均值來(lái)計(jì)算。

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，僅使用中心損失函數(shù)雖然可以縮小類(lèi)內(nèi)距離，但無(wú)法增大類(lèi)間距離，以更好地區(qū)分各個(gè)類(lèi)別?？紤]到Softmax Loss 和Center Loss 對(duì)數(shù)據(jù)樣本的監(jiān)督作用，嘗試通過(guò)使用兩種損失來(lái)調(diào)整CNN 網(wǎng)絡(luò)參數(shù)來(lái)獲得判別特征。具體的損失函數(shù)如式（4）所示

式中clsL 是分離圖像的Softmax 損失，而cenL 是壓縮類(lèi)內(nèi)圖像的中心損失，λ 為Center Loss 權(quán)重系數(shù)，ix 、jx 分別表示第i 類(lèi)和第j 類(lèi)的深度特征，yiW、jW分別表示輸入的深度特征向量對(duì)應(yīng)的權(quán)重值，yib 、jb 分別表示對(duì)應(yīng)的偏置項(xiàng)，m 表示批訓(xùn)練的大小，n 表示類(lèi)別的數(shù)量。在式（4）中，將參數(shù)λ 應(yīng)用于加權(quán)2 個(gè)損失函數(shù)。不同的參數(shù)值將導(dǎo)致不同的深度特征。較小的λ 值會(huì)導(dǎo)致中心損失項(xiàng)對(duì)網(wǎng)絡(luò)幾乎沒(méi)有什么影響，而較大的λ 值會(huì)導(dǎo)致網(wǎng)絡(luò)出現(xiàn)不收斂的情況。本文經(jīng)過(guò)多次反復(fù)試驗(yàn)得到λ經(jīng)驗(yàn)值為0.001，其中Softmax Loss 和Center Loss 在網(wǎng)絡(luò)中的具體使用方式如圖6 所示。

2 結(jié)果與分析

本研究以大田環(huán)境下的小麥群體圖像為對(duì)象，為了降低葉片和農(nóng)田復(fù)雜環(huán)境等不相干目標(biāo)的干擾，利用U-Net 深度語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行分割，然后再利用本研究多路卷積網(wǎng)絡(luò)對(duì)分割得到麥穗圖像進(jìn)行小麥赤霉病的識(shí)別。

2.1 麥穗分割試驗(yàn)

本研究將采集的510 幅灌漿期小麥群體圖像大小統(tǒng)一調(diào)整為256×256 像素輸入，選取其中的170 幅小麥群體圖像作為訓(xùn)練集，340 幅作為測(cè)試集。為了防止過(guò)擬合，提高模型的泛化能力，采用旋轉(zhuǎn)、扭曲等方式將訓(xùn)練集圖像擴(kuò)充至600 幅，圖7 給出了訓(xùn)練過(guò)程中的損失和準(zhǔn)確率曲線變化。從圖中可以看出，U-Net 分割網(wǎng)絡(luò)中的Loss 曲線在將近第120 個(gè)epoch 時(shí)趨近于收斂，同時(shí)Acc曲線在該點(diǎn)時(shí)也越來(lái)趨近于飽和。

圖7 網(wǎng)絡(luò)訓(xùn)練過(guò)程 Fig.7 Process of network train

分別使用K-means、GrabCut、U-Net 等方法對(duì)小麥群體圖像進(jìn)行分割，部分試驗(yàn)結(jié)果如圖8 所示。由于小麥群體圖像背景復(fù)雜，而且處在灌漿期的麥穗和葉片、葉桿等顏色接近，因此傳統(tǒng)方法如K-means、GrabCut 等很難正確分割出麥穗，而U-Net 算法采用對(duì)圖像進(jìn)行逐像素分類(lèi)的思想，并借助上下采樣的思想使得深層特征中包含淺層特征信息，從而能夠較好地分割出單株麥穗。

圖8 不同方法小麥群體圖像分割結(jié)果對(duì)比 Fig.8 Comparison of segmentation results of wheat group images by different methods

2.2 麥穗赤霉病識(shí)別試驗(yàn)

選取U-Net 網(wǎng)絡(luò)分割后2 745 幅完整的單株麥穗圖像進(jìn)行赤霉病識(shí)別試驗(yàn)，其中健康麥穗1 500 幅，赤霉病麥穗1 245 幅，并以8∶1∶1 的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集用來(lái)評(píng)估本研究方法。試驗(yàn)均采用批量訓(xùn)練方式，將訓(xùn)練集、驗(yàn)證集和測(cè)試集劃分為多個(gè)批次，每個(gè)訓(xùn)練批次大小設(shè)置為32，即每批次輸入32 張圖像進(jìn)行處理。整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程采用隨機(jī)梯度下降優(yōu)化算法（Stochastic gradient descent）優(yōu)化模型。試驗(yàn)使用Pytorch 的開(kāi)源軟件框架和Python 編程語(yǔ)言實(shí)現(xiàn)。使用CUDA 平臺(tái)在NVIDIA GTX2070 GPU 上進(jìn)行試驗(yàn)。為了驗(yàn)證基于多路卷積神經(jīng)網(wǎng)絡(luò)的小麥赤霉病識(shí)別算法的有效性，對(duì)網(wǎng)絡(luò)特征融合和參數(shù)選取分別進(jìn)行對(duì)比試驗(yàn)，同時(shí)與目前流行的CNN 進(jìn)行對(duì)比試驗(yàn)。采用精度（Precision）、召回率（Recall）、F1 值（F1 score）以及準(zhǔn)確率（Accuracy）來(lái)進(jìn)行單株麥穗赤霉病識(shí)別精度的評(píng)估。各指標(biāo)定義如下

式中TP 為真陽(yáng)性單株麥穗圖像數(shù)目；FP 為假陽(yáng)性單株麥穗圖像數(shù)目；FN 為假陰性單株麥穗圖像數(shù)目；ncorrect表示測(cè)試單株麥穗圖像中預(yù)測(cè)正確的單株麥穗圖像數(shù)目；ntotal為總的測(cè)試單株麥穗圖像數(shù)目。

2.2.1 模型驗(yàn)證

為及時(shí)驗(yàn)證網(wǎng)絡(luò)模型的泛化能力，獲取最優(yōu)模型參數(shù)，將數(shù)據(jù)樣本劃分出驗(yàn)證集用于調(diào)整網(wǎng)絡(luò)模型的超參數(shù)并對(duì)模型的能力進(jìn)行評(píng)估。訓(xùn)練集和驗(yàn)證集的曲線如圖9 所示。

圖9 損失及準(zhǔn)確率曲線 Fig.9 Loss and accuracy curves

由圖中可知，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)模型在數(shù)據(jù)樣本的訓(xùn)練下?lián)p失值逐步下降，最后在趨近0.015，網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率接近100%。通過(guò)借助驗(yàn)證集去尋找網(wǎng)絡(luò)最優(yōu)參數(shù)的作用來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行評(píng)估，可以看出隨著迭代次數(shù)的增加，網(wǎng)絡(luò)的損失值也在趨近0.02，網(wǎng)絡(luò)的驗(yàn)證準(zhǔn)確率朝著訓(xùn)練準(zhǔn)確率逼近以至于飽和最終得到最優(yōu)模型。

2.2.2 不同特征融合方式對(duì)比試驗(yàn)

為了驗(yàn)證融合方法的有效性，對(duì)相同數(shù)據(jù)樣本進(jìn)行多路卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練提取特征，然后分別采用在通道維度上進(jìn)行拼接的融合方式、在通道維度上進(jìn)行疊加的融合方式、在通道維度上加入可訓(xùn)練參數(shù)進(jìn)行拼接的融合方式以及在通道維度上加入可訓(xùn)練參數(shù)進(jìn)行疊加的融合方式。這4 種融合方式均采用本研究提及的聯(lián)合損失函數(shù)進(jìn)行最終的識(shí)別分類(lèi)。利用測(cè)試集對(duì)不同融合方式的試驗(yàn)對(duì)比結(jié)果如圖 10 所示。

圖10 不同融合方式結(jié)果對(duì)比圖 Fig.10 Comparison of different fusion methods results

在均使用聯(lián)合損失函數(shù)的基礎(chǔ)上，本研究選取的融合方式在測(cè)試集上的性能要遠(yuǎn)遠(yuǎn)優(yōu)于其他的3 種融合方式。所用融合方式更加直觀，能夠在一定程度上避免特征冗余，降低對(duì)信息造成的負(fù)面影響。說(shuō)明了本研究的融合方式在多路卷積神經(jīng)網(wǎng)絡(luò)中的有效性。

2.2.3 M-CNN 與S-CNN 模型識(shí)別對(duì)比

為了進(jìn)一步驗(yàn)證提出的多路卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性，將分割后的麥穗圖像分別進(jìn)行S-CNN 和多路卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)識(shí)別。結(jié)果如表1 所示。

表1 M-CNN 與S-CNN 模型識(shí)別結(jié)果對(duì)比 Table 1 Comparison of M-CNN and S-CNN model recognition results

由于顏色信息在小麥赤霉病識(shí)別中起到主要因素。從表1 可以看出，只使用Softmax Loss 作為訓(xùn)練監(jiān)督信號(hào)時(shí)，根據(jù)顏色通道來(lái)組合的多路卷積神經(jīng)網(wǎng)絡(luò)可以增加整個(gè)網(wǎng)絡(luò)的寬度，提高每一層通道的利用率，使每一層學(xué)習(xí)到更加豐富的特征，如不同方向、不同頻率的紋理特征。對(duì)小麥赤霉病的識(shí)別準(zhǔn)確率比S-CNN 的識(shí)別效果要好，精度提高3 個(gè)百分點(diǎn)。在表1 中，使用本文中的網(wǎng)絡(luò)模型進(jìn)行了對(duì)比試驗(yàn)，分別使用Softmax Loss 和聯(lián)合損失函數(shù)作為訓(xùn)練監(jiān)督信號(hào)。在相同條件下，前者取得了95%的準(zhǔn)確率，后者取得了100%的準(zhǔn)確率?？梢钥闯觯褂寐?lián)合損失函數(shù)學(xué)習(xí)的方法，可以增大類(lèi)間距離和減小類(lèi)內(nèi)距離的目的。最終，可以使網(wǎng)絡(luò)提取出魯棒性更強(qiáng)的特征。

2.2.4 不同識(shí)別算法對(duì)比試驗(yàn)

同時(shí)將本研究的算法與目前較流行的LeNet、Vgg16、Vgg19、GoogLeNet 和ResNet16 卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了識(shí)別試驗(yàn)對(duì)比，各指標(biāo)的對(duì)比結(jié)果如表2 所示。

表2 不同算法的識(shí)別結(jié)果對(duì)比 Tabel 2 Comparison of recognition results of different algorithms

通過(guò)表2 的對(duì)比結(jié)果可以看出，與其他卷積神經(jīng)網(wǎng)絡(luò)相比，多路卷積神經(jīng)網(wǎng)絡(luò)能更好地獲取顏色特征，同時(shí)聯(lián)合損失函數(shù)對(duì)特征具有更好的區(qū)分性。因此多路卷積神經(jīng)能取得更高的識(shí)別率。由于多路卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像三通道分別進(jìn)行特征提取，因此在運(yùn)行時(shí)間方面要長(zhǎng)一些，僅低于ResNet16 的方法。

2.3 多穗遮擋與黏連的小麥群體圖像試驗(yàn)

大田環(huán)境下拍攝的小麥群體圖像存在多穗遮擋與黏連，本研究針對(duì)這種情形利用所提算法進(jìn)行分割和麥穗赤霉病識(shí)別試驗(yàn)，分割結(jié)果如圖11 所示。從圖中可以看出由于存在多穗粘連和遮擋情況，導(dǎo)致容易將多穗分割成一個(gè)穗或者被遮擋穗不能被分割出來(lái)，從而影響最終麥穗的數(shù)量，但對(duì)分割出的麥穗都能正確識(shí)別出赤霉病。進(jìn)一步提升多穗遮擋與黏連麥穗的圖像分割問(wèn)題將是我們下一步重點(diǎn)研究?jī)?nèi)容。

圖11 U-Net 網(wǎng)絡(luò)分割結(jié)果 Fig.11 U-Net network segmentation result

3 結(jié) 論

針對(duì)大田復(fù)雜環(huán)境下的小麥赤霉病識(shí)別問(wèn)題，本研究利用深度語(yǔ)義分割網(wǎng)絡(luò)U-Net 對(duì)小麥群體圖像進(jìn)行分割；通過(guò)聯(lián)合損失函數(shù)的多路卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割后的單株麥穗赤霉病圖像進(jìn)行識(shí)別試驗(yàn)，并對(duì)不同融合方式、不同卷積神經(jīng)網(wǎng)絡(luò)等方面進(jìn)行了對(duì)比分析，得到如下結(jié)論：

1）相對(duì)疊加融合方式而言，向量拼接的融合方式可以使特征強(qiáng)度得到提升，避免特征冗余。

2）相對(duì)于損失函數(shù)，聯(lián)合損失函數(shù)可以增強(qiáng)特征之間的可區(qū)分性，提高網(wǎng)絡(luò)的整體性能，控制相同條件下，采用聯(lián)合損失函數(shù)的多路卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率比未采用聯(lián)合損失函數(shù)的多路卷積神經(jīng)網(wǎng)絡(luò)高5 個(gè)百分點(diǎn)。

3）相對(duì)于ResNet16、Vgg16、GoogLeNet 等卷積神經(jīng)網(wǎng)絡(luò)而言，采用聯(lián)合損失的多路卷積神經(jīng)網(wǎng)絡(luò)對(duì)提取的小麥赤霉病特征具有更好的區(qū)分性，從而對(duì)小麥赤霉病識(shí)別表現(xiàn)出較好的分類(lèi)性能。對(duì)采集的大田環(huán)境下510幅灌漿期小麥群體圖像進(jìn)行分割，選取2 745 幅完整單株麥穗圖像進(jìn)行麥穗赤霉病識(shí)別精度達(dá)到100%。

目前的識(shí)別模型局限于分割之后選取的完整單株麥穗圖像，由于大田環(huán)境下拍攝的小麥群體圖像存在嚴(yán)重的多穗遮擋現(xiàn)象，會(huì)對(duì)分割結(jié)果造成影響。進(jìn)一步提升多穗遮擋的圖像分割問(wèn)題將是下一步重點(diǎn)研究?jī)?nèi)容，以提高對(duì)大田復(fù)雜環(huán)境下小麥赤霉病識(shí)別的適用性。