基于輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的植物葉片病害識(shí)別方法

賈鶴鳴，郎春博，姜子超

（1.三明學(xué)院信息工程學(xué)院，福建三明 365004；2.福建省農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用重點(diǎn)實(shí)驗(yàn)室（三明學(xué)院），福建三明 365004；3.西北工業(yè)大學(xué)自動(dòng)化學(xué)院，西安 710129；4.東北林業(yè)大學(xué)機(jī)電工程學(xué)院，哈爾濱 150040）

（?通信作者電子郵箱lang_chunbo@163.com）

0 引言

植物病害的產(chǎn)生對(duì)農(nóng)業(yè)生產(chǎn)有一定負(fù)面影響。如果不及時(shí)發(fā)現(xiàn)植物病害，就會(huì)增加糧食的風(fēng)險(xiǎn)［1］，特別是對(duì)一些主要的糧食作物，如玉米、水稻、小麥等，它們是滿足人民生活需要、推進(jìn)生產(chǎn)力發(fā)展的關(guān)鍵。因此，探求一種智能化、低成本、高準(zhǔn)確的方法來實(shí)施植物病害檢測有著重要的現(xiàn)實(shí)意義。機(jī)器學(xué)習(xí)中的特征提取和模式識(shí)別有助于識(shí)別植物病害的類型和嚴(yán)重程度。通過植物葉片圖像的顏色、形狀和大小等特征對(duì)植物健康狀況進(jìn)行自動(dòng)質(zhì)量分析，是提高生產(chǎn)力的一種準(zhǔn)確可靠的方法［2-3］。

以往的許多研究工作都考慮了圖像的識(shí)別問題，并采用一種特殊的分類器將圖像分為健康圖像和病變圖像。一般來說，植物葉片是植物病害識(shí)別的第一手資料，因?yàn)榇蟛糠植『Φ陌Y狀最先出現(xiàn)在葉片上。在過去的幾十年里，主要病害的識(shí)別和分類技術(shù)在植物中得到了廣泛的應(yīng)用，包括K近鄰（K-Nearest Neighbor，KNN）［4］、支持向量機(jī)（Support Vector Machine，SVM）［5］、Fisher線性判別（Fisher Linear Discriminant，F(xiàn)LD）［6］、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）［7］、隨機(jī)森林（Random Forest，RF）［8］等。眾所周知，經(jīng)典方法的疾病識(shí)別率很大程度上取決于各種算法的病變分割和手工設(shè)計(jì)的特征，如七不變矩、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、Gabor 變換、全局-局部奇異值和稀疏表示［9-11］等。然而，人工設(shè)計(jì)的特征需要昂貴的資源條件和專業(yè)的知識(shí)，同時(shí)具有一定的主觀性。況且從被提取的目標(biāo)上很難確定哪些特征是最優(yōu)的、魯棒的疾病識(shí)別特征。此外，在復(fù)雜的背景條件下大多數(shù)方法都不能有效地將葉子和相應(yīng)的病變圖像從背景中分割出來，導(dǎo)致實(shí)驗(yàn)得到的結(jié)果不能有效地用于預(yù)測疾病的發(fā)生。因此，由于病害葉片圖像的復(fù)雜性，植物病害圖像的自動(dòng)識(shí)別仍然是一項(xiàng)具有挑戰(zhàn)性的工作。

近年的深度學(xué)習(xí)技術(shù)，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），正在迅速成為克服上述挑戰(zhàn)的首選方法。由于卷積神經(jīng)網(wǎng)絡(luò)的尺度不變性，使得它解決的圖像問題不受尺度限制，進(jìn)而在識(shí)別和分類方面表現(xiàn)出突出的能力。例如，Mohanty等［12］訓(xùn)練了一個(gè)深度學(xué)習(xí)模型來識(shí)別14 種作物和26 種作物病害。Ma 等［13］利用深度CNN對(duì)黃瓜霜霉病、炭疽病、白粉病和目標(biāo)葉斑病這4 種病害的癥狀進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率達(dá)到了93.4%。Kawasaki 等［14］提出了一種基于CNN 的黃瓜葉病識(shí)別方法，達(dá)到了94.9%的準(zhǔn)確率。同樣，本文也利用CNN 對(duì)植物葉片病害特征進(jìn)行提取，提出了一種基于VGG-16（Visual Geometry Group-16）的輕量級(jí)卷積網(wǎng)絡(luò)。首先，在原有網(wǎng)絡(luò)中引入深度可分離卷積（Depthwise Separable Convolution，DSC）［15］和全局平均池化（Global Average Pooling，GAP）［16］，代替標(biāo)準(zhǔn)卷積運(yùn)算操作并對(duì)網(wǎng)絡(luò)末端的全連接層部分進(jìn)行替換。同時(shí)，批歸一化的技術(shù)也被運(yùn)用到訓(xùn)練網(wǎng)絡(luò)的過程，以改善中間層數(shù)據(jù)分布并提高收斂速度［17］。改進(jìn)后網(wǎng)絡(luò)在植物葉片病害數(shù)據(jù)集PlantVillage 上的實(shí)驗(yàn)結(jié)果表明，所提出的輕量級(jí)卷積網(wǎng)絡(luò)在識(shí)別精度與效率方面有了明顯的提高，適用于植物葉片病害識(shí)別的任務(wù)，具有較強(qiáng)的工程實(shí)用性以及較高的研究價(jià)值。

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)基本理論

卷積神經(jīng)網(wǎng)絡(luò)是一種通過多層網(wǎng)絡(luò)互聯(lián)并相互傳遞數(shù)據(jù)信息的常見深度學(xué)習(xí)模型。每一層都具有獨(dú)特的特征來處理輸入數(shù)據(jù)并將其發(fā)送到下一層。卷積神經(jīng)網(wǎng)絡(luò)從輸入待處理圖像到輸出分類結(jié)果的過程，包括:用于獲取數(shù)據(jù)并進(jìn)行預(yù)處理的輸入層、提取圖像高級(jí)特征的卷積層、降采樣的池化層、提高模型非線性的ReLU 激活層、整合卷積層提取的高級(jí)圖像特征的全連接層、在模型最后部分輸出各類別預(yù)測概率的Softmax層。

1.1.1 輸入層

圖像輸入層是CNN 體系結(jié)構(gòu)中的重要組成部分，其將2-D 和3-D圖像作為主要處理對(duì)象。

其中:Input代表圖像輸入層，該層對(duì)給定圖像I進(jìn)行預(yù)處理操作，進(jìn)而得到滿足要求的圖像V作為后續(xù)卷積層輸入；D代表輸入圖像通道數(shù)。

1.1.2 卷積層

該層按照一定的規(guī)則在輸入圖像V=m×n上移動(dòng)卷積內(nèi)核窗口k。內(nèi)核窗口k每次滑動(dòng)的距離由步長Sd決定，具體計(jì)算過程如下:

其中:Fm表示圖像特征信息；Rl表示激活函數(shù)，主要用來改善模型的非線性。

1.1.3 批歸一化層

該層通過改善中間層的數(shù)據(jù)分布，進(jìn)而影響模型優(yōu)化器的梯度下降過程以實(shí)現(xiàn)提高模型收斂性能的目的。它采用了來自前一層卷積的特征圖Fm并將其激活歸一化，該過程可以定義為:

其中:N(·)表示歸一化函數(shù)；ax表示特征圖中統(tǒng)一進(jìn)行均值與方差計(jì)算的坐標(biāo)軸信息；M表示決定均值與方差之間變化的動(dòng)量率。

1.1.4 池化層

對(duì)從批歸一化層獲得的每個(gè)特征圖Fm+1執(zhí)行最大池化操作，以減小圖像大小。步幅Sd的值通常由用戶手動(dòng)選擇。池大小Ps必須按以下方式賦給該層:

1.1.5 全連接層

全連接層主要作用是歸整前面網(wǎng)絡(luò)層獲取的圖像信息，將原本稀疏連接的方式轉(zhuǎn)化為完全連接的形式，如式（5）所示:

1.1.6 Softmax層

該層主要設(shè)計(jì)用于對(duì)全連接層的輸出進(jìn)行分類和預(yù)測，并輸出每個(gè)類別的模型預(yù)測結(jié)果，其計(jì)算式如下:

其中，F(xiàn)(Xi)可以計(jì)算全連接層Yn返回的每個(gè)類別的概率。

1.2 VGG網(wǎng)絡(luò)

VGG 網(wǎng)絡(luò)（VGGNet）是由牛津大學(xué)視覺幾何小組和谷歌的DeepMind的研究人員開發(fā)的一種深度CNN，致力于研究網(wǎng)絡(luò)深度和CNN 性能之間的聯(lián)系［18］。通過反復(fù)堆疊小尺寸卷積層和池化層，建立了一個(gè)網(wǎng)絡(luò)深度為16～19 的深度卷積神經(jīng)網(wǎng)絡(luò)模型，并探索了深度對(duì)網(wǎng)絡(luò)性能的影響。與之前最先進(jìn)的網(wǎng)絡(luò)架構(gòu)相比，VGGNet 的錯(cuò)誤率明顯下降，在2014 年ILSVRC（ImageNet Large Scale Visual Recognition Challenge）競賽中獲得第二名，在定位項(xiàng)目中獲得第一名。在VGGNet 的所有研究中都使用了3×3 卷積內(nèi)核和2×2 池內(nèi)核，通過不斷深化網(wǎng)絡(luò)結(jié)構(gòu)來提高性能。

圖1 給出了具有5 個(gè)卷積模塊的VGG 網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積模塊通常包含2～3 次卷積運(yùn)算。其中，Input、Conv、Pool、FC、Softmax 分別代表輸入層、卷積層、池化層、全連接層和分類層。

圖1 VGG網(wǎng)絡(luò)框架示意圖Fig.1 Schematic diagram of VGG network framework

2 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)

針對(duì)傳統(tǒng)CNN 參數(shù)較多、易過擬合的問題，分別采用深度可分離卷積和全局平均池化策略替換其標(biāo)準(zhǔn)卷積以及全連接層部分。此外，批歸一化的方法也被分別用于調(diào)整中間層數(shù)據(jù)分布和防止模型過度擬合。

2.1 深度可分離卷積

深度可分離卷積完整過程的第一步是深度卷積部分，也叫通道卷積（圖2（b））。給定與特征圖中具有相同通道數(shù)的過濾器數(shù)量，并以通道為單位分別進(jìn)行卷積運(yùn)算，如式（7）。

圖2 深度可分離卷積與標(biāo)準(zhǔn)卷積對(duì)比Fig.2 Comparison between depthwise separable convolution and standard convolution

深度可分卷積的第二步是將第一步輸出的特征圖與通道數(shù)和深度卷積相同且大小為1×1 的卷積核相結(jié)合。逐點(diǎn)卷積核的個(gè)數(shù)在這部分中就代表著提取特征的個(gè)數(shù)，該操作組合了特征圖的各維度，因此減小了通道數(shù)量，其具體計(jì)算過程如式（8）所示:

其中:W是卷積核的權(quán)重矩陣，并且是可訓(xùn)練的；x表示輸入到卷積層的特征圖，(i，j)表示元素的坐標(biāo)索引；m、n和k是卷積核的3個(gè)維度。

2.2 全局平均池化

為了解決傳統(tǒng)網(wǎng)絡(luò)易過擬合的問題，在卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中引入了全局池化層來代替全連接層，將卷積層輸出的多個(gè)特征圖以自身為單位進(jìn)行映射，映射結(jié)果為一個(gè)特征點(diǎn)。多個(gè)特征點(diǎn)便得到了與上述特征展開相似的一維向量，而后傳入Softmax層中進(jìn)行分類。

2.3 批歸一化

批歸一化層的主要目的是解決網(wǎng)絡(luò)深入化導(dǎo)致的中間數(shù)據(jù)分布不均影響模型學(xué)習(xí)效率的問題。具體來說，對(duì)于具有n維輸入的層x=(x1，x2，…，xn)。

首先，對(duì)每個(gè)單元所表示的特征進(jìn)行歸一化，使其具有0均值和1標(biāo)準(zhǔn)差。

其中:E[xi]是每個(gè)單元的平均值；表示標(biāo)準(zhǔn)偏差。通過引入?yún)?shù)γi和βi對(duì)激活值進(jìn)行移動(dòng)和縮放來解決原有表征改變的問題，變換式如下:

該變換在Wxn的每個(gè)維度中獨(dú)立使用，具有一對(duì)獨(dú)立學(xué)習(xí)參數(shù)γn和βn，xn和W分別表示輸入數(shù)據(jù)集和權(quán)重矩陣。

2.4 算法架構(gòu)與分析

圖3 給出了VGG16 網(wǎng)絡(luò)的架構(gòu)示意圖，可以看到隨著特征提取的進(jìn)行，特征圖的尺寸由于池化層的作用而不斷減小，維度由于卷積核個(gè)數(shù)的增多不斷增加。算法逐步提取出更多且更高級(jí)的圖像特征信息，以更好地勝任分類識(shí)別任務(wù)。此外，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的算法各層級(jí)信息如表1 所示，其中:“3，3”代表卷積核大??；“DSConv”代表深度可分離卷積；“64/S1”代表卷積核個(gè)數(shù)與卷積步長。以第一層“3，3 DSConv，64/S1”為例，該層參數(shù)由逐通道卷積與逐點(diǎn)卷積兩部分組成（如2.1 節(jié)介紹），首先逐通道卷積部分參數(shù)為“卷積核大小×輸入通道數(shù)”即“32×3”，其次逐點(diǎn)卷積部分為“點(diǎn)卷積核大小×輸入通道數(shù)×卷積核個(gè)數(shù)”即“(1×1×3)×64”。同理可得第二層參數(shù)，區(qū)別在于輸入通道數(shù)由3 變?yōu)?4。從表1 中可以明顯看出，加入全局平均池化策略后節(jié)省了傳統(tǒng)全連接層大量的參數(shù)，如果不采用GAP 方法改進(jìn)該部分，則全連接fc1層的參數(shù)為8×8×512×4 096=134 217 728。

表1 改進(jìn)網(wǎng)絡(luò)的各層級(jí)信息Tab.1 Information of different levels of improved network

圖3 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.3 Architecture of lightweight convolution neural network

為解決傳統(tǒng)網(wǎng)絡(luò)進(jìn)行植物葉片病害識(shí)別過程產(chǎn)生的過擬合問題，本文采用深度可分離卷積與全局平均池化策略分別代替標(biāo)準(zhǔn)卷積運(yùn)算與全連接層進(jìn)行網(wǎng)絡(luò)優(yōu)化。具體來說，深度可分離卷積通過將標(biāo)準(zhǔn)卷積運(yùn)算拆分為逐通道卷積與逐點(diǎn)卷積以減少卷積層部分參數(shù)。如果輸出通道的數(shù)量為o，那么標(biāo)準(zhǔn)卷積層所需的總參數(shù)為m×n×k×o。深度可分離卷積運(yùn)算的參數(shù)則由逐通道與逐點(diǎn)卷積兩部分組成，為m×n×k+k×o，它們之間的比例是。而在時(shí)間復(fù)雜度方面，深度可分離卷積同樣具有一定的優(yōu)勢，設(shè)M和K分別表示特征映射和卷積核的大小，Cin和Cout分別表示輸入和輸出通道的數(shù)目，則標(biāo)準(zhǔn)卷積的時(shí)間復(fù)雜度是O～(M2×K2×Cin×Cout)，深度可分離卷積的復(fù)雜度可表示為O～(M2×K2×Cin+M2×Cin×Cout)，當(dāng)輸出通道數(shù)較大時(shí)，方法之間的復(fù)雜度差異更加明顯。因此，本文采用深度可分離卷積來替代傳統(tǒng)的標(biāo)準(zhǔn)卷積運(yùn)算以減少卷積層部分復(fù)雜度，防止過擬合現(xiàn)象產(chǎn)生。之間的對(duì)應(yīng)關(guān)系，另一個(gè)優(yōu)點(diǎn)在于對(duì)特征圖求均值的操作不需要額外的參數(shù)，與大量參數(shù)構(gòu)成的全連接層相比能夠避免訓(xùn)練集過度擬合的現(xiàn)象發(fā)生。此外，全局收斂對(duì)空間信息進(jìn)行了總結(jié)，因此所構(gòu)造的特征向量對(duì)于輸入圖像的空間平移具有更強(qiáng)的魯棒性。在植物葉片病害識(shí)別中，使用全局平均池比全連接操作有更好的識(shí)別效果，因?yàn)镚AP 可以實(shí)現(xiàn)對(duì)于數(shù)據(jù)的降維和參數(shù)的壓縮，有效地防止過擬合發(fā)生并增強(qiáng)模型泛化能力。由于在GAP 中不需要對(duì)參數(shù)進(jìn)行優(yōu)化，因此可以有效地克服過擬合并減少參數(shù)訓(xùn)練的時(shí)間。此外，批歸一化操作的引入有效地解決了網(wǎng)絡(luò)中間層數(shù)據(jù)分布不均的問題，按特征維度求均值與標(biāo)準(zhǔn)差進(jìn)而進(jìn)行歸一化的操作改善了特征分布情況，對(duì)收斂速度與精度均產(chǎn)生了較好的影響。

3 植物葉片病害識(shí)別實(shí)驗(yàn)

而對(duì)于傳統(tǒng)算法中參數(shù)量龐大的全連接層部分，本文采用全局平均池化策略對(duì)其進(jìn)行優(yōu)化。全局平均池化層對(duì)卷積層輸出的特征向量逐通道求取特征均值，通道數(shù)對(duì)應(yīng)分類器所需的類別數(shù)。其優(yōu)點(diǎn)之一是增強(qiáng)了提取的特征映射和類別

3.1 數(shù)據(jù)集及預(yù)處理

本文將深度學(xué)習(xí)模型架構(gòu)在植物葉片圖像上進(jìn)行了訓(xùn)練，然后對(duì)該模型未見過的圖像進(jìn)行疾病分類和識(shí)別。該研究使用 了PlantVillage［19］的公共 數(shù)據(jù)集。PlantVillage 擁 有54 306 張圖像，其中包括14 種農(nóng)作物上的26 種常見病害，共38類。選取原始數(shù)據(jù)集中部分圖像進(jìn)行展示，如圖4所示，分別為:蘋果瘡痂病、黑腐病、銹病、健康葉；玉米灰斑病、銹病、枯葉病、健康葉；番茄靶斑病、菌斑病、黃曲葉病、健康葉。

圖4 植物葉片病害數(shù)據(jù)集部分圖像Fig.4 Some images of plant leaf disease dataset

通過整理數(shù)據(jù)可以發(fā)現(xiàn)，植物葉片數(shù)據(jù)存在對(duì)比度較低、樣本分布不平衡等問題，這會(huì)在一定程度上影響訓(xùn)練的速度以及收斂精度。因此，分別利用直方圖均衡化以及數(shù)據(jù)擴(kuò)充技術(shù)加以改善（如圖5 所示）。在本文研究中利用Python 腳本語言編寫程序，采用隨機(jī)旋轉(zhuǎn)角度、隨機(jī)縮放原圖、隨機(jī)水平/垂直翻轉(zhuǎn)操作實(shí)現(xiàn)樣本數(shù)據(jù)的增強(qiáng)。在對(duì)少量樣本數(shù)據(jù)類數(shù)據(jù)擴(kuò)充的同時(shí)也對(duì)大量樣本數(shù)據(jù)類進(jìn)行刪減操作，最終使得各類樣本數(shù)據(jù)均為1 500張。

圖5 植物葉片病害圖像預(yù)處理過程Fig.5 Preprocessing process of plant leaf disease image

3.2 實(shí)驗(yàn)環(huán)境及設(shè)置

實(shí)驗(yàn)在圖形處理單元（Graphics Processing Unit，GPU）模式下進(jìn)行，實(shí)驗(yàn)所用計(jì)算機(jī)的詳細(xì)配置為:內(nèi)存16 GB，Nvidia GTX980Ti顯卡，使用的操作系統(tǒng)為64位Ubuntu 16.04。實(shí)驗(yàn)選用的腳本語言為Python，并安裝OpenCV 圖像處理庫、Pytorch深度學(xué)習(xí)框架。

實(shí)驗(yàn)以小批量的形式進(jìn)行，每批同時(shí)用32 張圖片進(jìn)行訓(xùn)練/測試。損失函數(shù)優(yōu)化器采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）算法，學(xué)習(xí)率采用warmup 更新策略（如圖6 所示）。初始學(xué)習(xí)率為1E-6，最大學(xué)習(xí)率為1E-2，預(yù)熱周期為3 個(gè)epoch，動(dòng)量為0.9，權(quán)重衰減系數(shù)為1E-3。此外，在優(yōu)化器的warmup 階段結(jié)束后，學(xué)習(xí)速率的更新方式是，如果當(dāng)前epoch 的測試精度低于上一個(gè)epoch 的測試精度，學(xué)習(xí)率衰減到原來的1/2。遍歷測試集中的所有圖片一次稱為一個(gè)epoch，在訓(xùn)練階段執(zhí)行15個(gè)epoch。

圖6 warmup學(xué)習(xí)率調(diào)整方式示意圖Fig.6 Schematic diagram of warmup learning rate adjustment mode

3.3 實(shí)驗(yàn)結(jié)果與討論分析

本節(jié)中改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)被用于解決植物葉片病害識(shí)別問題，實(shí)驗(yàn)可以被分為五部分，分別探究數(shù)據(jù)集擴(kuò)充、改進(jìn)策略加入、不同初始化與激活函數(shù)、全局池化類型對(duì)測試精度的影響以及與其他植物病害識(shí)別技術(shù)的對(duì)比。

3.3.1 數(shù)據(jù)集擴(kuò)充對(duì)測試精度的影響

3.1 節(jié)介紹了對(duì)PlantVillage 數(shù)據(jù)集的擴(kuò)充操作，將樣本分布不平衡的原始數(shù)據(jù)集調(diào)整為每類均有1 500 張圖像的數(shù)據(jù)集。表2 展示了算法改進(jìn)前后在原始數(shù)據(jù)集和擴(kuò)充后數(shù)據(jù)集上的評(píng)估指標(biāo)值對(duì)比情況。本節(jié)實(shí)驗(yàn)中選擇的準(zhǔn)確度評(píng)價(jià)指標(biāo)的計(jì)算方法是38 類正確預(yù)測樣本數(shù)與測試集大小的比值。平均查準(zhǔn)率和平均F1 評(píng)分為各類別查準(zhǔn)率和F1 評(píng)分的平均值。

表2 擴(kuò)充數(shù)據(jù)集前后算法性能指標(biāo)對(duì)比Tab.2 Comparison of algorithm performance indexes before and after extending dataset

從表2 中可以看出，使用數(shù)據(jù)增強(qiáng)操作處理后的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，傳統(tǒng)網(wǎng)絡(luò)和改進(jìn)后網(wǎng)絡(luò)在各指標(biāo)上均有所提升，提升比例約為1 個(gè)百分點(diǎn)。例如原始模型的測試精度從97.281%提升至98.304%；平均查準(zhǔn)率從97.294%提升至98.306%；平均F1 評(píng)分從97.367%提升至98.301%。對(duì)于特征信息獲取方面，通過隨機(jī)縮放、旋轉(zhuǎn)、翻轉(zhuǎn)等操作對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng)，得到的擴(kuò)充數(shù)據(jù)集能夠幫助模型學(xué)習(xí)到更加魯棒且更具判別性的特征，這類特征的泛化性能更好，進(jìn)而在訓(xùn)練集上進(jìn)行測試同樣得到了更高的精度。對(duì)于數(shù)據(jù)分布方面，擴(kuò)充后的數(shù)據(jù)集中各類訓(xùn)練樣本數(shù)量相同、分布均勻，這使得模型對(duì)于各類別的學(xué)習(xí)過程不會(huì)偏向某一類或某幾類，得到的模型泛化能力較強(qiáng)，進(jìn)而在指標(biāo)結(jié)果中得以體現(xiàn)。

3.3.2 改進(jìn)策略對(duì)測試精度的影響

本節(jié)將從測試精度和訓(xùn)練時(shí)間兩個(gè)方面分析改進(jìn)策略對(duì)實(shí)驗(yàn)結(jié)果的影響。測試精度反映了模型解決當(dāng)前植物病害分類問題的能力，訓(xùn)練時(shí)間反映了模型獲得解決當(dāng)前問題能力所花費(fèi)的成本。

圖7 顯示了傳統(tǒng)模型和改進(jìn)模型在擴(kuò)展數(shù)據(jù)集上的精度和損失的比較結(jié)果?？梢钥闯?，改進(jìn)模型的收斂精度優(yōu)于原模型（迭代停止時(shí)更高的測試精度以及更低的測試損失），這是因?yàn)樯疃瓤煞蛛x卷積和全局平均池化策略的結(jié)合有效地減少了模型的參數(shù)量，避免了模型對(duì)當(dāng)前訓(xùn)練樣本的識(shí)別能力較好而測試樣本的識(shí)別較差的過擬合現(xiàn)象發(fā)生，提高了其泛化和適應(yīng)新樣本的能力，進(jìn)而在測試集上獲得了更好的收斂精度，而原始模型由于其龐大的參數(shù)量導(dǎo)致其在測試集上的泛化性能較差，并不能在學(xué)習(xí)過程中獲得更具判別性的圖像特征。從收斂速度方面來看，改進(jìn)后算法在第8個(gè)epoch 開始收斂，而原始算法在第7 個(gè)epoch 開始收斂，盡管收斂速度較慢于傳統(tǒng)模型，但綜合精度與速度可以發(fā)現(xiàn)，改進(jìn)后的模型有效地避免了測試集過擬合的現(xiàn)象發(fā)生，能夠在解空間內(nèi)獲得更為優(yōu)異的參數(shù)。

圖7 擴(kuò)展數(shù)據(jù)集上傳統(tǒng)模型和改進(jìn)模型的性能比較Fig.7 Performance comparison between traditional model and improved model on extended dataset

表3 給出了不同改進(jìn)策略組合對(duì)模型測試結(jié)果的影響，包含骨干網(wǎng)絡(luò)分別結(jié)合深度可分離卷積與全局平均池化后的測試精度與測試損失。從表3 中可以看出，對(duì)標(biāo)準(zhǔn)卷積運(yùn)算和全連接層的改進(jìn)都帶來了性能的提升，而后者的效果更為明顯。這是因?yàn)閷?dǎo)致傳統(tǒng)網(wǎng)絡(luò)過擬合現(xiàn)象產(chǎn)生的關(guān)鍵在于參數(shù)量龐大的全連接層，對(duì)此部分進(jìn)行優(yōu)化能更好地解決該問題。但通過逐通道卷積與逐點(diǎn)卷積相結(jié)合的方式代替標(biāo)準(zhǔn)卷積運(yùn)算的操作也能夠在一定程度上減少卷積層部分的參數(shù)量，并獲得較高的測試精度，這也從側(cè)面說明了本文方法將兩者結(jié)合的可行性與有效性。觀察實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，深度可分離卷積與全局平均池化策略的結(jié)合使模型在測試階段獲得了最高的精度與最低的損失，進(jìn)一步驗(yàn)證了所提方法的可靠性與高效性。

表3 不同改進(jìn)策略組合的測試結(jié)果Tab.3 Test results of different combinations of improvement strategies

表4 給出了網(wǎng)絡(luò)改進(jìn)前后參數(shù)量及運(yùn)行時(shí)間的比較，可以看出改進(jìn)后的網(wǎng)絡(luò)參數(shù)量遠(yuǎn)小于改進(jìn)前參數(shù)量，這是由于全連接層占據(jù)了原始網(wǎng)絡(luò)的絕大部分參數(shù)，而采用的全局平均池化策略替換了原有的全連接層，減少了網(wǎng)絡(luò)的主要參數(shù)；此外，深度可分卷積部分將標(biāo)準(zhǔn)卷積分成逐通道卷積和逐點(diǎn)卷積兩部分，進(jìn)一步降低了原卷積層部分的參數(shù)，極大改善了復(fù)雜網(wǎng)絡(luò)的易過擬合特性，在參數(shù)量較少的同時(shí)，提高了測試精度。從程序運(yùn)行時(shí)間方面看，在每批訓(xùn)練32 個(gè)樣本的情況下，原始模型需要586 s 的時(shí)間，而改進(jìn)模型僅需要233 s。程序總時(shí)間上的差別更加明顯，訓(xùn)練15 個(gè)epoch 花費(fèi)的時(shí)間相差109.615 min，體現(xiàn)了改進(jìn)后模型在訓(xùn)練成本方面的優(yōu)異性。綜合來看，改進(jìn)后的模型參數(shù)量顯著降低，其成效不但體現(xiàn)在防止過擬合進(jìn)而提高測試精度方面，同樣體現(xiàn)在訓(xùn)練所需的時(shí)間成本方面，具有很強(qiáng)的工程實(shí)用性。

表4 算法改進(jìn)前后參數(shù)量及運(yùn)行時(shí)間比較Tab.4 Comparison of parameter number and running time before and after improvement

3.3.3 初始化類型與激活函數(shù)對(duì)測試精度的影響

在本節(jié)中，針對(duì)不同初始化方法與激活函數(shù)類型的模型進(jìn)行性能測試，進(jìn)一步優(yōu)化模型。網(wǎng)絡(luò)參數(shù)的初始化方式對(duì)于模型的學(xué)習(xí)過程以及最終的測試精度均有一定的影響:較好的初始化值能夠加快優(yōu)化算法對(duì)其數(shù)值調(diào)整的速度，進(jìn)而提高收斂速度；而較差的初始化值不但會(huì)減緩優(yōu)化的進(jìn)程，甚至?xí)?dǎo)致算法陷入局部最優(yōu)。具體來說，本文將初始化類型分為高斯初始化和Xavier初始化，激活函數(shù)類型分為ReLU 和PReLU。

實(shí)驗(yàn)結(jié)果如表5 所示，可以發(fā)現(xiàn)使用Xavier 初始化方法與PReLU 激活函數(shù)均能帶來性能的提升，而且這兩種改進(jìn)方式的結(jié)合使得測試精度進(jìn)一步提高。

表5 初始化類型與激活函數(shù)對(duì)測試結(jié)果的影響Tab.5 Influence of initialization type and activation function on test results

具體來說，Xavier 初始化方法的目標(biāo)是使得每一層輸出的方差應(yīng)盡量相等，這與2.3 節(jié)中批歸一化方法的作用相類似，即改善中間層的分布情況。因此，引入該初始化方法后的模型獲得了更為優(yōu)異的初始分布，優(yōu)化了模型的學(xué)習(xí)過程。而PReLU 函數(shù)通過引入?yún)?shù)改善了傳統(tǒng)ReLU 激活函數(shù)負(fù)半軸激活值為0 的死區(qū)，使網(wǎng)絡(luò)所學(xué)習(xí)的特征更加具有魯棒性與判別性，進(jìn)一步提高其在測試集上的精度。從結(jié)果上看，僅使用Xavier 初始化可以提升精度0.012 個(gè)百分點(diǎn)，僅使用PReLU 激活函數(shù)可以提升0.007 個(gè)百分點(diǎn)，而結(jié)合使用的方式可以提高0.035 個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，改善初始化方法以及激活函數(shù)類型均能夠提高模型對(duì)于測試樣本的識(shí)別性能，而且本文所提模型的性能仍具有一定的提升空間，結(jié)合近年來神經(jīng)網(wǎng)絡(luò)改進(jìn)策略，有一定的潛力達(dá)到更高的識(shí)別準(zhǔn)確率，更具應(yīng)用前景。

3.3.4 全局池化類型對(duì)測試精度的影響

本節(jié)探討改進(jìn)后網(wǎng)絡(luò)全局池化部分的不同類型對(duì)算法性能所產(chǎn)生的影響。具體來說，改進(jìn)策略中的全局池化方法分為全局最大池化和全局平均池化，區(qū)別在于從給定的特征映射到輸出節(jié)點(diǎn)的轉(zhuǎn)換過程是計(jì)算所有元素的最大值還是平均值，分別對(duì)應(yīng)于顯著表達(dá)和整體表達(dá)。

表6 給出了全局平均池化以及全局最大池化的測試結(jié)果，可以看出，相較于最大池化，全局平局池化在當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)上表現(xiàn)出更好的適應(yīng)性，得到了更高的測試精度以及更小的測試損失，表明對(duì)于當(dāng)前數(shù)據(jù)集合，提取其整體特征的效果相較于顯著特征的效果更好，即獲取更具判別性的整體信息意義較大，對(duì)樣本局部特征的綜合與總結(jié)有助于模型判別目標(biāo)，但這不足以說明全局最大池化在解決圖像分類問題中的意義和價(jià)值，畢竟沒有方法可以普遍適用全部模型以及全部問題，因此需探究不同改進(jìn)策略對(duì)網(wǎng)絡(luò)的影響。

表6 全局池化類型對(duì)測試結(jié)果的影響Tab.6 Influence of global pooling type on test results

3.3.5 與其他植物病害識(shí)別技術(shù)的對(duì)比

為客觀而全面地評(píng)估所提網(wǎng)絡(luò)模型的性能，在本節(jié)引入其他學(xué)者解決PlantVillage 數(shù)據(jù)集圖像識(shí)別問題的方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表7 所示。由表7 中可以發(fā)現(xiàn)，本文方法獲得了最高的測試精度以及F1 評(píng)分，提升效果為1～2 個(gè)百分點(diǎn)，且相較于文獻(xiàn)［20］方法節(jié)省了88.5%的參數(shù)，兼顧了識(shí)別準(zhǔn)確率與資源利用率。相較于文獻(xiàn)［20］中采用群智能優(yōu)化算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化的策略相比，本文對(duì)于優(yōu)化器方法部分沒有進(jìn)行改動(dòng)，僅選擇了標(biāo)準(zhǔn)的SGD 優(yōu)化算法，但全局平均池化以及深度可分離卷積等策略的引入極大地減少了網(wǎng)絡(luò)參數(shù)，獲得了相較于改進(jìn)優(yōu)化器方法更好的泛化能力與測試精度。與文獻(xiàn)［21］方法相比，本文方法對(duì)于過擬合問題的處理采用了GAP 與DSC 策略相結(jié)合的方法，比單獨(dú)改進(jìn)卷積方式效果更為明顯，取得了參數(shù)量與測試精度間的平衡。

表7 不同方法在PlantVillage數(shù)據(jù)集上的性能對(duì)比Tab.7 Performance comparison of different methods on PlantVillage dataset

此外，為更好地分析本文網(wǎng)絡(luò)獲得圖像特征表達(dá)的過程，分別將各模塊中卷積層的輸出特征圖可視化，如圖8 所示。由圖8 可以看出，隨著網(wǎng)絡(luò)層數(shù)的提高，所提取的圖像特征越來越抽象，特征的紋理性逐漸被更高級(jí)的語義性所取代；而本文提出的網(wǎng)絡(luò)從過程上看獲得了較為豐富的邊緣信息，從結(jié)果上看又取得了較高的識(shí)別精度，適用于植物葉片病害的識(shí)別。

圖8 可視化卷積特征圖Fig.8 Visual convolution feature maps

4 結(jié)語

本文提出了一種輕量級(jí)網(wǎng)絡(luò)模型來解決生產(chǎn)實(shí)際中植物葉片病害識(shí)別困難、智能化較差的問題。該網(wǎng)絡(luò)將深度可分離卷積與全局平均池化相結(jié)合，有效地提高了測試精度，減少了程序運(yùn)行時(shí)間?？偨Y(jié)來說，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)不但具有可觀的測試精度，并且運(yùn)行速度、內(nèi)存占用量方面也優(yōu)勢明顯，較好地解決了植物病害圖像識(shí)別問題，為后續(xù)相關(guān)研究提供了可靠的技術(shù)支持。在未來將會(huì)側(cè)重研究調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)對(duì)測試結(jié)果的影響。此外，其他植物葉片病害數(shù)據(jù)集的擴(kuò)展研究也將被考慮在內(nèi)，測試并改進(jìn)現(xiàn)有算法，提高模型對(duì)于這類問題的泛化能力。