基于Caffe卷積神經(jīng)網(wǎng)絡(luò)的大豆病害檢測(cè)系統(tǒng)

蔣豐千，李 旸，*，余大為，孫 敏，張恩寶

(1.安徽農(nóng)業(yè)大學(xué) 信息與計(jì)算機(jī)學(xué)院，安徽 合肥 230036； 2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)集成與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230036)

大豆又稱黃豆，屬于雙子葉植物綱大豆屬的一年生草本類植物，外表通常呈褐色硬毛狀，其主產(chǎn)地位于我國(guó)東北地區(qū)。大豆因含有豐富的植物蛋白質(zhì)而被廣大居民所喜愛(ài)[1]。然而大豆病害帶來(lái)的一系列問(wèn)題給農(nóng)業(yè)生產(chǎn)造成了巨大經(jīng)濟(jì)損失，也時(shí)刻影響著我國(guó)農(nóng)產(chǎn)品市場(chǎng)的穩(wěn)定[2]。深度學(xué)習(xí)算法作為目前圖像識(shí)別領(lǐng)域的一大熱點(diǎn)，其主要實(shí)現(xiàn)方式是以卷積神經(jīng)網(wǎng)絡(luò)為代表的神經(jīng)網(wǎng)絡(luò)算法。該算法與傳統(tǒng)圖像處理技術(shù)相比，擁有較高自主學(xué)習(xí)能力，同時(shí)還精簡(jiǎn)了許多復(fù)雜而繁瑣的圖像預(yù)處理環(huán)節(jié)[3]。我們?cè)诜治龊脱芯看蠖沟?種主要病害(葉斑病、花葉病、霜霉病和灰斑病)的基礎(chǔ)上，利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)設(shè)計(jì)了關(guān)于大豆病害的識(shí)別模型，并以此為基礎(chǔ)引進(jìn)了相關(guān)的優(yōu)化措施。

1 材料制作

1.1 樣本采集

本實(shí)驗(yàn)樣本主要來(lái)源于安徽農(nóng)業(yè)大學(xué)重點(diǎn)實(shí)驗(yàn)室提供的樣本原型以及國(guó)內(nèi)各大農(nóng)業(yè)網(wǎng)站提供的圖片素材，共計(jì)400張圖片。并將其分為4組，每組再細(xì)分為訓(xùn)練集和識(shí)別集，分別為80張和20張大豆病害圖片。部分實(shí)驗(yàn)圖片如圖1所示。

在對(duì)大豆病害圖像的采集和研究中可知，葉斑病多發(fā)于大豆的葉片部位，初期多為不規(guī)則灰白色病斑，后期病斑干枯并伴有黑色小粒點(diǎn)[4]?；野卟≈饕l(fā)生于葉片，但在莖、莢等部位也會(huì)出現(xiàn)，發(fā)病時(shí)首先出現(xiàn)褐色小斑點(diǎn)，后期擴(kuò)展為圓形或不規(guī)則病斑，邊緣多為褐色或黑色。霜霉病的發(fā)病對(duì)象主要是幼苗或成株的葉片，發(fā)病時(shí)葉片會(huì)出現(xiàn)大的塊狀病斑并布滿白色霉層，導(dǎo)致提早落葉等現(xiàn)象發(fā)生[5]。花葉病則是一種病毒病，癥狀較多，常見(jiàn)的有花葉皺縮、植株矮小等[6]。

1.2 樣本預(yù)處理

在提高神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的有效性時(shí)，本實(shí)驗(yàn)借助OpenCV庫(kù)對(duì)采集的大豆病害圖像進(jìn)行二值化和輪廓分割等預(yù)處理[7]，以此來(lái)去除噪聲和冗余信息并突出圖像中主要病害特征[8]。其中，OpenCV為一種跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，其建立之初便憑借其在處理圖像時(shí)的高效性以及對(duì)于Linux、Windows等多平臺(tái)的包容性而迅速流行起來(lái)并受到廣大科學(xué)研究者的喜愛(ài)[9]。

在完成大豆病害圖像的ROI區(qū)域提取時(shí)主要利用了OpenCV中的FindContours函數(shù)來(lái)完成[10]，該函數(shù)的主要功能為實(shí)現(xiàn)圖像的輪廓檢測(cè)并以鏈表的形式將得到的輪廓信息進(jìn)行保存且該函數(shù)的處理對(duì)象需為二值圖[11]。因此，首先進(jìn)行圖像的灰度化和二值化，而后利用該函數(shù)尋找輪廓信息并使用最小外接矩形對(duì)其進(jìn)行標(biāo)記[12]，在此基礎(chǔ)上利用R、G、B三通道獨(dú)立賦值實(shí)現(xiàn)目標(biāo)區(qū)域的分割和保存。具體實(shí)現(xiàn)過(guò)程如圖2-圖4所示。

圖1 大豆病害圖像樣本Fig.1 Soybean disease image sample

圖2 大豆病害圖像預(yù)處理Fig.2 Preprocessing of soybean disease image

圖3 目標(biāo)區(qū)域的定位Fig.3 Location of the target area

2 模型設(shè)計(jì)

2.1 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

2.1.1 Swish函數(shù)

(1)飽和激活函數(shù)

對(duì)于激活函數(shù)h(x)，當(dāng)x無(wú)限趨近于正無(wú)窮時(shí)，其導(dǎo)函數(shù)為0，稱其為右飽和；當(dāng)x無(wú)限趨近于負(fù)無(wú)窮時(shí)，其導(dǎo)函數(shù)為0，則稱其為左飽和；當(dāng)h(x)符合該條件下，即稱其為飽和函數(shù)[13]?？紤]到神經(jīng)網(wǎng)絡(luò)算法在使用誤差逆?zhèn)鞑ニ惴▋?yōu)化網(wǎng)絡(luò)參數(shù)時(shí)，其激活函數(shù)若出現(xiàn)飽和現(xiàn)象，則會(huì)降低網(wǎng)絡(luò)的訓(xùn)練速度和效果，嚴(yán)重時(shí)會(huì)出現(xiàn)梯度彌散等現(xiàn)象[14]。

(2)Swish函數(shù)特性

Swish激活函數(shù)是在2017年10月由Google團(tuán)隊(duì)提出的一種新的激活函數(shù)，具體的數(shù)學(xué)公式如下[15]：

(1)

式中：f(x)為Swish函數(shù)激活后的輸出；x為Swish函數(shù)激活前的輸入。

由該公式可得其圖像和導(dǎo)函數(shù)特性，具體如圖5所示。

由上圖Swish和Sigmoid的函數(shù)圖像對(duì)比分析中可以得出，Swish激活函數(shù)具有一般激活函數(shù)的通性，即存在上界的獨(dú)特的非單調(diào)性。此外，由其導(dǎo)函數(shù)圖像可知其具有一定的平滑性，可有效緩解大部分神經(jīng)網(wǎng)絡(luò)因激活函數(shù)存在的飽和現(xiàn)象而產(chǎn)生的彌散問(wèn)題[16]。

2.1.2 BN算法

為提高神經(jīng)網(wǎng)絡(luò)模型對(duì)于復(fù)雜事物的學(xué)習(xí)能力，訓(xùn)練過(guò)程中常使用激活函數(shù)，但激活函數(shù)在引入非線性因素提高學(xué)習(xí)能力的同時(shí)隨著網(wǎng)絡(luò)深度的不斷加深會(huì)導(dǎo)致輸入值(非線性變換前)產(chǎn)生偏移，進(jìn)而使得神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)層較低處發(fā)生梯度消失，從而大幅度影響網(wǎng)絡(luò)的訓(xùn)練速度。針對(duì)該問(wèn)題，BN算法則是在激活函數(shù)前利用重構(gòu)變換等歸一化手段處理輸入值，使其變換為標(biāo)準(zhǔn)正態(tài)分布[17]。而標(biāo)準(zhǔn)正態(tài)分布的點(diǎn)大多存在于激活函數(shù)的敏感區(qū)域，可有效避免梯度消失現(xiàn)象的發(fā)生。具體步驟如下：

以一個(gè)批次(樣本為n)為單位，計(jì)算其均值u和方差σ[18]

(2)

(3)

利用批次均值和方差實(shí)現(xiàn)數(shù)據(jù)的歸一化

(4)

考慮到σ取值為零的情況發(fā)生，需設(shè)置常量。

為保證原始數(shù)據(jù)特征分布在數(shù)據(jù)歸一化過(guò)程中的完整性，利用重構(gòu)變換和訓(xùn)練學(xué)習(xí)的方式來(lái)得到下式中的γi與βi，從而對(duì)原始數(shù)據(jù)進(jìn)行完整的復(fù)原。

yi=γixi+βi；

(5)

(6)

βi=E[x]。

(7)

式中：Var為方差函數(shù)；γi為輸入xi的標(biāo)準(zhǔn)差；βi為輸入xi的均值；E為均值函數(shù)。

2.2 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

本實(shí)驗(yàn)?zāi)Ｐ偷脑O(shè)計(jì)主要以傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5為基礎(chǔ)，對(duì)其進(jìn)行了結(jié)構(gòu)層數(shù)量和種類的改進(jìn)并利用Swish激活函數(shù)和BN算法對(duì)模型進(jìn)行了優(yōu)化。具體結(jié)構(gòu)如圖6所示：

圖6中模型的輸入層不是原始圖像，而是對(duì)一張病害圖像中出現(xiàn)的多處病害情況進(jìn)行ROI定位和提取后得到的若干獨(dú)立小圖，從而充分保證了模型在訓(xùn)練時(shí)學(xué)習(xí)到不同程度的病害特征，避免了數(shù)據(jù)的單一性，有效地提高了模型的泛化能力。其中，特征提取層分別由3層卷積層(步長(zhǎng)為1)、3層BN層、3層激活層和4層池化層(最大池化)交替疊加構(gòu)成，在提取到圖像的高維特征后再利用3層全連接層進(jìn)行下一步的學(xué)習(xí)任務(wù)并將得到的結(jié)果送入分類器進(jìn)行大豆病害種類的識(shí)別。具體參數(shù)(Cx表示卷積層，Sx表示子采樣層，F(xiàn)x表示全連接層)如表1所示：

3 實(shí)驗(yàn)仿真及UI界面設(shè)計(jì)

本次實(shí)驗(yàn)?zāi)Ｐ突赨buntu16.0.4操作系統(tǒng)，并安裝配備了Caffe深度學(xué)習(xí)框架和UI界面設(shè)計(jì)軟件Qt5.3。其中，Caffe框架在各大操作系統(tǒng)中都表現(xiàn)出了強(qiáng)大的通用性，加上其在圖像處理領(lǐng)域中的便捷性，該框架一經(jīng)提出便受到了國(guó)內(nèi)外研究學(xué)者和眾多人工智能企業(yè)的推崇和喜愛(ài)。此次實(shí)驗(yàn)過(guò)程中，針對(duì)優(yōu)化措施有效性的驗(yàn)證，加入了傳統(tǒng)LeNet-5模型在同樣條件下的實(shí)驗(yàn)性能，利用在測(cè)試集上的準(zhǔn)確率(Train acc)和驗(yàn)證集上的泛化率(Val acc)與優(yōu)化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，具體數(shù)據(jù)如表2所示。

圖6 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化模型Fig.6 Convolutional neural network optimization model

表1 神經(jīng)網(wǎng)絡(luò)架構(gòu)層參數(shù)

Table 1 Neural network architecture layer parameters

網(wǎng)絡(luò)層Network layerC1S1C2S2C3S3F4F5F6特征圖個(gè)數(shù)Characteristic number32326464128128———輸入尺寸Input size100×100100×10050×5050×5025×2525×255×5×1281024512內(nèi)核尺寸Kernel size5×52×25×52×25×55×5———輸出尺寸Output size100×10050×5050×5025×2525×255×5102451252

“—”表示無(wú)該數(shù)據(jù)。

“—” indicated no data.

由表2可知，在相同條件下，傳統(tǒng)的LeNet-5模型的準(zhǔn)確率僅僅只有81%，而優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型則達(dá)到了92%。在象征泛化能力的擬合率上，優(yōu)化后的網(wǎng)絡(luò)模型較LeNet-5模型則提高了15個(gè)百分點(diǎn)。綜上所述，該模型經(jīng)優(yōu)化后相對(duì)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，其識(shí)別的準(zhǔn)確率和泛化率均有一定的提升，對(duì)于大豆病害種類具有良好的識(shí)別能力。

在UI界面設(shè)計(jì)階段，本實(shí)驗(yàn)主要利用了Qt Creator來(lái)開(kāi)發(fā)Ubuntu下基于Caffe的圖形化界面。QT是一個(gè)跨平臺(tái)的C++圖形用戶界面庫(kù)，由挪威TrollTech公司出品和維護(hù)。其開(kāi)發(fā)環(huán)境具有十分豐富的API和詳實(shí)的開(kāi)發(fā)文檔，加之其具有的良好的多平臺(tái)通用性使得其迅速成為眾多軟件設(shè)計(jì)工程師在開(kāi)發(fā)UI界面時(shí)的不二之選。本實(shí)驗(yàn)在設(shè)計(jì)UI界面時(shí)考慮到大豆種植戶使用的便捷性，僅對(duì)主要的顯示界面進(jìn)行設(shè)計(jì)，具體的顯示界面和系統(tǒng)流程如圖7所示。

在識(shí)別結(jié)果上，本實(shí)驗(yàn)采取了病害類型加匹配度的方式，充分考慮了結(jié)果的多樣性和客觀性，此外，還為每種病害提供給了相應(yīng)的治療措施。實(shí)驗(yàn)測(cè)試圖如圖8所示。

表2 優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的精度比較

Table 2 Comparison of the precision between the optimized convolution neural network and the traditional convolution neural network

指標(biāo)次數(shù)Index numberLeNet-5卷積神經(jīng)網(wǎng)絡(luò)LeNet-5 CNN準(zhǔn)確率Train acc泛化率Val acc優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)Optimized CNN準(zhǔn)確率Train acc泛化率Val acc10.310.290.660.5820.490.480.710.6730.590.500.810.6540.760.550.850.7050.810.630.920.78

圖7 基本流程圖Fig.7 Basic flow chart

圖8 葉斑病的識(shí)別結(jié)果Fig.8 Recognition of leaf spot disease

4 結(jié)論

本實(shí)驗(yàn)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn)和優(yōu)化，并以此設(shè)計(jì)了一種大豆病害種類識(shí)別系統(tǒng)。通過(guò)實(shí)驗(yàn)仿真可知優(yōu)化后的網(wǎng)絡(luò)模型的擬合能力達(dá)到了92%，而泛化能力為78%，較之前提高了15個(gè)百分點(diǎn)，在實(shí)際環(huán)境下對(duì)于大豆病害具有較好的識(shí)別能力。此外，借助Qt設(shè)計(jì)了基于Caffe框架的數(shù)據(jù)可視化界面，對(duì)病害種類、治療意見(jiàn)進(jìn)行了反饋，有效地提高了系統(tǒng)的可用性且較好地緩解了日常生產(chǎn)生活中大豆病害種類識(shí)別的難題。