基于深度學(xué)習(xí)的農(nóng)作物病蟲害圖像識別APP系統(tǒng)設(shè)計

陶 治 孔建磊,2 金學(xué)波,2 白玉廷,2 蘇婷立,2

1(北京工商大學(xué)計算機與信息工程學(xué)院 北京 100048)2(北京工商大學(xué)食品安全大數(shù)據(jù)技術(shù)北京市重點實驗室 北京 100048)

0 引 言

據(jù)中國統(tǒng)計年鑒,2016年我國農(nóng)業(yè)生產(chǎn)總值達5.93萬億元,占GDP的8%;但由農(nóng)業(yè)病害等災(zāi)害造成的直接損失達0.503萬億元,占農(nóng)業(yè)生產(chǎn)總值的8.48%，其中,病蟲害是農(nóng)作物最大的威脅[1]。隨著物聯(lián)網(wǎng)與圖像識別技術(shù)的快速發(fā)展,將圖像識別技術(shù)應(yīng)用于農(nóng)業(yè)相關(guān)領(lǐng)域尤其是病蟲害的識別是相關(guān)領(lǐng)域的研究熱點,如將圖像識別技術(shù)應(yīng)用在椪柑病蟲害[2]、番茄葉部病害[3]、蘋果病蟲害[4-5]等。此外,隨著智能終端的快速發(fā)展,將相關(guān)圖像識別技術(shù)應(yīng)用到手機等終端上，可以有效、便捷地解決農(nóng)業(yè)生產(chǎn)中的問題[6-7]；本研究利用目前計算機視覺中高效的圖像識別技術(shù),設(shè)計了基于Android的農(nóng)作物病蟲害圖像識別App系統(tǒng),以期能為相關(guān)領(lǐng)域研究提供參考。

1 系統(tǒng)分析

1.1 需求分析

農(nóng)作物一旦發(fā)生病害或蟲害，若初期或關(guān)鍵時期沒有發(fā)現(xiàn)，或者識別錯誤，將導(dǎo)致不當(dāng)?shù)奶幚泶胧┮灾劣谠斐勺魑锂a(chǎn)量下降，甚至形成作物的糧食安全問題。因此，對于作物的病蟲害實現(xiàn)精確的識別是農(nóng)業(yè)工程中十分實際的問題。而隨著智能手機的廣泛普及，農(nóng)戶人員或者相關(guān)病蟲害研究人員使用手機軟件隨手拍攝圖片，通過系統(tǒng)軟件進行快速高效的識別，是指導(dǎo)農(nóng)業(yè)病蟲害研究預(yù)防的有效手段。

1.2 系統(tǒng)功能設(shè)計

整體系統(tǒng)功能分為三個部分，分別是用戶功能、管理員功能以及科研人員功能，如圖1所示。

圖1 功能劃分示意圖

對于不同的用戶，對其功能權(quán)限進行了劃分。在用戶層面，用戶可以實時對上傳的病蟲害圖像進行識別以及當(dāng)?shù)靥鞖獠樵兊裙δ埽辉诠芾韱T層面上，管理員還可以進行更多樣本的收集標(biāo)注以及訓(xùn)練模型、數(shù)據(jù)篩選等權(quán)限操作；此外，對于研究人員，支持其進行數(shù)據(jù)查詢、數(shù)據(jù)下載分析等研究功能。

2 病蟲害識別

2.1 數(shù)據(jù)集

如圖2所示，系統(tǒng)共采集、收集了來自蘋果、櫻桃、玉米、葡萄、柑桔、桃、辣椒、馬鈴薯等多個對象的病害與蟲害圖片，病蟲害種類共計181類，各類數(shù)量達到400幅及以上，單幅照片至少含有1個目標(biāo)樣本，同時，為保證各類病蟲害總體樣本數(shù)據(jù)相近，各類之間相差不超過50個樣本，確保分布平衡。

圖2 病蟲害數(shù)據(jù)集樣本

2.2 數(shù)據(jù)處理

數(shù)據(jù)準備與預(yù)處理的優(yōu)劣程度，對模型最大準確率有直接的影響，數(shù)據(jù)分布不均、噪聲過大、各類別樣本不均衡等因素，均會造成模型難以收斂或產(chǎn)生虛假訓(xùn)練結(jié)果，影響模型性能。因此將合格照片進行處理，并統(tǒng)一批量重命名為規(guī)定格式，以采集時間、采集數(shù)量、采集種類進行編碼，自動形成統(tǒng)一命名的批量數(shù)據(jù)后，本研究進行了一系列去除模糊、抖動、曝光過度圖片的預(yù)處理操作以及數(shù)據(jù)增強的手段，如隨機旋轉(zhuǎn)角度(設(shè)置為60°)、水平偏移(幅度選為0.2)、垂直偏移(幅度選為0.2)、重縮放(縮放因子選為1/255)、垂直水平180°翻轉(zhuǎn)等。

在上述處理以及增強操作的基礎(chǔ)上，開展每張照片的標(biāo)定工作，對每幅照片存在的多種害蟲分別進行標(biāo)注及定位，以下述標(biāo)注原則進行標(biāo)注：

(1) 當(dāng)圖片包含多個對象時，標(biāo)記出每個目標(biāo)。

(2) 當(dāng)圖片中有兩個重疊的目標(biāo)對象時，應(yīng)在可見部分周圍用方框畫出被遮擋的部分并以規(guī)定編碼形式進行存儲，每幅照片對應(yīng)一個標(biāo)注文件，形成用于本系統(tǒng)識別及檢測模型的病蟲害基礎(chǔ)訓(xùn)練數(shù)據(jù)庫。

圖3 圖片標(biāo)注示例

2.3 模型設(shè)計

識別模型的設(shè)計分為兩個主要方面：訓(xùn)練過程和識別過程。模型訓(xùn)練過程通過大量的有標(biāo)記樣本進行監(jiān)督學(xué)習(xí)，讓模型能夠?qū)W習(xí)到特定的語義特征，通過不斷地前向傳播與反向傳播，進行迭代訓(xùn)練，逐漸提高模型識別精度與準確性。模型識別只有前向傳播過程，利用訓(xùn)練過程中所學(xué)習(xí)到的參數(shù)，對輸入圖片進行卷積運算，經(jīng)過特定的計算方式輸出識別結(jié)果和置信度。

識別過程中，其基礎(chǔ)的是圖像分類模型，主要用于去除無效圖像和圖像粗略分類，在分類網(wǎng)絡(luò)中如VGG16[8]、Resnet[9]、GoogLeNet[10]等都具有不錯的分類效果。由于本研究采用的是yolo檢測模型，其基本的分類網(wǎng)絡(luò)采用的是與其他分類網(wǎng)絡(luò)具有同等性能的Darknet網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 Darknet53分類網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)主要是由一系列的1×1和3×3的卷積層組成，其中每個卷積層后都會跟一個正則化BN層和一個LeakyReLU激活層，共同構(gòu)成了最小組件。其中，結(jié)構(gòu)圖中resn組件代表含有n個res單元；作為yolo_v3的大組件，通過借鑒了ResNet的殘差結(jié)構(gòu)，res單元結(jié)構(gòu)可以讓網(wǎng)絡(luò)結(jié)構(gòu)更深。

在上述darknet53模型上，病蟲害的整體檢測網(wǎng)絡(luò)采用yolo_v3[11]檢測網(wǎng)絡(luò)，用于識別圖像中病蟲害的位置以及種類，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 檢測網(wǎng)絡(luò)結(jié)構(gòu)

相比較初代的yolo_v1[12]和yolo_v2[13]，yolo_v3進一步采用了3個不同尺度的特征圖來進行對象檢測，能夠檢測到多維度特征信息；yolo_v3網(wǎng)絡(luò)在三個特征圖中分別通過(4+1+c)·k個大小為1×1的卷積核進行卷積預(yù)測，其中k為預(yù)設(shè)邊界框的個數(shù)(k默認取3)，c為預(yù)測目標(biāo)的類別數(shù)，其中4k個參數(shù)負責(zé)預(yù)測目標(biāo)邊界框的偏移量，k個參數(shù)負責(zé)預(yù)測目標(biāo)邊界框內(nèi)包含目標(biāo)的概率，ck個參數(shù)負責(zé)預(yù)測該k個預(yù)設(shè)邊界框?qū)?yīng)c個目標(biāo)類別的概率。

2.4 模型優(yōu)化

與此同時，為了提升病蟲害目標(biāo)檢測準確率，本研究使用的提升方法：

(1) 批量正則化(Batch Normalization)[14]：對網(wǎng)絡(luò)的每個卷積層之后添加批量標(biāo)準化，有助于對模型進行規(guī)范化，并且在優(yōu)化中途退出后仍然不用擔(dān)心過系統(tǒng)出現(xiàn)擬合問題，提升整個識別算法穩(wěn)定性。

(2) 維度聚類(dimension cluster)：K-means聚類是聚類算法中最為簡單、高效的，核心思想是由用戶指定k個初始質(zhì)心(initial centroids)以作為聚類的類別(cluster)，重復(fù)迭代直至算法收斂。通過采用K-means[15]聚類方法訓(xùn)練邊界框，可以自動找到較好的框的寬高維度。

(3) 遷移學(xué)習(xí)(transfer learning)：為了獲得一個泛化能力強、精度高的模型，本研究使用遷移學(xué)習(xí)的思路，將在imagenet數(shù)據(jù)庫預(yù)訓(xùn)練好的模型遷移過來，在此遷移基礎(chǔ)上實現(xiàn)模型的高效運行。

2.5 模型實現(xiàn)

基于上述的算法模型，隨機挑選收集數(shù)據(jù)的65%作為訓(xùn)練集，挑選20%作為驗證集，15%為綜合測試集，將數(shù)據(jù)集擴展為五個訓(xùn)練批次和一個測試批次，每個批次有400幅圖像。測試批次包含來自每個類別的隨機選擇的圖像。在具有四個NVIDIA Tesla p40 GPU和256 GB RAM的Intel Core i7 3.6 GHz處理器上進行了訓(xùn)練和測試，為了比較模型之間的性能差異，本研究對多個檢測模型進行了實驗比較，結(jié)果如表1所示。

表1 實驗檢測結(jié)果檢測框架

正如結(jié)果所示，以Darknrt-53為特征提取器的yolo-v3具有更高精度的檢測結(jié)果，以此為模型實現(xiàn)的病蟲害識別系統(tǒng)具有較高的精度效果。

3 系統(tǒng)實現(xiàn)

3.1 系統(tǒng)架構(gòu)

系統(tǒng)采用C/S(App)技術(shù)架構(gòu)，搭建數(shù)據(jù)服務(wù)、移動終端服務(wù)等。其中，在物理架構(gòu)上，使用ubuntu16.04的操作系統(tǒng)以及MySQL數(shù)據(jù)庫系統(tǒng)，在intel E5-2600及以上的CPU、NVIDIA GTX1080Ti及以上的GPU上搭建Android4.0的移動終端。具體開發(fā)工具分為App開發(fā)工具與模型開發(fā)工具，其中App開發(fā)工具包括Ubuntu 16.4、MySQL 5.6.37、go1.8.linux-amd64、Vs code、Android studio、Navicat、jdk-8u101-linux-x64，模型開發(fā)工具包括Anacoda2、Tensorflow-GPU-1.4、Cuda 8.0、CUDNN 6.0、Pytorch 0.4、Pycharm 3、Jupyter 2.9、TensorBoard、LabelImg。

在上述開發(fā)工具與基本架構(gòu)的基礎(chǔ)上設(shè)計本系統(tǒng)的整體架構(gòu)如圖6所示。

圖6 系統(tǒng)架構(gòu)

3.2 系統(tǒng)實現(xiàn)

經(jīng)過需求分析、系統(tǒng)設(shè)計、軟件實現(xiàn)、測試與試運行、功能調(diào)整等過程，最終病蟲害識別系統(tǒng)實現(xiàn)了如下功能：(1) 實時天氣查看；(2) 注冊登錄，包括管理員和普通用戶；(3) 病蟲害實時動態(tài)識別；(4) 管理員標(biāo)記目標(biāo)；(5) 根據(jù)標(biāo)記數(shù)據(jù)自主學(xué)習(xí)；(6) 在地圖上顯示病蟲害查詢位置；(7) 自動收集所有數(shù)據(jù)和信息，為后續(xù)大數(shù)據(jù)分析提供數(shù)據(jù)來源。

系統(tǒng)有普通用戶和管理員兩個級別的使用權(quán)限,用戶輸入用戶名、密碼及權(quán)限等級進行登錄。新用戶則可以點擊右上角的“注冊”按鈕，進入賬號注冊界面，完成新用戶注冊，見圖7。

圖7 App注冊界面

普通用戶登錄賬號后，進入主界面，如圖8所示。主界面頂部具備用戶所在地址、天氣實時等信息，中間區(qū)域則滾動呈現(xiàn)用戶歷史圖像及相應(yīng)識別結(jié)果。

圖8 App主界面與數(shù)據(jù)上傳界面

用戶從相冊或拍照獲得需要檢測的圖片后，進入數(shù)據(jù)上傳界面，該界面會根據(jù)用戶網(wǎng)絡(luò)狀態(tài)、傳輸速率進行呈現(xiàn)。

在完成數(shù)據(jù)傳輸后，進入“識別效果反饋界面”，如圖9所示。該界面會根據(jù)獲取圖像的識別情況進行智能化反饋：(1) 當(dāng)上傳圖像中不存在病蟲害或尺寸過小、被遮擋等情況，又或出現(xiàn)網(wǎng)絡(luò)中斷、傳輸終止等狀況，以及上傳圖像質(zhì)量差、抖動模糊、徑切向畸變、拍攝環(huán)境過亮或過暗等情況，識別系統(tǒng)會反饋給用戶的“無法識別”提示，并告知查看“幫助說明”，建議“重新拍照”。(2) 當(dāng)圖像中存在目標(biāo)對象，且網(wǎng)絡(luò)傳輸正常、上傳圖像質(zhì)量優(yōu)良，則根據(jù)模型算法給出相應(yīng)的識別效果，提示用戶“識別到病害蟲”，并在圖像中框出害蟲所在位置，說明其種類、數(shù)量、辨識等信息，給出相應(yīng)防控建議。

圖9 數(shù)據(jù)標(biāo)注界面

用戶為管理員登錄賬號后，在主界面點擊“相冊”或“拍照”按鈕后，進入管理員專用的“標(biāo)注操作界面”，底部的“選擇”按鈕對應(yīng)普通用戶的上傳識別功能，點擊則進入“識別效果反饋界面”。在此基礎(chǔ)上，管理員多出“圖像標(biāo)注”和“數(shù)據(jù)上傳”按鈕，可以實現(xiàn)完成標(biāo)記并上傳病蟲害數(shù)據(jù)的功能。

4 結(jié) 語

本系統(tǒng)針對病蟲害對象，基于Android開發(fā)建設(shè)專用作物的病蟲害識別系統(tǒng)，采用主動采集與網(wǎng)絡(luò)數(shù)據(jù)抓取方式，經(jīng)過智能篩選及異構(gòu)數(shù)據(jù)融合等技術(shù)手段，實現(xiàn)數(shù)據(jù)有效獲取并保證其真實可靠。實現(xiàn)病蟲害識別、病蟲害情況上報、病蟲害預(yù)警等功能，為科研機構(gòu)、政府、企業(yè)、農(nóng)用品經(jīng)銷商以及消費者提供決策支持和信息服務(wù)。受限于樣本與技術(shù)，針對算法模型的進一步優(yōu)化升級，提升識別檢測準確度，將應(yīng)用范圍進一步擴大是未來工作的研究方向。