基于深度學(xué)習(xí)的園林植物病蟲(chóng)害智能識(shí)別系統(tǒng)

何懷文，蔡顯華，楊毅紅

（1.電子科技大學(xué)中山學(xué)院，中山 528400；2.中山花木城園林有限公司，中山 528421）

0 引言

園林環(huán)境作為社會(huì)主義生態(tài)文明建設(shè)的重要組成部分，越來(lái)越受到廣大民眾的喜愛(ài)和關(guān)注。園林植物是城市綠化中提升生態(tài)環(huán)境質(zhì)量的重要環(huán)節(jié)。但是目前由于生態(tài)污染問(wèn)題嚴(yán)重，園林植物生長(zhǎng)過(guò)程中經(jīng)常會(huì)遭受病蟲(chóng)害侵?jǐn)_，導(dǎo)致其發(fā)病部位組織器官損壞，如出現(xiàn)落葉、腐爛、壞死斑等，大大降低了植物的觀賞價(jià)值，嚴(yán)重制約了園林業(yè)的發(fā)展。例如，松樹(shù)在感染松材線(xiàn)蟲(chóng)后，一個(gè)月左右會(huì)死亡。而目前國(guó)內(nèi)防治專(zhuān)家與植物養(yǎng)護(hù)員之間往往存在“信息孤島”現(xiàn)象，從而導(dǎo)致在植物病蟲(chóng)害出現(xiàn)時(shí)無(wú)法正確識(shí)別和及時(shí)對(duì)癥下藥。

近年來(lái)，隨著機(jī)器學(xué)習(xí)技術(shù)的蓬勃發(fā)展，利用人工智能方法準(zhǔn)確識(shí)別和預(yù)測(cè)病蟲(chóng)害的發(fā)生，從而進(jìn)行精準(zhǔn)防治，受到廣大研究者的廣泛關(guān)注。文獻(xiàn)［6］提出了一種基于深度學(xué)習(xí)的病蟲(chóng)害識(shí)別方法，通過(guò)提取灰度圖像的PCANet特性，再使用支持向量機(jī)進(jìn)行識(shí)別；文獻(xiàn)［7］基于VGG16網(wǎng)絡(luò)模型，研發(fā)了一個(gè)農(nóng)作物病蟲(chóng)害智能識(shí)別的APP系統(tǒng)，提供移動(dòng)端的病蟲(chóng)害識(shí)別和診斷方法；文獻(xiàn)［8］基于Spring MVC框架，構(gòu)建了病蟲(chóng)害圖像識(shí)別和疫區(qū)防治的微信小程序；文獻(xiàn)［9］針對(duì)機(jī)器學(xué)習(xí)建模中的樣本采集問(wèn)題，構(gòu)建了大田作物的高質(zhì)量農(nóng)業(yè)病蟲(chóng)害原始圖像數(shù)據(jù)。但是，上述研究在構(gòu)建深度學(xué)習(xí)模型時(shí)僅針對(duì)固定數(shù)據(jù)集，無(wú)法根據(jù)應(yīng)用場(chǎng)景來(lái)動(dòng)態(tài)構(gòu)建機(jī)器學(xué)習(xí)模型，缺乏一定的靈活性，給應(yīng)用帶來(lái)了不便。

因此，本文針對(duì)園林植物病蟲(chóng)害的智能識(shí)別問(wèn)題，提出了一個(gè)能夠針對(duì)不同應(yīng)用情景下動(dòng)態(tài)構(gòu)建機(jī)器學(xué)習(xí)模型的方法，為植物病蟲(chóng)害診治提供數(shù)據(jù)支持和幫助。主要完成工作包括：①建立了常見(jiàn)園林植物的植物信息數(shù)據(jù)庫(kù)和病蟲(chóng)害數(shù)據(jù)庫(kù)；②提供了自定義病蟲(chóng)害識(shí)別數(shù)據(jù)集構(gòu)建功能，允許用戶(hù)自定義病蟲(chóng)害識(shí)別模型；③提供植物、病蟲(chóng)害數(shù)據(jù)圖像采集和標(biāo)注功能；④提供了基于深度學(xué)習(xí)園林植物病蟲(chóng)害識(shí)別功能。

1 系統(tǒng)設(shè)計(jì)

本文圍繞園林植物養(yǎng)護(hù)過(guò)程的實(shí)際需求進(jìn)行設(shè)計(jì)，系統(tǒng)從功能上分為七大模塊：新聞公告模塊、植物數(shù)據(jù)庫(kù)模塊、病蟲(chóng)害數(shù)據(jù)庫(kù)模塊、盆景養(yǎng)護(hù)視頻模塊、數(shù)據(jù)采集和標(biāo)準(zhǔn)模塊、AI識(shí)別模型訓(xùn)練模塊和系統(tǒng)管理模塊。系統(tǒng)功能模塊如圖1所示。

圖1 系統(tǒng)功能模塊圖

每個(gè)功能模塊的具體業(yè)務(wù)描述見(jiàn)表1。

表1 系統(tǒng)功能模塊描述

系統(tǒng)采用前后端分離的架構(gòu)進(jìn)行開(kāi)發(fā)，其中前端采用了Vue3+ElementUI+TypeScript+Axios技術(shù)棧，有利于組件封裝和代碼重用。后端則基于主流的Java EE技術(shù)棧進(jìn)行開(kāi)發(fā)，采用了SpringBoot+JPA+QueryDsl+Sa-token技術(shù)棧，其中JPA+QueryDsl用于實(shí)現(xiàn)持久層操作，Sa-token則用于實(shí)現(xiàn)系統(tǒng)安全權(quán)限。深度學(xué)習(xí)模塊基于Python+Pytorch+Flask進(jìn)行構(gòu)建，其中Pytorch用于構(gòu)建深度學(xué)習(xí)識(shí)別模型，F(xiàn)lask用于將訓(xùn)練好的深度學(xué)習(xí)模型部署到Web服務(wù)器，并提供圖像識(shí)別接口。系統(tǒng)架構(gòu)如圖2所示。

圖2 系統(tǒng)架構(gòu)圖

2 主要模塊實(shí)現(xiàn)

系統(tǒng)主要分成以下三個(gè)部分：①植物病蟲(chóng)害數(shù)據(jù)網(wǎng)站，提供植物、病蟲(chóng)害數(shù)據(jù)展示和搜索功能；②數(shù)據(jù)管理系統(tǒng)，提供植物、病蟲(chóng)害數(shù)據(jù)庫(kù)數(shù)據(jù)管理、深度學(xué)習(xí)模型管理功能；③深度學(xué)習(xí)模型訓(xùn)練系統(tǒng)，用于構(gòu)建病蟲(chóng)害智能識(shí)別的深度學(xué)習(xí)模型和模型部署。

2.1 植物病蟲(chóng)害數(shù)據(jù)網(wǎng)站

該部分是一個(gè)用于展示常見(jiàn)園林植物、病蟲(chóng)害的網(wǎng)站系統(tǒng)，并提供病蟲(chóng)害圖片識(shí)別接口，用戶(hù)無(wú)須登錄即可訪問(wèn)，提供植物搜索功能、病蟲(chóng)害的診斷功能、盆景養(yǎng)護(hù)視頻在線(xiàn)播放功能。頁(yè)面前端基于Vue3.0進(jìn)行開(kāi)發(fā)，采用Type-Script定義前端接口類(lèi)型，使前端代碼整潔規(guī)范。前后端通信通過(guò)Axios實(shí)現(xiàn)，數(shù)據(jù)格式為JSON格式。在前端設(shè)計(jì)中，本文采用組件化思想，對(duì)界面相似組件進(jìn)行抽離，封裝了Base-Table、BasicPage、BaseSearch等多個(gè)組件，提高了代碼的重用性。網(wǎng)站主頁(yè)如圖3所示。

圖3 園林病蟲(chóng)害數(shù)據(jù)庫(kù)網(wǎng)站

2.2 后端數(shù)據(jù)管理模塊

后端數(shù)據(jù)管理平臺(tái)主要用于植物數(shù)據(jù)庫(kù)、病蟲(chóng)害數(shù)據(jù)、盆景養(yǎng)護(hù)視頻以及AI模型的管理。后端功能詳情如下：

對(duì)網(wǎng)站發(fā)布的新聞和公告進(jìn)行管理，其中新聞文章具有不同的分類(lèi)。

用于存儲(chǔ)常見(jiàn)的園林植物標(biāo)準(zhǔn)數(shù)據(jù)，包括植物基本信息（名稱(chēng)、拉丁文名、科類(lèi)、屬類(lèi)和別名）和植物的詳細(xì)信息（生長(zhǎng)習(xí)性、主要產(chǎn)地、形態(tài)特征、園林用途、管理護(hù)養(yǎng)和圖片集等）。植物數(shù)據(jù)庫(kù)的建立有助于形成統(tǒng)一標(biāo)準(zhǔn)的植物信息數(shù)據(jù)，養(yǎng)護(hù)員可以通過(guò)前端查詢(xún)或者智能圖片識(shí)別快速確定植物的類(lèi)型，優(yōu)化病蟲(chóng)害診斷的及時(shí)性和準(zhǔn)確性。

由于植物病害和蟲(chóng)害對(duì)植物生長(zhǎng)的損壞和防治屬于不同范疇，因此劃分為病害和蟲(chóng)害兩部分。其中病害數(shù)據(jù)庫(kù)包括病害基本信息（病害名稱(chēng)、危害部位、被害狀、屬類(lèi)、分布和危害）和詳細(xì)信息（病原、發(fā)生規(guī)律、防治方法以及病害圖集）。而蟲(chóng)害數(shù)據(jù)庫(kù)則包括蟲(chóng)害基本信息（蟲(chóng)害名稱(chēng)、拉丁文、科屬、危害植物、危害部位、被害狀、分布與危害）和詳細(xì)信息（形態(tài)特征、發(fā)生規(guī)律、防治方法和蟲(chóng)害圖集）。通過(guò)建立病蟲(chóng)害數(shù)據(jù)庫(kù)，提供了一個(gè)基于數(shù)據(jù)庫(kù)的病蟲(chóng)害的快速診斷功能，通過(guò)輸入植物的名稱(chēng)、危害部位和被害狀態(tài)，可以快速定位到產(chǎn)生該危害的病害或者蟲(chóng)害，并提供相應(yīng)的防治措施，及時(shí)對(duì)癥下藥。

數(shù)據(jù)集是深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)基礎(chǔ)，系統(tǒng)數(shù)據(jù)集分為病害數(shù)據(jù)集、蟲(chóng)害數(shù)據(jù)集和植物數(shù)據(jù)集三大類(lèi)。每一個(gè)主類(lèi)別下再按照病蟲(chóng)害和植物名稱(chēng)進(jìn)行細(xì)分。每個(gè)病蟲(chóng)害大約包含類(lèi)500～800張標(biāo)注好的圖片。用戶(hù)可以往數(shù)據(jù)集中上傳新的圖片并進(jìn)行標(biāo)注，也可以對(duì)數(shù)據(jù)集中尚未標(biāo)注的圖片進(jìn)行標(biāo)注。

數(shù)據(jù)集以文件形式存儲(chǔ)在深度學(xué)習(xí)服務(wù)上，有利于深度學(xué)習(xí)模型訓(xùn)練時(shí)減少I(mǎi)O操作。每種病蟲(chóng)害對(duì)應(yīng)一個(gè)文件夾，文件夾名稱(chēng)為病蟲(chóng)害的數(shù)據(jù)表ID+病蟲(chóng)害中文名稱(chēng)，文件夾中包含該病蟲(chóng)害對(duì)應(yīng)的原始圖片JPG文件，文件名稱(chēng)以拍攝時(shí)流水號(hào)命名。病蟲(chóng)害的詳情和具體防治措施則存儲(chǔ)在Mysql數(shù)據(jù)庫(kù)中，將病蟲(chóng)害數(shù)據(jù)和深度學(xué)習(xí)模型驅(qū)動(dòng)數(shù)據(jù)分離，使系統(tǒng)的數(shù)據(jù)維護(hù)更為靈活和易于拓展。

為了方便用戶(hù)在不同應(yīng)用場(chǎng)景的智能識(shí)別應(yīng)用，本文設(shè)計(jì)了一個(gè)可以自定義深度學(xué)習(xí)模型構(gòu)建方式，具體流程如圖4所示。

圖4 自定義機(jī)器學(xué)習(xí)模型構(gòu)建過(guò)程

首先需要填寫(xiě)模型的基本信息，包括：模型名稱(chēng)、模型標(biāo)識(shí)符、用途說(shuō)明等。然后選擇需要識(shí)別的數(shù)據(jù)集，可以從病蟲(chóng)害和植物數(shù)據(jù)庫(kù)中選擇全部類(lèi)別，也可以選擇其中的某些種類(lèi)。深度學(xué)習(xí)模塊會(huì)根據(jù)用戶(hù)選擇的數(shù)據(jù)類(lèi)別讀取相應(yīng)的圖像集進(jìn)行訓(xùn)練。接下來(lái)可以選擇深度學(xué)習(xí)網(wǎng)絡(luò)模型和算法，系統(tǒng)提供了RESNET-50和VGG16等常用網(wǎng)絡(luò)模型可供選擇。接著可以設(shè)置深度學(xué)習(xí)的相關(guān)參數(shù)，包括損失函數(shù)、優(yōu)化器、迭代次數(shù)、批量大小等參數(shù)。模型構(gòu)建完成后，可以開(kāi)啟模型訓(xùn)練。模型訓(xùn)練完成后，會(huì)自動(dòng)部署到服務(wù)器，并提供Web API接口進(jìn)行圖像識(shí)別。其中數(shù)據(jù)集構(gòu)建界面如圖5所示。

圖5 自定義數(shù)據(jù)集

2.3 基于深度學(xué)習(xí)的病蟲(chóng)害識(shí)別

本文采用深度學(xué)習(xí)來(lái)構(gòu)建病蟲(chóng)害的智能識(shí)別模塊，該部分主要實(shí)現(xiàn)了深度網(wǎng)絡(luò)的訓(xùn)練并將收斂穩(wěn)定后的網(wǎng)絡(luò)模型部署到Web服務(wù)器，其主要流程如圖6所示。

圖6 深度學(xué)習(xí)模型訓(xùn)練流程

在深度學(xué)習(xí)模型訓(xùn)練過(guò)程中，對(duì)要識(shí)別的每種病蟲(chóng)害數(shù)據(jù)，使用70%的圖片作為訓(xùn)練集，20%的圖片作為測(cè)試集，剩余的作為驗(yàn)證集。首先讀取訓(xùn)練集的圖像數(shù)據(jù)，并進(jìn)行圖像增強(qiáng)，包括圖片翻轉(zhuǎn)、旋轉(zhuǎn)、顏色變化、對(duì)比度增強(qiáng)、噪聲擾動(dòng)等。然后根據(jù)之前設(shè)置好的模型參數(shù)進(jìn)行訓(xùn)練，神經(jīng)網(wǎng)絡(luò)模型收斂穩(wěn)定后，進(jìn)行模型性能測(cè)試。在多次調(diào)整相應(yīng)的參數(shù)后，將最終識(shí)別效果較好的模型通過(guò)Flask部署到Web服務(wù)器，從而實(shí)現(xiàn)對(duì)前端提交圖像的智能識(shí)別。

在實(shí)際應(yīng)用中，本文使用的深度學(xué)習(xí)服務(wù)器硬件環(huán)境如下：操作系統(tǒng)為Ubuntu 16.04.6 LTS；處理 器 為Intel（R）Xeon（R）Silver 4116 CPU@2.10GHz；內(nèi)存為DDR4 128 G；顯卡為4×GeForce RTX2080Ti；開(kāi)發(fā)環(huán)境為Anaconda3+Py-Torch+Pandas+Flask。

本系統(tǒng)對(duì)包含14種作物、26種病害的共54306張公開(kāi)PlantVillage植物病害數(shù)據(jù)集進(jìn)行了拓展，對(duì)其進(jìn)行了補(bǔ)充，對(duì)包括穿孔病、白粉病、黑斑病、灰霉病、霜霉病、煤污病等15種常見(jiàn)病害進(jìn)行識(shí)別，最好的識(shí)別準(zhǔn)確率約92%，單張圖片識(shí)別平均耗時(shí)0.85秒，效果良好。

3 系統(tǒng)應(yīng)用

本文構(gòu)建了15種病害和30種蟲(chóng)害的常見(jiàn)園林植物病蟲(chóng)害數(shù)據(jù)庫(kù)，并利用深度學(xué)習(xí)進(jìn)行模型訓(xùn)練。其中幾種常見(jiàn)的病害和蟲(chóng)害如圖7所示。

圖7 園林植物常見(jiàn)病蟲(chóng)害數(shù)據(jù)集的部分樣本

系統(tǒng)提供了Web和APP兩種方式的智能識(shí)別界面，其中Web識(shí)別效果如圖8所示。

圖8 病蟲(chóng)害識(shí)別界面

用戶(hù)上傳病蟲(chóng)害圖片后，系統(tǒng)智能識(shí)別引擎會(huì)對(duì)圖片進(jìn)行識(shí)別，并給出概率最大的病蟲(chóng)害名稱(chēng)，用戶(hù)可以點(diǎn)擊查看相應(yīng)的病蟲(chóng)害詳情并獲得防治方法。

4 結(jié)語(yǔ)

深度學(xué)習(xí)作為一種可方便實(shí)現(xiàn)圖像特征自動(dòng)提取的技術(shù)，解決了傳統(tǒng)農(nóng)林業(yè)中僅依靠經(jīng)驗(yàn)豐富的專(zhuān)家診斷模式所存在的問(wèn)題，在園林種植減災(zāi)和養(yǎng)護(hù)領(lǐng)域具有廣闊的前景。本文提出了一個(gè)基于深度學(xué)習(xí)的園林植物病蟲(chóng)害識(shí)別系統(tǒng)，構(gòu)建了常見(jiàn)的園林植物數(shù)據(jù)庫(kù)、病害和蟲(chóng)害數(shù)據(jù)庫(kù)，同時(shí)還提供了一個(gè)允許用戶(hù)自定義構(gòu)建病蟲(chóng)害識(shí)別模型的方法，通過(guò)與深度神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，實(shí)現(xiàn)了對(duì)植物病蟲(chóng)害快速、高效的識(shí)別。