基于云平臺(tái)集AI 圖像識(shí)別的水果病蟲害巡邏車

管嘉誠(chéng)，鐘錦杰，黃志芳，吳波稼，黃偉雄，胡嘉輝

（嘉應(yīng)學(xué)院 物理與電子工程學(xué)院，廣東 梅州 514015）

0 引 言

水果是我們?nèi)粘Ｉ钪薪?jīng)常吃的食物，它的安全問題值得我們關(guān)注。在水果的種植過程中會(huì)受到各種外部因素的影響，比如農(nóng)作物病蟲害問題就是影響水果種植的一個(gè)很重要問題，每年因農(nóng)作物病蟲害造成的國(guó)民經(jīng)濟(jì)和農(nóng)業(yè)生產(chǎn)損失十分嚴(yán)重。而目前對(duì)農(nóng)作物病蟲害的檢測(cè)基本上都是通過人工識(shí)別和預(yù)防的方式，這種方式不僅效率低、耗時(shí)耗力，而且對(duì)檢測(cè)員的專業(yè)能力要求極高。為了解決上述問題，并使檢測(cè)效率更快以及防范農(nóng)作物病蟲害更及時(shí)，實(shí)現(xiàn)隨時(shí)隨地檢測(cè)，本文專門設(shè)計(jì)一款基于云平臺(tái)集AI 圖像識(shí)別水果病蟲害的巡邏車。

2022 年是實(shí)施“十四五”規(guī)劃的關(guān)鍵之年，在當(dāng)前我國(guó)經(jīng)濟(jì)從高速增長(zhǎng)向高質(zhì)量發(fā)展的重要階段，以人工智能為代表的新一代信息技術(shù)，將成為我國(guó)“十四五”時(shí)期推動(dòng)經(jīng)濟(jì)高質(zhì)量發(fā)展、建設(shè)創(chuàng)新型國(guó)家，實(shí)現(xiàn)新型工業(yè)化、信息化、城鎮(zhèn)化和農(nóng)業(yè)現(xiàn)代化的重要技術(shù)保障和核心驅(qū)動(dòng)力之一。人工智能能夠助力鄉(xiāng)村振興打造數(shù)字經(jīng)濟(jì)新優(yōu)勢(shì)。基于云平臺(tái)集AI 圖像識(shí)別水果病蟲害巡邏車能識(shí)別檢測(cè)危害水果的嚴(yán)重病害，如蘋果赤霉病、蘋果黑腐病、櫻桃（含酸味）白粉病、桃花菌斑、馬鈴薯早疫病和番茄菌斑病等，系統(tǒng)集機(jī)械結(jié)構(gòu)、控制算法、圖像識(shí)別技術(shù)、檢測(cè)技術(shù)以及互聯(lián)網(wǎng)技術(shù)于一體，使用了較為前沿的科技以及部分創(chuàng)新設(shè)計(jì)使其具有高效、網(wǎng)絡(luò)化、智能控制化、自動(dòng)化的特點(diǎn)，為解決農(nóng)作物病蟲害識(shí)別檢測(cè)提供一種不錯(cuò)的方法選擇。

1 整體設(shè)計(jì)方案

1.1 基本思路

本系統(tǒng)設(shè)計(jì)的水果病蟲害自動(dòng)識(shí)別檢測(cè)和土壤濕度測(cè)量灌溉的巡邏車，是一套集深度學(xué)習(xí)、土壤濕度測(cè)量、水果病蟲害識(shí)別、語音無線傳輸、語音播報(bào)、Web 網(wǎng)頁控制、APP和從機(jī)監(jiān)控等功能于一體的系統(tǒng)，用于檢測(cè)水果發(fā)育是否正常，避免水果因錯(cuò)過最佳補(bǔ)救時(shí)間而引發(fā)嚴(yán)重經(jīng)濟(jì)損失的情況。

1.2 系統(tǒng)總體設(shè)計(jì)方案

（1）系統(tǒng)硬件采用了具有集成圖像識(shí)別[1]的智能芯片Kendryte K210，以STM32F407ZGT6單片機(jī)為核心控制芯片。

（2）主機(jī)與從機(jī)之間通過2.4 GHz 模塊實(shí)現(xiàn)無線通信，主機(jī)將數(shù)據(jù)信息顯示在與主機(jī)連接的HMI 顯示屏上并將數(shù)據(jù)信息發(fā)送給從機(jī)，從機(jī)也將數(shù)據(jù)顯示在從機(jī)連接的HMI顯示屏上。

（3）土壤濕度傳感器模塊實(shí)現(xiàn)測(cè)量土壤濕度是否正常的功能，若濕度不符合預(yù)先設(shè)定的值，將啟動(dòng)電池閥及其供水系統(tǒng)對(duì)水果進(jìn)行灌溉補(bǔ)水。

（4）XFS5152 微型語音通信模塊實(shí)現(xiàn)主機(jī)和從機(jī)遠(yuǎn)距離對(duì)講通話功能。

（5）WiFi 模塊與手機(jī)之間實(shí)現(xiàn)無線雙向通信，手機(jī)端APP 通過發(fā)送指令對(duì)巡邏車進(jìn)行運(yùn)動(dòng)控制，巡邏車負(fù)載了GPS 定位功能，實(shí)時(shí)了解巡邏車的動(dòng)態(tài)。

（6）對(duì)于系統(tǒng)采集到的土壤濕度和環(huán)境溫濕度等信息，系統(tǒng)除了使用手機(jī)APP 界面進(jìn)行顯示，還會(huì)在Web 網(wǎng)頁端界面進(jìn)行同步顯示。對(duì)水果狀態(tài)的自動(dòng)檢測(cè)和語音的自動(dòng)提示都實(shí)現(xiàn)了智能播報(bào)。

（7）對(duì)果樹的樹葉進(jìn)行掃描后，主機(jī)根據(jù)掃描的結(jié)果判斷水果是否感染病蟲害，并將結(jié)果發(fā)送到手機(jī)APP 和Web網(wǎng)頁端。

系統(tǒng)的總體設(shè)計(jì)框圖如圖1 所示。

圖1 系統(tǒng)總體設(shè)計(jì)框圖

2 硬件設(shè)計(jì)

2.1 基于TensorFlow 深度學(xué)習(xí)框架的圖像識(shí)別技術(shù)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中一個(gè)非常重要的研究方向。目標(biāo)檢測(cè)與細(xì)分主要負(fù)責(zé)檢測(cè)出圖片中的物體。系統(tǒng)中使用的目標(biāo)檢測(cè)算法，結(jié)合了深度學(xué)習(xí)技術(shù)，代替?zhèn)鹘y(tǒng)的基于卷積濾波的方法，對(duì)識(shí)別的圖片中樹木的目標(biāo)進(jìn)行檢測(cè)并細(xì)分。系統(tǒng)基于TensorFlow深度學(xué)習(xí)框架，TensorFlow是一個(gè)用于機(jī)器智能的開源軟件庫。本文采用了深度學(xué)習(xí)的較為經(jīng)典的目標(biāo)檢測(cè)框架—YOLO2，精確識(shí)別水果是否患有病蟲害[2]，通過串口與STM32F407ZGT6 主芯片進(jìn)行通信，原理如圖2所示。

圖2 K210 模塊電路接線圖

2.2 環(huán)境溫濕度測(cè)量

系統(tǒng)采用DHT11 溫濕度傳感器對(duì)周圍的環(huán)境進(jìn)行測(cè)量[3]，其濕度的測(cè)量范圍為20%～95%，誤差為±5%；溫度的測(cè)量范圍為0 ～50 ℃，誤差為±2 ℃，符合系統(tǒng)的要求。通過對(duì)周圍環(huán)境進(jìn)行溫濕度檢測(cè)，可以為工作人員提供一個(gè)良好的出行、工作、防護(hù)條件；當(dāng)濕度與溫度不適合人們進(jìn)行農(nóng)作時(shí)，巡邏車會(huì)通過喇叭進(jìn)行警報(bào)，通知現(xiàn)場(chǎng)的工作人員做好防護(hù)準(zhǔn)備。DHT11 的數(shù)據(jù)腳與單片機(jī)相連，如圖3 所示。

圖3 DHT11 模塊電路接線圖

2.3 無線語音傳輸

系統(tǒng)使用XFS5152 無線語音傳輸模塊[4]，能有效傳輸工作人員的語音信息，便于工作人員對(duì)現(xiàn)場(chǎng)工作人員的引導(dǎo)，能遠(yuǎn)距離發(fā)出提醒的功能，便于人機(jī)交互。XFS5152 模塊通過串口4 實(shí)現(xiàn)主機(jī)控制XFS5152 模塊進(jìn)行播報(bào)，VCC接3.3 V，GND 接GND。模塊與主機(jī)芯片連接圖如圖4所示。

2.4 Web 端與APP 端控制

對(duì)于巡邏車工作的環(huán)境情況，可以將識(shí)別的圖像信息通過WiFi 模塊聯(lián)網(wǎng)上云，并且可以通過手機(jī)APP 和Web 網(wǎng)頁[5-6]進(jìn)行監(jiān)測(cè)與查看，手機(jī)APP 和Web 端能遠(yuǎn)程控制巡邏車的照明燈（照明燈用于在夜晚時(shí)提高攝像頭的識(shí)別率）。無線的運(yùn)用提高了工作人員對(duì)巡邏車的操控力度，使工作人員能及時(shí)應(yīng)對(duì)突發(fā)情況，便于人機(jī)交互。ESP8266 WiFi[7]有5 個(gè)引腳，RX 引腳與主芯片的USART3_TX 相連接，TX 引腳與主芯片的USART3_RX 相連接，GND 引腳與主芯片的GND 引腳相連接。WiFi 模塊接口如圖5 所示。

圖5 WiFi 模塊電路接線圖

2.5 PID 算法控制灰度傳感器、超聲波尋跡避障與GPS 定位

運(yùn)用PID 控制算法對(duì)小車的運(yùn)動(dòng)進(jìn)行控制，并結(jié)合灰度傳感器模塊、超聲波測(cè)距為小車設(shè)計(jì)切實(shí)可行的運(yùn)行軌跡。灰度傳感器模塊的發(fā)射管會(huì)發(fā)射出一定頻率的紅外線，當(dāng)檢測(cè)方向遇到障礙物（反射面）時(shí)，紅外線反射回來被接收管接收，經(jīng)過比較器電路處理之后將采集的數(shù)據(jù)傳送至單片機(jī)，當(dāng)巡邏車檢測(cè)到前方或左右有障礙物時(shí)，能及時(shí)躲避，避免碰撞。同時(shí)，巡邏車?yán)贸暡y(cè)量攝像頭到果樹的距離，計(jì)算出合適的識(shí)別距離；并在巡邏車上配備了GPS 定位模塊[8]，方便控制人員實(shí)時(shí)知道巡邏車的位置。如圖6 所示為灰度傳感器、HC-SR04 超聲波傳感測(cè)距模塊和GPS 定位模塊電路接線圖。

圖6 避障尋跡測(cè)距定位電路接線圖

2.6 土壤濕度測(cè)量與補(bǔ)水灌溉

系統(tǒng)使用土壤濕度傳感器[9]對(duì)土壤的濕度進(jìn)行檢測(cè)，若所測(cè)濕度的結(jié)果與預(yù)先設(shè)定的濕度范圍值不匹配的話，將進(jìn)行灌溉補(bǔ)水的操作。土壤濕度傳感器的電路接線圖如圖7所示。

圖7 土壤濕度傳感器電路接線圖

3 軟件程序設(shè)計(jì)

3.1 圖像識(shí)別+播報(bào)程序的實(shí)現(xiàn)

系統(tǒng)上電后，進(jìn)入初始化。初始化后，指示燈閃爍，巡邏車開始根據(jù)預(yù)先設(shè)計(jì)的路線進(jìn)行行駛，支撐機(jī)構(gòu)上的舵機(jī)不斷控制攝像頭旋轉(zhuǎn)，使其不斷識(shí)別物體。當(dāng)在路線行駛過程中識(shí)別到果樹時(shí)，巡邏車會(huì)停下來繼續(xù)識(shí)別果樹的樹葉，對(duì)其進(jìn)行疾病判斷并將所識(shí)別到的結(jié)果通過XFS5152 語音模塊播放出來，假如蘋果樹葉正常，則播放“蘋果正?！保蝗绻O果樹葉得了赤霉病，則播放“蘋果赤霉病”并通過蜂鳴器報(bào)警以提醒現(xiàn)場(chǎng)工作人員。主程序流程如圖8 所示。

圖8 圖像識(shí)別程序流程

3.2 環(huán)境測(cè)溫測(cè)濕程序的實(shí)現(xiàn)

系統(tǒng)的環(huán)境測(cè)溫測(cè)濕功能的實(shí)現(xiàn)依靠DHT11 模塊，DHT11 用的是單總線協(xié)議，一次傳送40 位的數(shù)據(jù)。每次單片機(jī)讀取DHT11 的數(shù)據(jù)時(shí)，都要一次性讀取40 次，也就是讀取40 位，并且數(shù)據(jù)前16 位是與濕度相關(guān)的，中間16 位是與溫度相關(guān)的，最后8 位是用來校驗(yàn)的。當(dāng)校驗(yàn)成功后，證明這一次的溫濕度結(jié)果是正確的，單片機(jī)就可以使用這個(gè)溫濕度值；如果校驗(yàn)不通過，那么就代表這次讀取出來的溫濕度值是錯(cuò)誤的。環(huán)境測(cè)溫測(cè)濕程序如圖9 所示。

圖9 環(huán)境測(cè)溫測(cè)濕程序

3.3 WiFi 程序的實(shí)現(xiàn)

WiFi 模塊中網(wǎng)絡(luò)模塊的主要作用是連接遠(yuǎn)程服務(wù)器、完成串口信號(hào)和無線信號(hào)的轉(zhuǎn)換，保證微處理器的數(shù)據(jù)收發(fā)。通過ESP8266 的芯片可以使用AT 指令或者登錄自帶熱點(diǎn)的網(wǎng)頁進(jìn)行配置，在連接建立之后將接收到的數(shù)據(jù)傳遞給MCU，從而建立通信連接，實(shí)現(xiàn)遠(yuǎn)程通信服務(wù)。具體工作流程如圖10 所示。

圖10 網(wǎng)絡(luò)模塊工作流程

3.4 APP 或Web 端控制程序的實(shí)現(xiàn)

通過可視化編程工具node-red 進(jìn)行網(wǎng)頁的制作，并結(jié)合WiFi 模塊接入MQTT 服務(wù)器進(jìn)行數(shù)據(jù)的傳輸，從而實(shí)現(xiàn)Web 端對(duì)巡邏車的遠(yuǎn)程控制。通過微信小程序的框架與node-js 框架進(jìn)行微信小程序的制作，并結(jié)合WiFi 模塊接入MQTT 服務(wù)器進(jìn)行數(shù)據(jù)的傳輸，從而實(shí)現(xiàn)APP 端對(duì)巡邏車的遠(yuǎn)程控制。普通狀態(tài)下，系統(tǒng)實(shí)時(shí)發(fā)送溫度等數(shù)據(jù)后，APP 或Web 實(shí)時(shí)接收各類數(shù)據(jù)并在界面上顯示。當(dāng)出現(xiàn)特殊情況時(shí)，可通過手機(jī)屏幕按鍵實(shí)現(xiàn)對(duì)巡邏車的操作控制[10]。其流程如圖11 所示。

圖11 APP 與Web 控制程序流程

3.5 避障尋跡測(cè)距定位程序的實(shí)現(xiàn)

避障尋跡測(cè)距定位程序的實(shí)現(xiàn)依靠三大模塊與算法程序。灰度傳感器利用不同顏色的檢測(cè)面對(duì)光的反射程度不同、光敏電阻對(duì)不同檢測(cè)面返回的光阻值也不同的原理進(jìn)行顏色深淺檢測(cè)。控制單元給超聲波傳感器10 μs 以上的觸發(fā)信號(hào)，它的發(fā)射端就發(fā)射一束超聲波，在發(fā)射的同時(shí)計(jì)時(shí)開始；發(fā)射出去的超聲波在介質(zhì)中傳播，聲波具有反射特性，當(dāng)遇到障礙物時(shí)就會(huì)反射回來；當(dāng)超聲波的接收端接收到反射回來的超聲波時(shí)，計(jì)時(shí)停止。GPS 模塊通過MMCX 天線不斷接收GPS 定位衛(wèi)星發(fā)送的導(dǎo)航電文，通過GPS 模塊（單片機(jī)）進(jìn)行處理，并且輸出串口TTL 電平信號(hào)與主AP 進(jìn)行通信，傳輸NMEA-0183 格式的信息流；主CPU 處理NMEA-0183格式的定位信息、當(dāng)前衛(wèi)星信息、地面數(shù)字信息等衛(wèi)星信息，按照一定的公式進(jìn)行計(jì)算，經(jīng)過應(yīng)用邏輯處理后，返回給用戶顯示。其流程如圖12 所示。

圖12 避障尋跡測(cè)距定位程序流程

3.6 土壤濕度測(cè)量灌溉補(bǔ)水程序的實(shí)現(xiàn)

土壤濕度測(cè)量灌溉補(bǔ)水程序的實(shí)現(xiàn)依靠土壤濕度計(jì)與供水系統(tǒng)。巡邏車通過定點(diǎn)發(fā)射土壤濕度計(jì)，將其插入土里，濕度計(jì)測(cè)量土壤濕度，若濕度不在預(yù)先設(shè)定的合理范圍內(nèi)，則啟動(dòng)供水系統(tǒng)對(duì)其進(jìn)行補(bǔ)水操作。具體流程如圖13 所示。

圖13 土壤濕度測(cè)量灌溉補(bǔ)水控制程序流程

4 實(shí)驗(yàn)測(cè)試結(jié)果

圖14 是巡邏車系統(tǒng)實(shí)物圖，本系統(tǒng)采用圖像識(shí)別芯片K210 及各類傳感器采集相應(yīng)信息并送入主控芯片，主控芯片STM32 系列單片機(jī)對(duì)數(shù)據(jù)進(jìn)行處理后作出對(duì)應(yīng)反應(yīng)，從而實(shí)現(xiàn)檢測(cè)水果病蟲害的功能。圖像識(shí)別芯片K210 負(fù)責(zé)檢測(cè)水果是否患有病蟲害的情況；土壤濕度傳感器負(fù)責(zé)測(cè)量土壤的濕度情況，若所測(cè)濕度值不在預(yù)先所設(shè)定值的范圍內(nèi)，將啟動(dòng)電磁閥及其供水系統(tǒng)進(jìn)行灌溉補(bǔ)水；XFS5152 微型語音通信模塊實(shí)現(xiàn)主機(jī)與從機(jī)的遠(yuǎn)距離對(duì)話通信功能；超聲波測(cè)距和紅外尋跡模塊結(jié)合系統(tǒng)預(yù)先規(guī)劃的路線進(jìn)行巡邏車障礙尋跡行駛；GPS 模塊實(shí)現(xiàn)對(duì)巡邏車的定位；WiFi 模塊實(shí)現(xiàn)數(shù)據(jù)傳輸，與云端Web、手機(jī)APP 之間進(jìn)行通信，手機(jī)端或客戶端通過發(fā)送指令對(duì)巡邏車的運(yùn)動(dòng)方向、燈和報(bào)警器等進(jìn)行控制。圖15 是APP 端圖，圖16 是Web 端圖。表1 為水果病蟲害的檢測(cè)結(jié)果；表2 為手機(jī)APP 與主機(jī)的測(cè)試結(jié)果。

表1 正常水果與疾病水果的測(cè)試結(jié)果

表2 手機(jī)APP 與主機(jī)的測(cè)試結(jié)果

圖14 實(shí)物圖

圖15 APP 端

圖16 Web 端

5 結(jié) 語

中國(guó)是一個(gè)農(nóng)業(yè)大國(guó)，而農(nóng)業(yè)收益一直深受病蟲害影響。據(jù)統(tǒng)計(jì)數(shù)據(jù)，自2008—2017 年，我國(guó)農(nóng)業(yè)有害生物年均發(fā)生面積達(dá)71 億畝次。目前，市面上預(yù)防水果病蟲害多數(shù)采用人工噴撒農(nóng)藥和專家實(shí)地考察的方式，效率較低?；诖耍疚脑O(shè)計(jì)了一種基于圖像識(shí)別水果病蟲害的巡邏車，能有效識(shí)別水果是否感染常見病蟲害的情況，具有土壤濕度檢測(cè)和灌溉補(bǔ)水、語音提醒等功能，便于及時(shí)提醒種植者水果的狀態(tài)；此外，還可通過Web 網(wǎng)頁端和手機(jī)APP 的監(jiān)控進(jìn)行人機(jī)交互。本項(xiàng)目研究使得水果種植以及農(nóng)作物病蟲害識(shí)別檢測(cè)更加智能化。