基于深度學(xué)習(xí)的玉米拔節(jié)期冠層識(shí)別

孫 紅，喬金博，李 松，李民贊，宋 迪，喬 浪

基于深度學(xué)習(xí)的玉米拔節(jié)期冠層識(shí)別

孫 紅1，喬金博2，李 松1，李民贊1※，宋 迪2，喬 浪2

（1. 中國農(nóng)業(yè)大學(xué)，現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 中國農(nóng)業(yè)大學(xué)，農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100083）

為了滿足田間玉米植株快速識(shí)別與檢測(cè)的需求，針對(duì)玉米拔節(jié)期提出了基于深度學(xué)習(xí)的冠層識(shí)別方法，比較并選取了適于玉米植株精準(zhǔn)識(shí)別和定位的網(wǎng)絡(luò)模型，并研制了玉米植株快速識(shí)別和定位檢測(cè)裝置。首先拍攝玉米苗期和拔節(jié)期圖像共計(jì)3 000張用于訓(xùn)練深度學(xué)習(xí)模型，針對(duì)拔節(jié)期玉米葉片交叉嚴(yán)重的問題，提出了以玉米株心取代玉米整株對(duì)象的標(biāo)記策略。其次在Google Colab云平臺(tái)訓(xùn)練SSDLite-MobileDet網(wǎng)絡(luò)模型。為了實(shí)現(xiàn)田間快速檢測(cè)，開發(fā)了基于樹莓派4B+Coral USB的玉米冠層快速檢測(cè)裝置。結(jié)果表明，田間玉米冠層識(shí)別模型精度達(dá)到91%，檢測(cè)視頻的幀率達(dá)到89幀/s以上。研究成果可為田間玉米高精度診斷和精細(xì)化作業(yè)管理奠定基礎(chǔ)。

深度學(xué)習(xí)；目標(biāo)檢測(cè)；識(shí)別；拔節(jié)期；玉米冠層

0 引 言

隨著深度學(xué)習(xí)技術(shù)的發(fā)展成熟，在農(nóng)業(yè)領(lǐng)域的應(yīng)用日益廣泛，其中基于深度學(xué)習(xí)的新一代人工智能傳感器研發(fā)是提升信息獲取技術(shù)水平的重要方向[1-2]。玉米作為中國主要糧食作物，其施肥作業(yè)多以條施、撒施為主,精準(zhǔn)施肥技術(shù)是提高農(nóng)業(yè)資源利用率和環(huán)境保護(hù)的重要途徑[3-4]。結(jié)合深度學(xué)習(xí)技術(shù)識(shí)別玉米植株，并形成智能型傳感器為精準(zhǔn)化對(duì)靶作業(yè)提供支持，具有重要現(xiàn)實(shí)意義。

針對(duì)玉米冠層，傳統(tǒng)分析方法關(guān)注于形態(tài)、灰度差異、顏色等淺層圖像特征，使用閾值分割法提取植株對(duì)象。Montalvo等[5]利用最大類間方差法（Otsu法）針對(duì)俯視圖像進(jìn)行雙閾值分割，分離了作物和雜草。胡煉等[6]對(duì)靜態(tài)采集的圖像，利用超綠算法（ExG）結(jié)合Otsu法實(shí)現(xiàn)對(duì)棉苗和生菜苗的識(shí)別和定位。當(dāng)前研究主要集中于靜態(tài)圖像的分析，受到環(huán)境光和運(yùn)動(dòng)等因素的干擾，針對(duì)田間復(fù)雜動(dòng)態(tài)環(huán)境下的檢測(cè)效果有待提高[6]。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）基于大量的數(shù)據(jù)集訓(xùn)練，提升了深層次圖像特征挖掘的能力，在圖像目標(biāo)分類[7-8]、識(shí)別和檢測(cè)[9-10]等領(lǐng)域形成了YOLO（You Only Look Once）[11-12]、Fast R-CNN（Fast Region-CNN）[13-14]和SSD（Single Shot MultiBox Detector）[15-16]等系列模型，在目標(biāo)分類、雜草識(shí)別、病蟲害脅迫、農(nóng)產(chǎn)品品質(zhì)分析等對(duì)象識(shí)別和檢測(cè)中得到了廣泛的應(yīng)用[13]，且具有較高的識(shí)別精度和較好的魯棒性。盡管當(dāng)前研究在CNN網(wǎng)絡(luò)的架構(gòu)、訓(xùn)練參數(shù)設(shè)置及調(diào)整等方面取得了重要的進(jìn)展，但是網(wǎng)絡(luò)模型普遍基于實(shí)驗(yàn)室高性能GPU（Graphics Processing Unit）運(yùn)行，導(dǎo)致在實(shí)際工程應(yīng)用中的成本較高[17-18]，尚無輕量化、便攜化的農(nóng)業(yè)應(yīng)用設(shè)備，無法為玉米田間快速識(shí)別提供裝備支持。

面向移動(dòng)端便攜式和輕簡(jiǎn)化應(yīng)用的需求，基于SSD模型架構(gòu)，MobileNet、MobileNetV3等具有輕量化特點(diǎn)的網(wǎng)絡(luò)備受關(guān)注。Xiong等[19]通過在搜索空間中加入規(guī)則卷積，提出了一種快速的MobileDet網(wǎng)絡(luò)，模型精度接近VGG16，但模型體積小32倍，且計(jì)算復(fù)雜度小27倍，比GoogleDet計(jì)算量減少2.5倍以上。通過模型改進(jìn)，在移動(dòng)CPU（Central Processing Unit）處理器平臺(tái)上其運(yùn)行效果比傳統(tǒng)MobileNetV3 + SSDLite模型具有優(yōu)勢(shì)[19]。因MobileDet和MobileNetV3輕量化的特點(diǎn)，適于移動(dòng)終端應(yīng)用，為基于深度學(xué)習(xí)的智能檢測(cè)設(shè)備研發(fā)提供了實(shí)施途徑。Coral USB 加速棒支持Linux、Macos或Windows10系統(tǒng)，只需連接USB即可為系統(tǒng)添加一個(gè)Edge TPU處理器。單個(gè)Edge TPU能夠每秒執(zhí)行4萬億次操作，MobileNetV2模型在四核Cortex-A53 @ 1.5GHzCPU上每次推理時(shí)間為282 ms，在四核 Cortex-A53 @ 1.5GHz + Edge TPU加速棒上每次推理時(shí)間為14 ms，速度提升約20倍。此外Coral USB 加速棒具有體積小、易拆裝等特點(diǎn)，適合于移動(dòng)終端設(shè)備的開發(fā)。

針對(duì)田間玉米冠層的檢測(cè)與定位，大量研究圍繞苗期植株展開。宗澤等[20]使用Fast R-CNN對(duì)苗期玉米植株圖像進(jìn)行識(shí)別，基于GPU的離線識(shí)別準(zhǔn)確率達(dá)到了92.9%。孟慶寬等[21]采用一種輕度卷積神經(jīng)網(wǎng)絡(luò)對(duì)苗期玉米和雜草進(jìn)行識(shí)別，識(shí)別速度達(dá)到了32.26幀/s，準(zhǔn)確率為88.27%。然而，隨著玉米生育期的推進(jìn)，葉面積增大，葉片交叉與冠層連片等限制了上述數(shù)據(jù)集和模型的應(yīng)用。此外，離線識(shí)別的模式不利于快速獲取、分析與變量管理一體化精準(zhǔn)作業(yè)模式的構(gòu)建，也不利于提高智能化管理水平。

因此，本研究擬針對(duì)玉米拔節(jié)期冠層連片的問題，改進(jìn)數(shù)據(jù)集標(biāo)注對(duì)象，進(jìn)而在SSDLite-MobileDet輕量化深度學(xué)習(xí)模型的基礎(chǔ)上，研制一款便攜式田間玉米植株快速識(shí)別與智能定位裝置，以期為田間信息高效獲取與精準(zhǔn)化管理提供技術(shù)和裝備支持。

1 材料與方法

1.1 研究路線

應(yīng)用深度學(xué)習(xí)開展玉米冠層識(shí)別與檢測(cè)的技術(shù)流程如圖1所示，包括數(shù)據(jù)獲取與處理、制作數(shù)據(jù)集、模型訓(xùn)練及量化和移動(dòng)設(shè)備快速檢測(cè)應(yīng)用。在深度學(xué)習(xí)中，準(zhǔn)備數(shù)據(jù)集時(shí)包括數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)清洗、標(biāo)準(zhǔn)化或規(guī)范化處理。之后再選取合適的目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練與模型的優(yōu)化。訓(xùn)練完成后的模型再導(dǎo)出部署到移動(dòng)設(shè)備，最終完成深度學(xué)習(xí)在農(nóng)業(yè)應(yīng)用方面的落地與實(shí)施。

圖1 玉米冠層識(shí)別與檢測(cè)技術(shù)流程

1.2 數(shù)據(jù)獲取

1.2.1 模型訓(xùn)練數(shù)據(jù)集

拍攝玉米冠層圖像，制作訓(xùn)練數(shù)據(jù)集。2020年7月－9月之間，拍攝株高10～110 cm之間玉米苗期和拔節(jié)期圖像共計(jì)3 000張。其中，2020年7月3日到8月20日，在河北省衡水旱作研究所試驗(yàn)基地，拍攝衡玉321冠層圖像2 600張；2020年9月6日到20日在中國農(nóng)業(yè)大學(xué)上莊實(shí)驗(yàn)站拍攝鄭單958冠層圖像400張。拍攝使用魅族pro6s手機(jī)，原始圖像分辨率為3 008×4 000（像素），格式為JPEG。數(shù)據(jù)集涵蓋不同光照環(huán)境和不同生長(zhǎng)期，如圖2所示分別為晴天苗期、陰天苗期、晴天拔節(jié)期和陰天拔節(jié)期圖像的樣例。苗期植株為3～6葉期，拔節(jié)期植株為7～10葉期。

1.2.2 裝置性能驗(yàn)證

模型訓(xùn)練完成后，嵌入玉米冠層快速檢測(cè)裝置。為驗(yàn)證檢測(cè)裝置性能，應(yīng)用2個(gè)批次視頻數(shù)據(jù)，包括宗澤[20]于2017－2018年每年5－7月在中國農(nóng)業(yè)大學(xué)上莊實(shí)驗(yàn)站拍攝的玉米苗期視頻和2021年6－8月在中國農(nóng)業(yè)大學(xué)上莊實(shí)驗(yàn)站拍攝玉米拔節(jié)期視頻。通過對(duì)視頻圖像中的玉米植株識(shí)別，測(cè)試嵌入快速檢測(cè)裝置后模型對(duì)目標(biāo)識(shí)別的準(zhǔn)確性。

1.3 數(shù)據(jù)集制作

1.3.1 圖像歸一化與特征標(biāo)注

針對(duì)大田環(huán)境下拔節(jié)期玉米冠層連片的情況，本文提出一種基于株心的植株標(biāo)注策略，以避免葉片交叉時(shí)的誤識(shí)別，提高單株識(shí)別準(zhǔn)確度。在對(duì)圖像進(jìn)行壓縮與批量命名以后，將輸入圖像分辨率調(diào)整為726像素×545像素。通過專業(yè)標(biāo)注軟件Labelme使用綠框標(biāo)注目標(biāo)玉米植株，拔節(jié)期冠層株心標(biāo)注時(shí)框取玉米株心的最大外接矩形。標(biāo)注文件格式保存為.xml文件，文件包含標(biāo)注特征的位置及像素信息。

1.3.2 數(shù)據(jù)增強(qiáng)

為應(yīng)對(duì)大田多樣化的環(huán)境，增加玉米植株識(shí)別模型的魯棒性與泛化能力，對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。在擴(kuò)充訓(xùn)練的數(shù)據(jù)量方面，數(shù)據(jù)增強(qiáng)的方法主要有翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、平移等[13,22]。幾何形變，擴(kuò)充樣本集數(shù)量，避免因?yàn)闃颖敬笮』蛘叱叨鹊葐栴}造成模型參數(shù)提取失真或模型過擬合。在抑制噪聲方面，數(shù)據(jù)增強(qiáng)的方法主要有添加噪聲、改變圖像亮度、對(duì)比度等，通過改變圖像的視覺效果模擬復(fù)雜噪聲干擾和光照環(huán)境的影響，進(jìn)而抑制因圖像噪音、圖像模糊等質(zhì)量不高導(dǎo)致的訓(xùn)練模型精度不高的問題。本文采用上述2類方式分別對(duì)訓(xùn)練集和交叉驗(yàn)證集進(jìn)行數(shù)據(jù)擴(kuò)充，構(gòu)建的玉米冠層圖像數(shù)據(jù)集如圖3和表1所示。按7：2：1的比例劃分為訓(xùn)練集，交叉驗(yàn)證集與測(cè)試集，對(duì)劃分后的訓(xùn)練集和交叉驗(yàn)證集進(jìn)行擴(kuò)增，擴(kuò)增后訓(xùn)練集圖像10 500張、交叉驗(yàn)證集圖像3 000張、測(cè)試集圖像300張。

表1 數(shù)據(jù)集說明

1.4 基于SSDLite+MobileDet的玉米冠層識(shí)別

為了對(duì)拔節(jié)期玉米冠層進(jìn)行快速檢測(cè)，并通過模型移植，在移動(dòng)端設(shè)備上研制便攜式裝置，研究采用MobileDet網(wǎng)絡(luò)代替SSDLite原來的VGG16網(wǎng)絡(luò)。對(duì)象檢測(cè)旨在對(duì)目標(biāo)對(duì)象進(jìn)行定位和分類，并用矩形標(biāo)記顯示被檢測(cè)對(duì)象分類的可信度。目標(biāo)檢測(cè)算法分為訓(xùn)練和預(yù)測(cè)2個(gè)環(huán)節(jié)，其中訓(xùn)練環(huán)節(jié)用于通過數(shù)據(jù)集特征學(xué)習(xí)得到分類器，預(yù)測(cè)環(huán)節(jié)使用訓(xùn)練好的分類器對(duì)未知圖像中的特征提取和分類，最終得到檢測(cè)結(jié)果。圖4為目標(biāo)檢測(cè)算法流程圖。檢測(cè)中的正負(fù)樣本是程序識(shí)別感興趣區(qū)域ROI（Region Of Interest），即SSDLite中在不同分辨率的特征圖中的默認(rèn)框，這些框中的一部分被選為待檢測(cè)目標(biāo)，即正樣本，一部分被選為非待檢測(cè)目標(biāo)，即負(fù)樣本，另外一部分被當(dāng)作背景或者不參與運(yùn)算。交并比IOU（Intersection Over Union）≥0.5為正樣本，＜0.5為負(fù)樣本，選取負(fù)樣本中置信度損失函數(shù)值高的進(jìn)行訓(xùn)練，正負(fù)樣本的比例1：3。

圖4 目標(biāo)檢測(cè)算法流程圖

在SSD（Single Shot MultiBox Detector）的基礎(chǔ)上將特征圖分類和位置加權(quán)使用的標(biāo)準(zhǔn)卷積替換為深度可分離卷積，得到面向移動(dòng)端設(shè)計(jì)的改進(jìn)輕量化模型SSDLite。通常特征提取需要由特有的特征提取神經(jīng)網(wǎng)絡(luò)來完成，如VGG、MobileNet，ResNet等[23-24]，在BackBone后的全連接層輔助實(shí)現(xiàn)特征提取和輸出。SSDLite算法優(yōu)化了這一過程，檢測(cè)速度提高。同時(shí)SSDLite算法綜合利用不同卷積層的特征，結(jié)合YOLO中的回歸思想和Faster R-CNN中的Anchor機(jī)制，使用全圖各個(gè)位置的多尺度區(qū)域進(jìn)行回歸，既保持了YOLO速度快的特性，也保證了窗口預(yù)測(cè)的跟Faster R-CNN一樣精準(zhǔn)。圖5為SSDLite框架結(jié)構(gòu)圖，通過卷積層（Convlayers）的掃描窗口提取圖像特征信息，生成目標(biāo)檢測(cè)的特征分類器（Detector classifier），輸出后進(jìn)入非極大值抑制算法(Fast NMS)最終輸出檢測(cè)圖像。SSDLite模型包含類別損失函數(shù)和位置損失函數(shù)，其中類別損失函數(shù)使用加權(quán)FocalLoss損失函數(shù)，位置損失函數(shù)使用加權(quán)平滑L1范數(shù)。圖6為MobileDet網(wǎng)絡(luò)結(jié)構(gòu)圖。

1.5 檢測(cè)裝置設(shè)計(jì)

1.5.1 硬件設(shè)計(jì)

完成模型訓(xùn)練后，為實(shí)現(xiàn)玉米冠層快速檢測(cè)，設(shè)計(jì)了玉米冠層快速檢測(cè)裝置，總體結(jié)構(gòu)模塊如圖7所示。系統(tǒng)包括樹莓派控制模塊、加速計(jì)算模型、圖像采集模塊、電源模塊和顯示模塊。

圖5 SSDLite模型框架

注：IBN、Tucker和Fused為卷積塊，C為通道數(shù)，K為卷積核大小，E為擴(kuò)增因子，I為輸入壓縮比，O為輸出壓縮比。

圖7 移動(dòng)設(shè)備組成模塊示意圖

樹莓派4B移動(dòng)設(shè)備實(shí)物如圖8所示，廣角攝像頭安裝在設(shè)備底部，其感光芯片為OV5647，用于采集640×480分辨率的玉米視頻信息，并通過CSI接口傳輸采集到的視頻信息給樹莓派4B。樹莓派4B處理器為BCN2711四核1.5GHz Cortex-A72處理器、4G運(yùn)行內(nèi)存，運(yùn)行系統(tǒng)為Rsapbian Buster，配置有USB3.0接口。通過USB3.0接口外部擴(kuò)展Coral USB加速棒快速計(jì)算模塊。模型運(yùn)行結(jié)果在外接的3.5寸顯示屏上顯示，顯示屏分辨率為320×480，通過SPI協(xié)議與樹莓派進(jìn)行視頻傳輸。使用PiSugar2pro鋰電池進(jìn)行供電，該鋰電池自帶5V3A輸出能力，電池容量為5 000 mAh，可供移動(dòng)檢測(cè)設(shè)備持續(xù)工作10 h以上。

1. 樹莓派控制模塊 2. 電源模塊 3. 樹莓派CSI廣角攝像頭 4. Coral USB加速棒 5. 3.5寸觸摸屏 6. SD存儲(chǔ)卡

1.5.2 軟件設(shè)計(jì)

為了實(shí)現(xiàn)田間玉米冠層的實(shí)時(shí)識(shí)別與定位，將深度學(xué)習(xí)模型配置在樹莓派系統(tǒng)上。實(shí)現(xiàn)時(shí)為樹莓派系統(tǒng)搭建可供量化后模型應(yīng)用的環(huán)境，主要包括搭建TPU環(huán)境以運(yùn)行深度學(xué)習(xí)模型與Coral USB加速器，Python3.7、Tensorflow框架以支持深度學(xué)習(xí)模型與系統(tǒng)運(yùn)行，安裝OpenCV庫以實(shí)現(xiàn)圖像處理。具體軟件運(yùn)行流程為：開機(jī)自啟動(dòng)程序并進(jìn)行系統(tǒng)初始化，攝像頭采集到的視頻逐幀傳入深度學(xué)習(xí)模型，在加速棒的運(yùn)算下實(shí)現(xiàn)對(duì)玉米冠層的識(shí)別與定位，將識(shí)別與定位結(jié)果標(biāo)注在圖像上，檢測(cè)后的圖像經(jīng)過OpenCV處理成視頻進(jìn)行存儲(chǔ)和播放。軟件流程圖如圖9所示。

模型量化時(shí)，將連續(xù)取值的浮點(diǎn)型模型權(quán)重近似為有限多個(gè)離散值，數(shù)據(jù)類型由FP32轉(zhuǎn)換為INT8，減少量化為后的模型內(nèi)存占用，并在樹莓派4B和Coral USB設(shè)備上使用。最終將模型量化為與Coral USB邊緣處理器相適配的.tflite格式。將量化完成的tflite模型在樹莓派平臺(tái)上運(yùn)行。

2 試驗(yàn)與分析

2.1 試驗(yàn)方法

2.1.1 訓(xùn)練環(huán)境

模型訓(xùn)練在Google Colab云服務(wù)器下完成。操作系統(tǒng)為linux18.04，配置環(huán)境為cuda10.1和tensorflow1.15.2， GPU為Colab分配的TESLA T4 16GB GPU。在云服務(wù)器端使用Tensorflow框架對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練。

2.1.2 模型訓(xùn)練

本文在SSDLite-MobileDet模型的基礎(chǔ)上選用輕量化的MobileDet網(wǎng)絡(luò)對(duì)玉米株心進(jìn)行檢測(cè)識(shí)別。在MobileNet的基礎(chǔ)上，采用線性瓶頸逆殘差結(jié)構(gòu)（Inverted residual bottleneck）和基于squeeze and excitation結(jié)構(gòu)的MnasNet輕量級(jí)模型，并與MobileNetv3模型進(jìn)行對(duì)比，根據(jù)試驗(yàn)結(jié)果選取更適合于移動(dòng)端系統(tǒng)的SSDLite-MobileDet作為最終的玉米植株冠層檢測(cè)模型。

2.2 結(jié)果與分析

2.2.1 模型訓(xùn)練結(jié)果對(duì)比

利用相同的數(shù)據(jù)集和訓(xùn)練參數(shù)訓(xùn)練模型，使用300張測(cè)試集圖像對(duì)模型識(shí)別效果進(jìn)行評(píng)估。模型訓(xùn)練結(jié)果如表2和圖10所示，SSDLite-MobileDet與SSDLite-MobileNetV3的損失值下降到0.5時(shí)趨于平穩(wěn)，精度與召回率[25]表現(xiàn)略低，主要原因是數(shù)據(jù)集環(huán)境多樣，株心與葉片之間的特征相似，需要提取的特征部分與背景差異顯著性不高。MobileDet網(wǎng)絡(luò)識(shí)別速度達(dá)到110幀/s，準(zhǔn)確率達(dá)92.4%，高于MobileNetV3的70幀/s和91.3%，在精度和速度上都優(yōu)于MobileNetV3。最終選擇SSDLite-MobileDet作為最終的玉米冠層檢測(cè)模型。

圖10 SSDLite-MobileDet模型訓(xùn)練結(jié)果

2.2.2 模型訓(xùn)練進(jìn)程與可視化過程

為了提高模型檢測(cè)速度，以MobileNet網(wǎng)絡(luò)結(jié)構(gòu)作為SSDLite模型特征提取器。為了理解SSDLite模型特征提取器在訓(xùn)練時(shí)對(duì)玉米特征提取的過程，對(duì)訓(xùn)練過程中玉米圖像特征提取部分進(jìn)行可視化分析。圖11為部分卷積層（Cov）可視化結(jié)果。由圖11可知，隨著卷積網(wǎng)絡(luò)層數(shù)的加深，輸出圖像像素降低，提取特征更多，層次更深，特征映射包含目標(biāo)的信息更豐富。第一層和第二層主要提取圖像的顏色和形狀等特征，沿葉片結(jié)構(gòu)的梯度變化明顯。可視化到第五層，玉米冠層的特征提取不僅限于單一顏色指數(shù)，融合更多特征，對(duì)周圍環(huán)境有更強(qiáng)的判別能力。可以發(fā)現(xiàn)，在網(wǎng)絡(luò)層數(shù)達(dá)到深層次后，輸出的信息更多是檢測(cè)目標(biāo)的信息，背景圖的信息逐漸被網(wǎng)絡(luò)層隱去，最終提取出需要檢測(cè)的目標(biāo)信息，保證了對(duì)識(shí)別目標(biāo)深度特征的提取和學(xué)習(xí)。

圖11 部分卷積層結(jié)果可視化

2.2.3 不同環(huán)境下識(shí)別結(jié)果

為探究不同標(biāo)注策略對(duì)玉米冠層識(shí)別的影響，使用精度和速度較優(yōu)的SSDLite-MobileDet模型，比較了傳統(tǒng)整株標(biāo)注和基于株心的植株標(biāo)注策略對(duì)玉米冠層識(shí)別的效果。

完成模型訓(xùn)練后對(duì)玉米冠層進(jìn)行識(shí)別結(jié)果如圖12所示。由于植株間間隔大，使用整株標(biāo)注方式對(duì)單株樣本可以準(zhǔn)確識(shí)別。但拔節(jié)期各植株冠層葉片交叉嚴(yán)重，不易分辨出各株玉米，采用整株標(biāo)注方式時(shí)，模型將整張圖像誤識(shí)別為單株玉米，無法滿足對(duì)拔節(jié)期玉米識(shí)別與高精度定位的需求。

使用玉米株心作為識(shí)別目標(biāo)的標(biāo)注策略時(shí)，玉米拔節(jié)期冠層識(shí)別結(jié)果如圖12b所示。當(dāng)呈現(xiàn)如圖12a中多棵玉米葉片總體平行局部交叉情況，和如圖12b中相鄰植株交叉連片情況時(shí)，該標(biāo)注方式下模型都可以準(zhǔn)確識(shí)別并定位單株株心，提高了識(shí)別和定位準(zhǔn)確性。因此后續(xù)研究以玉米株心標(biāo)注策略為基礎(chǔ)，評(píng)價(jià)模型識(shí)別和定位準(zhǔn)確性。

根據(jù)圖像類型將300張測(cè)試集圖像分為不同組別作為模型輸入數(shù)據(jù)集測(cè)試模型在不同環(huán)境下的檢測(cè)精度。由于大田環(huán)境復(fù)雜，不能以傳統(tǒng)IOU作為評(píng)價(jià)指標(biāo)。本文識(shí)別出的玉米株數(shù)與總玉米株數(shù)的比值作為模型精度指標(biāo)，誤檢和漏檢均判定為該株玉米識(shí)別失敗。測(cè)試結(jié)果如表3所示。由表3可知，當(dāng)圖像為單株個(gè)體時(shí)，如苗期玉米與拔節(jié)期不交叉時(shí)的情況，識(shí)別精度可達(dá)98%以上，即使玉米處于交叉和不同光照情況，平均識(shí)別精度也可達(dá)92.4%。

圖12 不同標(biāo)注方式玉米冠層檢測(cè)結(jié)果

表3 不同環(huán)境下的識(shí)別結(jié)果

如圖13所示，在強(qiáng)光、遮擋與弱光條件下對(duì)玉米株心的檢測(cè)也有較高的精確度。對(duì)于沒有識(shí)別出來的玉米，主要原因是部分圖像過擬合，模型識(shí)別過于敏感和部分玉米植株遮擋嚴(yán)重，攝像機(jī)不能拍攝到冠層株心。但大部分玉米冠層能夠?qū)崿F(xiàn)定位與檢測(cè)，基本可以滿足在大田環(huán)境下對(duì)玉米冠層的快速檢測(cè)。

圖13 不同環(huán)境下玉米冠層識(shí)別結(jié)果

3 快速檢測(cè)驗(yàn)證

按照1.5.2節(jié)量化后，模型配置在樹莓派4B中，通過Coral USB加速后，運(yùn)行模型并實(shí)現(xiàn)對(duì)田間作物快速檢測(cè)。使用在中國農(nóng)業(yè)大學(xué)上莊實(shí)驗(yàn)站拍攝的玉米視頻模擬田間真實(shí)輸入環(huán)境，以驗(yàn)證模型和快速檢測(cè)裝備的應(yīng)用性。對(duì)拔節(jié)期玉米。選取晴天、陰天和強(qiáng)光3段有代表性的視頻進(jìn)行測(cè)試。圖14為樹莓派4B移動(dòng)設(shè)備快速檢測(cè)效果圖。

圖14 移動(dòng)設(shè)備檢測(cè)效果

研究中以視頻中識(shí)別的玉米株數(shù)與視頻中總玉米株數(shù)的比值作為模型識(shí)別精度，其中對(duì)于視頻中一株玉米出現(xiàn)誤檢或漏檢即判定為該株玉米識(shí)別失敗，識(shí)別結(jié)果如表4所示。由表4可知，在樹莓派4B上玉米冠層檢測(cè)可以達(dá)到91%以上的準(zhǔn)確率，模型處理速度平均達(dá)89幀/s以上，可以滿足田間玉米冠層便攜、快速檢測(cè)的應(yīng)用 需求。

表4 移動(dòng)端玉米冠層快速檢測(cè)結(jié)果

4 結(jié) 論

本文針對(duì)玉米冠層的快速識(shí)別，采集玉米不同生長(zhǎng)期的圖像，制作玉米苗期與拔節(jié)期的圖像數(shù)據(jù)集，采用深度學(xué)習(xí)輕量化網(wǎng)絡(luò)訓(xùn)練模型，開發(fā)了一套基于深度學(xué)習(xí)的玉米植株快速識(shí)別裝置，主要結(jié)論如下：

1）基于Google Colab云平臺(tái)訓(xùn)練，對(duì)比了SSDLite-MobileDet和SSDLite-MobileNetv3兩類輕量化模型，結(jié)果顯示SSDLite-MobileDet模型網(wǎng)絡(luò)識(shí)別速度達(dá)到110幀/s，準(zhǔn)確率達(dá)92.4%。

2）針對(duì)拔節(jié)期玉米交叉情況嚴(yán)重，環(huán)境復(fù)雜不易識(shí)別的情況，提出了基于玉米株心標(biāo)注的識(shí)別方法，本文模型在拔節(jié)期無交叉時(shí)的情況下，識(shí)別精度可達(dá)98%以上，即使玉米處于交叉和不同光照情況，平均識(shí)別精度也可達(dá)92.4%。

3）選用SSDLite-MobileDet模型，基于樹莓派4B和Coral USB深度學(xué)習(xí)加速器研制便攜式設(shè)備，移植本文網(wǎng)絡(luò)模型進(jìn)行應(yīng)用，測(cè)試視頻最終識(shí)別準(zhǔn)確率為91%以上，平均速率達(dá)89幀/s以上。

[1] 趙春江. 智慧農(nóng)業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標(biāo)研究[J]. 智慧農(nóng)業(yè)，2019，1(1)：1-7.

Zhao Chunjiang. State-of-the-art and recommended developmental strategic objectives of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)

[2] Liakos K G, Busato P, Moshou D, et al. Machine learning in agriculture: A review[J]. Sensors, 2018, 18(8): 2674.

[3] 張輝，張永江，楊易. 美國、加拿大精準(zhǔn)農(nóng)業(yè)發(fā)展實(shí)踐及啟示[J]. 世界農(nóng)業(yè)，2018(1)：175-178.

[4] 苑嚴(yán)偉，張小超，吳才聰，等. 玉米免耕播種施肥機(jī)精準(zhǔn)作業(yè)監(jiān)控系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(8)：222-226.

Yuan Yanwei, Zhang Xiaochao, Wu Caicong, et al. Precision control system of no-tillage corn planter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(8): 222-226. (in Chinese with English abstract)

[5] Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure[J]. Expert Systems with Applications An International Journal, 2012, 39(15): 11889-11897.

[6] 胡煉，羅錫文，曾山，等. 基于機(jī)器視覺的株間機(jī)械除草裝置的作物識(shí)別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(10)：12-18.

Hu Lian, Luo Xiwen, Zeng Shan, et al. Plant recognition and localization for intra-row mechanical weeding device based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(10): 12-18. (in Chinese with English abstract)

[7] 周云成，許童羽，鄭偉，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(15)：219-226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219-226. (in Chinese with English abstract)

[8] Quiroz I A, Alferez G H. Image recognition of legacy blueberries in a chilean smart farm through deep learning[J]. Computers and Electronics in Agriculture, 2020, 168: 105044

[9] 王璨，武新慧，李志偉. 基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征識(shí)別玉米雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(5)：144-151.

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144-151. (in Chinese with English abstract)

[10] 黃雙萍，孫超，齊龍，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[11] Li X, Pan J D, Xie F P, et al. Fast and accurate green pepper detection in complex backgrounds via an improved Yolov4-tiny model[J]. Computers and Electronics in Agriculture, 2021,191:106503.

[12] Tian Y N, Yang G D, W Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[13] 孫紅，李松，李民贊，等. 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(5)：1-17.

Sun Hong, Li Song, Li Minzan, et al. Research progress of image sensing and deep learning in agriculture[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 1-17. (in Chinese with English abstract)

[14] Wan S, Goudos S K. Faster R-CNN for multi-class fruit detection using a robotic vision system[J]. Computer Networks, 2020, 168(2): 107036.

[15] Liu Wei, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]. European Conference on Computer Vision, Berlin, 2016: 21-37.

[16] 袁培森，黎薇，任守綱，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的菊花花型和品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(5)：152-158.

Yuan Peisen, Li Wei, Ren Shougang, et al. Recognition for flower type and variety of chrysanthemum with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 152-158. (in Chinese with English abstract)

[17] Espejo-Garcia B, Mylonas N, Athanasakos L, et al. Towards weeds identification assistance through transfer learning[J]. Computers and electronics in agriculture. 2020, 171:105306.

[18] Mads D, Henrik K, Henrik S M, et al. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[19] Xiong Y Y, Liu H X, Gupta S, et al. MobileDets: Searching for object detection architectures for mobile accelerators[J/OL]. arXiv, [2021-03-31]. https://arxiv.org/abs/2004.14525.

[20] 宗澤，趙碩，劉剛. 苗期玉米冠層識(shí)別與質(zhì)心定位方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(S1)：27-33.

Zong Ze, Zhao Shuo, Liu Gang. Coronal identification and centroid location of maize seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 27-33. (in Chinese with English abstract)

[21] 孟慶寬，張漫，楊曉霞，等. 基于輕量卷積結(jié)合特征信息融合的玉米幼苗與雜草識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(12)：238-245.

Meng Qingkuan, Zhang Man, Yang Xiaoxia, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245. (in Chinese with English abstract)

[22] 劉慧力, 賈洪雷, 王剛, 等. 基于深度學(xué)習(xí)與圖像處理的玉米莖稈識(shí)別方法與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：207-215.

Lui Huili, Jia Honglei, Wang Gang, et al. Method and experiment of maize stems recognition based on deep learning and image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 207-215. (in Chinese with English abstract)

[23] Ahmad A, Saraswat D, Aggarwal V, et al. Performance of deep learning models for classifying and detecting common weeds in corn and soybean production systems[J]. Computers and Electronics in Agriculture, 2021, 184(3): 106081.

[24] Liu H J, Sun H, Li M Z, et al. Application of color featuring and deep learning in maize plant detection[J]. Remote sensing, 2020, 12(14): 2229.

[25] Zhang J, Karkee M, Zhang Q, et al. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting[J]. Computers and Electronics in Agriculture, 2020, 173: 105384.

Recognition of the maize canopy at the jointing stage based on deep learning

Sun Hong1, Qiao Jinbo2, Li Song1, Li Mingzan1※, Song Di2, Qiao Lang2

(1.,,,1000831,;2.,,,100083,)

A rapid and accurate detection of a maize plant has been widely determined the food safety and quality assurance in modern agriculture. However, there is a great challenge on the complex environment of canopy leaves at the jointing stage. It is also necessary to select a feasible network model suitable for the precise identification and positioning of maize plants in the field. In this study, a novel device was developed for canopy recognition during the maize jointing stage using deep learning. A total of 3000 images of maize in the seedling and jointing stages were also taken to train the model of deep learning. Furthermore, a labeling strategy was proposed for the sample set, where the whole maize object was replaced with the center of the maize plant. Some data enhancement techniques were utilized to increase the robustness and generalization ability of the identification model for maize plants, including the passive brightness, chroma, rotation, mirroring, and blurring. After that, three datasets of maize plants were achieved, including 10 500 training sets, 3 000 cross-validation sets, and 300 test sets. In the model training, the SSDLite-MobileDet network model was first trained on the Google Colab cloud platform, and then compared with the SSDLite-MobileNetV3 model. Finally, an optimal SSDLite-MobileDet model was achieved with a speed of 110 frames/s and an accuracy of 92.4%. More importantly, some strategies were proposed to improve the performance of the model. 1) The specific procedure of extraction was visualized for the maize images during model training using a Convolutional Neural Network (CNN). It was found that the target information was significantly enriched in the output feature mapping, as the number of CNN layers deepened gradually. 2) The heart of the plant was labelled to avoid the serious leaf crossing at the jointing stage of maize. Thus, the novel model presented an average recognition accuracy of 92.4% under severe leaf crossing and different lighting conditions. 3) A rapid detection device was built for the maize crops with Raspberry Pi 4B+Coral USB, including Raspberry Pi 4B control, accelerator fast calculation, camera image acquisition, power, and image display module. As such, a rapid and accurate platform was obtained to collect, process, and display the images of the maize canopy in the field. 4) The model that trained on the GPU was quantized to transplant the trained model to the device. The data type of FP32 was converted to INT8, thereby ensuring that the quantized model occupied less memory. 5) A software was designed to run the SSDLite-MobileDet lightweight model on Raspberry Pi 4B, further to realize the acquisition, recognition, and display of maize images. The specific operation included system initialization, model loading, images acquisition, model processing, maize canopy recognition, positioning, and display. Finally, a field experiment was carried out to evaluate the rapid detection device for the maize crops, where the frame rate of the detected video was more than 89 frame/s, and the application recognition accuracy rate reached 91%. The findings can also offer strong support to the high-precision diagnosis and refined operation of maize in the field.

deep learning; target detection; recognition; jointing stage; maize canopy

10.11975/j.issn.1002-6819.2021.21.007

S147.2

A

1002-6819(2021)-21-0053-09

孫紅，喬金博，李松，等. 基于深度學(xué)習(xí)的玉米拔節(jié)期冠層識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：53-61.doi：10.11975/j.issn.1002-6819.2021.21.007 http://www.tcsae.org

Sun Hong, Qiao Jinbo, Li Song, et al. Recognition of the maize canopy at the jointing stage based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 53-61. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.007 http://www.tcsae.org

2021-07-16

2021-09-14

國家重點(diǎn)研發(fā)計(jì)劃（2019YFE0125500）；國家自然科學(xué)基金資助項(xiàng)目（31971785和31971786）；中國農(nóng)業(yè)大學(xué)研究生培養(yǎng)項(xiàng)目（QYJC202101，JG202026，JG2019004和YW2020007）

孫紅，博士，教授，研究方向?yàn)檗r(nóng)業(yè)信息化技術(shù)。Email：sunhong@cau.edu.cn

李民贊，博士，教授，研究方向?yàn)榫?xì)農(nóng)業(yè)系統(tǒng)。Email：limz@cau.edu.cn