基于YOLOv3的稻穗識別方法研究

彭 祺，屠禮芬，程瑞敏，吳 濤

(湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感 432000)

精確、實時地獲取農(nóng)田的各項信息和農(nóng)作物的生長動態(tài)，是實現(xiàn)精準農(nóng)業(yè)的前提[1-2]。無人機遙感技術(shù)，是一種綜合應(yīng)用遙感、空間定位、無人駕駛飛行、遙測等技術(shù)[3]，可以無接觸獲取農(nóng)田空間信息，已經(jīng)在精準農(nóng)業(yè)領(lǐng)域?qū)崿F(xiàn)了小規(guī)模實際應(yīng)用。但無人機的工作主要在一個較大的范圍，在小范圍的精細化操作方面還無法代替農(nóng)民的工作。以圖像領(lǐng)域為例，無人機在圖像大范圍采集方面具有先天優(yōu)勢，相關(guān)算法對圖像中大物體的識別，如行人、汽車、動物等均取得較好的效果，但對于圖像中的小物體識別，如農(nóng)田中的稻穗，因為目標(biāo)尺寸較小，采用無人機進行檢測的方法很少。稻穗的數(shù)量與水稻產(chǎn)量直接相關(guān)，其表型特征在水稻育種研究中，是十分重要的量化指標(biāo)，主要包括：一次枝梗的長度、籽粒數(shù)和結(jié)實率，每穗籽粒數(shù)，稻穗骨架結(jié)構(gòu)等，因此，實時準確的農(nóng)田稻穗識別是很重要的。

深度學(xué)習(xí)技術(shù)在目標(biāo)檢測和分類領(lǐng)域，表現(xiàn)出比傳統(tǒng)圖像分析方法更為優(yōu)秀的效果[4-8]，目前，常用的基于深度學(xué)習(xí)的目標(biāo)檢測方法主要分為兩類：一類是基于回歸的一階檢測器，應(yīng)用較為廣泛的有YOLO、SSD (Solid-state Drive)和FPN (Feature Pyramid Networks)等[9-11]；另一類是基于區(qū)域建議的二階檢測器，應(yīng)用較為廣泛的有R-CNN (Regions with CNN feature)、SPP-Net (Spatial Pyramid Pooling Networks)、Fast R-CNN和Faster R-CNN等[12-15]。一階檢測器的優(yōu)點是測速快，缺點是在模型訓(xùn)練時可能出現(xiàn)前景和背景類別不均衡[16]，難以提取小目標(biāo)特征信息，從而導(dǎo)致部分目標(biāo)檢測效果不佳[17]。二階檢測器的檢測精度相對較高，但由于其使用到了候選區(qū)域生成方法和相對復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，所以運算量大，導(dǎo)致檢測速度較慢，無法達到實時檢測的目的[18]。

為了實現(xiàn)準確實時的農(nóng)田稻穗識別，本文利用深度學(xué)習(xí)的目標(biāo)檢測YOLOv3算法訓(xùn)練圖像樣本數(shù)據(jù)，構(gòu)建性能較好的模型，從而實現(xiàn)對稻穗的識別。YOLOv3算法所需的大量圖像原始數(shù)據(jù)由無人機在農(nóng)田實時實地采集，通過建立圖像數(shù)據(jù)庫來存儲、組織管理圖像數(shù)據(jù)，編寫了一套擁有自主知識產(chǎn)權(quán)的標(biāo)注軟件來對圖像進行預(yù)處理和制作訓(xùn)練樣本。

1 材料與方法

1.1 硬件集成

為了獲取標(biāo)注的樣本圖像，首先進行圖像采集，無人機采用遙控器來操縱，通過地面遙控器定位對其進行實時控制，旋翼飛行時產(chǎn)生的向下氣流有助于壓倒水稻葉片，從而能更好地拍攝稻穗，同時遠距離操控不會對水稻的生長產(chǎn)生影響，后期可對圖片、視頻進行圖像處理，得到有效的稻穗圖像。

大疆經(jīng)緯M100無人機對農(nóng)田進行俯拍采集圖像。DJI Matrice 100是一款功能強大，可靈活拓展的四旋翼無人機，開放的SDK提供了靈活易用的接口，外部設(shè)備可以靈活接入，對無人機進行控制與監(jiān)控，實現(xiàn)硬件集成。其抗風(fēng)性能良好，飛行時俯拍十分穩(wěn)定，在無人機高速飛行的狀態(tài)下，配合云臺相機減震系統(tǒng)，在空曠農(nóng)田有風(fēng)環(huán)境下，依然能采集到清晰的圖像。經(jīng)過多次實驗發(fā)現(xiàn)，該平臺能采集到清晰可用的農(nóng)田稻穗圖像數(shù)據(jù)。本系統(tǒng)利用四旋翼機M100搭載云臺相機，可進行靈活的視頻監(jiān)控任務(wù)。無人機模型圖如圖1所示。

圖1 無人機模型圖

1.2 圖像預(yù)處理

為了將研究成果更快地應(yīng)用于生產(chǎn)實踐，對采集到的農(nóng)田圖像構(gòu)建了圖像數(shù)據(jù)庫進行組織管理，配合大疆經(jīng)緯M100對農(nóng)田中水稻圖像、視頻進行實驗數(shù)據(jù)采集，對視頻每幀進行圖像預(yù)處理得到實驗圖片，圖像預(yù)處理的比例切割圖如圖2所示。

圖2 比例切割圖

試驗數(shù)據(jù)的預(yù)處理過程，使用了Adobe公司的Premiere和Photoshop軟件，分別用于從視頻中導(dǎo)出圖像數(shù)據(jù)和切割圖像數(shù)據(jù)。篩選過程則是在導(dǎo)出圖片數(shù)據(jù)后將無用的模糊圖片進行清理。

1.3 軟件集成

由于水稻的稻穗圖像與其他圖像相比，背景更加復(fù)雜，常規(guī)樣本標(biāo)注軟件因沒有預(yù)處理功能，制作出來的樣本圖像訓(xùn)練效果不佳。為了能夠準確地識別稻穗，對水稻稻穗圖像提取HSV色彩特征進行掩模處理，將復(fù)雜背景剔除，保留單純的稻穗目標(biāo)圖像，在此基礎(chǔ)上進行標(biāo)注，擴大樣本數(shù)據(jù)，提高基于YOLOv3的深度學(xué)習(xí)算法樣本訓(xùn)練效果。軟件運行流程圖如圖3所示。

圖3 軟件運行流程圖

該軟件對樣本圖像進行HSV色彩模型轉(zhuǎn)換，提取H通道特征，以此制作掩模，濾除雜亂背景干擾，保存為新的樣本圖像，增擴樣本數(shù)據(jù)；對已完成樣本制作的圖像標(biāo)簽信息進行增加、刪除修改；標(biāo)簽信息保存為文本文檔，也能轉(zhuǎn)化為標(biāo)準XML格式；展示樣本標(biāo)注范例，幫助指導(dǎo)非專業(yè)人員進行圖像樣本標(biāo)注工作。

2 結(jié)果與分析

YOLO的loss函數(shù)采用均方和誤差函數(shù)計算。一共由3部分構(gòu)成，即分類誤差、IOU誤差和坐標(biāo)誤差，loss函數(shù)用式(1)計算。

loss=∑(coordErr+iouErr+clsErr)

(1)

Yolo在訓(xùn)練過程中l(wèi)oss函數(shù)用式(2)計算。

(2)

首先是對預(yù)測的中心坐標(biāo)做損失，再對預(yù)測邊界框的寬高做損失，然后是對預(yù)測的類別做損失，最后是對預(yù)測的置信度做損失。

Yolo v3的邊界框預(yù)測用式(3)計算。

bx=σ(tx)+cx

by=σ(ty)+cy

bw=pwetw

bh=pheth

(3)

網(wǎng)絡(luò)實際的預(yù)測值為tx、ty、tw、th，根據(jù)式(3)分別計算獲得預(yù)測框的中心點坐標(biāo)和寬高坐標(biāo)bx、by、bw、bh。其中，cx、cy為當(dāng)前目標(biāo)框相對于左上角目標(biāo)框的偏移量。σ()是logistic函數(shù)，作用是將坐標(biāo)進行歸一化處理，使結(jié)果分布在0-1之間。bx、by為采用歸一化處理后的相對于目標(biāo)框的cell值。pw、ph為與真實框重合度最大的anchor框的寬和高。實際操作時，為了將bw、bh也歸一化到0-1之間，pw、ph采用anchor寬、高與featuremap寬、高的比值。獲得的bw、bh為歸一化處理后的值。

整個YOLO v3架構(gòu)中沒有池化層和全連接層。在進行前向傳播時，張量的尺寸變換，通過改變卷積核的步長來得到。在YOLO v2中，要經(jīng)歷5次縮小處理，那么原輸入圖像的尺寸會變成實際尺寸的1/25?？梢詫Ρ萗OLO v2和YOLO v3的backbone，如圖4所示。

圖4 YOLO v2和YOLO v3的backbone對比圖

YOLO v3采用邏輯回歸的方法，來獲得每個邊界框分數(shù)值，通過計算真實框與先驗邊界框的重疊度來預(yù)測結(jié)果，當(dāng)該重合度得分最高時，認為是最佳框。完全重合時得分為1，但實際操作中發(fā)現(xiàn)，邊界框通常不能達到最佳，當(dāng)與真實對象的重疊超過某個閾值(這里是0.5)，那么就忽略這次預(yù)測。YOLO v3為每個真實對象分配唯一一個邊界框，當(dāng)真實對象與先驗邊界框不吻合時，則不生成類別預(yù)測損失，只生成目標(biāo)預(yù)測損失。另外，本次稻穗識別模型使用logistic函數(shù)作為分類器，損失函數(shù)采用binary cross-entropy。

制作訓(xùn)練樣本后，訓(xùn)練實現(xiàn)30次迭代得到新的權(quán)值文件，運行新的權(quán)重，輸入圖片名稱即可對圖片進行識別，實驗前期效果見圖5，識別效果如圖6所示。

圖5 實驗前期效果圖

圖6 識別效果圖

該方法可實現(xiàn)對稻穗的識別，由圖5和圖6可見，相比實驗前期有很大的提高，標(biāo)注的標(biāo)準逐漸統(tǒng)一，識別效果圖精度有所提高，置信度也有所提高，對于VOC自己的樣本，前景和背景區(qū)分度較大，還能成功分割，而農(nóng)田中的稻穗和背景區(qū)分度小、雜亂、難以分割。我們使用無人機對稻田圖像進行俯拍，再對圖像進行分割篩選、標(biāo)注，識別的精確度有較大的提高。

3 討論

近年來，通過圖像處理對葉片進行分類識別的方法有很多，但應(yīng)用于農(nóng)田復(fù)雜環(huán)境下的目標(biāo)識別方法是較少的，為保證實驗的嚴謹性，研究中農(nóng)田圖像均由本團隊在農(nóng)田中實地取得，后期進行圖像處理得到19000余張圖片，其中9000張作為實驗圖像數(shù)據(jù)，剩余部分取樣作為驗證圖像數(shù)據(jù)，驗證識別結(jié)果時需要每張水稻圖像具有良好的處理效果，以保證數(shù)據(jù)的真實性。實際應(yīng)用過程中，運行程序后只需要輸入圖像相應(yīng)名稱即可對圖像中的稻穗進行識別，YOLO v3算法應(yīng)用于實際生產(chǎn)中，可以實時有效地對水稻成熟狀況進行監(jiān)控，在出現(xiàn)水稻倒伏等狀況時可采取一定措施進行補救，此目標(biāo)識別技術(shù)也可擴展到農(nóng)業(yè)各個方面的果實識別。