基于卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗檢測(cè)方法研究

張合濤,趙春江,王傳宇,郭新宇,李大壯,茍文博

(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院,陜西楊凌 712100;2.北京農(nóng)業(yè)信息技術(shù)研究中心,北京 100097;3.國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心/數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室,北京 100097)

檢測(cè)調(diào)查小麥生長(zhǎng)發(fā)育過(guò)程是栽培管理的關(guān)鍵任務(wù),在小麥灌漿期階段[1]對(duì)麥穗進(jìn)行檢測(cè)計(jì)數(shù),可以用來(lái)估測(cè)產(chǎn)量[2-3]、評(píng)估品種和栽培管理措施的優(yōu)劣。小麥穗數(shù)的調(diào)查以往多采用人工手動(dòng)計(jì)數(shù)的方法,費(fèi)時(shí)、費(fèi)工、準(zhǔn)確性差,難以大規(guī)模開(kāi)展。隨著近年來(lái)植物表型[4]測(cè)量技術(shù)發(fā)展的更新迭代,機(jī)器視覺(jué)方法在農(nóng)作物表型研究中的應(yīng)用取得了較大進(jìn)展。激光雷達(dá)、熱成像、數(shù)字圖像等技術(shù)方法在麥穗識(shí)別檢測(cè)中取得了良好的效果。其中,圖像處理技術(shù)[5]逐漸成為麥穗識(shí)別檢測(cè)的關(guān)鍵技術(shù),提升了識(shí)別檢測(cè)質(zhì)量和統(tǒng)計(jì)精度。

已有學(xué)者基于麥穗的顏色、紋理、幾何等特征利用傳統(tǒng)計(jì)算機(jī)方法對(duì)其實(shí)現(xiàn)識(shí)別檢測(cè),利用形態(tài)學(xué)重建理論[6]、凹域平滑方法[7]、分水嶺算法[8],成功地檢測(cè)出目標(biāo)麥穗。但在不同麥田采集的小麥樣本形態(tài)差異明顯,利用形態(tài)學(xué)重建理論檢測(cè)小麥的方法難以推廣應(yīng)用于其他的麥田;凹域平滑方法首要的要求是實(shí)現(xiàn)對(duì)麥穗平滑處理,但實(shí)際應(yīng)用中即使對(duì)二值圖像進(jìn)行腐蝕、膨脹等操作,也很難達(dá)到理想的平滑要求;分水嶺算法需要計(jì)算麥穗的區(qū)域極值,考慮到田間環(huán)境下拍攝的小麥圖像像素偏低、曝光過(guò)度等問(wèn)題,對(duì)此種情況的圖像難以精確計(jì)算,容易導(dǎo)致過(guò)度分割。

基于機(jī)器學(xué)習(xí)算法麥穗檢測(cè)計(jì)數(shù)也有大量研究工作。Xu等[9]使用K-means算法對(duì)麥穗進(jìn)行圖像分割。Olgun等[10]依靠DSIFT進(jìn)行特征提取后借助支持向量機(jī)分類(lèi)算法,最終對(duì)麥穗進(jìn)行識(shí)別檢測(cè)。林瀅等[11]通過(guò)隨機(jī)森林算法對(duì)冬小麥進(jìn)行產(chǎn)量估算,判斷預(yù)測(cè)時(shí)間和影響產(chǎn)量的因素,得到了較為準(zhǔn)確的數(shù)據(jù)。機(jī)器學(xué)習(xí)對(duì)麥穗的識(shí)別和檢測(cè)精度,依賴(lài)于從圖像上提取的特征,傳統(tǒng)的圖像特征提取算法在田間小麥圖像上欠缺準(zhǔn)確性和魯棒性,易受外界環(huán)境條件和作物本身遮擋的影響。

近些年來(lái),許多研究者利用深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、圖像數(shù)據(jù)分析[12]、多媒體應(yīng)用[13]等很多領(lǐng)域取得了一定進(jìn)展。深度學(xué)習(xí)優(yōu)勢(shì)在于自動(dòng)從大量的圖像中提取有用的學(xué)習(xí)特征,無(wú)需設(shè)置特征值。如,張領(lǐng)先等[14]利用深度卷積網(wǎng)絡(luò)對(duì)麥穗進(jìn)行特征提取及檢測(cè),并設(shè)計(jì)麥穗檢測(cè)計(jì)數(shù)應(yīng)用程序?qū)ζ溥M(jìn)行可視化操作;陳佳瑋等[15]構(gòu)建了MobileNetV2-YOLOV4深度學(xué)習(xí)模型對(duì)灌漿期小麥進(jìn)行識(shí)別,并開(kāi)發(fā)安卓軟件對(duì)田間小麥進(jìn)行預(yù)測(cè)和結(jié)果預(yù)覽處理等功能;孫俊等[16]在人群計(jì)數(shù)網(wǎng)絡(luò)CSRnet上進(jìn)行改進(jìn)和構(gòu)建WECnet網(wǎng)絡(luò),實(shí)現(xiàn)麥穗的計(jì)數(shù)統(tǒng)計(jì);Liu等[17]總結(jié)得出,深度學(xué)習(xí)在麥穗識(shí)別上具有很強(qiáng)的魯棒性。然而,大田小麥生長(zhǎng)密集,加上風(fēng)的擾動(dòng),圖像中麥穗分辨率低,存在模糊現(xiàn)象,陽(yáng)光直射導(dǎo)致麥穗存在一定的過(guò)度曝光現(xiàn)象,從而減少麥穗圖像中紋理等特征。為了克服上述問(wèn)題,本研究改進(jìn)YOLOv5檢測(cè)算法,提出了YOLOv5-αTB麥穗識(shí)別檢測(cè)模型,增加了麥穗計(jì)數(shù)精度和算法魯棒性。

1 材料與方法

1.1 數(shù)據(jù)來(lái)源與處理

1.1.1 圖像采集

數(shù)據(jù)集圖像采集獲取的地點(diǎn)位于北京市農(nóng)林科學(xué)院院內(nèi)實(shí)驗(yàn)田(39°56″N,116°16″E),種植小麥品種為洛麥、濟(jì)麥、豐抗、淮麥、京花等30個(gè)品種,于2020年10月上旬種植,每個(gè)小區(qū)種植一個(gè)品種,小區(qū)面積為6.75 m2(2.25 m×3 m),小麥株距為0.05 m,行距為0.2 m。拍攝設(shè)備為自主研發(fā)的田間作物高通量軌道式表型平臺(tái),該平臺(tái)搭載Microsoft,Kinect V2.0圖像采集設(shè)備,拍攝像素為5×106像素。本研究使用的數(shù)據(jù)圖像是2021年5月拍攝的小麥灌漿期圖像,軌道式表型平臺(tái)在每天上午9:00-10:00以及下午2:00-3:00定時(shí)對(duì)大田間小麥進(jìn)行垂直圖像拍攝。每天獲取的小麥圖像有1 050張,每一個(gè)小區(qū)拍攝圖像35張左右。圖1展示了北京市農(nóng)林科學(xué)院地理位置及拍攝獲取的小麥圖像。

圖1 小麥種植地圖及拍攝數(shù)據(jù)圖像Fig.1 Wheat planting map and captured data image

1.1.2 數(shù)據(jù)預(yù)處理

為了提升檢測(cè)模型的魯棒性,數(shù)據(jù)集中涉及30種小麥圖像且選取不同日期拍攝的數(shù)據(jù)圖像。表型平臺(tái)獲取的小麥灌漿期植株圖像中,原始圖像分辨率為4 096×3 000像素。由于原始圖像中包含的麥穗數(shù)量偏大,每一個(gè)麥穗在圖像中所占面積過(guò)小,會(huì)影響檢測(cè)模型運(yùn)行效率和精度,導(dǎo)致處理時(shí)間過(guò)長(zhǎng)、處理速度過(guò)慢、識(shí)別檢測(cè)效果不佳等問(wèn)題出現(xiàn)。利用圖片編輯器,對(duì)獲取的原始小麥圖像進(jìn)行批量裁剪。裁剪的統(tǒng)一標(biāo)準(zhǔn)是保留原始圖像中間部分,裁取的尺寸為1 024×1 024像素。

對(duì)圖像進(jìn)行篩選、清洗,剔除掉過(guò)于模糊的、不含麥穗等問(wèn)題的圖像。借助LabelImg標(biāo)注工具對(duì)小麥原始數(shù)據(jù)圖像進(jìn)行逐張標(biāo)注,在圖像中用矩形框?qū)γ恳粋€(gè)麥穗進(jìn)行框選,矩形框的頂點(diǎn)的位置坐標(biāo)會(huì)保存在XML文件中。XML文件還包含了麥穗的標(biāo)簽、圖像的大小、圖像的文件名稱(chēng)等一系列的信息。圖2是標(biāo)注麥穗圖像及標(biāo)注數(shù)據(jù)內(nèi)容的數(shù)據(jù)預(yù)處理階段。

圖2 數(shù)據(jù)預(yù)處理Fig.2 Pre-processed datasets

1.1.3 數(shù)據(jù)增強(qiáng)

由于表型平臺(tái)獲取的小麥數(shù)據(jù)集數(shù)量有限,為了提高模型檢測(cè)的魯棒性,故采用數(shù)據(jù)增強(qiáng)的方式對(duì)小麥數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充。具體采用的增強(qiáng)算法:(1)圖像亮度調(diào)整,對(duì)原始圖像的亮度進(jìn)行變換(原始為1倍),進(jìn)行0.3倍、0.5倍、1.2倍、1.6倍調(diào)整;(2)圖像翻轉(zhuǎn)和旋轉(zhuǎn),旋轉(zhuǎn)以中心坐標(biāo)為基點(diǎn),每張圖像進(jìn)行三張隨機(jī)角度(0°～90°)旋轉(zhuǎn);(3)圖像噪聲添加,使用高斯噪聲對(duì)圖像進(jìn)行處理,噪聲的強(qiáng)度5～20之間隨機(jī)數(shù)值;(4)圖像相互嵌入,讓目標(biāo)圖像和其他無(wú)關(guān)圖像進(jìn)行裁剪后相互嵌入,增加樣本復(fù)雜度,提升檢測(cè)效果;(5)圖像縮放,對(duì)原始圖像進(jìn)行放大或縮小、水平縱向拉伸等操作。經(jīng)過(guò)對(duì)數(shù)據(jù)集的擴(kuò)充由原來(lái)的232張數(shù)據(jù)圖像擴(kuò)增至4 043張圖像。將數(shù)據(jù)圖像按照PASCAL VOC2007格式制作成訓(xùn)練測(cè)試數(shù)據(jù)集,訓(xùn)練集、驗(yàn)證集、測(cè)試集的比例是8∶1∶1。

1.2 灌漿期小麥麥穗識(shí)別檢測(cè)模型建立

1.2.1 YOLOv5檢測(cè)模型

本研究是基于YOLOv5(you only look once)目標(biāo)檢測(cè)算法的基礎(chǔ)上實(shí)現(xiàn)的,YOLO系列的模型還包括YOLOv1[18]、YOLOv2[19]、YOLOv3[20]、YOLOv4[21]。YOLO的優(yōu)勢(shì)體現(xiàn)在能夠利用卷積神經(jīng)網(wǎng)絡(luò)提取特征直接來(lái)預(yù)測(cè)物體的分類(lèi)和位置,所以在速度方面較Two Stage檢測(cè)算法更快。YOLOv5目標(biāo)檢測(cè)算法是在基于YOLOv3特征提取的主干網(wǎng)絡(luò)Darknet53的基礎(chǔ)上借鑒了CSPNet[22]而設(shè)計(jì)出的CSPDarknet53,對(duì)物體特征具有更強(qiáng)的提取能力。在特征融合部分繼續(xù)沿用YOLOv4的特征金字塔(feature pyramid networks,FPN)[23]和PANet,但是YOLOv4中采用的都是普通的卷積操作,而YOLOv5借鑒CSPNet中的CSP2結(jié)構(gòu),進(jìn)一步加強(qiáng)了特征融合的功能,使得YOLOv5在檢測(cè)復(fù)雜環(huán)境背景下有較優(yōu)的檢測(cè)效果,更能將檢測(cè)主體與背景區(qū)分開(kāi)來(lái),大大提升了模型的檢測(cè)性能。

1.2.2 Transformer模塊

YOLOv5模型的主干特征提取網(wǎng)絡(luò)CSPDarknet53在本研究相對(duì)復(fù)雜的小麥生長(zhǎng)環(huán)境下具有一定的局限性,存在麥穗圖像過(guò)度曝光、紋理特征不明顯及由微風(fēng)導(dǎo)致拍攝的圖像模糊問(wèn)題,對(duì)麥穗數(shù)據(jù)集特征提取存在一定的難度。將Transformer模塊加入到Y(jié)OLOv5特征提取網(wǎng)絡(luò)的末端部分,可有效提升對(duì)相互遮擋物體的檢測(cè)性能[24]。Transformer模塊是由編碼器和譯碼器組成,而編碼器的任務(wù)是將位置編碼轉(zhuǎn)換成序列,為下一環(huán)節(jié)提供有效的語(yǔ)義信息。由于本研究?jī)H利用Transformer提升麥穗識(shí)別檢測(cè)的性能,故將編碼器與YOLOv5主干特征提取網(wǎng)絡(luò)結(jié)合,形成YOLOv5-αTB的新主干網(wǎng)絡(luò)。

Transformer的編碼層是由兩個(gè)子層組成:第一個(gè)子層以一個(gè)多頭自注意力層(multi-head self-attention layer)為核心結(jié)構(gòu),第二個(gè)子層以一個(gè)前反饋全連接層(multilayer perceptron,MLP)為核心結(jié)構(gòu)。編碼器更能提升獲取特征圖中的局部信息的能力,將Transformer放在YOLOv5特征提取網(wǎng)絡(luò)末端部分最主要的是因?yàn)榻?jīng)過(guò)多層特征提取層后,特征圖在網(wǎng)絡(luò)末端部分分辨率偏低,如此可以提升整個(gè)模型對(duì)麥穗識(shí)別檢測(cè)的精確度。

1.2.3 多尺度特征融合

隨著特征提取網(wǎng)絡(luò)層數(shù)的加深,每一層網(wǎng)絡(luò)上都存在一定的特征丟失現(xiàn)象。為了更好提取融合特征,通常在特征提取網(wǎng)絡(luò)層和輸出層增加一個(gè)多尺度特征融合層,以增加目標(biāo)物體的檢測(cè)精度。而YOLOv5模型中特征融合使用的是特征金字塔網(wǎng)絡(luò)(feature Pyramid networks,FPN)和PANet。FPN的原理是將提取到的高層的特征語(yǔ)義信息通過(guò)上采樣的方式向下層進(jìn)行逐一傳遞融合,是一個(gè)從上而下融合的網(wǎng)絡(luò),通過(guò)此網(wǎng)絡(luò)得到初步的預(yù)測(cè)特征圖。PANet則是將FPN的輸出特征圖作為輸入,是一個(gè)自下向上的特征金字塔,經(jīng)過(guò)PANet的處理最后得到預(yù)測(cè)的特征圖。將兩種網(wǎng)路結(jié)合后,前者通過(guò)網(wǎng)絡(luò)層將特征自上向下逐層傳遞加強(qiáng)了語(yǔ)義特征效果,而后者則將特征自下向上逐層傳遞加強(qiáng)定位特征效果,從而獲得更加完善特征聚合的效果。

FPN和PANet的組合僅僅是簡(jiǎn)單的、垂直水平特征融合,在復(fù)雜情況下對(duì)物體特征融合效果不是很好。BiFPN能夠更加快速方便地進(jìn)行多尺度特征融合,每一特征層增加一個(gè)額外的權(quán)重值,讓網(wǎng)絡(luò)學(xué)習(xí)不同權(quán)重值的特征。BiFPN的主要原理是特有的雙向交叉尺度連接和加權(quán)特征融合,不同于PANet。其作用就是對(duì)不同尺寸下的特征進(jìn)行相應(yīng)的融合,所做的工作就是通過(guò)各層次特征的相應(yīng)融合,輸出一個(gè)新的特征,其變換函數(shù)f計(jì)算公式如下:

(1)

(2)

式中Pl代表所在層提取的特征,in表示輸入,out表示輸出。FPN、PANet和BiFPN三種特征融合網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 三種特征融合網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Diagrammatic forms of the three feature fusion network structures

1.2.4 改進(jìn)損失函數(shù)

損失函數(shù)能很好地反映模型數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的差異,從而對(duì)模型進(jìn)行改進(jìn)、優(yōu)化。為了更好提升YOLOv5檢測(cè)模型的訓(xùn)練檢測(cè)效果,盡可能地?cái)M合真實(shí)框。在邊界框回歸損失函數(shù)中,YOLOv5采用的是GIoU Loss[25],其公式如下:

(3)

(4)

其中,A表示真實(shí)框,B表示測(cè)試框,C表示同時(shí)包含真實(shí)框和檢測(cè)框的最小外接矩形框。

GIoU Loss是在IoU Loss的基礎(chǔ)上進(jìn)行優(yōu)化改進(jìn)的,都是一種距離度量。IoU Loss在檢測(cè)框和真實(shí)框沒(méi)有重疊時(shí),loss值下降為0,梯度消失,會(huì)導(dǎo)致優(yōu)化模型失敗。因此,GIoU Loss在IoU Loss基礎(chǔ)上增加了最小外接矩形檢測(cè)框,這樣就可以成功解決IoU Loss存在的弊端等問(wèn)題。但GIou Loss也存在一定的缺陷,當(dāng)真實(shí)框和檢測(cè)框出現(xiàn)包含或被包含時(shí),GIoU Loss會(huì)退化成IoU Loss,兩者均會(huì)出現(xiàn)梯度消失現(xiàn)象,無(wú)法繼續(xù)優(yōu)化模型。而CIoU Loss增加了回歸三要素中的長(zhǎng)寬比問(wèn)題,考慮了特征間的幾何屬性,即縱橫比、中心點(diǎn)距離與位置、重疊面積,從而實(shí)現(xiàn)運(yùn)算更快收斂和優(yōu)化,具有更好的性能。CIoU損失函數(shù)公式為:

(5)

(6)

(7)

其中,b、bgt分別代表預(yù)測(cè)框和真實(shí)框的中心點(diǎn),ρ代表的兩個(gè)中心點(diǎn)間的歐氏距離,w和h分別是預(yù)測(cè)框?qū)捄透摺５荂IoU Loss在檢測(cè)麥穗這樣小目標(biāo)物體時(shí),識(shí)別檢測(cè)效果還是不佳,存在目標(biāo)物體誤識(shí)、漏識(shí)等現(xiàn)象。

本研究用邊界回歸框損失函數(shù)α-CIoU替換掉YOLOv5中使用的DIoU損失函數(shù)。α-CIoU Loss損失函數(shù)是基于現(xiàn)有的CIoU Loss的一種統(tǒng)一冪化,具有一個(gè)Power IoU和一個(gè)附加的α正則項(xiàng),測(cè)試過(guò)程中效果明顯的超過(guò)現(xiàn)有的損失函數(shù),且通過(guò)調(diào)節(jié)α使得檢測(cè)器可以實(shí)現(xiàn)不同水平的回歸精度調(diào)整,具有較大的靈活性。Α-CIoU Loss為小目標(biāo)數(shù)據(jù)集和噪聲提供了更強(qiáng)的魯棒性,其公式如下:

(8)

1.2.5 YOLOv5-αTB小麥麥穗識(shí)別檢測(cè)模型建立

由于YOLOv5特征提取末端部分增加了Transformer模塊,CSPDarknet53特征提取網(wǎng)絡(luò)對(duì)田間背景下麥穗的特征提取能力得到增強(qiáng),進(jìn)而提升了該模型的識(shí)別檢測(cè)性能。而PANet對(duì)這種密集遮擋且清晰度不高、過(guò)度曝光的圖像融合存在缺陷,從而導(dǎo)致模型最后的檢測(cè)部分效果較差。因此,本研究用BiFPN替換原模型中的PANet,以提升模型的泛化能力。而IoU Loss存在缺陷,本模型也是利用α-CIoU Loss進(jìn)行替換,進(jìn)一步提升模型的魯棒性,將大大提升本次試驗(yàn)的準(zhǔn)確度。YOLOv5-αTB麥穗識(shí)別檢測(cè)模型網(wǎng)絡(luò)由三部分構(gòu)成,分別是主干網(wǎng)絡(luò)部分、特征融合部分以及檢測(cè)部分(圖4)。其中各模塊結(jié)構(gòu)組成如圖5所示。圖6為麥穗識(shí)別檢測(cè)系統(tǒng)示意圖。

圖4 YOLOv5-αTB網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network structure of YOLOv5-αTB Chart

圖5 YOLOv5-αTB各模塊結(jié)構(gòu)圖Fig.5 Structure of YOLOv5-αTB each module

圖6 麥穗識(shí)別檢測(cè)系統(tǒng)Fig.6 Identification and detection system for wheat ears

1.3 模型訓(xùn)練環(huán)境

本研究的試驗(yàn)環(huán)境中,操作系統(tǒng)為Windows10,CPU型號(hào)為Intel(R)Xecon(R)Gold 5218R CPU @2.10GHz,GPU型號(hào)為NVIDIA Geforce RTX 3090,顯存為24.0G,數(shù)量2。該YOLOv5-αTB識(shí)別檢測(cè)模型是基于Pytorch深度學(xué)習(xí)框架,編程語(yǔ)言為Python,使用CUDA 11.1版本和CUDNN 8.0.4版本對(duì)深度學(xué)習(xí)模型進(jìn)行計(jì)算加速。訓(xùn)練迭代次數(shù)為1 000次,初始學(xué)習(xí)率為0.001,動(dòng)量設(shè)置為0.9,batch size為16。

1.4 評(píng)價(jià)指標(biāo)

本研究結(jié)果通過(guò)檢測(cè)精度來(lái)對(duì)麥穗識(shí)別檢測(cè)模型進(jìn)行評(píng)估,將模型的識(shí)別檢測(cè)效果分成了四種情況,分別是真陽(yáng)性(TP)、假陽(yáng)性(FP)、真陰性(TN)、假陰性(FN)。如果模型檢測(cè)框和麥穗邊界框的IoU大于設(shè)定的閾值0.5,則將該預(yù)測(cè)框設(shè)定為T(mén)P,反之設(shè)定為FP。如果小麥邊界框沒(méi)有匹配到預(yù)測(cè)框,則存在漏檢現(xiàn)象設(shè)定為FN。在該試驗(yàn)數(shù)據(jù)下,不需要用到TN指標(biāo),其中前景總是為麥穗。TP是正確檢測(cè)到麥穗的數(shù)量,FP是錯(cuò)誤檢測(cè)到的數(shù)量,FN是未檢測(cè)的數(shù)量。精確度(precision,P)和召回率(recall,R)定義為:

(9)

(10)

模型識(shí)別檢測(cè)圖像上存在誤檢、漏檢現(xiàn)象,僅僅使用精確度或者召回率來(lái)衡量該模型的性能,存在較大的缺陷,因而引入了平均精度(AP),以對(duì)模型的精度和性能有更好評(píng)判。AP的范圍在0到1之間,其值越接近1,說(shuō)明該網(wǎng)絡(luò)模型的精度越好,越接近0則說(shuō)明精度越差。

(11)

2 結(jié)果與分析

2.1 YOLOv5-αTB識(shí)別檢測(cè)模型結(jié)果分析

從圖7可以看出,隨著訓(xùn)練輪數(shù)的增加,YOLOv5-αTB識(shí)別檢測(cè)模型的精確度、召回率、平均精確度逐步增加,但當(dāng)訓(xùn)練輪數(shù)增加到300輪后,各精度指標(biāo)提升效果趨于平緩。從精確度和召回率的關(guān)系看,P-R曲線(xiàn)越靠近右上角,曲線(xiàn)下方面積越大,說(shuō)明該模型越優(yōu),識(shí)別檢測(cè)麥穗效果越好。

圖7 YOLOv5-αTB模型各指標(biāo)圖Fig.7 Index chart of YOLOv5-αTB model

2.2 不同麥穗識(shí)別檢測(cè)模型對(duì)比與分析

為進(jìn)一步分析YOLOv5-αTB模型對(duì)麥穗識(shí)別檢測(cè)的效果,選取了該領(lǐng)域上主要的檢測(cè)模型Faster R-CNN[26]、OLOX[27]、RetinaNet[28]進(jìn)行精度對(duì)比試驗(yàn),進(jìn)而比較其試驗(yàn)精度。結(jié)果表明,在相同環(huán)境下,YOLOv5-αTB模型對(duì)麥穗識(shí)別檢測(cè)的平均精度為88.64%,而Faster R-CNN、YOLOX和RetinaNet的平均精度均較低,分別為54.10%、65.25%和49.30%;而YOLOv5-αTB的平均精確度較YOLOv5模型也有一定的提升,后者的平均精確度為85.72%。

為了更加直觀地了解各個(gè)模型的識(shí)別檢測(cè)效果,從測(cè)試集中選取10張圖像使用各深度學(xué)習(xí)模型進(jìn)行識(shí)別檢測(cè)并手動(dòng)統(tǒng)計(jì)檢測(cè)出的麥穗數(shù)目以及錯(cuò)誤檢測(cè)成麥穗的數(shù)目(表1)。與人工手動(dòng)計(jì)數(shù)的真實(shí)麥穗數(shù)目相比,Faster R-CNN模型和RetinaNet模型效果欠佳;YOLOX模型僅在2個(gè)圖像中識(shí)別檢測(cè)效果優(yōu)于YOLOv5-αTB模型,但其錯(cuò)誤檢測(cè)率偏高,不適用田間復(fù)雜環(huán)境麥穗檢測(cè)?？傮w上,Faster R-CNN、RetinaNet、YOLOv5(s)、YOLOX和YOLOv5-αTB模型識(shí)別檢測(cè)麥穗的準(zhǔn)確率分別為62.60%、18.80%、 94.62%、96.64%和97.00%,誤檢率分別為0%、0%、0.34%、3.27%和0.07%。

表1 不同模型的檢測(cè)數(shù)量比較Table 1 Comparison of detection quantity between different models

將其中1張圖像通過(guò)各模型識(shí)別檢測(cè)后,可視化結(jié)果為圖8。各檢測(cè)模型均使用矩形框?qū)y(cè)試的小麥圖像進(jìn)行麥穗框選。紅色框表示模型測(cè)試輸出結(jié)果框,綠色框表示漏檢麥穗,橙色框表示誤檢。綜合對(duì)比表1以及圖8可以看出,Faster R-CNN和RetinaNet模型的檢測(cè)精度較低,存在大量的漏檢現(xiàn)象,較多的麥穗無(wú)法很好地被識(shí)別檢測(cè)出,適用性較低。而YOLOX模型的檢測(cè)精度雖然高,能夠檢測(cè)出圖像中絕大部分麥穗,但誤檢率較高,常把葉尖、雜草尖等相似尖狀類(lèi)物體誤檢成麥穗或者是存在一個(gè)麥穗重復(fù)檢測(cè)兩次的情況。而YOLOv5-αTB模型的檢測(cè)精度相比于其他檢測(cè)模型高,誤檢率較低,具有較好的大田適用性。

圖8 不同模型的檢測(cè)結(jié)果可視化Fig.8 Visualization of test results of different models

3 討 論

YOLOv5模型在田間復(fù)雜背景下獲取的麥穗數(shù)據(jù)集時(shí)麥穗圖像采集效果會(huì)受到微風(fēng)、光照等因素的影響,圖像存在模糊、過(guò)度曝光等問(wèn)題,模型魯棒性較差,識(shí)別檢測(cè)時(shí)誤、檢漏檢現(xiàn)象較多,適用性不好,難以在大田場(chǎng)景中應(yīng)用。本研究對(duì)YOLOv5模型的特征提取主干網(wǎng)絡(luò)、特征融合結(jié)構(gòu)、損失函數(shù)三部分進(jìn)行改進(jìn),構(gòu)建了YOLOv5-αTB模型,很好地解決了原模型對(duì)麥穗識(shí)別檢測(cè)過(guò)程中存在的這些問(wèn)題。結(jié)果表明,在測(cè)試集上,YOLOv5-αTB模型的精確度、召回率和平均精度分別為99.95%、81.86%和88.64%,其中平均精度較YOLOv5模型提升2.92個(gè)百分點(diǎn);在檢測(cè)統(tǒng)計(jì)麥穗數(shù)量上,相對(duì)于人工計(jì)數(shù)結(jié)果,該模型識(shí)別檢測(cè)精度約97.00%,誤檢率約為0.07%。在大田小麥麥穗灌漿期識(shí)別檢測(cè)中,該模型準(zhǔn)確度也明顯高于該領(lǐng)域其他主流模型。

隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的快速發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗檢測(cè)方法也趨于成熟。本研究工作內(nèi)容可拓展至大部分小麥品種甚至其他的農(nóng)作物,為廣大的農(nóng)業(yè)研究人員和從業(yè)人員提供在田間開(kāi)展產(chǎn)量、評(píng)估品種和栽培管理措施的優(yōu)劣等方面的技術(shù)手段。在農(nóng)業(yè)領(lǐng)域中,利用卷積神經(jīng)網(wǎng)絡(luò)方法在田間作物試驗(yàn)中的廣泛應(yīng)用提供了其他新思路。例如,葉面積指數(shù)測(cè)定、病蟲(chóng)害識(shí)別與診斷、群體葉綠素狀況測(cè)定等方面均有廣泛的應(yīng)用前景。小麥麥穗識(shí)別檢測(cè)受自然環(huán)境的約束,也與小麥生長(zhǎng)階段、穗部性狀相關(guān),因而YOLOv5-αTB模型的應(yīng)用效果需要進(jìn)一步的實(shí)踐檢驗(yàn),其精度也有待于進(jìn)一步提升。