一種基于YOLO v5的草莓多階段目標(biāo)檢測(cè)方法

李 揚(yáng)，腰彩紅，高冠群，王建春

（天津市農(nóng)業(yè)科學(xué)院 信息研究所，天津 300192）

我國(guó)是世界草莓屬植物種類(lèi)分布最多的國(guó)家，草莓種植面積超13萬(wàn)hm2，年產(chǎn)量超200萬(wàn)t，產(chǎn)值達(dá)300億元。在我國(guó)北方，溫室栽培環(huán)境下，草莓通常在每年9月定植，1月初成熟，生長(zhǎng)期一直持續(xù)到次年5月。草莓按次序先后開(kāi)花結(jié)果，造成果實(shí)的不定期成熟，即同一時(shí)期可能有多種狀態(tài)的果實(shí)同時(shí)存在，需要人工不定期判斷、采摘。如果錯(cuò)過(guò)采摘最佳時(shí)機(jī)，容易導(dǎo)致草莓過(guò)度成熟，甚至腐爛，影響收益。因此，采摘在草莓生產(chǎn)過(guò)程中的人力消耗較大[1]，在草莓生產(chǎn)環(huán)節(jié)占有重要地位。

目前草莓采摘主要靠人工完成，周期長(zhǎng)、次數(shù)多、勞動(dòng)強(qiáng)度大、成本高[2]。近年來(lái)，人工智能的發(fā)展為草莓采摘自動(dòng)化提供了可行性，而草莓的自動(dòng)識(shí)別，則是機(jī)器采摘的前提，通過(guò)算法準(zhǔn)確識(shí)別成熟草莓已經(jīng)成為了研究熱點(diǎn)，研究重點(diǎn)主要在模型的準(zhǔn)確度和檢測(cè)效率兩方面。

檢測(cè)模型準(zhǔn)確度方面，科研人員已經(jīng)取得了較好的效果。趙玲等[3]研究了在HIS顏色空間模型下的草莓成熟度識(shí)別，準(zhǔn)確率達(dá)到90%以上，為草莓成熟程度判斷提供了方法。劉曉剛等[4]針對(duì)白天、傍晚、夜晚3個(gè)時(shí)間點(diǎn)，采用基于YOLO v3的方法實(shí)現(xiàn)了復(fù)雜環(huán)境下成熟草莓的檢測(cè)，mAP（平均精度均值，Mean Average Precision）達(dá)到87.51%，取得了較好的識(shí)別效果。Chen等[5]使用無(wú)人機(jī)從頂部拍攝草莓圖像，使用深度神經(jīng)網(wǎng)絡(luò)對(duì)草莓果實(shí)進(jìn)行檢測(cè)和產(chǎn)量預(yù)估，檢測(cè)準(zhǔn)確率達(dá)到了84.1%。Zhang等[6]采用Faster R-CNN檢測(cè)框架對(duì)草莓植株的低空遙感圖像進(jìn)行檢測(cè)訓(xùn)練，用來(lái)對(duì)草莓生長(zhǎng)健壯程度進(jìn)行評(píng)估。Lin等[7]提出了基于草莓花的數(shù)量進(jìn)行產(chǎn)量預(yù)估的方法，使用Faster R-CNN對(duì)草莓花進(jìn)行檢測(cè)，準(zhǔn)確率達(dá)到了86.1%。在目標(biāo)檢測(cè)方面，現(xiàn)有的成果主要基于成熟草莓進(jìn)行檢測(cè)，偶有對(duì)花期、植株進(jìn)行檢測(cè)的，主要面向采摘應(yīng)用，缺少對(duì)不同生長(zhǎng)期草莓的檢測(cè)。

檢測(cè)效率是目前科研人員關(guān)注的另一重點(diǎn)，只有高效的檢測(cè)模型，才能夠最終在實(shí)際生產(chǎn)中得以應(yīng)用。馬瑛等[8]研發(fā)了基于ARM和FPGA智能控制模塊及雙目機(jī)器視覺(jué)技術(shù)的草莓采摘機(jī)器人成熟果實(shí)及避障控制系統(tǒng)，當(dāng)果實(shí)輪廓存在1/2以上時(shí)，該系統(tǒng)可以很好地識(shí)別出成熟果實(shí)目標(biāo)，相對(duì)誤差在2.5%以下，具有一定的參考價(jià)值。李長(zhǎng)勇等[9]設(shè)計(jì)了基于STM32F103vet6芯片的機(jī)器人，使用雙目定位識(shí)別，成熟草莓識(shí)別率達(dá)到95%以上。謝志勇等[10]提出一種基于Hough變換的成熟草莓識(shí)別方法，當(dāng)成熟草莓輪廓信息丟失小于1/2時(shí),無(wú)論單個(gè)分離的成熟草莓,還是被遮掩、重疊或緊靠的成熟草莓,皆有很好地識(shí)別效果,識(shí)別平均相對(duì)偏差為4.8%,能滿(mǎn)足草莓采摘機(jī)器人對(duì)目標(biāo)識(shí)別精度的要求。丘強(qiáng)等[11]設(shè)計(jì)出一款草莓采摘車(chē)，實(shí)現(xiàn)了采摘時(shí)對(duì)草莓成熟度識(shí)別、自動(dòng)采摘及位置移動(dòng)等功能。Zhang等[12]改進(jìn)了YOLO v4-tiny模型實(shí)現(xiàn)了對(duì)成熟期草莓的檢測(cè)，檢測(cè)精度比YOLO v4-tiny低了0.62%但檢測(cè)速度提升了25.93%，并在Jetson Nano上驗(yàn)證了檢測(cè)效率，達(dá)到了25.2FPS，可以滿(mǎn)足實(shí)時(shí)性需求。

綜上，現(xiàn)有的研究成果大都是以成熟草莓為識(shí)別對(duì)象，對(duì)不同生長(zhǎng)階段的草莓進(jìn)行檢測(cè)的研究較少。事實(shí)上，花期和未成熟的草莓?dāng)?shù)量是農(nóng)戶(hù)決定如何開(kāi)展生產(chǎn)管理和預(yù)估下一次采摘時(shí)點(diǎn)的關(guān)鍵，而針對(duì)不同生長(zhǎng)階段草莓的識(shí)別，是可以伴隨著采摘機(jī)器人同步識(shí)別完成的。因此在識(shí)別成熟草莓的基礎(chǔ)上，進(jìn)一步開(kāi)展基于嵌入式環(huán)境的不同階段草莓生長(zhǎng)期果實(shí)識(shí)別，對(duì)于草莓采摘、生產(chǎn)管理和產(chǎn)量預(yù)測(cè)都具有十分重要的意義。本文以溫室土壤栽培草莓為研究對(duì)象，構(gòu)建了多階段草莓檢測(cè)模型，實(shí)現(xiàn)了對(duì)各個(gè)生長(zhǎng)期的草莓檢測(cè)，為草莓生產(chǎn)管理機(jī)器人的研發(fā)奠定基礎(chǔ)。

1 材料和方法

1.1 試驗(yàn)材料

天津市北辰區(qū)鼎牛農(nóng)業(yè)園2號(hào)日光溫室，種植草莓品種為‘紅顏’。

1.2 數(shù)據(jù)采集

本研究使用軌道式移動(dòng)車(chē)（圖1）模擬機(jī)器人采集視角，采集距離固定為30 cm。數(shù)據(jù)采集于溫室中不同位置共計(jì)10畦草莓的生產(chǎn)視頻，每隔7 d采集1次，共采集到視頻80個(gè)。

圖1 軌道式移動(dòng)車(chē)

1.3 數(shù)據(jù)分割

使用Python對(duì)采集到的視頻進(jìn)行分割，每一段視頻拆分為15張圖片，共拆分1 200張圖片。

1.4 數(shù)據(jù)處理

使用LabelImg按照花期、幼果期、青果期、膨大期、轉(zhuǎn)色期、成熟期6個(gè)階段對(duì)圖像進(jìn)行標(biāo)注。其中，成熟期草莓為紅色著色面積超過(guò)70%的草莓。標(biāo)注結(jié)果如圖2所示。按照8∶1∶1的比例將標(biāo)注好的數(shù)據(jù)隨機(jī)分配為訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別包括960、120、120張。

圖2 草莓圖像標(biāo)注

1.5 檢測(cè)方法

目前目標(biāo)檢測(cè)任務(wù)主要包括兩階段（Twostage）模型和單階段（One-stage）模型2類(lèi)。經(jīng)典的兩階段模型如Fast-RCNN、Faster-RCNN等，檢測(cè)精度高，但檢測(cè)速度慢，對(duì)硬件要求較高。單階段模型相比兩階段模型，精度略低，但檢測(cè)速度快，推理時(shí)對(duì)硬件要求相對(duì)較低，更適合嵌入式應(yīng)用場(chǎng)景，現(xiàn)階段主要的模型包括YOLO、SSD等。針對(duì)采摘系統(tǒng)的目標(biāo)檢測(cè)任務(wù)是典型的嵌入式應(yīng)用，需要綜合考慮檢測(cè)精度與速度，因此單階段模型更適合此任務(wù)場(chǎng)景。YOLO系列算法是現(xiàn)階段應(yīng)用最廣泛的目標(biāo)檢測(cè)算法，其中YOLO v5是目前較新的YOLO版本之一，保持了YOLO系列的整體架構(gòu)，包含輸入（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）和檢測(cè)頭（Prediction）4個(gè)部分。根據(jù)網(wǎng)絡(luò)深度和寬度的不同，主要分為5種，包括：YOLO v5n、YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x。其中YOLO v5n和YOLO v5s模型較小，主要面向嵌入式環(huán)境使用，而YOLO v5m雖然模型略大，但隨著新的嵌入式設(shè)備的不斷開(kāi)發(fā)、升級(jí)，也可以應(yīng)用在嵌入式設(shè)備中，因此本次目標(biāo)檢測(cè)任務(wù)主要使用YOLO v5n、YOLO v5s和YOLO v5m版本進(jìn)行試驗(yàn)效果對(duì)比。

YOLO v5模型架構(gòu)如圖3所示，其中輸入為草莓圖像，通過(guò)馬賽克（Mosaic）數(shù)據(jù)增強(qiáng)后的組合圖像。馬賽克數(shù)據(jù)增強(qiáng)方法是將多張圖像通過(guò)縮放、剪裁、拼接等處理形成一張圖像，作為模型的輸入，可以有效提升模型的訓(xùn)練速度和網(wǎng)絡(luò)的精度。同時(shí)YOLO v5使用了一種自適應(yīng)錨框計(jì)算與自適應(yīng)圖片縮放方法，簡(jiǎn)化了原先使用YOLO v4時(shí)需要單獨(dú)使用Kmeans算法進(jìn)行初始錨框計(jì)算的步驟。

圖3 YOLO v5模型架構(gòu)

YOLO v5的骨干網(wǎng)絡(luò)和頸部主要通過(guò)CBL結(jié)構(gòu)、CSP1結(jié)構(gòu)、CSP2結(jié)構(gòu)、SPPF結(jié)構(gòu)、拼接操作（Concat）和上采樣操作（UpSample）構(gòu)成。其中CBL結(jié)構(gòu)是由卷積、歸一化和Leaky激活函數(shù)構(gòu)成的組合。CSP1和CSP2結(jié)構(gòu)均為CSPNet的改進(jìn)版，二者結(jié)構(gòu)圖如圖4所示。SPPF結(jié)構(gòu)如圖5所示，由卷積、多個(gè)最大池化和拼接操作構(gòu)成。YOLO v5模型通過(guò)調(diào)節(jié)CSP1和CSP2的深度和寬度倍數(shù)構(gòu)建不同版本的模型。

圖4 CSP結(jié)構(gòu)

圖5 SPPF結(jié)構(gòu)

YOLO v5的檢測(cè)頭部分損失函數(shù)包括3個(gè)部分，邊框損失（Bounding box loss）、分類(lèi)損失（Class loss）和目標(biāo)損失（Object loss）。對(duì)于一個(gè)模型預(yù)測(cè)出的邊界框，它與樣本真實(shí)邊界框的交集和二者并集之比稱(chēng)為交并比（Intersection over Union，IoU），如公式（1）所示。

式中，B為預(yù)測(cè)框；Bgt為真實(shí)框。最初的YOLO系列算法使用IoU計(jì)算邊框損失，在后續(xù)的YOLO版本中，陸 續(xù) 引 入 了GIoU（Generalized IoU）、DIoU（Distance IoU）和CIoU（Complete IoU），對(duì)于模型識(shí)別效果有較大的提升。YOLO v5的邊框損失默認(rèn)為CIoU，較之前的IoU，考慮了重疊面積、中心點(diǎn)距離、長(zhǎng)寬比3個(gè)方面對(duì)于邊框損失的影響。在CIoU基礎(chǔ)上，Zhang等[13]進(jìn)一步考慮了寬高分別與其置信度的真實(shí)差異，將縱橫比拆開(kāi)，提出了EIoU（Efficient IoU），并且加入Focal聚焦優(yōu)質(zhì)的錨框。Gevorgyan[14]提出了一種新的損失函數(shù)SIoU（SCYLLA-IoU），考慮了所需回歸之間的向量角度，并重新定義了懲罰指標(biāo)。Heo[15]提出了Alpha-IoU，對(duì)小數(shù)據(jù)集和噪聲較大數(shù)據(jù)集有較好的效果。本文使用CIoU、EIoU、SIoU和Alpha-IoU和YOLO v5n、YOLO v5s和YOLO v5m構(gòu)成了12種模型，并對(duì)比其檢測(cè)效果，相應(yīng)計(jì)算公式如下。

式中，b、bgt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)；c為預(yù)測(cè)框和真實(shí)框之間的最小外接矩形的對(duì)角線(xiàn)距離；w、h、wgt、hgt分別為預(yù)測(cè)框和真實(shí)框的寬、高；cw、ch為以預(yù)測(cè)框和真實(shí)框中心點(diǎn)為對(duì)角線(xiàn)的矩形的寬和高；cx、cy是預(yù)測(cè)框或真實(shí)框的中心點(diǎn)坐標(biāo)ρ為歐氏距離。

分類(lèi)損失采用交叉熵?fù)p失函數(shù)（Binary cross entropy loss,BCELoss）,BCELoss計(jì)算公式如下：

式中，N為一次訓(xùn)練的樣本數(shù)；xn表示第n次輸入的預(yù)測(cè)值；yn表示第n次輸入的實(shí)際值；ω相關(guān)系數(shù)，取值為1/N。

目標(biāo)損失采用BCElogitsLoss（Binary cross entropy），其公式如下：

1.6 評(píng)價(jià)指標(biāo)

精度P（Precision）、召回率R（Recall）和mAP是目標(biāo)檢測(cè)常用的評(píng)價(jià)指標(biāo)，需要使用混淆矩陣進(jìn)行計(jì)算，混淆矩陣如表1所示。

表1 混淆矩陣

以成熟期果實(shí)為例，真正例（True Positive，TP）是指預(yù)測(cè)類(lèi)別和位置IoU都超過(guò)閾值，預(yù)測(cè)正確的結(jié)果，如圖6-A所示。假正例（False Positive，F(xiàn)P）包括類(lèi)別錯(cuò)誤FP和定位錯(cuò)誤FP，分別指預(yù)測(cè)類(lèi)別小于閾值但預(yù)測(cè)框與真實(shí)框IoU大于閾值和預(yù)測(cè)類(lèi)別大于閾值但預(yù)測(cè)框與真實(shí)框IoU小于閾值的情況，如圖6-B和6-C所示。假反例（False Negative，F(xiàn)N）則是指漏檢的情況，如圖6-D所示。而真反例（True Negative，TN）則是對(duì)于成熟期這一類(lèi)別，其他類(lèi)別的預(yù)測(cè)框，如圖6-E所示的青果期預(yù)測(cè)框，對(duì)于成熟期這一真實(shí)框來(lái)說(shuō)是真反例。

圖6 檢測(cè)結(jié)果分類(lèi)

通過(guò)以上定義可以計(jì)算出精度和召回率，如公式（13）和公式（14）所示。

某一類(lèi)別的平均精度（Average Precision，AP）就是該類(lèi)別的PR曲線(xiàn)下所包圍的面積，如公式（15）所示。

mAP就是每個(gè)類(lèi)別下AP的均值，如公式（16）所示。

mAP@0.5是指IoU≥0.5時(shí)的mAP值，本研究主要使用mAP@0.5評(píng)價(jià)模型效果。

2 結(jié)果與分析

2.1 訓(xùn)練及嵌入式環(huán)境

模型訓(xùn)練平臺(tái)使用Intel○R Xeon○RE5-2620 v2(6核2.10 GHz)處理器，GPU為NVIDIA○R GeForce RTX 2080Ti顯卡，顯存為11GB；操作系統(tǒng)為CentOS 7.9；運(yùn)行環(huán)境為Python3.8,、Pytorch1.9.1、Cuda10.2。

模型訓(xùn)練完成后的推理過(guò)程在Jetson Nano和Jetson Xavier NX兩款在嵌入式領(lǐng)域應(yīng)用廣泛的開(kāi)發(fā)板上運(yùn)行，驗(yàn)證本系統(tǒng)在嵌入式環(huán)境下的應(yīng)用效果。Jetson Nano開(kāi)發(fā)板，GPU為128-core Maxwell，顯 存 為4GB 64位LPDDR4，CPU為ARM○RCortex○RA57@1.43GHz。Jetson Xavier NX開(kāi)發(fā)板，GPU為384-core Volta@110MHz+48 Tensor Core，顯存為8G 128位LPDDR4，CPU為ARMv8.2（6-core）@1.4GHz。2個(gè)開(kāi)發(fā)板系統(tǒng)為Ubantu 18.04 LTS，運(yùn)行環(huán)境為Python3.6.15、Pytorch1.10.0、Cuda10。

2.2 模型訓(xùn)練

模型共訓(xùn)練500次，初始學(xué)習(xí)率0.01，動(dòng)量0.937，當(dāng)模型損失在100個(gè)epoch中沒(méi)有改進(jìn)時(shí)停止訓(xùn)練，輸入圖像尺寸為640，批量大小設(shè)置為16，權(quán)重衰減系數(shù)0.000 5。使用YOLO v5n、YOLO v5s、YOLO v5m 3種模型與4種IoU組合后的12種組合結(jié)果進(jìn)行訓(xùn)練，其邊框損失、分類(lèi)損失和目標(biāo)損失曲線(xiàn)如圖7、圖8、圖9所示。由圖7可以看出，邊框損失和分類(lèi)損失在第50次迭代之后基本趨于平緩，目標(biāo)損失則在第100次迭代之后區(qū)域平緩。

圖7 邊框損失曲線(xiàn)

圖8 分類(lèi)損失曲線(xiàn)

圖9 目標(biāo)損失曲線(xiàn)

由表2可以看出，對(duì)于YOLO v5n、YOLO v5s、YOLO v5m 3個(gè)模型均是使用SIoU可以獲得更好的效果，精確度、召回率、mAP@0.5和mAP@0.5∶0.95均表現(xiàn)最優(yōu)，而YOLO v5s比YOLO v5n的精度高了3%，模型大了10 MB，YOLO v5m比YOLO v5s的精度高了5.9%，但模型尺寸是YOLO v5s的3倍。

表2 模型測(cè)試結(jié)果

對(duì)比3個(gè)模型的精度、召回率、mAP@0.5和mAP@0.5∶0.95的曲線(xiàn)如圖10所示，相應(yīng)指標(biāo)已趨于穩(wěn)定，進(jìn)一步證明使用SIoU的YOLO v5模型在草莓多階段的目標(biāo)檢測(cè)任務(wù)中更有效。

圖10 精度(A)、召回率(B)、mAP@0.5(C)和mAP@0.5∶0.95(D)

實(shí)際檢測(cè)效果圖如圖11所示。對(duì)比可以看出，YOLO v5n有3處誤檢（圖9(b)中A-C）；YOLO v5s有1處漏檢和1處誤檢（圖9(c)中D和E），YOLO v5m檢測(cè)效果較好。

圖11 檢測(cè)效果

展開(kāi)分析3個(gè)模型各個(gè)類(lèi)別的檢測(cè)結(jié)果如表3所示。由表3可以看出，花期和成熟期的識(shí)別準(zhǔn)確率更高一些，這與這2個(gè)階段形狀或顏色特征比較明顯有關(guān)，而幼果期、青果期、膨大期、轉(zhuǎn)色期的草莓由于其形態(tài)近似度高，所以檢測(cè)準(zhǔn)確率相對(duì)低一些。

表3 分階段識(shí)別效果

2.3 運(yùn)行效率對(duì)比分析

將模型在嵌入式環(huán)境下應(yīng)用，測(cè)試對(duì)比運(yùn)行效率，結(jié)果如表4所示。由表4可以看出，Jetson Nano開(kāi)發(fā)板上如果使用YOLO v5m模型單張圖片平均處理時(shí)長(zhǎng)達(dá)到了397.5 ms，如果開(kāi)發(fā)板還要再疊加其他處理任務(wù)的情況下，難以滿(mǎn)足實(shí)時(shí)性要求，而YOLO v5s和YOLO v5n平均處理時(shí)長(zhǎng)分別為196.7、168 ms，相差30 ms左右，差別并不大，但在2.2節(jié)試驗(yàn)中YOLO v5s精度比YOLO v5n高了3%。如果使用Jetson Nano開(kāi)發(fā)板作為機(jī)器人控制主板的情況下，建議選擇YOLO v5s+SIoU模型。而Jetson Xavier NX開(kāi)發(fā)板上YOLO v5m單張圖片平均處理時(shí)長(zhǎng)為120.3 ms，比YOLO v5s和YOLO v5n長(zhǎng)了不到1倍，精度高了將近6%，而Jetson Xavier NX開(kāi)發(fā)板本身配置更高，尚有處理余量。如果使用Jetson Xavier NX開(kāi)發(fā)板則建議使用YOLO v5m+SIoU模型。

表4 模型推理效率對(duì)比

3 結(jié)論與討論

本研究主要關(guān)注成熟期草莓的位置和各階段草莓的個(gè)數(shù)，面向?yàn)椴烧獧C(jī)器人提供識(shí)別模型、產(chǎn)量預(yù)估和測(cè)算下一次采摘的時(shí)間等需求，是未來(lái)規(guī)?；悄芑a(chǎn)所必需的研究基礎(chǔ)。本研究首先構(gòu)建了草莓多階段數(shù)據(jù)集，使用了YOLO v5n、YOLO v5s和YOLO v5m 3種不同復(fù)雜度的網(wǎng)絡(luò)模型，結(jié)合CIoU、EIoU、SIoU和AlphaIoU 4種損失函數(shù)，共計(jì)12個(gè)模型進(jìn)行對(duì)比試驗(yàn)，最終確認(rèn)使用SIOU的算法在草莓生長(zhǎng)期多階段檢測(cè)中更有效。在Jetson Xavier NX和Jetson Nano兩款嵌入式開(kāi)發(fā)板上進(jìn)行的推理效率測(cè)試，證明算法可以滿(mǎn)足實(shí)時(shí)性需求，明確了在Jetson Xavier NX上更適合使用YOLO v5m+SIoU組合的算法，在Jetson Nano上更適合使用YOLO v5s+SIoU的組合算法，為草莓智能化生產(chǎn)提供技術(shù)支持。