基于YOLO v4+HSV的成熟期番茄識別方法

李天華，孫 萌，丁小明，李玉華,2，張觀山,2，施國英,2，李文顯

基于YOLO v4+HSV的成熟期番茄識別方法

李天華1,2,4，孫 萌1，丁小明3，李玉華1,2，張觀山1,2，施國英1,2※，李文顯1

（1. 山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院，泰安 271018； 2. 山東省農(nóng)業(yè)裝備智能化工程實(shí)驗(yàn)室，泰安 271018；3. 農(nóng)業(yè)農(nóng)村部規(guī)劃設(shè)計(jì)研究院設(shè)施農(nóng)業(yè)研究所，北京，100125； 4. 農(nóng)業(yè)農(nóng)村部黃淮海設(shè)施農(nóng)業(yè)工程科學(xué)觀測實(shí)驗(yàn)站，泰安 271018）

為解決成熟番茄采摘識別中由于藤蔓、葉片、果實(shí)遮擋或光照影響而引起的誤識別問題，該研究提出了一種基于YOLO v4與HSV（Hue, Saturation, Value）相結(jié)合的識別方法，以實(shí)現(xiàn)自然環(huán)境下成熟期番茄的準(zhǔn)確識別。在YOLO v4網(wǎng)絡(luò)的檢測框內(nèi)通過HSV方法對番茄的紅色區(qū)域進(jìn)行分割，并將分割面積在檢測框中達(dá)到一定占比的番茄作為目標(biāo)輸出。通過對比不同占比下該算法對測試集的識別效果，將16%作為成熟期番茄識別算法的占比，該占比下YOLO v4+HSV算法的正確率為94.77%，在工作站中檢測單幅圖片的速度為25.86 ms。為驗(yàn)證算法的性能，對改進(jìn)前后算法進(jìn)行了比較，改進(jìn)后的正確率比改進(jìn)前提高了4.30個(gè)百分點(diǎn)，說明通過HSV處理能夠提高原網(wǎng)絡(luò)識別成熟期番茄的準(zhǔn)確性。此外，為測試算法的實(shí)用性，統(tǒng)計(jì)了在不同類型設(shè)備上該算法從調(diào)用深度相機(jī)到檢測到第一個(gè)目標(biāo)番茄所用的時(shí)間，經(jīng)計(jì)算，其在工作站上所用的平均時(shí)間為0.51 s，在微型工控機(jī)上為1.48 s，均可滿足實(shí)際采摘需要。該研究可為果蔬采摘的準(zhǔn)確高效識別提供借鑒。

圖像分割；識別；番茄；采摘；YOLO；HSV

0 引 言

番茄采摘作為其生產(chǎn)的重要環(huán)節(jié)之一，目前仍以人工為主，勞動強(qiáng)度大，成本高。機(jī)械采摘可降低成本，提高效率，已成為近年來研究的熱點(diǎn)[1-3]。識別是實(shí)現(xiàn)采摘的前提，提高識別準(zhǔn)確率可減少機(jī)械采摘非目標(biāo)番茄的次數(shù)，對采摘效率的提升具有重要意義。實(shí)際生產(chǎn)中存在的重疊、遮擋等多種干擾因素為正確識別帶來一定困難，而成熟的番茄若不及時(shí)采摘，則會影響果實(shí)的品質(zhì)與經(jīng)濟(jì)效益。因此，準(zhǔn)確高效識別是實(shí)現(xiàn)番茄機(jī)械采摘的前提[4]。

對于與背景顏色差異較大的目標(biāo)果實(shí)，利用顏色特征提取圖像中的目標(biāo)果實(shí)區(qū)域是較為簡單的方法[5]。滕大偉等[6]通過融合G-B（Green-Blue）因子和空間信息的區(qū)域生長法，實(shí)現(xiàn)了茄子的識別分割。孫建桐等[7]利用2R-G-B（Red, Green, Blue）法突出圖像中紅色分量，得到了成熟番茄果實(shí)區(qū)域。董建民等[8]通過融合HIS（Hue, Saturation,Intensity）顏色空間和Lab（CIELAB）顏色空間的分割結(jié)果對西紅柿進(jìn)行了識別。梁喜鳳等[9]通過對R-G（Red-Green）直方圖采用最大類間方差法（Otsu）對目標(biāo)番茄串進(jìn)行了分割。利用顏色空間對成熟番茄進(jìn)行分割的識別方式，具有計(jì)算速度快、實(shí)時(shí)性高的優(yōu)點(diǎn)，但魯棒性低，難以適應(yīng)復(fù)雜環(huán)境下的識別分割。

傳統(tǒng)的深度學(xué)習(xí)目標(biāo)檢測算法主要分為2種：一種是one-stage目標(biāo)檢測法，不產(chǎn)生候選區(qū)域，檢測速度較快[10]，代表算法有YOLO[11]、SDD[12]等。趙德安等[13-15]基于YOLO v3對蘋果進(jìn)行了檢測。呂石磊等[16-18]通過改進(jìn)YOLO 網(wǎng)絡(luò)實(shí)現(xiàn)了柑橘的識別。陳燕等[19]將YOLO v3與DenseNet進(jìn)行結(jié)合，實(shí)現(xiàn)了荔枝串的檢測。劉芳等[20]提出了一種改進(jìn)型多尺度YOLO算法——IMS-YOLO（Improved multiscale YOLO），對番茄進(jìn)行檢測。周偉亮等[21]利用SSD算法對荔枝進(jìn)行快速品質(zhì)檢測。另一種是two-stage目標(biāo)檢測法，其通過對獲得的建議區(qū)域進(jìn)行分類實(shí)現(xiàn)檢測，檢測速度較低，但精度較高，代表算法有FasterR-CNN[22]、Mask R-CNN[23]、Cascade RCNN[24]等。閆建偉等[25]基于FasterR-CNN實(shí)現(xiàn)了對刺梨果實(shí)的識別。王文杰等[3]通過擴(kuò)展Mask R-CNN算法模型對粘連番茄果實(shí)進(jìn)行了區(qū)分識別。岳有軍等[26]利用改進(jìn)的Cascade RCNN網(wǎng)絡(luò)實(shí)現(xiàn)了對綠果番茄與不同成熟階段番茄的區(qū)分識別，但沒有進(jìn)一步區(qū)分轉(zhuǎn)色期和成熟期的番茄。

由于實(shí)際采集的成熟期番茄圖像中存在被藤蔓、葉片、果實(shí)遮擋及顏色發(fā)生變化的樣本，受該部分樣本影響，網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)后，存在將轉(zhuǎn)色期番茄錯(cuò)誤識別為成熟期番茄的情況。本文在YOLO v4網(wǎng)絡(luò)的檢測框內(nèi)通過增加HSV處理，分割番茄的紅色區(qū)域，并將分割部分面積在檢測框中達(dá)到一定占比的作為目標(biāo)輸出，減少了誤識別率，提高了識別正確率，滿足了精細(xì)化采摘的要求。

1 圖像采集及數(shù)據(jù)集制作

訓(xùn)練與測試中所用的番茄圖像拍攝于2020年12月18日至2021年1月8日，拍攝時(shí)間為上午9:00－10:00和14:00－16:00，拍攝地點(diǎn)位于山東農(nóng)業(yè)大學(xué)南校溫室，共獲取含有成熟期番茄的有效圖片885張，包含單果189張、多果696張，遮擋及重疊625張等多種樣本。圖像采集設(shè)備為Realsense D435i相機(jī)，保存為640×480像素的RGB圖像。

為進(jìn)一步增加樣本多樣性，同時(shí)適當(dāng)控制樣本數(shù)量，減小模型訓(xùn)練時(shí)間，隨機(jī)挑選500張圖像通過模糊、增亮、昏暗、旋轉(zhuǎn)和噪聲5種方法進(jìn)行數(shù)據(jù)增強(qiáng)，如圖1所示。去掉增強(qiáng)后不清晰的圖片，最終保留2 871張圖片。按照8:2的比例對數(shù)據(jù)集進(jìn)行劃分，其中2 330張圖片作為訓(xùn)練集，541張作為測試集。通過雙線性插植法對圖片進(jìn)行縮放，使其最終尺寸均為416×416像素，并按VOC數(shù)據(jù)集的格式對圖像中的成熟期番茄進(jìn)行人工標(biāo)注。

2 成熟期番茄識別方法

2.1 基于YOLO v4的番茄檢測模型

相比于YOLO v3，YOLO v4[13]在Darknet 53的每組Residual block 中均加入了一個(gè) CSP（Cross Stage Partial）結(jié)構(gòu)[27]，以減少計(jì)算量和內(nèi)存消耗。CSP將輸入分為2部分，一部分通過block進(jìn)行計(jì)算，另一部分直接通過一個(gè)shortcut進(jìn)行連接，如圖2所示。此外，將SPP（Spatial Pyramid Pooling）附加模塊與PANet（Path Aggregation Network）路徑聚合作為網(wǎng)絡(luò)的頸，可更好地融合所提取的特征。

注：w為寬度；h為高度；i為輸入通道數(shù)；o為輸出通道數(shù)。

基于YOLO v4的檢測過程如圖3所示。首先將輸入圖像的尺寸調(diào)整為416×416像素，然后通過網(wǎng)絡(luò)中不同的卷積層分別獲得52×52、26×26、13×13三個(gè)不同尺度的特征圖，最終實(shí)現(xiàn)目標(biāo)的檢測。檢測結(jié)果中包含了5個(gè)預(yù)測參數(shù)：、、、和置信度，其中和代表目標(biāo)番茄的坐標(biāo)，和代表番茄外接檢測框的寬度和高度，置信度為預(yù)測框與地面真值間的交并比IoU（Intersection over Union），反映了檢測框預(yù)測的準(zhǔn)確度。

注：CSPDarknet53為網(wǎng)絡(luò)的主干部分；SPP為空間金字塔池化；PANet為路徑聚合網(wǎng)絡(luò)。

2.2 基于YOLO v4改進(jìn)的識別方法

由于番茄實(shí)際采摘環(huán)境比較復(fù)雜，使得拍攝的圖像中存在藤蔓、葉片、果實(shí)遮擋及受光線影響顏色發(fā)生變化的樣本，如圖4a所示。前期研究發(fā)現(xiàn)，在未加入此類樣本訓(xùn)練時(shí)，模型在測試集的漏檢率高達(dá)26.37%，存在較多成熟番茄被漏識別，如圖4b所示；加入此類樣本訓(xùn)練后，模型的漏檢率降低至3.59%，但識別錯(cuò)誤率增加了2.76個(gè)百分點(diǎn)，誤識別情況如圖4c所示。由于成熟番茄與背景顏色差異較大，利用顏色特征可較為簡單地提取出圖像中的果實(shí)區(qū)域且計(jì)算成本較低[2]，因此本文在YOLO v4的基礎(chǔ)上加入了HSV（Hue, Saturation, Value）顏色分割，以剔除遮擋與光照對樣本影響，提高識別正確率。

HSV（Hue, Saturation, Value）與RGB（Red, Green, Blue）相比能夠更直觀的表達(dá)顏色的明暗程度、鮮艷程度以及色調(diào)，且亮度對色彩的影響較小，常用于分割指定顏色的目標(biāo)。首先從圖像中提取出YOLO v4的檢測框部分，并將框內(nèi)的RGB圖像轉(zhuǎn)換為HSV圖像，其轉(zhuǎn)換公式如下：

式中為色調(diào)；為飽和度；為亮度；為紅色值；為綠色值；為藍(lán)色值。

將得到的HSV圖像轉(zhuǎn)化為H、S、V 三個(gè)顏色通道圖像，各通道圖像及直方圖如圖5所示，由圖可知在H通道下，直方圖具有2個(gè)差距較大的波峰，因此將H分量作為分割背景和成熟期番茄的依據(jù)。

圖5 HSV各通道圖像及對應(yīng)直方圖

沿H分量對檢測框內(nèi)的紅色部分進(jìn)行分割，并進(jìn)行二值化處理，計(jì)算分割部分在檢測框內(nèi)的面積占比。由于分割部分大多為不規(guī)則圖形，為了準(zhǔn)確地表示分割部分在檢測框內(nèi)的占比情況，本文用像素?cái)?shù)量代表面積，通過計(jì)算分割部分的像素?cái)?shù)在檢測框總像素?cái)?shù)中的占比，判斷檢測框內(nèi)的果實(shí)是否為成熟番茄。像素占比計(jì)算公式如下：

式中為紅色番茄在檢測框內(nèi)的占比；為分割部分的像素；和分別為YOLO v4檢測框的寬度和高度。

選擇合適的占比可以提高識別正確率，但占比設(shè)置過大，意味著番茄的紅色部分需要在檢測框內(nèi)占有較大的面積，對于遮擋較多的果實(shí)易出現(xiàn)篩選過度的情況，使得目標(biāo)遺漏；若占比設(shè)置過小，則對未成熟番茄不能起到篩選的作用。通過比較不同占比時(shí)的識別正確率、漏檢率和錯(cuò)誤率，選取合適的占比作為篩選條件，將超過該占比的作為目標(biāo)并輸出檢測結(jié)果，未達(dá)到該占比的目標(biāo)剔除，具體識別過程如圖6所示。如圖6所示，模型主要由下方虛線框內(nèi)的模塊組成：其中，CBM （Convolution, Batch normalization, Mish）和CBL （Convolution, Batch normalization, Leaky relu）模塊均用來提取圖像特征；CSP（Cross Stage Partial）模塊用于提高網(wǎng)絡(luò)的學(xué)習(xí)能力；SPP（Spatial pyramid pooling）模塊包括了不同尺度的最大池化層，用于增加感受野。

注：Conv為卷積；BN為標(biāo)準(zhǔn)化；Mish和Leaky relu為激活函數(shù)；Maxpool為最大池化。

3 YOLO v4訓(xùn)練與模型測試

3.1 硬件及軟件配置

網(wǎng)絡(luò)的訓(xùn)練在工作站進(jìn)行，其主要配置為i9-9900k CPU @3.60GHz *16、64 GB內(nèi)存和顯存8 GB的GeForce RTX 2080SUPER GPU。所用系統(tǒng)為Ubuntu18.04LTS，使用Darknet框架搭建網(wǎng)絡(luò)，且安裝有CUDA 11.0、CUDNN 8.0.1和python 3.7。

訓(xùn)練時(shí)將32 張圖片為一組迭代到網(wǎng)絡(luò)，動量（Momentum）設(shè)置為 0.949，權(quán)值衰減（decay）設(shè)置為 0.000 5，起始學(xué)習(xí)率（learning rate）設(shè)為 0.001，當(dāng)?shù)? 400次和7 200次時(shí)均衰減10倍。此外設(shè)置老化(burn_in)參數(shù)為1 000，以穩(wěn)定模型。

3.2 模型測試與評估

本次訓(xùn)練共迭代了8 000次，其Loss變化曲線如圖7a所示，由邊界框損失（CIoU）、置信度損失（conf）和類別損失（class）3部分組成[28]。其計(jì)算公式如下：

式中IoU為交并比；為預(yù)測框和真實(shí)框2個(gè)中心點(diǎn)之間的歐氏距離，像素；為最小包圍框的對角線距離，像素；為權(quán)重系數(shù)；為長寬相似比；gt和gt分別為真實(shí)框的寬和高；和分別為預(yù)測框的寬和高，像素。

由圖7a可知，模型在前1 000次迭代中Loss值迅速降低，在4 000次迭代后逐漸趨于平穩(wěn)，模型達(dá)到穩(wěn)定狀態(tài)。

本次訓(xùn)練中，設(shè)置每1 000次迭代輸出一個(gè)權(quán)重（weights）文件，并通過平均精度均值（Mean average precision, mAP）與1值對模型性能進(jìn)行評估。1值綜合考慮了準(zhǔn)確率和召回率，可以反映模型的穩(wěn)定程度，其值越大代表模型越穩(wěn)健，其計(jì)算公式為

式中為準(zhǔn)確率；為召回率。

準(zhǔn)確率（）表示在所有檢測為正樣本的結(jié)果中真正的正樣本所占的比例，可以反映模型對負(fù)樣本的區(qū)分能力，其計(jì)算公式為

式中TP為預(yù)測與實(shí)際均為正確的樣本；FP為檢測誤以為正確的樣本。

召回率（）表示在整個(gè)數(shù)據(jù)集中真正為正樣本的結(jié)果中被檢測到的正樣本所占的比例，可以體現(xiàn)模型對正樣本的識別能力，其計(jì)算公式為

式中FN為檢測誤以為錯(cuò)誤的樣本。

平均精度均值（mAP）表示各類別平均精度的平均值，用于評價(jià)模型的整體性能。

式中為類別的數(shù)量；()為準(zhǔn)確率相對于召回率的變化情況，即-曲線。

本文先比較了8個(gè)weights文件的mAP值，其中迭代7 000和8 000次時(shí)weights文件的mAP值相對最高，分別為0.983、0.977。然后比較了2個(gè)文件的1值，分別為0.91和0.92，并繪制了對應(yīng)的-曲線，如圖7b所示。由圖7b可知，迭代7 000次時(shí)所保存的權(quán)重文件性能更優(yōu)，因此選取其作為識別成熟期番茄的模型。

圖7 Loss值變化曲線與P-R曲線

4 試驗(yàn)結(jié)果與分析

為確定占比選取，比較了不同占比下本算法的識別效果；為了驗(yàn)證算法的實(shí)用性，分別在工作站和配置為i7-7600U CPU的微型工控機(jī)上，測試了改進(jìn)后的YOLO v4 算法從調(diào)用Realsense深度相機(jī)到檢測到目標(biāo)番茄所用的時(shí)間。試驗(yàn)中所用的測試集中共有541張照片，包括遮擋、未遮擋、順光、逆光等多種成熟番茄樣本共計(jì)760個(gè)。

4.1 占比選取

利用HSV對檢測框內(nèi)番茄的紅色區(qū)域進(jìn)行分割，并計(jì)算分割部分在檢測框中的面積占比，占比越高，檢測結(jié)果是成熟期番茄的可能性越大，但漏檢番茄數(shù)也會增加；占比越低，漏檢番茄數(shù)越少，但難以排除非成熟期番茄。將目標(biāo)番茄總數(shù)與誤識別的番茄數(shù)量作為總體（Sum,），識別出的成熟番茄在總體中的占比作為識別的正確率（Accuracy, %），誤識別的非成熟番茄的占比為錯(cuò)誤率（Error rate, %），未檢測出的成熟番茄的占比為漏檢率（Missing recognition rate,, %），計(jì)算公式如下：

式中為正確率，%；為錯(cuò)誤率，%；為漏檢率，%；為番茄總體數(shù)；1為識別出的成熟番茄數(shù)；2為誤識別的非成熟番茄數(shù)；3為未識別出的成熟番茄數(shù)。

前期分析表明，在占比大于20%和小于10%時(shí)識別正確率下降較大，嚴(yán)重影響識別結(jié)果。為進(jìn)一步確定占比選取，對10%～20%區(qū)間占比的識別效果進(jìn)行了測試，如圖8所示。由圖8可知，占比為16%時(shí)正確率最高，為94.77%，漏檢率和錯(cuò)誤率分別為4.58%和0.65%；占比為20%時(shí)，錯(cuò)誤率為0，但漏檢率相較于占比為16%時(shí)增加了0.95個(gè)百分點(diǎn)，且隨著漏檢番茄數(shù)的增加，正確率降低。綜合考慮各指標(biāo)，本文選取了正確率最高的16%作為成熟期番茄識別算法設(shè)置的占比。

圖8 分割像素占比在10%～20%時(shí)的識別效果

4.2 算法性能對比試驗(yàn)分析

為了驗(yàn)證改進(jìn)后算法的性能，與YOLO v4、馮俊惠等[29]提出的改進(jìn)Hough圓變換算法、Liu等[30]提出的改進(jìn)YOLO v3算法進(jìn)行對比，計(jì)算結(jié)果如表1所示。由表1可知，YOLO v4 + HSV算法識別的正確率為94.77%，比改進(jìn)前增加了4.30個(gè)百分點(diǎn)。YOLO v4的識別錯(cuò)誤率為5.94%，誤識別的結(jié)果中72.92%是轉(zhuǎn)色期番茄，27.08%是綠熟期番茄；改進(jìn)后算法的識別錯(cuò)誤率為0.65%，比改進(jìn)前降低了5.29個(gè)百分點(diǎn)。改進(jìn)后算法的漏檢率相較于原算法增加了0.99個(gè)百分點(diǎn)，其中83.33%是受果實(shí)顏色變化影響的結(jié)果，16.67%是由于遮擋較多引起。改進(jìn)前后的識別效果如圖9所示。由圖9可知，改進(jìn)后算法相比于改進(jìn)前能夠有效去掉誤識別的未成熟番茄。

表1 不同算法的性能對比

注：圖9b和9c中的綠色框分別表示YOLO v4和YOLO v4+HSV的識別結(jié)果；9b中的藍(lán)色箭頭表示誤識別的未成熟番茄。

相比于識別目標(biāo)同為成熟期番茄的改進(jìn)Hough圓變換算法，本文的識別正確率增加了7.95個(gè)百分點(diǎn)；對于改進(jìn)的YOLO v3算法，識別正確率增加了3.49個(gè)百分點(diǎn)。

岳有軍等[26]提出的改進(jìn)Cascade RCNN算法將轉(zhuǎn)色期與成熟期番茄均作為成熟番茄進(jìn)行識別，為了更直觀的呈現(xiàn)識別結(jié)果的差異，對YOLO v4 + HSV與改進(jìn)的Cascade RCNN算法的識別效果進(jìn)行了對比，如圖10所示。由圖10可知，本文的算法能夠去掉Cascade RCNN算法識別的轉(zhuǎn)色期番茄，且能夠識別出圖像中遺漏的成熟期番茄。

注：圖10b和10c中的綠色框分別表示Cascade RCNN和YOLO v4+HSV的識別結(jié)果；10b中的藍(lán)色箭頭表示誤識別的未成熟番茄，紅色箭頭表示漏識別的成熟番茄。

4.3 實(shí)時(shí)識別試驗(yàn)

在機(jī)器人采摘應(yīng)用中，通常采用對相機(jī)獲取的畫面直接進(jìn)行識別的方式，為了測試本算法的實(shí)用性，比較了YOLO v4 + HSV算法在不同設(shè)備上從調(diào)用相機(jī)獲取畫面到識別出首個(gè)目標(biāo)番茄所用的時(shí)間。試驗(yàn)中采用的相機(jī)為Realsense深度相機(jī)，將工作站和微型工控機(jī)各為一組，每組進(jìn)行檢測前改變目標(biāo)番茄的位置，共移動10次，檢測時(shí)間如表2所示，最后計(jì)算出每個(gè)設(shè)備上本算法從調(diào)用相機(jī)到檢測到第一個(gè)目標(biāo)番茄所用的平均時(shí)間。經(jīng)計(jì)算，YOLO v4 + HSV在工作站上所用的平均時(shí)間為0.51 s，在微型工控機(jī)上為1.48 s，兩者均可滿足實(shí)際采摘需求。

表2 工作站和工控機(jī)的實(shí)際檢測時(shí)間

5 結(jié) 論

1）針對部分藤蔓、葉片、果實(shí)遮擋及光照影響樣本影響YOLO v4模型學(xué)習(xí)，而引起目標(biāo)番茄誤識別問題，本文提出了一種將YOLO v4與HSV分割相結(jié)合的成熟期番茄識別方法。該算法在YOLO v4檢測框內(nèi)通過HSV處理，對番茄的紅色部分進(jìn)行分割，并輸出分割部分的面積在檢測框內(nèi)超過一定占比的檢測結(jié)果，實(shí)現(xiàn)了成熟期番茄的識別，提高了識別的準(zhǔn)確性。

2）比較了不同占比下本算法檢測成熟期番茄的正確率、漏檢率和錯(cuò)誤率，通過綜合考慮各指標(biāo)影響，最終將16%作為成熟期番茄識別算法設(shè)置的占比。試驗(yàn)結(jié)果表明，該占比下改進(jìn)后的算法的識別正確率為94.77%，相比于僅用YOLO v4增加了4.30個(gè)百分點(diǎn)，錯(cuò)誤率比后者降低了5.29個(gè)百分點(diǎn)。為了測試算法的實(shí)用性，分別在工作站、微型工控機(jī)上調(diào)用本算法對Realsense深度相機(jī)獲取的畫面進(jìn)行實(shí)時(shí)檢測，并計(jì)算該算法從調(diào)用相機(jī)到檢測到第一個(gè)目標(biāo)番茄所用的平均時(shí)間，通過計(jì)算得到在工作站上調(diào)用相機(jī)檢測到目標(biāo)番茄所用的平均時(shí)間為0.51 s，在微型工控機(jī)上為1.48 s，可滿足實(shí)際采摘需求。

[1] 劉繼展. 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(12)：1-18.

Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 1-18. (in Chinese with English abstract)

[2] 王海楠，弋景剛，張秀花. 番茄采摘機(jī)器人識別與定位技術(shù)研究進(jìn)展[J]. 中國農(nóng)機(jī)化學(xué)報(bào)，2020，41(5)：188-196.

Wang Hainan, Yi Jinggang, Zhang Xiuhua. Research progress of tomato picking robot recognition and location technology[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(5): 188-196. (in Chinese with English abstract)

[3] 王文杰，貢亮，汪韜，等. 基于多源圖像融合的自然環(huán)境下番茄果實(shí)識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(9)：156-164.

Wang Wenjie, Gong Liang, Wang Tao, et al. Tomato fruit recognition based on multi-source fusion image segmentation algorithm in open environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(9): 156-164. (in Chinese with English abstract)

[4] 苗中華，沈一籌，王小華，等. 自然環(huán)境下重疊果實(shí)圖像識別算法與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(6)：21-26.

Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 21-26. (in Chinese with English abstract)

[5] 劉曉洋，趙德安，賈偉寬，等. 基于超像素特征的蘋果采摘機(jī)器人果實(shí)分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(11)：15-23.

Liu Xiaoyang, Zhao De’an, Jia Weikuan, et al. Fruits segmentation method based on superpixel features for apple harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 15-23. (in Chinese with English abstract)

[6] 滕大偉，宋健，王凱. 基于區(qū)域生長的采摘機(jī)器人視覺識別方法[J]. 農(nóng)機(jī)化研究，2017，39(3)：17-21.

Teng Dawei, Song Jian, Wang Kai. Research on information model of plant breeding under cloud environment[J]. Journal of Agricultural Mechanization Research, 2017, 39(3): 17-21. (in Chinese with English abstract)

[7] 孫建桐，孫意凡，趙然，等. 基于幾何形態(tài)學(xué)與迭代隨機(jī)圓的番茄識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(增刊1)：22-26，61.

Sun Jiantong, Sun Yifan, Zhao Ran, et al. Tomato recognition method based on iterative random circle and geometric morphology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(Suppl. 1): 22-26, 61. (in Chinese with English abstract)

[8] 董建民，陳偉海，岳昊嵩，等. 基于Kinect視覺系統(tǒng)的西紅柿自動識別與定位[J]. 中國農(nóng)機(jī)化學(xué)報(bào)，2014，35(4)：169-173.

Dong Jianmin, Chen Weihai, Yue Haosong, et al. Automatic recognition and location of tomatoes based on kinect vision system[J]. Journal of Chinese Agricultural Mechanization, 2014, 35(4): 169-173. (in Chinese with English abstract)

[9] 梁喜鳳，金超杞，倪梅娣，等. 番茄果實(shí)串采摘點(diǎn)位置信息獲取與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(16)：163-169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2018, 34(16): 163-169. (in Chinese with English abstract)

[10] 蔡舒平，孫仲鳴，劉慧，等. 基于改進(jìn)型YOLOv4的果園障礙物實(shí)時(shí)檢測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(2)：36-43.

Cai Shuping, Sun Zhongming, Liu Hui, et al. Real-time detection methodology for obstacles in orchards using improved YOLOv4[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(2): 36-43. (in Chinese with English abstract)

[11] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: Optimal speed and accuracy of object detection[J/OL].Computer Science, (2020)[2021-3-17]. https://arxiv.org/abs/2004.10934.

[12] Liu W, Anguelov D, Erhan D, et al. SSD: Single shotmultibox detector[C]//European Conference on Computer Vision. Cham: Springer, 2016: 21-37.

[13] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：164-173.

Zhao De'an, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[14] Tian Y N, Yang G D, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157.

[15] 武星，齊澤宇，王龍軍，等. 基于輕量化YOLOv3卷積神經(jīng)網(wǎng)絡(luò)的蘋果檢測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(8)：17-25.

Wu Xing, Qi Zeyu, Wang Longjun, et al. Apple detection method based on light-YOLOv3 convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(8): 17-25. (in Chinese with English abstract)

[16] 呂石磊，盧思華，李震，等. 基于改進(jìn)YOLOv3-LITE輕量級神經(jīng)網(wǎng)絡(luò)的柑橘識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019， 35(17)：205-214.

LüShilei, Lu Sihua, Li Zhen, et al. Orange recognition method using improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205-214. (in Chinese with English abstract)

[17] 楊長輝，劉艷平，王毅，等. 自然環(huán)境下柑橘采摘機(jī)器人識別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(12)：14-22，72.

Yang Changhui, Liu Yanping, Wang Yi, et al. Research and experiment on recognition and location system for citrus picking robot in natural environment[J].Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 14-22, 72. (in Chinese with English abstract)

[18] 熊俊濤，鄭鎮(zhèn)輝，梁嘉恩，等. 基于改進(jìn)YOLO v3網(wǎng)絡(luò)的夜間環(huán)境柑橘識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：199-206.

Xiong Juntao, Zheng Zhenhui, Liang Jia’en, et al. Citrus detection method in night environment based on improved YOLO v3 network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 199-206. (in Chinese with English abstract)

[19] 陳燕，王佳盛，曾澤欽，等. 大視場下荔枝采摘機(jī)器人的視覺預(yù)定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(23)：48-54.

Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Vision prepositioning method for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2019, 35(23): 48-54. (in Chinese with English abstract)

[20] 劉芳，劉玉坤，林森，等. 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(6)：229-237.

Liu Fang, Liu Yukun, Lin Sen, et al. Fast recognition method for tomatoes under complex environments based on improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 229-237. (in Chinese with English abstract)

[21] 周偉亮，王紅軍，鄒湘軍. 基于機(jī)器視覺的荔枝品質(zhì)快速自動檢測[J]. 中國農(nóng)機(jī)化學(xué)報(bào)，2020，41(1)：144-147，204.

Zhou Weiliang, Wang Hongjun, Zou Xiangjun. Rapid automatic detection of lychee quality based on machine vision[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(1): 144-147, 204. (in Chinese with English abstract)

[22] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]// IEEE. Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 1137-1149.

[23] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis&Machine Intelligence, 2017, (99): 2961-2969.

[24] Cai Z W, Vasconcelos N.Cascade R-CNN: Delving into high quality object detection[C] //The IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City: IEEE, 2018: 6154-6162．

[25] 閆建偉，趙源，張樂偉，等. 改進(jìn)Faster-RCNN自然環(huán)境下識別刺梨果實(shí)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[26] 岳有軍，孫碧玉，王紅君，等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄果實(shí)目標(biāo)檢測[J]. 科學(xué)技術(shù)與工程，2021，21(6)：2387-2391.

Yue Youjun, Sun Biyu, Wang Hongjun, et al. Object detection of tomato fruit based on cascade RCNN[J]. Science Technology and Engineering, 2021, 21(6): 2387-2391. (in Chinese with English abstract)

[27] Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: A new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle: IEEE, 2020.

[28] 王相友，李晏興，楊振宇，等. 基于改進(jìn)YOLO v4模型的馬鈴薯中土塊石塊檢測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(8)：241-247，262.

Wang Xiangyou, Li Yanxing, Yang Zhenyu, et al. Detection method of clods and stones from impurified potatoes based on channel pruning YOLO v4 algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 202l, 52(8): 241-247, 262. (in Chinese with English abstract)

[29] 馮俊惠，李志偉，戎有麗，等. 基于改進(jìn)Hough圓變換算法的成熟番茄果實(shí)識別[J]. 中國農(nóng)機(jī)化學(xué)報(bào)，2021，42(4)：190-196.

Feng Junhui, Li Zhiwei, Rong Youli, et al. Identification of mature tomato based on an algorithm of modified circular Hough transform[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 190-196. (in Chinese with English abstract)

[30] Liu G, Nouaze J C, Touko M P L, et al. YOLO-Tomato: A robust algorithm for tomato detection based on YOLOv3[J]. Sensors, 2020, 20: 2145.

Tomato recognition method at the ripening stage based on YOLO v4 and HSV

Li Tianhua1,2,4, Sun Meng1, Ding Xiaoming3, Li Yuhua1,2, Zhang Guanshan1,2, Shi Guoying1,2※, Li Wenxian1

(1.271018; 2.271018; 3.100125; 4.271018)

An accurate recognition of fruit and vegetable depends mainly on the occlusion of vine, leaf, and light during robotic harvesting at present. In this study, a feasible recognition algorithm was proposed to efficiently identify the ripe tomatoes in the natural environment using YOLO v4 and HSV. The data set of mature tomatoes was also collected to capture some obscure images with the vines and leaves or color-changing by light under the complex growth environment. Once the original YOLO v4 network was utilized to identify the tomatoes after learning these samples, some tomatoes in the green ripening and color transition stage were taken like in the mature stage. Therefore, an HSV processing was added into the detection box of the original YOLO v4 network, in order to segment the red region of tomatoes. The specific tomatoes were taken as the target output to improve the accuracy of recognition if the red areas of segmentation reached a critical proportion in the detection box. The size of the proportion presented an important impact on the accuracy of recognition. The recognition performance was also compared on the test set under different proportions. As such, the proportion of 16% was taken as the tomato recognition at the mature stage. At this time, the highest recognition accuracy of the combined YOLO v4 and HSV was 94.77%, 4.30 percentage point higher than that of the original. The detection speed of a single image in the workstation was 25.86 ms. It indicated that the addition of HSV processing was widely expected to improve the accuracy of the original network. Furthermore, the improved network was also used to effectively remove immature tomatoes that cannot be recognized by the improved Cascade RCNN. In addition, the running time was tested ranging from the calling RealSense D435i to the first target tomato on the workstation and the miniature industrial computer. It was found that the average time of recognition was 0.51 s on the workstation, and 1.48 s on the miniature industrial computer, using the combined YOLO v4 and HSV from turning on the camera to the first target detection. Consequently, the improved algorithm was fully met the real-time requirements of mechanical picking. This finding can also provide a strong theoretical basis for the accurate, efficient, and real-time recognition of fruit and vegetable picking using robots in a complex environment.

image segmentation; recognition; tomato; picking; YOLO; HSV

10.11975/j.issn.1002-6819.2021.21.021

S225.92

A

1002-6819(2021)-21-0183-08

李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：183-190.doi：10.11975/j.issn.1002-6819.2021.21.021 http://www.tcsae.org

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.021 http://www.tcsae.org

2021-08-06

2021-09-16

山東省重大科技創(chuàng)新工程項(xiàng)目（2019JZZY020620）；山東蔬菜產(chǎn)業(yè)技術(shù)體系（SDAIT-05-11）

李天華，教授，研究方向?yàn)橹悄苻r(nóng)機(jī)裝備。Email：lth5460@163.com

施國英，高級實(shí)驗(yàn)師，研究方向?yàn)樵O(shè)施機(jī)械與農(nóng)機(jī)裝備。Email: sgy509@sdau.edu.cn