基于改進型YOLO的復雜環(huán)境下番茄果實快速識別方法

劉 芳 劉玉坤, 林 森 郭文忠 徐 凡 張 白

(1.北方民族大學電氣信息工程學院, 銀川 750021； 2.北京農(nóng)業(yè)智能裝備技術研究中心, 北京 100097)

0 引言

我國是世界最大的番茄生產(chǎn)和消費國家，番茄生產(chǎn)是農(nóng)民增收致富和出口創(chuàng)匯的重要途徑之一[1]。番茄采摘機器人對減少生產(chǎn)成本、降低勞動強度、提高作業(yè)效率具有重要意義[2]。采摘機器人的設計難點是番茄的識別和定位，其準確性關系到采摘機器人的工作效率。番茄果實的生長姿態(tài)各異，果實之間重疊，葉片、枝干、果柄等對果實遮擋嚴重，光照環(huán)境復雜，這些因素給采摘機器人識別帶來了一定的困難。因此，對溫室復雜環(huán)境下的番茄果實快速、精確識別是研發(fā)番茄采摘機器人亟待解決的關鍵問題[3]。

溫室環(huán)境下番茄果實的傳統(tǒng)識別方法是基于顏色和形狀特征進行信息提取分析[4-6]。傳統(tǒng)目標識別流程包括基于窮舉策略的區(qū)域選擇、基于尺度不變特征變換(SIFT)和方向梯度直方圖(HOG)等方法的特征提取、基于支持向量機(SVM)和自適應提升(Adaboost)等方法的分類器分類等。鄭小東等[7]利用顏色特征差異提取紅色成熟番茄果實和綠色枝葉背景信息，通過閾值分割的方法識別紅色成熟番茄果實，該方法對圖像質(zhì)量要求很高，對噪聲影響較為敏感。王玉翰[8]提取顏色、形狀、紋理等5個特征，利用SVM分類器對番茄果實進行識別，該方法有較好的分類識別能力，但分類耗時過長，不能滿足實時性需求。梁喜鳳等[9]提出一種番茄果實串采摘點識別方法，將整個番茄果實串視為一個整體，提取其形狀特征，該方法對垂直向下的番茄果實串采摘點識別效果較好，但現(xiàn)實中番茄果實生長形態(tài)各異，該方法不能對其他姿態(tài)的番茄果實進行識別。趙源深等[10]提出一種基于非顏色編碼的番茄果實識別算法，通過基于Haar-like特征的閾值判斷獲得若干弱分類器，利用AdaBoost算法將多個弱分類器通過學習訓練得到一個強分類器，用于識別紅色成熟番茄果實。在光照條件較差和果實遮擋較為嚴重的情況下，該方法對成熟番茄果實的識別率為93.3%，識別精度偏低。馮青春等[11]在2R-G-B色差模型下提取紅色成熟番茄果實顏色特征，利用動態(tài)閾值分割的方法識別紅色成熟番茄果實，該方法識別耗時較長，且未考慮葉片遮擋等復雜環(huán)境下番茄果實的識別。綜上所述，采用傳統(tǒng)方法進行番茄果實識別無法達到較好的精度和實時性要求。此外，上述研究大多沒有考慮溫室復雜環(huán)境下的影響因素，對多樣的特征變化魯棒性不足，因此難以滿足實際要求。

近年來興起的基于深度學習的深度卷積神經(jīng)網(wǎng)絡(Deep convolutional neural network, DCNN)為番茄果實識別提供了新的思路。DCNN在圖像目標檢測上具有較大的優(yōu)勢，其檢測方法可歸納為兩類：一是基于區(qū)域生成的檢測方法，先由算法生成一系列候選框，再對候選框中的目標進行分類，R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]等網(wǎng)絡模型都屬于此類檢測方法。這類方法識別錯誤率低、漏識別率也較低，但速度較慢，難以滿足實時檢測場景需求。二是基于回歸的方法，該類方法在實現(xiàn)目標定位的同時預測目標分類，YOLO[15-17]系列網(wǎng)絡屬于此檢測方法。該類方法識別速度快，可以達到實時性要求，而且準確率也基本能達到第1類方法的水平。目前，DCNN在農(nóng)業(yè)設施智能化研究方面?zhèn)涫荜P注[18-22]。研究表明[23]，第1類目標檢測算法檢測精度較高，但占用大量計算資源，導致檢測時間較長，影響采摘機器人工作效率；第2類目標檢測算法兼顧了檢測精度和速度，但其網(wǎng)絡結構設計過于精簡，導致識別精度低于第1類算法。

實際溫室環(huán)境下番茄果實重疊、遮擋嚴重，稀疏程度不同、大小不一，這些成為快速、精確識別番茄果實的難點。本文以DCNN中檢測速度較快的YOLO網(wǎng)絡模型為基礎，根據(jù)溫室環(huán)境下番茄果實的特征改進主干網(wǎng)絡得到一種新型主干網(wǎng)絡darknet-20，以提升檢測速度；采用YOLO v3-tiny快速精確的檢測結構，融合多尺度信息，以提升檢測精度，構建一種溫室復雜環(huán)境下番茄果實識別的網(wǎng)絡模型。

1 數(shù)據(jù)樣本采集與預處理

番茄果實圖像數(shù)據(jù)采集于北京市農(nóng)林科學院連棟溫室，采集設備為FM810-IX-A 3D型相機(圖漾科技)，其二維RGB圖像分辨率為640像素×480像素，像素級精度為2 mm。為降低由訓練樣本多樣性不足導致網(wǎng)絡模型過擬合的概率，采集時分遠景和近景，遠景、近景分別距離果實500～600 mm和200～300 mm，遠景、近景情況下各采集左、中、右3個角度的圖像，每個角度采集3幅圖像，共1 800幅圖像。為了增加樣本的多樣性，圖像樣本中包含成熟紅色番茄果實和未成熟綠色番茄果實，包含果實數(shù)量、稠密程度、遮擋程度不同的情況，還包含順光、逆光等光照情況。為獲取準確的數(shù)據(jù)參數(shù)，還需要對圖像進行人工標注，標注時將番茄的最小外接矩形框作為真實框(Ground truth)，以減少真實框內(nèi)的背景像素。表1為各類番茄圖像數(shù)量，圖1為一組典型復雜環(huán)境下的番茄果實圖像。

表1 各類番茄圖像數(shù)量Tab.1 Number of tomato images under varies conditions

圖1 復雜環(huán)境下的番茄果實圖像Fig.1 Tomato images under complex environments in greenhouse

溫室環(huán)境下光照情況復雜，在光照很強或很弱時采集到的番茄果實圖像顏色差異很大。此外，番茄果實的生長姿態(tài)各異、重疊遮擋嚴重，導致果實形狀特征難以完整提取。使用傳統(tǒng)方法難以有效提取溫室番茄果實的特征。因此，在番茄果實識別時需要對采集樣本進行預處理[24-25]。本文采用自適應直方圖均衡化方法減小光照強度對圖像質(zhì)量的影響；通過縮放、水平/垂直翻轉或旋轉正負90°等方法，解決番茄果實生長姿態(tài)不同的問題，改善樣本集數(shù)據(jù)不均衡。通過以上方法，最終擴增樣本集圖像至15 120幅，其中訓練集70%、驗證集10%、測試集20%。

2 復雜環(huán)境下的番茄果實快速識別方法

YOLO(You only look once)網(wǎng)絡模型采用darknet深度學習框架實現(xiàn)輸入圖像端到端的訓練，其突出特點是快速性。與Faster R-CNN使用候選區(qū)域(Region proposal)特征提取方式不同，YOLO對輸入圖像的全局區(qū)域進行訓練，可加快訓練速度且能更好地區(qū)分目標和背景。利用主干網(wǎng)絡完成番茄果實特征提取之后，采用預測框(Bounding box)預測的方式，同時預測出目標類別和預測框。

2.1 YOLO系列網(wǎng)絡模型

YOLO系列網(wǎng)絡模型中，YOLO v1存在網(wǎng)絡模型檢測精度不高、目標定位不準確等問題[15]；YOLO v2中加入了錨點框、批量歸一化、高分辨率分類器、更改網(wǎng)絡模型結構等操作來提升網(wǎng)絡模型性能，尤其是檢測速度突出，但不適用于檢測目標重疊的情況[16]；YOLO v3中引入了多尺度融合訓練、殘差結構、改變網(wǎng)絡模型結構、錨點框選擇機制、分類方法等操作，使得網(wǎng)絡模型性能得到了極大提升，但其主干網(wǎng)絡深度達53層且采用多尺度融合，導致檢測速度不高，番茄果實檢測的實時性無法得到保證[17]。因此，本文在剖析YOLO v2、YOLO v3網(wǎng)絡模型特性的基礎上對其進行重組，構建一種新型網(wǎng)絡模型結構，解決復雜環(huán)境下番茄果實檢測識別問題。

2.2 特征快速提取網(wǎng)絡結構

在使用DCNN提取特征時，增加網(wǎng)絡深度意味著增加檢測時間。本文只需區(qū)分紅、綠兩類番茄果實，其特征明顯、易于提取。由圖2a可以看出，YOLO v2主干網(wǎng)絡darknet-19由19層卷積層和5層最大池化層交替組成。其結構簡單、占用計算資源較少，但特征信息在傳遞時逐層丟失，導致檢測精度下降。本文以darknet-19為基礎，借鑒YOLO v3網(wǎng)絡結構，在darknet-19主干網(wǎng)絡中引入殘差結構，提出darknet-20主干網(wǎng)絡如圖2b所示，實現(xiàn)前后層特征復用和融合，同時滿足番茄果實特征提取的快速性和精確性。該網(wǎng)絡的構建思想如下：去掉darknet-19中的5層最大池化層，用第2、3、6、9、14層卷積層進行2倍下采樣代替原最大池化層的下采樣，從而縮小特征圖尺度以提取更多特征信息傳遞給后續(xù)卷積層。去掉darknet-19最后一層卷積層以便與檢測層相連，保留其余各卷積層；在darknet-19的第2層卷積層后添加兩層卷積層以構建一個殘差模塊，由此構成由20層卷積層順序連接的主干網(wǎng)絡。借鑒殘差思想構建殘差模塊。通過恒等映射、跳躍連接其前層卷積輸出特征信息，將其直接傳遞給后面某層輸出，如圖2中藍線箭頭所指，以進行信息融合。需要指出的是，在第4、5次下采樣單元后各有2個殘差模塊，其作用是在相應尺度下融合更豐富的特征信息輸出給檢測層。

圖2 darknet-19及darknet-20主干網(wǎng)絡結構Fig.2 Backbone structure diagrams of darknet-19 and darknet-20

綜上，darknet-20網(wǎng)絡由20層卷積層構成，其中包含了首層卷積、5個下采樣卷積層和7個殘差塊，每個殘差塊由2層卷積層組成。相較于darknet-19主干網(wǎng)絡的19層卷積層，darknet-20只多了一層卷積層，網(wǎng)絡深度變化不大，對檢測速度的影響不大；使用卷積代替最大池化層進行下采樣，能夠保留更多的特征信息；在特征提取過程中，引入殘差結構可以更好地保留番茄特征信息、促進網(wǎng)絡前后層的特征信息融合，在不增加冗余參數(shù)和計算量的前提下可以更好地提取番茄果實特征，進一步提高檢測精度。

2.3 多尺度檢測模型結構

為了得到精準的番茄果實位置和類別信息，本文采用多尺度檢測模型結構同時進行預測，其結構如圖3所示。輸入圖像尺寸為416像素×416像素，經(jīng)由darknet-20主干網(wǎng)絡進行特征提取時，主干網(wǎng)絡依次完成5次下采樣，稱為2m(m=1,2,…,5)倍下采樣。每經(jīng)歷一次下采樣，特征圖將縮小為原輸入圖像尺寸的1/2，最終在32倍下采樣后生成尺寸為13像素×13像素的特征圖。對該圖像進行一系列的卷積操作之后，再進行一次2倍上采樣，生成26像素×26像素的特征圖，將其與主干網(wǎng)絡下的16倍下采樣生成的26像素×26像素的特征圖進行張量拼接(Concat)，融合兩個圖像的特征信息，生成一個同等尺寸且含有更多特征信息的特征圖，以此提升小目標的檢測精度。針對上述過程中32倍下采樣生成的13像素×13像素特征圖及特征融合后的26像素×26像素特征圖，分別進行獨立檢測，生成尺寸不變且含有番茄果實預測框中心坐標(x，y)、寬w、高h等4個位置信息，1個置信度和番茄果實顏色類別c的特征圖，從而得到番茄果實的預測框和顏色類別。采用多尺度檢測結構，能夠更好地提取不同光照條件及果實重疊、遮擋嚴重等溫室復雜環(huán)境下的番茄果實特征，從而可以極大地提升檢測精度，為采摘機器人的高效采摘奠定基礎。

圖3 番茄果實多尺度檢測結構Fig.3 Multi-scale detection structure for tomato

本文借鑒YOLO v3中的檢測方式生成番茄果實預測框，圖4為番茄果實預測框生成流程圖。由darknet-20主干網(wǎng)絡提取的特征圖包含真實框的信息，如圖4a綠色框所示；特征圖通過回歸預測得到若干預測框，如圖4b黃色框所示；通過非極大值抑制(Non-maximum suppression，NMS)算法篩選出番茄果實預測框，如圖4c紫色框所示。在使用NMS方法時，根據(jù)上述多尺度檢測模型獲得2個類別的置信度，取置信度較高的類別作為預測框中對象所屬的類別，并將置信度低于置信度閾值a=0.5的所有預測框刪除；然后將剩余的所有預測框按照置信度從高到低排序，將置信度最高的預測框作為要保留類別的第1個預測框；再按照由大到小的順序計算其他預測框與第1個預測框的交并比I′OU，刪除I′OU大于其閾值b=0.5的預測框，即完成第1次迭代；接著從剩下的預測框中取置信度最高的預測框作為保留的第2個預測框，進行第2次迭代。通過不斷迭代，輸出最后的番茄果實預測框。通過以上方法得到番茄果實預測框，即可得到番茄果實在圖像中的準確位置。

圖4 番茄果實預測框生成流程圖Fig.4 Flow chart of generating bounding box for prediction tomatoes

2.4 番茄果實識別模型架構

本文構建的基于darknet-20主干網(wǎng)絡的復雜環(huán)境下番茄果實快速識別模型架構如圖5所示。該架構主要包含2個模塊：數(shù)據(jù)預處理模塊和番茄果實快速檢測網(wǎng)絡模塊。前者是在數(shù)據(jù)樣本采集后進行的；后者以darknet-20為主干網(wǎng)絡，通過融合多尺度檢測模塊構建，稱為IMS-YOLO(Improved multi-scale YOLO)檢測網(wǎng)絡。該網(wǎng)絡從訓練集和驗證集中快速提取復雜環(huán)境下的番茄果實相應特征，并融合多尺度特征信息，同時得到番茄果實預測框和類別，從而快速精確地識別溫室復雜環(huán)境下番茄果實。其中訓練集用于擬合檢測網(wǎng)絡，驗證集用于調(diào)整檢測網(wǎng)絡的超參數(shù)以及對網(wǎng)絡性能進行初步評估。對檢測網(wǎng)絡進行樣本訓練的目的是利用從高分辨率的番茄果實原始圖像中學習到的特征來識別低分辨率的實時采集圖像。番茄果實識別架構的工作流程如下：首先將采集的原始圖像進行預處理并將預處理后的圖像輸入檢測網(wǎng)絡進行訓練，然后根據(jù)預測框、置信度和類別的損失函數(shù)不斷調(diào)整訓練參數(shù)，最終得到識別模型。

圖5 復雜環(huán)境下番茄果實快速識別模型的架構Fig.5 Framework of fast recognition model for tomatoes under complex environment

3 檢測網(wǎng)絡訓練與結果分析

3.1 番茄果實檢測網(wǎng)絡訓練

為了得到復雜環(huán)境下番茄果實快速精確的檢測網(wǎng)絡，需要優(yōu)化損失函數(shù)，使預測框、置信度、類別的訓練誤差達到平衡。YOLO v3的損失函數(shù)[17]為

L=kxyδ(x,y)+kwhδ(w,h)+kconfδ(conf)+kcδ(c)

(1)

式中δ(x,y)——預測邊界框中心坐標(x,y)的誤差函數(shù)

δ(w,h)——預測邊界框寬w、高h的誤差函數(shù)

δ(conf)——預測置信度conf的誤差函數(shù)

δ(c)——類別的誤差函數(shù)

kxy、kwh、kconf、kc——誤差權重系數(shù)

訓練誤差曲線可以監(jiān)測損失函數(shù)的變化趨勢。對訓練集和驗證集進行約2 500次迭代訓練后的誤差變化曲線如圖6所示?？梢钥闯觯?00次迭代中網(wǎng)絡快速擬合；1 500次迭代后損失函數(shù)基本穩(wěn)定，此后檢測網(wǎng)絡收斂。

圖6 訓練誤差變化曲線Fig.6 Training error changing curve

本文選用的性能評價指標主要包括均值平均精度MAP(Mean average precision)、紅色和綠色番茄果實的檢測精度APR和APG、檢測時間tr、準確率P、召回率R、交并比IOU。本文目的是快速精確識別番茄果實，因此把MAP、tr作為主要評價指標。交并比IOU是預測框和真實框的重合程度，表示番茄果實的檢測定位精度。APR、APG是針對單一類別進行分析計算的，MAP是APR、APG的平均值。計算公式為

(2)

(3)

(4)

式中TP——實際為正樣本且被檢測為正樣本的數(shù)量

FP——實際為負樣本且被檢測為正樣本的數(shù)量

FN——實際為負樣本且被檢測為負樣本的數(shù)量

k——類別編號

J(P,R)k——平均精度函數(shù)，即類別編號為k時準確率P與召回率R所構成P-R曲線的面積

經(jīng)過NMS方法處理后得到的預測框和對應類別并非全部正確，因此將置信度大于閾值a=0.5的預測框定義為正樣本，反之則為負樣本；將正樣本中與真實框的交并比大于閾值d=0.6的樣本視為TP，反之視為FP。若負樣本中存在實際為正樣本的，則視為FN。

檢測網(wǎng)絡IMS-YOLO在darknet深度學習框架中進行訓練。硬件環(huán)境為Intel Xeon CPU，E5-2680 v3@2.50 GHz×48處理器，64 GB運行內(nèi)存，2 TB硬盤，兩個顯存為12 GB的GeForce GTX 1080ti GPU。軟件環(huán)境為Ubuntu16.04移動操作系統(tǒng)。輸入圖像尺寸416像素×416像素，權值衰減速率為0.000 5，初始學習率為0.001，動量設置為0.9。

3.2 番茄果實識別效果

由于IMS-YOLO模型是基于YOLO v2主干網(wǎng)絡，同時融合了多尺度檢測結構進行改進的，因此有必要對改進前后網(wǎng)絡的番茄果實檢測性能進行對比分析。為此，對YOLO v2保留darknet-19主干網(wǎng)絡不變，采用本文所述多尺度檢測模塊與其一起構成MS-YOLO v2檢測模型；基于darknet-20主干網(wǎng)絡的改進型單一尺度(Single-scale)檢測模型稱為ISS-YOLO。為了對比改進效果，同時與YOLO v2進行對比。上述4種YOLO系列檢測模型的特點及其檢測結果如表2所示。

表2 4種網(wǎng)絡模型的檢測結果Tab.2 Detection results of four network models

由表2可知， IMS-YOLO比MS-YOLO v2的MAP、IOU分別提升0.85個百分點和1.38個百分點，而tr僅增加了0.093 ms。IMS-YOLO比ISS-YOLO的MAP、IOU分別提升了5.8個百分點和8.02個百分點，tr增加了0.97 ms?？梢钥闯?，分別更換了主干網(wǎng)絡和檢測結構，除了tr略有增加，檢測模型的性能均有不同程度提升，說明本文網(wǎng)絡結構的改進方法對模型性能具有促進作用。而與YOLO v2相比，IMS-YOLO的多項性能指標均有顯著提升，尤其是MAP和IOU分別提高了7.17個百分點和8.94個百分點，極大地提高了番茄果實的檢測精度和檢測定位精度。另外，IMS-YOLO比YOLO v2的tr增加了1.139 ms，兩者tr相差不多，均能達到較好的實時性。綜上，IMS-YOLO的檢測精度和檢測定位精度最高。其原因為IMS-YOLO使用多尺度檢測結構，可以較為精確地預測番茄果實預測框類別和位置，從而大幅度提升了檢測精度和定位精度； IMS-YOLO的主干網(wǎng)絡增加了殘差結構，可以促進前后卷積層的信息融合，有效提取番茄果實類別和真實框的信息，使訓練誤差更小，可以進一步提升檢測精度。綜合考慮各項檢測指標，本文方法對番茄果實的檢測性能更佳。

IMS-YOLO的APR、APG分別是97.90%和96.35%，較MS-YOLO v2分別提升了0.70個百分點和1.00個百分點；而相較于ISS-YOLO和YOLO v2，IMS-YOLO的APR分別提升了3.9個百分點和4.58個百分點，APG則分別提升了7.69個百分點和9.75個百分點?？梢钥闯?，IMS-YOLO的APR、APG提升最為顯著，且APG提升更為明顯；此外，多尺度檢測模型的檢測效果遠比單尺度的效果好。這是因為在IMS-YOLO中主干網(wǎng)絡加入了殘差模塊且采用了多尺度檢測結構，其提取番茄果實特征、區(qū)分背景和目標信息的能力更為突出。

3.3 不同方法識別效果對比試驗

基于IMS-YOLO的溫室復雜環(huán)境下的番茄果實識別結果如圖7所示。對照圖1，可以看到番茄果實在數(shù)量不同、稠密程度不同、光照不同、葉片枝干遮擋、果實重疊等環(huán)境下均具有很高的識別準確率，且番茄果實在圖像中定位準確。因此，本文方法具有較強的魯棒性，可以適應溫室下各種復雜情況。

為進一步驗證本文網(wǎng)絡模型對溫室番茄果實的識別性能，主干網(wǎng)絡分別取ResNet34和VGGNet，且VGGNet選用前13層網(wǎng)絡，去掉最后3層全連接層以降低參數(shù)量；檢測模塊統(tǒng)一采用YOLOv3-tiny的檢測結構，構成MS-ResNet34、IMS-VGGNet。將其與IMS-YOLO網(wǎng)絡進行對比試驗，測試網(wǎng)絡層數(shù)較少的主干網(wǎng)絡對番茄果實特征的提取能力。為驗證IMS-YOLO的實時性，選取YOLO v3網(wǎng)絡模型與其進行對比試驗。番茄果實識別效果對比試驗結果如圖7和表3所示。圖7中由左至右依次為單果、多果、逆光、順光、重疊和遮擋。

由表3可以看出，IMS-YOLO模型的IOU最大，檢測定位精度最高。IMS-YOLO比IMS-VGGNet的MAP高0.41個百分點。比MS-ResNet34模型的MAP高3.26個百分點，且tr較小。原因是MS-ResNet34在主干網(wǎng)絡開始訓練時先進行8倍下采樣，特征信息丟失嚴重，因此檢測精度降低；同時，其卷積層較多，計算量大，因此檢測速度較慢。相對于YOLO v3，雖然IMS-YOLO檢測精度降低了1.52個百分點，但檢測時間減少了12.407 ms，實時性較好。可以看出，本文方法整體性能表現(xiàn)最佳，可以同時滿足識別精度和速度的需求。

圖7 復雜環(huán)境下4種模型對番茄果實的識別結果Fig.7 Recognition results of tomatoes under complex environment of four models

表3 4種模型的試驗結果Tab.3 Test results of four models

另外，IMS-YOLO模型的APR、APG稍低于YOLO v3而高于其他兩種模型，原因是IMS-YOLO的網(wǎng)絡結構比YOLO v3簡單得多，對番茄果實的特征提取能力偏低，因而檢測精度偏低；而與IMS-VGGNet相比，兩者的網(wǎng)絡深度相近，但IMS-YOLO采用了殘差結構，可提取更豐富的特征信息，因而檢測精度較高；MS-ResNet34網(wǎng)絡模型整體精度最低，這是因為其先進行8倍下采樣，導致特征信息丟失嚴重，繼而影響網(wǎng)絡的擬合能力，對綠色番茄果實與背景的顏色區(qū)分能力下降，導致綠色番茄果實檢測精度降低。4種網(wǎng)絡模型對紅色番茄果實的檢測精度均高于綠色番茄果實，這是因為紅色果實目標與背景顏差異大，紅色顏色特征易提取。

3.4 溫室環(huán)境中番茄果實識別驗證

為驗證實際應用效果，將本文模型集成在采摘機器人操作系統(tǒng)中進行采摘試驗。如圖8所示，采摘機器人核心部件由遨博6軸協(xié)作機械臂、FM810-IX-A型3D相機、智能移動底盤(國興)以及一臺工控機組成。采摘試驗過程如下：將智能移動底盤移動到合適位置，由工控機調(diào)用IMS-YOLO模型識別番茄果實并控制3D相機對番茄果實進行檢測；若3D相機檢測到紅色成熟番茄果實，則選擇置信度概率最大的番茄果實目標為第1采摘目標并進行定位，輸出番茄果實類別和三維坐標至工控機，再由工控機控制機械臂實現(xiàn)采摘。針對順光、逆光兩種光照情況共設計了8組試驗，對單果/多果果實在有遮擋、無遮擋環(huán)境條件下進行番茄果實采摘試驗，本次試驗對枝葉遮擋程度大于60%以上的番茄果實不進行采摘。由于機器人只采摘紅色成熟番茄果實，且每次只采摘一個，所以只統(tǒng)計紅色番茄的識別率。若識別到番茄果實，系統(tǒng)會返回番茄果實三維坐標值，否則，返回至“未識別到番茄”。系統(tǒng)返回番茄坐標值即識別成功，因番茄未識別成功而導致采摘不成功的情況為識別失敗，因機械臂路徑規(guī)劃失誤等導致采摘不成功的情況不計入識別失敗。

圖8 溫室環(huán)境中機器人采摘試驗Fig.8 Test of harvesting robot under greenhouse environments

各種情況下番茄果實識別準確率如表4所示。由表4可以看出，逆光比順光識別準確率低，原因是逆光時果實與背景界限不明顯，果實邊緣特征提取難度增加，導致識別難度增加；多果比單果識別準確率低，原因是密集情況下果實之間有重疊，果實形狀特征提取困難；遮擋比未遮擋識別準確率偏低，原因是有枝葉遮擋時增加了果實形狀特征提取的難度。

表4 溫室環(huán)境下番茄果實采摘試驗結果Tab.4 Results of tomato harvesting tests under greenhouse environments

為節(jié)約成本，采摘機器人使用了只有CPU的工控機。工控機為單CPU Intel i7-7500u 2.7 GHz處理器、 16 GB內(nèi)存。由于工控機的計算能力下降，識別試驗中番茄果實的識別時間比圖像識別時間偏長。

4 結論

(1)提出了改進型多尺度檢測模型IMS-YOLO，采用含有殘差模塊的darknet-20主干網(wǎng)絡實現(xiàn)特征提取和檢測速度的提升，借鑒YOLO v3-tiny檢測結構，融合多尺度信息，提升檢測精度。該模型對復雜環(huán)境下番茄果實的檢測精度為97.13%，檢測時間為7.719 ms，準確率為96.36%，召回率和交并比分別為96.03%和83.32%，紅、綠番茄果實檢測精度分別為97.90%和96.35%。對比其他網(wǎng)絡模型，該模型兼顧了識別精度與速度的要求，且檢測定位精度最高，綜合性能最佳。

(2)采用多尺度檢測結構的IMS-YOLO、MS-YOLO v2的檢測精度、召回率、交并比比單尺度的ISS-YOLO、YOLO v2更高；與采用darknet-19的MS-YOLO v2、YOLO v2相比，采用darknet-20主干網(wǎng)絡的IMS-YOLO、ISS-YOLO的檢測時間增加不多，對檢測實時性影響不大；與YOLO v2相比，IMS-YOLO的多項性能指標均有顯著提升，極大地提高了番茄果實的檢測精度和檢測定位精度。

(3)對比MS-ResNet34與IMS-VGGNet模型，IMS-YOLO模型精度最高；IMS-YOLO比YOLO v3檢測時間減少了12.407 ms；對比其他3種網(wǎng)絡模型，IMS-YOLO的交并比最高，即檢測定位精度最高，可以為采摘機器人提供精確的定位指導。

(4)在番茄溫室大棚進行了機器人實際采摘試驗，進一步驗證了IMS-YOLO模型的可行性和準確性。該模型檢測精度高、速度快，可兼顧精度和實時性的要求，在復雜環(huán)境下魯棒性強、檢測定位精度高，可以滿足溫室復雜環(huán)境下采摘機器人識別番茄果實的需求。