基于YOLOv3算法與3D視覺(jué)的農(nóng)業(yè)采摘機(jī)器人目標(biāo)識(shí)別與定位研究*

高帥，劉永華，高菊玲，吳丹，姬麗雯

(1. 江蘇農(nóng)林職業(yè)技術(shù)學(xué)院，江蘇鎮(zhèn)江，212400； 2. 江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心，江蘇鎮(zhèn)江，212400)

0 引言

隨著工業(yè)化和城鎮(zhèn)化的不斷發(fā)展，從事直接農(nóng)業(yè)勞動(dòng)人口開(kāi)始不斷減少，此外人口老齡化也已成為不可避免的事實(shí)，這一切都導(dǎo)致農(nóng)業(yè)勞動(dòng)力成本持續(xù)上升，因此后工業(yè)化時(shí)期農(nóng)業(yè)機(jī)械化逐漸向智能化發(fā)展[1]。而農(nóng)業(yè)采摘是最費(fèi)勞動(dòng)力、最難實(shí)現(xiàn)智能化作業(yè)的環(huán)節(jié)，農(nóng)業(yè)采摘機(jī)器運(yùn)行環(huán)境復(fù)雜，不確定環(huán)境因素較多，對(duì)農(nóng)業(yè)采摘目標(biāo)的準(zhǔn)確識(shí)別和精準(zhǔn)定位是實(shí)現(xiàn)機(jī)器人采摘的重要前提[2-4]。隨著3D視覺(jué)技術(shù)的發(fā)展，賦予了農(nóng)業(yè)機(jī)器類(lèi)似人眼一樣的視覺(jué)功能，研究人員在采摘蘋(píng)果[5]、番茄[6]、草莓[7]、櫻桃番茄[8]等果蔬領(lǐng)域展開(kāi)了一系列的研究，且開(kāi)發(fā)了相應(yīng)的農(nóng)業(yè)采摘機(jī)器人，但目前尚未有成熟應(yīng)用的商業(yè)案例，還需進(jìn)一步優(yōu)化算法結(jié)構(gòu)，提高果實(shí)目標(biāo)的識(shí)別與定位精度。

基于視覺(jué)的目標(biāo)識(shí)別方法經(jīng)歷了傳統(tǒng)數(shù)字圖像處理技術(shù)、機(jī)器學(xué)習(xí)的圖像分割技術(shù)和分類(lèi)器以及深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法[9]。傳統(tǒng)數(shù)字圖像處理技術(shù)依靠采集圖像的顏色、紋理和形狀或者多個(gè)特征的融合。機(jī)器學(xué)習(xí)的圖像分割技術(shù)和分類(lèi)器通過(guò)擬定訓(xùn)練方法，對(duì)輸入輸出進(jìn)行評(píng)估預(yù)測(cè)，如王瑾等[10]提出一將AdaBoost分類(lèi)器和顏色特征分類(lèi)器相結(jié)合用于番茄采摘機(jī)器人的目標(biāo)識(shí)別方法；李寒等[11]提出一種基于RGB-D圖像和K-means優(yōu)化的算法來(lái)進(jìn)行果實(shí)的識(shí)別與定位，有著較強(qiáng)的準(zhǔn)確性和魯棒性。

由于農(nóng)業(yè)采摘機(jī)器人容易受到采摘目標(biāo)形狀不同、大小不同、外界影響環(huán)境復(fù)雜的影響，傳統(tǒng)目標(biāo)識(shí)別方法準(zhǔn)確率和定位精度效果并不理想，而深度學(xué)習(xí)具有很強(qiáng)的學(xué)習(xí)能力，受環(huán)境干擾程度比較小，特別是深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法已經(jīng)被廣泛應(yīng)用于果實(shí)的檢測(cè)識(shí)別與定位領(lǐng)域。近年來(lái)已經(jīng)出現(xiàn)AlexNet網(wǎng)絡(luò)模型[12]、Fast RCNN深度卷積神經(jīng)網(wǎng)絡(luò)[13]、Mask RCNN網(wǎng)絡(luò)模型[14]、SDD網(wǎng)絡(luò)模型[15-16]、YOLO模型[17-18]等算法用于農(nóng)業(yè)機(jī)器人的采摘，但各種算法不具備通用性，對(duì)每種采摘對(duì)象的識(shí)別和定位能力也不相同，這也進(jìn)一步制約了農(nóng)業(yè)機(jī)器人的發(fā)展。本文以番茄為研究對(duì)象，提出一種改進(jìn)的YOLOv3卷積神經(jīng)網(wǎng)絡(luò)算法與3D視覺(jué)技術(shù)相結(jié)合的方法，實(shí)現(xiàn)農(nóng)業(yè)采摘機(jī)器人目標(biāo)的準(zhǔn)確識(shí)別和精準(zhǔn)定位，并與之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法進(jìn)行綜合比較，對(duì)于農(nóng)業(yè)采摘機(jī)器人的識(shí)別定位發(fā)展具有重大意義。

1 目標(biāo)識(shí)別算法

基于卷積神經(jīng)網(wǎng)絡(luò)的YOLOv3算法，不同于以往的YOLO算法，YOLOv3算法是YOLO算法的改進(jìn)版本，它采用了殘差模型，去除了池化層，使用Darknet-53(包含53個(gè)卷積層)進(jìn)行特征圖像的提取；同時(shí)YOLOv3算法采用了FPN架構(gòu)，使得網(wǎng)絡(luò)架構(gòu)更深，可以實(shí)現(xiàn)目標(biāo)的多尺度檢測(cè)，檢測(cè)精度進(jìn)一步得到提升[19]。

YOLOv3算法主要由卷積層、Darknet-53結(jié)構(gòu)、Res層和YOLO層組成[20-21]，網(wǎng)絡(luò)結(jié)構(gòu)流程如圖1所示，其中Conv代表卷積、Res代表殘差塊、CBL代表Conv與批量正則Leaky ReLU激活函數(shù)的合成。YOLOv3算法的基本流程是通過(guò)Darknet-53結(jié)構(gòu)將輸入圖片(416像素×416像素)輸出成最小尺度(13像素×13像素)、中尺度(26像素×26像素)、最大尺度(52像素×52像素)的特征圖，運(yùn)用Logistic Regression算法將3組9個(gè)先驗(yàn)框進(jìn)行線性回歸求解，并將置信度最高分作為圖像的最終預(yù)測(cè)結(jié)果輸出。

置信度反映了目標(biāo)落在特定框區(qū)域的真實(shí)性程度，判斷公式如式(1)所示。

(1)

式中：score——置信度的置信值；

Pr(Object)——預(yù)測(cè)框訓(xùn)練樣本的概率；

IOU——候選框與原標(biāo)記框的交疊率。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意圖

作為對(duì)誤檢測(cè)樣本懲罰的依據(jù)，YOLOv3算法損失函數(shù)對(duì)檢測(cè)精度的影響至關(guān)重要。YOLOv3算法損失函數(shù)主要包括目標(biāo)坐標(biāo)預(yù)測(cè)的損失、預(yù)測(cè)框置信度的損失和分類(lèi)的損失。

Lcoord=λxyδ(x,y)+λwhδ(w,h)

(2)

Lconf=λconfδ(conf)

(3)

Lclass=λclassδ(class)

(4)

Loss=Lcoord+Lconf+Lclass

(5)

式中：Loss——YOLOv3總損失；

Lcoord——目標(biāo)坐標(biāo)預(yù)測(cè)的損失；

Lconf——預(yù)測(cè)框置信度的損失；

Lclass——分類(lèi)的損失；

λxy——中心誤差權(quán)重系數(shù)；

λwh——寬高誤差權(quán)重系數(shù)；

λconf——置信度誤差權(quán)重系數(shù)；

λclass——分類(lèi)誤差權(quán)重系數(shù)；

δ(x,y)——預(yù)測(cè)邊界框中心坐標(biāo)(x,y)的誤差函數(shù)；

δ(w,h)——預(yù)測(cè)邊界框?qū)抴和高h(yuǎn)的誤差函數(shù)；

δ(conf)——預(yù)測(cè)置信度的誤差函數(shù)；

δ(class)——目標(biāo)物體類(lèi)別的誤差函數(shù)。

提出的改進(jìn)YOLOv3算法是以YOLOv3算法為基本結(jié)構(gòu)，在YOLOv3第一級(jí)檢測(cè)之前加上一個(gè)SPP模塊，通過(guò)改進(jìn)模型可以實(shí)現(xiàn)小目標(biāo)的精準(zhǔn)識(shí)別，降低漏檢率。SPP模塊是由3個(gè)不同尺度的最大池化層組成的結(jié)構(gòu)，如圖2所示。其中Maxpool代表最大值池化，/1代表步長(zhǎng)stride=1。

圖2 SPP模塊示意圖

2 目標(biāo)識(shí)別定位

2.1 目標(biāo)識(shí)別定位系統(tǒng)

目標(biāo)識(shí)別定位系統(tǒng)主要包含3D圖像采集軟件和遠(yuǎn)程動(dòng)作執(zhí)行軟件，采用3D視覺(jué)相機(jī)里的深度相機(jī)獲取采摘對(duì)象的立體信息，同時(shí)通過(guò)主相機(jī)獲取空間顏色信息，通過(guò)計(jì)算機(jī)的圖像識(shí)別與3D位置數(shù)據(jù)分析后，可以實(shí)現(xiàn)快速立體定位采摘對(duì)象。3D圖像采集主要是顯示作業(yè)實(shí)時(shí)采集圖像，在相機(jī)計(jì)算機(jī)中運(yùn)行，如圖3(a)所示；遠(yuǎn)程執(zhí)行軟件主要是進(jìn)行算法的選擇、相機(jī)坐標(biāo)標(biāo)定、圖像處理、機(jī)械臂手動(dòng)測(cè)試、手動(dòng)與自動(dòng)目標(biāo)識(shí)別與定位等功能，在客戶(hù)端計(jì)算機(jī)中運(yùn)行，如圖3(b)所示。

農(nóng)業(yè)采摘機(jī)器人3D視覺(jué)相機(jī)采用MYNTAI 3D雙目視覺(jué)相機(jī)，位于整機(jī)上部，并可在空間范圍內(nèi)實(shí)現(xiàn)多角度的無(wú)級(jí)調(diào)整，利用視覺(jué)識(shí)別信息指導(dǎo)機(jī)器人進(jìn)行行駛路線規(guī)劃和尋找采摘目標(biāo)的識(shí)別與定位功能。3D視覺(jué)相機(jī)的主要參數(shù)如表1所示。

(a) 3D圖像采集軟件

(b) 遠(yuǎn)程動(dòng)作執(zhí)行軟件

表1 相機(jī)主要參數(shù)Tab. 1 Camera main parameters

2.2 目標(biāo)坐標(biāo)轉(zhuǎn)換

由于3D視覺(jué)相機(jī)視野中捕獲目標(biāo)物體的坐標(biāo)系與機(jī)器人坐標(biāo)系不一致，它們各自的坐標(biāo)沒(méi)有聯(lián)系，所以為了使兩者坐標(biāo)系形成關(guān)聯(lián)，以便引導(dǎo)機(jī)器人進(jìn)行采摘，故需要將相機(jī)的坐標(biāo)系變換到機(jī)器人坐標(biāo)系中，即進(jìn)行標(biāo)定。要完成農(nóng)業(yè)采摘機(jī)器人與物體的坐標(biāo)變換標(biāo)定，需要一個(gè)4×4的矩陣，這個(gè)矩陣包含著一個(gè)旋轉(zhuǎn)矩陣(3×3)和一個(gè)平移矩陣(1×3)，主要步驟如圖4所示。

步驟1：選擇標(biāo)定點(diǎn)：選擇四個(gè)差異化的標(biāo)定點(diǎn)，比如遠(yuǎn)近位置各不相同，同時(shí)又應(yīng)該在相機(jī)的拍攝范圍和機(jī)械臂的可采摘范圍之內(nèi)。

步驟2：目標(biāo)圖像采集：確保機(jī)器人在采摘初始位置，相機(jī)在初始采摘位置拍照。

步驟3：記錄像素坐標(biāo)：根據(jù)3D視覺(jué)相機(jī)拍攝照片，標(biāo)定出目標(biāo)位置的x,y,z的value值。

步驟4：記錄世界坐標(biāo)：利用示教器遙控機(jī)械臂到當(dāng)前標(biāo)定點(diǎn)所在的果實(shí)位置，記錄下示教器的位置X，Y，Z的value值。

步驟5：相機(jī)標(biāo)定數(shù)據(jù)：重復(fù)步驟3和步驟4，記錄下四個(gè)標(biāo)定點(diǎn)的相機(jī)像素坐標(biāo)、機(jī)器人世界坐標(biāo)，得到相機(jī)標(biāo)定數(shù)據(jù)，將標(biāo)定數(shù)據(jù)填入農(nóng)業(yè)采摘機(jī)器人軟件平臺(tái)中，點(diǎn)擊生成變換矩陣，至此完成兩個(gè)坐標(biāo)系的轉(zhuǎn)換。

(a) 選擇標(biāo)定點(diǎn) (b) 目標(biāo)圖像采集

(c) 記錄像素坐標(biāo) (d) 記錄世界坐標(biāo)

3 試驗(yàn)與結(jié)果分析

為驗(yàn)證基于改進(jìn)YOLOv3算法與3D視覺(jué)的目標(biāo)識(shí)別與定位系統(tǒng)的可靠性和優(yōu)越性，本文對(duì)其進(jìn)行了模型訓(xùn)練和測(cè)試。所用計(jì)算機(jī)的CPU型號(hào)為Inter Core i7-10700，CPU頻率為2.9 GHz,性能級(jí)獨(dú)立顯卡，顯卡芯片為AMD Radeon RX 550X，內(nèi)存容量為16 G，操作系統(tǒng)為Windows 10 64位簡(jiǎn)體中文版，開(kāi)發(fā)語(yǔ)言為python。

3.1 模型訓(xùn)練分析

目標(biāo)圖像數(shù)據(jù)采集在江蘇農(nóng)博園番茄溫室進(jìn)行，為了保證樣本的多樣性，拍攝全天不同時(shí)間、不同角度、不同位置、不同品種類(lèi)型的圖像1 334張。按照訓(xùn)練集和測(cè)試集按照3∶1比例進(jìn)行分配，其中訓(xùn)練集1 000 張、測(cè)試集334張，通過(guò)Labelimg軟件對(duì)數(shù)據(jù)集中的番茄位置和類(lèi)別信息進(jìn)行手工標(biāo)注。

然后利用候選框與原標(biāo)記框的交疊率IOU、準(zhǔn)確率P、召回率R來(lái)進(jìn)行模型性能的評(píng)估，如式(6)、式(7)所示。

(6)

(7)

式中：TP——IOU大于等于設(shè)定閾值的數(shù)量即預(yù)測(cè)框與標(biāo)記框正確匹配的數(shù)量；

FP——IOU小于設(shè)定閾值的數(shù)量即預(yù)測(cè)錯(cuò)誤的數(shù)量；

FN——IOU等于0的數(shù)量即漏檢的數(shù)量。

訓(xùn)練參數(shù)設(shè)置每批量樣本個(gè)數(shù)為64，動(dòng)量因子設(shè)置為0.95，權(quán)值衰減設(shè)置為0.000 5，學(xué)習(xí)率設(shè)為0.001，非極大抑制設(shè)為0.5，最大迭代次數(shù)設(shè)置為30 000。且每次迭代完成后，均保存成對(duì)應(yīng)的模型，最后選出具有最高精度的模型，在訓(xùn)練的過(guò)程中得到訓(xùn)練損失趨勢(shì)曲線如圖5所示。

圖5 訓(xùn)練損失趨勢(shì)曲線

由圖5曲線圖可以看出，在模型訓(xùn)練過(guò)程中，當(dāng)?shù)螖?shù)小于400次時(shí)，損失函數(shù)值迅速降低至4左右；當(dāng)?shù)螖?shù)大于400次時(shí)，損失速度變緩，說(shuō)明模型訓(xùn)練效果較好，隨著迭代次數(shù)的增加，損失函數(shù)值不斷減小，在訓(xùn)練迭代次數(shù)達(dá)到16 000次時(shí)，損失函數(shù)值已經(jīng)趨于平穩(wěn)，并穩(wěn)定在0.4附近，說(shuō)明迭代次數(shù)在16 000 次時(shí)停止模型訓(xùn)練比較合適。

3.2 識(shí)別準(zhǔn)確率、識(shí)別召回率和平均識(shí)別時(shí)間分析

為了驗(yàn)證改進(jìn)YOLOv3算法的目標(biāo)識(shí)別相比于之前的神經(jīng)網(wǎng)絡(luò)算法的可靠性和優(yōu)越性，隨機(jī)抽取600個(gè)訓(xùn)練樣本照片，分別利用YOLOv3算法、改進(jìn)YOLOv3算法、Fast RCNN算法和Faster RCNN算法進(jìn)行目標(biāo)的識(shí)別，目標(biāo)識(shí)別效果如圖6所示。并對(duì)目標(biāo)的識(shí)別準(zhǔn)確率、識(shí)別召回率和平均識(shí)別時(shí)間進(jìn)行了比較，如表2所示。

圖6 目標(biāo)識(shí)別效果

從表2的對(duì)比結(jié)果可以看出，所用改進(jìn)YOLOv3算法和3D視覺(jué)的識(shí)別準(zhǔn)確率和召回率分別達(dá)到97.2%和95.8%，改進(jìn)YOLOv3算法要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法的準(zhǔn)確率要高，在同等條件下分別提高5.5%、9%、1.4%；改進(jìn)YOLOv3算法同時(shí)要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法的召回率要高，在同等條件下分別提高1.4%、2%、3%；改進(jìn)YOLOv3算法的平均識(shí)別時(shí)間要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法的少，在同等條件下分別降低20.1%、25.6%、52.1%，這表明改進(jìn)YOLOv3算法完全可以滿(mǎn)足后期農(nóng)業(yè)采摘機(jī)器人實(shí)際工況下的模型識(shí)別檢測(cè)要求。

表2 四種算法的準(zhǔn)確率和召回率對(duì)比Tab. 2 Four algorithms comparison of accuracy and recall rate

3.3 定位結(jié)果分析

為驗(yàn)證本文所提方法的定位精度，由于試驗(yàn)條件所限，采用一個(gè)番茄進(jìn)行定位試驗(yàn)，其初始位置為(0 mm，0 mm，100 mm)，每次向遠(yuǎn)離攝像頭Z方向移動(dòng)10 mm，農(nóng)業(yè)采摘機(jī)器人共進(jìn)行10次位置定位，分別采用Fast RCNN算法、Faster RCNN算法、YOLOv3算法和改進(jìn)YOLOv3算法對(duì)采摘點(diǎn)進(jìn)行空間定位試驗(yàn)，并綜合比較四種算法的定位誤差，計(jì)算方法如式(8)所示。

(8)

式中：xli，yli，zli——第i次位置理論坐標(biāo)值；

xci，yci，zci——第i次測(cè)量位置坐標(biāo)值；

Elc——定位誤差。

以定位誤差來(lái)衡量最終的定位精度，如表3所示。

表3 四種算法的定位誤差對(duì)比Tab. 3 Four algorithms comparison of localizing error mm

從表3中可以看出Fast RCNN算法、Faster RCNN算法、YOLOv3算法在10次的定位試驗(yàn)中最大定位誤差分別是1.67、1.42、1.26 mm，而改進(jìn)YOLOv3算法的在10次的定位試驗(yàn)中最大定位誤差只有0.98 mm，分別比Fast RCNN算法、Faster RCNN算法、YOLOv3算法的最大定位誤差降低0.69、0.44、0.28 mm，且改進(jìn)YOLOv3算法的定位誤差多次在0值附近進(jìn)行波動(dòng)，證明了改進(jìn)YOLOv3算法系統(tǒng)具有一定的準(zhǔn)確性和穩(wěn)定性。

4 結(jié)論

1) 傳統(tǒng)目標(biāo)識(shí)別方法準(zhǔn)確率和定位精度效果并不理想，本文采用改進(jìn)YOLOv3算法進(jìn)行了模型訓(xùn)練，模型訓(xùn)練效果較好，在訓(xùn)練迭代次數(shù)達(dá)到16 000次時(shí)，損失函數(shù)值趨于平穩(wěn)，并穩(wěn)定在0.4附近，說(shuō)明迭代次數(shù)在16 000次時(shí)停止模型訓(xùn)練比較合適。

2) 通過(guò)試驗(yàn)對(duì)比分析，改進(jìn)YOLOv3算法要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法的準(zhǔn)確率要高，在同等條件下分別提高5.5%、9%、1.4%；改進(jìn)YOLOv3算法同時(shí)要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法的召回率要高，在同等條件下分別提高1.4%、2%、3%；改進(jìn)YOLOv3算法的平均識(shí)別時(shí)間要比YOLOv3算法、Fast RCNN算法和Faster RCNN算法降低20.1%、25.6%、52.1%，可以滿(mǎn)足后期農(nóng)業(yè)采摘機(jī)器人實(shí)際工況下的模型識(shí)別檢測(cè)要求。

3) 通過(guò)試驗(yàn)對(duì)比分析，改進(jìn)后的YOLOv3算法的最大定位誤差分別比Fast RCNN算法、Faster RCNN算法、YOLOv3算法降低0.69、0.44、0.28 mm，且改進(jìn)后的YOLOv3算法定位誤差多次在0值附近進(jìn)行波動(dòng)，證明改進(jìn)后的YOLOv3算法系統(tǒng)具有一定的準(zhǔn)確性和穩(wěn)定性，可以更好地完成采摘工作，同時(shí)也為農(nóng)業(yè)采摘機(jī)器人目標(biāo)識(shí)別與定位方法的改進(jìn)提供了重要的參考價(jià)值。后續(xù)研究可以對(duì)匹配算法進(jìn)行進(jìn)一步的完善，逐步提高農(nóng)業(yè)采摘機(jī)器人識(shí)別與定位的性能。