采摘機(jī)器人選擇性作業(yè)信息獲取研究——基于無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)

張 璐，郭奇青

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽(yáng) 473000)

?

采摘機(jī)器人選擇性作業(yè)信息獲取研究
——基于無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)

張 璐，郭奇青

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽(yáng) 473000)

以采摘機(jī)器人采摘作業(yè)為研究對(duì)象，以選擇性采摘成熟果蔬為研究目標(biāo)，基于無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)，結(jié)合果蔬成熟特性判斷目標(biāo)果實(shí)是否適合采摘，設(shè)計(jì)了一套以MSP430F149為核心的智能檢測(cè)控制系統(tǒng)，可以實(shí)時(shí)處理相機(jī)采集到的圖像，并選擇性采摘符合要求的果實(shí)。本文重點(diǎn)研究了視覺(jué)伺服原理與模型、果實(shí)成熟度判斷、選擇性作業(yè)信息獲取，以及系統(tǒng)的硬軟件設(shè)計(jì)，并對(duì)文中設(shè)計(jì)研究的系統(tǒng)進(jìn)行了可行性驗(yàn)證。試驗(yàn)結(jié)果表明：該無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)判斷準(zhǔn)確，能夠較大程度提高機(jī)器人的可靠性與穩(wěn)定性，應(yīng)用前景寬廣。

采摘機(jī)器人；視覺(jué)伺服系統(tǒng)；選擇性作業(yè)；圖像信息

0 引言

21世紀(jì)以來(lái)，農(nóng)業(yè)機(jī)械智能化程度越來(lái)越高，機(jī)器人方面的技術(shù)也日益成熟，對(duì)我國(guó)農(nóng)業(yè)種植模式產(chǎn)生了較大影響。隨著科學(xué)技術(shù)手段和現(xiàn)代生產(chǎn)工具的逐漸發(fā)展，智能化技術(shù)將在農(nóng)業(yè)種植生產(chǎn)模式上發(fā)揮重要作用，促使我國(guó)實(shí)現(xiàn)精準(zhǔn)化農(nóng)業(yè)，大力推進(jìn)農(nóng)業(yè)現(xiàn)代化步伐。在采摘機(jī)器人研究中，對(duì)目標(biāo)成熟度判斷和選擇性作業(yè)是重中之重。為此，將根據(jù)果蔬采摘作業(yè)環(huán)境的特點(diǎn)，結(jié)合果蔬成熟特征，根據(jù)無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)，采用MSP430F149搭建的智能控制系統(tǒng)，對(duì)該機(jī)器人選擇性收獲作業(yè)進(jìn)行信息的收集和處理，達(dá)到采摘機(jī)器人對(duì)成熟目標(biāo)進(jìn)行選擇性作業(yè)的目的。

1 視覺(jué)伺服原理與模型

視覺(jué)伺服系統(tǒng)基礎(chǔ)知識(shí)主要包括成像原理及視覺(jué)伺服優(yōu)化算法等。視覺(jué)成像原理：首先給出小孔成像基礎(chǔ)知識(shí)，提出相機(jī)成像模型，對(duì)成像原理進(jìn)行簡(jiǎn)單說(shuō)明。對(duì)于機(jī)器人運(yùn)動(dòng)模型，將介紹其關(guān)節(jié)變量、速度變換的運(yùn)動(dòng)學(xué)原理，結(jié)合視覺(jué)成像原理介紹手眼映射關(guān)系，進(jìn)而介紹圖像處理的概念。本文對(duì)于視覺(jué)伺服的優(yōu)化算法主要采用擬牛頓法。

1.1 視覺(jué)成像原理

視覺(jué)成像一般是通過(guò)相機(jī)圖像采集形成，采集過(guò)程依據(jù)小孔成像原理進(jìn)行。小孔成像原理：當(dāng)光在同一介質(zhì)中，在無(wú)外界干擾的條件下，一般沿直線方向傳播，如圖1所示。

圖1 小孔成像原理

由圖1可以看出：當(dāng)有一帶有小孔的遮光板擋在投射屏幕與物體之間時(shí)，屏幕上會(huì)出現(xiàn)物體的倒影。通過(guò)無(wú)標(biāo)定視覺(jué)成像主要是利用小孔成像原理進(jìn)行圖像映射的研究，在研究過(guò)程中要了解三維直角坐標(biāo)系(Xw,Yw,Zw)，相機(jī)成像空間特征坐標(biāo)(Xc,Yc,Zc)及圖像處理中的坐標(biāo)向量(u,v)。相機(jī)成像模型示意如圖2所示。

根據(jù)圖2所建模型，三維直角坐標(biāo)系與相機(jī)空間特征坐標(biāo)之間關(guān)系可以表示為

(1)

其中，zc為相機(jī)與目標(biāo)之間的距離；u0與v0為圖像中的坐標(biāo)值；fx和fy是相機(jī)間的焦距；R和T為旋轉(zhuǎn)矩陣，與相機(jī)的方向和位置有關(guān)。

假設(shè)

(2)

則有

(3)

轉(zhuǎn)換形式后得

(4)

圖2 相機(jī)成像模型示意圖

1.2 視覺(jué)伺服的優(yōu)化算法

對(duì)于視覺(jué)伺服的優(yōu)化算法，本文采用擬牛頓法。其不僅收斂速度快，計(jì)算目標(biāo)函數(shù)的難度也比較小，適合在復(fù)雜的條件下對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化。牛頓法計(jì)算的基本思想為：僅利用目標(biāo)函數(shù)f和一階梯度值g搜索新的迭代點(diǎn)。

首先，設(shè)xk∈Rn，并可以通過(guò)某一確定方式搜索得到xk+1，如果f(x)二階可導(dǎo)，則有梯度函數(shù)為

(5)

(6)

采用擬牛頓法優(yōu)化算法具體步驟如圖3所示。

圖3 擬牛頓法優(yōu)化算法流程圖

2 果實(shí)成熟度判斷與選擇性作業(yè)信息獲取

在環(huán)境復(fù)雜的蔬菜園中，選擇性地采摘成熟果實(shí)，采摘機(jī)器人要提前識(shí)別判斷果園中的成熟果實(shí)。無(wú)標(biāo)定伺服視覺(jué)系統(tǒng)可以根據(jù)顏色空間模型算法和圖像處理及果蔬表皮的顏色、形態(tài)特征和距離信息準(zhǔn)確判斷果蔬的成熟度。顏色模型是空間顏色坐標(biāo)中能夠讓人們看得到的光子集合，RGB是空間坐標(biāo)系顏色系統(tǒng)的一個(gè)單位像素。RGB顏色模型如圖4所示。

圖4 RGB顏色模型示意圖

無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)能夠統(tǒng)計(jì)果蔬顏色的色度、飽和度和亮度，然后進(jìn)行數(shù)據(jù)信息儲(chǔ)存，進(jìn)而判斷果實(shí)成熟度。則有

(7)

(8)

(9)

(10)

其中，R、G、B為紅、綠、藍(lán)三原色；H為顏色色彩；S為顏色彩度；I為顏色明度；θ為果蔬成熟度判定因子。根據(jù)其值并與儲(chǔ)存的果蔬各個(gè)時(shí)期數(shù)據(jù)信息作對(duì)比，就可以判斷果蔬的成熟度，然后對(duì)果蔬進(jìn)行選擇性采摘作業(yè)。

3 目標(biāo)果實(shí)定位的自動(dòng)調(diào)整

采摘機(jī)器人作業(yè)過(guò)程中，末端執(zhí)行器沿著目標(biāo)靠近時(shí)，發(fā)現(xiàn)與目標(biāo)位置發(fā)生偏差，應(yīng)快速進(jìn)行調(diào)整。當(dāng)執(zhí)行器移動(dòng)方向相對(duì)目標(biāo)靠上或者靠下時(shí)，末端執(zhí)行器應(yīng)減小靠近速度，并調(diào)整末端執(zhí)行器前進(jìn)角度；重新對(duì)準(zhǔn)目標(biāo)果實(shí)后，計(jì)算出末端執(zhí)行器與待摘果實(shí)之間在Y方向上的距離，實(shí)現(xiàn)對(duì)該果實(shí)的準(zhǔn)確采摘。目標(biāo)果實(shí)定位自動(dòng)調(diào)整流程如圖5所示。

圖5 目標(biāo)果實(shí)定位自動(dòng)調(diào)整流程圖

對(duì)成熟果實(shí)的定位自動(dòng)調(diào)整方法為：將相機(jī)所拍圖像進(jìn)行有效處理、識(shí)別和計(jì)算，結(jié)合機(jī)械手和相機(jī)運(yùn)動(dòng)特點(diǎn)，得到目標(biāo)果實(shí)位置、深度信息和采摘參數(shù)；然后進(jìn)一步分析確定末端執(zhí)行器的移動(dòng)方向與速度，實(shí)現(xiàn)待摘果實(shí)的精確采摘。

4 采摘機(jī)器人視覺(jué)伺服系統(tǒng)的硬軟件設(shè)計(jì)

4.1 采摘機(jī)器人控制系統(tǒng)的硬件設(shè)計(jì)

采摘機(jī)器人控制系統(tǒng)因作業(yè)環(huán)境復(fù)雜，一般需要有較高的穩(wěn)定性和可靠性。基于這些方面的考慮，本系統(tǒng)硬件框架設(shè)計(jì)如圖6所示。

圖6 采摘機(jī)器人控制系統(tǒng)硬件框架

采摘機(jī)器人需要實(shí)時(shí)對(duì)視覺(jué)伺服系統(tǒng)進(jìn)行數(shù)據(jù)采集的快速處理，同時(shí)高效快速地驅(qū)動(dòng)機(jī)器人移動(dòng)，并驅(qū)使末端執(zhí)行器完成采摘?jiǎng)幼?。因此，本文設(shè)計(jì)了以MSP430F149為核心控制單元的硬件體系，能實(shí)時(shí)完成信息的收集和處理。該硬件體系主要包括視覺(jué)伺服系統(tǒng)和驅(qū)動(dòng)電路。

4.2 采摘機(jī)器人控制系統(tǒng)的軟件設(shè)計(jì)

考慮視覺(jué)伺服系統(tǒng)和驅(qū)動(dòng)系統(tǒng)的精確性和可靠性，本文采摘機(jī)器人控制系統(tǒng)軟件設(shè)計(jì)采用IAR Embedded Workbench開(kāi)發(fā)平臺(tái)，可為開(kāi)發(fā)和管理MSP430嵌入式應(yīng)用程序提供極大便利。采摘機(jī)器人控制系統(tǒng)的軟件結(jié)構(gòu)由Main、圖像采集處理、電機(jī)驅(qū)動(dòng)及傳感器采集等程序組成，框架如圖7所示。

圖7 采摘機(jī)器人控制系統(tǒng)軟件框架

根據(jù)機(jī)器人作業(yè)環(huán)境和工作過(guò)程，系統(tǒng)通過(guò)調(diào)用各子程序，控制機(jī)器人的正常運(yùn)行，并根據(jù)傳感信息反饋實(shí)時(shí)修改控制指令。采摘機(jī)器人控制主程序流程，如圖8所示。

圖8 采摘機(jī)器人控制主程序流程圖

5 仿真實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證該機(jī)器人選擇作業(yè)的可靠性，將該采摘機(jī)器人在一個(gè)蘋果種植園進(jìn)行了測(cè)試，以蘋果成熟度判斷為研究對(duì)象。研究中首先選取500個(gè)番茄樣本進(jìn)行圖像采集，并制定樣本集，然后對(duì)作業(yè)區(qū)域進(jìn)行圖像采集，并與樣本集數(shù)據(jù)進(jìn)行對(duì)比。圖像采集與處理流程如圖9和圖10所示。

(a) 圖像采集 (b) 處理結(jié)果 (c) 修正結(jié)果

(a) 通道圖像 (b) 二值化 (c) 優(yōu)化算法處理 (d) 輪廓分割圖

由于蘋果的輪廓一般不是一個(gè)規(guī)則的圓形，在進(jìn)行處理過(guò)程中，需要用軟件進(jìn)行擬合，會(huì)有一定的誤差。在復(fù)雜的環(huán)境下，由于取景光線的問(wèn)題，也會(huì)產(chǎn)生一定的誤差。計(jì)算成熟度測(cè)試誤差的公式為

(11)

其中，E為誤差值；θ為蘋果成熟度判斷因子；s為蘋果輪廓面積。單個(gè)蘋果成熟度判斷識(shí)別結(jié)果如表1所示。

表1 單個(gè)蘋果成熟度判斷識(shí)別結(jié)果

表1說(shuō)明：在對(duì)蘋果成熟度判定的實(shí)驗(yàn)中，機(jī)器人能準(zhǔn)確判斷其成熟度值，并根據(jù)誤差值決策是否適合采摘作業(yè)。實(shí)驗(yàn)表明：該無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)測(cè)量比較可靠、精準(zhǔn)程度高，可以實(shí)現(xiàn)對(duì)采摘目標(biāo)的準(zhǔn)確判斷，對(duì)機(jī)器人的智能化有著重要作用。

6 結(jié)論

針對(duì)采摘機(jī)器人在作業(yè)過(guò)程中采摘目標(biāo)難確定及容易采摘未成熟果實(shí)的問(wèn)題，以采摘機(jī)器人果蔬選擇性采摘作業(yè)為研究對(duì)象，加入自適應(yīng)學(xué)習(xí)方法，采用無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)對(duì)待采摘目標(biāo)進(jìn)行選擇性采摘判斷，并將其投入蘋果種植園使用，對(duì)機(jī)器人判斷目標(biāo)果實(shí)成熟度的能力進(jìn)行驗(yàn)證。結(jié)果表明：在復(fù)雜園林的環(huán)境下，該采摘機(jī)器人能對(duì)蘋果成熟度進(jìn)行準(zhǔn)確判斷，并對(duì)判斷中誤差進(jìn)行精確計(jì)算，進(jìn)而確定所測(cè)目標(biāo)是否適合采摘。該機(jī)器人選擇性判斷識(shí)別能力強(qiáng)、系統(tǒng)穩(wěn)定、可靠性強(qiáng)、應(yīng)用前景寬廣。

[1] 王新忠.溫室番茄收獲機(jī)器人選擇性收獲作業(yè)信息獲取與路徑規(guī)劃研究[D].鎮(zhèn)江：江蘇大學(xué),2012.

[2] 呂繼東.蘋果采摘機(jī)器人視覺(jué)測(cè)量與避障控制研究[D]. 鎮(zhèn)江：江蘇大學(xué),2012.

[3] 黃鋁文.蘋果采摘機(jī)器人視覺(jué)識(shí)別與路徑規(guī)劃方法研究[D].楊凌：西北農(nóng)林科技大學(xué),2013.

[4] 毛尚勤.微操作系統(tǒng)的機(jī)器視覺(jué)與無(wú)標(biāo)定視覺(jué)伺服研究[D].武漢：華中科技大學(xué),2013.

[5] 紀(jì)超.溫室果蔬采摘機(jī)器人視覺(jué)信息獲取方法及樣機(jī)系統(tǒng)研究[D].北京：中國(guó)農(nóng)業(yè)大學(xué),2014.

[6] 張春龍.自然環(huán)境下農(nóng)業(yè)機(jī)器人作業(yè)目標(biāo)信息獲取與視覺(jué)伺服策略研究[D].北京：中國(guó)農(nóng)業(yè)大學(xué),2014.

[7] 李占坤,趙德安,姬偉,等.基于工業(yè)PC機(jī)的果樹(shù)采摘機(jī)器人控制系統(tǒng)設(shè)計(jì)[J].機(jī)械設(shè)計(jì)與制造,2010(6):142-144.

[8] 寧志超,崔天時(shí),李廣軍.六自由度果實(shí)采摘機(jī)械手及其控制系統(tǒng)的設(shè)計(jì)[J].農(nóng)機(jī)化研究,2010,32(9):111-113,117.

[9] 呂繼東,趙德安,姬偉,等.開(kāi)放分布式蘋果采摘機(jī)器人控制系統(tǒng)研究及實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng),2012(2):289-292.

[10] 呂繼東,趙德安,姬偉,等.蘋果采摘機(jī)器人對(duì)振蕩果實(shí)的快速定位采摘方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012(13):48-53.

[11] 趙喜鋒,杜向黨,鞏靜靜,等.基于動(dòng)態(tài)目標(biāo)的機(jī)器人無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)仿真[J].機(jī)床與液壓,2012(11):116-119.

[12] 李占坤.果樹(shù)采摘機(jī)器人控制系統(tǒng)研究與設(shè)計(jì)[D]. 鎮(zhèn)江：江蘇大學(xué),2010.

[13] 宋健.茄子采摘機(jī)器人結(jié)構(gòu)參數(shù)的優(yōu)化設(shè)計(jì)與仿真[J].機(jī)械設(shè)計(jì)與制造,2008(6):166-168.

[14] 楊誠(chéng).無(wú)標(biāo)定視覺(jué)伺服系統(tǒng)的優(yōu)化算法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué),2014.

[15] 張玉.近地面果蔬采摘機(jī)器人末端執(zhí)行器及機(jī)械臂的研究[D].沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué),2014.

[16] 張發(fā)年.獼猴桃無(wú)損采摘未端執(zhí)行器的設(shè)計(jì)與研究[D].楊凌：西北農(nóng)林科技大學(xué),2014.

[17] 丁乙.蘋果采摘機(jī)器人視覺(jué)系統(tǒng)技術(shù)基礎(chǔ)研究[D].秦皇島：燕山大學(xué),2014.

[18] 郭藍(lán)彬.基于圖像雅可比矩陣的無(wú)標(biāo)定工業(yè)機(jī)器人視覺(jué)伺服[D].西安：西安理工大學(xué),2006.

[19] 李玉良.基于立體視覺(jué)的遮擋柑橘識(shí)別與空間匹配研究[D]. 鎮(zhèn)江：江蘇大學(xué),2007.

[20] 呂強(qiáng).柑橘采摘機(jī)器人工作場(chǎng)景信息感知技術(shù)與路徑規(guī)劃研究[D]. 鎮(zhèn)江：江蘇大學(xué),2010.

[21] 呂小蓮.基于四自由度西紅柿采摘機(jī)器人視覺(jué)系統(tǒng)的研究[D].沈陽(yáng)：沈陽(yáng)農(nóng)業(yè)大學(xué),2008.

[22] 魏海峰.果實(shí)采摘機(jī)器人快速柔順夾持測(cè)試系統(tǒng)設(shè)計(jì)[J].中國(guó)農(nóng)機(jī)化,2011(3):87-89.

[23] 趙慶波.果樹(shù)采摘機(jī)器人控制與避障技術(shù)研究[D]. 鎮(zhèn)江：江蘇大學(xué),2008.

[24] 姬偉,程風(fēng)儀,趙德安,等.基于改進(jìn)人工勢(shì)場(chǎng)的蘋果采摘機(jī)器人機(jī)械手避障方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013(11):253-259.

[25] 寧志超.基于ATmega16的六自由度果實(shí)采摘機(jī)械手控制系統(tǒng)的設(shè)計(jì)[D].哈爾濱：東北農(nóng)業(yè)大學(xué),2010.

[26] 高鵬.六自由度果蔬采摘機(jī)器人離線編程系統(tǒng)設(shè)計(jì)[D].杭州：浙江理工大學(xué),2013.

[27] 王燕,張果,葛運(yùn)旺.四自由度關(guān)節(jié)型采摘機(jī)械手軌跡規(guī)劃與實(shí)驗(yàn)研究[J].現(xiàn)代制造工程,2013(7):27-31.

Research on the Selective Operation of Information Acquisition in Picking Robot Based on Uncalibrated Visual Servo System

Zhang Lu, Guo Qiqing

(Henan Polytechnic Institute, Nanyang 473000, China)

It takes the picking robot picking operation as the research object, selects the picked ripe fruits and vegetables as the research target, which is based on uncalibrated visual servo system, combined with fruit and vegetable ripening characteristics determine target fruit. It is suitable for picking design to select MSP430F149 as the core of intellectual to detection and control system that can real-time processing camera to capture the image, and selective picking in line with the requirements of the fruit. It focuses on the design of hardware and software and a system for acquiring visual servo principle and model of fruit maturity, judgment and selective operation information. And the system design is verified feasibility. The test results show that the uncalibrated visual servo system is accurate, which can greatly improve the reliability and stability of the robot with wide application prospect.

picking robot; visual servo system; selective operation; image information

2016-03-10

河南省科技攻關(guān)項(xiàng)目(152102110161)

張 璐(1982-)，女，河南南陽(yáng)人，講師，碩士。

郭奇青(1983-)，女，河南南陽(yáng)人，講師，碩士，(E-mail)lusiq@sina.com。

S225.93；TP391.41

A

1003-188X(2017)05-0241-05