自主導(dǎo)航農(nóng)業(yè)機(jī)器人全方位視覺目標(biāo)識別與跟蹤研究

譚雪峰

(吉林工業(yè)職業(yè)技術(shù)學(xué)院，吉林 吉林 132013)

自主導(dǎo)航農(nóng)業(yè)機(jī)器人全方位視覺目標(biāo)識別與跟蹤研究

譚雪峰

(吉林工業(yè)職業(yè)技術(shù)學(xué)院，吉林 吉林 132013)

隨著我國信息化技術(shù)的逐漸提高，機(jī)械自動化、集成電路、智能控制系統(tǒng)和測試計量等行業(yè)得到了快速發(fā)展，使得移動機(jī)器人達(dá)到了一個全新的高度，農(nóng)業(yè)機(jī)器人也因此被廣泛應(yīng)用。在機(jī)器人眾多研究問題中，全方位視覺的目標(biāo)識別與跟蹤一直是比較復(fù)雜并較難解決的問題。為此，基于全方位的自主導(dǎo)航技術(shù)，根據(jù)農(nóng)業(yè)機(jī)器人工作特點和運動特性，建立了機(jī)器人工作空間的環(huán)境模型，提出了一種陸標(biāo)導(dǎo)航和運動目標(biāo)跟蹤系統(tǒng)的視覺伺服方案，開發(fā)了以 DSP控制器為核心的全方位視覺圖像處理系統(tǒng)。試驗結(jié)果表明：所設(shè)計的農(nóng)業(yè)機(jī)器人全方位視覺目標(biāo)識別與跟蹤系統(tǒng)精準(zhǔn)度高，可靠性和實時性強，各項性能指標(biāo)優(yōu)。

農(nóng)業(yè)機(jī)器人；全方位視覺；目標(biāo)識別；自主導(dǎo)航；DSP

0 引言

農(nóng)業(yè)機(jī)器人在復(fù)雜環(huán)境下能夠進(jìn)行農(nóng)業(yè)生產(chǎn)應(yīng)用，其通過環(huán)境感知、動態(tài)決策、行為控制與作業(yè)等程序軟件控制，能夠適應(yīng)各種繁瑣的田間作業(yè)，具有感知作物種類或環(huán)境變化的功能，可以根據(jù)最開始的任務(wù)安排重新進(jìn)行分解和規(guī)劃，并通過智能控制器控制動作執(zhí)行機(jī)構(gòu)進(jìn)行作業(yè)操作，是一種具有視覺檢測和計算能力的自動操作機(jī)械設(shè)備。農(nóng)業(yè)機(jī)器人主要機(jī)械結(jié)構(gòu)部分包括可移動載體平臺、底盤驅(qū)動系統(tǒng)、機(jī)械手臂、橫向滑動裝置和執(zhí)行器。其載體平臺非常重要，它是機(jī)器人的基礎(chǔ)，可以直接影響機(jī)器人運動過程中的靈活性和控制操作的復(fù)雜性。

農(nóng)業(yè)機(jī)器人的機(jī)械結(jié)構(gòu)總體設(shè)計包括左右履帶、動力裝置、電動機(jī)及傳動裝置、轉(zhuǎn)動軸和電機(jī)間連軸器、傳感器系統(tǒng)等，如圖1所示。

1 農(nóng)業(yè)機(jī)器人傳感器系統(tǒng)設(shè)計

農(nóng)業(yè)機(jī)器人對環(huán)境感知及精準(zhǔn)執(zhí)行作業(yè)操作離不開傳感器系統(tǒng)的信息采集。該機(jī)器人傳感系統(tǒng)種類和功能較多，主要包括PSD光電傳感器、三維數(shù)字羅盤及光電編碼器等，這些傳感器為機(jī)器人目標(biāo)識別與導(dǎo)航跟蹤提供了依據(jù)。

圖1 農(nóng)業(yè)機(jī)器人機(jī)械結(jié)構(gòu)總體設(shè)計Fig.1 The general design of the mechanical structure of agricultural robot

位置傳感器(PSD)是一種新型敏感探測的半導(dǎo)體器件，內(nèi)部為PN結(jié)，具有高靈敏度、高分辨率、響應(yīng)速度快和配置電路簡單等優(yōu)點。PSD傳感器的工作原理是基于橫向光電效應(yīng)，采用三角測距原理對入射光位置進(jìn)行測量以確定目標(biāo)物體的位置與角度信息。作為新型傳感器件，PSD已被廣泛應(yīng)用在兵器制導(dǎo)和跟蹤、工業(yè)自動控制或位置變化等位置坐標(biāo)精確測量領(lǐng)域中，該農(nóng)業(yè)機(jī)器人前端裝載了2個 PSD光電傳感器。PSD光電傳感器進(jìn)行距離測量采用光學(xué)三角測距原理，工作示意圖如圖2所示。LED燈發(fā)出光源，經(jīng)透鏡L1后射向待測物體表面，再通過平面鏡發(fā)射由透鏡L2聚焦后射至PSD上，形成一個光電。假設(shè)透鏡L1與L2之間的距離為b，透鏡L2與PSD之間距離為f，PSD聚焦光點到透鏡L2中心的距離為x，那么根據(jù)相似三角形幾何原理，可以準(zhǔn)確測出待測物體的距離h，計算公式為

h=bf/x

(1)

圖2 光電三角測距工作示意圖Fig.2 The schematic diagram of photoelectric triangulation

在機(jī)器人中安裝三維數(shù)字羅盤，可以得到機(jī)器人在移動中的前進(jìn)方向、左右傾斜角和前后翻滾角，進(jìn)而計算機(jī)器人的三維空間位置。三維數(shù)字羅盤的計算公式為

(2)

其中，θ是機(jī)器人前行時的偏航角；φ是機(jī)器人前行時的傾斜角；△u是機(jī)器人前行的位移增量；△θ是機(jī)器人前行時的偏航角增量。機(jī)器人移動距離越大，誤差也會越大，通過三維數(shù)字羅盤的精確航向值來校正，能極大程度地減少位置信息誤差，加強機(jī)器人自主導(dǎo)航的精準(zhǔn)度。

2 全方位視覺圖像系統(tǒng)的設(shè)計

基于DSP嵌入式處理器的全方位視覺圖像系統(tǒng)以全方位視覺伺服技術(shù)為核心，能夠?qū)崿F(xiàn)全景檢測、陸標(biāo)導(dǎo)航和多運動目標(biāo)識別跟蹤等功能。該視覺圖像系統(tǒng)總體設(shè)計的主要要求有：適應(yīng)室內(nèi)外及田間作業(yè)環(huán)境，能夠進(jìn)行基于陸標(biāo)的自主導(dǎo)航，可以對多運動目標(biāo)實施識別和跟蹤。全方位視覺圖像系統(tǒng)總體功能方案框架圖如圖3所示。全方位視覺圖信息像系統(tǒng)中的視覺圖像伺服組件，選取視頻圖像中的陸標(biāo)、運動目標(biāo)和農(nóng)業(yè)機(jī)器人的相關(guān)信息，將其發(fā)送至DSP控制器。從該系統(tǒng)組件的功能性質(zhì)可以看出，它就是個視頻圖像處理模塊。本文主要是研究如何建立高速、實時性強、性能高的全方位圖像處理系統(tǒng)。視覺圖像伺服組件系統(tǒng)的構(gòu)建主要PC+圖像采集卡、采用專用核心處理器的圖像處理系統(tǒng)和采用DSP的圖像處理系統(tǒng)等3種方式。由于DSP控制系統(tǒng)具有實時處理、實時性強、處理器結(jié)構(gòu)簡單、調(diào)試工具完善及體積小等優(yōu)點，故本文根據(jù)課題要求最終選擇DSP嵌入式系統(tǒng)作為全方位視覺圖信息像系統(tǒng)中的視覺圖像伺服組件。視覺圖像伺服組件系統(tǒng)硬件結(jié)構(gòu)框架圖如圖4所示。

圖3 全方位視覺圖像系統(tǒng)總體功能方案框架圖Fig.3 The overall functional plan framework of omnidirectional vision image system

圖4 視覺圖像伺服組件系統(tǒng)硬件結(jié)構(gòu)框架圖Fig.4 The hardware structure of visual image servo system

3 基于魚眼相機(jī)的農(nóng)業(yè)機(jī)器人陸標(biāo)定位、目標(biāo)識別與跟蹤

由于魚眼相機(jī)采集的圖像會發(fā)生畸變，因此在進(jìn)行處理時需要對其進(jìn)行畸變校正，利用圖像投影曲線，采取立方體投影技術(shù)，確定好映射關(guān)系，以便能夠?qū)︳~眼圖像進(jìn)行畸變校正。在空間建立直角坐標(biāo)系，如圖5所示。OXYZ為魚眼相機(jī)直角坐標(biāo)系，oxy則為圖像平面直角坐標(biāo)系。其中，P在魚眼相機(jī)中成的像為p；Oo軸為魚眼相機(jī)的光軸；z為P點到投影平面的距離；R為PO間距離；w為P點相對鏡頭平面的仰角；θ1為P在OXYZ直角坐標(biāo)系中的方位角；r為po間距離；θ2為p在oxy直角坐標(biāo)系中的方位角。

圖5 魚頭相機(jī)的成像模型Fig.5 The imaging model of head camera

設(shè)模型OXYZ上一點坐標(biāo)為(xw,yw,zw)，在oxy的坐標(biāo)為(xc,yc,zc),則二者的轉(zhuǎn)化關(guān)系為

(3)

魚頭相機(jī)坐標(biāo)系(xw,yw,zw)和圖像坐標(biāo)系(xu,yv,)的轉(zhuǎn)換為

(4)

其中，f為魚頭相機(jī)和成像面之間的焦距。

圖像坐標(biāo)系(xu,yv,)和像素坐標(biāo)系(u,v)的關(guān)系式為

(5)

其中，kx、ky為像素系數(shù)，(u0,v0)為成像面圖像的中心坐標(biāo)。

聯(lián)合式(3)～式(5)后可以得到

(6)

先將魚眼相機(jī)的視頻圖像轉(zhuǎn)化為成像模型，再求出標(biāo)定參數(shù)，最后利用立方體模型進(jìn)行投影。

首先建立坐標(biāo)系，采用立方體投影；然后對表示立方體的函數(shù)進(jìn)行分段處理。立方體投影模型如圖6所示。

圖6 立方體投影模型Fig.6 The cube projection model

如圖6所示，立方體邊長為a，在立方體投影模型中任一點p(x0,y0,z0)與o(0,0,0)連線方程為

(7)

圖7圖像轉(zhuǎn)換后的平面投影Fig.7 The plane projection after image conversion

圖7中，對于立方體模型中的任意一點，假設(shè)其在HEGF面上的像素坐標(biāo)為(X,Y,Z)，則在對應(yīng)的投影平面中的坐標(biāo)為(x,y)，且有

(8)

4 試驗結(jié)果分析

4.1 試驗場景與方案

為了驗證全方位視覺目標(biāo)識別與跟蹤系統(tǒng)的可行性、有效性與性能參數(shù)，設(shè)計了如圖8所示的場景用于試驗研究。試驗中，任取A、B、C、D、E等5個點，精確測量其坐標(biāo)值。設(shè)定導(dǎo)航模式，讓機(jī)器人依次經(jīng)過5個坐標(biāo)點，導(dǎo)航過程中采用全景視覺系統(tǒng)進(jìn)行自主定位，經(jīng)過預(yù)設(shè)坐標(biāo)值時，利用標(biāo)記裝置進(jìn)行記號標(biāo)記和測量，并經(jīng)測量值與之前精確測量值進(jìn)行對比與誤差分析，得到機(jī)器人導(dǎo)航精度，如圖9所示。

圖8 陸標(biāo)導(dǎo)航測試場景Fig.8 The test scenarios of landmark navigation

圖9 運動目標(biāo)跟蹤精度測試圖Fig.9 The tracking accuracy of moving objects

4.2 試驗結(jié)果分析

陸標(biāo)導(dǎo)航測試中，將導(dǎo)航模式測量值與導(dǎo)航模式前精確測量值進(jìn)行對比與誤差分析，得到如表1所示的結(jié)果。

表1 XY平面多個位置靜止測量的試驗結(jié)果

由表1可以看出:農(nóng)業(yè)機(jī)器人機(jī)器人在陸標(biāo)導(dǎo)航場景測試中，X、Y方向上的誤差均小于10cm，誤差較小。這表明，該系統(tǒng)可以準(zhǔn)確地完成對運動目標(biāo)的定位跟蹤，等合課題設(shè)計要求。

5 結(jié)論

基于全方位的自主導(dǎo)航技術(shù)，根據(jù)農(nóng)業(yè)機(jī)器人工作特點和運動特性，建立了機(jī)器人工作空間的環(huán)境模型，提出了一種陸標(biāo)導(dǎo)航和運動目標(biāo)跟蹤系統(tǒng)的視覺伺服方案，并對路徑采用陸標(biāo)編碼，簡化了計算的復(fù)雜性，大大提高了優(yōu)化的效率和實時性。本文開發(fā)了以 DSP控制器為核心的全方位視覺圖像伺服組件，有效地提高了陸標(biāo)或運動目標(biāo)跟蹤的實時性和可靠性，節(jié)省了作業(yè)時間，降低了機(jī)器人的能量消耗。試驗結(jié)果表明：本文設(shè)計了農(nóng)業(yè)機(jī)器人全方位視覺目標(biāo)識別與跟蹤系統(tǒng)，工作穩(wěn)定可靠，各項性能指標(biāo)優(yōu)良。

[1] 苑光明.基于全方位視覺的移動機(jī)器人動態(tài)目標(biāo)識別與導(dǎo)航研究[D].石家莊：河北工業(yè)大學(xué),2010.

[2] 馮為嘉.基于魚眼鏡頭的全方位視覺及全景立體球視覺研究[D]. 天津：天津大學(xué),2012.

[3] 李文羽.基于機(jī)器視覺和圖像處理的色織物疵點自動檢測研究[D].上海：東華大學(xué),2014.

[4] 劉濤.基于DSP和FPGA的高分辨率全景圖像實時處理系統(tǒng)硬件設(shè)計[D].哈爾濱：哈爾濱工程大學(xué),2011.

[5] 苑光明,丁承君,俞學(xué)波.基于魚眼鏡頭的全方位視覺系統(tǒng)的設(shè)計及實現(xiàn)[J].河北工業(yè)大學(xué)學(xué)報,2010(2):1-3.

[6] 李陽.基于視覺的移動機(jī)器人運動目標(biāo)跟蹤技術(shù)研究[D].北京：北京交通大學(xué),2009.

[7] 朱錦輝.基于全方位視覺系統(tǒng)的移動機(jī)器人自主定位與導(dǎo)航技術(shù)研究[D].天津：天津理工大學(xué),2009.

[8] 李穎晶.基于全方位視覺的運動目標(biāo)檢測和跟蹤方法研究[D].哈爾濱：哈爾濱工程大學(xué),2012.

[9] 孫奇.基于視覺的仿人足球機(jī)器人定位與跟蹤算法研究[D].沈陽：東北大學(xué),2012.

[10] 肖本潔.機(jī)器人同時定位制圖及多目標(biāo)跟蹤算法研究[D].上海：復(fù)旦大學(xué),2013.

[11] 陳曈.全方位圖像并行展開優(yōu)化算法的研究與實現(xiàn)[D].杭州：浙江工業(yè)大學(xué),2010.

[12] 張新,高勇,安濤,等.PSD光電位置傳感器的實現(xiàn)及SOI結(jié)構(gòu)研究[J].西安理工大學(xué)學(xué)報,2005(3): 236-240.

[13] 高晶.基于DM648的視頻處理系統(tǒng)的設(shè)計與實現(xiàn)[D].西安：西安電子科技大學(xué),2013.

[14] 周宗思.全方位視覺技術(shù)及其在移動機(jī)器人導(dǎo)航中的應(yīng)用[D].杭州：浙江工業(yè)大學(xué),2009.

[15] 石朝俠.基于多機(jī)器人協(xié)作的未知環(huán)境下路徑探索研究[D].哈爾濱：哈爾濱工業(yè)大學(xué),2007.

[16] 劉寶平,張紅梅.移動機(jī)器人研究現(xiàn)狀和未來發(fā)展的分析[J].科技信息,2009(29):65.

[17] 李崇輝,原玉磊,鄭勇,等.正則化方法在魚眼相機(jī)檢校中的應(yīng)用[J].信息工程大學(xué)學(xué)報,2013(5):575 -579.

[18] 王趙瑩.基于DM6467的目標(biāo)定位算法和圖像融合算法研究[D].南京：南京理工大學(xué),2013.

[19] 牛雪梅,高國琴,鮑智達(dá),等.基于滑模變結(jié)構(gòu)控制的溫室噴藥移動機(jī)器人路徑跟蹤[J].農(nóng)業(yè)工程學(xué)報,2013(2):9-16.

[20] 許海霞.機(jī)器視覺標(biāo)定與目標(biāo)檢測跟蹤方法及其應(yīng)用研究[D].長沙：湖南大學(xué),2011.

[21] 蔣蘋.基于雙源激光的田間作業(yè)機(jī)械導(dǎo)航定位系統(tǒng)研究[D].長沙：中南大學(xué),2012.

[22] 張春龍.自然環(huán)境下農(nóng)業(yè)機(jī)器人作業(yè)目標(biāo)信息獲取與視覺伺服策略研究[D].北京：中國農(nóng)業(yè)大學(xué),2014.

[23] 高卓.基于機(jī)器人視覺的運動目標(biāo)檢測及跟蹤算法研究[D].哈爾濱：哈爾濱工程大學(xué),2007.

[24] 許斌輝.基于全方位視覺的多運動目標(biāo)檢測、跟蹤與定位[D].杭州：浙江工業(yè)大學(xué),2011.

[25] 袁國武.智能視頻監(jiān)控中的運動目標(biāo)檢測和跟蹤算法研究[D].昆明：云南大學(xué),2012.

[26] 薛茹.復(fù)雜交通監(jiān)控場景下運動目標(biāo)檢測與跟蹤方法研究[D].西安：長安大學(xué),2014.

Research on Full Range Vision Target Recognition and Tracking of Autonomous Navigation Agricultural Robot

Tan Xuefeng

(Jilin Vocational College of Industry and Technology, Jilin 132013, China)

With the gradual improvement of the information technology in our country, it has been rapid development in machinery automation, integrated circuit, intelligent control system and testing and measurement and other industry. The mobile robot has reached a new height, agricultural robot has therefore been widely used. In many research problems of robot, the target recognition and tracking of omni directional vision is more complex and difficult to solve. According to the working characteristics of agricultural robot and motion characteristics,based on the full range of autonomous navigation technology, it established environment model of robot work space. It put forward a landmark navigation and moving target tracking system of the visual servoing scheme, and developed the DSP controller as the core of the full range of visual image processing system. The experimental results showed that the overall vision target recognition and tracking system of agricultural robot in this paper, which has high precision, reliability and real-time performance with the excellent performance.

agricultural robot; omnidirectional vision; target recognition; autonomous navigation; DSP

2016-08-11

國家林業(yè)局科技項目(201504402)；吉林省教育廳“十一五”科學(xué)技術(shù)研究項目(吉教科驗字【2007】第444號)

譚雪峰(1980-)，男，吉林農(nóng)安人，講師，(E-mail)tanxuefeng037@163.com。

S127；TP242.6

A

1003-188X(2017)12-0053-05