機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)機(jī)器人定位中的作用*

王瑞陽(yáng) ，徐 洋

（許昌電氣職業(yè)學(xué)院，河南 許昌 461000）

據(jù)統(tǒng)計(jì)，2018 年農(nóng)戶在當(dāng)?shù)氐淖誀I(yíng)收入出現(xiàn)了很大的下滑，而未出去打工的農(nóng)戶收入比上年減少了3.86%，農(nóng)民農(nóng)業(yè)經(jīng)營(yíng)收入在農(nóng)業(yè)增加值的占比較少，顯示農(nóng)民在市場(chǎng)競(jìng)爭(zhēng)中的弱勢(shì)地位[1]。實(shí)踐證明，唯有下大力氣推廣先進(jìn)適用的農(nóng)業(yè)機(jī)械，降低農(nóng)民勞動(dòng)強(qiáng)度，提升農(nóng)業(yè)生產(chǎn)效率，增加農(nóng)民效益，才能有效解決當(dāng)前的農(nóng)業(yè)和農(nóng)村問(wèn)題。因此，提升21世紀(jì)的農(nóng)業(yè)智能化程度，將是當(dāng)前乃至今后很長(zhǎng)一段時(shí)間我國(guó)需要完成的一個(gè)重大課題，也是社會(huì)發(fā)展的必然趨勢(shì)[2]。

1 機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)中的應(yīng)用現(xiàn)狀

1.1 農(nóng)產(chǎn)品分級(jí)

我國(guó)農(nóng)產(chǎn)品要想走出國(guó)門，就必須對(duì)其進(jìn)行質(zhì)量分類與檢驗(yàn)。現(xiàn)有的無(wú)損探測(cè)手段依賴于人工，耗時(shí)費(fèi)力，且具有破壞性。比如，有研究學(xué)者提出利用融合西紅柿顏色特征和BP 神經(jīng)網(wǎng)絡(luò)分類技術(shù)的方式，來(lái)對(duì)西紅柿的成熟期進(jìn)行檢測(cè)[3]。這種方法對(duì)西紅柿成熟期的平均精度達(dá)到99.31%，標(biāo)準(zhǔn)誤差為1.2%。但存在的缺點(diǎn)是，一些水果表面的斑點(diǎn)會(huì)對(duì)試驗(yàn)的效果產(chǎn)生一定的影響。通過(guò)圖像處理和機(jī)器學(xué)習(xí)，使用形態(tài)學(xué)和固定閾值劃分的方式來(lái)對(duì)水果進(jìn)行分類，并使用SVM 支持向量機(jī)根據(jù)質(zhì)地特征來(lái)獲取區(qū)分的結(jié)果，可以完成對(duì)一些水果的分類。在計(jì)算缺陷程度上，可以使用種子填補(bǔ)法進(jìn)行標(biāo)簽，來(lái)計(jì)算出缺陷的數(shù)量和面積，本研究通過(guò)對(duì)60 個(gè)水果進(jìn)行測(cè)試，發(fā)現(xiàn)分類的準(zhǔn)確率可以達(dá)到90%。因此，在對(duì)農(nóng)產(chǎn)品質(zhì)量進(jìn)行檢測(cè)的技術(shù)上，要通過(guò)動(dòng)態(tài)的檢測(cè)，來(lái)提升檢測(cè)的效率，并尋找出一種能夠?qū)λ修r(nóng)產(chǎn)品進(jìn)行鑒定的普遍的檢測(cè)方法[4]。

1.2 農(nóng)產(chǎn)品自動(dòng)采摘

在整個(gè)農(nóng)業(yè)產(chǎn)業(yè)鏈中，農(nóng)產(chǎn)品的采摘是效率低且極易產(chǎn)生損耗的環(huán)節(jié)。將計(jì)算機(jī)圖像處理技術(shù)應(yīng)用于農(nóng)產(chǎn)品的機(jī)械化自動(dòng)采摘，是目前我國(guó)農(nóng)業(yè)生產(chǎn)中最為熱門的研究方向[5]。有研究學(xué)者提出，利用激光采集的特點(diǎn)，通過(guò)降低光線的波動(dòng)，并在發(fā)現(xiàn)“候選”水果的時(shí)候，將其分別對(duì)應(yīng)一個(gè)區(qū)域（凸面區(qū)），并根據(jù)其表面的空間位置進(jìn)行確定，最終判斷出一個(gè)農(nóng)產(chǎn)品能否被采集。在采集過(guò)程中，將其采集的時(shí)間控制在30 s 以內(nèi)，并可用于多種農(nóng)產(chǎn)品的采集；利用橙色水果進(jìn)行采集，利用二值化的圖像提取出樣品的輪廓線，完成采集，最終獲得的準(zhǔn)確率可達(dá)98.6%，采集的速率可達(dá)25 s/個(gè)，但由于受到外部光線條件的限制，無(wú)法適應(yīng)具體的使用場(chǎng)合[6]。與之相比，農(nóng)業(yè)產(chǎn)品在自動(dòng)化技術(shù)上的需求更加苛刻，當(dāng)前色彩信息更加清晰的蔬菜和水果都能夠?qū)崿F(xiàn)自動(dòng)化。通過(guò)調(diào)查，得出了光照和熱量是影響作物的成長(zhǎng)趨勢(shì)與成長(zhǎng)環(huán)境的主要因素。因此，在未來(lái)要從這兩個(gè)方面來(lái)提高農(nóng)產(chǎn)品收獲率。

2 農(nóng)業(yè)機(jī)器人定位技術(shù)的應(yīng)用現(xiàn)狀

2.1 視覺(jué)相對(duì)定位方法

視覺(jué)相對(duì)定位方法是通過(guò)附著在農(nóng)業(yè)機(jī)器人的圖像傳感器上，收集它前進(jìn)方向上的圖像，通過(guò)預(yù)處理、特征提取和分割以及圖像識(shí)別等方法，把它所感受到的2D 圖像轉(zhuǎn)化為3D 的空間數(shù)據(jù)[7]，然后對(duì)它進(jìn)行探測(cè)，獲得一個(gè)導(dǎo)航的基線，可以判斷出兩個(gè)機(jī)器人之間的相互位置，從而可以在一個(gè)有一定規(guī)律的或者是一個(gè)被它弄得很不穩(wěn)定的區(qū)域內(nèi)，進(jìn)行一個(gè)相對(duì)定位的導(dǎo)航的方法。通過(guò)視覺(jué)相對(duì)定位方法可實(shí)現(xiàn)農(nóng)田作業(yè)機(jī)器人在復(fù)雜地形下的運(yùn)動(dòng)軌跡及側(cè)向運(yùn)動(dòng)軌跡的精確求解，實(shí)現(xiàn)農(nóng)田作業(yè)在復(fù)雜地形及有衛(wèi)星干擾的復(fù)雜地形下的相對(duì)定位[8]。

2.2 激光雷達(dá)相對(duì)定位方法

激光雷達(dá)定位自主導(dǎo)航是對(duì)周圍環(huán)境中點(diǎn)云信息進(jìn)行檢測(cè)，通過(guò)點(diǎn)云對(duì)準(zhǔn)、點(diǎn)云去噪等預(yù)處理，再通過(guò)分割、聚類等算法進(jìn)行障礙物識(shí)別，利用分類、跟蹤算法實(shí)現(xiàn)對(duì)目標(biāo)點(diǎn)的檢測(cè)，最后通過(guò)目標(biāo)點(diǎn)與農(nóng)業(yè)機(jī)器人本身之間的距離，結(jié)合測(cè)量角度，獲得目標(biāo)點(diǎn)的極點(diǎn)位置，實(shí)時(shí)計(jì)算農(nóng)業(yè)機(jī)器人與擬合操作路徑之間的航向偏差和橫向偏差，完成農(nóng)用機(jī)器人在不同種植環(huán)境下的相對(duì)定位導(dǎo)航的方法。

2.3 激光雷達(dá)與視覺(jué)相機(jī)融合的定位方法

目前，多個(gè)多源融合技術(shù)主要包括：激光雷達(dá)-毫米波雷達(dá)（LiDAR-RADAR）融合技術(shù)，攝像機(jī)-攝像機(jī)融合技術(shù)，二維-攝像機(jī)融合技術(shù)，3D-攝像機(jī)融合技術(shù)。在探測(cè)和辨識(shí)方面，通過(guò)攝像機(jī)可以實(shí)現(xiàn)良好的目標(biāo)識(shí)別，而激光雷達(dá)可以更好地進(jìn)行目標(biāo)位置的估計(jì)[9]。

3 機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)機(jī)器人定位中的應(yīng)用

3.1 基于機(jī)器視覺(jué)技術(shù)的目標(biāo)坐標(biāo)獲取方法

首先，在機(jī)器視覺(jué)中包含四種坐標(biāo)系，世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系及像素坐標(biāo)系[10]。在提取物體的坐標(biāo)時(shí)，必須利用計(jì)算機(jī)圖像處理技術(shù)，對(duì)被辨識(shí)物體進(jìn)行自動(dòng)辨識(shí)，并根據(jù)物體在像素坐標(biāo)系內(nèi)的位置來(lái)判斷物體的方位。其次，通過(guò)對(duì)圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系的變換，獲得被辨識(shí)物體在現(xiàn)實(shí)世界的坐標(biāo)。在此基礎(chǔ)上，在世界坐標(biāo)系統(tǒng)和相機(jī)坐標(biāo)系統(tǒng)的變換過(guò)程中，不會(huì)產(chǎn)生變形。通過(guò)使用平動(dòng)與轉(zhuǎn)動(dòng)，可以獲得它們之間的相互關(guān)系，其變換公式為：

在使用單目視攝像機(jī)對(duì)物體進(jìn)行探測(cè)時(shí)，物體在影像中所出現(xiàn)的點(diǎn)的位置與其對(duì)應(yīng)的變換關(guān)系為：

圖像坐標(biāo)系統(tǒng)和像素坐標(biāo)系統(tǒng)的關(guān)系如下表述，將像素之間沿x軸和y軸的每一單元間距設(shè)為dx和dy，(u,v)是像素中央的像素坐標(biāo)，那么像素坐標(biāo)系和圖像坐標(biāo)系的轉(zhuǎn)換公式如下所示：

由上述公式可知，從圖像中的某個(gè)點(diǎn)的像素的位置(u,v)，可以得到并計(jì)算出目標(biāo)的攝像機(jī)的坐標(biāo)，也就是目標(biāo)與攝像機(jī)的相對(duì)位置。所有的相關(guān)的物性參量都可以由照相機(jī)的校準(zhǔn)得到。

由以上的論述可知，在已經(jīng)知道了照相機(jī)內(nèi)參數(shù)的條件下，對(duì)空間中的一個(gè)目標(biāo)標(biāo)點(diǎn)，通過(guò)其在像素坐標(biāo)下的坐標(biāo)(u,v)和與攝像機(jī)的距離d，可以得到該點(diǎn)相對(duì)于深度相機(jī)的坐標(biāo)(xc,yc,zc)，xc、yc、zc單位都為mm。用顏色影像作為像素坐標(biāo)，用深度影像來(lái)計(jì)算距離d。為了實(shí)現(xiàn)多個(gè)點(diǎn)在同一時(shí)間內(nèi)的3D 坐標(biāo)的同步獲取，必須對(duì)兩個(gè)點(diǎn)在不同顏色下的位置(uc,vc)和不同深度的位置(ud,vd)進(jìn)行精確定位，這個(gè)問(wèn)題被稱作“顏色-深度”兩幅影像的融合。在具體的運(yùn)用中，可以先通過(guò)攝像機(jī)同時(shí)獲取地物的顏色影像和深度影像，然后將兩個(gè)影像進(jìn)行合成。之后，利用機(jī)器視覺(jué)技術(shù)，對(duì)整合后的影像進(jìn)行對(duì)象的探測(cè)，從而獲得在影像當(dāng)中關(guān)于蘋果目標(biāo)的邊界盒的信息，并對(duì)該邊界盒的中心點(diǎn)，也就是目標(biāo)農(nóng)產(chǎn)品的中心點(diǎn)在影像當(dāng)中的位置進(jìn)行了判斷。然后，利用攝像機(jī)和像素之間的空間位置變換，再根據(jù)影像中所儲(chǔ)存的空間位置，來(lái)確定物體與攝像機(jī)之間的位置。

3.2 基于機(jī)器視覺(jué)技術(shù)的機(jī)器人位置定位方法

基于視覺(jué)的距離測(cè)量技術(shù)是近年來(lái)興起的一種基于機(jī)器視覺(jué)的自主位置測(cè)量技術(shù)。該系統(tǒng)的核心是對(duì)由兩個(gè)視覺(jué)傳感元件采集到的一系列2D 影像中的特征點(diǎn)進(jìn)行跟蹤，并對(duì)其進(jìn)行自己的移動(dòng)估算。主要研究?jī)?nèi)容包括：基于單目或雙目攝像頭采集的運(yùn)動(dòng)軌跡數(shù)據(jù)，對(duì)運(yùn)動(dòng)軌跡數(shù)據(jù)進(jìn)行連續(xù)追蹤，獲得運(yùn)動(dòng)軌跡數(shù)據(jù)中6 個(gè)自由度（方位）的準(zhǔn)確信息[11]。該方法完全依賴于視覺(jué)傳感獲得的影像，且每一次運(yùn)算得到的位置數(shù)據(jù)都是與前、后兩幅影像相關(guān)的。當(dāng)累積整體的位置出現(xiàn)偏差時(shí)，這些偏差可以互相抵消，不會(huì)出現(xiàn)如常規(guī)的行車記錄儀發(fā)生滑動(dòng)時(shí)，測(cè)量結(jié)果的偏差會(huì)迅速增大，甚至導(dǎo)致無(wú)法進(jìn)行準(zhǔn)確的位置偏差測(cè)量。

特征點(diǎn)的獲取和匹配是該技術(shù)的關(guān)鍵環(huán)節(jié)，也是該技術(shù)的一個(gè)重要難題，其結(jié)果直接影響到了該技術(shù)在該領(lǐng)域中的應(yīng)用結(jié)果。由于農(nóng)田地形復(fù)雜，光照變化多樣，特別是強(qiáng)風(fēng)下，作物葉片和樹(shù)枝會(huì)隨著光照變化而晃動(dòng)，相機(jī)視野內(nèi)的人體和動(dòng)物也會(huì)呈現(xiàn)出一定的隨機(jī)性，加之農(nóng)機(jī)作業(yè)具有一定的非規(guī)則性，使得相機(jī)拍攝到的影像往往會(huì)發(fā)生轉(zhuǎn)動(dòng)和尺度變化，這給特征點(diǎn)的抽取與識(shí)別帶來(lái)了更大的難度。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，最常見(jiàn)的就是利用點(diǎn)狀特征來(lái)提取圖像的部分位置，這些部分既能保持圖像中目標(biāo)的基本特性，又能有效地減少所需的信息量。該方法利用圖像中的點(diǎn)狀信息，得到了兩個(gè)機(jī)械臂的相對(duì)移動(dòng)位置，并實(shí)現(xiàn)了機(jī)械臂的定位。有研究學(xué)者給出了一種基于輪的移動(dòng)機(jī)械臂的位置檢測(cè)算法。其中，確定相鄰圖像框架內(nèi)同一組點(diǎn)集在相機(jī)前、后某個(gè)時(shí)間的相應(yīng)的坐標(biāo)值，從而得到相機(jī)的移動(dòng)參數(shù)。照相機(jī)的移動(dòng)參量也可以用轉(zhuǎn)動(dòng)、移動(dòng)等形式表達(dá)。在進(jìn)行了立體和追蹤的匹配以后，將特征點(diǎn)與其相關(guān)聯(lián)，再進(jìn)行3D 重構(gòu)，從而獲得了其在相機(jī)坐標(biāo)下的3D 坐標(biāo)。而在此基礎(chǔ)上，根據(jù)已有的這些條件，來(lái)獲得相機(jī)坐標(biāo)系的轉(zhuǎn)換參數(shù)，運(yùn)動(dòng)估計(jì)的數(shù)學(xué)模型如式（4）所示，希望通過(guò)找到變換R和T，使殘差平方和最小，進(jìn)一步實(shí)現(xiàn)機(jī)器人位置的確定：

4 結(jié)論

隨著時(shí)代的發(fā)展與進(jìn)步，機(jī)器視覺(jué)技術(shù)為人們的生活提供了巨大的便利。農(nóng)業(yè)機(jī)器人作為目前農(nóng)業(yè)領(lǐng)域的先進(jìn)技術(shù)，為加速實(shí)現(xiàn)我國(guó)農(nóng)業(yè)智能化、現(xiàn)代化建設(shè)提供了更多的可能。進(jìn)一步結(jié)合機(jī)器視覺(jué)技術(shù)來(lái)解決農(nóng)業(yè)機(jī)器人定位問(wèn)題，是目前智能化農(nóng)業(yè)機(jī)器人發(fā)展的必然趨勢(shì)。