農(nóng)業(yè)采摘機器人自動化監(jiān)測與規(guī)劃研究①

李作山，付江龍

(綏化學院，黑龍江 綏化 152000)

0 引 言

隨著自動化和智能技術(shù)在農(nóng)業(yè)領(lǐng)域的應用擴大，機器人成為智能農(nóng)業(yè)未來發(fā)展中最具潛力的一個方向[1]。采摘機器人是農(nóng)業(yè)機器人的重要組成部分，能夠幫助產(chǎn)業(yè)從業(yè)者提高農(nóng)業(yè)生產(chǎn)的效率和質(zhì)量，其與一般農(nóng)業(yè)機器人不同，面臨更加復雜的作業(yè)環(huán)境、更加繁重的作業(yè)任務(wù)[2]。實現(xiàn)農(nóng)業(yè)采摘機器人的自動化監(jiān)測有助于節(jié)約采摘作業(yè)的人力、時間成本[3]。農(nóng)業(yè)采摘機器人的構(gòu)成部分有視覺系統(tǒng)、移動機構(gòu)、控制系統(tǒng)以及末端執(zhí)行器。目前影響蔬果果實的識別和定位精度的因素主要有環(huán)境光照、果實形狀、物體遮擋等自然因素，以及圖像噪聲、定位誤差等人為因素[4]。

1 農(nóng)業(yè)采摘機器人自動化監(jiān)測實現(xiàn)與路徑規(guī)劃研究

1.1 基于立體視覺的機器人自動化監(jiān)測系統(tǒng)設(shè)計

農(nóng)業(yè)采摘機器人的自動化檢測由視覺系統(tǒng)來實現(xiàn)，環(huán)境中的光信號經(jīng)由視覺傳感器轉(zhuǎn)換為圖像處理系統(tǒng)能夠接收的電信號，得到所要檢測的水果或蔬菜的大小、位置、成熟度等，最終將這些信息轉(zhuǎn)化為運動參數(shù)傳遞給末端執(zhí)行器[5]。因此，研究在構(gòu)建農(nóng)業(yè)采摘機器人系統(tǒng)的基礎(chǔ)上，通過對算法的優(yōu)化進行基于立體視覺的農(nóng)業(yè)采摘機器人自動化監(jiān)測系統(tǒng)設(shè)計，在此基礎(chǔ)上進行機器人路徑規(guī)劃的研究。

實現(xiàn)農(nóng)業(yè)采摘機器人的自動化監(jiān)測以識別和定位蔬果為基礎(chǔ)[6]。蔬果的采摘要求機器人末端執(zhí)行器確定果實重心，才能實現(xiàn)重合。研究在三維空間中重構(gòu)蔬果模型，通過最小二乘法確定其重心位置。果實識別順序可以描述為：先用圓形近似表示蔬果的形狀，由Hough變換得到其在平面上的圓心及半徑，以及該圓形的外接矩形，矩形左上坐標為(xmin,ymin)，右下坐標為(xmax,ymax)，在該矩形區(qū)域內(nèi)隨機找出一個點(x,y)，直到8個點并通過其三維坐標擬合出一個球。其中，點的坐標可以描述為式(1)：

(1)

蔬果球模型可以表達為下式(2)：

(x-a)2+(y-b)2+(z-c)2=R2

(2)

其中(x,y,z)為三維坐標軸，(a,b,c)為球心在坐標系中的坐標，R表示果實半徑。則對于n個點，用矩陣表示為式(3)：

(3)

(4)

將上式表示為等價齊次變換如下式(5)所示：

(5)

(6)

接下來進行所獲得圖像噪聲的濾除，通過高斯濾波對圖像進行平滑處理。第一步是對圖像進行高斯模糊，第二步要對圖像中的像素進行閾值化。先確定一個固定的閾值并以此為參數(shù)進行分割，二進制閾值化按照下式將圖像灰度值中大于參數(shù)值thresh的值設(shè)置為最大值，將小于等于參數(shù)值的設(shè)置為0，如式(7)。

(7)

得到平滑處理的圖像后，接著要對圖像進行邊緣檢測，必須在灰度圖中進行，通過下式(8)得到物體的邊緣幅值與角度。

(8)

在式(8)中，N[x,y]是使M[x,y]得到局部最大值的取值，反映了圖像邊緣的方向。

1.2 農(nóng)業(yè)采摘機器人路徑規(guī)劃研究

為保證機器人運行的平穩(wěn)性和連續(xù)性，針對農(nóng)業(yè)采摘機器人軌跡規(guī)劃中存在的問題，研究首先對多果采摘的順序規(guī)劃進行研究，再采用多線程技術(shù)、引入啟發(fā)式算法自動獲取各中間點的速度，以消除視覺延時引起的無法連續(xù)進行規(guī)劃的影響，最后采取分段路徑規(guī)劃來控制機器人的運動。

農(nóng)業(yè)采摘機器人進行自動化監(jiān)測下的作物采摘，其工作任務(wù)可以規(guī)劃為：首先獲取視野內(nèi)的蔬果果實成熟度信息，篩選已成熟果實并得到其數(shù)目和位置信息，進行采摘順序的規(guī)劃；然后控制機器人運動到第一個目標作物附近執(zhí)行采摘，遵照所安排的順序完成采摘任務(wù)后機器人末端回到初始位置，而采摘機器人繼續(xù)向前完成下一階段的采摘任務(wù)。在這個過程中，采摘機器人全局路徑可以描述為：有n個坐標為{g1,g2,…,gn}果實，機器人從g1出發(fā)完成采摘后再回到g1；設(shè)任意兩個采摘點gi和gj之間的距離為d；則在整數(shù)子集X={1,2,…,n}中使得采摘路徑最小的一個排列C={c1,c2,…,cn},ci∈X的求解如式(9)：

(9)

進一步將軌跡規(guī)劃描述為工具坐標系相對于工件坐標系的運動最短軌跡求解，這樣描述的好處在于可以使得位置變化轉(zhuǎn)化為坐標變換，使得機器人執(zhí)行采摘任務(wù)的起始點和終止點被描述出來，中間點也可以通過坐標表示。在運動過程中要求機器人平穩(wěn)運行，則運動軌跡的描述函數(shù)應該是連續(xù)的，且速度和加速度也應是連續(xù)的。因此研究在關(guān)節(jié)空間中進行軌跡規(guī)劃，在其中給每個關(guān)節(jié)分配一個經(jīng)過中間點且達到終點的光滑函數(shù)，且各關(guān)節(jié)經(jīng)過這兩點時間相同。設(shè)一個平滑函數(shù)θ(t)來描述運動軌跡，該函數(shù)始于t0而終于tf，則約束條件描述為式(10)：

(10)

在(10)式中，θ0表示函數(shù)在t0處的取值，θf表示函數(shù)在tf處的取值。中間點上關(guān)節(jié)速度的取值關(guān)系到關(guān)節(jié)各段路徑的連續(xù)和平滑，則研究引入啟發(fā)式方法來實現(xiàn)自動監(jiān)測系統(tǒng)對于中點速度的自動選擇。

綜上，通過各階段設(shè)計，研究所得到的分段路徑規(guī)劃可以分為三個階段。第一階段機器人末端執(zhí)行器從O出發(fā)抓取目標果實P，存在一點Q使得機器人實現(xiàn)正面抓取。第二階段是當攝像頭到達Q點后開啟新一輪圖像采集與處理，捕捉新的果實位置P′，規(guī)劃新的一點Q′。第三階段描述為在完成視野內(nèi)所有果實的采摘后返回O點處，進入下一個采摘范圍。

2 標定實驗、測距實驗及軌跡規(guī)劃實驗結(jié)果

為驗證自動化監(jiān)測的農(nóng)業(yè)采摘機器人精度，首先進行標定實驗和測距實驗。將機器人置于相機坐標點原點記錄下機器人末端運動距離，再將末端置于目標位置，記錄此時機器人的坐標，并與標定物的中心二維坐標做對比。研究選取10個標定點，比較其在機器人坐標系中的計算值與實測值之間的誤差，得到標定誤差示意圖如圖1(a)所示；再選取三個目標果實進行測距，測試結(jié)果如下圖1(b)所示，圖中橫坐標為距離，縱坐標為測距與實際距離的偏差。

圖1 標定實驗和測距實驗結(jié)果

從圖1(a)可以看出，10個目標點在機器人坐標系中x,y,z坐標軸的各個分量上的標定誤差都在[-10,8]的范圍內(nèi)，最大標定誤差小于8，且x,y,z坐標軸的誤差較為相近，沒有出現(xiàn)明顯分散現(xiàn)象；分析造成誤差的原因可能是機器人末端中心與目標中心很難重合，從而對測量精度造成影響?？傮w而言，該精度能夠滿足農(nóng)業(yè)采摘機器人實現(xiàn)自動采摘任務(wù)的需求。從圖1(b)可以看出，測量距離在[300,550]mm的范圍內(nèi)，測量誤差在[-10,30]mm的范圍之內(nèi)；當測量距離為250mm時，測量誤差最大，達到了40mm以上，說明測量距離過短會使得鏡頭發(fā)生畸變，造成誤差增大，但是測量距離增加不會使得誤差變大；分析造成誤差的原因可能是圖像噪聲未濾除完全。研究進一步進行了軌跡規(guī)劃仿真實驗，對兩個作物在機器人坐標系中的位置進行假設(shè)，規(guī)劃由起始點到目標作物的軌跡，再逆求解出個關(guān)節(jié)角的大小，得到關(guān)節(jié)的軌跡曲線。軌跡規(guī)劃實驗結(jié)果如圖2所示。

圖2 軌跡規(guī)劃實驗結(jié)果

從圖2(a)可以看出，機器人的采樣頻率達到50Hz，角位移在中間點的過渡是平滑的，說明機器人在執(zhí)行采摘任務(wù)的過程中運動平滑，沒有停頓和振動現(xiàn)象；從圖2(b)可以看出，速度曲線整體走勢是平滑且連續(xù)的，且在中間點處連接也是連續(xù)的，滿足要求。以上結(jié)果說明研究所設(shè)計的路徑規(guī)劃方法在仿真實驗中表現(xiàn)良好，通過該方法進行路徑規(guī)劃可以規(guī)避農(nóng)業(yè)采摘機器人視覺延時帶來的問題，并且可以保證機器人運動的平穩(wěn)性，說明研究所設(shè)計的路徑規(guī)劃的可行性。

3 結(jié) 語

隨著機器人在農(nóng)業(yè)日常生產(chǎn)中的應用范圍擴大，農(nóng)業(yè)采摘機器人成為果蔬生產(chǎn)中的重要一環(huán)，在占果蔬生產(chǎn)過程中作業(yè)量40%的采摘作業(yè)中得到廣泛應用。因此，研究提出設(shè)計自動化監(jiān)測的農(nóng)業(yè)采摘機器人系統(tǒng)，進行基于立體視覺的自動化監(jiān)測設(shè)計，在此基礎(chǔ)上進行機器人的路徑規(guī)劃研究。研究結(jié)果表明，標定實驗中10個目標點在機器人坐標系上的標定誤差都在[-10,8]的范圍內(nèi)，最大標定誤差小于8，且x，y，z坐標軸的誤差較為相近；測距實驗中測量距離在[300,550]mm范圍內(nèi)，測量誤差在[-10,30]mm范圍內(nèi)；且機器人的采樣頻率達到50Hz，角位移和速度曲線整體走勢平滑，在中間點的過渡連續(xù)。以上結(jié)果說明精度能夠滿足自動化采摘的需求，研究設(shè)計的路徑規(guī)劃方法可以規(guī)避視覺延時的問題，并且可以保證機器人運動的平穩(wěn)性。