• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于改進(jìn)幾何矩的移動(dòng)機(jī)器人目標(biāo)位姿識(shí)別

      2022-03-30 07:13:28黃宇鈞張亞婉唐艷鳳屈???/span>
      關(guān)鍵詞:位姿姿態(tài)濾波

      朱 穎, 黃宇鈞, 張亞婉, 唐艷鳳, 屈???/p>

      (廣州華立學(xué)院,廣州 511325)

      0 引言

      視覺感知使搬運(yùn)機(jī)器人從傳統(tǒng)的不可移動(dòng)的工業(yè)機(jī)器人,逐漸發(fā)展為可實(shí)現(xiàn)走向自由移動(dòng)、智能分揀、往返搬運(yùn)的移動(dòng)機(jī)器人。利用RGB-D深度相機(jī)獲得場(chǎng)景的彩色圖和深度圖像,實(shí)現(xiàn)對(duì)場(chǎng)景的三維重建,獲取目標(biāo)位姿信息等被廣泛應(yīng)用于智能協(xié)作機(jī)器人[1-2]。精準(zhǔn)取物是搬運(yùn)作業(yè)機(jī)器人的基本功能之一[3]。目標(biāo)物料的識(shí)別與定位直接決定著機(jī)器人取物精度。

      目標(biāo)識(shí)別與定位主要有基于圖像處理技術(shù)、基于機(jī)器學(xué)習(xí)的圖像分割技術(shù)與分類器、基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法等[4]。文獻(xiàn)[5]提出結(jié)合CIE-Lab顏色空間和深度信息對(duì)物體進(jìn)行分割識(shí)別;文獻(xiàn)[6]通過形態(tài)學(xué)與Canny邊緣檢測(cè)相結(jié)合的算法識(shí)別目標(biāo)物體,并獲取其中心坐標(biāo),但是缺少目標(biāo)姿態(tài)的識(shí)別;文獻(xiàn)[7]提出基于連通域Blob分析與神經(jīng)網(wǎng)絡(luò)分類器相結(jié)合的方法對(duì)隨機(jī)擺放的多類型工件進(jìn)行分類識(shí)別和定位,該算法的實(shí)效性不太理想;文獻(xiàn)[8]通過SURF與Grabcut相結(jié)合算法識(shí)別目標(biāo)物體,利用模板匹配求取目標(biāo)物體形心的世界坐標(biāo);文獻(xiàn)[9]利用改進(jìn)遺傳算法GA與最佳直方圖(KSW)熵融合的方法對(duì)目標(biāo)識(shí)別;文獻(xiàn)[10-11]對(duì)Faster RCNN的快速神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)對(duì)小目標(biāo)物體的識(shí)別與定位有較高精度并具有時(shí)效性。這些算法大部分缺少對(duì)目標(biāo)姿態(tài)的識(shí)別,不能滿足機(jī)器人對(duì)隨機(jī)擺放的目標(biāo)進(jìn)行準(zhǔn)確作業(yè)的要求。

      本文針對(duì)單目相機(jī)和雙目相機(jī)識(shí)別精度低造成目標(biāo)物料定位精度低等問題采用RGB-D相機(jī)進(jìn)行圖像的采集與深度信息獲取。目前基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法大多實(shí)時(shí)性和精確性不夠[4],針對(duì)搬運(yùn)機(jī)器人目標(biāo)檢測(cè)與定位的實(shí)時(shí)性問題,提出了基于HSV顏色空間的改進(jìn)Otsu分割算法對(duì)物料進(jìn)行識(shí)別;針對(duì)作業(yè)環(huán)境復(fù)雜,物料擺放多變等問題,提出了Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來獲取目標(biāo)物料的準(zhǔn)確位姿。

      1 目標(biāo)物料識(shí)別

      目標(biāo)物料識(shí)別是物料抓取的第一步,主要包括物料信息采集與預(yù)處理、物料的識(shí)別。目標(biāo)識(shí)別步驟一般可分為:圖像采集、顏色空間選取、圖像預(yù)處理、圖像分割與識(shí)別等。本文物料目標(biāo)識(shí)別流程如圖1所示。

      圖1 目標(biāo)物料識(shí)別步驟

      本文采用RGB-D深度相機(jī)進(jìn)行圖像的采集,選取最接近人眼視覺的HSV顏色空間進(jìn)行目標(biāo)物料自動(dòng)閾值分割,對(duì)分割后的特征集進(jìn)行高斯濾波與形態(tài)學(xué)處理,獲取更精準(zhǔn)的特征進(jìn)行識(shí)別。

      1.1 圖像的采集

      本系統(tǒng)采用樂視RGB-D深度相機(jī)對(duì)圖像進(jìn)行采集與獲取視覺信息,RGB-D相機(jī)由RGB鏡頭與深度鏡頭構(gòu)成,能獲得場(chǎng)景的紋理圖像與深度圖像。RGB鏡頭采用常見小孔成像鏡頭,深度相機(jī)是一種主動(dòng)成像設(shè)備,通過紅外發(fā)射器發(fā)出預(yù)定義紅外模式,紅外接收器接收回波,根據(jù)三角測(cè)距原理計(jì)算出目標(biāo)點(diǎn)距離鏡頭的深度,RGB-D相機(jī)結(jié)構(gòu)如圖2所示。

      圖2 樂視深度相機(jī)的結(jié)構(gòu)

      結(jié)構(gòu)光測(cè)距對(duì)投射光源進(jìn)行了編碼和特征化,相機(jī)拍攝的圖像是被編碼光源投影到物體上并經(jīng)過了物體表面深度調(diào)制過的。結(jié)構(gòu)光采用三角視差測(cè)距,物體距離越遠(yuǎn)則精度越高。

      1.2 HSV顏色空間

      機(jī)器人環(huán)境變光強(qiáng)條件顯著影響拍攝圖像的RGB顏色空間像素值,從而影響物料識(shí)別算法的精確性和穩(wěn)定性,本文采用HSV(Hue,Saturation,Value)顏色空間物料進(jìn)行識(shí)別。HSV模型是根據(jù)顏色的直觀特性模型,也稱六角錐體模型,可通過調(diào)節(jié)H分量來確保物料顏色特征的識(shí)別精度,調(diào)節(jié)S分量使其適應(yīng)不同色調(diào)光照環(huán)境,調(diào)節(jié)V分量適應(yīng)不同光照強(qiáng)度,提升環(huán)境自適應(yīng)能力。

      提出“H窄,S寬,V動(dòng)態(tài)”的新雙閾值選取方式,通過H(色相)分量閾值范圍調(diào)小的方式來確保物料顏色特征的識(shí)別精度,調(diào)節(jié)S(飽和度)分量的閾值范圍擴(kuò)大適應(yīng)不同色調(diào)光照環(huán)境,提高識(shí)別的精度、魯棒性以及算法能力對(duì)環(huán)境的適應(yīng)能力。通過V(亮度)變化的閾值范圍,適應(yīng)圖片中穩(wěn)定的光照,讓視覺在光照發(fā)生變化時(shí)也能進(jìn)行及時(shí)的調(diào)節(jié),提升環(huán)境適應(yīng)能力。

      1.3 目標(biāo)物料圖像分割

      本文實(shí)驗(yàn)物料識(shí)別對(duì)色相的精度要求較高,故不進(jìn)行濾波處理直接在HSV顏色空間進(jìn)行圖像分割,為滿足機(jī)器人實(shí)時(shí)性要求采用閾值分割算法對(duì)物料進(jìn)行分割。

      本文對(duì)色相H進(jìn)行圖像分割,通過對(duì)H進(jìn)行細(xì)調(diào)使H閾值范圍變小,可精確將特定顏色特征進(jìn)行分割。亮度V相對(duì)獨(dú)立,可通過后期動(dòng)態(tài)調(diào)整圖片亮度均值或者中值,使其適應(yīng)各種光照環(huán)境。本實(shí)驗(yàn)系統(tǒng)物料的材質(zhì)固定,在不同環(huán)境下其飽和度變化不大,不同色系的冷暖光照射將改變局部飽和度,可通過飽和度閾值適當(dāng)加大來增強(qiáng)魯棒性。本文采用Otsu算法即最大類間方差法進(jìn)行自動(dòng)閾值分割,最大類間方差閾值的求解過程不需要人為設(shè)定其他參數(shù),由計(jì)算機(jī)自動(dòng)選取。并對(duì)分割出來的特征集,進(jìn)行面積、形狀等特征分析獲取目標(biāo)集。

      1.4 組合濾波算法

      Otsu算法對(duì)直方圖具有明顯雙峰的圖像效果理想,而物料的局部亮斑和陰影很容易產(chǎn)生噪聲并影響分割目標(biāo)的完整度,需對(duì)分割出的目標(biāo)進(jìn)行去噪與斷裂補(bǔ)全處理。本文采用改進(jìn)組合濾波算法對(duì)噪聲進(jìn)行濾波與補(bǔ)全處理。

      首先采用高斯濾波算法對(duì)小噪聲點(diǎn)進(jìn)行濾波,并保持邊緣。高斯濾波器對(duì)噪聲處理效果由濾波窗口尺寸大小決定,窗口大則會(huì)導(dǎo)致圖像變得模糊丟失信息;當(dāng)窗口較小,則去噪效果不理想。選擇3×3的濾波窗口對(duì)物塊圖像進(jìn)行實(shí)驗(yàn)。在去除較小噪聲的同時(shí),圖像邊緣輪廓也比較清晰。

      為了對(duì)斷裂進(jìn)行補(bǔ)全、消除較大噪聲對(duì)圖像信息的干擾、同時(shí)保證圖像的完整性,本文采用對(duì)噪聲比較敏感的形態(tài)學(xué)低通濾波器OC-CO對(duì)分割后圖像進(jìn)行處理。數(shù)學(xué)形態(tài)學(xué)用腐蝕、膨脹、開運(yùn)算、閉運(yùn)算及其組合以及不同形狀和長度的結(jié)構(gòu)元素對(duì)信號(hào)進(jìn)行處理。

      開閉和閉開運(yùn)算組合并取平均可構(gòu)成形態(tài)學(xué)低通濾波器OC-CO即:

      (1)

      其中:變量si為濾波器的輸入信號(hào),變量Yo為濾波器的輸出信號(hào),變量g為濾波器的結(jié)構(gòu)元素。

      2 目標(biāo)定位與姿態(tài)

      機(jī)械手準(zhǔn)確抓取除了需精準(zhǔn)識(shí)別出物料,還要對(duì)物料進(jìn)行定位和姿態(tài)識(shí)別,獲取物料的準(zhǔn)確位姿。根據(jù)待抓取物料是規(guī)則對(duì)稱的特點(diǎn),為避免出現(xiàn)互補(bǔ)角度分辨不明的情況,本文提出改進(jìn)幾何矩算法獲取物料的中心坐標(biāo)與姿態(tài)。結(jié)合目標(biāo)最小外接矩的中心坐標(biāo)與深度相機(jī)獲取目標(biāo)準(zhǔn)確的深度信息。

      改進(jìn)幾何矩算法通過計(jì)算幾何矩的質(zhì)心獲取物料中心像素坐標(biāo)和區(qū)域凸包質(zhì)心形成的矢量線角度計(jì)算物料旋轉(zhuǎn)角度。本文利用“旋轉(zhuǎn)卡殼模型”和“凸包效應(yīng)”對(duì)位置識(shí)別算法進(jìn)行改進(jìn)。本文提出Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩。

      2.1 Graham算法

      凸包是一個(gè)計(jì)算幾何學(xué)中的概念,也稱最小凸包,是指包含集合S中所有對(duì)象的最小凸集[12]。物料的凸包是由凸多邊形包圍物料輪廓而形成的又一輪廓[13]。在二維空間中一個(gè)點(diǎn)集S的凸包是指包含S的最小凸集合,集合X(x1、x2、x3……xn)的凸包S為:

      (2)

      常見的平面凸包求法有Graham掃描法[14]、Jarvis步進(jìn)法、中心法、水平法等[15]。計(jì)算二維點(diǎn)集凸包的經(jīng)典算法有增量法、卡殼模型,就是凸包的最小外接矩形,四條線確定一個(gè)多邊形的外接矩形模板,如圖3所示。

      圖3 卡殼模型

      Graham算法步驟[16]為:

      1)找出參考點(diǎn)P0;

      2)對(duì)其他點(diǎn)按極角進(jìn)行排序,邏輯上形成了一個(gè)簡單多邊形;

      3)刪除簡單多邊形上的凹點(diǎn)。

      其過程如圖4所示。

      圖4 Graham算法步驟

      2.2 改進(jìn)幾何矩算法

      基于“凸包”法能夠節(jié)省更多的計(jì)算資源,由于有些多邊性端點(diǎn)的獲取困難,計(jì)算量大等缺點(diǎn),如當(dāng)識(shí)別物體為圓弧形時(shí),就難以輸出凸包點(diǎn),將造成程序錯(cuò)誤導(dǎo)致無法運(yùn)算,本文對(duì)凸包算法進(jìn)行改進(jìn),通過兩條相互垂直的旋轉(zhuǎn)線對(duì)目標(biāo)進(jìn)行掃描,獲取上下左右的最大值和最小值(minP,xmaxP,yminP,ymaxP)形成“卡殼”集合,并根據(jù)確定的坐標(biāo)與斜率確定直線,由兩條直線相交獲取矩形的4個(gè)頂點(diǎn),從而算出矩形面積,求出最小面積即為物料的最小外接矩形,通過最小外接矩形計(jì)算出中心坐標(biāo)。為了簡化計(jì)算量提高速度,掃描旋轉(zhuǎn)時(shí)不區(qū)分長寬,旋轉(zhuǎn)角度豎直方向范圍為(90°,180°)、水平方向?yàn)?0°,90°),在姿態(tài)識(shí)別時(shí)加上長寬比進(jìn)行約束。具體步驟為:

      1)起始時(shí)豎直方向以角度θ0=90°、水平方向角度為θ0-90°的兩條直線對(duì)二值圖進(jìn)行掃描,獲取minP0,xmaxP0,yminP0,ymaxP0;

      2)計(jì)算由minP0、xmaxP0、yminP0、ymaxP0四個(gè)坐標(biāo)和斜率確定的四條線圍成的矩形面積,并記錄坐標(biāo)、角度和面積;

      3)將2)獲取的矩形框逆時(shí)針旋轉(zhuǎn)1°,重復(fù)1)和2)直到旋轉(zhuǎn)完90°;

      4)識(shí)別并輸出最小面積,確定最小外接矩形;

      5)根據(jù)最小外接矩形4個(gè)頂點(diǎn),確定物料的中心;

      6)計(jì)算外接矩豎直方向邊長Ly與水平方向邊長Lx之比,獲取物料姿態(tài)旋轉(zhuǎn)角度。Ly:Lx>1,則物料姿態(tài)旋轉(zhuǎn)角為θ;反之,則物料姿態(tài)旋轉(zhuǎn)角為θ-90°。

      2.3 目標(biāo)深度測(cè)量

      當(dāng)深度相機(jī)與RGB鏡頭相融合,消除視覺漂移解決深度圖像與彩色圖像不能重合的問題。物料對(duì)紅外的遮擋將在背景上形成陰影,深度圖像將不進(jìn)行物料的二次識(shí)別,直接通過外接矩進(jìn)行深度信息的獲取。

      本文取相機(jī)到物料前表面中心的距離為物料的深度D,在抓取時(shí),對(duì)機(jī)械臂的運(yùn)動(dòng)坐標(biāo)進(jìn)行定值補(bǔ)償,簡化運(yùn)算與識(shí)別。具體實(shí)現(xiàn)如圖5所示,首先獲取外接矩形框內(nèi)的深度信息,考慮到物料并非為規(guī)則的矩形其邊緣與矩形框存在空隙,該空隙對(duì)應(yīng)的深度信息不是物料的深度信息需剔除;本文在外接矩中心坐標(biāo)附近選取一個(gè)圓,以排除非物料像素的干擾,再將該圓內(nèi)的深度求均值獲得深度D。

      圖5 深度信息的獲取

      3 實(shí)驗(yàn)驗(yàn)證

      本文在基于ROS的移動(dòng)搬運(yùn)機(jī)器人上搭載RGB-D相機(jī),對(duì)搬運(yùn)物料進(jìn)行識(shí)別與位姿定位實(shí)驗(yàn)。通過與文獻(xiàn)[5]的物料識(shí)別算法對(duì)比來驗(yàn)證本文識(shí)別算法的精確性;而對(duì)于物料位姿定位,通過對(duì)比傳統(tǒng)幾何矩算法來驗(yàn)證該算法的精確性,并改變物料狀態(tài)和環(huán)境進(jìn)行反復(fù)實(shí)驗(yàn),驗(yàn)證該算法的有效性。

      3.1 物料識(shí)別實(shí)驗(yàn)

      對(duì)比文獻(xiàn)[5]中基于CIE-Lab顏色空間的閾值分割算法,該算法通過雙閾值選擇器,選出特定閾值的色塊。該算法能夠快速計(jì)算出色塊的位置和大小,能對(duì)目標(biāo)物料進(jìn)行快速定位。當(dāng)存在與目標(biāo)物料同材質(zhì)塊狀干擾時(shí),分別采用基于CIE-Lab閾值分割算法和基于HSV顏色空間自動(dòng)閾值分割算法進(jìn)行識(shí)別,其識(shí)別效果如圖6所示。

      圖6 優(yōu)化算法對(duì)強(qiáng)干擾的排除

      從圖6中可得原圖中存在眾多干擾,如陰影、目標(biāo)物料同顏色的小藍(lán)塊、反光等光照不均等。文獻(xiàn)[5]中算法精度比較低,需要事先取閾值,受環(huán)境影響較大,易造成誤識(shí)別或識(shí)別失敗,無法消除陰影藍(lán)斑效應(yīng)等影響,雖能分割出目標(biāo)物料,同時(shí)也分割出很多偽目標(biāo),且對(duì)于反光部分目標(biāo)缺失。基于HSV顏色空間的最大類間方差法能有效去除陰影等影響,“H窄S寬V動(dòng)態(tài)”閾值選取能夠同時(shí)解決魯棒性與精確性的問題,但與目標(biāo)物料相同的小藍(lán)塊也被分割。本文算法進(jìn)一步進(jìn)行面積和形狀處理去除小藍(lán)塊。其效果如圖5所示。

      當(dāng)光照發(fā)生變化時(shí),如圖7(a)所示,物料部分被自身陰影遮蔽,環(huán)境亮度卻很強(qiáng)。識(shí)別出的物料易形成高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂甚至容易產(chǎn)生巨大的斷裂誤判為兩個(gè)或多個(gè)不同的物體,如圖7(b)所示。本文改進(jìn)算法識(shí)別效果如圖7(c)所示,改進(jìn)后算法通過改進(jìn)組合濾波算法對(duì)噪聲進(jìn)行濾波與補(bǔ)全處理有效消除噪聲點(diǎn)的影響,同時(shí)補(bǔ)全陰影斷裂。

      圖7 局部陰影識(shí)別效果

      3.2 位姿識(shí)別實(shí)驗(yàn)驗(yàn)證

      對(duì)實(shí)驗(yàn)一識(shí)別到的物料進(jìn)行定位與姿態(tài)進(jìn)行識(shí)別,其效果對(duì)比如圖8所示。

      圖8 物料姿態(tài)識(shí)別效果

      由圖8可得,傳統(tǒng)幾何矩算法只能定位物料的中心坐標(biāo),無法識(shí)別物料姿態(tài);當(dāng)出現(xiàn)干擾時(shí),其抗干擾能力弱,輸出的中心坐標(biāo)失真;當(dāng)無明顯干擾時(shí),傳統(tǒng)算法得到的外接矩也不是最小矩,其中心坐標(biāo)也存在偏差。采用本文算法得到最小外接矩,對(duì)物料定位更精準(zhǔn),并能識(shí)別其姿態(tài)。

      對(duì)不同位姿的物料進(jìn)行識(shí)別,如圖9所示。

      圖9 物料不同位姿識(shí)別效果

      由圖9可以看出,采用本文算法可對(duì)不同位姿有效識(shí)別。該算法在不同環(huán)境下能準(zhǔn)確識(shí)別物料的大小、位置、傾斜角等,具有較高的準(zhǔn)確度和魯棒性。

      4 結(jié)束語

      本文采用RGB-D深度相機(jī)搭建移動(dòng)機(jī)器人的視覺系統(tǒng),對(duì)搬運(yùn)物料進(jìn)行圖像采集與深度信息獲得。

      結(jié)合HSV顏色空間的特點(diǎn),采用改進(jìn)后的Otsu分割算法對(duì)目標(biāo)物料進(jìn)行分割,然后采用高斯濾波與形態(tài)學(xué)低通濾波器OC-CO的組合濾波器對(duì)分割的特征集進(jìn)行去噪與斷裂補(bǔ)全處理,最后對(duì)目標(biāo)物料進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明,該算法對(duì)存在與目標(biāo)物料類似材質(zhì)干擾、光照發(fā)生變化、物料部分被自身陰影遮蔽、高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂等復(fù)雜環(huán)境均能快速準(zhǔn)確對(duì)目標(biāo)物料進(jìn)行識(shí)別。

      提出了改進(jìn)幾何矩算法對(duì)物料的位置和姿態(tài)進(jìn)行識(shí)別,RGB-D深度相機(jī)結(jié)合幾何矩獲取深度信息。實(shí)驗(yàn)結(jié)果表明,該算法對(duì)物料在不同環(huán)境下均能準(zhǔn)確識(shí)別出物料的大小、位置、傾斜角、深度信息等,具有較高的準(zhǔn)確度和魯棒性。

      猜你喜歡
      位姿姿態(tài)濾波
      攀爬的姿態(tài)
      全新一代宋的新姿態(tài)
      汽車觀察(2018年9期)2018-10-23 05:46:40
      跑與走的姿態(tài)
      中國自行車(2018年8期)2018-09-26 06:53:44
      基于共面直線迭代加權(quán)最小二乘的相機(jī)位姿估計(jì)
      基于CAD模型的單目六自由度位姿測(cè)量
      小型四旋翼飛行器位姿建模及其仿真
      RTS平滑濾波在事后姿態(tài)確定中的應(yīng)用
      基于線性正則變換的 LMS 自適應(yīng)濾波
      基于幾何特征的快速位姿識(shí)別算法研究
      基于隨機(jī)加權(quán)估計(jì)的Sage自適應(yīng)濾波及其在導(dǎo)航中的應(yīng)用
      崇文区| 澜沧| 张家口市| 郁南县| 逊克县| 阜新市| 水富县| 万州区| 宁夏| 班玛县| 武义县| 荥经县| 金坛市| 大足县| 建平县| 尉氏县| 长沙县| 娱乐| 青海省| 阳山县| 增城市| 赤壁市| 九江市| 交城县| 沂源县| 汨罗市| 突泉县| 吉隆县| 浦江县| 故城县| 呼和浩特市| 英德市| 绥滨县| 仁化县| 长兴县| 泾川县| 慈利县| 凤山市| 衢州市| 资溪县| 宾川县|