基于視覺導(dǎo)引與機(jī)器人的自動(dòng)對(duì)準(zhǔn)策略*

張 弛，普杰信，牛新月

（河南科技大學(xué)信息工程學(xué)院，河南 洛陽 471000）

0 引言

固體火箭發(fā)動(dòng)機(jī)裝配的質(zhì)量影響軍工產(chǎn)品的效率、性能、甚至是成?。?］。目前的裝配大多采用人工為主、自動(dòng)化設(shè)備為輔的方式，對(duì)技術(shù)工人的經(jīng)驗(yàn)要求較高，且存在操作一致性和連貫性不足的現(xiàn)象，導(dǎo)致裝配質(zhì)量難以保證。由于設(shè)備的質(zhì)量較大，不適合人工手動(dòng)搬運(yùn)和對(duì)準(zhǔn)；并且裝備造價(jià)昂貴，在裝配過程中要完全避免發(fā)生碰撞。因此，傳統(tǒng)的人工裝配方式已經(jīng)不能滿足裝配的作業(yè)要求，亟需引入智能的裝配技術(shù)。隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人逐漸應(yīng)用于裝配作業(yè)中，工人通過操縱機(jī)械臂搬運(yùn)設(shè)備，代替人手托舉重物，但仍沒有發(fā)揮出機(jī)器人智能化、高精度、柔性裝配的特點(diǎn)［2］。

為了提高機(jī)器人的自主執(zhí)行能力，將視覺技術(shù)與機(jī)器人相結(jié)合，利用相機(jī)采集圖像，經(jīng)過圖像處理算法實(shí)現(xiàn)目標(biāo)檢測與定位［3-5］。Song 等人［6］通過視覺測量獲得目標(biāo)的位置和姿態(tài)信息，對(duì)實(shí)現(xiàn)復(fù)雜形狀零件的位姿對(duì)準(zhǔn)具有一定的指導(dǎo)作用。任秉銀［7］通過正交雙目視覺檢測長軸類零件裝配端位姿，簡單易行，可適用于長軸類零件機(jī)器人自動(dòng)裝配。

但上述研究都是針對(duì)視覺測量與定位展開，不涉及對(duì)準(zhǔn)過程中機(jī)器人運(yùn)動(dòng)控制的問題［8］。孟少華［9］提出了一種基于雙目視覺定位的機(jī)器人輔助裝配路徑規(guī)劃算法，但沒有考慮機(jī)械結(jié)構(gòu)和控制算法引入的誤差，控制精度不高。季旭全［10］利用單目視覺實(shí)現(xiàn)精確位置測量，再通過機(jī)器學(xué)習(xí)找到一條裝配路徑，實(shí)現(xiàn)起來較為繁瑣。鄒宇［11］設(shè)計(jì)一套精密對(duì)接自動(dòng)對(duì)準(zhǔn)實(shí)驗(yàn)系統(tǒng)，可以實(shí)現(xiàn)微米級(jí)同軸定位，依靠接觸力判斷機(jī)械臂下一時(shí)刻運(yùn)動(dòng)趨勢。而對(duì)于固體火箭發(fā)動(dòng)機(jī)這類裝配過程中不允許有調(diào)整階段的裝配作業(yè)（如螺紋連接），需在對(duì)準(zhǔn)時(shí)就調(diào)整好相對(duì)位姿，因此，對(duì)接力控的方法不具有普適性。

針對(duì)某型號(hào)的固體火箭發(fā)動(dòng)機(jī)，本文提出了一種基于視覺導(dǎo)引的機(jī)器人自動(dòng)對(duì)準(zhǔn)策略。

1 系統(tǒng)組成

圖1 整體系統(tǒng)結(jié)構(gòu)示意圖

以工業(yè)機(jī)器人與單目視覺系統(tǒng)為基礎(chǔ)，搭建了如圖1 所示的視覺控制系統(tǒng)平臺(tái)。工業(yè)相機(jī)固定在機(jī)器人手臂末端隨機(jī)械手一起運(yùn)動(dòng)，稱之為Eye-in-hand 結(jié)構(gòu)，具有視野不被遮擋，操作簡單的優(yōu)點(diǎn)。機(jī)器人的末端執(zhí)行器是特制的工裝夾具。移動(dòng)平臺(tái)起到物體傳輸與固定作用，輔助裝配作業(yè)的順利進(jìn)行。工控機(jī)上包含了系統(tǒng)所需的軟件模塊，包括機(jī)器人運(yùn)動(dòng)仿真模塊、圖像處理模塊和路徑規(guī)劃模塊，通過以太網(wǎng)與機(jī)器人控制器及視覺系統(tǒng)通訊、接收和發(fā)送指令。

圖像采集、特征提取、路徑規(guī)劃等都在計(jì)算機(jī)中實(shí)現(xiàn)，機(jī)械臂的控制由機(jī)器人控制器完成，機(jī)器人與機(jī)器人控制器通過通信進(jìn)行數(shù)據(jù)交換，計(jì)算機(jī)將末端在基坐標(biāo)系的相對(duì)運(yùn)動(dòng)量發(fā)送給機(jī)器人控制器，并從機(jī)器人控制器中讀取機(jī)器人當(dāng)前的位姿。裝配系統(tǒng)各單元相互關(guān)系如圖2 所示。

圖2 整體系統(tǒng)各單元關(guān)系圖

2 單目視覺系統(tǒng)

2.1 相機(jī)標(biāo)定

2.2 手眼標(biāo)定

對(duì)于Eye-in-hand 系統(tǒng)，手眼標(biāo)定就是求取相機(jī)相對(duì)于機(jī)器人坐標(biāo)系的位姿關(guān)系［14］。通常情況下，控制機(jī)械手末端以不同的姿態(tài)觀察固定的標(biāo)靶，根據(jù)標(biāo)定得到的外參數(shù)以及機(jī)器人末端位姿信息計(jì)算出相機(jī)相對(duì)于機(jī)器人坐標(biāo)系的外參數(shù)。

相機(jī)坐標(biāo)系、機(jī)器人坐標(biāo)系、靶坐標(biāo)系的關(guān)系如圖3 所示。記標(biāo)靶與相機(jī)的位姿關(guān)系矩陣為Tp；手眼關(guān)系矩陣Tm；末端執(zhí)行器相對(duì)于機(jī)器人基座的位姿矩陣Td。那么，標(biāo)靶相對(duì)于機(jī)器人基座的位姿矩陣Tr可表示為

標(biāo)靶固定不變，即Tr為定值。假設(shè)進(jìn)行i 次標(biāo)定，消掉Tr，整理可得，

式中只有Tm是未知量，Tp通過相機(jī)標(biāo)定外參數(shù)獲得，Td由機(jī)器人控制器讀出，聯(lián)立可解出Tm。

圖3 機(jī)器人手眼標(biāo)定

2.3 目標(biāo)檢測與定位

驅(qū)動(dòng)移動(dòng)平臺(tái)使目標(biāo)位于相機(jī)視野之中，進(jìn)行圖像采集。原始圖像質(zhì)量的高低影響圖像檢測的準(zhǔn)確度，進(jìn)而影響定位的精度，在保證試驗(yàn)環(huán)境光源良好的情況下，基于圖像處理技術(shù)進(jìn)行目標(biāo)檢測與定位，如二值化、濾波降噪、圖像分割、興趣域提取、邊緣擬合和特征點(diǎn)提取等。對(duì)于目標(biāo)這類標(biāo)準(zhǔn)精密的圓，選擇其幾何中心為定位點(diǎn)。

經(jīng)過圖像處理后得到特征點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)值Xg，根據(jù)手眼標(biāo)定結(jié)果得到該點(diǎn)在機(jī)器人基坐標(biāo)系下的位置Xr

3 機(jī)械臂控制策略

經(jīng)過圖像處理之后得到起始點(diǎn)與終點(diǎn)位置，便可控制機(jī)械臂運(yùn)動(dòng)。由于對(duì)準(zhǔn)過程對(duì)機(jī)械臂末端路徑有嚴(yán)格要求，既要避免發(fā)生物體間的干涉或碰撞，又要消除機(jī)械結(jié)構(gòu)與控制算法引起的抖動(dòng)誤差，因此，在經(jīng)過路徑規(guī)劃到達(dá)目標(biāo)區(qū)域后，切換運(yùn)動(dòng)控制律，利用圖像偏差對(duì)機(jī)器人進(jìn)行控制。將目標(biāo)圖像特征作為控制器的給定，把視覺測量的當(dāng)前圖像特征作為反饋，以兩者的偏差控制機(jī)器人末端微調(diào)，從而實(shí)現(xiàn)更精確的對(duì)準(zhǔn)?？刂葡到y(tǒng)架構(gòu)如圖4所示。

圖4 控制系統(tǒng)架構(gòu)

3.1 基于PRM 路徑規(guī)劃

機(jī)器人的路徑規(guī)劃是在已知環(huán)境信息下，根據(jù)任務(wù)要求獲得初始位姿點(diǎn)到目標(biāo)位姿點(diǎn)的無碰最優(yōu)路徑［15］。用數(shù)學(xué)表達(dá)式可以概括為

碰撞檢測是規(guī)劃機(jī)器人無碰對(duì)準(zhǔn)路徑的基礎(chǔ)，判斷兩個(gè)物體之間是否產(chǎn)生碰撞就是判斷兩者有無公共點(diǎn)。本文選用基于軸對(duì)齊包圍盒技術(shù)（Axis-Aligned Bounding Box，AABB）［16］，利用較大的幾何體覆蓋機(jī)械臂和障礙物，把障礙物與機(jī)械臂之間的碰撞檢測問題轉(zhuǎn)變成包圍盒之間相對(duì)位置關(guān)系。

PRM 是一種適合于復(fù)雜空間尋找路徑的規(guī)劃算法，核心思想是隨機(jī)采樣。在無障礙自由空間中隨機(jī)選取一些樣本作為路標(biāo)節(jié)點(diǎn)，將這些節(jié)點(diǎn)按照某種方式連接成一個(gè)無向可行路徑概率路線圖［17］，然后在概率圖中采用啟發(fā)式搜索算法便可找到一條從起點(diǎn)到終點(diǎn)的可行路徑。該算法主要包括兩個(gè)階段：學(xué)習(xí)階段、查詢階段。

3.1.1 學(xué)習(xí)階段（構(gòu)圖階段）

3.1.2 查詢階段

3.1.3 路徑規(guī)劃算法歷程圖

綜上所述，基于PRM 路徑規(guī)劃算法流程圖如圖5 所示。

圖5 路徑規(guī)劃算法流程圖

3.2 基于圖像控制的路徑調(diào)整

隨機(jī)路標(biāo)法采取的樣本點(diǎn)是一些離散的序列點(diǎn)，當(dāng)采樣點(diǎn)數(shù)量不足或分布不均勻時(shí)，機(jī)械臂的運(yùn)動(dòng)路徑往往會(huì)發(fā)生跳躍。由于機(jī)械臂存在機(jī)械結(jié)構(gòu)誤差，隨著運(yùn)動(dòng)時(shí)間的累積，抖動(dòng)會(huì)越來越大。為了提升系統(tǒng)精度，在路徑運(yùn)行完之后，根據(jù)攝像機(jī)采集到的圖像，采用基于圖像偏差的視覺控制消除沿x，y 軸的平移誤差和繞z 軸的旋轉(zhuǎn)誤差，實(shí)現(xiàn)精確對(duì)準(zhǔn)。

圖6 機(jī)械臂控制系統(tǒng)框圖

如圖6 所示，當(dāng)機(jī)械臂停止運(yùn)動(dòng)的時(shí)候，由相機(jī)采集圖像，提取目標(biāo)當(dāng)前的特征參數(shù)，得到實(shí)際位姿與期望位姿的偏差，根據(jù)此偏差設(shè)計(jì)運(yùn)動(dòng)規(guī)律實(shí)現(xiàn)精確對(duì)準(zhǔn)。通過特征點(diǎn)定位獲取中心點(diǎn)坐標(biāo)，將該點(diǎn)作為位置特征參數(shù)，實(shí)現(xiàn)x，y 軸的平移調(diào)整；將目標(biāo)平面的法向量作為角度特征參數(shù)，控制機(jī)械臂沿z 軸作旋轉(zhuǎn)運(yùn)動(dòng)。期望的特征參數(shù)是在目標(biāo)離線對(duì)準(zhǔn)時(shí)提取的。偏差的表達(dá)式如式（10）所示：

根據(jù)此偏差并結(jié)合PI 算法得到末端運(yùn)動(dòng)控制量。

如圖7 所示，經(jīng)過基于圖像偏差的視覺控制之后，機(jī)械臂末端點(diǎn)的位置被調(diào)整到期望位置。

圖7 路徑調(diào)整示意圖

4 對(duì)準(zhǔn)仿真試驗(yàn)

本文通過SolidWorks 建立裝配系統(tǒng)CAD 模型，利用虛擬現(xiàn)實(shí)工具觀察目標(biāo)的模型以及仿真過程中模型運(yùn)動(dòng)動(dòng)畫。對(duì)于機(jī)器人的關(guān)節(jié)角度信息以及連桿間的位姿關(guān)系，可采用Denavit-Hartenbe 方法建模。為了檢驗(yàn)本文提出策略的有效性，設(shè)計(jì)并進(jìn)行了對(duì)準(zhǔn)的仿真試驗(yàn)。試驗(yàn)工況場如下頁圖8 所示。

4.1 單目視覺定位實(shí)驗(yàn)

圖8 試驗(yàn)工況三維模型圖

內(nèi)參數(shù)矩陣為：

進(jìn)行手眼標(biāo)定實(shí)驗(yàn)時(shí)，標(biāo)定板固定不動(dòng)，改變機(jī)器人位姿采集15 幅標(biāo)靶圖像，將第1 幅圖像坐標(biāo)系作為全局參考坐標(biāo)系。根據(jù)文獻(xiàn)［14］的方法，求得相機(jī)與機(jī)器人末端的手眼位姿矩陣T（單位：mm）。

根據(jù)圖像處理技術(shù)得到目標(biāo)圓心在機(jī)器人基坐標(biāo)系下的坐標(biāo)為［1 858.52 586.03 1 592.05］（單位：mm）。

圖9 圖像檢測與定位實(shí)驗(yàn)

4.2 對(duì)準(zhǔn)試驗(yàn)結(jié)果

以新松SR20A 型號(hào)六自由度工業(yè)機(jī)器人為對(duì)象創(chuàng)建Solidworks 模型，導(dǎo)入Matlab/Sumulink 環(huán)境中。由于規(guī)劃算法是在關(guān)節(jié)空間中實(shí)現(xiàn)的，因此，對(duì)機(jī)器人初始位姿與目標(biāo)位姿進(jìn)行運(yùn)動(dòng)學(xué)逆向解算，使之變成有用的關(guān)節(jié)角度信息。即初始位姿［36.500，-47.600，79.150，-0.200，69.300，29.400］，目 標(biāo) 位 姿［3.082，-25.788，36.562，-5.890，-9.300，5.215］。圖10 是機(jī)械臂6 個(gè)關(guān)節(jié)變化曲線，圖11 為裝配過程的仿真結(jié)果。

圖10 機(jī)器人關(guān)節(jié)變化曲線

從路徑規(guī)劃仿真結(jié)果可以看出，機(jī)器人末端在運(yùn)動(dòng)過程中靈活改變，各個(gè)關(guān)節(jié)變化曲線連續(xù)，可以滿足機(jī)器人裝配對(duì)準(zhǔn)作業(yè)無碰平穩(wěn)運(yùn)行的要求。在可視化工具中觀察到的裝配序列動(dòng)畫如圖11 所示。

圖11 機(jī)器人裝配路徑仿真

利用圖像偏差控制機(jī)械臂末端進(jìn)行調(diào)整，下頁圖12 給出了調(diào)整過程中x，y，z 3 個(gè)方向的位姿偏差變化曲線。

圖12 基于圖像控制的偏差變化曲線

表1 對(duì)比實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證該策略具有更高的精度，設(shè)置了3 組對(duì)比實(shí)驗(yàn)。A 組實(shí)驗(yàn)采用本文提出的對(duì)準(zhǔn)策略；B 組在A 組的基礎(chǔ)上減少基于圖像的偏差調(diào)整；C 組實(shí)驗(yàn)機(jī)械臂采用PID 的控制方法，每組實(shí)驗(yàn)各進(jìn)行10次。其中，（x，y，z）代表實(shí)際特征位置參數(shù)，Δθ 代表中心軸線的角度偏差。

結(jié)果顯示，本文提出的對(duì)準(zhǔn)策略標(biāo)準(zhǔn)差最小，具有更好的穩(wěn)定性和對(duì)準(zhǔn)精度，位姿誤差在mm 之間。

5 結(jié)論

針對(duì)傳統(tǒng)固體火箭發(fā)動(dòng)機(jī)生產(chǎn)線依賴工人手動(dòng)裝配智能程度較低的問題，本文提出了一種基于視覺導(dǎo)引的機(jī)器人自動(dòng)對(duì)準(zhǔn)策略。立足于機(jī)器視覺和圖像處理技術(shù)，對(duì)目標(biāo)進(jìn)行自動(dòng)檢測與定位，規(guī)劃一條從起始點(diǎn)到末端點(diǎn)的機(jī)器人無碰路徑，并利用偏差調(diào)整末端位置，優(yōu)化對(duì)準(zhǔn)過程。仿真結(jié)果證明了該策略的有效性，相較于傳統(tǒng)的方法大大提高了對(duì)準(zhǔn)的精度。為了實(shí)現(xiàn)固體火箭發(fā)動(dòng)機(jī)的順利裝配，在解決對(duì)準(zhǔn)問題的基礎(chǔ)上，需要進(jìn)行殼體的旋入和扭矩轉(zhuǎn)角的控制，如何實(shí)現(xiàn)則是下一步的研究重點(diǎn)。