視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)的研究

張文 顧莉棟 費(fèi)建東

1.長(zhǎng)春理工大學(xué) 機(jī)電工程學(xué)院 長(zhǎng)春 130022 2.西門子工業(yè)軟件(上海)有限公司 上海 200082

1 研究背景

目前,我國(guó)制造業(yè)正處于高速發(fā)展階段。隨著工業(yè)市場(chǎng)對(duì)技術(shù)、成本、可靠性等的全面需求,裝備靈活性和智能化的要求越來(lái)越高。當(dāng)前,物理樣機(jī)生產(chǎn)周期長(zhǎng)、價(jià)格高昂,以及物理樣機(jī)系統(tǒng)調(diào)試環(huán)境的不確定性和風(fēng)險(xiǎn)性、樣機(jī)調(diào)試變更技術(shù)需求等因素直接制約我國(guó)制造企業(yè)邁向智能制造發(fā)展的步伐。

國(guó)內(nèi)外學(xué)者圍繞設(shè)備調(diào)試虛擬仿真系統(tǒng)開(kāi)展了深入研究,提出設(shè)計(jì)自適應(yīng)制造系統(tǒng)的工程方法,實(shí)現(xiàn)機(jī)器人的離線編程,完成控制程序驗(yàn)證,并提出虛擬設(shè)備建模方法。隨著各種虛擬仿真方法的提出與理論的完善,國(guó)外已經(jīng)開(kāi)發(fā)了多種虛擬試生產(chǎn)系統(tǒng),目前技術(shù)成熟度較高的是德國(guó)PS-CEE系統(tǒng)[1]、WINMOOD-RF系統(tǒng),以及芬蘭Visual Components系統(tǒng),這些系統(tǒng)在生產(chǎn)系統(tǒng)的研制與開(kāi)發(fā)中不斷完善、發(fā)展,并在歐美智能裝備裝領(lǐng)域?qū)崿F(xiàn)推廣。我國(guó)制造廠商目前已在數(shù)控[2-3]、打磨[4]等領(lǐng)域采用國(guó)外較為成熟的虛擬試生產(chǎn)系統(tǒng),并進(jìn)行了初步應(yīng)用研究。一汽大眾利用WINMOOD-RF系統(tǒng)進(jìn)行虛擬試生產(chǎn)已經(jīng)達(dá)到90%,一汽紅旗利用EKS-RF系統(tǒng)進(jìn)行虛擬試生產(chǎn)已經(jīng)達(dá)到80%,一汽自主轎車品牌利用PS-CEE系統(tǒng)進(jìn)行虛擬試生產(chǎn)已經(jīng)達(dá)到20%。其它各個(gè)主機(jī)廠,如華晨寶馬、北京奔馳、吉利等,利用虛擬試生產(chǎn)系統(tǒng)進(jìn)行白車身焊裝線調(diào)試達(dá)到30%～80%不等。雖然虛擬試生產(chǎn)已在汽車白車身焊裝制造業(yè)中實(shí)現(xiàn)較為廣泛的使用,但在這一領(lǐng)域中,工業(yè)軟件研發(fā)我國(guó)仍處于起步階段。隨著視覺(jué)裝備在智能裝備中的比重越來(lái)越高,國(guó)外現(xiàn)有的工業(yè)軟件及硬件都無(wú)法對(duì)視覺(jué)系統(tǒng)進(jìn)行虛擬化驗(yàn)證分析,由此將導(dǎo)致以傳統(tǒng)方法搭建的虛擬試驗(yàn)生產(chǎn)系統(tǒng)工業(yè)成本較高。

筆者通過(guò)分析,提出視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)。這是基于現(xiàn)有各種工業(yè)軟件,通過(guò)用于過(guò)程控制的對(duì)象連接與嵌入?yún)f(xié)議進(jìn)行集成搭建的虛擬化仿真系統(tǒng),創(chuàng)新性地將虛擬視覺(jué)系統(tǒng)集成至虛擬仿真系統(tǒng),實(shí)現(xiàn)由虛擬視覺(jué)調(diào)試輔助代替實(shí)際調(diào)試,避免高昂的硬件投入。

2 系統(tǒng)搭建

視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)主要包括可編程序控制器虛擬控制、機(jī)電一體化數(shù)字樣機(jī)、虛擬視覺(jué)檢查系統(tǒng)、虛擬調(diào)試仿真控制系統(tǒng)四個(gè)部分。

本著系統(tǒng)建設(shè)周期快、投入小的原則,通過(guò)對(duì)西門子虛擬仿真系統(tǒng)進(jìn)行分析,在不影響試驗(yàn)效果的情況下,優(yōu)化取消硬件,選用現(xiàn)有成熟的工業(yè)軟件進(jìn)行系統(tǒng)搭建,并加入視覺(jué)開(kāi)發(fā)軟件與虛擬相機(jī)。

對(duì)于數(shù)字樣機(jī)平臺(tái),選用以西門子MCD軟件作為平臺(tái)的基礎(chǔ)數(shù)字樣機(jī)軟件[5-6]。虛擬電控樣機(jī)選用西門子Plcsim Advanced,用于與MCD軟件實(shí)現(xiàn)聯(lián)合仿真。編程平臺(tái)采用Tia Portal,虛擬相機(jī)及視覺(jué)開(kāi)發(fā)系統(tǒng)選用MVtec公司開(kāi)發(fā)的HALCON平臺(tái)。虛擬相機(jī)應(yīng)用XSplit軟件,可以實(shí)時(shí)監(jiān)控虛擬物理樣機(jī),并且通過(guò)更改碼率實(shí)現(xiàn)視頻大小控制,更好地兼容計(jì)算機(jī)性能,使整個(gè)系統(tǒng)更為穩(wěn)定。

視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)如圖1所示。在視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)中,MCD軟件為基礎(chǔ)數(shù)字樣機(jī)軟件,所有數(shù)字樣機(jī)的運(yùn)動(dòng)控制均由虛擬電控樣機(jī)Plcsim Advanced來(lái)進(jìn)行驅(qū)動(dòng)。當(dāng)數(shù)字樣機(jī)運(yùn)行時(shí),數(shù)字圖像采集由XSplit軟件完成,XSplit軟件采集的圖像發(fā)送至HALCON平臺(tái),進(jìn)行數(shù)據(jù)處理,并通過(guò)用于過(guò)程控制的對(duì)象連接與嵌入統(tǒng)一架構(gòu)(OPC-UA)協(xié)議將引導(dǎo)動(dòng)態(tài)坐標(biāo)值發(fā)送給Plcsim Advanced,整個(gè)Plcsim Advanced控制程序的修正與調(diào)試由Tia Portal平臺(tái)來(lái)完成。

圖1 視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)

3 系統(tǒng)應(yīng)用

視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)最少需要在兩臺(tái)計(jì)算機(jī)上完成,一臺(tái)計(jì)算機(jī)用于數(shù)字樣機(jī)的圖像采集監(jiān)控,另一臺(tái)計(jì)算機(jī)用于對(duì)可編程序控制器、HALCON平臺(tái)程序的監(jiān)控與優(yōu)化。首先進(jìn)行數(shù)字樣機(jī)建模,然后在數(shù)字樣機(jī)中進(jìn)行虛擬樣機(jī)搭建,得到仿真序列邏輯后開(kāi)始進(jìn)行可編程序控制器編程,確定視覺(jué)引導(dǎo)的變量,導(dǎo)入虛擬可編程序控制器后進(jìn)行虛擬物理樣機(jī)與電子樣機(jī)耦合,試運(yùn)行系統(tǒng)。最后通過(guò)虛擬相機(jī)將圖像采集至HALCON平臺(tái)進(jìn)行處理,得出引導(dǎo)的坐標(biāo)變量,賦予虛擬可編程序控制器,由虛擬可編程序控制器修正后驅(qū)動(dòng)虛擬物理樣機(jī)。

視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)的邏輯控制框圖如圖2所示。

圖2 視覺(jué)引導(dǎo)虛擬仿真系邏輯控制框圖

4 虛擬圖像處理

在HALCON平臺(tái)中建立標(biāo)定板,標(biāo)定板命名為caltab_100mm descr,厚度為1.5 mm。選擇圖像采集助手,將16個(gè)標(biāo)定板逐個(gè)采集。標(biāo)定板在橫坐標(biāo)0、縱坐標(biāo)400像素位置的圖片作為參考位姿。之后進(jìn)行標(biāo)定及代碼插入,并替換read_cam_par、read_pose。插入代碼后,在grab_image下新建一條指令write_image,存儲(chǔ)圖像至計(jì)算機(jī),然后再將創(chuàng)建模板用的圖像獲取方式由采集改為讀取文件。

HALCON平臺(tái)在標(biāo)定攝像機(jī)時(shí),需要準(zhǔn)確填寫(xiě)攝像機(jī)參數(shù),作為參考數(shù)據(jù)。參考數(shù)據(jù)會(huì)影響最終測(cè)量出的攝像機(jī)參數(shù)。成像數(shù)學(xué)模型如圖3所示,設(shè)世界坐標(biāo)系為OW-XWYWZW,攝像機(jī)坐標(biāo)系為OC-XCYCZC,圖像平面坐標(biāo)系為OR-XRYRZR。

圖3 成像數(shù)學(xué)模型

設(shè)鏡頭的焦距為f,通過(guò)圖像平面坐標(biāo)與相機(jī)坐標(biāo)的換算式,可以求得圖像平面坐標(biāo)(xR,yR)。像素坐標(biāo)與圖像平面坐標(biāo)的單位不同,像素坐標(biāo)將圖片的第一個(gè)像素點(diǎn)作為基準(zhǔn),而圖像平面坐標(biāo)的基準(zhǔn)為光軸與圖像采集平面的交叉點(diǎn)。對(duì)此,在研究中通過(guò)建立用齊次坐標(biāo)與矩陣形式表示的關(guān)系式進(jìn)行坐標(biāo)變換。(u,v)為像素的列數(shù)與行數(shù),dx、dy分別為每個(gè)像素在X軸和Y軸上的物理尺寸。

圖像平面坐標(biāo)與相機(jī)坐標(biāo)換算式為:

(1)

像素坐標(biāo)與圖像平面坐標(biāo)變換關(guān)系式為:

(2)

在實(shí)際物理樣機(jī)中,相機(jī)坐標(biāo)系與世界坐標(biāo)系間存在選擇與平移變換。因?yàn)樘摂M模型中數(shù)字樣機(jī)安裝可以不考慮旋轉(zhuǎn)變量,而只考慮平移向量t,所以在研究過(guò)程中可以得到相機(jī)標(biāo)定模型為:

(3)

根據(jù)相機(jī)標(biāo)定模型,在計(jì)算機(jī)中將NX軟件窗口設(shè)置為左側(cè)顯示器,顯示器分辨率為1 920像素×1 080像素,任務(wù)欄高度為40像素,NX軟件窗口邊框左右各為1像素。由于標(biāo)定板為正方形,像素寬度等于像素高度。

在標(biāo)定板采集時(shí),XSplit軟件的輸出分辨率為1 920像素×1 080像素,監(jiān)控整個(gè)顯示器。XSplit軟件采集MCD軟件虛擬樣機(jī)標(biāo)定板如圖4所示。

圖4 XSplit軟件采集MCD軟件虛擬樣機(jī)標(biāo)定板

在HALCON平臺(tái)中,選擇新的image acquisition資源選項(xiàng)卡,圖像獲取接口狀態(tài)為directshow。鏈接選項(xiàng)卡中的設(shè)備為XSplitBroadcaster,OPC.UA地址默認(rèn)為192.168.0.56,端口為4840,這一地址是虛擬相機(jī)安裝的計(jì)算機(jī)地址。OPC.UA.While(true)后的代碼用于獲取圖像,位置數(shù)據(jù)通過(guò)OPC.UA發(fā)送至Plcsim Advanced,將程序下載至可編程序控制器并運(yùn)行。

5 視覺(jué)引導(dǎo)

可以通過(guò)手眼標(biāo)定的方法實(shí)現(xiàn)視覺(jué)引導(dǎo)[7-8],對(duì)相機(jī)拍攝的圖片坐標(biāo)與機(jī)器人基坐標(biāo)進(jìn)行變化。對(duì)于任意點(diǎn)p(px,py,pz)、p(pu,pv,pw),R為旋轉(zhuǎn)變量,T為平移變量,通過(guò)設(shè)立標(biāo)定板,分別建立相機(jī)與標(biāo)定板、機(jī)器人與標(biāo)定板之間的關(guān)系,再消除標(biāo)定板,實(shí)現(xiàn)相機(jī)坐標(biāo)與機(jī)器人坐標(biāo)的轉(zhuǎn)換,將偏移變量賦值至可編程序控制器系統(tǒng)。轉(zhuǎn)換關(guān)系式為:

(4)

可編程序控制器系統(tǒng)可以通過(guò)并聯(lián)機(jī)器人實(shí)現(xiàn)算法的動(dòng)力學(xué)逆解。并聯(lián)機(jī)器人逆運(yùn)動(dòng)學(xué)結(jié)構(gòu)如圖5所示,用SCL語(yǔ)言對(duì)算法編程求解,求解各軸,賦值至并聯(lián)機(jī)器人,驅(qū)動(dòng)并聯(lián)機(jī)器人根據(jù)物料位置變化后的結(jié)果去抓取物料[9-10]。

圖5 并聯(lián)機(jī)器人逆運(yùn)動(dòng)學(xué)結(jié)構(gòu)

(5)

(6)

從動(dòng)臂長(zhǎng)度F為定值,由此得到并聯(lián)機(jī)構(gòu)約束方程為:

[(R+Ecosθi-r)cosαi-x]2

+[(R+Ecosθi-r)sinαi-y]2

+(Esinθi-z)2=F2i=1,2,3

(7)

因?yàn)椴⒙?lián)機(jī)器人結(jié)構(gòu)限制,導(dǎo)致雖然有八組逆解,但是可以取各個(gè)關(guān)節(jié)的最小值為唯一解。在算法編程完成后,基于逆解算法應(yīng)用MATLAB軟件建模證明算法的可行性。

經(jīng)過(guò)MATLAB軟件驗(yàn)證后,進(jìn)行可編程序控制器編程,制作并聯(lián)機(jī)器人,實(shí)現(xiàn)人機(jī)交互界面,如圖6所示。將程序加載至虛擬可編程序控制器,啟動(dòng)MCD軟件及視覺(jué)檢測(cè)系統(tǒng)進(jìn)行仿真。仿真結(jié)果見(jiàn)表1,綜合對(duì)比,X軸抓取精度為99.8%,Y軸抓取精度為99.7%,Z軸抓取精度為99.3%,綜合抓取精度99.6%。仿真結(jié)果抓取精度較高,從而證明視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)具有良好的工作效果。

圖6 人機(jī)交互界面

表1 仿真結(jié)果

6 結(jié)束語(yǔ)

針對(duì)現(xiàn)有主流虛擬試驗(yàn)生產(chǎn)系統(tǒng)需要硬件投入,不能視覺(jué)調(diào)試仿真的問(wèn)題,筆者提出視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)。應(yīng)用用于過(guò)程控制的對(duì)象連接與嵌入?yún)f(xié)議,使用現(xiàn)有工業(yè)軟件平臺(tái),搭建了視覺(jué)引導(dǎo)虛擬仿真系統(tǒng),實(shí)現(xiàn)了可編程序控制器控制與視覺(jué)控制聯(lián)合虛擬仿真。利用手眼標(biāo)定原理與并聯(lián)機(jī)器人動(dòng)力學(xué)逆解算法原理,將可編程序控制器控制的機(jī)器人關(guān)節(jié)數(shù)據(jù)及視覺(jué)引導(dǎo)數(shù)據(jù)傳送至虛擬仿真樣機(jī),從而達(dá)到基于虛擬視覺(jué)分揀抓取的目的,有效打通了MCD軟件虛擬樣機(jī)中虛擬視覺(jué)變量驅(qū)動(dòng)分揀機(jī)器人的技術(shù)瓶頸,仿真抓取精度達(dá)到99.6%。視覺(jué)引導(dǎo)虛擬仿真系統(tǒng)可以大大降低真實(shí)帶機(jī)械視覺(jué)功能的智能裝備在研發(fā)時(shí)的費(fèi)用,避免在真實(shí)樣機(jī)制造后更改調(diào)試的浪費(fèi),加快高端裝備的研發(fā)進(jìn)程,具有一定的工業(yè)應(yīng)用價(jià)值。