• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    Kinect與Darwin機(jī)器人的聯(lián)合調(diào)試與仿真平臺的設(shè)計(jì)與實(shí)現(xiàn)

    2018-01-18 12:20:02鄧曉燕潘文俊鄭鎮(zhèn)城林燦光付志平張廣滔
    計(jì)算技術(shù)與自動化 2017年4期
    關(guān)鍵詞:機(jī)器人

    鄧曉燕+潘文俊+鄭鎮(zhèn)城+林燦光+付志平+張廣滔

    摘 要:機(jī)器人模仿學(xué)習(xí)是機(jī)器人技術(shù)的重要研究方向之一。針對機(jī)器人動作模仿學(xué)習(xí),設(shè)計(jì)了Kinect和Darwin-OP2機(jī)器人的聯(lián)合調(diào)試與仿真平臺。該平臺主要包括圖像采集模塊、運(yùn)動控制模塊和3D模型仿真模塊,具有人體姿態(tài)解算、機(jī)器人實(shí)時(shí)狀態(tài)監(jiān)控及姿態(tài)仿真、與下位機(jī)網(wǎng)絡(luò)通信及遠(yuǎn)程實(shí)時(shí)跟蹤控制等功能。測試結(jié)果顯示,該平臺響應(yīng)迅速、網(wǎng)絡(luò)通信機(jī)制穩(wěn)定、交互界面友好,能較好地實(shí)現(xiàn)機(jī)器人動作模仿學(xué)習(xí)。

    關(guān)鍵詞:模仿學(xué)習(xí);機(jī)器人;調(diào)試與仿真

    中圖分類號:TP242.6 文獻(xiàn)標(biāo)志碼:A

    Design of Joint Debugging and Simulation Platform for Kinect and Darwin Robot

    DENG Xiao-yan,PAN Wen-jun,ZHENG Zhen-cheng,LIN Can-guang,F(xiàn)U Zhi-ping,ZHANG Guang-tao

    (School of Automation Science and Engineer,South China University of Technology,Guangzhou,Guangdong 510641,china)

    Abstract:The joint debugging and simulation platform of Kinect and Darwin-OP2 humanoid robot for imitation learning is desigened.The platform mainly includes image acquisition module,motion control module and 3Dmodel simulation module,which has the functions of human body attitude solution,robot real-time condition monitoring and attitude simulation,communication with the lower computer through network and remote real-time tracking control.The experimental results show that the platform is responsive,the network communication mechanism is stable,the interface is friendly,and the robot action simulation can be realized well.

    Key words:imitation learning,robotics,debugging and simulation

    傳統(tǒng)機(jī)器人往往按照事先編好的運(yùn)動軌跡完成固定的動作,這樣的控制方式對于復(fù)雜的動作編程工作量浩大,而且事先建立好的環(huán)境模型深深地影響著控制效果,具有很大的局限性,難以適應(yīng)不同的場景與環(huán)境[1]。而隨著用戶對于人機(jī)交互程度的要求不斷提升,利用動作交互設(shè)備實(shí)現(xiàn)遠(yuǎn)程在線控制機(jī)器人成為了一個(gè)重要的研究方向[2]。對此,一種更加開放式的模仿學(xué)習(xí)技術(shù)越來越受到大家的青睞。通過模仿學(xué)習(xí)[3],人們只需要獲取示教者的動作姿態(tài),進(jìn)而得到機(jī)器人的控制序列,實(shí)現(xiàn)對于機(jī)器人的實(shí)時(shí)任意姿態(tài)控制。

    對于模仿學(xué)習(xí)的研究,需要對示教者的行為進(jìn)行檢測與表征,而在過去的做法往往需要通過接觸式的設(shè)備來獲取示教者的姿態(tài)狀態(tài),對設(shè)備和示教者的要求較高[4]。隨著體感攝像頭價(jià)格的不斷下降,通過圖像的方法來提取示教者行為特征成為一種新趨勢,因此,以視覺為基礎(chǔ)的模仿學(xué)習(xí)研究將是未來一個(gè)很重要的方向。

    在研究機(jī)器人動作模仿學(xué)習(xí)的過程中,若直接在機(jī)器人系統(tǒng)上進(jìn)行調(diào)試控制,開發(fā)過程會較為繁瑣,因此很有必要設(shè)計(jì)一個(gè)調(diào)試與仿真平臺,實(shí)現(xiàn)對機(jī)器人的控制和狀態(tài)觀測。本文以Qt為開發(fā)工具,結(jié)合Kinect體感傳感器和Darwin-OP2機(jī)器人[5],設(shè)計(jì)出一個(gè)具有被模仿者骨骼信息提取、機(jī)器人狀態(tài)實(shí)時(shí)監(jiān)控、機(jī)器人姿態(tài)仿真、與下位機(jī)網(wǎng)絡(luò)通信、遠(yuǎn)程實(shí)時(shí)跟蹤控制等功能的上位機(jī)動作跟蹤系統(tǒng)。

    1 聯(lián)合調(diào)試與仿真平臺的總體設(shè)計(jì)方案

    本文以Kinect體感傳感器和Darwin-OP2機(jī)器人為研究背景,通過Kinect體感傳感器獲取被模仿者姿態(tài)[6],作為機(jī)器人模仿的樣例,利用Z-Y-Z歐拉角解算[7]的方法將人體姿態(tài)和Darwin-OP2機(jī)器人各關(guān)節(jié)按級聯(lián)順序直接關(guān)聯(lián)起來,而解析的結(jié)果直接對應(yīng)Darwin-OP2機(jī)器人的各個(gè)關(guān)節(jié)轉(zhuǎn)動角度,再根據(jù)重心穩(wěn)定規(guī)則[8]求取其他關(guān)節(jié)的轉(zhuǎn)動角度,經(jīng)過機(jī)器人運(yùn)動控制程序,達(dá)到對每個(gè)電機(jī)轉(zhuǎn)動角度的控制,從而使機(jī)器人復(fù)現(xiàn)被模仿者的動作姿態(tài),實(shí)現(xiàn)在線模仿功能。該過程的整體實(shí)現(xiàn)流程如圖1所示。一個(gè)良好的調(diào)試平臺可以幫助操作者更好的使用和測試,因此本文將搭建起一個(gè)功能模塊化、拓展性良好,網(wǎng)絡(luò)通信機(jī)制穩(wěn)定、交互界面友好的聯(lián)合調(diào)試平臺,以方便用戶對于機(jī)器人的調(diào)試控制,為進(jìn)一步的機(jī)器人模仿學(xué)習(xí)研究提供便利。

    Kinect與Darwin-OP2機(jī)器人的聯(lián)合調(diào)試與仿真平臺的框架如圖2所示,主要分為3個(gè)部分:圖像采集模塊、運(yùn)動控制模塊和3D模型仿真模塊,各模塊之間通過上位機(jī)實(shí)現(xiàn)連接。

    三個(gè)組成部分從上到下分別對應(yīng)運(yùn)動控制模塊、圖像采集模塊和3D模型仿真模塊。圖像采集模塊利用OpenNI提供的Kinect驅(qū)動程序?qū)崿F(xiàn)圖像的采集,通過讀取Kinect傳輸回來的數(shù)據(jù)流,得到人體骨骼信息,以用于后面的姿態(tài)解算。利用解算出來的姿態(tài)角,通過運(yùn)動控制模塊,經(jīng)過UDP的網(wǎng)絡(luò)傳輸過程,把控制信號發(fā)送到Darwin-OP2機(jī)器人上。3D模型仿真則是通過OpenGL的圖形程序接口,便能很簡單地生成出三維圖像,把姿態(tài)角轉(zhuǎn)換成各個(gè)機(jī)器人關(guān)節(jié)的旋轉(zhuǎn)矩陣,通過坐標(biāo)轉(zhuǎn)換就可以實(shí)現(xiàn)對機(jī)器人狀態(tài)的3D模型仿真。endprint

    實(shí)際平臺效果圖如圖3所示,該平臺界面分成了四個(gè)部分。左上角(第1部分)為RGB圖像或仿真圖像顯示窗口。右上角(第2部分)為控制信號顯示窗口,用于人為控制Darwin-OP2機(jī)器人各舵機(jī)旋轉(zhuǎn)角度。左下角(第3部分)為控制指令窗口,包含網(wǎng)絡(luò)連接設(shè)置以及各種控制指令按鈕。右下角(第4部分)是Darwin-OP2機(jī)器人各舵機(jī)實(shí)時(shí)狀態(tài)顯示窗口,反饋了Darwin-OP2機(jī)器人各舵機(jī)旋轉(zhuǎn)角度的當(dāng)前值。

    2 各模塊的具體實(shí)現(xiàn)

    2.1 圖像采集模塊

    圖像采集模塊工作流程如下圖4所示。平臺采用OpenNI 1.57版本驅(qū)動,支持Kinect1.0體感設(shè)備的圖像獲取與初步處理,通過加載源碼編譯生成的OpenCV庫,可以實(shí)現(xiàn)實(shí)時(shí)的圖像采集并在用戶界面進(jìn)行彩圖以及人體骨骼點(diǎn)平面化的聯(lián)合顯示。同時(shí),該模塊在后臺將采集到的骨骼信息進(jìn)行適當(dāng)補(bǔ)償與濾波處理,得到相對平滑有效的骨架矢量信息,再通過歸一化處理,得到標(biāo)準(zhǔn)的三維骨骼結(jié)構(gòu)信息。對于得到的標(biāo)準(zhǔn)的三維骨骼結(jié)構(gòu)信息,利用Z-Y-Z歐拉角解算方法進(jìn)行關(guān)節(jié)轉(zhuǎn)動角度的分析與計(jì)算,實(shí)現(xiàn)了Kinect關(guān)節(jié)解析到Darwin-OP2機(jī)器人的關(guān)節(jié)映射。

    2.2 運(yùn)動控制模塊

    圖5展示了運(yùn)動控制模塊的工作流程。通過UDP網(wǎng)絡(luò)通訊的方法[9]與Darwin-OP2機(jī)器人建立局域網(wǎng)內(nèi)的鏈接訪問,采用用戶自定義協(xié)議加強(qiáng)UDP通訊的可靠性,數(shù)據(jù)均打包成以“$<指令>,<參數(shù)1>,<參數(shù)2>,...,<參數(shù)n>,<校驗(yàn)位>\\r\\n”為形式的一個(gè)數(shù)據(jù)幀進(jìn)行傳輸。發(fā)送控制指令幀,即可把各舵機(jī)旋轉(zhuǎn)角度控制量發(fā)送到機(jī)器人控制程序中,從而實(shí)現(xiàn)運(yùn)動控制。為了達(dá)到對機(jī)器人舵機(jī)空間的監(jiān)控,該模塊還保留了對舵機(jī)狀態(tài)查詢的功能。平臺向機(jī)器人發(fā)送了讀取狀態(tài)指令后,機(jī)器人通過網(wǎng)絡(luò),把當(dāng)前舵機(jī)狀態(tài)量以數(shù)據(jù)幀的形式傳輸?shù)狡脚_上,經(jīng)過分割后顯示出20個(gè)舵機(jī)的當(dāng)前狀態(tài)量。

    同時(shí),還采用自定義的指令集系統(tǒng)和機(jī)器人進(jìn)行交互訪問,并保留了命令行控制模式使其指令拓展更具靈活性,常用指令有:INIT,READ,F(xiàn)ILE,DATA等。其中,常用指令集可以通過按鈕操作直接作用,如控制機(jī)器人進(jìn)行一鍵蹲坐與站立,采集機(jī)器人關(guān)節(jié)信息及軀干傾斜角度,設(shè)置關(guān)節(jié)轉(zhuǎn)動速度等。同時(shí),通過右上側(cè)面板的20個(gè)角度控件與20個(gè)使能控件,用戶可以以點(diǎn)對點(diǎn)模式控制單個(gè)或多個(gè)關(guān)節(jié)點(diǎn)轉(zhuǎn)動相應(yīng)角度或者上電與掉電。平臺支持將采集到的機(jī)器人關(guān)節(jié)信息進(jìn)行自動保存,方便用戶對機(jī)器人進(jìn)行各種姿態(tài)的動作庫錄入,為后期的動作模仿學(xué)習(xí)算法研究做準(zhǔn)備。

    2.3 3D模型仿真模塊

    通過加載OpenGL庫,利用3D模型渲染方法構(gòu)建出機(jī)器人的一般形態(tài)[10]。該模型具有20個(gè)關(guān)節(jié)自由度,與Darwin機(jī)器人的關(guān)節(jié)一一對應(yīng),且其歐拉旋轉(zhuǎn)順序相同,最大程度上確保該解析方式的正確性。用戶在3D界面可以實(shí)現(xiàn)任意視角切換,通過鼠標(biāo)左右鍵拖動實(shí)現(xiàn)繞不同參考軸旋轉(zhuǎn)從而找尋到最佳觀察視角。當(dāng)選擇實(shí)時(shí)演示時(shí),右上側(cè)各關(guān)節(jié)的角度值一旦發(fā)生變化,則3D模型機(jī)器人自動按該歐拉角解析的方式進(jìn)行相對應(yīng)的變化。同時(shí)分析和計(jì)算重心位置,并能自動調(diào)節(jié)腳部關(guān)節(jié)角度使其穩(wěn)定站立。這樣,在不啟用機(jī)器人的情況下,用戶也可以實(shí)現(xiàn)Kinect到機(jī)器人之間的映射控制,大大縮短了調(diào)試過程。

    該模塊的工作流程如圖6所示。平臺利用解算出來的姿態(tài)角得到各個(gè)舵機(jī)的旋轉(zhuǎn)角度,再通過歐拉角解析的方式得到模型各個(gè)關(guān)節(jié)的旋轉(zhuǎn)矩陣,最后調(diào)用OpenGL庫中的旋轉(zhuǎn)函數(shù),實(shí)現(xiàn)對模型各個(gè)關(guān)節(jié)的旋轉(zhuǎn)控制,從而達(dá)到仿真的目的。仿真結(jié)果顯示在調(diào)試和仿真平臺界面左上角(第1部分),顯示效果如圖7所示。

    3 測試結(jié)果及分析

    圖8所示為一組機(jī)器人模仿人體動作的效果圖,系統(tǒng)能夠很好地實(shí)時(shí)跟蹤被模仿者,較好地實(shí)現(xiàn)模仿學(xué)習(xí)。由于融合了雙足機(jī)器人重心穩(wěn)定規(guī)則,因此機(jī)器人能自動調(diào)節(jié)重心位置,從而實(shí)現(xiàn)全身的動作模仿學(xué)習(xí)。

    平臺控制效果測試結(jié)果如表1所示。選取了圖8第一個(gè)被模仿動作的數(shù)據(jù)作為參考數(shù)據(jù),得到了機(jī)器人模仿數(shù)據(jù),測試結(jié)果顯示兩組數(shù)據(jù)一致性較好,表明控制信號通過網(wǎng)絡(luò)傳輸有效地實(shí)現(xiàn)了對機(jī)器人的遠(yuǎn)程控制。

    5 結(jié) 語

    通過將Kinect體感傳感器和Darwin-OP2機(jī)器人相結(jié)合,搭建了一個(gè)交互友好,響應(yīng)迅速,傳輸穩(wěn)定的聯(lián)合調(diào)試與仿真平臺。該平臺實(shí)現(xiàn)了對人體肢體動作的捕捉并且映射到機(jī)器人狀態(tài)空間,從而達(dá)到實(shí)時(shí)動作跟蹤的功能。聯(lián)合調(diào)試與仿真平臺的進(jìn)一步完善的方向是結(jié)合模仿學(xué)習(xí)的內(nèi)容,利用該平臺對機(jī)器人進(jìn)行示教,使得機(jī)器人能自主學(xué)習(xí)并完成特定動作。

    參考文獻(xiàn)

    [1] 王奇志,徐德,時(shí)魯艷.機(jī)器人模仿學(xué)習(xí)與人機(jī)交互的學(xué)習(xí)控制綜述[C].中國控制與決策會議.2013.

    [2] 陳家順.基于人機(jī)交互的機(jī)器人動作模仿學(xué)習(xí)[D].廣州:華南理工大學(xué),2015.

    [3] 門玉森.基于軌跡匹配的模仿學(xué)習(xí)在類人機(jī)器人運(yùn)動行為中的研究[D].北京工業(yè)大學(xué),2016.

    [4] 馬樂.基于非接觸觀測信息的機(jī)器人行為模仿學(xué)習(xí)[D].沈陽工業(yè)大學(xué),2014.

    [5] Li X,Li Y,Cui X.Kinematic analysis and gait planning for a DARwIn-OP Humanoid Robot[C]// IEEE International Conference on Robotics and Biomimetics.IEEE,2017:1442-1447.

    [6] 吳秦,陳智,周宇旋,等.基于Kinect骨骼跟蹤技術(shù)的人機(jī)交互[J].常州大學(xué)學(xué)報(bào):自然科學(xué)版,2014,(03):6-12.

    [7] 王勇,呂群松,劉暢,等.剛體定點(diǎn)轉(zhuǎn)動歐拉角的幾何性質(zhì)[J].遼寧大學(xué)學(xué)報(bào):自然科學(xué)版,2009,(03):197-200.

    [8] 付根平,楊宜民,陳建平,等.基于ZMP誤差校正的仿人機(jī)器人步行控制[J].機(jī)器人,2013,(01):39-44.

    [9] 趙飛,葉震.UDP協(xié)議與TCP協(xié)議的對比分析與可靠性改進(jìn)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2006,(09):219-221.

    [10] 宋薇,章亞男,見浪護(hù),等.基于OpenGL的仿人機(jī)器人步行仿真研究[J].系統(tǒng)仿真學(xué)報(bào),2013,(02):203-208.endprint

    猜你喜歡
    機(jī)器人
    “壞”機(jī)器人“大叛亂”
    機(jī)器人
    超酷機(jī)器人
    瘋狂機(jī)器人
    機(jī)器人崛起
    機(jī)器人,讓未來走近你
    金橋(2019年10期)2019-08-13 07:15:16
    擁抱未來——聚焦機(jī)器人
    大社會(2016年3期)2016-05-04 03:41:07
    機(jī)器人來幫你
    認(rèn)識機(jī)器人
    機(jī)器人來啦
    博白县| 和田市| 河津市| 芜湖市| 勐海县| 曲麻莱县| 马关县| 南康市| 朔州市| 外汇| 昌都县| 宁都县| 鄂伦春自治旗| 长治县| 都昌县| 象州县| 堆龙德庆县| 五大连池市| 阜新市| 丰镇市| 永胜县| 河北区| 宜州市| 拜城县| 浪卡子县| 阜新| 田东县| 广丰县| 句容市| 陇川县| 望城县| 娄烦县| 东莞市| 藁城市| 海安县| 准格尔旗| 永清县| 噶尔县| 杭锦后旗| 宁夏| 东乌|