人機(jī)交互課程創(chuàng)新實(shí)驗(yàn)

李知菲　卓旭亞　鮑盛林

摘要：介紹人機(jī)交互課程的創(chuàng)新實(shí)驗(yàn)項(xiàng)目——體感控制的機(jī)械臂設(shè)計(jì)開發(fā)的關(guān)鍵技術(shù)和方法，闡述創(chuàng)新實(shí)驗(yàn)的具體設(shè)計(jì)過(guò)程，為體感控制技術(shù)更快從理論走向應(yīng)用提供參考。

關(guān)鍵詞：人機(jī)交互；體感控制；機(jī)械臂；創(chuàng)新實(shí)驗(yàn)

1.人機(jī)交互課程開設(shè)刨新實(shí)驗(yàn)項(xiàng)目的背景和意義

人機(jī)交互（human computer interaction，HCI）是計(jì)算機(jī)及相關(guān)專業(yè)的核心課程。經(jīng)過(guò)多年的發(fā)展，當(dāng)前的人機(jī)交互方式已經(jīng)從過(guò)去依賴鍵盤鼠標(biāo)的時(shí)代，發(fā)展到以人為中心的自然用戶界面（natural user interface，NUI）的新階段。浙江師范大學(xué)數(shù)理與信息工程學(xué)院面向計(jì)算機(jī)、軟件工程等相關(guān)專業(yè)的研究生和計(jì)算機(jī)技術(shù)非師范專業(yè)的高年級(jí)本科生，開設(shè)人機(jī)交互課程。為了幫助學(xué)生更好地學(xué)習(xí)這門課程，了解主流的交互技術(shù)和產(chǎn)品，我院的課程除了重視人機(jī)交互理論教學(xué)外，近年來(lái)，陸續(xù)增設(shè)了人機(jī)交互課程設(shè)計(jì)、Arduino控制系統(tǒng)開發(fā)實(shí)訓(xùn)等實(shí)驗(yàn)實(shí)踐課程，形成了完善的課程體系。課程借助多媒體課件提高課堂效率，力爭(zhēng)以較少的課時(shí)講明白人機(jī)交互的基本原理、基本方法，加大實(shí)踐環(huán)節(jié)比重。通過(guò)精心設(shè)計(jì)的實(shí)驗(yàn)和實(shí)踐項(xiàng)目，讓學(xué)生在完成整個(gè)課程的學(xué)習(xí)過(guò)程中，自主學(xué)習(xí)、主動(dòng)學(xué)習(xí)，掌握課程知識(shí)點(diǎn)，提高教學(xué)績(jī)效，構(gòu)建項(xiàng)目化教學(xué)情境，轉(zhuǎn)變教師和學(xué)生的角色觀念，使學(xué)生在做中學(xué)、用中學(xué)，提高了學(xué)生獨(dú)立分析問(wèn)題和解決問(wèn)題的能力和創(chuàng)新素質(zhì)。

在課程的實(shí)驗(yàn)教學(xué)中，除了必要的理論驗(yàn)證性實(shí)驗(yàn)外，為了調(diào)動(dòng)學(xué)生的學(xué)習(xí)興趣，我們特意開設(shè)了32學(xué)時(shí)的創(chuàng)新實(shí)驗(yàn)，在每學(xué)年的短學(xué)期，即實(shí)踐教學(xué)周開課。通過(guò)精心挑選和設(shè)計(jì)，選用了基于Kinect體感鏡頭和Arduino控制器的體感控制機(jī)械臂項(xiàng)目。這是因?yàn)樵擁?xiàng)目代表著智能機(jī)器人領(lǐng)域研究和應(yīng)用的一個(gè)典型——機(jī)械臂。作為目前應(yīng)用最為廣泛的機(jī)器人，機(jī)械臂不單基于計(jì)算機(jī)科學(xué)專業(yè)，更與機(jī)械、控制、電子工程和生物學(xué)等學(xué)科相關(guān)，是一種設(shè)計(jì)復(fù)雜但卻非常實(shí)用的機(jī)器人。以機(jī)械臂的體感控制為著眼點(diǎn)進(jìn)行人機(jī)交互的實(shí)踐，不但能很好地鞏固人機(jī)交互的理論知識(shí)，更能使學(xué)生快速掌握社會(huì)需求的實(shí)踐技能。

驅(qū)動(dòng)靈活、作業(yè)范圍廣和機(jī)械特性優(yōu)良的多關(guān)節(jié)機(jī)械臂是應(yīng)用型機(jī)械臂中最為常見的，如美國(guó)Unimation公司推出的PUMA系列機(jī)械臂和日本山梨大學(xué)牧野洋發(fā)明的SCARA機(jī)械臂。多關(guān)節(jié)機(jī)械臂可以完成種類繁多的工業(yè)作業(yè)任務(wù)，如碼垛、搬運(yùn)、裝配、焊接和打孔等，是提高工業(yè)生產(chǎn)自動(dòng)化水平和生產(chǎn)效率的最佳選擇。同時(shí)，機(jī)械臂更能做出人體關(guān)節(jié)不能完成的動(dòng)作，或者在一些不適合人類開展工作的高溫、高壓、輻射或缺氧等環(huán)境中代替人類進(jìn)行作業(yè)，近年來(lái)深?；蛱盏奶剿魅蝿?wù)就是典型的應(yīng)用。例如，在2012年，我國(guó)自主研發(fā)的蛟龍?zhí)柹顫撎綔y(cè)器在7000米深的海底進(jìn)行科學(xué)探測(cè)，其中最主要的科研任務(wù)，如采樣等均由其自身攜帶的多關(guān)節(jié)機(jī)械臂完成，圖1為蛟龍?zhí)栍脵C(jī)械臂將五星紅旗插在海底。此外，在2012年8月6日，美國(guó)宇航局（NASA）的好奇號(hào)（Curiosity）火星探測(cè)器在火星成功登陸，它的主體結(jié)構(gòu)完全可以當(dāng)成是一臺(tái)裝在汽車上的多關(guān)節(jié)機(jī)械臂，大多數(shù)火星探測(cè)任務(wù)也正是由它控制機(jī)械臂進(jìn)行的，如圖2所示。

對(duì)于上述的智能機(jī)器人，特別是機(jī)械臂而言，若要順利地完成各種作業(yè)任務(wù)，對(duì)其有效的控制必不可少。通常智能機(jī)器人的控制都是基于計(jì)算機(jī)進(jìn)行的，那么，操作者——人與智能機(jī)器人的控制交互，也就轉(zhuǎn)化成了人與計(jì)算機(jī)之間的交互。目前普遍采用的控制方式都是用計(jì)算機(jī)外接的鍵盤、鼠標(biāo)或控制用觸摸屏為主，這些方式要求為交互提供額外的設(shè)備，不適于用在具有移動(dòng)能力的機(jī)器人和便攜式的智能產(chǎn)品上面。同時(shí)，這些方式要求掌握一些計(jì)算機(jī)輸入設(shè)備操作方法，交互方式不夠直接，不適用于與缺乏學(xué)習(xí)能力的老人和兒童之間的交互。

因此，需要一種自然的人機(jī)交互方式來(lái)代替復(fù)雜繁瑣的程序操作，以便簡(jiǎn)單方便地操縱機(jī)器人，向機(jī)器人發(fā)布命令，與機(jī)器人進(jìn)行交互。

人體自身的肢體動(dòng)作一般不需特意訓(xùn)練就能自然準(zhǔn)確地傳遞信息，舉手、揮動(dòng)手臂、點(diǎn)頭搖頭或是踢踢腿等動(dòng)作自然、直觀，無(wú)論是否專業(yè)人士，幾乎不用訓(xùn)練即可掌握控制所需要的若干交互動(dòng)作。同時(shí)，用人來(lái)直接當(dāng)做智能機(jī)器人的交互輸入設(shè)備，人機(jī)之間的交互通訊將不再需要多余的媒體，可以擴(kuò)展機(jī)器人的作業(yè)范圍，讓機(jī)器人的應(yīng)用領(lǐng)域更加廣泛。這一切隨著計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)的發(fā)展成為了可能，基于機(jī)器視覺(jué)的人體動(dòng)作與計(jì)算機(jī)交互的方式（nature user interface，NUI），成為了新型人機(jī)交互方式的研究熱點(diǎn)。2010年11月，微軟公司推出的Kinect體感設(shè)備在人體跟蹤以及姿態(tài)估計(jì)方面有著出色的表現(xiàn)。作為新一代自然人機(jī)交互技術(shù)的典范，Kinect實(shí)現(xiàn)了用戶通過(guò)語(yǔ)音和手勢(shì)等行為，與計(jì)算機(jī)進(jìn)行更自然的交互。為了發(fā)掘Kineet的更大潛力，微軟公司推出了Kinect for Windows SDK開發(fā)工具包。配合此工具包可以利用Kineet的體感技術(shù)，獲取人體深度信息，通過(guò)識(shí)別人體動(dòng)作和手勢(shì)，來(lái)理解操作者的意圖，從而利用計(jì)算機(jī)對(duì)機(jī)器人進(jìn)行有效的操作。

我們對(duì)基于Kinect鏡頭的體感交互控制技術(shù)展開深入研究，并將其應(yīng)用于機(jī)器人實(shí)時(shí)控制中，利用自然的人體姿態(tài)或動(dòng)作控制機(jī)器人，可以簡(jiǎn)化機(jī)器人控制的復(fù)雜度，提高人與機(jī)器人之間的交互性。

2.體感控制的機(jī)械臂刨新實(shí)驗(yàn)設(shè)計(jì)

人機(jī)交互創(chuàng)新實(shí)驗(yàn)主要是用Kinect鏡頭捕捉人體RGB-D數(shù)據(jù)，處理后得到人體姿態(tài)或動(dòng)作信息，再利用Arduino作為控制器，將上述信息映射為機(jī)械臂的相應(yīng)動(dòng)作驅(qū)動(dòng)數(shù)據(jù)，實(shí)時(shí)控制機(jī)械臂完成各種精細(xì)動(dòng)作。

實(shí)驗(yàn)構(gòu)建的體感控制機(jī)械臂包括基于Kinect鏡頭的人體姿態(tài)或動(dòng)作捕捉和基于Arduino控制器的機(jī)械臂控制兩大模塊，其原理框圖如圖3所示。

通過(guò)Kinect捕獲人體RGB-D數(shù)據(jù)，使用OpenNI/NITE程序庫(kù)從中識(shí)別人體關(guān)節(jié)及手勢(shì)動(dòng)作，并提取空間坐標(biāo)；通過(guò)藍(lán)牙模塊與上位機(jī)通訊，在Arduino控制器中通過(guò)空間向量運(yùn)算，計(jì)算機(jī)械臂舵機(jī)轉(zhuǎn)角，查詢動(dòng)作表，找到手臂相應(yīng)動(dòng)作，通過(guò)串口通訊發(fā)送給機(jī)械臂控制器。機(jī)械臂控制器采用32路伺服舵機(jī)控制器作為控制器，控制機(jī)械臂關(guān)節(jié)舵機(jī)，實(shí)時(shí)完成取物、拉伸等精確作業(yè)，實(shí)現(xiàn)一種新的自然人機(jī)交互模式，

實(shí)驗(yàn)使用的各重要組件如圖4所示。

實(shí)驗(yàn)使用的機(jī)械臂設(shè)計(jì)圖如圖5所示。

最終，實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)的體感控制機(jī)械臂能實(shí)現(xiàn)的功能見表1。

基于體感識(shí)別的機(jī)械臂運(yùn)行的主要流程為：人站在Kinect視距范圍內(nèi)做“投降姿勢(shì)”，由OpenNI/NITE程序庫(kù)驅(qū)動(dòng)Kinect進(jìn)行姿勢(shì)校正，校正完成后，運(yùn)行在Arduino核心控制器上的識(shí)別程序，驅(qū)動(dòng)Kinect進(jìn)行數(shù)據(jù)采集，并實(shí)時(shí)繪制出人體骨骼框架。識(shí)別程序主要的功能是識(shí)別人體各關(guān)節(jié)，并通過(guò)濾波、空間向量運(yùn)算、腿部姿態(tài)檢測(cè)，計(jì)算出控制機(jī)械臂所需的信息。通過(guò)無(wú)線模塊進(jìn)行控制命令傳輸，數(shù)據(jù)通信協(xié)議采用自行封裝的格式，并在機(jī)械臂控制器端提供簡(jiǎn)單的完整性校驗(yàn)。機(jī)械臂控制器根據(jù)接收到的數(shù)據(jù)，采用復(fù)用PWM周期的方式，完成一個(gè)PWM周期對(duì)多路舵機(jī)的調(diào)速工作，保證了機(jī)械臂動(dòng)作的連貫性。

3.結(jié)語(yǔ)

我們研究的相關(guān)技術(shù)是人機(jī)交互和機(jī)器人控制技術(shù)的研究熱點(diǎn)，將基于Kinect鏡頭的體感控制技術(shù)融入到機(jī)器人控制之中，利用人體姿態(tài)或手勢(shì)動(dòng)作來(lái)控制機(jī)器人，簡(jiǎn)化機(jī)器人控制的復(fù)雜度，提高人與機(jī)器人之間的交互性，實(shí)現(xiàn)了一種新的自然人機(jī)交互模式，應(yīng)用價(jià)值較好。

實(shí)驗(yàn)設(shè)計(jì)出的機(jī)械臂有以下優(yōu)點(diǎn)：

（1）利用Kinect體感設(shè)備獲取的人體的RGB-D數(shù)據(jù)，并快速、準(zhǔn)確、實(shí)時(shí)地識(shí)別人體姿態(tài)或動(dòng)作。

（2）針對(duì)RGB-D原始數(shù)據(jù)噪聲較大的問(wèn)題，研究滑動(dòng)平均濾波算法，并提出帶限幅加權(quán)滑動(dòng)平均濾波算法，該算法能夠有效地平滑原始數(shù)據(jù)，并且時(shí)滯性比滑動(dòng)平均濾波算法好，數(shù)據(jù)出現(xiàn)異常隋況下能濾除，有效地避免機(jī)械臂誤動(dòng)作。

（3）實(shí)現(xiàn)了基于Arduino控制器的機(jī)械臂實(shí)時(shí)控制。

我們的創(chuàng)新實(shí)驗(yàn)項(xiàng)目在實(shí)際教學(xué)中引起了學(xué)生的極大興趣，解決了以往人機(jī)交互課程實(shí)踐項(xiàng)目枯燥無(wú)趣、學(xué)生學(xué)習(xí)缺乏動(dòng)力的難題。豐富的實(shí)驗(yàn)內(nèi)容，有趣的操作方式和全面新穎的人機(jī)交互新技術(shù)應(yīng)用，吸引學(xué)生主動(dòng)地走人實(shí)驗(yàn)室進(jìn)行學(xué)習(xí)和研究，極大地提高了學(xué)習(xí)績(jī)效。在未來(lái)的工作中，我們將進(jìn)一步挖掘自然人機(jī)交互的新技術(shù)和新方式，結(jié)合現(xiàn)在的“云平臺(tái)”和“物聯(lián)網(wǎng)”等新概念，設(shè)計(jì)出更好的創(chuàng)新實(shí)驗(yàn)項(xiàng)目。