基于Kinect的汽車底盤交互式展示設(shè)計(jì)與實(shí)現(xiàn)

林文燔

（黎明職業(yè)大學(xué) 信息與電子工程學(xué)院，福建 泉州362000）

0 引言

隨著視覺(jué)追蹤技術(shù)的發(fā)展，利用Kinect體感交互技術(shù)對(duì)人的動(dòng)作進(jìn)行實(shí)時(shí)跟蹤與反饋，已廣泛應(yīng)用于體感游戲領(lǐng)域。體感交互方式更加接近自然交互，不受硬件如鼠標(biāo)鍵盤的約束，借助交互設(shè)備如Kinect，利用手勢(shì)、肢體動(dòng)作以及語(yǔ)音等方式達(dá)到人機(jī)交互的目的。

在汽車構(gòu)造與拆裝課程的日常教學(xué)中，學(xué)習(xí)者往往對(duì)發(fā)動(dòng)機(jī)部分掌握較好，而對(duì)于汽車底盤部分則出現(xiàn)學(xué)習(xí)困難、知識(shí)點(diǎn)難以掌握的情況，分析這兩部分內(nèi)容特點(diǎn)不難發(fā)現(xiàn)，發(fā)動(dòng)機(jī)的所有知識(shí)都圍繞一臺(tái)發(fā)動(dòng)機(jī)，內(nèi)容集中；而汽車底盤則由于系統(tǒng)龐雜、零件分散、類型繁雜，學(xué)習(xí)者往往比較容易產(chǎn)生畏難情緒。汽車底盤構(gòu)造關(guān)鍵零部件的結(jié)構(gòu)通常是以黑白二維工程圖的形式展現(xiàn)，理解困難，枯燥乏味。在底盤拆裝實(shí)訓(xùn)中存在拆裝設(shè)備數(shù)量少，難以滿足學(xué)生實(shí)操需求；拆裝設(shè)備丟失、損壞率高；拆裝過(guò)程缺少有效監(jiān)控，實(shí)訓(xùn)效果難以保障等問(wèn)題，耗費(fèi)大量的財(cái)力和物力[1]。通過(guò)虛擬仿真的展示及三維教具的應(yīng)用，雖節(jié)省了底盤拆裝訓(xùn)練耗費(fèi)的財(cái)力和物力，但由于完全脫離真實(shí)場(chǎng)景，使用戶因喪失了對(duì)現(xiàn)實(shí)場(chǎng)景的感知而降低了拆裝訓(xùn)練過(guò)程中的沉浸感與真實(shí)感[2]。同時(shí)，“汽車底盤構(gòu)造與拆裝”的傳統(tǒng)教學(xué)方法單一，無(wú)法有效提高學(xué)生學(xué)習(xí)興趣。為了解決以上難題，本文擬借助Unity3D平臺(tái)和Kinect體感交互設(shè)備設(shè)計(jì)汽車底盤交互式展示仿真系統(tǒng)，豐富虛擬汽車底盤拆裝中的人機(jī)交互方式，提高學(xué)習(xí)者的學(xué)習(xí)效果。

1 Kinect體感交互技術(shù)

Kinect體感交互設(shè)備，是由微軟推出的智能體感交互外接設(shè)備，該設(shè)備擁有三個(gè)攝像頭（彩色攝像頭、深度紅外攝像頭、紅外CMOS攝像頭）以及四個(gè)內(nèi)置麥克風(fēng)（即四元線性麥克風(fēng)陣列）。[3]借助Kinect體感交互設(shè)備，能夠得到彩色圖像數(shù)據(jù)、深度圖像數(shù)據(jù)、骨骼數(shù)據(jù)以及音頻數(shù)據(jù)等，實(shí)現(xiàn)對(duì)骨骼追蹤、人臉識(shí)別以及語(yǔ)言識(shí)別。[4]相比其他的獲取人體姿勢(shì)的設(shè)備和技術(shù)，利用Kinect進(jìn)行人體識(shí)別能夠保證獲取數(shù)據(jù)的準(zhǔn)確性，同時(shí)在便利性和經(jīng)濟(jì)性方面具有明顯優(yōu)勢(shì)。[5]

2 實(shí)現(xiàn)的功能及設(shè)計(jì)流程

以小型汽車為例，一輛汽車除發(fā)動(dòng)機(jī)和車身外，其余部分均屬于汽車底盤結(jié)構(gòu)。具體包含傳動(dòng)系統(tǒng)、轉(zhuǎn)向系統(tǒng)、制動(dòng)系統(tǒng)和行駛系統(tǒng)[1]。

根據(jù)汽車底盤結(jié)構(gòu)特點(diǎn)以及真實(shí)拆裝實(shí)驗(yàn)教學(xué)的要求，設(shè)計(jì)虛擬拆裝實(shí)驗(yàn)的系統(tǒng)結(jié)構(gòu)（如圖1所示）。本設(shè)計(jì)采用手部交互手勢(shì)對(duì)汽車底盤結(jié)構(gòu)虛擬仿真系統(tǒng)里的汽車底盤包含的四個(gè)分系統(tǒng)分別擁有的三種模式（教學(xué)展示模式、訓(xùn)練拆裝模式、拓展訓(xùn)練模式）的物理模型和UI按鈕圖標(biāo)控制，來(lái)實(shí)現(xiàn)汽車底盤的交互展示和拆裝操作直接流暢、交互式體驗(yàn)好、拆裝效率高的目標(biāo)。

圖1 系統(tǒng)結(jié)構(gòu)

為了保證本汽車底盤構(gòu)造交互式展示設(shè)計(jì)開(kāi)發(fā)的系統(tǒng)性與完整性，制定系統(tǒng)整體設(shè)計(jì)開(kāi)發(fā)流程，如圖2所示。

圖2 系統(tǒng)開(kāi)發(fā)設(shè)計(jì)流程圖

首先，需要根據(jù)汽車底盤結(jié)構(gòu)利用三維建模軟件Solid Works為其構(gòu)建三維數(shù)字模型，并根據(jù)汽車底盤實(shí)際操作過(guò)程相應(yīng)地簡(jiǎn)化模型，將最終的汽車底盤三維構(gòu)造模型導(dǎo)出為STL格式。其次，利用3DMax實(shí)現(xiàn)3D建模中的材質(zhì)貼圖、動(dòng)畫設(shè)計(jì)等功能，本文借助該三維動(dòng)畫軟件對(duì)汽車底盤的物理模型、調(diào)整軸心和軸線、制作裝拆過(guò)程的整個(gè)動(dòng)畫以及整個(gè)系統(tǒng)的參數(shù)比例進(jìn)行相應(yīng)的調(diào)整，并導(dǎo)出FBX格式。再次，在Unity3D中導(dǎo)入上述導(dǎo)出的FBX文件，對(duì)汽車底盤的物理模型、動(dòng)畫資源、材質(zhì)球、背景環(huán)境、界面規(guī)劃等進(jìn)行設(shè)置，并利用C#語(yǔ)言對(duì)場(chǎng)景中的UI按鈕圖標(biāo)、物理模型和語(yǔ)音介紹等賦予腳本組件且進(jìn)行邏輯關(guān)聯(lián)，完成本系統(tǒng)汽車底盤構(gòu)造交互式展現(xiàn)系統(tǒng)里三種模式下四種類型的物理模型和UI按鈕圖標(biāo)沉浸式交互控制，并發(fā)布到現(xiàn)有類型的應(yīng)用平臺(tái)，如Android移動(dòng)平臺(tái)或Windows、Web等。最后，借助Kinect設(shè)備實(shí)現(xiàn)體感交互過(guò)程。在PC端安裝Kinect for Windows SDK2.0軟件開(kāi)發(fā)包來(lái)管理Kinect采集的數(shù)據(jù)流即識(shí)別學(xué)習(xí)者的手勢(shì)，用于實(shí)現(xiàn)Unity3D與Kinect之間的數(shù)據(jù)傳遞，實(shí)現(xiàn)Kinect人體識(shí)別交互手勢(shì)與虛擬過(guò)程的一一對(duì)應(yīng)，相應(yīng)的實(shí)現(xiàn)汽車底盤三維模型拆裝交互式展示。這一部分主要在于如何利用捕獲的手勢(shì)信息來(lái)觸發(fā)相應(yīng)的操作，實(shí)現(xiàn)人機(jī)交互。這里利用.NET技術(shù)，先定義相關(guān)手勢(shì)動(dòng)作，再對(duì)獲得的手勢(shì)動(dòng)作與已定義的進(jìn)行對(duì)比，從而識(shí)別該手勢(shì)的語(yǔ)義以實(shí)現(xiàn)人體交互。

3 交互式實(shí)現(xiàn)

3.1 手勢(shì)定義

人機(jī)交互中的手勢(shì)設(shè)計(jì)應(yīng)當(dāng)遵循下述原則[6]。

（1）最大契合人體動(dòng)作習(xí)慣。這是實(shí)現(xiàn)自然交互的必要條件，使得每定義一個(gè)交互手勢(shì)均與人們?nèi)粘Ｐ袨榱?xí)慣相符，例如，向左滑動(dòng)表示汽車零部件向左旋轉(zhuǎn)，向左移動(dòng)表示該汽車零部件需要向左位移等。

（2）最小相互干擾。不管算法多么精準(zhǔn)，識(shí)別失誤還是難以避免的，特別是類似的手勢(shì)動(dòng)作。因此，在手勢(shì)設(shè)計(jì)定義時(shí)，應(yīng)該盡可能地避開(kāi)類似動(dòng)作，尤其要避免在同一時(shí)間用類似的動(dòng)作表示不同的手勢(shì)操作。

（3）最短識(shí)別時(shí)間。手勢(shì)動(dòng)作識(shí)別的長(zhǎng)短會(huì)影響體驗(yàn)者的體驗(yàn)感受，最短時(shí)間的響應(yīng)能夠提高作品的趣味性。

（4）最小肢體移動(dòng)。盡可能地減少使用者的肢體移動(dòng)幅度，以降低體感交互給使用者帶來(lái)的疲憊感。

本文在定義手勢(shì)時(shí)，遵循上述原則，設(shè)計(jì)的手勢(shì)動(dòng)作有：左手向左揮動(dòng)，右手向右揮動(dòng)，左手向上揮動(dòng)，右手向下?lián)]動(dòng)，左手握拳向左移動(dòng)，右手握拳向右移動(dòng)，左手握拳向上移動(dòng)，右手握拳向下移動(dòng)等，相對(duì)應(yīng)的場(chǎng)景效果如表1所示。

表1 手勢(shì)動(dòng)作設(shè)計(jì)定義

3.2 Kinect與Unity3D數(shù)據(jù)的連接

利用體感交互設(shè)備Kinect的功能，讓學(xué)習(xí)者擺脫傳統(tǒng)的交互設(shè)備如鼠標(biāo)、鍵盤等的束縛，增強(qiáng)其體驗(yàn)感。針對(duì)Unity3D與Kinect之間的數(shù)據(jù)傳遞問(wèn)題，本設(shè)計(jì)主要通過(guò)在電腦端安裝Kinect for Windows SDK2.0軟件開(kāi)發(fā)包，利用該開(kāi)發(fā)包管理Kinect所采集到的數(shù)據(jù)。啟動(dòng)Kinect設(shè)備并初始化，Kinect中的兩個(gè)深度攝像頭開(kāi)始協(xié)同作業(yè)采集人體手部信息，利用Kinect API數(shù)據(jù)流的KinectManger類控制對(duì)NUIAPI數(shù)據(jù)流的啟動(dòng)以達(dá)到獲取手勢(shì)的深度信息數(shù)據(jù)流。在Unity3D平臺(tái)中，借助C#語(yǔ)言編寫腳本函數(shù)GetUsersLblTex控制所采集到的深度信息數(shù)據(jù)流，實(shí)現(xiàn)人體手勢(shì)借助Kinect體感交互設(shè)備到Unity3D的傳遞，從而達(dá)到虛擬與現(xiàn)實(shí)人體交互手勢(shì)匹配的目的。

3.3 Kinect手勢(shì)識(shí)別

本研究利用Unity3D制作虛擬仿真的汽車底盤拆裝與展示，Kinect交互設(shè)備中識(shí)別到的手勢(shì)與Unity3D中設(shè)計(jì)的汽車底盤展示情況相對(duì)應(yīng)，提高了虛擬汽車底盤拆裝的沉浸式體驗(yàn)效果。Kinect手勢(shì)識(shí)別框架圖如圖3所示。

圖3 Kinect手勢(shì)識(shí)別框架圖

利用Kinect骨骼追蹤引擎獲取5個(gè)手指指尖點(diǎn)以及手掌中心點(diǎn)X、Y、Z的空間坐標(biāo)值，根據(jù)幾個(gè)關(guān)鍵點(diǎn)位置信息的變化，對(duì)KinectManager管理API中定義的手勢(shì)參數(shù)進(jìn)行相應(yīng)的識(shí)別閾值設(shè)定，從而確定上述定義的手勢(shì)，實(shí)現(xiàn)交互式汽車底盤拆裝與展示。根據(jù)計(jì)算5個(gè)指尖點(diǎn)與中心點(diǎn)的距離，與設(shè)定的閾值進(jìn)行比較，實(shí)現(xiàn)手勢(shì)握拳與手掌的區(qū)別，提高識(shí)別度。利用向前推手掌手勢(shì)實(shí)現(xiàn)系統(tǒng)的選擇激活、移動(dòng)以及UI界面的交互。鑒于汽車底盤零部件模型大小不一、裝配約束關(guān)系難以觀察、方便裝配視角調(diào)整以及復(fù)雜部分難以觀察展示等，利用左右上下旋轉(zhuǎn)四個(gè)手勢(shì)來(lái)控制旋轉(zhuǎn)場(chǎng)景的視角；利用放大、縮小兩個(gè)手勢(shì)來(lái)調(diào)整汽車底盤物理模型的遠(yuǎn)近；利用上下左右位移等四個(gè)手勢(shì)來(lái)控制虛擬底盤的拆裝訓(xùn)練。

3.4 碰撞檢測(cè)

在Unity3D中，需要為虛擬手以及汽車零件模型添加剛體組件，以此來(lái)避免虛擬汽車底盤拆裝過(guò)程中出現(xiàn)的不切實(shí)際的穿透現(xiàn)象。同時(shí)，為了方便Kinect設(shè)備檢測(cè)碰撞信息，在Unity3D中為汽車零部件的三位模型添加碰撞體屬性。根據(jù)汽車零部件的繁雜程度，可以為其添加一個(gè)或者多個(gè)不同類型的包圍盒，包圍盒的位置和大小利用oxColider、SphereColider、CapsuleColider和MeshColider等來(lái)調(diào)節(jié)，使其與三維模型重合，提高真實(shí)操作的準(zhǔn)確度，增強(qiáng)學(xué)習(xí)者操作訓(xùn)練的真實(shí)感。本文利用采光追蹤技術(shù)來(lái)檢測(cè)Kinect體感交互設(shè)備攝像頭發(fā)射出來(lái)的Ray射線是否觸碰到汽車零部件三維模型的碰撞體。

3.5 汽車底盤模型交互式操作的實(shí)現(xiàn)

本設(shè)計(jì)主要應(yīng)用于職業(yè)院校的學(xué)生學(xué)習(xí)，考慮到該設(shè)計(jì)用戶群體的特性，在設(shè)計(jì)汽車底盤拆裝實(shí)訓(xùn)的實(shí)現(xiàn)流程時(shí)，盡可能做到簡(jiǎn)單明了。交互式拆裝流程如圖4所示。

圖4 汽車底盤交互式拆裝流程圖

為了增強(qiáng)拆裝實(shí)訓(xùn)過(guò)程的現(xiàn)實(shí)感及體驗(yàn)效果，同時(shí)便于觀察拆裝汽車零部件的約束關(guān)系，提高整個(gè)仿真實(shí)訓(xùn)的拆裝效率，虛擬汽車底盤三維模型需能夠激活、移動(dòng)、旋轉(zhuǎn)，其坐標(biāo)位置能夠跟隨手勢(shì)動(dòng)作實(shí)時(shí)更新。正常狀態(tài)時(shí)，學(xué)習(xí)者的手勢(shì)一般采用上下左右揮動(dòng)或者握拳移動(dòng)，形象地區(qū)分零部件旋轉(zhuǎn)或者位移狀態(tài)。

從圖4可知，汽車底盤交互式設(shè)計(jì)系統(tǒng)開(kāi)始運(yùn)行之后，學(xué)習(xí)者站在離Kinect攝像頭大約3至5米之處，通過(guò)手勢(shì)動(dòng)作向前推掌控制鼠標(biāo)點(diǎn)擊選擇汽車底盤的子系統(tǒng)，接下來(lái)利用位移手勢(shì)移動(dòng)鼠標(biāo)選擇該子系統(tǒng)下的某個(gè)模式，系統(tǒng)進(jìn)入數(shù)據(jù)初始化布局，學(xué)習(xí)者進(jìn)入汽車底盤某個(gè)分系統(tǒng)的拆裝實(shí)訓(xùn)。在拆裝實(shí)訓(xùn)過(guò)程中，利用光線追蹤法碰撞檢測(cè)確定Kinect攝像頭發(fā)射的Ray射線是否觸碰到汽車零部件模型的盒碰撞體，學(xué)習(xí)者手勢(shì)保持握拳移動(dòng)狀態(tài)，汽車底盤零部件進(jìn)行坐標(biāo)計(jì)算，實(shí)時(shí)更新坐標(biāo)位置，手勢(shì)移動(dòng)的速度應(yīng)該依據(jù)Kinect設(shè)備參數(shù)情況以及交互式的體驗(yàn)效果，設(shè)定在合理范圍。最后，判定整個(gè)拆裝實(shí)訓(xùn)是否完成，是的話結(jié)束流程，否則繼續(xù)下一個(gè)模型。

在整個(gè)拆裝過(guò)程中，學(xué)習(xí)者可通過(guò)UI界面按鈕選擇暫?；蛘呃^續(xù)，控制整個(gè)拆裝實(shí)訓(xùn)的進(jìn)行。如果學(xué)習(xí)者拆裝完畢，本系統(tǒng)會(huì)自動(dòng)判斷是否拆裝完整，是的話則展現(xiàn)一遍學(xué)習(xí)者的操作流程，并完成退出，否則繼續(xù)。在整個(gè)過(guò)程中，學(xué)習(xí)者也可以隨時(shí)選擇退出按鈕，退出拆裝實(shí)訓(xùn)。

4 結(jié)語(yǔ)

基于Kinect的汽車底盤交互式拆裝展示虛擬仿真系統(tǒng)，在一定程度上解決了汽車底盤構(gòu)造以及拆裝實(shí)訓(xùn)在現(xiàn)實(shí)教學(xué)中很難完成的每個(gè)學(xué)生都參與拆裝的問(wèn)題，且能夠看清汽車的底盤構(gòu)造。相較于傳統(tǒng)的交互硬件（鼠標(biāo)、鍵盤等交互式硬件設(shè)備），使用Kinect體感交互設(shè)備操作更加直接自然。將此設(shè)計(jì)應(yīng)用于教學(xué)，融入汽車底盤構(gòu)造教學(xué)實(shí)訓(xùn)，學(xué)生參與課堂教學(xué)實(shí)訓(xùn)的積極性及對(duì)汽車底盤構(gòu)造的認(rèn)知都有較大的提升，對(duì)其后期專業(yè)課程的學(xué)習(xí)有很大幫助。該汽車底盤交互式拆裝展示也從某些方面激發(fā)了學(xué)生的學(xué)習(xí)興趣，增強(qiáng)了他們自主學(xué)習(xí)的能力。