基于Kinect的人體-皮影交互體驗(yàn)裝置設(shè)計(jì)

張紫然，宋文芳，張祖耀

（1. 廣東工業(yè)大學(xué) 藝術(shù)與設(shè)計(jì)學(xué)院, 廣東 廣州 510090；2. 浙江理工大學(xué) 藝術(shù)與設(shè)計(jì)學(xué)院, 浙江 杭州 310000）

皮影戲作為我國(guó)民間傳統(tǒng)的藝術(shù)形式，憑借獨(dú)特的傀儡藝術(shù)和重要的表演形式被列入中國(guó)首批非物質(zhì)文化遺產(chǎn)名單。然而在現(xiàn)代化發(fā)展道路上，皮影戲深受現(xiàn)代新娛樂(lè)方式的沖擊，呈現(xiàn)演出市場(chǎng)疲軟、后繼無(wú)人、萎縮甚至消亡的局面。皮影戲具有重要的藝術(shù)和文化傳承價(jià)值，皮影戲的現(xiàn)代化創(chuàng)新發(fā)展是急需探索的重要課題[1-2]。

目前，市場(chǎng)上傳播皮影文化的方式主要有3類(lèi)：戲團(tuán)表演、皮影形象定制包和皮影數(shù)字產(chǎn)品的推廣。近年來(lái)，隨著皮影等傳統(tǒng)藝術(shù)再次受到關(guān)注，皮影戲團(tuán)表演陸續(xù)增加場(chǎng)次，但是收效甚微[3]。皮影形象定制包為市場(chǎng)上最常見(jiàn)的形式，其包括皮影人、操縱桿和演出戲臺(tái)，這些裝備使用戶(hù)可以獨(dú)立進(jìn)行皮影戲表演創(chuàng)作，在體驗(yàn)中加深對(duì)皮影文化的理解。然而，這種方式需要用戶(hù)熟練掌握皮影表演技巧，而大多數(shù)用戶(hù)并不能靈活操作皮影[4]。目前出現(xiàn)的皮影數(shù)字產(chǎn)品，如AR(Augmented Reality)皮影書(shū)和皮影視覺(jué)感網(wǎng)游等，通過(guò)視覺(jué)或者視觸覺(jué)結(jié)合的方式增強(qiáng)了皮影體驗(yàn)的沉浸性和趣味性，有效促進(jìn)皮影文化的保護(hù)與傳承[5-7]。

本文提出一種基于Kinect的人體-皮影交互體驗(yàn)裝置設(shè)計(jì)，該裝置中的皮影表演可由人體肢體動(dòng)作控制，從而增強(qiáng)了人體和皮影之間的互動(dòng)性。Kinect體感設(shè)備可以通過(guò)深度信息和RGB信息實(shí)現(xiàn)人體骨骼追蹤，并建立人體各個(gè)骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)，目前被廣泛應(yīng)用于操作控制、手語(yǔ)識(shí)別和三維動(dòng)作實(shí)時(shí)動(dòng)態(tài)識(shí)別等方面(機(jī)械臂抓取和移送等)[8-16]。本文提出的裝置通過(guò)Kinect捕捉人體動(dòng)作，發(fā)出指令到安裝于皮影關(guān)節(jié)處的舵機(jī)，由舵機(jī)控制皮影模仿人體運(yùn)動(dòng)。最后，以人體左臂運(yùn)動(dòng)為例，通過(guò)左臂運(yùn)動(dòng)角度與舵機(jī)運(yùn)動(dòng)角度對(duì)比，驗(yàn)證裝置仿人運(yùn)動(dòng)的準(zhǔn)確性和靈敏性。

1 實(shí)驗(yàn)方法

1.1 人體-皮影交互體驗(yàn)裝置設(shè)計(jì)思路

人體-皮影交互體驗(yàn)裝置的原理是通過(guò)Kinect體感設(shè)備(內(nèi)置人體骨骼點(diǎn)讀取程序)采集人體運(yùn)動(dòng)關(guān)節(jié)點(diǎn)坐標(biāo)并構(gòu)建人體關(guān)節(jié)模型[17-21]，由裝置自定義程序?qū)㈥P(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為旋轉(zhuǎn)角度，并將該角度數(shù)據(jù)傳輸至Arduino，由Arduino控制安裝在皮影關(guān)節(jié)上的舵機(jī)模仿人體運(yùn)動(dòng)(見(jiàn)圖1)。值得注意的是由于人肢體運(yùn)動(dòng)為圓周運(yùn)動(dòng)，因此這里選擇舵機(jī)控制皮影。另外，角度數(shù)據(jù)的輸出以s為單位，實(shí)現(xiàn)皮影和人體的同步運(yùn)動(dòng)。

圖1 人體-皮影交互體驗(yàn)裝置的設(shè)計(jì)思路Fig.1 The design concept of the human-shadow play interactive experience device

1.2 裝置皮影控制點(diǎn)選擇及設(shè)計(jì)

傳統(tǒng)皮影形態(tài)是基于真人形態(tài)來(lái)設(shè)計(jì)的，如圖2(a)所示。傳統(tǒng)皮影在操控中存在原位運(yùn)動(dòng)和同步的位移，即皮影在進(jìn)行原地動(dòng)作的同時(shí)，可以被控制桿帶動(dòng)在幕布上進(jìn)行位置移動(dòng)。為控制其運(yùn)動(dòng)，皮影至少存在5個(gè)可旋轉(zhuǎn)點(diǎn)(橙色點(diǎn))，3個(gè)固定關(guān)節(jié)點(diǎn)(藍(lán)色點(diǎn))以及5個(gè)與控制桿相連的控制點(diǎn)(綠色點(diǎn))，如圖2(a)所示。相應(yīng)地，需要5根控制桿操縱皮影四肢及頭部的運(yùn)動(dòng)，如圖2(b)所示。

圖2 傳統(tǒng)皮影控制點(diǎn)示意圖及操作圖Fig.2 The control points and operation diagram of the traditional shadow play

確定皮影控制方法后，需要選擇互動(dòng)裝置的皮影控制點(diǎn)，以保證其與人體運(yùn)動(dòng)關(guān)節(jié)點(diǎn)的匹配，并且選擇的點(diǎn)必須能夠安裝皮影運(yùn)動(dòng)的舵機(jī)。本裝置采用的Kinect V1 體感設(shè)備(Microsoft, USA)，可以識(shí)別人體20處骨骼關(guān)節(jié)點(diǎn)并對(duì)關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)進(jìn)行追蹤，如圖3(a)和3(b)所示[18]。圖3(c)中的紅色點(diǎn)為傳統(tǒng)皮影控制所需的13個(gè)骨骼點(diǎn)，分別為頭部、脖子、肩部中心、左肘關(guān)節(jié)、右肘關(guān)節(jié)、左腕骨、右腕骨、脊柱、髖部中心、左膝關(guān)節(jié)、右膝關(guān)節(jié)、左腳踝關(guān)節(jié)、右腳踝關(guān)節(jié)。

圖3 裝置中皮影控制點(diǎn)及舵機(jī)安裝點(diǎn)Fig.3 The control points and steering engine installation points of the interactive device

圖3(d)展示的是在圖3(c)基礎(chǔ)上進(jìn)行調(diào)整后的皮影關(guān)節(jié)控制點(diǎn)(15個(gè)控制點(diǎn))，即以肩部中心向兩側(cè)擴(kuò)展了左肩關(guān)節(jié)點(diǎn)和右肩關(guān)節(jié)點(diǎn)(藍(lán)色點(diǎn)為左肩關(guān)節(jié)點(diǎn)和右肩關(guān)節(jié)點(diǎn))，以髖部中心向兩側(cè)擴(kuò)展了左髖關(guān)節(jié)點(diǎn)和右髖關(guān)節(jié)點(diǎn)(橙色為左髖關(guān)節(jié)點(diǎn)和右髖關(guān)節(jié)點(diǎn))，另外，頭部和頸部關(guān)節(jié)點(diǎn)合并為1個(gè)關(guān)節(jié)點(diǎn)(綠色為頭部點(diǎn))。圖3(e)中藍(lán)色點(diǎn)為舵機(jī)安裝關(guān)節(jié)點(diǎn)，分別為左肩關(guān)節(jié)點(diǎn)、右肩關(guān)節(jié)點(diǎn)、肩部中心、左肘關(guān)節(jié)、右肘關(guān)節(jié)、髖部中心、左髖關(guān)節(jié)點(diǎn)、右髖關(guān)節(jié)點(diǎn)、左膝關(guān)節(jié)、右膝關(guān)節(jié)，以控制皮影四肢及頭部的運(yùn)動(dòng)。

確定皮影的基本控制點(diǎn)后開(kāi)始進(jìn)行皮影形象設(shè)計(jì)。傳統(tǒng)皮影在表現(xiàn)人物形態(tài)時(shí)為了最大程度地呈現(xiàn)動(dòng)作變化和人物特征，采用了全側(cè)頭部、3/4側(cè)上半身和正面下身的組合，見(jiàn)圖4(a)。然而，人體-皮影交互體驗(yàn)裝置在控制皮影時(shí)，因?yàn)槿说囊曈X(jué)習(xí)慣以及視線(xiàn)范圍的限制，人體需要正面面向體感設(shè)備，因此設(shè)備讀取的也是人體正面骨骼點(diǎn)的位置數(shù)據(jù)，這需要對(duì)傳統(tǒng)皮影形態(tài)進(jìn)行重新設(shè)計(jì)。該裝置皮影頭面部由原來(lái)的全側(cè)形象改為3/4側(cè)面，這樣既保留了頭部大部分特征又不會(huì)造成人和皮影頭面部運(yùn)動(dòng)的不一致現(xiàn)象，如人面部的左右轉(zhuǎn)動(dòng)在皮影上表現(xiàn)為點(diǎn)頭運(yùn)動(dòng)。另外，皮影上半身和下半身采用正面形象，這樣可以保證皮影實(shí)現(xiàn)人體動(dòng)作的同時(shí)，也較大程度上保留了形象特點(diǎn)，如圖4(b)所示。圖4(c)為安裝舵機(jī)的皮影示意圖。

圖4 皮影設(shè)計(jì)線(xiàn)稿示意圖Fig.4 The line drawing diagram of the shadow play

1.3 人體-皮影互動(dòng)體驗(yàn)裝置軟件設(shè)計(jì)

圖5為人體-皮影互動(dòng)體驗(yàn)裝置的軟件控制流程圖。首先將Kinect體感設(shè)備與電腦端通訊接口相連，安裝Visio studio環(huán)境，啟動(dòng)Kinect for Windows SDK V1程序與TCP客戶(hù)端。接著由Kinect PV1庫(kù)示例代碼中的骨骼追蹤程序采集人體各個(gè)關(guān)節(jié)點(diǎn)數(shù)據(jù)信息。然后采用C語(yǔ)言編寫(xiě)1個(gè)上位機(jī)以讀取選擇好的人體關(guān)節(jié)點(diǎn)的坐標(biāo)數(shù)據(jù)，并在顯示屏界面顯示，建立人體節(jié)點(diǎn)數(shù)據(jù)模型，數(shù)據(jù)通過(guò)TCP傳輸?shù)絇hython，由Phython計(jì)算出舵機(jī)控制皮影肢體運(yùn)動(dòng)所需要的旋轉(zhuǎn)角度，并傳送至Arduino。最后由Arduino發(fā)出指令控制舵機(jī)運(yùn)動(dòng)。另外，安裝與Arduino相連的顯示屏(LCD 1 602)以同步觀察舵機(jī)的旋轉(zhuǎn)度數(shù)。

圖5 裝置運(yùn)行流程圖Fig.5 Operation flow chart of the device

其中Kinect輸入的關(guān)節(jié)點(diǎn)數(shù)據(jù)與舵機(jī)轉(zhuǎn)動(dòng)角度之間需要轉(zhuǎn)換。人體相鄰的3個(gè)關(guān)節(jié)點(diǎn)均可構(gòu)成一個(gè)三角形，運(yùn)動(dòng)時(shí)，可以計(jì)算各夾角變化以控制皮影關(guān)節(jié)點(diǎn)的舵機(jī)運(yùn)動(dòng)。以左臂運(yùn)動(dòng)為例(A點(diǎn)為左肩點(diǎn)，B點(diǎn)為左肘關(guān)節(jié)點(diǎn)，C點(diǎn)為左腕骨點(diǎn)，如圖6所示)，當(dāng)左上臂在人體冠狀面內(nèi)運(yùn)動(dòng)時(shí)(肩部維持原位置不動(dòng))，B點(diǎn)則以A為圓心進(jìn)行圓周運(yùn)動(dòng)，同理，左前臂運(yùn)動(dòng)時(shí)，C點(diǎn)則圍繞B點(diǎn)進(jìn)行圓周運(yùn)動(dòng)。左上臂與人體垂直軸的夾角α以及左上臂與左前臂的夾角β的具體計(jì)算過(guò)程如下。

圖6 左臂關(guān)節(jié)點(diǎn)及關(guān)節(jié)角度變化示意圖Fig.6 The diagram of the joint points and the angle changes of the left arm

(1) Kinect捕捉到的左肩點(diǎn)A、左肘關(guān)節(jié)B和左手手腕C坐標(biāo)點(diǎn)分別為(xA,yA)， (xB,yB)和(xC,yC)。以B為原點(diǎn)，進(jìn)行坐標(biāo)變換，對(duì)應(yīng)位置A'，B'和C'的坐標(biāo)為(xA-xB,yA-yB)， (0, 0)和(xC-xB,yC-yB)，如圖6所示。

(2)α和β的計(jì)算公式如式(1)～(2)所示。

1.4 裝置測(cè)試

本文以人體左臂運(yùn)動(dòng)為例，測(cè)試Kinect體感設(shè)備控制系統(tǒng)的準(zhǔn)確性和靈敏性。圖7(a)和7(b)分別為人體-皮影交互體驗(yàn)裝置工作流程和軟件界面圖。將Kinect體感設(shè)備與電腦、皮影裝置相連接，并啟動(dòng)Kinect體感設(shè)備。然后，電腦界面會(huì)顯示出一個(gè)識(shí)別界面，并且界面右側(cè)會(huì)出現(xiàn)實(shí)時(shí)的關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)。當(dāng)受試者完全進(jìn)入Kinect體感設(shè)備照射范圍后，自行調(diào)整位置以確保要選取的關(guān)節(jié)點(diǎn)數(shù)據(jù)被完整讀取。當(dāng)數(shù)據(jù)讀取成功時(shí)，軟件界面會(huì)顯示選取好的身體關(guān)節(jié)點(diǎn)(以藍(lán)色圓圈標(biāo)注)，同時(shí)，右側(cè)會(huì)顯示每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，如圖7(b)所示。實(shí)驗(yàn)人員在電腦屏幕上同步觀察進(jìn)入Kinect投射范圍內(nèi)的人體是否完整，并確認(rèn)需要采集的人體關(guān)節(jié)點(diǎn)數(shù)量以及采集情況。完成上述步驟后，開(kāi)始進(jìn)行舵機(jī)跟隨人體運(yùn)動(dòng)的準(zhǔn)確性測(cè)試。這里選擇舵機(jī)而非皮影能更準(zhǔn)確地進(jìn)行對(duì)比。另外，同步對(duì)人體運(yùn)動(dòng)和舵機(jī)運(yùn)動(dòng)進(jìn)行錄像。

圖7 人體-皮影交互體驗(yàn)裝置工作流程和軟件界面圖(以左臂運(yùn)動(dòng)為例)Fig.7 The workflow and software interface diagrams of the bodyshadow play interactive experience device (taking the movement of the left arm as an example)

圖8(a)和圖8(b)為人體左上臂和人體左下臂的皮影關(guān)節(jié)處舵機(jī)的運(yùn)動(dòng)狀態(tài)示意圖。在測(cè)試過(guò)程中，人體正對(duì)Kinect體感設(shè)備，肩部保持不動(dòng)，左臂在人體冠狀面內(nèi)運(yùn)動(dòng)，在此基礎(chǔ)上，計(jì)算左上臂圍繞人體垂直軸的旋轉(zhuǎn)角度、左前臂和左上臂的夾角以及對(duì)應(yīng)的舵機(jī)角度。另外，計(jì)算舵機(jī)跟隨人體關(guān)節(jié)運(yùn)動(dòng)的準(zhǔn)確度，如式(3)所示。

圖8 舵機(jī)跟隨人體左臂的運(yùn)動(dòng)狀態(tài)圖Fig.8 The movement of the steering engine following that of the human left arm

式中：A為準(zhǔn)確度，β為舵機(jī)旋轉(zhuǎn)角度，θ為人體肢體旋轉(zhuǎn)角度。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)束后，將人體運(yùn)動(dòng)錄像和裝置皮影舵機(jī)運(yùn)動(dòng)錄像進(jìn)行同步播放，并對(duì)比每個(gè)動(dòng)作下左上臂和左肘關(guān)節(jié)點(diǎn)轉(zhuǎn)動(dòng)的角度。

表1為左上臂圍繞人體垂直軸的旋轉(zhuǎn)角度、左前臂和左上臂的夾角變化、對(duì)應(yīng)舵機(jī)角度變化以及舵機(jī)跟隨人體左臂運(yùn)動(dòng)的準(zhǔn)確度。可以發(fā)現(xiàn)，皮影左臂的控制舵機(jī)跟隨人體左臂運(yùn)動(dòng)的準(zhǔn)確度為96.6%～99.8%，具有較高的準(zhǔn)確度和靈敏度。

表1 皮影左臂關(guān)節(jié)處舵機(jī)跟隨人體左臂運(yùn)動(dòng)的準(zhǔn)確度Table 1 Accuracy of the steering engine installed at the left arm of the shadow play following the movement of human left arm

3 總結(jié)

本研究提出了一種基于Kinect體感設(shè)備的人體-皮影交互體驗(yàn)裝置。該裝置利用Kinect體感設(shè)備采集人體骨骼點(diǎn)，建立人體關(guān)節(jié)模型，通過(guò)計(jì)算將人體關(guān)節(jié)模型中各個(gè)關(guān)節(jié)坐標(biāo)點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)變化轉(zhuǎn)化為皮影關(guān)節(jié)處舵機(jī)所需要的角度，隨后發(fā)送至Arduino，由Arduino向皮影發(fā)出動(dòng)作指令，控制舵機(jī)運(yùn)動(dòng)。以人體左臂運(yùn)動(dòng)為例，通過(guò)測(cè)試發(fā)現(xiàn)皮影左臂處的舵機(jī)跟隨人體左臂運(yùn)動(dòng)的準(zhǔn)確度為96.6%～99.8%，證明了該裝置具有較高準(zhǔn)確性和靈敏度。另外，該裝置具備較強(qiáng)的互動(dòng)性和趣味性且操作簡(jiǎn)單，有利于人們?cè)隗w驗(yàn)中更好地理解和傳承皮影文化。

未來(lái)研究將進(jìn)一步改善和開(kāi)發(fā)該裝置，考慮人體更加復(fù)雜的運(yùn)動(dòng)，如肢體在三維空間的運(yùn)動(dòng)和整體位置移動(dòng)等。同時(shí)，進(jìn)行用戶(hù)體驗(yàn)現(xiàn)場(chǎng)測(cè)量，從主觀和客觀上對(duì)裝置進(jìn)一步驗(yàn)證及評(píng)價(jià)。