車載多媒體系統(tǒng)中的手勢識別技術(shù)綜述

馮琳

摘 要：文章對車載多媒體手勢識別系統(tǒng)中的手勢設(shè)計(jì)和手勢識別技術(shù)兩個(gè)方面進(jìn)行了討論和研究。手勢的設(shè)計(jì)是建立系統(tǒng)的前提，關(guān)系著用戶體驗(yàn)、駕駛安全和系統(tǒng)后續(xù)開發(fā)等問題。手勢識別技術(shù)是獲取手勢圖像的關(guān)鍵技術(shù)，獲取圖像的好壞對后續(xù)圖像處理處理工作有很大影響，要能夠很好的適應(yīng)車內(nèi)環(huán)境，獲取高質(zhì)量圖像。

關(guān)鍵詞：手勢設(shè)計(jì);手勢識別技術(shù);圖像處理

Abstract： This paper discusses and studies the gesture design and gesture recognition technology in vehicle-mounted multimedia gesture recognition system. The design of gesture is the premise of establishing the system， which is related to user experience， driving safety and subsequent development of the system. Gesture recognition technology is the key technology to acquire gesture images. The quality of acquired images has a great impact on subsequent image processing. Therefore， it is necessary to be able to adapt to the in-car environment and acquire high-quality images.

Keywords： Gesture design; Gesture recognition technology; The image processing

前言

在目前車載多媒體系統(tǒng)中，使用了手勢識別技術(shù)并實(shí)現(xiàn)量產(chǎn)的車型，有寶馬、君馬等，很多車企也逐步推出新車型試圖使用手勢識別技術(shù)。加入了手勢識別的車載多媒體系統(tǒng)提升了駕駛的安全性和用戶的操作樂趣等，多種交互方式融合的車載多媒體系統(tǒng)成為了未來發(fā)展的方向。但是手勢識別在使用中也存在著一些問題，識別精度低，交互感受差，甚至可能影響駕駛的安全等。下面就手勢設(shè)計(jì)和手勢識別技術(shù)兩個(gè)大方面進(jìn)行了討論和研究。

1 手勢設(shè)計(jì)

根據(jù)操作時(shí)手的運(yùn)動(dòng)狀態(tài)，手勢交互方式可分為靜態(tài)和動(dòng)態(tài)兩種。而要想實(shí)現(xiàn)更加人性、智能、趣味的指令手勢，動(dòng)態(tài)手勢的識別是主要的研究方向。動(dòng)態(tài)手勢交互需要通過在識別范圍內(nèi)建立手勢與指令之間的映射，達(dá)到正確完成操作的目的。在目前車載多媒體系統(tǒng)中采用手勢識別技術(shù)的控制手勢不超過十種，在手勢設(shè)計(jì)的過程中需要考慮很多的問題，并不是簡單的將生活中的手勢一一照搬。在手勢設(shè)計(jì)時(shí)首先要考慮的是手勢的通用性，一方面要符合絕大多數(shù)人的認(rèn)知規(guī)律，手勢和功能的對應(yīng)關(guān)系要通俗易懂，避免使用者的過度學(xué)習(xí)和習(xí)慣性的誤操作，牽扯過多的精力，影響正常的駕駛;另一方面，相同的手勢在多媒體系統(tǒng)的不同模塊或功能下都可以使用，比如菜單中的上下選擇和音樂播放的音量調(diào)節(jié)可以使用同一套手勢，這需要系統(tǒng)先判斷當(dāng)前的工作狀態(tài)。這樣可以縮小系統(tǒng)的手勢集，使用者學(xué)習(xí)難度降低，識別系統(tǒng)的復(fù)雜程度也會(huì)降低。其次，盡量采用容差性較強(qiáng)的手勢捕捉方案，以實(shí)現(xiàn)手勢的大范圍模糊操作，降低錯(cuò)誤率，減少駕駛中的分心，手勢應(yīng)具有較好的抗干擾的能力。最后，手勢的設(shè)計(jì)要尋求技術(shù)和用戶的平衡，應(yīng)用到市場上得到越多用戶的認(rèn)可越好，但也不能盲目滿足用戶需求而不計(jì)成本，產(chǎn)品發(fā)展的過程還是需要企業(yè)和用戶之間的磨合。

2 手勢識別技術(shù)

手部動(dòng)作可以是靜態(tài)的，也可以是動(dòng)態(tài)的。有些動(dòng)作還兼具有靜態(tài)和動(dòng)態(tài)元素，如手語。自然連續(xù)動(dòng)作的自動(dòng)識別需要將它們進(jìn)行時(shí)間分割，通常需要指定動(dòng)作的起始點(diǎn)和結(jié)束點(diǎn)，構(gòu)建在時(shí)間和空間上的運(yùn)動(dòng)框架。為了確定所有這些方面，需要感知手的位置、結(jié)構(gòu)（角度、旋轉(zhuǎn)等）和運(yùn)動(dòng)（速度、軌跡等）。這可以通過使用感測設(shè)備傳遞給用戶，可以是磁場跟蹤器，儀器（數(shù)據(jù)）手套，或通過使用相機(jī)和計(jì)算機(jī)視覺技術(shù)。

早期的手勢識別主要是利用機(jī)器設(shè)備對人手的直接檢測，獲取人手以及手部關(guān)節(jié)的空間變換信息，再對信息進(jìn)行分析，從而達(dá)到識別手勢的目的，其典型代表設(shè)備有數(shù)據(jù)手套等。每種傳感技術(shù)都會(huì)在幾個(gè)方面發(fā)生變化，包括精度、分辨率、延遲、運(yùn)動(dòng)范圍、用戶舒適度和成本?；谑痔椎氖謩葑R別通常需要用戶佩戴笨重的設(shè)備，并攜帶大量連接設(shè)備與計(jì)算機(jī)的電纜，這妨礙了用戶與計(jì)算機(jī)交互的方便性和自然性，顯然不適合在車內(nèi)使用，會(huì)給駕駛員、乘客、車輛造成不必要的負(fù)擔(dān)。

基于視覺的技術(shù)克服了這一問題，但同時(shí)需要應(yīng)對遮擋、復(fù)雜背景等其他問題。基于視覺的技術(shù)也可以在以下方面有所不同：使用的相機(jī)數(shù)量;它們的速度和延遲;環(huán)境的結(jié)構(gòu)（例如照明或移動(dòng)速度的限制）;所使用的低級特征（邊緣、區(qū)域、輪廓、矩、直方圖）;使用的是2D表示還是3D表示;是否表示時(shí)間等。跟蹤器還需要處理不斷變化的形狀和大小的手勢生成對象（不同的個(gè)體），其他移動(dòng)對象的背景和噪音。

視覺技術(shù)的發(fā)展歷經(jīng)了從黑白到彩色，從模擬到數(shù)字，從靜態(tài)到動(dòng)態(tài)，從2D到3D。目前的3D視覺技術(shù)還處于初期發(fā)展階段，較多處于實(shí)驗(yàn)室階段，較早出現(xiàn)在工業(yè)應(yīng)用中，其中在汽車上的應(yīng)用也將是重要的應(yīng)用場景，但暫時(shí)沒有完全落地和普及。真正開始進(jìn)入到人們的生活中是2017年蘋果在iPhone中使用了3D結(jié)構(gòu)光攝像頭。而隨著具有3D感知能力的硬件設(shè)備逐漸普及，3D人臉重建與識別、3D虛擬世界重建、機(jī)器人與工業(yè)自動(dòng)化、3D物體識別和體感游戲與動(dòng)作交互等應(yīng)用都獲得飛速的發(fā)展[1]。常見的3D感知技術(shù)有三種：TOF、結(jié)構(gòu)光和RGB雙目成像。

TOF（Time of flight），飛行時(shí)間法3D成像，通過給目標(biāo)連續(xù)發(fā)送光脈沖，再用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物距離。屬于主動(dòng)測距傳感器，激光光源呈均勻面，所以不依賴環(huán)境的光照和紋理，計(jì)算量較小，對基線無要求，但量程越遠(yuǎn)其精度越低。

結(jié)構(gòu)光，是一組由投影儀和攝像頭組成的系統(tǒng)結(jié)構(gòu)。用投影儀投射特定的光信息到物體表面后及背景后，由攝像頭采集。根據(jù)物體造成的光信號的變化來計(jì)算物體的位置和深度等信息，進(jìn)而復(fù)原整個(gè)三維空間。屬于主動(dòng)測距傳感器，激光光源是上萬個(gè)散斑，所以不依賴環(huán)境的光照和紋理，但不適用強(qiáng)光照，所以比較適合在室內(nèi)環(huán)境中使用;計(jì)算量適中，但量程和識別精度受基線大小的影響。

雙目立體視覺（Binocular Stereo Vision），是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。存在的問題是：對環(huán)境光照的依賴較大，不適合較暗的環(huán)境，同時(shí)要求環(huán)境紋理清晰;系統(tǒng)計(jì)算量非常大;量程和識別精度受基線大小的影響。

關(guān)于三種技術(shù)的其他特點(diǎn)見下表1。

綜合上述三種技術(shù)的特點(diǎn)，最適合車內(nèi)環(huán)境采用的是結(jié)構(gòu)光，其精度高，成本低，開發(fā)難度較低等。結(jié)構(gòu)光目前較成熟的產(chǎn)品是微軟開發(fā)的Kinect，應(yīng)用于Xbox 360和Xbox One，也陸續(xù)有研究人員在其基礎(chǔ)上開發(fā)，應(yīng)用不同的算法實(shí)現(xiàn)手勢識別、人體姿態(tài)識別等。

3 結(jié)束語

車載多媒體系統(tǒng)中的手勢識別系統(tǒng)是一個(gè)綜合而復(fù)雜的系統(tǒng)：系統(tǒng)前端包括了紅外傳感器、紅外激光光源、光學(xué)組件、光學(xué)鏡頭、圖像傳感器等，中端包括了傳感器模組、攝像頭模組、光源檢測、圖像算法等，最后才是終端廠商以及應(yīng)用。所以想要達(dá)到用戶良好的體驗(yàn)感受，每個(gè)環(huán)節(jié)都不容忽視。

參考文獻(xiàn)

[1] 中國手機(jī)聯(lián)盟.光鑒科技汪博：不止于ToF，再造新視界的3D感知技術(shù)[EB/OL].https：//www.sohu.com/a/393752415_166680， 2020 -05-08/2020-05-24.

[2] GeekCar.手勢識別：車內(nèi)交互方式的新寵？[EB/OL].https：//chejia hao.autohome.com.cn/info/3291266#pvareaid=28086821202，2019-01-29/2020-05-22.

[3] 景春暉，張晶，鄧椿山.汽車手勢交互設(shè)計(jì)研究[J].包裝工程，2018，39 （8）：74-79.

[4] 劉春榮，朱旭.基于手勢交互的車載信息娛樂系統(tǒng)設(shè)計(jì)綜述[J].個(gè)案點(diǎn)擊，2016，（277）：100-102.

[5] LOEHMANN S， KNOBEL M， LAMARA M， et al. Culturally Inde -pendent Gestures for In-Car Interactions[C]. Human-Computer Interaction-INTERACT 2013， 2013.

[6] WAHL H，GROH R.User Interface and Interaction Design in Future Auto-Mobility[M].Springer International Publishing， 2016.

[7] TANJA D，KERN D，MARSHALL P，et al.Gestural Interaction on the Steering Wheel：Reducing the Visual Demand[C].International Con -ference on Human Factors in Computing Systems，CHI 2011， 2011.

[8] SHNEIDERMAN B.Designing the User Interface：Strategies for Effective Human-computer Interaction[M]. Pearson Education India， 2010.

[9] HEYDEKORN J， FRISCH M， DACHSELT R. Prospects of User Elicited Gestural Interaction Techniques[C]. CHI 2010 Workshop on Natural User Interfaces： the Prospect and Challenge of Touch and Gestural Computing， 2010.