增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)研究

王凌云 楊世康

摘要：人機(jī)交互技術(shù)是增強(qiáng)現(xiàn)實(shí)的重點(diǎn)，屬于計(jì)算機(jī)、人類工程學(xué)、認(rèn)知學(xué)等多學(xué)科交叉的研究領(lǐng)域。近年來，增強(qiáng)現(xiàn)實(shí)中的人機(jī)交互技術(shù)一直在探索更加智能化、自然化以及高效化的交互方式，成了國內(nèi)外研究的熱點(diǎn)。文中調(diào)研了人機(jī)交互技術(shù)發(fā)展歷程，指出了增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)存在的問題，最后做出了總結(jié)。

關(guān)鍵詞： 增強(qiáng)現(xiàn)實(shí); 人機(jī)交互; 增強(qiáng)虛擬

中圖分類號：TP39? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）14-0179-02

Abstract：As the crucial support of augmented reality ，human-computer interaction is an important research field of multidisciplinary research，such as computer， ergonomics， cognition science. In recent years， the human-computer interaction technology in augmented reality is tending to be intelligent， natural and efficient ， and hitting the research area in the world. This paper surveys the development process of human-computer interaction technology， points out the problems of human-computer interaction technology in the augmented reality， finally makes a summary.

Key words：augmented reality; human-computer; augmented virtuality

1 引言

早在二十世紀(jì)，人們開始對事物平面展示的形式不滿足，隨之應(yīng)運(yùn)而生的增強(qiáng)現(xiàn)實(shí)技術(shù)利用計(jì)算機(jī)技術(shù)無縫融合虛擬場景與真實(shí)世界，在用戶視野中實(shí)時(shí)可視化虛擬場景，發(fā)展?jié)摿薮?。增?qiáng)現(xiàn)實(shí)技術(shù)從最初的軍用，到逐漸的商用，最后到現(xiàn)在的民用，用于軍事、娛樂、展覽、古跡再現(xiàn)、文化遺產(chǎn)保護(hù)等多方面，用途十分廣泛，具有較強(qiáng)的實(shí)用性和交互性[1]。增強(qiáng)現(xiàn)實(shí)技術(shù)目的在于對真實(shí)世界的增強(qiáng)，關(guān)鍵支撐技術(shù)有三維注冊技術(shù)、場景渲染技術(shù)和人機(jī)交互技術(shù)。

2 人機(jī)交互發(fā)展歷程

人機(jī)交互技術(shù)是指用戶以便捷、自然的方式與智能設(shè)備生成的虛擬場景進(jìn)行信息交換的技術(shù)[2]。理想狀態(tài)下的人機(jī)交互技術(shù)可以不依賴于鍵盤、鼠標(biāo)以及觸摸屏等外界設(shè)備，人與計(jì)算機(jī)隨時(shí)隨地自然交流，從而最終實(shí)現(xiàn)虛實(shí)場景的無縫融合。目前理想狀態(tài)尚未達(dá)到，只能通過現(xiàn)階段智能化的計(jì)算機(jī)和移動設(shè)備，將用戶的行為狀態(tài)，例如用戶的肌肉運(yùn)動、姿勢或語言等多種行為狀態(tài)輸入信息轉(zhuǎn)換成一種智能設(shè)備能夠理解和操作的信息，并通過對用戶多個(gè)感知進(jìn)行模擬刺激，為用戶提供實(shí)時(shí)的交互信息。人機(jī)交互技術(shù)的發(fā)展好壞很大程度影響了用戶的體驗(yàn)以及增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域，是重點(diǎn)支撐技術(shù)[3]。如圖1所示，為人機(jī)交互技術(shù)的發(fā)展歷程。

2.1 傳統(tǒng)交互技術(shù)

使用傳統(tǒng)硬件設(shè)備進(jìn)行人機(jī)交互的交互工具包括鼠標(biāo)、鍵盤等。鼠標(biāo)鍵盤在計(jì)算機(jī)中，可以選中顯示系統(tǒng)縱橫坐標(biāo)系的某一點(diǎn)，通過進(jìn)行按鍵、拖動等操作選中、拖拽、放大、縮小該點(diǎn)。這類方法簡單易操作，但是需要外部設(shè)備的支持，降低了交互體驗(yàn)的沉浸感，無法很好適應(yīng)在三維空間實(shí)時(shí)人機(jī)互動的應(yīng)用場景。

2.2 觸控交互技術(shù)

觸控交互技術(shù)以人手為主要的輸入方式，仍需要與設(shè)備進(jìn)行接觸，但是相較于傳統(tǒng)硬件設(shè)備更為人性化，既可以作為輸入設(shè)備捕捉用戶的動作，也可以作為輸出設(shè)備為用戶提供觸覺體驗(yàn)，讓用戶有真實(shí)的沉浸感。觸控交互技術(shù)從單點(diǎn)觸控發(fā)展到多點(diǎn)觸控，實(shí)現(xiàn)了單一手指點(diǎn)到多手指點(diǎn)甚至是多用戶交互的轉(zhuǎn)變，更容易被用戶認(rèn)可。在識別指令方面，除傳統(tǒng)交互技術(shù)外，觸控交互技術(shù)現(xiàn)階段的準(zhǔn)確率相較于其他的交互技術(shù)是最高的，只需要用戶在對的地方使用對的方式進(jìn)行操作即可。目前具有代表性的觸控交互技術(shù)有3D觸覺反饋觸摸屏、TouchSense?觸覺反饋技術(shù)等[4]。

2.3 語音交互技術(shù)

語言是最自然直接的方式。語音識別技術(shù)已經(jīng)成為目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)中應(yīng)用較成熟的人機(jī)交互技術(shù)，在某些無法使用傳統(tǒng)鍵盤輸入信息的環(huán)境中，語音是首選的友好方式。在增強(qiáng)現(xiàn)實(shí)中，語音一方面可以直接交互，另一方面可以輔助用戶交互。語音交互的重點(diǎn)在于語音識別引擎，現(xiàn)有的引擎包括Speech API、Via Voice和國內(nèi)的科大訊飛均有很好的性能，為人機(jī)交互技術(shù)的發(fā)展提供了有力的平臺。

2.4體感交互技術(shù)

體感交互技術(shù)利用傳感器或基于計(jì)算機(jī)視覺，使用人體手勢識別或動作捕捉等作為交互策略，追蹤人體如手、頭或腿等關(guān)鍵部分的位置，分析獲取用戶在現(xiàn)實(shí)世界的運(yùn)動姿態(tài)數(shù)據(jù)作為交互信息輸入[5]。Kinect體感設(shè)備動態(tài)捕捉能力強(qiáng)，能夠進(jìn)行精確跟蹤骨骼以及映射關(guān)節(jié)肢體活動，為體感交互帶來了革命性的進(jìn)展。此外Leap Motion、Hololens和Magic Leap等體感設(shè)備的出現(xiàn)普及了娛樂互動的增強(qiáng)現(xiàn)實(shí)應(yīng)用。體感交互方式符合人類的自然習(xí)慣，是目前人機(jī)交互技術(shù)關(guān)注的熱點(diǎn)之一。

2.5 生理交互技術(shù)

生理交互技術(shù)即指通過實(shí)時(shí)測量如腦電信號、呼吸信號、心電信號和肌電信號等人體生理信號，分析識別用戶心理狀態(tài)和交互意圖并反饋的交互方法。加拿大Thought Technology公司研究的多參數(shù)生物反饋儀具有豐富的專注度反饋訓(xùn)練系統(tǒng)[6]。目前，生理交互技術(shù)對系統(tǒng)硬件軟件都有一定要求，操作復(fù)雜，價(jià)格昂貴，加大了開發(fā)難度，限制了部分人群研究和使用增強(qiáng)現(xiàn)實(shí)設(shè)備，但對豐富增強(qiáng)現(xiàn)實(shí)設(shè)備的交互方式至關(guān)重要。

2.6 混合交互技術(shù)

混合交互技術(shù)是近年人機(jī)交互和增強(qiáng)現(xiàn)實(shí)研究的主要方向之一?；旌辖换ゼ夹g(shù)支持用戶使用多種交互方式與計(jì)算機(jī)進(jìn)行交互，可以發(fā)揮出各自交互方式的獨(dú)有優(yōu)勢，豐富交互信息。混合交互利用交互信息互補(bǔ)的靈活性提高用戶的感知效率和與計(jì)算機(jī)的交互效率，用戶減輕了單一的交互方式產(chǎn)生的認(rèn)知負(fù)荷，計(jì)算機(jī)也不會因單一的交互方式負(fù)擔(dān)過重，以此改善交互效果?；旌辖换ゼ夹g(shù)中交互信息如何整合一致，獲取用戶真實(shí)交互意圖，以及交互融合機(jī)理等問題研究較少，是目前研究關(guān)鍵問題[7]。

3 增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)存在的問題

3.1 交互視野問題

目前，增強(qiáng)現(xiàn)實(shí)設(shè)備的交互界面雖然可以將整個(gè)真實(shí)世界的場景作為交互的背景，但交互界面為設(shè)備的視窗，分辨率低，容易出現(xiàn)成像效果是視窗疊加在現(xiàn)實(shí)世界中，突兀感強(qiáng)。其次目前的交互僅局限于近距離的視野，遠(yuǎn)處的視野并不能很好的融合虛擬對象的數(shù)據(jù)信息，一定程度影響了用戶分析。最后，增強(qiáng)現(xiàn)實(shí)設(shè)備不能獲取其他用戶的交互場景，減少了群體交互體驗(yàn)感。

3.2交互技術(shù)問題

增強(qiáng)現(xiàn)實(shí)技術(shù)的目的在于對真實(shí)世界的增強(qiáng)，然而現(xiàn)在大多數(shù)系統(tǒng)在數(shù)據(jù)處理上存在較大差距，虛擬物體在注冊上的延遲和錯(cuò)誤率都較高，影響了交互表現(xiàn)。其次傳統(tǒng)交互方式雖然只有點(diǎn)擊、拖拽或滑動等操作，但仍需要學(xué)習(xí)和理解成本，導(dǎo)致用戶無法正確理解交互場景。體感、生理等交互方式符合人類習(xí)慣，但是研發(fā)費(fèi)用昂貴，操作復(fù)雜，影響了增強(qiáng)現(xiàn)實(shí)設(shè)備的開發(fā)研究。目前的大多數(shù)增強(qiáng)現(xiàn)實(shí)技術(shù)只有一種交互方式，忽略了其他感知和交互技術(shù)，傳感器技術(shù)的發(fā)展也制約了混合交互技術(shù)的設(shè)計(jì)和發(fā)展。

3.3社會接受度問題

大部分的增強(qiáng)現(xiàn)實(shí)應(yīng)用還處于實(shí)驗(yàn)階段，在實(shí)際場景的應(yīng)用效果尚未確認(rèn)，并且大多是增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用在專用交互工具上，如頭盔顯示器、手持設(shè)備和投影設(shè)備上。在工作場所、大街上佩戴頭盔顯示器揮舞手臂，時(shí)刻舉著手機(jī)觀察每一件事物，或者在墻壁上、桌面上投影自己感興趣的內(nèi)容等行為，其他人對這樣的個(gè)人行為接受程度以及用戶個(gè)人隱私保障，都是人機(jī)交互設(shè)計(jì)的關(guān)鍵挑戰(zhàn)。

4 結(jié)論

在計(jì)算機(jī)視覺與人工智能技術(shù)的推動下，面向增強(qiáng)現(xiàn)實(shí)的人機(jī)交互技術(shù)展現(xiàn)了強(qiáng)有力的發(fā)展勢頭，同時(shí)也尚有許多問題有待解決，一方面是交互設(shè)計(jì)原則的制定，一方面是協(xié)調(diào)虛擬對象和真實(shí)世界的融合。發(fā)展的總目標(biāo)是“以人為本”，避免特殊培訓(xùn)和記憶，利用已有的經(jīng)驗(yàn)就能實(shí)現(xiàn)人機(jī)對話，即更為自然、直觀、友好以及支持多用戶的增強(qiáng)現(xiàn)實(shí)交互技術(shù)仍是目前研究的熱點(diǎn)和必然趨勢。在未來，面向增強(qiáng)現(xiàn)實(shí)的人機(jī)交互技術(shù)能很大程度的改變?nèi)祟惿?，會有更為廣泛的應(yīng)用，是科技發(fā)展的必然趨勢。

參考文獻(xiàn)：

[1] 王宇希，張鳳軍，劉越.增強(qiáng)現(xiàn)實(shí)技術(shù)研究現(xiàn)狀及發(fā)展趨勢[J].科技導(dǎo)報(bào)，2018，36（10）：75-83.

[2] 黃進(jìn)，韓冬奇，陳毅能，等.混合現(xiàn)實(shí)中的人機(jī)交互綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（6）：869-880.

[3] 侯穎，許威威.增強(qiáng)現(xiàn)實(shí)技術(shù)綜述[J].計(jì)算機(jī)測量與控制，2017，25（2）：1-7，22

[4] 張鳳軍，戴國忠，彭曉蘭.虛擬現(xiàn)實(shí)的人機(jī)交互綜述[J].中國科學(xué)：信息科學(xué)，2016，46（12）：1711-1736.

[5] 郭娜，王田苗，胡磊，等.ACL重建手術(shù)增強(qiáng)現(xiàn)實(shí)導(dǎo)航系統(tǒng)的人機(jī)交互技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（21）：224-230.

[6] 馮韶文. 基于腦電波的青少年專注度訓(xùn)練系統(tǒng)設(shè)計(jì)[D].山東理工大學(xué)，2020.

[7] 高翔，安輝，陳為，潘志庚.移動增強(qiáng)現(xiàn)實(shí)可視化綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2018，30（01）：1-8.

【通聯(lián)編輯：唐一東】