用于虛擬現(xiàn)實(shí)系統(tǒng)的眼動(dòng)交互技術(shù)綜述

侯守明，賈超蘭*，張明敏

用于虛擬現(xiàn)實(shí)系統(tǒng)的眼動(dòng)交互技術(shù)綜述

侯守明1，賈超蘭1*，張明敏2

（1.河南理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 焦作 454003； 2.浙江大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310027）（?通信作者電子郵箱932503728@qq.com）

眼動(dòng)人機(jī)交互利用眼動(dòng)特點(diǎn)可以增強(qiáng)用戶(hù)的沉浸感和提高舒適度，在虛擬現(xiàn)實(shí)（VR）系統(tǒng)中融入眼動(dòng)交互技術(shù)對(duì)VR系統(tǒng)的普及起到至關(guān)重要的作用，已成為近年來(lái)的研究熱點(diǎn)。對(duì)VR眼動(dòng)交互技術(shù)的原理和類(lèi)別進(jìn)行闡述，分析了將VR系統(tǒng)與眼動(dòng)交互技術(shù)結(jié)合的優(yōu)勢(shì)，歸納了目前市面上主流VR頭顯設(shè)備及典型的應(yīng)用場(chǎng)景。在對(duì)有關(guān)VR眼動(dòng)追蹤相關(guān)實(shí)驗(yàn)分析的基礎(chǔ)上，總結(jié)了VR眼動(dòng)的研究熱點(diǎn)問(wèn)題，包括微型化設(shè)備、屈光度矯正、優(yōu)質(zhì)內(nèi)容的匱乏、暈屏與眼球圖像失真、定位精度、近眼顯示系統(tǒng)，并針對(duì)相關(guān)的熱點(diǎn)問(wèn)題展望相應(yīng)的解決方案。

計(jì)算機(jī)視覺(jué)；虛擬現(xiàn)實(shí)系統(tǒng)；眼動(dòng)跟蹤；人機(jī)交互

0 引言

虛擬現(xiàn)實(shí)（Virtual Reality， VR）利用傳感器、多媒體、計(jì)算機(jī)仿真、計(jì)算機(jī)圖形學(xué)等技術(shù)，提供一個(gè)虛擬的3D世界，已廣泛應(yīng)用在軍事、游戲、旅游、教育、安全培訓(xùn)等領(lǐng)域。在虛擬世界中，設(shè)備需要識(shí)別用戶(hù)輸入的信息，并將信息及時(shí)反饋，以實(shí)現(xiàn)人機(jī)互動(dòng)。虛擬世界的交互方法主要有：行為捕捉、肌電模擬、手勢(shì)交互、眼動(dòng)交互、觸覺(jué)反饋、方向追蹤、語(yǔ)音響應(yīng)、傳感器等。其中，眼動(dòng)交互技術(shù)又名視線(xiàn)跟蹤技術(shù)，用于檢測(cè)用戶(hù)注視特定目標(biāo)時(shí)的眼睛行為和視線(xiàn)方向，使用者無(wú)需接觸界面便可完成交互，能幫助用戶(hù)獲取物體位置，進(jìn)而得到所觀察事物的深度。在古希臘時(shí)期人們就開(kāi)始研究眼動(dòng)跟蹤，而眼動(dòng)跟蹤概念卻在20世紀(jì)30年代才出現(xiàn)，直到1901年，Doge和Cline才開(kāi)發(fā)出第一臺(tái)精確的、非強(qiáng)迫式的眼動(dòng)追蹤設(shè)備［1-3］。眼動(dòng)交互作為一種重要的交互方式，可廣泛應(yīng)用于VR和增強(qiáng)現(xiàn)實(shí)（Augmented Reality， AR），為用戶(hù)提供更好的沉浸感［4］。Brendan Iribe認(rèn)為眼動(dòng)跟蹤是VR的心臟，通過(guò)對(duì)人眼位置的檢測(cè)可以獲得最佳的視覺(jué)效果，且基于VR的眼動(dòng)跟蹤技術(shù)是近年來(lái)的研究熱點(diǎn)之一。眼動(dòng)追蹤可以獲知虛擬物體的景深，故大部分從業(yè)者認(rèn)為該技術(shù)將成為解決VR問(wèn)題的重要突破口。除此之外，潛在的市場(chǎng)需求是促進(jìn)在VR系統(tǒng)中使用眼動(dòng)跟蹤技術(shù)的原因之一。使用眼動(dòng)跟蹤技術(shù)的VR系統(tǒng)可廣泛應(yīng)用于教育、游戲、醫(yī)療、社交、產(chǎn)品測(cè)試及文化遺產(chǎn)保護(hù)等領(lǐng)域?？梢?jiàn)，眼動(dòng)跟蹤技術(shù)將給人類(lèi)的生活帶來(lái)極大的改變。

本文通過(guò)梳理VR眼動(dòng)人機(jī)交互技術(shù)的相關(guān)內(nèi)容，總結(jié)了主流方法、技術(shù)原理、頭顯設(shè)備和應(yīng)用場(chǎng)景，探討研究了相關(guān)的熱點(diǎn)問(wèn)題和相應(yīng)解決方案，以期為該領(lǐng)域的研究人員提供參考。

1 VR眼動(dòng)交互技術(shù)

1.1　VR眼動(dòng)交互技術(shù)原理

一般來(lái)說(shuō)，人眼運(yùn)動(dòng)可以表征人的認(rèn)知活動(dòng)［5］。眼動(dòng)主要可以分為兩種模式：靜態(tài)眼動(dòng)模式和動(dòng)態(tài)眼動(dòng)模式［6］。靜態(tài)眼動(dòng)模式主要包括：注視和眨眼［7］。眨眼指飛快閉眼的動(dòng)作，分為反射性眨眼和不自主眨眼［8］。動(dòng)態(tài)眼動(dòng)模式包括：平滑尾隨運(yùn)動(dòng)和跳動(dòng)［9］。人機(jī)交互技術(shù)指利用計(jì)算機(jī)的輸入、輸出設(shè)備（如：鼠標(biāo)、鍵盤(pán)）來(lái)完成計(jì)算機(jī)與人之間信息的交互［10］?？v觀人機(jī)交互的發(fā)展歷程，從命令語(yǔ)言階段、圖形用戶(hù)界面到現(xiàn)在的多方式交互，就是用戶(hù)與計(jì)算機(jī)之間帶寬減小的時(shí)期［11］。眼動(dòng)人機(jī)交互指眼動(dòng)設(shè)備在“理解”眼動(dòng)信息的基礎(chǔ)上做出相應(yīng)操作，實(shí)現(xiàn)交互。首先，眼動(dòng)設(shè)備中需要建立人機(jī)交互系統(tǒng)，實(shí)現(xiàn)設(shè)備與人的通信；其次，利用相關(guān)算法，如圖像處理算法，將眼動(dòng)信息轉(zhuǎn)化為眼動(dòng)設(shè)備能夠“理解”的計(jì)算機(jī)信息，實(shí)現(xiàn)信息傳遞。其中，眼動(dòng)追蹤方法從早期的直接觀察法、主觀感知法、機(jī)械記錄法逐步演變?yōu)榛谕?角膜反射向量法（Pupil Center Cornea Reflection， PCCR）［12］、眼電圖法（Electro?OculoGraph， EOG）［13］、虹膜檢測(cè)法、角膜反射法［14］、三維模型重建法、反射光強(qiáng)度建模法、雙普金野象法。

1.2　VR眼動(dòng)交互流程

VR眼動(dòng)交互技術(shù)設(shè)計(jì)主要分為以下部分，具體過(guò)程如圖1所示。

1）搭建實(shí)驗(yàn)場(chǎng)景：首先創(chuàng)建模型，再將該模型導(dǎo)入到場(chǎng)景搭建軟件中，如Unity3D。

2）選擇實(shí)驗(yàn)設(shè)備：目前，根據(jù)VR實(shí)驗(yàn)環(huán)境的不同，可從兩個(gè)方面選擇VR設(shè)備。當(dāng)對(duì)實(shí)驗(yàn)環(huán)境要求較低、實(shí)驗(yàn)過(guò)程較為簡(jiǎn)單時(shí)，選擇集成虛擬環(huán)境的VR頭盔，即：基于頭盔式虛擬環(huán)境設(shè)備，并使用注視點(diǎn)分布熱圖來(lái)表示元素的受關(guān)注度情況，如圖2所示。當(dāng)對(duì)環(huán)境要求較高，對(duì)實(shí)驗(yàn)結(jié)果要求更為精確時(shí)，選擇使用通道融合的立體環(huán)繞式虛擬環(huán)境與VR眼動(dòng)眼鏡，即：基于洞穴式立體投影虛擬環(huán)境［15］，如圖3所示。

3）眼動(dòng)數(shù)據(jù)采集：利用VR眼動(dòng)設(shè)備自身攜帶的軟件開(kāi)發(fā)工具獲得眼動(dòng)數(shù)據(jù)。大致分為三步：獲取清晰的眼睛圖像、識(shí)別角膜反射點(diǎn)以及識(shí)別瞳孔。

4）眼動(dòng)數(shù)據(jù)處理：對(duì)利用紅外攝像裝置收集的信息進(jìn)行處理，包括圖像濾波和二值化處理。圖像線(xiàn)性濾波主要分為三種：均值濾波、方框?yàn)V波和高斯濾波［16］，通常情況下，都使用濾波損失較小、濾波性能優(yōu)良的高斯濾波；在圖像的二值化處理中，由于虹膜與瞳孔的反射、吸收率和眼部圖像灰度的差異，通過(guò)閾值函數(shù)選擇不同的閾值對(duì)圖像進(jìn)行二值化處理。

5）眼動(dòng)特征檢測(cè)：眼動(dòng)特征檢測(cè)主要是對(duì)瞳孔和普爾欽斑進(jìn)行檢測(cè)，其中瞳孔檢測(cè)指瞳孔定位，普爾欽斑檢測(cè)是為了進(jìn)行模板匹配［17］。

6）眼動(dòng)數(shù)據(jù)計(jì)算：為準(zhǔn)確定位注視點(diǎn)的坐標(biāo)，首先建立瞳孔?角膜反射向量，并將之映射為計(jì)算機(jī)屏幕上的坐標(biāo)，該坐標(biāo)通過(guò)注視點(diǎn)標(biāo)定技術(shù)求解，如圖4。

圖1　VR眼動(dòng)設(shè)計(jì)流程

圖2　注視點(diǎn)分布熱圖

圖3　洞穴式立體投影虛擬環(huán)境體驗(yàn)與VR眼動(dòng)眼鏡

圖4　注視點(diǎn)標(biāo)定技術(shù)［18］

1.3　VR眼動(dòng)追蹤方法

近年來(lái)，隨著VR和眼動(dòng)追蹤的發(fā)展，研究人員將眼動(dòng)追蹤應(yīng)用于VR領(lǐng)域，并基于瞳孔角膜反射法（Pupil Center Corneal Reflection，PCCR）、眼電圖（Electro?Oculogram，EOG）、三維模型重建等方法進(jìn)一步探求更優(yōu)的VR眼動(dòng)融合算法。研究VR眼動(dòng)追蹤最具代表性的企業(yè)有Google、Facebook和Oculus等。

1.3.1眼睛影像捕獲法

眼睛影像捕獲法使用內(nèi)置攝像裝備去捕獲通過(guò)光反光鏡、光波導(dǎo)等傳輸?shù)难劬τ跋?，該方法適用于攝像頭正對(duì)著眼睛，且必須要拍攝到眼睛圖像。目前，對(duì)該技術(shù)研究較多的企業(yè)有SMI、Apple、Google和TOBII。Zhu等［19］使用傳感器捕獲眼睛影像到頭戴式顯示器，再通過(guò)模型預(yù)測(cè)當(dāng)前視野；Zhu等［20］通過(guò)捕獲傳感器記錄所捕獲的眼底影像的全景；Lee等［21］開(kāi)發(fā)了一種頭戴式設(shè)備來(lái)跟蹤眼睛的凝視方向并估計(jì)用戶(hù)視覺(jué)平面上的注視點(diǎn)；Apple［22］利用眼部跟蹤攝像頭捕獲低分辨率圖像，進(jìn)而在高分辨率幀之間追蹤用戶(hù)眼睛的運(yùn)動(dòng)情況。

1.3.2利用捕獲影像調(diào)整顯示內(nèi)容法

利用捕獲影像調(diào)整顯示內(nèi)容法可以根據(jù)內(nèi)置攝像裝備所采集的虹膜、鞏膜和視網(wǎng)膜特征去計(jì)算眼睛注視方向，適用于含有攝像頭和光波導(dǎo)的設(shè)備，并通過(guò)光波導(dǎo)來(lái)計(jì)算視網(wǎng)膜影像，目前，對(duì)此研究較為深入的企業(yè)是LUMUS、DIGILENS、Magic Leap（第二代或者第三代）、Facebook和三星。Cui等［23］提出使用波導(dǎo)和幾何相位透鏡（Geometric Phase Lens， GPL）的超緊湊型光學(xué)組合來(lái)增強(qiáng)捕獲內(nèi)容；Magic Leap［24］設(shè)計(jì)出了一種可以根據(jù)凝視方向、眼部運(yùn)動(dòng)來(lái)計(jì)算顯示器內(nèi)容的頭戴式設(shè)備；Facebook［25］設(shè)計(jì)了一種用于將光重定向到波導(dǎo)中，并可以提供更高階相差矯正的多功能衍射光學(xué)元件（Multifunctional Diffractive Optics Element，MDOG）；Apple［26］提出在頭戴式設(shè)備中加入光投射顯示元件來(lái)實(shí)現(xiàn)注視點(diǎn)對(duì)準(zhǔn)。

1.3.3重建眼球?yàn)槿S模型法

重建眼球?yàn)槿S模型法使用光場(chǎng)相機(jī)和結(jié)構(gòu)光等設(shè)備將眼球重建為三維模型，再通過(guò)該三維模型計(jì)算眼球追蹤方向，適用于有光場(chǎng)攝像頭或全光攝像頭并采用模型重建算法的情況。目前，F(xiàn)acebook、Microsoft和Oculus對(duì)此研究較為深入。另外，Yeh等［27］提出一種基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍（High Dynamic Range，HDR）方法來(lái)提高3D重建的精度；Li等［28］研究了一種從二維組織顯微鏡圖像中估計(jì)3D眼球球體的新方法；Microsoft［29］提出使用光場(chǎng)相機(jī)來(lái)獲取視點(diǎn)數(shù)據(jù)；Oculus［30］在頭戴式顯示器上使用了光場(chǎng)相機(jī)進(jìn)行眼動(dòng)跟蹤。

1.3.4反射法

反射法主要分為瞳孔角膜反射法、視網(wǎng)膜反射法和角膜反射法，適用于設(shè)備中含有反射功能的反射裝置，如：MSMS反射鏡。代表企業(yè)有Magic Leap、Digilens、Tobii 、SMI、Apple、Google和Sony，并且，國(guó)內(nèi)外研究人員針對(duì)該方法也進(jìn)行了一系列探索。曹奕鋮等［31］利用瞳孔角膜反射法設(shè)計(jì)出一種對(duì)用戶(hù)友好的視線(xiàn)跟蹤系統(tǒng)；Naqvi等［32］在分析瞳孔角膜反射法的基礎(chǔ)上，研究一種在駕駛員注意力不集中的情況下也可以安全駕駛的系統(tǒng)；Liu等［33］利用全息波導(dǎo)技術(shù)連接瞳孔中心和角膜反射向量來(lái)計(jì)算眼睛位置；Lee等［34］提出了一種基于模糊系統(tǒng)的方法，用于提高瞳孔和角膜檢測(cè)的精度；Mestre等［35］提出了一種用于精確眼睛跟蹤圖像的注視估計(jì)方法；Ebisawa等［36］開(kāi)發(fā)了一種基于瞳孔角膜反射法的凝視檢測(cè)系統(tǒng)，該系統(tǒng)允許較大的頭部運(yùn)動(dòng)并可以實(shí)現(xiàn)輕松的凝視校準(zhǔn)；Hennessey等［37］使用多次角膜反射和點(diǎn)模式匹配對(duì)頭部位移的PCCR矢量進(jìn)行縮放校準(zhǔn)；Ogawa等［38］使用角膜表面反射和全景相機(jī)進(jìn)行注視點(diǎn)估計(jì)。

1.3.5多視角跟蹤法

菲涅爾透鏡是多視角跟蹤法的重要設(shè)備，多視角跟蹤法可以通過(guò)菲涅爾透鏡去捕獲眼睛的多個(gè)狀態(tài)圖以追蹤眼睛姿勢(shì)，該方法常用于含有多視角攝像機(jī)的場(chǎng)景。目前，Google、Facebook、Sony和Magic Leap都對(duì)該方法進(jìn)行了深入研究。Magic Leap［39］提出了一種向用戶(hù)顯示虛擬內(nèi)容的方法，該方法通過(guò)多波導(dǎo)前曲率來(lái)確定眼睛焦距；Bertel等［40］使用360°相機(jī)快速、隨意捕獲全景圖，可從多個(gè)視角提高各個(gè)場(chǎng)景的結(jié)果。

1.4　VR眼動(dòng)專(zhuān)利申請(qǐng)量

目前，隨著VR技術(shù)的不斷發(fā)展，全球各大公司申請(qǐng)的相關(guān)專(zhuān)利數(shù)也在遞增，圖5中展示了在映維網(wǎng)上檢索統(tǒng)計(jì)到的2016―2021年全球主流VR眼鏡公司發(fā)布的眼球追蹤技術(shù)相關(guān)專(zhuān)利的申請(qǐng)數(shù)量。可以看出，位列全球前五的申請(qǐng)人為：Microsoft、Facebook、Magic Leap、Sony和Oculus。

圖5　VR眼動(dòng)追蹤技術(shù)專(zhuān)利申請(qǐng)數(shù)量

接下來(lái)，本文對(duì)Microsoft、Facebook、Magic Leap、Sony等公司近三年申請(qǐng)的VR眼動(dòng)追蹤的部分專(zhuān)利的技術(shù)原理進(jìn)行梳理和綜述。

Multi?perspective eye?tracking for VR/AR systems［41］由Google公司申請(qǐng)，該專(zhuān)利的顯示系統(tǒng)使用小透鏡陣列或菲涅爾透鏡作為分段光學(xué)陣列來(lái)捕獲眼睛的多視角圖像，并使用神經(jīng)網(wǎng)絡(luò)選擇眼睛視角，根據(jù)選擇的多視角組合來(lái)跟蹤用戶(hù)眼睛的姿勢(shì)。

Adaptive VR/AR viewing based on a users eye condition profile［42］由Disney公司申請(qǐng)，該專(zhuān)利為解決用戶(hù)因近視、遠(yuǎn)視、散光等因素帶來(lái)的不適，軟件應(yīng)用程序基于用戶(hù)的眼睛狀況數(shù)據(jù)（包括：為矯正近視或遠(yuǎn)視而使用的鏡片度數(shù)、色盲數(shù)據(jù)等）映射到視頻渲染參數(shù)（包括：亮度、對(duì)比度、顏色等），將呈現(xiàn)的數(shù)據(jù)通過(guò)光學(xué)部件的矯正用于VR/AR頭戴式顯示器。

Display with eye tracking and adaptive optics［43］由Microsoft公司申請(qǐng)，該專(zhuān)利使用自適應(yīng)光學(xué)組件作為光學(xué)設(shè)備來(lái)矯正入射到眼睛的光線(xiàn)，使用戶(hù)眼睛注視方向與瞳孔位置可以平行。

Selecting a text input field using eye gaze［44］由Apple公司申請(qǐng)，該專(zhuān)利描述了眼睛與電子設(shè)備進(jìn)行交互的過(guò)程，首先通過(guò)注視傳感器來(lái)確定眼睛注視的特性，然后確定眼睛的注視位置。

Eye tracking system for head?mounted display devices［45］由Valve公司申請(qǐng)，該專(zhuān)利描述在VR/AR等頭戴式設(shè)備中，能夠通過(guò)光源、光檢測(cè)器和偏振器實(shí)現(xiàn)眼動(dòng)追蹤系統(tǒng)，并使用機(jī)器來(lái)追蹤眼睛的凝視方向。

Method and system for eye tracking using speckle patterns［46］由Magic Leap公司申請(qǐng)，該專(zhuān)利使用眼睛的預(yù)校準(zhǔn)散斑圖來(lái)確定眼睛的初始位置，主要方法是先將光束照向眼睛，接著檢測(cè)由眼睛反射的光束形成的散斑圖案，最后使用幀跟蹤眼睛來(lái)計(jì)算起始位置。

Eye tracking system with holographic film decoder［47］由Sony公司申請(qǐng)，該專(zhuān)利設(shè)計(jì)了一種帶有全息膠片解碼器的眼動(dòng)追蹤系統(tǒng)。該系統(tǒng)使用預(yù)先記錄的有圖案的全息薄膜將來(lái)自眼睛的發(fā)光二極管（Light Emitting Diode，LED）編碼轉(zhuǎn)化為二進(jìn)制圖案，該二進(jìn)制圖案能夠?qū)⒌头直媛蕟温暤缊D像轉(zhuǎn)換為眼睛姿勢(shì)。

1.5　眼動(dòng)交互技術(shù)分類(lèi)

眼動(dòng)人機(jī)交互是指計(jì)算機(jī)利用眼部信息來(lái)完成交互。目前，眼動(dòng)交互技術(shù)可分為視線(xiàn)反饋技術(shù)和視線(xiàn)輸入技術(shù)［48］。其中，視線(xiàn)反饋技術(shù)主要有附加信息反饋技術(shù)；視線(xiàn)輸入技術(shù)主要有單一視線(xiàn)輸入方式、多方式交互輸入技術(shù)［49］。

1.5.1視線(xiàn)反饋技術(shù)

1）附加信息反饋技術(shù)：基于收集到的附加信息和眼動(dòng)系統(tǒng)收集到的自然眼動(dòng)信息幫助用戶(hù)完成交互。

1986年，Kleinke［50］通過(guò)研究凝視、經(jīng)驗(yàn)和情景前因的關(guān)系，提出了凝視和生理反應(yīng)之間的關(guān)系。

2010年，Nakano等［51］通過(guò)實(shí)時(shí)收集用戶(hù)凝視數(shù)據(jù)，提出一種基于凝視轉(zhuǎn)換的3?gram模式和參與敏感代理來(lái)判斷聽(tīng)者是否參與對(duì)話(huà)及參與程度。

2014年，Engel等［52］使用單目同步定位與建圖（Monocular Simultaneous Localization And Mapping， MSLAM）系統(tǒng)作為視覺(jué)傳感器，通過(guò)卡爾曼濾波進(jìn)行視覺(jué)和其他信息的融合。

2018年，Massiceti等［53］提出模擬回聲定位和距離相關(guān)的嗡嗡聲音音量調(diào)制方法，并讓參與者在沒(méi)有蒙住眼睛和蒙住眼睛的兩種情況下在VR環(huán)境中實(shí)驗(yàn)。結(jié)果表明，在視覺(jué)信息指導(dǎo)下，參與者的速度更快且碰撞次數(shù)更少，但蒙住眼睛的實(shí)驗(yàn)有助于幫助盲人進(jìn)行獨(dú)立行動(dòng)。

2021年，Gao等［54］提出基于投影儀的手術(shù)指導(dǎo)系統(tǒng)，該系統(tǒng)通過(guò)格雷碼標(biāo)定方法使投影儀能夠通過(guò)攝像頭進(jìn)行標(biāo)定，并基于光學(xué)空間定位器將附加信息可視化到手術(shù)場(chǎng)景中，有助于外科醫(yī)生集中精力做手術(shù)。

2）信息呈現(xiàn)方式反饋技術(shù)：通過(guò)改變視覺(jué)信息的呈現(xiàn)方式完成交互。

2006年，Waddingham等［55］通過(guò)在VR系統(tǒng)中的一組實(shí)驗(yàn)，讓弱視兒童觀看具有流式雙目呈現(xiàn)能力的視頻和游戲，以達(dá)到治療弱視的效果。

2019年，F(xiàn)orlim等［56］使用立體護(hù)目鏡為用戶(hù)呈現(xiàn)VR游戲場(chǎng)景，以解決VR刺激和虛擬機(jī)的連接不匹配問(wèn)題。2019年，Vancleef等［57］為眼科診所設(shè)計(jì)了一種在自動(dòng)立體平板電腦上運(yùn)行的游戲?qū)嶒?yàn)，該實(shí)驗(yàn)首先通過(guò)修改貝葉斯自適應(yīng)梯度來(lái)調(diào)整目標(biāo)差異，接著動(dòng)態(tài)調(diào)整屏幕視差以達(dá)到所需的視網(wǎng)膜視差。

2020年，Lee等［58］針對(duì)大腦區(qū)域檢測(cè)到的腦電波，以評(píng)估屏幕尺寸（智能手機(jī)、平板、電腦）和視覺(jué)呈現(xiàn)模式（2D、3D、AR、VR）對(duì)視覺(jué)疲勞的影響，有助于降低眼睛受傷和患病概率。

1.5.2視線(xiàn)輸入技術(shù)

1）單一視線(xiàn)輸入技術(shù)：由用戶(hù)僅利用自主性移動(dòng)視線(xiàn)完成字符輸入工作。

2003年，Lin等［59］使用電荷耦合器件（Charge Coupled Device， CCD）作為輸入源，在四種頭戴式顯示器的控制下測(cè)試了視網(wǎng)膜顯示器的敏銳度，驗(yàn)證了視網(wǎng)膜光掃描在可穿戴低視力輔助設(shè)備中的獨(dú)特性。

2012年，Lim等［60］開(kāi)發(fā)了注視跟蹤界面來(lái)控制3D游戲、遠(yuǎn)程手術(shù)、軍事訓(xùn)練和飛行員模擬在內(nèi)的3D內(nèi)容，與僅通過(guò)鼠標(biāo)、鍵盤(pán)控制的方法相比，更加自然有效。

2020年，Chi等［61］提出一種基于虹膜半徑的角膜半徑標(biāo)定方法，用于遠(yuǎn)程單機(jī)雙光源系統(tǒng)中的3D注視估計(jì)。該方法首先基于雙目策略校準(zhǔn)虹膜半徑，使用校準(zhǔn)后的虹膜半徑估計(jì)空間虹膜中心，然后在角膜與虹膜間距離的約束下，通過(guò)非線(xiàn)性方程校準(zhǔn)角膜邊緣點(diǎn)。

2）多方式交互輸入技術(shù)：用戶(hù)通過(guò)自動(dòng)移動(dòng)眼球，并使用視線(xiàn)與鼠標(biāo)鍵盤(pán)等相結(jié)合的方法完成交互。

2015年，Skodras等［62］首先從感官數(shù)據(jù)中提取面部特征，接著從中導(dǎo)出與凝視距離相關(guān)的距離向量，并使用附加信息改進(jìn)垂直方向上細(xì)微眼睛運(yùn)動(dòng)的建模，提高了在自然條件下注視跟蹤的準(zhǔn)確性。

2020年，Pan等［63］基于空間定位、觸覺(jué)刺激、場(chǎng)景感知等方式，提出了融合多方式的多軸VR感知機(jī)制系統(tǒng)，該系統(tǒng)可以極大增強(qiáng)用戶(hù)體驗(yàn)感。

2020年，才華等［64］設(shè)計(jì)了一種基于多模態(tài)融合方法的VR模型。該模型通過(guò)輸入不同學(xué)生的互動(dòng)信息，讓學(xué)生可以根據(jù)自己的需要，選擇VR空間教室內(nèi)各虛擬物體的狀態(tài)進(jìn)行學(xué)習(xí)。

2021年，黃君浩等［65］基于卷積神經(jīng)網(wǎng)絡(luò)估計(jì)人眼注視點(diǎn)位置，并使用眼動(dòng)鼠標(biāo)與眼動(dòng)打字功能相結(jié)合來(lái)完成交互。

1.6　VR系統(tǒng)中融入眼動(dòng)技術(shù)的優(yōu)勢(shì)

VR與眼動(dòng)技術(shù)融合主要有以下幾個(gè)優(yōu)勢(shì)：增加用戶(hù)的沉浸感；降低疲勞、減小追蹤誤差；增強(qiáng)系統(tǒng)圖形渲染能力并降低VR頭顯價(jià)格［66］。

1.6.1增強(qiáng)用戶(hù)沉浸感

VR是虛擬事物在虛擬世界中的呈現(xiàn)，融合了立體顯示、傳感器和動(dòng)態(tài)環(huán)境建模技術(shù)［67］。沉浸感是VR的三大特征中最主要的特征［68］，用戶(hù)的沉浸感取決于用戶(hù)本身的體驗(yàn)，當(dāng)用戶(hù)感受到來(lái)自虛擬世界的刺激時(shí)，便會(huì)產(chǎn)生與真實(shí)世界一樣的感受。眼動(dòng)跟蹤技術(shù)相較于手勢(shì)、語(yǔ)音等其他交互方式，能夠給用戶(hù)帶來(lái)更強(qiáng)的沉浸感與更優(yōu)質(zhì)的體驗(yàn)。

1.6.2降低疲勞并減少追蹤誤差

VR交互界面的發(fā)展經(jīng)歷了命令語(yǔ)言界面、直接操作界面、多媒體用戶(hù)界面和多通道用戶(hù)界［69］。語(yǔ)音控制、頭部轉(zhuǎn)動(dòng)、手勢(shì)交互都會(huì)使用戶(hù)感到疲勞，在交互界面中加入眼動(dòng)跟蹤技術(shù)，通過(guò)傳感器跟蹤眼睛運(yùn)動(dòng)，采用視線(xiàn)點(diǎn)擊完成信息交互，能夠減輕用眼疲勞并提高用戶(hù)對(duì)網(wǎng)上資源利用率和追蹤精度，進(jìn)而提升虛擬世界的社交化程度。

1.6.3增強(qiáng)圖形渲染能力并降低頭顯成本

通常，利用視覺(jué)呈現(xiàn)的景物都是三維的，要在虛擬世界中看到立體、有景深的畫(huà)面，對(duì)圖像渲染能力要求極高。眼睛注視物體時(shí)，視覺(jué)中心的影像比較清晰，周?chē)挠跋癖容^模糊。注視點(diǎn)渲染技術(shù)利用眼動(dòng)追蹤能夠獲取人眼注視位置，并實(shí)現(xiàn)渲染位置隨眼球運(yùn)動(dòng)而變化。中間區(qū)域使用高分辨率渲染，邊緣區(qū)域利用低于高分辨率一半的低分辨率渲染，以減小產(chǎn)品負(fù)荷，降低VR頭顯的成本。

2 集成眼動(dòng)技術(shù)的VR頭顯

VR頭顯內(nèi)置高精度眼動(dòng)追蹤設(shè)備，可捕獲到受試者的眼動(dòng)蹤跡，并將其轉(zhuǎn)化為人眼可觀察到的圖形［70］。通常，VR眼動(dòng)追蹤系統(tǒng)由虛擬環(huán)境處理器、頭盔顯示器、身體姿態(tài)追蹤器、高性能傳感器以及感官系統(tǒng)組成，常用的高性能傳感器主要有：SteamVR追蹤傳感器、定位傳感器、觸摸傳感器、矯正傳感器等。

VR眼動(dòng)設(shè)備是用于測(cè)量虛擬世界中人眼瀏覽信息情況和研究有關(guān)教育、醫(yī)療、社交、游戲等過(guò)程的專(zhuān)用儀器。目前，市面上出現(xiàn)了許多集成眼動(dòng)跟蹤系統(tǒng)的VR頭顯設(shè)備，如：LG UltraGear、Vive Cosmos、Vive Pro Eye、StarVR One等。表1匯總了近年集成眼動(dòng)追蹤技術(shù)的VR頭顯設(shè)備。

表1　集成眼動(dòng)追蹤技術(shù)的VR頭顯設(shè)備

3 VR眼動(dòng)技術(shù)應(yīng)用場(chǎng)景

VR眼動(dòng)交互是在人機(jī)交互的基礎(chǔ)上發(fā)展起來(lái)的一門(mén)新技術(shù)，主要應(yīng)用于教育、醫(yī)療、社交、家具設(shè)計(jì)、旅游、新聞傳播、設(shè)計(jì)裝配、電子商務(wù)、運(yùn)動(dòng)和游戲等領(lǐng)域。實(shí)際應(yīng)用中，可以從視覺(jué)效果、沉浸感、舒適度三個(gè)方面評(píng)價(jià)VR眼動(dòng)系統(tǒng)的應(yīng)用效果。其中：視覺(jué)效果指用戶(hù)在虛擬環(huán)境下，即使快速切換場(chǎng)景，也能看到良好的視覺(jué)景象；沉浸感指當(dāng)用戶(hù)帶入頭戴式設(shè)備進(jìn)入到虛擬環(huán)境中時(shí)，感覺(jué)系統(tǒng)可以出現(xiàn)與真實(shí)環(huán)境一樣的感覺(jué)并完成處理［71］；舒適度指用戶(hù)在長(zhǎng)時(shí)間佩戴過(guò)程中，眼睛依舊舒適，并且場(chǎng)景切換時(shí)眩暈感低。未來(lái)會(huì)有更多行業(yè)使用VR眼動(dòng)交互技術(shù)。

3.1　醫(yī)療領(lǐng)域

目前，VR在健康醫(yī)療領(lǐng)域主要應(yīng)用在臨床醫(yī)學(xué)和醫(yī)學(xué)教育。隨著應(yīng)用的多元化，VR與醫(yī)學(xué)深度結(jié)合主要有以下優(yōu)勢(shì)：１）患者康復(fù)訓(xùn)練中，真實(shí)訓(xùn)練沒(méi)有虛擬環(huán)境中的訓(xùn)練有效；2）讓醫(yī)生可以更加直觀認(rèn)識(shí)病人的病灶，有助于醫(yī)生更快、更方便制定出治療方案；3）視覺(jué)效果、沉浸感與舒適度良好。在頭戴式VR設(shè)備的基礎(chǔ)上，Park等［72］使用加入紅外眼動(dòng)儀的頭戴式設(shè)備，幫助患者進(jìn)行前庭康復(fù)治療。Kadhum等［73］通過(guò)比較弱視患者與健康人群在VR視頻游戲中的不同表現(xiàn)，總結(jié)出治療弱視的障礙。Gestefeld等［74］使用VR眼動(dòng)追蹤技術(shù)幫助偏盲患者進(jìn)行視力恢復(fù)訓(xùn)練。

3.2　社交領(lǐng)域

近年來(lái)，隨著各種社交APP的出現(xiàn)，人與人之間的交流方式不斷變化，線(xiàn)上交流也成為一種主流的交流方式，但隨著人們對(duì)多樣化設(shè)計(jì)的要求，VR社交也逐步進(jìn)入大眾視野，雖然VR社交可以釋放硬件資源、降低負(fù)載和功能，能夠讓VR設(shè)備視覺(jué)效果、沉浸感和舒適度達(dá)到最佳，但在VR世界中人們交流受限，不能直觀了解對(duì)方，基于此，許多企業(yè)和研究人員也進(jìn)行了探索。Oculus、Magic Leap、Facebook等公司都已經(jīng)研究出了利用眼動(dòng)跟蹤進(jìn)行捕捉人的面部表情的技術(shù)；SMI Social Eye系統(tǒng)可通過(guò)瞳孔反應(yīng)表達(dá)自己真實(shí)感受，有利于交流。

3.3　游戲領(lǐng)域

作為一種先進(jìn)的技術(shù)，VR在游戲領(lǐng)域的深入使用使游戲產(chǎn)業(yè)得到了突破性的發(fā)展。眼動(dòng)跟蹤讓玩家通過(guò)眼球注視點(diǎn)完成主動(dòng)輸入操作，控制VR視角，使視覺(jué)效果、沉浸感與舒適度達(dá)到最好。但由于玩家控制游戲中的角色進(jìn)行移動(dòng)時(shí)，玩家需要大幅度移動(dòng)手柄和多次按鍵，使玩家感到疲勞，且情感體驗(yàn)感不強(qiáng)，因此，Bai等［75］通過(guò)在VR排球游戲中構(gòu)建虛擬角色來(lái)增強(qiáng)用戶(hù)的情感體驗(yàn)。

3.4　設(shè)計(jì)領(lǐng)域

目前，家具展示多以圖片、視頻為主，不能讓用戶(hù)全方位了解家具的功能與特點(diǎn)，難以保證用戶(hù)的體驗(yàn)效果。而在家具領(lǐng)域使用VR技術(shù)，可以展示家具的詳細(xì)特點(diǎn)，眼動(dòng)跟蹤也可以貼切反映用戶(hù)的體驗(yàn)感，兩者結(jié)合有利于開(kāi)發(fā)出適合用戶(hù)使用的家具，創(chuàng)造出視覺(jué)效果、沉浸感與舒適度良好的家居環(huán)境。Fen等［76］以室內(nèi)色彩因素與感性語(yǔ)義之間的權(quán)重關(guān)系為指導(dǎo)，可以幫助設(shè)計(jì)師更快地在VR中設(shè)計(jì)出用戶(hù)需要的色彩；賀田瀟等［77］使用VR眼動(dòng)技術(shù)從圖書(shū)館內(nèi)設(shè)施的材質(zhì)、布局、高度出發(fā)，進(jìn)行家具的研究設(shè)計(jì)。

3.5　教育領(lǐng)域

在教育領(lǐng)域結(jié)合VR技術(shù)可以幫助學(xué)生更加直觀地學(xué)習(xí)知識(shí)并幫助他們健康成長(zhǎng)。而隨著VR的不斷發(fā)展，VR技術(shù)在教育領(lǐng)域的應(yīng)用也會(huì)更加深入，應(yīng)用場(chǎng)景也會(huì)更加多元化。但VR教育由于技術(shù)上不成熟，也尚未在大中小學(xué)校普及，老師傳授知識(shí)依舊是依靠文字視頻的方式。Hou等［78］利用VR技術(shù)開(kāi)發(fā)一個(gè)虛擬生態(tài)環(huán)境來(lái)學(xué)習(xí)臺(tái)北樹(shù)蛙，以提高學(xué)生的學(xué)習(xí)興趣；Khan等［79］通過(guò)VR設(shè)備研究虛擬空間中兒童道路安全教育與在游戲中進(jìn)行學(xué)習(xí)的關(guān)系。

4 問(wèn)題與展望

近年來(lái)，為進(jìn)一步提高VR眼動(dòng)追蹤在相關(guān)領(lǐng)域的應(yīng)用效果，許多高校及研究機(jī)構(gòu)都進(jìn)行一些探究性實(shí)驗(yàn)，如：墨爾本大學(xué)的Pai等［80］通過(guò)在用戶(hù)前臂上使用注視跟蹤和肌電圖檢查系統(tǒng)，使虛擬空間中的選擇任務(wù)更加高效，但此方法僅基于16位群眾進(jìn)行研究，不具有普適性；圖賓根大學(xué)的Sipatchin等［81］使用Raspberry Pi系統(tǒng)測(cè)試VR時(shí)間精度，證明HTC Vive Pro Eye可作為視力喪失的在線(xiàn)幫助工具，但自動(dòng)校準(zhǔn)系統(tǒng)不夠流暢；同濟(jì)大學(xué)的郭亞楠等［82］在Unity 3D中搭建虛擬場(chǎng)景來(lái)完成眼動(dòng)儀的對(duì)接，這有助于設(shè)計(jì)團(tuán)隊(duì)優(yōu)化建筑風(fēng)貌，實(shí)現(xiàn)民居現(xiàn)狀和設(shè)計(jì)方案的實(shí)施對(duì)比；廈門(mén)大學(xué)的Zhang等［83］將眼睛定義為圓錐形光源，并基于傳統(tǒng)眼動(dòng)追蹤技術(shù)，完成虛擬環(huán)境中的3D裸眼追蹤和空間定位，設(shè)計(jì)VR眼動(dòng)追蹤平臺(tái)，完成在虛擬環(huán)境中對(duì)眼動(dòng)數(shù)據(jù)和協(xié)議數(shù)據(jù)的集成與量化。從已有研究看，VR眼動(dòng)追蹤技術(shù)依舊存在一些問(wèn)題，還需要不斷探索實(shí)驗(yàn)。

在已有研究的基礎(chǔ)上，本文總結(jié)并分析VR眼動(dòng)的熱點(diǎn)問(wèn)題，并提出相應(yīng)的解決方案，認(rèn)為目前VR眼動(dòng)的熱點(diǎn)問(wèn)題集中在微型化設(shè)備、屈光度矯正、優(yōu)質(zhì)內(nèi)容匱乏、暈屏與眼球圖像失真、定位精度和近眼顯示系統(tǒng)六個(gè)方面。

4.1　微型化設(shè)備

對(duì)于VR眼動(dòng)設(shè)備而言，輕量化、小型化是其成功的關(guān)鍵。目前，市面上的VR眼動(dòng)設(shè)備，雖然其重量已低至500 g，但用戶(hù)長(zhǎng)時(shí)間佩戴依舊會(huì)產(chǎn)生疲憊感。微軟的HoloLens2采用激光顯示器和碳纖維減輕頭盔重量，提升用戶(hù)體驗(yàn)感；Tundra Labs開(kāi)發(fā)的SteamVR Tracking套件可將VR眼動(dòng)設(shè)備的控制、處理和通信組件壓縮為尺寸僅為16 mm×10 mm的微模塊，該模塊包含SteamVR Tracking、定位追蹤器和TS4112傳感器，通過(guò)簡(jiǎn)化設(shè)備的控制器和外設(shè)，從而使VR設(shè)備尺寸更小、重量更輕。Magic Leap提出了一種基于單晶硅的MSMS掃描儀，能夠?qū)⒐鈴牡谝还饫w和第二光纖傳送到懸梁臂遠(yuǎn)端的第一波導(dǎo)和第二波導(dǎo)，在懸梁臂上使用光纖、磁換能器和單晶硅等組件。單晶硅的厚度約為100 μm，因而讓使用單晶硅襯底光學(xué)掃描儀的厚度約為100 μm，從而進(jìn)一步小型化了VR/AR設(shè)備。未來(lái)，可以進(jìn)一步改進(jìn)全息光學(xué)器件，例如對(duì)光學(xué)元件進(jìn)行多次折疊或采用自適應(yīng)光學(xué)處理器，使光學(xué)元件的厚度可以更薄，從而減輕設(shè)備的重量。

4.2　屈光度矯正

基于VR眼動(dòng)交互技術(shù)的智能眼鏡針對(duì)近視人群的并不多，智能眼鏡大多都必須加入屈光度矯正裝置和VR眼動(dòng)裝置，不僅難以穿戴，還會(huì)降低用戶(hù)體驗(yàn)感。在VR眼動(dòng)系統(tǒng)中加入近視自動(dòng)矯正模塊，讓用戶(hù)使用VR設(shè)備時(shí)，能自動(dòng)矯正視力，勢(shì)必會(huì)進(jìn)一步增加VR設(shè)備在用戶(hù)中的普及度，進(jìn)而提高用戶(hù)的使用率。另外，長(zhǎng)時(shí)間佩戴VR眼鏡將造成用戶(hù)視覺(jué)疲勞，降低用戶(hù)視力，因此，屈光度問(wèn)題成為VR設(shè)備發(fā)展的一大難題。目前，研究人員針對(duì)該問(wèn)題不斷探索，例如：Mohammadpour等［84］根據(jù)屈光度不正引起的圖像質(zhì)量退化問(wèn)題，提出基于可計(jì)算的光場(chǎng)顯示器方法。王洋［85］使用全變差方法繪制圖像來(lái)矯正視覺(jué)畸變。Yang等［86］將全息3D投影技術(shù)用于近眼顯示器以提高近眼計(jì)算效率。Xia等［87］使用時(shí)間復(fù)用技術(shù)，以矯正聚光調(diào)節(jié)沖突問(wèn)題。未來(lái)，在光學(xué)器件中加入自適應(yīng)屈光度矯正方法，例如通過(guò)修改光學(xué)透鏡參數(shù)進(jìn)行矯正，使VR頭顯能夠針對(duì)不同用戶(hù)的視力情況實(shí)現(xiàn)自適應(yīng)調(diào)整，這樣就無(wú)須配戴眼鏡，可以為用戶(hù)帶來(lái)更好的體驗(yàn)感。

4.3　優(yōu)質(zhì)內(nèi)容匱乏

優(yōu)質(zhì)內(nèi)容匱乏是VR行業(yè)面臨的又一大問(wèn)題。目前，VR設(shè)備還處于完善階段。首先，硬件設(shè)備不成熟，3D攝像機(jī)、傳感器仍處于開(kāi)發(fā)階段，國(guó)內(nèi)外團(tuán)隊(duì)更多關(guān)注的是如何提高硬件設(shè)備質(zhì)量；其次，VR內(nèi)容制作周期長(zhǎng)、難度大，所有細(xì)節(jié)不僅要考慮視差校正、景深等因素，還需考慮與用戶(hù)的契合度，會(huì)耗費(fèi)較大的人力與物力；最后，面向文化、制造、醫(yī)療、教育等領(lǐng)域的內(nèi)容缺失，也制約了優(yōu)質(zhì)內(nèi)容的制作?；谝陨蠁?wèn)題，國(guó)內(nèi)外研究人員進(jìn)行不斷探索，如：Wang等［88］提出利用卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)VR全景圖像和3D場(chǎng)景視頻。劉寧寧［89］提出基于VR的半實(shí)物煤礦操作平臺(tái)，為復(fù)雜設(shè)備操作培訓(xùn)提供了新思路。隨硬件設(shè)備質(zhì)量的提升，會(huì)有更多的公司與團(tuán)隊(duì)（如：Pinta公司是國(guó)內(nèi)最重要的VR內(nèi)容制作公司之一）加入VR行業(yè)，推出優(yōu)質(zhì)內(nèi)容也只是時(shí)間問(wèn)題。未來(lái)，在VR眼動(dòng)設(shè)備中融入運(yùn)行速率類(lèi)似于“瀏覽器功能”的組件，該組件能夠直接渲染瀏覽器內(nèi)部場(chǎng)景并將其呈現(xiàn)，這樣在VR設(shè)備中將會(huì)加載更多優(yōu)質(zhì)內(nèi)容。

4.4　暈屏與眼球圖像失真

頭戴式VR設(shè)備中，“暈屏”和眼球圖像失真導(dǎo)致用戶(hù)體驗(yàn)感降低。當(dāng)體驗(yàn)者的眼睛快速移動(dòng)時(shí)，由于視覺(jué)和前庭刺激之間存在差異，鏡片呈現(xiàn)的全息虛擬影像的幀速率并不能與眼睛移動(dòng)速度相匹配，導(dǎo)致眼球圖像失真和暈動(dòng)癥。此外，圖像渲染速率低、姿態(tài)定位速度過(guò)慢和聚焦與視差沖突也會(huì)造成“暈屏”。圖像失真算法分為兩類(lèi)：1）制作模板圖像，使用多項(xiàng)式坐標(biāo)變換完成模板圖和失真圖像的地址映射［90-91］；2）借用攝像機(jī)成像原理研究幾何失真的原因［92］。針對(duì)以上兩類(lèi)算法國(guó)內(nèi)外出現(xiàn)了很多研究案例，例如：郭科等［93］提出EBL?幀篩除算法，采用相鄰圖像匹配點(diǎn)的位置計(jì)算EBL參數(shù)，進(jìn)而篩選出最不清晰的圖像幀，去掉這些幀，根據(jù)剩下的幀計(jì)算相機(jī)位姿。程克非等［94］提出一種通過(guò)人眼注視區(qū)進(jìn)行圖形校準(zhǔn)，此方法利用重心提取、去噪處理、坐標(biāo)變化等方式進(jìn)行圖像矯正。有研究表明通過(guò)優(yōu)化VR系統(tǒng)中的運(yùn)動(dòng)，如：通過(guò)調(diào)整3D環(huán)境和實(shí)驗(yàn)裝置可降低眩暈感并提高圖像分辨率。另外，人體的運(yùn)動(dòng)數(shù)據(jù)是通過(guò)運(yùn)動(dòng)神經(jīng)纖維將運(yùn)動(dòng)內(nèi)容通過(guò)內(nèi)耳傳感系統(tǒng)傳遞到大腦，可以在VR眼動(dòng)設(shè)備中加入多通道傳感器（如：振動(dòng)傳感器、聲音傳感器）來(lái)改變大腦對(duì)運(yùn)動(dòng)的感知，從而預(yù)防暈動(dòng)癥的發(fā)生。

4.5　定位精度

精度是評(píng)估眼動(dòng)追蹤數(shù)據(jù)質(zhì)量的重要依據(jù)之一。即使很小的精度誤差都會(huì)帶來(lái)很大的影響，識(shí)別精度受環(huán)境亮度、眼睛最佳狀態(tài)、設(shè)備漂移（如：耳機(jī)滑動(dòng)）等因素的影響?；谝陨蠁?wèn)題，研究者提出了許多算法。如：周曉榮［95］提出基于瞳孔中心二次提取處理和基于RANSAC的邊界擬合法，此算法先使用中值濾波、自適應(yīng)閾值二值化處理，然后使用邊緣檢測(cè)和邊界擬合法進(jìn)行瞳孔中心點(diǎn)坐標(biāo)提取，較大概率避免了將眉毛眼瞼等錯(cuò)檢為瞳孔，提高了精度。Tripathi等［96］提出用連續(xù)校準(zhǔn)來(lái)補(bǔ)償耳機(jī)相對(duì)于頭部的細(xì)小移動(dòng)，可使精確度與明確校準(zhǔn)一致，但是多次校準(zhǔn)需要額外的時(shí)間。Konrad等［97］使用眼視差渲染技術(shù)來(lái)改善VR中的深度感知精度和真實(shí)感。慣性測(cè)量裝置（Inertial Measurement Unit， IMU）是當(dāng)前VR眼鏡測(cè)量角度的最常用設(shè)備，但復(fù)雜場(chǎng)景中，多個(gè)IMU測(cè)量會(huì)導(dǎo)致識(shí)別精度降低；紅外激光定位技術(shù)能夠提高識(shí)別精度、降低硬件成本，但不適用于復(fù)雜場(chǎng)景。未來(lái)，隨著VR技術(shù)的發(fā)展，基于深度相機(jī)或雙目相機(jī)的SLAM技術(shù)并融合多個(gè)傳感器和計(jì)算機(jī)視覺(jué)算法使VR頭顯實(shí)現(xiàn)身體多部位與環(huán)境的追蹤，不僅適用于復(fù)雜場(chǎng)景，還能提高定位精度和識(shí)別速度。一方面，根據(jù)不同用戶(hù)的頭部特征，通過(guò)逐一實(shí)驗(yàn)來(lái)優(yōu)化頭戴式顯示器中顯示屏的放置位置并根據(jù)不同情形下的影響因素來(lái)矯正鏡片能夠提高精度；另一方面，多數(shù)VR眼動(dòng)設(shè)備是使用姿態(tài)傳感器對(duì)用戶(hù)姿態(tài)進(jìn)行輸入，我們或許可以考慮將視覺(jué)傳感器、慣性傳感器、GPS和卡爾曼濾波器等相結(jié)合來(lái)提高用戶(hù)輸入數(shù)據(jù)的精度。

4.6　近眼顯示系統(tǒng)

由于近眼顯示系統(tǒng)設(shè)備小型化、微型化的需求，需要調(diào)整顯示屏發(fā)出的光線(xiàn)路徑，并對(duì)圖像數(shù)據(jù)進(jìn)行壓縮和漸進(jìn)傳輸，以減小頭戴式顯示器的顯示屏與眼睛之間的距離。近年來(lái)，許多研究人員都致力于研究該問(wèn)題，例如：Zhang等［98］使用擬人視覺(jué)成像技術(shù)來(lái)測(cè)量近眼顯示器的關(guān)鍵參數(shù)，包括視場(chǎng)、角分辨率、眼眶和虛擬圖像深度。Xiao等［99］提出一種基于定向散射全息波導(dǎo)和彎曲護(hù)目鏡的同軸近眼顯示系統(tǒng)，用以實(shí)現(xiàn)大視場(chǎng)、高LU和輕量化場(chǎng)景。Park等［100］介紹了一種用于近眼顯示器的緊湊型光學(xué)元件，它使用一對(duì)微透鏡陣列，在距眼睛幾厘米以?xún)?nèi)的平視顯示器上進(jìn)行調(diào)節(jié)眼睛視線(xiàn)。王小東等［101］提出在使用深度學(xué)習(xí)進(jìn)行實(shí)現(xiàn)估計(jì)時(shí)，加入多任務(wù)訓(xùn)練和多階段輸出，能夠在不增加訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，提升視線(xiàn)估計(jì)精度。目前，近眼顯示系統(tǒng)是提高VR眼動(dòng)跟蹤性能的關(guān)鍵技術(shù)之一，未來(lái)依舊可以沿著顯示裝置、光學(xué)引擎等方面探索出性能更優(yōu)的系統(tǒng)，例如：通過(guò)提高光學(xué)組件中的輸入濾光器、輸出濾光器、反射折射透鏡和波導(dǎo)反射組件的性能（如：更換表面材料提升光學(xué)參數(shù)、調(diào)整組件數(shù)量或者改變顯示面板的傾斜度來(lái)匹配3D屏幕深度等），讓光傳播后呈現(xiàn)在顯示器上的畫(huà)面能使眼睛的狀態(tài)最舒適。

5 結(jié)語(yǔ)

本文主要圍繞用于VR系統(tǒng)的眼動(dòng)交互技術(shù)相關(guān)研究及進(jìn)展進(jìn)行了綜述。在VR中融入眼動(dòng)交互技術(shù)意味著注意力跟蹤過(guò)程可以被測(cè)量，這為準(zhǔn)確理解人類(lèi)的行為提供了可能性，但也面臨巨大的挑戰(zhàn)。眼動(dòng)交互技術(shù)目前已經(jīng)在減輕VR帶來(lái)的眩暈感、疲憊感，增強(qiáng)環(huán)境的視覺(jué)效果、沉浸感、舒適度等方面給用戶(hù)帶來(lái)了更優(yōu)質(zhì)的體驗(yàn)，在心理學(xué)、醫(yī)學(xué)、教育培訓(xùn)、游戲等領(lǐng)域的應(yīng)用也逐步落地，相關(guān)研究人員針對(duì)VR眼動(dòng)交互系統(tǒng)的屈光度矯正、暈屏與眼球圖像失真、定位精度和近眼顯示系統(tǒng)等方面的研究進(jìn)展顯著，各大巨頭公司對(duì)具有眼動(dòng)跟蹤交互的VR頭盔產(chǎn)品的研發(fā)趨之若鶩。展望VR系統(tǒng)中眼動(dòng)交互技術(shù)的研究發(fā)展趨勢(shì)，融合眼動(dòng)跟蹤軟硬件的多感知人機(jī)自然交互的VR智能眼鏡（頭盔）的超輕量化以及智能化解決方案、多用戶(hù)VR環(huán)境中基于眼動(dòng)交互技術(shù)的情感傳遞模型、多領(lǐng)域眼動(dòng)跟蹤典型應(yīng)用場(chǎng)景的拓展等將是未來(lái)一段時(shí)間內(nèi)研究的重點(diǎn)和熱點(diǎn)。

[1] 賈宏博，師國(guó)偉，姚欽. 眼動(dòng)跟蹤技術(shù)及其在軍事領(lǐng)域的應(yīng)用［J］. 航天醫(yī)學(xué)與醫(yī)學(xué)工程， 2016， 29（5）： 385-390.（JIA H B， SHI G W， YAO Q. Eye tracking technology and its application in the military［J］. Space Medicine and Medical Engineering， 2016， 29（5）： 385-390.）

[2] ROBINSON R M， THOMAS M L， WETZEL P A. Eye tracker development on the fiber optic helmet mounted display［C］// Proceedings of the SPIE 1116， Helmet?Mounted Displays. Bellingham， WA： SPIE， 1989： 102-109.

[3] MORIMOTO C， MIMICA M R M. Eye gaze tracking techniques for interactive applications［J］. Computer Vision and Image Understanding， 2005， 98（1）： 4-24.

[4] 王麗萍，汪成，邱飛岳，等. 深度圖像中的3D手勢(shì)姿態(tài)估計(jì)方法綜述［J］. 小型微型計(jì)算機(jī)系統(tǒng)， 2021， 42（6）： 1227-1235.（WANG L P， WANG C， QIU F Y， et al. Survey of 3D hand pose estimation methods using depth map［J］. Journal of Chinese Computer Systems， 2021， 42（6）： 1227-1235.）

[5] RAYNER K. Eye movements in reading and information processing： 20 years of research［J］. Psychological Bulletin， 1998， 124（3）： 372-422.

[6] ROBERTS E O， PROUDLOCK F A， MARTIN K， et al. Reading in schizophrenic subjects and their nonsymptomatic first?degree relatives［J］. Schizophrenia Bulletin， 2013， 39（4）： 896-907.

[7] 王文冠，沈建冰，賈云得. 視覺(jué)注意力檢測(cè)綜述［J］. 軟件學(xué)報(bào)， 2019， 30（2）： 416-439.（WANG W G， SHEN J B， JIA Y D. Review of visual attention detection［J］. Journal of Software， 2019， 30（2）： 416-439.）

[8] 易琳，賈瑞雙，劉然，等. 虛擬現(xiàn)實(shí)環(huán)境中視覺(jué)誘導(dǎo)暈動(dòng)癥的評(píng)估指標(biāo)［J］. 航天醫(yī)學(xué)與醫(yī)學(xué)工程， 2018， 31（4）： 437-445.（YI L， JIA R S， LIU R， et al. Evaluation indicators for visually induced motion sickness in virtual reality environment［J］. Space Medicine and Medical Engineering， 2018， 31（4）： 437-445.）

[9] 周小龍，湯帆揚(yáng)，管秋，等. 基于3D人眼模型的視線(xiàn)跟蹤技術(shù)綜述［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2017， 29（9）： 1579-1589.（ZHOU X L， TANG F Y， GUAN Q， et al. A survey of 3D eye model based gaze tracking［J］. Journal of Computer?Aided Design and Computer Graphics， 2017， 29（9）： 1579-1589.）

[10] BADI H. A survey on recent vision?based gesture recognition［J］. Intelligent Industrial Systems， 2016， 2（2）： 179-191.

[11] 黃進(jìn)，張浩，田豐. 面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型［J］. 圖學(xué)學(xué)報(bào)， 2021， 42（3）： 359-366.（HUANG J， ZHANG H， TIAN F. Computational model for dynamic interactive scenarios［J］. Journal of Graphics， 2021， 42（3）： 359-366.）

[12] HANSEN D W， JI Q. In the eye of the beholder： a survey of models for eyes and gaze［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 478-500.

[13] 路雪，衛(wèi)兵，吳小培. 基于連續(xù)眨眼的人?機(jī)交互新模式［J］.計(jì)算機(jī)工程與應(yīng)用，2018，54（20）：263-270. （LU X， WEI B， WU X P. Novel human?computer interaction model based on continuous eye?blinks［J］. Computer Engineering and Applications， 2018， 54（20）： 263-270.）

[14] MA C F， BAEK S J， CHOI K A， et al. Improved remote gaze estimation using corneal reflection?adaptive geometric transforms［J］. Optical Engineering， 2014， 53（5）： No.053112.

[15] 呂文蕾，賀田瀟，耿曉杰. 虛擬現(xiàn)實(shí)結(jié)合眼動(dòng)追蹤技術(shù)在家具設(shè)計(jì)中的應(yīng)用前景［J］. 木材工業(yè)， 2019， 33（3）： 36-40.（LYU W L， HE T X， GENG X J. Application prospect of virtual reality combining eye tracking technology in furniture design［J］. China Wood Industry， 2019， 33（3）： 36-40.）

[16] ARIKAWA M， HAYASHI K. Adaptive equalization of transmitter and receiver IQ skew by multi?layer linear and widely linear filters with deepunfolding［J］. Optics Express， 2020， 28（16）： 23478-23494.

[17] 朱博. 視線(xiàn)追蹤技術(shù)及其在駕駛員與乘客監(jiān)測(cè)系統(tǒng)中的應(yīng)用研究［D］. 沈陽(yáng)：東北大學(xué)， 2013：22-26.（ZHU B. Gaze tracking and its application in driver and passenger monitoring systems［D］. Shenyang： Northeastern University， 2013：22-26.）

[18] 程時(shí)偉，孫志強(qiáng). 用于移動(dòng)設(shè)備人機(jī)交互的眼動(dòng)跟蹤方法［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)， 2014， 26（8）：1354-1361.（CHENG S W， SUN Z Q. An approach to eye tracking for mobile device based interaction［J］. Journal of Computer?Aided Design and Computer Graphics， 2014， 26（8）：1354-1361.）

[19] ZHU Y C， ZHAI G T， MIN X K. The prediction of head and eye movement for 360 degree images［J］. Signal Processing： Image Communication， 2018， 69： 15-25.

[20] ZHU Y， ZHAI G， MIN X， et al. The prediction of saliency map for head and eye movements in 360 degree images［J］. IEEE Transactions on Multimedia， 2020， 22（9）： 2331-2344.

[21] LEE K F， CHEN Y L， YU C W， et al. Gaze tracking and point estimation using low?cost head?mounted devices［J］. Sensors， 2020， 20（7）： No.1917.

[22] Apple Inc.Eye tracking using low resolution images： 20210081040［P］. 2021-03-18.

[23] CUI W， CHANG C L， GAO L. Development of an ultra?compact optical combiner for augmented reality using geometric phase lenses［J］. Optics Letters， 2020， 45（10）： 2808-2811.

[24] Magic Laep， Inc. Content interaction driven by eye metrics： 20210181514［P］. 2021-06-17.

[25] Facebook Technologies， LLC. Hybrid coupling diffractive optical element： 20210173210［P］. 2021-06-10.

[26] Apple Inc. Optical alignment for head?mounted device： 20210149203［P］. 2021-05-20.

[27] YEH C H， LIN M H. Robust 3D reconstruction using HDR?based SLAM［J］. IEEE Access， 2021， 9： 16568-16581.

[28] LI H X， YU H Y， KIM Y K， et al. Computational model?based estimation of mouse eyeball structure from two?dimensional flatmount microscopy images［J］. Translational Vision Science and Technology， 2021， 10（4）： No.25.

[29] Microsoft Technology Licensing， LLC. Light field camera modules and light field camera module arrays： 20210021785［P］. 2021-01-21.

[30] Oculus VR， LLC. Eye tracking using a light field camera on a head?mounted display： 20180173303［P］. 2018-06-21.

[31] 曹奕鋮，蔣路茸，童基均. 基于瞳孔角膜反射法的視線(xiàn)估計(jì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］. 浙江理工大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 41（2）： 201-207.（CAO Y C， JIANG L R， TONG J J. Design and implementation of line of sight estimation system based on pupil corneal reflection method［J］. Journal of Zhejiang Sci?Tech University （Natural Sciences Edition）， 2019， 41（2）： 201-207.）

[32] NAQVI R A， ARSALAN M， BATCHULUUN G， et al. Deep learning?based gaze detection system for automobile drivers using a NIR camera sensor［J］. Sensors， 2018， 18（2）： No.456.

[33] LIU C G， PAZZUCCONI B， LIU J， et al. A holographic waveguide based eye tracker［C］// Proceedings of the SPIE 10474， Ophthalmic Technologies XXVIII. Bellingham， WA： SPIE， 2018： No.104741T.

[34] LEE D E， YOON H S， HONG H G， et al. Fuzzy?system?based detection of pupil center and corneal specular reflection for a driver?gaze tracking system based on the symmetrical characteristics of face and facial feature points［J］. Symmetry， 2017， 9（11）： No.267.

[35] MESTRE C， GAUTIER J， PUJOL J. Robust eye tracking based on multiple corneal reflections for clinical applications［J］. Journal of Biomedical Optics， 2018， 23（3）： No.035001.

[36] EBISAWA Y， FUKUMOTO K. Head?free， remote eye?gaze detection system based on pupil?corneal reflection method with easy calibration using two stereo?calibrated video cameras［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（10）： 2952-2960.

[37] HENNESSEY C A， LAWRENCE P D. Improving the accuracy and reliability of remote system?calibration?free eye?gaze tracking［J］. IEEE Transactions on Biomedical Engineering， 2009， 56（7）： 1891-1900.

[38] OGAWA T， NAKAZAWA T， NISHIDA T. Point of gaze estimation using corneal surface reflection and omnidirectional camera image［J］. IEICE Transactions on Information and Systems， 2018， E101?D（5）： 1278-1287.

[39] Magic Leap， Inc. Virtual and augmented reality systems and methods： 20210141237［P］. 2021-05-13.

[40] BERTEL T， YUAN M Z， LINDROOS R， et al. OmniPhotos： casual 360° VR photography［J］. ACM Transactions on Graphics， 2020， 39（6）： No.266.

[41] Google LLC. Multi?perspective eye?tracking for VR/AR systems： 20190129174［P］. 2019-05-02.

[42] Disney Enterprise， Inc. Adaptive VR/AR viewing based on a users eye condition profile： 20190056780［P］. 2019-02-21.

[43] Microsoft Technology Licensing， LLC. Display with eye tracking and adaptive optics： 20210239971［P］. 2021-08-05.

[44] Apple Inc. Selecting a text input field using eye gaze： 20210240331［P］. 2021-08-05.

[45] Valve Corporation. Eye tracking system for head?mounted display devices： 20210232216［P］. 2021-07-29.

[46] Magic Leap， Inc. Method and system for eye tracking using speckle patterns： 20210232221［P］. 2021-07-29.

[47] Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder： 20190384386［P］. 2019-12-19.

[48] 吳鳳山，葛賢亮，王麗. 眼動(dòng)人機(jī)交互技術(shù)的類(lèi)別與特點(diǎn)［J］. 人類(lèi)工效學(xué)， 2017， 23（4）： 80-86.（WU F S， GE X L， WANG L. Categories and characteristics of eye movement?based human? computer interaction technology［J］. Chinese Journal of Ergonomics， 2017， 23（4）： 80-86.）

[49] BROCKMOLE J R， LE?HOA V? M. Semantic memory for contextual regularities within and across scene categories： evidence from eye movements［J］. Attention， Perception， and Psychophysics， 2010， 72（7）： 1803-1813.

[50] KLEINKE C L. Gaze and eye contact： a research review［J］. Psychological Bulletin， 1986， 100（1）： 78-100.

[51] NAKANO Y I， ISHII R. Estimating user􀆳s engagement from eye? gaze behaviors in human?agent conversations［C］// Proceedings of the 15th International Conference on Intelligent User Interfaces. New York： ACM， 2010： 139-148.

[52] ENGEL J， STURM J， CREMERS D. Scale?aware navigation of a low?cost quadrocopter with a monocular camera［J］. Robotics and Autonomous Systems， 2014， 62（11）： 1646-1656.

[53] MASSICETI D， HICKS S L， VAN RHEEDE J J . Stereosonic vision： exploring visual?to?auditory sensory substitution mappings in an immersive virtual reality navigation paradigm［J］. PLoS ONE， 2018， 13（7）： No.e0199389.

[54] GAO Y， ZHAO Y Y， XIE L， et al. A projector?based augmented reality navigation system for computer?assisted surgery［J］. Sensors， 2021， 21（9）： No.2931.

[55] WADDINGHAM P E， BUTLER T K H， COBB S V， et al. Preliminary results from the use of the novel Interactive Binocular Treatment （I?BiT?） system， in the treatment of strabismic and anisometropic amblyopia［J］. Eye， 2006， 20（3）： 375-378.

[56] FORLIM C G， BITTNER L， MOSTAJERAN F. Stereoscopic renderinggoggles elicits higher functional connectivity during virtual reality gaming［J］. Frontiers in Human Neuroscience， 2019， 13： No.365.

[57] VANCLEEF K， SERRANO?PEDRAZA I， SHARP C， et al. ASTEROID： a new clinical stereotest on an autostereo 3D tablet［J］. Translational Vision Science and Technology， 2019， 8（1）： No.25.

[58] LEE C C， CHIANG H S， HSIAO M H. Effects of screen size and visual presentation on visual fatigue based on regional brain wave activity［J］. Journal of Supercomputing， 2021， 77（5）： 4831-4851.

[59] LIN S K V， SEIBEL E J， FURNESS T A F， III. Testing visual search performance using retinal light scanning as a future wearable low vision aid［J］. International Journal of Human? Computer Interaction， 2003， 15（2）： 245-263.

[60] LIM C J， KIM D. Development of gaze tracking interface for controlling 3D contents［J］. Sensors and Actuators A： Physical， 2012， 185： 151-159.

[61] CHI J N， WANG D， LU N， et al. Cornea radius calibration for remote 3D gaze tracking systems［J］. IEEE Access， 2020， 8：187634-187647.

[62] SKODRAS E， KANAS V G， FAKOTAKIS N. On visual gaze tracking based on a single low cost camera［J］. Signal Processing： Image Communication， 2015， 36： 29-42.

[63] PAN C T， SUN P Y， WANG S Y， et al. Integration of multi?axis platform with synchronous motion?sensing and virtual reality imagery for the depth of immersion［J］. The International Journal of Advanced Manufacturing Technology， 2020， 108： 91-103.

[64] 才華，孫俊，王爽，等.一種基于多模態(tài)融合方法的VR/AR模型構(gòu)建方法：CN202010248294.5［P］. 2020-07-28.（CAI H， SUN J， WANG S， et al.A VR/AR model building method based on multimodal fusion method： CN202010248294.5 ［P］. 2020-07-28.）

[65] 賀輝，黃君浩. 基于眼動(dòng)跟蹤的人機(jī)交互應(yīng)用［J］. 山東大學(xué)學(xué)報(bào)（工學(xué)版）， 2021， 51（2）： 1-8.（HE H， HUANG J H. Eye tracking in human?computer interaction control［J］. Journal of Shandong University （Engineering Science）， 2021， 51（2）： 1-8.）

[66] 馮成志，沈模衛(wèi). 視線(xiàn)跟蹤技術(shù)及其在人機(jī)交互中的應(yīng)用［J］. 浙江大學(xué)學(xué)報(bào)（理學(xué)版）， 2002， 29（2）： 225-232.（FENG C Z， SHEN M W. Application of gaze tracking in human computer interaction［J］. Journal of Zhejiang University （Science Edition）， 2002， 29（2）： 225-232.）

[67] 董士海. 人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2004， 16（1）：1-13.（DONG S H. Progress and challenges of human?computer interaction［J］. Journal of Computer?Aided Design and Graphics， 2004， 16（1）：1-13.）

[68] MAHALIL I， RUSLI M E， YUSOF A M， et al. Study of immersion effectiveness in VR?based stress therapy［C］// Proceedings of the 6th International Conference on Information Technology and Multimedia. Piscataway： IEEE， 2014： 380-385.

[69] HE Q， WU Y F， FENG Z P， et al. Triboelectric vibration sensor for a human?machine interface built on ubiquitous surfaces［J］. Nano Energy， 2019， 59： 689-696.

[70] 苗嶺. 虛擬現(xiàn)實(shí)眼動(dòng)系統(tǒng)在環(huán)境交互設(shè)計(jì)中的研究［J］. 包裝工程， 2018， 39（22）： 274-281.（MIAO L. Eye?tracking virtual reality system in environmental interaction design［J］. Packaging Engineering， 2018， 39（22）： 274-281.）

[71] 黃東軍，伯斯科，陳斌華. 沉浸感顯示技術(shù)研究［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2007， 16（3）： 43-46.（HUANG D J， BO S K， CHEN B H. Research on immersion display technology［J］. Computer Systems and Applications， 2007， 16（3）： 43-46.）

[72] PARK J H， JEON H J， LIM E C， et al. Feasibility of eye tracking assisted vestibular rehabilitation strategy using immersive virtual reality［J］. Clinical and Experimental Otorhinolaryngology， 2019， 12（4）：376-384.

[73] KADHUM A， TAN E T C， LEVI D M， et al. Barriers to successful dichoptic treatment for amblyopia in young children［J］. Graefe􀆳s Archive for Clinical and Experimental Ophthalmology， 2021， 259（10）：3149-3157.

[74] GESTEFELD B， KOOPMAN J， VRIJLING A， et al. Eye tracking and virtual reality in the rehabilitation of mobility of hemianopia patients： a user experience study［J］. International Journal of Orientation and Mobility， 2020， 11（1）：7-19.

[75] BAI Z C， YAO N M， MISHRA N， et al. Enhancing emotional experience by building emotional virtual characters in VR volleyball games［J］. Computer Animation and Virtual Worlds， 2021， 32（3/4）： No.e2008.

[76] FEN G， PAN Y. Research on home interior colour based on VR panoramic rendering experience［J］. Journal of the Ergonomics Society of Korea， 2020， 39（5）： 423-435.

[77] 賀田瀟，呂文蕾，耿曉杰，等.基于虛擬現(xiàn)實(shí)結(jié)合眼動(dòng)技術(shù)的圖書(shū)館家具設(shè)計(jì)研究［J］.家具與室內(nèi)裝飾，2018（12）：12-13.（HE T X， LYU W L， GENG X J， et al. Research on library furniture design based on virtual reality combined with eye movement technique［J］. Furniture and Interior Design， 2018（12）： 12-13.）

[78] HOU K L， LIU Y H， TARNG W. Development of a virtual ecological environment for learning the Taipei tree frog［J］. Sustainability， 2021， 13（11）： No.5911.

[79] KHAN N， MUHAMMAD K， HUSSAIN T， et al. An adaptive game?based learning strategy for children road safety education and practice in virtual space［J］. Sensors， 2021， 21（11）： No.3661.

[80] PAI Y S， DINGLER T， KUNZE K. Assessing hands?free interactions for VR using eye gaze and electromyography［J］. Virtual Reality， 2019， 23（2）：119-131.

[81] SIPATCHIN A， WAHL S， RIFAI K. Eye?tracking for clinical ophthalmology with Virtual Reality （VR）： a case study of the HTC Vive Pro Eye􀆳s usability［J］. Healthcare， 2021， 9（2）： No.180.

[82] 臧偉，郭亞楠，周鳴浩.基于VR眼動(dòng)數(shù)據(jù)的空間環(huán)境信息采集分析方法和應(yīng)用探究——以喀什高臺(tái)民居保護(hù)與設(shè)計(jì)為例［C］// 數(shù)智營(yíng)造：2020年全國(guó)建筑院系建筑數(shù)字技術(shù)教學(xué)與研究學(xué)術(shù)研討會(huì)論文集. 北京：中國(guó)建筑工業(yè)出版社， 2020： 249-254.（ZANG W， GUO Y N， ZHOU M H. Research on methods and application of spatial environment information collection and analysis based on VR eye movement data ― taking protection and design of Gaotai ancient homes in Kashgar as an example［C］// Digital Design and Intelligent Construction： Proceedings of 2020 National Conference on Architecture􀆳s Digital Technologies in Education and Research. Beijing： China Architecture and Building Press， 2020： 249-254.）

[83] ZHANG L M， ZHANG R X， JENG T S， et al. Cityscape protection using VR and eye tracking technology［J］. Journal of Visual Communication and Image Representation， 2019， 64： No.102639.

[84] MOHAMMADPOUR S， MEHRIDEHNAVI A， RABBANI H， et al. A pre?compensation algorithm for different optical aberrations using an enhanced wiener filter and edge tapering［C］// Proceedings of the 11th International Conference on Information Science， Signal Processing and their Applications. Piscataway IEEE， 2012： 935-939.

[85] 王洋. 基于反卷積濾波的頭盔顯示圖像人眼屈光度預(yù)校正算法研究［D］. 長(zhǎng)春：長(zhǎng)春理工大學(xué)， 2017： 1-51.（WANG Y. Research on pre?correction algorithm of human eye diopter for helmet mounted image based on deconvolution filtering［D］. Changchun： Changchun University of Science and Technology， 2017： 1-51.）

[86] YANG X， ZHANG H B， WANG Q H. A fast computer?generated holographic method for VR and AR near?eye 3D display［J］. Applied Sciences， 2019， 9（19）： No.4164.

[87] XIA X X， GUAN Y Q， STATE A， et al. Towards a switchable AR/VR near?eye display with accommodation?vergence and eyeglass prescription support［J］. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（11）： 3114-3124.

[88] WANG M， LYU X Q， LI Y J， et al. VR content creation and exploration with deep learning： a survey［J］. Computational Visual Media， 2020， 6（1）：3-28.

[89] 劉寧寧. 基于VR虛擬現(xiàn)實(shí)的半實(shí)物綜采實(shí)操平臺(tái)［J］. 煤礦安全， 2019， 50（6）： 114-117.（LIU N N. Semi?physical fully- mechanized mining practical operating platform based on VR［J］. Safety in Coal Mines， 2019， 50（6）： 114-117.）

[90] SMITH W E， VAKIL N， MAISLIN S A. Correction of distortion in endoscope images［J］. IEEE Transactions on Medical Imaging， 1992， 11（1）： 117-122.

[91] HUGHES C， GLAVIN M， JONES E， et al. Wide?angle camera technology for automotive applications： a review［J］. IET Intelligent Transport Systems， 2009， 3（1）： 19-31.

[92] LIU A L， ZHANG J J， GUO B P. Geometric distortion correction for streak camera imaging［J］. Journal of Electronic Imaging， 2019， 28（3）： No.033023.

[93] 郭科，方俊永，王瀟，等. 一種視覺(jué)SLAM中運(yùn)動(dòng)模糊應(yīng)對(duì)方法［J］. 哈爾濱工業(yè)大學(xué)學(xué)報(bào)， 2019， 51（11）： 116-121.（GUO K， FANG J Y， WANG X， et al. A method to deal with motion blur in visual SLAM［J］. Journal of Harbin Institute of Technology， 2019， 51（11）： 116-121.）

[94] 程克非，曹爽，臺(tái)正. 一種眼動(dòng)跟蹤圖像失真的校正方法［J］. 激光雜志， 2013， 34（2）： 32-34.（CHNEG K F， CAO S， TAI Z. A method of image distortion correction based on eye tracking［J］. Laser Journal， 2013， 34（2）： 32-34.）

[95] 周曉榮. 基于頭戴式眼動(dòng)儀的視線(xiàn)跟蹤算法研究［D］. 哈爾濱：哈爾濱工業(yè)大學(xué)， 2019： 1-71.（ZHOU X R. Eye tracking algorithm based on head?mounted eye tracker［D］. Harbin： Harbin Institute of Technology， 2019： 1-71.）

[96] TRIPATHI S， GUENTER B. A statistical approach to continuous self?calibrating eye gaze tracking for head?mounted virtual reality systems［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway：IEEE， 2017： 862-870.

[97] KONRAD R， ANGELOPOULOS A， WETZSTEIN G. Gaze? contingent ocular parallax rendering for virtual reality［J］. ACM Transactions on Graphics， 2020， 39（2）： No.10.

[98] ZHANG Q， SONG W， HU X， et al. Design of a near?eye display measurement system using an anthropomorphic vision imaging method［J］. Optics Express， 2021， 29（9）： 13204-13218.

[99] XIAO J S， LIU J， LV Z L， et al. On?axis near?eye display system based on directional scattering holographic waveguide and curved goggle［J］. Optics Express， 2019， 27（2）： 1683-1692.

[100] PARK H S， HOSKINSON R， ABDOLLAHI H， et al. Compact near?eye display system using a superlens?based microlens array magnifier［J］. Optics Express， 2015， 23（24）： 30618-30633.

[101] 王小東，謝良，閆慧炯，等. 基于多任務(wù)輔助推理的近眼視線(xiàn)估計(jì)方法［J］. 北京航空航天大學(xué)學(xué)報(bào)， 2022， 48（6）：1030-1037.（WANG X D， XIE L， YAN H J， et al. Near?eye gaze estimation method based on multi?task auxiliary reasoning［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（6）：1030-1037.）

Review of eye movement?based interaction techniques for virtual reality systems

HOU Shouming1， JIA Chaolan1*， ZHANG Mingmin2

（1，，454003，；2，，310027，）

Eye movement?based human?computer interaction can enhance the immersion and improve comfort of users by using eye?movement characteristics， and the incorporating of eye movement?based interaction techniques in Virtual Reality （VR） system plays a vital role in the popularity of VR systems， which has become a research hotspot in recent years. Firstly， the principles and categories of VR eye movement?based interaction techniques were described， the advantages of combining VR systems with eye movement?based interaction techniques were analyzed， and the current mainstream VR head?mounted display devices and typical application scenarios were summarized. Then， based on the analysis of experiments related to VR eye tracking， the research hotspots of VR eye movement were summarized， including miniaturized equipment， diopter correction， lack of high?quality content， blurring and distortion of eyeball images， positioning accuracy and near?eye display system， and the corresponding solutions were prospected for those related hot issues.

computer vision; Virtual Reality (VR) system; eye tracking; human?computer interaction

This work is partially supported by National Key Research and Development Program of China （2018YFB1004900）， National Key Technologies of Henan（172102210273， 182102210310）， Training Program for Young Backbone Teachers in Higher Education Institutions in Henan Province （2018GGJS298）.

HOU Shouming， born in 1972， Ph. D.， professor. His research interests include engineering digitalization and simulation， virtual reality， augmented reality.

JIA Chaolan， born in 1995， M. S. Her research interests include computer vision， virtual reality， augmented reality.

ZHANG Mingmin， born in 1968， Ph. D.， senior engineer. Her research interests include virtual reality， human?computer interaction.

1001-9081（2022）11-3534-10

10.11772/j.issn.1001-9081.2021122134

2021?12?21；

2022?02?27；

2022?03?07。

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2018YFB1004900）；河南省科技攻關(guān)項(xiàng)目（172102210273， 182102210310）；河南省高校青年骨干教師培養(yǎng)計(jì)劃項(xiàng)目（2018GGJS298）。

TP391.9

A

侯守明（1972—），男，河南焦作人，教授，博士，CCF會(huì)員.主要研究方向：工程數(shù)字化與仿真、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)；賈超蘭（1995—），女，河南商丘人，碩士，主要研究方向：計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)；張明敏（1968—），女，浙江寧波人，高級(jí)工程師，博士，主要研究方向：虛擬現(xiàn)實(shí)、人機(jī)交互。