[武娟 劉曉軍 龐濤 錢鋒 陳學(xué)亮]
虛擬現(xiàn)實(shí)現(xiàn)狀綜述和關(guān)鍵技術(shù)研究
[武娟 劉曉軍 龐濤 錢鋒 陳學(xué)亮]
虛擬現(xiàn)實(shí)(VR)以其沉浸式體驗(yàn)帶來(lái)了全新的人機(jī)交互革命,被認(rèn)為是繼電腦和智能手機(jī)后下一代計(jì)算平臺(tái)。概述了VR技術(shù)的發(fā)展歷程、產(chǎn)品形態(tài)、組成結(jié)構(gòu)等,并深入研究其技術(shù)架構(gòu)及關(guān)鍵技術(shù)等,為科技人員全面了解VR技術(shù)發(fā)展和選取研究方向提供參考和借鑒。
虛擬現(xiàn)實(shí) 圖形渲染 定位技術(shù)
武娟
碩士,中國(guó)電信股份有限公司廣州研究院,高級(jí)工程師,主任,主要研究方向?yàn)樵朴?jì)算、互聯(lián)網(wǎng)及電信網(wǎng)絡(luò)技術(shù)、互動(dòng)新媒體技術(shù)等。
劉曉軍
碩士,中國(guó)電信股份有限公司廣州研究院,工程師,主要研究方向?yàn)樵朴?jì)算、互動(dòng)媒體技術(shù)、應(yīng)用虛擬化技術(shù)、虛擬現(xiàn)實(shí)等。
龐濤
碩士,中國(guó)電信股份有限公司廣州研究院,工程師,主要研究方向?yàn)闃I(yè)務(wù)承載網(wǎng)絡(luò)技術(shù)、互聯(lián)網(wǎng)應(yīng)用技術(shù)、云計(jì)算等。
錢鋒
碩士,中國(guó)電信股份有限公司廣州研究院,工程師,主要研究方向?yàn)榛?dòng)新媒體技術(shù)、云游戲、虛擬現(xiàn)實(shí)技術(shù)在游戲領(lǐng)域的應(yīng)用等。
陳學(xué)亮
中國(guó)電信股份有限公司廣州研究院。
虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality,簡(jiǎn)稱VR),綜合利用了圖形渲染技術(shù)、仿真技術(shù)、多媒體技術(shù)、并行處理技術(shù)、屏顯技術(shù)和定位技術(shù)等,生成具備真實(shí)模擬現(xiàn)實(shí)的三維互動(dòng)沉浸式環(huán)境。
VR概念由來(lái)已久,早在1960年就開(kāi)始萌芽,1989年美國(guó)JaronLanier正式提出虛擬現(xiàn)實(shí)概念。1980至1990年代,NASA推出了實(shí)驗(yàn)性頭盔、耳機(jī)、手套等VR初級(jí)設(shè)備,但受制于當(dāng)時(shí)芯片技術(shù)和加工工藝,需要采用昂貴的專業(yè)設(shè)備實(shí)現(xiàn),無(wú)法面向民用市場(chǎng)普及,主要應(yīng)用于軍事訓(xùn)練、飛機(jī)制造、航空航天等專業(yè)領(lǐng)域。
2014年以來(lái),隨著芯片技術(shù)發(fā)展和制造工藝水準(zhǔn)提升,消費(fèi)級(jí)GPU圖形渲染能力突飛猛進(jìn),而且具備基于GPU底層的編程能力,奠定了VR進(jìn)入民用市場(chǎng)的基礎(chǔ)。2014年3月26日,F(xiàn)acebook以 20億美元收購(gòu)了Oculus,成為行業(yè)的助推器和引爆點(diǎn)。全球VR設(shè)備公司猶如雨后春筍般層出不窮,資本市場(chǎng)億元投資與并購(gòu)異?;馃帷=?年來(lái),國(guó)內(nèi)涌現(xiàn)了數(shù)百家VR公司,先后推出了不下20~30款的VR設(shè)備產(chǎn)品,涵蓋了PC主機(jī)+頭盔、手機(jī)+頭盔和一體機(jī)等3種主流產(chǎn)品形態(tài)。
VR技術(shù)深受GPU巨頭、PC服務(wù)器廠商追捧,作為繼鼠標(biāo)+鍵盤、觸屏人機(jī)交互后,又一次跨時(shí)代革新,被寄予厚望成為新一代的計(jì)算平臺(tái)。在PC市場(chǎng)低迷、智能手機(jī)平穩(wěn)的背景下,視為重塑IT行業(yè)全新的產(chǎn)品形態(tài)和發(fā)展領(lǐng)域。
本文基于作者多年來(lái)對(duì)VR技術(shù)的追蹤和研究,從技術(shù)角度全面剖析其產(chǎn)品形態(tài)、功能架構(gòu)、關(guān)鍵技術(shù)等。其中第2節(jié)VR產(chǎn)品與現(xiàn)狀,講述VR產(chǎn)品組成、形態(tài)和性能參數(shù)等;第3節(jié)VR技術(shù)流程與框架,講述VR技術(shù)流程和技術(shù)框架;第4節(jié)VR關(guān)鍵技術(shù)研究,講述VR渲染、屏顯、定位等關(guān)鍵技術(shù);第5節(jié)最后小結(jié)全文,分析技術(shù)走向和未來(lái)趨勢(shì)。
圖1 VR產(chǎn)品組成
2.1 VR產(chǎn)品組成
VR產(chǎn)品包括計(jì)算設(shè)備、展示終端和輔助設(shè)備等3部分。計(jì)算設(shè)備,作為VR的計(jì)算核心,實(shí)現(xiàn)VR應(yīng)用邏輯運(yùn)算、圖形渲染、數(shù)據(jù)存儲(chǔ)與處理等,基于GPU/CPU硬件和虛擬現(xiàn)實(shí)軟件體系,實(shí)現(xiàn)VR應(yīng)用圖形化計(jì)算輸出;展示終端,一般以頭盔模式呈現(xiàn),包括顯示屏幕、光學(xué)鏡片、陀螺儀等,實(shí)現(xiàn)將計(jì)算設(shè)備輸出的VR應(yīng)用在用戶面前顯示出來(lái);輔助設(shè)備,包括各種動(dòng)作捕捉、手勢(shì)識(shí)別、定位感應(yīng)等設(shè)備,通過(guò)對(duì)用戶位置鎖定,位置和手勢(shì)判斷等,完成沉浸式用戶操控。
VR的產(chǎn)品形態(tài),主要根據(jù)其各自計(jì)算設(shè)備組成來(lái)劃分,一般包括PC/游戲主機(jī)、手機(jī)/PAD+頭盔、一體機(jī)等。
(1)PC/游戲主機(jī)+頭盔:作為當(dāng)前最主流的VR產(chǎn)品形式,依靠外接PC/游戲主機(jī)作為計(jì)算設(shè)備,頭盔主要完成圖像顯示、光學(xué)處理以及輔助設(shè)備鏈接等。相應(yīng)的PC主機(jī),主要是指配置了高端消費(fèi)級(jí)顯卡和CPU的電腦主機(jī);游戲主機(jī)是指用于鏈接電視運(yùn)行視頻游戲的運(yùn)行設(shè)備,包括PS 4和XBOX等。該種產(chǎn)品形態(tài)具有如下的優(yōu)缺點(diǎn):
① 優(yōu)點(diǎn):基于成熟的計(jì)算平臺(tái)(PC主機(jī)、游戲主機(jī)),計(jì)算能力較強(qiáng)、應(yīng)用開(kāi)發(fā)難度較低,VR設(shè)備(主要頭盔部分)不用考慮計(jì)算部分。
② 不足:價(jià)格較高,一臺(tái)滿足要求的PC主機(jī)動(dòng)輒上萬(wàn)元,加上頭盔+輔助設(shè)備,總共突破1.4萬(wàn)元以上,尚未達(dá)到市場(chǎng)普及的價(jià)位;受限于必須有線連接模式,局限于固定使用場(chǎng)景,無(wú)法移動(dòng)化也影響到其靈活性。
③ 代表產(chǎn)品:Oculus、HTC VIVE、3Gclass、PS VR等
(2)手機(jī)/PAD+頭盔:借助手機(jī)/PAD作為計(jì)算設(shè)備,并應(yīng)用手機(jī)/PAD內(nèi)置陀螺儀定位和屏幕顯示,頭盔僅內(nèi)置光學(xué)鏡片、用于手機(jī)/PAD固定裝置和其他效果增強(qiáng)系統(tǒng)等。該種產(chǎn)品形態(tài)具有如下的優(yōu)缺點(diǎn):
① 優(yōu)點(diǎn):具有移動(dòng)屬性,價(jià)格相對(duì)較低,一般介于30~1000元,適合作為高端移動(dòng)設(shè)備附屬產(chǎn)品,具有普及優(yōu)勢(shì)。
② 不足:受限于手機(jī)/PAD處理能力,VR應(yīng)用效果較差、無(wú)法提供精準(zhǔn)定位和優(yōu)質(zhì)手勢(shì)控制等操控。
③ 代表產(chǎn)品:三星Gear VR、暴風(fēng)魔鏡等。
(3)一體機(jī):將計(jì)算設(shè)備內(nèi)置于VR頭盔中,直接由頭盔完成從邏輯運(yùn)算、3D圖形渲染到屏幕展示的一體化功能。頭盔不僅需要內(nèi)置顯示屏幕、光學(xué)鏡片、陀螺儀等感應(yīng)設(shè)備,而且需要內(nèi)置計(jì)算芯片。該種產(chǎn)品形態(tài)具有如下的優(yōu)缺點(diǎn):
① 優(yōu)點(diǎn):具有移動(dòng)屬性,價(jià)格相對(duì)較為合理,一般3000元左右,達(dá)到市場(chǎng)可接受的程度。
② 不足:受限內(nèi)置芯片能力、電池耗電和發(fā)熱等因素,顯示效果相對(duì)PC主機(jī)+頭盔有所欠缺,用戶佩戴體驗(yàn)存在不足,使用時(shí)長(zhǎng)有所局限。
③ 代表產(chǎn)品:靈境小黑、暴風(fēng)魔王、星輪等。
一體機(jī)模式,是采用PC/主機(jī)+頭盔和手機(jī)/PAD+頭盔折中的方法,一般基于主流的移動(dòng)芯片,相對(duì)而言存在處理能力上的缺陷與不足,目前主要是國(guó)內(nèi)數(shù)十家廠商在嘗試;國(guó)外廠商主要集中于PC/游戲主機(jī)+頭盔模式。
國(guó)外市場(chǎng),尤其歐美市場(chǎng)受眾于視頻游戲愛(ài)好者,而且價(jià)格敏感性不高,PC/主機(jī)+頭盔模式將成為主要產(chǎn)品形態(tài);國(guó)內(nèi)市場(chǎng),價(jià)格敏感性較高,未來(lái)很可能需要高端手機(jī)免費(fèi)贈(zèng)送VR設(shè)備的模式加以普及。
2.2 VR產(chǎn)品性能參數(shù)
VR本質(zhì)是構(gòu)建一個(gè)模擬真實(shí)環(huán)境的虛擬3D世界,并給予用戶沉浸式(手勢(shì)、聲音、眼球)等操控的創(chuàng)新人機(jī)交互過(guò)程。計(jì)算部分,不管是PC/游戲主機(jī)、手機(jī)終端或自帶芯片,都是采用市面常見(jiàn)的固網(wǎng)或移動(dòng)通用芯片,并主要由Intel、Nvidia、高通、海思等提供,并非是VR廠商及VR產(chǎn)品主要側(cè)重的領(lǐng)域。相反作為顯示能力展現(xiàn)的VR頭盔,則成為VR廠商體現(xiàn)能力和技術(shù)水平的主戰(zhàn)場(chǎng)。因此VR產(chǎn)品性能評(píng)價(jià)參數(shù),也主要是集中于顯示部分,不過(guò)某種程度上也體現(xiàn)了相應(yīng)VR計(jì)算設(shè)備的計(jì)算能力。
(1)分辨率:分辨率是衡量顯示屏幕最重要參數(shù)之一,不過(guò)存在屏幕尺寸大小不一的現(xiàn)象,因此該參數(shù)無(wú)法單一準(zhǔn)確展現(xiàn)顯示效果優(yōu)劣,需要考慮屏幕尺寸等其他因素。目前常見(jiàn)的VR頭盔1080P是最低配置,一般都要達(dá)到2K,甚至4K水準(zhǔn)。
(2)刷新率:作為電子束對(duì)屏幕上的圖像重復(fù)掃描的次數(shù)的指標(biāo),直接影響模擬環(huán)境的代入感,60Hz是最低要求,優(yōu)秀的產(chǎn)品達(dá)到75~100Hz。
(3)延遲:是指從用戶頭部移動(dòng)開(kāi)始,一直到顯示的光學(xué)信號(hào)映射到人眼,并被用戶感知的等待時(shí)間(latency time)。延遲會(huì)影響用戶注意力,較大時(shí)會(huì)產(chǎn)生眩暈?!?0ms即為行業(yè)最低的要求,也是不產(chǎn)生眩暈感的基本要求。
(4)PPI (Pixels Per Inch):每英寸所擁有的像素?cái)?shù)量,數(shù)值越高,擬真度就越高。圖像擬真度,是用戶大腦通過(guò)視覺(jué)體現(xiàn)認(rèn)可的虛擬真實(shí)性主要基礎(chǔ)。如其數(shù)值不高,虛擬場(chǎng)景沒(méi)有代入感,加上大腦對(duì)人體位置、動(dòng)作等失配判斷,就很難實(shí)現(xiàn)沉浸效果。
表1給出了市面上具有代表性的VR設(shè)備的相關(guān)參數(shù)對(duì)比及芯片的主要組成。其中Oculus Rift DK2是PC主機(jī)+頭盔的產(chǎn)品形態(tài),PS VR是游戲主機(jī)+頭盔的產(chǎn)品形態(tài),三星 Gear VR是典型的手機(jī)+頭盔的產(chǎn)品形態(tài),靈境小黑是VR一體機(jī)的產(chǎn)品形態(tài)。
表1 主流VR產(chǎn)品性能參數(shù)屬性
VR設(shè)備相關(guān)參數(shù)能力的提升,除了必須依賴于底層芯片計(jì)算設(shè)備的能力外,還需要屏顯、定位等關(guān)鍵技術(shù)發(fā)展,該部分內(nèi)容將在后續(xù)章節(jié)展開(kāi)。
3.1 VR技術(shù)流程
VR的技術(shù)實(shí)現(xiàn)過(guò)程,是以用戶角度展開(kāi),從發(fā)起VR服務(wù)請(qǐng)求開(kāi)始,到完成沉浸式互動(dòng),并將虛擬環(huán)境在用戶面前展現(xiàn)成功為結(jié)束。
整個(gè)VR技術(shù)實(shí)現(xiàn)過(guò)程,主要包括如下主要節(jié)點(diǎn):
(1)監(jiān)測(cè)與傳感:對(duì)用戶發(fā)起VR請(qǐng)求的事件進(jìn)行反饋,通過(guò)陀螺儀、定位傳感器等設(shè)備感知用戶頭部當(dāng)前位置和視覺(jué)范圍等,為實(shí)現(xiàn)與顯示出來(lái)的虛擬環(huán)境對(duì)應(yīng)提供依據(jù)。
圖2 VR技術(shù)實(shí)現(xiàn)流程
(2)虛擬環(huán)境生成:該部分主要由VR PC/游戲主機(jī)、手機(jī)等計(jì)算設(shè)備完成。為了達(dá)到比較優(yōu)質(zhì)的VR虛擬環(huán)境,渲染的圖像是一般游戲的8倍以上,因此需要預(yù)先處理。首先通過(guò)圖形模塊間的邏輯關(guān)系和對(duì)應(yīng)算法,初步完成建模;接著主要基于GPU并行能力完成圖形的渲染;最后根據(jù)用戶視覺(jué)范圍,對(duì)應(yīng)生成適合用戶要求的虛擬世界。
(3)虛擬環(huán)境展示:主要由顯示頭盔完成,借助頭盔屏幕或手機(jī)屏幕實(shí)現(xiàn)將渲染出來(lái)的虛擬環(huán)境顯示出來(lái),依靠?jī)?nèi)置光學(xué)鏡頭和相應(yīng)光學(xué)算法,實(shí)現(xiàn)二維圖像的三維化和廣角立體化。該部分實(shí)現(xiàn)的用戶視覺(jué)廣度、刷新率以及顯示延遲等,都直接影響到用戶的感知,避免用戶眩暈是關(guān)鍵所在。
(4)多元互動(dòng)模式:構(gòu)建了現(xiàn)實(shí)世界與虛擬世界之間的人機(jī)交互機(jī)制,包括各種智能化的傳感器、定位機(jī)制和普通的操控手柄等。傳感器中陀螺儀是較為核心的部件,內(nèi)置頭盔中實(shí)時(shí)監(jiān)測(cè)用戶頭部運(yùn)動(dòng)和姿態(tài)變化,以便實(shí)現(xiàn)虛擬畫面與用戶視角的一致性;用于手勢(shì)識(shí)別、動(dòng)作捕捉的各種傳感器及操控手柄等,用于采集用戶操控,并與虛擬環(huán)境完成交互。
上述四大節(jié)點(diǎn),除了第2點(diǎn)虛擬環(huán)境生成主要由VR計(jì)算設(shè)備實(shí)現(xiàn)外,其他主要環(huán)節(jié)均由VR頭顯實(shí)現(xiàn),因此對(duì)于國(guó)內(nèi)外VR廠商而言,其研發(fā)的重點(diǎn)和主要的產(chǎn)品形態(tài)也是集中于VR頭顯部分。
3.2 VR技術(shù)框架
VR技術(shù)實(shí)現(xiàn)是以現(xiàn)有的機(jī)器計(jì)算、圖像渲染能力為基礎(chǔ),當(dāng)前VR產(chǎn)業(yè)爆發(fā)也是基于消費(fèi)級(jí)芯片,尤其是GPU處理能力成倍提升;借助OLED、LCD等屏幕技術(shù)發(fā)展,并輔助光學(xué)立體成像技術(shù)和算法,實(shí)現(xiàn)三維立體化輸出;依靠激光定位技術(shù)、人體追蹤等技術(shù),實(shí)現(xiàn)現(xiàn)實(shí)世界和虛擬世界的互動(dòng)交互。VR整體技術(shù)框架如圖3所示。
圖3 VR技術(shù)框架
(1)計(jì)算設(shè)備:基于智能化操作系統(tǒng)、底層芯片能力訪問(wèn)的驅(qū)動(dòng)接口,采用Unity3D、Unreal等支持VR渲染的中間件,實(shí)現(xiàn)虛擬現(xiàn)實(shí)場(chǎng)景的邏輯計(jì)算和圖像渲染。
① 邏輯運(yùn)算:處理VR計(jì)算過(guò)程中各種邏輯關(guān)系和算法,包括應(yīng)用啟動(dòng)、圖形拼接關(guān)系、數(shù)值屬性、操控反饋邏輯、眼球聚焦運(yùn)算等,為VR奠定邏輯基礎(chǔ)。
② 圖形渲染:隨著GPU核心數(shù)量、顯存能力不斷提升,其圖形渲染成倍增長(zhǎng),具備了支撐8*4K圖形的同時(shí)渲染運(yùn)算能力,為VR發(fā)展奠定了基礎(chǔ)。該部分是計(jì)算設(shè)備的核心部分,也是VR得以發(fā)展的技術(shù)保證。
(2)展示設(shè)備:依托高清屏顯技術(shù)發(fā)展,將渲染出來(lái)的虛擬場(chǎng)景清晰化輸出,并依靠立體光學(xué)成像實(shí)現(xiàn)三維立體化,借助陀螺儀等設(shè)備追蹤用戶頭部位置變化實(shí)現(xiàn)視野范圍和角度更新。
① 屏顯技術(shù):業(yè)界分為OLED、LCD兩大不同陣營(yíng),其中國(guó)際大廠主推OLED,國(guó)內(nèi)主流廠商傾向于LCD。兩種材質(zhì)各有所長(zhǎng),后續(xù)章節(jié)中將重點(diǎn)剖析。
② 頭部定位:該部分技術(shù)較為成熟,直接來(lái)源于智能手機(jī)陀螺儀技術(shù)延伸,只不過(guò)相關(guān)刷新率要求達(dá)到1kHz以上。
③ 立體光學(xué)成像:一般采用雙面立體成像法,采用兩個(gè)非球面鏡片和兩眼分離機(jī)制,并輔助相應(yīng)的光學(xué)算法實(shí)現(xiàn)虛擬場(chǎng)景的立體三維化,并具有空間感。
(3)輔助設(shè)備:即包括傳統(tǒng)手柄方式力反饋輸入,又包括各種光學(xué)傳感器智能化定位和手眼追蹤等。
① 位置定位:包括采用攝像頭+感應(yīng)光點(diǎn)的可視光定位和采用激光+激光感應(yīng)器的定位等多種方法,實(shí)現(xiàn)對(duì)采用VR活動(dòng)的人體前后左右上下的全維度肢體跟蹤和動(dòng)作掃描。
② 手眼跟蹤:手勢(shì)跟蹤部分,一般采用Xbox Kinnet等體感相似的處理技術(shù)實(shí)現(xiàn)對(duì)用戶手勢(shì)變化實(shí)時(shí)判斷,并轉(zhuǎn)化成為VR應(yīng)用操控方法。人眼跟蹤主要是通過(guò)對(duì)人眼球轉(zhuǎn)動(dòng)精確獲取,從而判斷用戶的操控意圖,該技術(shù)目前還在發(fā)展過(guò)程中,尚未成熟。
③ 觸覺(jué)、力反饋:該部分屬于VR應(yīng)用對(duì)操控輸入反饋輸出部分,普通包括手柄上力反饋;以及與騎行、飛行等應(yīng)用相關(guān)的觸覺(jué)、人體位置的反饋等。
下一章將集中針對(duì)VR渲染技術(shù)、屏顯技術(shù)和定位技術(shù)等關(guān)鍵技術(shù)進(jìn)行研究和剖析。
VR技術(shù)呈現(xiàn)以渲染能力提升和技術(shù)發(fā)展為基礎(chǔ),屏顯技術(shù)完善為展現(xiàn)依托,豐富的智能定位技術(shù)為互動(dòng)保證,虛化了虛擬世界和真實(shí)世界的界限,使之達(dá)到某種程度上的融合。
4.1 VR渲染技術(shù)
雖然GPU處理能力得到了迅猛提升,但還存在處理能力和價(jià)格高企的普及瓶頸。當(dāng)前主要的技術(shù)研究方向,都集中在降低GPU消耗的基礎(chǔ)上,確保更多的計(jì)算平臺(tái)具有支持VR的能力。Nvidia推出了MRS(multi-resolution shading),即多重分辨率著色渲染技術(shù),采用分區(qū)域差別分辨率的方法,降低消耗;為了提升精確度,國(guó)內(nèi)外廠商分別提出相似的解決方案,其中典型代表為國(guó)內(nèi)某公司研發(fā)的焦點(diǎn)渲染(Foveated rendering)技術(shù)。
(1)多重分辨率著色渲染技術(shù):采用將將整體渲染畫面分區(qū)域模式,按照從中央到兩邊采用不同的分辨率方法,降低GPU渲染壓力。
① 技術(shù)原理:MRS技術(shù)不再將整個(gè)畫面以相同的分辨率渲染,而是分區(qū)域采用差異化處理,人眼看到的主要中央?yún)^(qū)域,以完整的高分辨率,邊緣則以更低質(zhì)量進(jìn)行渲染。
② 硬件支持:使用Nvidia Maxwell架構(gòu)的顯卡,包括GeForce Titan X和GTX 900等系列
③ 應(yīng)用效果:據(jù)稱效率提高大概50%左右,如原來(lái)渲染90幀/秒,采用MRS技術(shù)可以做到140幀/秒左右
(2)焦點(diǎn)渲染技術(shù):主要針對(duì)多重分辨率著色渲染技術(shù)渲染區(qū)域劃分較為粗糙,采用眼球追蹤技術(shù)使之精細(xì)化。
① 技術(shù)原理:在MRS基礎(chǔ)之上,使用眼球追蹤技術(shù)開(kāi)發(fā)出以人眼關(guān)注的焦點(diǎn)區(qū)域采用高分辨率,其他區(qū)域逐步從焦點(diǎn)向外遞減的渲染技術(shù),進(jìn)一步縮小高清渲染的范圍,并且提升用戶體驗(yàn)
② 應(yīng)用效果:據(jù)稱可以將渲染像素降低到MRS方案的10%左右,將當(dāng)前可以支撐VR的PC設(shè)備從當(dāng)前僅有的10%提升至30%
③ 其他相似技術(shù): Tobii、SMI、FOVE和Eyefluence等。
4.2 VR屏顯技術(shù)
VR顯示屏幕主要包括OLED、LCD兩種類型,其中OLED采用有源陣列有機(jī)發(fā)光能夠做到低余暉,不過(guò)在每個(gè)像素間存在分割網(wǎng)格的問(wèn)題;LCD采用背投光源顯示,每個(gè)像素都被動(dòng)發(fā)光,相對(duì)較為容易產(chǎn)生嚴(yán)重余暉現(xiàn)象。從業(yè)界選擇趨勢(shì)來(lái)看,似乎OLED是主流,不過(guò)國(guó)內(nèi)廠商可能受制于訂貨量和價(jià)格因素,還有很多采用LCD屏。
(1)LCD
① 屏顯原理:普通的液晶顯示屏(LCD)是一種介于固態(tài)與液態(tài)之間的物質(zhì),本身是不發(fā)光的,需借助要背光燈才行。因其無(wú)法控制到每個(gè)像素,當(dāng)每一幀像素都在發(fā)光時(shí),就會(huì)出現(xiàn)余暉,所以,LCD也被稱為“全余暉”顯示。
② 優(yōu)點(diǎn):整體顯示無(wú)網(wǎng)格,場(chǎng)景亮點(diǎn)較高。
③ 缺點(diǎn):余輝嚴(yán)重,延遲長(zhǎng)。
(2)OLED
① 屏顯原理:無(wú)需背光燈,具有自發(fā)光的特性,所以O(shè)LED可以做到低余暉顯示,并且它的響應(yīng)時(shí)間是LCD的千分之一,顯示運(yùn)動(dòng)畫面不會(huì)有拖影等現(xiàn)象。
② 優(yōu)點(diǎn):低余輝,顯示延遲短。
③ 缺點(diǎn):每個(gè)像素間都會(huì)有網(wǎng)格,需調(diào)低顯示亮度。
雖然OLED屬于低余暉顯示,但為了達(dá)到更好地顯示效果,實(shí)現(xiàn)VR虛擬環(huán)境與真實(shí)人眼看到的實(shí)際環(huán)境在亮度、參考物體無(wú)限接近,還是需要進(jìn)行低余暉處理,當(dāng)前主要包括如下技術(shù)解決辦法:
(1)提高刷新率:將刷新率提升到100Hz,讓虛擬物品運(yùn)動(dòng)更加接近真實(shí)世界;
(2)設(shè)置參照系:模擬人腦預(yù)測(cè)掃視的物品位置時(shí),需要參照物的特點(diǎn),在虛擬場(chǎng)景中設(shè)置相對(duì)比較靜止的參照物,能夠讓人腦便于接受虛擬實(shí)際中的運(yùn)動(dòng)變化;
(3)雙屏顯示:采用兩個(gè)屏幕,采用更接近現(xiàn)實(shí)的光場(chǎng)模式,雙眼各自通過(guò)不同屏幕看到場(chǎng)景,能讓用戶的眼睛可以隨意對(duì)焦在視野中任一焦點(diǎn),避免單屏幕雙眼觀看同一場(chǎng)景在疊加過(guò)程中,場(chǎng)景無(wú)差別造成的大腦不適的現(xiàn)象。
目前在VR顯示方面,遠(yuǎn)未達(dá)到理想的狀態(tài),一般使用者需每隔10分鐘中止休息,未來(lái)依然是業(yè)界主要研究的重點(diǎn)方向。
4.3 VR定位技術(shù)
VR沉浸式體驗(yàn)主要來(lái)自于立體化顯示和精準(zhǔn)的定位技術(shù),使得用戶產(chǎn)生的自身身體運(yùn)動(dòng)融入VR虛擬環(huán)境中,主要定位技術(shù)有:紅外定位、激光定位、可見(jiàn)光定位、低功耗藍(lán)牙定位等。
(1)紅外定位
① 技術(shù)原理:利用多個(gè)紅外發(fā)射攝像頭、覆蓋室內(nèi)定位空間,在被追蹤物體上放置紅外反光點(diǎn),通過(guò)捕捉反光點(diǎn)紅外反射影像,確定用戶在空間中的位置。
② 優(yōu)點(diǎn):定位精度高,如果采用幀率很高的攝像頭,延遲也很低,具有較好的效果
③ 缺點(diǎn):造價(jià)較為昂貴,一個(gè)120幀的攝像頭,造價(jià)超過(guò)1000美元
④ 應(yīng)用情況:VR影視制作、動(dòng)畫錄制等商用方向
(2)激光定位
① 技術(shù)原理:利用激光發(fā)射器(定位光塔),發(fā)射橫豎兩個(gè)方向的激光,被定位物體上安置多個(gè)激光感應(yīng)接收器,通過(guò)計(jì)算兩束光線到達(dá)定位物體的角度差,計(jì)算出待測(cè)定位節(jié)點(diǎn)在定位空間中的坐標(biāo)。
② 優(yōu)點(diǎn):成本低,定位精度高(mm級(jí))
③ 缺點(diǎn):需要一定封閉空間,例如HTC Vive的Lighthouse需要5*5m空間,而且會(huì)有多人遮擋的問(wèn)題
④ 應(yīng)用情況:HTC Vive的Lighthouse和G-Wearables的Step VR等
(3)可見(jiàn)光定位
① 技術(shù)原理:用攝像頭拍攝室內(nèi)場(chǎng)景,追蹤主動(dòng)發(fā)光的標(biāo)記點(diǎn)(類似小燈泡),通過(guò)實(shí)時(shí)獲取針對(duì)不同位置不同顏色的標(biāo)記點(diǎn)位置,實(shí)現(xiàn)物體定位
② 優(yōu)點(diǎn):算法簡(jiǎn)單、價(jià)格便宜、容易擴(kuò)展
③ 缺點(diǎn):精度方面不如激光和紅外方式
④ 應(yīng)用情況:The Void,Zero Latency 和很多國(guó)內(nèi)的線下VR體驗(yàn)店等
(4)低功耗藍(lán)牙定位
① 技術(shù)原理:通過(guò)接收低功耗藍(lán)牙通信功能的設(shè)備發(fā)送特有ID,利用算法軟件計(jì)算跟蹤物體的位置
② 優(yōu)點(diǎn):移動(dòng)性強(qiáng),高端手機(jī)支持
③ 缺點(diǎn):精度低、對(duì)終端有一定要求
④ 應(yīng)用領(lǐng)域:在VR領(lǐng)域很少被應(yīng)用
此外還有一些定位技術(shù),比如Wifi定位、射頻識(shí)別技術(shù)、UWB技術(shù)、ZigBee技術(shù)等等,但都存在精度有限的問(wèn)題,在VR領(lǐng)域很少被應(yīng)用。
本文簡(jiǎn)要概括了虛擬現(xiàn)實(shí)(VR)技術(shù)發(fā)展歷程、產(chǎn)品構(gòu)成、產(chǎn)品形態(tài)和產(chǎn)品性能參數(shù)等相關(guān)內(nèi)容;隨后分析和研究了技術(shù)實(shí)現(xiàn)流程、總體技術(shù)框架等;最后重點(diǎn)研究了VR渲染、屏顯和定位等關(guān)鍵技術(shù)。VR行業(yè)未來(lái),還需在圖形渲染技術(shù)、屏顯低余暉技術(shù)和精確便捷定位技術(shù)等方面不斷完善,才能最終達(dá)到VR產(chǎn)品的公眾消費(fèi)市場(chǎng)的普及。
1 C.Guger,G.Edlinger,W.Harkam,I.Niedermayer,andG.Pf urtscheller,“Howmanypeopleareabletooperatean EEG-basedbrain-computerinterface(BCI)?,”IEEETrans.NeuralSyst.Rehabil.Eng.,vol.11,no.2,pp.145-147,Jun.2003
2 H.Gürk?kandA.Nijholt,“Brain-computerinterfacesformultimodal interaction:Asurveyandprinciples,”Int.J.Human-Comput.Interac-tion,vol.28,no.5,pp.292-307,2012
3 A.Lécuyer,F(xiàn).Lotte,R.Reilly,R.Leeb,M.Hirose,andM.Slater,“Brain-computerinterfaces,virtualreality,andvideogames,”Com-puter,vol.41,no.10,pp.66-72,2008
4 R.Scherer,M.Proll,B.Allison,andG.Muller-Putz,“Newinput modalitiesformoderngamedesignandvirtualembodiment,”inProc.IEEEVirtualRealityWorkshop,Mar.2012,pp.163-164
5 吳家鑄、黨崗、劉華峰等.視景仿真技術(shù)及應(yīng)用.西安: 西安電子科技大學(xué)出版社2001年
6 宋志明,康鳳舉.Vega開(kāi)發(fā)環(huán)境的擴(kuò)展研究,系統(tǒng)仿真學(xué)報(bào),2004年 16(1),2004.01 :178-179
表3 布吉片區(qū)仿真數(shù)據(jù)
圖4 布吉站點(diǎn)數(shù)與均值關(guān)系
由圖4可知,隨著區(qū)域內(nèi)站點(diǎn)數(shù)增多,RSRP均值逐步上升,SINR達(dá)到峰值8.41dB后開(kāi)始下降,此時(shí)區(qū)域內(nèi)站點(diǎn)數(shù)為120個(gè),平均站間距為342米。
(3)小結(jié)
本次選取東門和布吉作為密集城區(qū)和一般城區(qū)的樣本,通過(guò)仿真驗(yàn)證及分析可知:當(dāng)某一片區(qū)內(nèi)站點(diǎn)數(shù)持續(xù)增加時(shí),該片區(qū)內(nèi)RSRP指標(biāo)會(huì)持續(xù)上升,但SINR指標(biāo)增加到某一閾值后邊開(kāi)始下降,這意味著該片區(qū)內(nèi)重疊覆蓋增多、干擾增加,用戶感知開(kāi)始下降,因此可將SINR閾值所對(duì)應(yīng)的站點(diǎn)數(shù)和站間距作為該類型區(qū)域所能容納的最大站點(diǎn)數(shù)和極限站間距。綜合上述分析,針對(duì)深圳建筑特點(diǎn),建議密集市區(qū)FDD LTE網(wǎng)絡(luò)站間距不小于280米,一般市區(qū)FDD LTE網(wǎng)絡(luò)站間距不小于350米。
在國(guó)內(nèi),LTE網(wǎng)絡(luò)采用同頻組網(wǎng)方式,在頻譜資源相同的情況下,決定最終用戶體驗(yàn)差異的是網(wǎng)絡(luò)的頻譜效率,頻譜效率在很大程度上取決于網(wǎng)絡(luò)內(nèi)中高端SINR的占比。從上述仿真中可知,區(qū)域內(nèi)站點(diǎn)數(shù)持續(xù)增加后,SINR最終會(huì)下降,即網(wǎng)絡(luò)頻譜效率最終下降,影響用戶體驗(yàn)。因此,嚴(yán)格控制站間距,結(jié)合合理取值的站點(diǎn)下傾角和方位角,減小系統(tǒng)間干擾,是提升網(wǎng)絡(luò)性能的關(guān)鍵。
(收稿日期:2016-07-19)
10.3969/j.issn.1006-6403.2016.08.011
2016-07-20)