AR場景中的基礎(chǔ)態(tài)勢數(shù)據(jù)展示與優(yōu)化

安 宇，聶 蕓，王國偉

(華北計(jì)算技術(shù)研究所，北京 100083)

0 引 言

隨著計(jì)算機(jī)圖形學(xué)及相關(guān)技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)正在數(shù)據(jù)可視化領(lǐng)域中扮演越來越重要的角色。增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)技術(shù)是一種基于環(huán)境感知物理設(shè)備，利用三維建模技術(shù)，通過多種交互手段來把虛擬的場景疊加到真實(shí)的世界并且進(jìn)行實(shí)時(shí)交互的技術(shù)[1-3]。

態(tài)勢呈現(xiàn)廣義上是指對(duì)指定信息的二維或三維展現(xiàn)，作為本文研究重點(diǎn)的地理信息(包括地形、符號(hào)、紋理)呈現(xiàn)問題，是一種典型的態(tài)勢數(shù)據(jù)呈現(xiàn)問題[4-6]。傳統(tǒng)的地理信息態(tài)勢(簡稱態(tài)勢)呈現(xiàn)被要求精細(xì)地展現(xiàn)在AR的設(shè)備中。由于AR設(shè)備存在視野狹窄、計(jì)算和圖形處理能力不足的固有問題，將傳統(tǒng)的數(shù)字沙盤應(yīng)用到AR場景中會(huì)產(chǎn)生可視范圍內(nèi)地形增強(qiáng)邊界明顯、生成及更新過程緩慢、分辨率低的結(jié)果。

本文針對(duì)在AR場景中的三維地形生成過程效率低、可視化效果差的問題，通過動(dòng)態(tài)地形剖分技術(shù)，結(jié)合自然人機(jī)交互控制，提出一種高效的三維地形生成呈現(xiàn)算法，實(shí)現(xiàn)在AR場景中的三維地形高效生成，提高可視化效果。

1 增強(qiáng)現(xiàn)實(shí)與態(tài)勢呈現(xiàn)的發(fā)展

1.1 增強(qiáng)現(xiàn)實(shí)的發(fā)展

增強(qiáng)現(xiàn)實(shí)概念由波音公司于1992年提出，隨后確立了AR的3個(gè)主要特征：虛實(shí)融合、實(shí)時(shí)交互和三維注冊(cè)[7-8]。1999年在AR Toolkit項(xiàng)目中，初步實(shí)現(xiàn)了計(jì)算機(jī)跟蹤功能，之后應(yīng)用在塞班操作系統(tǒng)上，實(shí)現(xiàn)了移動(dòng)端的跟蹤注冊(cè)，由此擴(kuò)展了AR應(yīng)用的使用范圍[9-10]。在移動(dòng)平臺(tái)下應(yīng)用的SLAM算法,使得AR的三維空間定位能力進(jìn)一步增強(qiáng)，標(biāo)志著AR技術(shù)的進(jìn)一步成熟[11-13]。2012年谷歌的增強(qiáng)現(xiàn)實(shí)眼鏡Google Glass是移動(dòng)穿戴式AR設(shè)備的一個(gè)里程碑，其在用戶眼前展示實(shí)時(shí)信息的功能，受到了大眾的追捧，將穿戴式AR設(shè)備的發(fā)展推上了高潮，使得增強(qiáng)現(xiàn)實(shí)技術(shù)備受關(guān)注[14]。近年來又誕生了功能更強(qiáng)的微軟的增強(qiáng)現(xiàn)實(shí)眼鏡Hololens，其有著手動(dòng)追蹤、眼動(dòng)追蹤和語音交互的能力，相機(jī)具有顯示8百萬像素靜止圖像和1080P30的高清展現(xiàn)能力，進(jìn)一步地提高了用戶體驗(yàn)[15]。至此AR設(shè)備的應(yīng)用領(lǐng)域已經(jīng)十分廣泛[16-18]。

1.2 態(tài)勢呈現(xiàn)的發(fā)展

傳統(tǒng)態(tài)勢呈現(xiàn)的形式是地圖和沙盤。地圖是一個(gè)二維的展現(xiàn)方式，可以展現(xiàn)地理信息所處的平面坐標(biāo)系統(tǒng)位置。實(shí)物沙盤則是在地圖基礎(chǔ)上的進(jìn)一步發(fā)展，增加了態(tài)勢展現(xiàn)的維度，能概略地展現(xiàn)三維的地理信息，豐富了展現(xiàn)的內(nèi)容，可以模擬各種數(shù)據(jù)在三維空間中的位置[19-21]。隨著計(jì)算機(jī)技術(shù)的發(fā)展，又有了數(shù)字態(tài)勢展現(xiàn)的手段，可以在計(jì)算機(jī)中模擬真實(shí)的地理環(huán)境，使得態(tài)勢呈現(xiàn)的細(xì)節(jié)變得更加清晰[22-24]。隨著可穿戴的AR設(shè)備的發(fā)展，態(tài)勢呈現(xiàn)可以應(yīng)用在AR設(shè)備中，并且?guī)Ыo用戶豐富的視覺感知和聽覺感知體驗(yàn)，實(shí)現(xiàn)了用戶與態(tài)勢在真實(shí)場景下實(shí)時(shí)交互的功能。

2 增強(qiáng)態(tài)勢設(shè)計(jì)需求

2.1 增強(qiáng)態(tài)勢概念

增強(qiáng)態(tài)勢是為了滿足地理信息的三維化、高精度、全方位、全息展現(xiàn)和實(shí)時(shí)多交互手段的需求而提出的一種概念。它既具備三維數(shù)字態(tài)勢高清晰度、高分辨率的能力，又結(jié)合了增強(qiáng)現(xiàn)實(shí)的虛實(shí)融合、三維注冊(cè)、實(shí)時(shí)交互的功能來實(shí)現(xiàn)全息現(xiàn)實(shí)的任意角度展現(xiàn)，并進(jìn)一步通過物理設(shè)備的視線追蹤、手勢識(shí)別、語音識(shí)別完成了多感知手段和多控制手段的實(shí)時(shí)交互能力。

2.2 增強(qiáng)態(tài)勢關(guān)鍵指標(biāo)

1)軟硬件一致性。

相對(duì)于傳統(tǒng)設(shè)備，AR設(shè)備存在視野狹窄的問題，導(dǎo)致了數(shù)據(jù)富集程度高、增強(qiáng)邊界明顯等問題。因此在設(shè)計(jì)增強(qiáng)態(tài)勢的算法中要考慮在軟件中的顯示效果能否高效準(zhǔn)確地在硬件中顯示出來，確保在硬件上的顯示效果，從而實(shí)現(xiàn)軟件與硬件的一致性。

2)運(yùn)行魯棒性。

面對(duì)開發(fā)環(huán)境和運(yùn)行環(huán)境的顯示能力、計(jì)算能力、渲染能力不匹配的固有問題，研究軟件在硬件運(yùn)行環(huán)境下的魯棒性就要著重考慮設(shè)計(jì)增強(qiáng)現(xiàn)實(shí)算法中的性能優(yōu)化問題，通過減少軟件的運(yùn)行開銷來實(shí)現(xiàn)運(yùn)行環(huán)境的魯棒性。

3)人機(jī)交互的自適性。

由于地形往往都是很大的，而用戶所關(guān)注的地形位置與大小一直都在發(fā)生變化?；谶@樣的用戶需求，本文在增強(qiáng)態(tài)勢中定義了關(guān)鍵區(qū)域。關(guān)鍵區(qū)域是指，隨著用戶的視線距地形的距離以及投射到地形上的位置變化而自動(dòng)發(fā)生大小、位移變化的地形區(qū)域。這就要求在設(shè)計(jì)增強(qiáng)態(tài)勢的工作中，地形要有自適應(yīng)性。

3 關(guān)鍵技術(shù)及實(shí)現(xiàn)途徑

3.1 方案選型與架構(gòu)設(shè)計(jì)

本文的開發(fā)引擎選用的是Unity，基于其3D開發(fā)的專業(yè)性和多平臺(tái)發(fā)布的包容性，可以滿足本文三維地形開發(fā)并且發(fā)布到AR設(shè)備上的需求。本文提出的區(qū)域化算法是一種通用算法，可以在所有的AR平臺(tái)下使用。本文的頭戴式AR設(shè)備選用的是Hololens，基于其1080P30的高清展現(xiàn)能力和手動(dòng)追蹤、眼動(dòng)追蹤、語音交互的多種實(shí)時(shí)交互手段，可以滿足本文的高精度、高分辨率以及地形交互自適應(yīng)的要求。軟件架構(gòu)如圖1所示。

圖1 軟件架構(gòu)

本文方案的核心由3個(gè)部分組成：地形生成、分塊算法和區(qū)域化算法。通過對(duì)地理信息的輸入和處理，本文利用地形生成算法來進(jìn)行地形的生成。分塊算法是在地形生成的基礎(chǔ)上提出的一種算法，對(duì)地形進(jìn)行剖分，從而提高生成地形的清晰度。區(qū)域化算法是在分塊算法的基礎(chǔ)上進(jìn)行優(yōu)化的一種算法，對(duì)分塊算法在性能上進(jìn)行了優(yōu)化，并且可以在AR場景中與用戶進(jìn)行實(shí)時(shí)交互，從而精細(xì)、高效地生成用戶可視范圍內(nèi)的地形。

3.2 地形的生成

Unity中通常采用Terrain組件來表達(dá)地形信息，但是Terrain組件存在更新成本高、細(xì)節(jié)呈現(xiàn)能力弱等問題，因此不能滿足本文的表達(dá)要求。為了能夠便捷地進(jìn)行網(wǎng)格重構(gòu)以及接入業(yè)務(wù)控制邏輯，本文直接選用了Mesh組件作為地形表達(dá)的載體。Mesh模塊保存了構(gòu)成3D模型表面的多個(gè)順序相連的三角形面的點(diǎn)集、邊集等信息。Mesh模塊中有3個(gè)關(guān)鍵的數(shù)組，分別是頂點(diǎn)數(shù)組、三角形數(shù)組以及UV數(shù)組。頂點(diǎn)數(shù)組給出了Mesh網(wǎng)格中的每個(gè)點(diǎn)的三維坐標(biāo)，記錄了生成地形的每個(gè)點(diǎn)的位置信息。三角形數(shù)組給出了Mesh網(wǎng)格渲染的方式。UV數(shù)組是指紋理貼圖的坐標(biāo)，記錄了圖上點(diǎn)集的位置信息，同時(shí)給出了紋理貼圖的位置信息，將點(diǎn)集中的每一個(gè)點(diǎn)都映射到了3D模型的表面。Mesh模塊要求輸入一個(gè)高度圖Height Map來獲取每個(gè)地形的每個(gè)點(diǎn)對(duì)應(yīng)的高度信息，以及一個(gè)貼圖Diffuse Map，來給Mesh網(wǎng)格進(jìn)行貼圖渲染。獲取高度信息的時(shí)候，先對(duì)高度圖中的像素點(diǎn)進(jìn)行等間距采樣，然后獲取采樣得到的每個(gè)像素點(diǎn)的Red、Green、Blue顏色值，再通過公式(1)中的色彩心理學(xué)公式[25]將像素點(diǎn)的彩色值轉(zhuǎn)化為灰度值，從而計(jì)算出像素點(diǎn)的高度。

gray=0.3×r+0.59×g+0.11×b

(1)

其中g(shù)ray是像素點(diǎn)的灰度值，r、g、b是像素點(diǎn)的對(duì)應(yīng)的Red、Green、Blue顏色值。

通過以上步驟，該算法可以生成地形，是只生成一塊Mesh的單Mesh算法。但是該算法存在缺點(diǎn)：傳統(tǒng)意義下的Mesh生成的精度十分有限，因?yàn)槊恳粔KMesh都最多只有65,535個(gè)繪制的點(diǎn)，因此當(dāng)?shù)匦魏艽蟮臅r(shí)候，傳統(tǒng)Mesh生成的顯示效果將特別差，完全看不出任何細(xì)節(jié),因此需要提出一種新型的Mesh拼接方案。

3.3 Mesh分塊化算法

基于高分辨率、高清晰度的需求，本文提出Mesh分塊化算法作為一種新型的Mesh拼接方案來對(duì)Mesh的生成進(jìn)行優(yōu)化。一個(gè)大的地形由一塊塊小Mesh拼接而成。其中每一塊小Mesh都有65,535個(gè)繪制點(diǎn)，從而保證每個(gè)Mesh的清晰度。

Mesh分塊化算法的第一步是確立分塊數(shù)目N以及對(duì)高度圖Height Map和貼圖Diffuse Map進(jìn)行圖像切割。每個(gè)塊的編號(hào)記作λ(λ= 1,2,…,N)，該塊的起始點(diǎn)記為Ps，坐標(biāo)為(Xs，Ys)，終止點(diǎn)記為Pe，坐標(biāo)為(Xe，Ye)。

Xs=Ys=λmod sqrt(N)-1

(2)

Xe=Ye=λmod sqrt(N)

(3)

通過式(2)、式(3)的計(jì)算，可以根據(jù)每個(gè)分塊的編號(hào)計(jì)算出每個(gè)分塊的起始點(diǎn)坐標(biāo)，依次把大圖的像素點(diǎn)賦值給小圖從而完成圖像切割。

Mesh分塊化算法的第二步是進(jìn)行N塊小Mesh的生成，基于第一步得到的坐標(biāo)信息和對(duì)應(yīng)的2個(gè)小圖信息來給小Mesh的3個(gè)基礎(chǔ)數(shù)組進(jìn)行賦值，從而實(shí)現(xiàn)了N塊小Mesh的生成。

Mesh分塊化算法的第三步是對(duì)N塊小Mesh進(jìn)行拼接，從而得到一塊完整的大地形。由于生成的Mesh直接拼接邊緣會(huì)存在縫隙，因此需要對(duì)每個(gè)生成的小Mesh的坐標(biāo)進(jìn)行整體平移。設(shè)第λ個(gè)分塊的父節(jié)點(diǎn)為Pλ，坐標(biāo)為(Xλ，Yλ)。

Xλ=Xλ-λmod sqrt(N)+1

(4)

Yλ=Yλ-λmod sqrt(N)+1

(5)

通過式(4)、式(5)的計(jì)算，本文將每個(gè)小Mesh依據(jù)其對(duì)應(yīng)的編號(hào)λ，對(duì)整體進(jìn)行相應(yīng)的平移變換，從而完成了Mesh拼接。

分塊Mesh算法解決了生成的地形精度不足的問題，但是存在系統(tǒng)開銷大的問題。由于目前AR設(shè)備計(jì)算能力和圖形能力的不足，因此無法直接采用此算法進(jìn)行地形的生成。

3.4 自適應(yīng)Mesh區(qū)域化算法

區(qū)域化算法是基于分塊算法，為了降低系統(tǒng)開銷并且進(jìn)一步增強(qiáng)關(guān)鍵區(qū)域的顯示效果而實(shí)現(xiàn)的一種智能化分塊算法。由于AR設(shè)備存在視野狹窄的問題，本文需要對(duì)可視區(qū)域內(nèi)的地形進(jìn)行高效的精細(xì)化生成，并將人眼實(shí)際可視區(qū)域稱為關(guān)鍵區(qū)域。因此智能化分塊算法要先把一個(gè)大地形劃分為5塊區(qū)域，如圖2所示，分別為Top區(qū)域、Down區(qū)域、Left區(qū)域、Right區(qū)域和關(guān)鍵區(qū)域Key區(qū)域。然后對(duì)5個(gè)區(qū)域分別進(jìn)行Mesh生成，最后拼接成一塊大地形。

圖2 Mesh區(qū)域化示意圖

圖2中所示Key點(diǎn)所處的區(qū)域即為關(guān)鍵區(qū)域，Key點(diǎn)為關(guān)鍵點(diǎn)，是Hololens中的虛擬光標(biāo)與Mesh平面的交點(diǎn)，坐標(biāo)記為(Xkey，Ykey)，記關(guān)鍵區(qū)域面積為S。如圖3所示，人眼觀測Mesh區(qū)域時(shí)，視線交Mesh平面于點(diǎn)Key，距離為d。

圖3 人眼觀測Mesh區(qū)域示意圖

本實(shí)驗(yàn)的Mesh面積為100個(gè)單位。關(guān)鍵區(qū)域是在Hololens中的一個(gè)正方形可視范圍，其面積隨著人眼距Mesh平面距離的平方成正比。當(dāng)關(guān)鍵區(qū)域的面積不超過Mesh最大面積時(shí)，關(guān)鍵區(qū)域的面積正比于距離的平方。經(jīng)實(shí)驗(yàn)測得，當(dāng)d的值為10.1612、Key點(diǎn)設(shè)置為Mesh的中心點(diǎn)時(shí)，在Hololens中可以觀察到關(guān)鍵區(qū)域與Mesh區(qū)域恰好重疊。其中d的值可通過圖3的方法求出，故而，可以推導(dǎo)出一個(gè)實(shí)驗(yàn)公式(6)來計(jì)算關(guān)鍵區(qū)域的面積S：

(6)

從而可以進(jìn)一步通過公式(7)計(jì)算出第一行R1的y坐標(biāo)YR1，第二行R2的y坐標(biāo)YR2，第一列C1的x坐標(biāo)XC1,第二列C2的x坐標(biāo)XC2，從而確定了圖2中所有點(diǎn)的坐標(biāo)。然后根據(jù)Mesh分塊化算法完成Mesh的生成與拼接。

(7)

該算法通過自適應(yīng)關(guān)鍵區(qū)域的選擇，保證了可視范圍內(nèi)地形的精度，并且相比于分塊化算法大大減少了Mesh生成的數(shù)量，從而降低了系統(tǒng)開銷。

4 實(shí)驗(yàn)環(huán)境及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)的Unity的版本為2017.4.18f1 (64-bit)，所處的電腦關(guān)鍵配置如表1所示，使用的Hololens的關(guān)鍵參數(shù)如表2所示。

表1 開發(fā)環(huán)境配置清單

表2 運(yùn)行環(huán)境配置清單

4.2 實(shí)驗(yàn)結(jié)果展示

單Mesh算法、分塊化算法、區(qū)域化算法下的同區(qū)域顯示結(jié)果，如圖4所示。

(a) 單Mesh算法 (b) 分塊化算法 (c) 區(qū)域化算法圖4 3種算法下的顯示結(jié)果

本文的分塊化算法生成了100個(gè)Mesh，然后進(jìn)行拼接。如圖4所示，通過對(duì)比可以看出，單Mesh的顯示效果較差，紋理不清晰，分塊化算法下的顯示效果明顯優(yōu)于單Mesh的顯示效果，區(qū)域化算法下的顯示效果與分塊化算法下的顯示效果相比差異不大。

4.3 對(duì)比分析

圖5～圖7的橫坐標(biāo)都是每個(gè)Mesh中點(diǎn)的個(gè)數(shù)，單位是個(gè)。本實(shí)驗(yàn)通過控制Mesh中點(diǎn)的數(shù)量不同，產(chǎn)生了3種算法多組數(shù)據(jù)下的結(jié)果性能對(duì)比趨勢圖。圖5中的縱坐標(biāo)是GFX驅(qū)動(dòng)開銷，單位是MB。圖6中的縱坐標(biāo)是幀率，單位是fps。圖7中的縱坐標(biāo)是內(nèi)存消耗，單位是MB。通過對(duì)比分析，可以得出結(jié)論：區(qū)域化算法下新的地形與分塊化算法下的地形相比，大大降低了系統(tǒng)的開銷，并且相比于單Mesh的地形系統(tǒng)開銷差距不大。綜上所述，區(qū)域化算法在保障了顯示效果的同時(shí)，也降低了硬件設(shè)備的消耗。

圖5 3種算法下的GFX驅(qū)動(dòng)開銷

圖6 3種算法下的幀率

圖7 3種算法下的內(nèi)存開銷

5 結(jié)束語

本文介紹了一個(gè)新的概念——增強(qiáng)態(tài)勢，并且給出了增強(qiáng)態(tài)勢的實(shí)現(xiàn)方法與優(yōu)化方法。首先通過對(duì)3種算法生成結(jié)果的展示對(duì)比，得出區(qū)域化算法的顯示效果最優(yōu)。又通過改變每個(gè)小Mesh上的點(diǎn)的個(gè)數(shù)，生成了10組數(shù)據(jù)來對(duì)每種算法的性能消耗進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的區(qū)域化算法產(chǎn)生的結(jié)果在性能開銷上比分塊化算法有了顯著的降低，并且相比于單Mesh算法產(chǎn)生的結(jié)果在性能開銷上差距不大。因此，區(qū)域化算法是一種既可以保證增強(qiáng)態(tài)勢的顯示效果，又可以維持一個(gè)較小的硬件開銷的算法。本文的增強(qiáng)態(tài)勢為將來在真實(shí)空間中與態(tài)勢交互的研究打下了基礎(chǔ)，并且進(jìn)一步拓展了增強(qiáng)現(xiàn)實(shí)應(yīng)用的多樣性。