單人背包式三維全景技術在室內(nèi)虛擬三維場景中的應用

胡宇楠，陶永亮，胡曉明，關鴻亮

(1. 首都師范大學三維信息獲取與應用教育部重點實驗室，北京 100037；

2. 縱橫皆景(北京)信息技術有限公司，北京 100037)

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

單人背包式三維全景技術在室內(nèi)虛擬三維場景中的應用

胡宇楠1，陶永亮2，胡曉明2，關鴻亮1

(1. 首都師范大學三維信息獲取與應用教育部重點實驗室，北京 100037；

2. 縱橫皆景(北京)信息技術有限公司，北京 100037)

Application of Single Knapsack Three-dimensional Panorama Technology in Indoor Virtual 3D Scene

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

摘要：近年來，三維全景技術發(fā)展如火如荼，許多互聯(lián)網(wǎng)公司紛紛推出自己的街景地圖服務。這些街景數(shù)據(jù)大多是利用車載平臺上搭載的CCD傳感器采集得到的。在汽車無法駛?cè)氲牡胤?，如狹窄的街道、胡同，以及酒店、博物館等室內(nèi)場景，全景數(shù)據(jù)是無法采集到的。針對當前車載全景采集平臺的不足，本文提出了單人背包式全景采集方式，介紹了該采集方式的特點和應用，描述了通過krpano利用背包采集的影像數(shù)據(jù)創(chuàng)建北京某主題酒店室內(nèi)虛擬三維全景的全過程，并將三維全景技術與GIS和主流的虛擬現(xiàn)實技術(VR)進行了比較和探討。

引文格式： 胡宇楠，陶永亮，胡曉明，等. 單人背包式三維全景技術在室內(nèi)虛擬三維場景中的應用[J].測繪通報，2015(9)：68-71.DOI:10.13474/j.cnki.11-2246.2015.0282

關鍵詞：背包式；三維全景技術；GIS；虛擬現(xiàn)實(VR)

中圖分類號：P237

文獻標識碼：B

文章編號：0494-0911(2015)09-0068-04

收稿日期：2014-07-28

作者簡介：胡宇楠(1990—)，男，碩士生，主要研究方向為三維全景技術在GIS中的應用。E-mail：13464890486@163.com

一、引言

近年來，三維全景技術發(fā)展迅速，國內(nèi)外許多互聯(lián)網(wǎng)公司紛紛推出了自己的街景地圖服務，如國外的谷歌街景和微軟Bing街景。谷歌街景的采集范圍最廣，已覆蓋了全球50多個國家，3000多個城市。微軟的Bing街景數(shù)據(jù)采集范圍相對較小，但采用了創(chuàng)新性的Street Slide技術，使用遠景視角將街道縮放成絲帶狀，能更好地看清街道立面的布局，而且還提供街道標注，如門牌號、公司名和Logo等。國內(nèi)提供街景服務的主要有騰訊地圖、百度地圖、高德地圖和天地圖等公司。

三維全景技術是目前迅速發(fā)展并逐步流行的一個虛擬現(xiàn)實分支，它是一種桌面虛擬現(xiàn)實技術，并不是真正意義上的三維圖形技術[1]。三維全景技術交互性強，相對于之前的地圖展現(xiàn)方式，是一個很大的進步，給用戶帶來了照片級的真實感，提升了用戶體驗。該技術廣泛應用于空間信息服務的諸多方面，如景區(qū)游覽、智能交通、房產(chǎn)展示、酒店介紹等，但其在數(shù)據(jù)采集方面存在一些缺陷。由于受采集設備體型龐大的限制，一些狹窄的街道、公園、小區(qū)、景區(qū)、室內(nèi)場館等場所，采集車無法進入。采用支架式相機360°環(huán)繞拍攝固然是一種解決辦法，但是效率不高，無法滿足大范圍數(shù)據(jù)采集的需求。單人背包式全景數(shù)據(jù)采集系統(tǒng)彌補了上述不足，且具有便攜、輕巧、實用性強等特點，適用于室內(nèi)場景和狹窄街區(qū)等類似場所的數(shù)據(jù)采集。圖1為單人背包式全景數(shù)據(jù)采集設備的結構圖，將全景相機盒固定在背包架上，采用與采集車相同的固定方式來確保拍攝的穩(wěn)定性。

圖1　單人背包式全景數(shù)據(jù)采集設備的結構

二、室內(nèi)三維全景制作流程

數(shù)據(jù)采集的地點為北京某主題酒店。通過創(chuàng)建的室內(nèi)虛擬場景，可以直觀地了解酒店的情況，并提供相關的熱點鏈接，實現(xiàn)了三維全景與二維地圖的聯(lián)動，協(xié)助用戶進行空間導航。具體的制作過程分為數(shù)據(jù)采集、拼接、切片、交互4個步驟。

1. 數(shù)據(jù)采集

拍攝前收集好酒店及其周邊環(huán)境的相關資料，對酒店格局作大概了解，并根據(jù)酒店消防圖預先規(guī)劃好拍攝路線，在采集圖上做好標注。設備經(jīng)檢查無誤，相機參數(shù)配置好后即按照制定好的采集路線進行數(shù)據(jù)采集。需要注意的是，由于單人背包式采集設備不像云臺三角架式采集設備那樣有穩(wěn)定的支撐，因此，采集時必須調(diào)整好姿勢，使電子羅盤保持水平，身體盡量不要晃動。采集過程中在圖紙上實時標注已經(jīng)采集的點。采集數(shù)據(jù)后進行數(shù)據(jù)的檢查和整理，如果存在虛焦、污點的現(xiàn)象，需要重新進行數(shù)據(jù)采集。

2. 圖像拼接

圖像拼接是三維全景技術的關鍵，它是將一系列有重疊邊界的普通圖像進行無縫拼接以得到全景圖。通過球面投影，將框幅式像片投影到以焦距為半徑的球面坐標系中。最后，將投影后的影像進行拼接，并對重疊區(qū)域進行加權融合形成全景圖。圖2為全景圖像拼接流程。

SIFT是計算機視覺中最流行的特征提取和圖像匹配方法?；赟IFT的拼接參數(shù)解算方法是通過提取重疊圖像部分具有很強魯棒性的 SIFT 特征點，并在這些對圖像變換具有不變性的特征點基礎上，運用 RANSAC算法不斷提純，同時優(yōu)化特征點間的變換關系，并使用Levenberg-Marquart非線性估計算法，最終確定穩(wěn)定的變換矩陣，作為相鄰圖像間的轉(zhuǎn)換關系，即拼接參數(shù)。

圖2　全景圖像拼接流程

根據(jù)拼接參數(shù)，將源圖像經(jīng)過投影變換，渲染在全景影像上。但在圖像拍攝的過程中，由于視差效應、拍攝環(huán)境變化及配準誤差等因素的影響，圖像間難免會存在光照、色彩等差異，若直接拼合在一起，會出現(xiàn)明顯的痕跡。因此，要采用合適的融合策略，使拼接后的圖像具有視覺一致性，而且盡量保持原有的分辨率?？紤]到全景圖像需要為用戶提供清晰美觀的圖像，圖像質(zhì)量必須達到很高的標準才能在網(wǎng)絡上發(fā)布。因此，圖像融合算法對圖像拼接效果至關重要，本文采用當前融合效果最好的多分辨率樣條曲線融合算法。該算法可以將兩張或以上的圖像MASK融合進一個更大的圖像MASK中。其簡化過程為：

1) 首先將圖像分解成一系列帶通濾波分量圖像。

2) 然后將每個空間頻率波段中的分量圖像放置到相應的帶通MASK中。在此步驟中，分量圖像利用一種加權平均算法融合在一個轉(zhuǎn)化區(qū)中，這個轉(zhuǎn)化區(qū)是由代表波段的波長按尺度比例構造的。

3) 最后將這些帶通MASK圖像合成在一起，便可獲得最終的圖像MASK。

通過這種方法可以平滑拼接圖像之間的明顯邊界而不出現(xiàn)模糊重影現(xiàn)象，同時可以保留較好的圖像細節(jié)。多分辨率樣條算法是一種既實用又通用的算法，對于那些差別非常大、沒有重疊區(qū)、邊界不規(guī)則的圖像都能得到較好的融合效果。

3. 全景切片

一幅全景圖像是由設備的呈六面體狀放置的7個鏡頭采集的圖像拼接而成的，圖像的質(zhì)量較高，文件較大，需要對拼接好的全景圖片進行切割處理，這樣后期進行酒店室內(nèi)場景虛擬瀏覽時會大大提高圖像的加載速度，從而提升交互體驗。

全景圖像切片必須使用立方體投影(cubic projection)。但一般全景圖像使用的是球形投影，這就需要進行投影轉(zhuǎn)換。首先將全景球投影到其外接正方體上，然后對立方體全景6個面分別進行金字塔劃分，根據(jù)所需分辨率切片成等面積切片。如圖3所示，將一幅球形投影平面展開圖轉(zhuǎn)換成立方體投影6個面展開圖。

4. 場景交互

酒店室內(nèi)虛擬場景由一層服務大廳，五層和七層的個別不同類型的房間組成，逼真地展現(xiàn)了酒店的環(huán)境情況。設計之初還考慮了瀏覽的視角問題，因此設置了自動瀏覽的功能，方便用戶以最佳的視角觀察；并提供相關的熱點鏈接和箭頭指示，通過點擊熱點可以查看墻上畫框，通過點擊箭頭可以前進瀏覽。除此之外，實現(xiàn)了二維地圖與三維虛擬場景的聯(lián)動，通過瀏覽二維地圖，可以熟悉酒店內(nèi)部的結構，點擊二維地圖上的點，即可跳轉(zhuǎn)到相應的三維虛擬場景。酒店室內(nèi)虛擬場景瀏覽采用krpano編寫實現(xiàn)，效果如圖4所示。

圖3　球形投影與立方體投影之間的轉(zhuǎn)換

圖4　酒店室內(nèi)虛擬場景效果

5. 全景引擎

全景引擎開發(fā)的主要目的是為了實現(xiàn)對全景圖像的渲染。本文中使用了縱橫皆景(北京)信息技術有限公司的全景引擎，通過該引擎，能夠動態(tài)地加載圖像碎片，節(jié)省內(nèi)存，渲染效率高。全景中的道路指示線、指示箭頭、距離指示標志等全部三維化，具有良好的顯示效果，提升了用戶體驗。全景中還提供了大量的興趣點(point of interest，POI)，可以方便地查找、定位全景中的興趣點。除此之外，全景引擎具有豐富的擴展性，在網(wǎng)頁端提供了豐富的API接口，可以利用JavaScript充分拓展已有的功能。結合SWC格式的接口庫文件，可以方便地調(diào)用引擎的API，快速開發(fā)出功能強大的實用插件。目前已經(jīng)有標繪、激光測量、道路熱點顯示、三維實體模型街景展示等插件。酒店室內(nèi)虛擬場景的瀏覽即通過全景引擎實現(xiàn)了較好的渲染效果，同時也為開發(fā)人員提供了一定的拓展空間。

三、與傳統(tǒng)GIS和虛擬現(xiàn)實技術的融合

1. 與傳統(tǒng)虛擬現(xiàn)實技術的比較和融合

虛擬現(xiàn)實(virtual reality，VR)，就是通過設備和技術，輔以算法和程序來營造的一種具有關于視覺、聽覺、觸覺等感官信息的虛擬空間。三維全景技術出現(xiàn)以前，虛擬現(xiàn)實都是通過三維建模來構建的，如3ds Max、Maya、SketchUp等三維建模軟件和VRML、Java3D、Flash等建模語言。雖然利用這些方式都實現(xiàn)了不錯的虛擬效果，但都存在著沉浸感缺失的不足。即使對其紋理進行精細處理，也很難達到照片級的真實感。

三維全景技術彌補了上述不足，與VR表現(xiàn)方式相比，其優(yōu)勢主要體現(xiàn)在以下幾個方面：

1) 展現(xiàn)效果具有照片級的真實感，沉浸感強。

2) 比平面圖片表達更多的信息，控制方便，交互性友好。

3) 制作流程簡單，制作周期短。

4) 生成文件小，遵循XML規(guī)范，便于網(wǎng)絡傳輸。

5) 能方便地添加文字、圖片、視頻、Flash等多種對象。

雖然三維全景技術具有諸多優(yōu)點，但是也存在著不足，即生成的虛擬場景不具有傳統(tǒng)三維建模的具象性，不具備實體感。事實上，三維全景并不是真三維，是介于二維與三維之間的一種虛擬表達。因此，全景技術與三維建模之間的融合有待進一步研究和發(fā)展。

2. 與GIS的融合

從20世紀60年代產(chǎn)生到現(xiàn)在，GIS經(jīng)歷了50余年的發(fā)展歷程，已經(jīng)成為信息技術的重要組成部分，在資源管理、城市規(guī)劃、環(huán)境管理、設施管理等空間信息相關領域得到了廣泛應用。

三維全景技術與GIS的融合改變了以往GIS二維和三維地圖的展現(xiàn)方式，使地圖的表達更加直觀和形象，并且其便于網(wǎng)絡傳輸?shù)奶攸c，助力了WebGIS的發(fā)展，更好地實現(xiàn)了GIS的共享和互操作。百度、騰訊等提供GIS地圖服務的互聯(lián)網(wǎng)公司都在原有電子地圖的基礎上增添了全景模塊，豐富了地圖的表現(xiàn)形式，方便了大眾的出行。除此之外，隨著手機、PAD等移動終端深入到人們?nèi)粘Ｉ钪校S全景技術與移動GIS的結合也前景廣闊。三維全景技術給予人們圖片級的真實感，讓人們可以快速、方便地搜索周邊環(huán)境。圖5為三維全景技術在移動端的應用。

同時，三維全景技術在GIS方面的應用也存在著上述三維體感表達方面的不足，因此，三維全景技術與三維GIS的融合也有待進一步研究和發(fā)展。

圖5　三維實景技術在移動端的應用

四、結束語

目前，全景技術已經(jīng)在很多方面得到了廣泛應用，旅游、考古、交通、餐飲、房產(chǎn)、酒店等領域和行業(yè)都能看到全景技術的影子?；趩稳吮嘲降娜皥D像采集技術豐富了全景圖像的采集方式，提升了特殊環(huán)境下的采集效率，是車載移動全景采集技術的一個有效補充。本文所制作的某酒店室內(nèi)虛擬場景瀏覽是全景技術應用的一個典型案例，通過創(chuàng)建的室內(nèi)虛擬瀏覽場景，更好地展示了酒店的內(nèi)部環(huán)境，如果加入酒店外部環(huán)境的全景，當你外出旅游想要住店時，通過瀏覽這些虛擬的場景即可提前熟悉酒店周邊的環(huán)境和內(nèi)部房間的概況。

除了諸多優(yōu)點外，全景技術在沉浸感與交互性方面仍存在著不足，具體體現(xiàn)在：全景技術并不是真正意義上的三維圖形技術，即使通過相應的熱點豐富了表達環(huán)境，但是構建的虛擬環(huán)境不像三維建模構建的實體模型那樣具有可操作的體感。因此， 通過整合三維模型技術，加入外部的體感設備(如Kinect等)，對于加深沉浸感、提升交互性，從而營造更

加逼真的虛擬環(huán)境來說會更加有意義。隨著全景技術的不斷發(fā)展，相信未來它會有更加廣闊的前景。

參考文獻：

[1]馬如宇.三維全景技術——360°虛擬現(xiàn)實[J].中國信息技術教育,2008(7):80-81.

[2]全政環(huán). 360 全景技術的應用和發(fā)展歷程[J]. 電腦知識與技術: 學術交流, 2010 (1X): 713-715.

[3]郭長青, 曹芳. 三維全景技術在旅游景區(qū)介紹中的應用[J]. 地理空間信息, 2009, 7(1): 46-48.

[4]朱慶, 徐冠宇, 杜志強, 等. 傾斜攝影測量技術綜述[EB/OL].[2012-05-22].http:∥www.paper.edu.cn/release paper/content/201205-355.

[5]楊仁杰. 基于 Web 的全景技術研究[D]. 鄭州: 鄭州大學, 2012.

[6]王延朝. 基于 Krpano 的三維全景系統(tǒng)的開發(fā)和應用[D]. 上海：華東師范大學, 2012.

[7]曹俊杰, 封靖波, 蘇志勛. 全景圖像拼接算法[J]. 大連理工大學學報, 2003,43(S0)：180-182.

[8]CARPENTER T,DOERFLER G，WAY T，et al. An Approach to Maintaining Viewer Perspective in Interactive Virtual Tours[C]∥Proceedings of CVGR 2011. Las Vegas, Nevada：[s.n.]，2011.

[9]HSIEH W M, CHEN C C, WANG S C, et al. Combination of the Kinect with Virtual Reality in Balance Training for the Elderly[J]. Engineering, 2013, 5(10)：171-175.

[10]RISSETTO H, REMONDINO F, AGUGIARO G, et al. Kinect and 3D GIS in Archaeology[C]∥2012 18th International Conference on Virtual Systems and Multimedia (VSMM).Milan：IEEE, 2012: 331-337.

[11]BASTANLAR Y, GRAMMALIDIS N, ZABULIS X, et al. 3D Reconstruction for a Cultural Heritage Virtual Tour System[C]∥Proceedings of International Conference for Photogrammetry and Remote Sensing Congress (ISPRS’08). Beijing：[s.n.]，2008：1023-1028.

[12]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints [J].International Journal of Computer Vision,2004,60(2): 91-110.

[13]BURT P J,ADELSON E H. A Multi-resolution Spline with Application to Image Mosaics[J]. ACM Transactions on Graphics, 1983，2(4)：217-236.

[14]龔俊,朱慶,章漢武,等.基于R樹索引的三維場景細節(jié)層次自適應控制方法[J]. 測繪學報， 2011, 40(4): 531-534.