增強現(xiàn)實技術(shù)在建筑設(shè)計仿真中的應(yīng)用

譚 軍，李哲林，姜立軍，林 強

(1.華南理工大學(xué)亞熱帶建筑科學(xué)國家重點實驗室，廣州510006;2.華南理工大學(xué)設(shè)計學(xué)院，廣州510006; 3.廣東省理工職業(yè)技術(shù)學(xué)校，廣州510500)

合理的建筑設(shè)計除了需要滿足建筑個體本身的功能需求外，同時還應(yīng)與周邊環(huán)境保持良好的協(xié)調(diào)。近幾年提出的綠色建筑設(shè)計的概念，更是強調(diào)了建筑設(shè)計本身應(yīng)因地制宜，在滿足功能需要和不破壞周邊自然環(huán)境的同時，在設(shè)計中充分利用周邊環(huán)境中現(xiàn)有的自然資源，實現(xiàn)節(jié)約能源、資源，無害化、無污染、可循環(huán)的目的。因此在建筑設(shè)計過程中，建筑周邊環(huán)境的各種要素成為建筑設(shè)計的重要參考，建筑設(shè)計本身與周邊環(huán)境的融合程度，也成為評估建筑設(shè)計合理性的重要依據(jù)。

隨著計算機輔助建筑設(shè)計(Computer Aided Architectural Design，CAAD)的發(fā)展，在20世紀(jì)90年代末出現(xiàn)了基于虛擬現(xiàn)實技術(shù)的建筑設(shè)計建模及仿真系統(tǒng)［1］?；谔摂M現(xiàn)實的建筑設(shè)計仿真技術(shù)，主要是通過對建筑設(shè)計本身及建筑周邊環(huán)境建模，再通過虛擬現(xiàn)實技術(shù)將建筑模型和建筑周邊環(huán)境的虛擬模型組合成虛擬場景。設(shè)計師可以實時漫游該虛擬場景，查看建筑模型與周圍環(huán)境之間融合的效果，并以此為依據(jù)對設(shè)計方案進(jìn)行評估和修正。

然而基于虛擬現(xiàn)實的建筑設(shè)計仿真系統(tǒng)依然存在一定的局限性。首先，虛擬場景里的建筑周邊環(huán)境是虛擬的，與真實的建筑周邊環(huán)境相比存在一定的失真，此外虛擬的建筑周邊環(huán)境與真實環(huán)境相比，存在信息缺失，這些因素都會影響設(shè)計師對建筑設(shè)計做出合理的判斷;其次，建筑周邊環(huán)境的建模工作量大，占用人力的同時，還會延長建筑設(shè)計的周期。因此，本文提出將增強現(xiàn)實技術(shù)應(yīng)用于建筑設(shè)計仿真系統(tǒng)，在保留基于虛擬現(xiàn)實的建筑仿真系統(tǒng)優(yōu)點的同時，解決上述的兩個局限，提高建筑設(shè)計師的設(shè)計效率，幫助設(shè)計師對建筑設(shè)計方案做出更合理的評估。

1 增強現(xiàn)實技術(shù)簡介

增強現(xiàn)實技術(shù)(Augmented Reality，AR)，是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的，通過將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實世界的“增強”。增強現(xiàn)實技術(shù)不僅將虛擬對象引入到真實環(huán)境中，而且還可動態(tài)賦予虛擬對象位置和姿態(tài)，以保持虛擬對象和真實場景的一致性，使增強現(xiàn)實環(huán)境的漫游更貼近人眼觀察習(xí)慣，這種交互方式顯得更自然。與此同時，由于增強現(xiàn)實技術(shù)保留了真實場景，因此輸出結(jié)果更加真實。

如圖1所示，增強現(xiàn)實技術(shù)的實現(xiàn)原理可以簡單地描述如下:通過攝像機拍攝真實世界的場景，得到真實世界的視頻流;通過跟蹤算法，實時地對視頻流中的每幀進(jìn)行處理，計算出真實世界相對于相機的位置和姿態(tài)，并將計算結(jié)果經(jīng)幾何變換用于注冊虛擬對象在真實場景中的位置和姿態(tài)(又稱三維注冊［2］)，生成虛擬場景;再通過視頻融合技術(shù)，將虛擬場景與真實世界的視頻流融合，得到融合結(jié)果(視頻流)實時輸出到顯示設(shè)備。

對于一個增強現(xiàn)實系統(tǒng)，最關(guān)鍵的部分在于實時地將虛擬對象添加到真實場景中，并與真實世界中的對象精確對齊。華盛頓大學(xué)人機接口實驗室(HITLab)設(shè)計開發(fā)了ARToolKit增強現(xiàn)實開發(fā)庫。ARToolKit是一個C/C++語言編寫的庫，通過計算機圖像處理技術(shù)計算出固定在真實對象上的標(biāo)記卡相對于相機的位置和姿態(tài)，從而實現(xiàn)了虛擬對象在真實世界中的注冊，再通過虛擬對象的渲染及投影變換，進(jìn)而實現(xiàn)虛實融合。

圖1 增強現(xiàn)實技術(shù)原理圖Fig.1 Princip le diagram of augmented reality

2 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)

2.1 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)構(gòu)思

基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)原理是將建筑設(shè)計虛擬模型和實時拍攝到的建筑周邊環(huán)境視頻流融合在一起，實時組合成虛實融合的漫游場景并以視頻流的形式輸出?；谠鰪姮F(xiàn)實的建筑設(shè)計仿真系統(tǒng)，無需對新建筑周邊環(huán)境進(jìn)行建模，只需要對建筑設(shè)計本身進(jìn)行建模，通過增強現(xiàn)實的真實對象跟蹤注冊技術(shù)，實現(xiàn)虛擬建筑模型與真實環(huán)境幾何位置的精準(zhǔn)匹配，再對建筑設(shè)計虛擬模型進(jìn)行定位和投影變換，并與真實的周邊環(huán)境圖像進(jìn)行融合，即可得到新建筑與周邊環(huán)境融合的仿真效果，其原理如圖2所示。

基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)可以在無需對建筑周邊環(huán)境建模的情況下，完成建筑設(shè)計與周邊環(huán)境的實時仿真。不僅避免了設(shè)計師在仿真時對建筑周邊環(huán)境的建模，同時由于仿真結(jié)果中建筑周邊環(huán)境是完全真實的，有利于建筑設(shè)計師對建筑設(shè)計方案做出更合理的評估。該方法在繼承了基于虛擬現(xiàn)實的建筑設(shè)計仿真技術(shù)優(yōu)點的同時，很好地解決了基于虛擬現(xiàn)實的建筑設(shè)計仿真技術(shù)現(xiàn)存的兩個局限性。

圖2 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)仿真模塊原理圖Fig.2 Princip le diagram of simulation module of simulation of architectural design system based on augmented reality

基于增強現(xiàn)實技術(shù)的建筑設(shè)計仿真系統(tǒng)如圖3所示。其中關(guān)鍵技術(shù)是攝像頭對真實對象位置姿態(tài)的跟蹤。真實對象位置姿態(tài)跟蹤的實時性及精確度決定了新的建筑設(shè)計三維模型與周圍環(huán)境在融合過程中能否精準(zhǔn)匹配。

圖3 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)功能模塊圖Fig.3 Diagram of function modu le of simulation of architectural design system based on augmented reality

2.2 基于增強現(xiàn)實的建筑設(shè)計系統(tǒng)關(guān)鍵技術(shù)

基于增強現(xiàn)實的建筑設(shè)計系統(tǒng)關(guān)鍵是實現(xiàn)真實對象位置姿態(tài)的跟蹤［3］，這是實現(xiàn)虛擬對象在真實場景中定位注冊的基礎(chǔ)，也是影響虛實融合效果的關(guān)鍵。在本系統(tǒng)中，通過基于標(biāo)記卡的真實對象位置姿態(tài)跟蹤代替無規(guī)則真實對象位置姿態(tài)的跟蹤。前者相對于后者，有跟蹤算法簡單、速度快、實時性好等優(yōu)點。

基于標(biāo)記卡的真實對象位置姿態(tài)跟蹤的目標(biāo)是根據(jù)攝像機拍攝的圖像序列中任何一幅圖像，求取標(biāo)記卡相對于攝像機的位置和姿態(tài)。由于標(biāo)記卡是固定在被跟蹤對象上的，即標(biāo)記卡的位置姿態(tài)可表達(dá)真實對象的位置姿態(tài)。

基于標(biāo)記卡的真實對象位置姿態(tài)跟蹤算法中牽涉到3個坐標(biāo)系:攝像機坐標(biāo)系、成像平面二維坐標(biāo)系和標(biāo)記卡坐標(biāo)系(見圖4)［4］。

圖4 標(biāo)記卡坐標(biāo)系與攝像機坐標(biāo)系之間的關(guān)系Fig.4 The relation between marker coordination and camera coordination

由針孔成像原理，標(biāo)記卡坐標(biāo)系與攝像機坐標(biāo)系之間存在以下轉(zhuǎn)換關(guān)系:

式(1)即為標(biāo)記卡－攝像機轉(zhuǎn)換方程，式中:U3×3為標(biāo)記卡坐標(biāo)系相對于攝像機坐標(biāo)系的旋轉(zhuǎn)矩陣; V3×1為標(biāo)記卡坐標(biāo)系相對于相機坐標(biāo)系的平移向量。所以問題進(jìn)而轉(zhuǎn)化為如何求取旋轉(zhuǎn)矩陣U3×3及平移向量V3×1。

設(shè)標(biāo)記卡上某點在攝像機坐標(biāo)系下的坐標(biāo)為(Xc，Yc，Zc)，該點在成像平面二維坐標(biāo)系下的坐標(biāo)為(xc，yc)。則根據(jù)攝像機成像模型，它們應(yīng)滿足以下攝像機成像方程:

標(biāo)記卡中黑色的矩形框外輪廓兩條垂直的邊A和邊B(見圖5)成像后，可設(shè)邊A、邊B在成像平面坐標(biāo)系下的平面方程為

圖5 標(biāo)記卡上的兩條垂直邊Fig.5 The vertical sides on themarker

將式(3)代入式(2)即可得到該矩形的兩條垂直邊空間方程

及邊A、邊B的方向向量分別為:

因為邊A和邊B在空間上也是相互垂直的，因此標(biāo)記卡平面法向量即為

分別將n1，n2，n3單位化，得到相互垂直的三個單位向量:U1，U2，U3。

旋轉(zhuǎn)矩陣為

聯(lián)立式(1)、式(2)和式(7)，得到的方程組如下所示

在式(8)中，存在8個待求解的未知數(shù):K11，K12， K13，K22，K23，Vx，Vy，Vz。通過矩形框的四個角點P0，P1，P2，P3成像坐標(biāo)及四個角點在標(biāo)記卡坐標(biāo)系上的坐標(biāo)即可求得該8個未知數(shù)，從而得到標(biāo)記卡坐標(biāo)系相對于相機坐標(biāo)系的平移向量V3×1。

2.3 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)仿真結(jié)果

本課題以廣場中建造歐式?jīng)鐾槔炞C基于增強現(xiàn)實的建筑設(shè)計系統(tǒng)構(gòu)思的可行性。

硬件系統(tǒng):HP MID 6 5英寸平板電腦1個(800 MHz，521 MB內(nèi)存)、普通USB攝像頭1個、標(biāo)記卡1張。

軟件系統(tǒng):

1)3D Max建模軟件。用于涼亭模型的建立和修改。

2)基于增強現(xiàn)實的建筑仿真系統(tǒng)。本仿真系統(tǒng)是基于ARToolKit和OpenGL自主開發(fā)。實現(xiàn)標(biāo)記卡位置和姿態(tài)的跟蹤，涼亭虛擬模型與建筑周邊環(huán)境的虛實融合，輸入輸出視頻流實時處理等。

在三維建模軟件中設(shè)計好涼亭三維模型后，設(shè)計者可以使用攝像頭實時地任意角度地拍攝帶標(biāo)記卡的建筑周邊環(huán)境，得到如圖6所示的建筑周邊環(huán)境視頻流。通過基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)進(jìn)行標(biāo)記卡位置姿態(tài)跟蹤，求取標(biāo)記卡相對于相機的位置和姿態(tài)。進(jìn)而通過幾何變換得到虛擬涼亭應(yīng)相對于相機的位置和姿態(tài)，并通過虛實融合技術(shù)將涼亭模型與建筑周邊環(huán)境融合，輸出如圖7所示。輸出結(jié)果為實時融合的視頻流。設(shè)計師可以自由切換視角實時拍攝，即可從不同角度觀察到?jīng)鐾そǔ珊蟮男Ч?/p>

圖6 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)虛實融合前建筑周邊環(huán)境視頻流Fig.6 The real-time video stream ing before blending between virtual object and real object in the simulation of architectural design system based on augmented reality

圖7 基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)實時虛實融合后視頻流Fig.7 The real-time video stream ing after blending between virtual object and real object in the simulation of architectural design system based on augmented reality

3 結(jié)束語

基于增強現(xiàn)實的建筑設(shè)計仿真與基于虛擬現(xiàn)實的建筑設(shè)計仿真相比具有以下優(yōu)勢:(1)建筑設(shè)計師無需對建筑周邊環(huán)境建模，減輕了設(shè)計師仿真時的建模工作量，縮短了建筑設(shè)計周期;(2)最后輸出的結(jié)果中，周邊環(huán)境是真實的，有利于設(shè)計師對建筑設(shè)計方案做出更合理的評估。

基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)中需要大量的計算完成真實對象位置姿態(tài)的跟蹤，這使得該技術(shù)對所運行的計算機硬件有一定的要求。如何優(yōu)化算法，降低該技術(shù)對計算機硬件的要求，是決定該技術(shù)走向成熟應(yīng)用的重要因素之一。其次，目前基于增強現(xiàn)實的建筑設(shè)計仿真系統(tǒng)使用基于標(biāo)記卡的真實對象位置姿態(tài)跟蹤技術(shù)。在使用過程中必須將標(biāo)記卡固定在被跟蹤對象上才可以實現(xiàn)位置姿態(tài)的跟蹤，這在一定程度上限制了基于增強現(xiàn)實的建筑設(shè)計仿真技術(shù)的應(yīng)用。如何實現(xiàn)快速高效的非標(biāo)記卡真實對象位置姿態(tài)的跟蹤是今后的研究方向之一。此外，虛擬三維模型的渲染模型是由設(shè)計師根據(jù)經(jīng)驗指定的，如何通過圖像處理技術(shù)，從實時拍攝的圖像序列中提取真實世界的信息來初始化渲染模型，使得虛擬三維模型在渲染之后得到最真實的渲染結(jié)果，是該領(lǐng)域的另外一個研究方向［5］。

［1］曾旭東，趙昂.計算機輔助建筑設(shè)計(CAAD)的發(fā)展趨勢——虛擬建筑(Virtual Building)設(shè)計將成為主流［J］.重慶建筑大學(xué)學(xué)報，2006，28(1):21－24.

Zeng Xu－dong，Zhao Ang.Development trend of computer aided architectural design(CAAD)［J］.Journal of Chongqing Jianzhu University，2006，28(1):21－24.

［2］楊明浩，王陽生.保持視覺穩(wěn)定性的增強現(xiàn)實注冊算法［J］.中國圖象圖形學(xué)報，2010，15(12):1142－1148.

Yang Ming－h(huán)ao，Wang Yang－sheng.Visual robust register algorithm for augmented reality［J］.Journal of Image and Graphics，2010，15(12):1142－1148.

［3］常勇，薛立明，姜淑芳.智能手機增強現(xiàn)實關(guān)鍵技術(shù)研究［J］.計算機工程與應(yīng)用，2011，(15):69－71.

Chang Yong，Xue Li－ming，Jiang Shu－fang.Research on key technology of smart phone augmented reality system［J］.J.Computer Engineering and Applications，2011 (15):69－71.

［4］Hirokazu Kato，Mark Billinghurst.Marker tracking and HMD calibration for a video－based augmented reality conferencing system［C］//Proceedings of the 2nd International Workshop on Augmented Reality(IWAR 99)，1999:85－94.

［5］Nomura K，Xin Yin.Estimation and rendering of tactile information based on photometric images［C］//Computational Science and itsApplications(ICCSA)，2010: 340－346.