基于全景圖的地理現(xiàn)實(shí)增強(qiáng)技術(shù)研究

陳令羽，賈奮勵(lì)，宋國(guó)民

(信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州450000)

一、引 言

增強(qiáng)現(xiàn)實(shí)技術(shù)是利用計(jì)算機(jī)技術(shù)對(duì)真實(shí)世界進(jìn)行景象擴(kuò)展，把真實(shí)場(chǎng)景中原本不存在的信息通過(guò)計(jì)算機(jī)生成的圖文按照指定的位置和模式顯示出來(lái)，使用戶沉浸在一種真實(shí)和虛擬相結(jié)合的混合環(huán)境中，滿足用戶的空間認(rèn)知要求。它最早被作為虛擬現(xiàn)實(shí)的一個(gè)分支進(jìn)行研究。隨著研究的不斷開(kāi)展和認(rèn)識(shí)的持續(xù)深入，目前普遍認(rèn)為兩者是相互并列的研究方向，近年來(lái)在某些方面對(duì)增強(qiáng)現(xiàn)實(shí)的研究甚至超過(guò)了虛擬現(xiàn)實(shí)，特別是在軍事、醫(yī)療、教育、娛樂(lè)等領(lǐng)域具有廣泛的應(yīng)用前景［1-5］。

基于全景圖的增強(qiáng)地理現(xiàn)實(shí)是將全景圖作為真實(shí)地理空間環(huán)境的縮影，通過(guò)將感興趣的屬性信息增強(qiáng)到全景圖上來(lái)促進(jìn)用戶完成空間認(rèn)知的一種技術(shù)［6］。與傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)相比，全景圖增強(qiáng)地理現(xiàn)實(shí)技術(shù)無(wú)須用戶置身于當(dāng)前環(huán)境中，可以在事先生成的全景影像上獲取對(duì)真實(shí)世界最為感興趣的信息，便捷且廉價(jià);與虛擬現(xiàn)實(shí)技術(shù)相比，全景圖制作工藝相對(duì)簡(jiǎn)單，不需要進(jìn)行環(huán)境建模，大幅度提高了實(shí)現(xiàn)效率。它結(jié)合了增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)兩者的優(yōu)點(diǎn)，通過(guò)信息表達(dá)，有助于用戶進(jìn)行空間認(rèn)知，了解特定的地理環(huán)境［7］。目前基于全景影像進(jìn)行的虛擬現(xiàn)實(shí)系統(tǒng)研究已經(jīng)廣泛展開(kāi)，但是基于全景圖進(jìn)行的增強(qiáng)現(xiàn)實(shí)技術(shù)，特別是進(jìn)行有意義的信息表達(dá)實(shí)踐，相關(guān)研究還很少?；谌皥D進(jìn)行地理現(xiàn)實(shí)增強(qiáng)，涉及的關(guān)鍵技術(shù)主要有:全景圖中增強(qiáng)目標(biāo)的確定、待增強(qiáng)屬性信息的選擇、地理空間信息到全景圖的空間定位、信息表達(dá)模式4個(gè)方面。

二、全景圖中增強(qiáng)目標(biāo)的確定

全景圖是通過(guò)攝像機(jī)對(duì)真實(shí)世界的再現(xiàn)，根據(jù)景深的不同，現(xiàn)實(shí)世界中不同目標(biāo)物在圖像中表示的大小不同，呈現(xiàn)近大遠(yuǎn)小的特點(diǎn);全景圖對(duì)真實(shí)世界不加任何選擇，攝像機(jī)可視范圍內(nèi)的所有物體都會(huì)被無(wú)條件復(fù)制。在進(jìn)行空間認(rèn)知時(shí)，用戶更關(guān)注的是具有典型特征的目標(biāo)物。因此，確定全景圖中需要增強(qiáng)的目標(biāo)，發(fā)現(xiàn)用戶可能感興趣的內(nèi)容，進(jìn)行等級(jí)劃分，是基于全景圖進(jìn)行地理現(xiàn)實(shí)增強(qiáng)的前提。

確定全景圖增強(qiáng)目標(biāo)的最好方法是進(jìn)行自動(dòng)化的圖像分割，涉及人類(lèi)認(rèn)知學(xué)的中層視覺(jué)中最基本的問(wèn)題，也是國(guó)際學(xué)術(shù)界公認(rèn)的將長(zhǎng)期存在的最困難問(wèn)題之一［8］。直接進(jìn)行全景圖特征提取，會(huì)存在以下難點(diǎn)需要解決:①近距離的大場(chǎng)景再現(xiàn)，表示的細(xì)節(jié)過(guò)于清晰，不利于特征的邊緣檢測(cè)及分析;②通過(guò)多幅圖像拼接而成，一個(gè)特征體可能會(huì)在全景圖中不連續(xù)呈現(xiàn);③部分特征特別是跨越采集點(diǎn)前后的特征變形較大;④計(jì)算機(jī)的思維方式與人大大不同，只擅長(zhǎng)數(shù)值計(jì)算和邏輯推理等抽象思維，對(duì)于全景圖特征提取時(shí)需要的形象思維及視覺(jué)思維模擬困難。

因此，進(jìn)行精確的自動(dòng)化全景圖目標(biāo)區(qū)域劃分是不可能實(shí)現(xiàn)的。結(jié)合具體應(yīng)用需求，在進(jìn)行全景圖目標(biāo)區(qū)域劃分時(shí)，僅需要從全景圖中將大致的目標(biāo)輪廓?jiǎng)澐殖鰜?lái)，再根據(jù)與地理現(xiàn)實(shí)的配準(zhǔn)就可以進(jìn)行信息表達(dá)，大大降低了難度。首先根據(jù)對(duì)全景圖進(jìn)行邊緣提取和強(qiáng)化，將全景圖中存在的目標(biāo)特別是目標(biāo)的輪廓信息顯現(xiàn)出來(lái);然后根據(jù)視覺(jué)心理學(xué)，確定各個(gè)目標(biāo)的具體等級(jí)。在最常用的全景街景中，涉及的目標(biāo)信息主要有道路和建筑物兩種。下面將以此為例，具體說(shuō)明目標(biāo)識(shí)別和劃分方法。

1．道路目標(biāo)的確定

全景圖的拍攝一般是在道路上進(jìn)行的，經(jīng)常會(huì)選擇在幾條道路的交叉口。由于是同一位置多角度圖像的拼接，同一條道路會(huì)被分割成兩段，因此需要在目標(biāo)提取時(shí)顧及相應(yīng)的語(yǔ)義聯(lián)系。

根據(jù)全景圖的成像特點(diǎn)，可以得到以下推論:若兩條道路的中軸線距離約等于全景圖寬度的1/2，則這兩條道路是同一條道路在攝像機(jī)前后的分割。

由于拍攝角度和變形，道路中軸線的距離不一定嚴(yán)格等于全景圖寬度的1/2。實(shí)際上，兩條中軸線很難嚴(yán)格平行，可以將中軸線延長(zhǎng)至視點(diǎn)附近，計(jì)算其中點(diǎn)的距離來(lái)近似表示中軸線距離。如圖1所示，對(duì)柱面全景圖中能夠提取的所有道路的中軸線兩兩進(jìn)行距離計(jì)算，若距離約等于全景圖寬度的1/2，則說(shuō)明這兩段道路是同一條。

圖1 全景圖中道路目標(biāo)的確定和關(guān)聯(lián)

計(jì)算結(jié)果見(jiàn)表1。

表1 全景圖中道路間的距離計(jì)算

表1中的距離比值表示兩路段間的距離和全景圖寬度的比值。由表1可知，圖中的道路A和道路C、道路B和道路D分別來(lái)自同一條道路。同時(shí)，根據(jù)道路橫向的寬度可以確定道路等級(jí)，一般情況下，單幅全景圖中涉及的道路信息不多，大都為需要重點(diǎn)增強(qiáng)的目標(biāo)。

2．建筑物目標(biāo)的確定

全景圖中的建筑物幾乎連成一片，精確的建筑物目標(biāo)識(shí)別和提取是不可能的，交互式或半自動(dòng)圖像分割借助于人類(lèi)在交互時(shí)所提供的高層語(yǔ)義信息卻能較好地解決上述問(wèn)題。通常操作員僅需要將目標(biāo)或背景區(qū)域在圖像中標(biāo)記出來(lái)，算法便能夠根據(jù)所提供的提示信息來(lái)進(jìn)行分割。在某些特殊情況下如果算法失效，操作者則可以用適當(dāng)?shù)男问絹?lái)及時(shí)修正。交互式算法就是通過(guò)這種不斷的人機(jī)交互過(guò)程來(lái)實(shí)現(xiàn)從圖像中精確而快速地提取出有意義的目標(biāo)。

根據(jù)視覺(jué)心理學(xué)，除了有特殊要求外，圖像上影響觀察者興趣的因素主要有亮度、大小、形狀、紋理、顏色、方向等。在同等條件下拍攝時(shí)，其他幾個(gè)因素都可以簡(jiǎn)化到大小這一個(gè)因素上，以圖2為例，具體步驟如下:

1)選擇全景圖中的主要建筑物，如圖2所示，由于部分建筑物間的相互遮擋關(guān)系，無(wú)法單獨(dú)將某個(gè)個(gè)體抽離出來(lái)，因此可組合成一類(lèi)目標(biāo)(如目標(biāo)1);同時(shí)，對(duì)于主要的目標(biāo)被遮擋的，可以根據(jù)先驗(yàn)知識(shí)將其隱藏的部分也標(biāo)記出來(lái)(如目標(biāo)8)。

2)計(jì)算各個(gè)目標(biāo)的面積占整個(gè)全景圖的比例和所有目標(biāo)區(qū)域之和的比例，見(jiàn)表2。

3)根據(jù)比例大小確定建筑物目標(biāo)的等級(jí)(見(jiàn)表2)，為屬性增強(qiáng)提供依據(jù)。

圖2 建筑物目標(biāo)的選取和分類(lèi)

表2 目標(biāo)等級(jí)計(jì)算結(jié)果示例

三、屬性信息的選擇

地理空間數(shù)據(jù)庫(kù)中存儲(chǔ)著地理空間數(shù)據(jù)各種幾何和屬性信息，進(jìn)行全景圖增強(qiáng)地理現(xiàn)實(shí)，其核心目的就是增強(qiáng)全景圖中主要目標(biāo)的屬性信息。由于幅面所限，無(wú)限的放大操作又會(huì)影響全景圖的使用效果，因此一般僅選擇用戶空間認(rèn)知過(guò)程中最關(guān)心的屬性信息。

根據(jù)用戶的關(guān)心程度，可以將地理要素的屬性信息分為名稱信息和說(shuō)明信息(說(shuō)明對(duì)象的數(shù)量和質(zhì)量特征)兩種。名稱信息是地理目標(biāo)最基本的特征，直接說(shuō)明目標(biāo)對(duì)象的專有名稱;說(shuō)明信息是對(duì)地理目標(biāo)的種類(lèi)、性質(zhì)或特征進(jìn)行的說(shuō)明，是對(duì)地理目標(biāo)的深層次解釋，是用戶獲得空間信息的重要途徑。根據(jù)用戶的關(guān)心層次，將說(shuō)明信息進(jìn)行再分級(jí)，不同區(qū)域的全景序列用戶關(guān)心的內(nèi)容不盡相同，表3是在城市密集區(qū)和野外空曠區(qū)對(duì)道路和建筑物的主要屬性信息進(jìn)行的簡(jiǎn)要分級(jí)。設(shè)定目標(biāo)等級(jí)閾值，對(duì)低等級(jí)的目標(biāo)物只顯示基本的名稱信息，對(duì)高等級(jí)目標(biāo)顯示對(duì)應(yīng)等級(jí)的說(shuō)明信息，如表2中一級(jí)目標(biāo)顯示到二級(jí)屬性信息，三級(jí)目標(biāo)僅顯示基本級(jí)的名稱信息。

表3 不同區(qū)域道路和建筑物主要屬性信息的簡(jiǎn)要分級(jí)

四、地理空間到全景圖的配準(zhǔn)定位

將屬性信息繪制在全景圖上，空間定位是必須解決的一個(gè)問(wèn)題，即確定屬性信息在全景圖上繪制的位置，其紐帶就是地理實(shí)體的空間坐標(biāo)。在實(shí)際應(yīng)用中，僅通過(guò)全景圖本身是無(wú)法獲取其原本的地理坐標(biāo)的，需要在成像時(shí)進(jìn)行地理空間到全景圖的注冊(cè)配準(zhǔn)，一般過(guò)程如圖3所示。

圖3 地理現(xiàn)實(shí)到全景序列影像的注冊(cè)配準(zhǔn)

地理空間到全景圖的定位，關(guān)鍵是根據(jù)地理現(xiàn)實(shí)的空間坐標(biāo)確定在全圖上相應(yīng)的像素坐標(biāo)，是全景圖增強(qiáng)地理現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)的重要基礎(chǔ)。首先根據(jù)攝像機(jī)的姿態(tài)，將地理現(xiàn)實(shí)所在的場(chǎng)景坐標(biāo)轉(zhuǎn)換成攝像機(jī)坐標(biāo);然后根據(jù)攝像機(jī)的焦距等將攝像機(jī)坐標(biāo)轉(zhuǎn)換成圖像坐標(biāo);再通過(guò)相片的分辨率等信息計(jì)算出地理現(xiàn)實(shí)對(duì)應(yīng)的像素坐標(biāo);最后對(duì)結(jié)果進(jìn)行糾正。其中所涉及的各種攝像機(jī)信息可以由攝像機(jī)的標(biāo)定來(lái)提供。坐標(biāo)轉(zhuǎn)換的研究已經(jīng)很多，具體方法可參見(jiàn)坐標(biāo)轉(zhuǎn)換的相關(guān)文獻(xiàn)［9-11］。

五、增強(qiáng)信息在全景圖上的表達(dá)

全景圖是用二維的平面展現(xiàn)三維的空間，利用相應(yīng)的地理空間信息進(jìn)行現(xiàn)實(shí)增強(qiáng)，需要不同于傳統(tǒng)電子地圖或三維顯示模式的信息表達(dá)方式。

用戶基于全景圖進(jìn)行地理現(xiàn)實(shí)增強(qiáng)輔助空間認(rèn)知時(shí)，觀察者通過(guò)閱讀、使用全景圖，各類(lèi)信息(包括影像和增強(qiáng)的信息)相互作用對(duì)感官系統(tǒng)產(chǎn)生刺激，使人產(chǎn)生心理感受，引發(fā)聯(lián)想，獲取包含的各類(lèi)信息，完成空間信息的獲取和認(rèn)知。進(jìn)行圖像增強(qiáng)的意義就在于它可以標(biāo)識(shí)各種對(duì)象、指示對(duì)象屬性，以及表明對(duì)象間的關(guān)系。待增強(qiáng)的屬性信息在全景圖上進(jìn)行表達(dá)時(shí)，應(yīng)盡可能表現(xiàn)得清晰、美觀、和諧、無(wú)二義，同時(shí)符合閱讀習(xí)慣、不影響全景圖自身特征，還可以提示屬性信息?；诖耍Y(jié)合電子地圖和三維場(chǎng)景中的信息表達(dá)方式［12-13］，屬性信息在全景圖上進(jìn)行繪制時(shí)，應(yīng)當(dāng)注意以下幾個(gè)方面:

1)字體，屬性信息的繪制樣式，主要用于區(qū)分不同對(duì)象類(lèi)別，應(yīng)具有明顯性、差異性和習(xí)慣性。

2)字大，屬性信息繪制的字體大小，一定程度上反映對(duì)象的重要性和數(shù)量等級(jí)，一般情況下，全景圖中同類(lèi)目標(biāo)物的等級(jí)越高，字就越大;同時(shí)根據(jù)全景圖景深具有近大遠(yuǎn)小的規(guī)律，視點(diǎn)周?chē)淖煮w應(yīng)比遠(yuǎn)處的偏大。

3)字色，字體的顏色，主要用于加強(qiáng)分類(lèi)概念，是觀察者更為直觀地獲取到感興趣的信息，但是同時(shí)應(yīng)注意顏色的選取和全景圖背景間的關(guān)系，容易區(qū)分又不能過(guò)于突兀。

4)定位原則，被標(biāo)記對(duì)象易于識(shí)別，同時(shí)與全景圖上的其他要素特征矛盾盡可能減少，整體外觀自然不突兀。道路信息一般沿其中軸線面對(duì)視點(diǎn)位置增強(qiáng)，考慮道路分段情況，每一段道路都有信息增強(qiáng)的內(nèi)容;建筑物信息主要標(biāo)注于上方。在進(jìn)行全景瀏覽時(shí)，根據(jù)視點(diǎn)不同，增強(qiáng)的信息可以隨之變化。

圖4是全景圖進(jìn)行地理現(xiàn)實(shí)增強(qiáng)后進(jìn)行全景瀏覽時(shí)的一個(gè)截圖，簡(jiǎn)單表示了一種道路增強(qiáng)時(shí)的表達(dá)方式。觀察者可以獲取到原始全景圖中沒(méi)有的信息，有助于空間認(rèn)知范圍的擴(kuò)展，說(shuō)明基于全景圖進(jìn)行地理信息增強(qiáng)的實(shí)踐是可行的。

圖4 全景圖中道路信息增強(qiáng)示例

六、結(jié)束語(yǔ)

基于全景圖進(jìn)行地理現(xiàn)實(shí)增強(qiáng)，有助于觀察者更好地進(jìn)行空間認(rèn)知，可以獲取到更多的空間屬性信息。目前相關(guān)的研究較少。本文通過(guò)實(shí)例分析了整個(gè)流程中涉及的關(guān)鍵技術(shù)，雖然試驗(yàn)效果還不夠理想，但是展現(xiàn)了全景影像增強(qiáng)現(xiàn)實(shí)在信息表達(dá)方面的優(yōu)勢(shì)。隨著計(jì)算機(jī)技術(shù)、攝像技術(shù)，特別是圖像處理和識(shí)別技術(shù)的不斷發(fā)展，基于全景圖的增強(qiáng)地理現(xiàn)實(shí)技術(shù)將更好地服務(wù)于人類(lèi)對(duì)空間認(rèn)知的各種需求。

［1］ GOODCHILD M F．Augmenting Geographic Reality［EB/OL］．2010-08-20．http:∥www．csiss．org/aboutus/presentations/files/goodchild_boulder_sept02．pdf．

［2］ MILGRAM P，KISHINO F．A Taxonomy of Mixed Reality Visual Displays［J］．IEICE Transactions on Information Systems，1994，E77-D(12):1321-1329．

［3］ 冉洋，朱飛，陳康．虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)技術(shù)在工業(yè)設(shè)計(jì)中的應(yīng)用［J］．激光雜志，2010，31(1):4-6．

［4］ 張軍毅，羅述謙．醫(yī)學(xué)增強(qiáng)現(xiàn)實(shí)建模方法研究［J］．系統(tǒng)仿真學(xué)報(bào)，2009，21(12):3658-3661．

［5］ 師國(guó)偉，王涌天，劉越，等．增強(qiáng)現(xiàn)實(shí)技術(shù)在文化遺產(chǎn)數(shù)字化保護(hù)中的應(yīng)用［J］．系統(tǒng)仿真學(xué)報(bào)，2009，21(7):2090-2093，2097．

［6］ 王宇，王涌天，劉越，等．基于全景成像的增強(qiáng)現(xiàn)實(shí)系統(tǒng)［J］．計(jì)算機(jī)工程，2010，36(3):16-18．

［7］ ASAI K．Visualization Based on Geographic Information in Augmented Reality［J］．Augmented Reality，2010(11):185-203．

［8］ 王兵，張欣，王苗，等．圖像主題區(qū)域提取及其在圖像檢索中的應(yīng)用［J］．小型微型計(jì)算機(jī)系統(tǒng)，2011，32(3):567-571．

［9］ 付金紅．柱面全景圖像拼接算法的研究［D］．哈爾濱:哈爾濱理工大學(xué)，2005．

［10］ TSAI R Y．A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses［J］．IEEE Journal of Robotics and Automation，1987，RA-3(4):323-344．

［11］ 張欣．全景拼接的關(guān)鍵技術(shù)研究［D］．哈爾濱:哈爾濱工業(yè)大學(xué)，2012．

［12］ 王家耀，孫群，王光霞，等．地圖學(xué)原理與方法［M］．北京:科學(xué)出版社，2006．

［13］ 沈敬偉，溫永寧，陳旻，等．面向三維的注記自動(dòng)配置研究［J］．測(cè)繪通報(bào)，2008(1):36-39．