基于TIP算法的街景漫游方法研究

王 龍，萬 剛，黃 河

（1．信息工程大學，河南 鄭州 450052；2．73608部隊，江蘇 南京 210028）

街景地圖開創(chuàng)一種全新的地圖閱讀方式，也開啟了 一 個 實 景 地 圖 體 驗 的 模 式［1－2］。自 2007 年google推出街景地圖以來，街景地圖得到飛速發(fā)展。國內外眾多大型軟件公司，如google、微軟、騰訊、阿里巴巴等紛紛投巨資開發(fā)街景地圖。同時，街景地圖的實景功能也為各個領域提供服務，如：數字化博物館、房產展示、實體店在線購物等等。街景地圖是近年來地理信息領域的研究熱點。

街景漫游是瀏覽街景地圖的關鍵技術，主要包括定點360°自由漫游與全景圖點間漫游兩種。定點漫游的設計符合全景圖數據采集的特點，通過對視錐矩陣的旋轉與視角的縮放，實現對全景任意角度與不同細節(jié)的瀏覽。點間漫游則不同，它隨全景圖之間不同的關聯方式而不同，如：空間關聯、時間關聯、焦距關聯、虛化關聯等［3］。常見的點間漫游方法有鏡頭等待法、視錐放大法、幀間差值法、滅線法等［4－5］。由于街景漫游具有全景點間距離小、漫游頻繁，全景圖在空間分布上呈線狀連續(xù)等特點。因此，街景漫游集中體現在空間關聯關系上，這要求漫游過程要保持一定的空間縱深。然而，各漫游算法空間關聯能力并不相同，如表1所示。

針對街景漫游特點，本文引入可以構造具有一定深度信息圖像空間的TIP算法，以街景地圖應用環(huán)境對其實現的步驟進行方法改進，提高街景漫游的效果，保證在街景漫游過程中有較好的空間縱深感。

表1 常見漫游算法空間關聯分析

1 TIP算法

畫中游（Tour Into Pict ure，TIP）是由 HORRY等提出的［6］。TIP算法是基于圖像繪制的一種方法，與全景圖繪制相似，都是通過將圖像作為紋理映射在一定的幾何空間上，通過設定相機構成可漫游的圖像空間。TIP與全景圖最大的區(qū)別在于其運用透視投影的特性，恢復圖像中場景的深度信息，構建具有圖像深度信息的幾何空間。

TIP實現的一般過程見圖1。將源圖像進行前景與背景分離。前景模型多數通過蒙版技術，將前景紋理從源圖像提取出來。前景紋理多來自于人為選定的人物、樹木、建筑等，計算相對位置并運用Billboard顯示在圖像空間。背景模型構建相對復雜，需要對源圖像進行蜘蛛格網的構建并將其映射為規(guī)則的圖像空間。設置漫游相機位置與姿態(tài)，即可生成可漫游的圖像空間。

圖1 TIP算法的一般過程

目前，常用的TIP算法主要有單滅點法、雙滅點松弛法、滅線法等［7－8］。這些算法都對全景圖圖像空間的構建做了一定的拓展。但在全景漫游中，并沒有得到充分的運用。文獻［9］將單滅點法與全景空間結合，構建全景到TIP再到全景的算法。通過對計算不同場景的相對深度的計算，將不同的靜態(tài)圖像空間連接在一起。這種方法場景接縫敏感，街景這樣密集的圖像，很容易破壞場景的整體感知。滅線法，是搜搜街景、Google街景等常用的方法。滅線法保證一定的實時性，運用圖像拉伸的方法營造向前運動的“穿行感”，但漫游的縱深感不強，TIP的特點發(fā)揮不明顯。本文基于這兩種方法的分析，針對街景漫游的特點，在源圖像獲取、滅點設定、漫游效果等方面，提出一種基于單滅點TIP的街景地圖漫游方法。

2 基于TIP的街景漫游方法實現

TIP算法的圖像獲取是離線的，構造的圖像空間是靜態(tài)的，但街景漫游是實時的、頻繁的，街景地圖更需要流暢連續(xù)的圖像場景。本文從TIP算法實現的過程分析，重點在圖像獲取、圖像空間構建、滅點設定、漫游等幾個步驟考慮街景地圖實時漫游的需要并進行改進。

2．1 源圖像獲取

通常來說，TIP算法要采用一張預先拍攝好的圖像進行圖像空間的構建，圖像空間與全景場景配準，生成連續(xù)貫穿的場景。這樣會使每一個全景點不僅要保存全景圖，還要根據全景點的關聯關系再存儲一張甚至多張靜態(tài)圖像，使單個全景點的存儲數據十分龐大。同時，TIP圖像空間與全景圖像空間的配準遠比一般圖像配準的難度更大。因此，在漫游的過程中，隨著用戶漫游的事件需求，將實時漫游的圖像截取下來，構建TIP圖像空間。這樣獲取的源圖像既可以保證與場景內容的一致，且降低圖像場景配準的難度。

三維場景是在計算機圖形硬件驅動下繪制的，圖形本身的繪制遵循渲染管線的要求。渲染管線將內存中的三維場景數據處理、柵格化后生成圖像，保存在幀緩沖區(qū)中。幀緩沖區(qū)在繪制的每一幀緩沖圖像生成后，就將其顯示在屏幕上。同時，幀緩沖區(qū)中的數據還可以繼續(xù)傳輸到內存中，作為下一幀圖像的源數據。這一過程稱之為渲染到紋理。

實踐過程中發(fā)現Open GL［10］中用gl Read Pixels與gl TexI mage將緩存數據讀入到內存再進行紋理創(chuàng)建，或使用gl Copy TexIa mge可以實現渲染到紋理的操作，但這兩種方法的速度較慢，也不利于接下來的TIP圖像空間的生成。FBO（Frame Buffer Object）是Open GL的一項技術，可用來存儲幀緩存數據，能夠達到較好的效果，實現步驟如圖2所示。

圖2 渲染到紋理流程

2．2 圖像空間構建

圖像蜘蛛格網是TIP算法最關鍵的部分，它是構造具有一定深度信息圖像空間的數學基礎，主要由3個部分組成：滅點、內窗口和外窗口，如圖3所示。滅點與內窗口是通過圖形交互用戶界面人為設定的，外窗口即是圖像輪廓。蜘蛛格網將圖像分割為后墻、頂面、底面、左墻和右墻5個部分，連線相交得到12個點，是圖像空間各幾何面的頂點，見圖4。

圖3 蜘蛛格網

圖4 圖像分割幾何空間構建

2．2．1 滅點與內窗口的設定

滅點是指場景中不平行于投影面的平行線在透視投影下匯聚的一點，一般匯聚在場景平行線的延長線上。街景地圖的場景比較復雜，通常情況下一幅圖像上有多個滅點。道路呈平行狀是描述街景的主要地物，選它的圖像交點作為圖像滅點。源圖像是在街景車前進方向上獲取的，滅點就在源圖像的中軸線附近，考慮相機姿態(tài)俯仰角的影響，即可得到一定精度下的滅點坐標。街景車利用GPS、慣導等設備采集相機姿態(tài)、經緯度、高程等信息［12］，這樣就可以根據相關信息計算滅點與矩形坐標，有效減少人為指定的大量工作。

圖像滅點坐標X″計算：

X′＝RαRωRκx ，其中，

α，ω，κ分別是相機繞x軸、y軸、z軸的旋轉角。

X″＝V·P·M· ［X′ ，1］ ，其中，V，P，M 分別是視口矩陣、投影矩陣、模型矩陣，實現將空間坐標轉化為屏幕坐標，X″＝ ［x ，y，1］。

內窗口主要是與滅點、外圖廓將源圖像分割，生成圖像空間背景墻，在漫游過程中提供清晰的遠景。街景地圖中內窗口設定的原則是保留街景關鍵內容，保持空間的連續(xù)性。根據設定原則考慮人眼習慣，內窗口長寬比設為2∶1。

2．2．2 深度計算

TIP圖像空間的深度計算是根據蜘蛛格網的指定而計算得到的。根據透視學原理，將其映射在左右面平行、頂地面平行、成像面后墻面平行的圖像空間內。根據圖像空間結構特點，運用幾何原理即可求得圖像空間深度，如圖5所示。

圖5 圖像空間深度計算

圖5 中：O為觀察視點；V為圖像滅點，V′為成像平面滅點；A，B為TIP圖像空間后墻頂、底兩點，A′B′所在平面為成像平面；h為試點到底面的距離；f為視點到成像平面的距離；l為滅點到頂面的距離；d為圖像空間深度。

f可由三維場景相機投影矩陣參數獲得，h與V′B′由圖像滅點與內窗口的像素坐標獲得。由三角形VOB相似于三角形V′OB′，得

2．2．3 紋理映射

TIP中在頂面、底面以及兩個側面紋理映射的過程，是將梯形的圖像映射在矩形的幾何面上，使得矩形面上圖像分辨率越靠近背景墻越模糊。隨著漫游過程的推近，圖像側面呈現越來越模糊的視覺效果，破壞了漫游過程越近越清楚的空間感知。

著色器是定義在Open GL渲染管線上靈活的圖形顯示接口，設置在管線的關鍵位置，對圖形多樣的操作，能產生豐富的效果。街景地圖的漫游過程中，對側立面綁定圖形拉伸著色器，圖像內容的拉伸給用戶營造出穿行的感受，有效提高空間穿梭效果，克服TIP側立面圖像分辨率較低的缺點。

2．3 漫游

漫游是相機與三維場景產生的相對運動，其實質是相機投影矩陣的變化。街景地圖中設計漫游主要有兩個方面的因素需要考慮：①全景圖數據采集較為連續(xù)、密集，構造的TIP空間深度較小漫游距離較短，步長設定受限；②在線地圖的網絡帶寬影響全景圖像的加載速度，TIP圖像空間是線下的處理方式，能夠快速構造圖像空間，但其場景深度有限，若已漫游到圖像空間的上限時數據加載還未完畢，用戶就被滯留在TIP空間。因此，在實踐過程中，盡管手動漫游有較強的可操作性，相較在TIP圖像空間設計一個按照一定速度的自動漫游方式有更好的效果，并且移動的速度可以根據網絡帶寬來設定，保證下一個全景圖數據的加載時間。漫游實現步驟如下：

1）獲取帶寬速度，計算場景加載時間；

2）根據TIP圖像空間相對深度，計算圖像空間漫游速度；

3）自動漫游，另開線程加載下一個全景圖數據；

4）等待網絡數據加載完畢，切換場景。

3 試驗結果

本文實驗計算機配置如下：CPUi5，顯卡GT430，4G內存，vs2010環(huán)境下實現。場景建模和繪制方面，運用Open GL以及Open GL著色語言，主要實現消息與事件驅動下的街景漫游。

3．1 方法實現

本文根據街景漫游需要，對TIP算法實現步驟中的源圖像獲取、背景建模、圖像空間生成進行設計與實現，主要流程如圖6所示。

圖6 實現流程

3．2 實驗結果

3．2．1 滅點設定比對結果

圖7是焦距為35 mm的鏡頭采集圖像拼接得到的全景圖，原始攝像圖像分辨率為1 366×768，根據滅點在圖像的位置分析得到，水平方向的誤差為：｜696．660－688．464｜／1 366＝0．006；垂直方向的誤差為：｜405．504－432．384｜／768 ＝ 0．035；因為滅點本身依賴于圖形交互人為設定，存在一定的誤差，所以該方法誤差較小，具有一定的可行性。

3．2．2 場景漫游效果

如圖8所示，場景源圖像以及街景漫游在第20、60、100幀的圖像效果，圖像空間縱深感較強、穿行鏡頭明顯。同時，幀率顯示在27幀／s以上，大于25幀／s基本流暢度的要求。

4 結束語

圖7 滅點設定對比結果

圖8 街景漫游場景截圖

本文通過對當前全景漫游技術、TIP算法的分析，借鑒前人在全景圖漫游與TIP圖像空間構建的方法。運用渲染到紋理、著色器等技術，提出一種適用于街景地圖的漫游方法。在源圖像獲取、滅點處理、漫游等方面對TIP算法進行改進，圖像空間具有一定的縱深感，漫游過程能體現出較好的穿行感。但在不同街道的漫游、導航圖牽引的漫游等方面還不能取得較好的效果，有待進一步分析與研究。

［1］ 城市吧．街景地圖何去何從［EB／OL］，2012．7．26．http：／／www．city8．co m／ditu／287073．ht ml．

［2］ 李玲，秦志偉，王崇倡，等．基于 WMTS標準的2．5維電子地圖的構建［J］．測繪與空間地理信息，2014，37（5）：127－130．

［3］ 張茂軍．虛擬現實系統(tǒng)［M］．北京：科學出版社，2001：116－117．

［4］ 如建成，崔杜武．基于全景圖的多視點虛擬空間漫游技術［J］．計算機工程，2004，30（1）：153－154．

［5］ 章玉文，戴青，邵婧．多視點空間平滑漫游的研究與實現［J］．計算機工程與設計，2011，32（8）：2768－2771．

［6］ HORRY Y，ANJYO K，ARAI K．Tour into the picture：using a spidery mesh interface to make ani mation fro m a single i mage［C］．Los Angeles：ACM SIGGRAPH，1997：225－232．

［7］ KANG H，PYO S，ANIYO K，etc．Tour into the picture using a vanishing line and its Extension to Panoramic i mages［C］．Manchester：Euro graphics，2001：6－8．

［8］ 劉喜作，徐曉剛，周明，等．圖像漫游：雙滅點的松弛蜘蛛網格算法［J］．中國圖像圖形學報，2005，10（3）：344－348．

［9］ 曹智清．基于圖像繪制的TIP方法研究［D］．杭州：浙江大學，2005：35－51．

［10］Dave Shreiner etc．Open GL編程指南［M］．北京：機械工業(yè)出版社，2010．

［11］劉興明，包曉光．GPS車載導航定位技術研究［J］．測繪工程，2013，22（6）：31－34．

［12］趙春，趙闖姓．基于Arc GIS平臺制作矢量電子地圖的方法探討［J］．測繪與空間地理信息，2014，37（4）：133－136．