基于Pictometry傾斜影像的三維城市模型紋理映射

婁 博，耿則勛，魏小峰，王洛飛，李伊杰

（1.信息工程大學(xué) 測(cè)繪學(xué)院，河南 鄭州 450052；2.69028部隊(duì)，新疆 烏魯木齊 830002；3.66267部隊(duì)75分隊(duì)，河北 石家莊 050081）

如今，在GIS中使用正射影像作為地形背景是很普遍的。決策人員、行政人員以及普通大眾都可以在谷歌地球等其他類似的服務(wù)上獲得正射影像來(lái)進(jìn)行定向和地物觀察。然而，對(duì)垂直影像的判讀需要訓(xùn)練和技能，并不是每個(gè)人都能容易地判讀正射影像。與垂直影像相比，傾斜影像最大的優(yōu)點(diǎn)是更好、更直觀地判讀。對(duì)傾斜影像的判讀和量測(cè)只需要稍微訓(xùn)練就能做到，且其直觀性與人們的視覺(jué)感受是一致的，因此，傾斜影像對(duì)于決策者和普通大眾來(lái)說(shuō)是非常具有吸引力的。為了能夠從傾斜的視角獲得盡可能多的信息，一般至少要獲得東南西北4個(gè)方向上的影像。傾斜航空攝影測(cè)量可以應(yīng)用在國(guó)民經(jīng)濟(jì)中的很多方面（建筑物偏離的檢測(cè)、城市和基礎(chǔ)設(shè)施的規(guī)劃、軍事偵察和安保、重要設(shè)施的保護(hù)以及地籍的管理等等），特別是在三維城市建模中的應(yīng)用。

近十多年來(lái)，三維城市建模在數(shù)字?jǐn)z影測(cè)量領(lǐng)域里是一個(gè)有活力的研究領(lǐng)域。在生成三維城市模型過(guò)程中，兩個(gè)主要步驟分別是構(gòu)建建筑物模型和將紋理添加到模型表面。人們已經(jīng)發(fā)展了各種通過(guò)數(shù)字影像或是激光雷達(dá)自動(dòng)或半自動(dòng)構(gòu)建三維城市模型的方法［1－2］。由于數(shù)字航空影像和激光雷達(dá)數(shù)據(jù)之間的補(bǔ)充性，通過(guò)融合數(shù)字影像和激光雷達(dá)數(shù)據(jù)能精確可靠地提取出建筑物模型［3］。在三維城市模型紋理映射方面，通常利用垂直影像進(jìn)行房頂和地面的紋理映射，然而，建筑物的側(cè)面在垂直影像上并不可見(jiàn)，因此，不能對(duì)側(cè)面進(jìn)行紋理映射。為了確保能覆蓋建筑物的所有表面，很有必要使用獲取于不同方向角度的傾斜影像來(lái)進(jìn)行三維城市模型的紋理映射。美國(guó)Pictometry公司的傾斜攝影相機(jī)（Pictometry Penta）是一種用于獲取垂直和傾斜影像的中幅面數(shù)字影像系統(tǒng)，目前在世界范圍內(nèi)被廣泛使用。本文將簡(jiǎn)要介紹Pictometry數(shù)字影像系統(tǒng)，并提出一種基于Pictometry傾斜影像進(jìn)行三維城市模型紋理映射的方法。

1 傾斜航空攝影測(cè)量的特點(diǎn)

傾斜航空攝影系統(tǒng)不同于傳統(tǒng)的垂直航空攝影系統(tǒng)，其采用多個(gè)鏡頭以傾斜的方式在幾個(gè)方向上獲取地面影像。傾斜航空攝影系統(tǒng)中的重疊度在數(shù)值上和普通航空攝影基本相似，傾斜影像則沒(méi)有重疊度的概念，但其仍然有重疊，目的是為了滿足景觀覆蓋，而不是測(cè)圖［4］。傾斜影像的比例尺并不是恒定的。影像前景的比例尺比后景的大，如圖1所示。α是相機(jī)的傾斜角，β是鏡頭的視場(chǎng)角度，它決定了影像到飛機(jī)的最大距離和最小距離以及影像的比例尺。最小、平均和最大地面分辨率為

圖1 傾斜影像的幾何特性

影像的前景和后景到飛機(jī)的距離為

2 Pictometry數(shù)字影像系統(tǒng)

Pictometry數(shù)字影像系統(tǒng)由5個(gè)數(shù)字照相機(jī)、POS系統(tǒng)及飛行控制系統(tǒng)組成。每個(gè)相機(jī)的分辨率大小為4 900×3 200，像素大小為0.009mm。其中的4個(gè)相機(jī)分別以特定的角度（40°～60°）朝向前、向后、向左、向右，剩下的一個(gè)垂直向下。垂直向下的相機(jī)捕捉高分辨率的垂直影像，其它4個(gè)用來(lái)獲取在同一時(shí)刻不同方向視角上的傾斜影像。POS系統(tǒng)能提供精確的位置和曝光時(shí)刻每個(gè)相機(jī)的姿態(tài)，因此，Pictometry影像系統(tǒng)生成的影像直接就是地理參考影像。如同傳統(tǒng)的航空影像一樣，垂直影像提供了地表的俯視圖，傾斜影像則顯示了地物的側(cè)面，如建筑物的側(cè)面。垂直影像可以用來(lái)制作精確的大比例尺正射影像［5］，傾斜影像則可以用作可視化、量測(cè)和三維建模。Pictometry傾斜影像已經(jīng)被廣泛使用于各種應(yīng)用當(dāng)中，比如公共安全、稅額估算、城市規(guī)劃、三維城市建模等等。飛行控制系統(tǒng)是一個(gè)飛行計(jì)劃軟件，它可以在飛行前或是飛行過(guò)程中為垂直影像和傾斜影像的拍攝決定飛行路線、控制影像重疊度等等。一般采取30%的旁向重疊度，66%的航向重疊度。獲取的傾斜和垂直影像可以在EFS（Electronic Field Study）這個(gè)軟件中進(jìn)行瀏覽和量測(cè)諸如地面物體的距離和高度等信息。將量測(cè)結(jié)果能導(dǎo)入ArcGIS能更新數(shù)據(jù)庫(kù)中已存在的空間地理信息。

3 基于Pictometry數(shù)字傾斜影像的三維模型紋理映射

與垂直影像相比，由于傾斜影像可以更好地顯示建筑物的各個(gè)面，因此，其在構(gòu)造建筑物紋理方面具有優(yōu)勢(shì)。Pictometry影像系統(tǒng)能夠獲得來(lái)自不同方向上的傾斜影像，這些傾斜影像對(duì)于構(gòu)造建筑物紋理是很理想的［6］。本文提出一種基于Pictometry傾斜影像的三維模型紋理映射的方法。大體分為2個(gè)步驟：首先，通過(guò)對(duì)二維影像上的線特征與三維模型上的線特征之間的匹配來(lái)實(shí)現(xiàn)影像與模型的配準(zhǔn)。其次，對(duì)三維模型三角網(wǎng)上的每個(gè)三角形選擇1個(gè)最合適的影像進(jìn)行紋理映射。

3.1 影像與模型之間的配準(zhǔn)

進(jìn)行紋理映射的第1步是二維傾斜影像與三維模型之間的配準(zhǔn)。Pictometry傾斜影像帶有初始的外方位元素，由影像初始粗略的外方位元素可以最終求解出精細(xì)的外方位元素，因此，配準(zhǔn)的過(guò)程是一個(gè)由粗到精的過(guò)程。

3.1.1 傾斜影像上的線特征提取

圖像的邊緣檢測(cè)有著很長(zhǎng)的研究歷史，國(guó)內(nèi)外研究人員也提出了各種各樣的線特征提取方法，其中Canny邊緣檢測(cè)算子由于具有良好的信噪比和定位功能很快得到了普及［7］。Canny給出了評(píng)價(jià)邊緣檢測(cè)性能好壞的3個(gè)標(biāo)準(zhǔn)：①信噪比標(biāo)準(zhǔn)。即將邊緣點(diǎn)判斷為非邊緣點(diǎn)，將非邊緣點(diǎn)判斷為邊緣點(diǎn)的概率要低。②定位精度標(biāo)準(zhǔn)。即檢測(cè)出的邊緣點(diǎn)盡可能在實(shí)際邊緣的中心。③單邊緣響應(yīng)標(biāo)準(zhǔn)。即對(duì)單邊緣僅有唯一的響應(yīng)，對(duì)虛假邊緣有最大的限制。

Canny算子用高斯函數(shù)的一階微分來(lái)計(jì)算梯度，并尋找圖像梯度的局部極大值。通過(guò)設(shè)定2個(gè)閾值來(lái)分別檢測(cè)強(qiáng)邊緣和弱邊緣，當(dāng)且僅當(dāng)強(qiáng)邊緣與弱邊緣連接時(shí)，弱邊緣才被輸出。因此，Canny算子不易受噪聲的干擾，能在邊緣和噪聲之間取得平衡，檢測(cè)出真正的弱邊緣［7］。本文采用Canny算子對(duì)傾斜影像進(jìn)行線特征的提取。

3.1.2 線匹配過(guò)程

求解傾斜影像的外方位元素需要進(jìn)行二維影像上的線特征與三維模型上線特征的匹配。將三維模型線投影在傾斜影像上，通過(guò)比較與影像上的二維線的斜率和接近程度，來(lái)評(píng)價(jià)投影位置的好壞［8］。位置好壞程度為

式中：li為傾斜影像上的第i個(gè)線段，M為影像上線段的個(gè)數(shù)，Lj為三維線段投影在影像上的第j個(gè)線段，N為三維線段的個(gè)數(shù)，‖li‖為影像上第i個(gè)線段的長(zhǎng)度，S（li，Lj）是關(guān)于li和Lj斜率的函數(shù)，D（li，Lj）是線段li和Lj端點(diǎn)的接近程度的函數(shù)。函數(shù)S（li，Lj）和D（li，Lj）定義如下：

式中：〈li，Lj〉為線段li和Lj的法線的點(diǎn)積，d（li，Lj）為li上的端點(diǎn)到Lj的最小距離之和，Smax和Dmax是設(shè)定的閾值。當(dāng)投影到影像上的三維線段能夠很好地與影像上的線段匹配時(shí)，得出的Q值最大。

3.2 紋理的選取

對(duì)于每一個(gè)特定的三維三角形，都有多張影像可以使用，因此，這個(gè)過(guò)程中的主要任務(wù)便是選擇一個(gè)最合適的影像。由于所有的影像都是在短短幾分鐘內(nèi)獲取的，因此，可以忽略光照條件的差異。為了判明影像的某個(gè)區(qū)域?qū)?yīng)某個(gè)特定的三角形，可以利用獲得的姿態(tài)，通過(guò)計(jì)算投影在影像上的三維三角形的3個(gè)角點(diǎn)的紋理坐標(biāo)，得到二維影像上的三角形。

一般情況下，如果從一個(gè)接近獲取原始影像的位置去觀察，紋理映射模型看起來(lái)是最好的。相比只使用單一影像參加紋理映射，使用多個(gè)影像能提供更好的視覺(jué)感受。然而，這種方法的缺點(diǎn)是其數(shù)據(jù)冗余以及更復(fù)雜的視圖渲染。對(duì)于每一個(gè)三維三角形，需要存儲(chǔ)多個(gè)紋理貼圖，對(duì)大比例尺的模型來(lái)說(shuō)會(huì)造成大量的數(shù)據(jù)。但是其視覺(jué)感受僅是略微勝于一個(gè)好的單一的紋理貼圖［9］。因此，綜合考慮，對(duì)于每一個(gè)三維三角形只使用一個(gè)影像來(lái)進(jìn)行紋理映射。選擇合適的影像應(yīng)從以下幾個(gè)方面考慮：

1）分辨率。一張傾斜影像不同位置上的分辨率各不相同，前景的分辨率要高于后景的分辨率。為了確定每個(gè)影像Ii上的每個(gè)三角形Tj的分辨率Rij，按照與三維三角形相對(duì)應(yīng)的二維三角形來(lái)歸劃像素。

2）遮蓋。為了確定某個(gè)三維三角形Tj在二維影像Ii上的可見(jiàn)程度，可以通過(guò)Z緩沖區(qū)算法來(lái)檢測(cè)影像上每一個(gè)像素的遮蓋情況。這種算法分2個(gè)步驟：第1步，為每一個(gè)影像分配一個(gè)Z緩沖區(qū)，并將所有的三維三角形投影后儲(chǔ)存其中。第2步，對(duì)每個(gè)三維三角形再次投影，計(jì)算沒(méi)被遮蓋的像素?cái)?shù)與總像素?cái)?shù)之間的比例ηij。由于城市環(huán)境的雜亂，一味追求影像100%的可見(jiàn)性往往會(huì)舍棄一些“較好”的候選影像。比如，相對(duì)有些許像素被遮擋的影像，低分辨率的影像或是傾斜角度過(guò)大的影像更能給人眼的視覺(jué)感受帶來(lái)不適。

3）觀測(cè)角度。對(duì)每一個(gè)三維三角形，最好以垂直的角度獲取用來(lái)紋理映射的航空影像。這是因?yàn)橛脙A斜角度過(guò)大的影像進(jìn)行紋理映射會(huì)造成很大的變形。對(duì)于影像Ii和三角形Tj，定義向量vij為影像獲取位置與三角形幾何中心的連線。

4）相鄰三角形之間的一致性。如果三維模型本身比較好，影像與三維模型之間的配準(zhǔn)比較理想并且所有影像的亮度、色調(diào)和分辨率相同，那么人的肉眼是看不見(jiàn)來(lái)源于不同紋理影像的三角形之間的拼接縫的。然而在實(shí)際中，如果影像是從相反的方向獲取的，那就會(huì)有明顯的拼接縫。實(shí)際上由于激光量測(cè)精度有限和分辨率有限，由激光數(shù)據(jù)得到的三維模型存在著缺陷，比如建筑物表面有幾何裂紋［10］。這些裂紋使得表面的法線方向發(fā)生意想不到的變化，影響到光滑表面上一些三角形的觀測(cè)角度準(zhǔn)則，使得用來(lái)紋理映射裂縫處相鄰三角形的影像是2個(gè)不同的影像，從而在整個(gè)表面上造成視覺(jué)上的紋理間斷。此外，由于測(cè)量噪聲，三維模型的表面并不是完全光滑的，這也使得不同紋理三角形之間的邊界并不平滑，而是像鋸齒一樣參差不齊。

本文通過(guò)如下的方法來(lái)減少建筑物表面或是房頂上連續(xù)三角形之間的紋理裂紋：①根據(jù)每個(gè)三角形表面的方向，可以將每個(gè)三角形歸類到“表面”、“房頂”、“地面”這3個(gè)類中的任何一個(gè)。如果Z分量比X，Y分量小，就認(rèn)為此三角形是“表面”三角形，否則，根據(jù)其角點(diǎn)的高程，將它歸為“地面”三角形或者是“屋頂”三角形。②對(duì)于每個(gè)三角形，都可以在三角網(wǎng)中找到與其是同一類型，并有共同的邊緣（相鄰）的所有三角形。因此，對(duì)于每個(gè)三角形，能獲得其相鄰且同類型的三角形列表，這個(gè)列表使得在影像選取過(guò)程中相鄰三角形保持類型上的一致。通過(guò)下面的方程可以確定用來(lái)紋理映射三維模型的最佳影像：

通過(guò)計(jì)算λij的值，將求解出的最高λij對(duì)應(yīng)的影像作為紋理映射三角形的初選影像，然后用相鄰一致原則，確認(rèn)或拒絕這個(gè)初選：首先，對(duì)于每個(gè)三角形Tj，利用相鄰三角形列表進(jìn)行樹(shù)形檢索，來(lái)確定與某個(gè)三角形是相同類型的相鄰三角形，一直檢索到相同類型的N級(jí)相鄰三角形。為了最終確定使用某個(gè)影像來(lái)進(jìn)行紋理映射，在初步選取的紋理影像中可以使用一個(gè)類似于中值濾波的方法來(lái)消除“噪聲”紋理。選定了影像后還要重新計(jì)算每個(gè)三角形角點(diǎn)的紋理坐標(biāo)，明確指定三角網(wǎng)格的紋理。

4 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)使用的三維模型是從激光雷達(dá)數(shù)據(jù)生成構(gòu)網(wǎng)而來(lái)的DSM，紋理數(shù)據(jù)則是Pictometry的17張傾斜航空影像。這些影像的航向重疊度為66%，旁向重疊度為30%，傾斜角度在40o～60o之間。Pictometry數(shù)字影像系統(tǒng)為每張傾斜影像提供了初始的外方位元素，結(jié)合共線條件來(lái)解答影像的外方位元素，實(shí)現(xiàn)二維影像與三維模型的配準(zhǔn)。圖2是三維特征線與二維特征線的配準(zhǔn)情況，圖2（a）為配準(zhǔn)前的情形，圖2（b）為配準(zhǔn)后的情形?？偟膩?lái)說(shuō)，二維特征線與三維特征線能較好地套合在一起，但由于三維模型本身存在的誤差，并不是每條三維特征線都能很好地和二維特征線相匹配。

圖2 三維模型線在影像上的投影

為了進(jìn)一步定量分析外方位元素的精度，從航空影像上選取6個(gè)點(diǎn)作為檢查點(diǎn)進(jìn)行分析。利用6個(gè)檢查點(diǎn)的三維坐標(biāo)和計(jì)算出的外方位元素，通過(guò)共線條件方程解算出其像坐標(biāo)，以計(jì)算出的像坐標(biāo)與實(shí)際像坐標(biāo)之間的誤差來(lái)衡量配準(zhǔn)結(jié)果的好壞，結(jié)果見(jiàn)表1。

表1 通過(guò)線特征得出的外方位元素計(jì)算出的檢查點(diǎn)像坐標(biāo)與實(shí)際坐標(biāo)的對(duì)比

通過(guò)對(duì)17張傾斜影像使用本文提到的紋理選取方法，可以挑選出最適合三維三角網(wǎng)上每個(gè)三角形的影像并計(jì)算出其紋理坐標(biāo)。圖3顯示了用來(lái)紋理映射的影像空間分布，不同的顏色代表不同來(lái)源的影像。圖3（a）顯示了基于分辨率、遮擋和觀察角而初步選取的影像空間分布。圖3（b）顯示了考慮相鄰一致原則后選取的影像分布。從圖中圓圈顯示的可以看出，考慮相鄰一致原則得出的影像選取更柔和平滑一些。

圖3 用來(lái)紋理映射的影像空間分布

5 結(jié) 論

傾斜影像相比垂直影像在構(gòu)造三維模型紋理方面具有優(yōu)勢(shì)。本文提出基于Pictometry傾斜影像進(jìn)行三維城市模型紋理映射的方法，其主要分為2個(gè)步驟：影像與模型的配準(zhǔn)和傾斜影像的選取。通過(guò)實(shí)驗(yàn)可以看出紋理映射的效果能夠讓人接受，但仍有一些問(wèn)題需要在以后的研究過(guò)程中解決：首先，對(duì)應(yīng)每個(gè)三維三角形應(yīng)使用多張傾斜影像進(jìn)行紋理映射，這樣可以避免因不同光照條件和對(duì)比度的影像進(jìn)行映射而造成的紋理裂縫，但使用多張影像紋理映射又會(huì)增加數(shù)據(jù)量，需在這2個(gè)矛盾方面找到一個(gè)平衡點(diǎn)；其次，需考慮如何簡(jiǎn)化紋理，降低非重要物體的細(xì)節(jié)度，從而獲取高效率的渲染運(yùn)算。

［1］Haala N，Hahn M，Data Fusion for the Detection and Reconstruction of Buildings［J］.In：A.Grün，O.Kübler＆P.Agouris，eds.Automatic Extraction of Man－Made Objects from Aerial and Space Images.Birkh？user Verlag：Basel，Switzerland，1995：211－220.

［2］Haala N，Brenner C.Generation of 3D City Models from Airborne Laser Scanning Data［C］.Proceeding of EARSEL Workshop on LIDAR remote sensing of land and sea，Tallinn，Estonia，1997.

［3］Vosselman G.Fusion of Laser Scanning Data，Maps，and Aerial Photographs for Building Reconstruction［C］.IEEE International Geoscience and Remote Sensing Symposium and the 24th Canadian Symposium on Remote Sensing，IGARSS＇02，Toronto，Canada，2002.

［4］楊久勇，高峰，向宇.傾斜航空攝影的原理及特點(diǎn)［C］.中國(guó)測(cè)繪學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集.北京，2010：341－344.

［5］Wang Y，Schultz S，Giuffrida F.Generation of Orthophotos Using Pictometry＇s Digital Images［C］.Proceedings of ASPRS Annual Conference，Portland，Oregon，2008.

［6］Wang Y，Schultz S，Giuffrida F.Pictometry’s Proprietary Airborne Digital Imaging System and its Application in 3D City Modelling［J］.International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，37：1065－1070.

［7］曾歡，王浩.圖像邊緣檢測(cè)算法的性能比較與分析［J］.現(xiàn)代電子技術(shù)，2006（14）：53－55.

［8］Lee S C，Jung S K，Nevatia R.Automatic pose estimation of complex 3D building models［C］.Workshop on Application of Computer Vision，Orlando，F(xiàn)lorida，USA，2002.

［9］Debevec P E，Taylor C J，Malik J.Modeling and Rendering Architecture from Photographs：a hybrid geometry－and image－based approach［C］.International Conference on Computer Graphics and Interactive Techniques：Proceedings of the 23rd annual conference on Computer graphics and interactive techniques，ACM SIGGRAPH，1996.

［10］Frueh C，Zakhor A.Constructing 3D City Models by Merging Ground－Based and Airborne Views：IEEE Conference on Computer Vision and Pattern Recognition［C］.Madison：WI，June，2003：562－569.