基于傾斜攝影技術的智慧城市建筑輪廓自動提取的研究

俞佳朋 宋 環(huán) 孫麗霞 王連妹

天津師范大學地理與環(huán)境科學學院 天津 300387

1 研究背景

美國副總統(tǒng)戈爾與1998年1月21日提出數(shù)字地球的概念之后,中國學者特別是地學界的專家認識到“數(shù)字地球”戰(zhàn)略將會是推動中國信息建設和經(jīng)濟發(fā)展,資源可持續(xù)的重要武器,并于1999年末在北京召開的首屆國際“數(shù)字地球”大會后提出了更多與“數(shù)字地球”相似的概念:“數(shù)字城市”、“數(shù)字中國”等。隨著人類社會的不斷發(fā)展,未來城市將承載著越來越多的人口,而當前我國正處于城鎮(zhèn)化加速發(fā)展的時期,“城市病”問題日益嚴峻,為了解決城市發(fā)展的難題,實現(xiàn)城市可持續(xù)發(fā)展,建設智慧城市已是迫在眉睫。“智慧城市”的建設需要計算機網(wǎng)絡,遙感測繪技術,全球定位系統(tǒng)以及空間信息系統(tǒng)作為支撐,同時獲取三維城市的輪廓是建設“智慧城市”的前提與基礎。

在現(xiàn)實世界中,城市中最重要的地物就是建筑物,或而言之,建筑物的建設是城市的建設最重要的部分,因此獲取三維城市的輪廓從根本上講就是獲取建筑物的輪廓。

隨著科技的不斷發(fā)展,我們在傳統(tǒng)的攝影測量技術上提出了一種新的技術---傾斜攝影技術,傳統(tǒng)的攝影技術只能獲取建筑物頂部信息,對于地物側面信息則無法獲取;而傾斜影像可以讓用戶從不同的角度觀察建筑物,彌補了基于正射影像分析的不足,同時傾斜攝影技術對于發(fā)展智慧城市有很大的推動力,其提供的一系列的地物信息,可以構建三維城市模型,為智能化的管理提供了便利條件。

通過傾斜攝影技術我們得到的是一幅較大區(qū)域的影像數(shù)據(jù),其實質是獲得某一區(qū)域內的三維影像,即柵格圖像,沒有辦法幫我們將地物區(qū)分開來,無法得到建筑物的單體模型,更無法對建筑物進行屬性編輯、更新等,因此我們需要將單個建筑物從大區(qū)域影像中提取出來。

2 國內外研究現(xiàn)狀

2.1 傳統(tǒng)的人機交互式建筑物單體化建模

傳統(tǒng)的人機交互式建筑物單體化建模的方法是人工提取建筑物的點、線、面特征,并將它們按照一定的規(guī)則組織起來,最終形成建筑物的輪廓。但由于我國在圖像輪廓自動提取方面的技術較為欠缺,一直以來都是采用傳統(tǒng)人工提取輪廓線的方法來繪制建筑物的輪廓。工作效率非常低,相關人員的工作量大;無法在短期內實現(xiàn)大規(guī)模建筑物的輪廓提;不符合信息化時代人工智能的發(fā)展現(xiàn)狀和社會的需要。

2.2 基于LiDAR建筑物單體化建模

利用LiDAR的方法,可以實時的獲得地物點的三維坐標信息及三維點云圖像,而近年來機載激光雷達可以幫助我們快速直接的獲取三維影像數(shù)據(jù)。LiDAR技術分為地面激光雷達技術和機載激光雷達技術。地面LiDAR技術可以在不同的地方設立站點以獲取數(shù)據(jù),然后將不同站點獲取的數(shù)據(jù)結合起來得到整個區(qū)域的三維影像,這種方法所得到的模型是較為精準的,但是由于需要設立較多站點,對于大規(guī)模的場景是不適用的;機載LiDAR技術可以獲取大規(guī)模的影像數(shù)據(jù),但是對于水體的反射、森林的遮擋,激光雷達無法獲得被遮擋的數(shù)據(jù),造成三維影像數(shù)據(jù)部分缺失。

2.3 自動化提取單體化建模

目前已有研究主要是采用直接從傾斜攝影三維點云中通過不規(guī)則三角網(wǎng)的構建以及內插擬合來提取建筑物輪廓,未能有效減小密集匹配點云由于噪聲和不均勻等因素導致的精度低、效率低的影響。

3 研究目標、技術流程以及技術創(chuàng)新

3.1 研究目標

改進輪廓自動提取方法,利用二維圖像與三維點云在不同維度上信息的融合與約束,使建筑物輪廓能夠更精確、高效穩(wěn)定地被提取出來。

3.2 研究的技術路線

(1)建立三維模型。無人機搭載多相機傾斜攝影獲取具有地理位置、地面控制點以及各相機參數(shù)的影像數(shù)據(jù),通過將坐標轉換到統(tǒng)一的坐標系下,進行影像數(shù)據(jù)處理,通過高效自動化的三維建模技術,快速構建精確的三維空間點云模型。

(2)緩沖區(qū)處理。在點云模型的基礎上,根據(jù)建筑物高度不同進行點云的深度緩沖區(qū)處理,實現(xiàn)在三維模型上建筑物輪廓的自動獲取;

(3)協(xié)同約束技術。根據(jù)傾斜影像的雙目影像匹配技術,提取建筑物二維輪廓,利用SAD匹配算法在二維影像層面進行建筑物輪廓的匹配,利用三維恢復技術,從二維建筑輪廓信息中恢復三維輪廓場景并與深度緩沖區(qū)法獲取的建筑物輪廓進行協(xié)同約束,從而實現(xiàn)高效、穩(wěn)定的城市建筑三維輪廓自動提取,最終實現(xiàn)單體化建模。

3.3 創(chuàng)新特色

(1)目前側視地圖中建筑物的輪廓線通常采用三維點云自動擬合的方法,該方法只是實現(xiàn)了輪廓線的自動提取,但精度和效率并不高。實際中,三維點云的擬合需要我們提取部分特征點,而一條建筑物輪廓線就由成千上萬個散點組成且一條直線上特征點分布呈現(xiàn)鋸齒狀,擬合出的輪廓線會發(fā)生偏離。因此研究小組采用協(xié)同約束的方法:

(2)基于無人機傾斜攝影獲取兩張不同視角下的同名點的二維影像,兩張影像導入計算機可以自動提取同一建筑物不同視角下的二維直線輪廓,所提取的直線輪廓通過外方位元素轉化成三維直線輪廓。(3)已有的基于三維點云的輪廓提取方法是使用不規(guī)則三角網(wǎng)內插法擬合出三維輪廓,而本項目的三維點云處理則采用深度緩沖區(qū)方法,與之相比,本項目方法具備更高的效率;同時本項目將二維影像恢復的三維直線輪廓和三維點云輪廓進行協(xié)同約束,可以實現(xiàn)更高精度的建筑物輪廓自動獲取。

(4)將輪廓提取技術嵌入到當前的傾斜攝影三維建模軟件和圖像處理中(如:Smart3D、Photoscan、Photoshop等),使研究成果真正得到應用。

4 研究內容

4.1 建模原理

基于傾斜攝影技術的三維建模采用了三維匹配建模的方式,根據(jù)重疊度較高的傾斜影像立體像對,通過同名點匹配技術,自動獲取一定數(shù)量的控制點并進行空中三角測量計算,計算出二維影像中每個像點在空間中的位置,形成三維點云,在此基礎上構建三維模型[1]。

4.2 二維影像輪廓提取

根據(jù)無人機傾斜攝影獲取的影像,對建筑物輪廓進行提取,用到了輪廓提取算法。常用的輪廓提取算子有sobel、canny、prewitt、log等。根據(jù)小組對比實驗,最終選用對建筑物輪廓提取效果最好的canny算子進行研究

4.2.1 現(xiàn)有canny算子的不足

圖像在進行輪廓提取前需要去除圖像含有的噪聲,現(xiàn)有的canny算子利用高斯濾波器對圖像進行噪聲的去除[2]。然而高斯濾波器需要人為選取他的閾值δ,當δ偏小時,濾波器的頻帶很寬,能夠保留更多的輪廓信息,但噪聲的去除效果差,提取的無用輪廓多;當δ偏大時,頻帶很窄,在濾去噪聲的同時也會過濾掉有用的輪廓信息,導致輪廓不連續(xù)。根據(jù)以上遇到的問題,研究小組決定用形態(tài)學處理的方法改進原有算法[3]。

4.2.2 基于形態(tài)學的圖像輪廓提取

1)腐蝕

腐蝕可以使目標區(qū)域范圍“變小”,其實質造成圖像的邊界收縮,可以用來消除小且無意義的目標物。式子表達為:AΘB={x,y|(B)xy?A}。該式子表示用結構B腐蝕A,需要注意的是B中需要定義一個原點,而B的移動的過程與卷積核移動的過程一致,同卷積核與圖像有重疊之后再計算一樣,當B的原點平移到圖像A的像元(x,y)時,如果B在(x,y)處,完全被包含在圖像A重疊的區(qū)域,(也就是B中為1的元素位置上對應的A圖像值全部也為1)則將輸出圖像對應的像元(x,y)賦值為1,否則賦值為0。

2)膨脹

膨脹會使目標區(qū)域范圍“變大”,將于目標區(qū)域接觸的背景點合并到該目標物中,使目標邊界向外部擴張。作用就是可以用來填補目標區(qū)域中某些空洞以及消除包含在目標區(qū)域中的小顆粒噪聲。式子表達為A⊕B={x,y|(B)xy∩A≠?}

3)開運算和閉運算

開運算即先腐蝕后膨脹的過程,開運算可以用來消除小物體、在纖細點處分離物體、平滑較大物體的邊界的同時并不明顯改變其面積。

先膨脹后腐蝕的過程稱為閉運算,能夠排除圖像中的小空洞。

4.2.3 形態(tài)學改進的輪廓提取算法

使用頂帽變換和底帽變換相結合的形態(tài)學操作來消除噪聲[4]。頂帽運算是由輸入圖像與圖像開運算操作后的邊緣圖像做差運算得到的,可以消除暗背景上亮物質的噪聲。底帽運算的作用正好與頂帽運算相反,可以消除亮背景上的暗物質的噪聲。將這兩種變換相融合,不但能夠有效地平滑圖像中的噪聲,而且能夠增強圖像的邊界信息。

4.3 深度緩沖區(qū)處理

4.3.1 緩沖區(qū)處理原理原理

深度緩沖區(qū)是用來存儲每一像點深度信息的一塊內存緩沖區(qū),它為每一像點存儲一個深度值(Z值),Z值代表像點與相機之間的距離,以灰度值或顏色來表示像點在空間中的位置關系,因此深度緩沖區(qū)的處理方法能夠以二維圖像的方式保存三維信息,使得數(shù)據(jù)處理更加高效精確。

4.3.2 深度圖像預處理

利用Visual studio搭建pcl環(huán)境,將點云文件轉換成深度圖像。為了減少深度圖像中的噪聲對后續(xù)操作產生影響,利用中值濾波對噪聲進行平滑處理,通過規(guī)定一定大小的鄰域,計算鄰域中像素點灰度均值并賦予中心像素點,以此消除噪聲[5]。由于建筑物高度不一,它們在深度圖像上的灰度差值可能過大,導致后續(xù)二值化的操作中缺失部分建筑物;并且處理數(shù)據(jù)過大將降低處理效率和精度,研究小組決定將一張深度圖像裁剪成多張圖像進行處理以提高精度和效率。

4.3.3 深度圖像二值化

深度圖像二值化是指選取一個合適的閾值,將圖像中的背景與目標物體分離出來,以達到快速對目標區(qū)域進行處理的效果。

建筑圖圖像

Canny算子

改進后的canny算子

1)灰度閾值法

當裁剪后的深度圖像中目標物區(qū)域與背景區(qū)域灰度值存在較大差異時,計算它們之間的灰度差值并以此為基礎設置一個合適的灰度閾值T,將T與各像素點灰度進行比較。若像素點灰度值大于T值,那么賦予此像素點灰度值1;若像素點灰度值小于T值,那么將此像素點灰度值設置為0。

2)固定閾值法

當裁剪后的深度圖像中灰度分布比較均勻時,選取深度圖像灰度直方圖中的波峰值或波谷值作為閾值,大于峰值的像素點灰度值設置為1,小于峰值的像素點設置為0[6]。

4.3.4 圖像輪廓提取與空間還原

同樣采用形態(tài)學改進的輪廓提取算法對二值化處理后的深度圖像進行輪廓提取,根據(jù)提取出來的作為輪廓的像素點含有的Z值,將像點還原到三維空間中,形成三維輪廓。

經(jīng)過圖像裁剪、二值化處理后獲得的建筑物屋頂輪廓

4.4 雙目影像匹配及三維恢復

本三維恢復不同于以往常用的三維建模,而是一種新型的效率更高的建模方法。它是基于立體像對的輪廓提取匹配與三維恢復技術,即使用線段進行三維重建。

基于影像的直線特征提取技術,將建筑物輪廓規(guī)則地提取出來;然后利用輪廓法,同時結合直線匹配和相機的位姿信息,實現(xiàn)建筑物輪廓信息的空間三維恢復,從而構建一個精確的立體視覺系統(tǒng)。

本方法引用了Line3D++的建模方法及基本框架,主要包括幾個步驟[7]:

(1)建立不同圖像線段之間的潛在對應關系;

(2)根據(jù)同名點對它們的支持來評價這些對應關系;

(3)為每個二維線段選擇最合理的對應作為其三維位置假設;

(4)根據(jù)二維段在三維空間的鄰近度進行聚類,得到最終的對應集和三維模型。

Line3D++能夠很好地且較快地提取并恢復建筑物的線段三維模型,但是它本身存在一些不足,或是說是不能滿足本項目研究的地方。它適用于單個建筑物的線框模型恢復,比如一座教堂或者一幢樓房,而不適用于傾斜攝影得到的大片建筑物,所適用的面積范圍小。而本項目是旨在解決智慧城市建設中的大面積建筑物三維輪廓提取難題,故需要對此方法進行改進。

我們將Line3D++的線段提取方法改成利用canny邊緣算子對影像進行輪廓提取,再經(jīng)過直線檢測,對提取得到的線段進行簡化,此處用到的是霍夫變換檢測直線的算法。我們通過OpenCV中的hough變換來檢測圖像中的線條[8]。它的輸入是一個二值的輪廓圖像,往往是邊緣檢測得到的結果圖像;它的輸出是一個包含多個Vec2f點的數(shù)組,這個函數(shù)輸出得到的直線并沒有指定在圖像中的開始點與結束點,需要我們自己去計算,如果我們想把直接顯示在圖像中就會比較麻煩,而且會有很多角度接近的直線,其實它們是重復的,為了解決上面這些問題,我們利用OpenCV提供的另外一個函數(shù)Hough LinesP()。它的輸出是一個Vector of Vec4i。Vector每一個元素代表一條直線,是由一個4元浮點數(shù)組構成,前兩個點一組,后兩個點一組,代表了在圖像中直線的起始和結束點。算法中還指定了檢測直線中的最小寬度和最小距離,如果低于最小寬度則舍棄掉,那些通過同一點的直線,如果距離小于指定距離,就會將其進行合并。

最后,我們將處理得到的結果利用Line3D++進行三維恢復,可以得到一個較為精簡的三維線框模型。

三維恢復得到的線框模型

被提取建筑物照片

4.5 協(xié)同約束

4.5.1 原理

由于深度緩沖區(qū)處理得到的點云輪廓并不直,而且三維恢復得到的線框模型也是由大量的線段組成的,并不是一個完整的輪廓。所以,我們設想將深度緩沖區(qū)處理所得的點云輪廓與三維恢復得到的線框模型(實質上也是由點云構成的)進行疊加,前者可以彌補后者的斷點處,后者可以對前者進行約束。利用RANSAC函數(shù)對疊加后的點云進行處理,可以得到一個較為精確、完整的建筑物輪廓。

4.5.2 RANSAC算法擬合三維直線

1、算法簡介:

隨機抽樣一致算法(RANSAC)最早由Fischler和Bolles于1981年提出[9],采用迭代的方法從一組數(shù)據(jù)中估算出數(shù)學模型的參數(shù)。該算法將集合中的點分為內點(符合模型的點)和外點(不符合模型的點)假設抽樣數(shù)據(jù)都為正確數(shù)據(jù),通過這些數(shù)據(jù)構建模型,利用其余點進行計算、評分和判斷。

2、算法流程[10]:

1)輸入中心點集,隨機選擇兩個點構建模型

2)將點集中的所有數(shù)據(jù)點代入模型計算誤差

3)判斷誤差是否滿足預設的誤差閾值,滿足則歸為內點,不滿足則歸為外點

4)重復上述過程,當?shù)螖?shù)達到k值后,選出內點最多的模型作為此點集擬合的結果。

3、k值(迭代次數(shù))的計算:

假設點云集合中一個點是內點的概率為t,那么隨機選取的n個點都是內點的概率為tn,那么隨機選取的n個點中至少有一個外點的概率為1-tn。假設P為算法得到正確解的概率,那么,由此可得因此可以通過增加迭代次數(shù)來提高算法的準確率。

5 結語

本文解決了現(xiàn)有的人工提取建筑物輪廓提取效率低、自動化提取輪廓效果差的問題,從而推動智慧城市建設工程的進程。但是尚且存在局限性,本研究主要適用于常見的方形規(guī)則建筑物,對于特殊形狀的建筑物不太適用,我們將在之后的研究中加以改進。