基于航拍圖像的道路提取算法

梅 超，曹 凱，王 杰，李亞偉

(山東理工大學 交通與車輛工程學院，山東 淄博 255049)

基于航拍圖像的道路提取算法

梅 超，曹 凱，王 杰，李亞偉

(山東理工大學 交通與車輛工程學院，山東 淄博 255049)

針對航拍圖像中的檢測道路問題，提出了一種多方法融合的道路提取算法.該算法根據(jù)建立的顏色模型，應用圖像分析技術分析道路的連接特性和寬度特征.運用Hough變換提取圖像中道路像素，使用交集處理方法去除圖像中的噪聲.通過道路陰影顏色分析，噪聲分類處理以及道路修復等技術，快速高效地從復雜的航拍圖像中提取出道路.實驗結果表明，與現(xiàn)有的道路檢測方法相比，該算法具有檢測準確、效率高等優(yōu)點.

道路提??；Hough變換；圖像去噪；航拍圖像

近年來，繼航空遙感之后，采用無人機檢測已成為道路交通監(jiān)測研究熱點.無人機航拍與遙感相比有下幾個方面的特殊性和優(yōu)勢：航拍可以快速靈活地獲取現(xiàn)場信息；航拍圖像分辨率更高，依據(jù)相機不同可達到米級、厘米級；航拍圖像以可見光為主，波段較少，色彩比較逼真.此外，與遙感圖像相比，航拍圖像受環(huán)境影響較小，適用于追蹤復雜環(huán)境中的目標.由于遙感數(shù)據(jù)量巨大，給數(shù)據(jù)的存儲、處理和應用帶來較多困難.而無人機可針對感興趣的局部環(huán)境進行航拍，避免了常規(guī)調查的盲目性和無效工作，因而數(shù)據(jù)量小，易于存儲和處理，且圖像穩(wěn)定，精度較高.所以適合利用無人機航拍技術進行交通監(jiān)控.

對航拍圖像道路提取已有許多研究：Gruen A,Li H等提出了利用動態(tài)規(guī)劃的最小二乘B樣條模型算法提取圖像中道路目標[1]；Baumgartner A,C.Steger, H.Mayer.利用道路中上下文關聯(lián)特征進行道路提取[2],但是需要獲取多種分辨率的遙感圖像,實用性不強；Peter D 采用聚類的方法對已分割的圖像中的道路中心線進行提取[3],但是對圖像分割的精度要求很高也沒有充分利用道路的特征；結合光譜特征與形狀特征利用數(shù)學形態(tài)學的方法提取道路[4],此類方法主要還有 snake 模型、高階主動輪廓、基于數(shù)學形態(tài)學、模板匹配等；也有學者利用近些年來提出的面向對象分類方法來提取道路[5-6].為了提取空間目標的運動和結構信息，SHI W Z鄧提出了基于光流預測的空間目標序列的線段匹配方法[7]；傅罡等提出了曲折道路遙感影像圓投影匹配改進追蹤法[8].上述方法各有利弊,但都無法很好地解決從航拍圖像中提取道路的問題.

大多數(shù)道路提取方法都基于高質量的圖像信息，即圖像含有的噪聲越少提取的道路信息越完整.本文針對小型無人航拍圖像中道路檢測容易受到建筑物、道路陰影以及其他噪聲的干擾，提出了一種快速提取道路的算法.

1 道路特征分析

道路系統(tǒng)是一個非常復雜的系統(tǒng).它既沒有固定的形狀，也沒有統(tǒng)一的顏色.唯一重要的特點是連接特性和寬度特征.

航拍圖像中的道路易受到非道路因素的干擾，可以把干擾分為3種類型：

(1)房屋屋頂.它主要分為兩種:小型建筑屋頂和大型建筑屋頂.，因為屋頂顏色不同所以小型建筑屋頂很容易與道路區(qū)分.由于光的反射，屋頂和道路有著相似的光譜特性，所以在二進制圖像中屋頂就變成了噪聲.多數(shù)大型建筑的屋頂與道路采用了相同的建筑材料，它們具有相同的光譜特性，導致了在二進制圖像中產(chǎn)生了大的噪聲.

(2)與道路連通的開放區(qū)域，如小型停車場，籃球場等.因為光譜特性相同，所以在二進制圖像中很難與道路區(qū)分.然而，由于開放區(qū)域的面積大于道路，利用面積特性可以有效去除噪聲.

(3)道路上的噪聲干擾，比如陰影和車輛.這種噪聲直接影響路面，它影響道路的兩個重要特征(寬度特征和連通特征).尤其是公路旁的樹木遮擋以及建筑的陰影將嚴重影響道路的寬度特征，有時甚至破壞道路的連通性.

2 道路提取方法

2.1 獲取道路閾值

霍夫直線檢測作為直線提取的經(jīng)典算法，被廣泛應用于直線檢測領域.霍夫變換基于以下思想：對于點(xi,yi)，直線方程yi=axi+b可以描述所有通過該點的直線.若改寫該式為b=-xia+yi，并考慮參數(shù)平面ab平面，此時對每一個固定點(xi,yi)唯一確定一條直線，稱作直線l1.同理，另一點(xj,yj)在參數(shù)平面上也可以確定一條與之相關的直線l2，l1與l2相交于點(a',b')，其中a'和b'分別是xy平面上包含點(xi,yi)和點(xj,yj)的直線的斜率和截距.事實上，直線l1上的所有點都可以確定一條直線，這些直線在參數(shù)空間都經(jīng)過點(a',b').這種關系如圖所示.根據(jù)這樣的特點，xy平面上的一個像素點映射到ab平面上就成為了一條直線.

霍夫變換利用圖像空間中線與霍夫參數(shù)空間中點的對應性，用參數(shù)空間實現(xiàn)圖像空間中直線的檢測，通過在霍夫參數(shù)空間中完成簡單的累加統(tǒng)計并尋找累加峰值的方法，來達到直線檢測的目的.其實質是將圖像空間中具有某種相關性的像素進行聚類，然后再想辦法找到一種解析形式將這些像素聯(lián)系起來的參數(shù)空間累計對應點.

(a)xy平面映射關系 (b)ab平面映射關系圖1 參數(shù)平面映射關系Fig.1 The parameter plane mapping relationship

在航拍圖片中， 受許多外界因素影響如光照強度、能見度等，每張圖片的道路顏色均不同，因此根據(jù)不同圖像調整參數(shù).為了提前獲取道路參數(shù)，首先需要計算道路顏色的平均值，然后把這個平均數(shù)傳輸給主程序作為分割閾值.原始圖像是一個未知的圖像，很難找出道路顏色的平均值.因此，隨機選擇一些道路圖像作為樣本，計算道路顏色平均值.

首先，選取一個較小閾值，把樣本圖像轉換成二進制圖像.利用Hough變換方法提取圖像中直線.選取的直線要大于等于150個像素并且道路不能有破損.通過使用霍夫變換可以找出3條直線，并且滿足上述條件.記錄下二值圖像中這三條直線的坐標位置，然后在樣本圖像中找到這三條直線對應的坐標位置，計算出這些點的平均值，并把計算的平均值作為提取道路主程序的閾值.

2.2 圖像預處理

在二值圖像中道路區(qū)域受到了大量噪聲干擾，許多建筑屋頂經(jīng)過二值化處理后和道路顏色一樣，因為受到陰影的影響，道路圖像變得支離破碎.所以圖像預處理顯得尤為重要，圖像預處理的好壞直接影響到后面的實驗結果，要盡可能去掉噪聲并保留道路信息.但并非去掉的噪聲越多越好，因為噪聲中包含著許多有用信息并且程序是不可逆轉的，一旦去除了過多的噪聲，在后面的道路修復中就變的非常困難.

僅僅通過二值化方法很難獲得完整的道路區(qū)域，還需解決去除由建筑屋頂產(chǎn)生的噪聲和修復破損的道路兩個問題：

在二進制圖像中建筑屋頂是一個比較大的噪聲，但是在彩色圖像中它們和道路顏色并不相同.

在彩色圖像中，有三個顏色通道：紅色、綠色和藍色，每個通道值的范圍是0 ～ 255.當這三個顏色值接近時會成為灰色圖像，例如RGB(20，21，22)、RGB(134，130，136).取一個閾值來比較這三個通道的值，如果差異小，在灰度圖像中該像素標記為灰色，在二進制圖像中標記為白色；否則，在灰度級別中該像素標記為彩色，在二值圖像中標記為黑色.灰度圖像和二值圖像取并集去除由建筑屋頂產(chǎn)生的噪聲.

由于陰影面積很大，道路被嚴重破壞，很難判斷這是不是一條道路.本文給出了解決這一問題的一個簡單方法.道路上陰影的顏色并不是用肉眼看到的黑色或灰色，實際上他們是藍色.所以在RGB圖像中陰影在藍色通道的數(shù)值略高于其他兩個渠道20到40左右.

圖2 RGB空間中B分量中的影子圖像Fig.2 The shadow image in the B component of RGB space

在RGB空間中提取出B分量，并根據(jù)B分量顏色直方圖選取合適的閾值，由B分量顏色直方圖可知當取峰值(Fmax=76)時效果最好.在二值圖像中的B分量(影子圖像)中很容易區(qū)分出了含有陰影的部分.因此，設定一個閾值，當陽光強烈、陰影明顯時可以通過此步操作完善道路，反之則跳過此步.灰度圖像和二值圖像做交集后的圖像與影子圖像合并，得到道路輪廓圖像.

2.3 去噪處理

經(jīng)過預處理后的圖像包含的噪聲可以分為三類：

1) 小噪聲 其特點是噪聲像素點的個數(shù)小于50個并且與道路像素點斷開，通常由突出的物體或樹葉及其它物體反射而成.

2) 較大噪聲 其特點是噪聲像素點的個數(shù)大于50個并且與道路像素點斷開，通常由小型或中型屋頂反光而成.

3) 大噪聲 其特點是與道路像素點連通，通常由一些空曠的開闊區(qū)域或小型停車場組成.

對于第一種噪聲，計算出噪聲點像素的個數(shù)，如果像素個數(shù)小于50，利用像素點個數(shù)的特征直接刪除掉.

絕大多數(shù)道路都成長條狀，房屋屋頂?shù)男螤铑愃朴诰匦?對于同等面積的長條型和矩形，長條形的周長要長得多.所以，用周長與面積的比值(LS值)來區(qū)分第二種噪聲與破損的路段.實驗結果表明當LS值取0.056時可以有效的去除類似矩形(屋頂)的噪聲，當LS值小于0.056時該區(qū)域為噪聲(ZS)，當LS值大于等于0.056時該區(qū)域為道路(DL).

(1)

第三類噪聲特點是噪聲與道路連通，利用道路的寬度特性來去除噪聲.判斷這類噪聲是否滿足道路寬度特性.計算每一個像素點到邊緣的長度判斷這個像素點是否在道路里面.

取射線長度分別為40、50、60、70、80、90，以及取10個、20個、40個和80個方向(360度均分).實驗結果表明，當射線長度取70個像素、取40個方向時實驗效果最好，在所有射線中，最短的射線是道路的寬度，最長的射線則是我們所取道路的長度.把最短射線長度Lmin與最長射線長度Lmax的比值B作為判斷該像素點是否在道路上的標準，B的值非常小，當像素點在道路上時它的比值應該很接近于標準值B，否則就不在道路上.

B=Lmin/Lmax

(2)

(3)

式中:1表示在道路上;0表示不在道路上;Bij表示某一點最短射線長度與最長射線長度比值.

2.4 修復道路

經(jīng)過上文處理后的圖像可以發(fā)現(xiàn)道路是不完整的，由于樹木遮擋或拍攝角度等問題，導致部分路段被遮擋.

在此步操的主要目的是修復破損的道路.其基本原理是根據(jù)道路的連通特性檢測間斷點.算法中設計了一條長度為70個像素的射線，并選取40個不同方向(360度均分)，利用射線尋找含有大量白色像素的像素點.如果某一條射線含有的白色像素點多余40個，就判斷為道路間斷點，用白色覆蓋該點.如果該射線含有的白色像素點少于30個，那么就判斷這不是道路上的像素點，用黑色覆蓋該點.

(4)

式(4)中1為道路上的像素點，并用白色像素覆蓋，0為道路上的像素點，Number_white(pij)為某一點發(fā)出的射線所含白色像素的個數(shù).

根據(jù)上述描述，航拍圖像道路提取可以簡要概括為以下8個步驟.

Step 1 輸入原始道路航拍圖f1(x,y)

Step 2 用Hough變換得到航拍圖像道路像素平均值MeanVale，并作為分割閾值得到二值圖像f2(x,y).

Step 3 由于帶顏色建筑屋頂在二值圖像f2(x,y)和灰度圖像f3(x,y)中表達方式不同，通過f2(x,y)∩f3(x,y)操作，可以有效去除屋頂噪聲，去噪后圖像為f4(x,y).

Step 4 在RGB圖像中陰影在藍色通道的數(shù)值略高于其他兩個渠道20到40度左右，取B分量顏色直方圖峰值作為閾值Fmax，得到影子圖像f5(x,y)，通過f4(x,y)∪f5(x,y)操作去除道路陰影，去除陰影后圖像為f6(x,y).

Step 5 判斷噪聲大小，并根據(jù)上文三種不同的去噪方法得到去噪后圖像f7(x,y).

Step 6 根據(jù)某一像素點發(fā)出射線中白色像素點的個數(shù)Number_white(pij)，得到修復后的圖像f8(x,y).

Step 7 輸出提取道路后的圖像f8(x,y).

Step 8 重復Step 3～Step 7.

3 實驗結果及分析

實驗圖像為DJI多旋翼無人機拍攝，圖像大小為1024×681，如圖3所示.

圖3 航拍原始圖像Fig.3 The original image

根據(jù)實驗樣本得到的分割閾值把原始圖像轉換為二值圖像，由于與道路顏色不同的建筑屋頂在二值圖像中和灰度圖像中的表現(xiàn)形式不同，二者做交集運算可以有效去除彩色噪聲，把得到的二值圖像再與影子圖像做并集運算，可以有效的填補由于樹木陰影等產(chǎn)生的空洞，如圖4所示.

在圖4的基礎上進行去噪處理以及道路修復，實驗結果如下圖5.

由圖5中可以看出，經(jīng)過上述4步處理成功的從航拍圖像中提取了道路，圖像中的大小噪聲以及陰影完全被去除，雖然道路網(wǎng)有部分殘缺，但根據(jù)文獻[11]給出的提取道路準確度的定義“準確度=正確提取的道路長度/道路總長度×100%”，本文算法提取道路的準確度為93.1%.

4 結束語

本文提出了一種多方法融合的航拍圖像道路提取算法.該算法利用Hough變換提取道路閾值，在此基礎上結合多種去噪方法，有效的去除了道路陰影和各種噪聲并修復了破損的道路，成功的從航拍圖像中提取出了道路.實驗表明，在復雜的道路環(huán)境中，該算法能有效的去除各種非道路信息.但從實驗結果中可以看出，在道路修復環(huán)節(jié)中，無法有效的修復彎曲道路，該算法還需進一步改善.

圖4 去除道路陰影后的二值圖像Fig.4 Remove the binary image after the road shadow

圖5 道路檢測圖像Fig.5 Road detection image

[1]GRUEN A, LI H. Semi- automatic linear feature extraction by dynamic programming and LSB-snakes[J].Photogrammetric Engineering and Remote Sensing, 1997, 63(8):985-995.

[2]BAUMGARTNER A,STEGER C,MAYER H. Automatic road extraction based on multi-scale, grouping, and context[J].Photogrammetric Engineering and Remote Sensing, 1999,65(7):777-785.

[3] PETER D, PEGGY A.Self-organised clustering for road extraction in classified imagery[J]. Journal of Photogrammetry and Remote Sensing, 2001(55):347-358 .

[4]羅慶洲,尹球,匡定波.光譜與形狀特征相結合的道路提取方法研究[J].遙感技術與應用, 2007,22(2):339-344.

[5]唐偉,趙書河,王培法.面向對象的高空間分辨率遙感影像道路信息的提取[J].地球信息科學, 2008,10(2):257-262.

[6]胡進剛,張曉東,沈欣,等.一種面向對象的高分辨率影像道路提取方法[J].遙感技術與應用, 2006,21(3):184-188.

[7]SHI W Z,ZHU C Q. The line segment match for extracting road network from high resolution satellite images [J]．IEEE Transaction on Geoscience an Remote Sensing,2002,40(2):511-514.

[8]傅罡,趙紅蕊,李聰,等. 曲折道路遙感影像圓投影匹配改進追蹤法[J].測繪學報,2014,43(7):724-730.

Aroadextractionmethodbasedontheaerialimage

MEI Chao， CAO Kai， WANG Jie， LI Ya-wei

(School of Transportation and Vehicle Engineering，Shandong University of Technology，Zibo 255049，China)

In order to detect the roads in the aerial images more accurately， a road extraction algorithm composed by several methods was proposed. First， an image analysis technology was used to analyze the connectivity feature and width feature of the road based on a color model. Then， the road pixels were extracted through the method of Hough transform. Next， the intersection processing method was used to eliminate the noise in the image. At last， the road was extracted from the complex aerial images through the road shadow color analysis， noise classification processing and road renovation technology quickly and efficiently. The experimental results show that the algorithm is more accurate and efficient compared with the existing road detection methods.

road extraction；Hough transform；eliminate noise; aerial image

2016-11-07

國家自然科學基金項目(61573009)

梅超，男，862895655@qq.com；

曹凱，男，caokailiu@sdut.edu.cn

1672-6197(2018)01-0005-05

TP391

A

(編輯：劉寶江)