航拍圖像中橋梁的自動(dòng)識(shí)別*

徐 林 楊瑞平

(91204部隊(duì) 北京 100161)

?

航拍圖像中橋梁的自動(dòng)識(shí)別*

徐 林 楊瑞平

(91204部隊(duì) 北京 100161)

針對(duì)航拍圖像中水上橋梁的自動(dòng)識(shí)別問題進(jìn)行研究,給出了水上橋梁的識(shí)別模型,分析了水上橋梁目標(biāo)識(shí)別的影響因素,建立了基于直線提取的橋梁識(shí)別算法。該算法包括邊緣檢測、直線檢測、平行直線對(duì)提取和水上橋梁標(biāo)記等步驟。大量實(shí)驗(yàn)結(jié)果表明,提出的算法能準(zhǔn)確識(shí)別水上橋梁目標(biāo),并且橋梁位置定位準(zhǔn)確,是一種有效的方法。

航拍圖像; 橋梁識(shí)別; 邊緣檢測; 直線檢測; Radon變換

Class Number TP391

1 引言

現(xiàn)代戰(zhàn)爭中,水上橋梁作為后勤保障與交通運(yùn)輸不可或缺的一環(huán),往往是戰(zhàn)爭雙方打擊的首要目標(biāo)。因此,航拍圖像中橋梁的識(shí)別具有重要的軍事意義[1]。目前,常用的橋梁識(shí)別算法主要有兩種,一種是模板匹配的方法[2～4],如文獻(xiàn)[2]提出的基于框架進(jìn)行模板匹配的識(shí)別方法,即在粗分辨率圖中提取最突出的長直線進(jìn)行模式匹配,驗(yàn)證橋梁位置。另一種是由上而下的知識(shí)驅(qū)動(dòng)型策略的方法[5～7],如文獻(xiàn)[7]中將識(shí)別過程分為低、中、高三個(gè)層次進(jìn)行處理,從低層的區(qū)域分割、邊緣提取到中層的直線檢測,直至到高層的匹配驗(yàn)證都是基于知識(shí)的指導(dǎo)下進(jìn)行的,即先對(duì)圖像中可能存在的特征提出假設(shè),根據(jù)假設(shè)進(jìn)行有目地的分割、標(biāo)記和特征抽取,在此基礎(chǔ)上與目標(biāo)模型進(jìn)行精確匹配。以上兩種方法都需要進(jìn)行直線檢測,即認(rèn)為橋梁圖像首要的特征是存在長直線條。一般橋梁識(shí)別的基本特征[8]主要包括以下幾個(gè)方面:

1) 橋梁最主要的特征是橋面的兩條邊緣構(gòu)成了一對(duì)近乎平行的直線段。

2) 橋面的寬度與長度之比值在一定范圍內(nèi)。

3) 橋梁和兩岸陸地的灰度較亮,而水域灰度較暗且較均勻,可以采用閾值法來進(jìn)行分割。

4) 橋梁橫跨在水域上,將水域分割為兩部分。

本文針對(duì)航拍圖像中水上橋梁識(shí)別的基本特征,提出了基于直線檢測的水上橋梁自動(dòng)識(shí)別算法。

2 基于直線檢測的橋梁識(shí)別算法

本文建立的基于直線檢測的橋梁識(shí)別算法流程圖如圖1所示。

圖1 算法流程圖

圖2 原始圖像

本文的橋梁識(shí)別算法思想主要是通過對(duì)橋面平行直線對(duì)的提取來確定疑似橋梁區(qū)域,再依據(jù)橋梁區(qū)域的灰度值特性來確定橋梁位置,算法的詳細(xì)步驟如下。

1) 對(duì)原始圖像進(jìn)行Canny邊緣提取,生成二值邊緣圖像;

2) 對(duì)邊緣圖像進(jìn)行Radon變換,提取出直線;

3) 對(duì)直線進(jìn)行篩選,確定橋梁平行直線對(duì),提取并強(qiáng)化疑似橋梁區(qū)域;

4) 對(duì)原始圖像進(jìn)行分割,并進(jìn)行形態(tài)學(xué)處理;

5) 利用疑似橋梁區(qū)域?qū)Χ祱D像做掩膜;

6) 依據(jù)區(qū)域灰度特征,提取出橋梁區(qū)域;

7) 描述橋梁位置、角度等信息。

2.1 圖像分割

橋梁和兩岸的陸地灰度較亮,河面的灰度較暗。橋梁和陸地同水域之間形成了強(qiáng)對(duì)比關(guān)系?？梢允紫纫罁?jù)灰度對(duì)圖像進(jìn)行二值化分割[9],通過二值化分割,先將水域同其它區(qū)域先分割開來。因而可用式(4)進(jìn)行橋梁圖像的二值化。

(1)

式中f(m,n)為原始圖像像素點(diǎn)灰度值;f′(m,n)為二值化后圖像中像素點(diǎn)灰度值;T為二值化灰度閾值。

其中,二值化閾值T可以自適應(yīng)選取,也可以固定選取。橋梁樣本圖像經(jīng)過二值化后,橋梁和兩岸的陸地變成了白色(灰度級(jí)為255),而水域變成了黑色(灰度級(jí)為0)。這種方法較好地將橋梁圖像分割為水域和非水域兩部分,去除了部分噪聲干擾的影響,能得到較為明顯的橋梁直線特征,因而用此方法對(duì)橋梁圖像進(jìn)行分割是成功的。在本文中,對(duì)閾值選取采取經(jīng)驗(yàn)值,對(duì)于樣本橋梁圖像分割后可以清晰得到橋梁與陸地輪廓。樣本橋梁圖像經(jīng)過二值化分割后的結(jié)果如圖3所示。

在二值化之后,圖像中水域和陸地已經(jīng)基本區(qū)分開,為了能夠更好地通過檢測直線進(jìn)行橋梁識(shí)別,對(duì)圖像進(jìn)行形態(tài)學(xué)處理,凸顯出橋梁主體部分。但是,在進(jìn)行二值化分割后,圖像中依然存在大量毛刺與空洞,所以運(yùn)用形態(tài)學(xué)方法處理二值化后的圖像。

常用的形態(tài)學(xué)方法包括腐蝕、膨脹、開、閉運(yùn)算等。在這里運(yùn)用膨脹和區(qū)域填充算法處理毛刺和空洞,最終獲得橋梁形狀較為明顯的二值圖像,如圖4所示。

圖3 二值化圖像

圖4 形態(tài)學(xué)處理后圖像

2.2 邊緣檢測

邊緣是圖像局部灰度變化不連續(xù)部分,是圖像中灰度的急劇變化的部分。邊緣檢測是圖像分割、紋理特征提取和形狀特征提取等圖像分析的重要基礎(chǔ),邊緣檢測的好壞直接影響到直線提取的結(jié)果。最常用的邊緣檢測算子是Canny算子和Sobel算子。

Sobel算子對(duì)灰度漸變和噪聲較多的圖像處理效果較好,邊緣定位比較準(zhǔn)確,Sobel算子邊緣檢測并細(xì)化后的結(jié)果如圖5所示。

圖5 Sobel檢測圖像

圖6 Canny邊緣檢測圖像

Canny算子[10]優(yōu)點(diǎn)在于不易受噪聲干擾,能夠檢測到真正的弱邊緣,不容易被噪聲“填充”。該算子的基本思想是:先對(duì)處理的圖像選擇一定的高斯濾波器進(jìn)行平滑濾波片,抑制圖像噪聲,然后利用“非極值抑制”來細(xì)化平滑后的圖像梯度幅值矩陣,尋找圖像中得到可能邊緣點(diǎn);最后利用雙門限檢測通過雙閾值遞歸尋找圖像邊緣點(diǎn),實(shí)現(xiàn)邊緣提取。Canny算子進(jìn)行邊緣檢測結(jié)果如圖6所示。

Canny算子與Sobel算子邊緣檢測結(jié)果對(duì)比可以得出,Canny算子邊緣檢測結(jié)果明顯優(yōu)于Sobel算子邊緣檢測結(jié)果。橋梁識(shí)別對(duì)弱邊緣提取和邊緣連續(xù)性要求較高,因此本文使用Canny算子進(jìn)行邊緣提取。

2.3 直線提取

Radon變換是常用的直線提取方法,其基本思想是利用直線擬和的方法提取滿足一定直線約束條件的直線。Radon變換屬于一種全局性的算子,Radon變換與以模板卷積作為基本算法模式的局部算子相比Radon變換在理論上具有更強(qiáng)的魯棒性。Radon變換的積分運(yùn)算抵消了噪聲所引起的亮度起伏,適于低信噪比圖像的直線檢測。

圖像的Radon變換是用來計(jì)算一個(gè)圖像在不同方向的直線上的投影。設(shè)f(x,y)為一個(gè)二維函數(shù),f(x,y)的Radon變換的幾何關(guān)系如圖7所示[11]。

圖7 Radon變換的幾何關(guān)系示意圖

Radon變換可以沿著任意角度θ計(jì)算函數(shù)的投影,及任意角度都存在函數(shù)的Radon變換。圖像f(x,y)在任意角度θ上的Radon變換的投影定義為

(2)

(3)

傳統(tǒng)Radon變換存在以下不足,以圖像中心為原點(diǎn),計(jì)算量較大,不利于編程實(shí)現(xiàn);提取的直線無法給出起點(diǎn)、終點(diǎn)以及長度信息等問題,由于橋梁邊緣直線在圖像中一般為最長直線,因此本文利用Radon變換檢測圖像中的長直線,結(jié)果如圖8所示。

2.4 疑似區(qū)域提取

經(jīng)過Radon變換提取直線后,得到大量長直線。根據(jù)Radon變換定義,θ就是Radon換下提取出的傾斜角,直線斜率k=tanθ。對(duì)于得到的大量直線,將傾斜角θ進(jìn)行比較,將角度門限Δθ在±5°以內(nèi)的直線保留,最后得到一個(gè)或多個(gè)平行直線對(duì)。

同時(shí)由于有可能存在河岸影響導(dǎo)致獲得多對(duì)平行線,所以對(duì)得到的平行線對(duì)進(jìn)行篩選。因?yàn)闃蛄簩挾容^河流小,所以將得到的平行直線段距離進(jìn)行比較,根據(jù)分辨率保留寬度在一定范圍內(nèi)的平行線段,排除河流兩岸產(chǎn)生的平行線的影響,最后得到唯一的代表橋梁平行直線對(duì)。根據(jù)Radon變換定義,可以得到兩直線在x軸位置x1和x2,所以平行直線對(duì)的兩條直線間的距離為Δd=(x2-x1)×sinθ,如圖9所示。

圖8 長直線提取

圖9 平行直線對(duì)約束示意圖

平行直線對(duì)提取結(jié)果如圖10所示。根據(jù)橋梁邊緣為近似平行直線對(duì)的特征,判定平行直線對(duì)之間區(qū)域?yàn)橐伤茦蛄簠^(qū)域。

因?yàn)樵谔崛〕龅囊伤茀^(qū)域內(nèi),橋梁邊緣的長直線會(huì)受到小島、船只、陰影等影響,使得直線不完整或者扭曲。因此需要對(duì)疑似區(qū)域進(jìn)行擴(kuò)展,因此需要對(duì)疑似橋梁區(qū)域進(jìn)行擴(kuò)展,對(duì)直線在x軸位置x1和x2擴(kuò)展平移Δx,使強(qiáng)化區(qū)域可以覆蓋橋梁位置,結(jié)果如圖11所示。

圖10 平行直線對(duì)提取

圖11 擴(kuò)展疑似區(qū)域

為了突出橋梁直線特征,排除小島、船只、陰影等干擾因素,將得到的強(qiáng)化區(qū)域?qū)Χ祱D像圖4做掩膜,顯示如圖12所示,圖像中虛線為疑似區(qū)域邊緣直線。

2.5 橋梁區(qū)域提取

橋梁邊緣與水域相連,因此橋梁邊緣直線上的點(diǎn)周圍存在灰度為0的像素點(diǎn),可以按照灰度特性對(duì)橋梁位置進(jìn)行精確定位。傳統(tǒng)水上橋梁區(qū)域提取算法采用多鄰域連通規(guī)則,如4鄰域連通、6鄰域連通和8鄰域連通規(guī)則,對(duì)橋梁粗定位區(qū)域中所有像素點(diǎn)進(jìn)行遍歷,按照特定規(guī)則選取出適當(dāng)?shù)南袼攸c(diǎn),存在算法復(fù)雜、耗時(shí)較長等缺點(diǎn)。本算法改進(jìn)了8鄰域連通規(guī)則,只對(duì)直線上像素點(diǎn)進(jìn)行篩選,提高了算法的實(shí)時(shí)性。8鄰域連通規(guī)則如圖13所示。

圖12 掩膜后圖像

圖13 8鄰域連通原理

對(duì)于直線上的點(diǎn)f(x,y),若其周圍有且只有任意三個(gè)相鄰點(diǎn)為黑色,即灰度為0時(shí),如f(x-1,y-1)=f(x-1,y)=f(x,y-1)=0,則確定點(diǎn)f(x,y)為橋梁邊緣上一點(diǎn),如圖14所示。若點(diǎn)f(x,y)周圍無法找到三個(gè)相鄰黑色像素,則對(duì)直線上下一個(gè)點(diǎn)進(jìn)行篩選。

圖14 橋梁邊緣判定規(guī)則

圖像經(jīng)過處理后,得到兩條不連續(xù)的直線,如圖15所示。然后,由于在對(duì)疑似區(qū)域進(jìn)行擴(kuò)展時(shí),存在擴(kuò)展平移量Δx,將在直線上距離小于2Δxcosθ的像素點(diǎn)進(jìn)行連接,使這兩條不連續(xù)直線連續(xù),結(jié)果如圖16所示。

圖15 橋梁邊緣直線

圖16 連接后的橋梁邊緣直線

橋梁邊緣直線連接后,對(duì)橋梁區(qū)域進(jìn)行標(biāo)定,如圖17所示。

采用傳統(tǒng)8鄰域連通算法識(shí)別的樣本圖像如圖18所示。與圖17相比,傳統(tǒng)8鄰域連通算法定位精度較差,覆蓋了部分陸地。

圖17 橋梁位置標(biāo)定

圖18 傳統(tǒng)8鄰域連通算法識(shí)別結(jié)果

采用改進(jìn)8鄰域連通算法具有以下優(yōu)點(diǎn):

1) 針對(duì)直線進(jìn)行遍歷,與傳統(tǒng)的區(qū)域連通標(biāo)記算法對(duì)全部像素點(diǎn)遍歷相比大大減少了運(yùn)算量,減少了運(yùn)算時(shí)間;

2) 算法采用相鄰三像素點(diǎn)判定法檢測橋梁邊緣點(diǎn),有效去除了非橋梁邊緣直線點(diǎn)的干擾,并具有較高的定位精度。

3 實(shí)驗(yàn)結(jié)果分析

本文對(duì)大量航拍圖像進(jìn)行了識(shí)別,絕大部分橋梁能夠清晰識(shí)別出來。下面是部分橋梁識(shí)別結(jié)果,如圖19、圖20、圖21所示,(a)為原始圖像,(b)為識(shí)別圖像。

(b)識(shí)別圖像

(a)原始圖像

(b)識(shí)別圖像

(a)原始圖像

(b)識(shí)別圖像

本文以橋梁四點(diǎn)坐標(biāo)及傾斜角的形式描述橋梁信息,如表1所示。(以圖像左下端點(diǎn)為原點(diǎn),橋梁區(qū)域矩形左上端點(diǎn)為點(diǎn)A,沿順時(shí)針方向依次為點(diǎn)B、C、D。)

表1 橋梁定位信息

4 結(jié)語

本文對(duì)航拍圖像中的橋梁目標(biāo)自動(dòng)識(shí)別進(jìn)行了深入研究,提出了基于直線檢測的橋梁識(shí)別算法,該算法不受小島、船只、陰影等影響,有較強(qiáng)的抗干擾性,并且對(duì)橋梁位置定位準(zhǔn)確,是一種有效的水上橋梁識(shí)別算法。

[1] U. Soergel, E. Cadario, A. Thiele, et al. Feature Extraction and Visualization of Bridges over Water from High-resolution In SAR Data and One Orthophoto[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2008,1(2):147-153.

[2] 孫琪,曹治國,張?zhí)煨?基于框架的遠(yuǎn)距紅外橋梁目標(biāo)識(shí)別[J].華中科技大學(xué)學(xué)報(bào),2001,29(4):1-3.

[3] 琚春花,王偉明,王光明,等.一種橋梁標(biāo)識(shí)別方法的研究[J].計(jì)算機(jī)工程,1999,25(6):19-20.

[4] 王偉明,徐勝榮,姚慶棟.一種使用黑板模型實(shí)現(xiàn)的圖像分割策略及在橋梁目標(biāo)識(shí)別中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào),1995,8(2):217-134.

[5] Baker D. C, Hwang S. S, Aggarwal J. K. Detection and Segmentation of Man-Made Objects in Outdoor Scenes: Coneret Bridges[J]. Opt. Soc Am,1989(6):938-950.

[6] Baker D. C, AggarwaL J. K, Hwang S. S. Geometry Guided Segmentation of Outdoor Scenes[J]. SPIE App of AI.,1988(9317):576-583.

[7] 徐勝榮,李忠興.基于知識(shí)的橋梁目標(biāo)識(shí)別方法研究[J].模式識(shí)別與人工智能,1992,5(2):275-281.

[8] 蔣驪黎,史冊(cè),楊海波,等.遙感圖像中水上橋梁的識(shí)別[J].模式識(shí)別與人工智能,2000,13(2):214-217.

[9] 舒海燕,郭雷.圖像目標(biāo)識(shí)別技術(shù)的研究和應(yīng)用[D].西安:西北工業(yè)大學(xué),2002.

[10] 秦襄培.MATLAB圖像處理與界面編程寶典[M].北京:電子工業(yè)出版社,2009.

[11] 王立,常青,張科,等.Radon變換在低信噪比圖像中的線段檢測[J].紅外與激光工程,2003,32(2):163-165.

Bridge Automatic Recognition in Aerial Images

XU Lin YANG Ruiping

(No. 91204 Troops of PLA, Beijing 100161)

Focusing on automatically recognize bridge over water in military field by using aerial images in this article, a model to recognize bridge over water is provided, and some influential factor factors are analyzed, the basis of straight line pick-up is established in this article. This model includes edge detecting, straight line detecting, parallel straight line obtaining, labeling bridge over water and so on. This model is able to exactly recognize bridge over water and provide position of bridge over water in a great deal of experiment, which indicates it is an effective way.

aerial images, bridge over water recognition, edge detecting, straight line detecting, radon transform

2015年6月11日,

2015年7月28日

徐林,女,碩士,研究方向:圖像處理與模式識(shí)別。楊瑞平,男,博士,研究方向:圖像處理與模式識(shí)別。

TP391

10.3969/j.issn.1672-9730.2015.12.028