基于RCA與相鄰梯度融合的天際線檢測(cè)算法研究

涂　兵　潘建武　雷霜霜　匡文蘭　夏旭承

1(湖南理工學(xué)院信息與通信工程學(xué)院　湖南 岳陽(yáng) 414006)2(湖南理工學(xué)院復(fù)雜系統(tǒng)優(yōu)化與控制湖南省普通高等學(xué)校重點(diǎn)實(shí)驗(yàn)室　湖南 岳陽(yáng) 414006)3(湖南理工學(xué)院IIP創(chuàng)新實(shí)驗(yàn)室　湖南 岳陽(yáng) 414006)

?

基于RCA與相鄰梯度融合的天際線檢測(cè)算法研究

涂兵1,2,3潘建武1,2,3雷霜霜1,3匡文蘭1,3夏旭承1,3

1(湖南理工學(xué)院信息與通信工程學(xué)院湖南 岳陽(yáng) 414006)2(湖南理工學(xué)院復(fù)雜系統(tǒng)優(yōu)化與控制湖南省普通高等學(xué)校重點(diǎn)實(shí)驗(yàn)室湖南 岳陽(yáng) 414006)3(湖南理工學(xué)院IIP創(chuàng)新實(shí)驗(yàn)室湖南 岳陽(yáng) 414006)

天際線檢測(cè)在機(jī)器視覺導(dǎo)航、地理位置定位、船只檢測(cè)和港口安全、森林防護(hù)中有重要的作用。首先采用區(qū)域協(xié)方差算法RCA(Regional Covariance Algorithm)將圖像分割成天空與非天空區(qū)域，實(shí)現(xiàn)天際線檢測(cè)區(qū)域的粗提??；接著提出一種基于分割粗區(qū)域全局梯度均值與局部梯度均值融合算法在訓(xùn)練樣本上確定梯度閾值，并以此算法檢測(cè)出天空與非天空區(qū)域的起始點(diǎn)；然后以起始點(diǎn)開始在分割的非天空區(qū)域采用相鄰梯度極大值A(chǔ)GM(Adjacent Gradient Maxima)算法搜索最大可能天際線存在的像素點(diǎn)位置坐標(biāo)，最終達(dá)到檢測(cè)出輸入圖像中的天際線。該算法在內(nèi)華達(dá)大學(xué)機(jī)器視覺實(shí)驗(yàn)室Web Set數(shù)據(jù)集進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明：該算法能有效地檢測(cè)出天空與非天空區(qū)域的分界線，具有良好的有效性和時(shí)效性。

天際線視覺導(dǎo)航區(qū)域協(xié)方差相鄰梯度

0　引　言

天際線檢測(cè)是在給出的灰度或彩色圖像中對(duì)天空和非天空區(qū)域(地面、水或者山脈)的分界線進(jìn)行提取。目前，隨著智能信息技術(shù)的發(fā)展，天際線檢測(cè)在無(wú)人機(jī)和微型飛行器的自動(dòng)導(dǎo)航[1-5]、計(jì)算機(jī)視覺地理定位、山脈和沙漠圖像標(biāo)記、港口安全、森林防火等領(lǐng)域都有重要的應(yīng)用[6,7]。針對(duì)天空與非天空區(qū)域中相似的顏色，如云、雪或者河流等可能影響顏色分割等因素，Ettinger等[2]提出一種基于區(qū)域協(xié)方差算法(RCA)檢測(cè)出天際線，并將此算法應(yīng)用到了微型飛行器的導(dǎo)航上，在天空與非天空區(qū)域的分界線是直線的條件下，能有效檢測(cè)出相應(yīng)的天際線；Hung等[8-11]對(duì)天空與山區(qū)圖片在不同的季節(jié)、不同氣候等環(huán)境復(fù)雜多變的條件下，通過(guò)提取顏色、狀態(tài)特征和邊緣位置信息特征，采用支持向量機(jī)SVM算法來(lái)對(duì)天空與山區(qū)區(qū)域的分界線區(qū)域中關(guān)鍵點(diǎn)周圍像素點(diǎn)訓(xùn)練一個(gè)分類器，然后將該分類器應(yīng)用到天空與山區(qū)區(qū)域進(jìn)行天際線的提?。籏im等[12]采樣多級(jí)邊緣濾波算法MEF(Multistage edge filtering)檢測(cè)出圖像中的天際線，首先對(duì)訓(xùn)練樣本圖像的特征信息進(jìn)行定義域分類，然后通過(guò)MEF算法對(duì)存在的噪聲邊緣信息進(jìn)行去噪，最后通過(guò)邊緣檢測(cè)算法來(lái)檢測(cè)出天際線；Ahmad等[13]對(duì)訓(xùn)練樣本圖像中天際線邊緣的關(guān)鍵點(diǎn)信息進(jìn)行訓(xùn)練，使用關(guān)鍵點(diǎn)信息的SIFT特征對(duì)天空與非天空的結(jié)合區(qū)域進(jìn)行天際線的檢測(cè)；李壽濤等[6,14]提出一種基于Mumford-Shah泛函模型和曲線演化原理的天際線識(shí)別算法，并將其應(yīng)用到森林煙火識(shí)別系統(tǒng)、無(wú)人機(jī)的天際線識(shí)別上，通過(guò)基于梯度和區(qū)域混合開閉曲線模型約束下精確識(shí)別天際線，并由此估計(jì)無(wú)人機(jī)滾動(dòng)和俯仰姿態(tài)角；劉松濤等[15]對(duì)利用邊緣檢測(cè)、形態(tài)學(xué)濾波和Hough變換的方法識(shí)別紅外圖像下的海天線，用于可見光圖像和紅外圖像配準(zhǔn)；呂俊偉等[16]利用分形和Hough變換來(lái)識(shí)別紅外環(huán)境下的天際線，用于導(dǎo)彈末端制導(dǎo)；楊家紅等[17]利用海天線區(qū)域在背景灰度上的漸變特性，提出了一種海天線定位方法；桂陽(yáng)等[18]提出了一種基于相位編組和灰度統(tǒng)計(jì)的新方法來(lái)檢測(cè)出正確的海天線。

目前，天際線檢測(cè)一般方法主要有：① 采用機(jī)器學(xué)習(xí)對(duì)天空與非天空區(qū)域關(guān)鍵特征進(jìn)行訓(xùn)練，建立相應(yīng)的分類器，從而達(dá)到識(shí)別天際線的目的；② 采用邊緣信息檢測(cè)達(dá)到天際線的檢測(cè)；③ 采用顏色分割和邊緣提取融合算法。這些算法在“存在一條連續(xù)不斷的邊緣邊界分割天空與非天空區(qū)域”的假設(shè)條件下能達(dá)到比較好的效果。但是在天空與非天空區(qū)域背景較復(fù)雜的情況下對(duì)天際線的檢測(cè)效果有限，如：低對(duì)比度、煙或霧氣、陰影、光線、地表情況等因素。并在天際線是曲線(非直線、斜線)的情況下，這些算法對(duì)天際線是曲線的檢測(cè)效果有限。本文在RCA算法檢測(cè)天際線的基礎(chǔ)上，提出一種天際線起始點(diǎn)位置坐標(biāo)檢測(cè)算法，并以該起始點(diǎn)位置坐標(biāo)進(jìn)行天際線的搜索，將相鄰鄰域內(nèi)梯度極大值算法應(yīng)用到天際線的檢測(cè)上。該算法對(duì)天際線有邊緣與無(wú)邊緣檢測(cè)都有比較好的效果，不需要對(duì)圖像進(jìn)行邊緣信息的提取，從而能快速有效地檢測(cè)出圖像中的天際線，尤其是對(duì)曲線(非直線、斜線)情況下天際線檢測(cè)的效果尤為突出，并在同等硬件環(huán)境下計(jì)算速度更快。

1　天際線檢測(cè)算法流程

先對(duì)要檢測(cè)的原始圖像I(i，j)進(jìn)行RCA圖像分割，把圖像初步分割成天空與非天空區(qū)域，存儲(chǔ)初分割的天空與非天空區(qū)域的分界線坐標(biāo)；在此基礎(chǔ)上提出一種基于分割區(qū)域全局梯度均值與局部梯度均值相融合的算法檢測(cè)出天際線起始點(diǎn)坐標(biāo)P1(i，1)；在確定出P1點(diǎn)坐標(biāo)后，在圖像分割的非天空區(qū)域內(nèi)將三鄰域梯度極大值算法應(yīng)用到圖像的天際線檢測(cè)上。天際線檢測(cè)算法流程圖如圖1所示。

圖1　天際線提取示意流程圖

2　天際線檢測(cè)算法研究

2.1基于RCA的天際線檢測(cè)算法

圖2　RCA天際線遍歷示意圖

對(duì)每次遍歷過(guò)程分別計(jì)算天空與非天空的協(xié)方差矩陣，計(jì)算表達(dá)式如式(1)和式(2)所示：

(1)

(2)

其中，μs與μg分別為天空與陸地的平均RGB分量值，μs與μg計(jì)算表達(dá)式如式(3)和式(4)所示：

(3)

(4)

接著采用式(5)計(jì)算最大J值，其中，det()為協(xié)方差矩陣Λs跟Λg的行列式值，trace()為協(xié)方差矩陣Λs跟的跡。

(5)

對(duì)式(5)進(jìn)行優(yōu)化可得到式(6)，其中var()為方差值，Ys跟Yg分別代表天空與非天空的亮度值。對(duì)式(6)進(jìn)行簡(jiǎn)化運(yùn)算得到式(7)，通過(guò)式(7)計(jì)算最大的J值從而得到輸入圖像的天際線坐標(biāo)值[2,19]。

(6)

(7)

2.2天際線檢測(cè)起始點(diǎn)坐標(biāo)提取算法

輸入圖像I(i，j)采用RCA算法進(jìn)行初分割，對(duì)分割區(qū)域分別計(jì)算天空與非天空區(qū)域的平均梯度值大小。天空區(qū)域的平均梯度值記為Sav，非天空區(qū)域的平均梯度值記為Gav、Sav與Gav的計(jì)算公式為：

(8)

(9)

其中m、n分別表示圖像I(i，j)的行、列值，M1到Mn為RCA算法提取的天際線坐標(biāo)值。P(i,j)表示圖像中對(duì)應(yīng)的像素點(diǎn)坐標(biāo)(i,j)RGB值。天空區(qū)域圖像的首列計(jì)算平均梯度值Gfav大小。計(jì)算公式為：

(10)

接著采用式(11)來(lái)計(jì)算梯度閾值大小，k1、k2、k3分別為閾值參數(shù)，對(duì)訓(xùn)練樣本圖片通過(guò)實(shí)驗(yàn)方法確定閾值參數(shù)，達(dá)到最優(yōu)的閾值r。

r=k1×Sav+k2×Gav+k3×Gfav

(11)

在確定閾值大小后，天際線起始點(diǎn)位置坐標(biāo)的確定通過(guò)式(12)來(lái)計(jì)算，在RCA算法分割的圖像非天空區(qū)域首列進(jìn)行搜索，如果存在G1>r，G2>r，G3>r，則確定P1(i，1)是天際線起始點(diǎn)坐標(biāo)。

G1=P1(i,1)-P1(i+1,1)G2=P1(i,1)-P1(i+2,1)G3=P1(i,1)-P1(i+3,1)

(12)

圖3為采用分割區(qū)域平均梯度值跟局部梯度平均值進(jìn)行天際線起始點(diǎn)檢測(cè)示意圖。

圖3　天際線起始點(diǎn)檢測(cè)示意圖

2.3AGM天際線檢測(cè)算法

在天際線的起始點(diǎn)P1坐標(biāo)提取后，如圖4中P1點(diǎn)坐標(biāo)，在圖4中RCA圖像分割后的非天空區(qū)域以P1點(diǎn)坐標(biāo)為起始坐標(biāo)，采用基于三鄰域內(nèi)梯度極大值搜索天際線位置點(diǎn)坐標(biāo)。

圖4　三鄰域內(nèi)梯度極大值天際線檢測(cè)示意圖

相鄰三鄰域內(nèi)的梯度計(jì)算如式(13)所示：

(13)

分別計(jì)算三鄰域內(nèi)的各梯度值大小，接著采用式(14)得到最大的梯度值，最后通過(guò)式(15)檢測(cè)天際線的坐標(biāo)位置Pj點(diǎn)，檢測(cè)出坐標(biāo)位置Pj點(diǎn)后計(jì)算對(duì)應(yīng)的坐標(biāo)點(diǎn)位置并存儲(chǔ)。

(14)

(15)

3　天際線檢測(cè)與實(shí)驗(yàn)對(duì)比分析

3.1天際線檢測(cè)步驟

提出的天際線檢測(cè)算法 檢測(cè)步驟如下所示：

① 采用RCA算法對(duì)圖像I進(jìn)行初分割，把圖像粗分割成天空與非天空區(qū)域；圖5為選取在內(nèi)華達(dá)大學(xué)機(jī)器視覺實(shí)驗(yàn)室Web set圖片集中Img001～I(xiàn)mg012的圖像運(yùn)行RCA算法的結(jié)果圖。Web set數(shù)據(jù)集上圖片大小為1388×519。

圖5　基于RCA算法的天際線檢測(cè)結(jié)果

② 采用基于分割區(qū)域平均梯度值與局部梯度平均值算法來(lái)提取天際線起始位置坐標(biāo)點(diǎn)；通過(guò)對(duì)Web set訓(xùn)練樣本采用式(11)來(lái)確定閾值，實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)k1、k2、k3分別取1、1、10時(shí)效果最佳。表1是圖5中起始點(diǎn)提取的起始點(diǎn)坐標(biāo)值。

表1　圖5中圖片起始點(diǎn)位置點(diǎn)

③ 在第2步確定天際線的起始點(diǎn)坐標(biāo)后，以此坐標(biāo)點(diǎn)采用三鄰域內(nèi)梯度極大值算法檢測(cè)天際線，選取內(nèi)華達(dá)大學(xué)機(jī)器視覺實(shí)驗(yàn)室Web set圖片集中Img001至Img012圖片檢測(cè)結(jié)果如圖6所示。

圖6　AGM天際線檢測(cè)結(jié)果

3.2算法計(jì)算誤差對(duì)比

本算法在Web set圖片測(cè)試集上進(jìn)行了測(cè)試，總共有80張圖片，分別運(yùn)行文獻(xiàn)中的四種算法對(duì)檢測(cè)的天際線結(jié)果進(jìn)行量化對(duì)比分析。對(duì)比參數(shù)主要從平均誤差、誤差最大值、誤差最小值進(jìn)行定量分析。圖7為運(yùn)行提出的算法在測(cè)試集上平均誤差值的大小，平均誤差分析采用歐式距離進(jìn)行計(jì)算，如式(16)所示：X1為本文提出的算法中檢測(cè)出的天際線坐標(biāo)向量，X為測(cè)試集標(biāo)準(zhǔn)天際線坐標(biāo)向量。

(16)

圖7　測(cè)試集誤差大小值

對(duì)比文獻(xiàn)中的的三種天際線檢測(cè)算法，各項(xiàng)測(cè)試數(shù)據(jù)如表2所示。

表2　四種檢測(cè)算法在Web set測(cè)試數(shù)據(jù)結(jié)果對(duì)比

3.3算法計(jì)算時(shí)間結(jié)果對(duì)比

將提出的算法與另外三種天際線檢測(cè)算法在Matlab2013a進(jìn)行了算法仿真實(shí)驗(yàn)，算法運(yùn)行的計(jì)算機(jī)硬件環(huán)境為CPU T7700，內(nèi)存4 GB。統(tǒng)計(jì)80張測(cè)試樣本圖片的運(yùn)行時(shí)間，得到每張圖片的平均計(jì)算時(shí)間，計(jì)算結(jié)果如圖8所示，從圖8中可以看出本文算法計(jì)算速度優(yōu)于其他三種算法。

圖8　平均每張圖片計(jì)算時(shí)間

3.4算法結(jié)果討論

通過(guò)表2可以看出基于RCA算法和相鄰梯度極大值融合算法對(duì)天際線的檢測(cè)有較好的檢測(cè)效果。在測(cè)試樣本數(shù)據(jù)庫(kù)上誤差最大值均優(yōu)于文獻(xiàn)中其他三種方法，平均誤差略高于文獻(xiàn)[11]中提到的算法。由于采用的檢測(cè)算法是以當(dāng)前確定的天際線像素點(diǎn)坐標(biāo)進(jìn)行三鄰域內(nèi)下一個(gè)天際線像素點(diǎn)位置坐標(biāo)的搜索，如存在非天空過(guò)渡區(qū)域的三鄰域內(nèi)的梯度值大于真實(shí)天際線之間的梯度值容易導(dǎo)致檢測(cè)誤差的增加。如圖9所示為由于非天空區(qū)域中石頭的背景顏色較深導(dǎo)致天際線像素點(diǎn)坐標(biāo)的錯(cuò)誤檢測(cè)。

圖9　非天空區(qū)域梯度較大的圖片

若存在天空與非天空區(qū)域之間的過(guò)渡區(qū)域的背景色彩相似性較大，如圖10所示為天空與非天空區(qū)域之間的過(guò)渡區(qū)域背景非常相近，導(dǎo)致天際線像素點(diǎn)位置坐標(biāo)存在錯(cuò)誤的檢測(cè)。從而導(dǎo)致平均誤差比文獻(xiàn)[11]中的誤差要大0.1739。

圖10　天空與非天空過(guò)渡區(qū)域背景顏色近似的圖片

4　結(jié)　語(yǔ)

本文針對(duì)圖像中天際線的提取問(wèn)題，特別是曲線情況下的天際線，在常用天際線檢測(cè)算法的基礎(chǔ)上，將RCA算法應(yīng)用到圖像的分割上。首先將圖像分割成天空區(qū)域與非天空區(qū)域，同時(shí)提出一種基于分割區(qū)域梯度平均值與局部梯度平均值算法來(lái)設(shè)定閾值。通過(guò)實(shí)驗(yàn)分析的方法確定閾值參數(shù)，接著提出一種基于鄰域極大值算法來(lái)搜索天際線。最后通過(guò)對(duì)比實(shí)驗(yàn)采用的四種天際線檢測(cè)算法結(jié)果進(jìn)行定量分析，結(jié)果表明，該算法對(duì)天際線的提取準(zhǔn)確度較高，計(jì)算時(shí)間較快，對(duì)天際線線為曲線的檢測(cè)尤為突出，并無(wú)需對(duì)圖像的邊緣信息進(jìn)行提取。

[1] Croon G C H E d,Remes B D W,Waszak C D,et al.Sky Segmentation Approach to Obstacle Avoidance[C]//IEEE Aerospace Conference,2011:1-16.

[2] Ettinger S M,Nechyba M C,Ifju P G,et al.Vision-guided flight stability and control for micro air vehicles[J].Advanced Robotics,2002,3(7):2134-2140.

[3] McGee T G,Sengupta R,Hedrick K.Obstacle Detection for Small Autonomous Aircraft Using Sky Segmentation[C]//IEEE International Conference on Robotics and Automation,2005:4679-4684.

[4] Todorovic S,Nechyba M C,Ifju P G.Sky/ground modeling for autonomous MAV flight[C]//IEEE International Conference on Robotics and Automation,2003,1(1):1422-1427.

[5] Thurrowgood S,Soccol D,Moore R J D,et al.A vision based system for attitude estimation of UAVs[C]//IEEE-RSJ International Conference on Intelligent Robots and Systems,2009:5725-5730.

[6] 李壽濤,李小毛,唐延?xùn)|.天際線識(shí)別在森林煙火識(shí)別中的應(yīng)用[J].紅外與激光工程,2006,35(4):414-418.

[7] Fefilatyev S,Smarodzinava V,Hall L O,et al.Horizon Detection Using Machine Learning Techniques[C]//International Conference on Machine Learning and Applications,2006:17-21.[8] Hung Y,Su C,Chang Y,et al.Skyline localization for mountain images[C]//IEEE International Conference on Multimedia and Expo,2013:1-6.

[9] Lie W,Lin T C I,Lin T,et al.A robust dynamic programming algorithm to extract skyline in images for navigation[J].Pattern Recognition Letters,2005,26(2):221-230.

[10] Verbickas R,Whitehead A.Sky and Ground Detection Using Convolutional Neural Networks[C]//International Conference on Machine Vision and Machine Learning,2014,64(4):1-10.

[11] Yazdanpanah A P,Regentova E E,Mandava A K,et al.Sky Segmentation by Fusing Clustering with Neural Networks[J].Lecture Notes in Computer Science,2013,8034:663-672.

[12] Kim B,Shin J,Nam H,et al.Skyline Extraction using a Multistage Edge Filtering[J].International Scholarly and Scientific Research and Innovation,2011,5(7):787-79.

[13] Ahmad T,Bebis G,Regentova E,et al.A Machine Learning Approach to Horizon Line Detection Using Local Features[J].Springer Berlin Heidelberg,2013,8033:181-193.

[14] 叢楊,李小毛,田建東,等.基于天際線識(shí)別的無(wú)人機(jī)實(shí)時(shí)姿態(tài)角估計(jì)[J].儀器儀表學(xué)報(bào),2009,30(5):938-943.

[15] 劉松濤,周曉東,王成剛.復(fù)雜?？毡尘跋卖敯舻暮Ｌ炀€檢測(cè)算法研究[J].光電工程,2006,33(8):5-10.

[16] 呂俊偉,王成剛,周曉東,等.基于分型特征和Hough變換的海天線檢測(cè)算法[J].海軍航空工程學(xué)院學(xué)報(bào),2006,21(5):545-548.

[17] 楊家紅,李翠紅,危德益,等.基于復(fù)雜海空背景行均值曲線的還天線定位算法[J].激光與紅外,2012,42(12):1346-1350.

[18] 桂陽(yáng),李立春,王鯤鵬,等.基于區(qū)域方差和RANSAC的海天線檢測(cè)新方法[J].激光與紅外,2008,38(4):638-641.

[19] Gershikov E,Libe T,Kosolapov S.Horizon Line Detection in Marine Images Which Method to Choose[J].International Journal on Advances in Intelligent Systems,2015,6(1 and 2):79-88.

REASERCH ON SKYLINE DETECTION ALGORITHM BASED ON RCA AND ADJACENT GRADIENT

Tu Bing1,2,3Pan Jianwu1,2,3Lei Shuangshuang1,3Kuang Wenlan1,3Xia Xucheng1,3

1(School of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,Hunan,China)2(KeyLaboratoryofOptimizationandControlforComplexSystems,CollegeofHunanProvince,Yueyang414006,Hunan,China)3(LaboratoryofIntelligent-ImageInformationProcessing,HunanInstituteofScienceandTechnology,Yueyang414006,Hunan,China)

Skyline detection plays an important role in machine visual navigation, geographical position location, ship detection and port security and forest protection. Firstly, the regional covariance algorithm (RCA) is used to divide the image into the sky and the non-sky regions. Then, a new method based on the combination of the global gradient mean and the local gradient mean value is proposed to determine the starting point of the sky and the non-sky regions. And then, from the starting point, the maximum possible skyline is detected by using the adjacent gradient maxima(AGM) algorithm in the segmentation of the non-sky regions. The proposed algorithm is tested on the Web Set data set in University of Nevada’s Machine Vision Laboratory.The experimental results show that the algorithm can effectively detect the boundary between the sky and the non-sky regions, and has good validity and timeliness.

SkylineVisual navigationRegional covarianceAdjacent gradient

2016-01-15。國(guó)家自然科學(xué)基金項(xiàng)目(61201435)；湖南省高?？萍紕?chuàng)新團(tuán)隊(duì)支持項(xiàng)目(湘教通[2012]318號(hào))。涂兵，講師，主研領(lǐng)域：圖像處理，計(jì)算機(jī)視覺，智能信息處理。潘建武，碩士生。雷霜霜，碩士生?？镂奶m，碩士生。夏旭承，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.09.042