高空懸掛式相機(jī)拍攝中的拉索提取方法*

何榜耕，吳曉紅，何小海，卿粼波，鄭新波

(1.四川大學(xué) 電子信息學(xué)院，四川 成都 610065； 2.東莞前沿技術(shù)研究院，廣東 東莞 523000)

0 引言

航拍拍攝的圖像具有視野寬廣、場(chǎng)面宏大的特點(diǎn)，在軍事、工程和民用上都有著許多應(yīng)用。在一些工程應(yīng)用中[1-2]，航拍圖像素材的獲取是通過(guò)定點(diǎn)懸停的無(wú)人飛行器采集實(shí)現(xiàn)的，相機(jī)及其云臺(tái)通過(guò)若干根拉索與飛行器相連。而相機(jī)鏡頭在旋轉(zhuǎn)拍攝的過(guò)程中，拉索會(huì)出現(xiàn)在視野并被拍攝到圖像中。這不僅影響到圖像在畫(huà)面上的美感，還會(huì)影響到后續(xù)工程應(yīng)用中的分析。所以，對(duì)航拍圖像中的拉索去除是很有必要的，并有著實(shí)際工程意義。為此，本文重點(diǎn)研究拉索的提取。

從雜亂的背景中定位目標(biāo)的確切位置，主要有兩種類型的方法：基于邊緣檢測(cè)的方法和基于閾值分割[3]的方法?；谶吘墮z測(cè)的方法一般先從圖像中檢測(cè)邊緣，再?gòu)倪吘壷刑崛∷璧哪繕?biāo)?；陂撝捣指畹姆椒ㄍǔ８鶕?jù)顏色、灰度級(jí)等特征來(lái)分離目標(biāo)與背景來(lái)提取待檢測(cè)物體。基于閾值分割的方法優(yōu)點(diǎn)是可以較容易自動(dòng)分離出任意形狀的物體，但選擇合適的閾值是一個(gè)難題，且一個(gè)閾值往往只適用于一個(gè)場(chǎng)景。劉毓涵[4]提出局部自適應(yīng)閾值分割的方法，將圖像進(jìn)行分塊處理。對(duì)于本應(yīng)用場(chǎng)景中包含的各種復(fù)雜場(chǎng)景，難以找到全局最優(yōu)閾值，局部環(huán)境也具有不確定性，而且不同場(chǎng)景下拉索顏色不一，即使是相同場(chǎng)景中，拉索顏色也不盡相同，所以本文采用基于邊緣檢測(cè)的方法。拉索的外形近似直線，目前研究成果對(duì)于固定場(chǎng)景、環(huán)境較為單一的工業(yè)圖像進(jìn)行直線提取能取得很好的效果。董銀文等[5]提出直線提取三次連接的方法用于機(jī)場(chǎng)跑道的識(shí)別，Xu MingLiang等[6]利用小線段DBSCAN聚類的方法對(duì)車(chē)道線進(jìn)行檢測(cè)，郭碧等[7]采用直線和雙曲線結(jié)合的分段曲線模型對(duì)鐵軌能進(jìn)行較好檢測(cè)。這些方法對(duì)于包含大場(chǎng)景和復(fù)雜背景的全景航拍圖像中的直線提取效果卻不能達(dá)到要求。航拍圖像中的拉索具有以下特征：

(1)拉索較細(xì)，只占據(jù)圖像的極少部分，而背景包括復(fù)雜的山地洼池或是建筑樓群。

(2)根據(jù)拉索懸掛相機(jī)的特點(diǎn)，拍攝到的畫(huà)面中拉索的方向?yàn)橄鄬?duì)于垂直的不同傾角，如檢測(cè)到水平方向的拉索可視為誤檢。

(3)不同場(chǎng)景下，拉索的顏色不一，甚至同一場(chǎng)景下，也有接近背景色的拉索，給提取工作帶來(lái)難度。

基于上述分析，本文提出一種全景航拍圖像中拉索的提取方法。主要貢獻(xiàn)在于：(1)將小波變換和Canny邊緣檢測(cè)結(jié)合，并通過(guò)形態(tài)學(xué)膨脹檢測(cè)出包含拉索在內(nèi)的圖像邊緣；(2)提出一種基于形態(tài)學(xué)腐蝕(Morphological Erosion,ME)并包含距離擬合(Distance Fitting,DF)的改進(jìn)Hough直線檢測(cè)方法，形成了一種能適用于復(fù)雜場(chǎng)景的目標(biāo)直線提取算法，最終能有效完整地提取復(fù)雜背景中的目標(biāo)拉索。

1 結(jié)合Canny算法和小波變換的邊緣檢測(cè)

邊緣檢測(cè)是拉索提取算法中關(guān)鍵的一步，邊緣檢測(cè)的結(jié)果將直接影響后續(xù)直線檢測(cè)的效果。常用的邊緣檢測(cè)算法有Sobel[8]、Laplacian，Canny等經(jīng)典邊緣檢測(cè)算子，其中Canny邊緣檢測(cè)算子[9-11]具有更強(qiáng)檢測(cè)弱邊緣的能力，而小波變換[12]可多尺度分析圖像的頻率分量，本文使用兩種方法結(jié)合研究。

前期邊緣檢測(cè)任務(wù)是最大限度地檢測(cè)到拉索的邊緣，Canny邊緣檢測(cè)能較好地檢測(cè)到各類邊緣，但是這種檢測(cè)是無(wú)差別的檢測(cè)。小波變換能進(jìn)行水平方向上快速變化的檢測(cè)，從而找出豎直方向的邊緣,同時(shí)具有抗噪聲能力強(qiáng)的特點(diǎn)，但這樣往往檢測(cè)到的邊緣是不連續(xù)甚至明顯斷裂的。形態(tài)學(xué)算法[13-14]具有連接相鄰圖像元素的作用。針對(duì)此，本文提出一種Canny算子結(jié)合小波變換的邊緣檢測(cè)算法，既保留Canny邊緣檢測(cè)的精度，又突出豎直邊緣，為下一步直線檢測(cè)做了有效的鋪墊。

本文邊緣檢測(cè)算法流程如圖1所示。航拍圖像測(cè)試效果如圖2所示。

圖1 本文邊緣檢測(cè)算法流程圖

圖2 不同邊緣檢測(cè)算法效果圖

與傳統(tǒng)邊緣檢測(cè)算法相比，本文方法在利用Canny算子能檢測(cè)弱邊緣的基礎(chǔ)上，通過(guò)小波變換與形態(tài)學(xué)膨脹的結(jié)合，能使檢測(cè)的效果更好并突出待檢測(cè)直線的特點(diǎn)，為下一步的工作做了堅(jiān)實(shí)的鋪墊。

2 基于ME-DF的改進(jìn)Hough直線檢測(cè)

2.1 算法描述

在得到包含拉索的邊緣檢測(cè)圖后，接著就是提取拉索。拉索的外形近似直線，直線檢測(cè)成為主要任務(wù)。1962年HOUGH P V C提出[15]的Hough直線檢測(cè)將圖像空間中的檢測(cè)問(wèn)題轉(zhuǎn)換到參數(shù)空間中投票累加問(wèn)題，具有較強(qiáng)的魯棒性。但它采用的是窮盡式搜索，運(yùn)算量大。并且周?chē)脑肼曇矃⑴c投票，由于這種無(wú)差別的投票，會(huì)造成虛假峰值。針對(duì)此，MATAS J等提出[16]一種概率霍夫變換，它主要通過(guò)隨機(jī)抽樣圖像中的特征點(diǎn)來(lái)完成Hough變換，顯著地降低了Hough變換的運(yùn)行時(shí)間，但依舊是無(wú)差別采樣，不能對(duì)虛假峰值進(jìn)行抑制。本文提出一種基于形態(tài)學(xué)腐蝕(Morphological Erosion,ME)并包含距離擬合(Distance Fitting,DF)的改進(jìn)Hough直線檢測(cè)方法。

基于ME-DF的改進(jìn)Hough直線檢測(cè)方法首先采用形態(tài)學(xué)腐蝕操作，因?yàn)樵诘玫降倪吘墮z測(cè)后的圖像包含大量的背景信息，采用腐蝕操作理論上可以去掉背景信息。傳統(tǒng)的模板是采用3×3等正方形、圓形或者十字形，但針對(duì)本應(yīng)用場(chǎng)景，腐蝕階段需要盡可能只保留拉索的圖案，傳統(tǒng)模板只能濾除掉部分背景圖案并可能過(guò)多腐蝕掉拉索圖案，所以應(yīng)結(jié)合拉索的幾何形狀選取模板。本文經(jīng)過(guò)大量實(shí)驗(yàn)后選取1×9的模板類型，這種長(zhǎng)方形模板腐蝕拉索后只會(huì)使厚度輕微變細(xì)，能很好地保留直線特征，卻能過(guò)濾掉大量背景雜物，并且能有效過(guò)濾掉絕大部分噪聲，使得直線檢測(cè)過(guò)程中背景區(qū)域參與的投票極大減少,對(duì)虛假峰值有很大的排除效果，再使用概率霍夫變換將很少產(chǎn)生虛假直線。最后由于概率霍夫直線檢測(cè)出的是一些零散的線段，還包括了誤檢線段，結(jié)合航拍圖像中拉索的實(shí)際情況對(duì)線段聚類擬合，能更精準(zhǔn)找到拉索。

2.2 算法流程

設(shè)計(jì)算法流程具體步驟如下：

(1)對(duì)邊緣檢測(cè)得到的圖像采用1×9的模板進(jìn)行腐蝕操作；

(2)通過(guò)概率霍夫直線檢測(cè)得到候選線段集合；

(3)根據(jù)斜率篩選檢測(cè)到的候選線段集，并對(duì)所有線段標(biāo)記為false；

(4)隨機(jī)選取線段Lj，以第一個(gè)端點(diǎn)保存為基準(zhǔn)點(diǎn)Aj；

(5)判斷當(dāng)前線段是否為false，若是則執(zhí)行步驟(6),否則返回步驟(4)；

(6)選取下一條線段Lj+1,并且判斷是否為false，若是則執(zhí)行步驟(7)，否則重復(fù)執(zhí)行本步驟；

(7)計(jì)算線段Lj+1所在直線到點(diǎn)Aj的水平距離；

(8)若距離在閾值內(nèi)，則線段Lj+1標(biāo)記為true并執(zhí)行步驟(9)，否則直接執(zhí)行步驟(9)，其中閾值由統(tǒng)計(jì)所有拉索的水平厚度得到的集合取最大值確定；

(9)判斷所有線段是否遍歷結(jié)束，若是則線段Lj標(biāo)記為true，否則執(zhí)行步驟(6)；

(10)判斷是否所有線段標(biāo)記為true，若是則算法結(jié)束，否則執(zhí)行步驟(4)。

2.3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)主機(jī)為CPU Intel Core i5 3.20 GHz，內(nèi)存為8 GB ，運(yùn)行環(huán)境為Windows 7(x64)，使用工具M(jìn)icrosoft VS2012。數(shù)據(jù)來(lái)源為333張1 920×1 080航拍圖像及12張全景拼接圖像。背景環(huán)境包含道路、草地、房屋、山地、河流、施工建筑等。表1顯示了不同檢測(cè)方法的檢測(cè)率，在單根拉索上被檢測(cè)到的區(qū)域的像素重合度大于90%表示檢測(cè)到一根，小于90%為漏檢，在圖像中檢測(cè)到的直線在拉索上的像素重合度小于20%為誤檢。不同方法檢測(cè)效果如圖3所示。

表1 不同拉索提取方法檢測(cè)結(jié)果(%)

通過(guò)表1可以看出，直接采用Canny與Hough變換結(jié)合的方法誤檢率很高，在采用改進(jìn)的Hough檢測(cè)方法后誤檢率顯著降低，但同時(shí)檢測(cè)率略有減少是由于不太明顯的邊緣在經(jīng)過(guò)形態(tài)學(xué)和聚類操作受到影響。在改進(jìn)加強(qiáng)的Canny結(jié)合改進(jìn)的Hough檢測(cè)方法下，顯著提升了檢測(cè)率，并使誤檢在可以接受的范圍內(nèi)。

圖3 不同拉索提取方法效果圖

由于大場(chǎng)景復(fù)雜背景的存在，傳統(tǒng)Canny+Hough的方法會(huì)檢測(cè)到大量背景直線，并且由于周?chē)肼暤拇嬖?，在Hough檢測(cè)算法中會(huì)產(chǎn)生虛假峰值，結(jié)果檢測(cè)出虛假的直線。采用本文改進(jìn)的Hough算法后能濾除掉大量不相干的背景，并篩選排除誤檢線段，有效地提高了檢測(cè)的效果，但由于邊緣檢測(cè)階段效果還不夠好，導(dǎo)致部分拉索并未檢測(cè)出來(lái)。在此基礎(chǔ)上采用本文改進(jìn)的Canny邊緣檢測(cè)算法，有效地提取并加強(qiáng)拉索邊緣，可以看出對(duì)不同種類、顏色以及邊緣較為模糊的拉索提取依然具有良好的效果。

3 結(jié)論

本文首先提出了基于Canny算法和小波變換的邊緣檢測(cè)方法，結(jié)合了Canny算子，小波變換與形態(tài)學(xué)膨脹方法，旨在盡可能多地檢測(cè)到拉索的邊緣，突出拉索的視覺(jué)效果；隨后在此基礎(chǔ)上提出了基于形態(tài)學(xué)腐蝕并包含距離擬合的改進(jìn)Hough直線檢測(cè)方法，通過(guò)腐蝕操作濾除掉航拍圖像中大面積的背景，保留直線特征，并在概率Hough直線檢測(cè)上采用提出的聚類算法，降低了誤檢的情況。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的方法能夠從復(fù)雜的自然背景中完整提取拉索，同時(shí)能有效避免單純采用概率Hough變換方法提取拉索中存在漏檢、誤檢等情況。但是，目前方法對(duì)于曲率較大的拉索檢測(cè)取得的效果一般，進(jìn)一步的工作將考慮改進(jìn)直線檢測(cè)算法，以便能對(duì)較大曲率的拉索提取取得更好的效果。