馬旭,程詠梅,郝帥
(1.西北工業(yè)大學(xué)自動化學(xué)院,陜西西安 710072;2.西安科技大學(xué)電氣與控制學(xué)院,陜西西安 710054)
尺度變化下飛機著降區(qū)自適應(yīng)分割算法
馬旭1,2,程詠梅1,郝帥2
(1.西北工業(yè)大學(xué)自動化學(xué)院,陜西西安 710072;2.西安科技大學(xué)電氣與控制學(xué)院,陜西西安 710054)
無人機利用視覺在未知區(qū)域?qū)ふ抑祬^(qū)時,獲取的航拍圖像易受光照影響并存在尺度變化,對航拍圖像進行分割的主要目的是找出滿足無人機著降區(qū)域大小且地物類型(如土地、湖泊等)相同的區(qū)域,所以要求其分割算法既要有聚類的能力,又具有將不同類的地物進行有效分割的能力。針對上述航拍圖像的特點和分割任務(wù)需求,提出了一種尺度變化下飛機著降區(qū)自適應(yīng)分割算法。首先根據(jù)無人機當(dāng)前的高度信息和對著降區(qū)幾何大小的要求,計算當(dāng)前時刻圖像的地面分辨率及滿足無人機著陸時所需的最小像素數(shù);然后提出一種自適應(yīng)mean shift分割算法對航拍圖像進行粗分割,其中核函數(shù)的帶寬參數(shù)根據(jù)計算出的最小像素數(shù)結(jié)合最大類間方差法的閾值進行選取;接著對粗分割的圖像利用Canny算子進行邊緣提取實現(xiàn)圖像的精細分割,得到最終分割結(jié)果;最后利用Google Earth在不同場景和尺度下的圖像進行分割實驗,實驗結(jié)果表明該算法可以滿足分割的任務(wù)需求實現(xiàn)準(zhǔn)確分割,并對光照和尺度變化較為魯棒。
航拍圖像;未知區(qū)域;多特征融合;圖像分割
當(dāng)無人機在執(zhí)行營救、搜索等特殊任務(wù)時,面臨著降區(qū)地形復(fù)雜且無地面輔助導(dǎo)航設(shè)備引導(dǎo)的緊急著降問題。視覺相對導(dǎo)航由于具有無源、自主、信息量大以及導(dǎo)航精度高等優(yōu)點,為無人機在未知區(qū)域著降提供一種有效輔助手段。未知著降區(qū)的航拍圖像由于具有多尺度、地物類型多樣等特點,使得利用單一圖像特征(如邊緣特征、區(qū)域特征、紋理特征等)的分割方法難以對其進行準(zhǔn)確分割[1]。因此,本文針對航拍圖像特點,結(jié)合尋找著降區(qū)的任務(wù)需求,提出了一種尺度變化下飛機著降區(qū)自適應(yīng)分割算法。
Mejia[2]以及Lu等[3]都是采用Canny算子對未知著降區(qū)圖像進行邊緣提取進而分割出著降區(qū)。由于無人機著降過程中距離地面由遠及近,拍攝圖像存在尺度變化,Canny算法在實際檢測圖像的邊緣時,如果Gauss濾波器參數(shù)與閾值的大小僅依賴于人工經(jīng)驗,分割結(jié)果將不穩(wěn)定。文獻[4]中采用mean shift分割算法相比于聚類法和區(qū)域生長法不需要待分割區(qū)域圖像先驗信息(如聚類數(shù)目),并具有形式簡單、抗噪性強及穩(wěn)定性好等優(yōu)點。但是同樣受到圖像尺度的影響,mean shift分割算法存在核函數(shù)帶寬自適應(yīng)選取問題,影響分割效果。文獻[5]采用Canny算子提取的邊緣特征與mean shift分割方法進行融合,并實驗證明了融合分割方法可以實現(xiàn)單一分割方法之間的優(yōu)勢互補。但他們的研究是在某一固定尺度下進行的,同時Sumengen等[6]指出目前的多尺度分割方法大都是將圖像在各個尺度下分割,然后再對各尺度的分割結(jié)果進行融合。雖然該方法比單一尺度的分割結(jié)果精度高,但是各個尺度的選取缺乏一定的理論依據(jù)。
目前各種圖像分割算法并不存在一種通用的算法能解決各種圖像分割問題,各類算法往往都是針對各自所研究的具體問題所設(shè)計的??紤]到本文所研究的未知著降區(qū)域分割問題,算法應(yīng)該具有以下3個特點:①考慮到未知環(huán)境的復(fù)雜性(如光照變化),要求所設(shè)計的分割算法應(yīng)具有一定的魯棒性;②由于無人機降落過程中存在尺度變化,所以要求分割所設(shè)計的算法具有尺度自適應(yīng)性;③面向無人機安全著降任務(wù)需求,要求分割算法能準(zhǔn)確分割出航拍圖中滿足無人機著降的區(qū)域,避免圖像的過分割和欠分割。
為此,針對上述問題,本文提出一種尺度變化下飛機著降區(qū)自適應(yīng)分割算法。首先根據(jù)無人機當(dāng)前的高度信息及無人機著降區(qū)大小的要求,計算當(dāng)前時刻圖像的地面分辨率,推算出滿足無人機著陸時所需的最小像素數(shù);然后利用mean shift分割算法對圖像進行粗分割,其中核函數(shù)的帶寬根據(jù)上一步所計算的最小像素數(shù)結(jié)合最大類間方差法的閾值進行選??;接著對粗分割的圖像利用Canny算子進行邊緣提取實現(xiàn)圖像的精細分割。最后利用Google Earth在不同場景及不同尺度下?lián)溉D像進行分割實驗,驗證本文算法的有效性和分割精度。
mean shift圖像分割算法對圖像中每一個像素點xi(i=1,2,…,n),其特征向量為該像素點的色度和空間位置坐標(biāo),利用mean shift算法進行圖像分割就是將圖像中色度相似或是空間距離相近的像素聚類為同一區(qū)域的過程,mean shift算子Mh(x)可表示為
式中:G(?)表示單位核函數(shù),w(x)表示權(quán)重函數(shù),n表示窗口內(nèi)的像素個數(shù),x表示初始位置,h為核函數(shù)的帶寬參數(shù)。(1)式中h的選擇直接影響著圖像的分割效果,當(dāng)h越小,圖像分割精細程度越高,計算耗時越長,保留的信息也越多,即過分割現(xiàn)象;h越大,圖像分割精細程度越低,計算耗時短,保留的信息也就少,即欠分割現(xiàn)象。尺度的選取在一定程度上反映了帶寬的選擇,傳統(tǒng)算法大都是在某一固定尺度下進行的,隨著無人機高度的不同,尺度也在變化,在圖像上對應(yīng)的滿足著陸要求的著降區(qū)像素個數(shù)也不同。下面給出高度輔助下mean shift自適應(yīng)分割策略。
假設(shè)旋翼無人機著降時所需的最小區(qū)域為邊長為r的正方形區(qū)域,在無人機距離地面高度為H、相機焦距為f、圖像分辨率為m×n、相機水平視場角為α以及垂直視場角為β等條件下,根據(jù)小孔成像原理可計算出地面水平方向分辨率rh和垂直方向分辨率rv分別為
則此時無人機著降時所需最小區(qū)域?qū)?yīng)的圖像像素大小ur×vr分別為
當(dāng)(1)式所示mean shift核函數(shù)帶寬h<min(ur,vr)時,易造成圖像過分割,導(dǎo)致著降區(qū)的漏選;當(dāng)h>max(ur,vr)時,易造成圖像欠分割。考慮到圖像分割的誤差并為保證無人機著陸的安全性,選取的核函數(shù)帶寬為
式中:「·」表示向上取整數(shù),g為圖像的類間方差閾值。引入g是為了抑制圖像對比度與亮度變化對h的影響,采用最大類間方差法確定最優(yōu)g。
代入公式(6)
用zi表示分割后的圖像,Li表示第i個像素在分割后圖像中的標(biāo)號,基于mean shift的著降區(qū)自適應(yīng)粗分割流程如下:
1)根據(jù)(7)式確定核函數(shù)的最優(yōu)帶寬參數(shù)h;
2)分別以圖像中每一個像素點xi為起始點,進行mean shift迭代,將收斂位置yi,c存于相應(yīng)的zi中,即zi=y(tǒng)i,c;
3)如果像素與收斂位置zi之間的距離小于帶寬參數(shù)h,將這些像素根據(jù)收斂位置zi在色度?空間域聚為m類,表示為{Cp}p=1,2,…,m;
4)對每一個像素,令Li={p|zi∈Cp},i=1,2,…,n;
5)將像素數(shù)目小于M個的分割區(qū)域與其鄰近的相似區(qū)域合并。
由于mean shift算法本身具有一定的濾波作用,容易導(dǎo)致“異質(zhì)”區(qū)域間的邊緣模糊,只能對航拍圖像進行“粗”分割,還需進一步對著降區(qū)進行“細”分割,最終確定候選適降區(qū)。
在上一節(jié)航拍圖像“粗”分割圖像的基礎(chǔ)上,采用自適應(yīng)Canny邊緣檢測算法實現(xiàn)著降區(qū)域的“細”分割。
Canny邊緣檢測算法[7]的性能主要由圖像平滑過程中使用的濾波器以及雙閾值化處理步驟中的高、低閾值來決定。對于濾波器來說,本文算法是通過粗分割中具有帶寬自適應(yīng)的的mean shift算法來實現(xiàn)。針對雙閾值的選取,將最大類間方差作為高閾值,而低閾值設(shè)置為高閾值的一半,從而實現(xiàn)邊緣提取時的自適應(yīng)性。
通過Google Earth軟件截取西安市慶鎮(zhèn)村的圖像來驗證所提算法的有效性,經(jīng)過計算,利用Google Earth截圖軟件截取的圖像其相機圖像分辨率為720×486,相機的水平視場角為,垂直視場角為,當(dāng)高度在1 000 m時,根據(jù)公式(2)和(3)可以分別求出地面水平方向的分辨率為0.94 m和垂直方向上的分辨率為0.93 m。小型無人機所需的最小著陸區(qū)域為15 m×60 m,最小著陸區(qū)所對應(yīng)的像素區(qū)域為16×64。采用文獻[2]中Canny算子分割方法(標(biāo)記為M1)和文獻[6]中多尺度mean shift和邊緣檢測融合分割方法(標(biāo)記為M2)作為對比算法,將本文算法標(biāo)記為M3,實驗平臺為Matlab 2011。
1)相機距離地面1 km時的分割實驗
當(dāng)相機距離地面1 000 m時,利用Google Earth截取的慶鎮(zhèn)村圖像如圖1所示。其中圖中標(biāo)注的A、B區(qū)域為可以著降的區(qū)域,本文通過各算法對這2個區(qū)域的分割結(jié)果進行比較和說明。
從圖1可以看出,截取的圖像中含有房屋、草地、湖泊以及土地等豐富地物。用M1方法進行分割得到的結(jié)果如圖2所示。
從圖2中可以看出M1算法具有較強的細節(jié)識別能力,對不同地物間的邊緣有較強的區(qū)分能力。但是由于該算法無聚類能力,所以當(dāng)同一地物圖像中存在特征變化時(如顏色特征),該算法也會將其分割,從而造成過分割現(xiàn)象,對比圖1中的A和B區(qū)域可以看出M1算法在這兩個區(qū)域都有較明顯的過分割,這顯然不利于著降區(qū)的提取。M2算法的分割結(jié)果如圖3所示。
圖1 距離慶鎮(zhèn)村地面1 km時的圖像
圖2 M1算法分割結(jié)果
圖3 M2最終分割結(jié)果
從圖3可以看出利用mean shift算法可以將同一類型的地物進行聚類,但是可以發(fā)現(xiàn)聚類后圖像的邊緣比較模糊。從圖中可以看出相比于M1算法,M2算法由于具有聚類的能力,在一定程度上解決了過分割的問題。但是由于尺度選取關(guān)系,分割結(jié)果中仍然有不少過分割的區(qū)域,如圖中A和B區(qū)域所示,同樣為后續(xù)的著降區(qū)精確搜索帶來一定困難。
本文算法的分割結(jié)果分別如圖4與圖5所示,其中圖4為mean shift粗分割的結(jié)果,圖5為分割的最終結(jié)果。
圖4 mean shift粗分割
圖5 M3算法最終分割結(jié)果
從圖4可以看出,相比于M2算法中的mean shift分割,由于M3方法是在自適應(yīng)尺度下進行的聚類,具有更優(yōu)的聚類效果和不同地物間的區(qū)分能力。從圖5中可以看出,M3方法相比于前2種算法具有更好的分割效果,不僅可以將不同的地物進行有效分割,而且可以將同一類型的地物進行聚類,為后續(xù)的著降區(qū)精確搜索提供基礎(chǔ)。
2)分割算法精度評價
為了客觀評價算法的分割性能,本文選用查全率(φprecision)和查準(zhǔn)率(φrecall)進行評價,定義如下:
式中:Ok表示第k幅分割出的標(biāo)準(zhǔn)著降區(qū)域,該區(qū)域都是由手動選取,Sk(x)表示利用算法分割出的結(jié)果,∏(·)表示連乘符號。利用上述2項指標(biāo)在相機距離地面分別為1 km時,選取20幅圖像進行實驗。各算法性能對比結(jié)果分別如圖6所示。
圖6 相機距離地面1 km
從圖6可以看出,本文提出的算法與其他2種算法相比,查全率和查準(zhǔn)率更高。
為了驗證算法的魯棒性,選取了10個不同場景及3個不同尺度下1 km,850 m,700 m的著降區(qū)進行分割及搜索精度驗證。對上述30幅圖求取查全率和查準(zhǔn)率,各算法性能對比結(jié)果如圖7所示。
圖7 各算法性能比較
從圖7可以看出,綜合航拍圖像的3個不同尺度,本文算法的查全率和查準(zhǔn)率均優(yōu)于其他2種算法,本文算法具有分割精高、魯棒性好、著降區(qū)搜索能力強的優(yōu)點。
本文提出了一種尺度變化下飛機著降區(qū)自適應(yīng)分割算法,首先結(jié)合無人機的高度信息實現(xiàn)了基于mean shift核帶寬自適應(yīng)的粗分割;然后在此基礎(chǔ)上進行自適應(yīng)Canny邊緣檢測實現(xiàn)著降區(qū)的細分割;最后利用Google Earth截圖不同場景、不同尺度下的圖像進行分割實驗,實驗表明本章提出的方法相比于基于邊緣的分割算法及基于多尺度mean shift和邊緣檢測融合分割算法精度更高。
[1] Scherer S,Chamberlain L,Singh S.Autonomous Landing at Unprepared Sites by a Full-Sale Helicopter[J].Robotics and Autonomous Systems,2012,60(12):1545-1562
[2] Mejias L,F(xiàn)itzgerald D L,Eng P C,et al.Forced Landing Technologies for Unmanned Aerial Vehicles:Towards Safer Operations[J].Aerial Vehicles,2009(1):415-442
[3] Lu A,Ding W,Li H.Multi-information Based Safe Area Step Selection Algorithm for UAV′s Emergency Forced Landing[J]. Journal of Software,2013,8(4):995-1002
[4] Michel J,Youssefi D,Grizonnet M.Stable Mean-Shift Algorithm and Its Application to the Segmentation of Arbitrarily Large Remote Sensing Images[J].IEEE Trans on Geoscience and Remote Sensing,2015,53(2):952-964
[5] 朱俊杰,杜小平,范湘濤,等.融合邊緣特征與區(qū)域特征的高分辨率遙感圖像分割方法[J].高技術(shù)通訊,2012,22(9):937-943
Zhu Junjie,Du Xiaoping,F(xiàn)an Xiangtao,et al.Segmentation of High-Resolution Remote Sensing Images Based on Fusing Edge and Region Features[J].High Technology Letters,2012,22(9):937-943(in Chinese)
[6] Sumengen B,Manjunath B S.Multi-Scale Edge Detection and Image Segmentation[C]//European Signal Processing Conference (EUSIPCO),2005
[7] Abo-Zahhad M,Gharieb R R,Ahmed S M,et al.Edge Detection with a Preprocessing Approach[J].Journal of Signal&Information Processing,2014,5(4):123-134
AdaPtive Segmentation Algorithm of Landing Zone under Change of Scale
Ma Xu1,2,Cheng Yongmei1,Hao Shuai2
(1.Department of Automatic Control,Northwestern Polytechnical University,Xi′an 710072,China
2.School of Electrical and Control Engineering,Xi'an University of Science and Technology,Xi′an 710054,China)
The acquired aerial image is susceptible to illumination and scale changes when UAV is searching for a suitable landing zone based on vision.The main purpose of the aerial image segmentation is to identify the landing zone which is roomy enough for UAV to land and has the same object types(such as land,lakes,etc).Therefore, the segmentation algorithm not only has the capability of clustering but also has the capability of segmenting the different type objects.According to the characteristics of the aerial image and the needs of the segmentation task,an adaptive segmentation algorithm of landing zone under the change of scale is proposed.First,the needed minimum pixel is calculated for UAV landing according to the current height of UAV,the size of the landing area and the ground resolution of the image.Second,the Mean Shift algorithm is employed for image coarse segmentation,and the bandwidth of the kernel function in Mean Shift is calculated according to the minimum pixel gotten in previous step in combination with the threshold in maximum between-cluster variance.Third,the edge of the coarse segmentation image is drawn by using the Canny operator and the final segmentation result is gotten.Finally,the aerial images at different scenarios and scales preliminarily that selected with Google Earth are employed in segmentation experiments.Experimental results demonstrates that the proposed algorithm can meet the mission requirements for accurate segmentation and it is robust to illumination and scale change.
algorithms,bandwidth,caculations,data fusion,edge detection,experiments,flowcharting,image acquisition,image segmentation,iterative methods,lighting,mathematical operators,MATLAB,robustness,control systems,scalability,unmanned aerial vehicles(UVA),aerial image,Google Earth, mean shift image segmentation,multi-feature fusion,unfamiliar area
TP271.3
A
1000-2758(2016)02-0328-05
2015-10-20基金項目:西安科技大學(xué)培育基金(2014016)資助
馬旭(1985—),女,西北工業(yè)大學(xué)博士研究生,主要從事圖像處理與視覺導(dǎo)航的研究。