基于超像素顯著性的無(wú)人機(jī)引導(dǎo)區(qū)域提取

羅威林,周大可,2,楊 欣

0 引 言

無(wú)人機(jī)視覺導(dǎo)航是實(shí)現(xiàn)無(wú)人機(jī)自主飛行的關(guān)鍵技術(shù)之一。傳統(tǒng)的無(wú)人機(jī)視覺導(dǎo)航主要借助于預(yù)先設(shè)置的地面合作目標(biāo)[1,2]實(shí)現(xiàn)無(wú)人機(jī)視覺導(dǎo)航,通過(guò)對(duì)地面合作目標(biāo)的檢測(cè)、識(shí)別與跟蹤實(shí)現(xiàn)無(wú)人機(jī)的自主導(dǎo)航,并依據(jù)合作目標(biāo)在實(shí)時(shí)圖像中的尺度和形狀等信息估計(jì)無(wú)人機(jī)的飛行姿態(tài)[3]。這類方法對(duì)實(shí)時(shí)性要求較高,且需人為設(shè)置地面合作目標(biāo),具有一定的局限性。

基于引導(dǎo)區(qū)域的導(dǎo)航方法是系統(tǒng)預(yù)先從基準(zhǔn)地圖中提取具有高顯著性、高匹配概率的引導(dǎo)區(qū)域,并在無(wú)人機(jī)航行過(guò)程中對(duì)實(shí)時(shí)航拍圖像與基準(zhǔn)地圖中的引導(dǎo)區(qū)域圖像進(jìn)行匹配,依此對(duì)無(wú)人機(jī)定位,從而修正航向誤差以降低偏航的可能。該方法利用預(yù)先提取的引導(dǎo)區(qū)域取代傳統(tǒng)方法中的地面合作目標(biāo),并通過(guò)與引導(dǎo)區(qū)域匹配實(shí)現(xiàn)無(wú)人機(jī)的輔助定位與航向修正,可靠性更高且實(shí)現(xiàn)成本較低。因此,提取匹配概率較高的引導(dǎo)區(qū)域?qū)τ诜呛献髂繕?biāo)式無(wú)人機(jī)視覺導(dǎo)航的研究有重要意義。

目前國(guó)內(nèi)外關(guān)于引導(dǎo)區(qū)域提取的研究報(bào)道較少,國(guó)內(nèi)學(xué)者的研究主要基于基準(zhǔn)圖,通過(guò)分析區(qū)域統(tǒng)計(jì)特性以推導(dǎo)區(qū)域的匹配概率估計(jì)模型。Xiao等[4]提出基于圖像方差、邊緣連續(xù)性和相關(guān)長(zhǎng)度選擇高匹配率的區(qū)域。李德華等[5]則根據(jù)圖像標(biāo)準(zhǔn)差、粗糙度和相關(guān)長(zhǎng)度等圖像特征參數(shù),設(shè)計(jì)了選擇高匹配率區(qū)域的準(zhǔn)則函數(shù),卻并未給出利用這些特征參數(shù)選擇引導(dǎo)區(qū)域的具體方法。陳寧江[6]基于統(tǒng)計(jì)參數(shù)和機(jī)器學(xué)習(xí)方法,根據(jù)地面區(qū)域的紋理信息利用EM(Expectation Maximization)算法對(duì)其進(jìn)行分類,該方法雖然有效,但計(jì)算量較大。

以上模型只考慮了區(qū)域內(nèi)部的統(tǒng)計(jì)特性,并未分析區(qū)域之間的對(duì)比度,因此無(wú)法滿足引導(dǎo)區(qū)域?qū)︼@著性的要求。筆者提出了一種基于超像素顯著性的引導(dǎo)區(qū)域提取方法,采用SLIC(Simple Linear Iterative Clustering)算法獲得形狀規(guī)則、邊界效果較好的超像素,以得到基于超像素對(duì)比度的顯著圖,最后從顯著圖中提取合適的引導(dǎo)區(qū)域。

1 超像素分割

復(fù)雜背景下,地面圖像通常包含眾多大小不一、繁雜無(wú)章的目標(biāo)?；谥狈綀D對(duì)比度(HC:Histogram Contrast)的顯著度計(jì)算方法[7]對(duì)輸入圖像進(jìn)行顯著性檢測(cè),該方法計(jì)算單個(gè)像素的顯著度。在顯著圖中存在大量高對(duì)比度像素呈現(xiàn)高亮(見圖1)。在圖1的前3張輸入圖像的顯著圖中,很大一部分高亮區(qū)域不滿足引導(dǎo)區(qū)域的特征,即屬于無(wú)意義區(qū)域。

圖1 由HC方法生成的顯著圖Fig.1 Saliency map generated by the HC method

為避免上述現(xiàn)象,筆者利用SLIC方法[8]對(duì)輸入圖像進(jìn)行超像素分割。該方法采用5維向量[l,a,b,x,y]表示圖像像素,其中前3個(gè)分量代表像素在CIELAB顏色空間的像素值,后兩個(gè)分量代表像素的空間坐標(biāo)。隨后預(yù)設(shè)K個(gè)聚類中心,并在labxy空間中根據(jù)顏色相似、空間距離相近的原則對(duì)像素進(jìn)行聚類。將K設(shè)為150,對(duì)輸入圖像進(jìn)行超像素分割的結(jié)果如圖2所示。

超像素方法的評(píng)價(jià)主要考慮邊緣貼合度、緊密度、計(jì)算效率以及算法的可控性[9]。表1對(duì)比了幾類常見的超像素分割方法,可以看出SLIC方法無(wú)論在時(shí)間復(fù)雜度還是在對(duì)超像素的控制靈活性上都明顯優(yōu)于其他算法。

圖2 超像素分割結(jié)果Fig.2 Superpixel segmentation result

表1 幾種超像素分割方法對(duì)比Tab.1 The contrast of several superpixel methods

2 基于超像素顯著性的引導(dǎo)區(qū)域提取

在計(jì)算超像素的顯著度值時(shí),單個(gè)或少量的高對(duì)比度像素在顯著圖中很難呈現(xiàn)高亮,因其所在的超像素中可能包含更多對(duì)比度較低的背景像素。由圖2可見,行人、陰影和道路邊緣等顯著度高卻不適合作為引導(dǎo)區(qū)域的地面目標(biāo)在一個(gè)超像素中通常只占很小一部分,后續(xù)的顯著性檢測(cè)結(jié)果也證明了大部分包含上述地面目標(biāo)的超像素在顯著圖中并不會(huì)被判定為顯著區(qū)域。

2.1 超像素顯著性檢測(cè)

由于人們通常更容易注意相鄰的高對(duì)比度區(qū)域,而忽視距離較遠(yuǎn)的區(qū)域,因此在計(jì)算超像素的顯著度時(shí)加入了對(duì)空間關(guān)系的考量。首先,利用Chen等[7]提出的方法為每個(gè)超像素建立顏色直方圖量化各通道的顏色,再計(jì)算它與其余超像素的區(qū)域顏色對(duì)比度,具體的計(jì)算方法為

其中P(mi,k)為第k個(gè)超像素pk的全部nk個(gè)顏色中,第i個(gè)顏色出現(xiàn)的概率,k={1,2}。Dc(mi,1,mj,2)為顏色mi,1與顏色mj,2在Lab空間上顏色距離。根據(jù)上述區(qū)域顏色對(duì)比度,再結(jié)合超像素大小與空間信息,可進(jìn)一步得到基于空間加權(quán)超像素對(duì)比度的顯著度值

其中Ds(pk,pi)為超像素pk與pi的空間距離,同時(shí)用超像素pi中的像素?cái)?shù)w(pi)代表其權(quán)值;σ反映了空間距離的影響力,σ越小,代表超像素pi對(duì)當(dāng)前超像素pk顯著度的貢獻(xiàn)受空間關(guān)系影響越大,筆者將σ2設(shè)為0.4。最后,根據(jù)超像素的顯著度值利用譜聚類方法將超像素的顯著度量化為C類,并設(shè)分割閾值t為量化后的超像素顯著度的均值,將顯著度值高于該均值的超像素設(shè)為顯著區(qū)域,反之則為非顯著區(qū)域。在筆者的實(shí)驗(yàn)中,C設(shè)為10。顯著性檢測(cè)以及最終二值化結(jié)果如圖3所示。

2.2 引導(dǎo)區(qū)域提取

顯著性并非引導(dǎo)區(qū)域需滿足的唯一特征,因此對(duì)檢測(cè)結(jié)果進(jìn)一步的篩選是有必要的。首先,篩除面積較小以及位于邊緣的難以匹配成功的區(qū)域。其次,考慮到區(qū)域中可提取的特征點(diǎn)數(shù)量越多,分布越均勻,對(duì)其進(jìn)行圖像匹配的成功率越高,因此對(duì)候選顯著區(qū)域進(jìn)行SURF(Speed Up Robust Features)特征點(diǎn)提取,并對(duì)各區(qū)域內(nèi)的特征點(diǎn)數(shù)量與分布進(jìn)行統(tǒng)計(jì)。由于理論上一片區(qū)域需至少3個(gè)特征點(diǎn)才可完成精準(zhǔn)的圖像匹配,所以首先篩除特征點(diǎn)數(shù)量不超過(guò)3個(gè)的候選區(qū)域。

圖3 基于超像素的顯著性檢測(cè)結(jié)果Fig.3 The result of the saliency detection based on superpixel

同時(shí),考慮到圖像內(nèi)特征點(diǎn)分布的均勻程度主要取決于圖像的不同區(qū)域中特征點(diǎn)的個(gè)數(shù),因此將候選顯著區(qū)域分為內(nèi)外兩部分,并根據(jù)像素間的歐氏距離將內(nèi)部區(qū)域劃分為9個(gè)子區(qū)域。隨后,統(tǒng)計(jì)9個(gè)內(nèi)部子區(qū)域與1個(gè)外圍子區(qū)域中特征點(diǎn)的個(gè)數(shù),從而得到10×1的分布統(tǒng)計(jì)向量,每個(gè)分量代表了對(duì)應(yīng)子區(qū)域中的特征點(diǎn)個(gè)數(shù)。最后,用分布統(tǒng)計(jì)向量的方差表示整個(gè)區(qū)域的特征點(diǎn)分布均勻程度,方差越小,說(shuō)明區(qū)域內(nèi)部特征點(diǎn)的分布越均勻。筆者算法基于上述規(guī)則對(duì)候選顯著區(qū)域進(jìn)行篩選的結(jié)果如圖4所示。

圖4 引導(dǎo)區(qū)域的生成過(guò)程Fig.4 The process of generating the guidance region

2.3 區(qū)域匹配概率估計(jì)

為定量分析準(zhǔn)引導(dǎo)區(qū)域的匹配率,需對(duì)準(zhǔn)引導(dǎo)區(qū)域的匹配概率進(jìn)行估計(jì)。文獻(xiàn)[13]給出了利用基準(zhǔn)圖仿真生成實(shí)時(shí)圖的方法,在此基礎(chǔ)上,筆者利用歸一化積相關(guān)系數(shù)衡量實(shí)時(shí)圖與基準(zhǔn)圖的相似性,并計(jì)算準(zhǔn)引導(dǎo)區(qū)域的匹配概率,具體方法如下。

對(duì)于基準(zhǔn)圖上準(zhǔn)引導(dǎo)區(qū)域中的任意一點(diǎn)ξ(x,y),設(shè)r為其鄰域,即基準(zhǔn)子圖,r′為r在實(shí)時(shí)圖上的對(duì)應(yīng)區(qū)域,并設(shè)S為基準(zhǔn)圖上的搜索區(qū)域,Sx,y為S中大小與r相同的子區(qū)域。若基準(zhǔn)子圖大小為M×N,則去均值歸一化積相關(guān)系數(shù)的計(jì)算公式為

其中ˉSx,y搜索子區(qū)域的灰度均值,ˉr′為實(shí)時(shí)子圖r′的灰度均值。在搜索區(qū)域S中相關(guān)系數(shù)最大的點(diǎn)即為ξ(x,y)的最優(yōu)匹配點(diǎn), 設(shè)為 η(x′,y′)。 因此, 設(shè) ε 為允許的最小誤差, 若 ξ(x,y)與 η(x′,y′)的距離

則稱點(diǎn)ξ(x,y)匹配成功。最后,以準(zhǔn)引導(dǎo)區(qū)域中匹配成功的點(diǎn)所占比例作為該區(qū)域的匹配概率,從而得到匹配概率最高的引導(dǎo)區(qū)域。

3 實(shí)驗(yàn)與分析

筆者在200張地面圖像上測(cè)試了所提方法。這些圖片的分辨率均為768×432像素,且都由人工標(biāo)注了合適的引導(dǎo)區(qū)域。在該實(shí)驗(yàn)中,筆者主要考察SLIC超像素分割方法中預(yù)設(shè)的超像素?cái)?shù)K對(duì)結(jié)果的影響。將K值分別設(shè)定為100、120、150、200,并計(jì)算在不同的K值下算法在測(cè)試圖片集上的精確率(P)、召回率(R)以及綜合評(píng)價(jià)指標(biāo)F值(Fβ),其中Fβ為精確率與召回率的加權(quán)調(diào)和平均,具體定義為

和Achanta等[14]一樣,設(shè)β2=0.3,使精確率占更高的權(quán)重。

圖5為不同K值下算法提取的引導(dǎo)區(qū)域?qū)Ρ葓D。圖6a反映了筆者方法在測(cè)試集上的精確率、召回率和Fβ值的直方圖。當(dāng)K值較小時(shí),像素面積較大,使高對(duì)比度像素與其他像素可能被聚類至同一超像素,從而使整體顯著度下降。而當(dāng)K值較大時(shí),則可能出現(xiàn)分割過(guò)細(xì),區(qū)域難以保持完整形狀的情況,且分割耗時(shí)隨K值的增大而增加。因此可以假設(shè),當(dāng)飛行高度固定時(shí),存在一個(gè)最佳K值使引導(dǎo)區(qū)域檢測(cè)獲得最好的效果。在該實(shí)驗(yàn)中,K=150時(shí)的準(zhǔn)確率和召回率分別達(dá)89%與87%,實(shí)驗(yàn)效果明顯優(yōu)于其他預(yù)設(shè)值。

圖5 不同K值條件下的超像素分割結(jié)果與引導(dǎo)區(qū)域檢測(cè)結(jié)果Fig.5 The result of superpixel segmentation and guidance region detection under different K-values

此外,在對(duì)顯著圖進(jìn)行閾值分割時(shí),還考察了不同的分割方案對(duì)實(shí)驗(yàn)效果的影響。首先,利用譜聚類方法將所有的超像素按顯著度由低到高量化為10類,并設(shè)分割閾值t∈[1,10],按式

將顯著圖分割為二值圖。其中R(pi)為第i個(gè)超像素的顯著度值,R(t)為顯著度量化后由低至高第t類超像素的顯著度值。從圖6b中不難看出,當(dāng)t取值較低時(shí)超像素更容易被劃分為顯著區(qū)域,因此精確率較低而召回率較高。隨著分割閾值的不斷增加,被劃分為顯著區(qū)域的超像素逐漸減少,從而精確率上升同時(shí)召回率下降。為達(dá)到最理想的實(shí)驗(yàn)效果,選擇t=7,即保證精確率的同時(shí)擁有較高召回率的分割結(jié)果。然后,將得到的二值圖與人工標(biāo)注的引導(dǎo)區(qū)域圖進(jìn)行比較,實(shí)驗(yàn)結(jié)果如圖7所示。

圖6 不同條件下算法的精確率、召回率以及Fβ值Fig.6 The precision and recall of the algorithm under different conditions

圖7 由不同閾值選擇方法得到的分割結(jié)果Fig.7 The result of the segmentation obtained by the different threshold selection method

相應(yīng)地,筆者還將超像素顯著度的均值作為分割閾值。實(shí)驗(yàn)結(jié)果表明,大部分超像素的顯著度集中于[0,255]的兩端,而其均值通常低于t=7時(shí)的分割閾值。圖7直觀地比較了兩種方案的分割結(jié)果,以均值為閾值的分割結(jié)果雖然精確率較低,但可由后續(xù)步驟進(jìn)一步提取合適的引導(dǎo)區(qū)域。而在固定閾值分割的結(jié)果圖中,由于t=7時(shí)的分割閾值較高,出現(xiàn)了較多漏檢區(qū)域,而該問(wèn)題不能依靠降低固定閾值解決。因?yàn)樵谝恍╋@著區(qū)域較少的測(cè)試圖像中,絕大多數(shù)區(qū)域顯著度低于平均值,此時(shí)則需較高的分割閾值以篩除大量的背景區(qū)域。因此,選擇超像素顯著度的均值作為分割閾值更有利于得到精確結(jié)果。

4 結(jié) 語(yǔ)

筆者引入了引導(dǎo)區(qū)域的概念,并研究了基于引導(dǎo)區(qū)域的無(wú)人機(jī)視覺導(dǎo)航方法,進(jìn)一步提出了基于顯著圖的引導(dǎo)區(qū)域提取方法。該方法首先將輸入圖像分割成多個(gè)超像素,隨后根據(jù)超像素間的區(qū)域?qū)Ρ榷扔?jì)算每個(gè)超像素的顯著度值,再基于一定規(guī)則從顯著圖生成的二值圖像中提取合適的準(zhǔn)引導(dǎo)區(qū)域,最后計(jì)算各區(qū)域的匹配概率,得到最終的引導(dǎo)區(qū)域。筆者在一組經(jīng)過(guò)人工標(biāo)注的地面圖像集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明,該方法在精確率和召回率上基本滿足實(shí)際應(yīng)用的需求。

[1]BILLINGSLEY J,BRADBEER R.Mechatronics and Machine Vision in Practice[M].New York:Springer Publishing Company,Incorporated,2008.

[2]黃楠楠,劉貴喜,張音哲,等.無(wú)人機(jī)視覺導(dǎo)航算法[J].紅外與激光工程,2016,45(7):269-277.HUANGNannan,LIUGuixi,ZHANGYinzhe,et al.Unmanned Aerial Vehicle Vision Navigation Algorithm[J].Infrared and Laser Engineering,2016,45(7):269-277.

[3]YANG S,SCHERER SA,ZELL A.An Onboard Monocular Vision System for Autonomous Takeoff,Hovering and Landing of a Micro Aerial Vehicle[J].Journal of Intelligent&Robotic Systems,2013,69(1):499-515.

[4]XIAO Y,DING M,ZHOU C.Matching Suitability Analysis of Reference Map for Scene-Matching-Based Navigation[C]∥Proceedings of SPIE-The International Society for Optical Engineering.[S.l.]:SPIE,1998:100-103.

[5]李德華,楊燦,胡昌赤.地形匹配區(qū)選擇準(zhǔn)則研究[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,1996(2):7-8.LI Dehua,YANG Can,HU Changchi.On the Selection Criterion for a Terrain Matching Field[J].Journal of Huazhong University:Science and Technology Edition,1996(2):7-8.

[6]陳寧江.圖象配準(zhǔn)的穩(wěn)健性研究[D].上海:上海交通大學(xué)電子信息與電氣工程學(xué)院,2000.CHEN Ningjiang.Study on Robustness of Image Registration[D].Shanghai:College of Electronic Information and Electrical Engineering,Shanghai Jiaotong University,2000.

[7]CHENG M M,HANG G X,MITRA N J,et al.Global Contrast Based Salient Region Detection[C]∥Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2011:409-416.

[8]ACHANTA R,SHAJI A,SMITH K,et al.SLICSuperpixels[R].Lausanne,Switzerland:Epfl,2010.

[9]宋熙煜,周利莉,李中國(guó),等.圖像分割中的超像素方法研究綜述[J].中國(guó)圖象圖形學(xué)報(bào),2015,20(5):599-608.SONGXiyu,ZHOU Lili,LI Zhongguo,et al.Review on Superpixel Methods in Image Segmentation[J].Journal of Image and Graphics,2015,20(5):599-608.

[10]FELZENSZWALB P F,HUTTENLOCHER D P.Efficient Graph-Based Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[11]SHI J,MALIK J.Normalized Cuts and Image Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):888-905.

[12]LEVINSHTEIN A,STERE A,KUTULAKOS K N,et al.Turbopixels:Fast Superpixels Using Geometric Flows[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(12):2290-2297.

[13]楊小岡,曹菲,黃先祥,等.景像匹配仿真中實(shí)時(shí)圖的仿真生成[J].系統(tǒng)仿真學(xué)報(bào),2010,22(5):1270-1273.YANG Xiaogang,CAO Fei,HUANG Xianxiang,et al.Simulation Production of Real-Time Image for Scene Matching Simulation[J].Journal of System Simulation,2010,22(5):1270-1273.

[14]ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-Tuned Salient Region Detection[C]∥Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2009:1597-1604.