基于改進(jìn)的SIFT順序尺度標(biāo)志識別算法

賈開開,郝向陽,張振杰,劉松林,程傳奇

(1.信息工程大學(xué) 導(dǎo)航與空天目標(biāo)工程學(xué)院,鄭州 450001;2.北斗導(dǎo)航應(yīng)用技術(shù)河南省協(xié)調(diào)創(chuàng)新中心,鄭州 450001)

基于改進(jìn)的SIFT順序尺度標(biāo)志識別算法

賈開開1,2,郝向陽1,2,張振杰1,2,劉松林1,2,程傳奇1,2

(1.信息工程大學(xué) 導(dǎo)航與空天目標(biāo)工程學(xué)院,鄭州 450001;2.北斗導(dǎo)航應(yīng)用技術(shù)河南省協(xié)調(diào)創(chuàng)新中心,鄭州 450001)

摘要：設(shè)計(jì)一種由矩形和圓構(gòu)成的合作標(biāo)志;為克服動態(tài)環(huán)境下拍攝影像的旋轉(zhuǎn)、平移、變形等問題,提出了一種改進(jìn)的SIFT尺度信息提取方法,通過統(tǒng)計(jì)信息量,設(shè)定合適閾值去除誤差點(diǎn),根據(jù)均值對尺度信息排序,優(yōu)化尺度信息;將優(yōu)化后的特征量作為支持向量機(jī)(SVM)的輸入,經(jīng)過訓(xùn)練、預(yù)測,完成標(biāo)志識別。與傳統(tǒng)HU不變矩、仿射矩(AMI)相比,在清晰、加噪、遮擋等條件下,改進(jìn)的SIFT尺度信息特征量都具有更高的識別精度。實(shí)驗(yàn)表明:利用SIFT順序尺度進(jìn)行目標(biāo)識別的方法在準(zhǔn)確性和魯棒性方面能夠滿足要求,算法能較準(zhǔn)確的進(jìn)行標(biāo)志識別。

關(guān)鍵詞：SIFT順序尺度;支持向量機(jī);合作標(biāo)志識別

0引言

無人機(jī)在軍事和民用等領(lǐng)域中有著重要的作用[1],在軍用方面,無人機(jī)常用于偵察情報(bào)、軍事測繪、戰(zhàn)術(shù)偵察等任務(wù)中;在民用方面,無人機(jī)可用于資源勘探、氣象探測、交通監(jiān)管及救援救災(zāi)行動中;無人機(jī)的自主著陸導(dǎo)航對無人機(jī)完成既定任務(wù)后進(jìn)行回收具有重要意義。合作標(biāo)志是無人機(jī)實(shí)現(xiàn)基于視覺自主著陸導(dǎo)航的重要手段,通過對合作標(biāo)志的識別,提取不變特征量來實(shí)現(xiàn)對無人機(jī)的位姿估計(jì)[2]。著陸地標(biāo)的正確識別是實(shí)現(xiàn)無人機(jī)自主著陸導(dǎo)航的關(guān)鍵步驟,也是目前無人機(jī)視覺導(dǎo)航的研究熱點(diǎn)。現(xiàn)在已有的目標(biāo)識別方法主要有兩大類:1) 模板匹配[3],又稱為基于區(qū)域的匹配算法,主要根據(jù)目標(biāo)圖像預(yù)先建立模板庫,無人機(jī)獲取圖像的像素點(diǎn)陣直接參與匹配運(yùn)算。其特點(diǎn)是匹配較精確,但計(jì)算量較大;2) 特征提取的方法。通過提取目標(biāo)圖像特征送入分類器進(jìn)行分類,其特點(diǎn)是計(jì)算量小,識別率高。支持向量機(jī)[4,5]在解決小樣本、非線性和高維模式識別表現(xiàn)出許多特有的優(yōu)勢,該方法具有訓(xùn)練時(shí)間短、泛化性好等優(yōu)點(diǎn),已廣泛應(yīng)用于模式識別、數(shù)據(jù)挖掘等領(lǐng)域。無人機(jī)在不同飛行狀態(tài)和環(huán)境下拍攝的合作標(biāo)志圖像是無法全部采集到的,故其圖像識別問題是一個(gè)小樣本識別問題,因此選擇支持向量機(jī)作為合作標(biāo)志識別的分類器。

當(dāng)無人機(jī)在自然環(huán)境中飛行時(shí),由于環(huán)境的不確定性或飛行任務(wù)要求的特殊性,無人機(jī)在飛行過程中會有俯仰或翻滾等情況[6],在這種情況下,攝像機(jī)所拍攝的圖像很大可能會發(fā)生仿射變形[2,7],由HU矩組成的特征量對圖片進(jìn)行識別,優(yōu)點(diǎn)是識別速度快,缺點(diǎn)是識別率比較低,一般用來識別圖像中大的物體,對于物體的描述得比較好,圖像的紋理特征不能太復(fù)雜。仿射不變矩的缺點(diǎn)是計(jì)算效率不高;目前SIFT特征在目標(biāo)識別的應(yīng)用主要有兩種方法[8]:1) 將SIFT匹配算法應(yīng)用于目標(biāo)識別中,SIFT匹配算法主要是利用每個(gè)特征點(diǎn)的128維特征向量進(jìn)行歐氏距離計(jì)算,得到兩幅圖像匹配點(diǎn)對數(shù)量,按其點(diǎn)對數(shù)量的多少來進(jìn)行圖像匹配。當(dāng)SIFT匹配算法用于特征識別時(shí),由于每幅圖像的SIFT特征點(diǎn)數(shù)量不同,以匹配點(diǎn)對數(shù)量來識別標(biāo)志的方法準(zhǔn)確性不高;2) 利用每個(gè)SIFT特征的128維特征向量,采用主成分分析來降維,即PCA——SIFT方法[9],組成特征不變量進(jìn)行識別。

該方法在旋轉(zhuǎn)和光照變化時(shí),比SIFT有一定優(yōu)越性,但是計(jì)算量較大,耗時(shí)較長?；谏鲜鰞煞N方法存在的問題,本文主要采用把SIFT順序尺度[10]作為圖像不變量特征,其在旋轉(zhuǎn)、比例、平移具有近似不變性,而且對不同合作標(biāo)志,可分性明顯。因此本文采用SIFT順序尺度作為圖像特征,其不僅具有穩(wěn)定性,而且對不同合作標(biāo)志,可分性明顯。

1合作標(biāo)志的設(shè)計(jì)

合作標(biāo)志的設(shè)計(jì)需要滿足以下條件[11]:①標(biāo)志圖案要易于識別,容易跟背景區(qū)分開來,便于分割和提取; ②標(biāo)志圖案要包含足夠的特征信息,可以利用這些信息求解無人機(jī)的位姿信息; ③符合一定場景的實(shí)用。基于以上要求,本文設(shè)計(jì)了如圖1所示的合作標(biāo)志。

圖1　合作標(biāo)志圖

1) 合作標(biāo)志形狀設(shè)計(jì)

合作標(biāo)志由一個(gè)大長方形輪廓和八個(gè)小長方形及一個(gè)圓組成,長方形和圓的背景設(shè)計(jì)為黑色。黑色的標(biāo)志容易區(qū)別于周圍的環(huán)境,方便從背景中分割出來便于后續(xù)處理。該設(shè)計(jì)主要解決了兩個(gè)問題:①圖像能夠提供足夠多的特征點(diǎn)用于求解無人機(jī)位姿參數(shù)。無人機(jī)視覺導(dǎo)航,在通過合作標(biāo)志助降的過程中,最少通過4個(gè)特征點(diǎn)即可求出單應(yīng)矩陣,進(jìn)而求取位姿,并且中心圓在仿射變換下趨于橢圓形狀,而圓心點(diǎn)的位置易于擬合確定,可以較好的判斷各點(diǎn)之間的相對位置關(guān)系為解算位姿提供方便。②便于無人機(jī)進(jìn)行識別。通過對采集的圖像進(jìn)行二值化、區(qū)域分割、輪廓4連通掃描,判斷背景是最大的黑色框,然后判斷著陸目標(biāo)有10個(gè)黑色區(qū)域和一個(gè)白色區(qū)域組成的單獨(dú)區(qū)域,從而判斷著陸地標(biāo)的出現(xiàn)。

2) 合作標(biāo)志尺寸確定

為適應(yīng)各種場合,并能夠在一定距離內(nèi)引導(dǎo)無人機(jī)著陸,對合作標(biāo)志的尺寸大小具有一定的要求,在最大距離處,合作標(biāo)志的成像要具有一定的像素?cái)?shù)。在不考慮攝像機(jī)的俯仰角、滾轉(zhuǎn)角和航偏角的情況下,可根據(jù)三角形相似關(guān)系求出標(biāo)志最長邊長度為

(1)

式中: l為最長邊長度; f為相機(jī)的有效焦距; N為l在圖像中成像的像素?cái)?shù); Nf為相機(jī)傳感器兩像元中心距的物理尺寸; d為攝像機(jī)到合作標(biāo)志的垂直距離。

2改進(jìn)的SIFT順序尺度的特征描述

SIFT的尺度空間坐標(biāo)σ的計(jì)算方法為

σ(o,s)=σ02o+s/S,o∈omin+[0,…,O-1],

s∈[0,…,S-1],

(2)

式中: o為octave坐標(biāo); s為sub-level坐標(biāo); σ0為基準(zhǔn)層尺度。

一般SIFT順序尺度:即采用把SIFT特征點(diǎn)的尺度信息按照從大到小排序,取一定步長的較大尺度信息組成特征向量,通常情況下沒有對提取的尺度信息進(jìn)行一定有針對性的篩選,而是直接將所求得的尺度信息進(jìn)行使用,這樣在實(shí)驗(yàn)環(huán)境相對復(fù)雜的情況下,無法真實(shí)有效的獲取同一物體的尺度信息。

改進(jìn)的SIFT順序尺度算法流程如下:

1) 首先將拍攝的圖像轉(zhuǎn)化為灰度圖像,通過去噪、基于閾值的圖像分割方法去除背景信息;

2) 將目標(biāo)圖像進(jìn)行尺度歸一化處理,歸一化方法的采用根據(jù)實(shí)驗(yàn)確定;

3) 假設(shè)經(jīng)過1)和2)步驟后,目標(biāo)圖像,含有N個(gè)SIFT特征點(diǎn),每個(gè)SIFT特征點(diǎn)的尺度為ki,則N個(gè)特征點(diǎn)尺度信息組成的特征向量為

KN=(k1,k2,…kN-1,kN),

(3)

4) 對N個(gè)SIFT特征點(diǎn)的尺度信息進(jìn)行由大到小或由小到大排序,

PN=sort(KN,′descend′).

(4)

考慮到實(shí)際拍攝圖像存在著部分誤點(diǎn),這里需要對排列過的特征點(diǎn)的尺度信息進(jìn)行篩選處理。①首先將提取得到的各特征點(diǎn)的尺度信息進(jìn)行取整,從小到大依次統(tǒng)計(jì)各整數(shù)出現(xiàn)的次數(shù),將小于2的整數(shù)所對應(yīng)的尺度信息剔除,這樣可以將可能出現(xiàn)的誤差點(diǎn)排除; ②將取整后出現(xiàn)次數(shù)大于2的尺度信息按出現(xiàn)次數(shù)的多少進(jìn)行排序并各自求均值。③假定需要L個(gè)P值作為特征向量,那么選取前L個(gè)出現(xiàn)次數(shù)最多的尺度信息作為P值,并將所得到的尺度按從大到小的順序排列,組成特征向量

(P1,P2,…PL-1,PL).

(5)

5) 將L個(gè)P值組成的特征向量送入RBFSVM進(jìn)行訓(xùn)練和分類,得出識別結(jié)果。

3SVM的分類模型

SVM的基本原理就是尋找一個(gè)最優(yōu)分類面,并且分類面兩邊的分類數(shù)據(jù)間隔最大。由于SVM將最優(yōu)問題表示為凸優(yōu)化形式,因此所得到的局部最優(yōu)解一定為全局最優(yōu)解。如圖2所示。

圖2　線性可分情況下的最優(yōu)分類線

圖2中,方形點(diǎn)和圓形點(diǎn)代表兩類樣本,H為最優(yōu)分類超平面,H1和H2分別平行于H的平面,且過離H最近的兩類樣本的直線,H1與H,H2與H之間的距離稱為幾何間隔。為了得到最優(yōu)分類面,應(yīng)使圖2中2/‖ω‖最小,其優(yōu)化目標(biāo)函數(shù)為

s.t.yi(ωT·φ(xi)+b)≥1-ξi(i=1,2,3…,N),

(6)

式中: ω為權(quán)系數(shù)列向量;c為錯(cuò)分懲罰參數(shù);b為分類閾值;ξi為誤差因子;φ(xi)為核函數(shù)。然后給定訓(xùn)練樣本集{yi,xi} (i=1,2,3…,N),其中xi∈Rn,yi∈(0,1).xi為第i個(gè)輸入樣本,yi為該樣本的類別標(biāo)注。這樣一個(gè)求最小值的問題就是一個(gè)優(yōu)化問題,由目標(biāo)函數(shù)和約束條件再通過添加拉格朗日乘子,構(gòu)造拉格朗日函數(shù)轉(zhuǎn)化為無約束的優(yōu)化問題,其形式為

(7)

式中:αj為訓(xùn)練得到的拉格朗日乘子; xj為向量;yj是對應(yīng)于xj的類別標(biāo)注;K(x,y)=φ(x)Tφ(y)為核函數(shù)。本文主要采用徑向基函數(shù):K(x,y)=exp(||x-y||2/σ2).

4合作標(biāo)志識別方法

通過前期實(shí)驗(yàn),本文SIFT特征提取設(shè)定的相關(guān)參數(shù)為

合作標(biāo)志尺寸的確定:本文中的實(shí)驗(yàn)主要是模擬無人機(jī)相機(jī)拍攝實(shí)驗(yàn),無人機(jī)在拍攝時(shí)通過其下方的相機(jī)來對地面目標(biāo)進(jìn)行拍攝,本文通過在實(shí)驗(yàn)室中模擬無人機(jī)上相機(jī)的拍攝距離、角度等實(shí)際場景進(jìn)行拍攝。選取相機(jī)的固定焦距為f=12mm,合作標(biāo)志在圖像中垂直投影的最低像素?cái)?shù)N取為20,Nf在試驗(yàn)中為0.01mm,d在本文中最大取3m,則最長邊長度l最小為0.05m,實(shí)驗(yàn)中標(biāo)志大小為15.5×19.5(cm)。

結(jié)合SIFT順序尺度信息和SVM對合作標(biāo)志識別的具體步驟如下:

1) 圖像獲取:通過無人機(jī)上安裝的高速相機(jī)來采集標(biāo)志圖像;

2) 圖像分割:采用閾值分割的方法,將圖像中的標(biāo)志從背景中分離出來,減少外部環(huán)境對識別效果的影響;

3) 將獲得的目標(biāo)圖像進(jìn)行尺度歸一化處理,常用的特征向量歸一化方法主要有最大最小值法、對數(shù)歸一法、高斯歸一法、反正切歸一法,本文采用的歸一化方法為反正切歸一法;

4) 利用2)中設(shè)定的SIFT順序尺度算法,獲取m個(gè)特征向量;

5) 分類識別。將4)中得到的m個(gè)特征向量送入RBFSVM分類器進(jìn)行訓(xùn)練和分類,進(jìn)而判斷是否為標(biāo)志。

5實(shí)驗(yàn)

本實(shí)驗(yàn)主要采用事先標(biāo)定好的相機(jī)模擬仿真無人機(jī)飛行中拍攝的過程。相機(jī)采用尼康D7000,電腦采用ThinkPadT510型號,因?yàn)闊o人機(jī)視覺導(dǎo)航主要就是通過測定懸掛相機(jī)的位姿來確定無人機(jī)的狀態(tài),在實(shí)驗(yàn)室中仿真主要針對飛機(jī)在不同橫滾角和俯仰角下的俯視灰度圖像。在大的空間角度下拍攝圖像的不變量值變化較大,不利于圖像不變量的提取,因此本文主要針對小空間角度下的不變量提取。利用相機(jī)拍攝了80幅不同大小和角度的合作標(biāo)志作為正樣本;另外拍攝80幅非本文的合作標(biāo)志圖像作為負(fù)樣本,圖像大小為640×480.對不同L值下的不變量SIFT順序尺度識別性能需事先測定,確定L值。本文主要測試改進(jìn)的SIFT順序尺度方法的可行性,本文L值選取為6,并且在加噪、遮擋下,選用相同的圖像,對仿射矩、HU矩的識別率性能進(jìn)行驗(yàn)證(其中仿射矩特征選擇前三個(gè)矩特征,HU矩選取七個(gè)不變量)。部分不同角度、大小圖像分割與尺度提取圖如圖3所示。

圖3　部分不同角度、大小圖像分割與尺度提取圖

首先從160圖像中隨機(jī)選取15幅正樣本和

15幅負(fù)樣本作為訓(xùn)練樣本,剩余的130幅圖像作為預(yù)測樣本。分別提取160幅圖像的仿射矩、HU矩和SIFT順序尺度作為圖像不變量特征輸入分類器中進(jìn)行訓(xùn)練和預(yù)測;然后對采集的圖像進(jìn)行隨機(jī)噪聲(高斯噪聲0.05)處理,經(jīng)過噪聲處理過的圖像再按照上述實(shí)驗(yàn)進(jìn)行識別;最后將合作標(biāo)志部分遮擋處理,遮擋面積小于20%,同樣按照上述實(shí)驗(yàn)方法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表1所示。

由表1可知,在清晰圖像下,考慮拍攝圖像的角度及大小變化,SIFT順序尺度特征表現(xiàn)出比HU矩和仿射不變矩的優(yōu)越性;另外在加噪聲和遮擋的情況下,SIFT順序尺度特征也要比HU矩和仿射不變矩作為特征的分類精度高,在識別時(shí)間上稍差一些,因此改進(jìn)的SIFT順序尺度和SVM分類器的合作標(biāo)志識別方法能夠提高識別精度。另外,因?yàn)閷o人機(jī)實(shí)際著陸標(biāo)志的識別精度沒有具體的標(biāo)準(zhǔn),基本原則就是在最短的時(shí)間內(nèi)準(zhǔn)確識別著陸標(biāo)志。故對于實(shí)時(shí)性要求較低的無人機(jī)具有一定的應(yīng)用價(jià)值。

表1　實(shí)驗(yàn)結(jié)果

6結(jié)束語

本文主要研究了SIFT順序尺度提取方法以及將SIFT順序尺度作為不變量特征并結(jié)合RBFSVM分類器,通過模擬實(shí)驗(yàn)的方式可以得出結(jié)論:改進(jìn)的SIFT順序尺度信息作為圖像的不變量特征,能夠很好的代表圖像的屬性信息,在對用于無人機(jī)助降的合作標(biāo)志的識別中,表現(xiàn)出了較高的精度,為研究利用合作標(biāo)志實(shí)現(xiàn)無人機(jī)助降的問題提供了一定的參考價(jià)值。

參考文獻(xiàn)

[1] 劉興華,曹云峰,劉新華. 計(jì)算機(jī)視覺在無人機(jī)著陸中的應(yīng)用[J].航空計(jì)測技術(shù)，2004：1-3.

[2] 徐貴力,悅立學(xué),程月華. 基于合作目標(biāo)和視覺的無人飛行器全天候自動著陸導(dǎo)引關(guān)鍵技術(shù)[J].航空學(xué)報(bào),2008, 29(2):437-442.

[3] 刁燦,王英勛,王金提，等. 無人機(jī)自動著陸中的機(jī)器視覺輔助技術(shù)[J].航空學(xué)報(bào),2008,9(S1):79-84.

[4] 孫即祥.現(xiàn)代模式識別[M].北京：高等教育出版社,2008:637-640.

[5]MERZT,DURANTIS,CONTEG.Autonomouslandingofanun-mannedhelicopterbasedonvisionandinertialsensing[C].//Proceedingsofthe9thInternationalSymposiumonExperimentalRobotics, 2004:343-352.

[6] 邊肇祺,張學(xué)工.模式識別[M].2版.北京：清華大學(xué)出版社,2000:296-303.

[7] 邱力為,宋子善,沈?yàn)槿?用于無人直升機(jī)著艦控制的計(jì)算機(jī)視覺技術(shù)研究[J].航空學(xué)報(bào),2003,24(4):351-354.

[8] 杜鴻英,郭雷,李暉暉,等.基于不變矩與證據(jù)理論的飛機(jī)序列圖像識別[J].計(jì)算機(jī)仿真,2010,27(2):92-95

[9]YANK,RAHULSUKTHANKAR.PCA-SIFT:Amoredistinctiverepresentationforlocalimagedescriptors[C].//ComputerVisionandPatternRecognition, 2004: 506-513.

[10]趙旭峰.基于圖像不變量特征的自動目標(biāo)識別技術(shù)研究 [D].西安：中國科學(xué)院,2012.

[11]李宇,王友仁,羅慧等.基于視覺的無人機(jī)自主著陸地標(biāo)識別方法[J].計(jì)算機(jī)應(yīng)用研究，2012,29(7):2780-2783.

賈開開(1989-),男,碩士生,主要研究方向計(jì)算機(jī)視覺、視覺導(dǎo)航。

郝向陽(1966-)，男，博士，教授，博士生導(dǎo)師，主要研究方向?yàn)橐曈X導(dǎo)航、視覺測量，計(jì)算機(jī)視覺與機(jī)器視覺。

張振杰(1988-),男,博士生,主要研究方向?yàn)橛?jì)算機(jī)視覺、無人機(jī)視覺導(dǎo)航等。

A Sign Recognition Method Based on Modified SIFT Sequential Scale Information

JIA Kaikai1,2,HAO Xiangyang1,2,ZHANG Zhenjie1,2,LIU Songlin1,2,CHENG Chuanqi1,2

(1.SchoolofNavigationandAerospaceEngineering,InformationEngineeringUniversity,Zhengzhou450000,China;2.BeidouNavigationTechnologyCollaborativeInnovationCenterofHenan,Zhengzhou450000,China)

Abstract: The artificial sign is made up of rectangle and circle. With the purpose of overcoming the images′ rotation,translation and deformation shooted in the dynamic environment, an improved method of SIFT scale information extraction is presented. Removing the error points by counting information and setting the appropriate threshold, and then sorte according to the mean of the scale. The extracted features′ SIFT sequential scale informations are treated as support vector machine's input, by training and forecasting, the signs are recognized. Compared with the traditional HU invariant moment and affine moment(AMI),When images are in the clear、noise、occlusion and other conditions, the improved SIFT feature scale information always have a higher recognition accuracy. The experimental results show that: the method to recognize target using SIFT scale order meets the requirements in terms of accuracy and robustness, the algorithm could accurately recognize the sign.

Keywords:SIFT sequential scale information; SVM; artificial sign recognition

doi:10.13442/j.gnss.1008-9268.2016.02.012

收稿日期：2015-11-27

中圖分類號：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號：1008-9268(2016)02-0066-05

作者簡介

聯(lián)系人： 賈開開 E-mail:1263654228@qq.com