機(jī)載復(fù)雜遙感場(chǎng)景下特定建筑區(qū)檢測(cè)跟蹤算法

畢福昆,陳　禾,師　皓,章菲菲

(1.北方工業(yè)大學(xué)電子信息工程學(xué)院,北京 100144;2.北京理工大學(xué)雷達(dá)技術(shù)研究所,北京 100081)

?

機(jī)載復(fù)雜遙感場(chǎng)景下特定建筑區(qū)檢測(cè)跟蹤算法

畢福昆1,陳禾2,師皓2,章菲菲2

(1.北方工業(yè)大學(xué)電子信息工程學(xué)院,北京 100144;2.北京理工大學(xué)雷達(dá)技術(shù)研究所,北京 100081)

特定建筑區(qū)域的自動(dòng)檢測(cè)及跟蹤在機(jī)載遙感視頻數(shù)據(jù)處理中具有重要意義,是非懸停機(jī)載平臺(tái)面向任務(wù)對(duì)地搜尋及火控系統(tǒng)引導(dǎo)的關(guān)鍵技術(shù)之一.針對(duì)實(shí)際復(fù)雜應(yīng)用場(chǎng)景,提出一種特定建筑區(qū)檢測(cè)跟蹤算法.首先,將離線獲得的目標(biāo)區(qū)參考圖進(jìn)行局部描述子特征提取.目標(biāo)區(qū)在線檢測(cè)階段,為保證時(shí)效性,提出基于邊緣顯著性的快速SIFT (Scale Invariant Feature Transform) 特征提取方法,對(duì)待檢測(cè)大視場(chǎng)圖像中疑似建筑區(qū)域提取局部描述子特征;并通過(guò)設(shè)計(jì)層次化的特征點(diǎn)匹配方法實(shí)現(xiàn)目標(biāo)區(qū)的高可靠檢測(cè).目標(biāo)區(qū)在線跟蹤階段,通過(guò)自適應(yīng)開(kāi)窗及軌跡預(yù)測(cè)技術(shù)有效圈定疑似目標(biāo)區(qū),并在圈定的有限范圍內(nèi)進(jìn)行最終目標(biāo)確認(rèn)及穩(wěn)定跟蹤.實(shí)測(cè)數(shù)據(jù)仿真結(jié)果表明,本文提出的算法能在復(fù)雜場(chǎng)景條件下,實(shí)現(xiàn)對(duì)特定建筑區(qū)域的快速檢測(cè)及穩(wěn)定跟蹤.可為將來(lái)實(shí)際系統(tǒng)應(yīng)用提供關(guān)鍵技術(shù)支撐.

機(jī)載視頻跟蹤;建筑區(qū)檢測(cè);局部描述子;復(fù)雜場(chǎng)景

1　引言

特定建筑區(qū)域的自動(dòng)檢測(cè)及跟蹤在機(jī)載遙感視頻數(shù)據(jù)處理中具有重要意義,是非懸停機(jī)載平臺(tái)面向任務(wù)對(duì)地搜尋及火控系統(tǒng)引導(dǎo)的關(guān)鍵技術(shù)之一.該技術(shù)主要包括特定建筑區(qū)的檢測(cè)及跟蹤兩個(gè)階段.針對(duì)復(fù)雜視場(chǎng)遙感圖像建筑區(qū)檢測(cè)問(wèn)題,Thales等考慮到頂視遙感圖像中建筑往往表現(xiàn)為具有局部同質(zhì)特性(homogeneous)的矩形區(qū)域,通過(guò)同質(zhì)區(qū)細(xì)分割結(jié)合區(qū)域鄰近圖(Region Adjacency Graph,RAG)整合的方法成功提取建筑區(qū)[1].但該方法難以解決結(jié)構(gòu)復(fù)雜建筑的檢測(cè)問(wèn)題.為此,近期有學(xué)者采用了圖像檢測(cè)領(lǐng)域較為成功的局部描述子技術(shù)進(jìn)行改進(jìn)[2～4],但這類方法提取局部描述特征時(shí)需要掃描整個(gè)視場(chǎng),將產(chǎn)生巨大的運(yùn)算量;此外,復(fù)雜大視場(chǎng)關(guān)鍵點(diǎn)匹配階段往往容易出現(xiàn)誤配,嚴(yán)重影響檢測(cè)效果.這些缺陷都使該類算法在遙感視頻應(yīng)用中具有局限性.當(dāng)特定建筑區(qū)得到檢測(cè)后,算法會(huì)轉(zhuǎn)入跟蹤階段.已有利用局部描述子技術(shù)的跟蹤算法中[5～8],雖然引入了不少如粒子濾波等新技術(shù),但對(duì)實(shí)時(shí)圖中目標(biāo)確認(rèn)的階段往往候選范圍較大,且缺乏目標(biāo)整體運(yùn)動(dòng)趨勢(shì)的預(yù)測(cè),容易導(dǎo)致跟蹤失敗.

針對(duì)以上技術(shù)存在的局限性及復(fù)雜背景下高時(shí)效應(yīng)用的需求,結(jié)合建筑區(qū)域的結(jié)構(gòu)特點(diǎn),本文提出一種復(fù)雜場(chǎng)景下特定建筑區(qū)快速檢測(cè)跟蹤算法.

首先,在離線狀態(tài)下,對(duì)參考圖進(jìn)行局部描述子特征提取.在線狀態(tài)下,根據(jù)邊緣顯著性只對(duì)大視場(chǎng)實(shí)時(shí)圖的疑似建筑邊緣鄰域進(jìn)行局部描述子特征提取;接著,以層次化的篩選方式獲得正確的匹配點(diǎn)對(duì),實(shí)現(xiàn)目標(biāo)初始區(qū)域快速檢測(cè).最后,通過(guò)拋物線外推軌跡預(yù)測(cè)及自適應(yīng)開(kāi)窗方法截取僅包含目標(biāo)的有限區(qū)域,進(jìn)行目標(biāo)動(dòng)態(tài)確認(rèn)和跟蹤.算法整體流程如圖1所示.

2　特定建筑區(qū)域檢測(cè)跟蹤算法

2.1參考圖SIFT特征離線提取

對(duì)選定的建筑區(qū)參考圖離線提取SIFT(Scale Invariant Feature Transform)局部描述子特征[9].該特征對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換具有不變性,對(duì)視角變化及噪聲也具有一定魯棒性[9～11].提取過(guò)程簡(jiǎn)述如下:

(1)對(duì)參考圖像連續(xù)進(jìn)行Gaussian卷積和2倍下采樣,產(chǎn)生高斯金字塔L:

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

(2)

其中,G為尺度可變高斯函數(shù),I表示原始輸入圖像.高斯金字塔中相鄰兩圖相減,得到差分金字塔D(x,y,σ)=L(x,y,kσ)-L(x,y,σ),并對(duì)其進(jìn)行極值點(diǎn)檢測(cè).

(2)關(guān)鍵點(diǎn)篩選.對(duì)尺度空間DOG函數(shù)按照Taylor公式展開(kāi)并進(jìn)行三維二次曲線擬合.設(shè)定閾值,剔除對(duì)比度低的極值點(diǎn),并利用二階Hessian矩陣去除邊緣響應(yīng)強(qiáng)烈的極值點(diǎn),最后剩下的稱關(guān)鍵點(diǎn).

(3)利用鄰域像素梯度方向分布特性,為每個(gè)關(guān)鍵點(diǎn)指定方向.計(jì)算關(guān)鍵點(diǎn)鄰域像素梯度的幅度和方向,按梯度角度進(jìn)行幅度直方圖統(tǒng)計(jì)以確定關(guān)鍵點(diǎn)的主、輔方向.

(4)對(duì)所有關(guān)鍵點(diǎn)的鄰域按照關(guān)鍵點(diǎn)主方向進(jìn)行旋轉(zhuǎn),鄰域半徑確定如下式:

(3)

其中:d=4,σoct為關(guān)鍵點(diǎn)的組內(nèi)尺度.然后對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊,計(jì)算塊內(nèi)梯度直方圖,生成具有獨(dú)特性的128維向量,并對(duì)該向量進(jìn)行梯度幅度限制和向量歸一化,最終得到SIFT局部描述子特征.

2.2特定建筑區(qū)快速檢測(cè)

2.2.1基于邊緣顯著性的場(chǎng)景匹配特征快速提取

待搜尋的實(shí)時(shí)圖具有范圍大、場(chǎng)景復(fù)雜等特點(diǎn).若按傳統(tǒng)SIFT算法進(jìn)行整圖范圍的局部描述子特征提取,將會(huì)由于產(chǎn)生大量的關(guān)鍵點(diǎn)而需要過(guò)多的局部描述子計(jì)算時(shí)間.使整個(gè)算法流程無(wú)法從檢測(cè)階段穩(wěn)定可靠地轉(zhuǎn)為跟蹤階段.

邊緣顯著性是建筑區(qū)相對(duì)于其它地物的明顯差異特性,也是產(chǎn)生高可靠匹配局部描述子的主要聚集區(qū)域.根據(jù)該特性,本文首先對(duì)由原圖產(chǎn)生的高斯差分金字塔每組第一層圖像進(jìn)行基于OTSU自適應(yīng)閾值分割,獲得實(shí)時(shí)圖中的顯著邊緣區(qū)域.為保證建筑區(qū)匹配點(diǎn)的充足性,再進(jìn)行形態(tài)學(xué)二值膨脹操作使顯著邊緣的周圍鄰域也納入搜尋關(guān)鍵點(diǎn)的范圍.

Msalient=DL(Otsu(D(x,y,k1σ))

(4)

其中D(x,y,k1σ)表示每組金字塔的底層圖像,Otsu(·)表示Otsu自適應(yīng)閾值分割操作,DL(·)表示形態(tài)學(xué)二值膨脹操作.接著在關(guān)鍵點(diǎn)生成環(huán)節(jié),只對(duì)D(x,y,σ)對(duì)應(yīng)的邊緣顯著區(qū)Msalient進(jìn)行極值點(diǎn)檢測(cè),并由此產(chǎn)生關(guān)鍵點(diǎn).最后按SIFT局部描述子生成方式可快速計(jì)算出少量穩(wěn)定的待匹配局部描述子.由圖3(e)和圖3(f)的對(duì)比可看出相比于傳統(tǒng)的SIFT算法,本文對(duì)整圖提取得到的關(guān)鍵點(diǎn)總數(shù)明顯減少,但具有建筑邊緣顯著性的區(qū)域關(guān)鍵點(diǎn)數(shù)并未顯著下降,保證了后續(xù)有效匹配局部描述子的數(shù)量.

2.2.2層級(jí)化的關(guān)鍵點(diǎn)精確匹配

在離線獲取參考圖的局部描述子特征,及在線快速提取基于邊緣顯著性的場(chǎng)景匹配特征后,為實(shí)現(xiàn)關(guān)鍵點(diǎn)的精確匹配,本文采用層級(jí)化由“粗”到“精”的匹配策略.主要分為以下3個(gè)遞進(jìn)的匹配層次:

(1)初步匹配.在該階段,本文采用最鄰近距離比例的方法(Nearest Neighbor Distance Ratio,NNDR)[9].首先對(duì)實(shí)時(shí)圖像中的每個(gè)關(guān)鍵點(diǎn),計(jì)算參考圖像中與之SIFT特征向量間歐氏距離最近及次近的關(guān)鍵點(diǎn);其次,計(jì)算這兩個(gè)距離的比例,以確定是否需要將測(cè)試圖中的最近關(guān)鍵點(diǎn)作為當(dāng)前參考圖中所考察關(guān)鍵點(diǎn)的匹配點(diǎn).

(2)剔除“多對(duì)一”的誤匹配點(diǎn).由于實(shí)時(shí)圖相對(duì)于參考圖來(lái)說(shuō)存在噪聲及各種空間變化,而初步匹配是從實(shí)時(shí)圖中尋找與參考圖中關(guān)鍵點(diǎn)匹配的點(diǎn)對(duì),可能在實(shí)時(shí)圖的關(guān)鍵點(diǎn)中存在兩個(gè)甚至多個(gè)匹配上參考圖同一個(gè)關(guān)鍵點(diǎn)的情況.去除這種“多對(duì)一”的誤匹配點(diǎn),只需將匹配對(duì)的坐標(biāo)按照實(shí)時(shí)圖中的匹配結(jié)果排序,剔除多余的匹配點(diǎn),即可得到一一對(duì)應(yīng)的匹配點(diǎn)對(duì).

(3)剔除不符合建筑區(qū)聚集性的錯(cuò)誤匹配對(duì).由于真實(shí)場(chǎng)景的復(fù)雜性,匹配上的局部區(qū)域可能具有近似的局部特點(diǎn)但位于不同建筑區(qū)中.考慮到本文應(yīng)用中一次只對(duì)同一指定建筑區(qū)進(jìn)行檢測(cè)跟蹤,匹配上的關(guān)鍵點(diǎn)應(yīng)集中于同一建筑區(qū)域內(nèi).利用該特性剔除不符合建筑區(qū)聚集性的錯(cuò)誤匹配對(duì):

將參考圖中匹配關(guān)鍵點(diǎn)i的位置定義為ri=(xi,yi),其所有匹配點(diǎn)的質(zhì)心坐標(biāo)為c1;實(shí)時(shí)圖中匹配關(guān)鍵點(diǎn)j的坐標(biāo)定義為sj=(xj,yj),其所有匹配點(diǎn)的質(zhì)心坐標(biāo)為c2,對(duì)于一個(gè)匹配對(duì)(ri,sj)定義比值R(i,j)=d(ri,c1)/d(sj,c2).其中d(·)表示歐氏距離.由于建筑區(qū)域的聚集性,匹配點(diǎn)對(duì)距離各自質(zhì)心的距離比值應(yīng)當(dāng)相近.利用這一特性可進(jìn)行離群錯(cuò)誤點(diǎn)對(duì)的剔除.進(jìn)一步考慮到如果某一錯(cuò)誤匹配點(diǎn)與目標(biāo)建筑區(qū)的距離較遠(yuǎn),會(huì)將質(zhì)心坐標(biāo)拉到遠(yuǎn)偏離目標(biāo)區(qū)域的位置,使剔除失效.因此需首先定位可靠質(zhì)心再剔除離群點(diǎn).為此,本文設(shè)計(jì)的策略是第一次剔除中只保留比值與均值很接近的少量點(diǎn)對(duì),以確定各自的可靠質(zhì)心位置.第二次再遍歷所有的匹配點(diǎn)對(duì)將比值偏離比值均值較大的點(diǎn)對(duì)剔除.典型示例如圖4所示.

2.3特定建筑區(qū)穩(wěn)定跟蹤

由于本文研究的是非懸停狀態(tài)機(jī)載平臺(tái),目標(biāo)區(qū)相對(duì)于機(jī)載平臺(tái)有相對(duì)運(yùn)動(dòng).因此,在對(duì)目標(biāo)建筑區(qū)域檢測(cè)后,需要對(duì)其進(jìn)行穩(wěn)定的鎖定跟蹤,主要包括以下三個(gè)環(huán)節(jié):

2.3.1實(shí)時(shí)圖初始目標(biāo)區(qū)域范圍圈定

在完成特定建筑區(qū)檢測(cè)后,整個(gè)算法可轉(zhuǎn)到跟蹤階段.該階段首先需要對(duì)實(shí)時(shí)圖進(jìn)行初始目標(biāo)區(qū)域范圍的圈定.從檢測(cè)階段最終確定的局部特征匹配點(diǎn)對(duì)中隨機(jī)選取3對(duì),參考圖匹配點(diǎn)為:(x1,y1),(x2,y2),(x3,y3),與之對(duì)應(yīng)實(shí)時(shí)圖的匹配點(diǎn)為:(x1′,y1′),(x2′,y2′),(x3′,y3′),代入仿射變換模型:

(5)

為方便表示,將上式寫成:AX=b,則可以得:

(6)

通過(guò)上式可得到仿射變換矩陣X.實(shí)時(shí)圖中初始目標(biāo)范圍的確定,可通過(guò)將參考圖四個(gè)頂點(diǎn)坐標(biāo)帶入變換模型得到實(shí)時(shí)圖中對(duì)應(yīng)目標(biāo)區(qū)的頂點(diǎn)位置.因?yàn)楫?dāng)前幀與下一幀間機(jī)載平臺(tái)相對(duì)于目標(biāo)可能存在運(yùn)動(dòng),因此需對(duì)計(jì)算出的目標(biāo)初始位置進(jìn)行適當(dāng)外擴(kuò).由此得到的范圍就是下一幀圖像待匹配跟蹤的區(qū)域.同法,由參考圖中的質(zhì)心坐標(biāo)可以獲得實(shí)時(shí)圖中的目標(biāo)初始質(zhì)心坐標(biāo).

2.3.2動(dòng)態(tài)局部跟蹤區(qū)域確定

2.3.3跟蹤目標(biāo)確認(rèn)

在獲得可能存在目標(biāo)的局部跟蹤范圍后,在下一幀實(shí)時(shí)圖中只需提取該局部跟蹤范圍的SIFT局部描述子特征,與參考圖進(jìn)行特征匹配確認(rèn).若無(wú)法確認(rèn)則表示目標(biāo)已消失或移除視場(chǎng)之外.對(duì)跟蹤階段的后兩個(gè)環(huán)節(jié)循環(huán)往復(fù)可實(shí)現(xiàn)對(duì)特定建筑區(qū)域的穩(wěn)定跟蹤鎖定.

3　實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證所提出檢測(cè)跟蹤算法的性能及效率,本文設(shè)計(jì)了定性及定量的實(shí)驗(yàn)方法,將算法在真實(shí)復(fù)雜視頻場(chǎng)景中進(jìn)行測(cè)試.實(shí)驗(yàn)數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)公開(kāi)無(wú)人機(jī)視頻,特定建筑區(qū)參考圖從視頻近視場(chǎng)中截取,指定為其中的小型機(jī)場(chǎng)區(qū)域尺寸為160*110像素,如圖2(a).測(cè)試視頻數(shù)據(jù)場(chǎng)景尺寸為384*512像素,典型幀如圖3(a)所示,其中包含了農(nóng)田、路網(wǎng)、植被及其它人造區(qū)域.隨著機(jī)載平臺(tái)的無(wú)規(guī)則移動(dòng),測(cè)試視頻中目標(biāo)區(qū)域從無(wú)到有,并且包括多種典型空間變換:旋轉(zhuǎn)、尺度變換、照明變換、仿射變換及部分移出視場(chǎng)之外.所有的實(shí)驗(yàn)均以Matlab2013a編程實(shí)現(xiàn),實(shí)驗(yàn)平臺(tái)為Intel 2.4G CPU,4G內(nèi)存的PC機(jī).

3.1檢測(cè)階段實(shí)驗(yàn)及分析

為驗(yàn)證檢測(cè)階段的性能,采用傳統(tǒng)SIFT匹配檢測(cè)算法[9]及最新提出以效率著稱的SURF(Speeded-Up Robust Features)匹配檢測(cè)算法[12],與本文檢測(cè)階段算法比較,并對(duì)比分析它們的計(jì)算效率.圖5各子圖分別是各算法對(duì)典型測(cè)試場(chǎng)景提取有效關(guān)鍵點(diǎn)的情況及與參考圖匹配檢測(cè)的情況.

為定量分析三種算法的性能和效率,提取視頻中非連續(xù)的300幀圖像進(jìn)行匹配檢測(cè)實(shí)驗(yàn),并統(tǒng)計(jì)測(cè)試幀關(guān)鍵點(diǎn)數(shù),匹配對(duì)點(diǎn)數(shù)及運(yùn)算時(shí)間三種衡量指標(biāo),下表給出所有測(cè)試幀指標(biāo)的統(tǒng)計(jì)平均值.

表1　定量比較實(shí)驗(yàn)結(jié)果

對(duì)比分析三種算法的關(guān)鍵點(diǎn)提取情況:傳統(tǒng)SIFT算法提取到的關(guān)鍵點(diǎn)數(shù)量較多且分布廣泛,非平坦區(qū)域均有分布;SURF算法就是為了解決傳統(tǒng)SIFT算法處理時(shí)間過(guò)長(zhǎng)而提出的,其關(guān)鍵點(diǎn)數(shù)量相比于傳統(tǒng)SIFT算法有所減少;本文檢測(cè)階段算法由于考慮了建筑區(qū)的邊緣顯著性,關(guān)鍵點(diǎn)總數(shù)明顯下降,僅為傳統(tǒng)SIFT算法的55.78%,并且從圖5可以看出篩減掉的關(guān)鍵點(diǎn)大多位于植被、地表等非建筑區(qū)灰度突變處,所提取的關(guān)鍵點(diǎn)密布于邊緣特性顯著的區(qū)域,這些區(qū)域是存在建筑的高概率區(qū)域.

從表1匹配上的關(guān)鍵點(diǎn)對(duì)情況看,三種算法正確匹配上的關(guān)鍵點(diǎn)對(duì)數(shù)目相近.所提出的算法并沒(méi)有因?yàn)樘崛〉年P(guān)鍵點(diǎn)總數(shù)明顯少于兩種比較算法而使正確匹配點(diǎn)對(duì)數(shù)急劇下降.這說(shuō)明在檢測(cè)階段本文算法通過(guò)邊緣顯著性篩減了大量與建筑區(qū)檢測(cè)無(wú)關(guān)的關(guān)鍵點(diǎn),同時(shí)保證了檢測(cè)特定建筑區(qū)所需的足夠關(guān)鍵點(diǎn)數(shù).

從表1檢測(cè)效率看,本文的算法與SURF算法的運(yùn)算時(shí)間都明顯優(yōu)于傳統(tǒng)的SIFT算法,與SURF相比本文算法運(yùn)算時(shí)間略有優(yōu)勢(shì).但值得注意的是SURF算法產(chǎn)生的描述子是64維,本文算法是128維能更好描述局部區(qū)域信息,在復(fù)雜場(chǎng)景時(shí)具有更優(yōu)的魯棒性.

3.2跟蹤實(shí)驗(yàn)及分析

根據(jù)本文算法的整體檢測(cè)跟蹤流程,首先完成對(duì)視頻流中目標(biāo)的搜索檢測(cè).一旦檢測(cè)出參考圖目標(biāo),就立即轉(zhuǎn)入跟蹤階段.下圖給出算法轉(zhuǎn)入跟蹤階段后的運(yùn)行結(jié)果示例.圖6第1列為選取視頻流中各時(shí)間段的典型幀,其中的非掩膜區(qū)域?yàn)楫?dāng)前幀的自適應(yīng)開(kāi)窗區(qū)域,其由本文在跟蹤階段提出的動(dòng)態(tài)局部跟蹤區(qū)域確定技術(shù)截取得到.第2列是參考圖與待確認(rèn)目標(biāo)局部區(qū)域圖的匹配確認(rèn)結(jié)果.表2是對(duì)應(yīng)視頻流檢測(cè)階段及跟蹤過(guò)程的耗時(shí)情況.

表2　跟蹤結(jié)果定量統(tǒng)計(jì)

算法階段幀數(shù)自適應(yīng)窗尺寸運(yùn)算耗時(shí)(s)檢測(cè)階段起始幀整幅圖0.467跟蹤階段第4幀72×850.044跟蹤階段第45幀111×1140.057跟蹤階段第89幀84×720.043跟蹤階段第101幀92×830.051

由圖6可以看出,經(jīng)過(guò)前3幀圖像的積累,從視頻流第4幀圖像開(kāi)始算法流程成功轉(zhuǎn)入跟蹤階段.通過(guò)本文提出的動(dòng)態(tài)局部跟蹤區(qū)域確定技術(shù),自適應(yīng)開(kāi)窗截取當(dāng)前幀中包含目標(biāo)較完整的區(qū)域,且外圍無(wú)關(guān)區(qū)域較小,為低運(yùn)算量高精度的目標(biāo)匹配確認(rèn)打下了基礎(chǔ).其次,由圖6第1列可看出隨著視頻流目標(biāo)位置、尺度、光照及角度不斷變化,自適應(yīng)跟蹤窗(圖6第1列中非掩膜區(qū)域)的尺寸和范圍隨之只適應(yīng)變化.但始終能夠穩(wěn)定的鎖定目標(biāo)所在的局部區(qū)域,并在匹配確認(rèn)中正確確認(rèn)目標(biāo)(圖6第2列).

從表2可以看出,初始目標(biāo)檢測(cè)階段耗時(shí)較大,但轉(zhuǎn)入跟蹤階段后耗時(shí)急劇下降.這是因?yàn)闄z測(cè)階段算法需要對(duì)整幅實(shí)時(shí)圖的場(chǎng)景進(jìn)行目標(biāo)搜索檢測(cè),而轉(zhuǎn)入跟蹤階段后只需對(duì)自適應(yīng)跟蹤窗中的小范圍目標(biāo)區(qū)域進(jìn)行匹配確認(rèn),運(yùn)算量低.從在普通PC機(jī)的仿真實(shí)驗(yàn)結(jié)果可以看出,如果將算法移植到機(jī)載平臺(tái)的嵌入式設(shè)備中有望實(shí)現(xiàn)實(shí)時(shí)處理.

4　總結(jié)

本文針對(duì)實(shí)際復(fù)雜應(yīng)用場(chǎng)景,提出一種特定建筑區(qū)快速檢測(cè)跟蹤算法.基于邊緣顯著性的實(shí)時(shí)圖局部特征提取保證了檢測(cè)階段的時(shí)效性,層級(jí)化的特征點(diǎn)匹配策略保證了該階段的準(zhǔn)確性.轉(zhuǎn)入跟蹤階段后,算法通過(guò)自適應(yīng)開(kāi)窗及軌跡預(yù)測(cè)技術(shù)有效圈定疑似目標(biāo)區(qū),并在圈定的有限范圍內(nèi)進(jìn)行最終目標(biāo)確認(rèn),確保了跟蹤的時(shí)效性及穩(wěn)定性.實(shí)驗(yàn)結(jié)果表明該算法能在復(fù)雜場(chǎng)景中對(duì)指定建筑區(qū)實(shí)現(xiàn)準(zhǔn)確地檢測(cè)及高時(shí)效性的穩(wěn)定跟蹤,且對(duì)實(shí)時(shí)圖中的目標(biāo)區(qū)域相對(duì)于參考圖有典型圖像空間變換時(shí),也具有良好的適應(yīng)性.此外,該算法只需一幅任務(wù)目標(biāo)區(qū)域參考圖進(jìn)行離線局部特征提取,無(wú)需大量訓(xùn)練樣本,具有較高的實(shí)用性.但另一方面,也可看到本文算法仍存在一定的局限性有待改進(jìn):即當(dāng)對(duì)目標(biāo)的觀測(cè)視角發(fā)生超大角度快速變化時(shí),本文跟蹤階段可能丟失目標(biāo).因此,參考圖特征的動(dòng)態(tài)更新,將是未來(lái)工作改進(jìn)的方向.

[1]Thales S K,Luciano V D,Leila M G F.A resegmentation approach for detecting rectangular objects in high-resolution imagery[J].Geoscience and Remote Sensing Letters,IEEE,2011,8(4):621-625.

[2]Sirmacek B,Unsalan C.A probabilistic framework to detect buildings in aerial and satellite images[J].Geoscience and Remote Sensing,IEEE Transactions on,2011,48(1):211-221.

[3]Tao C,Tan Y H,Cai H J,Tian J W.Airport detection from large IKONOS images using clustered SIFT keypoints and region information[J].Geoscience and Remote Sensing,IEEE Transactions on,2011,8(1):128-132.

[4]何林遠(yuǎn),畢篤彥,等.基于SIFT和MSE的局部聚集特征描述新算法[J].電子學(xué)報(bào),2014,42 (8):1619-1623.

Lin-yuan H,Du-yan B，et al.The new descriptor algorithm of local aggregation features based on SIFT and MSE[J].Acta Electronica Sinica,2014,42 (8):1619-1623.(in Chinese)

[5]Qiao Y,Wang W.A theory of phase singularities for image representation and its applications to object tracking and image matching[J].Image Processing,IEEE Transactions on,2009,18(10):2153-2166.

[6]Chen C,Schonfeld D.Aparticle filtering framework for joint video tracking and pose estimation[J].Image Processing,IEEE Transactions on,2010,19(6):1625-1634.

[7]Imai J I,Li W M,Kaneko M.Online object modeling method for occlusion robust tracking[A].Robot Human Interactive Communication,2009[C].Toyama:IEEE,2009.58-63.

[8]Nasser H,Nicolas D.Real-time hand gesture detection and recognition using bag-of-features and support vector machine techniques[J].Instrumentations and Measurement,IEEE Transactions on,2011,60(11):3592-3606.

[9]Lowe D G.Distinctive image features from scale-invariant keypoint[J].International Journal of Computer Vision,2004,60(2):91-110.

[10]Apostolos P,Christos N.Vehicle logo recognition using a SIFT-based enhanced matching scheme[J].Intelligent Transportation Systems,IEEE Transactions on,2010,11(2):322-328.

[11]Zhao W L,Chong W N.Flip-invariant SIFT for copy and object detection[J].Image Processing,IEEE Transactions on,2013,22(3):980-991.

[12]Bay H,Ess A,Tuvtellars T,Gool L V.Speeded-up robust features (SURF)[J].Computer Vision and Image Understanding,2008,110:346-359.

畢福昆(通信作者)男,1982年9月出生,云南昆明人．2011年在北京理工大學(xué)獲得工學(xué)博士學(xué)位,2013年北京大學(xué)信息科學(xué)與技術(shù)學(xué)院博士后流動(dòng)站出站,現(xiàn)為北方工業(yè)大學(xué)電子信息工程系講師．主要研究方向?yàn)?遙感目標(biāo)檢測(cè)與識(shí)別、遙感圖像自動(dòng)解譯．

E-mail:bifukun@163.com

陳禾女,1970年3月出生,遼寧沈陽(yáng)人,1998年在哈爾濱工業(yè)大學(xué)獲得工學(xué)博士學(xué)位,2000年北京理工大學(xué)通信與信息工程博士后流動(dòng)站出站,現(xiàn)為北京理工大學(xué)信息與電子學(xué)院教授,博士生導(dǎo)師．研究方向?yàn)?遙感圖像及雷達(dá)信號(hào)處理、超大規(guī)模集成電路設(shè)計(jì)．

Identifying and Tracking Specific Building Areas in Airborne Remote Sensing Video with Complicated Scenes

BI Fu-kun1,CHEN He2,SHI Hao2,ZHANG Fei-fei2

(1.SchoolofElectronicInformationEngineering,NorthChinaUniversityofTechnology,Beijing100144,China;2.LabofRadarResearch,BeijingInstituteofTechnology,Beijing100081,China)

Automatic identification and tracking for specific building areas is not only of great significance in airborne remote sensing video data processing,but also one of the key technologies for task-oriented non-hovering airborne platform to search ground and boost fire control system.This paper proposes an identification and tracking algorithm of specific building areas for real complex application scenes.First,to extract local descriptors for offline reference images with target areas.At the stage of target area online identification,in order to ensure the timeliness,a fast SIFT (Scale Invariant Feature Transform) feature extraction method based on significant edges is proposed to extract local descriptors for suspected areas in large field of view images to be detected.In addition,the hierarchical feature point matching method is designed to achieve a highly reliable identification of target areas.At the stage of online tracking for target area,adaptive window and trajectory predicting technologies can effectively delineate suspected target areas,and within the limited range to recognize the final targets and track them.Real-measured data simulation results show that the proposed algorithm in complex scene conditions can realize the quick identification and stable tracking for a particular building area.It can also provide a key technical support for the future application of real systems.

airborne video tracking;building area identification;local descriptor;complex scenes

2014-12-10;修回日期:2015-06-01;責(zé)任編輯:梅志強(qiáng)

國(guó)家自然科學(xué)基金(No.61171194);北京市教委科技計(jì)劃面上項(xiàng)目(No.KM201610009004)

TP751

A

0372-2112 (2016)06-1394-06