基于雙向稀疏光流融合的小目標(biāo)檢測方法

王　華，王　倩，顧　鑫，李　瀟，曹建文，夏　耘

(中國運(yùn)載火箭技術(shù)研究院研究發(fā)展中心，北京 100076)

基于雙向稀疏光流融合的小目標(biāo)檢測方法

王華，王倩，顧鑫，李瀟，曹建文，夏耘

(中國運(yùn)載火箭技術(shù)研究院研究發(fā)展中心，北京 100076)

摘要:針對動態(tài)背景下的小目標(biāo)檢測問題，提出了基于雙向稀疏光流融合的目標(biāo)檢測方法。首先采用FAST方法提取當(dāng)前幀圖像中的角點(diǎn)，然后在連續(xù)的三幀圖像中進(jìn)行前、后向稀疏光流跟蹤，確定正確匹配的特征點(diǎn)對，利用匹配的特征點(diǎn)對計算用于背景補(bǔ)償?shù)膸g運(yùn)動參數(shù)，最后在背景補(bǔ)償?shù)幕A(chǔ)上進(jìn)行三幀差分，以檢測出圖像中的運(yùn)動小目標(biāo)。實驗結(jié)果顯示，本算法能夠很好地解決背景和目標(biāo)同時快速運(yùn)動的問題，為運(yùn)動目標(biāo)的跟蹤奠定基礎(chǔ)。

關(guān)鍵詞:FAST；動態(tài)背景；稀疏光流；幀差；背景補(bǔ)償

在對地精確打擊任務(wù)中，導(dǎo)引頭經(jīng)常需要對處于復(fù)雜背景下的移動目標(biāo)進(jìn)行精確的檢測與跟蹤，為精確打擊武器的制導(dǎo)控制提供目標(biāo)信息。在復(fù)雜地物背景下的小運(yùn)動目標(biāo)檢測中，由于背景復(fù)雜，且對地成像裝置的高速運(yùn)動導(dǎo)致背景快速移動、旋轉(zhuǎn)或縮放，對目標(biāo)檢測系統(tǒng)的性能有著至關(guān)重要的影響[1]。目前常用的方法是模板匹配方法，然而對于背景復(fù)雜且目標(biāo)面積較小的情況，極易因目標(biāo)模板更新使得模板出現(xiàn)漂移，影響目標(biāo)跟蹤的精度。另一種常見的方法是利用相鄰兩幀幀差將目標(biāo)輪廓提取出來，但這種方法存在背景噪聲嚴(yán)重，容易出現(xiàn)虛假目標(biāo)的缺點(diǎn)。為了克服這種缺點(diǎn)，本文采用FAST角點(diǎn)檢測、雙向稀疏光流與三幀差分的方法，實現(xiàn)了對動態(tài)背景的實時補(bǔ)償和復(fù)雜背景下的運(yùn)動小目標(biāo)檢測。

1算法流程

利用稀疏光流實現(xiàn)目標(biāo)檢測的流程圖如圖1所示。

圖1　算法處理流程圖

主要流程如下：

1)在Icur圖像中檢測FAST特征點(diǎn)并進(jìn)行特征點(diǎn)篩選。

2)計算當(dāng)前幀特征點(diǎn)在中間幀內(nèi)的對應(yīng)位置，即進(jìn)行前向光流跟蹤；再驗證中間幀的匹配特征點(diǎn)到當(dāng)前幀的運(yùn)動矢量，即進(jìn)行后向光流跟蹤；剔除經(jīng)過雙向光流跟蹤后，與原位置距離較遠(yuǎn)的匹配點(diǎn)對。

3)用匹配的特征點(diǎn)對計算投影變換矩陣Hcur→cen。

4)利用Hcur→cen將當(dāng)前幀圖像變換到中間幀坐標(biāo)系下，并與之作差，得到差值圖Dcur→cen，從幀差圖像存儲隊列取出Dcur→pre。

5)對Dcur→cen和Dcur→pre進(jìn)行二值分割，區(qū)分出變動的像素，并將Dcur→cen存入到幀差圖像存儲隊列作為下一幀計算時的Dcur→pre。

6)將前向差值圖Dcur→cen與后向差值圖Dcur→pre進(jìn)行邏輯“與”運(yùn)算，獲得三幀差值圖，此差值圖的前景像素中包含有中間的完整目標(biāo)區(qū)域。

2角點(diǎn)提取

2.1FAST特征點(diǎn)檢測

FAST是一種最新的角點(diǎn)檢測器，其特征檢測原理如圖2所示。其顯著性判據(jù)很好地結(jié)合了相應(yīng)的機(jī)器學(xué)習(xí)方法，使得角點(diǎn)檢測的時間消耗達(dá)到毫秒級別。因此，F(xiàn)AST在具有比較高的實時要求的應(yīng)用中得到越來越多的使用[2]。

圖2　FAST特征檢測原理與示例

本文中采用FAST角點(diǎn)判據(jù)如下：以p為特征點(diǎn)中心，取半徑為3的圓上的16個點(diǎn)，當(dāng)該圓上連續(xù)存在n個比p處灰度高(或低)的像素，且p點(diǎn)灰度與上述圓弧各點(diǎn)灰度差值累積和在圖像平面的一定鄰域內(nèi)為最大時，就認(rèn)為p為角點(diǎn)。本文中取n=9，t=20。

2.2FAST特征點(diǎn)篩選

在分辨率為384×288的可見光圖像中，平均檢測到FAST特征點(diǎn)在2 000個左右(包括非極大值抑制環(huán)節(jié))，直接用這些點(diǎn)進(jìn)行幀間運(yùn)動估計會造成算法運(yùn)算量過大，降低了算法的實時性，本文采用如下策略篩選出可靠特征點(diǎn)：將原始圖像水平和垂直方向分成固定的矩形柵格，每個柵格中保留一個FAST特征檢測得分最高的點(diǎn)。按柵格取特征點(diǎn)有助于特征點(diǎn)在空間上散布于整個圖像平面，有助于幀間背景運(yùn)動參數(shù)計算的高精準(zhǔn)度。

圖3顯示了連續(xù)兩幀圖像提取到的FAST角點(diǎn)，圖3a為前一幀圖像提取到的FAST角點(diǎn)，圖3b為當(dāng)前幀圖像提取到的FAST角點(diǎn)?？梢钥闯?，根據(jù)篩選后的角點(diǎn)分布均勻，且一致性較好。

a　前一幀圖像提取的角點(diǎn)

b　當(dāng)前幀圖像提取的角點(diǎn)

3基于雙向稀疏光流的特征點(diǎn)幀間運(yùn)動估計

3.1基于區(qū)域匹配的稀疏光流計算法

傳統(tǒng)意義上的光流計算方法是稠密光流法，其計算復(fù)雜，因而在實時性上大多無法保證，因而在大多數(shù)實時系統(tǒng)中無法直接使用稠密光流進(jìn)行計算[3]。稀疏光流法只需對圖像中具有某些特征的像素點(diǎn)進(jìn)行光流計算，既能夠很好地反映出被檢測圖像的運(yùn)動特征，也能極大地降低計算量。

基于區(qū)域的稀疏光流計算方法是在圖像序列中尋找一種前后幀圖像之間對應(yīng)關(guān)系，它將光流定義為使得不同時刻圖像區(qū)域之間產(chǎn)生最佳擬合的位移。假定有兩幀連續(xù)圖像分別為I1和I2，對圖像I1中的每個特征點(diǎn)(x， y)，以此點(diǎn)為中心，2n+1為邊長形成一個正方形的相關(guān)窗口wc。在圖像I2中(x， y)點(diǎn)處剪切一個尺寸為(x-N，y-N)，(x+N，y+N)的正方形子圖作為搜索窗口ws，搜索范圍N可根據(jù)兩幅圖像間的最大可能位移來具體確定。搜索范圍的大小決定了算法的運(yùn)算速度，搜索范圍越大則計算量越大，計算速度越慢，反之則計算量越小，計算速度越快。本文中n=3，N=15。

本文中的區(qū)域匹配算法采用互相關(guān)匹配法，其公式如

(1)

3.2雙向稀疏光流融合改進(jìn)策略

根據(jù)目標(biāo)前一段時間在圖像坐標(biāo)中的運(yùn)動速度，確定相應(yīng)的幀數(shù)進(jìn)行差分，因此導(dǎo)致了搜索窗口的大小不固定；其次，由于背景運(yùn)動時導(dǎo)致圖像不清晰，特征點(diǎn)本身的提取不夠穩(wěn)定、成像噪聲及遮擋等問題的影響，會造成區(qū)域匹配出現(xiàn)錯誤。

本算法采用雙向跟蹤的處理策略：首先由Icur→Icen，得到中間幀中特征點(diǎn)位置，此時的搜索區(qū)域ws可與選取得比較大，保證次區(qū)域能夠覆蓋目標(biāo)在幀間隔下的運(yùn)動最大距離；再以此位置為起始完成由Icen→Icur的特征點(diǎn)跟蹤，此時ws應(yīng)取較小值，當(dāng)反向跟蹤與特征點(diǎn)原始位置重合才認(rèn)為跟蹤是可靠的，否則丟棄跟蹤獲得的特征點(diǎn)對。

通過上述的過濾約束，可以極大地降低外點(diǎn)概率，以圖3a和圖3b兩幀圖像為例，采用單向稀疏光流進(jìn)行匹配時，得到匹配點(diǎn)對為65對，其中錯誤匹配為21對，采用雙向稀疏光流融合策略后，得到的匹配點(diǎn)對為55對，其中匹配錯誤的為4對，雙向稀疏光流匹配后的點(diǎn)對示意圖如圖4所示，可見雙向融合策略大大降低了匹配錯誤的點(diǎn)對數(shù)量。

3.3單應(yīng)矩陣估計

圖像坐標(biāo)是一個典型的二維坐標(biāo)，圖像變換可以用一個可逆的單應(yīng)矩陣來表示。令X和X′為兩張圖的對應(yīng)特征點(diǎn)，令單應(yīng)矩陣為

圖4　特征點(diǎn)匹配結(jié)果

(2)

則

X′ =HX

(1)

一組對應(yīng)特征點(diǎn)對為單應(yīng)矩陣的求解提供了2個約束方程，要完全求解H，至少需要4組對應(yīng)特征點(diǎn)對。

將單應(yīng)矩陣寫成矢量形式h=(h11， h12， h13， h21， h22， h23， h31， h32， h33)T，給定一組特征點(diǎn)對重寫上式為

Aih=0

(3)

式中：Ai為2×9矩陣，即

(4)

計算8自由度的矩陣H，最少需要4組對應(yīng)特征點(diǎn)對(且滿足其中任意3對點(diǎn)不共線)，相應(yīng)的Ai構(gòu)成8×9矩陣A。若已知對應(yīng)點(diǎn)對n≥4，且均為精確對應(yīng)點(diǎn)，則對于方程Ah=0，h存在非零的精確解。實際應(yīng)用中，從圖像中獲得點(diǎn)位置必然存在誤差，通常用最小二乘法求解

(5)

即對ATA進(jìn)行特征值分解，h為零特征值(或最接近零的特征值)所對應(yīng)的特征向量。

4三幀差分檢測目標(biāo)

4.1三幀差分

為保證差分出整個目標(biāo)區(qū)域，采用三幀中相鄰兩幀幀差的方法。利用上述FAST角點(diǎn)與雙向稀疏光流融合方法對間隔幀的背景運(yùn)動進(jìn)行補(bǔ)償后進(jìn)行幀差，圖5給出了三幀兩兩幀差的示意圖[4]。對于當(dāng)前幀Icur，需要計算它到中間幀Icen的運(yùn)動補(bǔ)償，以實現(xiàn)Icen中的目標(biāo)檢測，同時還需計算中間幀Icen到當(dāng)前幀Icur的運(yùn)動補(bǔ)償，方便當(dāng)前幀作為中間幀時的三幀差處理。三幀差分處理的示意圖如圖5所示。

圖5　三幀差分計算示意圖

4.2目標(biāo)檢測流程

三幀差分目標(biāo)檢測處理環(huán)節(jié)按以下步驟進(jìn)行：

1)初始化。

2)計算連續(xù)三幀圖像的差分結(jié)果。

3)二值化差分值。二值化分割的閾值選取需考慮相機(jī)自動增益控制、白平衡及視頻傳輸噪聲等因素的影響。對每個像素的分割閾值選取當(dāng)以總體像素值的標(biāo)準(zhǔn)差為基礎(chǔ)，結(jié)合像素局部區(qū)域平均亮度自適應(yīng)調(diào)整。

4)去噪。對于二值化后的圖像，利用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行濾波處理，去除二值圖像中的噪聲干擾。

5)目標(biāo)區(qū)域提取，采用區(qū)域連通方法，對二值圖像中的連同區(qū)域進(jìn)行提取，并計算目標(biāo)的質(zhì)心點(diǎn)和目標(biāo)面積(長、寬)。

6)目標(biāo)位置映射。經(jīng)過了三幀差處理環(huán)節(jié)后，若第Icen幀檢測到目標(biāo)，則需通過后向映射，得到目標(biāo)在第Icur幀的位置。考慮到目標(biāo)在當(dāng)前幀Icur和中間幀Icen中的位置臨近，且外觀和幾何參數(shù)相似，這里將Icen幀中的目標(biāo)映射到Icur幀坐標(biāo)系下，再在其周圍臨近區(qū)域搜索相似的運(yùn)動區(qū)域，最終獲得當(dāng)前幀Icur中的目標(biāo)區(qū)域。

5實驗結(jié)果及分析

本文的算法已經(jīng)在實驗室仿真環(huán)境下進(jìn)行了仿真驗證。試驗用硬件為聯(lián)想8300t計算機(jī)，Intel(R)Corei7-2600，主頻3.4GHz，內(nèi)存為2Gbyte。試驗前預(yù)先截取300幀連續(xù)的圖片序列，圖片大小為320×240像素。首先通過人工方式對圖像序列中的目標(biāo)位置、大小進(jìn)行標(biāo)定，然后利用本文的算法、模板檢測法、相鄰幀幀差法對圖片中的目標(biāo)進(jìn)行檢測，算法檢測結(jié)果與人工標(biāo)定的結(jié)果進(jìn)行比對，圖6a為仿真過程中的連續(xù)三幀圖像，圖6b為經(jīng)過雙向稀疏光流融合特征點(diǎn)對檢測后經(jīng)過背景補(bǔ)償?shù)膱D像，圖6c為三幀差分并經(jīng)過噪聲濾除后的二值圖，圖6d為經(jīng)過目標(biāo)映射后的當(dāng)前幀目標(biāo)檢測結(jié)果。從仿真結(jié)果可以看出，本文的背景補(bǔ)償方式有效的消除了背景的幀間運(yùn)動，并檢測出了較完整的目標(biāo)形狀，通過中間幀的目標(biāo)檢測結(jié)果可以很好地映射回當(dāng)前幀的目標(biāo)位置。

圖6　幀差圖像結(jié)果

算法對比結(jié)果如表1所示。

表1算法檢測結(jié)果對比

對比項本文算法模板匹配檢測法相鄰兩幀幀差法檢測時間/ms46.338.944.8形心位置偏差/pixel0.41.31.1目標(biāo)正確檢測幀數(shù)298297293目標(biāo)大小偏差/%5.5/4.2

從表1可看出，本算法在檢測的目標(biāo)位置、目標(biāo)檢測正確幀數(shù)上比另外兩種傳統(tǒng)方法更優(yōu)。在檢測時間上比模板匹配法稍長，與相鄰兩幀幀差法相似，這是因為通過流程優(yōu)化，本文算法在每一次處理流程中只需進(jìn)行一次幀差計算，計算量與相鄰兩幀幀差法相當(dāng)。檢測的目標(biāo)大小偏差由于本算法引入了兩幅差分圖，使得目標(biāo)大小偏差比兩幀差分略大。

6結(jié)論

本文介紹了一種基于雙向稀疏光流融合的目標(biāo)檢測方法。在運(yùn)動目標(biāo)檢測之前，引入了基于雙向稀疏光流法計算圖像的幀間運(yùn)動參數(shù)，并基于運(yùn)動參數(shù)對背景區(qū)域進(jìn)行全局運(yùn)動補(bǔ)償確保背景區(qū)域的一致性，然后再進(jìn)行圖像的三幀差分獲取中間幀目標(biāo)位置及區(qū)域，再通過當(dāng)前幀與中間幀之間的映射關(guān)系將中間幀的目標(biāo)位置及區(qū)域映射到當(dāng)前幀，從而實現(xiàn)了小目標(biāo)的檢測。該算法使用了雙向稀疏光流融合策略，提高了角點(diǎn)匹配的準(zhǔn)確性，而且通過流程優(yōu)化，在每一次處理流程中只需進(jìn)行一次幀差計算，減小了計算量。在運(yùn)動小目標(biāo)檢測中，使用三幀差分的方法與目標(biāo)位置映射方法，比模板匹配法和相鄰兩幀差分法提高了運(yùn)動目標(biāo)檢測的正確性和目標(biāo)位置的精確性。

參考文獻(xiàn)：

[1]MARKANDYV，REIDA，WANGS.Motionestimationformovingtargetdetection[J].IEEEtransactionsonaerospaceandelectron.system， 1996， 32(3)： 866-874.

[2]王飛宇，邸男，賈平.結(jié)合尺度空間FAST角點(diǎn)檢測器和SURF描繪器的圖像特征[J].液晶與顯示，2014，29(4)：598-604.

[3]牛一捷.一種基于稀疏表達(dá)和光流的目標(biāo)跟蹤方法[J].大連交通大學(xué)學(xué)報，2014，35(2)：102-107.

[4]丁瑩，范靜濤，楊華民，等.基于圖像配準(zhǔn)的動態(tài)場景運(yùn)動目標(biāo)檢測算法[J].長春理工大學(xué)學(xué)報，2013，36(1-2)：4-9.

Movingtargetdetectionmethodbasedonbidirectionalsparseopticalflow

WANGHua，WANGQian，GUXin，LIXiao，CAOJianwen，XIAYun

(China Academy of Launch Vehicle Technology R&D Center， Beijing 100076，China)

Abstract:A target detection method to detect small target in dynamic background based on the fusion of bidirectional sparse optical flow is proposed. At first， corners in current image are extracted based on FAST method， and then bidirectional sparse optical flow between continuous frames are executed to determine matching points， and uses these pairs of matching points to calculate motion parameters between frames. Finally， after executing background compensation， frame difference is done to detect small moving target in image. The experimental results show that this algorithm can well deal with rapid motion both of the background and targets.

Key words:FAST； dynamic background； sparse optical flow； frame difference； background

中圖分類號:TP391.4

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.03.026

作者簡介：

王華(1979— )，工程師，主要研究方向為信息探測總體技術(shù)，信號處理；

王倩(1983— )，女，工程師，主要研究方向為信號處理，信息傳輸方向。

責(zé)任編輯：閆雯雯

收稿日期：2015-03-25

文獻(xiàn)引用格式：王華，王倩，顧鑫，等. 基于雙向稀疏光流融合的小目標(biāo)檢測方法[J].電視技術(shù)，2016，40(3)：122-125.

WANGH，WANGQ，GUX，etal.Movingtargetdetectionmethodbasedonbidirectionalsparseopticalflow[J].Videoengineering，2016，40(3)：122-125.