基于序列圖像的目標感興趣區(qū)自動提取研究*

羅 航 楊華高

(海軍駐景德鎮(zhèn)地區(qū)航空軍事代表室 景德鎮(zhèn) 333002)

?

基于序列圖像的目標感興趣區(qū)自動提取研究*

羅 航 楊華高

(海軍駐景德鎮(zhèn)地區(qū)航空軍事代表室 景德鎮(zhèn) 333002)

論文在分析傳統(tǒng)目標檢測算法的基礎(chǔ)上，將背景差分法、幀差法相融合，提出了一種基于差分融合的目標檢測算法，應(yīng)用于靜態(tài)場景序列圖像目標感興趣區(qū)自動提?。惶岢隽嘶赒P_TR域圖像對準的運動目標檢測算法，應(yīng)用到平移運動平臺下序列圖像感興趣區(qū)自動提取，經(jīng)實驗驗證上述算法具有較好的針對性，取得了良好的效果。

直升機; 感興趣區(qū); 作戰(zhàn)仿真

Class Number TP391

1 引言

現(xiàn)階段無人機、預警直升機紅外導引頭的感興趣區(qū)域編碼技術(shù)主要是基于單幀(幅)圖像，然而實際過程中，獲取的信息通常是序列圖像形式。本文將探討基于序列圖像的感興趣區(qū)自動提取問題。從軍事應(yīng)用角度出發(fā)，序列圖像中的感興趣區(qū)即是運動目標所在的區(qū)域。因此序列圖像的感興趣區(qū)提取過程實質(zhì)上就是運動目標檢測、運動目標區(qū)域提取這兩個過程。

現(xiàn)有的運動目標定位方法主要有三類：光流法[1]、幀差法和背景差分法。光流法抗噪性能差，在沒有特殊硬件支持的條件下很難滿足實時性要求[2]，本文不對其作研究和討論。在研究背景差分法、幀差法等傳統(tǒng)目標檢測算法的基礎(chǔ)上，重點研究靜態(tài)和動態(tài)場景下目標檢測算法問題。通過目標提取之后，可直接應(yīng)用圖像投影技術(shù)，生成目標感興趣區(qū)，不在贅述。

2 傳統(tǒng)的目標檢測算法分析

2.1 背景差分法

背景差分法[3]是采用圖像序列中當前幀和背景參考模型的差值運算來檢測運動目標。設(shè)t時刻背景模型參考圖像為fb(t)，當前幀圖像為fc(t)，則背景差分圖像為

f(x,y,t)=|fc(x,y,t)-fb(x,y,t)|

(1)

設(shè)分割閾值為T，那么二值化差分圖像為

(2)

2.2 平均值法

顧名思義，平均值法就是通過計算多幀圖像灰度的平均值來近似地模擬背景圖像，其計算方法如式(3)所示。

(3)

其中，B(i,j)表示在重構(gòu)的背景圖像中，坐標為(i,j)的像素點的灰度值。N表示用于計算灰度平均值的圖像幀數(shù)，fk(i,j)表示在第k幀圖像中，坐標為(i,j)的像素點灰度值。m和n分別表示每幀圖像的寬度和高度。

2.3 幀差法

幀差法是通過計算相鄰幀圖像中像素點的灰度差計算出運動目標的位置與形狀等信息[4]。常用的方法主要有相鄰幀圖像差分法和對稱差分法。

1) 相鄰幀圖像差分法

相鄰幀圖像差分法的計算過程可用下式來表示：

dk(x,y) =|Ik(x,y)-Ik-1(x,y)|

(4)

其中，Ik(x,y)、Ik-1(x,y)為連續(xù)兩幀圖像，dk(x,y)為幀差圖像，T是二值化閾值[5]。

2) 對稱差分法

對稱差分方法也稱為連續(xù)三幀圖像差分法，就是由三幀連續(xù)圖像的差值得到中間幀運動目標的輪廓，這種方法能夠去除因為運動而顯露的背景的影響，從而得到準確的運動目標輪廓。設(shè)Ik-1(x,y)、Ik(x,y)和Ik+1(x,y)分別表示連續(xù)三幀圖像，dk-1,k(x,y)、dk,k+1(x,y)分別表示相鄰兩幀差分后的二值圖像，且有：

(5)

(6)

(7)

背景差分法定位精確、速度快，但它需要建立背景模型對背景進行估計，在復雜環(huán)境中進行目標檢測時，成像目標背景復雜，往往很難找出一種合理的背景模型。幀差法具有計算速度快，對動態(tài)背景適應(yīng)快，特別適用于細節(jié)信息比較模糊的紅外視頻圖像。在靜止背景場合中，幀間差分法能夠取得很不錯的檢測效果。但在成像系統(tǒng)和目標都存在運動的復雜背景下，直接利用幀間差分法無法進行有效的目標檢測。

3 傳統(tǒng)目標檢測算法的適用范圍

對于靜態(tài)場景或靜態(tài)場景變化不大圖像序列而言，可通過背景建模的方法獲取背景模型，依據(jù)背景差分法可進行運動目標檢測。然而整個背景建模過程中需要分析多幀圖像，且無法適應(yīng)背景的任何變化。因此為了提高靜態(tài)場景序列圖像檢測算法的魯棒性，開展了基于差分融合的目標檢測算法研究工作。

3.1 靜態(tài)場景序列圖像目標感興趣區(qū)自動提取研究

為了解決背景差分法背景模型更新問題，將幀間差分和背景差分相結(jié)合，參照文獻[6]相關(guān)思路，設(shè)計了一種基于差分融合的在線學習的目標檢測算法(具體流程如圖1所示)。

圖1 基于差分融合的在線學習的目標檢測算法流程

該算法主要涉及以下幾個問題：

1) 背景建模

分析相鄰幀圖像，會發(fā)現(xiàn)背景像素點隨時間緩慢變化，在一定的時間里差別不大。而物體運動變化區(qū)域?qū)?yīng)的像素點變化很大。因此可假設(shè)在一定的時間段t里，由序列圖像中每一個背景像素點組成的集合服從各自的高斯分布，均值為μ(i,j)和標準方差σ(i.j)。在模型初始化時，由于序列圖像中每一個像素點的分布是未知的，因此取第一幀中該像素點的灰度值作為μ(i,j)，而將標準方差σ(i.j)設(shè)為0。事實上實際的背景模型是通過不斷學習新幀而得到的，兼顧了過去的背景信息，所以該方法對實際圖像中的偶然變化有一定的抑制作用。

2) 相鄰幀變化區(qū)域的檢測

幀間差分能夠檢測出相鄰兩幀間發(fā)生了變化的區(qū)域。在簡單背景下，這個區(qū)域主要由包括運動目標在前一幀所覆蓋的區(qū)域即顯露區(qū)P，運動物體在當前幀所覆蓋的區(qū)域Q。示意圖如圖2所示。

圖2 相鄰幀變化區(qū)域示意圖

設(shè)fk(i,j)，fk+1(i,j)為相鄰兩幀各點像素的灰度值，對其進行差分。

若|fk(x,y)-fk+1(x,y)|T，那么運動變化的區(qū)域M(i,j)=fk+1(i,j)。一般來說，對256級灰度圖像，與前述的像素灰度歸類法一樣，灰度閾值T取10～25。

3) 運動目標檢測

4) 背景更新

對于區(qū)域B(i,j)中的像素點，用下述的規(guī)則來進行背景更新：

uk+1(i,j)=(1-α1)μk(i,j)+α1fk+1(i,j)

將區(qū)域B2(i,j)中的像素點用以下的規(guī)則進行更新：

uk+1(i,j)=(1-α2)μk(i,j)+α2fk+1(i,j)

其中α1,α2為更新率，fk+1(i,j)表示新幀中的像素點灰度值。這里α1,α2的取值是不同的，考慮到B2(x,y)中的點是前幀中被運動物體覆蓋的區(qū)域，在當前幀中被重新顯露出來，所以α2的值取得較大，在0.8以上。實驗表明, 這種處理策略使得在建模時即使有運動的物體存在，也會隨著運動物體的移動而迅速得到背景模型[7]。對最終檢測為運動物體的區(qū)域Mo(i,j)不予更新。

3.2 靜態(tài)場景序列圖像目標感興趣區(qū)域自動提取實驗與分析

選取紅外飛機序列圖像(共計110幀，每幀圖像大小256×200，飛機尺寸由小到大)作為實驗對象。仔細分析該圖像序列，發(fā)現(xiàn)第31幀圖像到第70幀圖像、第71幀圖像到第110幀圖像之間的背景也差別不大，飛機成面目標狀態(tài)。因此可以將其作為靜態(tài)場景圖象序列目標檢測與感興趣區(qū)提取的實驗對象。按照基于差分融合得在線學習的目標檢測算法的流程，實驗步驟主要分為：1)選取第一幀為初始背景圖像，對背景模型進行初始設(shè)置；2)選取相鄰兩幀進行幀差操作，并進行變化區(qū)域檢測；3)利用背景模型，針對差分圖像進行目標檢測，并進行背景更新操作；4)差分圖像二值化，并進行形態(tài)濾波；5)圖像投影技術(shù)自動提取感興趣區(qū)，形成感興趣區(qū)模板Mask。

在實驗過程中，選取代表性的相鄰兩幀圖像(如第38、39幀，第99幀、100幀)，進行靜態(tài)場景圖象序列目標檢測與感興趣區(qū)提取。針對38幀、39幀，基于差分融合的運動目標檢測過程如圖3所示。

以第31幀圖像為初始背景圖像，如圖3(a)。取第38，39幀圖像進行差分(效果如圖3(d))，并通過與背景模型比較，進行二值化分割，效果如圖3(f)。最后經(jīng)形態(tài)學濾波提取目標。

圖3 基于差分融合的運動目標檢測過程(針對38幀, 39幀)

針對第99幀、100幀，基于差分融合的運動目標檢測過程4所示。所提取的感興趣區(qū)掩模Mask如圖5所示。

圖4 基于差分融合的運動目標檢測過程(針對99幀, 100幀)

圖5 提取的感興趣區(qū)掩模Mask

4 動態(tài)場景圖像序列目標感興趣區(qū) 自動提取研究

4.1 動態(tài)場景圖像序列運動目標檢測問題分析

運動目標檢測技術(shù)在軍事偵察和武器制導方面有著十分重要的實用意義。軍事運用中，運動目標檢測的背景一般都是復雜背景。在復雜背景中，影響圖像質(zhì)量的因素主要有以下幾種：目標的運動、背景的變化、載體平臺的運動及其他震動和晃動等。在以上條件下形成的動態(tài)場景的序列圖像質(zhì)量差、對比度低；還存在晃動、環(huán)境的干擾等?，F(xiàn)有動態(tài)場景圖像序列中運動目標檢測方法主要包括全局運動補償和運動目標分割兩個步驟，其中全局運動補償處于基礎(chǔ)性地位。各國學者對此展開研究并提出了大量的方法[8～10]，獲得了一定的成功。這類檢測方法的基本思想是：首先估計出相鄰幀間的全局運動參數(shù)；然后運用這些參數(shù)補償全局運動；最后利用差分法完成運動目標檢測。本節(jié)將從運動目標檢測的實時性出發(fā)，研究了一種基于QP_TR信任域圖像對準的運動目標檢測算法。

4.2 基于QP_TR信任域圖像對準的運動目標檢測算法

基于QP_TR信任域圖像對準的運動目標檢測算法是基于“全局運動補償+差分法”的研究思路進行設(shè)計的，這一點同現(xiàn)有動態(tài)場景圖像序列中運動目標檢測方法都是一樣。唯一不同，相鄰幀的全局運動參數(shù)是通過QP_TR信任域算法進行求取。具體的算法框圖如圖6所示。

圖6 基于QP_TR信任域圖像對準的運動目標檢測算法框圖

以巡邏攻擊導彈為探測目標，在巡邏偵察階段是絕大部分時間內(nèi)是處于平飛狀態(tài)，可看作是快速平移運動。若將上一幀像素在下一幀中的位置設(shè)為，由快速平移運動模型可知：

u=x+Δx

v=y+Δy

其中，Δx，Δy代表著圖像全局運動參數(shù)。正確的Δx，Δy將使前后兩幀間的像素灰度差最小，即使下式取最小值：

QP_TR信任域算法在第1層中的運動參數(shù)計算過程如下：1)以該層圖像中心點為中心，抽取長寬分別為該層圖像長寬1/S的子圖像作為計算圖像；2)若該層是最高層，則初始化Δx0=Δy0=1，否則Δx0=2(Δx)l-1，Δy0=2(Δy)l-1。Δend=1，Δ0=min(CL-1,RL-1)/4，MAXner=100；3) 以f(x)=E2(Δx,Δy)為目標函數(shù)，在計算圖像上使用QP_TR信任域算法優(yōu)化，優(yōu)化得到(Δx,Δy)l，為該層兩幀間圖像全局平移距離(以像素為單位)。

通過QP_TR信任域算法，得到平移矢量之后，由于數(shù)字圖像以像數(shù)為單位，且是整數(shù)型式，因此在實際過程中，以平移矢量(23,30)對第二幀圖像進行位移校正并對兩幀圖像進行配準，對配準后的圖像進行幀間差分操作。為了說明基于QP_TR信任域圖像配準算法的重要性，將兩幀直接差分與配準后的差分圖像進行了對比分析，效果如圖8所示。

圖7 兩幀紅外圖像作兩層高斯金字塔分解的效果

圖8 差分效果比較

將差分圖像進行閾值分割，分割效果如圖9所示。

圖9 直接閾值分割的對比分析

經(jīng)過數(shù)學形態(tài)濾波、圖像投影技術(shù)，獲取的感興趣區(qū)Mask如圖10所示。

圖10 感興趣區(qū)提取過程

5 結(jié)語

本文在分析傳統(tǒng)目標檢測算法的基礎(chǔ)上，將背景差分法、幀差法相融合，提出了一種基于差分融合的在線學習的目標檢測算法，并將其應(yīng)用于靜態(tài)場景序列圖像目標感興趣區(qū)自動提取過程中；在分析動態(tài)場景圖像序列運動目標檢測問題的基礎(chǔ)上，提出了基于QP_TR域圖像對準的運動目標檢測算法，將其應(yīng)用到平移運動平臺下序列圖像感興趣區(qū)自動提取，經(jīng)實驗驗證上述算法具有較好的針對性，取得了良好的效果。

[1] Barron J. Fleet D. Beauchemin S. Performance of optical flow-techniques [J]. International Journal of Computer Vision,1994,12(1):42-77.

[2] 董士崇,王天珍,許剛.視頻圖像中的運動檢測[J].武漢理工大學學報(信息與管理工程版),2004,26(1):1-3.

[3] K. Toyarea, J. Krumm, B. Brumitt, B. Meyers. Wallflower: Principles and Practice of Background Maintenance[C]//International Conference on Computer Vision,1999:255-261.

[4] 衣秀清.靜態(tài)場景下運動目標檢測與跟蹤算法研究[D].濟南:山東大學學位論文,2006:2-50.

[5] 周西漢,劉勃,周荷琴.一種基于對稱差分和背景消減的運動檢測方法[J].計算機仿真,2005,22(4):117-119.

[6] 朱明旱,羅大庸,曹倩霞.幀間差分與背景差分相融合的運動目標檢測算法[J].計算機測量與控制,2005,13(3):215-217.

[7] 曾脈,左志宏,常曉夫,等.一種準確而快速的運動目標檢測算法[J].成都信息工程學院學報.2008,28(4):370-373.

[8] TsaigY, Averbuch A. Automatic segmentation of moving objects in video sequences: A region labeling approach [J]. IEEE Transactions on Circuits and System for Video Technology,2002,12(7):597-612.

[9] NeriA, Colonnese S, RussoG,et al. Automatic moving object and background separation[J]. Signal Processing,1998,66(2):219-232.

[10] Chien SY, Ma SY, Chen LG. Efficient moving object segmentation algorithm using background registration technique [J].IEEE Transactions on Circuits and System for Video Technology,2002,12(7):577-586.

Automatic Extraction of Target Region of Interest Based on Sequence Image

LUO Hang YANG Huagao

(Navy Representative Office of Aviation in Jingdezhen, Jingdezhen 333002)

In this paper, based on the analysis of traditional target detection algorithm, combined with background difference method and fusion frame differential method, a target detection algorithm is proposed to extract the static scene sequence image target ereas of interest automatically, and a moving target detection algorithm based on QP_TR domain is proposed to apply to the mobile platform automatic extraction sequence image areas of interest. The experiment shows the algorithm has good pertinence and effect.

helicopter, ROI(region of interest), combat simulation

2016年5月10日,

2016年6月26日

羅航,男，助理工程師，研究方向：航空機械。

TP391

10.3969/j.issn.1672-9730.2016.11.022