多信息動(dòng)態(tài)融合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

何偉　齊琦　張國(guó)云　吳健輝

摘要：針對(duì)基于視覺顯著性的運(yùn)動(dòng)目標(biāo)檢測(cè)算法存在時(shí)空信息簡(jiǎn)單融合及忽略運(yùn)動(dòng)信息的問題，提出一種動(dòng)態(tài)融合視覺顯著性信息和運(yùn)動(dòng)信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。該方法首先計(jì)算每個(gè)像素的局部顯著度和全局顯著度，并通過貝葉斯準(zhǔn)則生成空間顯著圖；然后，利用結(jié)構(gòu)隨機(jī)森林算法預(yù)測(cè)運(yùn)動(dòng)邊界，生成運(yùn)動(dòng)邊界圖；其次，根據(jù)空間顯著圖和運(yùn)動(dòng)邊界圖屬性的變化，動(dòng)態(tài)確定最佳融合權(quán)值；最后，根據(jù)動(dòng)態(tài)融合權(quán)值計(jì)算并標(biāo)記運(yùn)動(dòng)目標(biāo)。該方法既發(fā)揮了顯著性算法和運(yùn)動(dòng)邊界算法的優(yōu)勢(shì)，又克服了各自的不足，與傳統(tǒng)背景差分法和三幀差分法相比，檢出率和誤檢率的最大優(yōu)化幅度超過40%。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確、完整地檢測(cè)出運(yùn)動(dòng)目標(biāo)，提升了對(duì)場(chǎng)景的適應(yīng)性。

關(guān)鍵詞：運(yùn)動(dòng)目標(biāo)檢測(cè)；視覺顯著性；結(jié)構(gòu)隨機(jī)森林；運(yùn)動(dòng)邊界；動(dòng)態(tài)融合

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

0引言

運(yùn)動(dòng)目標(biāo)檢測(cè)是視頻分析的基礎(chǔ)，在智能監(jiān)控、自動(dòng)導(dǎo)航、高級(jí)人機(jī)交互、軍事偵察等領(lǐng)域有著廣泛的應(yīng)用前景，國(guó)內(nèi)外學(xué)者對(duì)其進(jìn)行了深入研究，提出了許多算法[1-4]。目前，常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有背景差分法[5]、幀間差分法[6]和光流法[7]。背景差分法定位準(zhǔn)確，可以提取相對(duì)完整的運(yùn)動(dòng)目標(biāo)，算法復(fù)雜度較低，但很難快速準(zhǔn)確地獲得合理的背景模型，導(dǎo)致該類方法檢測(cè)效果并不理想；幀間差分法實(shí)時(shí)性強(qiáng)，對(duì)于動(dòng)態(tài)環(huán)境具有較好的適應(yīng)性，但該類方法抗干擾能力差，其前景內(nèi)部易出現(xiàn)空洞；光流法能夠在不需要背景知識(shí)的情況下檢測(cè)出運(yùn)動(dòng)目標(biāo)，檢測(cè)精度高，但該類方法計(jì)算復(fù)雜，實(shí)時(shí)性較差。因此，如何快速、準(zhǔn)確、完整地檢測(cè)出運(yùn)動(dòng)目標(biāo)，仍然是一個(gè)具有挑戰(zhàn)性的研究課題。近年來，視覺顯著性檢測(cè)受到關(guān)注[8-10]，并被廣泛地學(xué)習(xí)和應(yīng)用到運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)中。文獻(xiàn) [11] 提出四元數(shù)傅里葉變換相位譜 （Phase spectrum of Quaternion Fourier Transform， PQFT）的空時(shí)顯著性模型，利用傅氏變換將圖像的亮度、顏色、運(yùn)動(dòng)等融合特征進(jìn)行變換；此方法計(jì)算簡(jiǎn)單，但當(dāng)受到背景紋理干擾時(shí)，檢測(cè)效果不理想。文獻(xiàn) [12] 提出紅外圖像小運(yùn)動(dòng)目標(biāo)檢測(cè)的空時(shí)顯著性模型，利用三維差分高斯濾波器檢測(cè)紅外小運(yùn)動(dòng)目標(biāo)；此方法具有較好的檢測(cè)精確度和魯棒性，但僅限于檢測(cè)紅外圖像的單個(gè)小運(yùn)動(dòng)目標(biāo)，適用范圍受到很大的限制。文獻(xiàn)[13] 利用最大熵法自適應(yīng)計(jì)算幀差法的閾值，獲得顯著性圖，得到運(yùn)動(dòng)目標(biāo)的候選區(qū)域和生長(zhǎng)種子，然后通過模糊生長(zhǎng)法檢測(cè)出運(yùn)動(dòng)目標(biāo)；此方法實(shí)時(shí)性和魯棒性較好，但沒有考慮運(yùn)動(dòng)信息，檢測(cè)出的運(yùn)動(dòng)目標(biāo)位置不準(zhǔn)確。文獻(xiàn) [14] 利用超復(fù)數(shù)傅氏變換和改進(jìn)的三幀差分法分別獲取靜態(tài)顯著區(qū)域和動(dòng)態(tài)顯著區(qū)域，然后利用動(dòng)態(tài)融合算法將兩個(gè)區(qū)域進(jìn)行融合；此方法易受光照和干擾的影響。

根據(jù)上述情況可以看出，如何充分利用運(yùn)動(dòng)信息并將其和顯著性信息進(jìn)行有效融合是運(yùn)動(dòng)目標(biāo)檢測(cè)方法的重要研究?jī)?nèi)容。本文將顯著信息和運(yùn)動(dòng)信息進(jìn)行動(dòng)態(tài)融合，提出一種新的空時(shí)顯著性的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。該方法通過改進(jìn)的顯著性檢測(cè)算法獲得圖像的視覺顯著性圖，又通過結(jié)構(gòu)隨機(jī)森林算法獲取圖像的運(yùn)動(dòng)邊界圖[15]；然后將視覺顯著性圖和運(yùn)動(dòng)邊界圖進(jìn)行動(dòng)態(tài)融合，從而有效地檢測(cè)出完整的運(yùn)動(dòng)目標(biāo)。

1視覺顯著性圖

視覺顯著性通過模擬人類視覺注意機(jī)制對(duì)圖像信息進(jìn)行處理，顯著性檢測(cè)結(jié)果是一幅灰度圖，圖中每個(gè)像素的灰度值代表該像素在原圖像中的顯著度。文獻(xiàn) [16] 利用圖像的顏色、方向信息，通過主成分分析法建立低維多尺度融合特征，計(jì)算每個(gè)像素的局部和全局顯著性，并通過貝葉斯準(zhǔn)則將其結(jié)合，得到顯著圖。本文在此基礎(chǔ)上進(jìn)行如下改進(jìn)：增加圖像的紋理特征，以反映圖像的區(qū)域結(jié)構(gòu)信息，提高算法克服背景紋理的影響及抗干擾能力；由于在運(yùn)動(dòng)信息計(jì)算中充分利用了圖像的方向信息，故不再計(jì)算方向特征，以提高計(jì)算效率。

1.1特征提取與融合

由于人類視覺系統(tǒng)具有多尺度特征，算法為輸入圖像構(gòu)建了具有Q個(gè)尺度的尺度空間。在每個(gè)尺度中均提取顏色和紋理特征，并利用主成分分析法（Principal Component Analysis， PCA）對(duì)提取的特征向量降維。

1.3顯著性檢測(cè)

在計(jì)算顯著性時(shí)，取Q=3，即在三個(gè)尺度上分別提取像素i的顏色和紋理特征，對(duì)聯(lián)合特征利用PCA降維，計(jì)算每個(gè)像素的局部顯著性和全局顯著性，通過貝葉斯準(zhǔn)則對(duì)其進(jìn)行結(jié)合，其顯著圖效果如圖1所示。由圖1可以看出，算法在摒棄大量冗余信息干擾的同時(shí)，較好地保持了顯著目標(biāo)的整體特征。

2運(yùn)動(dòng)邊界圖

運(yùn)動(dòng)邊界對(duì)運(yùn)動(dòng)目標(biāo)的顏色、紋理和形狀等特征變化較為魯棒。本文運(yùn)動(dòng)邊界檢測(cè)算法主要是在文獻(xiàn) [15] 工作的基礎(chǔ)上，對(duì)其模型進(jìn)行了改進(jìn)，綜合考慮了運(yùn)動(dòng)目標(biāo)的顏色、梯度、邊緣和光流等信息，以更準(zhǔn)確地定位運(yùn)動(dòng)目標(biāo)區(qū)域。

2.2運(yùn)動(dòng)邊界檢測(cè)

隨機(jī)森林具有快速的訓(xùn)練能力和很強(qiáng)的多分類能力，而結(jié)構(gòu)學(xué)習(xí)的輸入和輸出空間可以是任意復(fù)雜的表示。本文利用結(jié)構(gòu)隨機(jī)森林對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集Bootstrap視頻序列的第451、453、455及457幀圖像的運(yùn)動(dòng)邊界進(jìn)行檢測(cè)，其結(jié)果如圖2所示。從圖2中可以看出，運(yùn)動(dòng)邊界可以較好地定位出運(yùn)動(dòng)目標(biāo)，但由于受到目標(biāo)相互遮擋及光照等因素的影響，其結(jié)果并不能清晰完整地將運(yùn)動(dòng)目標(biāo)分離，還需進(jìn)一步處理。

3多信息動(dòng)態(tài)融合算法

人類視覺系統(tǒng)對(duì)運(yùn)動(dòng)信息的感知要比其他信息更敏感，然而，當(dāng)運(yùn)動(dòng)信息具有相對(duì)一致性時(shí)，視覺系統(tǒng)則更容易被顏色、紋理等其他主要視覺特征所吸引。因此，本文利用動(dòng)態(tài)融合方法[18]對(duì)視覺顯著性圖和運(yùn)動(dòng)邊界圖進(jìn)行融合：

當(dāng)圖像的運(yùn)動(dòng)信息增強(qiáng)時(shí)，λM迅速增大， λS則相應(yīng)減小；但當(dāng)運(yùn)動(dòng)達(dá)到一定強(qiáng)度后，λM的增加速度會(huì)變得較為緩慢。多信息動(dòng)態(tài)融合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法具體步驟描述如下：

步驟1輸入第k幀圖像，分別提取顏色特征和紋理特征，并利用主成分分析法對(duì)其進(jìn)行降維，對(duì)低維多尺度顏色特征和紋理特征進(jìn)行融合；

步驟2分別計(jì)算每個(gè)像素低維多尺度融合特征的局部和全局顯著性，通過式 （12） 得到每個(gè)像素的顯著性，獲得視覺顯著性圖SSi；

步驟3利用訓(xùn)練集生成決策樹，并構(gòu)造隨機(jī)森林，對(duì)每一個(gè)輸入向量x∈RkN2，計(jì)算每個(gè)節(jié)點(diǎn)相關(guān)聯(lián)的二元分割函數(shù)h（x，θi）∈{0，1}，以決定x轉(zhuǎn)向左孩子或右孩子，直到葉子節(jié)點(diǎn)；

步驟4在隨機(jī)森林中的每一棵決策樹上進(jìn)行分類，并將所有樹的分類結(jié)果通過投票選舉的方式，輸出對(duì)應(yīng)的二值運(yùn)動(dòng)邊界圖MSi；

步驟5根據(jù)式（14）對(duì)視覺顯著圖SSi 和運(yùn)動(dòng)邊界圖MSi進(jìn)行動(dòng)態(tài)融合，獲得并標(biāo)記出運(yùn)動(dòng)目標(biāo)。

4實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，實(shí)驗(yàn)采用changedetection.net視頻庫(kù)中的標(biāo)準(zhǔn)數(shù)據(jù)集pedestrians和highway兩組圖像序列進(jìn)行測(cè)試：視頻pedestrains是一組室外均勻光照下背景單一的行人圖像序列；視頻highway是一組室外含有快速運(yùn)動(dòng)車輛的高速公路交通視頻，其背景較為復(fù)雜。實(shí)驗(yàn)采用的計(jì)算機(jī)配置為Intel Xeon E5-1607 V3 3.1GHz CPU，8GB內(nèi)存，采用Matlab 2015a編程實(shí)現(xiàn)相關(guān)算法。

實(shí)驗(yàn)1

從測(cè)試視頻中選取第318幀、第328幀，第360幀和第392幀圖像進(jìn)行測(cè)試。從圖3中可以明顯看出，背景差分法和三幀差分法檢測(cè)到的前景目標(biāo)破碎較為嚴(yán)重，目標(biāo)完整性較差，無(wú)法準(zhǔn)確地表征運(yùn)動(dòng)目標(biāo)的幾何外形，且三幀差分法的檢測(cè)前景中含有較多的非目標(biāo)噪聲。文獻(xiàn)[14] 方法和本文方法均充分利用了圖像的顯著性信息和運(yùn)動(dòng)信息，且進(jìn)行了有效的融合，使得其檢測(cè)效果要明顯優(yōu)于以上兩種方法。由于本文方法在計(jì)算顯著性時(shí)綜合考慮了每個(gè)像素的局部顯著度和全局顯著度，且運(yùn)動(dòng)邊界能準(zhǔn)確定位運(yùn)動(dòng)目標(biāo)區(qū)域，使得其檢測(cè)結(jié)果在精確性方面要優(yōu)于文獻(xiàn)[14]的方法。

實(shí)驗(yàn)2

從測(cè)試視頻中提取第66幀、第111幀，第126幀和第156幀圖像進(jìn)行測(cè)試。由圖4可以看出，背景差分法和三幀差分法對(duì)于環(huán)境適應(yīng)性較差，由于視頻中有樹枝及其陰影的干擾，導(dǎo)致近景的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果中含有較多的非目標(biāo)噪聲，目標(biāo)缺失嚴(yán)重；遠(yuǎn)景中的運(yùn)動(dòng)目標(biāo)基本檢測(cè)不出，說明這兩類方法對(duì)于復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)檢測(cè)效果較差。文獻(xiàn)[14]方法雖然對(duì)于近景目標(biāo)檢測(cè)效果較好，但由于該方法是利用三幀差分法獲取運(yùn)動(dòng)區(qū)域，抗干擾能力差，加上遠(yuǎn)景中有部分目標(biāo)被遮擋，導(dǎo)致遠(yuǎn)景中的運(yùn)動(dòng)目標(biāo)漏檢嚴(yán)重。雖然本文方法提取的運(yùn)動(dòng)邊界圖中能檢測(cè)出遠(yuǎn)景中的運(yùn)動(dòng)目標(biāo)，但其輪廓并不清晰，而對(duì)顯著性圖和運(yùn)動(dòng)邊界圖按不同的權(quán)值進(jìn)行動(dòng)態(tài)融合使得本文算法最終能準(zhǔn)確完整地檢測(cè)出所有的運(yùn)動(dòng)目標(biāo)，其檢測(cè)效果要明顯優(yōu)于文獻(xiàn)[14]的方法。

實(shí)驗(yàn)從數(shù)據(jù)庫(kù)中隨機(jī)抽取60幀圖像進(jìn)行計(jì)算，求其平均值，結(jié)果如表1所示。從表1中可以看出，背景差分法和三幀差分法的平均檢出率在70%左右；文獻(xiàn)[14]的方法平均檢出率在90%左右，明顯要高于前兩種方法，但其誤檢率也要高出前兩種方法；本文方法在保證低誤檢率的同時(shí)，提高了檢出率，其平均檢出率約為94%，算法總體性能要優(yōu)于其他三種方法。

5結(jié)語(yǔ)

本文提出一種融合視覺顯著性圖和運(yùn)動(dòng)邊界圖的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。該方法在提取顯著性特征時(shí)利用圖像的點(diǎn)特征和局部結(jié)構(gòu)特征構(gòu)成低維多尺度融合特征，并通過貝葉斯準(zhǔn)則對(duì)每個(gè)像素的局部顯著性和全局顯著性進(jìn)行有效結(jié)合；在提取運(yùn)動(dòng)邊界圖時(shí)，充分利用結(jié)構(gòu)隨機(jī)森林快速、準(zhǔn)確分析數(shù)據(jù)的能力實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的準(zhǔn)確定位，減少圖像中的冗余信息；最后通過動(dòng)態(tài)融合策略將顯著性圖和運(yùn)動(dòng)邊界圖按動(dòng)態(tài)權(quán)值進(jìn)行融合，從而檢測(cè)出運(yùn)動(dòng)目標(biāo)。在公開測(cè)試集上的多次實(shí)驗(yàn)結(jié)果表明，本文方法在檢測(cè)的準(zhǔn)確性和完整性方面具有較好的效果，能夠?qū)崿F(xiàn)較復(fù)雜場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)。但是，本文方法對(duì)于一些遮擋很嚴(yán)重、動(dòng)態(tài)背景變化劇烈的運(yùn)動(dòng)目標(biāo)檢測(cè)仍存在著一定程度的漏檢現(xiàn)象。未來的工作中將繼續(xù)研究如何從特征選擇上進(jìn)行改進(jìn)，尋找更加有效的運(yùn)動(dòng)特征，提高算法的有效性。

參考文獻(xiàn)：

[1]李偉生，汪釗.基于時(shí)空背景模型的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2014，34（12）：3515-3520. （LI W S， WANG Z. Adaptive moving object detection method based on spatial-temporal background model [J]. Journal of Computer Applications， 2014， 34（12）： 3515-3520.）

[2]HAN H， ZHU J， LIAO S， et al. Moving object detection revisited： speed and robustness [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2015， 25（6）： 910-921.

[3]YUAN G-W， GONG J， DENG M-N， et al. A moving objects detection algorithm based on three-frame difference and sparse optical flow [J]. Information Technology Journal， 2014， 13（11）： 1863-1867.

[4]LEE G， MALLIPEDDI R， JANG G-J， et al. A genetic algorithm-based moving object detection for real-time traffic surveillance [J]. IEEE Signal Processing Letters， 2015， 22（10）： 1619-1622.

[5]LIU W， YU H， YUAN H，et al. Effective background modelling and subtraction approach for moving object detection [J]. IET Computer Vision， 2015， 9（1）： 13-24.

[6]WANG Z H， LIAO K， XIONG J L， et al. Moving object detection based on temporal information [J]. IEEE Signal Processing Letters， 2014， 21（11）： 1403-1407.

[7]LIANG C-W， JUANG C-F. Moving object classification using a combination of static appearance features and spatial and temporal entropy values of optical flows [J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（6）： 3453-3464.

[8]WANG Q， YUAN Y， YAN P. Visual saliency by selective contrast [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2013， 23（7）： 1150-1155.

[9]GU K， ZHAI G， LIN W， et al. Visual saliency detection with free energy theory [J]. IEEE Signal Processing Letters， 2015， 22（10）： 1552-1555.

[10]SOULY N， SHAH M. Visual saliency detection using group lasso regularization in videos of natural scenes [J]. International Journal of Computer Vision， 2016， 117（1）： 93-110.

[11]GUO C L， ZHANG L M. A novel multiresolution spatio-temporal saliency detection model and its applications in image and video compression [J]. IEEE Transaction on Image Processing， 2010， 19（1）： 185-198.

[12]WANG X， NING C， XU L. Spatiotemporal saliency model for small moving object detection in infrared videos [J]. Infrared Physics & Technology， 2015， 69： 111-117.

[13]WANG Z， LIAO K， XIONG J， et al. Moving object detection based on temporal information [J]. IEEE Signal Processing Letters， 2014， 21（11）： 1403-1407.

[14]LI H， WANG Y， LIU W. Moving Object detection based on HFT and dynamic fusion [C]// ICSP 2014： Proceedings of the 12th International Conference on Signal Processing. Piscataway， NJ： IEEE， 2014： 895-899.

[15]WEINZAEPFEL P， REVAUD J， HARCHAOUI Z， et al. Learning to detection motion boundaries [C]// CVPR 2015： Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 2578-2586.

[16]景慧昀.視覺顯著性檢測(cè)關(guān)鍵技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2014：33-37. （JING H Y. Research on key techniques of visual saliency detection [D]. Harbin： Harbin Institute of Technology， 2014： 33-37.）

[17]雷琴，施朝健，陳婷婷.可見光海面目標(biāo)檢測(cè)的結(jié)構(gòu)隨機(jī)森林方法[J].光電工程，2015，42（7）：31-35. （LEI Q， SHI C J， CHEN T T. Structured random forests for target detection in sea images [J]. Opto-Electronic Engineering， 2015， 42（7）： 31-35.）

[18]ZHAI Y， SHAH M. Visual attention detection in video sequences using spatiotemporal cues [C]// MM 06： Proceedings of the 14th Annual ACM International Conference on Multimedia. New York： ACM， 2006： 815-824.

[19]FAKHARIAN A， HOSSEINI S， GUSTAFSSON T. Hybrid object detection using improved Gaussian mixture model [C]// ICCAS 2011： Proceedings of the 11th International Conference on Control， Automation and Systems. Piscataway， NJ： IEEE， 2011： 1475-1479.