MFR-MAP相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法研究

趙彤洲王海暉

（1.武漢工程大學(xué)智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北武漢430073；2.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北武漢430073）

1.引言

運(yùn)動(dòng)目標(biāo)檢測(cè)就是在視頻序列中檢測(cè)出圖像變化的區(qū)域，并將運(yùn)動(dòng)目標(biāo)從背景中提取出來，以獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，從而為運(yùn)動(dòng)目標(biāo)的行為理解等更高一級(jí)的任務(wù)提供分析依據(jù)[1]。在目標(biāo)檢測(cè)過程中，如何保證提取到的目標(biāo)邊界盡量準(zhǔn)確的同時(shí)，還要使目標(biāo)盡量完整，符合人類的視覺感受。一直是我們研究的方向。運(yùn)動(dòng)目標(biāo)檢測(cè)方法的研究往往與靜態(tài)圖像分割算法密切相關(guān)。靜態(tài)圖像由于不含有時(shí)間信息，因此這類圖像的分割算法是在空域進(jìn)行的；而視頻序列不僅含有空間信息，還與時(shí)間有密切相關(guān)性，因而這類算法往往在時(shí)域內(nèi)進(jìn)行。本算法采用基于Markov Random Field-Maximum Posterior Probability（MRF-MAP）框架的時(shí)-空聯(lián)合的目標(biāo)檢測(cè)手段。首先，進(jìn)行空域檢測(cè)。利用Mean-Shift算法在圖像域和特征域?qū)ふ腋怕拭芏容^大的區(qū)域，并進(jìn)行標(biāo)注；其次，進(jìn)行圖像分割。對(duì)標(biāo)注過的圖像用優(yōu)化的分水嶺算法進(jìn)行圖像分割；第三，進(jìn)行時(shí)域檢測(cè)。利用幀間差分法對(duì)圖像進(jìn)行運(yùn)動(dòng)檢測(cè)，以獲得運(yùn)動(dòng)目標(biāo)的估計(jì)；最后，進(jìn)行時(shí)-空聯(lián)合檢測(cè)。在MRF-MAP框架下，將序列圖像包含的時(shí)域信息和單幀圖像內(nèi)部的空域信息相結(jié)合，以達(dá)到更為精準(zhǔn)的檢測(cè)結(jié)果。

2.MRF-MAP框架

MRF-MAP框架是基于MRF模型和Bayesian判據(jù)理論的時(shí)-空聯(lián)合檢測(cè)方法。MRF模型能在連續(xù)的兩個(gè)運(yùn)動(dòng)分割之間建立某種時(shí)間鏈接，并且可以按照目標(biāo)要求構(gòu)造能量函數(shù)，現(xiàn)已成為研究運(yùn)動(dòng)目標(biāo)檢測(cè)方法的主要手段。MAP是MRF建模中最常用的最優(yōu)化準(zhǔn)則，在給定數(shù)據(jù)觀測(cè)場(chǎng)的條件下，使數(shù)據(jù)標(biāo)記場(chǎng)基元的全局后驗(yàn)概率分布達(dá)到最大[2]。

由相關(guān)數(shù)學(xué)知識(shí)已知，Gibbs隨機(jī)場(chǎng)模型能夠有效地描述一個(gè)質(zhì)點(diǎn)的局部統(tǒng)計(jì)特征和隨機(jī)場(chǎng)的聯(lián)合統(tǒng)計(jì)特性，MRF以局部性為特征，而Gibbs隨機(jī)場(chǎng)以全局性質(zhì)為特征，Hammersley-Clifford定理描述了這兩個(gè)模型的等效性[2，3]。因此，MRF的局部特性可以從Gibbs組合分布中獲得，如果定義了Gibbs隨機(jī)場(chǎng)的能量函數(shù)，就可以確定MRF。

2.1 MRF-MAP框架下的目標(biāo)檢測(cè)問題描述

為了在MRF-MAP框架下對(duì)目標(biāo)檢測(cè)問題進(jìn)行描述，有如下假設(shè)：

設(shè)觀測(cè)到的圖像為（觀測(cè)場(chǎng)）：g=(g1，g2，……gk)，其中g(shù)k是像素為k的灰度值；

人工標(biāo)記的圖像為（標(biāo)記場(chǎng)）：f=(f1，f2，……fk)，其中fk是標(biāo)記類別；

根據(jù)Bayesian定理，在給定觀測(cè)場(chǎng)g的條件下，標(biāo)記場(chǎng)f的概率為[4]：

對(duì)一幀圖像而言，（1）式中的P(f)是標(biāo)記場(chǎng)的先驗(yàn)概率，該值可由Gibbs分布得到，P(g)是常數(shù)，P(g|f)是給定標(biāo)記場(chǎng)f時(shí)的觀測(cè)圖像g的條件概率。目標(biāo)檢測(cè)就是在上述觀測(cè)數(shù)據(jù)的基礎(chǔ)上，求P(f|g)的最大分割，即：

2.2 利用優(yōu)化能量函數(shù)求解目標(biāo)檢測(cè)問題

由MRF與Gibbs分布之間的等價(jià)性關(guān)系，可以通過優(yōu)化能量函數(shù)的方法來求解P(f|g)的最大分割。

在Gibbs隨機(jī)場(chǎng)中，標(biāo)記場(chǎng)f的概率表示為[4]：

其中，U(f)是先驗(yàn)?zāi)芰亢瘮?shù)，Z是概率分布?xì)w一化因子。同理，后驗(yàn)概率為：

其中U(f|g)=U(g|f)+U(f)。因?yàn)閆為常數(shù)，所以最大化后驗(yàn)概率P(f|g)等價(jià)于最小化后驗(yàn)?zāi)芰亢瘮?shù)U(f|g)，因此幀內(nèi)像素類別劃分的問題也就轉(zhuǎn)化為最小化后驗(yàn)?zāi)芰亢瘮?shù)的問題，即MAP估計(jì)。將(4)式代入(2)式有：

因此，如果在目標(biāo)檢測(cè)過程中，將待求的標(biāo)記場(chǎng)作為一個(gè)隨機(jī)場(chǎng)，將觀測(cè)值作為滿足該隨機(jī)場(chǎng)條件的一個(gè)先驗(yàn)分布P(g|f)，目標(biāo)檢測(cè)問題將轉(zhuǎn)化為公式（5）。

3.時(shí)空聯(lián)合的檢測(cè)方法實(shí)現(xiàn)

3.1 利用Mean-Shift算法進(jìn)行空域檢測(cè)

Mean-Shift算法是一種非參數(shù)的密度梯度估計(jì)方法[5]。它在估計(jì)概率密度的峰值時(shí)，無需搜索整個(gè)特征空間，且算法復(fù)雜度小，是無參數(shù)算法，易于與其它算法集成，采用加權(quán)直方圖建模，對(duì)目標(biāo)旋轉(zhuǎn)、輕微變形和部分遮擋不敏感，近年來已廣泛應(yīng)用在實(shí)時(shí)目標(biāo)跟蹤領(lǐng)域中。利用Mean-Shift算法進(jìn)行空域檢測(cè)過程如下：

(1)圖像預(yù)處理。進(jìn)行空域檢測(cè)的目的是為獲得較為清晰的目標(biāo)輪廓和形狀。通常，利用邊緣檢測(cè)可以獲得目標(biāo)邊界，但是，如果單純對(duì)圖像進(jìn)行邊緣檢測(cè)，往往受目標(biāo)背景和物體內(nèi)部細(xì)小紋理的影響較大，會(huì)產(chǎn)生不連續(xù)的、零散的邊緣線段，不能形成較為連續(xù)的輪廓。同時(shí)考慮到圖像的噪聲，因此，本算法對(duì)圖像進(jìn)行了一些預(yù)處理，首先進(jìn)行圖像平滑處理，再進(jìn)行Sobel邊緣檢測(cè)。

(2)顏色空間轉(zhuǎn)換。我們常用的RGB色彩空間是一種非均勻的顏色空間，在分割前，要將圖像從RGB色彩空間轉(zhuǎn)換至LUV空間。

(3)圖像聚類。用Mean-Shift算法在圖像的特征空間先進(jìn)行聚類預(yù)處理，使用顏色直方圖分布作為特征對(duì)跟蹤的目標(biāo)區(qū)域進(jìn)行描述，使具有足夠視覺分辨能力的、相似度性較高的色彩能夠被分割在相同區(qū)域內(nèi)。同時(shí)，對(duì)這些區(qū)域進(jìn)行標(biāo)注。標(biāo)注的目的是為了防止過分分割，為下一步圖像分割做準(zhǔn)備。顏色建模中使用核密度估計(jì)技術(shù)，避免了必須保存完整數(shù)據(jù)的麻煩。

在特征空間的一次搜尋過程可歸結(jié)如下：

①設(shè)定搜索窗球半徑hLuv，并在特征空間中選擇一個(gè)初始位置xi；

②計(jì)算搜索窗內(nèi)像素的Mean-Shift向量；

③根據(jù)Mean-Shift向量移動(dòng)搜索窗；

④goto step②，直到收斂到相應(yīng)的局部密度極大值處；

⑤先在該局部極大值處做標(biāo)記，假設(shè)其為本章需要的視覺關(guān)注區(qū)，后面將映射回圖像空間做進(jìn)一步確認(rèn)。

(4)圖像分割。本算法將對(duì)經(jīng)過Mean-Shift算法進(jìn)行聚類標(biāo)注過的區(qū)域采用分水嶺算法進(jìn)行分割。分水嶺算法的基本思想是把圖像看作是測(cè)地學(xué)上的拓?fù)涞孛玻瑘D像中每一點(diǎn)像素的灰度值表示該點(diǎn)的海拔高度，每一個(gè)局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺[6]。該算法包括排序和浸水兩個(gè)部分。首先對(duì)每個(gè)像素的灰度級(jí)進(jìn)行從低到高排序，然后在從低到高實(shí)現(xiàn)淹沒過程中，對(duì)每一個(gè)局部極小值在h階高度的影響域采用先進(jìn)先出(FIFO)結(jié)構(gòu)進(jìn)行判斷及標(biāo)注。由于傳統(tǒng)分水嶺算法容易產(chǎn)生過分分割問題，破壞目標(biāo)的整體性，因此，采用改進(jìn)的Vincent-Soille算法，即將各個(gè)已標(biāo)注區(qū)域的特征值置為其特征空間收斂點(diǎn)的值，并依次編號(hào)，然后再使用分水嶺算法。

3.2 利用在顯著性水平約束下的幀間差分法進(jìn)行時(shí)域檢測(cè)。

幀間差分法由于運(yùn)算速度快、便于實(shí)現(xiàn)，廣泛應(yīng)用于時(shí)域檢測(cè)。但是，這種方法對(duì)于運(yùn)動(dòng)目標(biāo)內(nèi)部的色彩一致性區(qū)域不易檢測(cè)，且對(duì)噪聲敏感，提取結(jié)果往往存在大量不連續(xù)的細(xì)小區(qū)域，因此，對(duì)于判定像素是否為背景還是運(yùn)動(dòng)目標(biāo)，我們采用如下的假設(shè)檢驗(yàn)：

H0：像素屬于背景；H1：像素屬于運(yùn)動(dòng)目標(biāo)；則背景像素的概率為[7]：

在點(diǎn)(x，y)附近取一個(gè)小的鄰域，記為w(x，y)，(x，y)∈w(x，y)。一般情況下，w(x，y)內(nèi)的像素應(yīng)該具有相同的狀態(tài)，即或者都屬于背景，或者都屬于運(yùn)動(dòng)目標(biāo)區(qū)域。在鄰域w(x，y)內(nèi)求累計(jì)能量，記為(x，y)，有：

3.3 基于MFR的時(shí)-空聯(lián)合檢測(cè)

在前述理論基礎(chǔ)之上，設(shè)計(jì)了基于MFR的時(shí)-空聯(lián)合檢測(cè)方法，該方法首先構(gòu)造時(shí)-空聯(lián)合的MFR模型，進(jìn)而構(gòu)造出相應(yīng)的能量函數(shù)。具體如下：

（1）構(gòu)造時(shí)-空聯(lián)合的MFR模型。將空間Markov隨機(jī)場(chǎng)模型在時(shí)間域上擴(kuò)展，將時(shí)域檢測(cè)得到的運(yùn)動(dòng)信息作為標(biāo)記場(chǎng)f，在連續(xù)兩場(chǎng)標(biāo)記場(chǎng)上建立時(shí)-空聯(lián)合MFR模型：即將當(dāng)前時(shí)間的初始標(biāo)記場(chǎng)作為標(biāo)記場(chǎng)的先驗(yàn)條件，并用前序時(shí)間標(biāo)記場(chǎng)和時(shí)、空域的檢測(cè)信息作為約束條件，來優(yōu)化當(dāng)前時(shí)間標(biāo)記場(chǎng)。從而為構(gòu)造時(shí)-空聯(lián)合的MFR能量函數(shù)奠定理論基礎(chǔ)。

（2）構(gòu)造能量函數(shù)。這里能量函數(shù)包含先驗(yàn)?zāi)芰亢瘮?shù)和似然能量函數(shù)。在此將能量函數(shù)表示為U(f，g)=U1(f)+U2(f，g)，其中，U1(f)是先驗(yàn)?zāi)芰亢瘮?shù)，U2(f，g)是似然能量函數(shù)。因此，運(yùn)動(dòng)目標(biāo)檢測(cè)問題轉(zhuǎn)化為求能量函數(shù)的最優(yōu)值問題。

定義2：似然能量函數(shù)：將時(shí)域和空域檢測(cè)得到的信息分別作為約束條件，則定義的似然能量函數(shù)為時(shí)域平滑信息和空域平滑信息之和。即：

其中，第一項(xiàng)是時(shí)域檢測(cè)得到的運(yùn)動(dòng)信息導(dǎo)致的時(shí)域平滑項(xiàng)，描述了像素之間的運(yùn)動(dòng)相關(guān)性；第二項(xiàng)是由空域檢測(cè)得到的區(qū)域信息導(dǎo)致的空間平滑項(xiàng)，描述了像素對(duì)在空間區(qū)域上的相關(guān)性。

（3）優(yōu)化能量函數(shù)。當(dāng)構(gòu)造了能量函數(shù)后，就可以對(duì)上述能量函數(shù)U(f，g)進(jìn)行優(yōu)化，尋找最優(yōu)解。本算法首先計(jì)算圖像中的每個(gè)像素在取不同標(biāo)記狀態(tài)時(shí)的能量函數(shù)，并用迭代法選取使能量函數(shù)U(f，g)最小的狀態(tài)作為該隨機(jī)變量的標(biāo)記，直到達(dá)到收斂條件或迭代次數(shù)，最終得到理想的目標(biāo)檢測(cè)結(jié)果。

4.結(jié)論

采用基于MFR的時(shí)-空聯(lián)合檢測(cè)方法，由于算法綜合利用了序列圖像之間的時(shí)域信息，及單幀圖像內(nèi)部的空域信息，可以在很大程度上保證被提取目標(biāo)邊界準(zhǔn)確的同時(shí)，使目標(biāo)對(duì)象盡量完整，以符合人的視覺感受。該方法在圖像處理和視頻分析領(lǐng)域有廣泛的應(yīng)用，不僅具有理論研究價(jià)值，在實(shí)際工程應(yīng)用中也有很高的應(yīng)用價(jià)值。

[1]盧曉鵬.視頻序列中目標(biāo)跟蹤技術(shù)研究[D].北京：中國科學(xué)院研究生院，2007.

[2]覃劍.視頻序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤研究[D].重慶：重慶大學(xué)，2007.

[3]陳木法.隨機(jī)場(chǎng)概論[J].數(shù)學(xué)進(jìn)展，1989，18(3)：294-322.

[4]Geman S，Geman D.Stochastic relaxation，Gibbs distribution and Bayesian restoration of images[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2008，6：721-741.

[5]Cheng YZ.Mean shift，mode seeking and clustering[J].IEEE Trans.on.Pattern Analysis and Machine Intelligence，2005，17(8)：790-799.

[6]Vincent L.and Soille P.Watersheds in digital spaces：an efficient algorithm based on immersion simulations[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，1991，13(6)：583-598.

[7]Geiger，D.，Yuilli，A.A common framework for image segmentation[J].Int’l.J.Comput.Vis.，2006，6(3)：227-243.