基于互信息和自適應(yīng)模板更新的目標(biāo)跟蹤算法

李 瓊 ，王軍寧

(西安電子科技大學(xué)通信工程學(xué)院，陜西西安 710071)

當(dāng)前對(duì)圖像序列進(jìn)行目標(biāo)跟蹤的方法主要分為以下3種:基于運(yùn)動(dòng)分析的方法，基于狀態(tài)濾波的方法和基于圖像匹配的方法。其中，基于圖像匹配的方法具有較強(qiáng)的抗遮擋、抗畸變能力，算法本身具有很強(qiáng)的魯棒性。因此，被廣泛應(yīng)用于目標(biāo)跟蹤系統(tǒng)中。

灰度匹配是圖像匹配中一類(lèi)經(jīng)典算法。在灰度匹配中，多采用模板圖像與目標(biāo)圖像對(duì)應(yīng)像素灰度差的累積和或者兩幅圖像的歸一化度量來(lái)衡量?jī)煞鶊D像之間的相似性?；叶绕ヅ渌惴ǔＳ玫南嗨菩远攘坑?互相關(guān)度量，如歸一化互相關(guān)算法(NCC);距離度量，如差方和算法(SSD)、絕對(duì)差和算法(SAD、MAD)、最多近鄰點(diǎn)距離算法(MCD)以及臨近差方和算法(SSCD)。

基于歸一化互信息的目標(biāo)跟蹤算法是一種基于對(duì)灰度統(tǒng)計(jì)值的圖像匹配算法，它可以持續(xù)穩(wěn)定地跟蹤目標(biāo)，并在目標(biāo)發(fā)生剛體旋轉(zhuǎn)和光照條件發(fā)生變化時(shí)仍然能夠有效地跟蹤目標(biāo)[1]。但是，當(dāng)目標(biāo)發(fā)生較大的尺度變化時(shí)，該算法表現(xiàn)得不是很適應(yīng)。結(jié)合這一問(wèn)題，引入基于多尺度圖像信息量的自適應(yīng)模板尺寸更新策略，使算法在目標(biāo)大小發(fā)生變化時(shí)能夠?qū)崟r(shí)并且合理地對(duì)模板尺寸進(jìn)行更新。

1 基于歸一化互信息的目標(biāo)跟蹤

1.1 互信息理論

熵是隨機(jī)變量不確定度的度量，表達(dá)的是一個(gè)系統(tǒng)的復(fù)雜性或不確定性。系統(tǒng)A的熵定義為

兩個(gè)系統(tǒng)的聯(lián)合熵定義為

其中，a∈A，b∈B。這里，pA(a)為邊緣概率密度函數(shù)，簡(jiǎn)記為p(a);pA，B(a，b)為聯(lián)合概率密度函數(shù)，簡(jiǎn)記為p(a，b)，可用兩圖重疊部分的邊緣灰度直方圖和聯(lián)合概率直方圖來(lái)估計(jì)。

采用直方圖的方法對(duì)聯(lián)合概率密度進(jìn)行估計(jì)，設(shè)h(a，b)表示隨機(jī)變量A和B的二維聯(lián)合直方圖，則其聯(lián)合概率密度p(a，b)的估計(jì)為

互信息 ( Mutual Information，MI)是信息理論中的一個(gè)基本概念，它是一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量信息量的度量。常用于描述兩個(gè)系統(tǒng)間的統(tǒng)計(jì)相關(guān)性，可用熵來(lái)描述。

將兩幅圖像的灰度值看作兩個(gè)隨機(jī)變量A和B，其灰度值均為0～255，概率密度函數(shù)分別為p(a)和p(b)，則隨機(jī)變量A和B的互信息可以表示為

式中，H(A)、H(B)和H(A，B)為隨機(jī)變量A與B的個(gè)體熵和聯(lián)合熵。

根據(jù)式(1)～式(3)和式(4)，可推出互信息的計(jì)算式(5)，即為聯(lián)合分布和乘積分布之間的相對(duì)熵

互信息量度量了兩幅圖像的統(tǒng)計(jì)獨(dú)立程度。對(duì)于兩幅圖像而言，它是這兩個(gè)隨機(jī)變量統(tǒng)計(jì)相關(guān)性的測(cè)度，當(dāng)兩幅圖像達(dá)到最佳匹配時(shí)，它們對(duì)應(yīng)像素的灰度互信息達(dá)到最大值，由此可以確定圖像的最佳匹配點(diǎn)。

1.2 歸一化互信息

Studholme等人認(rèn)為，互信息對(duì)重疊區(qū)域的變化非常敏感，在匹配過(guò)程中容易導(dǎo)致錯(cuò)誤的結(jié)果，并給出了以下歸一化的互信息(Normalized Mutual Information，NMI)

與之等價(jià)的一種方法是Maes等提出的熵相關(guān)系數(shù)(ECC)

由式(6)可知，歸一化互信息是邊緣熵和聯(lián)合熵的比值，邊緣熵的增加受聯(lián)合熵增加的約束。當(dāng)兩幅圖像匹配不準(zhǔn)時(shí)，邊緣熵增大，聯(lián)合熵也會(huì)增大，歸一化互信息量就不是最大;隨著匹配準(zhǔn)確度的提高，圖像的聯(lián)合熵取值逐漸減小，歸一化互信息量隨之增大。歸一化互信息的最大化就是使邊緣熵相對(duì)于聯(lián)合熵最大。歸一化互信息，一方面考慮了匹配時(shí)聯(lián)合熵較小，另一方面考慮了重疊區(qū)域內(nèi)圖像的信息，同時(shí)又較好地平衡了兩者之間的關(guān)系。實(shí)踐證明，該方法比最大互信息法的匹配精度更高、穩(wěn)定性更好。采用式(7)的互信息歸一化模型，當(dāng)兩幅圖像完全匹配時(shí)，互信息取最大值1。

1.3 基于歸一化互信息的圖像匹配

基于互信息的圖像匹配算法具有匹配精度高、抗遮擋和抗光照變化等優(yōu)點(diǎn)。其實(shí)現(xiàn)的具體步驟是:在目標(biāo)圖像中為每個(gè)搜索點(diǎn)分割一個(gè)與模板同樣大小的圖像，計(jì)算它們的互信息值;得到一個(gè)互信息的曲面，曲面中最大值對(duì)應(yīng)的點(diǎn)即為模板圖像在目標(biāo)圖像中的最佳匹配位置。

為驗(yàn)證基于歸一化互信息的圖像匹配算法，這里以82×97像素的模板在512×384像素的目標(biāo)圖像中進(jìn)行匹配，如圖1所示，圖1(a)為模板圖像，圖1(b)為待匹配圖像，圖1(c)為匹配結(jié)果，圖1(d)為歸一化互信息匹配的相似度曲面，曲面的最大值即為最佳匹配點(diǎn)，歸一化互信息值為1。

圖1 互信息匹配結(jié)果及其模板

1.4 基于歸一化互信息的目標(biāo)跟蹤

為驗(yàn)證基于歸一化互信息(NMI)的目標(biāo)跟蹤算法的適應(yīng)性，通過(guò)幾組實(shí)驗(yàn)，證實(shí)該算法具有以下幾個(gè)優(yōu)點(diǎn):

(1)在目標(biāo)旋轉(zhuǎn)和光照條件發(fā)生變化時(shí)仍然能夠有效跟蹤目標(biāo)[1]。

歸一化互相關(guān)算法(NCC)本身對(duì)圖像的亮度變化和對(duì)比度變化不敏感，當(dāng)被跟蹤目標(biāo)圖像的光照條件發(fā)生變化時(shí)，其具有一定的魯棒性;但當(dāng)光照條件發(fā)生劇烈變化時(shí)，它便因難以適應(yīng)而可能導(dǎo)致匹配失效?；跉w一化互信息方法，能夠保證在光照條件發(fā)生劇烈變化或者圖像對(duì)比度發(fā)生明顯變化時(shí)，仍然匹配正確，從而提高了跟蹤的可靠性。

圖2中，分別用同一個(gè)模板去匹配光照發(fā)生劇烈變化，目標(biāo)與背景灰度非常接近的原圖。圓點(diǎn)為匹配中心，矩形框?yàn)槟０暹吘墶Ｓ蓤D可知，圖2(a)匹配效果很好，圖2(b)匹配失效?？梢?jiàn)，歸一化互信息算法在抗光照方面，較歸一化互相關(guān)算法具有更強(qiáng)的魯棒性。

圖2 光照變化情況下的匹配結(jié)果對(duì)比圖

(2)在目標(biāo)變形或者被遮擋時(shí)具有一定的抵抗能力。

圖3中，利用歸一化互信息跟蹤算法跟蹤飛機(jī)起飛、前進(jìn)和下降的整個(gè)過(guò)程。在這個(gè)過(guò)程中，飛機(jī)從背景簡(jiǎn)單區(qū)域開(kāi)始，中途經(jīng)歷了被背景半遮擋和完全遮擋，最后又飛回到背景簡(jiǎn)單區(qū)域。第260幀中，飛機(jī)與樹(shù)木的灰度很相近，目標(biāo)被準(zhǔn)確跟蹤;第285幀、287幀中目標(biāo)被部分遮擋，第286幀中目標(biāo)被完全遮擋，但到第288幀目標(biāo)仍然被準(zhǔn)確跟蹤。由此可見(jiàn)該算法具有一定的抗遮擋性。

圖3 目標(biāo)遮擋情況下的跟蹤結(jié)果圖

去均值歸一化相關(guān)算法是對(duì)NCC的一種改進(jìn)形式，它利用去均值的結(jié)果來(lái)衡量相似度，實(shí)現(xiàn)方便且精度較準(zhǔn)，一定程度上克服了NCC在某些情形下檢測(cè)不到準(zhǔn)確尖峰位置的缺點(diǎn)。因此在抗光照方面，與文中提出的NMI算法具有同等的魯棒性，但在抗遮擋方面就不及NMI了。

(3)在目標(biāo)輪廓模糊和低對(duì)比度時(shí)能保證較好的匹配精度和較高的穩(wěn)定度。

圖4中，利用歸一化互信息跟蹤算法跟蹤對(duì)比度很低，輪廓非常模糊的卡車(chē)行駛序列圖。在行駛過(guò)程中，卡車(chē)伴隨有轉(zhuǎn)彎等運(yùn)動(dòng)，且目標(biāo)漸漸變小。為更好地表征結(jié)果，在該實(shí)驗(yàn)中，每隔24幀對(duì)模板進(jìn)行固定比例的縮小。從圖3可以看出，歸一化互信息跟蹤算法在輪廓非常模糊，對(duì)比度很低的情況下也能保證跟蹤的有效性。

圖4 低對(duì)比度情況下跟蹤結(jié)果圖

(4)互信息度量中包含了圖像的邊緣和紋理等信息，因此無(wú)需提取圖像邊緣和紋理等特征，可以直接對(duì)實(shí)時(shí)圖像進(jìn)行匹配跟蹤，從而節(jié)省了算法的執(zhí)行時(shí)間。

2 基于多尺度圖像信息量的模板尺寸更新

2.1 自適應(yīng)模板更新算法

運(yùn)動(dòng)目標(biāo)的外觀在跟蹤過(guò)程中是不斷變化的。尺寸固定不變的模板圖像，很難有效跟蹤尺寸實(shí)時(shí)變化的目標(biāo)圖像。針對(duì)這一問(wèn)題，在歸一化互信息匹配的基礎(chǔ)上，將多尺度圖像的信息量度量方法引入目標(biāo)跟蹤中，根據(jù)信息量的變化自適應(yīng)更新模板尺寸的大小。

尺度空間中圖像的信息量由圖像中兩類(lèi)特征點(diǎn)的數(shù)量來(lái)度量。從微分算子的局部極值角度統(tǒng)一這兩類(lèi)特征點(diǎn)。假設(shè)在2維圖像平面內(nèi)，點(diǎn)P為圖像f(x，y)內(nèi)某像素點(diǎn)，1～8為點(diǎn)P的8鄰接像素點(diǎn)N8(P)。現(xiàn)以P為極點(diǎn)，建立極坐標(biāo)系，設(shè)極角為l，l∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，則對(duì)P的8鄰接像素點(diǎn)進(jìn)行如下的數(shù)學(xué)描述[6]

在極角l方向上，取步長(zhǎng)Δh=1，定義f(x，y)的方向微分算子

文獻(xiàn)[5]中兩類(lèi)特征點(diǎn)的定義如下:

定義1設(shè)2維離散平面上點(diǎn)P(x，y)，若?l1，l2∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，當(dāng)l1-l2=mπ，m=±1時(shí)，Δl1f(x，y)·Δl2f(x，y)＞0，則點(diǎn)P稱為第1類(lèi)特征點(diǎn)。

定義2設(shè)2維離散平面上點(diǎn)P(x，y)，若?l1，l2∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，當(dāng)l1-l2=mπ，m=±1時(shí)，Δl1(fl1(x，y)-fl2(x，y))·Δl2(fl1(x，y)-fl2(x，y))＞0，則點(diǎn)P稱為第2類(lèi)特征點(diǎn)。

圖像信息量定義為兩類(lèi)特征點(diǎn)的和。當(dāng)物體尺寸由小變大時(shí)，其圖像信息量的值也由小變大[6]。根據(jù)文獻(xiàn)[6]給出的圖像信息量的比值和物體尺寸之間的關(guān)系，文中關(guān)于模板尺寸更新算法的主要思想是:給定一個(gè)閾值Th≤1，如果用歸一化互信息算法跟蹤目標(biāo)，當(dāng)歸一化互信息值ECC＜Th時(shí)，則說(shuō)明目標(biāo)跟蹤精度不在可接受的范圍內(nèi)，此時(shí)就需要根據(jù)信息量的變化對(duì)模板尺寸進(jìn)行更新。

計(jì)算第1幀圖像中模板的初始化圖像信息量E1和第1幀圖像中對(duì)模板尺寸乘以1±α(0≤α≤0.5)后的區(qū)域信息量E2，E3，類(lèi)似地，在需要更新模板尺寸的當(dāng)前幀，計(jì)算的信息量分別為E4，E5，E6;為后續(xù)幀的模板更新做準(zhǔn)備，根據(jù)新模板尺寸計(jì)算當(dāng)前幀中模板圖像信息量E1，E2，E3，由以上步驟類(lèi)推后續(xù)幀中模板尺寸更新過(guò)程;并設(shè)尺寸變化比例為Zoom。

假如滿足E5＞E2，判斷目標(biāo)尺度可能增加，按公式(10)計(jì)算尺寸變化比例Zoom;否則，目標(biāo)尺寸可能減小，按照式(11)計(jì)算Zoom。

式中，參數(shù)β用來(lái)消除背景對(duì)目標(biāo)信息量的影響，其值接近1;當(dāng)背景越復(fù)雜時(shí)，β值與1的差值越大;當(dāng)目標(biāo)尺寸增大時(shí)，β≥1;反之，β≤1。由計(jì)算得到當(dāng)前幀的尺寸變化比例Zoom后，即可得到模板的高度和寬度需更新的比例(1+Zoom)。最后按照計(jì)算得出的比例對(duì)模板圖像進(jìn)行放大或縮小。在模板放大或縮小過(guò)程中，采用3次卷積插值法處理變化后的圖像。這樣得到的更新后的模板圖像，輪廓清晰，質(zhì)量較高。

圖5是模板更新前后的對(duì)比圖，更新前像素為82×97，更新后像素為77×91。從圖5可以看出，更新后的模板圖像并未出現(xiàn)模糊和細(xì)節(jié)不清楚的現(xiàn)象，可見(jiàn)，3次卷積插值法能夠較好地保持圖像的邊緣細(xì)節(jié)。圖6是基于圖像信息量的自適應(yīng)更新模板尺寸的跟蹤算法流程圖。

2.2 實(shí)驗(yàn)結(jié)果與討論

結(jié)合提出的模板尺寸自適應(yīng)更新策略，采用基于歸一化互信息的目標(biāo)跟蹤算法，在Matlab環(huán)境下對(duì)幾組圖像序列進(jìn)行實(shí)時(shí)跟蹤。

實(shí)驗(yàn)一跟蹤目標(biāo)逐漸變小的卡車(chē)行駛序列圖。其中，圖像尺寸為384×512，搜索區(qū)域尺寸為20×20。圖7是跟蹤結(jié)果，圖中矩形框表示模板邊界;圓點(diǎn)表示模板中心，即跟蹤的最佳位置。模板尺寸隨著目標(biāo)的變化而變化，而且尺寸更新效果很好。

圖7 目標(biāo)漸下的跟蹤結(jié)果

實(shí)驗(yàn)二跟蹤迎面駛來(lái)的小汽車(chē)序列圖。在這個(gè)序列圖中，目標(biāo)逐漸變大，且每幀之間尺寸變化很明顯。圖像尺寸為385×289，搜索區(qū)域尺寸為15×15。圖8是跟蹤結(jié)果。跟蹤過(guò)程中模板尺寸隨著目標(biāo)的變大而變大，在第111幀，目標(biāo)幾乎充斥了整個(gè)畫(huà)面，效果依然很好。

圖8 目標(biāo)漸大的跟蹤結(jié)果

實(shí)驗(yàn)表明，基于多尺度圖像信息量的模板尺寸更新算法可以適時(shí)準(zhǔn)確地更新模板。

3 結(jié)束語(yǔ)

介紹了一種基于歸一化互信息的跟蹤算法，該算法與其他相關(guān)匹配算法相比，具有較強(qiáng)的魯棒性，如在光照變化的情況下，仍能實(shí)現(xiàn)正確的圖像匹配;在目標(biāo)遮擋和低對(duì)比度情況下，能夠?qū)崿F(xiàn)精確的目標(biāo)跟蹤，對(duì)環(huán)境變化具有較強(qiáng)的適應(yīng)性。在此基礎(chǔ)上，又引入了基于多尺度圖像信息量的自適應(yīng)模板尺寸更新算法。該算法利用圖像匹配得到的互信息值作為閾值，計(jì)算尺度空間中圖像的信息量，模板尺寸根據(jù)計(jì)算的信息量大小進(jìn)行自適應(yīng)調(diào)整，從而較好地適應(yīng)了跟蹤目標(biāo)大小的變化。實(shí)驗(yàn)表明，加入模板尺寸自適應(yīng)更新算法后，跟蹤性能進(jìn)一步增強(qiáng)，跟蹤效果進(jìn)一步改善。進(jìn)一步的研究方向是模板尺寸更新算法中更新閾值Th的自適應(yīng)性。

[1]惠斌，陳法領(lǐng)，羅海波.基于互信息的目標(biāo)跟蹤方法[J].紅外與激光工程，2007，36(7):209-212.

[2]周友兵.基于歸一化互信息的CT-MRI腦圖像配準(zhǔn)[J].現(xiàn)代電子技術(shù)，2007(8):101-102.

[3]付夢(mèng)印，劉羿彤.基于互信息測(cè)度紅外目標(biāo)圖像相關(guān)匹配跟蹤算法[J].兵工學(xué)報(bào)，2009，30(3):371-374.

[4]THOMAS M COVER，JOY A THOMAS.Elements of Information Theory[M].北京:清華大學(xué)出版社，2002.

[5]王鄭耀，程正興，湯少杰，等.基于視覺(jué)特征的尺度空間信息量度量[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10(7):922-928.

[6]錢(qián)惠敏，茅耀斌，王執(zhí)銓?zhuān)?自動(dòng)選擇跟蹤窗尺度的Mean-Shift算法[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12(2):245-249.

[7]賈桂敏，王向軍，張世海.復(fù)雜背景下基于自適應(yīng)模板更新的目標(biāo)跟蹤算法[J].光學(xué)學(xué)報(bào)，2009(3):659-663.