基于相位相關(guān)的快速亞像素全局運(yùn)動(dòng)估計(jì)

李穎娟，紀(jì)　明，賀峻峰，馬愛(ài)秋，楊　萌

（西安應(yīng)用光學(xué)研究所，西安　710065）

基于相位相關(guān)的快速亞像素全局運(yùn)動(dòng)估計(jì)

李穎娟，紀(jì)明，賀峻峰，馬愛(ài)秋，楊萌

（西安應(yīng)用光學(xué)研究所，西安710065）

為了實(shí)現(xiàn)亞像素級(jí)圖像快速全局運(yùn)動(dòng)估計(jì)，提出了一種基于相位相關(guān)的快速亞像素全局運(yùn)動(dòng)估計(jì)方法。首先對(duì)待計(jì)算的兩幅圖像進(jìn)行下采樣并計(jì)算整像素級(jí)的全局運(yùn)動(dòng)矢量，然后選取兩幅圖像重疊的部分進(jìn)行插值，再計(jì)算亞像素級(jí)的全局運(yùn)動(dòng)矢量。最后，將整像素級(jí)和亞像素級(jí)的計(jì)算結(jié)果進(jìn)行加權(quán)計(jì)算，得出亞像素級(jí)的全局運(yùn)動(dòng)位移。實(shí)驗(yàn)結(jié)果表明，文中算法對(duì)噪聲影響、光照變化和局部遮擋具有較好的魯棒性，同時(shí)能夠有效地提高運(yùn)動(dòng)估計(jì)的精確性和計(jì)算效率。

亞像素，全局運(yùn)動(dòng)估計(jì)，下采樣，相位相關(guān)，矩陣Fourier變換

0　引言

機(jī)載、艦載和空間成像系統(tǒng)對(duì)目標(biāo)成像時(shí)，會(huì)由于平臺(tái)的運(yùn)動(dòng)、顫振及姿態(tài)變化等使相機(jī)在曝光時(shí)待成像物體與感光元件間存在相對(duì)運(yùn)動(dòng)，導(dǎo)致視頻圖像抖動(dòng)。視頻圖像抖動(dòng)在光電穩(wěn)瞄系統(tǒng)中會(huì)導(dǎo)致成像系統(tǒng)不能精確鎖定目標(biāo)。在光電系統(tǒng)中，圖像全局運(yùn)動(dòng)主要是由于某些不確定因素（如光電平臺(tái)的抖動(dòng)）導(dǎo)致攝像機(jī)抖動(dòng)引起的，可以通過(guò)圖像處理的方法估計(jì)全局運(yùn)動(dòng)矢量，進(jìn)而估算出光電平臺(tái)的抖動(dòng)量來(lái)。

全局運(yùn)動(dòng)估計(jì)技術(shù)可以用于獲得視頻序列中相鄰兩幀圖像之間的整體運(yùn)動(dòng)情況。全局運(yùn)動(dòng)估計(jì)的性能?chē)?yán)重影響著圖像穩(wěn)定系統(tǒng)的性能表現(xiàn)。首先，全局運(yùn)動(dòng)估計(jì)的準(zhǔn)確性和精度直接決定了系統(tǒng)的圖像穩(wěn)定質(zhì)量。其次，由于全局運(yùn)動(dòng)估計(jì)部分的計(jì)算量占用絕大部分系統(tǒng)計(jì)算量，所以全局運(yùn)動(dòng)估計(jì)的速度決定了穩(wěn)像系統(tǒng)的實(shí)時(shí)處理能力。本文提出了一種簡(jiǎn)單快速的亞像速全局運(yùn)動(dòng)估計(jì)方法，該方法只提取兩幅圖像互功率譜中的相位信息，減少了對(duì)圖像內(nèi)容的依賴，具有較強(qiáng)的抗干擾能力，是目前廣泛使用的運(yùn)動(dòng)估計(jì)方法［1-4］。

1　基于相位相關(guān)的全局運(yùn)動(dòng)估計(jì)原理

視頻圖像一般是由前景和背景構(gòu)成，前景是指感興趣的運(yùn)動(dòng)目標(biāo)，背景是指周?chē)沫h(huán)境。如果在拍攝過(guò)程中由于某種原因?qū)е聰z像機(jī)發(fā)生了運(yùn)動(dòng)，而感興趣的目標(biāo)沒(méi)有動(dòng)，那么視頻圖像序列中會(huì)產(chǎn)生背景運(yùn)動(dòng)，在圖像中占有較大的像素比例，形成圖像序列的全局運(yùn)動(dòng)。

全局運(yùn)動(dòng)估計(jì)由整像素全局運(yùn)動(dòng)估計(jì)和亞像素全局運(yùn)動(dòng)估計(jì)兩部分組成。整像素全局運(yùn)動(dòng)估計(jì)是以直接采樣圖像為基礎(chǔ)，對(duì)圖像間的整像素級(jí)的全局運(yùn)動(dòng)矢量進(jìn)行估計(jì)；亞像素全局運(yùn)動(dòng)估計(jì)則首先通過(guò)插值估算出圖像中非直接采樣點(diǎn)（亞像素點(diǎn)）的值，以此為基礎(chǔ)，在已知整像素全局運(yùn)動(dòng)矢量的基礎(chǔ)上進(jìn)一步估計(jì)亞像素全局運(yùn)動(dòng)矢量。

首先按照計(jì)算出的整像素偏移將檢測(cè)圖像進(jìn)行平移，然后選取兩幀圖像整像素重疊的部分進(jìn)行插值，插值后的圖像再進(jìn)行傅立葉變換，計(jì)算兩幀圖像在頻域的互相關(guān)譜后，對(duì)互相關(guān)譜進(jìn)行傅立葉逆變換，計(jì)算最大值的坐標(biāo)點(diǎn)可得到亞像素級(jí)平移配準(zhǔn)參數(shù)。文中方法兼顧了傅立葉變換良好的時(shí)頻特性，在計(jì)算過(guò)程中忽略了與所關(guān)心區(qū)域無(wú)關(guān)的信息，減少了存儲(chǔ)需求和運(yùn)算量，獲得較高的計(jì)算精度。由于本算法對(duì)于互相關(guān)譜的計(jì)算采用了幅度歸一化處理，因此，對(duì)隨機(jī)噪聲和光照變化具有較強(qiáng)的魯棒性。

相位相關(guān)主要是基于傅里葉變換中的平移定理，根據(jù)文獻(xiàn)［2］可知：當(dāng)圖像之間發(fā)生平移時(shí)，傅立葉變換幅值不變，互功率譜的相位等于兩個(gè)圖像的相位差，通過(guò)求解歸一化的互功率譜的傅立葉逆變換，得到二維沖激函數(shù)，其坐標(biāo)位置給出了兩個(gè)圖像之間的位移量［2］。

假設(shè)f（x，y）和g（x，y）是兩幅存在平移變換（x0，y0）關(guān)系的圖像，滿足

它們對(duì)應(yīng)的傅里葉變換分別為F（u，v）和G（u，v），則有

那么這兩幅圖像間的互功率譜為

式中：G*為G的復(fù)共軛，|F·G|表示F·G的幅值譜。傅里葉變換的平移定理保證了圖像間的互功率譜相位等于圖像間的相位差。在頻域中對(duì)P（u，v）進(jìn)行傅里葉逆變換，那么將在（x0，y0）處取得單位脈沖函數(shù)：

其中，F(xiàn)-1（·）表示取反傅立葉變換，除了在（x0，y0）處存在脈沖函數(shù)δ（·）外，在其他地方幾乎為0，因此，可用于測(cè)量?jī)煞鶊D像間的平移量。由于在式（3）中采用了歸一化處理，因此，該算法具有抗噪聲抗干擾的良好特性。從原理上說(shuō)歸一化后能降低光照變化對(duì)配準(zhǔn)精度的影響［2］。

2　整像素全局運(yùn)動(dòng)估計(jì)

本文所使用的全局運(yùn)動(dòng)估計(jì)方法是在整像素全局運(yùn)動(dòng)估計(jì)階段對(duì)待計(jì)算的兩幅圖像進(jìn)行降低分辨率采樣，采樣后的圖像進(jìn)行相位相關(guān)估計(jì)能夠減少參與運(yùn)算的像素點(diǎn)數(shù)，從而達(dá)到降低計(jì)算復(fù)雜度的目的。與選擇子圖像的做法相比，均勻下采樣的過(guò)程使得各部分圖像內(nèi)容等比例的縮小，因此，不會(huì)對(duì)相位相關(guān)估計(jì)的運(yùn)動(dòng)估計(jì)范圍和抗干擾能力產(chǎn)生影響。

如果以兩幀256×256大小的圖像為例，對(duì)這兩幀圖像進(jìn)行1/2采樣得到128×l28大小的圖像。降低分辨率后的圖像與四塊64×64大小的子圖像在進(jìn)行相位相關(guān)估計(jì)時(shí)的計(jì)算復(fù)雜度相同，但是由于下采樣后的圖像每個(gè)像素點(diǎn)代表原始圖像中的兩個(gè)像素，因此，其最大運(yùn)動(dòng)估計(jì)范圍是（±64，±64）×2，即（±128，±128）。所以下采樣后相位相關(guān)估計(jì)的運(yùn)動(dòng)估計(jì)范圍不變。此外，由于均勻下采樣時(shí)局部運(yùn)動(dòng)物體與背景圖像等比例縮小，因此，利用下采樣后的圖像進(jìn)行相位相關(guān)估計(jì)也不會(huì)存在抗干擾能力下降，估計(jì)不準(zhǔn)確的問(wèn)題。整像素全局運(yùn)動(dòng)估計(jì)的流程如圖1所示。

圖1　整像素運(yùn)動(dòng)估計(jì)

首先對(duì)參考圖像和檢測(cè)圖像進(jìn)行采樣得到f'（x，y）和g'（x，y），這樣會(huì)減小圖像的尺寸，降低快速傅里葉變換的計(jì)算量和計(jì)算速度，然后再對(duì)兩幅圖像分別進(jìn)行快速傅里葉變換得到F（u，v）和G（u，v），按照式（3）計(jì)算互功率譜，再進(jìn)行反傅立葉變換，對(duì)反傅立葉變換的圖像搜索最大值，最后的得到兩幅圖像的全局位移值。

3　局部相位相關(guān)實(shí)現(xiàn)亞像素全局矢量計(jì)算

目前廣泛應(yīng)用的運(yùn)動(dòng)估計(jì)方法主要有時(shí)域和頻域兩種實(shí)現(xiàn)方式［3-4］。時(shí)域的實(shí)現(xiàn)方法通常是將待匹配圖像分成M×N個(gè)匹配塊，然后對(duì)這些匹配塊，按照一定的匹配準(zhǔn)則，和參考圖像進(jìn)行匹配，最終計(jì)算出兩幅圖像的全局運(yùn)動(dòng)矢量來(lái)［5］。與時(shí)域?qū)崿F(xiàn)方法相比較，基于頻域的全局運(yùn)動(dòng)估計(jì)方法具有適用范圍廣、抗干擾能力強(qiáng)等優(yōu)點(diǎn)，因而更加適合于圖像穩(wěn)定應(yīng)用。但在具體實(shí)施時(shí)，頻域全局運(yùn)動(dòng)估計(jì)方法需要依據(jù)傅里葉變換的平移特性，通過(guò)比較視頻序列中相鄰兩幀圖像頻譜的相位關(guān)系得到時(shí)域中圖像間的全局運(yùn)動(dòng)情況。這一過(guò)程中存在時(shí)域與頻域之間的傅立葉變換過(guò)程，計(jì)算量隨著圖像大小的變化增長(zhǎng)較快。相對(duì)于頻域全局運(yùn)動(dòng)估計(jì)方法而言，基于時(shí)域的計(jì)算方法方式不僅運(yùn)算復(fù)雜度提高，而且隨著亞像素精度的增加，存儲(chǔ)量也成指數(shù)級(jí)增長(zhǎng)，因此，很難滿足存儲(chǔ)和計(jì)算資源有限的硬件應(yīng)用環(huán)境的實(shí)際需求［6-7］。

基于相位相關(guān)的快速亞像素全局運(yùn)動(dòng)估計(jì)是一種優(yōu)化的基于頻域的計(jì)算方法。該方法的流程如圖2所示，首先根據(jù)整像素全局運(yùn)動(dòng)矢量估計(jì)的結(jié)果將檢測(cè)圖像平移（Delta_mx，Delta_my）使兩幅圖像在整像素上的位移相同。然后分別選取兩幅圖像重合的部分fsub（x，y）和gsub（x，y）。對(duì)fsub（x，y）和gsub（x，y）兩幅子圖像分別進(jìn)行n倍插值，插之后得到f'sub（x，y）和g'sub（x，y）。最插之后的兩幅子圖像再進(jìn)行快速傅里葉變換得到Fsub（u，v）和Gsub（u，v）。對(duì)二者按照式（3）進(jìn)行相位互相關(guān)運(yùn)算，得到頻域的相位相關(guān)信息，對(duì)該信息進(jìn)行反傅里葉變換，得到基于時(shí)域的相位互相關(guān)脈沖函數(shù)，搜索該函數(shù)最大值所在的位置，即可得到兩幅子圖像的全局亞像素位移矢量的運(yùn)動(dòng)估計(jì)值來(lái)。結(jié)合此前計(jì)算得到的兩幅圖像的整像素全局位移矢量按照式（5）進(jìn)行計(jì)算，可以得出兩幅圖像的亞像素全局位移矢量值來(lái)。

4　實(shí)驗(yàn)

圖2　亞像素運(yùn)動(dòng)估計(jì)流程

算法仿真是在雙核、具有2GB RAM的2.2GHz CPU計(jì)算機(jī)環(huán)境下、利用MATLAB 2007b軟件完成的。相機(jī)抖動(dòng)引起了圖像序列的全局運(yùn)動(dòng)，是一個(gè)連續(xù)的模擬量。但是實(shí)際工程中由于相機(jī)的采樣速度限制，導(dǎo)致圖像序的每一幀之間會(huì)存在亞像素級(jí)平移。由于本次實(shí)驗(yàn)中上采樣倍數(shù)取為2，故平移量的檢測(cè)精度應(yīng)達(dá)到0.5像素。實(shí)驗(yàn)采用系統(tǒng)自帶的圖像進(jìn)行計(jì)算，設(shè)定兩幅圖像理想平移量為Δ= （207，51），對(duì)其進(jìn)行1/2下采樣后得到兩幅圖像如圖3（a），圖3（b）。那么兩幅圖像的理想平移量為Δ=（103.5，25.5）。首先采用上采樣方法獲取整像素級(jí)平移圖像，計(jì)算出位移矢量為Δ=（101，25），計(jì)算結(jié)果如圖3所示，本次計(jì)算時(shí)間為：2.208 0 s，

圖3　原始圖像

對(duì)理想平移后的圖像分別添加信噪比（SNR=5 dB）、均值為0的高斯白噪聲，結(jié)果見(jiàn)下頁(yè)圖4。從圖4的計(jì)算結(jié)果可以看出，圖像被噪聲干擾后，互相關(guān)譜的噪聲也增加，當(dāng)圖像被干擾到一定程度后，噪聲和峰值會(huì)分辨不出來(lái)。相位相關(guān)法有一定的抗噪能力，但是如果圖像被污染嚴(yán)重，會(huì)導(dǎo)致兩幅圖像的全局運(yùn)動(dòng)矢量分辨不出來(lái)，所以如果要保證計(jì)算結(jié)果的正確性，還應(yīng)該進(jìn)行降噪處理。

圖4　添加噪聲后的圖像

圖5是兩幅圖像被部分遮擋后的計(jì)算效果，兩幅圖像雖然被部分遮擋了，但是兩幅圖像的全局運(yùn)動(dòng)矢量變化關(guān)系還在，而基于相位相關(guān)的運(yùn)動(dòng)估計(jì)方法是基于頻域的處理方法，待計(jì)算圖像被部分遮擋后不會(huì)改變?nèi)值南辔恍畔?，所以基于相位相關(guān)的頻域全局運(yùn)動(dòng)矢量計(jì)算方法具有一定的容錯(cuò)性。在計(jì)算的時(shí)候發(fā)現(xiàn)圖像被局部遮擋后出現(xiàn)了多個(gè)峰值，但并不會(huì)影響最大值的位置。

圖5　局部被遮擋后的圖像

圖6是選取兩幅圖像整像素重疊的部分進(jìn)行插值后計(jì)算得到的亞像素全局位移矢量的結(jié)果。按照式（8）計(jì)算得到兩幅圖像的亞像素位全局位移矢量為Δ=（103.5，25.5），本次計(jì)算耗時(shí)：3.769 5 s。結(jié)合前面的下采樣計(jì)算整像素運(yùn)動(dòng)矢量的耗時(shí)，得出本文的方法計(jì)算亞像素全局運(yùn)動(dòng)矢量耗時(shí)約6 s。如果直接對(duì)參考圖像和待檢測(cè)圖像進(jìn)行插值計(jì)算亞像素的全局運(yùn)動(dòng)矢量，為了得到和本文的方法相同精度的全局運(yùn)動(dòng)矢量，經(jīng)計(jì)算需耗時(shí)約25.784 8 s，大約是文中方法的4倍多。

圖6　兩幅圖像重合的部分插值后的亞像素位移矢量

5　結(jié)論

本文提出了一種基于相位相關(guān)和下采樣的亞像素全局運(yùn)動(dòng)矢量估計(jì)算法，該算法在計(jì)算精度、計(jì)算效率、抗噪性能和容錯(cuò)性方面均優(yōu)于現(xiàn)有的基于時(shí)域的亞像素運(yùn)動(dòng)估計(jì)方法。與選擇子圖像的做法相比，本文的算法對(duì)噪聲影響、光照變化和局部遮擋具有較好的魯棒性，同時(shí)能夠有效地提高運(yùn)動(dòng)估計(jì)的精確性和計(jì)算效率，計(jì)算效率提高4倍多。與文獻(xiàn)［2］提到的采用粗定位和細(xì)定位的方法相比，本文的算法由于在粗定位階段對(duì)圖像進(jìn)行了降低分辨率采樣，所以計(jì)算精度更快些。該算法可以廣泛應(yīng)用于光電平臺(tái)穩(wěn)定、遙感探測(cè)、醫(yī)學(xué)成像及計(jì)算機(jī)視覺(jué)等等需要獲取高精度的相機(jī)抖動(dòng)參數(shù)及進(jìn)行精密圖像配準(zhǔn)的領(lǐng)域。該算法能在基于FPGA的硬件平臺(tái)上實(shí)現(xiàn)，由于FPGA內(nèi)部是并行處理的，所以計(jì)算效率高，適用范圍廣。

［1］王彩玲，程勇，趙春霞，等.局部相位相關(guān)用于圖像亞像素級(jí)配準(zhǔn)技術(shù)研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2011，16（3）：427-432.

［2］周武，胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準(zhǔn)算法［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版）2010，38（10）：68-73.

［3］黎俊，彭啟民，范植華.亞像素級(jí)圖像配準(zhǔn)算法研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13（11）：2070-2075.

［4］余應(yīng)淮，王錦榮.高精度亞像素全局運(yùn)動(dòng)估計(jì)的上采樣梯度互相關(guān)算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2012，17（12）：1492-1499.

［5］楊水清，張路.一種改進(jìn)的相機(jī)全局運(yùn)動(dòng)估計(jì)方法［J］.激光與紅外，2009，39（6）：660-664.

［6］FIENUP J R.Invirant errormetrics for image reconstruction ［J］.App lied Op tics，1997，36（32）：8352-8357.

［7］ MANUEL G S，SAMUEL T.Thurman，James R Fienup. Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33（2）：156-158.

Fast Sub-pixel Global Motion Estimation Based on Phase Correlation

LI Ying-juan，JI Ming，HE Jun-feng，MA Ai-qiu，YANG Meng
（Xi'an Institute of Applied Optics，Xi'an 710065，China）

Proposed in this paper is a fast sub-pixel algorithm based on phase correlation and image down-sampling for sub-pixel global motion estimation.First，down-sampling of the two images，then the pixel-level global motion vector of two images calculated.Then chooses the repeated area of the two images and interpolated them，the global motion estimation of sub-pixel-level is achieved. Finally，weighted calculate the results of pixel-level and sub-pixel-level，the global motion displacement of sub-pixel-level of the two images will be calculated out.Experimental results show that the proposed algorithm has good robustness to noise，illumination and partial occlusion，and can effectively improve the accuracy and efficiency of motion estimation.

Sub-pixel，global motion estimation，down-sampling，phase correlation，matrix Fourier transform

TP391

A

1002-0640（2016）07-0148-04

2015-06-01

2015-07-03

李穎娟（1981-），女，陜西戶縣人，碩士，高級(jí)工程師。研究方向：圖像處理技術(shù)及控制技術(shù)研究。