基于相位相關(guān)的亞像素配準(zhǔn)技術(shù)及其在電子穩(wěn)像中的應(yīng)用

孫 輝,李志強(qiáng),孫麗娜,郎小龍

(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林長(zhǎng)春 130033)

1 引 言

圖像配準(zhǔn)是一種基于傅里葉功率譜的頻域相關(guān)技術(shù),是由 Kuglin和 Hines在 1975年提出來的[1]。近幾十年來,廣大專家學(xué)者在圖像配準(zhǔn)方面做了深入的探索和研究,在優(yōu)化算法、提高配準(zhǔn)精度等方面提出了許多行之有效的方法。在各種圖像配準(zhǔn)方法中,基于相位相關(guān)的配準(zhǔn)方法以其算法簡(jiǎn)單易行、運(yùn)算量小、配準(zhǔn)精度高等優(yōu)點(diǎn)在學(xué)術(shù)界受到極大關(guān)注,在醫(yī)學(xué)圖像處理、遙感圖像處理、計(jì)算機(jī)視覺、運(yùn)動(dòng)分析、工業(yè)檢測(cè)等領(lǐng)域得到了廣泛應(yīng)用。

圖像配準(zhǔn)可以將來自不同時(shí)間、不同角度或不同數(shù)據(jù)源的幾幅圖像對(duì)準(zhǔn),一般可實(shí)現(xiàn)像素級(jí)配準(zhǔn)精度,滿足實(shí)際應(yīng)用要求。盡管如此,在很多應(yīng)用領(lǐng)域,為提取更準(zhǔn)確的圖像信息,通常需要亞像素級(jí)的配準(zhǔn)精度。文獻(xiàn)[2]提出了一種擴(kuò)展的相位相關(guān)法,即在相位相關(guān)法基礎(chǔ)上,通過理論分析將其擴(kuò)展到亞像素級(jí)配準(zhǔn)精度。由于該方法只提取互功率譜中的相位信息,減少了對(duì)圖像內(nèi)容的依賴,具有較強(qiáng)的抗干擾能力,是目前廣泛使用的頻域配準(zhǔn)方法[3～10]。

本文針對(duì)序列圖像中的圖像失穩(wěn)問題,將基于擴(kuò)展的相位相關(guān)圖像配準(zhǔn)技術(shù)用于檢測(cè)視頻圖像幀間亞像素級(jí)的運(yùn)動(dòng)量,然后對(duì)圖像進(jìn)行亞像素級(jí)的運(yùn)動(dòng)補(bǔ)償,輸出平滑、穩(wěn)定的視頻圖像。與像素級(jí)的運(yùn)動(dòng)檢測(cè)和補(bǔ)償相比,本文方法可實(shí)現(xiàn)更高的穩(wěn)定精度,有效提高了圖像補(bǔ)償質(zhì)量。

2 亞像素配準(zhǔn)技術(shù)

2.1 相位相關(guān)配準(zhǔn)原理

設(shè)f1(x,y)為基準(zhǔn)圖像,f2(x,y)為f1(x,y)平移(x0,y0)后的位移圖像,兩者滿足如下關(guān)系:

對(duì)式 (1)做傅里葉變換,有:

式中F1(u,v)和F2(u,v)分別表示f1(x,y)和f2(x,y)的傅里葉變換。

因此,兩幅圖像之間歸一化的交叉功率譜可表示為:

式中＊表示復(fù)共軛,將式 (3)兩端進(jìn)行傅里葉逆變換,可得相位相關(guān)函數(shù)如下:

式中δ(x-x0,y-y0)為典型的 Dirac函數(shù),也稱沖激函數(shù),該函數(shù)在中心點(diǎn)(x0,y0)處不為零,在其它位置均為零。圖1顯示了相位相關(guān)函數(shù)曲線,其中圖1(a)顯示了位移等于 0像素的相關(guān)曲線,圖1(b)顯示了在水平方向產(chǎn)生 0.5像素位移情況下的相關(guān)曲線。

圖1 相位相關(guān)函數(shù) p(x,y)Fig.1 3D plots of phase correlation functionp(x,y)

在實(shí)際應(yīng)用時(shí),由于傅里葉變換對(duì)f(x,y)的周期性有要求,而實(shí)際圖像一般都不具備周期特性,所以為減小邊緣效應(yīng)對(duì)配準(zhǔn)精度的影響,需采用加窗技術(shù),即對(duì)輸入圖像進(jìn)行適當(dāng)加權(quán)處理,使其具有周期性特征,以符合傅里葉變換條件。

典型的 2D Hanning窗定義如下:

將上述形式的加窗函數(shù)作為加權(quán)系數(shù),分別作用于f2(x,y)和f1(x,y)并進(jìn)行傅里葉變換,可較好地減小邊緣效應(yīng)。

2.2 亞像素精度檢測(cè)

常規(guī)的頻域相關(guān)配準(zhǔn)算法只能檢測(cè)到像素級(jí)的平移運(yùn)動(dòng)量,為獲取亞像素級(jí)運(yùn)動(dòng)量,本文采用基于最小二乘法的二次曲面擬合方法,通過在相關(guān)峰值坐標(biāo)點(diǎn)附近用曲面擬合相位相關(guān)值,擬合曲面的峰值坐標(biāo)即為平移運(yùn)動(dòng)參數(shù)。

根據(jù)上述分析,本文選擇如下擬合函數(shù):

擬合函數(shù)z(x,y)的系數(shù)可通過解下列方程解出:

式中:

采用最小二乘法求解方程,即可解出擬合函數(shù)的系數(shù)。

為此,在式 (6)中分別對(duì)x,y求偏導(dǎo),并使偏導(dǎo)為 0,即:

由式 (8)可解得:

式中的x,y即為所求的平移量且具有亞像級(jí)的分辨率。

2.3 亞像素補(bǔ)償

序列圖像運(yùn)動(dòng)補(bǔ)償是根據(jù)圖像運(yùn)動(dòng)矢量,對(duì)圖像像素位置進(jìn)行重組實(shí)現(xiàn)的。通常,圖像之間的運(yùn)動(dòng)包括平移運(yùn)動(dòng)、旋轉(zhuǎn)運(yùn)動(dòng)、尺度變換及仿射變換等,本文只討論平移運(yùn)動(dòng)情況。在平移運(yùn)動(dòng)中,兩幅圖像只有水平和垂直方向的運(yùn)動(dòng)變化,按照運(yùn)動(dòng)方向等量反向移動(dòng)圖像即可實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償。

設(shè)位移圖像g(x,y)通過運(yùn)動(dòng)補(bǔ)償?shù)玫浇Y(jié)果圖像f(x,y),則f(x,y)和g(x,y)建立一一對(duì)應(yīng)關(guān)系 ,即:

當(dāng)平移量為亞像素時(shí),(dx,dy)∈R2,圖像平移運(yùn)動(dòng)補(bǔ)償公式如下:

采用式 (11)進(jìn)行圖像補(bǔ)償,對(duì)于f(x,y)的每一個(gè)像素坐標(biāo)(x,y),都可以保證在g(x,y)中有一個(gè)對(duì)應(yīng)的像素點(diǎn)坐標(biāo) (x+dx,y+dy)。由于x+dx和y+dy是小數(shù),而g(x,y)圖像坐標(biāo)是整數(shù),所以在補(bǔ)償圖像時(shí),不能簡(jiǎn)單地進(jìn)行整數(shù)坐標(biāo)映射,要根據(jù)平移運(yùn)動(dòng)量進(jìn)行適當(dāng)?shù)钠交幚?否則在小數(shù)轉(zhuǎn)化為整數(shù)的過程中將產(chǎn)生誤差,影響圖像補(bǔ)償精度。

為了提高補(bǔ)償質(zhì)量,采用雙線性插值方法對(duì)圖像像素灰度值進(jìn)行了平滑處理,根據(jù)位移圖像坐標(biāo) (x+dx,y+dy)與四鄰域位置及灰度值的對(duì)應(yīng)關(guān)系,通過四鄰域灰度值加權(quán)平均的方法計(jì)算f(x,y)的像素灰度值。

雙線性插值公式如下:

式中i,Δx分別表示x+dx的整數(shù)部分和小數(shù)部分,j,Δy分別表示y+dy的整數(shù)部分和小數(shù)部分 ,即 Δx=x+dx-i,Δy=y+dy-j。采用雙線性插值處理后的圖像邊緣清晰、完整、無鋸齒,具有較好的補(bǔ)償效果。

3 仿真實(shí)驗(yàn)結(jié)果

為檢測(cè)亞像素檢測(cè)精度及穩(wěn)像效果,在實(shí)驗(yàn)室進(jìn)行了仿真實(shí)驗(yàn)。

樣本圖像選用標(biāo)準(zhǔn)樣本圖像庫中的 bridge圖像,原始圖像見圖2(a),對(duì)比圖像通過對(duì)原始圖像進(jìn)行平移得到。為檢測(cè)本文方法對(duì)亞像素運(yùn)動(dòng)量的檢測(cè)精度,研究人員在水平和垂直方向上同時(shí)對(duì)原始圖像進(jìn)行步長(zhǎng)為 0.01 pixel的平移操作,一共生成 50幀對(duì)比圖像,其中第一幀位移dx=dy=0.01 pixel,第 50幀位移 dx=dy=0.5 pixel,如圖1(b)、圖1(c)所示。圖像位移曲線見圖3。

圖2 樣本圖像Fig.2 Sampling images

圖3 亞像素位移曲線Fig.3 Curve of sub-pixel displacement

圖4 運(yùn)動(dòng)量檢測(cè)誤差曲線Fig.4 Errors in displacement estimation

采用本文介紹的圖像配準(zhǔn)算法對(duì)樣本圖像進(jìn)行運(yùn)動(dòng)量檢測(cè),計(jì)算從第 1幀到第 50幀對(duì)比圖像相對(duì)原始圖像的亞像素級(jí)的運(yùn)動(dòng)矢量 (δx,δy),由于每幅對(duì)比圖像相對(duì)參考圖像的真實(shí)位移量已知,可以統(tǒng)計(jì)配準(zhǔn)結(jié)果與真實(shí)位移量的誤差,配準(zhǔn)誤差統(tǒng)計(jì)結(jié)果如圖4所示。通過圖4中的誤差曲線可以看出,在 50個(gè)位移矢量檢測(cè)結(jié)果中,與真實(shí)位移量的最大誤差僅為 0.008 pixel。

采用上述亞像素運(yùn)動(dòng)量和式 (12)進(jìn)行圖像運(yùn)動(dòng)補(bǔ)償,用均方根誤差 (Root of Mean Square Error,RMSE)作為客觀指標(biāo)評(píng)價(jià)電子穩(wěn)像效果,對(duì) 50幀樣本圖像分別統(tǒng)計(jì)補(bǔ)償后的均方根誤差值,統(tǒng)計(jì)結(jié)果見圖5。從統(tǒng)計(jì)數(shù)據(jù)和誤差曲線可以看出,補(bǔ)償前最大誤差為 12.8 pixel,經(jīng)過亞像素級(jí)運(yùn)動(dòng)量檢測(cè)和圖像補(bǔ)償后,最大誤差僅為0.5 pixel,有效提高了圖像補(bǔ)償質(zhì)量。

圖5 圖像補(bǔ)償誤差曲線Fig.5 RMS errors of compensation

4 結(jié) 論

本文介紹了基于相位相關(guān)的圖像配準(zhǔn)方法,并將該方法應(yīng)用于視頻序列圖像的亞像素運(yùn)動(dòng)檢測(cè),通過雙線性插值技術(shù)補(bǔ)償亞像素運(yùn)動(dòng)量。實(shí)驗(yàn)結(jié)果表明,相位相關(guān)算法利用圖像的互功率譜信息,減少了對(duì)圖像內(nèi)容的依賴,具有較強(qiáng)的抗噪能力;同時(shí)該算法具有亞像素級(jí)的配準(zhǔn)精度,提高了圖像運(yùn)動(dòng)的檢測(cè)精度,通過亞像素圖像補(bǔ)償技術(shù),可有效提高圖像補(bǔ)償質(zhì)量和穩(wěn)像效果。

[1] KUGL IN CD,H INESD C.The phase correlation image alignment method[A].Proc.Int.Conf.Cybernetics Society[C].San Francisco,USA,1975:163-165.

[2] FOROOSH H,ZERUB IA J,BERTHOD M.Extension of phase correlation to sub-pixel registration[J].IEEE Trans.Im age Processing,2002,11(3):188-200.

[3] 桂志國(guó),韓焱.相位相關(guān)配準(zhǔn)法及其在射線圖像數(shù)字減影中的應(yīng)用[J].儀器儀表學(xué)報(bào),2004,25(4):520-522.GU I ZH G,HAN Y.Phase correlation technique for image registration and its application in dsa of radiographic image[J].Chinese J.Sci.Instrum.,2004,25(4):520-522.(in Chinese)

[4] 高世海,戴文剛,田仲.空域和頻域相結(jié)合的景象匹配算法[J].中國(guó)圖象圖形學(xué)報(bào),2000,5(A)(4):345-348.GAO SH H,DA IW G,T IAN ZH.Hybrid image registration algorithm of space domain and frequency domain[J].J.Im age Graphics,2000,5(A)(4):345-348.(in Chinese)

[5] 吳元昊,于前洋.基于傅里葉相位差的抗噪聲位移估計(jì)算法[J].光學(xué)精密工程,2007,15(7):1137-1142.WU Y H,YU Q Y.Denoising algorithm of displacement estimation based on phase difference of Fourier transform[J].Opt.Precision Eng.,2007,15(7):1137-1142.(in Chinese)

[6] 馮林,管慧娟、藤弘飛.基于互信息的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué),2005,22(5):1078-1081.FENGL,GUAN H J,TENG H F.Advances in medical image registration based on mutual information[J].J.B iom edical Eng.Res.,2005,22(5):1078-1081.(in Chinese)

[7] 周永新,羅述謙.基于形狀特征點(diǎn)最大互信息的醫(yī)學(xué)圖像配準(zhǔn) [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2002,14(7):654-658.ZHOU Y X,LUO SH Q.Medical image registration based on mutual infor mation of feature points[J].J.Com puter-A ided Design Com puter Graphice,2002,14(7):654-658.(in Chinese)

[8] 李治國(guó),安錦文,趙銀鈴.基于相位相關(guān)的全局運(yùn)動(dòng)估計(jì)算法[J].計(jì)算機(jī)測(cè)量與控制,2008,16(4):532-534.L I ZH G,AN J W,ZHAO YL.Globalmotion est imation algorithm based on phase correlation[J].Com puterM easurem ent Control.,2008,16(4):532-534.(in Chinese)

[9] 黎俊,彭啟民,范植華.亞像素級(jí)圖像配準(zhǔn)算法研究[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(11):2071-2075.L IJ,PENGQ M,FAN ZH H.Asurvey of sub-pixel image registration methods[J].J.Im age and Graphics,2008,13(11):2071-2075.(in Chinese)

[10] 徐寶昌,陳哲,趙龍.一種改進(jìn)的最小二乘景象匹配算法[J].北京航空航天大學(xué)學(xué)報(bào),2005,31(8):848-852.XU B CH,CHEN ZH,ZHAO L.Inproved least-squares acene matching algorithm[J].J.Beijing University Aeronautics and Astronautics,2005,31(8):848-852.(in Chinese)