方 壯
(1.重慶大學 數(shù)理學院,重慶 400030;2.湖北民族學院 理學院,湖北 恩施 445000)
圖像配準是將取自不同時間、不同角度的同一目標區(qū)域的兩幅或多幅影像,在空間位置上對準.這些圖像或者來自不同傳感器,或者是由同一傳感器在不同時刻獲取.圖像配準被廣泛地應(yīng)用在遙感圖像、醫(yī)學影像、三維重構(gòu)、機器視覺等諸多領(lǐng)域中[1],圖像配準方法的研究一直是國內(nèi)外的研究熱點,到目前為止,出現(xiàn)了很多圖像配準方法,它們大體可以分為兩類:一類是基于各類變換如Fourier變換、小波變換等,在變換域中實現(xiàn)圖像的配準;另一類是基于灰度圖像在空間域?qū)崿F(xiàn)圖像的配準.
傅里葉變換方法是基于變換域的圖像配準方法中最主要的方法.依據(jù)傅里葉變換的平移性質(zhì),即同一幅圖像無論如何平移,其對應(yīng)的頻域幅值和原始圖像都是完全一樣的,而發(fā)生變化的只是它們的相位.以此為依據(jù)的相位相關(guān)方法能夠較好的實現(xiàn)圖像在頻率域中的配準,其主要原理可簡述如下:
數(shù)字圖像f(x,y)可以認為是二維離散信號構(gòu)成的M×N矩陣,其傅里葉變換定義為:
其中u=0,1,…,M-1;v=0,1,…,N-1稱為空域頻率.
相應(yīng)的傅里葉逆變換為:
其中x=0,1,…,M-1;y=0,1,…,N-1.
設(shè)同一場景兩幅圖像f(x,y),g(x,y),f(x,y)是參考圖像,g(x,y)是f(x,y)平移(x0,y0)后的位移圖像,兩者的關(guān)系可以寫成:
g(x,y)=f(x-x0,y-y0)
令F(u,v),G(u,v)分別是f(x,y),g(x,y)的傅里葉變換,則有:
G(u,v)=e-j2π(ux0+vy0)F(u,v)
即經(jīng)過平移后的圖像其傅里葉變換有相同的振幅,但存在相位上的差異,通過計算兩幅圖像的互功率譜來得到相位差,互功率譜定義為:
其中,F(xiàn)*是F的復(fù)共軛,由于傅里葉變換的平移理論保證了互功率譜的相位差與圖像之間的相位差相等,對cp(u,v)取傅里葉逆變換,它在(x0,y0)處為沖擊響應(yīng),因此在匹配點處可以得到傅里葉的逆變換峰值,進而確定圖像之間的相位差(x0,y0).近來,文獻[2]提出了基于梯度相位相關(guān)的自動圖像配準方法,該方法有較強的抗噪能力,并能很精確的確定(x0,y0),對于有旋轉(zhuǎn)的情形,文獻[3]通過極坐標變換,也能夠求出旋轉(zhuǎn)角度.基于梯度的相位相關(guān)方法能夠較好解決整個圖像的平移和旋轉(zhuǎn)問題,但這一方法受限于傅里葉變換的平移不變性質(zhì),要求待配準圖像g(x,y)和參考圖像f(x,y)要有平移關(guān)系,而對于更一般的非平移的情形,比如g(x,y)是參考圖像f(x,y)的一部分,或者圖像g(x,y)和f(x,y)僅有一部分相互重疊,用該方法就不能實現(xiàn)圖像的配準.因此相位相關(guān)方法雖然實現(xiàn)方法相對簡單,但其缺點應(yīng)用范圍比較窄,不能滿足實際中的條件要求.
該方法的思想是建立這樣一種假設(shè):認為參考圖像f(x,y)和待配準圖像g(x,y)上的對應(yīng)點及其周圍區(qū)域具有相同或者相似的灰度.并以灰度相似為基礎(chǔ),定義相似性度量函數(shù),然后通過一些匹配策略,找到一組最優(yōu)或近似最優(yōu)的幾何變換參數(shù),使得相似度函數(shù)最大,最終實現(xiàn)圖像的配準.該方法的關(guān)鍵是定義度量函數(shù),一種典型的的基于灰度的配準方法是Barnea[4]等人提出來的序貫相似檢測算法,它定義了一種相似性度量準則:
歸一化準則為:
除了上述兩種配準方法以外,角點檢測實現(xiàn)圖像的配準是現(xiàn)如今的一種比較常用的配準方法.角點沒有準確的定義,一般認為在至少兩個方向上圖像灰度變化均較大的點是角點.角點具有信息量豐富、便于測量和表示、能夠適應(yīng)環(huán)境和光照變化等優(yōu)點而受到了關(guān)注. 較早的角點檢測算法有Moravec角點檢測算法[5],比較經(jīng)典的有Harris角點檢測算法[6]和SUSAN角點檢測算法[7].SUSAN角點檢測算法是由牛津大學的S M.Smith,J.M.Brady首先提出的,它主要用來計算圖像中的角點特征的,因其運算效率高,角點檢測準確,使其很適用于基于角點的圖像配準.
SUSAN角點檢測算法的主要原理.如圖1所示,圓形區(qū)域內(nèi)的每一個像素點的灰度值與中心像素點的灰度值比較,灰度值與中心像素點相近的點組成的區(qū)域稱為USAN區(qū)域.從圖1中可以看到,當核心點位于USAN區(qū)域內(nèi)時,USAN區(qū)域面積最大,如圖中e所示;當核心點位于直線或近似直線的邊緣時,USAN區(qū)域的面積是最大時的一半,如圖中b所示;當USAN區(qū)域面積最小時,核心點是角點,如圖中a所示.
圖1 不同位置的圓模板及所對應(yīng)的USAN區(qū)域
SUSAN算法的數(shù)學描述:
SUSAN模板在圖像上滑動,在每一個位置比較模板內(nèi)各圖像像素的灰度與模板核心的灰度:
其中,r是模板內(nèi)除核之外的任意一點的位置,r0是圖像中的核的位置,f(r)為r的灰度值,f(r0)為核的灰度值,t為閾值,主要用來控制生成角點的數(shù)量,C(r,r0)為灰度比較的結(jié)果.
然后n(r0)與一個給定的閾值G進行比較:
n(r0)為反應(yīng)函數(shù),經(jīng)過局部非極大值抑制之后確定為角點.
通過上述算法分析可以看出,SUSAN角點檢測算法不需要進行梯度計算,這樣就提高了算法的效率,實驗還表明,該算法對局部噪聲不敏感,抗噪能力強,檢測角點的精確度較高, 適用于基于角點的圖像配準.
同一目標區(qū)域在不同的成像條件下,其灰度關(guān)系保持一定的相關(guān)性,該目標區(qū)域作為參考圖像f(x,y)中一部分,通過準確的角點檢測,能夠檢測出該目標區(qū)域的角點,同時,該目標區(qū)域作為待配準圖像g(x,y)的一部分,通過角點檢測,也能夠檢測出該目標區(qū)域的角點,SUSAN角點檢測算子能夠保證兩次檢測的角點有很高的重復(fù)性度,即實際目標區(qū)域的同一個點在兩次角點檢測中都是角點的比率較高.以這些角點為中心,在f(x,y)和g(x,y)中取(2k+1)×(2k+1)的矩陣A和B,然后計算A和B的互功率譜cp(u,v),最后計算cp(u,v)的傅里葉逆變換并求其峰值t,因為矩陣A和B是以同一目標區(qū)域的角點為中心,半徑為k的(2k+1)×(2k+1)矩陣,其相關(guān)程度最高,反映在峰值上,此時t應(yīng)為最大.
實際操作中,因為無法知道哪兩個角點是準確對應(yīng)的,需要分別求出參考圖像f(x,y)和待配準圖像g(x,y)的所有角點,按上述方法找到最大峰值兩個角點為匹配的點,由此可以知道f(x,y)和g(x,y)的相對平移量,進而實現(xiàn)他們的配準.具體的算法步驟如下:
第1步,通過SUSAN角點檢測算法檢測參考圖像f(x,y)和待配準圖像g(x,y)的角點,此時可以得到各自圖像的角點集 {P(xi,yi)|i=1,2,…,m}和{Q(xj,yj)|j=1,2,…,n},m表示f(x,y)的角點個數(shù),n表示g(x,y)的角點個數(shù).
第2步,在各自圖像中,以每個角點P(xi,yi),Q(xj,yj)為中心,取半徑為k的鄰域,得到兩列(2k+1)×(2k+1)的矩陣Ai(i=1,2,…,m)和Bj(j=1,2,…,n).
第4步,計算cp(u,v)i,j傅里葉逆變換icp(u,v)i,j(i=1,2,…,m;j=1,2,…,n).
第5步,計算icp(u,v)i,j的峰值Mi,j(i=1,2,…,m;j=1,2,…,n).在所有的峰值Mi,j中,最大峰值Ms,t對應(yīng)的兩個角點P(xs,ys)和Q(xt,yt)是匹配的,此時只要計算他們的坐標差就可以得到平移量.
在本算法中,唯一的參數(shù)是鄰域半徑k的大小,多次重復(fù)實驗表明,k的范圍在20~30之間能夠有較好的配準效果.在k確定的情況下,輸入?yún)⒖紙D像和待配準圖像便可以實現(xiàn)兩幅圖像的自動配準.
在Matlab環(huán)境中,以Lena384×384圖像為基礎(chǔ)圖像(圖2a),加上隨機噪聲并且平移后得到的圖像為模擬參考圖像f(x,y)(圖2b),在Lena圖像中任取一部分為待配準圖像g(x,y)(圖2c),按下述方法進行獨立實驗,每個實驗均獨立重復(fù)10次,噪聲強度一欄的數(shù)值以10次實驗的理論值和實際值完全相符為準,實驗結(jié)果見表1,配準后的圖像見圖2d.
表1 不同噪聲下的配準結(jié)果
圖2 配準結(jié)果
通過圖2可以看出,當待配準圖像是參考圖像的一部分或這兩幅圖像只有一部分重疊時,本算法依然能很好地將它們配準,這就擺脫基于傅里葉變換的相位相關(guān)法對平移的限制.從表1中可以看出,本文提出的算法對噪聲有很好的魯棒性.事實上,通過大量的實驗還可以發(fā)現(xiàn),對于參考圖像及待配準圖像均有混合噪聲和灰度變化時,本算法也能很好地實現(xiàn)兩幅圖像的配準.如實驗結(jié)果所示,一幅先受到強度為0.05的Salt & pepper噪聲影響,然后灰度值增加50,最后受到強度為0.05的Gaussian噪聲影響后得到的參考圖像(圖2(e))域另一幅受到了強度為0.02的Salt & pepper噪聲影響后得到的待配準圖像(圖2(f)),通過本算法配準后得到的結(jié)果如圖2(g),從圖2(g)中可以看出,配準效果是十分理想的.
[1]岡薩雷斯.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2003.
[2]甘亞莉,涂丹,李國輝.基于梯度相位相關(guān)的自動圖像配準方法[J].微電子學與計算機,2007,24(7):1-3.
[3]甘亞莉,涂丹,李國輝.頻率域基于梯度預(yù)處理的互相關(guān)圖像配準方法[J].計算機工程與應(yīng)用,2007,43(6):24-26.
[4]S H F,Barnea D I.A class of algorithms for digital image registration[J].IEEE Transactions on Computers.1976,C-21(2):179-186.
[5]Moravec H P. Towards automatic visual obstacle avoidance[C]//Proceedings of the 5thInternational Joint Conference on Artificial Intelligence,1977:584.
[6]Harrios C G,Stephens M.A combined corner and edge detector[C]//In 4thAlvey Uision Conference,1988:147-151.
[7]Smith M,Brady J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of Computer Vision,1997,23(1):45-78.