一種基于Radon變換及快速傅里葉變換的圖像配準(zhǔn)方法

廖　婷　蒲國(guó)林　彭小利

(四川文理學(xué)院智能制造學(xué)院　四川 達(dá)州 635000)

0　引　言

圖像配準(zhǔn)指的是將不同時(shí)間、不同成像設(shè)備或不同條件下(天氣、照度、攝像位置和角度等)獲取的同一對(duì)象或場(chǎng)景的兩幅或多幅圖像進(jìn)行匹配、疊加的過(guò)程[1]。它是目標(biāo)追蹤、遙感影像處理以及計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域的基礎(chǔ)性問(wèn)題，對(duì)醫(yī)學(xué)影像處理、多傳感器數(shù)據(jù)融合、視頻監(jiān)控以及圖像處理質(zhì)量評(píng)價(jià)等關(guān)系國(guó)計(jì)民生與信息科技前沿的重大應(yīng)用的性能有不可忽視的影響。

近年來(lái)圖像配準(zhǔn)引起機(jī)器學(xué)習(xí)相關(guān)領(lǐng)域眾多學(xué)者的深入關(guān)注，成為一個(gè)活躍的、富有生命力的科研課題。研究者們針對(duì)圖像配準(zhǔn)提出各種方法[1,14-17]。北卡羅來(lái)納大學(xué)的Jia等學(xué)者提出了一種基于圖論的圖像配準(zhǔn)方法，該方法基于訓(xùn)練圖像對(duì)之間的非對(duì)稱距離建立有向圖，以判斷測(cè)試圖像的配準(zhǔn)關(guān)系[1]。 IRG-SDLE是一種基于隱式引用的線性可變配準(zhǔn)方法。它通過(guò)對(duì)圖像集的聯(lián)合概率估計(jì)，求得圖像配準(zhǔn)的解[2]。國(guó)內(nèi)學(xué)者梁棟等提出了一種基于NSCT和SIFT的遙感圖像配準(zhǔn)算法，該算法綜合利用了NSCT在圖像分解上的靈活性和SIFT算法在特征描述上的有效性來(lái)進(jìn)行遙感圖像配準(zhǔn)[3]。然而以上方法在處理拉伸、位移、旋轉(zhuǎn)等多類型圖像配準(zhǔn)的通用性方面都存在困難。

NRI是一種基于互信息的圖像配準(zhǔn)方法，在大腦影像配準(zhǔn)領(lǐng)域取得了不錯(cuò)的性能，然而算法在其他格式的圖像配準(zhǔn)中性能一般。阿姆斯特丹自由大學(xué)的Velden教授等提出了一種結(jié)合圖像光學(xué)特征與統(tǒng)計(jì)學(xué)習(xí)的配準(zhǔn)方法[4]，該方法有著嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)，在X光影像配準(zhǔn)實(shí)驗(yàn)中的效果很出色。但該方法在噪聲環(huán)境中的魯棒性較低。易盟博士提出了幾套圖像配準(zhǔn)的完整框架[6]，在提取特征點(diǎn)、匹配特征點(diǎn)以及選擇映射變換模型等方面都做了大量工作，取得了較好的準(zhǔn)確度，不過(guò)該方法的實(shí)現(xiàn)較為復(fù)雜, 難以在實(shí)際系統(tǒng)中使用。

針對(duì)現(xiàn)有方法在圖像配準(zhǔn)方法的局限性，本文提出了一種基于Radon變換[18]和快速傅里葉變換FFT(Fast Fourier Transform)[19]的圖像配準(zhǔn)方法。首先將原始輸入圖像A,B進(jìn)行FFT變換，其次對(duì)變換后的圖像進(jìn)行平移伸縮矯正。再對(duì)圖像進(jìn)行逆FFT迭代求參。接著對(duì)圖像進(jìn)行Radon變換和旋轉(zhuǎn)矯正。最后進(jìn)行扭曲矢量估計(jì)輸出配準(zhǔn)結(jié)果。

為了驗(yàn)證本文提出方法的有效性，本文設(shè)計(jì)了若干實(shí)驗(yàn)并將結(jié)果與現(xiàn)有方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本文提出的MDR-IR算法對(duì)多張實(shí)驗(yàn)圖像都能達(dá)到優(yōu)異的配準(zhǔn)結(jié)果。在無(wú)噪聲的情況下，本文提出的MDR-IR對(duì)旋轉(zhuǎn)配準(zhǔn)的平均準(zhǔn)確率，高于其他對(duì)照算法約2～6個(gè)百分點(diǎn)；對(duì)伸縮配準(zhǔn)的平均準(zhǔn)確率，高于其他對(duì)照算法約3～7個(gè)百分點(diǎn)?？梢?jiàn)，本文實(shí)現(xiàn)了具有魯棒性圖像配準(zhǔn)，提高了噪聲環(huán)境中圖像配準(zhǔn)的穩(wěn)定性。并且本文提出方法可用于多種畸變類型圖像如位移、伸縮旋轉(zhuǎn)等變換的一體化匹配。

1　基于兩種變換的初步配準(zhǔn)

本節(jié)介紹基于兩種變換的初步配準(zhǔn)。假設(shè)有圖像A,B。 設(shè)B為經(jīng)過(guò)旋轉(zhuǎn)、拉伸等畸變變換的圖像，A是B的原圖像，或稱參考圖像。若A與B的像素不同，則對(duì)像素較小的圖像補(bǔ)零元素，使其均為M×N像素的圖像，則它們的傅里葉變換如下：

(1)

在極坐標(biāo)系中，它們的關(guān)系如式(2)：

(2)

式中：σ是圖像在水平和垂直方向的變換系數(shù)，θ0是兩幅圖像之間的旋轉(zhuǎn)角度。由極坐標(biāo)的變換關(guān)系可得變換系數(shù)σ的定義如式(3)：

(3)

無(wú)需對(duì)圖像進(jìn)行快速傅里葉變換，我們就可以得到公式：

(4)

此時(shí)可以構(gòu)建一個(gè)mask圖像，使其滿足式(5)：

(5)

式中：τ是經(jīng)驗(yàn)參數(shù)，經(jīng)過(guò)大量實(shí)驗(yàn)及統(tǒng)計(jì)，其值在40左右最佳。本文選取τ為40。則B0的中心點(diǎn)計(jì)算如式(6)：

(6)

如果將點(diǎn)(r(B),θ(B))移動(dòng)到圖像B的中心，則新圖像可以通過(guò)式(7)表達(dá)：

B1(i,j)=B(i-r(B)+M/2,j-θ(B)+N/2)

(7)

式中：i∈[1,M]，j∈[1,N]。當(dāng)(i-r(B)+M/2,j-r(B)+N/2)超出[1,M]×[1,N]的范圍時(shí)，我們?cè)O(shè)B1(i,j)=0。 然后可以通過(guò)計(jì)算的出的比例系數(shù)σ來(lái)重定義B1的尺寸，使其與圖像A具有相同的尺寸，從而便于求解旋轉(zhuǎn)角度。變換尺寸后的圖像定義如式(8)所示：

(8)

式中：i∈[1,M]，j∈[1,N]，σ為計(jì)算出的比例系數(shù)。

2　快速互相關(guān)旋轉(zhuǎn)角求解

變換之后的圖像B2與參考圖像A之間的旋轉(zhuǎn)角度θ0可由Radon變換求解[7]。如我們所知，Radon變換的一般公式如式(9)所示：

(9)

式中：δ()代表狄拉克函數(shù)。

在此定義離散Radon變換中的A和B2分別為RA(r,θ)和RB(r,θ)。 可見(jiàn)RA(r,θ)與RB(r,θ)除了有一定的角度旋轉(zhuǎn)，其余是一樣的，即RA(r,θ)=RB(r,θ+θ0)。 雖然可以通過(guò)循環(huán)互相關(guān)方法來(lái)求解θ0，但這種方式的時(shí)間效率較低。由于我們?cè)诿恳徊接?jì)算中都需要變換圖像B，并且計(jì)算A與B2的差值，因此直接用循環(huán)互相關(guān)方法的時(shí)間復(fù)雜度為O(MN2)。

在此我們提出一種快速互相關(guān)方法。 兩個(gè)離散實(shí)值函數(shù)f(x)與g(x)之間的互相關(guān)函數(shù)如式(10)所示[8]：

(10)

易知f(x)與g(x)與的卷積如式(11)所示：

(11)

設(shè)h(x)=f(-x)，則函數(shù)f(x)與g(x)的互相關(guān)可由h(x)與g(x)的卷積表示如下：

(12)

與卷積定理類似，互相關(guān)的性質(zhì)也滿足式(13)的定義：

FFT{f×g}=FFT{h⊕g}=

FFT{h}·FFT{h}=

conj{FFT(f)}·FFT(g)

(13)

式中：FFT是快速傅里葉變換，conj是共軛算子，通過(guò)逆傅里葉變換就可以得到的f×g的快速求解。

基于以上分析，我們可以通過(guò)快速互相關(guān)方法求解旋轉(zhuǎn)角度θ0，由傅里葉變換的性質(zhì)易知其時(shí)間復(fù)雜度僅為O(M×L×lnL)。設(shè)RA和RB的每一個(gè)像素行分別為rA(n)和rB(n)，我們的目標(biāo)是求解互相關(guān)的最大值，也就是最匹配的rA(n)和rB(n)。 通過(guò)對(duì)rA(n)和rB(n)做一維快速傅里葉變換，可以得到共軛算子r′(u)={FFT(rA)·FFT(rB)}。通過(guò)對(duì)r′(u)進(jìn)行一維快速傅里葉變換的逆變換，可以得到r″(n)=IFFT{r′(u)}。 從而可以通過(guò)每一行像素變換的最大值得到旋轉(zhuǎn)位移參數(shù)以及旋轉(zhuǎn)角度。旋轉(zhuǎn)角度θ0如式(14)所示：

(14)

更一般地，設(shè)B3(i,j)是經(jīng)過(guò)位移和旋轉(zhuǎn)變換之后的圖像，A(i,j)是參考圖像，從而：

(15)

因此快速互相關(guān)公式可最終定義如式(16)：

fFC(i,j)=IFFT{conj[FA(x,y)gFB(x,y)]}

(16)

從而可得圖像的運(yùn)動(dòng)矢量估計(jì)如式(17)：

(17)

通過(guò)以上步驟，可實(shí)現(xiàn)完整的多類畸變圖像的高魯棒性配準(zhǔn)，本文提出的方法稱為MDR-IR(Multi Distorted Robust Image Registration)。算法的完整流程如圖1所示。首先將原始輸入圖像A、B進(jìn)行初步FTT變換，即第2節(jié)所述方法。其次對(duì)變換后的圖像進(jìn)行平移伸縮矯正。再對(duì)圖像進(jìn)行逆FFT迭代求參。接著對(duì)圖像進(jìn)行Radon變換和旋轉(zhuǎn)矯正。最后進(jìn)行扭曲矢量估計(jì)輸出配準(zhǔn)結(jié)果。

圖1　MDR-IR算法的總體流程圖

3　實(shí)驗(yàn)及分析

為了驗(yàn)證本文提出方法的有效性，本文設(shè)計(jì)了若干實(shí)驗(yàn)并將結(jié)果與現(xiàn)有方法進(jìn)行比較。實(shí)驗(yàn)選取兩個(gè)數(shù)據(jù)集：數(shù)據(jù)集一采用ImageNet。ImageNet含有15 000 000有標(biāo)記的高清圖片，這些圖片隸屬于超過(guò)22 000個(gè)類別。實(shí)驗(yàn)中我們從ImageNet中隨機(jī)抽取1 200 000個(gè)圖像作為訓(xùn)練集，另外抽取50 000作為參照?qǐng)D片。數(shù)據(jù)集二來(lái)自于LIVEImage Quality Assessment 數(shù)據(jù)庫(kù)[9]中的Relaease 1 數(shù)據(jù)集，包含808張圖像，其中有29張為原始的參考圖像。這些圖像中包含JPEG格式的圖像、JPEG2000格式的圖像，含有高斯白噪聲的圖像以及瑞利快速衰落信號(hào)的圖像。實(shí)驗(yàn)將原始圖像進(jìn)行扭曲、加噪。圖2顯示了數(shù)據(jù)集樣例。樣例中包括Monroe、Lena以及貓咪等圖像處理的效果測(cè)試領(lǐng)域國(guó)際通用的圖片。這類圖片被廣泛應(yīng)用于現(xiàn)有技術(shù)的評(píng)估中。其中第二列的圖像為扭曲圖像，第三列圖像為加高斯噪聲的扭曲圖像。算法代碼由C++實(shí)現(xiàn)，實(shí)驗(yàn)硬件平臺(tái)為普通2核PC機(jī)，軟件環(huán)境為Windows 7 Pro+Visual Stadio 2008。

圖2　實(shí)驗(yàn)數(shù)據(jù)集示例

3.1　噪聲環(huán)境下的圖像配準(zhǔn)測(cè)試

除了基本的圖像配準(zhǔn)測(cè)試，本節(jié)還測(cè)試了不同噪聲環(huán)境下，本文提出算法對(duì)于經(jīng)典測(cè)試圖像的配準(zhǔn)效果，并與IRG-SDLE[2]、NRI[4]以及形態(tài)學(xué)聚類圖像匹配[10]等方法進(jìn)行了比較。為了模擬噪聲環(huán)境，本文參照文獻(xiàn)[8]對(duì)畸變圖像在水平和垂直方向設(shè)置5個(gè)像素位移，并旋轉(zhuǎn)0.12弧度，并縮放到原圖的75%[8]。

表1顯示了不同算法在ImageNet圖像數(shù)據(jù)集上的配準(zhǔn)效果。其中，Translation表示對(duì)圖像進(jìn)行變換配準(zhǔn)的準(zhǔn)確性，Rotation 表示進(jìn)行旋轉(zhuǎn)配準(zhǔn)的準(zhǔn)確性，Scale代表圖像規(guī)模。實(shí)驗(yàn)結(jié)果表明，本文提出的MDR-IR算法無(wú)論對(duì)于Translation、Scale還是Rotation變換的配準(zhǔn)都是比較精確的，更重要的是，其圖像配準(zhǔn)性能在噪聲環(huán)境下是各算法中最穩(wěn)定的，顯示出了明顯的魯棒性。

表1　不同算法在ImageNet數(shù)據(jù)集上的配準(zhǔn)效果對(duì)比

表2顯示了不同算法在LIVEImage數(shù)據(jù)集上的的配準(zhǔn)效果對(duì)比。其中，Translation表示對(duì)圖像進(jìn)行變換配準(zhǔn)的準(zhǔn)確性，Rotation 表示進(jìn)行旋轉(zhuǎn)配準(zhǔn)的準(zhǔn)確性，Scale代表圖像規(guī)模。本文同時(shí)考慮不同的噪聲下的效果，取噪聲值分別為0, 40, 80。 從表2可以看出，本文方法對(duì)于圖像的處理也具有最高的準(zhǔn)確度和魯棒性。在噪聲為0的情況下，本文提高現(xiàn)有方法2到6個(gè)百分點(diǎn)。表明本文提出方法對(duì)噪聲環(huán)境，多類型畸變圖像配準(zhǔn)的有效性。

表2　不同算法在LIVEImage圖像數(shù)據(jù)集上的配準(zhǔn)效果對(duì)比

3.2　實(shí)驗(yàn)結(jié)果討論

由實(shí)驗(yàn)結(jié)果可知，本文提出的MDR-IR算法在多張實(shí)驗(yàn)圖像的配準(zhǔn)中取得較高的精度和魯棒性。在無(wú)噪聲的情況下，本文提出的MDR-IR對(duì)兩幅圖像的位移配準(zhǔn)都是完全精確的；旋轉(zhuǎn)配準(zhǔn)的平均準(zhǔn)確率高于其他對(duì)照算法約2～6個(gè)百分點(diǎn)；伸縮配準(zhǔn)的平均準(zhǔn)確率高于其他對(duì)照算法約3～7個(gè)百分點(diǎn)。在噪聲因子為σn=40的環(huán)境中，本文提出算法的配準(zhǔn)準(zhǔn)確率優(yōu)勢(shì)更加明顯，旋轉(zhuǎn)配準(zhǔn)的準(zhǔn)確率比其他方法高約9～21個(gè)百分點(diǎn)，伸縮配準(zhǔn)的準(zhǔn)確率高約13～18個(gè)百分點(diǎn)。當(dāng)圖像噪聲高達(dá)σn=80時(shí)，兩種對(duì)照算法已無(wú)法完成配準(zhǔn)任務(wù)，MDR-IR依然有著可接受的圖像配準(zhǔn)性能。

此外，本文提出算法在旋轉(zhuǎn)配準(zhǔn)方面的準(zhǔn)確率是與像素點(diǎn)數(shù)目M，N相關(guān)的。在實(shí)驗(yàn)中我們使用了360個(gè)樣本點(diǎn)來(lái)描述角度的旋轉(zhuǎn)，如果選擇更多的樣本點(diǎn)，旋轉(zhuǎn)角度配準(zhǔn)的Radon將會(huì)取得更高的精度。

4　結(jié)　語(yǔ)

本文提出了一種多類畸變圖像的高魯棒性配準(zhǔn)方法。該方法首先在Radon變換的技術(shù)上提出了互相關(guān)方法的低時(shí)間復(fù)雜度部署策略，其次提出了通過(guò)快速傅里葉變換與快速傅里葉變換的逆變換估計(jì)圖像配準(zhǔn)因子的方法，最終通過(guò)逐行迭代實(shí)現(xiàn)了算法的參數(shù)估計(jì)，達(dá)到了多類畸變圖像的配準(zhǔn)。

實(shí)驗(yàn)結(jié)果表明，本文提出算法對(duì)位移、旋轉(zhuǎn)和伸縮等多種形式的畸變圖像都有較高的配準(zhǔn)精度，并且隨著圖像噪聲的增強(qiáng)，配準(zhǔn)性能優(yōu)勢(shì)愈發(fā)明顯。因此本文提出算法是具有高度魯棒性的高精度圖像配準(zhǔn)算法，對(duì)提高相關(guān)應(yīng)用的性能有著積極的作用。特別是對(duì)于目前互聯(lián)網(wǎng)信息中圖像數(shù)據(jù)的比重日益增大的現(xiàn)狀[11]，本文提出的方法有更為重大的意義。

[1] Jia Hongjun,Wu Guorong,Wang Qian,et al.Directed graph based image registration[J].Computerized Medical Imaging and Graphics,2012,36(2):139-151.

[2] Smailovic Jasmina,Grcar Miha,Lavrac Nada,et al.Stream-based active learning for sentiment analysis in the financial domain[J].Information Science,2014,285(11):181-203.

[3] 梁棟,顏普,朱明,等.一種基于NSCT和SIFT的遙感圖像配準(zhǔn)算法[J].儀器儀表學(xué)報(bào),2011,32(5):1083-1088.

[4] van Velden F H,Nissen I A,Hayes W,et al.Effects of reusing baseline volumes of interest by applying (non-)rigid image registration on positron emission tomography response assessments[J].Plos One,2014,9(1):e87167.

[5] Cambria E,Olsher D,Rajagopal D.SenticNet 3:a common and common-sense knowledge base for cognition-driven sentiment analysis[C]//Twenty-Eighth AAAI Conference on Artificial Intelligence.AAAI Press,2014:1515-1521.

[6] 易盟.基于特征點(diǎn)的圖像配準(zhǔn)及其在穩(wěn)像中的應(yīng)用[D].西安電子科技大學(xué),2013:10-15.

[7] Averbuch A,Coifman R R,Donoho D L,et al.A Framework for Discrete Integral Transformations I-The Pseudopolar Fourier Transform[J].Siam Journal on Scientific Computing,2007,30(2):764-784.

[8] Nikolic D,Muresan R C,Feng W,et al.Scaled correlation analysis:a better way to compute a cross-correlogram[J].The European journal of neuroscience,2012,35(5):742-762.

[9] http://live.ece.utexas.edu/research/quality/subjective.htm.

[10] 彭紅.基于形態(tài)學(xué)聚類算法圖像配準(zhǔn)仿真研究[J].計(jì)算機(jī)仿真,2012,29(2):257-260.

[11] 戴禮燦.大數(shù)據(jù)檢索及其在圖像標(biāo)注與重構(gòu)中的應(yīng)用[D].中國(guó)科學(xué)技術(shù)大學(xué),2013:25-28.

[12] 倪國(guó)強(qiáng),劉瓊.多源圖像配準(zhǔn)技術(shù)分析與展望[J].光電工程,2004,31(9):1-6.

[13] 張銳娟,張建奇,楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程,2009,38(1):160-165.

[14] 劉斌,彭嘉雄.圖像配準(zhǔn)的小波分解方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2003,15(9):1070-1073.

[15] 周鵬,譚勇,徐守時(shí).基于角點(diǎn)檢測(cè)圖像配準(zhǔn)的一種新算法[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2002,32(4):455-461.

[16] 劉小軍,楊杰,孫堅(jiān)偉,等.基于SIFT的圖像配準(zhǔn)方法[J].紅外與激光工程,2008,37(1):156-160.

[17] 蘇娟,林行剛,劉代志.一種基于結(jié)構(gòu)特征邊緣的多傳感器圖像配準(zhǔn)方法[J].自動(dòng)化學(xué)報(bào),2009,35(3):251-257.

[18] Herman G T,Natterer F.Mathematical Aspects of Computerized Tomography[M]//Lecture Notes in Medical Informatics.Mathematical Aspects of Computerized Tomography.Springer Berlin Heidelberg,1981.

[19] Kent R D,Majmudar N,Schlesinger M.Distributing Fast Fourier Transform Algorithms for Grid Computing[M]//High Performance Computing Systems and Applications.Springer US,2002:407-424.