多維度視覺傳達(dá)下投影變換圖像配準(zhǔn)仿真

鞠東庭，楊東林

(長春理工大學(xué)光電信息學(xué)院，吉林 長春 130114)

1 引言

圖像配準(zhǔn)為計算機(jī)視覺相關(guān)技術(shù)中的一個較為基本的問題，在目標(biāo)分類、相機(jī)自校正、目標(biāo)識別、三維圖像重構(gòu)等方面均有廣泛應(yīng)用。一般情況下，圖像配準(zhǔn)使用在圖像的預(yù)處理階段，可以對在同一場景內(nèi)的不同成像條件下所得到的圖像進(jìn)行疊加匹配，形成一個關(guān)于此場景的新的解釋。

近幾年，對圖像配準(zhǔn)的研究逐漸增多，樊彥國等人[1]提出了一種基于ORB(Oriented FAST and Rotated BRIEF)與RANSAC(Random Sample Consensus)融合改進(jìn)的圖像配準(zhǔn)。該方法首先對傳統(tǒng)的特征提取方法進(jìn)行優(yōu)化，隨后構(gòu)建出金字塔式的尺度空間模型，以改進(jìn)尺度空間結(jié)構(gòu)，減少圖像層數(shù)的生成。通過實驗證明，該方法具有一定的有效性，能夠基本滿足圖像匹配的精度要求，但是算法的運算效率較低，不能實現(xiàn)同步性。趙杰等人[2]提出了一種變參數(shù)active demons算法下的多通道彌散張量圖像配準(zhǔn)。該方法將active demons算法中的平衡系數(shù)可以使收斂速度增加。在配準(zhǔn)的初始階段，采用數(shù)值較小的平衡系數(shù)能夠使收斂速度升高，且隨著首先的逐漸加深增大平衡系數(shù)來提高配準(zhǔn)精度。通過實驗證明，該方法的配準(zhǔn)精度較高，且具有一定的實時性，但是不能較為完整地保留圖像邊緣信息，使配準(zhǔn)性能降低。

為實現(xiàn)多維度多角度的圖像配準(zhǔn)，本文提出了一種多維度視覺傳達(dá)下投影變換圖像配準(zhǔn)仿真。采用LOG算子對圖像輪廓進(jìn)行提取，LOG算子為一種使用高斯濾波器平滑處理圖像后的圖像邊緣檢測算子，能夠更完整地保留圖像的邊緣特征。采用傅里葉特征匹配方法獲得不同圖像的輪廓匹配點對，將該點對作為映射點，通過投影變換方法完成圖像配準(zhǔn)的全過程。仿真表明本文方法的匹配準(zhǔn)確率較高，均方根誤差較低，魯棒性較好。

2 基于多維度視覺傳達(dá)的投影變換圖像配準(zhǔn)

通過LOG算子提取出圖像輪廓，使得配準(zhǔn)后的圖像能夠保留下不同分辨率特征下所表現(xiàn)出的不同特征。利用傅里葉特征匹配算法對不同圖像中互相對應(yīng)輪廓進(jìn)行匹配，獲得匹配點對，并將其作為下一步的圖像配準(zhǔn)的映射點，最后通過投影變換完成輪廓點的一一映射，得到配準(zhǔn)后圖像。

2.1 圖像輪廓提取

LOG算子為一種使用高斯濾波器平滑處理圖像后的圖像邊緣檢測算子。高斯濾波器的對應(yīng)函數(shù)可以表示為

(1)

式(1)中，e表示圖像重合率，σ表示空間尺度。根據(jù)線性系統(tǒng)中微分和卷積具有交換性[3]，將拉普拉斯算子和高斯平滑濾波相融合，形成一個LOG算子如下

(2)

通過對符號變化的判斷即可確定零點位置。在實際操作的過程中可以將LOG算子視為沿著x、y兩個方向的卷積，實現(xiàn)快速計算。

(3)

式(3)中，I(x，y)表示卷積圖像，K1、K2表示LOG算子x、y兩個方向上的簡化系數(shù)，兩個方向的卷積如下

(4)

(5)

隨后進(jìn)行輪廓線提取，傳統(tǒng)的雙閾值法搜索連續(xù)輪廓線，首先假設(shè)兩個方向的閾值分別為T1、T2，將卷積值小于T2且大于T1的像素點作為候選輪廓點。但是雙閾值方法不能完整地保存強(qiáng)度圖的總體分布形狀[4]。為解決該問題，本文對其進(jìn)行改進(jìn)，采用一種居于單閾值的輪廓搜索方法。

由于通過LOG算子處理后的圖像在過零點處存在單一寬度性質(zhì)，而多維度視覺傳達(dá)主要關(guān)注的是圖像多角度的視覺特征，因此以統(tǒng)計意義上占大多數(shù)的過零點為主要提取的輪廓。將圖像的直方圖函數(shù)[5]H(i)的第一個極小值為閾值，如下

(6)

式(6)中，H表示直方圖函數(shù)，i表示圖像函數(shù)，0

擴(kuò)展后的輪廓搜索方向確定準(zhǔn)則為：

1)3×3領(lǐng)域的搜索方向為

d1=(d1+i)mod8

(7)

2)4×4領(lǐng)域搜索方向：

d2=(d2+i)mod16

(8)

3)d1到d2的方向可以表示為：(d2-d1)mod8。

2.2 多維度圖像特征匹配

設(shè)C表示輪廓的閉合邊界，根據(jù)其周期性和封閉性特征，將邊界上的一固定點b作為起點沿曲線以逆時針方向勻速運動，獲得函數(shù)z(t)，其中t表示時間變量。若周期為2π，則z(t)用傅里葉系數(shù)可以表示為

(9)

式(9)中，Cn表示C的傅里葉描述因子[7]。假設(shè)L表示曲線長度，l表示沿曲線弧長，令

(10)

則通過傅里葉系數(shù)可得

(11)

這里，z(t)為曲率函數(shù)。假設(shè)輪廓C是由N個輪廓點組合而成，其序列是(xl，yl)，0≤l≤N-1。則輪廓中的某點曲率可以通過該點的切線變化對弧長的微分[8]來表示，即

(12)

式(12)中，θ表示邊緣切向的角度函數(shù)[9]。

曲率函數(shù)由于其自身特征能夠使像圖像的形狀特征在平移的情況下也保持不變，僅使用傅里葉系數(shù)的模，省略其余相位信息能夠保證圖像即使發(fā)生旋轉(zhuǎn)也不會產(chǎn)生變化，同時為了能夠使形狀特征不受縮放的影響，使每個傅里葉模的值均除以直流分量。這樣就可以在僅有少數(shù)低階系數(shù)的情況下，獲得高質(zhì)量的輪廓形狀表示。各輪廓的描述子可以表示為

fk={|F1|，|F2|，|F3|，|F4|，|F5|}

(13)

將每個輪廓形狀的描述子視為該形狀的特征向量，那么圖像輪廓間的相似問題就可轉(zhuǎn)化成多維特征向量問題。設(shè)在參照圖像中提取了m個能夠閉合的輪廓，在帶配準(zhǔn)圖像中提取了n個能夠閉合的輪廓，則隨機(jī)選擇兩個形狀特征向量，二者間的相關(guān)距離可以定義為

(14)

計算出形狀特征相關(guān)距離后，即可獲得不同輪廓間的特征距離矩陣|dij|。以最小距離分類原則為依據(jù)得出滿足式(15)、式(16)條件的不同輪廓即可被認(rèn)為具有相似性。

(15)

(16)

式(16)中，T表示閾值。根據(jù)以上算法即可獲得輪廓對，計算出其重心后作為下文投影變換圖像配準(zhǔn)的映射點。

2.3 基于投影變換的多視角圖像配準(zhǔn)

為實現(xiàn)多視角的圖像配準(zhǔn)，必須尋找到不同圖像之間的變換關(guān)系，因此本文采用改進(jìn)后的投影變換完成各圖像的映射。投影變換主要是將平面上一定投影至另外一個平面上，由于多維度圖像配準(zhǔn)針對三維圖像，因此此處主要將2D投影變換轉(zhuǎn)換為3D坐標(biāo)變換中的一個子集?？紤]將3D空間中的點投影至視點不同的不同平面圖像上，其關(guān)系如圖1所示。

圖1 投影變換示意圖

對于一個中心定位在原點的相機(jī)，3D空間中的點(X，Y，Z)，其像素坐標(biāo)點u(x，y，l)可以表示為

u=V·U

(17)

式(17)中，V為相機(jī)參數(shù)。因此，若U表示對應(yīng)像素u的3D坐標(biāo)點，則U點坐標(biāo)可以表示為U=V-1u。兩個不同圖像像素u和u′間的透視投影關(guān)系可以表示為

u′=V·R·U=V·R·V-1·u=M·u

(18)

式(18)中，R為3D旋轉(zhuǎn)矩陣。

二維投影變換是主要與齊次三維矢量線性變換相關(guān)[10]，在齊次坐標(biāo)系條件下，二維投影變換可用式(19)的非奇異矩陣描述

(19)

剛體變換由旋轉(zhuǎn)變換、平移變換和縮放變換組合，仿射變換為剛體變換中的一般變換，在齊次坐標(biāo)條件下，2D空間中兩種變換所對應(yīng)的矩陣可以表示為

(20)

式(20)中，θ表示旋轉(zhuǎn)變換過程中的旋轉(zhuǎn)角，tx表示平移變換的水平方向平移分量，ty表示垂直方向平移分量。

一般情況下，笛卡爾坐標(biāo)系中的仿射變換可以通將像素坐標(biāo)(x，y)映射為像素坐標(biāo)(x′，y′)如下

(21)

投影變換則可以通過式(21)將(x，y)映射成(x′，y′)如下

(22)

映射完成后即可得到配準(zhǔn)后圖像。

3 仿真研究

3.1 仿真環(huán)境

仿真硬件環(huán)境為：Intel Core 2 Quad Q8200，2.33 GHz，8 G內(nèi)存的PC；軟件開發(fā)環(huán)境為：Window 10 64位操作系統(tǒng)，Visual Studio 2019編程環(huán)境。選取H2OPM Image Registration Dataset數(shù)據(jù)集中，兩組720×1024像素大小的圖像作為實驗樣本，如圖2所示。

圖2 測試圖像

3.2 實驗指標(biāo)

為證明配準(zhǔn)方法的有效性，采用以下指標(biāo)進(jìn)行綜合評價：

1)以匹配正確率為評判指標(biāo)對匹配的精度進(jìn)行評價，正確率值越大則精度越高，正確率的計算公式如下

CMR=Nc/N′

(23)

式(23)中，N′表示全部匹配點對數(shù)量，Nc表示正確的匹配點數(shù)。

2)以均方根誤差為指標(biāo)對匹配精度進(jìn)行匹配。均方根越大則說明參考圖像和配準(zhǔn)所得圖像的距離越大，也就是說該值越大則配準(zhǔn)精度越低。均方根誤差的數(shù)學(xué)表達(dá)式如下

(24)

3.3 配準(zhǔn)效果

為驗證所提算法的配準(zhǔn)效果，基于上述實驗環(huán)境，對比所提算法、文獻(xiàn)[1]及文獻(xiàn)[2]算法的圖像配準(zhǔn)效果。紅框區(qū)域為配準(zhǔn)有誤之處，結(jié)果如圖3所示。

圖3 不同算法配準(zhǔn)效果

從圖3中可以看出，文獻(xiàn)[1]、文獻(xiàn)[2]方法的兩組圖像配準(zhǔn)后圖像邊緣位置有明顯錯位，而本文方法僅在圖組1中的配準(zhǔn)中出現(xiàn)了兩處微小錯誤，且圖像較為清晰，邊緣特征保存較為完好，證明所提算法具有一定的實際應(yīng)用價值。

3.4 配準(zhǔn)運算時間與準(zhǔn)確度

對比分析所提方法的配準(zhǔn)結(jié)果和文獻(xiàn)[1]、文獻(xiàn)[2]方法的運算時間與測試結(jié)果如表1所示。

表1 不同算法的運算時間和精配準(zhǔn)對數(shù)

從表1中可以看出，相比于文獻(xiàn)[1]、文獻(xiàn)[2]算法，所提算法保留了更多的精匹配點對，且運行速度較快，這是由于本文采用了更適用于多維度多視角的LOG算子進(jìn)行圖像輪廓的提取，使得提取得到的匹配點對更多，提高匹配的準(zhǔn)確率。不同算法的匹配正確率和均方根誤差分別如表2、表3所示。

表2 不同方法配準(zhǔn)正確率對比

表3 不同算法均方根誤差

從表2、表3中可以看出，本文方法在兩組圖中的匹配準(zhǔn)確度均高于其它兩種方法，且均方根誤差最低，這是由于本文方法在進(jìn)行輪廓提取時，擴(kuò)大了搜索領(lǐng)域，提高了輪廓點對的匹配率，同時在使用投影變換的過程中實現(xiàn)了二維到三維的轉(zhuǎn)換，能夠在圖像的不同維度間進(jìn)行點的映射。

4 結(jié)束語

本文結(jié)合投影變換，給出了一種基于多維度視覺傳達(dá)下投影變換圖像配準(zhǔn)仿真。實驗結(jié)果表明使用投影變換模后的匹配精度較傳統(tǒng)方法有所提高，采用本文方法進(jìn)行圖像拼接后，無明顯的模糊現(xiàn)象和幾何變形，邊緣部分過度良好，且運算速度要優(yōu)于傳統(tǒng)方法。