基于邊緣特征點的全景圖像拼接算法

萬年紅，王雪蓉

(浙江東方職業(yè)技術(shù)學(xué)院工程技術(shù)系，浙江溫州 325011)

?

基于邊緣特征點的全景圖像拼接算法

萬年紅，王雪蓉

(浙江東方職業(yè)技術(shù)學(xué)院工程技術(shù)系，浙江溫州 325011)

全景圖像拼接技術(shù)已經(jīng)成為圖像處理領(lǐng)域中的一個研究熱點.傳統(tǒng)的基于特征的全景圖像拼接方法存在旋轉(zhuǎn)、扭曲對匹配結(jié)果影響較大的缺點，拼接質(zhì)量不高.為改善和提高拼接效果和擴(kuò)展度，首先對圖像邊緣特征點的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)的求解、融合等方面展開研究，然后基于此改進(jìn)相應(yīng)算法，提出一種基于邊緣特征點的全景圖像拼接算法，并進(jìn)行了應(yīng)用實驗.實驗結(jié)果表明，所給算法比傳統(tǒng)算法具有更良好的拼接效果和實用價值.

全景圖像拼接；邊緣特征點；圖像配準(zhǔn)；幾何坐標(biāo)優(yōu)化；最優(yōu)投影變換；圖像融合

全景圖像拼接是將取自不同視角的有重疊部分的若干幅圖像拼成一幅高分辨率圖像的技術(shù).隨著圖像處理技術(shù)的發(fā)展，全景圖像拼接技術(shù)已經(jīng)成為圖像處理領(lǐng)域中的一個研究熱點.目前，學(xué)界已經(jīng)提出了多種全景圖像拼接算法，如基于特征的方法、基于頻域的方法、基于像素的方法以及基于灰度相關(guān)的方法等.其中，基于特征的方法對圖像旋轉(zhuǎn)和尺度變化等均具有不變性，對灰度變化、圖像形變以及遮擋等都有較好的適應(yīng)能力，相比其它方法更具有穩(wěn)定性和魯棒性，被廣泛應(yīng)用于目標(biāo)識別、虛擬現(xiàn)實等領(lǐng)域[1-10].關(guān)于基于特征的方法的研究成果也很多，例如，曹世翔等人提出一種快速有效的邊緣特征點提取方法，實現(xiàn)了多分辨率圖像的融合從而完成拼接[1]；宗巖等人在傳統(tǒng)SIFT算法的基礎(chǔ)上對圖像拼接中的特征匹配和圖像融合兩個關(guān)鍵部分進(jìn)行了改進(jìn)，改進(jìn)后的算法能有效去除運動重影現(xiàn)象[2]；曾丹等人提出了基于全局拓?fù)浣Y(jié)構(gòu)的分級三角剖分圖像拼接方法，大大減少了投影變換矩陣計算點數(shù)[9].隨著研究的深入，傳統(tǒng)的基于特征的全景圖像拼接方法的誤匹配特征點個數(shù)在逐漸減少，配準(zhǔn)精度已提高到亞像素水平，同時配準(zhǔn)和拼接的時間也在大幅縮短[1]，在收斂速度、精度、計算量方面都有優(yōu)勢.但是，傳統(tǒng)的基于特征的全景圖像拼接方法也存在圖像尺度的比例變化、旋轉(zhuǎn)、扭曲對匹配結(jié)果影響較大的缺點[9]，相鄰圖像的重疊部分的誤匹率仍然比較高，因此，算法精度和速度仍然是全景圖像拼接技術(shù)的核心研究問題.

本文針對已有研究的不足，從圖像邊緣特征點的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)的求解、融合等角度考慮，提出一種新的基于邊緣特征點的全景圖像拼接算法，簡記為PMABTEFP（Panorama Mosaic Algorithm Based on The Edge Feature Points）.

1 PMABTEFP總體架構(gòu)

全景圖像拼接算法一般包括全景模型選擇、圖像采集、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合及全景圖展示瀏覽等步驟[11-13]，其中圖像配準(zhǔn)與圖像融合是兩個最重要的步驟，全景圖像拼接的基礎(chǔ)是圖像配準(zhǔn)與圖像融合.因此，PMABTEFP總體架構(gòu)分為圖像邊緣特征點的配準(zhǔn)、幾何坐標(biāo)優(yōu)化、空間坐標(biāo)變換、最優(yōu)投影變換參數(shù)求解、融合及基于邊緣特征點的全景圖像拼接算法等模塊.PMABTEFP總體架構(gòu)如圖1所示.

PMABTEFP的流程如下：1）圖像邊緣特征點配準(zhǔn).分別求解待配準(zhǔn)圖像與參考圖像之間的邊緣特征點集，通過邊緣特征點在樹中的路徑，將剖分關(guān)系映射到參考圖像點集，并求解邊緣特征點在樹中的最短路徑長度；2）優(yōu)化圖像邊緣特征點幾何坐標(biāo).通過指數(shù)映射算法將空間幾何坐標(biāo)變換到球面坐標(biāo)，通過矩陣?yán)钊哼M(jìn)行旋轉(zhuǎn)變換、縮放變換、仿射變換和投影變換，將幾何形變映射拉回最優(yōu)流形方向；3）通過目標(biāo)轉(zhuǎn)換函數(shù)、黎曼指數(shù)映射、嘉當(dāng)分解、嘉當(dāng)對合、切空間內(nèi)積變換圖像邊緣特征點空間坐標(biāo)；4）通過最優(yōu)投影變換參數(shù)、灰度變換求解圖像邊緣特征點最優(yōu)投影變換參數(shù)；5）通過輸入圖像的插值結(jié)果圖和誤差度量函數(shù)進(jìn)行圖像邊緣特征點融合處理；6）設(shè)計基于邊緣特征點的全景圖像拼接算法.

1.1 圖像邊緣特征點配準(zhǔn)

圖像邊緣特征點配準(zhǔn)即特征點選擇與對齊.基于圖像特征配準(zhǔn)的全景圖像拼接關(guān)鍵的第一步是依賴明顯的基準(zhǔn)特征塊的檢測提取，也即通過自動或手動方式將圖像中如封閉曲線、輪廓線、邊界、交叉點、線條、角度等突出明顯的邊緣特征點檢測出來.從眾多的邊緣特征參數(shù)中選擇與提取合適的圖像邊緣特征點，以實現(xiàn)全景圖像拼接算法中計算精度和計算量之間的平衡，是一個難點.對此，文獻(xiàn)[1]指出卷積核與圖像卷積中的極值點是圖像的穩(wěn)定特征點，算子中包含歸一化尺度因子，基于差分去噪和旋轉(zhuǎn)不變的優(yōu)點，得到的特征點對旋轉(zhuǎn)、平移和光照等噪聲有非常好的魯棒性[1].但文獻(xiàn)[1]所提的方法計算代價較高，全景圖像拼接時顯得過于冗余，且會產(chǎn)生較多的誤匹配，使拼接精度降低，并不能反映灰度變化、圖像形變以及遮擋等的適應(yīng)能力.為此需要對該方法進(jìn)行改進(jìn).

圖1 PMABTEFP總體架構(gòu)

設(shè)待配準(zhǔn)圖像與參考圖像間的邊緣特征匹配點分別組合成Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝點集，拼接圖為G(V, E,ω)，其生成樹為T，權(quán)值ω為比率量，n是兩圖之間1∶1的邊緣特征匹配點數(shù)，對Si建立剖分集合Ti=｛1,2,…,m｝，且頂點u, v在樹T中的路徑為Si(u, v)=(u=r1, r2,…, rn=v)，并將剖分關(guān)系映射到點集Oi，u, v在樹T中的最短路徑長度dT(u, v)可表示為路徑中各邊權(quán)值的累加.改進(jìn)前配準(zhǔn)圖像u與參考圖像v之間的邊緣特征點配準(zhǔn)公式參見文獻(xiàn)[1]，則改進(jìn)后的公式如式（1）所示：

與改進(jìn)前的公式相比，式（1）對原公式的最大改進(jìn)是實現(xiàn)了頂點 ,u v在樹T中的路徑選擇，對iS建立剖分集合iT，并將剖分關(guān)系映射到點集iO中.式（1）提出的在邊緣圖像中提取圖像邊緣特征點的方法是在小波變換下完成的，即能夠根據(jù)邊緣特征點集的拓?fù)浣Y(jié)構(gòu)對邊緣特征點集進(jìn)行分級剖分，從而實現(xiàn)配準(zhǔn)，大幅減少匹配數(shù)目，提高全景圖像拼接精度.因此，相比改進(jìn)前的算法，式（1）根據(jù)網(wǎng)格的配準(zhǔn)關(guān)系，逐步將多對多的不確定匹配降為一對一配準(zhǔn)，具有平移、縮放、旋轉(zhuǎn)不變性等特性，同時對光照變化、仿射及投影變換也有一定的不變性，更具有穩(wěn)定性和魯棒性.

1.2 圖像邊緣特征點幾何坐標(biāo)優(yōu)化

圖像邊緣特征點配準(zhǔn)可以將在不同視點處采集的圖像處于各自獨立的坐標(biāo)系中，所以需要找出這些坐標(biāo)系間的剛體置換矩陣，然后將所有的邊緣特征點變換到同一個坐標(biāo)系中.但是，在配準(zhǔn)過程中使用圖像處理的方法提取兩幅紋理圖像上的若干興趣特征點時，缺乏正確匹配的特征點，并且受幾何噪聲影響；另外，幾何坐標(biāo)優(yōu)化的總體思想是將三維空間中邊緣特征點的低維幾何特征映射到二維空間，然后利用圖像配準(zhǔn)方法和邊緣特征點的幾何信息找出匹配的邊緣特征點，這就需要討論邊緣特征點的幾何優(yōu)化框架.邊緣特征點幾何優(yōu)化框架采用全景圖像拼接流形坐標(biāo)優(yōu)化算法[13]，使用8參數(shù)模型、拉回映射映射和黎曼指數(shù)映射將平移變換、平移加旋轉(zhuǎn)變換（即剛性變換）、縮放變換（即相似變換）、仿射變換和投影變換等幾何變換帶來的幾何形變映射回最優(yōu)流形方向，再通過灰度相關(guān)系數(shù)來準(zhǔn)確確定變換函數(shù).圖像邊緣特征點配準(zhǔn)的必要條件是通過指數(shù)映射算法將空間幾何坐標(biāo)（Vx，Vy，Vz）變換到球面坐標(biāo)（Vδ，Vφ，Vh），然后根據(jù)接收到的全景圖像拼接幾何坐標(biāo)來求解空間變換模型中的未知參數(shù)以及建立變換函數(shù)或映射公式.因此基于指數(shù)映射的幾何優(yōu)化算法是構(gòu)成配準(zhǔn)坐標(biāo)變換與投影算法的理論基礎(chǔ).當(dāng)變換函數(shù)建立后，坐標(biāo)也隨之一致化，進(jìn)而求得變換參數(shù)的關(guān)聯(lián)矩陣初始值，這樣就把全景圖像拼接的必要條件問題轉(zhuǎn)化成了尋找最佳幾何變換參數(shù)和關(guān)聯(lián)矩陣的問題.對幾何優(yōu)化算法的研究，文獻(xiàn)[13]提出的基于李群代數(shù)的二階最小化方法，用黎曼指數(shù)映射替代李群指數(shù)映射，可以在內(nèi)蘊幾何優(yōu)化的框架下找回被高斯-牛頓迭代算法遺棄的赫森矩陣信息，從而提高了拼接的精確度，但是該傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法對圖像邊緣特征點的區(qū)分度較差，對環(huán)境光照、自遮擋及曝光條件依然敏感，計算過程復(fù)雜且耗時，易造成誤匹配，因此，需要對傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法進(jìn)行改進(jìn).

引入?yún)?shù)ω，t是矩陣?yán)钊篗上的一點，若 Si和Oi中已包含紋理圖像，x是t鄰域內(nèi)一點，對于邊緣特征點中的興趣點，直接提取它們并轉(zhuǎn)換成灰度圖像，S=(S1, S2,…,Sn)是待配準(zhǔn)的n幅深度圖像的輸入序列；若Si和Oi中不包含紋理圖像，在邊緣特征點中對應(yīng)的點不存在，則刪除該點，并根據(jù)深度圖像，生成紋理圖像點.因此結(jié)合1.1中的圖像邊緣特征點配準(zhǔn)方法D(u, v)，對傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法進(jìn)行改進(jìn)的公式可具體表示為式（2）：

與傳統(tǒng)的基于指數(shù)映射的幾何優(yōu)化算法相比，由于各種原因，對于輸入的深度圖像，式（2）具有先對所有相鄰的兩幅圖像做配準(zhǔn)的功能，并且子圖塊最后計算的灰度相關(guān)系數(shù)小于1.這樣就可以將整個掃描序列集中分布在某一區(qū)域，將待拼接的圖像邊緣特征點分成與合并為若干個條帶，最終生成一個完整的模型，在同一條帶中的深度圖像之間不再做配準(zhǔn)，因此顯著地減小了配準(zhǔn)過程的時間.

1.3 圖像邊緣特征點空間坐標(biāo)變換

大多數(shù)配準(zhǔn)方法都是基于局部幾何坐標(biāo)優(yōu)化框架匹配的，低維特征的計算速度相對較快，但所蘊含的信息量少，圖像中存在噪聲和幾何缺陷[11].另外，為了減少因局部圖像拼接錯誤或誤差而造成的全局圖像拼接錯誤和積累誤差，許多方法采用圖像邊緣特征點空間坐標(biāo)拼接模型，以形成全局一致的全景圖像[10].因此，在進(jìn)行全景圖像拼接時不僅需要考慮圖像邊緣特征點的幾何坐標(biāo)優(yōu)化框架，還需要變換圖像邊緣特征點的空間坐標(biāo).

引進(jìn)目標(biāo)轉(zhuǎn)換函數(shù)μ和黎曼指數(shù)映射[13]把任意一個空間坐標(biāo)(Vx, Vy, Vz,ω)變換到球面坐標(biāo)(Vδ, Vφ, Vh,ω).目標(biāo)轉(zhuǎn)換函數(shù)μ是一個被定義為對于任意特征點(Vx, Vy, Vz)、以波長Ρ、任意視角(θ-κ)、任意時間t、任意時差ω通過該視角的灰度屬性的8維函數(shù)：

引進(jìn)函數(shù)μ的作用：流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形（平移、縮放和旋轉(zhuǎn)等）等方面的差別消除在于尋求適當(dāng)?shù)淖鴺?biāo)變換函數(shù)或映射公式，求解4個坐標(biāo)分量Vδ,Vφ, Vh,ω的方程式，從而使空間坐標(biāo)(Vx, Vy, Vz,ω)與參考坐標(biāo)(Vδ,Vφ, Vh,ω)精確匹配.

黎曼指數(shù)映射[13]，針對李群指數(shù)映射的每一點切空間的光強(qiáng)差異，通過嘉當(dāng)分解和嘉當(dāng)對合賦予一個內(nèi)積所建立的全局映射公式，可以按照普通意義上的矩陣指數(shù)對流形坐標(biāo)的差別進(jìn)行融合，避免計算煩瑣的赫森矩陣[13]，從而獲得高效坐標(biāo)轉(zhuǎn)換效果.但是黎曼指數(shù)映射是僅利用一種模型對各種邊緣特征點提取模式進(jìn)行建模，需進(jìn)行插值和濾波等限制配準(zhǔn)精度的操作，動態(tài)場景檢測功能不足，不能對圖像中重要的結(jié)構(gòu)信息進(jìn)行顯式建模.由于圖像表觀通常是物體邊界、線條等結(jié)構(gòu)基元和紋理基元，因此可以通過切空間的內(nèi)積、嘉當(dāng)分解和嘉當(dāng)對合[13]來求解圖像邊緣特征點的空間坐標(biāo).為此，需要對傳統(tǒng)的黎曼指數(shù)映射進(jìn)行改進(jìn)，即提出一個專門優(yōu)化圖像邊界、線條、紋理的檢測性空間坐標(biāo)指數(shù)映射公式.

設(shè)I(Vx, Vy, Vz,ω)是t時刻的坐標(biāo)點，I′是對坐標(biāo)的偏導(dǎo)數(shù)，下一個坐標(biāo)點通過對圖像邊緣

特征點作細(xì)微的操作導(dǎo)出，行列式元素為1的n階實李群矩陣為SL(n, R)，矩陣指數(shù)為exp(A)=，矩陣?yán)钊旱拿恳贿吘壧卣鼽c的切空間的內(nèi)積為＜A, B＞=＜ABt＞.若?r∈SL(n, R)，其相應(yīng)的嘉當(dāng)分解為嘉當(dāng)對合為r=r→-rt，并且坐標(biāo)之間滿足關(guān)系I(Vx+Δx, Vy+Δy, Vz+Δz,ω)=I(Vx, Vy, Vz,ω)，則結(jié)合1.1節(jié)圖像邊緣特征點檢測方法和1.2節(jié)圖像邊緣特征點幾何坐標(biāo)優(yōu)化框架，圖像邊緣特征點空間坐標(biāo)的指數(shù)映射公式可按式（4）進(jìn)行改進(jìn)：

式（4）的貢獻(xiàn)：由于各邊緣特征點的構(gòu)成維度與流形結(jié)構(gòu)不同，在R(t, r, A, B)連續(xù)迭代處理過程中，位置信息、流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形都是不斷變化的，因此，需通過實李群矩陣SL(n, R)、矩陣指數(shù)exp(A)、切空間的內(nèi)積＜A, B＞、嘉當(dāng)分解及嘉當(dāng)對合的綜合作用對位置信息進(jìn)行初步匹配更新，在當(dāng)前迭代的R(t, r, A, B)上尋找一個具有最大檢測率（即李群指數(shù)映射的光強(qiáng)差異率）的求解空間坐標(biāo)(Vx, Vy, Vz,ω).如果新的位置信息中最大檢測率優(yōu)于歷史最大檢測率，即針對更復(fù)雜的位置信息樣本，則用新的位置信息的最大檢測率替代全局歷史最大檢測率.相比改進(jìn)前，式（4）使那些被錯誤匹配的邊界、線條、紋理基元等邊緣特征點得到進(jìn)一步的匹配，從而提高了匹配的精度，有效保證了結(jié)果的即時性和正確性，減少了插值和濾波操作，支持多種模型對各種邊緣特征點模式進(jìn)行建模.

1.4 圖像邊緣特征點最優(yōu)投影變換參數(shù)的求解

在實際應(yīng)用場合中，待配準(zhǔn)圖像與參考圖像之間可能存在剛體、仿射、投影和非線性等變換類型.因為圖像邊緣特征點是無限多的，如果變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，但平行關(guān)系基本不保持，這樣的變換稱為投影變換.由投影理論可知，同一物體在不同角度的影像存在空間關(guān)系的區(qū)別和相鄰圖像之間的光強(qiáng)差異的問題，投影變換關(guān)鍵在于求解投影變換參數(shù).當(dāng)獲取最優(yōu)投影變換時，模板圖像和變形圖像的梯度應(yīng)該非常接近.下面給出求解圖像邊緣特征點最優(yōu)投影變換參數(shù)的方法.

給定待配準(zhǔn)圖像 I1(x, y)和 I2(x, y)，s是三維空間坐標(biāo)變換，h是二維的灰度變換，則雙重映射變換可表示為I2(x, y)=h(I1(s(x, y ))).利用這個信息既可以避免復(fù)雜的赫森矩陣的計算，又可通過在最優(yōu)變換處的雅可比一階泰勒展開得到被高斯牛頓迭代遺棄的赫森矩陣信息，從而獲得高效算法[13].

假設(shè)L、M、N分別表示縮放、旋轉(zhuǎn)、平移，則對應(yīng)的圖像邊緣特征點最優(yōu)投影變換參數(shù)由8個參數(shù)l11,l12,l21,l22,m1,m2,n1, n2來決定：

其中，

對于參數(shù)l11,l12,l21,l22,m1,m2,n1, n2的求解,可以用下面的步驟來實現(xiàn).

若對G(x, y)中任意一點(x, y)通過縮放變換變?yōu)?x′, y′)，則可表示為：

(x′, y′)可以表示成l11,l12,l21,l22,m1,m2,n1, n2的可逆邊緣特征點，進(jìn)而可以求得l11,l12,l21, l22,m1, m2,n1, n2的值.

1.5 圖像邊緣特征點融合

由于光照條件的變化特性、幾何變形、自動相機(jī)、掃描設(shè)備的問題，任何兩幅相鄰原始圖像在采集條件上、圖像特性提取上及圖像經(jīng)過投影變換后都不可能做到完全相同.從一幅圖像的區(qū)域過渡到另一幅圖像時，若簡單地把兩幅圖像拼接起來，對齊的圖像可能存在亮度或顏色不連續(xù)現(xiàn)象和幾何校正引起的縫隙，完成配準(zhǔn)后，拼接處會有一條明顯的縫隙.

為實現(xiàn)圖像的無縫拼接，可通過圖像邊緣特征點融合來減小或消除拼縫，保證重疊區(qū)域能夠連續(xù),并且沒有可見的縫合線.如何處理圖像整合過程中無法解決的拼接縫隙問題，實現(xiàn)真正意義上的無縫拼接，正是圖像融合過程中所要解決的問題.關(guān)于融合方法的研究很多，例如文獻(xiàn)[1]采用復(fù)用金字塔的多分辨率圖像融合方法，選擇最大值的邊緣Gauss金字塔，最后反變換到融合圖像；文獻(xiàn)[2]采用改進(jìn)的基于特征點的圖像拼接融合算法將兩幅圖像重疊區(qū)域劃分為兩部分，每部分來自不同的圖像，很好地解決了合成鬼影問題；文獻(xiàn)[10]提出顯微圖像重疊區(qū)域平滑過渡的方法，使重疊區(qū)域過渡更加平滑，視覺效果更好.但是以上這些傳統(tǒng)的圖像融合方法往往會因為光線明暗不均，使拼接后重疊處的拼接痕跡明顯.為了提高拼接效果，需要在多幅圖像的邊緣重疊處進(jìn)行平滑處理，因此需要對傳統(tǒng)的圖像融合方法進(jìn)行改進(jìn).

設(shè)m(x, y)為輸入圖像的插值結(jié)果圖，整體圖像中某邊緣特征點與n幅圖像相交，邊緣特征點(x, y)的像素值為 z(x, y)，第i幅圖像與該位置重合邊緣特征點的顏色值為Ci(r, g, b)，且在該幅圖像中對應(yīng)的權(quán)值為ωi， I(i, j)為輸入原始圖，按照8參數(shù)投影變換模型，對于輸入圖像中的一點(x, y)，可經(jīng)變換得到新的位置變換點(x′, y′)， k(x, y)為插值運算核，輸出整數(shù)網(wǎng)格上的邊緣特征點(x′, y′).結(jié)合第1.1節(jié)、1.2節(jié)和1.3節(jié)的內(nèi)容，輸入圖像中原始邊緣特征點融合處理的方法可以改進(jìn)為式（7）：

相比改進(jìn)前，式（7）考慮到曝光差異所引起的空間邊緣特征點在不同圖像間的亮度差，通過二者誤差度量函數(shù)的加權(quán)函數(shù)來度量相似度，所以算法在一定程度上消除了拼痕，平滑了亮度差異，減少了鬼影出現(xiàn)的概率，魯棒性較強(qiáng)，提高了配準(zhǔn)精度和效率.

2 基于邊緣特征點的全景圖像拼接算法

基于邊緣特征點的全景圖像拼接算法的主要設(shè)計步驟如下：

第1步：生成邊緣特征點集Si=｛1,2,…,n｝和Oi=｛1,2,…,n｝，計算邊緣特征點 u, v在樹T中的最短路徑Si(u, v)；

第2步：利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵邊緣特征點指定方向參數(shù)，從而使描述子對圖像旋轉(zhuǎn)具有不變性；

第3步：利用配準(zhǔn)圖像u與參考圖像v之間的邊緣特征點配準(zhǔn)的改進(jìn)公式（1）分別提取兩幅圖像的邊緣特征點，并確定關(guān)鍵邊緣特征點所在位置和尺度.逐步將多對多的不確定匹配降為一對一配準(zhǔn)，對光照變化、仿射投影變換進(jìn)行計算；

第4步：通過指數(shù)映射算法將空間幾何坐標(biāo)(Vx, Vy, Vz)變換到球面坐標(biāo)(Vδ, Vφ, Vh)，建立變換函數(shù)或映射公式；

第5步：利用改進(jìn)的基于指數(shù)映射的幾何優(yōu)化算法公式（2）進(jìn)行圖像邊緣特征點在尺度空間上的極值檢測，將待拼接的圖像邊緣特征點分成與合并為若干個條帶，最終生成一個完整的模型；

第6步：將整個掃描序列集中分布在某一區(qū)域，提取它們并轉(zhuǎn)換成灰度圖像，輸入n幅深度圖像S=(S1, S2,…,Sn)作為輸入序列，分別計算同一窗口的活躍級度量，比較窗口的活躍級度量的大??；

第7步：求解目標(biāo)轉(zhuǎn)換函數(shù)μ，消除流形坐標(biāo)分辨率、灰度屬性、光線強(qiáng)度、比例尺非線性變形等方面的差別，求解4個坐標(biāo)分量Vδ,Vφ, Vh,ω的方程式；

第8步：利用改進(jìn)的圖像邊緣特征點空間坐標(biāo)的指數(shù)映射公式（4）尋找圖像邊緣中的邊緣特征配準(zhǔn)點，找出錯誤匹配的邊界、線條、紋理基元等邊緣特征點；

第9步：計算矩陣?yán)钊旱拿恳贿吘壧卣鼽c的切空間的內(nèi)積＜A, B＞=＜ABt＞，并計算相應(yīng)的嘉當(dāng)分解，嘉當(dāng)對合r=r→-rt；

第10步：利用式（5）求解圖像邊緣特征點最優(yōu)投影變換參數(shù)，從不同角度消除相鄰圖像之間的光強(qiáng)差異，并去除低對比度的關(guān)鍵邊緣特征點和不穩(wěn)定的邊緣特征響應(yīng)點；

第11步：計算表示縮放、旋轉(zhuǎn)、平移的8個參數(shù)l11,l12,l21,l22,m1, m2,n1, n2.依據(jù)經(jīng)驗值設(shè)定閾值θ=0.1，循環(huán)計算得到l11,l12,l21,l22,m1,m2,n1, n2的值，由此計算出鄰域內(nèi)的邊緣特征點對集，作為預(yù)選出的待匹配點,并刪除在鄰域外的邊緣特征點對集；

第12步：生成邊緣特征點向量，按最鄰近距離比準(zhǔn)則完成匹配，對得到的匹配邊緣特征點對計算互相關(guān)值，剔除相關(guān)值最小的匹配對；

第13步：利用式（7）改進(jìn)的圖像中原始邊緣特征點的融合平滑處理方法對最后得到的匹配點對參數(shù)進(jìn)行估計，通過二者誤差度量函數(shù)的加權(quán)函數(shù)來度量相似度，消除拼痕.

算法結(jié)束.

3 應(yīng)用實驗

測試效果評價指標(biāo)主要包括運算時間、計算量、重配率、丟失率、精確度.運算時間以算法運行時所耗費的整體時間來衡量，其單位是秒，運算時間越短，表示速度越快，所耗費的整體時間越短，其參考值在區(qū)間[9.0, 10.0]時可以認(rèn)為算法到達(dá)了預(yù)期的效果.計算量一般是指對復(fù)用時的元素屬性及其之間的關(guān)系等方面的關(guān)聯(lián)描述，當(dāng)其值達(dá)到“較低”時，可以認(rèn)為算法反映自適應(yīng)性的能力較強(qiáng)；重配率在0.40以上時，表示算法的誤配率較大.丟失率是指圖像邊緣特征點的丟失情況，其值在區(qū)間[0.00，0.30]時，即可認(rèn)為系統(tǒng)的復(fù)用效果好.精確度是指系統(tǒng)的精確程度，其值在區(qū)間[0.90，1.00]時，即可認(rèn)為系統(tǒng)的精確程度較高.

實驗所需各種原始圖均來自于高分辨率數(shù)碼相機(jī)旋轉(zhuǎn)拍攝（如圖2所示），用VC＋＋6.0實現(xiàn)一個全景圖像拼接程序.

圖2 實驗原始圖

為了驗證PMABTEFP的有效性、穩(wěn)定性、兼容性和可伸縮性，本章進(jìn)行應(yīng)用實驗，需要實施幾個局部實驗與全局實驗.

分別按基于邊緣特征點的多分辨率圖像拼接方法MSIMUFE（Multi scale image mosaic using features from edge）[1]、基于黎曼二階最小化的投影圖像配準(zhǔn)算法PIRBRSOM（Projective image registration based on Riemannian second- order minimization）[13]、基于最小路由代價樹的大規(guī)模顯微圖像拼接方法MLSMIMBMRCS（Method for large scale microscope images mosaicing based on minimum routing cost spanning tree）[10]等傳統(tǒng)算法和本文所提出的PMABTEFP法對圖2進(jìn)行拼接實驗.實驗時需要重點反映與刻畫式（1）、式（2）、式（4）和式（7），以上各方法對圖2的拼接效果分別如圖3、圖4、圖5、圖6所示.

圖3 MSIMUFE拼接效果圖

圖4 PIRBRSOM拼接效果圖

圖5 MLSMIMBMRCS拼接效果圖

圖6 PMABTEFP拼接效果圖

實驗結(jié)果發(fā)現(xiàn)，圖3、圖4、圖5所示圖像均存在曝光度、亮度、對比度方面的缺點，有鬼影和鋸齒現(xiàn)象，而圖6曝光度、亮度、對比度和原始圖相差不大，并且沒有明顯的鬼影和鋸齒現(xiàn)象.具體的實驗結(jié)果如表1所示.

從表1可以看出，傳統(tǒng)算法的計算量較高，而PMABTEFP可以達(dá)到較低的程度，表明算法比較靈活.另外在運算時間、重配率、精確度、丟失率等方面，PMABTEFP算法也比傳統(tǒng)方法有更好的效果，表明改進(jìn)后的算法在拼接方面具有明顯的優(yōu)勢.

表1 各種算法綜合性能對比

為了進(jìn)一步表明PMABTEFP的優(yōu)勢，仍然以圖2所示的4張實驗原始圖為輸入圖像，再按PMABTEFP設(shè)計系統(tǒng).實驗時不僅需要重點反映與刻畫圖像邊緣特征點配準(zhǔn)公式改進(jìn)后、圖像邊緣特征點幾何坐標(biāo)優(yōu)化公式改進(jìn)后、圖像邊緣特征點空間坐標(biāo)變換公式改進(jìn)后、圖像邊緣特征點最優(yōu)投影變換參數(shù)求解公式改進(jìn)后、圖像邊緣特征點融合公式改進(jìn)后系統(tǒng)性能的變化，而且需要綜合描述PMABTEFP的設(shè)計過程，并和改進(jìn)前的各種算法的指標(biāo)和運行效果進(jìn)行對比（具體結(jié)果仍見表1）.可以看出，改進(jìn)前的圖像邊緣特征點配準(zhǔn)公式、圖像邊緣特征點幾何坐標(biāo)優(yōu)化公式、圖像邊緣特征點空間坐標(biāo)變換公式、圖像邊緣特征點最優(yōu)投影變換參數(shù)求解公式、圖像邊緣特征點融合公式均存在一些漏洞，而PMABTEFP修補了一些漏洞，其各項指標(biāo)均達(dá)到了要求，這表明改進(jìn)工作是有效的.

為保證PMABTEFP復(fù)用時的穩(wěn)定性和復(fù)用性，最后再從全局角度對PMABTEFP進(jìn)行實驗.實驗結(jié)果是：PMABTEFP運算時間的值恰好落在區(qū)間[9，10]，精確度的值恰好落在區(qū)間[0.90，1.00]，邊緣特征點檢測及匹配誤差均控制在可以接受的范圍內(nèi)，這是滿足系統(tǒng)要求的，因而PMABTEFP的復(fù)用效果比較好.

從多次實驗果可以看出，改進(jìn)后的算法不受坐標(biāo)變換影響，配準(zhǔn)時間和運算速度得到了一些改善，而且計算量不大（僅對邊緣量最大值點作用），較好地排除了一些鄰域邊緣量很小的點和孤立邊緣點，提取到的圖像特征點較為合適（基本包括了重要的特征信息），特征點丟失率得到一定程度的降低，精確度也相應(yīng)得到了一定的提高.因此，PMABTEFP具有一定的實用價值.

4 結(jié) 語

圖像配準(zhǔn)與圖像融合是影響全景圖像拼接算法成功率、運行速度和整個圖像拼接效果的核心因素，基于特征的全景圖像拼接方法已成為一項較為典型、實用的技術(shù).本文對基于邊緣特征點的全景圖像拼接算法進(jìn)行了研究，所給算法在運算時間、計算量、重配率、精確度、丟失率等方面均有較好的效果，適用性較強(qiáng).但全景圖像拼接技術(shù)實際上是一個具有很大挑戰(zhàn)性的研究課題，對其研究往往會受到硬件、軟件等諸多因素的限制.因此，本文所做的工作也僅僅是為全景圖拼接技術(shù)的研究提供了一些參考方法，還有許多方面需要進(jìn)一步探討.

[1] 曹世翔, 江潔, 張廣軍, 等. 邊緣特征點的多分辨率圖像拼接[J]. 計算機(jī)研究與發(fā)展, 2011, 48(9): 1788-1792.

[2] 宗巖, 王陽萍, 劉萍. 改進(jìn)的基于特征點的圖像拼接融合算法[J]. 蘭州交通大學(xué)學(xué)報, 2012, 31(1): 89-92.

[3] Brown M, Lowe D G. Automatic panoramic image stitching using in variant features [J]. International Journal ofComputer Vision, 2013, 74(1): 59-73.

[4] Gal R, Cohen O D. Salient geometric features for partial shape matching and similarity [J]. ACM Transactions on Graphics, 2013: 25(1):130-150.

[5] Wang S, Wang Y, Jin M, et al. Conformal geometry and its applications on 3D shape matching, recognition, and stitching [J]. IEEE Trans Pattern Anal Mach Intell, 2007, 29(7): 1209-1220.

[6] Nakajima N, Iketani A, Sato T, et al. Video mosaicing for document imaging [EB/OL]. [2015-01-08]. http://www. researchgate.net/publication/228627067_Video_mosaicing_for_document_imaging.

[7] Richmond K. Real-time visual mosaicking and navigation on the sea floor [D]. Stamford: Computer Information College, Stanford University, 2009: 123-127.

[8] Fang X, Luo B, Zhao H, et al. New multi-resolution image stitching with local and global alignment [J].IET Computer Vision, 2010, 4(4): 882-887.

[9] 曾丹, 陳劍, 張琦, 等. 基于全局拓?fù)浣Y(jié)構(gòu)的分級三角剖分圖像拼接[J]. 計算機(jī)研究與發(fā)展, 2012, 49(1): 144-150.

[10] 龔詠喜, 田原, 謝玉波, 等. 基于最小路由代價樹的大規(guī)模顯微圖像拼接方法[J]. 中國圖象圖形學(xué)報, 2009, 14(6): 1178-1186.

[11] 楊芩, 齊越, 沈旭昆, 等. 一種快速的三維掃描數(shù)據(jù)自動配準(zhǔn)方法[J]. 軟件學(xué)報, 2010, 21(6): 1438-1450.

[12] Bay H, Ess A, Tuytelaars T, et a1. Speeded-up robust features [J]. Computer Vision and Image understanding, 2008, 110(3): 346-359.

[13] 李廣偉, 劉云鵬, 尹健. 基于黎曼二階最小化的投影圖像配準(zhǔn)算法[J]. 儀器儀表學(xué)報, 2010, 31(6): 1323-1328.

Panoramic Image Mosaic Algorithm Based on Edge Feature Points

WAN Nianhong, WANG Xuerong (Department of Engineering Technology, Zhejiang Dongfang Vocational and Technical College,
Wenzhou, China 325011)

It is known to all that the panorama mosaic technology has become a research hotspot in the field of the image processing. The traditional panorama mosaic methods based on features have disadvantages for twist and rotation to big influence on the matching result, so that the mosaic quality is not high apparently. To improve and enhance the patchwork effect and divergence, firstly, the research is done on the solution and fusion of the image edge feature point registration, geometric coordinate optimization, space coordinate transformation, optimal projection transformation. Then, a type of panoramic image mosaic based on its improved related algorithm is put forward and put into the application experiment. It turns out that the proposed algorithm is much better in patchwork effect and practical value than the traditional algorithm.

Panoramic Image Mosaic; Edge Feature Points; Image Registration; Geometric Coordinate Optimization; Optimal Projection Transformation; Image Fusion

T391

A

1674-3563(2016)01-0042-10

10.3875/j.issn.1674-3563.2016.01.006 本文的PDF文件可以從xuebao.wzu.edu.cn獲得

(編輯：王一芳)

2015-03-27

萬年紅(1977- )，男，江西新建人，副教授，碩士，研究方向：計算機(jī)軟件與理論