畸變圖像的有效配準算法

王 華，叢建亭，侯相深，孫金瑋

(1.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院，哈爾濱 150090，hitwh@hit.edu.cn;2.哈爾濱工業(yè)大學(xué)電氣工程及自動化學(xué)院，哈爾濱 150001)

畸變圖像的有效配準算法

王 華1，叢建亭2，侯相深1，孫金瑋2

(1.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院，哈爾濱 150090，hitwh@hit.edu.cn;2.哈爾濱工業(yè)大學(xué)電氣工程及自動化學(xué)院，哈爾濱 150001)

鏡頭畸變是導(dǎo)致圖像質(zhì)量降低的主要因素之一.通常在圖像存在畸變情況時，要先通過圖像畸變校正方法來減小畸變對圖像的影響，但校正過程較為復(fù)雜.本文提出了一種新的畸變圖像的有效配準算法，算法分為初始匹配和松弛優(yōu)化匹配兩步，初始匹配算法采用圓投影匹配算法，松弛匹配算法則以向量旋轉(zhuǎn)角的旋轉(zhuǎn)和縮放不變性特征作為初始匹配對的優(yōu)化準則，首先計算向量旋轉(zhuǎn)角度差值，然后通過構(gòu)造支持度函數(shù)和剔除策略選出最優(yōu)匹配對.實驗證明，該算法在圖像非線性畸變誤差較大的情況下也能夠?qū)崿F(xiàn)正確匹配.

圖像畸變;圓投影匹配;向量旋轉(zhuǎn)角;松弛匹配

圖像配準是醫(yī)學(xué)、航空、模式識別和圖像拼接等領(lǐng)域的一項極其重要的技術(shù)［1］，因此一直以來都是圖像處理領(lǐng)域中的熱點問題之一，幾十年來關(guān)于圖像配準的各種算法也層出不窮［2－5］，但是很多算法在圖像質(zhì)量降低的時候會失效.

目前圖像拼接面臨的難題主要集中在圖像配準這一關(guān)鍵環(huán)節(jié)，雖然國內(nèi)外許多學(xué)者對該環(huán)節(jié)進行了廣泛和深入的研究，并且針對不同類型的圖像也提出了很多有效的方法，但是仍然存在以下幾個方面的問題［2］:(1)目前的研究成果仍然無法實現(xiàn)全自動的圖像配準;(2)由于圖像噪聲的影響、獲取景物區(qū)域和邊緣的困難以及缺乏必需的控制特征點等因素的限制，高精度的圖像配準難度很大;(3)如何提高配準處理速度，達到快速和實時的要求也是圖像配準的一大難題;(4)在參考圖像與待配準圖像之間有較大的尺寸比例差別、較大的旋轉(zhuǎn)角及較大的平移時的情況時，常常會出現(xiàn)配準失效的現(xiàn)象;(5)目前的圖像拼接的評價主要依托于圖像配準與圖像融合的評價體系，而它們的評價方法至今也沒有一種公認的統(tǒng)一的評價方法，進而導(dǎo)致了圖像拼接方法的各個性能的不一致性.

由于鏡頭畸變是導(dǎo)致圖像質(zhì)量降低的主要因素之一［3］，通常在圖像存在畸變情況時，要先通過圖像畸變校正方法來減小畸變對圖像的影響，校正過程較為復(fù)雜，因此本文提出了一種新的畸變圖像配準算法并對算法的抗畸變性能通過標準圖像作了詳細的研究.

1 圖像的非線性畸變理論

相機成像過程中產(chǎn)生的非線性變形主要取決于鏡頭鏡片組合間距誤差，其次是鏡片本身的曲線誤差和CCD的制造誤差.上述的各項因素產(chǎn)生的非線性變形綜合效果可以用數(shù)學(xué)模型［4］來表示

式中:δx、δy分別為圖像像素點在圖像坐標系中x、y方向的變形量;x、y分別是圖像坐標系中的像素點的坐標;k1、k2、p1、p2、s1、s2分別為變形系數(shù).上式中的變形量可分為三部分，第一部分稱為徑向畸變，第二部分稱為離心畸變，第三部分稱為薄棱鏡畸變.一般在應(yīng)用中僅取第一部分的畸變，這部分的變形已經(jīng)足夠描述非線性畸變［4］.由此可得

式中r2=x2+y2，x′和y′分別是與實際圖像中的坐標為x和y相對應(yīng)的變形校正后的坐標.

2 圖像匹配算法的相關(guān)理論

2.1 Moravec興趣點

Moravec興趣點［5］是指一幅圖像內(nèi)在水平、垂直及兩個對角線方向灰度變化最小的一類特征點，具有計算簡單和速度快的優(yōu)點.其實現(xiàn)步驟［6］:

(1)計算各個像素的興趣值IV，以像素點g(x，y)為中心取w×w(如5×5的窗口)，按式(1)計算其沿水平、垂直及兩個對角線方向的灰度變化(如圖1所示).

式中，k=INT(w/2).取4個方向的最小者作為像素點g(x，y)的興趣值IV(x，y):

(2)給定一個經(jīng)驗閾值T，將興趣值大于T的點作為候選點.

(3)在一定大小的窗口內(nèi)(可不同于興趣值計算窗口)，候選點中興趣值最大的像素點即作為興趣點.

圖1 Moravec算子5×5窗口

2.2 圓投影初始匹配算法

本文采用了圓投影匹配算法對Moravec興趣點做初始匹配.采用極坐標表示參考圖像T，以圖像T中提取出的M點為坐標原點O，建立極坐標系，如圖2所示.設(shè)O在原坐標系中的坐標為(Φ，Ψ)，圖像中的像素在原坐標系中的坐標為(m，n)，則定義圓投影向量P(r)為

圖2 計算圓投影向量

當(dāng)圖像旋轉(zhuǎn)時，任一半徑圓上的像素也跟著作同心同半徑旋轉(zhuǎn)，所以P(r)是保持不變的，因此P(r)是一個旋轉(zhuǎn)不變量.圓投影匹配算法就是以圓投影向量為基礎(chǔ)實現(xiàn)匹配的，因而能實現(xiàn)任意角度旋轉(zhuǎn)的正確匹配［7］.

以PT(r)表示參考圖像的圓投影向量，PSi，j(r)表示待配準圖像子圖Si，j的圓投影向量.定義相似性度量函數(shù)為

由于圖像在計算機中是以矩陣形式存儲的，(R，θ)與(r，θ)所對應(yīng)的點通常會落在圖像像素之間，采用就近原則選取像點往往會造成一些像素的重復(fù)選擇和漏取，而且計算也非常麻煩，若將圓拉成正方形環(huán)如圖3所示，每個環(huán)都是以坐標原點O為中心，則投影圖既包含了圖像的所有信息，計算也很簡單［8］.

圖3 環(huán)投影

2.3 基于向量旋轉(zhuǎn)角的四元松弛匹配優(yōu)化算法

假設(shè)參考圖像1、待配準圖像2的初始匹配后的點特征集P={p1，p2，…，pm}和Q={q1，q2，…，qm}，其中，P可以看作Q經(jīng)過平移后迭加一定的畸變誤差而得到的對應(yīng)點集，點集中存在一定比例的錯誤匹配對(注:一般情況下，錯誤比例不超過 60%)，(pi，qi)、(pj，qj)和(pu，qu)為集合中任意3個初始匹配對.

提出一種新的抗畸變的松弛優(yōu)化匹配算法，其主要思想及實現(xiàn)過程如下:對每一特征點四元組(pi，qi，ph，qh)，首先要計算出參考圖像 1 和待配準圖像 2 中點對(pu，qu)與(pi，qi，ph，qh)構(gòu)成的向量旋轉(zhuǎn)角度差θ.

則由四元組 (pi，qi，ph，qh)可求得在pi與qi配對且ph與qh配對的情況下(如圖4所示)，向量Δp2與向量Δp1的夾角θ1，向量Δq2與向量Δq1的夾角θ2的標量值分別為

則待配準圖像2中向量角θ2與參考圖像1中向量角θ1的角度差θ為

這里，(Δp1×Δp2)與(Δq1×Δq2)均表示兩向量的向量外積的方向向量.

令 φiihh(u，u)為(pu，qu)對四元組(pi，qi，ph，qh)的支持度函數(shù).

角度差θ的變化范圍為(－π，π)，類似基本點松弛匹配算法的支持度函數(shù)形式，構(gòu)造一個基于θ的支持度函數(shù)

其中f(θ)是與畸變誤差相關(guān)的支持基函數(shù)，基函數(shù)的形式可根據(jù)圖像畸變誤差的大小選擇不同的函數(shù)形式.

當(dāng)畸變誤差較小時可選基于tan(k·θ)的函數(shù)來提高支持度函數(shù)對θ變化的敏感度.

在畸變誤差范圍確定的條件下，可以通過選取某個函數(shù)來調(diào)整算法對畸變的容忍度.

式中:a表示畸變誤差容忍指數(shù)函數(shù)ax的底數(shù);θr表示點集的畸變誤差在期望情況下的θ容忍余量;θm表示點集的畸變誤差在最壞情況下的θ容忍余量，即θ值得信賴的上限.實驗證明，a取值在1＜a＜1.3時效果較好，∞可取非常大的值.

假如f(θ)=1，表明向量旋轉(zhuǎn)角θ1與θ2相等，則表示qu相對于qi和qh相似于pu相對于pi與ph，因此點對(pu，qu)應(yīng)當(dāng)給予四元組(pi，qi，ph，qh)以最大的支持，隨著f(θ)的增加，其支持度應(yīng)減小.

四元組(pi，qi，ph，qh)周圍的點對對它的最大支持度可以表示為

圖4 基于向量角的旋轉(zhuǎn)與比例不變示意圖

如果(pu，qu)與圖像中其他匹配對組成的任意四元組的最大支持度都不大，則可以認為(pu，qu)是錯誤匹配對，應(yīng)該剔除掉.因此在優(yōu)化過程中可設(shè)置平均支持度閾值，當(dāng)(pu，qu)與圖像中其他匹配對組成的任意四元組的最大支持度的平均值(即(pu，qu)的平均支持度)大于該閾值，則認為匹配對(pu，qu)為正確匹配對.

3 實驗結(jié)果

從USC－SIPI圖像數(shù)據(jù)庫網(wǎng)站下載512×512的Lena圖像作為配準實驗的參考圖像(圖5(a))，并對參考圖像作桶形畸變與枕形畸變變換，如圖5(b)和圖5(c)所示.

圖5 Lena參考圖像及其兩種畸變圖像

經(jīng)多次反復(fù)實驗，本算法對在不同畸變系數(shù)下的桶形畸變圖像配準和枕形畸變圖像配準的正確匹配率平均統(tǒng)計圖如圖6所示.當(dāng)畸變系數(shù)k取0

圖6 桶形畸變和枕形畸變圖像配準統(tǒng)計

本文實驗只取畸變系數(shù)k=k1=k2=±2×10－6兩種情況時，當(dāng)系數(shù)絕對值超過此值時圖像畸變將明顯影響人的主觀視覺感受.從參考圖像與待配準圖像中均勻提取150個左右的Moravec興趣點，反復(fù)實驗證明，Lena圖的圓投影初始匹配閾值和平均支持度閾值設(shè)置在0.99以上較為合理，因此將初始匹配閾值設(shè)置為0.995可篩選出若干錯誤比例小于60%的初始匹配對集.平均支持度閾值主要用來控制優(yōu)化后匹配對的數(shù)目，反復(fù)實驗證明，Lena圖的平均支持度閾值在0.99以上比較合理.經(jīng)過四元松弛匹配優(yōu)化算法后，大于閾值0.99的所有匹配對均保留下來作為正確匹配對(注:也可以根據(jù)需要的匹配對個數(shù)優(yōu)化).實驗中支持基函數(shù)f(θ)選用第2節(jié)公式(2)，本文實驗中a=1. 1，∞取10 000，θr取經(jīng)驗值0. 45，θm取經(jīng)驗值0.6.

4 結(jié)果分析

圖7(a)是參考圖像與桶形畸變圖像的圓投影初始匹配結(jié)果，由于受畸變誤差影響，結(jié)果中存在大約40%的錯誤匹配對，從圖7(b)可以看出，經(jīng)過四元松弛匹配優(yōu)化算法錯誤匹配對被全部剔除.同樣從圖8也可以看出，本算法對枕形畸變圖像也有效.

當(dāng)圖像存在畸變誤差時，本算法通過選用支持度基函數(shù)式(2)，可以正確優(yōu)化匹配對.由于該算法支持度函數(shù)的衰減速度是隨著畸變誤差的不同而相應(yīng)改變，因此在已知畸變誤差范圍的情況下，可以通過調(diào)整參數(shù)θr和θm來合理改變不同畸變誤差情況下的支持度衰減速度從而使算法對畸變誤差有較強的容忍能力，也就可以區(qū)分正確匹配對與錯誤匹配對.值得一提的是，平均支持度的閾值要根據(jù)實際需要合理選取，通過圖8(c)可看出，當(dāng)平均支持度閾值選取為0.95時出現(xiàn)了兩個錯誤匹配對1和 2，這說明為了避免正確匹配對大量丟失的同時也容忍了少量的錯誤匹配對，但是錯誤匹配對的衰減速度相對正確匹配對來說仍然快得多，因此只要根據(jù)實際需要的匹配對數(shù)目合理優(yōu)化，這些錯誤匹配對一般都會被剔除掉.

圖7 參考圖像與桶形畸變圖像的初始和優(yōu)化匹配對

圖8 參考圖像與枕形畸變圖像的初始匹配對和平均支持度閾值分別為0.99與0.95的優(yōu)化匹配對

5 結(jié)語

提出了一種新的畸變圖像配準算法，首先均勻提取Moravec興趣點，然后通過圓投影匹配算法對興趣點初始匹配，最后根據(jù)基于向量旋轉(zhuǎn)角的四元松弛匹配優(yōu)化算法對初始匹配進行篩選優(yōu)化得到正確匹配對.反復(fù)實驗證明，本算法在畸變圖像之間存在旋轉(zhuǎn)、縮放和畸變誤差情況下，通過調(diào)整支持基函數(shù)f(θ)的形式，可使算法對存在較大畸變誤差的圖像配準具有一定的容忍能力.

［1］王蕾，劉貴喜.圖像配準技術(shù)及應(yīng)用研究［D］.西安:西安電子科技大學(xué)，2007.

［2］倪國強，劉瓊.多源圖像配準技術(shù)分析與展望［J］.光電工程， 2004，31(9):1 －6.

［3］朱錚濤，黎紹發(fā).鏡頭畸變及其校正技術(shù)［J］.光學(xué)技術(shù)， 2005，31(1):136－141.

［4］姜大志，郁倩，王冰洋，等.計算機視覺成象的非線性畸變研究與綜述［J］.計算機工程， 2001，27(12):108－110.

［5］MORAVEC H P.Towards automatic visual obstacle avoidance［C］//Proceedings of the 5th International Joint Conference on Artificial Intelligence.Cambridege，Massachusetts:The International Joint Conferences on Artificial Intelligence，1977:584.

［6］李曉娟，郭寶龍.圖像拼接技術(shù)研究［D］.西安:西安電子科技大學(xué)，2007.

［7］徐亦斌，王敬東，李鵬.基于圓投影向量的景象匹配方法研究［J］.系統(tǒng)工程與電子技術(shù)， 2005，27(10):1725－1728.

［8］黃玲玲，吳慶憲，姜長生，等.巡航導(dǎo)彈航跡控制中景象匹配快速算法研究［J］.航空兵器，2006(5):43－48.

Effective matching algorithm of distorted images

WANG Hua1，CONG Jian-ting2，HOU Xiang-shen1，SUN Jin-wei2

(1.School of Transportation Science and Engineering，Harbin Institute of Technology，Harbin 150090，China，hitwh@hit.edu.cn;2.Department of Automatic Measurement and Control，Harbin Institute of Technology，Harbin 150001，China)

The image distortion caused by lens reduces the quality of images and the processing of image correction is complex.A new effective matching algorithm of distorted images is proposed in this paper，which has two steps of the initial matching and the relaxation optimization matching.The circular projection method is applied in the initial matching step and the algorithm with characteristics of anti-rotation and anti-scale of rotating angle of vectors is applied as the optimization criterion of matching pairs.The value difference of the rotating angle of vectors should be calculated at first，and then the optimal matching pairs can be selected by using of the support function and the rules of rejection.Experimental results with a large number of images prove that the algorithm is still effective in the condition of large nonlinear distortion error of images.

image distortion;circular projection matching;rotating angle of vectors;relaxation matching

TP391.41

A

0367－6234(2010)04－0597－05

2009－06－10.

王 華(1975—)男，博士，副教授.

(編輯 趙麗瑩)