基于勢函數(shù)點(diǎn)分布調(diào)整的SIFT圖像配準(zhǔn)算法

孫彬， 邊輝， 王培忠

(西北核技術(shù)研究所,西安 710024)

基于勢函數(shù)點(diǎn)分布調(diào)整的SIFT圖像配準(zhǔn)算法

孫彬， 邊輝， 王培忠

(西北核技術(shù)研究所,西安 710024)

尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)是一種廣泛應(yīng)用于圖像配準(zhǔn)領(lǐng)域的點(diǎn)特征提取算法。針對基于SIFT的圖像自動(dòng)配準(zhǔn)算法存在的特征點(diǎn)分布不均勻問題，提出了一種基于勢函數(shù)點(diǎn)分布調(diào)整的圖像配準(zhǔn)方法。該方法解決了SIFT算法不能針對特征點(diǎn)的分布情況進(jìn)行優(yōu)化的問題。通過調(diào)整SIFT的比值閾值，增加配準(zhǔn)點(diǎn)的數(shù)目；通過引入分子力學(xué)中的勢函數(shù)概念，對特征點(diǎn)分布情況進(jìn)行優(yōu)化；通過局部互信息精糾正，微調(diào)特征點(diǎn)位置，以提高特征配準(zhǔn)點(diǎn)的配準(zhǔn)精度；最終實(shí)現(xiàn)高質(zhì)量(空間分布均衡，配準(zhǔn)精度高)的圖像自動(dòng)配準(zhǔn)。

尺度不變特征轉(zhuǎn)換(SIFT)；勢函數(shù)；特征點(diǎn)分布；局部互信息

0 引言

圖像配準(zhǔn)是將不同時(shí)間、不同傳感器(成像設(shè)備)或不同條件下(天候、照度、攝像位置和角度等)獲取的2幅或多幅圖像進(jìn)行匹配、疊加的過程，已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計(jì)算機(jī)視覺、圖像處理等領(lǐng)域。精確的圖像配準(zhǔn)能夠?yàn)檫b感調(diào)查與監(jiān)測打下良好的基礎(chǔ)[1-2]?；谔卣鞯膱D像配準(zhǔn)方法是研究較多且應(yīng)用比較廣泛的一類方法，這類方法的主要共同之處是先對角點(diǎn)、直線、輪廓及交叉點(diǎn)等圖像特征進(jìn)行提取，再完成圖像特征之間的匹配，最后通過特征的匹配關(guān)系建立圖像間的變換關(guān)系[3-4]。1988年，Harris和Stephens提出了Harris角點(diǎn)檢測算法[5]；1997年，Smith和Brady提出了SUSAN(small univalue segment assimilating nucleus)角點(diǎn)檢測法[6]；David等在1999年提出了尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)算子[7]，并在2004年對算法進(jìn)行提升和總結(jié)，用于特征點(diǎn)的檢測和描述。該算法一經(jīng)被提出就引起了廣泛關(guān)注，并成功應(yīng)用到圖像配準(zhǔn)領(lǐng)域。對于基于點(diǎn)特征的圖像自動(dòng)配準(zhǔn)算法，陳愛軍等[8]指出配準(zhǔn)點(diǎn)的選取方式直接決定了圖像配準(zhǔn)的有效性和可靠性，立體圖像的配準(zhǔn)精度并沒有隨配準(zhǔn)點(diǎn)數(shù)量的增多而顯著提高，但與這些配準(zhǔn)點(diǎn)在圖像上的幾何分布有關(guān)[9]。為此，本文引入分子力學(xué)中的勢函數(shù)概念，通過勢函數(shù)對部分精度不高的特征點(diǎn)進(jìn)行移動(dòng)調(diào)整，優(yōu)化了特征點(diǎn)的分布；通過提高特征點(diǎn)分布的均勻性，提高了圖像的配準(zhǔn)精度。

1 SIFT算法

SIFT算法是由David于1999年提出的[7]，該算法對尺度變化、視角變化、光照變換和噪聲狀況有很強(qiáng)的魯棒性。國外學(xué)者針對不同條件下的圖像配準(zhǔn)，就SIFT、矩不變量及互相關(guān)等描述因子進(jìn)行了實(shí)驗(yàn)和性能比較，結(jié)果證明SIFT算法的效果最好[10]。由圖1可以看出，SIFT所提取的特征點(diǎn)在結(jié)構(gòu)信息豐富的區(qū)域較為集中，但在A，B，C這3個(gè)影像特征相對平滑的區(qū)域卻沒有任何特征點(diǎn)存在。由此可見，單純使用SIFT算法可能導(dǎo)致配準(zhǔn)點(diǎn)分布均衡性較差。

圖1 SIFT算法提取的特征點(diǎn)Fig.1 Feature points extracted by SIFT algorithm

2 基于勢函數(shù)點(diǎn)分布調(diào)整算法

數(shù)學(xué)上的“點(diǎn)分布均勻”區(qū)域要滿足3個(gè)要求：①區(qū)域內(nèi)部的點(diǎn)越分散越好；②點(diǎn)離邊界越遠(yuǎn)越好；③在低維投影上也需滿足均勻性。胡東紅等[11]根據(jù)勢函數(shù)模型(potential function model)提出了一種基于勢函數(shù)的均勻性度量準(zhǔn)則；蔡文生等[12]提出的分子力學(xué)法則利用勢函數(shù)來計(jì)算原子間的相互作用能，結(jié)合最優(yōu)化算法使系統(tǒng)總勢能最小化，用以預(yù)測復(fù)雜團(tuán)簇的能量最低結(jié)構(gòu)。同樣，在圖像配準(zhǔn)領(lǐng)域,配準(zhǔn)點(diǎn)分布也應(yīng)遵循上述“點(diǎn)分布均勻”要求中的前2個(gè)，而基于勢函數(shù)的點(diǎn)分布調(diào)整算法經(jīng)數(shù)學(xué)證明能滿足圖像配準(zhǔn)的上述要求[13]。

根據(jù)勢函數(shù)模型的定義可以推導(dǎo)點(diǎn)分布均勻性調(diào)整的算法。點(diǎn)的受力總和可表示為

(1)

式中：Fi,j的大小和符號代表了點(diǎn)xi受其他點(diǎn)的作用之和在ej軸上的大小和方向；i，k為特征點(diǎn)索引(i,k=1,2,…,n)；j為空間維度索引(本文特指x,y軸方向(j=1,2,…,m))；s為平面延拓索引，對于矩形，需要在周邊延拓8個(gè)平面(圖2)。

圖2 勢函數(shù)計(jì)算延拓范圍示意圖Fig.2 Sketch map for scale of potential

對于所有的i和j，根據(jù)Fi,j的大小和符號，按一定策略移動(dòng)點(diǎn)xi，直到Fi,j小于某一個(gè)閾值，即可認(rèn)為達(dá)到均勻性要求。在二維空間上簡化的基于勢函數(shù)點(diǎn)分布調(diào)整算法(點(diǎn)按照Fi,j的大小和方向移動(dòng))如圖3所示。

圖3 基于勢函數(shù)點(diǎn)分布調(diào)整的流程圖Fig.3 Flowchart of point-adjust algorithm based on potential function

圖4為點(diǎn)分布調(diào)整的仿真試驗(yàn)結(jié)果。

圖4 點(diǎn)分布調(diào)整的試驗(yàn)結(jié)果

從表1可以看出，點(diǎn)分布調(diào)整前后勢函數(shù)值的變化，說明點(diǎn)分布的均勻性得到了有效提高。

表1 點(diǎn)分布調(diào)整前后的勢函數(shù)值Tab.1 Potential function values before and after adjusting point distribution

3 基于互信息的配準(zhǔn)點(diǎn)偏差補(bǔ)償

由于使用勢函數(shù)模型對部分特征點(diǎn)進(jìn)行了移動(dòng)(圖4)，使特征點(diǎn)的位置發(fā)生了改變，原有的配準(zhǔn)關(guān)系被破壞。所以，需要對新的位置上的特征點(diǎn)使用原來粗配準(zhǔn)變換矩陣進(jìn)行映射；但這種通過映射得到的配準(zhǔn)點(diǎn)對粗配準(zhǔn)矩陣修正并沒有起任何作用。為了提高配準(zhǔn)點(diǎn)的精度，本文使用歸一化互信息對移動(dòng)過的配準(zhǔn)點(diǎn)進(jìn)行糾正，將配準(zhǔn)點(diǎn)與對應(yīng)的待配準(zhǔn)圖像進(jìn)行局部歸一化互信息偏差補(bǔ)償。

將基準(zhǔn)圖像按照粗配準(zhǔn)矩陣進(jìn)行前向映射，需要將糾正點(diǎn)A(x,y)映射為AT(xT,yT)，并以AT為圓心在基準(zhǔn)圖像中取半徑為r的圓形區(qū)域UA，如圖5(b)所示；將A點(diǎn)對應(yīng)在浮動(dòng)點(diǎn)圖像上的A′點(diǎn)的坐標(biāo)(x′,y′)，取閾值t，設(shè)B點(diǎn)坐標(biāo)(xb,yb)在區(qū)域T(xb∈[x′-t,x′+t],yb∈[y′-t,y′+t])內(nèi)移動(dòng)，以B點(diǎn)為圓心在浮動(dòng)圖像中取半徑為r的圓形區(qū)域UB，如圖5(c)所示；再計(jì)算UA與UB的歸一化互信息，如果某個(gè)B點(diǎn)的UB與UA的互信息最大，則認(rèn)為2個(gè)區(qū)域配準(zhǔn)良好，AT與B為高精度配準(zhǔn)點(diǎn)；如果該最大值小于一定的閾值，則認(rèn)為無法正確配準(zhǔn)。

(a) 基礎(chǔ)圖像 (b) 按粗匹配矩陣映射圖像 (c) 待配準(zhǔn)圖像

圖5 基于歸一化互信息的糾正方法示意圖

Fig.5 Adjusting based on normalized mutual information

利用該方法可以較好地提高配準(zhǔn)點(diǎn)的精度；如果將選取的區(qū)域插值到原來圖像的3～5倍時(shí)，則效果更好。配準(zhǔn)點(diǎn)偏差補(bǔ)償實(shí)驗(yàn)效果如圖6所示?？梢钥闯?，特征點(diǎn)提取的偏差得到了很好的糾正。

(a) 基礎(chǔ)圖像 (b) SIFT配準(zhǔn)結(jié)果(c) 互信息糾正結(jié)果

圖6 基于歸一化互信息的糾正效果

Fig.6 Effects of adjusting based on normalized mutual information

4 基于勢函數(shù)點(diǎn)分布調(diào)整的SIFT算法

在上述算法的支持下，可對SIFT算法的特征點(diǎn)分布均勻性進(jìn)行改進(jìn)：首先使用SIFT算法提取特征點(diǎn)，并取較小的比值閾值，獲得粗配準(zhǔn)模型；然后使用勢函數(shù)模型調(diào)整定位準(zhǔn)確性較差的點(diǎn)位置，并使用粗配準(zhǔn)模型進(jìn)行映射；最后使用局部互信息進(jìn)行精定位，即可得到定位精度高和均勻性好的控制點(diǎn)。具體的算法配準(zhǔn)步驟如下：

1)分別提取參考圖像和待配準(zhǔn)圖像的SIFT特征。

2)特征點(diǎn)之間的相似性采用歐氏距離度量，按照Lowe的研究結(jié)果，閾值取0.6～0.7之間；本文算法取0.4～0.5之間值，主要用于降低初配準(zhǔn)精度、增加配準(zhǔn)點(diǎn)數(shù)量。

3)進(jìn)行隨機(jī)抽樣一致性(random sample consensus，RANSAC)檢驗(yàn)，如果不能得到穩(wěn)定的配準(zhǔn)點(diǎn)對，則配準(zhǔn)失??；否則，配準(zhǔn)成功。

4)通過獲得的配準(zhǔn)點(diǎn)對計(jì)算仿射矩陣A，提高配準(zhǔn)過程的比值閾值(取0.8～0.9之間)；通過A進(jìn)行配準(zhǔn)點(diǎn)篩選，可獲得大量配準(zhǔn)點(diǎn)。

5)按照上文所述基于勢函數(shù)的點(diǎn)分布調(diào)整算法，將部分定位精度差的點(diǎn)重新調(diào)整，并按照仿射矩陣A進(jìn)行重新映射。

6)使用互信息對重新調(diào)整過的點(diǎn)進(jìn)行精確定位，若該點(diǎn)互信息值小于某個(gè)閾值，則剔除該點(diǎn)。

7)使用保留下來的配準(zhǔn)點(diǎn)采用多項(xiàng)式法或者三角格網(wǎng)法進(jìn)行圖像配準(zhǔn)。

5 實(shí)驗(yàn)結(jié)果與分析

針對圖像的配準(zhǔn)精度，本文給出3種常用的評價(jià)指標(biāo)[14-15]：①均方根誤差(root-mean-squared error，RMSE)；②平均絕對誤差(mean absolute difference，MAD)；③配準(zhǔn)圖像相容性檢測系數(shù)(entropy correlated coefficient，ECC)。

采用Matlab語言編寫程序，測試平臺(tái)為Win7 X64，CPU為X5675(3.06 GHz，6核)×2，內(nèi)存為12 GB的圖形工作站。圖7給出使用本文算法與SIFT算法對不同傳感器、不同獲取時(shí)間、尺度區(qū)別較大的2景圖像(2007年5月獲取的某區(qū)域QuickBird圖像(圖7(a)，分辨率0.6 m，圖像大小1 159像元×1 105像元)和2002年8月獲取的SPOT5圖像(圖7(b)，分辨率2.5 m，圖像大小648像元×677像元))的配準(zhǔn)結(jié)果(圖7(c)和圖7(d))。

(a) 基礎(chǔ)圖像(QuickBird) (b) 待配準(zhǔn)圖像(SPOT5)

(c) SIFT算法結(jié)果 (d) 本文算法結(jié)果

圖7 第一組圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果

Fig.7 Registration experimental results of first group of remote sensing images

圖8給出使用本文算法與SIFT算法對相同傳感器、不同獲取時(shí)間的2景某區(qū)域QuickBird圖像(分別于2004年1月(圖8(a)，圖像大小477像元×475像元)和2005年2月獲取(圖8(b)，圖像大小537像元×547像元))的配準(zhǔn)結(jié)果(圖8(c)和圖8(d))。

(a) 基礎(chǔ)圖像(QuickBird) (b) 待配準(zhǔn)圖像

圖8-1 第二組圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果

Fig.8-1 Registration experimental results of second group of remote sensing images

(c) SIFT算法結(jié)果(d) 本文算法結(jié)果

圖8-2 第二組圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果

Fig.8-2 Registration experimental results of second group of remote sensing images

本文選取的上述2組圖像具有一定的典型性和代表性。第一組圖像為不同衛(wèi)星、不同分辨率及不同獲取時(shí)間的圖像，特征點(diǎn)較為稀少。與SIFT算法相比，本文算法特征點(diǎn)數(shù)量明顯增加，同時(shí)在原SIFT算法特征點(diǎn)比較稀疏的圖像中部增加了部分特征配準(zhǔn)點(diǎn)，使特征配準(zhǔn)點(diǎn)分布的均勻性得到了有效提高(圖7(d))。第二組圖像為同一衛(wèi)星、相同分辨率及不同獲取時(shí)間的圖像，特征點(diǎn)較為稠密，且分布不均勻；由于場地目標(biāo)發(fā)生了較大的變化，本文算法比SIFT算法在配準(zhǔn)點(diǎn)數(shù)量和特征點(diǎn)分布的均勻性上都得到了較大提高(圖8(d))。

第一、二組的實(shí)驗(yàn)結(jié)果如表2所示。

表2 圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果數(shù)據(jù)Tab.2 Data of registration experimental results of images

從表2可以看出，本文算法的RMSE，MAD及ECC等精度評價(jià)指標(biāo)均比SIFT算法有較大的提升。但由于算法中采用勢函數(shù)對點(diǎn)分布進(jìn)行調(diào)整以及互信息計(jì)算會(huì)導(dǎo)致算法復(fù)雜度上升，故本文算法耗時(shí)較長。

6 結(jié)論

1)本文以尺度不變特征轉(zhuǎn)換(SIFT)算法為基礎(chǔ)，通過二次配準(zhǔn)得到較多數(shù)目的控制點(diǎn)；并引入分子動(dòng)力學(xué)中的勢函數(shù)模型對SIFT算法進(jìn)行改進(jìn)，優(yōu)化了SIFT算法的特征點(diǎn)分布，解決了SIFT算法特征點(diǎn)分布不均勻的問題；同時(shí)利用局部互信息提高了配準(zhǔn)點(diǎn)對的精度；通過對特征點(diǎn)分布的調(diào)整，提高了圖像的配準(zhǔn)精度。

2)實(shí)驗(yàn)結(jié)果表明，本文算法具有較高精度，但由于算法中采用勢函數(shù)對點(diǎn)分布進(jìn)行調(diào)整以及互信息計(jì)算，導(dǎo)致算法復(fù)雜度上升，算法耗時(shí)較長。因此，該方法對于精度要求較高而時(shí)效性要求較低的應(yīng)用領(lǐng)域具有較強(qiáng)的應(yīng)用價(jià)值，并已成功地應(yīng)用于衛(wèi)星圖像自動(dòng)傳輸鏈路接收系統(tǒng)中。

[1] 張?jiān)粕?鄒崢嶸.基于改進(jìn)ORB算法的遙感圖像自動(dòng)配準(zhǔn)方法[J].國土資源遙感,2013,25(3):20-24.doi:10.6046/gtzyyg.2013.03.04. Zhang Y S,Zou Z R.Automatic registration method for remote sensing images based on improved ORB algorithm[J].Remote Sensing for Land and Resources,2013,25(3):20-24.doi:10.6046/gtzyyg.2013.03.04.

[2] 王曉華,鄧喀中,楊化超.集成互補(bǔ)不變特征的SAR影像自動(dòng)配準(zhǔn)[J].國土資源遙感,2014,26(1)：52-56.doi:10.6046/gtzyyg.2014.01.10. Wang X H,Deng K Z,Yang H C.Automatic SAR image registration of integrated complementary invariant feature[J].Remote Sensing for Land and Resources,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

[3] 吳偉交,王敏,黃心漢,等.基于向量夾角的SIFT特征點(diǎn)匹配算法[J].模式識別與人工智能,2013,26(1):123-127. Wu W J,Wang M,Huang X H,et al.SIFT feature matching algorithm based on vector angle[J].Pattern Recognition and Artificial Intelligence,2013,26(1):123-127.

[4] 張謙,賈永紅,胡忠文.多源遙感影像配準(zhǔn)中的SIFT特征匹配改進(jìn)[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版,2013,38(4):456-459. Zhang Q,Jia Y H,Hu Z W.An improved SIFT algorithm for multi-source remote sensing image registration[J].Geomativs and Information Science of Wuhan University,2013,38(4):456-459.

[5] Harris C G,Stephens M J.A combined corner and edge etector[C]//Proc Fourth Alvey Vision Conference,Manchester,U K,1988.

[6] Smith S M,Brady J M.SUSAN-A new approach to low level image processing[J].International Journal of Computer Vision,1997(1):45-78.

[7] David G L.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision,Corfu:1999.

[8] 陳愛軍,徐光祐,史元春,基于城市航空立體像對的全自動(dòng)3維建筑物建模[J].測繪學(xué)報(bào),2002,31(1):55-57. Chen A J,Xu G Y,Shi Y C.Automated 3D building modeling based on urban aerial stereopair[J].Acta Geodaetica et Cartographic Sinica,2002,31(1):55-57.

[9] Jonathan H.SPOT digital elvation model(DEM)creation using the Otto and Chau Method[DB/OL].[2004-09]http://www.jon-claudi.co.uk/ee/index.php/geofiction/extended_text/spot_digital_elevation_model_dem_cration_using_the_otto_and_chau_method/.

[10]Mikolajczyk K,Schmid C.Scale and affine invariant interest point detectors[J].International Journal of Computer Vision,2004,60(1):63-86.

[11]胡東紅,李德華,王祖喜.均勻性度量的勢函數(shù)模型[J].數(shù)學(xué)物理學(xué)報(bào),2003,23,A(5):607-612. Hu D H,Li D H,Wang Z X.Potential function model of uniformity measurement[J].Acta Mathematiea Scientia,2003,23,A(5):607-612.

[12]蔡文生,林翼,邵學(xué)廣.團(tuán)簇研究中的原子間勢函數(shù)[J].化學(xué)進(jìn)展,2005,17(4):588-594. Cai W S,Lin Y,Shao X G.Interatomic potential function in cluster research[J].Progress In Chemistry,2005,17(4):588-594.

[13]張玲,張勝蘭,艾君,等.基于勢函數(shù)的均勻性度量與均勻性布點(diǎn)方法[J].湖北大學(xué)學(xué)報(bào)：自然科學(xué)版,2007,29(6):144-146. Zhang L,Zhang S L,Ai J,et al.Uniform measurement and uniform dots distribution based on potential function[J].Journal of Hubei University(Natural Science),2007,29(6):144-146.

[14]孫彬,嚴(yán)衛(wèi)東,張彤,等.良分布的多特征遙感圖像自動(dòng)配準(zhǔn)算法[J].光電工程,2012,39(8):38-45. Sun B,Yan W D,Zhang T,et al.Remote sensing image automated registration algorithm based on multi-feature and well-distribution[J].Opto-Electronic Engineering,2012,39(8):38-45.

[15]李偉峰,周金強(qiáng),方勝輝.基于改進(jìn)Hausdroff距離的圖像配準(zhǔn)方法[J].國土資源遙感,2014,26(2)：93-98.doi:10.6046/gtzyyg.2014.02.16. Li W F,Zhou J Q,Fang S H.Image registration method based on improved Hausdorff distance[J].Remote Sensing for Land and Resources,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

(責(zé)任編輯：刁淑娟)

Image registration algorithm based on SIFT and potential function adjusting location of points

SUN Bin, BIAN Hui, WANG Peizhong

(NorthwestInstituteofNuclearTechnology，Xi’an710024,China)

Scale invariant feature transform(SIFT) is a popular feature extraction algorithm that has applied to remote sensing image automatic registration; nevertheless, there exists a problem in the remote sensing image automatic registration based on SIFT algorithm, i.e., the distribution of feature points is always nonuniform. An automatic image registration algorithm based on potential function model is presented in this paper, which can solve the problem of optimizing nonuniformity in feature point distribution in SIFT. By adjusting the threshold of SIFT, the number of matching points is promoted. The algorithm can optimize the uniformity in feature point distribution by potential model function in molecular mechanics, and make the low-precision feature point to the sparse area of feature points. Then it revises local mutual information to improve matching point accuracy, so as to realize a high quality (uniform space distribution, high accuracy of Sub-Pixel registration) automatic image registration finally.

scale invariant feature transform (SIFT)；potential function；feature point distribution；local mutual information

2014-05-12；

2014-07-16

10.6046/gtzyyg.2015.03.07

孫彬,邊輝,王培忠.基于勢函數(shù)點(diǎn)分布調(diào)整的SIFT圖像配準(zhǔn)算法[J].國土資源遙感,2015,27(3)：36-41.(Sun B,Bian H,Wang P Z.Image registration algorithm based on SIFT and potential function adjusting location of points[J].Remote Sensing for Land and Resources,2015,27(3)：36-41.)

TP 751.1; TP 391.41

A

1001-070X(2015)03-0036-06

孫彬(1983-),男,碩士,工程師,主要從事遙感圖像處理和圖像配準(zhǔn)技術(shù)研究。Email：sunbin@ninit.ac.cn。