基于SIFT的全自動遙感圖像配準算法

余 婷，厲小潤

（浙江大學 電氣工程學院，浙江 杭州 310027）

0 引 言

遙感圖像配準是對兩幅或多幅取自不同時間、不同傳感器或者不同視角的遙感圖像進行空間變換，通過尋優(yōu)使輸入圖像與參考圖像達到空間位置相匹配的過程［1］。通過圖像配準可以對圖像進行多源數(shù)據(jù)融合、目標變化檢測、目標識別、圖像鑲嵌、時序圖像分析等多種應用。

配準算法有四要素，分別為特征空間、搜索空間、搜索策略、相似性測度［2］。特征空間是指從參考圖像和帶配準圖像中提取的用于匹配的特征集，如圖像的灰度特征，幾何特征如點、邊緣、直線或者區(qū)域；搜索空間是指兩幅圖像之間建立的對應關系的所有可能變換集合，可以是兩維的、三維的甚至是高維的；搜索策略是指在一個很大的搜索空間中尋找最優(yōu)的變換模型參數(shù)，如果采用窮盡搜索的方法將需要很大的計算量，因此為減少計算量，必須采用相應的搜索策略，如Powell搜索策略；相似性度量是兩幅圖像是否匹配的尺度和標準，如本研究采用的互信息相似性測度。

現(xiàn)有的配準技術主要分為兩大類：基于灰度的方法和基于特征的方法?；诨叶鹊姆椒ㄖ苯永脠D像的灰度信息來度量兩圖像之間的相似程度，它不需要對圖像進行復雜的預處理，實現(xiàn)簡單，但是對圖像的灰度特性極其敏感，主要的算法有互相關法、序貫相似檢測法、傅里葉變換法、互信息方法等［3］。基于特征的方法是從圖像中提取一些幾何特征，對它們進行匹配，最后得到一一對應的匹配控制點對。

本研究提出的全自動遙感圖像的配準方法是結合了灰度信息和特征信息的復合式圖像配準算法。首先，基于SIFT算子對輸入圖像進行粗匹配，確定初始變換模型參數(shù)；其次，在特征精匹配的過程中引入基于灰度的互信息算法，結合位置控制從而獲得一一對應的控制點［4］；最后采用控制點結合加權最小二乘［5］的方法優(yōu)化求解模型最優(yōu)參數(shù)，對輸入圖像進行雙線性插值顯示圖像。

1 算法描述

本研究提出的全自動配準算法是一種由粗到精的方法：粗匹配時采用SIFT特征匹配，將輸入圖像映射為一個具有平移、縮放、旋轉不變性的局部特征向量集，通過兩兩比較找出匹配的若干對特征點對作為初始配準點；在此基礎上再進行精細匹配，采用位置控制與互信息約束的方法，最后最優(yōu)化求解最優(yōu)模型參數(shù)。

1.1 基于SIFT特征的圖像粗匹配

考慮到虛擬三角形的粗匹配對圖像的尺度及畸變不具有魯棒性，分辨率差異以及稍有畸變的圖像配準誤差較大，本研究采用SIFT特征進行粗匹配。SIFT特征是一種高維不變量信息描述子，它具有平移、縮放、旋轉不變性。基于SIFT的遙感圖像自動配準算法期望能夠確定盡量多的、定位精確的且分布均勻合理的關鍵點，然后通過數(shù)據(jù)擬合來減少整體誤差。

SIFT特征構造過程主要兩個部分組成：關鍵點檢測和不變量描述子構造。第1部分首先建立圖像的多尺度空間，然后進行特征檢測，獲取一系列關鍵點以及它們的幾何位置與尺度信息。第2部分通過聯(lián)合關鍵點的多維信息來構造不變量描述子。本研究以關鍵點為中心建立一個區(qū)域，統(tǒng)計區(qū)域像素點的梯度直方圖，尋找最大的峰值及它對應的方向，并以這個方向作為關鍵點的主方向。再聯(lián)合區(qū)域的梯度信息建立多維特征向量，并對這個多維向量進行統(tǒng)一化，從而得到不變量描述子。

本研究參考文獻［6－7］提供的方法，采用特征向量的歐氏距離作為相似性判定度量，計算最近鄰（NN）和第二近鄰（SNN）的距離之比（NN/SNN），把NN/SNN設定為最小閾值（本研究取0.3），如果SIFT描述子之間的歐式距離小于這個閾值，那么選擇這些可靠性最高的匹配點作為初始配準點對來計算幾何變換模型參數(shù)。

1.2 位置控制與互信息約束的特征精匹配

圖像匹配的關鍵是定義一個有效的配準測度函數(shù)，并尋找空間變換關系，使變換后兩幅圖像的相似性達到最大，或者說差異性達到最小，保證兩幅圖像空間幾何上的一致。

雖然不同光譜圖像在灰度屬性上存在較大差異，但是對同一地物、同一組織，其灰度分布又具有一定的相似性，因此研究者可以將圖像像素作為隨機變量，采用圖像灰度分布的統(tǒng)計數(shù)據(jù)作為配準測度函數(shù)來實現(xiàn)圖像配準。假設參考圖像A的概率分布函數(shù)為PA(a)，浮動圖像B的概率分布函數(shù)為PB(b)，圖像A和B的聯(lián)合概率分布函數(shù)為PAB(a,b)，則它們的互信息I(A,B)表示為：

本研究在特征的精細匹配算法中采用位置控制結合互信息約束的方法實現(xiàn)，分別以兩幅圖像各個特征點為中心建立小區(qū)域，計算對應小區(qū)域的互信息值，以互信息為相似性測度［8］對提取到的更多特征點進行精細匹配。

假設在參考圖像上提取到的角點集記為P={(xi,yi),i=1,2,...m}，在待配準圖像上提取到的角點集記為Q={(xj,yj),j=1,2,...n}，取Q中的一點qk為例詳細說明匹配的步驟：

（1）根據(jù)初始模型參數(shù)計算Q={(xj,yj),j=1,2,...n}中的點qk對應參考圖像下的坐標，以這個坐標為中心點建立搜索窗，本研究設定區(qū)域大小為10×10（可以根據(jù)圖像大小變化）。把點集P={(xi,yi),i=1,2,...m}中落在搜索窗內的點作為qk的候補對應點。

（2）在待配準圖像上以候補對應點為中心，選取一小塊區(qū)域ar e a1，本研究設定區(qū)域大小為4×4，按分辨率差異比例在參考圖像上選取ar e a2，之后將其插值到與ar e a1大小分辨率相同。

（3）求取兩塊小區(qū)域的互信息。

（4）每個qk的候補對應點都進行步驟（2）和步驟（3），取互信息最大的那個特征點作為篩選后和qk對應的控制點。

通過以上4個步驟，筆者對提取到的特征進行了再次匹配，獲得位置控制與互信息約束的控制點對。

1.3 最優(yōu)化求解最優(yōu)模型參數(shù)

最優(yōu)化求解［9］是一個不容忽視的步驟，它是指求取參考圖像和待配準圖像之間最佳模型參數(shù)的過程?，F(xiàn)有的圖像配準方法中常用的算法有圖匹配算法、Powell方法、Downhill simplex方法［10］等。本研究采用的是控制點結合加權最小二乘準則算法，這是一種比較通用的變換模型參數(shù)估計辦法。

假設：

則變換式表示成：

A=B×T

在最小二乘的算法求解過程中，筆者認為不同誤差精度的控制點對對模型參數(shù)求解結果的影響不一樣，參考圖像中的點與待配準圖像經過變換后的點之間的誤差越大，則它們對最后參數(shù)求解的影響越小，因此本研究引入一個加權矩陣［11］。

本研究用ex()i表示第i對控制點在x方向的誤差，用ey()i表示第i對控制點在y方向的誤差，則誤差距離表示為：

加權矩陣由r(i)構成，表示為：

其中：

利用加權最小二乘法使平方誤差式（6）最小，由此獲得最優(yōu)模型參數(shù)。

2 實驗的仿真

本研究選用的參考圖像是高光譜圖像的一個波段圖，圖像大小為550×360（單位：像素，下同），待配準圖像是經過ENVI軟件的裁剪旋轉尺度變換過的圖，圖像大小為545×38 3。已知仿射變換的模型參數(shù)值，筆者分別對以下3種算法進行仿真：實驗1是文獻［1］配準算法仿真，記為LAB1；實驗2是文獻［9］配準算法仿真，記為LAB2；實驗3是本研究提出的由粗到細的配準算法仿真，記為LAB3；本研究把以上3個實驗分為兩組進行分析比較。

傳統(tǒng)課堂教學的最大特點,是以教師為主體,向學生灌輸知識,學生處在被動地位。特別對于“納米材料”這種新興學科,涉及到的基礎學科多,知識更新快,又是全英文教學,傳統(tǒng)的灌輸模式使學生能夠理解的內容有限,且對教師的知識儲備和體力精力都有很高的要求,而且學生在進行課程學習的同時往往已經進入實驗室具體科研課題研究的階段,必然會存在應用課堂知識的具體問題。因此在教學模式上,力求讓學生占據(jù)主動地位,以學生為課堂主體,加強教師和學生之間的交流[8]。

圖1 參考圖（左）及待配準圖（右）

圖2 LAB1獲得的匹配控制點圖

圖3 LAB2獲得的匹配控制點圖

圖4 LAB3獲得的匹配控制點圖

兩幅原始圖像如圖1所示。LAB1、LAB2、LAB3最終取得的控制點圖如圖2～4所示。配準結果圖如圖5所示。

3 評價標準

圖5 LAB1、LAB2、LAB3的配準結果圖（從左到右）

圖6 LAB1、LAB2、LAB3的配準鑲嵌圖（從左到右）

圖7 配準精度直方圖

本研究采用3種評價標準來對配準精度的進行評價，它們分別是均方根誤差、鑲嵌圖以及聯(lián)合直方圖。均方根誤差以及鑲嵌圖是現(xiàn)有的常用的評價標準，聯(lián)合直方圖評價則是本研究的又一創(chuàng)新點。

3.1 均方根誤差評價

已知實際的模型變換參數(shù)，變換模型表達式為：

將均方根誤差作為配準精度的評價標準。均方根誤差表示為：

式中：a1′，b1′，c1′，a2′，b2′，c2′—模型參數(shù)的實際值；a1，b1，c1，a2，b2，c2—經算法仿真求得的模型參數(shù)值；k—算法得到的控制點對的個數(shù)。

統(tǒng)計3個實驗數(shù)據(jù)得到結果如表1所示。

從表1中可以看出LAB3的模型參數(shù)值最接近真實值，且均方根誤差最小，因此可知本研究算法具有更高的配準精度。

3.2 鑲嵌圖評價

由于均方根誤差的評價標準比較抽象，為了更直觀形象的評價，現(xiàn)有的很多應用都采用鑲嵌圖［12］作為評價標準。本研究中3個實驗結果的鑲嵌圖如圖6所示。

由圖6很難比較出哪個實驗具有更高的配準精度，因此本研究引入聯(lián)合直方圖，以比較3組圖像的配準精度。

3.3 聯(lián)合直方圖評價

兩幅圖像的聯(lián)合直方圖是通過統(tǒng)計兩幅圖像的對應位置的灰度對(i,j)出現(xiàn)的次數(shù)而得到的。本研究中用二維圖形表示：X軸表示參考圖像的灰度極值，Y軸表示帶配準圖像灰度極值，當兩幅圖像完全一樣時，圖形的所有點都分布在一條斜率為1的直線上，隨著兩幅圖像相似度的降低，圖形的點將分散分布在對角線周邊。

考慮到參考圖像和待配準圖像包含的地域并不完全相同，全局圖像輸入得到的直方圖并不準確，本研究從兩幅圖像共同的區(qū)域中提取出大小160×160的區(qū)域作為聯(lián)合直方圖的輸入，觀察圖像中的點是否逼近斜率為1的對角線。

實驗1、2、3的配準精度直方圖如圖7所示。由圖7可知，LAB3的直方圖的點比較集中的分布在對角線周邊，而LAB1、LAB2的點相對來說比較分散，因此LAB3中兩幅圖像相似度最高，具有更高的配準精度。

表1 LAB1、LAB2、LAB3仿真得到的模型參數(shù)值及均方根誤差

4 結束語

本研究提出的這種基于特征的由粗到細的全自動配準算法是基于SIFT特征粗匹配和位置控制互信息約束進行特征精匹配的全自動遙感圖像配準算法。首先采用SIFT特征匹配，將輸入圖像映射為一個具有平移、縮放、旋轉不變性的局部特征向量集，采用特征向量的歐氏距離作為相似性判定度量，通過兩兩比較找出匹配的若干對特征點對作為初始配準點，對輸入圖像進行粗匹配。然后引入互信息，以互信息為相似性測度，在位置控制的搜索策略下進行特征精匹配，優(yōu)化模型參數(shù)。通過仿真和數(shù)據(jù)，驗證了本研究算法在圖像配準上的有效性。

與傳統(tǒng)的基于虛擬三角形角點特征自動配準算法相比，本研究算法在后續(xù)進行了互信息位置控制的精細配準，顯然配準精度更高；其次，本研究的算法也優(yōu)于一般的由粗到細的配準算法，基于SIFT方法提取的特征對圖像具有尺度不變性，對圖像畸變也有更高的魯棒性，LAB2的特征粗匹配的過程中，若待配準圖像發(fā)生了縱橫方向的特殊畸變，則對應匹配的三角形的各個角的比就不近似相等，此時，研究者就應該采用本研究的對圖像尺度變化以及圖像畸變具有更高的魯棒性的SIFT匹配算法。綜上所述，本研究基于SIFT的由粗到細的配準算法顯得更加具有優(yōu)越性。

（

）：

［1］呂金建，文貢堅，李德仁，等.一種基于虛擬三角形的圖像自動配準方法［J］.信號處理，2008，24（5）：737－741.

［2］呂金建，文貢堅，李德仁，等.一種基于角點特征的圖像配準方法［J］.遙感技術與應用，2007，22（3）：438－442.

［3］呂金健.基于特征的多源遙感圖像配準技術研究［D］.長沙：國防科技大學電子科學與工程學院，2008.

［4］董博宇.多源遙感圖像配準技術研究［D］.哈爾濱：哈爾濱工業(yè)大學，2009.

［5］王 偉，蘇志勛.基于移動最小二乘法的醫(yī)學圖像配準［J］.計算機科學，2010，37（9）：270－271.

［6］程 焱，周 焰，林洪濤，等.基于SIFT特征遙感影像自動配準與拼接［J］.遙感技術與應用，2008，23（6）：721－728.

［7］DAVID G.Lowe distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［8］YU Ting，LI Xiao－run.Remote Sensing Image Registration Based on VTS－PCMIC Algorithm［C］.Fuzzy Systems and Knowledge Discovery（FSKD），2012 9th International Conference，2012：48－52.

［9］DARE P，DOWMAN I.An improved model for automatic feature－based registration of SAR and SPOT images［J］.ISPRS Journal of Photogrammetry&Remote Sensing，2001，56（1）：13－28.

［10］MIKOLAJCAYK K，SHHMID C.Scale＆affine invariant interest point detectors［J］.International Journal of Computer Vision，2004，60（1）：63－86.

［11］LI W，LEUNG H.A maximum likelihood approach for image registration using control point and intensity［J］.IEEE Transactionson ImageProcessing，2004，13（8）：1115－1127.

［12］GOSHTASBY A，STOCKMAN G.Point pattern matching using convex hull edges［J］.IEEE Transactions on Systems，Man and Cybernetics，1985，15（4）：631－637.