基于非線性SIFT框架SAR圖像匹配

(武漢大學電子信息學院， 湖北武漢 430072)

0 引言

合成孔徑雷達(Synthetic Aperture Radar, SAR)是現(xiàn)代遙感技術(shù)中微波遙感的重要發(fā)展。SAR用作主動成像傳感器，可提供足夠高分辨率的圖像，并且能夠在不受天氣影響的情況下日夜工作。由于這個優(yōu)點，它被用于許多不同的應(yīng)用，例如圖像分類、三維重建、快速映射、變化檢測和圖像融合等。

自動SAR圖像匹配[1]是有效利用SAR數(shù)據(jù)的重要步驟。與光學圖像匹配類似，SAR圖像匹配是從不同視點、在不同時間、利用相同/不同的傳感器拍攝的同一場景的兩個或更多個圖像之間找到對應(yīng)/同源部分(例如區(qū)域、特征、點、像素等)的過程。 當匹配了幾個關(guān)鍵點時，可以計算空間變換以最小化兩個圖像之間的不相似度量。SAR圖像匹配的核心是自動找到一些不變特征點(Invariant Feature Points, IFP)并匹配它們。匹配的不變特征點用于通過使用幾何或使用強度最小化某些成本函數(shù)來估計最佳變換。

為了獲得足夠高質(zhì)量的不變特征點，在過去10年中已經(jīng)進行了大量的研究工作。通?，F(xiàn)有的SAR圖像匹配技術(shù)可以分為兩類：基于強度的方法(也稱為基于區(qū)域的方法)和基于特征的方法。在基于強度的方法中，僅當要匹配的圖像的輻射特性相同并且從相同類型的傳感器獲得圖像時表現(xiàn)出較好的性能。相比之下，研究表明基于特征的方法更適合于在空間變化的輻射特性和不同的頻帶/平臺/極化下的SAR圖像匹配。在該方法中，提取并匹配來自兩個圖像的共同結(jié)構(gòu)特征，包括點特征、邊緣特征或線性特征(例如道路和河流)和區(qū)域特征等。

在基于特征的圖像匹配方法中，基于局部不變特征的匹配方法，特別是尺度不變特征變換(Scale Invariant Feature Transform, SIFT)[2]及其框架模式下的改進算法[3]在光學圖像匹配中取得了很好的結(jié)果。然而，由于SAR圖像固有的斑點噪聲和局部變形的影響，當直接用于SAR圖像匹配時，這些方法的性能顯著降低。為了使基于SIFT框架的方法能夠適用于SAR圖像匹配，國內(nèi)外學者研究提出了有效的改進方法，包括SIFT-OCT[4]，BF-SIFT[5]，SAR-SIFT[6]，NDSS-SIFT[7]等等。在尺度空間構(gòu)建方面，Wang等[5]提出使用雙邊濾波器(Bilateral Filter，BF)建立尺度空間并采用雙匹配策略來改善匹配結(jié)果；Fan等[7]將相位一致性和非線性擴散濾波(Nonlinear Diffusion Filter，NDF)結(jié)合在一起，以提高SAR匹配性能。在特征點檢測方面，Dellinger等[6]提出了一種新的梯度定義，它通過均值比率(Ratio of Averages，ROA)來計算，以抑制SAR圖像中高對比度區(qū)域特征檢測的誤報，從而獲得良好的性能。

為了抑制相干斑噪聲的影響并獲取高質(zhì)量的不變特征點，本文針對SIFT框架進行了以下改進： 首先，在尺度空間構(gòu)建階段，引入滾動引導濾波(Rolling Guidance Filter，RGF)[8]，充分利用其在去除斑噪和保持邊緣方面相對于雙邊濾波和非線性擴散濾波的優(yōu)勢，來解決相干斑噪聲的影響。其次，在特征點檢測階段，采用指數(shù)加權(quán)均值比率算子(Ratio of Exponentially Weighted Averages，ROEWA)與Harris-Laplace檢測算子相結(jié)合的方法用于檢測穩(wěn)定和準確的不變特征點，同時去除虛假特征點。

1 算法基本流程

本文算法的總體流程圖如圖1所示。

圖1 本文算法總體流程圖

2 算法分析

2.1 基于滾動引導濾波的非線性尺度空間構(gòu)建

本文所提出的尺度空間策略受非線性尺度空間策略和滾動引導濾波算法的啟發(fā)。常見的SIFT算法使用高斯濾波器來構(gòu)建尺度空間(線性尺度空間)，其缺點是它平滑整個圖像，但是不能夠有效地抑制SAR圖像固有的相干斑噪聲，同時模糊了邊緣或者邊界。滾動引導濾波與先前的邊緣保留濾波器算法不同，是在規(guī)模上下文中的感知平滑，并且以快速收斂的迭代方式實現(xiàn)，通過分離不同的比例結(jié)構(gòu)來減少偽影。RGF算法過程如下：

1) 第一步是使用高斯濾波器來去除相干斑噪聲和細小的結(jié)構(gòu)，表達式為

(1)

式中，J1(p)表示通過第一次迭代的高斯濾波計算后像素p的灰度值，N(p)表示像素p的鄰域，q表示鄰域N(p)中的像素點，kp表示歸一化系數(shù)：

(2)

2) 第一步之后的后續(xù)迭代過程是利用引導的方式來加強邊緣和明顯的結(jié)構(gòu)調(diào)整，表達式為

Jt-1(q)

(3)

式中：Jt(p)表示通過第t次迭代的雙邊濾波計算后像素p的灰度值；Jt-1(p)，Jt-1(q)分別表示通過第t-1次迭代后像素點p和q的灰度值；I(p)表示像素q的灰度值；δs和δr分別表示空間和距離的尺度。

本文提出將滾動引導濾波算法引入尺度空間構(gòu)建策略，圖像金字塔通過以下等式獲得：

(4)

式中：J0(p)表示輸入SAR圖像；JN(p;δs)和JN(p;kδs)表示經(jīng)濾波后的圖像，即多尺度空間金字塔中的某一層圖像，N表示迭代次數(shù)；RGF(i,j;δs,δr)和RGF(i,j;kδs,δr)表示濾波核，由式(3)求得；k表示保證連續(xù)尺度空間的常數(shù)乘因子。

SAR圖像的不同濾波算法的性能比較如圖2所示。圖2表明RGF在斑點噪聲消除和邊緣保留方面都比其他濾波算法(在相同尺度下)具有更好的性能。

(a) 原始圖像

(b) 雙邊濾波

(c) 引導濾波

(d) 非線性擴散濾波

(e) 滾動引導濾波

本文使用等效視數(shù)(Equivalent Number of Looks,ENL)[9]和邊緣保持指數(shù)(Edge-Preserving Index，EPI)[10]來估計建立規(guī)?？臻g時的性能過濾。ENL和EPI的計算方法如下：

ENL=μ2/δ2

(5)

(6)

式中，μ和δ分別表示該窗口均勻區(qū)域內(nèi)像素的均值和標準差。均勻區(qū)域內(nèi)等效視數(shù)越大，說明去噪效果越好，反之，去噪效果越差。Qf(i,j)是濾波后圖像的灰度值，Po(i,j)是原始圖像灰度值。Qf(i,j)與Po(i,j)都在邊緣區(qū)域內(nèi)，(i,j)為像素點坐標。邊緣區(qū)域內(nèi)邊緣保持指數(shù)越大，邊緣保持效果越好，反之，邊緣保持效果越差。

實驗結(jié)果如圖3所示。圖3表明基于RGF的方法在綜合ENL和EPI評估方面優(yōu)于其他濾波方法。

(a) 均勻區(qū)域

(b) 均勻區(qū)域等效視數(shù)曲線

(c) 邊緣區(qū)域

(d) 邊緣區(qū)域保持指數(shù)曲線

圖4給出了基于不同濾波器的尺度空間的性能比較。從圖4可以看出，本文所提出的基于RGF的尺度空間策略在多尺度上的斑噪去除和邊緣保持方面具有比其他濾波方法更好的性能。

2.2 ROEWA結(jié)合Harris-Laplace的特征點檢測

基于多尺度SAR圖像，檢測高質(zhì)量的不變特征點是關(guān)鍵，但在SAR圖像匹配中該問題尚未完全解決。

(a) 雙邊濾波 δs={1.25,1.4,1.57,1.76,1.98,2.23;δr=0.2}

(b) 引導濾波 γ={5,6,7,8,10,11;ε=0.2}

(c) 非線性擴散濾波 t={0.78,0.98,1.23,1.55,1.96,2.48}

國內(nèi)外學者已經(jīng)提出了許多用于光學圖像的特征檢測算子，例如Harris，Hessian等。一個共同的特征是它們都依賴于基于梯度差分(Gradient by Difference，GD)的圖像梯度計算方式。它們在光學圖像中的匹配和物體識別方面表現(xiàn)良好，但是直接用于SAR圖像匹配時則性能相對較差。由于相干斑噪聲的影響，特別是在高對比度區(qū)域，上述的基于梯度差分的檢測算子在SAR圖像中的強散射紋理區(qū)相對于低散射紋理區(qū)會出現(xiàn)很高的錯誤檢測率。

為了解決這個問題，國內(nèi)外學者引入了梯度比率(Gradient by Ratio，GR)的概念。均值比率(ROA)算子首先作為梯度比率算法提出來計算梯度。指數(shù)加權(quán)均值比率(ROEWA)算子是ROA算子的改進版本，旨在提出一種在SAR圖像中的更加高質(zhì)量的梯度表示方法。ROEWA算子將局部區(qū)域的窗口角度劃分為0，π/4，π/2和3π/4四種方式，計算沿著4種方式劃分的局部窗口中像素的指數(shù)加權(quán)均值，并求出相對側(cè)的指數(shù)加權(quán)均值的比率，其原理如圖5所示。

(a) 4種方向區(qū)域劃分方式

(b) 第i種局部窗口指數(shù)加權(quán)均值計算

計算的方程式如下所示：

(7)

式中，(a,b)為給定點的坐標，α為指數(shù)權(quán)重參數(shù)，M1,α和M2,α為在第i種方向區(qū)域劃分方式的相對側(cè)局部窗口中統(tǒng)計出的指數(shù)加權(quán)均值。

圖6比較了不同梯度計算方式的性能，從圖中可以看出，傳統(tǒng)的基于梯度差分的方法無法有效抑制SAR圖像強散射紋理區(qū)斑點噪聲，而改進的基于梯度比率的方法相比之下產(chǎn)生更少的虛假邊緣或拐角特征。

(a) 原始圖像

(b) 梯度差分

(c) 梯度比率

文獻[6]提出的SAR-Harris檢測算子通過將傳統(tǒng)的Multi-Harris特征點檢測算法中，基于梯度差分的梯度計算方式改進為基于梯度比率的ROA或ROEWA算子，極大地提高了在SAR圖像中的強散射紋理區(qū)域特征點檢測的準確率，如圖7所示，在圖6的原始圖像中分別使用3種類型的特征點檢測算法，其中Multi-Harris和Harris-Laplace均使用基于梯度差分的梯度計算方式，SAR-Harris則采用基于梯度比率的梯度計算方式?？梢钥闯觯褂没谔荻缺嚷视嬎惴绞降腟AR-Harris算法表現(xiàn)最佳，可以檢測具有低誤報率的特征點(如圖中拐點)。

(a) Multi-Harris

(b) Harris-Laplace

(c) SAR-Harris

然而，由于SAR-Harris算法是對Multi-Harris特征點檢測算法的改進，無法有效地確定特征尺度參數(shù)的大小,并且檢測出的特征點位置不準確。 因此本文提出使用Harris-Laplace結(jié)合ROEWA的算法來檢測SAR圖像中的特征。傳統(tǒng)的Harris-Laplace算法對于光學圖像具有良好的尺度不變性，可以準確檢測出特征點位置并且確定其特征尺度，其計算公式如下：

(8)

式中：g(δI)表示δ=δI的高斯卷積核，δI又稱為積分尺度；Lα(x,y,δD)表示在α方向的微分核乘以δ=δD的高斯卷積核計算出的微分，微分核由梯度差分的方式計算得到，δD又稱為微分尺度。本文針對SAR圖像中強散射紋理區(qū)乘性斑點噪聲的特點，對于Harris-Laplace算法中微分的計算方式加以改進，將Lα(x,y,δD)中微分核的梯度差分計算方式改進為對于SAR圖像更為有效的基于梯度比率的ROEWA算子，從而得到Harris-Laplace-ROEWA特征檢測算法，其方程式如下：

(9)

(10)

式中，δI和δD分別表示積分和微分尺度。Gx和Gy使用ROEWA以梯度比率的方式計算，其中R1,δD和R3,δD是水平方向和垂直方向的比率，它們在式(7)中計算。有關(guān)計算過程的更多細節(jié)可以在文獻[6]中找到。我們將SAR-Harris檢測方法與提出的方法進行了比較，實驗結(jié)果如圖8所示。

(a) 上述效果最好的方法SAR-Harris

(b) 本文方法Harris-Laplace-ROEWA

從圖8可以看出，與其他方法相比，本文提出的特征檢測方法可以準確地提取具有高位置精度和低誤差率的不變特征點，特別是在高對比度區(qū)域。同時，本文所提出的方法可以抑制散斑噪聲并選擇真實的特征尺度。

2.3 描述符構(gòu)建與特征搜索匹配策略

描述符構(gòu)建階段，標準SIFT算法采用SIFT描述子構(gòu)建描述符，本文則采用KAZE算法[11]中的M-SURF描述符進行描述符構(gòu)建：對于尺度參數(shù)為δD的特征點，在其梯度比率圖像Gx(x,y)Gy(x,y)上以本文提出的Harris-Laplace-ROEWA算法提取的特征點為當前中心設(shè)置一個24δD×24δD的窗口，然后再將窗口劃分為4×4的小子區(qū)域，每個小子區(qū)域大小為9δD×9δD，則相鄰子區(qū)域有4δD重合部分，每一個子區(qū)域的梯度比率微分以子區(qū)中心為當前響應(yīng)，取通過高斯核 (δG=2.5δD)進行加權(quán)，計算出長度為4的子區(qū)域描述向量dV：

dV=(∑Gx,∑Gy,∑|Gx|,∑|Gy|)

(11)

然后，每一個子區(qū)的向量以梯度比例獲取特征點為中心進行另一個高斯窗口4×4(δG=1.5δD)對當前子區(qū)區(qū)域向量dV進行加權(quán)算術(shù)操作，最后統(tǒng)一歸一化處理獲取64維的描述符。

特征搜索匹配階段，標準SIFT算法采用歐式距離進行特征點對的相似性評估，并采用隨機KD樹空間劃分對描述子的特征點信息快速搜索，并通過最近鄰方法進行粗匹配，最近鄰方法通過比較兩個向量的最近鄰與次近鄰之比的比例參數(shù)與設(shè)定初始閾值的判斷準則來完成圖像粗匹配過程。本文則通過KNN算法[12]進行特征搜索，并通過使用RANSAC算法剔除粗匹配過程中的錯誤匹配點，求取的幾何變形參數(shù)來完成SAR圖像匹配。

3 數(shù)據(jù)結(jié)果處理與分析

為了驗證提出方法的性能，本文采用3種類型的SAR圖像進行實驗：1)不同斑點噪聲的仿真SAR圖像；2)不同仿射變換的多視角仿真SAR圖像；3)不同頻帶/平臺/極化/空間分辨率的真實SAR圖像。其中第1類仿真SAR圖像由原始SAR圖像添加不同方差的乘性斑點噪聲獲得;第2類仿真SAR圖像由原始SAR圖像經(jīng)過不同的仿射變換獲得;第3類真實SAR圖像分別為不同波段、不同分辨率TerraX-SAR與RadarSat2圖像。

為了評估所提方法的性能，驗證提出算法的有效性與穩(wěn)定性，本文將所有實驗的測試結(jié)果分別與BFSIFT(雙邊)方法和NDSS-SIFT(非線性擴散)方法進行了比較，并且使用以下3個指數(shù)定量評估所提出方法的性能：均方根誤差(Root Mean Square Error，RMSE)[13]表示匹配的精確度，內(nèi)聯(lián)點比率(Inliers Ratio)表示匹配的準確度，以及算法耗時。Inlier比率和RMSE計算式如下：

(12)

(13)

3.1 定性分析

首先為了驗證本文算法對相干斑噪聲和不同視角的SAR圖像的有效性與穩(wěn)定性，圖9、圖10分別顯示了不同噪聲影響、不同視角的仿真SAR圖像配準算法對比實驗結(jié)果。從圖中可以看出，在斑點噪聲和仿射變換導致的多視角的影響下，本文算法提取特征點分布較均勻，匹配特征點較準確、誤差較小，整體有效性與穩(wěn)定性表現(xiàn)較好。

(a) BFSIFT

(b) NDSS-SIFT

(c) 本文方法圖9 不同斑點噪聲的仿真SAR圖像實驗結(jié)果

(a) BFSIFT

(b) NDSS-SIFT

(c) 本文方法圖10 不同仿射變換的仿真SAR圖像實驗結(jié)果

其次為了驗證本文算法對真實SAR圖像的普適性，圖11顯示了不同波段、不同分辨率TerraX-SAR與RadarSat2圖像匹配算法的匹配效果。從圖中來看，RadarSat2和TerraX-SAR存在大量相干斑噪聲；同時由于采用不同的波段成像，圖像灰度體現(xiàn)出較大的偏差。從圖中可以看出，在不同平臺的SAR造成的圖像差異的影響下，本文算法仍然能夠提取出數(shù)量穩(wěn)定分布均勻的特征點，并達到良好的匹配效果。

(a) RadarSat2-SAR圖像(左)和TerraX-SAR圖像(右)，0.7 m分辨率

(b) 圖(a)的棋盤拼接圖

(c) RadarSat2-SAR圖像(左)和TerraX-SAR圖像(右)

(d) 圖(c)的棋盤拼接圖

(f) 圖(e)的棋盤拼接圖圖11 不同頻帶/平臺/極化/空間分辨率的真實SAR圖像實驗結(jié)果

3.2 定量分析

表1、表2分別顯示了圖9中添加斑點噪聲和圖10中進行仿射變換的仿真SAR圖像的具體指數(shù)定量評估結(jié)果，圖12～圖15分別顯示了15組測試真實SAR圖像集的具體指數(shù)定量評估結(jié)果，本文所提出的改進SAR圖像匹配方法分別從RMSE、檢測內(nèi)聯(lián)點比率、尺度空間構(gòu)造耗時和匹配算法總耗時四個方面驗證本文算法的有效性與實時性。

表1 不同斑點噪聲的仿真SAR圖像定量評估結(jié)果

表2 不同仿射變換的仿真SAR圖像定量評估結(jié)果

圖12 均方根誤差對比

圖13 內(nèi)聯(lián)點比率對比

圖14 尺度空間構(gòu)建耗時對比

圖15 算法總體耗時對比

針對SAR圖像匹配：首先要獲取足夠多的穩(wěn)定特征點數(shù)，其次是在穩(wěn)定特征點局部區(qū)域構(gòu)建魯棒快速的描述符，最后將獲得的特征點描述符進行高效準確的匹配。圖12對比了BFSIFT算法、NDSS-SIFT算法和本文算法匹配點對的RMSE，本文算法的RMSE明顯低于另外兩種算法，由此可以看出本文算法在進行SAR圖像匹配時具有更好的準確性。圖13對比了兩種算法和本文算法檢測的內(nèi)聯(lián)比率，可以看出本文算法的內(nèi)聯(lián)比率略高于其他兩種算法，主要由于本文采用的滾動引導濾波構(gòu)建尺度空間時有效濾除了相干斑噪聲，減少虛假特征點，并良好保存了真實邊緣信息，增加有效特征點，并且利用ROEWA算子針對SAR圖像處理的優(yōu)越性，在特征點檢測階段進一步提高特征點的質(zhì)量，在描述符構(gòu)建階段形成了魯棒的描述符。圖14對比了BFSIFT算法的雙邊濾波、NDSS-SIFT算法非線性擴散濾波與本文方法構(gòu)建尺度空間耗時，本文方法耗時最多，接近于其他兩種算法耗時的兩倍，主要由于滾動引導濾波的迭代過程耗時。然而圖15對比了兩種算法與本文匹配算法總耗時，本文算法低于另外兩種算法，最主要因為尺度空間構(gòu)建階段獲取了高質(zhì)量的濾波圖像之后，特征點檢測和描述符構(gòu)建階段檢測出了準確的特征點并形成了魯棒快速的描述符，所以特征搜索與匹配階段極大地減少了搜索耗時與剔除錯誤匹配點對的時間消耗，算法的總體耗時相對減少。綜合來看，本文算法在保證了算法時間復雜度的前提下，提高了匹配精度與匹配概率，在獲取準確穩(wěn)定特征點的同時，很大程度上保證了算法的實時性并提升了算法的有效性。

4 結(jié)束語

本文提出了一種基于改進SIFT框架的SAR圖像匹配算法：為了減少斑點噪聲的影響，本文算法利用去除相干斑噪聲并且保持邊緣的滾動引導濾波器來構(gòu)造尺度空間；為了檢測更準確的特征并減少錯誤匹配點，本文將ROEWA算子與Harris-Laplace檢測算子相結(jié)合進行特征點檢測。本文使用仿真和真實SAR圖像進行相關(guān)算法的比較驗證，實驗結(jié)果表明，本文提出的算法針對不同噪聲、不同視角、不同頻帶/平臺/極化/空間分辨率的SAR圖像優(yōu)于其他SAR圖像匹配算法的表現(xiàn)，并且算法總體耗時并未增加，在保證整體時間消耗一定的前提下對算法的性能產(chǎn)生了一定的提升。但尺度空間構(gòu)建階段耗時過長的問題仍然沒有得到有效解決，后續(xù)工作需要考慮如何在保證算法性能的條件下，提高尺度空間構(gòu)建階段運算效率的問題。