基于ResNet和RF-Net的遙感影像匹配

廖明哲，吳 謹*，朱 磊

(1.武漢科技大學(xué) 信息科學(xué)與工程學(xué)院,湖北 武漢 430081；2.冶金自動化與檢測技術(shù)教育部工程中心,湖北 武漢 430000)

1 引 言

遙感影像包含來自衛(wèi)星、地面和航空等不同來源的圖像數(shù)據(jù)，通過對這些圖像進行匹配，可以建立起不同圖像間的空間對應(yīng)關(guān)系，為檢測地球表面環(huán)境變化，應(yīng)用于地質(zhì)勘測和軍事偵察等領(lǐng)域提供服務(wù)。

圖像匹配使來自相同或者不同傳感器、具有不同視角和不同時相的多幅同一場景圖像，在空間上實現(xiàn)幾何對齊[1]。圖像匹配的常用方法可以分為3類：基于灰度和模板的方法、基于域變換的方法和基于特征的方法。其中，基于特征的匹配方法魯棒性好，適用于較多的應(yīng)用場景[2]。典型的基于特征的方法包括兩部分：帶有屬性的關(guān)鍵點檢測和特征描述子提取。

基于特征的深度學(xué)習(xí)圖像匹配是目前非常重要的匹配技術(shù)，在深度學(xué)習(xí)圖像匹配框架中，有些方法僅用于檢測關(guān)鍵點，有些方法僅用于提取特征描述子。關(guān)鍵點檢測部分構(gòu)建響應(yīng)圖，特征信息豐富的響應(yīng)圖有利于檢測到更多的關(guān)鍵點；特征描述子提取部分端到端地訓(xùn)練特征描述子[3]，特征描述子是用于描述圖像中某個關(guān)鍵點的特征向量。關(guān)鍵點檢測和特征描述子提取基于不同目標進行優(yōu)化，兩個部分的增益無法直接疊加，在同一個通道中同時訓(xùn)練這兩個部分難以取得更好的效果[4]。因此，如何聯(lián)合訓(xùn)練關(guān)鍵點檢測和特征描述子提取，使兩個部分彼此更好地協(xié)作，是深度學(xué)習(xí)圖像匹配需要解決的問題。

LIFT[5]是最早實現(xiàn)關(guān)鍵點檢測和特征描述子提取聯(lián)合訓(xùn)練的網(wǎng)絡(luò)之一，該網(wǎng)絡(luò)以尺度不變特征變換(Scale Invariant Feature Transform,SIFT)[6]中特征點所在的圖像塊作為輸入，其關(guān)鍵點檢測的效果與SIFT算法類似，魯棒性較好，但無法準確提取邊緣光滑目標的特征點。與LIFT方法不同，SuperPoint[7]采用了自監(jiān)督訓(xùn)練的特征點檢測和特征描述子提取方式，通過VGG[8]提取特征，關(guān)鍵點檢測部分需要在合成圖像數(shù)據(jù)集上進行預(yù)訓(xùn)練，且整個網(wǎng)絡(luò)也需要在合成變換后的圖像上進行訓(xùn)練。LF-Net[4]使用Siamense結(jié)構(gòu)[9]，無需任何手工方法的幫助，其通過深層特征提取網(wǎng)絡(luò)產(chǎn)生特征圖，可從輸入圖像中提取出感受野(特征圖上像素點在輸入圖像上映射的區(qū)域)較大的深層特征，但損失了淺層特征。RF-Net[10]在LF-Net的基礎(chǔ)上提出了一個新的基于感受野的關(guān)鍵點提取方法，保留了淺層特征，得到信息更豐富的尺度空間和響應(yīng)圖，在特征描述子提取模塊上采用了與Hard-Net[11]一致的網(wǎng)絡(luò)結(jié)構(gòu)，并提出了一個通用的損失函數(shù)項，用以解決圖像的剛性變換后，像素點位置偏移所造成的負面影響。

網(wǎng)絡(luò)的深度對于學(xué)習(xí)表征能力更強的特征至關(guān)重要，深層特征包含有豐富的語義信息，但隨著網(wǎng)絡(luò)深度的增加，會造成梯度消失或者梯度爆炸，以及網(wǎng)絡(luò)退化的問題。ResNet[12]為當前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)之一，為了解決網(wǎng)絡(luò)的退化問題，引入了基本的殘差學(xué)習(xí)；為了克服梯度消失和梯度爆炸的問題，使用了批歸一化[13]，并將激活函數(shù)置換為線性整流函數(shù)[14]Rectified Linear Unit(ReLU)。具有強表征能力的深層特征可以更好地定位顯著性目標的關(guān)鍵點位置，由ResNet獲取的深層特征圖有助于關(guān)鍵點的檢測。

RF-Net采用公共數(shù)據(jù)集訓(xùn)練，用于遙感影像匹配時只能檢測到較少的關(guān)鍵點，誤匹配率高；且關(guān)鍵點檢測模塊中網(wǎng)絡(luò)較淺，感受野受限，缺乏高層語義信息。本文基于ResNet和RF-Net提出了一個新的雙通道網(wǎng)絡(luò)，用于檢測圖像關(guān)鍵點和提取關(guān)鍵點的特征描述子。RF-Net的網(wǎng)絡(luò)流程如圖1(a)所示，基于ResNet和RF-Net的雙通道網(wǎng)絡(luò)流程如圖1(b)所示。通過對真實遙感影像進行光照變換、仿射變換，以及計算不同影像間的單應(yīng)性矩陣，構(gòu)建遙感影像匹配數(shù)據(jù)集，并采用該數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練和測試。

圖1 網(wǎng)絡(luò)流程示意圖Fig.1 Diagram of network flow

2 ResNet

ResNet提出殘差網(wǎng)絡(luò)結(jié)構(gòu)，采用批歸一化，并將激活函數(shù)設(shè)置為ReLU，在增加網(wǎng)絡(luò)深度的同時，避免了因梯度消失或爆炸帶來的性能下降。本文所提出的改進網(wǎng)絡(luò)通過ResNet獲取帶有豐富語義信息的深層特征，能更好地定位圖像中顯著性目標的關(guān)鍵點位置。

2.1 殘差學(xué)習(xí)

隨著網(wǎng)絡(luò)層數(shù)的增加，整體模型的表征能力更強，但訓(xùn)練精度反而下降，出現(xiàn)網(wǎng)絡(luò)退化問題。殘差學(xué)習(xí)可用于解決深層網(wǎng)絡(luò)普遍存在的退化問題，殘差函數(shù)的表達式為：

F(x)=H(x)-x，

(1)

式中，x為網(wǎng)絡(luò)的輸入，H(x)為多個非線性網(wǎng)絡(luò)層擬合成的基礎(chǔ)映射。

基本的殘差單元可表示為：

yi=xi+F(xi,wi)，

(2)

xi+1=g(yi)，

(3)

式中，xi、xi+1和wi分別表示第i個殘差塊的輸入、輸出和權(quán)重，F(xiàn)表示殘差函數(shù)，ɡ表示ReLU激活函數(shù)。

由上式可得，網(wǎng)絡(luò)層數(shù)加深的過程可以表示為：

(4)

通過損失函數(shù)進行反向傳播，從而更新參數(shù)。如果損失函數(shù)用Loss表示，則有：

(5)

綜上，當F(x)=0時，疊加的非線性網(wǎng)絡(luò)層被構(gòu)造為恒等映射，通過網(wǎng)絡(luò)學(xué)習(xí)到的特征與網(wǎng)絡(luò)輸入類似。在實際網(wǎng)絡(luò)訓(xùn)練環(huán)境下，即F(x)≠0時，網(wǎng)絡(luò)層學(xué)習(xí)到新的特征，性能更優(yōu)。

2.2 基于短接的恒等映射

由多個非線性網(wǎng)絡(luò)層組成的結(jié)構(gòu)，在輸入和輸出間引入一條直接的關(guān)聯(lián)通道，使得網(wǎng)絡(luò)參數(shù)層集中學(xué)習(xí)殘差，如圖2所示。殘差塊可表示為：

圖2 殘差結(jié)構(gòu)Fig.2 Structure of ResNet

Y=g[F(x,{wi})+x]，

(6)

式中，x為網(wǎng)絡(luò)輸入，Y為網(wǎng)絡(luò)輸出。F(x,{wi})表示所學(xué)習(xí)的殘差映射，ɡ表示ReLU激活函數(shù)。

殘差塊的組成較為靈活。圖3(a)為基本殘差塊結(jié)構(gòu)，由兩個網(wǎng)絡(luò)層組成；圖3(b)為瓶頸結(jié)構(gòu)，由3個網(wǎng)絡(luò)層組成，分別對應(yīng)1*1、3*3、1*1卷積，其無參數(shù)的恒等短接減少了計算參數(shù)，可更有效地訓(xùn)練網(wǎng)絡(luò)。

圖3 殘差結(jié)構(gòu)Fig.3 Structure of ResNet

以圖3(a)為例，該殘差塊由2個網(wǎng)絡(luò)層組成，即F=w2σ(w1x)，σ表示ReLU激活函數(shù)，為了簡化結(jié)構(gòu)省略了偏差項。F+x由短接的加法來表示，加法后再進行另一非線性操作。

F與x的維度必須保持一致，可改變x的維度以匹配F。

y=F(x,{wi})+wsx，

(7)

式中，ws表示第s個殘差塊的權(quán)重。

本文采用ResNet-50的網(wǎng)絡(luò)結(jié)構(gòu)用以提取深層特征，通過圖3(b)中的瓶頸結(jié)構(gòu)搭建整個網(wǎng)絡(luò)，其中輸出維度為256，512，1 024，2 048的瓶頸結(jié)構(gòu)的個數(shù)分別為3，4，6，5。

3 基于ResNet和RF-Net的網(wǎng)絡(luò)

圖4 基于雙通道的網(wǎng)絡(luò)框架Fig.4 Network structure of dual-channel

3.1 雙通道網(wǎng)絡(luò)結(jié)構(gòu)

本文的關(guān)鍵點檢測部分，采用雙通道的方式構(gòu)建網(wǎng)絡(luò)，兩個通道分別為RF-Det感受野遞增的淺層特征提取通道和ResNet的深層全局信息特征提取通道。前者提取的淺層特征具有豐富的細節(jié)信息，后者提取的深層特征包含更具代表性的全局信息。連接兩種不同的特征，提取出最具視覺區(qū)分度的特征圖，如圖5所示。第一個通道由3*3卷積、實例歸一化(Instance Normalization)正則函數(shù)和ReLU激活函數(shù)通過特征金字塔FPN(Feature Pyramid Networks)[16]的卷積方式構(gòu)成，第二個通道選用ResNet-50。淺層特征和深層特征融合后，對側(cè)邊輸出使用1*1卷積和實例正則化函數(shù)(Instance Normalization)以生成所需的多尺度響應(yīng)圖。本文提出的改進網(wǎng)絡(luò)得到的響應(yīng)圖所需感受野較小，但包含豐富的深層語義信息和淺層細節(jié)信息，有助于檢測到更多顯著性目標的關(guān)鍵點。

圖5 雙通道網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of dual-channel network

3.2 關(guān)鍵點檢測

選擇高響應(yīng)像素作為關(guān)鍵點，響應(yīng)圖hn表示多個尺度上的像素響應(yīng)，本文設(shè)計了一個類似于RF-Net和LF-Net的關(guān)鍵點檢測結(jié)構(gòu)。

(8)

(9)

式中，⊙為哈達碼矩陣，Pn表示像素點為關(guān)鍵點的可能性[10]。

對于方向圖{θn}，其值分別表示方向的sine和cosine，通過arctan函數(shù)計算角度。同樣，將θn融合成最后的方向圖Θ。

(10)

(11)

3.3 特征描述子提取網(wǎng)絡(luò)

本文采用L2-Net用于提取特征描述子。該網(wǎng)絡(luò)由6個3*3卷積層和1個8*8卷積層組成，在卷積層后都會加上ReLU激活函數(shù)，并進行批歸一化。描述子提取網(wǎng)絡(luò)最后一個卷積層的濾波器尺寸過大，對網(wǎng)絡(luò)會造成負擔，但可以獲取包含豐富信息的128維張量，并轉(zhuǎn)化為特征向量用以描述關(guān)鍵點。

3.4 損失函數(shù)

關(guān)鍵點檢測網(wǎng)絡(luò)對關(guān)鍵點的位置、方向和尺度進行預(yù)測，其損失函數(shù)由得分圖損失(Score Loss)和圖像對損失(Patch Loss)組成。

得分圖損失是指將圖像對Ii和Ij輸入網(wǎng)絡(luò)得到得分圖Si和Sj，通過Sj產(chǎn)生參考標準圖像(Ground Truth,GT)Gj，計算Si和Gj間的均方誤差(Mean Squared Error,MSE)。Gj是指從形變后的Sj中提取K個關(guān)鍵點，并使用高斯卷積(σ=0.5)得到干凈的GT。

Gj=g[t{w(Sj)}]，

(12)

式中，w、t、g分別表示形變，選取關(guān)鍵點和高斯卷積的過程，如圖4所示。得分圖損失的計算公式如下：

Lscore-loss(Si,Gj)=|Si-Gj|2

.

(13)

(14)

綜上，關(guān)鍵點檢測網(wǎng)絡(luò)損失函數(shù)為：

Ldet=Lscore-loss+Lpatch-loss

.

(15)

描述子損失(Description Loss)從Hard-Net[11]中引入特征描述子損失函數(shù)Ldes，用于最大化距離最近正例和距離最近反例之間的距離，使特征描述子訓(xùn)練更加穩(wěn)定。

(16)

(17)

(18)

4 實驗結(jié)果

4.1 訓(xùn)練數(shù)據(jù)以及評估標準

針對現(xiàn)有匹配網(wǎng)絡(luò)缺少遙感領(lǐng)域數(shù)據(jù)進行訓(xùn)練，造成在遙感影像上測試效果較差的問題，本文構(gòu)建了一個遙感影像數(shù)據(jù)集(Remote-B)，對真實遙感影像進行裁剪、光照變換和仿射變換，生成了包括亮度變化和視點變化的另外9幅圖像，并計算原始圖像和每幅生成圖像之間的單應(yīng)性(位置關(guān)系)矩陣，所有圖像和單應(yīng)性矩陣構(gòu)成了一個序列。數(shù)據(jù)集Remote-B由56個不同的序列、560幅影像組成，數(shù)據(jù)集部分圖像如圖6所示。此外，同時構(gòu)建了僅含光照變換的42個序列、294幅影像的數(shù)據(jù)集(Remote-illu)，以及僅含仿射變換的48個序列、336幅影像的數(shù)據(jù)集(Remote-view)用于測試。

圖6 遙感圖像數(shù)據(jù)集部分圖像Fig.6 Part of images in remote sensing images datasets

匹配的標準取決于匹配策略，本文分別采用3種匹配策略，計算匹配分數(shù)，用以定量評估[17]。

策略一：最近鄰NN(Nearest Neighbor)。在該標準下，每個描述子只能有一個匹配。兩個區(qū)域A和B，當且僅當其描述子DB和DA為最近鄰描述子，A與B匹配；

策略二：帶閾值的最近鄰NNT(Nearest Neighbor with a Threshold)。兩個區(qū)域A和B,當其描述子DB和DA為最近鄰描述子且兩者之間的距離小于閾值t時，A與B匹配；

這3種匹配策略用以衡量匹配的精度和關(guān)鍵點數(shù)量。在訓(xùn)練過程中，所有學(xué)習(xí)過的描述子均采用L2正則化，其距離范圍是[0，2]。NNT和NNR的閾值t分別設(shè)置為1和0.7。

4.2 訓(xùn)練過程

本文在構(gòu)建的遙感影像數(shù)據(jù)集Remote-B上進行訓(xùn)練和測試，將數(shù)據(jù)集按9∶1的比例劃分為訓(xùn)練集和測試集，500幅遙感影像用于訓(xùn)練，60幅遙感影像用于測試。

在訓(xùn)練時，將數(shù)據(jù)集中遙感影像尺度縮放，修改至320×240，并進行灰度變換。對于描述子提取網(wǎng)絡(luò)部分，圍繞關(guān)鍵點裁剪32×32尺寸大小影像輸入網(wǎng)絡(luò)訓(xùn)練。在訓(xùn)練階段，提取K=512個關(guān)鍵點，但是在測試階段，可以任選所需的關(guān)鍵點數(shù)量，通過描述子網(wǎng)絡(luò)，得到512個128維特征向量。采用適應(yīng)性矩估計Adam(Adaptive moment estimation)[18]進行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.1，同時訓(xùn)練兩次描述子網(wǎng)絡(luò)和一次關(guān)鍵點檢測網(wǎng)絡(luò)。

4.3 匹配結(jié)果

分別按照SIFT算法、RF-Net和本文改進網(wǎng)絡(luò)，對兩幅場景相同、仿射變換不同的遙感影像進行匹配，圖像間關(guān)鍵點的正確匹配如圖7所示。

圖7 SIFT、RF-Net及本文改進網(wǎng)絡(luò)的匹配結(jié)果。Fig.7 Matching result of SIFT,RF-Net,and the improved network proposed in this paper.

RF-Net和本文改進網(wǎng)絡(luò)的匹配效果明顯優(yōu)于傳統(tǒng)的SIFT算法。一方面，從圖中可以直觀看到，RF-Net和本文改進網(wǎng)絡(luò)的關(guān)鍵點匹配對數(shù)明顯多于SIFT算法，深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取能力，有助于圖像中關(guān)鍵點的檢測；另一方面，在同一區(qū)域內(nèi)，SIFT算法的關(guān)鍵點更為密集，關(guān)鍵點距離過近會導(dǎo)致產(chǎn)生的圖像對太相似而出現(xiàn)錯誤匹配，該結(jié)果可以驗證稀疏關(guān)鍵點的匹配效果更好。

將RF-Net和本文提出的改進網(wǎng)絡(luò)，在數(shù)據(jù)集Remote-B、Remote-illu和Remote-view上分別采用NN、NNT和NNR策略進行匹配。其匹配得分和平均匹配得分(Mean Score)分別如表1、表2和表3所示。

表3 Remote-view測試結(jié)果定量分析Tab.3 Test results on Remote-view

由表1可見，在Remote-B遙感數(shù)據(jù)集中，本文網(wǎng)絡(luò)的平均得分比RF-Net高出0.104，匹配精度更高。由表2可見，在Remote-illu數(shù)據(jù)集中，本文網(wǎng)絡(luò)的匹配得分高出0.002，在光照變換條件下本文提出的網(wǎng)絡(luò)和RF-Net都取得了較高的匹配精度，但本文網(wǎng)絡(luò)的匹配精度略優(yōu)于RF-Net。由表3可見，在Remote-view數(shù)據(jù)集中，本文網(wǎng)絡(luò)的匹配得分比RF-Net高出0.117，在仿射變換條件下匹配性能提升效果更為明顯。

綜上所述，本文所提出的改進網(wǎng)絡(luò)比RF-Net具有更好的關(guān)鍵點提取和匹配精度性能，尤其具有更好的抗仿射變換魯棒性能，可以更好地應(yīng)用于遙感影像匹配。

5 結(jié) 論

遙感影像匹配可以將來自不同設(shè)備、不同時間和不同角度的影像數(shù)據(jù)聯(lián)系起來，提取更為豐富的信息?；谏疃葘W(xué)習(xí)的匹配方法，不僅可以提高圖像匹配的準確率，也可以適應(yīng)復(fù)雜應(yīng)用場景的需求，具有非常重要的研究意義。本文提出了一種基于ResNet和RF-Net的雙通道檢測網(wǎng)絡(luò)，用以提取表征能力更強的深層特征，并融合感受野遞增的淺層特征，提高了檢測到的關(guān)鍵點數(shù)量和匹配的準確率。在與RF-Net的對比實驗中可以看出，本文提出的改進網(wǎng)絡(luò)在遙感影像數(shù)據(jù)集Remote-B、Remote-illu和Remote-view上的匹配得分，分別為0.416、0.966和0.647，對仿射變換具有更好的魯棒性，在關(guān)鍵點檢測和匹配精度方面性能更優(yōu)，可以有效地應(yīng)用于遙感圖像的關(guān)鍵點匹配。