基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)

許東麗 胡忠正

基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)

許東麗1胡忠正2

（1 中國(guó)地質(zhì)大學(xué)（北京），北京 100083）（2 中國(guó)資源衛(wèi)星應(yīng)用中心，北京 100094）

傳統(tǒng)的影像配準(zhǔn)算法，如尺度不變特征變換（SIFT）、加速穩(wěn)健特征（SURF）等，對(duì)遙感衛(wèi)星影像配準(zhǔn)存在提取特征點(diǎn)少、錯(cuò)誤匹配多等缺點(diǎn)。文章使用數(shù)據(jù)驅(qū)動(dòng)的隨機(jī)特征選擇卷積神經(jīng)網(wǎng)絡(luò)（RanSelCNN）方法，對(duì)Landsat-8衛(wèi)星不同時(shí)相或同一時(shí)相具有重疊度的遙感影像進(jìn)行配準(zhǔn)，卷積層使用隨機(jī)特征選擇，增加特征提取的魯棒性；訓(xùn)練時(shí)使用聯(lián)合損失函數(shù)，同時(shí)對(duì)特征探測(cè)器和特征描述符進(jìn)行優(yōu)化，減少特征的錯(cuò)誤匹配。結(jié)果表明：基于隨機(jī)選擇的深度神經(jīng)網(wǎng)絡(luò)的遙感影像配準(zhǔn)能提取更多的特征點(diǎn)，有效降低錯(cuò)誤匹配率。與傳統(tǒng)的人工設(shè)計(jì)特征相比，該算法能明顯提高衛(wèi)星影像配準(zhǔn)的精度。

數(shù)據(jù)驅(qū)動(dòng) 深度神經(jīng)網(wǎng)絡(luò) 隨機(jī)選擇 特征提取 影像配準(zhǔn) 衛(wèi)星遙感

0 引言

圖像配準(zhǔn)技術(shù)近年來發(fā)展迅速，在軍事、遙感、醫(yī)學(xué)、計(jì)算機(jī)視覺等領(lǐng)域得到了廣泛應(yīng)用。配準(zhǔn)主要包括預(yù)處理、特征提取、特征匹配、變換參數(shù)求解4個(gè)步驟，其中最重要的兩步為特征提取和特征匹配。

遙感影像配準(zhǔn)是遙感圖像處理的重要研究?jī)?nèi)容，也是圖像融合、目標(biāo)變化檢測(cè)和識(shí)別、拼接等過程必不可少的步驟，準(zhǔn)確的配準(zhǔn)能為后續(xù)的影像處理提供良好的基礎(chǔ)?，F(xiàn)有的配準(zhǔn)方法主要是傳統(tǒng)的基于人工設(shè)計(jì)特征的方法，如尺度不變特征變換（Scale-invariant Feature Transform，SIFT）[1]、加速穩(wěn)健特征（Speeded Up Robust Features，SURF）[2]等，在處理簡(jiǎn)單的小區(qū)域普通圖像時(shí)，配準(zhǔn)結(jié)果較好。然而，遙感影像獲取范圍較大，地物復(fù)雜多變且圖像內(nèi)容難理解、目標(biāo)特征不明顯，傳統(tǒng)的配準(zhǔn)方法在遙感圖像中適用范圍較窄，無法預(yù)知不可控的遙感圖像變化，不能提取到具有判別性的特征。

近年來，深度學(xué)習(xí)技術(shù)不斷進(jìn)步，數(shù)據(jù)處理能力不斷提升，其代表算法之一卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）具有較強(qiáng)的特征提取能力，能準(zhǔn)確、高效地提取高層語義特征，被廣泛應(yīng)用于計(jì)算機(jī)視覺、醫(yī)學(xué)影像處理和遙感影像處理領(lǐng)域。因此本文將利用深度學(xué)習(xí)的方法對(duì)遙感影像進(jìn)行配準(zhǔn)，將卷積神經(jīng)網(wǎng)絡(luò)用于影像配準(zhǔn)過程中的特征提取和匹配，使用隨機(jī)選擇增加網(wǎng)絡(luò)特征提取的魯棒性；同時(shí)訓(xùn)練探測(cè)器和特征描述符，增加配準(zhǔn)精度。

1 基于人工特征的匹配算法

傳統(tǒng)的基于人工特征的圖像配準(zhǔn)方法是目前各領(lǐng)域最為常用的方法，它不使用整張圖像的信息，而是提取特征，大大降低了計(jì)算量；另外，該方法具有旋轉(zhuǎn)、平移和尺度不變的特征，具有較好的魯棒性。基于特征的配準(zhǔn)方法主要有SIFT，SURF，其中最常用的方法是SIFT算法。SIFT算法使用高斯差分空間（Difference-of-Gaussian，DOG）探測(cè)關(guān)鍵點(diǎn)，形成128維的特征描述符，通過計(jì)算這些特征描述符的歐式距離得到匹配的特征，最后利用隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）剔除錯(cuò)誤匹配點(diǎn)。

SIFT算法的主要步驟為：

1）檢測(cè)尺度空間極值點(diǎn)，初步確定關(guān)鍵點(diǎn)的位置和所在尺度，尺度空間由一個(gè)變化尺度的高斯函數(shù)與原圖像卷積得到，

2）精確確定關(guān)鍵點(diǎn)的位置。將步驟1）初步確定的離散空間極值點(diǎn)進(jìn)行插值，獲得關(guān)鍵點(diǎn)的精確位置；同時(shí)剔除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

3）分配關(guān)鍵點(diǎn)方向。

4）生成關(guān)鍵點(diǎn)描述子，即128維特征描述向量。

5）采用關(guān)鍵點(diǎn)特征向量的歐式距離作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定準(zhǔn)則，找到SIFT匹配點(diǎn)。

基于特征的配準(zhǔn)算法在計(jì)算量和魯棒性方面表現(xiàn)較好，但同樣存在一些問題：1）依賴人工設(shè)計(jì)的特征，費(fèi)時(shí)費(fèi)力，且需要強(qiáng)大的專業(yè)知識(shí)；2）SIFT特征是一些細(xì)小的、低水平的特征，不具有豐富的語義信息；3）特征提取和特征匹配之間沒有信息的反饋，使得特征提取算子不能根據(jù)待配準(zhǔn)的圖像進(jìn)行自適應(yīng)的調(diào)節(jié)。

針對(duì)以上三個(gè)問題，本文提出了基于深度學(xué)習(xí)的影像配準(zhǔn)方法，與傳統(tǒng)的SIFT方法類似，同樣分為特征提取和特征匹配兩步，不同的是本文的特征提取和特征匹配均利用深度神經(jīng)網(wǎng)絡(luò)完成。

2 基于深度學(xué)習(xí)的影像配準(zhǔn)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)CNN在特征提取方面表現(xiàn)優(yōu)異，與全連接網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了權(quán)值共享，加上不斷增大的感受野使其更適于圖像處理。卷積神經(jīng)網(wǎng)絡(luò)特征提取過程主要包括卷積、非線性激活、池化、全連接。具體結(jié)構(gòu)如圖1所示。

圖1 卷積網(wǎng)絡(luò)結(jié)構(gòu)示意

卷積層利用多個(gè)固定大小的權(quán)重窗口（即卷積核），對(duì)影像像素進(jìn)行內(nèi)積運(yùn)算，其輸出是提取的特征之一，卷積運(yùn)算表示為

(l)=*(l)+(l)（2）

圖2 三種典型的激活函數(shù)

非線性激活層利用激活函數(shù)將卷積運(yùn)算得到的數(shù)據(jù)進(jìn)行非線性激活，激活函數(shù)主要有sigmoid，tanh，ReLU等（見圖2）。本文使用ReLU，其作用是使網(wǎng)絡(luò)在層數(shù)加深的同時(shí)，增加其特征提取能力。激活過程可表示為

池化層通過下采樣方式，對(duì)非線性激活后的特征圖進(jìn)行壓縮，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度；一方面進(jìn)行特征壓縮，提取主要特征。下采樣過程利用特征層與下采樣窗口做Kronecker乘積實(shí)現(xiàn)，即

全連接層主要對(duì)網(wǎng)絡(luò)提取的特征進(jìn)行整合，并輸入分類器進(jìn)行分類，實(shí)現(xiàn)過程為

2.2 基于隨機(jī)選擇的卷積神經(jīng)網(wǎng)絡(luò)特征提取

2.2.1 卷積神經(jīng)網(wǎng)絡(luò)特征提取

卷積神經(jīng)網(wǎng)絡(luò)具有特征提取能力，該過程主要靠對(duì)圖像進(jìn)行卷積運(yùn)算（見式（2））和非線性激活（見式（3））實(shí)現(xiàn)，經(jīng)過淺層的卷積運(yùn)算和函數(shù)激活，可突出影像的特征（見圖3），如角點(diǎn)、邊界、紋理、顏色等，這些特征和人工提取的特征類似，是一些基本的具有可視化的低維特征；隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)的感受野不斷增大，許多低維的局部特征組合成高維的全局特征。與低維特征相比，高維特征代表了影像更細(xì)節(jié)、更具有差異性的特征。

圖3 卷積計(jì)算與激活示意

通過卷積、激活、池化過程的不斷疊加，使得卷積神經(jīng)網(wǎng)絡(luò)能提取出衛(wèi)星影像的特征，作為特征匹配的候選點(diǎn)。本文使用ZHUOQIAN YANG[3]等人提出的簡(jiǎn)化VGG16網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 簡(jiǎn)化的特征提取網(wǎng)絡(luò)結(jié)構(gòu)

在淺層（如1，2層）時(shí)，網(wǎng)絡(luò)提取的是相對(duì)均勻的低維特征，隨著網(wǎng)絡(luò)層數(shù)增加特征更加抽象，這些抽象特征就是由許多低維特征組成的高維特征。

在影像配準(zhǔn)中，僅提取低維特征可使特征點(diǎn)數(shù)量增多，而且在影像相似的情況下，會(huì)增加特征匹配的難度，因?yàn)?，這樣可能將許多特征相似的不同點(diǎn)匹配為同一點(diǎn)，導(dǎo)致錯(cuò)誤匹配。這時(shí)需要增加網(wǎng)絡(luò)層數(shù)，提取更具代表性的高維特征，但是僅僅增加網(wǎng)絡(luò)層數(shù)會(huì)導(dǎo)致最終提取的特征點(diǎn)數(shù)量驟減，降低配準(zhǔn)精度。因此，本文提出使用隨機(jī)選擇隱藏特征的神經(jīng)網(wǎng)絡(luò)RanSelCNN，實(shí)現(xiàn)網(wǎng)絡(luò)在提取低維和高維特征上的平衡，有效解決特征點(diǎn)量和質(zhì)之間的平衡。

2.2.2 基于隨機(jī)選擇的特征提取

隨機(jī)選擇卷積神經(jīng)網(wǎng)絡(luò)最早用于弱監(jiān)督語義分割[4]，本文第一次將它運(yùn)用于衛(wèi)星影像配準(zhǔn)。其基本操作是：在卷積特征層隨機(jī)選擇隱藏單元傳入下一層網(wǎng)絡(luò)，結(jié)合式（3），該過程可表示為

式中 表示隨機(jī)選擇隱藏單元；為經(jīng)過隨機(jī)選擇的特征非線性激活值。

隨機(jī)特征選擇與深度學(xué)習(xí)中的空洞卷積[5]和Dropout[6]方法相似，但不相同。空洞卷積通過不同的擴(kuò)張率形成不同感受野的卷積核，對(duì)影像進(jìn)行卷積操作，但每次擴(kuò)張率是固定的，并且不同的擴(kuò)張率需要單獨(dú)訓(xùn)練，而本文提出的隨機(jī)選擇不需要單獨(dú)訓(xùn)練。Dropout方法在特征層傳入下一層之前，以一定的概率將特征層的元素置零，被置零的元素將無法參與后續(xù)的卷積以及后向傳播計(jì)算，而本文的隨機(jī)選擇不會(huì)將元素置零，只在特定層選擇將要傳入下一層的元素，沒被選擇的特征元素在下一層仍有被選擇的機(jī)會(huì)。

運(yùn)用特征隨機(jī)選擇，可以將影像具有識(shí)別性和非識(shí)別性的特征進(jìn)行整合，得到低維和高維特征的結(jié)合，在影像配準(zhǔn)中表現(xiàn)為：保證特征點(diǎn)數(shù)量的同時(shí)，提高特征點(diǎn)的準(zhǔn)確度，降低后續(xù)的匹配難度。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的特征匹配

2.3.1 匹配網(wǎng)絡(luò)結(jié)構(gòu)

較早的基于深度學(xué)習(xí)的影像配準(zhǔn)網(wǎng)絡(luò)如MatchNet[7]等，在特征提取后建立單獨(dú)的度量網(wǎng)絡(luò)來衡量特征的相似度，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到具有高穩(wěn)定性的特征表達(dá)，但這降低了網(wǎng)絡(luò)的多樣性，同時(shí)增加了網(wǎng)絡(luò)復(fù)雜度。因此，本文使用與L2-Net[8]相似的網(wǎng)絡(luò)結(jié)構(gòu)（如圖6所示）學(xué)習(xí)特征表達(dá)，與MatchNet網(wǎng)絡(luò)相比，減少了度量網(wǎng)絡(luò)結(jié)構(gòu)，使網(wǎng)絡(luò)可以在不使用單獨(dú)度量網(wǎng)絡(luò)的情況下，學(xué)習(xí)高性能特征。

圖6 特征匹配網(wǎng)絡(luò)結(jié)構(gòu)

本文特征匹配網(wǎng)絡(luò)通過輸入32像素×32像素大小的特征影像，最終得到128維的特征向量，與MatchNet相比，沒有在特征提取網(wǎng)絡(luò)與特征匹配網(wǎng)絡(luò)中間使用相似性度量網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)的復(fù)雜度。

2.3.2 損失函數(shù)

在影像配準(zhǔn)中，特征提取的結(jié)果直接影響特征匹配的精度，這種影響是正向不可逆的。并且許多深度學(xué)習(xí)影像配準(zhǔn)網(wǎng)絡(luò)將特征提取和特征匹配分為兩部分進(jìn)行訓(xùn)練，使用不同的損失函數(shù)分開優(yōu)化，使得兩者之間沒有信息的反饋，影響匹配結(jié)果。本文使用聯(lián)合損失函數(shù)將特征提取和特征匹配網(wǎng)絡(luò)結(jié)合起來，使特征匹配的結(jié)果反饋到特征提取網(wǎng)絡(luò)，參與優(yōu)化，增加特征提取的魯棒性，這部分損失稱為特征提取損失。對(duì)于匹配網(wǎng)絡(luò)，為了提高匹配速度，運(yùn)用RF-Net[9]提出的基于鄰域掩模的匹配損失。

（1）特征提取損失函數(shù)

（2）特征匹配損失函數(shù)

（10）

式中表示圖片對(duì)中心點(diǎn)的歐式距離；為歐氏距離閾值。式（11）-（13）表示：當(dāng)尋找非正確匹配圖片對(duì)時(shí)，將特征向量差異性度量值和特征點(diǎn)之間的歐式距離均不大于閾值的圖片對(duì)進(jìn)行掩模。

2.4 基于RanSelCNN的影像配準(zhǔn)

圖7 本文基于深度學(xué)習(xí)的影像配準(zhǔn)網(wǎng)絡(luò)整體結(jié)構(gòu)

3 試驗(yàn)驗(yàn)證

本文試驗(yàn)分為兩部分：配準(zhǔn)網(wǎng)絡(luò)訓(xùn)練、配準(zhǔn)結(jié)果預(yù)測(cè)。網(wǎng)絡(luò)訓(xùn)練主要分兩步進(jìn)行：1）使用UBC數(shù)據(jù)集進(jìn)行提取網(wǎng)絡(luò)預(yù)訓(xùn)練；2）使用Landsat-8衛(wèi)星數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)微調(diào)，最終得到訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)。結(jié)果預(yù)測(cè)使用訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)對(duì)影像進(jìn)行特征提取和特征匹配，統(tǒng)計(jì)提取特征點(diǎn)數(shù)量以及匹配準(zhǔn)確度，同時(shí)將結(jié)果分別與傳統(tǒng)的特征匹配算法BRISK、SURF、FAST以及基于深度學(xué)習(xí)的非隨機(jī)選擇CNN做對(duì)比，得出試驗(yàn)結(jié)論。

圖8 UBC數(shù)據(jù)集示意

3.1 試驗(yàn)數(shù)據(jù)集

預(yù)訓(xùn)練數(shù)據(jù)集：本文使用UBC數(shù)據(jù)集對(duì)特征提取網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。UBC數(shù)據(jù)集是MatchNet[7]網(wǎng)絡(luò)的訓(xùn)練集，由Winder等人制作，用于訓(xùn)練特征提取器。如圖8所示，該數(shù)據(jù)具有150萬個(gè)帶有標(biāo)簽的補(bǔ)丁（patch）數(shù)據(jù)[10]，使用DOG算子和Harris算子提取得到。UBC數(shù)據(jù)集有三個(gè)子數(shù)據(jù)集：Liberty、Notredame、Yosemite，分別有450×103，468×103，634×103組帶有標(biāo)簽的patch數(shù)據(jù)。

網(wǎng)絡(luò)微調(diào)：本文的研究目的是對(duì)衛(wèi)星影像進(jìn)行配準(zhǔn)，而UBC數(shù)據(jù)集是普通近景影像，因此通過制作衛(wèi)星影像數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。衛(wèi)星影像使用地面分辨率為30m的Landsat-8多光譜影像。衛(wèi)星影像數(shù)據(jù)集通過傳統(tǒng)SIFT算法提取特征點(diǎn)，并以特征點(diǎn)為中心，截取32像素× 32像素的小圖片作為訓(xùn)練集。與UBC數(shù)據(jù)集相同，分別制作正確匹配對(duì)和錯(cuò)誤匹配對(duì)，作為網(wǎng)絡(luò)微調(diào)數(shù)據(jù)集。匹配對(duì)中包含了遙感影像配準(zhǔn)任務(wù)需要解決的光線明暗變化、角度變化等問題。樣本圖像如圖9所示。

圖9 Landsat-8樣本

3.2 試驗(yàn)結(jié)果

（1）基于RanSelCNN的特征提取結(jié)果

本文使用基于隨機(jī)選擇的RanSelCNN網(wǎng)絡(luò)對(duì)影像特征進(jìn)行提取，將提取結(jié)果與傳統(tǒng)特征提取算法BRISK[11]、SURF[12]、FAST[13]以及非隨機(jī)選擇的提取網(wǎng)絡(luò)進(jìn)行對(duì)比，試驗(yàn)結(jié)果如圖10及表1所示。

圖10 五種方法特征提取結(jié)果

表1 五種方法提取特征點(diǎn)數(shù)量對(duì)比表

Tab.1 Comparison of the number of feature points extracted by five methods

結(jié)果表明，在特征點(diǎn)數(shù)量方面，基于卷積神經(jīng)網(wǎng)絡(luò)的兩種方法優(yōu)于傳統(tǒng)BRISK，SURF，F(xiàn)AST特征探測(cè)方法；隨機(jī)選擇的特征提取方法整合了低維和高維特征，特征點(diǎn)總體數(shù)量比非隨機(jī)選擇的方法少。

（2）特征匹配結(jié)果

使用本文提出的匹配方法與上述提取特征點(diǎn)較多的BRISK方法以及非隨機(jī)選擇的方法做對(duì)比，分別設(shè)計(jì)兩組試驗(yàn)：①對(duì)同一時(shí)期具有重疊度的影像進(jìn)行配準(zhǔn)；②對(duì)同一地區(qū)不同時(shí)期（2018年5月23日和2019年1月18日）的Landsat-8影像進(jìn)行配準(zhǔn)。試驗(yàn)結(jié)果如圖11~12及表2~3所示。

圖12 三種方法對(duì)同一地區(qū)不同時(shí)期的衛(wèi)星影像配準(zhǔn)

表2 三種方法配準(zhǔn)精度統(tǒng)計(jì)（對(duì)同一時(shí)期具有重疊度的影像）

Tab.2 The registration accuracy of the three methods（images with overlapping areas at the same time）

表3 三種方法配準(zhǔn)精度統(tǒng)計(jì)（對(duì)同一地區(qū)不同時(shí)期的影像）

Tab.3 The registration accuracy of the three methods（images of the same region at the different time）

由圖11和表2可得，傳統(tǒng)的BRISK方法匹配的特征點(diǎn)對(duì)最少，非隨機(jī)選擇的方法匹配的特征點(diǎn)對(duì)最多，但存在較多的錯(cuò)誤匹配，降低了配準(zhǔn)精度。而本文提出的基于隨機(jī)選擇的RanSelCNN方法表現(xiàn)較好，匹配的特征點(diǎn)對(duì)較多，且錯(cuò)誤匹配少。

對(duì)圖2及表3分析可得，由于不同時(shí)期的影像在像元灰度值方面差異較大，導(dǎo)致傳統(tǒng)的BRISK方法無法對(duì)影像進(jìn)行配準(zhǔn)，基于深度學(xué)習(xí)的方法有效克服了時(shí)相不同造成的差異。但非隨機(jī)選擇的方法存在大量的錯(cuò)誤匹配，效果不如本文的RanSelCNN方法。

從試驗(yàn)結(jié)果可以看出，RanSelCNN方法對(duì)衛(wèi)星影像進(jìn)行配準(zhǔn)時(shí)，能克服衛(wèi)星影像存在的各類常見的差異和變化，提取較多的特征點(diǎn)，同時(shí)保證了特征點(diǎn)的位置準(zhǔn)確度，提高了影像配準(zhǔn)精度。

4 結(jié)束語

本文提出了基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法對(duì)衛(wèi)星影像進(jìn)行配準(zhǔn)，與現(xiàn)存的匹配算法相比，本文的算法在特征選擇、網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)三個(gè)方面進(jìn)行改進(jìn)，主要表現(xiàn)為：1）使用隨機(jī)隱藏單元選擇的RanSelCNN對(duì)衛(wèi)星影像進(jìn)行特征提取，增加了特征提取的魯棒性；2）在網(wǎng)絡(luò)結(jié)構(gòu)方面，去掉了深度學(xué)習(xí)配準(zhǔn)方法常用的相似性度量網(wǎng)絡(luò)，降低網(wǎng)絡(luò)復(fù)雜度；3）在網(wǎng)絡(luò)訓(xùn)練方面，使用聯(lián)合損失函數(shù)使特征匹配對(duì)特征提取進(jìn)行信息反饋。

使用本文的方法對(duì)Landsat-8影像進(jìn)行配準(zhǔn)時(shí)，得到了較高的配準(zhǔn)精度，表明基于深度學(xué)習(xí)的方法用于衛(wèi)星影像處理是可行的。未來的影像配準(zhǔn)研究，會(huì)由同源向多源發(fā)展，不同傳感器數(shù)據(jù)[14]以及不同分辨率數(shù)據(jù)的配準(zhǔn)將是研究的難點(diǎn)和重點(diǎn)，屆時(shí)，基于深度學(xué)習(xí)的研究方法如生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[15]等將發(fā)揮更大的作用。同時(shí)，在匹配時(shí)間方面，基于深度學(xué)習(xí)的方法可使用GPU并行計(jì)算，大大提高了配準(zhǔn)效率。

[1] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//Proceedings of 7th IEEE International Conferences on Computer Vision. [S.l.]: IEEE, 1999: 1150-1157.

[2] 年華, 孫立, 于艷波. Harris-Laplace結(jié)合SURF的遙感圖像匹配拼接方法[J]. 航天返回與遙感, 2016, 37(6): 95-101. NIAN Hua, SUN Li, YU Yanbo. Remote Sensing Image Matching and Mosaic Based on Harris-Laplace Combined with Scale-Invariant Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2016, 37(6): 95-101. (in Chinese)

[3] YANG Zhuoqian, DAN Tingting, YANG Yang. Multi-temporal Remote Sensing Image Registration Using Deep Convolutional Features[J]. IEEE Access, 2018, 2853100: 1-1.

[4] LEE J, KIM E, LEE S, et al. FickleNet: Weakly and Semi-supervised Semantic Image Segmentation Using Stochastic Inference[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[5] WEI Yunchan, XIAO Huaxin, SHI Hinghui, et al. Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22, 2018, Salt Lake City.

[6] NITISH S, GEOFFREY H, ALEX K, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[7] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.

[8] TIAN Yurun, FAN Bin, WU Fuchao. L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[9] SHEN X L, WANG C, LI X, et al. RF-Net: An End-to-End Image Matching Network based on Receptive Field[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[10] BALNTAS V, LENC K, VEDALDI A, et al. Hpatches: A benchmark and Evaluation of Handcrafted and Learned Local Descriptors[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[11] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]// Proceedings of IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011.

[12] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

[13] LIU W Y, LI H, ZHU G X. A Fast Algorithm for Corner Detection Using the Morphologic Skeleton[J]. Pattern Recognition Letters, 2001, 22(8): 891-900.

[14] 王忠武, 劉順喜, 戴建旺, 等. “高分二號(hào)”衛(wèi)星多光譜與全色影像配準(zhǔn)策略[J]. 航天返回與遙感, 2015, 36(4): 48-53. WANG Zhongwu, LIU Shunxi, DAI Jianwang , et al. Registration Strategy for GF-2 Satellite Multispectral and Panchromatic Images[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 48-53. (in Chinese)

[15] GOODFELLOW I. NIPS 2016 Tutorial: Generative Adversarial Networks[EB/OL]. [2019-09-07]. https://arxiv.org/pdf/1701. 00160v4. pdf.

[16] WANG S, QUAN D, LIANG X F, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2018, 145: 148-164.

[17] MA W P, WEN Z, WU Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2016(99): 1-5.

[18] MERKLE N, AUER S, MULLER R, et al. Exploring the Potential of Conditional Adversarial Networks for Optical and SAR Image Matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6): 1-10.

[19] 馮筠, 延瑜瑜, 趙妍, 等. 基于學(xué)習(xí)不變特征變換的兵馬俑圖像分區(qū)匹配[J]. 光學(xué)精密工程, 2018, 26(7): 1774-1783. FENG Jun, YAN Yuyu, ZHAO Yan, et al. A Terracotta Image Partition Matching Method Based on Learned Invariant Feature Transform[J]. Optics and Precision Engineering, 2018, 26(7): 1774-1783. (in Chinese)

[20] 田上成, 張喬, 劉保成, 等. 基于傳感器幾何特性和圖像特征的影像配準(zhǔn)方法[J]. 航天返回與遙感, 2013, 34(5): 85-89. TIAN Shangcheng, ZHANG Qiao, LIU Baocheng, et al. A Improved Matching Method for Image Based on Sensor Geometric Features and Image Features[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 85-89. (in Chinese)

Remote Sensing Image Registration Based on Deep Learning Feature Extraction

XU Dongli1HU Zhongzheng2

（1 China University of Geosciences, Beijing 100083, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

Traditional image registration algorithms such as SIFT and SURF are prone to shortcomings such as extracting fewer feature points and more mismatches when registering remote sensing satellite images. In this study, the data-driven random feature selection deep convolutional neural network (RanSelCNN) method is used to register images of Landsat-8 satellites that have overlapping regions in same or different phases. For the convolutional layer, random feature selection is adopted to increase the robustness of feature extraction. Using the joint objective function during training, the feature detector and feature descriptor are optimized at the same time to reduce the mis-matchings of features. The result shows that the registration based on deep neural network can extract more feature points and reduce false matching points. Compared with the traditional artificial design features, feature extraction in this study can significantly improve the accuracy of image registration.

data-driven; deep neural network; random selection; feature extraction; image registration; satellite remote sensing

TP751

A

1009-8518(2019)06-0107-12

10.3969/j.issn.1009-8518.2019.06.013

許東麗，女，1994年生，2017年獲中國(guó)地質(zhì)大學(xué)（北京）測(cè)繪工程專業(yè)學(xué)士學(xué)位，現(xiàn)在中國(guó)地質(zhì)大學(xué)（北京）攻讀測(cè)繪科學(xué)與技術(shù)專業(yè)碩士學(xué)位，研究方向?yàn)檫b感信息處理與應(yīng)用。E-mail：xudongli1217@163.com。

2019-09-07

許東麗, 胡忠正. 基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)[J]. 航天返回與遙感, 2019, 40(6): 107-118.

XU Dongli HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extraction[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

（編輯：夏淑密）