基于位置約束的參考圖引導(dǎo)的遙感影像超分辨率網(wǎng)絡(luò)

楊敬鈺，楊 帆，岳煥景

（天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072）

隨著衛(wèi)星成像技術(shù)的不斷發(fā)展，人們已經(jīng)可以獲取到分辨率為 0.1m的高質(zhì)量遙感影像，但這些影像資源仍然無(wú)法對(duì)同一位置區(qū)域?qū)崿F(xiàn)長(zhǎng)時(shí)間的連續(xù)覆蓋.但在遙感對(duì)地觀測(cè)領(lǐng)域中，對(duì)生態(tài)或地質(zhì)環(huán)境進(jìn)行長(zhǎng)時(shí)間跨度的監(jiān)測(cè)是具有重要意義的[1-4].因此，本文通過(guò)圖像超分辨率(super-resolution，SR)算法來(lái)解決這一問(wèn)題.

圖像超分辨率是指通過(guò)一定的算法從低分辨率(low-resolution，LR)圖像中重建出其對(duì)應(yīng)的高分辨率圖像的過(guò)程[5].現(xiàn)有的圖像超分辨率算法主要可以分為兩類：?jiǎn)螆D像超分辨率方法和基于參考圖的圖像超分辨率方法.近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNNs)已被證明具有很強(qiáng)的特征提取能力，因此基于深度學(xué)習(xí)的思想也被廣泛應(yīng)用于上述兩類圖像超分辨率算法中.

對(duì)于單圖像超分辨率算法，在自然圖像領(lǐng)域中，Dong等[6]首次將深度學(xué)習(xí)思想應(yīng)用于圖像超分辨率.并且，為進(jìn)一步提高網(wǎng)絡(luò)效率，Dong等[7]通過(guò)在網(wǎng)絡(luò)末端添加反卷積層的方式構(gòu)建了 FSRCNN網(wǎng)絡(luò).Kim等[8]搭建了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)圖像超分辨率.同時(shí)通過(guò)殘差學(xué)習(xí)、較大的學(xué)習(xí)率以及可調(diào)節(jié)的梯度裁剪來(lái)保證網(wǎng)絡(luò)的快速收斂.Lim等[9]針對(duì)超分辨率任務(wù)的特性，對(duì)原始的殘差網(wǎng)絡(luò)進(jìn)行了改進(jìn)，刪除了其中不必要的模塊，并提出 EDSR網(wǎng)絡(luò)，該網(wǎng)絡(luò)獲得了出色的重建性能.卷積神經(jīng)網(wǎng)絡(luò)中不同通道的特征信息具有不同的關(guān)注點(diǎn)，但上述的圖像超分辨率算法對(duì)這些信息總是進(jìn)行相同的操作，這將在一定程度上削弱網(wǎng)絡(luò)的特征表達(dá)能力.針對(duì)這一問(wèn)題，Zhang等[10]將注意力機(jī)制引入到殘差塊中，提出了一種能夠在通道維度上進(jìn)行自適應(yīng)特征縮放的圖像超分辨率網(wǎng)絡(luò).Niu等[11]進(jìn)一步提出了一個(gè)對(duì)深度、通道和位置注意力機(jī)制進(jìn)行融合的網(wǎng)絡(luò)HAN.在遙感領(lǐng)域中，早期的方法[12]選擇直接套用針對(duì)自然圖像設(shè)計(jì)的網(wǎng)絡(luò)模型，再利用遙感影像對(duì)其進(jìn)行重新訓(xùn)練.針對(duì)遙感影像的獨(dú)特結(jié)構(gòu)信息，Lei等[13]提出了 LGCNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠更好地對(duì)局部地物目標(biāo)和全局環(huán)境先驗(yàn)等多尺度的特征進(jìn)行學(xué)習(xí).Wang等[14]針對(duì)不同的頻率維度來(lái)訓(xùn)練多個(gè)卷積神經(jīng)網(wǎng)絡(luò).通過(guò)小波分解的方式，這些網(wǎng)絡(luò)可以恢復(fù)出不同方向的頻率特征.為進(jìn)一步提升網(wǎng)絡(luò)的特征表達(dá)能力，Jiang等[15]所提出的方法則在網(wǎng)絡(luò)中引入了更為密集的連接，并通過(guò)漸進(jìn)的學(xué)習(xí)模式來(lái)訓(xùn)練兩個(gè)子網(wǎng)絡(luò).

由于單張低分辨率影像中的信息是有限的，所以上述單圖像超分辨率方法的重建結(jié)果往往較為平滑和模糊.而參考圖引導(dǎo)的圖像超分辨率算法則可以有效改善上述問(wèn)題，此類方法可以利用高分辨率參考圖像中的相似紋理對(duì)重建過(guò)程進(jìn)行引導(dǎo)，進(jìn)而生成擁有更多紋理細(xì)節(jié)的重建結(jié)果.在自然圖像領(lǐng)域中，Yue等[16]通過(guò)全局配準(zhǔn)和塊匹配的方式來(lái)利用參考圖像中的相似信息.通過(guò)對(duì) CNNs的引入，Yue等[17]進(jìn)一步提出了改進(jìn)方法，當(dāng)外部的相似圖像可用時(shí)，該網(wǎng)絡(luò)能夠同時(shí)使用內(nèi)部和外部的相似信息來(lái)對(duì)重建過(guò)程進(jìn)行引導(dǎo).為解決相似塊內(nèi)部也可能存在著像素移位的問(wèn)題，Zheng等[18]提出了一種通過(guò)光流的方式來(lái)進(jìn)行像素維度配準(zhǔn)的方法.不同于以往在原圖像域進(jìn)行匹配的方法，Zhang等[19]提出了SRNTT，該網(wǎng)絡(luò)能夠在特征域上實(shí)現(xiàn)多尺度的相似塊匹配.Yan等[20]建立了一個(gè)通用的參考圖像池，通過(guò)這樣的方式，可以在匹配過(guò)程中使用到更多的參考圖像信息.Yang等[21]將注意力機(jī)制引入到了紋理匹配的過(guò)程中，更有效地實(shí)現(xiàn)了參考紋理向目標(biāo)紋理的變換.在遙感領(lǐng)域中，Dong等[4]首次提出了針對(duì)遙感影像設(shè)計(jì)的參考圖引導(dǎo)的圖像超分辨率網(wǎng)絡(luò)RRSGAN.該網(wǎng)絡(luò)基于梯度引導(dǎo)和可變性卷積來(lái)實(shí)現(xiàn)特征對(duì)齊.然而，這樣的匹配策略僅適用于圖像中的大尺度結(jié)構(gòu)信息，對(duì)于細(xì)節(jié)紋理的對(duì)齊效果并不理想，進(jìn)而阻礙了網(wǎng)絡(luò)獲得更好的重建性能.

對(duì)于同一位置區(qū)域而言，通?？梢垣@取到來(lái)自不同衛(wèi)星在不同時(shí)間段拍攝的多幅分辨率不同的遙感影像.其中的高分辨率影像可以作為低分辨率影像在超分辨率重建過(guò)程中的參考影像.因此，對(duì)于遙感圖像來(lái)說(shuō)，參考圖引導(dǎo)的圖像超分辨率策略是完全可行的.雖然在之前的研究中已經(jīng)有了相關(guān)工作的產(chǎn)出，但這些方法在進(jìn)行相似塊匹配時(shí)，都忽略了多個(gè)相似塊在位置信息上的聯(lián)系，即與低分辨率圖像中相鄰像素點(diǎn)所匹配的參考圖像塊應(yīng)該也是盡可能相鄰或聚合的.其次，之前的方法多采用直接進(jìn)行通道維度合并的方式來(lái)實(shí)現(xiàn)特征融合，這顯然是不合理的.針對(duì)這些問(wèn)題，本文提出了一個(gè)基于相似塊位置約束和多尺度特征自適應(yīng)融合的超分辨率網(wǎng)絡(luò).該網(wǎng)絡(luò)首先通過(guò)位置編碼的方式來(lái)對(duì)匹配后的參考特征圖進(jìn)行約束，從而保證低分辨率輸入中鄰近元素所對(duì)應(yīng)的參考特征塊具有更高的聚合度，有效提高匹配精度.然后通過(guò)對(duì)通道注意力機(jī)制的引入，實(shí)現(xiàn)了多尺度特征的自適應(yīng)融合，提高了網(wǎng)絡(luò)的特征表達(dá)能力.

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)概述

基于 TTSR[21]，本文提出了基于位置約束的遙感影像超分辨率網(wǎng)絡(luò)，如圖1所示，其中LRI 表示低分辨率輸入，SR

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of the proposed network

I 表示重建輸出.對(duì)于 4×超分辨率，網(wǎng)絡(luò)共包含 3個(gè)分支，分別用于處理 1×、2×以及 4×3個(gè)尺度上的特征.對(duì)于尺度 1所在的分支，首先通過(guò)多個(gè)殘差塊來(lái)進(jìn)行特征提取，以獲得相應(yīng)的骨干特征圖，然后再使用基于位置編碼的紋理轉(zhuǎn)換模塊來(lái)實(shí)現(xiàn)參考圖特征的匹配和變換，最后通過(guò)多個(gè)殘差塊和多尺度特征自適應(yīng)融合模塊進(jìn)一步重建出圖像的紋理信息.尺度2和尺度3的重建過(guò)程與尺度1相似，不同之處在于尺度 2、3的骨干特征圖是通過(guò)對(duì)尺度1、2的特征圖進(jìn)行上采樣來(lái)獲取的.網(wǎng)絡(luò)最終的重建結(jié)果SR

I 是由3個(gè)尺度的特征進(jìn)行自適應(yīng)融合生成的.

1.2 基于位置編碼的紋理轉(zhuǎn)換模塊

如圖2所示，該模塊以 ILR↑、IRef、IRef↓↑以及B作為輸入，最終輸出轉(zhuǎn)換后的特征圖F.其中 ILR↑代表經(jīng)過(guò)4倍上采樣后的低分辨率輸入，IRef代表高分辨率參考圖像，IRef↓↑代表經(jīng)過(guò)4倍下采樣和4倍上采樣后的參考圖像，B代表圖1中輸入到紋理轉(zhuǎn)換模塊的骨干特征圖.該模塊首先在特征域?qū)?ILR↑和IRef↓↑進(jìn)行塊匹配，然后利用塊匹配的結(jié)果來(lái)引導(dǎo)IRef的特征圖與骨干特征圖進(jìn)行融合變換.與TTSR[21]相比，本文提出的紋理轉(zhuǎn)換模塊主要有兩大不同之處.一是本文在紋理轉(zhuǎn)換的過(guò)程中引入了位置編碼的策略，該策略正是以往方法所欠缺的.通過(guò)位置編碼的方式，可以計(jì)算出與低分辨率輸入中鄰近元素相匹配的參考特征塊之間的聚合度，并以此為基準(zhǔn)生成位置編碼圖P，實(shí)現(xiàn)對(duì)參考特征圖的位置約束.二是在參考特征圖的融合變換部分，本文對(duì)TTSR中的軟注意力方法進(jìn)行了擴(kuò)充，提出了雙重注意力機(jī)制.該機(jī)制從參考特征塊的紋理相似度和位置聚合度兩個(gè)方面出發(fā)，更為有效地實(shí)現(xiàn)了對(duì)高匹配度特征的增強(qiáng)以及對(duì)低匹配度特征的抑制.該模塊的具體實(shí)現(xiàn)細(xì)節(jié)如下文所述.

圖2 基于位置編碼的紋理轉(zhuǎn)換模塊Fig.2 Texture transformer based on position-encoding

1.2.1 紋理提取器

通過(guò)預(yù)訓(xùn)練的 VGG[22]網(wǎng)絡(luò)所提取到的語(yǔ)義特征并不能完全適用于圖像超分辨率任務(wù).因此，為了獲得更準(zhǔn)確和有效的紋理特征，本文使用了一種可學(xué)習(xí)的紋理提取器，共包含 5個(gè)卷積層和兩個(gè)池化層.在訓(xùn)練過(guò)程中，該提取器能夠逐步生成更適用于超分辨率任務(wù)的紋理特征.其具體表示為

式中：Gte為紋理提取器；Q、K、V分別表示為ILR↑、IRef↓↑、IRef的紋理特征.

1.2.2 全局搜索模塊

全局搜索模塊通過(guò)計(jì)算Q與K之間的相似度來(lái)實(shí)現(xiàn)低分辨率圖像與參考圖像之間的塊匹配.首先，以每個(gè)像素點(diǎn)為中心，將Q和K分解成大小為 3×3的特征塊，將這些特征塊分別表示為qi，i ∈ [1 , H W]和kj， j∈ [1 , H W].H和W分別為 ILR的高和寬.然后計(jì)算出qi和ki之間的相似度，并以此為標(biāo)準(zhǔn)從K 的全局范圍內(nèi)篩選出與每個(gè)特征塊qi最相似的特征塊ki.qi和ki之間的相似度是通過(guò)歸一化內(nèi)積的方式來(lái)進(jìn)行計(jì)算的

式中si,j為Q中第i個(gè)特征塊與K中第j個(gè)特征塊之間的相似度.

獲得特征塊之間的相似度后，基于全局搜索的策略，可以從所有ki中篩選出與每個(gè)qi最相似的特征塊.具體表示為

式中si為軟注意力圖S中的第 i個(gè)元素，所有的si共同組成S.硬注意力圖J將作為位置編碼和硬注意力模塊的輸入，軟注意力圖S將作為雙重注意力模塊的輸入.

1.2.3 位置編碼

通常來(lái)說(shuō)，兩張圖像中的相似紋理總是會(huì)以塊的形式出現(xiàn).因此，對(duì)于Q中的鄰近元素來(lái)說(shuō)，分別以它們?yōu)橹行牡膓i在全局搜索模塊中所匹配到的kj也同樣應(yīng)該在空間信息上具有較高的聚合度.針對(duì)這一特性，本文設(shè)計(jì)了一種以相似塊聚合度為標(biāo)準(zhǔn)的位置編碼模塊.該模塊以硬注意力圖J作為輸入，計(jì)算出與每個(gè)元素相對(duì)應(yīng)的位置約束.首先，以J中的各元素為中心，劃分出大小為 3×3的局部窗口，然后再計(jì)算窗口內(nèi)所有元素與中心元素之間的位置差總和.具體計(jì)算公式為

式中：x，y ∈ [-1 ,1]；Gpos(a)表示用 a除以W后對(duì)結(jié)果中的商和余數(shù)進(jìn)行求和，結(jié)果中的商和余數(shù)分別對(duì)應(yīng)于窗口中各元素與中心元素在垂直和水平方向上的位置差異；p~i表示窗口內(nèi)所有元素的位置差總和.最后，還需要獲取到所有p~i中的最大值，并進(jìn)一步計(jì)算出位置編碼圖P中每個(gè)元素的值，具體表示為

式中：z=0.5；pi為P中的第 i個(gè)元素，所有的pi共同組成位置編碼圖P.

1.2.4 硬注意力

硬注意力模塊能夠利用J中的位置信息來(lái)對(duì)V中的特征塊進(jìn)行重組，進(jìn)而生成匹配后的參考特征圖R.首先使用與前文相同的方法將V拆分成大小為3×3的特征塊vi，然后再通過(guò)以下方式來(lái)實(shí)現(xiàn)特征匹配，即

式中ir表示R中的第 i個(gè)元素，所有的ir共同組成匹配后的參考特征圖R.

1.2.5 雙重注意力

雙重注意力模塊旨在通過(guò)軟注意力圖S和位置編碼圖P來(lái)實(shí)現(xiàn)對(duì)參考特征圖R的自適應(yīng)轉(zhuǎn)換，在轉(zhuǎn)換過(guò)程中能夠?qū)Ω咂ヅ涠鹊奶卣鬟M(jìn)行增強(qiáng)，對(duì)低匹配度的特征進(jìn)行抑制.具體轉(zhuǎn)換過(guò)程如下.

式中：Gconv代表卷積操作；‖ 代表特征圖在通道維度上的級(jí)聯(lián)；⊙代表 Hadamard乘積；F代表紋理轉(zhuǎn)換模塊的輸出.

為了降低計(jì)算復(fù)雜度，該網(wǎng)絡(luò)僅在尺度1上進(jìn)行了全局搜索和位置編碼，其余兩個(gè)尺度的硬注意力圖J、軟注意力圖S以及位置編碼圖P均由尺度 1的結(jié)果映射得到.

1.3 多尺度特征自適應(yīng)融合模塊

如圖1所示，網(wǎng)絡(luò)通過(guò)分布在3個(gè)尺度上的參考特征圖來(lái)對(duì)超分辨率過(guò)程進(jìn)行引導(dǎo)，最終的重建結(jié)果也是由 3個(gè)尺度上的特征進(jìn)行融合生成的.然而，如果直接以相同的權(quán)重將這些跨尺度的特征進(jìn)行融合，將無(wú)法獲得出色的重建性能，因?yàn)椴⒉皇撬械奶卣鞫寄転橹亟ㄟ^(guò)程提供相同的引導(dǎo).針對(duì)這一問(wèn)題，基于 RCAN[10]，本文提出了多尺度特征自適應(yīng)融合模塊，有效增強(qiáng)了網(wǎng)絡(luò)中各分支的特征表達(dá)能力.由于不同尺度的特征圖擁有不同的尺寸大小，因此在進(jìn)行融合前，還需要對(duì)不同尺寸的特征圖進(jìn)行上采樣和下采樣操作，其中上采樣操作通過(guò)雙三次插值實(shí)現(xiàn)，下采樣操作通過(guò)步長(zhǎng)為2的卷積來(lái)實(shí)現(xiàn).

具體的融合過(guò)程為：首先將重采樣后的特征圖進(jìn)行通道維度的級(jí)聯(lián)，然后通過(guò)全局平均池化層和兩個(gè)卷積核大小為1×1的卷積層來(lái)獲取其通道維度上的權(quán)重，并將該權(quán)重與級(jí)聯(lián)后的特征圖進(jìn)行 Hadamard乘積，生成優(yōu)化后的特征圖.最后，通過(guò)一個(gè)卷積層將優(yōu)化后的特征圖映射為原始的通道數(shù)，得到最終的融合結(jié)果.

1.4 損失函數(shù)

式中：θ為網(wǎng)絡(luò)的參數(shù)；N為中像素的總數(shù)量；G為批量大小.

2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

本文使用遙感領(lǐng)域中的公開數(shù)據(jù)集 RRSSRD[4]來(lái)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和測(cè)試.其中訓(xùn)練數(shù)據(jù)共包含了4047組高分辨率圖像和參考圖像對(duì)，覆蓋了機(jī)場(chǎng)、沙灘、橋梁、居民區(qū)、運(yùn)動(dòng)場(chǎng)等多個(gè)遙感場(chǎng)景，它們均分布在廈門和濟(jì)南地區(qū).其中高分辨率圖像是通過(guò)WorldView-2和GaoFen-2衛(wèi)星獲取的，覆蓋2015和2018兩個(gè)年份.參考圖像則是從 Google Earth 2019年的影像中獲取的.高分辨率圖像和參考圖像的尺寸大小均為 480×480.低分辨率輸入圖像是由高分辨率圖像通過(guò)下采樣的方式生成的.RRSSRD的測(cè)試集共有4組，每組均包含 40對(duì)高分辨率圖像和參考圖像.第 1組測(cè)試數(shù)據(jù)的高分辨率影像由WorldView-2衛(wèi)星拍攝的，覆蓋區(qū)域?yàn)閺B門.第 2組測(cè)試數(shù)據(jù)的覆蓋區(qū)域與第1組數(shù)據(jù)相同，但其高分辨率影像是由Microsoft Virtual Earth衛(wèi)星拍攝的.第3組測(cè)試數(shù)據(jù)的高分辨率影像由 GaoFen-2衛(wèi)星拍攝的，覆蓋區(qū)域?yàn)闈?jì)南.第 4組測(cè)試數(shù)據(jù)的覆蓋區(qū)域與第 3組數(shù)據(jù)相同，但其高分辨率影像是由 Microsoft Virtual Earth衛(wèi)星拍攝的.此外，4組測(cè)試數(shù)據(jù)中的參考影像均是由Google Earth衛(wèi)星拍攝的.所有高分辨率圖像和參考圖像的尺寸大小均為 480×480.低分辨率輸入圖像則是由高分辨率圖像通過(guò)下采樣的方式生成的.

2.2 實(shí)驗(yàn)設(shè)置

本文提出的網(wǎng)絡(luò)中，除通道注意力模塊和最后一個(gè)卷積層使用了大小為 1×1的卷積核外，其余卷積層的卷積核大小均為 3×3.網(wǎng)絡(luò)的第 1個(gè)卷積層和所有的殘差塊中的通道數(shù)均為64.

在訓(xùn)練過(guò)程中，本文通過(guò) 90°、180°、270°的隨機(jī)旋轉(zhuǎn)以及垂直和水平方向的隨機(jī)翻轉(zhuǎn)來(lái)實(shí)現(xiàn)數(shù)據(jù)增廣.所提出的網(wǎng)絡(luò)采用參數(shù)為β1=0.9、β2= 0.999以及ε= 1 0-8的 Adam優(yōu)化算法.紋理提取器的初始學(xué)習(xí)率為 5 × 1 0-5，其余模塊的初始學(xué)習(xí)率為 1× 1 0-4.每隔 100個(gè)迭代次數(shù)(epoch)，學(xué)習(xí)率下降一半.網(wǎng)絡(luò)在 150個(gè) epoch收斂，訓(xùn)練數(shù)據(jù)的批量大小為5.該網(wǎng)絡(luò)在NVIDIA GeForce RTX 2080 Ti服務(wù)器上使用Pytorch框架進(jìn)行訓(xùn)練.

3 實(shí)驗(yàn)結(jié)果

本文將提出的方法與其他新近的圖像超分辨率方法在 4×和 8×超分辨率任務(wù)上進(jìn)行了對(duì)比.對(duì)比方法包括兩類：一是單圖像超分辨率方法，如RCAN[10]和 HAN[11]；二是參考圖引導(dǎo)的圖像超分辨率方法，如 TTSR[21]和 RRSGAN[4].以上方法均在RRSSRD 上進(jìn)行了重新訓(xùn)練.對(duì)于 8×超分辨率，本文提出的方法通過(guò)將2×超分辨率模型和4×超分辨率模型進(jìn)行級(jí)聯(lián)來(lái)實(shí)現(xiàn).TTSR與 RRSGAN也采取了相同的策略.對(duì)于單圖像超分辨率方法 RCAN和HAN，則遵循其原始設(shè)置，在網(wǎng)絡(luò)末端添加一個(gè)額外的上采樣層來(lái)實(shí)現(xiàn)8×超分辨率.TTSR和RRSGAN在原始的訓(xùn)練過(guò)程中均引入了對(duì)抗損失，但這往往會(huì)產(chǎn)生較低的峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)數(shù)值.因此，為保證實(shí)驗(yàn)的公平性，在對(duì)這兩種方法進(jìn)行重新訓(xùn)練時(shí)，僅使用了其重建損失，獲得了相應(yīng)的TTSR-rec和 RRSNet版本.除了 PSNR和 SSIM，本文還引入了學(xué)習(xí)感知圖像塊相似度[23](learned perceptual image patch similarity，LPIPS)指標(biāo)，該指標(biāo)通過(guò)一個(gè)預(yù)訓(xùn)練的網(wǎng)絡(luò)來(lái)評(píng)估重建圖像與原始圖像之間的感知相似度.不同于 PSNR和 SSIM，越低的LPIPS數(shù)值對(duì)應(yīng)越好的重建結(jié)果.下文中，本文方法(無(wú)參考圖)代表將網(wǎng)絡(luò)中的紋理轉(zhuǎn)換模塊替換為一個(gè)卷積層時(shí)所對(duì)應(yīng)的單圖像超分辨率網(wǎng)絡(luò).

3.1 定量結(jié)果對(duì)比

表1從PSNR、SSIM和LPIPS 3個(gè)方面展示了本文提出的方法與其他方法在4×和8×超分辨率任務(wù)上的重建性能.可以看出本文方法(無(wú)參考圖)相較于其他的單圖像超分辨率方法，在性能上并沒(méi)有過(guò)多的損失，這說(shuō)明在缺少參考圖像時(shí)，本文提出的多尺度特征自適應(yīng)融合模塊仍然能夠幫助骨干網(wǎng)絡(luò)獲得更好的 8×超分辨率結(jié)果，本文方法相較于次優(yōu)的方法在4個(gè)數(shù)據(jù)集上分別獲得了PSNR/SSIM/LPIPS為 0.08dB/0.003/0.002、0.06dB/0.002/0.003、0.09dB/0.003/0.003、0.0.07dB/0.002/0.001的提升.以上定量對(duì)比結(jié)果證明了本文提出的基于位置編碼的紋理轉(zhuǎn)換模塊和多尺度特征自適應(yīng)融合模塊的有效性，使網(wǎng)絡(luò)在多個(gè)尺度的超分辨率任務(wù)上均獲得出色的重建性能.

表1 在4個(gè)測(cè)試集上的PSNR/SSIM/LPIPS結(jié)果Tab.1 PSNR/SSIM/LPIPS results comparison among different methods on four testing datasets

3.2 定性結(jié)果對(duì)比

圖3和圖4分別展示了本文的方法與其他對(duì)比方法在RRSSRD-2和RRSSRD-4測(cè)試集上的4×超分辨率結(jié)果.圖3(a)為原始的高分辨率圖像，圖3(j)為原始高分辨率圖像在圖3(a)中紅色框區(qū)域的放大結(jié)果，圖3(f)為參考圖像，圖3(b)～(e)及圖3(g)～(i)為各超分辨率方法的重建圖像在(a)中紅色框區(qū)域的放大結(jié)果.從圖3和圖4可知，由于低分辨率輸入能夠提供的紋理信息有限，所以單圖像超分辨率方法的重建結(jié)果均顯得較為平滑，且無(wú)法恢復(fù)出清晰的紋理輪廓.TTSR雖然能夠獲取一定的參考圖像信息，但在全局維度上的塊匹配缺少更多的約束條件，導(dǎo)致匹配準(zhǔn)確度下降，從而影像最終的重建性能.RRSNet中提出的基于梯度的匹配方法更適用于處理大尺度的地物目標(biāo)，所以在對(duì)一些較為細(xì)節(jié)的紋理進(jìn)行恢復(fù)時(shí)，能獲得的性能提升較為有限.本文通過(guò)對(duì)位置約束的引入，有效提高了紋理轉(zhuǎn)換模塊的匹配精度，進(jìn)而再利用多尺度特征自適應(yīng)融合模塊幫助網(wǎng)絡(luò)重建出了最清晰和銳利的細(xì)節(jié)紋理，如圖3(i)和圖4(i)所示.

圖3 RRSSRD-2測(cè)試集上的4×超分辨率結(jié)果Fig.3 Visual comparison results on RRSSRD-2 at 4× SR

圖4 RRSSRD-4測(cè)試集上的4×超分辨率結(jié)果Fig.4 Visual comparison results on RRSSRD-4 at 4× SR

圖5和圖6分別展示了本文方法與其他對(duì)比方法在RRSSRD-1和RRSSRD-3測(cè)試集上的8×超分辨率結(jié)果.對(duì)于8×超分辨率，ILR↑和 IRef↓↑將變得尤為模糊，相似塊的匹配也會(huì)變得特別困難.但本文提出的方法仍然能夠在所有對(duì)比方法中生成最清晰的重建結(jié)果.由此可以證明，即使匹配條件并不理想，位置編碼的策略仍然可以幫助網(wǎng)絡(luò)保持較為穩(wěn)定的匹配精度，并通過(guò)跨尺度的自適應(yīng)融合機(jī)制對(duì)超分辨率過(guò)程進(jìn)行有效引導(dǎo).

圖5 RRSSRD-1測(cè)試集上的8×超分辨率結(jié)果Fig.5 Visual comparison results on RRSSRD-1 at 8× SR

圖6 RRSSRD-3測(cè)試集上的8×超分辨率結(jié)果Fig.6 Visual comparison results on RRSSRD-3 at 8× SR

3.3 魯棒性分析

在實(shí)際應(yīng)用中，低分辨率輸入圖像和參考圖像通常是由不同衛(wèi)星在不同時(shí)間段拍攝的，所以可能會(huì)出現(xiàn)衛(wèi)星坐標(biāo)不匹配、參考圖像缺失、參考圖像被云覆蓋等情況.因此，網(wǎng)絡(luò)在使用不同相似度的參考圖像時(shí)，能夠具保持一定的魯棒性也是尤為重要的.圖7展示了本文提出的方法在使用不同的參考圖像時(shí)所獲得的重建結(jié)果.圖7(a)為原始的高分辨率圖像，圖7(f)為(a)中紅色框區(qū)域的放大結(jié)果，圖7(g)～(i)分別為使用圖7(b)～(d)作為參考圖像時(shí)，本文方法的重建圖像在圖7(a)中紅色框區(qū)域的放大結(jié)果.圖7(e)為不使用參考圖像時(shí)，本文方法重建圖像的放大結(jié)果.圖7(j)為 HAN 重建圖像的放大結(jié)果.顯然，當(dāng)使用的參考圖像來(lái)自于 RRSSRD數(shù)據(jù)集時(shí)，本文方法具有最好的重建性能，并生成更多真實(shí)清晰的細(xì)節(jié)紋理.即使使用了不相干或被云覆蓋的參考圖像，本文的方法仍然可以不受其干擾，并對(duì)不相似的紋理進(jìn)行抑制，獲得與HAN相近的重建性能.

圖7 使用不同參考圖像的4×超分辨率結(jié)果Fig.7 4×SR results with different reference images

4 結(jié) 語(yǔ)

本文提出了一種基于位置約束的參考圖引導(dǎo)的遙感影像超分辨率網(wǎng)絡(luò)，并同時(shí)引入了對(duì)跨尺度特征進(jìn)行自適應(yīng)融合的策略.在紋理轉(zhuǎn)換模塊，通過(guò)位置編碼的方式來(lái)對(duì)匹配到的參考特征塊進(jìn)行約束，有效提高了匹配的準(zhǔn)確度.然后，基于通道注意力機(jī)制，對(duì) 3個(gè)尺度上的參考特征圖和低分辨率特征進(jìn)行自適應(yīng)的融合，提高了網(wǎng)絡(luò)的特征表達(dá)能力和重建性能.實(shí)驗(yàn)結(jié)果表明，本文所提出的方法在定量和定性兩個(gè)方面均表現(xiàn)出了優(yōu)于現(xiàn)有超分辨率方法的重建性能.