融合多路徑與混合注意力的遙感圖像超分辨率重建

李 千,趙逢禹

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

1 引 言

遙感圖像作為地表信息的關(guān)鍵數(shù)據(jù),不管是在民用領(lǐng)域還是軍用領(lǐng)域都有著重要價(jià)值.高分辨率(High-Resolution,HR)的遙感圖像不但具有豐富而細(xì)致的紋理細(xì)節(jié),而且其包含的關(guān)鍵信息在目標(biāo)檢測(cè)、物體識(shí)別、土地覆蓋分類甚至是國防安全等工作中都有著無可替代的作用.然而,由于圖像傳輸條件和成像設(shè)備的限制[1],所獲得的遙感圖像通常是低分辨率(Low-Resolution,LR)圖像,并且通過提升硬件來增加相應(yīng)分辨率需要付出大量時(shí)間成本和經(jīng)濟(jì)成本.因此,采用超分辨率(Super-Resolution,SR)重建技術(shù)從軟件的角度來增強(qiáng)遙感圖像的分辨率具有重要的意義.

超分辨率重建技術(shù)的通常定義是指在不改變硬件條件下,結(jié)合一定的先驗(yàn)信息,將某個(gè)給定場(chǎng)景的單張或者序列LR圖像,利用一定的圖像處理方法,重構(gòu)得到該場(chǎng)景的HR圖像[2].隨著計(jì)算機(jī)視覺的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network,CNN)在自然圖像超分辨率重建領(lǐng)域展現(xiàn)出巨大潛力.

Dong等人首次將CNN應(yīng)用在自然圖像超分辨率重建任務(wù)上并提出了SRCNN算法[3],利用三層卷積完成圖像特征提取,相較于傳統(tǒng)的方法獲得了良好的重建效果.但由于在圖像特征提取操作前需要進(jìn)行插值放大,增加了計(jì)算量,同時(shí),插值過程引入的誤差也會(huì)影響重構(gòu)效果.針對(duì)插值放大帶來的問題,Dong等人進(jìn)一步提出了FSRCNN算法[4].該算法利用反卷積層解決了插值問題,同時(shí)還增加網(wǎng)絡(luò)深度和調(diào)整卷積核大小,獲得了更好的重構(gòu)效果和訓(xùn)練速度.為了提升上采樣的效果,Shi等人提出了ESPCN算法[5],該算法直接在LR圖像上進(jìn)行卷積操作提取LR圖像的特征,上采樣則是通過亞像素的方式將LR空間中的特征擴(kuò)展到HR空間,最后將卷積層得到的特征進(jìn)行像素排列獲得重建圖像.網(wǎng)絡(luò)中利用亞像素卷積層替代反卷積層,并證明是比反卷積更有效的上采樣方式.Kim等人發(fā)現(xiàn)深層網(wǎng)絡(luò)比淺層網(wǎng)絡(luò)的重建效果更好,并基于此提出了VDSR算法[6],該算法構(gòu)建了非常深的卷積神經(jīng)網(wǎng)絡(luò)以獲得更大的感受野和更多的特征信息,并率先引入殘差結(jié)構(gòu)來緩解深度網(wǎng)絡(luò)的梯度消失問題.Li等人基于反饋機(jī)制提出了SRFBN算法[7],該算法通過多次反饋連接不僅能達(dá)到加深網(wǎng)絡(luò)的效果,還能實(shí)現(xiàn)參數(shù)的復(fù)用.國內(nèi)學(xué)者程德強(qiáng)等人[8]為了平衡網(wǎng)絡(luò)深度和訓(xùn)練難度之間的關(guān)系,設(shè)計(jì)了一種多通道遞歸殘差網(wǎng)絡(luò)模型,利用遞歸方法復(fù)用殘差網(wǎng)絡(luò)塊,并通過通道學(xué)習(xí)和交叉學(xué)習(xí)機(jī)制促進(jìn)特征信息融合、提高網(wǎng)絡(luò)重建性能.

上述基于CNN的方法在圖像超分辨率重建任務(wù)上取得了很大的進(jìn)步,但卻沒有考慮到特征之間的相關(guān)性.為了學(xué)習(xí)不同通道之間的特征相關(guān)性,Zhang等人提出了RCAN算法[9],該算法在超分辨率重建任務(wù)中引入通道注意力機(jī)制,提升了網(wǎng)絡(luò)對(duì)有用信道的關(guān)注度,增強(qiáng)了網(wǎng)絡(luò)的辨別學(xué)習(xí)能力.國內(nèi)學(xué)者施舉鵬等人[10]提出了一種基于深度反饋?zhàn)⒁饬Φ某直媛仕惴?該算法以交替上下采樣和通道注意力為基礎(chǔ),能夠?qū)崿F(xiàn)對(duì)冗余特征的過濾和提高參數(shù)的復(fù)用.此外,Li等人提出ADRD算法[11],該算法通過空間注意力模塊和DenseNet來完成重建任務(wù),加強(qiáng)了對(duì)空間特征相關(guān)性的關(guān)注.盡管這些基于注意力的方法在超分辨率重建任務(wù)上取得了顯著的改善,但他們?nèi)匀挥幸恍┎蛔阒?

首先,圖像的低頻信息(平滑區(qū)域)容易恢復(fù),而高頻信息(邊緣和輪廓)很難恢復(fù).現(xiàn)有的大部分基于CNN的方法[3-8]都對(duì)不同的空間區(qū)域進(jìn)行平等處理,因此阻礙了高頻信息的恢復(fù).此外,融合多尺度的特征能夠?yàn)橹亟ǔ龈哔|(zhì)量細(xì)節(jié)提供更豐富的信息[12].雖然有些研究[13,14]也考慮融合多尺度的特征,但對(duì)不同通道和不同空間區(qū)域上特征之間的相關(guān)性缺少關(guān)注,丟失了部分重要信息.

針對(duì)上述分析以及遙感圖像超分辨率重建存在的問題,本文提出一種融合多路徑與混合注意力的遙感圖像超分辨率重建算法.算法以多層級(jí)特征提取及特征融合為網(wǎng)絡(luò)主體結(jié)構(gòu),該結(jié)構(gòu)可充分融合各級(jí)子網(wǎng)絡(luò)輸出的特征內(nèi)容進(jìn)行自適應(yīng)地學(xué)習(xí),增強(qiáng)特征的利用率以緩解圖像中小目標(biāo)特征丟失的問題.設(shè)計(jì)多路徑融合混合注意力網(wǎng)絡(luò)單元,通過橫向擴(kuò)展網(wǎng)絡(luò),利用不同尺度的卷積核獲得不同的感受野,以通過這些并行處理獲得更好的圖像表征.在該網(wǎng)絡(luò)單元中,引入一種混合注意力機(jī)制來學(xué)習(xí)特征之間不同的依賴關(guān)系,該混合注意力機(jī)制由空間注意力模塊和區(qū)域級(jí)通道注意力模塊組成.除了能夠關(guān)注到空間特征以外,還能對(duì)每個(gè)通道上的不同區(qū)域計(jì)算注意力,以加強(qiáng)高頻信息的重建.

2 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示,本文算法的網(wǎng)絡(luò)結(jié)構(gòu)包括5個(gè)模塊,它們分別是淺層特征提取模塊(Shallow Feature Extract Module,SFE)、多層級(jí)特征提取模塊(Multi-level Feature Extraction Module,MFE)、全局特征融合模塊(Global Feature Fusion Module,GFF)、上采樣模塊和重建模塊.

圖1 網(wǎng)絡(luò)總體結(jié)構(gòu)Fig.1 Overall network structure

2.1 淺層特征提取模塊

淺層特征提取模塊用于提取輸入LR遙感圖像的淺層特征.網(wǎng)絡(luò)中使用兩個(gè)3×3的卷積層來提取淺層特征.第1個(gè)卷積層從輸入的LR中提取出特征F-1,并將特征圖擴(kuò)展到64通道,這個(gè)操作可以描述為:

F-1=CSFR1(ILR)

(1)

其中,CSFE1(·)為卷積操作,代表第1次淺層特征提取,ILR代表模型輸入的低分辨率遙感圖像.F-1將在后續(xù)用于第2次淺層特征提取操作和全局的殘差學(xué)習(xí).第2個(gè)淺層特征提取操作可以描述為:

F0=CSFE2(F-1)

(2)

其中,CSFE2(·)代表第2次淺層特征提取的卷積操作,它的輸出F0將作為多層級(jí)特征提取模塊(MFE)的輸入.

2.2 多層級(jí)特征提取模塊

多層級(jí)特征提取模塊將進(jìn)行深層特征的提取,該模塊由多個(gè)串行連接的級(jí)聯(lián)多路徑網(wǎng)絡(luò)殘差塊(Cascaded Multi-path network residual Block,CMB)組成.假設(shè)模型中包含D個(gè)CMB塊,則第i個(gè)CMB塊的輸出可以描述為:

Fi=CMBi(Fi-1)

(3)

其中i=1,…,D,CMBi(·)代表第i個(gè)CMB塊的特征提取操作.

如圖2所示,每個(gè)CMB塊包含一系列的組合操作.首先連接若干個(gè)多路徑混合注意力網(wǎng)絡(luò)單元(Multi-path fusion mixed Attention Network unit,MAN),然后經(jīng)過一個(gè)1×1卷積進(jìn)行特征壓縮,再經(jīng)過注意力機(jī)制來加強(qiáng)高頻信息的重建,最后是一個(gè)殘差運(yùn)算.這部分的操作可以描述為:

圖2 級(jí)聯(lián)多路徑殘差塊Fig.2 Cascaded multi-path network residual block

(4)

其中,Fi-1和Fi分別代表單個(gè)CMB塊的輸入和輸出,HMAN,i(·)代表第i個(gè)MAN網(wǎng)絡(luò)單元(i=1,…,D),C1×1代表1×1的卷積層,A代表混合注意力機(jī)制.

2.3 全局特征融合模塊

全局特征融合模塊可充分利用各層級(jí)子網(wǎng)絡(luò)輸出的特征進(jìn)行自適應(yīng)學(xué)習(xí),提高特征利用率.該模塊包含多層級(jí)特征融合(Multi-Level Feature Fusion,MLFF)和全局殘差學(xué)習(xí).

多層級(jí)特征融合(MLFF)首先將多個(gè)級(jí)聯(lián)CMB塊對(duì)應(yīng)的層級(jí)特征抽取出來,然后用Concat操作將這些特征圖的通道拼接起來.特征融合操作由一個(gè)1×1卷積層和一個(gè)3×3卷積層完成,1×1的卷積層用于自適應(yīng)地融合不同層級(jí)的特征,并引入3×3的卷積層進(jìn)一步抽取特征FMLF用于后續(xù)的全局殘差學(xué)習(xí)[15].這部分的操作可以描述為:

FMLF=C3×3(C1×1(Concat(F1,…,FD)

(5)

其中,Concat(·) 代表將特征圖按照通道拼接,C1×1代表用于特征融合的1×1卷積層,C3×3代表特征抽取的3×3卷積層,FMLF代表多層級(jí)特征融合的輸出.

全局殘差學(xué)習(xí)用于獲取最后用于上采樣的特征圖,這個(gè)操作可以描述為:

FGF=FMLF+F-1

(6)

其中,F-1代表提取的淺層特征圖,FMLF為式(5)的輸出,其融合本文中級(jí)聯(lián)CMB塊的所有特征.

2.4 上采樣模塊

上采樣模塊會(huì)將低尺寸的特征圖擴(kuò)展至高尺寸的特征圖,本模塊采用的上采樣方法是基于Shi等人[5]提出的亞像素算法實(shí)現(xiàn).這個(gè)操作可以描述為:

Fup=Cup(FGF)

(7)

其中,FGF代表全局特征,Cup(·)代表上采樣操作,Fup代表上采樣后的輸出特征圖.

2.5 重建模塊

重建模塊使用一個(gè)3×3的卷積層將上采樣后學(xué)習(xí)到的特征圖整合并形成最終的HR圖像,同時(shí)會(huì)將特征圖的通道數(shù)恢復(fù)為3.這個(gè)操作可以描述為:

IHR=CR(Fup)

(8)

其中,IHR代表最后模型輸出的高分辨率遙感圖像,CR(·)代表一個(gè)3×3的卷積層.

3 算法細(xì)節(jié)

本章將詳細(xì)介紹在CMB塊中出現(xiàn)的MAN網(wǎng)絡(luò)單元,以及在CMB塊和MAN網(wǎng)絡(luò)單元中均使用到的混合注意力機(jī)制.

3.1 多路徑融合混合注意力網(wǎng)絡(luò)單元

如圖3所示,多路徑融合混合注意力網(wǎng)絡(luò)單元(MAN)是一種多路網(wǎng)絡(luò)結(jié)構(gòu),該結(jié)構(gòu)類似Szegedy等人[16]在GoogleNet中提出的Inception結(jié)構(gòu).在這種結(jié)構(gòu)中,會(huì)對(duì)輸入信息并行地執(zhí)行多個(gè)卷積運(yùn)算,然后將所有結(jié)果拼接為一個(gè)特征圖.因?yàn)榇笮〔煌木矸e核在圖像中獲取到感受野大小也不同,所以通過這種多路結(jié)構(gòu)能讓網(wǎng)絡(luò)自適應(yīng)地學(xué)習(xí)以選擇合適的卷積核,從而提取到更關(guān)鍵的特征.

圖3 多路徑融合混合注意力網(wǎng)絡(luò)單元Fig.3 Multi-path fusion mixed attention network unit

除了設(shè)計(jì)多路網(wǎng)絡(luò)結(jié)構(gòu)以外,本文還加強(qiáng)了不同路徑之間特征的復(fù)用,這是Inception結(jié)構(gòu)中沒有考慮到的地方,并且引入了混合注意力機(jī)制來關(guān)注不同通道上和不同空間上特征之間的相關(guān)性,加強(qiáng)高頻信息的重建.

MAN網(wǎng)絡(luò)單元主要包含3部分.第1部分為包含兩個(gè)(Conv 3×3、Conv 5×5)三層鏈?zhǔn)骄矸e的淺層多次提取操作,第2部分為包含2個(gè)三層(Conv 1×1、Conv 3×3)鏈?zhǔn)骄矸e的深層多次提取操作,第3部分為特征圖的拼接和壓縮操作.模型將兩個(gè)短跳連接加入到MAN網(wǎng)絡(luò)單元中,這能增加不同尺度特征的復(fù)用和擴(kuò)大網(wǎng)絡(luò)的感受野.此外,還通過在MAN網(wǎng)絡(luò)單元中設(shè)計(jì)長跳連接來緩解網(wǎng)絡(luò)深度過深導(dǎo)致的梯度消失問題并提高特征的傳遞性能和利用效率.

當(dāng)特征圖經(jīng)過淺層多次提取和深層多次提取后,首先用Concat將3個(gè)特征圖的通道拼接起來(圖3中N1、N2、N3),再用1×1卷積將通道恢復(fù)至輸入時(shí)的數(shù)量.為緩解網(wǎng)絡(luò)過深導(dǎo)致梯度消失的問題和提高特征利用率,經(jīng)ReLU激活函數(shù)后利用跳連接將輸入前的特征和計(jì)算得到的特征進(jìn)殘差運(yùn)算,最終得到MAN網(wǎng)絡(luò)單元的輸出.

3.2 混合注意力機(jī)制

本節(jié)將介紹在CMB塊和MAN網(wǎng)絡(luò)單元中出現(xiàn)的混合注意力機(jī)制.由于遙感圖像內(nèi)容復(fù)雜、細(xì)節(jié)較多,為了能夠獲得更好的重建效果,本文在RCAN[9]中提出的通道注意力的基礎(chǔ)上,結(jié)合深度可分離卷積(Depthwise separable Convolution,DC),設(shè)計(jì)了一種混合注意力機(jī)制,用于充分學(xué)習(xí)特征圖在空間上和通道上的特征依賴關(guān)系.深度可分離卷積首次在Xception模型[17]中被提出,由于一個(gè)卷積核負(fù)責(zé)一個(gè)通道,一個(gè)通道只被一個(gè)卷積核卷積,故深度可分離卷積可以學(xué)習(xí)特征圖的每個(gè)通道上的空間依賴關(guān)系,專注于空間特征的提取.

目前主流的通道注意力都是通過池化將特征圖歸一至一個(gè)點(diǎn),這將導(dǎo)致丟失很多信息.因?yàn)榫退闶翘卣鲌D的同一個(gè)通道,不同的位置獲取的特征也是不同的,特別是對(duì)內(nèi)容跨度大的遙感圖像更是如此.考慮到這些不足,本文中采用一種區(qū)域級(jí)的通道注意力,通過將輸入特征圖在空間維度上分成k×k個(gè)區(qū)域,這樣就能單獨(dú)對(duì)各個(gè)區(qū)域上的通道分配不同的注意力.區(qū)域級(jí)通道注意力通過對(duì)權(quán)重信息進(jìn)行擴(kuò)展能夠更全面地表示特征信息,加強(qiáng)遙感圖像高頻信息的重建.此外,本文設(shè)計(jì)的混合注意力機(jī)制中利用最大池化和均值池化替代了RCAN中的單一池化,使用兩種不同的池化方式能夠更全面地聚合區(qū)域特征信息[18].

混合注意力機(jī)制如圖4所示,包含空間注意力和區(qū)域級(jí)通道注意力兩個(gè)部分.首先選用5×5的深度可分離卷積提取每個(gè)通道空間上的特征的依賴關(guān)系,在對(duì)特征圖進(jìn)行空間特征提取之后,經(jīng)過ReLU激活后進(jìn)入通道注意力部分操作.在通道注意力中分別使用Mean池化和Max池化將特征圖的通道分成k×k個(gè)區(qū)域,然后將對(duì)應(yīng)通道的值相加.圖4中Wd代表降維的1×1卷積,Wu代表升維的1×1卷積,其作用是完成通道間的復(fù)雜依賴擬合,在進(jìn)行降維卷積Wd和升維卷積Wu之后分別用ReLU和Sigmoid對(duì)特征圖進(jìn)行操作.輸出的注意力與輸入特征圖相乘之前,需要將輸出的注意力通過最近鄰插值操作上采樣到與輸入相同的尺寸,以完成對(duì)輸入特征圖上各個(gè)區(qū)域重點(diǎn)信息的關(guān)注.

圖4 混合注意力機(jī)制Fig.4 Mixed attention mechanism

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證本文算法在遙感圖像超分辨率重建任務(wù)上的有效性,基于Pytorch深度學(xué)習(xí)框架搭建了本文提出的網(wǎng)絡(luò)模型.隨后在Google dataset of SIRI-WHU_earth、UCMerced、NWPU-RESISC45以及Christchurch Aerial Semantic Dataset這4個(gè)數(shù)據(jù)集上將本文算法實(shí)驗(yàn)結(jié)果(MAN)和Bicubic、FSRCNN[4]、ESPCN[5]、VDSR[6]、SRFBN[7]、RCAN[9]、IRN[19]這7種主流算法的實(shí)驗(yàn)結(jié)果進(jìn)行比較.評(píng)價(jià)標(biāo)準(zhǔn)采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structural Similarity,SSIM).

實(shí)驗(yàn)測(cè)試的硬件環(huán)境為搭載AMD R-7 5800H 3.2GHz×8處理器,內(nèi)存為32G,GPU為NVIDIA GeForce GTX 3060 6GB的計(jì)算機(jī).軟件環(huán)境為Ubuntu 16.04, PyCharm開發(fā)環(huán)境,CUDA Toolkit 10.1.

本模型選擇ADAM算法進(jìn)行優(yōu)化,優(yōu)化器參數(shù)beta1=0.9,beta2=0.999,epsilon=10-8.初始學(xué)習(xí)率為10-4,每訓(xùn)練100個(gè)epoch學(xué)習(xí)率下降一半,共訓(xùn)練300個(gè)epoch.經(jīng)實(shí)驗(yàn)比較,CMB的個(gè)數(shù)設(shè)置為8,MAN個(gè)數(shù)設(shè)置為4時(shí)效果較好.選擇L1[20,21]為損失函數(shù),其通過計(jì)算本模型輸出圖像與真實(shí)高分辨率圖像之間的損失值來訓(xùn)練網(wǎng)絡(luò)模型中的參數(shù),模型訓(xùn)練目標(biāo)為最小化損失函數(shù):

(9)

其中,θ表示整個(gè)網(wǎng)絡(luò)中需要學(xué)習(xí)的所有參數(shù),N則代表每個(gè)batch中的圖像數(shù)目.

4.2 數(shù)據(jù)集設(shè)置

數(shù)據(jù)集方面,Google dataset of SIRI-WHU_earth中包含2400張遙感圖像,UCMerced 中包含1700張遙感圖像,NWPU-RESISC45包含800張遙感圖像,Christchurch Aerial Semantic Dataset中包含24張超清的航拍圖像.對(duì)于前3個(gè)數(shù)據(jù)集,按照8∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集,并通過將圖像隨機(jī)選擇90°、180°、270°和水平翻轉(zhuǎn)來獲得更多的訓(xùn)練數(shù)據(jù).

對(duì)于Christchurch Aerial Semantic Dataset來說,該數(shù)據(jù)中包含4800×3600、4800×6624、6809×3600、6809×6624這4種大小的分辨率.本文將這些圖片沿水平和垂直方向以406為步長,切割為812×812大小的圖像,整理得到795張圖像,并按照前文所述圖像擴(kuò)充方式和數(shù)據(jù)集劃分方式進(jìn)行處理.

最后,本文使用雙三次插值法將高分辨率圖像分別進(jìn)行2倍、3倍和4倍下采樣,并將得到的低分辨率圖像和對(duì)應(yīng)的高分辨率圖像構(gòu)建為訓(xùn)練所需的數(shù)據(jù)格式.

4.3 消融實(shí)驗(yàn)分析混合注意力機(jī)制的有效性

為了驗(yàn)證上文中混合注意力機(jī)制的有效性,本文進(jìn)行了消融對(duì)比實(shí)驗(yàn).在MAN網(wǎng)絡(luò)單元中設(shè)計(jì)進(jìn)行3種注意力結(jié)構(gòu)的比較,訓(xùn)練100個(gè)epoch,并基于Christchurch Aerial Semantic Dataset數(shù)據(jù)集比較PSNR值.

結(jié)構(gòu) A,本文提出的混合注意力機(jī)制.

結(jié)構(gòu) B,RCAN中的通道注意力機(jī)制.

結(jié)構(gòu)C,將本文混合注意力機(jī)制中的區(qū)域級(jí)通道注意力替換為RCAN中的通道注意力,其它部分不變.

消融實(shí)驗(yàn)結(jié)果如圖5所示,結(jié)構(gòu)B和結(jié)構(gòu)C的對(duì)比可以得出,在通道注意力的基礎(chǔ)上添加空間注意力能夠提升遙感圖像重建的效果.結(jié)構(gòu)A和結(jié)構(gòu)C的對(duì)比則可得出,在混合注意力中使用區(qū)域級(jí)的通道注意力重建效果更好.

圖5 消融實(shí)驗(yàn)結(jié)果Fig.5 Result of the ablation experinment

4.4 本文算法和其它算法的對(duì)比分析

表1給出了各算法在Google dataset of SIRI-WHU_earth、UCMerced、NWPU-RESISC45以及Christchurch Aerial Semantic Dataset數(shù)據(jù)集上的PSNR和SSIM結(jié)果值.可以看到,雙三次插值法的PSNR和SSIM值最低.FSRCNN和ESPCN作為早期的超分辨率算法,相對(duì)于雙三次插值法有一定的提高,但重建效果仍然一般.對(duì)于本文方法,當(dāng)縮放因子為3時(shí),除了在Google dataset of SIRI-WHU_earth上的PSNR略低以外,在其它測(cè)試集上都取得了最佳效果.例如,對(duì)于PSNR指標(biāo),在Christchurch Aerial Semantic Dataset測(cè)試集上,當(dāng)縮放因子為2、3、4時(shí)本文方法分別為39.21dB、34.20dB和31.27dB;而對(duì)于SSIM指標(biāo) ,當(dāng)縮放因子為2、3、4時(shí)本文方法分別為0.9687、0.9391和0.9007,可以看到本文方法均取得最好的重建效果.并且Christchurch Aerial Semantic Dataset單幅圖像中包含的像素內(nèi)容最多,圖像中內(nèi)容復(fù)雜,不同物體的尺寸差異較大,這說明本文提出的方法在對(duì)這類圖像重建時(shí)有不錯(cuò)的效果.

表1 本文算法和其它算法的對(duì)比分析Table 1 Comparative analysis of the algorithm in this paper and other algorithm

4.5 視覺效果分析

除了通過PSNR和SSIM兩項(xiàng)客觀的量化評(píng)價(jià)指標(biāo)來衡量本文模型與其它模型的效果以外,還通過視覺效果分析來對(duì)比本文模型與其它模型的重建效果.考慮到篇幅原因,此處只列舉出在Christchurch Aerial Semantic Dataset數(shù)據(jù)集上縮放因子為4時(shí)在parking-lot_21上的視覺效果分析結(jié)果,如圖6所示.

圖6 重建對(duì)比圖Fig.6 Comparison of reconstruction results

從圖6中可以看出,Bicubic算法所重建的圖像較為模糊且丟失信息較多,重建效果最差.FSRCNN、ESPCN、VDSR、SRFBN、RCAN和IRN算法相較于Bicubic算法有明顯的重建效果提升,但是在細(xì)節(jié)上仍然有所缺失.而本文方法重建的細(xì)節(jié)更加豐富,與原圖更加接近,視覺效果更好.當(dāng)然,本文方法在采樣倍數(shù)較高時(shí)與原圖相比仍然有差距,但相對(duì)于其它方法,仍然取得最好的視覺效果.

5 總 結(jié)

本文提出了一種融合多路徑與混合注意力網(wǎng)絡(luò)的遙感圖像超分辨率重建算法,通過引入CMB模塊,能夠?qū)⒓?jí)聯(lián)局部特征進(jìn)行融合,充分提取不同層次的卷積層特征,關(guān)注空間差異較大的目標(biāo)物.此外,設(shè)計(jì)MAN網(wǎng)絡(luò)單元,該網(wǎng)絡(luò)單元通過兩層多次的特征提取能夠更好地捕捉高頻信息和不同尺度的特征,彌補(bǔ)細(xì)節(jié)丟失的不足.并在此基礎(chǔ)上引入混合注意力機(jī)制,進(jìn)一步對(duì)重要特征的重建進(jìn)行關(guān)注.實(shí)驗(yàn)結(jié)果表明,本文方法在客觀評(píng)價(jià)和主觀評(píng)價(jià)上較之前的主流算法都有一定的提升.

雖然本文方法在遙感圖像超分辨率重建中取得了不錯(cuò)的效果,但仍有許多問題需要完善.比如,由于本文在MAN網(wǎng)絡(luò)單元中采用多路鏈?zhǔn)骄矸e的形式進(jìn)行特征提取,并在其中應(yīng)用5×5和3×3的大卷積核,所以在訓(xùn)練模型的時(shí)候相比其他同量級(jí)的方法占用更多的內(nèi)存更多,同時(shí)也更加耗時(shí).因此,如何解決這種多路級(jí)聯(lián)網(wǎng)絡(luò)帶來的空間問題和時(shí)間問題是今后需要研究的方向.