圖像超分辨率重建算法綜述

孫菁陽(yáng)，陳鳳東，韓越越，吳煜雯，甘 雨，劉國(guó)棟

哈爾濱工業(yè)大學(xué) 儀器科學(xué)與工程學(xué)院，哈爾濱150001

隨著工業(yè)技術(shù)不斷發(fā)展，人們對(duì)圖像分辨率要求不斷提高，但很多領(lǐng)域圖像分辨率不能滿足需求，例如很多監(jiān)控成像系統(tǒng)不具備光學(xué)變焦能力，不能提供關(guān)鍵目標(biāo)的高分辨圖像。在醫(yī)學(xué)圖像領(lǐng)域，圖像分辨率受限于X光機(jī)、核磁共振掃描儀等設(shè)備分辨能力。在遙感領(lǐng)域，期望通過(guò)圖像超分辨重建提升遙感精度，因此近年來(lái)圖像超分辨率重建技術(shù)成為研究熱點(diǎn)。

真實(shí)世界（Ground True，GT）是連續(xù)的，數(shù)字圖像是真實(shí)世界的二維表示，是真實(shí)世界在傳感器中以一定空間頻率被離散采樣和量化的二維像素矩陣。

真實(shí)世界的低頻采樣圖像（Low Resolution，LR）通常被認(rèn)為是真實(shí)世界高頻采樣（High Resolution，HR）圖像的某種退化，即：

其中，Ix代表低分辨率圖像（LR），D代表退化函數(shù)，Iy代表相應(yīng)的高分辨率圖像（HR），δ代表退化過(guò)程的參數(shù)。

一般退化函數(shù)D包含降采樣、模糊和噪聲等過(guò)程，即：

其中，↓s為比例因子為S的降采樣，Iy?κ代表模糊核κ與HR圖像之間的卷積操作，n?為可加的帶標(biāo)準(zhǔn)差?的噪聲。

因此，圖像超分辨率重建（SR）問(wèn)題含義如下所示：

輸入LR圖像Ix，重建相應(yīng)的HR圖像

其中，F(xiàn)為重建模型，θ為重建模型的參數(shù)。

通常用損失函數(shù)進(jìn)行重建模型的逼近：

其中，λΦ(θ)是正則化項(xiàng)。損失函數(shù)的計(jì)算需要重建的HR圖像Iy和真值圖像（GT），常采用Iy代表GT圖像。常見(jiàn)的損失函數(shù)包括逐像素差的均方誤差及多種損失函數(shù)的組合。

圖像SR算法需要解決增加分辨率（上采樣）的同時(shí)不引起模糊和噪聲增加問(wèn)題。圖像SR算法可分為插值法、重構(gòu)法及學(xué)習(xí)法三類。

近年來(lái)涌現(xiàn)出大量SR算法，本文先簡(jiǎn)要闡述典型算法思想，然后從上采樣位置和上采樣方法、學(xué)習(xí)策略、損失函數(shù)等維度，對(duì)典型和最新的基于深度學(xué)習(xí)的圖像超分辨率重建算法進(jìn)行評(píng)述，分析了最新的發(fā)展現(xiàn)狀，并對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行展望。

1 圖像超分辨率重建算法思想

通過(guò)插值實(shí)現(xiàn)上采樣是很自然的想法。為解決上采樣引起模糊和噪聲增加問(wèn)題，插值法的思想是通過(guò)圖像某點(diǎn)周?chē)舾梢阎c(diǎn)及位置關(guān)系，利用插值公式算出插值點(diǎn)的值實(shí)現(xiàn)增加分辨率，并控制不引起模糊和噪聲增加。典型算法包括雙三次插值法、邊緣導(dǎo)向的插值[1-2]及梯度引導(dǎo)的插值等。

雙三次插值法：將要插值的點(diǎn)周?chē)?6個(gè)像素的灰度值用于插值，不僅考慮了4個(gè)直接相鄰點(diǎn)的灰度值，而且還考慮了每個(gè)相鄰點(diǎn)之間的灰度值變化率的影響。

邊緣導(dǎo)向的插值：通過(guò)計(jì)算輸入LR圖像的協(xié)方差及局部協(xié)方差系數(shù)，根據(jù)HR和LR圖像間幾何對(duì)偶性進(jìn)行邊緣區(qū)域插值[3-4]，或定向?yàn)V波[5]和數(shù)據(jù)擬合的邊緣導(dǎo)向內(nèi)插，將丟失的高分辨率像素插值到不同方向，然后使用最小均方誤差準(zhǔn)則擬合最終插值像素。

梯度引導(dǎo)的插值：利用梯度算子計(jì)算LR圖像梯度[6]，通過(guò)雙三次插值得到HR圖像梯度，并考慮梯度分布與像素分布空間相關(guān)性，局部調(diào)整梯度分布，最后采取插值策略求解HR圖像強(qiáng)度值。

插值法不能有效解決模糊和噪聲增加問(wèn)題，常作為其他算法的上采樣子步驟。

重構(gòu)法的思想是基于多幀圖像，結(jié)合先驗(yàn)知識(shí)，建立LR圖像和HR圖像之間觀測(cè)模型，并引入圖像局部或全局先驗(yàn)?zāi)Ｐ?，建立?shù)據(jù)保真項(xiàng)和圖像先驗(yàn)正則化的優(yōu)化模型。典型算法包括：迭代反向投影法[7]、凸集投影法[8-9]、基于貝葉斯框架[10]、馬爾可夫隨機(jī)場(chǎng)理論法[11-12]和最大后驗(yàn)概率法[13]等。

重構(gòu)法計(jì)算量大，過(guò)程耗時(shí)且放大倍數(shù)變化就無(wú)法獲得足夠先驗(yàn)知識(shí)，效果往往不理想。

學(xué)習(xí)法分為使用深度學(xué)習(xí)前和后兩個(gè)階段。

使用深度學(xué)習(xí)前的典型方法包括：Example-based方法[14]、鄰域嵌入方法[15]、稀疏表示法[16]、支持向量回歸方法[17]等?；舅悸肥峭ㄟ^(guò)給定樣本圖像集，計(jì)算測(cè)試樣本圖塊（patch）與訓(xùn)練樣本patches間的鄰域關(guān)系，構(gòu)造約束關(guān)系，獲得先驗(yàn)知識(shí)并逼近測(cè)試樣本的HR圖像。要求LR圖像已擁有充分用于推理對(duì)應(yīng)高分辨率部分（例如邊緣等）的信息，通過(guò)對(duì)一組同時(shí)包括HR圖像和LR圖像的樣本集合的訓(xùn)練，學(xué)習(xí)得到一個(gè)聯(lián)合系統(tǒng)模型，其表現(xiàn)形式包括：一組學(xué)習(xí)到的插值核或低分辨率塊或低分辨率塊與高分辨率塊間的映射系數(shù)等?；趯W(xué)習(xí)法的超分辨率重建思想如圖1所示。

圖1 基于學(xué)習(xí)法的超分辨率重建Fig.1 Super-resolution problem model based on learning method

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，基于深度學(xué)習(xí)的SR取得快速進(jìn)步，發(fā)展出眾多算法，本文對(duì)主流的監(jiān)督學(xué)習(xí)SR算法進(jìn)行重點(diǎn)評(píng)述。

2 基于深度學(xué)習(xí)的圖像超分辨率重建算法評(píng)述

2.1 評(píng)述維度簡(jiǎn)介

借鑒Wang等人的方法[18]從上采樣位置和上采樣方法、學(xué)習(xí)策略（遞歸學(xué)習(xí)、殘差學(xué)習(xí)、稠密連接、注意力機(jī)制）、損失函數(shù)等維度，對(duì)典型和最新的基于深度學(xué)習(xí)的圖像超分辨率重建算法進(jìn)行評(píng)述。

（1）上采樣位置

SR算法中上采樣是必要的步驟。上采樣位置包含：預(yù)上采樣、后上采樣、逐步上采樣和迭代上下采樣四種類型。如圖2所示。

圖2 上采樣模型Fig.2 Upsampling model

預(yù)上采樣是基于端到端的映射，降低了學(xué)習(xí)的難度。但常會(huì)引起噪聲放大和模糊，如圖2（a）所示。預(yù)上采樣在早期算法中使用，例如SRCNN[19]、ESPCN[20]和DRCN[21]等。

后上采樣是把上采樣模塊移動(dòng)到卷積層之后，如圖2（b）所示。在不增加分辨率的情況下把LR圖像送入到卷積層中，在低維空間中形成大多數(shù)映射。大大減少了時(shí)間和空間成本，但不能處理多尺度超分辨率問(wèn)題。后上采樣使用較多，例如SRResNet[22]、VDSR[23]、EDSR[24]、GAN[25]等，2020和2021年的超分辨算法大多數(shù)采取了后上采樣的方法，例如HAN[26]、LIIF[27]等。

逐步上采樣是基于一系列卷積層并逐步重建高分辨率圖像，如圖2（c）所示。在每一階段，圖像都被放大到與高分辨率圖像大小相同的尺寸。優(yōu)點(diǎn)是在不引入過(guò)多空間和時(shí)間成本的情況下降低了學(xué)習(xí)難度，可以處理多尺度超分辨率問(wèn)題，但存在模型設(shè)計(jì)和難以訓(xùn)練的問(wèn)題。例如LapSR[28]以及CDC[29]。

迭代上下采樣模型可以捕獲到LR-HR圖像對(duì)之間的相互依賴性，將有效的迭代過(guò)程添加到SR中以更好地探索深層LR-HR關(guān)系，如圖2（d）所示。例如Haris等人[30]利用迭代的上下采樣層，提出了深度反投影網(wǎng)絡(luò)[30]（DBPN），將上采樣層和下采樣層交替連接，利用所有中間重建的HR特征圖拼接，重建最終的HR結(jié)果。該模型可以更好地得到LR-HR圖像對(duì)之間的深層關(guān)系，從而使得圖像重建結(jié)果質(zhì)量更高。但是DBPN的反向投影單元結(jié)構(gòu)的結(jié)構(gòu)非常復(fù)雜，并且需要人工設(shè)計(jì)，所以該模型還不太成熟，需要進(jìn)一步探索，因此迭代上下采樣被使用的比較少。

（2）上采樣方法

為了克服插值方法缺點(diǎn)并學(xué)習(xí)端到端的上采樣操作，出現(xiàn)了反卷積層和亞像素層。

反卷積層，即通過(guò)插入零值并進(jìn)行卷積來(lái)擴(kuò)展圖像，分辨率。以使用3×3內(nèi)核執(zhí)行2×上采樣為例，如圖3所示。首先，將輸入圖像擴(kuò)展為原始大小的兩倍，將所有新像素值設(shè)置為0。然后利用核大小為3×3、步長(zhǎng)1和填充1進(jìn)行卷積。使用反卷積作為上采樣的算法不是很多，例如LapSR[28]、FSRCNN[31]等。

圖3 轉(zhuǎn)置卷積層模型Fig.3 Transposed convolutional layer model

亞像素層通過(guò)卷積生成多個(gè)通道，然后執(zhí)行上采樣，如圖4所示。在該層中，首先應(yīng)用標(biāo)準(zhǔn)卷積來(lái)產(chǎn)生具有s倍通道的輸出，其中s是上采樣因子。假設(shè)輸入大小為h×w×c，則輸出大小為h×w×sc，然后執(zhí)行整形操作，以產(chǎn)生sh×s×w×c大小的輸出。大多數(shù)SR算法都使用亞像素層作為上采樣方法，例如ESPCN[20]、SRResNet[22]、EDSR[24]等。

圖4 亞像素層模型Fig.4 Sub-pixel layer model

（3）學(xué)習(xí)策略

①殘差學(xué)習(xí)：可分為全局殘差學(xué)習(xí)和局部殘差學(xué)習(xí)。殘差學(xué)習(xí)模型如圖5所示。殘差學(xué)習(xí)避免了圖像的復(fù)雜轉(zhuǎn)換，只需要通過(guò)殘差映射來(lái)恢復(fù)丟失的高頻信息。大部分區(qū)域的殘差可以認(rèn)為是零，這種方法大大降低了模型的復(fù)雜度和學(xué)習(xí)難度。

圖5 殘差學(xué)習(xí)模型Fig.5 Residual learning model

局部殘差學(xué)習(xí)與ResNet中的殘差學(xué)習(xí)類似，用于解決網(wǎng)絡(luò)深度不斷增加所引起的降級(jí)問(wèn)題。由于殘差學(xué)習(xí)能解決梯度消失和梯度爆炸的問(wèn)題，2017年后的網(wǎng)絡(luò)結(jié)構(gòu)幾乎都包括殘差學(xué)習(xí)。

②遞歸學(xué)習(xí)：即多次應(yīng)用相同的模塊，如圖6所示。

圖6 遞歸學(xué)習(xí)模型Fig.6 Recursive learning model

使用遞歸學(xué)習(xí)的典型的典型算法包括：DRCN[21]、CDC[29]、SRFBN[32]等。

③密集連接：密集連接可以充分利用網(wǎng)絡(luò)模型各個(gè)層次的特征，使超分辨率模型獲得更豐富的特征表達(dá)，提高重建效果。密集連接模型如圖7所示。

圖7 密集連接模型Fig.7 Dense connection model

密集連接不僅有助于減少梯度消失和爆炸、增強(qiáng)信號(hào)傳播，還可以通過(guò)使用較小的增長(zhǎng)率（即密集塊中的通道數(shù)）和級(jí)聯(lián)的壓縮通道極大地減少參數(shù)的數(shù)量。

對(duì)于每個(gè)連接塊，將所有之前圖層的特征圖用作輸入，并將其自己的特征圖用作所有后續(xù)層的輸入。這種緊密的特征重用連接方式不僅有助于減輕梯度消失、增強(qiáng)信號(hào)傳輸，還大幅度減少了參數(shù)數(shù)量，并消除了一維通道。例如SRFBN[32]、RDN[33]。

④結(jié)合注意力機(jī)制：由于大多數(shù)現(xiàn)有的基于CNN的SR方法都忽略了中間層的特征相關(guān)性，因此在超分辨結(jié)果中LR圖像的紋理細(xì)節(jié)往往趨于平滑。因此，在SR任務(wù)中，生成細(xì)節(jié)的紋理特征仍然是較困難的問(wèn)題。大多數(shù)基于深度學(xué)習(xí)的超分辨率算法中，不同位置和通道上的神經(jīng)元具有相同的權(quán)重。結(jié)合注意力機(jī)制的超分辨率模型可以選擇更重要的信息分配更多權(quán)重來(lái)改善重建效果。注意力機(jī)制將深層神經(jīng)網(wǎng)絡(luò)的重點(diǎn)放在信息較多的區(qū)域，忽略無(wú)關(guān)信息。例如CDC[29]構(gòu)建三個(gè)分別與平坦區(qū)域、邊緣和角相關(guān)聯(lián)的組件注意力塊；HAN[26]使用圖層注意模塊（LAM）和一個(gè)通道空間注意力模塊，都取得不錯(cuò)效果。

（4）損失函數(shù)

損失函數(shù)用于衡量重建生成的高分辨率圖像和實(shí)際高分辨率圖像之間的差異，以指導(dǎo)重建模型優(yōu)化。在早期算法中，通常采用逐像素均方誤差（Mean-Square Error，MSE）損失函數(shù)，但它不能準(zhǔn)確反映重建質(zhì)量。因此，已經(jīng)提出了其他一些損失函數(shù)，如內(nèi)容損失、紋理?yè)p失以及對(duì)抗損失函數(shù)等。多種損失函數(shù)的組合使用是目前的主流。

2.2 典型算法評(píng)述

利用上述維度，選取如下典型算法，進(jìn)行簡(jiǎn)要評(píng)述：

首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像SR的算法是SRCNN[19]，其采用雙三次插值將LR圖像放大到目標(biāo)尺寸，然后通過(guò)三層卷積網(wǎng)絡(luò)擬合非線性映射，最后輸出HR圖像。相對(duì)于傳統(tǒng)方法提高了圖像重建質(zhì)量。但計(jì)算量較大，訓(xùn)練速度慢。隨后SRCNN中又加入一層卷積層，構(gòu)建FSRCNN[31]網(wǎng)絡(luò)，速度有較大提升。

為解決深層網(wǎng)絡(luò)難以訓(xùn)練問(wèn)題，何愷明等人[22]提出殘差網(wǎng)絡(luò)ResNet獲得成功，并對(duì)后續(xù)研究產(chǎn)生重大影響。此后網(wǎng)絡(luò)設(shè)計(jì)越來(lái)越多利用殘差使網(wǎng)絡(luò)加深。例如VDSR[23]模型，構(gòu)建極深網(wǎng)絡(luò)，通過(guò)殘差學(xué)習(xí)解決收斂速度慢問(wèn)題，提升了網(wǎng)絡(luò)性能，提升了圖像重建的質(zhì)量。再例如2017年，韓國(guó)首爾大學(xué)的SNU CV Lab團(tuán)隊(duì)提出EDSR[24]網(wǎng)絡(luò)模型。EDSR是單幅圖像超分辨率增強(qiáng)深度殘差網(wǎng)絡(luò)，EDSR去除SRResNet的批量標(biāo)準(zhǔn)化（BN）層，通過(guò)擴(kuò)大模型尺寸提升了重建質(zhì)量。

為克服插值法的缺點(diǎn)并學(xué)習(xí)端到端的上采樣操作，引入了亞像素卷積層，Shi等人[20]提出基于像素重排的ESPCN網(wǎng)絡(luò)模型。網(wǎng)絡(luò)輸入原始LR圖像，經(jīng)過(guò)三個(gè)卷積后，得到與輸入圖像大小相同，通道數(shù)為r2的特征圖像。再將特征圖像每個(gè)像素的r2個(gè)通道重新排列成一個(gè)r×r區(qū)域，對(duì)應(yīng)HR圖像中一個(gè)r×r子塊，從而大小為H×W×r2的特征圖像被重新排列成rH×rW×1的HR圖像。圖像尺寸放大過(guò)程的插值函數(shù)被隱含在前面卷積層，由神經(jīng)網(wǎng)絡(luò)自行學(xué)習(xí)到。該方法卷積運(yùn)算都是在LR圖像尺寸大小上進(jìn)行，因此效率較高。

為了避免過(guò)度擬合的發(fā)生，2016年，Kim等人使用遞歸神經(jīng)網(wǎng)絡(luò)RNN構(gòu)建DRCN[21]網(wǎng)絡(luò)，如圖8所示。RNN用于非線性映射時(shí)，通過(guò)RNN，數(shù)據(jù)循環(huán)多次通過(guò)該層，若將該RNN展開(kāi)，等效于使用同一組參數(shù)的多個(gè)串聯(lián)卷積層；利用ResNet思想，加入skip-connection，加深網(wǎng)絡(luò)結(jié)構(gòu)（16個(gè)遞歸），增加網(wǎng)絡(luò)感受野，提升了性能。

圖8 DRCN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 DRCN network structure diagram

2016年，Lai等人[28]提出一種拉普拉斯圖像超分辨算法，并且提出了一種新的損失函數(shù)Char損失函數(shù)。

為充分利用網(wǎng)絡(luò)模型各個(gè)層次的特征，從而使超分辨率模型可以獲得更豐富的特征表達(dá)，SRDenseNet模型[34]將DenseNet引入單幅圖像超分辨率重建，在稠密塊中將每一層特征都輸入給之后所有層，使所有層特征串聯(lián)（concatenate）起來(lái)，而不像ResNet那樣直接相加。SRDenseNet網(wǎng)絡(luò)結(jié)構(gòu)圖如圖9所示。

圖9 SRDenseNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.9 SRDenseNet network structure diagram

SRDenseNet網(wǎng)絡(luò)中采樣位置是后上采樣，前向傳播過(guò)程分為四步：（1）使用卷積層提取低層特征；（2）使用多個(gè)稠密學(xué)習(xí)高層特征；（3）使用反卷積層進(jìn)行上采樣；（4）使用卷積層重建HR圖像。根據(jù)上采樣輸入特征的三個(gè)結(jié)構(gòu)（a）、（b）、（c），越來(lái)越多的特征從上到下被輸入到反卷積層。在（b）中添加了從第一卷積層到去卷積層的跳轉(zhuǎn)連接，并且將底部卷積的輸出特征和頂部密集塊的輸出特征拼接在一起，然后輸入進(jìn)反卷積層。在（c）中，添加了密集跳轉(zhuǎn)連接，并且第一個(gè)卷積層的輸出和每個(gè)密集塊的輸出被輸入到所有隨后的密集塊，從而在去卷積層之前的所有層連接都是密集的。這種設(shè)計(jì)使得輸入到反卷積層的要素?cái)?shù)量巨大。因此，在反卷積層之間添加1×1卷積層以減少特征數(shù)量。實(shí)驗(yàn)結(jié)果表明（c）>（b）>（a），即不同級(jí)別的特征的組合有利于提高性能。

2018年，Zhang等人[33]以殘差網(wǎng)絡(luò)為基礎(chǔ)，在殘差塊內(nèi)引入密集連接，提出RDN提高了主觀視覺(jué)效果以及客觀評(píng)價(jià)指標(biāo)。

2018年，Zhang等人[35]認(rèn)為圖像含有大量低頻信息阻礙了卷積神經(jīng)網(wǎng)絡(luò)的表征能力，提出深度殘差通道注意力網(wǎng)絡(luò)RCAN。通過(guò)簡(jiǎn)單堆疊殘差塊來(lái)構(gòu)建更深的網(wǎng)絡(luò)，設(shè)計(jì)了一個(gè)殘差中的殘差（RIR）結(jié)構(gòu)來(lái)構(gòu)造深層網(wǎng)絡(luò)，由殘差組（RG）和跳遠(yuǎn)連接（LSC）組成RIR結(jié)構(gòu)，由殘差塊和短跳連接（SSC）組成RG。提出的通道注意力（Channel Attention）機(jī)制，通過(guò)對(duì)特征通道之間的相互依賴性建模來(lái)自適應(yīng)重新縮放每個(gè)通道特征。

2018年，Li等人[36]提出多尺度殘差網(wǎng)絡(luò)MSRN新型網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)分成特征提取和重建兩部分，可用不同大小卷積核來(lái)適應(yīng)性檢測(cè)不同規(guī)模的圖像特征。通過(guò)引入殘差學(xué)習(xí)會(huì)讓神經(jīng)網(wǎng)絡(luò)更有效率。

隨著生成對(duì)抗網(wǎng)絡(luò)的發(fā)展，出現(xiàn)了許多基于生成對(duì)抗性網(wǎng)絡(luò)的超分辨率重建算法。

2017年，Ledig等人[25]提出SRGAN網(wǎng)絡(luò)模型。SRGAN首次將對(duì)抗訓(xùn)練應(yīng)用于圖像超分辨率重建問(wèn)題中，結(jié)果顯示經(jīng)對(duì)抗訓(xùn)練的網(wǎng)絡(luò)生成的圖像更加真實(shí)自然。

SRGAN之后出現(xiàn)一系列基于對(duì)抗網(wǎng)絡(luò)的SR算法，Wang等人[37]研究了類條件圖像的超分辨率重建，提出了一種訓(xùn)練有GAN丟失和感知丟失的SFT-GAN。

2018年，Bulat等人[38]設(shè)計(jì)了一個(gè)基于GAN的Highto-Low網(wǎng)絡(luò)從HR圖像獲取較自然的LR圖像來(lái)模擬真實(shí)低分辨率數(shù)據(jù)。第一階段是學(xué)習(xí)這個(gè)降級(jí)過(guò)程；第二階段使用pair數(shù)據(jù)重建。在第一階段，可使用不同未配對(duì)數(shù)據(jù)集，比如由Celeb-A、AFLW、LS3D-W和VGGFace2組成的高分辨率圖像數(shù)據(jù)集，或者低分辨率圖像數(shù)據(jù)集Widerface。第二階段，用上一步輸出結(jié)果，使用成對(duì)訓(xùn)練數(shù)據(jù)從低分辨率到高分辨率地訓(xùn)練GAN。與像素上的均方誤差相似，VGG特征中的均方誤差不足以用來(lái)完全表示特征圖的真實(shí)特點(diǎn)。所以在特征圖中加入了對(duì)抗性損失，并將其命名為“SRFeat”。網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。通過(guò)兩個(gè)步驟訓(xùn)練了生成器：即預(yù)訓(xùn)練和對(duì)抗訓(xùn)練。在預(yù)訓(xùn)練階段，通過(guò)最小化均方誤差損失來(lái)訓(xùn)練網(wǎng)絡(luò)。在預(yù)訓(xùn)練階段，通過(guò)最小化MSE訓(xùn)練網(wǎng)絡(luò)。通過(guò)預(yù)訓(xùn)練得到的網(wǎng)絡(luò)可以提高峰值信噪比，但無(wú)法得到圖像中的高頻細(xì)節(jié)。在之后的對(duì)抗訓(xùn)練中，包括視覺(jué)相似的損失、圖像圖像GAN損失和特征GAN損失函數(shù)需要最小化。

圖10 SRFeat網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.10 SRFeat network structure diagram

2019年，Zhang等人[39]認(rèn)為通過(guò)對(duì)HR下采樣構(gòu)建樣本圖像的過(guò)程喪失了原始數(shù)據(jù)所能獲得的細(xì)節(jié)和準(zhǔn)確性，尤其是在放大遠(yuǎn)處物體時(shí)。他們使用單反相機(jī)在不同焦距下進(jìn)行拍攝，通過(guò)光學(xué)變焦獲得ground truth數(shù)據(jù)，并為真實(shí)的計(jì)算變焦提供一個(gè)數(shù)據(jù)集SR-RAW。使用SR-RAW來(lái)訓(xùn)練一個(gè)深度網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有一種新的上下文雙邊損失，對(duì)輸入和輸出圖像之間的輕微失調(diào)具有很強(qiáng)的魯棒性。經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)在4倍和8倍的計(jì)算變焦中實(shí)現(xiàn)了先進(jìn)的性能。Zhang等人對(duì)面向真實(shí)場(chǎng)景的超分辨重建帶來(lái)重要影響。

2020年，Wei和Xie等人提出了組件分而治之思想的圖像SR算法CDC[29]。采用對(duì)圖像中平坦區(qū)域、邊緣、角三類不同的區(qū)域進(jìn)行分而治之的方式進(jìn)行圖像超分辨重建并建立了一個(gè)大規(guī)模且多樣的真實(shí)圖像SR數(shù)據(jù)集。分而治之是基于堆疊的沙漏網(wǎng)絡(luò)建立了名為HGSR（Hourglass Super network）的基本模型。HGSR通過(guò)在所有尺度上重復(fù)進(jìn)行自下而上和自上而下的推理來(lái)學(xué)習(xí)多尺度特征。通過(guò)HGSR，CDC可以構(gòu)建三個(gè)分別與平坦區(qū)域、邊緣和角相關(guān)聯(lián)的組件注意力塊（Component-Attentive Block，CAB）。每個(gè)注意力塊都通過(guò)中間監(jiān)督（Intermediate Supervision，IS）策略來(lái)學(xué)習(xí)三個(gè)低級(jí)組件。由于不同的圖像區(qū)域在各個(gè)方向上傳遞的梯度不同，將一種新的梯度加權(quán)（Gradient-Weighted，GW）損失函數(shù)用于重建。重建的區(qū)域越復(fù)雜，損失函數(shù)受到影響就越大。即該模型可以根據(jù)重建難度來(lái)適應(yīng)模型訓(xùn)練。

2020年，Lugmayr等人提出的SRFlow[40]方法通過(guò)歸一化流學(xué)習(xí)圖像超分辨率，可以從LR圖像中生成多個(gè)不同的SR圖像。將超分辨率表述為學(xué)習(xí)高分辨率圖像上的條件概率分布的問(wèn)題，并使用負(fù)對(duì)數(shù)概率單個(gè)損失的方式訓(xùn)練模型。不同于對(duì)抗網(wǎng)絡(luò)方法，GAN要求仔細(xì)調(diào)整參數(shù)以實(shí)現(xiàn)多種損失，而SRFlow使用一次穩(wěn)定訓(xùn)練損失：negative log-likelihood，從而克服了GAN模型崩潰的問(wèn)題。SRFlow使用完全可逆的編碼器，該編碼器可以將任何輸入的HR圖像映射到潛流空間，并確保準(zhǔn)確的重建。

信息特征在SISR問(wèn)題中起著重要的作用。頻道注意在保留每一層中信息豐富的功能方面是有效的。但是頻道注意將每個(gè)卷積層視為一個(gè)單獨(dú)的過(guò)程，因此缺少了不同層之間的相關(guān)性。2020年Niu、Wen等人提出了一個(gè)新的整體注意力網(wǎng)絡(luò)HAN[26]，該網(wǎng)絡(luò)由一個(gè)圖層注意模塊（LAM）和一個(gè)通道空間注意力模塊（CSAM）組成，通過(guò)考慮各層之間的相關(guān)性，LAM自適應(yīng)地強(qiáng)調(diào)分層特征。通過(guò)學(xué)習(xí)每個(gè)通道所有位置的置信度，CSAM可以捕獲更多信息特征。HAN整個(gè)框架基于RCAN，與其不同的是：HAN將每個(gè)RG的輸出Concat連接起來(lái)，然后通過(guò)LAM對(duì)圖層進(jìn)行加權(quán)，即LAM能夠增強(qiáng)高貢獻(xiàn)特征層并抑制冗余特征層；特征提取部分最后的輸出接一個(gè)CSAM，自適應(yīng)獲取通道內(nèi)和通道間更重要的信息。作者提出的CSAM機(jī)制包含來(lái)自特征圖所有維度的響應(yīng)，為了精度和速度的權(quán)衡，把它用于最后一個(gè)特征組的末尾。較新穎的是，作者在CSAM中使用3維卷積，以通過(guò)捕獲聯(lián)合通道和空間特征生成注意力特征圖。

2020年，Luo、Xie等人提出了輕量級(jí)晶格網(wǎng)絡(luò)Lattice-Net[41]，該網(wǎng)絡(luò)包含四個(gè)部分：淺層特征提?。簝蓪?×3卷積級(jí)聯(lián)、多個(gè)級(jí)聯(lián)的晶格塊（Lattice Block，LB）、反向融合模塊（Backward Fusion Module，BFM）以及上采樣模塊。

Hyun等人提出了變分超分網(wǎng)絡(luò)VarSR[42]，該網(wǎng)絡(luò)從LR和SR圖像的潛在共同分布中抽取樣本，生成多種SR圖像形成多對(duì)一關(guān)系。VarSR方法LR與HR是一對(duì)多的關(guān)系，通過(guò)對(duì)共享分布中的多個(gè)潛在變量進(jìn)行采樣來(lái)匹配低/高分辨率的潛在分。作者為L(zhǎng)R和HR圖像引入兩個(gè)潛在變量，并以此作為網(wǎng)絡(luò)訓(xùn)練的輸入。訓(xùn)練時(shí)跟以前經(jīng)典的SR方法一樣，網(wǎng)絡(luò)最后可以生成多個(gè)看上去效果還不錯(cuò)的SR圖像。這可以解決確定性SR模型的單一結(jié)果不佳，而VarNet可以生成多個(gè)接近HR的輸出，因此經(jīng)過(guò)多次搜索可以構(gòu)成足夠大小的候選清單，即它是以產(chǎn)生多個(gè)輸出而減少犯錯(cuò)誤的機(jī)會(huì)。在訓(xùn)練階段使用LR和HR作為輸入，以生成LR和HR的潛在分布，然后從潛在分布z中隨機(jī)抽取，與LR結(jié)合生成SR。在推理階段，從潛在分布z中采樣，結(jié)合LR，生成多個(gè)SR。

考慮高頻細(xì)節(jié)主要位于邊緣和紋理周?chē)?，Wang等人提出了SMSR[43]網(wǎng)絡(luò)，以學(xué)習(xí)稀疏掩碼來(lái)修剪以輸入圖像為條件的冗余計(jì)算。在SMSR中，空間遮罩學(xué)會(huì)識(shí)別“重要”位置，而信道遮罩學(xué)會(huì)標(biāo)記那些非重要區(qū)域中的冗余頻道。所以，可以精確定位和跳過(guò)冗余計(jì)算，同時(shí)保持可比的性能。

2021年，Qiao等人[44]綜合測(cè)評(píng)了現(xiàn)有超分辨卷積神經(jīng)網(wǎng)絡(luò)模型在顯微圖像超分辨任務(wù)上的表現(xiàn)，提出傅里葉域注意力卷積神經(jīng)網(wǎng)絡(luò)和傅里葉域注意力生成對(duì)抗網(wǎng)絡(luò)模型，在不同成像條件下實(shí)現(xiàn)最優(yōu)的顯微圖像超分辨預(yù)測(cè)和結(jié)構(gòu)光超分辨重建效果，實(shí)現(xiàn)了比其他現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)模型更魯棒的顯微圖像超分辨預(yù)測(cè)效果，可在實(shí)際生物成像實(shí)驗(yàn)中替代現(xiàn)有超分辨成像方法，應(yīng)用場(chǎng)景得到較大程度的拓展。

為解決圖像低動(dòng)態(tài)范圍影響圖像超分辨率重建效果問(wèn)題，Deng等人[45]將獨(dú)立的視覺(jué)任務(wù)的圖像超分辨（Super-resolution）和多曝光圖像融合（Multi-exposure Image Fusion）進(jìn)行有機(jī)結(jié)合，提出了耦合反饋神經(jīng)網(wǎng)絡(luò)CF-Net[44]，對(duì)輸入的一對(duì)過(guò)曝光和曝光不足的圖像同時(shí)進(jìn)行圖像融合及超分辨。CF-Net由兩個(gè)耦合的循環(huán)子網(wǎng)組成。兩個(gè)子網(wǎng)將低分辨率的曝光過(guò)度或曝光不足的圖像作為輸入。每個(gè)子網(wǎng)均包含一個(gè)特征提取模塊，一個(gè)超分辨率模塊和幾個(gè)耦合的反饋塊（CFB）。特征提取模塊由兩個(gè)卷積層組成，用于初始提取輸入圖像的特征，而超分辨率模塊使用連續(xù)的上采樣結(jié)構(gòu)來(lái)獲取高級(jí)特征并提高圖像的分辨率。耦合反饋模塊是CFNet網(wǎng)絡(luò)結(jié)構(gòu)中最重要的部分，采用的是MSSIM作為損失函數(shù)對(duì)CF-Net進(jìn)行端到端訓(xùn)練。

特定倍率的超分辨算法是常見(jiàn)的。連續(xù)上采樣并高質(zhì)量放大圖像的算法更令人期望。2021年Chen等人提出了一種局域隱函數(shù)方法LIIF[27]實(shí)現(xiàn)連續(xù)地描述復(fù)雜圖像的局域信息，可以將對(duì)應(yīng)區(qū)域的圖像信息連續(xù)地表達(dá)為目標(biāo)像素坐標(biāo)到其隱含編碼的映射并進(jìn)行RGB值的預(yù)測(cè)。該網(wǎng)絡(luò)具有連續(xù)獲取坐標(biāo)的優(yōu)勢(shì)，因此使用該連續(xù)局部表達(dá)式可以獲取任何分辨率的圖像。與傳統(tǒng)放大特定倍率的超分辨算法不同，通過(guò)訓(xùn)練連續(xù)上采樣放大圖像的LIIF網(wǎng)絡(luò)，所獲得的連續(xù)模型可以實(shí)現(xiàn)30倍放大內(nèi)的任意多分辨率的提高，并獲得極好的重建效果。LIIF代表了連續(xù)上采樣并高質(zhì)量放大圖像的最新水平。

上述典型算法的評(píng)述結(jié)果，見(jiàn)表1。

表1 典型深度學(xué)習(xí)SR算法比較Table 1 Comparison of typical deep learning SR algorithms

3 超分辨率重建算法未來(lái)展望

綜上所述，超分辨率重建算法未來(lái)可能的發(fā)展方向包含以下方面：

（1）改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

①改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)考慮以下方面：結(jié)合局部和全局信息，大的感受野可以提供更多的紋理信息，這樣可生成更加真實(shí)的HR圖像。結(jié)合低層和高層信息，深度學(xué)習(xí)中的較淺層易于抽取如顏色和邊緣等低層特征，而較高層更易獲得如目標(biāo)識(shí)別等高層次的特征表示，結(jié)合低層網(wǎng)絡(luò)抽取的低層細(xì)節(jié)信息和高層網(wǎng)絡(luò)抽取到的高層紋理信息可獲得效果更好的HR圖像。結(jié)合特定內(nèi)容的注意力機(jī)制，增強(qiáng)主要特征可促進(jìn)生成的HR圖像具體更加真實(shí)的細(xì)節(jié)。

②結(jié)構(gòu)輕量化：目前網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，如何減少模型大小，降低時(shí)間開(kāi)銷并保持性能（特別是大倍數(shù)SR）仍然是未來(lái)的研究方向。

③損失函數(shù)：目前損失函數(shù)通常采用加權(quán)得到，最有效的損失函數(shù)還不明確，如何找到LR-HR-SR圖像間的潛在聯(lián)系并找到更加準(zhǔn)確的損失函數(shù)是值得研究的方向。

④圖像質(zhì)量評(píng)估：PSNR/SSIM方法不能客觀地反映圖像的主觀效果，MOS方法需要大量的人工成本并且無(wú)法復(fù)制。需要提出更準(zhǔn)確的圖像質(zhì)量評(píng)估方法。

（2）無(wú)監(jiān)督學(xué)習(xí)

不需要LR-HR圖像對(duì)的無(wú)監(jiān)督SR是一個(gè)重要的研究方向。Helou等人[46]提出了隨機(jī)頻率掩模改善超分辨率和降噪網(wǎng)絡(luò)并介紹了一種擴(kuò)展到超分辨率和降噪的條件學(xué)習(xí)觀點(diǎn)，提出了一種用于訓(xùn)練圖像的隨機(jī)頻率掩模來(lái)規(guī)范化網(wǎng)絡(luò)并解決過(guò)度擬合的問(wèn)題。改進(jìn)了具有不同合成內(nèi)核，真正超分辨率，是高斯盲去噪和實(shí)像去噪的最新盲超分辨率技術(shù)。

（3）面向真實(shí)場(chǎng)景

真實(shí)世界的圖像往往具有復(fù)雜的退化模型。基于深度學(xué)習(xí)的SR有一個(gè)重要前提假設(shè)是測(cè)試圖像的分布與訓(xùn)練圖像的分布一致，當(dāng)訓(xùn)練過(guò)程中采用的退化模型和測(cè)試時(shí)的實(shí)際圖像的退化模型不一致時(shí)，重建結(jié)果往往會(huì)產(chǎn)生明顯的退化。因此構(gòu)建符合真實(shí)場(chǎng)景的超分訓(xùn)練集、實(shí)現(xiàn)更適合于實(shí)際應(yīng)用場(chǎng)景的算法是最值得研究人員進(jìn)行深入探索的。