基于學(xué)習(xí)的圖像超分辨重建方法綜述

李云紅，王 珍，張凱兵，章為川，閆亞娣

西安工程大學(xué) 電子信息學(xué)院，西安 710048

1 引言

圖像超分辨重建是一種有效提高圖像分辨率的信號(hào)處理技術(shù)。該技術(shù)能有效克服成像設(shè)備固有分辨率的不足，突破成像環(huán)境的限制，在不改變現(xiàn)有成像系統(tǒng)的前提下，能以最低的成本獲取高于成像系統(tǒng)物理分辨率的高質(zhì)量圖像[1-6]。圖像超分辨重建技術(shù)具有非常廣泛的應(yīng)用前景，是低質(zhì)量智能安全監(jiān)控系統(tǒng)中人臉檢測(cè)與目標(biāo)識(shí)別、智能機(jī)器人等的關(guān)鍵技術(shù)，以及多尺度、多通道圖像融合技術(shù)的基礎(chǔ)。該技術(shù)的成功應(yīng)用不僅能促進(jìn)光電子信息技術(shù)的發(fā)展，而且能推動(dòng)物聯(lián)網(wǎng)視頻感知與智能分析技術(shù)、車聯(lián)網(wǎng)智能交通關(guān)鍵技術(shù)、遙感成像技術(shù)以及移動(dòng)多媒體通信技術(shù)等多個(gè)高新技術(shù)產(chǎn)業(yè)的進(jìn)步和發(fā)展。

經(jīng)過(guò)30多年的研究與發(fā)展，單幀圖像超分辨重建技術(shù)取得了重大進(jìn)展。已有的單幀圖像超分辨重建技術(shù)主要分為3種類型：基于插值的方法、基于重構(gòu)的方法和基于實(shí)例學(xué)習(xí)的方法。相比基于插值的方法和基于重構(gòu)的方法，基于實(shí)例學(xué)習(xí)的方法具有算法結(jié)構(gòu)靈活，在高倍數(shù)放大情況下能獲得更多的細(xì)節(jié)等優(yōu)點(diǎn)，因而受到國(guó)內(nèi)外廣大學(xué)者的廣泛關(guān)注。根據(jù)超分辨重建過(guò)程中實(shí)例樣本使用方式和建立映射關(guān)系算法的不同，現(xiàn)有的實(shí)例學(xué)習(xí)單幀圖像超分辨重建方法可以細(xì)分為5類：基于k-近鄰（k-NN）學(xué)習(xí)的方法[7-10]、基于流形學(xué)習(xí)的方法[11-17]、基于超完備字典學(xué)習(xí)的方法[18-24]、基于實(shí)例回歸的方法[25-39]和基于深度學(xué)習(xí)的方法[40-43]?；趉-NN和基于流形學(xué)習(xí)的超分辨算法結(jié)構(gòu)簡(jiǎn)單，但對(duì)每個(gè)輸入的圖像塊，都需要搜索規(guī)模龐大的訓(xùn)練集進(jìn)行相似性匹配，計(jì)算時(shí)間復(fù)雜度和空間復(fù)雜度均很高，因而超分辨重建算法無(wú)法在實(shí)際中推廣應(yīng)用。基于超完備字典學(xué)習(xí)的方法首先學(xué)習(xí)低分辨與高分辨圖像塊的超完備字典，然后求解基于?0-或?1-范數(shù)正則化最小二乘優(yōu)化問(wèn)題，建立低分辨與高分辨圖像之間的關(guān)系。與基于k-NN和流形學(xué)習(xí)的超分辨重建方法相比，該超分辨重建方法不僅能重建質(zhì)量更高的超分辨圖像，而且能顯著降低重建算法的計(jì)算時(shí)間復(fù)雜度與空間復(fù)雜度。然而，對(duì)于每個(gè)輸入的低分辨圖像塊，基于稀疏表示的超分辨重建方法需要求解超完備字典的稀疏表示，當(dāng)字典規(guī)模或重建圖像尺寸較大時(shí)，計(jì)算時(shí)間復(fù)雜度仍然很高，與實(shí)時(shí)應(yīng)用還存在相當(dāng)大的差距?；趯?shí)例多線性回歸的超分辨重建方法直接建立低分辨與高分辨特征空間之間映射關(guān)系，實(shí)現(xiàn)低分辨與高分辨圖像之間的變換。而基于深度學(xué)習(xí)的實(shí)例學(xué)習(xí)超分辨重建技術(shù)通過(guò)建立低分辨與高分辨圖像之間端到端的非線性映射關(guān)系能獲得更高質(zhì)量的超分辨圖像，因而受到超分辨研究領(lǐng)域研究者的廣泛關(guān)注。

2 基于學(xué)習(xí)的單幀圖像超分辨重建研究進(jìn)展

基于實(shí)例學(xué)習(xí)的單幀圖像超分辨重建方法利用大量低分辨與高分辨圖像對(duì)作為先驗(yàn)信息，通過(guò)學(xué)習(xí)低分辨與高分辨圖像之間的映射關(guān)系估計(jì)低分辨圖像中丟失的高頻細(xì)節(jié)。根據(jù)超分辨重建過(guò)程中實(shí)例樣本使用方式和建立映射關(guān)系方式的不同，分別介紹5種不同類型的實(shí)例學(xué)習(xí)超分辨重建技術(shù)。

2.1 基于k-NN學(xué)習(xí)的超分辨重建方法

基于k-NN學(xué)習(xí)的超分辨重建方法由Freeman等人[7-8]首次提出，該方法利用馬爾可夫（Markov）網(wǎng)絡(luò)建立低分辨圖像和高分辨場(chǎng)景之間的關(guān)系模型，通過(guò)信令傳播（Belief Propagation，BP）算法實(shí)現(xiàn)高分辨圖像的最大后驗(yàn)估計(jì)。圖1是利用Markov網(wǎng)絡(luò)建立圖像塊之間空間關(guān)系的模型，圓圈表示網(wǎng)絡(luò)節(jié)點(diǎn)，線表示節(jié)點(diǎn)之間的統(tǒng)計(jì)依存關(guān)系。在此框架中，對(duì)觀察節(jié)點(diǎn)y和狀態(tài)節(jié)點(diǎn)x有：

其中，Z是歸一化常數(shù)，yi和xi分別表示節(jié)點(diǎn)i處低分辨輸入和高分辨估計(jì)，每個(gè)節(jié)點(diǎn)的最優(yōu)高分辨塊是使Markov網(wǎng)絡(luò)概率最大化的集合。

圖1 Markov網(wǎng)絡(luò)模型

隨后，Sun等人[9]改進(jìn)了Freeman等人的算法，通過(guò)利用圖像的初始簡(jiǎn)圖先驗(yàn)增強(qiáng)圖像的邊緣、脊和角點(diǎn)等目標(biāo)區(qū)域，以減小Freeman等人方法產(chǎn)生的模糊效應(yīng)。之后，Wang等人[10]通過(guò)組合全局重構(gòu)約束和局部細(xì)節(jié)合成方法，利用退火Gibbs采樣估計(jì)高分辨圖像。盡管基于k-NN的超分辨重建方法在一定程度上能突破物理成像系統(tǒng)分辨率的限制，能夠在低分辨圖像中添加新的圖像細(xì)節(jié)。然而，該類方法的重建質(zhì)量很大程度上依賴于大量實(shí)例樣本的學(xué)習(xí)，因此計(jì)算復(fù)雜度較高，不利于實(shí)際應(yīng)用。而且，當(dāng)輸入圖像和訓(xùn)練集中圖像結(jié)構(gòu)不匹配時(shí)，該方法導(dǎo)致重建質(zhì)量的顯著下降。

2.2 基于流形學(xué)習(xí)的超分辨重建方法

基于流形學(xué)習(xí)的方法假設(shè)低分辨特征空間和對(duì)應(yīng)的高分辨特征空間在局部結(jié)構(gòu)上是等同或相似的，如圖2所示。利用該假設(shè)Chang等人[11]利用局部線性嵌入（Locally Linear Embedding，LLE）的流形學(xué)習(xí)[12]的思想，提出了基于鄰域嵌入（Neighbor Embedding，NE）[13]的超分辨重建方法。該方法利用鄰域嵌入學(xué)習(xí)算法，通過(guò)最小化輸入的低分辨圖像塊與其k個(gè)候選低分辨特征塊的重構(gòu)誤差估計(jì)最優(yōu)重構(gòu)權(quán)值，然后利用得到的重構(gòu)權(quán)值線性組合k個(gè)對(duì)應(yīng)的高分辨近鄰合成所需的高分辨特征。

圖2 鄰域嵌入超分辨重建方法的流形假設(shè)

（1）對(duì)測(cè)試集Xt中的每一個(gè)圖像塊，在低分辨圖像訓(xùn)練集Xs中查找與最近的k-近鄰樣本，構(gòu)成最近鄰集Nq。

（2）計(jì)算重構(gòu)權(quán)重，使得重構(gòu)誤差最小，即εp=

之后，在Chang等人方法的基礎(chǔ)上，提出了許多改進(jìn)的鄰域嵌入超分辨重建算法。為克服實(shí)例學(xué)習(xí)方法對(duì)訓(xùn)練圖像的依賴性，Chan等人[14]使用直方圖匹配策略，選擇與輸入低分辨圖像相匹配的訓(xùn)練圖像構(gòu)造訓(xùn)練集，在一定程度上能降低鄰域嵌入算法對(duì)實(shí)例樣本的依賴性。不過(guò)，該方法未能從本質(zhì)上解決鄰域嵌入超分辨重建技術(shù)存在的不適定的問(wèn)題。考慮到邊緣和鄰域大小在鄰域嵌入超分辨算法中的關(guān)鍵作用，Chan等人[15]利用邊緣檢測(cè)與分類策略提出了一種改進(jìn)的鄰域嵌入超分辨重建方法。該方法利用邊緣檢測(cè)對(duì)線性塊進(jìn)行分類，并線性組合一階梯度特征和加權(quán)亮度特征表示低分辨圖像塊。同時(shí)對(duì)邊緣塊和非邊緣塊分別使用不同個(gè)數(shù)的鄰域進(jìn)行重構(gòu)。與傳統(tǒng)鄰域嵌入超分辨重建方法相比，該方法在一定程度上能重建出較清晰的高分辨圖像。然而，該方法的性能取決于邊緣檢測(cè)的結(jié)果，當(dāng)邊緣分類不正確時(shí)該方法會(huì)產(chǎn)生明顯的失真。Gao等人為克服鄰域嵌入方法使用固定的k鄰域進(jìn)行重構(gòu)容易導(dǎo)致過(guò)擬合或欠擬合的不足，提出了基于稀疏選擇鄰域[16]和基于對(duì)偶約束的鄰域嵌入超分辨重建方法[17]，取得了比Chang的方法更好的重建質(zhì)量。

與基于k-NN學(xué)習(xí)的超分辨重建方法相比，基于鄰域嵌入的流形學(xué)習(xí)超分辨重建方法能充分利用訓(xùn)練集中盡可能多的樣本，在訓(xùn)練樣本規(guī)模較小的情況下，能獲得比k-NN方法更強(qiáng)的泛化能力。不過(guò)，該方法對(duì)圖像特征的選擇和近鄰個(gè)數(shù)較為敏感，容易產(chǎn)生過(guò)擬合或欠擬合現(xiàn)象。

2.3 基于超完備字典學(xué)習(xí)的超分辨重建方法

基于字典學(xué)習(xí)的方法假設(shè)自然圖像可以通過(guò)從實(shí)例樣本中學(xué)習(xí)一個(gè)超完備字典對(duì)進(jìn)行稀疏表示獲得?；谏鲜鏊枷?，Yang等人[18]首次提出了基于稀疏表示先驗(yàn)的實(shí)例學(xué)習(xí)超分辨重建方法，該方法首先通過(guò)學(xué)習(xí)低分辨與高分辨圖像塊的超完備字典對(duì)，然后求解基于?1-范數(shù)稀疏正則化最小二乘優(yōu)化問(wèn)題建立低分辨與高分辨圖像之間的關(guān)系。在學(xué)習(xí)階段，基于?1-范數(shù)稀疏正則化的超完備字典學(xué)習(xí)可表示為如下優(yōu)化問(wèn)題：

其中，Dl∈Rdl×K表示低分辨字典，Dh∈Rdh×K表示低分辨字典，Α∈RK×m表示稀疏表示系數(shù)矩陣，dl和dh分別表示低分辨圖像塊特征和高分辨圖像塊特征的維數(shù)，K表示字典原子的個(gè)數(shù)。

l，即：

然后，利用得到的稀疏表示向量α^和高分辨超完備字典Dh，合成高分辨圖像塊特征，表示為：

在文獻(xiàn)[18]的基礎(chǔ)上，Zeyde等人[19]提出了基于KSVD字典學(xué)習(xí)[20]和正交匹配追蹤[21]稀疏編碼的超分辨重建方法。該方法具有比文獻(xiàn)[18]方法更低的時(shí)間復(fù)雜度。針對(duì)直接求解?1-范數(shù)稀疏解時(shí)間復(fù)雜度高的問(wèn)題，Yang等人[22]提出了雙級(jí)優(yōu)化的對(duì)偶字典學(xué)習(xí)算法，通過(guò)選擇性處理策略和前向反饋神經(jīng)網(wǎng)絡(luò)加快推理稀疏編碼，在一定程度上突破了?1-范數(shù)稀疏編碼的計(jì)算瓶頸問(wèn)題?？紤]到稀疏編碼在低分辨特征空間和高分辨特征空間的不一致性，Wang等人[23]提出了一種半耦合字典學(xué)習(xí)（Semi-Coupled Dictionary Learning，SCDL）的稀疏表示模型，該模型聯(lián)合學(xué)習(xí)字典對(duì)和稀疏關(guān)系映射，在圖像超分辨和照片-畫像合成上獲得了較好的性能。針對(duì)含噪圖像超分辨問(wèn)題，竇諾等人[24]提出了聯(lián)合圖像去噪和圖像超分辨的新方法。該方法先訓(xùn)練一個(gè)含噪低分辨率圖像塊和清晰高分辨率圖像塊的字典對(duì)，使得高低分辨率圖像塊在該字典對(duì)下具有相同的稀疏表示。當(dāng)輸入含噪低分辨率圖像塊時(shí)，先計(jì)算出其在低分辨率字典下的稀疏表示系數(shù)，然后利用此系數(shù)在高分辨率字典下做重建，清晰高分辨率圖像塊，最后通過(guò)整體優(yōu)化完成清晰高分辨率圖像，具有很好的魯棒性和有效性。杜偉男等人[44]提出一種基于二維可分離字典和殘差字典的圖像超分辨率重建方法，該方法具有保持圖像的空間結(jié)構(gòu)信息，減少字典參數(shù)的數(shù)量，節(jié)省存儲(chǔ)空間等優(yōu)點(diǎn)。

與基于k-NN和流形學(xué)習(xí)的超分辨算法相比，基于字典學(xué)習(xí)的超分辨重建方法利用學(xué)習(xí)的超完備字典而不是規(guī)模龐大的訓(xùn)練集進(jìn)行超分辨重建，重建過(guò)程中無(wú)需搜索原始的訓(xùn)練集，因而算法的空間復(fù)雜度較低。而且通過(guò)調(diào)整重構(gòu)誤差項(xiàng)和稀疏正則項(xiàng)之間的正則化常數(shù)的大小，調(diào)整重構(gòu)精度和對(duì)噪聲的抑制能力，因而具有較好的靈活性和噪聲魯棒性。不過(guò)上述方法在重建過(guò)程中對(duì)每個(gè)輸入的圖像塊都需要求解關(guān)于超完備字典的稀疏編碼，當(dāng)字典規(guī)?；蛑亟▓D像較大時(shí)，計(jì)算時(shí)間度仍然很高，重建質(zhì)量和計(jì)算效率距離實(shí)時(shí)應(yīng)用還存在相當(dāng)大的差距。

2.4 基于實(shí)例回歸的超分辨重建方法

基于實(shí)例回歸的方法直接在低分辨圖像特征空間與高分辨特征之間建立映射關(guān)系實(shí)現(xiàn)超分辨重建。早期代表性的方法有Ni等人[25]提出的基于支持向量回歸的實(shí)例學(xué)習(xí)方法和Kim等人[26]提出基于核瘠回歸和自然圖像先驗(yàn)的回歸方法。近年來(lái)，學(xué)習(xí)分段線性回歸的快速實(shí)例回歸超分辨重建方法成為研究的熱點(diǎn)。該類方法首先通過(guò)聚類或稀疏字典學(xué)習(xí)建立低分辨特征空間中多個(gè)錨點(diǎn)，然后利用局部流形假設(shè)，在低分辨和高分辨鄰域樣本之間建立多個(gè)線性映射關(guān)系。代表性的工作如Timofte等人[27]，提出的錨點(diǎn)鄰域回歸（Anchored Neighborhoods Regression，ANR）的方法，該方法不僅能避免超分辨過(guò)程中求解稀疏編碼而導(dǎo)致的計(jì)算瓶頸的問(wèn)題，而且能獲得較高的重建質(zhì)量，具有較好的實(shí)際應(yīng)用前景。

如圖3是基于ANR實(shí)例多線性回歸超分辨重建方法的框架圖。假定 Dl∈?m×K是學(xué)習(xí)的低分辨字典，Dh∈?n×K是對(duì)應(yīng)的高分辨字典。首先，通過(guò)K-SVD算法學(xué)習(xí)低分辨字典Dl，并將字典中的每個(gè)原子作為錨點(diǎn)。假設(shè)∈?m×k是第i個(gè)錨點(diǎn)對(duì)應(yīng)的k個(gè)低分辨相關(guān)最近鄰，∈?n×p是對(duì)應(yīng)的高分辨相關(guān)最近鄰。對(duì)每一個(gè)k-最近鄰（k-NN）對(duì){,，采用?2-范數(shù)正則項(xiàng)的多元脊回歸模型求解如下最小化問(wèn)題：

其中，‖·‖F(xiàn)是矩陣的Frobenius范數(shù)，λ是一個(gè)平衡重構(gòu)誤差項(xiàng)和正則項(xiàng)之間關(guān)系的很小正常數(shù)。求解公式（5）中的最小二乘解，得到第i個(gè)錨點(diǎn)對(duì)應(yīng)的映射矩陣為：

其中，I∈?m×m表示與低分辨圖像塊特征維數(shù)大小相同的單位矩陣。

Timofte通過(guò)從訓(xùn)練集中選擇與錨點(diǎn)原子相關(guān)鄰域的建立線性回歸器，進(jìn)一步將ANR的方法擴(kuò)展到了A+[28]。與ANR不同的是，A+方法從原始的低分辨與高分辨訓(xùn)練樣本集中建立每個(gè)k-NN對(duì){,}。當(dāng)樣本十分密集或在無(wú)限采樣時(shí)，字典原子可以看作是特征空間上的稀疏采樣，因此A+可以更好地沿相關(guān)原子的方向逼近局部流形結(jié)構(gòu)，從而在主客觀質(zhì)量上能獲得比ANR方法更好的重建效果。Yang等人[29]提出了利用kmeans聚類學(xué)習(xí)低分辨與高分辨特征子集建立多個(gè)線性映射關(guān)系的超分辨重建方法，該方法模型簡(jiǎn)單，具有較高的超分辨效率。

圖3 基于ANR的超分辨重建框架

Zhang等人[30]提出了學(xué)習(xí)正交低分辨子字典和利用共現(xiàn)表示系數(shù)推理高分辨子字典的快速多線性回歸超分辨算法，該方法具有很快的重建速度。利用集成學(xué)習(xí)的思想，Hu等人[31]提出了級(jí)聯(lián)線性回歸的快速超分辨重建方法，該方法高效簡(jiǎn)單，對(duì)特征選擇具有較好的魯棒性。利用混合專家模型，Zhang等人[32]提出了聯(lián)合學(xué)習(xí)多個(gè)線性映射實(shí)現(xiàn)快速實(shí)例歸回的超分辨重建方法。文獻(xiàn)[33]和[34]分別提出了利用回歸森林模型的超分辨重建方法。Pérez等人[35]提出了一種對(duì)極不變測(cè)度度量相似性鄰域的多線性回歸超分辨重建方法，在重建質(zhì)量和計(jì)算效率兩個(gè)方面均取得了很好的效果。此外，Huang等人[36]提出了基于層次決策樹的超分辨重建方法，在計(jì)算效率和重建質(zhì)量方面均表現(xiàn)出較好的性能。Zhang等人[37]提出了快速實(shí)例回歸和結(jié)構(gòu)正則化增強(qiáng)的由粗到精的超分辨框架，在保持圖像邊緣和紋理細(xì)節(jié)方面具有一定的顯著優(yōu)勢(shì)。文獻(xiàn)[38]利用最大期望（Expectation Maximization，EM）算法，對(duì)字典學(xué)習(xí)和聚類過(guò)程進(jìn)行交替優(yōu)化，提出了改進(jìn)的多線性回歸超分辨算法，能獲得比文獻(xiàn)[30]更好的重建效果。Wang等人[39]利用外部實(shí)例圖像和自身圖像結(jié)構(gòu)的互補(bǔ)性，提出了低秩矩陣分解的超分辨重建方法，對(duì)噪聲具有很好的魯棒性。

基于實(shí)例學(xué)習(xí)的多線性回歸超分辨重建方法使用預(yù)先學(xué)習(xí)的映射關(guān)系直接將低分辨圖像轉(zhuǎn)換成需要的高分辨圖像，在超分辨過(guò)程中只需進(jìn)行模型的匹配和簡(jiǎn)單的矩陣運(yùn)算，因此運(yùn)算效率高，有利于實(shí)時(shí)性應(yīng)用。然而，隨著超分辨放大倍數(shù)的增加，丟失的細(xì)節(jié)越來(lái)越多，低分辨與高分辨圖像之間的關(guān)系也越來(lái)越復(fù)雜，該類算法在對(duì)低分辨與高分辨之間復(fù)雜的線性關(guān)系學(xué)習(xí)問(wèn)題上尚未有顯著突破，有待進(jìn)一步研究。

2.5 基于深度學(xué)習(xí)的超分辨重建方法

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和成功應(yīng)用，基于深度神經(jīng)網(wǎng)絡(luò)的非線性實(shí)例回歸超分辨重建方法受到研究者的廣泛關(guān)注?；谏疃葘W(xué)習(xí)的超分辨重建方法利用多層神經(jīng)網(wǎng)絡(luò)直接建立從低分辨與高分辨圖像端到端的非線性映射關(guān)系。Dong等人[40]提出了利用深度卷積網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的非線性回歸超分辨重建方法（SRCNN），該方法具有三層卷積結(jié)構(gòu)，分別對(duì)應(yīng)傳統(tǒng)SR方法的三個(gè)步驟：圖像塊的提取和特征表示、特征非線性映射和超分辨圖像重構(gòu)。如圖4是深度卷積網(wǎng)絡(luò)超分辨重建的框架圖。

圖4 SRCNN框架

由圖4可以看到，采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行超分辨的網(wǎng)絡(luò)結(jié)構(gòu)分為特征提取層、非線性映射層和重構(gòu)層，第一層卷積運(yùn)算F1表示為：

其中，Y表示輸入的低分辨圖像，W1表示大小為c×f1×f1×n1的濾波器，B1表示n1的偏置向量。第二層的非線性映射表示為：

其中，W2表示大小為n1×1×1×n2的濾波器，B2表示n2維的偏置向量。重建層利用卷積得到最終的高分辨圖像：

其中，W3的大小為n2×f3×f3×c的濾波器，B3是一個(gè)c維的偏置向量，c表示輸入圖像的通道數(shù)。

針對(duì)SRCNN層數(shù)較少，感受野較小等方面的不足，Kim等人[41]提出使用更多的卷積層增加網(wǎng)絡(luò)感受野，減少網(wǎng)絡(luò)參數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)超分辨重建方法，得到比SRCNN更好的重建效果。余思泉等人[42]利用GAN代替?zhèn)鹘y(tǒng)的紋理合成方法，通過(guò)提取有效的特征樣式或統(tǒng)計(jì)量并在該特征信息的約束下生成隨機(jī)圖像來(lái)實(shí)現(xiàn)對(duì)隨機(jī)紋理和結(jié)構(gòu)性紋理的合成。針對(duì)目前深度卷積網(wǎng)絡(luò)大多以均方誤差為目標(biāo)函數(shù)而導(dǎo)致圖像高頻紋理細(xì)節(jié)缺失的問(wèn)題，Ledig等人[43]提出了使用VGG網(wǎng)絡(luò)特征圖譜的損失函數(shù)取代了以均方誤差為基礎(chǔ)的損失函數(shù)，在高倍放大情況下，能得到更好的視覺效果。盡管利用更快更深的卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率的速度和精度方面取得了突破，但有一個(gè)中心問(wèn)題仍沒有得到實(shí)質(zhì)性解決：在高倍數(shù)放大情況下，如何更好地保持重建圖像的紋理細(xì)節(jié)是亟需解決的關(guān)鍵性問(wèn)題。

2.6 不同超分辨重建方法分析對(duì)比

本節(jié)將對(duì)上述綜合分析的5類超分辨重建方法在原理、優(yōu)勢(shì)、不足、實(shí)現(xiàn)成本以及適用范圍等5個(gè)方面做簡(jiǎn)要對(duì)比分析。

由表1看出，基于k-NN學(xué)習(xí)的超分辨重建方法算法簡(jiǎn)單、易實(shí)現(xiàn)，但依賴于大量樣本的學(xué)習(xí)，計(jì)算空間復(fù)雜度和時(shí)間復(fù)雜度極高，難以在實(shí)際中推廣應(yīng)用；基于流形學(xué)習(xí)的超分辨重建方法能夠有效利用訓(xùn)練集中的樣本，在訓(xùn)練集較小的情況下，具有較好的泛化能力。但該方法對(duì)圖像的特征選擇和近鄰個(gè)數(shù)選取較敏感，易導(dǎo)致過(guò)擬合和欠擬合現(xiàn)象，重建質(zhì)量會(huì)出現(xiàn)明顯的失真；基于字典學(xué)習(xí)的超分辨重建方法相比與前兩種方法，不需要對(duì)每一個(gè)輸入特征學(xué)習(xí)大量的訓(xùn)練樣本，在重建質(zhì)量和計(jì)算復(fù)雜度上有了一定的平衡。具有自適應(yīng)鄰域選擇的能力，算法空間復(fù)雜度低，對(duì)噪聲具有較好的魯棒性。但該類方法的性能依賴字典規(guī)模和字典質(zhì)量，適用性不強(qiáng)，并且邊緣保持能力差；基于實(shí)例學(xué)習(xí)的超分辨重建方法能有效抑制邊緣振鈴失真，算法空間復(fù)雜度和時(shí)間復(fù)雜度較低。但重建質(zhì)量依賴于錨點(diǎn)的規(guī)模和質(zhì)量，對(duì)紋理區(qū)域的重建效果較差，會(huì)出現(xiàn)偽像和失真，重建出的圖像不夠自然；基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨重建算法能實(shí)現(xiàn)低分辨圖像與高分辨圖像復(fù)雜的非線性映射，重建質(zhì)量較高。但該類算法網(wǎng)絡(luò)參數(shù)巨大，訓(xùn)練時(shí)間長(zhǎng)，對(duì)參數(shù)的存儲(chǔ)需要較大的空間。

表1 5類超分辨重建方法的對(duì)比分析

3 仿真對(duì)比結(jié)果分析

為進(jìn)一步介紹基于實(shí)例學(xué)習(xí)的單幀圖像超分辨重建方法，本章將對(duì)目前主流的超分辨重建方法進(jìn)行客觀質(zhì)量和主觀質(zhì)量比較。表2是雙立方插值（Bicubic）、稀疏表示超分辨重建方法、Zeyde’s方法、ANR方法、A+方法、SERF方法和SRCNN其中方法在6個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上放大2倍和3倍的平均峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）。

3.1 參數(shù)設(shè)置

本節(jié)將對(duì)上述提到的雙立方插值超分辨重建方法和其他6種主流超分辨重建方法的主要參數(shù)進(jìn)行說(shuō)明。

雙立方插值的方法是利用雙立方插值算法將原始高分辨圖像在放大倍數(shù)為2倍或3倍時(shí)退化成低分辨圖像，再利用雙立方插值算法對(duì)退化的低分辨圖像在相同放大倍數(shù)的情況進(jìn)行插值重建；Yang’s方法設(shè)置低分辨塊大小為7×7，高分辨塊大小為12×12，學(xué)習(xí)4 096個(gè)聚類中心，每個(gè)聚類中心的距離為1 000；Zeyde’s方法低分辨圖像塊為30維，高分辨塊為81維，迭代40次得到1 000個(gè)字典原子；ANR方法選取5 000 000個(gè)低分辨和高分辨樣本，字典大小為1 024個(gè)，回歸鄰域?yàn)?0個(gè)字典原子；A+方法選取5 000 000個(gè)低分辨和高分辨樣本，字典大小為1 024個(gè)，回歸鄰域?yàn)? 048個(gè)樣本；SERF方法用來(lái)訓(xùn)練的圖像塊對(duì)為2 000 000個(gè)，將樣本聚為200類，級(jí)聯(lián)7層，λ=0.25；SRCNN設(shè)置 f1=9，f3=5，n1=64以及n2=32，c=1。

3.2 對(duì)比結(jié)果分析

由表2的比較結(jié)果可以看出，基于深度學(xué)習(xí)的SRCNN算法有明顯的優(yōu)勢(shì)，能重建出質(zhì)量更好的超分辨率圖像。

為進(jìn)一步評(píng)價(jià)不同超分辨重建方法的性能，選擇Set5中“Bird”、Set14中“Foreman”和Set10中“Hat”圖像3倍超分辨重建結(jié)果進(jìn)行對(duì)比，如圖5、圖6和圖7是不同方法視覺質(zhì)量比較結(jié)果。從圖5（b）可以看出，雙立方插值的超分辨重建方法重建出的圖像邊緣和紋理都非常模糊，紅色框處的樹枝和藍(lán)色框處鳥嘴的部分都有明顯的鋸齒和偽影現(xiàn)象，視覺感知效果最差；Yang’s和Zeyde’s的超分辨重建方法采用超完備字典和稀疏表示進(jìn)行超分辨重建。如圖5（c）和5（d），盡管重建出的圖像比雙立方插值重建出的圖像清晰，也能恢復(fù)出低分辨圖像中丟失的很多高頻細(xì)節(jié)，但在重建圖像的邊緣上仍存在明顯的鋸齒失真，視覺感知效果仍然很差；ANR和A+的超分辨重建方法，如圖5（e）、5（f），能產(chǎn)生清晰且相對(duì)平滑的邊緣細(xì)節(jié)，引入的噪聲較少，不存在明顯的失真和偽像，重建出的圖像更加自然，取得了較好的重建效果；如圖5（g）是Hu等人提出的SERF的超分辨重建方法，該方法利用級(jí)聯(lián)回歸器在一定程度上能提高重建精度，重建出的圖像有較好的邊緣；圖5（h）是利用深度卷積神經(jīng)網(wǎng)絡(luò)的SRCNN超分辨重建方法重建出的圖像，該方法使用端到端的非線性映射關(guān)系實(shí)現(xiàn)低分辨圖像到高分辨圖像的映射，可以看出紅色和藍(lán)色框區(qū)域的邊緣都很清晰，紋理細(xì)節(jié)也比較豐富，不過(guò)在邊緣處仍然存在明顯的振鈴失真。同樣地，在圖6和圖7中，雙立方插值超分辨重建方法重建出的圖像在邊緣區(qū)域產(chǎn)生了明顯的偽像，在細(xì)節(jié)區(qū)域也比較模糊，重建的圖像質(zhì)量最差；Yang’s和Zeyde’s的超分辨重建方法重建出的高分辨圖像相比于雙立方插值圖像恢復(fù)出的高頻細(xì)節(jié)更多，但在邊緣區(qū)域質(zhì)量仍不可喜；ANR和A+的超分辨重建方法能產(chǎn)生清晰的邊緣信息，重建出的圖像增加貼近自然真實(shí)圖像，有著較好的重建效果；SERF的超分辨重建方法相比與Yang’s和Zeyde’s的方法，以及ANR的方法，在重建質(zhì)量上有一定的提升，在邊緣處仍存在明顯的失真；雖然SRCNN的超分辨重建方法能重建出邊緣清晰、紋理豐富的高分辨圖像，但相比與A+的超分辨重建方法，重建出的圖像不夠自然，仍存在明顯的振鈴現(xiàn)象。

表2 6個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集在放大倍數(shù)為×2和×3時(shí)的平均PSNR和SSIM

圖5 數(shù)據(jù)集Set5中“Bird”×3放大的超分辨結(jié)果比較

圖6 數(shù)據(jù)集Set14中“Foreman”×3放大的超分辨結(jié)果比較

圖 7 數(shù)據(jù)集Set10中“Hat”×3放大的超分辨結(jié)果比較

4 結(jié)束語(yǔ)

本文對(duì)基于實(shí)例學(xué)習(xí)的單幀圖像超分辨重建技術(shù)進(jìn)行了綜述。按照學(xué)習(xí)過(guò)程中建立映射關(guān)系的不同，分別對(duì)基于k-NN學(xué)習(xí)的方法、基于流形學(xué)習(xí)的方法、基于字典學(xué)習(xí)的方法和基于實(shí)例回歸的方法和基于深度學(xué)習(xí)的方法5種實(shí)例學(xué)習(xí)超分辨重建方法的基本模型進(jìn)行了介紹，對(duì)不同方法的優(yōu)缺點(diǎn)進(jìn)行了分析和討論。通過(guò)對(duì)不同超分辨重建方法的綜合分析和實(shí)驗(yàn)比較，結(jié)果表明基于k-NN學(xué)習(xí)的方法算法簡(jiǎn)單，具有一定的超分辨重建效果，但計(jì)算成本高、內(nèi)存負(fù)荷大；基于流形學(xué)習(xí)的方法能充分利用樣本，且在數(shù)據(jù)規(guī)模較小的情況下，獲得較好的重建質(zhì)量，但重建過(guò)程中如何選擇鄰域個(gè)數(shù)是該方法的關(guān)鍵性問(wèn)題之一；基于字典學(xué)習(xí)的方法在重建質(zhì)量上和計(jì)算效率上優(yōu)于基于k-NN學(xué)習(xí)和基于流形學(xué)習(xí)的方法，對(duì)噪聲具有較好的魯棒性，但重建效率上仍然面臨稀疏編碼的計(jì)算瓶頸問(wèn)題；基于實(shí)例多線性回歸的方法在重建質(zhì)量和重建效率上都表現(xiàn)出良好的性能，但在放大倍數(shù)較大時(shí)，不能很好地保持細(xì)節(jié)，如何學(xué)習(xí)有效的相似性測(cè)度是該方法研究的重點(diǎn)；基于深度學(xué)習(xí)的方法在一定程度上能取得較高的客觀質(zhì)量，但不能有效抑制圖像邊緣產(chǎn)生的振鈴現(xiàn)象。

綜上所述，基于實(shí)例學(xué)習(xí)的單幀圖像超分辨重建技術(shù)還不成熟，還有許多關(guān)鍵科學(xué)問(wèn)題尚未解決。主要包括：

（1）實(shí)時(shí)性應(yīng)用問(wèn)題。經(jīng)過(guò)30多年的研究與發(fā)展，圖像超分辨重建技術(shù)取得了很大的發(fā)展。在已有的超分辨重建方法中，基于實(shí)例學(xué)習(xí)的超分辨重建技術(shù)具有很好的重建效果。然而，大多數(shù)重建算法學(xué)習(xí)結(jié)構(gòu)復(fù)雜，時(shí)間和空間復(fù)雜度均較高，很難在計(jì)算資源受限的環(huán)境下實(shí)時(shí)應(yīng)用。因此，研究計(jì)算資源受限條件下的實(shí)時(shí)性超分辨重建算法，是實(shí)例學(xué)習(xí)超分辨重建技術(shù)成功推廣應(yīng)用的關(guān)鍵。

（2）超分辨關(guān)系映射模型的學(xué)習(xí)問(wèn)題。本質(zhì)上，圖像超分辨重建是一個(gè)典型的不確定性信號(hào)恢復(fù)問(wèn)題。隨著超分辨圖像放大倍數(shù)的增加，丟失的細(xì)節(jié)越來(lái)越多，低分辨與高分辨圖像之間的映射關(guān)系越來(lái)越復(fù)雜。由于圖像類型的多樣性，紋理結(jié)構(gòu)的復(fù)雜性，如何學(xué)習(xí)低分辨與高分辨圖像之間復(fù)雜的流形結(jié)構(gòu)，通過(guò)建立多個(gè)局部線性映射關(guān)系逼近低分辨與高分辨圖像的非線性映射關(guān)系，設(shè)計(jì)具有計(jì)算實(shí)時(shí)性的圖像超分辨重建算法，有待進(jìn)一步研究。

（3）超分辨重建圖像質(zhì)量評(píng)價(jià)。已有的超分辨重建算法[45]主要從主觀和客觀兩個(gè)方面對(duì)重建結(jié)果進(jìn)行評(píng)價(jià)，進(jìn)而評(píng)價(jià)算法的性能。主觀質(zhì)量評(píng)價(jià)即通過(guò)人眼的感知，讓不同的觀測(cè)者對(duì)圖像進(jìn)行評(píng)價(jià)；客觀質(zhì)量評(píng)價(jià)主要通過(guò)客觀質(zhì)量評(píng)價(jià)算法來(lái)評(píng)價(jià)重建圖像的質(zhì)量，但主觀質(zhì)量評(píng)價(jià)方法無(wú)法與超分辨算法結(jié)合成一個(gè)完整的超分辨重建系統(tǒng)?？陀^質(zhì)量評(píng)價(jià)根據(jù)評(píng)價(jià)過(guò)程中用到原始圖像信息的多少又可以分為3種：全參考型、部分參考型和無(wú)參考型?？陀^上，一般使用全參考型的圖像質(zhì)量評(píng)價(jià)方法，主要有：峰值信噪比、結(jié)構(gòu)相似度（Structural Similarity）[46]和特征結(jié)構(gòu)相似度（Feature Similarity）[47]。在實(shí)際中，由于無(wú)法獲得原始高分辨圖像，使得全參考型和部分參考型的客觀質(zhì)量評(píng)價(jià)方法不適合超分辨圖像的質(zhì)量評(píng)價(jià)，起不到優(yōu)化重建算法和指導(dǎo)模型參數(shù)選擇的作用。因此，設(shè)計(jì)一種高效的、能針對(duì)超分辨圖像的無(wú)參考型圖像質(zhì)量評(píng)價(jià)算法，對(duì)研究超分辨重建技術(shù)具有重要理論和實(shí)際意義。