殘差字典學(xué)習(xí)的快速圖像超分辨率算法*

王建新，吳宏林，張建明，殷萇茗

1.長沙理工大學(xué) 綜合交通運(yùn)輸大數(shù)據(jù)智能處理湖南省重點(diǎn)實(shí)驗(yàn)室，長沙 410114

2.長沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，長沙 410114

1 引言

圖像超分辨率（super-resolution，SR）重建是由輸入的一個(gè)或者多個(gè)低分辨率（low-resolution，LR）圖像恢復(fù)得到高分辨率（high-resolution，HR）圖像[1]。由于輸入的低分辨率圖像提供的信息有限，圖像超分辨率重建是一個(gè)典型的病態(tài)逆問題，需要相關(guān)的先驗(yàn)信息[2]。現(xiàn)有超分辨率方法大致可分為3類：基于插值的方法[3]、基于重建的方法[4]及基于學(xué)習(xí)的方法[5]。基于插值的方法用多項(xiàng)式充分近似表示，方法簡單易行、速度快，但是圖像模糊、質(zhì)量差；基于重建的方法通過對未知的高分辨率像素值施加一組線性約束，能有效保持邊界尖銳和抑制偽影，但是當(dāng)放大因子較大時(shí)重建效果較差；基于學(xué)習(xí)的方法通過學(xué)習(xí)訓(xùn)練圖像，充分利用圖像固有的先驗(yàn)知識恢復(fù)的圖像效果較好，是目前較為常用的方法[6]。

近年來，隨著壓縮感知和機(jī)器學(xué)習(xí)研究的進(jìn)一步深入，針對基于學(xué)習(xí)的超分辨率方法，已有許多學(xué)者展開研究并取得了一系列成果。Yang等人[5]將壓縮感知理論與稀疏編碼相結(jié)合，提出基于稀疏表示的圖像超分辨率算法，該算法利用外部訓(xùn)練圖像集學(xué)習(xí)得到一對LRHR字典，求解出低分辨率圖像塊在LR字典中的稀疏系數(shù)，再利用稀疏系數(shù)與HR字典結(jié)合重建高分辨率圖像。在后續(xù)研究中，Yang等人[7]提出了基于稀疏編碼和聯(lián)合字典學(xué)習(xí)的超分辨率（image super-resolution via sparse representation，ScSR）算法，進(jìn)一步提升了圖像超分辨率的重建質(zhì)量和速度。Glasner等人[8]提出了一種基于圖像自相似性的單幅圖像超分辨率算法，通過對輸入圖像進(jìn)行不同尺度的插值來產(chǎn)生樣本庫，但是自適應(yīng)能力差，重構(gòu)的圖像偽影嚴(yán)重。Marco等人[9]鑒于超分辨率重建恢復(fù)的是圖像的高頻信息，提出了基于反投影殘差圖的相鄰嵌入超分辨率算法，通過構(gòu)造一對新型字典重構(gòu)出高分辨率圖像。Zhu等人[10]對字典進(jìn)行了進(jìn)一步改進(jìn)，提出基于自學(xué)習(xí)和稀疏表示的快速單圖像超分辨率（fast single super-resolution via selfexample learning and sparse representation，CS-SR）算法。該算法使用K次奇異值分解（Ksingular value decomposition，KSVD）算法由圖像自相似塊來構(gòu)建學(xué)習(xí)字典，在重構(gòu)階段使用簡單的正交匹配追蹤（orthogonal matching pursuit，OMP）算法對圖像進(jìn)行稀疏編碼，在重建質(zhì)量和速度上都有所提升。

在上述常見的基于學(xué)習(xí)的超分辨率重建算法[5,7,9-10]中，字典學(xué)習(xí)起著關(guān)鍵作用?；趯W(xué)習(xí)方法的字典對通常由訓(xùn)練圖像集中具有相似統(tǒng)計(jì)特征的圖像隨機(jī)取樣生成，從其來源可分為兩大類：內(nèi)部字典和外部字典[11-12]。一般圖像通常具有大量的自相似性，內(nèi)部字典則由輸入圖像本身的自相似冗余塊構(gòu)建，基于內(nèi)部字典的超分辨方法由于圖像本身提供的信息有限，在超分辨率重建中內(nèi)部圖像塊之間不匹配，從而導(dǎo)致過多的偽影[13]。外部字典則是通過對外部訓(xùn)練圖像集隨機(jī)采樣生成的，它包含的特征信息豐富，能很好地重構(gòu)出高分辨率圖像，與內(nèi)部字典每次在線生成不同的是，外部字典是預(yù)先建立的，可極大減少重建過程的計(jì)算量和時(shí)間[12]。

針對基于自學(xué)習(xí)和稀疏表示的快速單圖像超分辨率[10]重建圖像偽影明顯、執(zhí)行效率低的問題，本文提出了殘差字典學(xué)習(xí)的快速圖像超分辨率算法，在學(xué)習(xí)字典前先對外部訓(xùn)練圖像集中的HR圖像進(jìn)行預(yù)處理，提取其高頻殘差圖，再利用Yang等人[7]的字典訓(xùn)練方法學(xué)習(xí)得到一個(gè)高頻殘差字典，使字典學(xué)習(xí)不再局限于單一的重建模型，降低了計(jì)算量，并提高了字典訓(xùn)練的精度。用基于Cholesky分解的正交匹配追蹤算法求解稀疏系數(shù)，將求得的稀疏系數(shù)與高頻殘差字典結(jié)合應(yīng)用于重建階段，不僅有效降低了運(yùn)算時(shí)間，還提高了重建質(zhì)量。再用迭代反投影（iterative back projection，IBP）法[9]對重建的圖像進(jìn)行迭代計(jì)算，在一定程度上減少了重建誤差。實(shí)驗(yàn)結(jié)果表明，本文算法不僅有效降低了字典訓(xùn)練時(shí)間和圖像重建時(shí)間，同時(shí)還進(jìn)一步提升了重建圖像的質(zhì)量。

本文組織結(jié)構(gòu)如下：第2章介紹了相關(guān)工作；第3章對殘差字典學(xué)習(xí)的快速圖像超分辨率算法進(jìn)行詳細(xì)闡述；第4章為實(shí)驗(yàn)與分析；最后是結(jié)束語。

2 相關(guān)工作

傳統(tǒng)的圖像超分辨率重建算法，對圖像的處理可以看成是傳統(tǒng)圖像處理算法的逆過程，是一個(gè)典型的病態(tài)逆問題。由于LR圖像Y可以看作是由HR圖像X通過模糊化B、下采樣D以及添加噪聲v得到，Y=BDX+v，因此為了得到更為合理的解，可以通過添加先驗(yàn)約束條件來解決該問題[6]。目前深度學(xué)習(xí)技術(shù)已成功地應(yīng)用于計(jì)算機(jī)視覺的許多領(lǐng)域，包括低級別的圖像恢復(fù)問題。最近提出的幾種基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建模型[6,14-16]，取得的卓越性能超越了以往的機(jī)器學(xué)習(xí)模型，但傳統(tǒng)的稀疏表示方法仍是有價(jià)值的，本文方法就是基于稀疏表示的超分辨率重建模型。

2.1 基于稀疏表示的超分辨率重建算法

自然圖像的局部結(jié)構(gòu)信息可以近似地由樣本特征庫中的一組圖像塊線性表示出來，不同的結(jié)構(gòu)信息其線性組合也不同?；谙∈璞硎镜膱D像超分辨率重建算法[7]，利用輸入的低分辨率圖像分割成的圖像塊求解出一組線性原子，從而恢復(fù)出目標(biāo)高分辨率圖像。將一幅圖像Y分割成若干圖像塊后，每個(gè)圖像塊作為一組輸入樣本向量y，存在包含K(K＞n)個(gè)原子的過完備稀疏字典DL∈Rn×K，使得輸入的每個(gè)圖像塊y都可以在字典DL中線性表示出來：

其中，||·||1用于保證稀疏性；||·||2表示重構(gòu)誤差；λ表示正則化系數(shù)。算法假設(shè)低分辨率圖像塊y和高分辨率圖像塊x在過完備字典DLDH中能用同一個(gè)稀疏系數(shù)α線性表示出來，因此對任意輸入的低分辨率圖像塊y，其對應(yīng)的目標(biāo)高分辨率圖像塊x都可以表示為：

在圖像重建階段，由于存在噪聲，直接組合重建的高分辨率圖像可能不會滿足重建約束和稀疏先驗(yàn)約束。為了獲得質(zhì)量更好的重構(gòu)圖像，還會引入局部先驗(yàn)約束和全局約束[7]。

基于稀疏表示的超分辨率算法中需要解決的關(guān)鍵問題主要有兩點(diǎn)：（1）通過訓(xùn)練，采用何種學(xué)習(xí)方法獲得低分辨率圖像與高分辨率圖像之間的對應(yīng)關(guān)系；（2）稀疏字典對的生成。

2.2 聯(lián)合字典對訓(xùn)練

聯(lián)合字典訓(xùn)練階段的主要目的就是為了獲得過完備的低分辨率字典DL和高分辨率字典DH，使得LR圖像塊和HR圖像塊的稀疏編碼系數(shù)是相同的。由于超分辨率重建的病態(tài)性，使得聯(lián)合字典的生成是一個(gè)復(fù)雜問題[17]。對于給定的外部HR圖像訓(xùn)練集XH={x1,x2,…,xn}，對其每幅圖像進(jìn)行模糊化和下采樣操作得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}。為了提高圖像的重建精度，通常會提取外部LR圖像塊的不同特征信息，Yang等人[7]利用LR圖像塊的第一和第二階導(dǎo)數(shù)來提取其特征信息，用于提取特征信息的4個(gè)濾波器分別為：

其中，T表示轉(zhuǎn)置，將4個(gè)濾波器直接作用于外部訓(xùn)練集中的每個(gè)LR圖像得4個(gè)梯度圖像，再在每個(gè)梯度圖像的相同位置提取特征圖像塊，將產(chǎn)生的4個(gè)圖像塊串聯(lián)起來作為特征向量。因此每個(gè)LR圖像塊的特征向量都包含了其鄰近的編碼信息，這有利于促進(jìn)最終輸出HR圖像的內(nèi)部相鄰塊之間的兼容性。其中單一字典訓(xùn)練的公式為：

Yang等人[7]結(jié)合這些目標(biāo)，對外部HRLR圖像同時(shí)進(jìn)行訓(xùn)練，將兩個(gè)特征空間的求解問題轉(zhuǎn)換為一個(gè)標(biāo)準(zhǔn)的單特征空間的字典訓(xùn)練問題，求解得到的HR字典和LR字典共享稀疏系數(shù)：

其中，N和M分別表示HR字典和LR字典矢量形式的維度；||·||1用于增強(qiáng)稀疏性；||·||2用于約束字典的列和除去縮放誤差。該算法只需訓(xùn)練一次就可以得到兩個(gè)字典。

2.3 迭代反投影法

本文在超分辨率重建之后增加了一步迭代反投影操作。迭代反投影（IBP）法使輸出的高分辨率圖和輸入的低分辨率圖保持一致性，且能修正SR過程中產(chǎn)生的誤差[9,12]，該操作使輸出的高分辨率圖像沿著正確的方向發(fā)展。在SR算法執(zhí)行之后，將生成高分辨率圖像XH和最初輸入的低分辨率圖YL同時(shí)作為迭代反投影算法的輸入項(xiàng)，經(jīng)迭代后得到的最終高分辨率圖像?H與最初的輸入圖像YL在結(jié)構(gòu)上保持一致性。XH通過計(jì)算輸入的LR圖像YL與HR圖像YL=(XH?b)↓m的反投影誤差，在迭代過程中不斷得到修正[9]。這種迭代反投影法的更新方程為：

第t次迭代時(shí)的LR圖是由與之相關(guān)的HR圖反投影得到的，p是一個(gè)局部傳播差分誤差的反投影濾波器，m為縮放因子，↓是下采樣符號。本文經(jīng)過多次實(shí)驗(yàn)驗(yàn)證，最高迭代次數(shù)t=10時(shí)重建的圖像質(zhì)量效果最好。

3 殘差字典學(xué)習(xí)的快速圖像超分辨率算法

本文充分利用外部圖像集的附加高頻信息和稀疏表示重建的優(yōu)勢，提出了殘差字典學(xué)習(xí)的快速圖像超分辨率算法。算法分為兩個(gè)階段：字典訓(xùn)練階段，首先對外部訓(xùn)練HR圖像集XH={x1,x2,…,xn}進(jìn)行插值縮小，得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}，再用雙三次插值和迭代反投影法獲得外部HR圖像的高頻殘差圖，最后用Yang等人[7]的字典學(xué)習(xí)算法構(gòu)建高頻殘差字典和低分辨率字典。重建階段，先將低分辨率圖像用雙三次插值放大得到偽高分辨率圖像，對于圖像中的光滑區(qū)域，雙三次插值方法可以產(chǎn)生較好的效果，但是卻無法恢復(fù)出圖像的高頻信息，因此偽高分辨率圖像還是低分辨率圖像。再用基于Cholesky分解的正交匹配追蹤算法快速求解出稀疏系數(shù)，將求得的稀疏系數(shù)與高頻殘差字典相結(jié)合重建出高頻圖像，融合高頻圖像和偽高分辨率圖像得到高分辨率圖像，最后用迭代反投影法對融合圖像進(jìn)一步修正，輸出目標(biāo)高分辨率圖像。

3.1 殘差字典的生成

在字典訓(xùn)練過程中，對于外部HR訓(xùn)練圖像集XH={x1,x2,…,xn}，Yang等人[7]的方法是通過預(yù)處理對其中的每幅圖像進(jìn)行模糊化B和下采樣D操作，得到對應(yīng)的LR圖像集YL={y1,y2,…,yn}。然后再對HR圖像進(jìn)行隨機(jī)取塊得到HR字典，對LR圖像先插值放大再隨機(jī)取塊得到對應(yīng)的LR字典，其流程如圖1所示。相對于光滑平坦的區(qū)域，自然圖像中的邊緣、紋理等特征區(qū)域結(jié)構(gòu)變化較為明顯，而人的視覺系統(tǒng)對高頻區(qū)域變化比較敏感，因此圖像高頻特征區(qū)域的結(jié)構(gòu)信息對于超分辨率重建非常重要。在圖像超分辨率重建過程中實(shí)質(zhì)上恢復(fù)的是圖像的高頻信息，使用和合并圖像的高頻信息能給輸入LR圖像提供更真實(shí)的高頻信息[18]。

Fig.1 General dictionary training model圖1 常規(guī)的字典訓(xùn)練模型

基于外部HR圖像集的字典學(xué)習(xí)，當(dāng)訓(xùn)練樣本數(shù)比較龐大時(shí)，傳統(tǒng)的字典訓(xùn)練模型需要同時(shí)學(xué)習(xí)外部HR圖像的高頻信息和低頻信息，導(dǎo)致KSVD算法的計(jì)算復(fù)雜度很高。通常高分辨率圖像可以分解成兩部分：低頻信息部分（即輸入的低分辨率圖）和高頻信息部分（對應(yīng)殘差圖）。其中高頻部分包含了圖像的高頻細(xì)節(jié)和紋理特征等結(jié)構(gòu)信息[19]。本文根據(jù)超分辨率重建過程中需要恢復(fù)的是圖像的高頻細(xì)節(jié)部分，利用高頻殘差圖的思想[9]將殘差字典引入基于稀疏表示的圖像超分辨率重建過程，通過對外部訓(xùn)練HR圖像進(jìn)行預(yù)處理，單獨(dú)提取出高頻部分進(jìn)行取塊訓(xùn)練，以減少字典學(xué)習(xí)過程中的計(jì)算量，降低字典訓(xùn)練的時(shí)間復(fù)雜度。在字典學(xué)習(xí)過程中的外部圖像預(yù)處理階段，外部HR圖像集中的任一圖像XH先經(jīng)模糊化B和下采樣D處理后得到對應(yīng)的LR圖像YL,對圖像YL進(jìn)行插值放大和迭代反投影處理得到相應(yīng)的插值增強(qiáng)圖像F(YL)，最后通過求HR圖像XH與插值增強(qiáng)圖像F(YL)的差值(XH-F(YL))，得到HR圖像的高頻殘差圖。這一步操作類似于通過一個(gè)高通濾波器，得到的高頻殘差圖包含了圖像的結(jié)構(gòu)信息和高頻細(xì)節(jié)信息。通過對高頻殘差圖的取塊得到對應(yīng)的高頻殘差字典，與傳統(tǒng)字典學(xué)習(xí)方法對比，高頻殘差字典在訓(xùn)練階段將低頻部分過濾掉，僅對圖像的高頻部分進(jìn)行訓(xùn)練，既減少了字典訓(xùn)練的計(jì)算復(fù)雜度，又提升了字典的重構(gòu)能力。高頻殘差字典的訓(xùn)練流程如圖2所示。

Fig.2 Training model of residual dictionary圖2 殘差字典的訓(xùn)練模型

3.2 基于Cholesky分解方法改進(jìn)的正交匹配追蹤算法

正交匹配追蹤算法[20]是稀疏表示的一種經(jīng)典的也是最簡單的算法之一，它的目的是為了求得式（1）中α的最逼近解。該算法通過貪婪迭代的方法選取壓縮感知矩陣中與信號相關(guān)性最大的列向量，這里壓縮感知矩陣可以理解為原子庫，而列向量則為原子庫中的原子。OMP算法需要兩個(gè)輸入，測量矩陣DL和測量向量y，最后得到稀疏度為K的原信號估計(jì)α。殘差在OMP算法中是一個(gè)重要的度量量，對于殘差信號r的控制體現(xiàn)了匹配追蹤算法的核心思想。在每次迭代過程中，選出測量矩陣DL和殘差r最匹配的原子，然后通過消除該原子的貢獻(xiàn)來計(jì)算新的殘差，并得到一個(gè)新的估計(jì)，經(jīng)過t次迭代逐步實(shí)現(xiàn)對原信號的逼近，由此完成重建過程?；谡黄ヅ渥粉櫵惴ǖ闹亟ú襟E如下：

輸入：測量矩陣DL，測量信息y，稀疏度K。

輸出：稀疏表示α。

初始化：殘差r=y，稀疏度K=size(DL,1)/4，索引集P0=?，迭代次數(shù)t=1。

（1）求得索引jk：計(jì)算殘差與感知矩陣的每一列的內(nèi)積，并選擇最大的幅值對應(yīng)的索引，即滿足

（2）更新索引集和原子集：

（3）利用最小二乘法計(jì)算近似解：

（5）判斷迭代次數(shù)是否滿足t＜K，如果滿足則迭代終止，α=αPk，r=rk，否則重復(fù)第（1）步。

（6）利用Cholesky方法快速計(jì)算近似值：

Cholesky分解方法[21]的基本原理：假設(shè)初始訓(xùn)練數(shù)據(jù)N0，如果n階方陣A的順序主子式均不為0，則N0=N有唯一的分解，即A=MN。其中M是單位下三角陣，N是上三角陣。若A是n階的對稱正定矩陣，那么A也滿足MN分解，并且可以分解為下三角矩陣M和轉(zhuǎn)置矩陣MT的乘積，即：

那么上式即為對稱正定矩陣A的Cholesky分解。其中A為對稱正定矩陣，矩陣M不一定是單位下三角矩陣。

第一步：由式（9）計(jì)算可得矩陣M的第一列所有元素：

第二步：再比較式（9）兩邊第二列對應(yīng)的元素得到：

第N步：同理由式（9）以此類推：

上式分別計(jì)算的是矩陣M第j列主對角元素和第j列第i行的所有元素，由此可以確定矩陣的所有元素，這就是Cholesky算法。

3.3 本文算法步驟

本文設(shè)計(jì)的殘差字典學(xué)習(xí)的快速圖像超分辨率算法步驟如下：

步驟1對訓(xùn)練HR圖像用雙三次插值和迭代反投影法進(jìn)行處理，得到對應(yīng)的LR圖像集，并提取外部訓(xùn)練HR圖像的高頻殘差圖，用Yang等人[7]的字典學(xué)習(xí)方法訓(xùn)練得到殘差字典和低分辨率字典。

步驟2對需要超分辨率重構(gòu)的LR圖像YL用雙三次插值放大，得到偽高分辨率圖像YH。

步驟3提取偽高分辨率圖像YH的特征塊y。

步驟4利用基于Cholesky分解的OMP算法求得的稀疏系數(shù)α=OMP(DL,y)，算法中迭代終止的條件為迭代的次數(shù)小于或等于size(DL,1)/4。

步驟5聯(lián)合殘差字典DH和稀疏系數(shù)α求得目標(biāo)HR圖像的高頻特征圖為x=DHα。

步驟6融合偽高分辨率圖YH和高頻特征圖x得高分辨率圖像HR=YH+x。

步驟7對融合圖像用迭代反投影法處理完成超分辨率重建。

4 實(shí)驗(yàn)與分析

在本文實(shí)驗(yàn)中，使用與文獻(xiàn)[22]相同的數(shù)據(jù)和協(xié)議進(jìn)行對比，這些數(shù)據(jù)和協(xié)議都是目前圖像超分辨率算法中常用的[7,9]。外部高分辨率圖像通過雙三次插值縮小的方式，生成用于訓(xùn)練和實(shí)驗(yàn)評估的低分辨率圖像。訓(xùn)練圖像集的擴(kuò)增通過圖像的轉(zhuǎn)換、旋轉(zhuǎn)和比例縮放等實(shí)現(xiàn)。本文采取峰值信噪比（peak signal to noise ratio，PSNR）對重建圖像質(zhì)量進(jìn)行評估，PSNR越大，重構(gòu)圖像質(zhì)量越好。本實(shí)驗(yàn)程序在4.0 GHz CPU及16 GB內(nèi)存，Win 7操作系統(tǒng)，PC環(huán)境上采用Matlab R2015b軟件進(jìn)行圖像超分辨率處理。

為了豐富實(shí)驗(yàn)的數(shù)據(jù)，本文在視覺效果和運(yùn)行時(shí)間兩方面進(jìn)行對比，實(shí)驗(yàn)中以雙三次插值算法作為基準(zhǔn)對比算法，并選取最近的5種SR算法進(jìn)行對比實(shí)驗(yàn)：ScSR重建算法[7]、CS-SR算法[10]、基于卷積稀疏編碼的超分辨率（convolutional sparse coding for image super-resolution，CSC）算法[23]、基于深度學(xué)習(xí)的超分辨重建（image super-resolution using deep convolutional networks，SRCNN）算法[14]和基于錨定鄰域回歸的快速超分辨率（anchored neighborhood regression for fast example-based super-resolution，ANR）算法[22]。對比內(nèi)容包括峰值信噪比（PSNR，dB）和重建時(shí)間（s）。任選測試圖像集set5和set14中的6張不同圖像進(jìn)行2倍超分辨率重建對比。為了公平對比，從這些作者的個(gè)人主頁上下載Matlab源代碼，用原作者提供的參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)。由于人類視覺系統(tǒng)對亮度變化比較敏感，將彩色圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)Cb-Cr顏色空間，對Y通道即亮度通道用不同超分辨率方法處理，Cb、Cr彩色通道用Bicubic方法處理。在實(shí)驗(yàn)過程中，先對256×256像素的真實(shí)HR圖像進(jìn)行插值縮小得到輸入的測試LR圖像128×128，再對其進(jìn)行圖像超分辨率重建。圖3和圖4是本文的SR算法和其他SR算法的效果對比圖。

由圖3、圖4可以看出，7種算法在光滑區(qū)域重建效果基本相同。在邊緣和不規(guī)則結(jié)構(gòu)區(qū)域，ScSR算法[7]較雙三次插值算法細(xì)節(jié)部分清晰，但是邊緣區(qū)域偽影明顯，且圖像的紋理細(xì)節(jié)產(chǎn)生了輕微的扭曲；CS-SR算法[10]圖像部分高頻信息丟失，導(dǎo)致生成的圖像偽影明顯，有鋸齒效應(yīng)；CSC算法[23]的邊緣部分出現(xiàn)平滑和偽影效果，細(xì)節(jié)部分也不夠清晰；SRCNN算法[14]在邊緣和不規(guī)則結(jié)構(gòu)區(qū)域細(xì)節(jié)模糊，鋸齒效應(yīng)明顯；ANR算法[22]在邊緣區(qū)域過于模糊，偽影明顯；本文算法在消除偽影的同時(shí)，不僅能保持圖像邊緣的銳度，還能較好地恢復(fù)出圖像的紋理細(xì)節(jié)。

Fig.3 Super-resolution reconstruction results of“mlena”with scale factor 2圖3 mlena圖像2倍時(shí)的超分辨率重建結(jié)果

本文的參數(shù)設(shè)置和文獻(xiàn)[10]相同，從樣本中隨機(jī)抽取10 000個(gè)圖像塊以構(gòu)成訓(xùn)練集，圖像塊大小為8×8，字典大小為64×64，稀疏平衡因子為0.15，保留1個(gè)像素的重疊。與文獻(xiàn)[7]抽取100 000個(gè)圖像塊，字典大小為25×512和圖像塊大小5×5相比，本文算法字典的訓(xùn)練時(shí)間更短，計(jì)算復(fù)雜度更小。表1是6幅測試圖像在各種SR算法中，放大倍數(shù)為2時(shí)的重建時(shí)間。

Fig.4 Super-resolution reconstruction results of“butterfly”with scale factor 2圖4 butterfly圖像2倍時(shí)的超分辨率重建結(jié)果

Table 1 Reconstruction time of different SR algorithms表1 不同SR算法重建的時(shí)間 s

在重建時(shí)間上，不考慮字典訓(xùn)練時(shí)間，僅僅對各種SR方法的圖像重建時(shí)間進(jìn)行比較。本文使用基于Cholesky分解的正交匹配追蹤算法簡化了迭代過程中矩陣求逆計(jì)算來快速求得稀疏表示系數(shù)，在稀疏編碼階段比正交匹配追蹤算法[10]的稀疏編碼迭代時(shí)間提升了11.37倍，與最新的基于深度學(xué)習(xí)的SR算法[14]的重建時(shí)間相比提升了17.8倍，大大增強(qiáng)了算法的實(shí)時(shí)性，同時(shí)兼顧了重建質(zhì)量，具有一定的實(shí)際應(yīng)用意義。在各種SR算法中，放大倍數(shù)為2時(shí)得到的PSNR值見表2。

Table 2 Comparison of PSNR indexes of different SR algorithms reconstruction results表2 不同SR算法重建結(jié)果的PSNR值對比 dB

5 結(jié)束語

基于自學(xué)習(xí)和稀疏表示的快速單圖像超分辨率算法重建的目標(biāo)圖像紋理細(xì)節(jié)較好，但同時(shí)會伴隨一些比較明顯的偽影，算法時(shí)間復(fù)雜度較高，且在線學(xué)習(xí)的字典僅適用于特定的單幅圖像。為克服這些問題，一方面利用Yang等人的字典學(xué)習(xí)算法和高頻殘差圖的思想，通過外部HR訓(xùn)練圖像集生成高頻殘差字典和低分辨率字典，不僅降低了字典的計(jì)算復(fù)雜度，更精確地生成超完備字典，且能適用于任意圖像；另一方面在圖像重建階段用基于Cholesky分解的正交匹配追蹤算法求解稀疏系數(shù)，極大地降低了算法復(fù)雜度，重建出的目標(biāo)圖像不僅保持了很好的紋理細(xì)節(jié)，還較好地恢復(fù)出尖銳的邊緣結(jié)構(gòu)信息。實(shí)驗(yàn)結(jié)果表明，本文算法具有極高的實(shí)時(shí)性能，且具有與現(xiàn)有經(jīng)典超分辨率重建方法相匹配的峰值信噪比。下一步工作是在現(xiàn)有研究的基礎(chǔ)上，對字典學(xué)習(xí)算法和特征提取算法進(jìn)行改進(jìn)，以獲得更好的重構(gòu)質(zhì)量。