有監(jiān)督多類字典學(xué)習(xí)的單幅圖像超分辨率重建

吳從中，胡長勝，張明君，謝珍珠，詹 曙

(合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院，合肥230009)

有監(jiān)督多類字典學(xué)習(xí)的單幅圖像超分辨率重建

吳從中，胡長勝，張明君，謝珍珠，詹 曙

(合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院，合肥230009)

針對目前基于字典學(xué)習(xí)的圖像超分辨率重建算法重建效果欠佳或重建耗時較長的問題，本文提出一種基于有監(jiān)督的KSVD多類字典學(xué)習(xí)算法和使用類錨定鄰域回歸方法來重建低分辨率圖像。首先使用高斯混合模型對訓(xùn)練圖像塊進(jìn)行聚類，然后使用KSVD算法，在生成子類字典的同時產(chǎn)生一個線性分類器；最后利用此線性分類器對輸入的測試特征分類，根據(jù)相應(yīng)的類字典，使用類錨定鄰域回歸方法來完成圖像重建。實(shí)驗(yàn)表明，本文算法與一些經(jīng)典的算法相比，在主觀視覺和客觀評價上都獲得了更好的結(jié)果，且對人臉圖像具有更好地適應(yīng)性。

高斯混合模型；監(jiān)督字典學(xué)習(xí)；超分辨率；稀疏表示

0 引言

圖像超分辨率重建是指用數(shù)字圖像處理的方法從一幅或多幅低分辨率觀測圖像中重建出一幅高分辨率圖像[1]。在實(shí)際應(yīng)用中，由于成像系統(tǒng)內(nèi)在硬件設(shè)備的限制，人們常常無法直接獲得高分辨率的圖像，而通過改善硬件設(shè)備來獲得高分辨率圖像的做法代價往往很高。鑒于特定成像系統(tǒng)短期內(nèi)很難克服一些技術(shù)難題，因此從軟件方面來提高圖像的分辨率意義重大，也是目前研究的熱點(diǎn)之一。

基于學(xué)習(xí)的超分辨率重建方法是目前主要研究方向，它通過對訓(xùn)練集進(jìn)行充分的采樣，學(xué)習(xí)高分辨率圖像和對應(yīng)的低分辨率圖像之間的統(tǒng)計學(xué)聯(lián)系，來盡可能恢復(fù)丟失的圖像細(xì)節(jié)信息。其最早是由Freeman等人[2]于2002年提出，他們指出利用馬爾科夫網(wǎng)絡(luò)的圖像局部區(qū)域和場景之間的關(guān)系模型來重建圖像。Chang等人[3]基于鄰域嵌入方法(NE+LLE)，假設(shè)低分辨率圖像塊和對應(yīng)的高分辨率圖像塊之間在低維非線性流形中有局部幾何相似性，使用流形學(xué)習(xí)的局部線性嵌入方法來重建高分辨率圖像。Bevilacqua等人[4]則提出基于非負(fù)鄰域嵌入(NE+NNLS)的方法，認(rèn)為輸入圖像的每個低分辨率特征向量可以在字典中表示為K個最近鄰的加權(quán)組合，對應(yīng)的高分辨率特征在假定局部低分辨率嵌入被保留的情況下可以重建恢復(fù)。

近年來使用基于稀疏表達(dá)的方法來重建圖像成為了一個研究熱點(diǎn)[5-6]。2010年Yang等人[7]開創(chuàng)性的將稀疏表示用于圖像的超分辨率重建(ScSR)，其通過對低分辨率圖像塊字典和高分辨率圖像塊字典進(jìn)行聯(lián)合訓(xùn)練，強(qiáng)化低分辨率和高分辨率圖像塊對應(yīng)真實(shí)字典稀疏表示的相似性，從而使低分辨率圖像塊的稀疏表示和高分辨率超完備字典聯(lián)合作用重建出對應(yīng)的高分辨率圖像塊。Zeyde等人[8]在Yang基礎(chǔ)上進(jìn)行改進(jìn)，利用主成分分析對訓(xùn)練樣本的特征進(jìn)行降維，并使用KSVD[9]的方法進(jìn)行字典訓(xùn)練，進(jìn)一步提高字典訓(xùn)練的效率。Timofte等人[10]則在Zeyde的研究基礎(chǔ)上提出錨定鄰域回歸(ANR)的方法，該方法在稀疏字典學(xué)習(xí)時結(jié)合鄰域嵌入方法，使用錨定鄰域回歸的方法將低分辨率圖像塊結(jié)合KSVD訓(xùn)練后的字典進(jìn)行重建，獲得了較好的高分辨率圖像。但是以上基于稀疏表示的字典學(xué)習(xí)算法對所有的圖像塊使用同一字典進(jìn)行表示，缺乏靈活性，而且重建后的圖像容易產(chǎn)生偽影。鑒于此，研究者們引入了分類的思想來解決上述稀疏字典學(xué)習(xí)算法的不足，例如，Dong等人[11]首先使用K-means算法對訓(xùn)練圖像塊進(jìn)行聚類，然后通過自適應(yīng)地選擇圖像的稀疏域，來重建高分辨率圖像塊，有效地提高了重建后圖像的效果。

綜合以上所述的優(yōu)缺點(diǎn)，本文提出了一種基于分類字典的局部錨定鄰域回歸的超分辨率重建算法。首先對訓(xùn)練集圖像塊進(jìn)行特征提取，經(jīng)過PCA降維后，使用高斯混合模型將這些特征聚成K類，并產(chǎn)生對應(yīng)的類標(biāo)簽矩陣，然后利用標(biāo)簽矩陣信息，將重建誤差與分類誤差結(jié)合形成一個統(tǒng)一的目標(biāo)函數(shù)，經(jīng)過KSVD算法優(yōu)化后，得到了一個過完備字典(由K個小的子類字典組成)和一個經(jīng)過優(yōu)化的線性分類器，最后使用這個訓(xùn)練好的線性分類器對輸入的測試圖像的特征進(jìn)行分類，確定輸入低分辨率圖像塊所屬的類字典后，使用局部錨定鄰域回歸的方法重建出對應(yīng)的高分辨率圖像塊，最終將所有重建的高分辨率圖像塊合成，重建出高分辨率圖像。

1 分類字典學(xué)習(xí)和圖像重建

1.1 特征提取

特征提取會直接影響最終實(shí)驗(yàn)結(jié)果，文中使用通用的做法，先對訓(xùn)練集圖像雙三次插值后獲得對應(yīng)的低分辨率圖像訓(xùn)練集，然后使用拉普拉斯梯度算子提取它們的一階和二階特征，并對其進(jìn)行分塊處理，組成特征矩陣xl。為了減小計算復(fù)雜度，對其進(jìn)行PCA降維，生成新的低分辨率圖像特征矩陣Xl，然后直接對原有的訓(xùn)練集進(jìn)行相同的分塊處理獲得對應(yīng)的高分辨率圖像塊特征矩陣Xh。

隨后對低分辨率圖像塊特征矩陣Xl使用高斯混合模型進(jìn)行聚類。假設(shè)經(jīng)過聚類后得到K個子類，則這組樣本數(shù)據(jù)由混合分布p產(chǎn)生，雖然樣本的分布未知，但是可以用K個高斯密度函數(shù)加權(quán)和來近似表示：

其中：μk為第k類高斯分布的均值，Ck為協(xié)方差。我們用EM算法[13]對這個高斯混合模型進(jìn)行參數(shù)估計，得到每個類的似然估計分布參數(shù)。然后根據(jù)式(2)分別計算Xl中每個圖像塊的特征向量對K個類別的似然概率，其中最大似然概率所屬的類別即為該特征向量的所屬類別。隨后根據(jù)上述的分類結(jié)果生成了一個大小為K×M(其中M的大小和Xl或Xh矩陣列數(shù)相等，即M為訓(xùn)練集所產(chǎn)生的圖像塊/特征的數(shù)量)的標(biāo)簽矩陣表示Xl中第i列特征向量對應(yīng)的標(biāo)簽。

1.2 字典訓(xùn)練

本文的目標(biāo)是利用監(jiān)督信息來學(xué)習(xí)一個兼具重建和分類作用的字典，因此字典中每個元素在理想情況下被認(rèn)為可以表示一個類中的某個子集的訓(xùn)練信號。

結(jié)合Yang等人提出的基于稀疏表示的圖像超分辨率重建模型和在基于字典學(xué)習(xí)的分類模型[13-14]，我們將目標(biāo)函數(shù)定義為

則式(3)的優(yōu)化相當(dāng)于解決以下問題：

這正是KSVD可以求解的形式(注:在KSVD求解之前本文有一個初始化Dnew的過程，詳見1.1部分)。

1.3 特征分類

由于在對Dnew進(jìn)行KSVD求解之前，先將Dl和W進(jìn)行了基于l2的正則化。因此不能簡單的直接將Dl和W帶入到分類計算中，必須先進(jìn)行以下處理：

對于輸入的測試低分辨率圖像，首先采用相同的方法對其進(jìn)行特征提取及PCA降維，得到特陣矩陣。然后對yi使用正交匹配追蹤算法[15](OMP)獲得其對應(yīng)的稀疏表示zi：

即類標(biāo)簽向量l中最大值元素所對應(yīng)的位置即為該向量所屬的類別。

為了驗(yàn)證使用的線性分類器的分類效果，在實(shí)驗(yàn)中也使用了最大似然概率作為參照對測試特征分類。即分別計算測試圖像中每個低分辨率圖像塊yi與訓(xùn)練圖像各個低分辨率圖像塊類別的似然概率，取最大值即為yi的所屬類別：

1.4 超分重建

由1.3部分經(jīng)過KSVD求解后得到一個字典對Dl和Dh，它們分別由K個大小相同的的類字典組成，對于每一個類字典，本文首先根據(jù)相關(guān)性計算每個類字典元素的N(N

求出投影矩陣后，對于每個輸入的特征yki，根據(jù)線性分類器分類結(jié)果，首先找到其對應(yīng)的類字典dlk和，然后計算該特征在對應(yīng)的類字典(k類)中的最近鄰字典元素,最后通過投影矩陣將它映射到對應(yīng)的高分辨率空間中：

圖1 本文算法流程框圖Fig.1Flow chart of our algorithm

最后把所有的高分辨率圖像塊融合即得到最終的所需的高分辨圖像，整個算法流程圖如圖1所示。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 參數(shù)初始化

在使用KSVD算法對字典進(jìn)行聯(lián)合訓(xùn)練之前，需要使用KSVD算法分別對每一類特征進(jìn)行數(shù)次迭代來獲得每一類特征的D0和W0，然后將他們分別合并得到初始化的Dlinit和Winit，具體初始化算法：

1)初始化Dlinit，Winit；

3)對k=1,...,K;

結(jié)束k。

4)輸出Dlinit，Winit。

本文采用Yang等人使用的91幅圖像的標(biāo)準(zhǔn)數(shù)據(jù)集作為訓(xùn)練集，在綜合考慮重建結(jié)果和訓(xùn)練時間消耗后，將訓(xùn)練圖像塊分成5個子類，每類的類字典大小為300，高/低分辨率圖像塊大小均為9×9，稀疏平衡因子λ=0.01，稀疏約束因子為S=3，擴(kuò)展因子uupscale=3。由于人類視覺系統(tǒng)對亮度信息更為敏感，因此在實(shí)驗(yàn)中，對于彩色RGB類型圖像，我們先將其編碼為對應(yīng)的YCbCr類型圖像，然后選擇Y亮度通道的圖像作為輸入圖像進(jìn)行超分辨率重建，對Cb、Cr通道圖像直接進(jìn)行插值放大。實(shí)驗(yàn)平臺：Windows 10專業(yè)版(64位)，Intel(R)Core(TM)i7-4790K-4.00 GHz，內(nèi)存32 GB，Matlab 2014a。

2.2 實(shí)驗(yàn)數(shù)據(jù)及分析

為了驗(yàn)證算法有效性，本文分別在Set5和Set14標(biāo)準(zhǔn)測試集上進(jìn)行實(shí)驗(yàn)(見表1和表2)，評價標(biāo)準(zhǔn)為峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)。值得說明的是，本文屬于基于字典學(xué)習(xí)的超分辨重建算法，因此在實(shí)驗(yàn)部分比較了經(jīng)典的字典學(xué)習(xí)算法Yang的ScSR[7]以及基于鄰域的NE+LLE[5]算法和NE+NNLS[6]算法，但是由于基于鄰域算法的字典直接簡單的使用訓(xùn)練塊而沒有進(jìn)行字典學(xué)習(xí)，因此將NE+LLE和NE+NNLS算法的字典采用Zeyde[8]提出的KSVD方法進(jìn)行訓(xùn)練，然后結(jié)合對應(yīng)字典以及NE+LLE和NE+NNLS的思想進(jìn)行圖像重建。ScSR，NE+LLE以及NE+NNLS訓(xùn)練的字典大小均為1 024。

表1，表2中每項(xiàng)數(shù)據(jù)均為三次實(shí)驗(yàn)平均結(jié)果，黑體表示最佳結(jié)果。本文方法1使用線性分類器對測試特征進(jìn)行分類，本文方法2使用最大似然概率對特征進(jìn)行分類。表2同。

同時本文在Set5和Set14上做了另一組對比試驗(yàn)來說明算法的整體有效性，而不是僅通過使用優(yōu)秀的重建算法(ANR)來提升重建質(zhì)量與效果。具體方法如下：重新訓(xùn)練了一組類字典，每個類字典的大小為200(則整個字典大小為1 000)，在圖像重建時，未采用分類重建的方法，直接用ANR方法重建，然后與Timofte等人提出的ANR方法[10](字典大小為1 024)做對比，其中ANR方法在Set5和Set14上的平均PSNR(dB)/SSIM為31.91/0.896 6和28.66/0.879 3，我們算法的實(shí)驗(yàn)結(jié)果分別為31.93/0.896 9和28.68/0.8793，這也進(jìn)一步說明本文的算法(ClassD+ANR)整體要優(yōu)于文中所提其他算法。

表1，2的結(jié)果顯示，本文的方法(Ours 1)重建的圖像PSNR/SSIM值與所列方法相比整體均有所提高，尤其對于人臉圖像，本文方法更為突出一些。同時與在相同的字典學(xué)習(xí)條件下高斯分類方法結(jié)果(Ours2)相比，可以看出本文訓(xùn)練的線性分類器的分類性能也獲得了令人滿意的結(jié)果。

表1 各方法在Set5測試集上的PSNR(dB)/SSIMTable 1PSNR(dB)/SSIM for Set5 using different methods

表2 各方法在Set14測試集上的PSNR(dB)/SSIMTable 2PSNR(dB)/SSIM for Set14 using different methods

圖2展示部分測試集圖像在各個重建方法下的視覺效果。從重建結(jié)果來看，Bicubic和ScSR方法重建的圖像相較于其他三種方法重建后的圖像存在著模糊現(xiàn)象，且對圖像某些局部放大后觀察，Bicubic和ScSR方法重建的結(jié)果也存在著明顯的人工痕跡。比如baby，pepper和face圖像在紋理信息豐富的區(qū)域均產(chǎn)生了鋸齒效應(yīng)。NE+LLE和NE+NNLS方法重建的結(jié)果顯然改善了上述圖像存在的模糊和人工痕跡現(xiàn)象。本文方法相較于上述算法重建的圖像則更為清晰，對于某些紋理細(xì)節(jié)信息的恢復(fù)也更為豐富。比如對于baby圖像本文方法消除了上述算法在眼睫毛處存在的偽影，而在face圖像中本文的方法則更為清晰的恢復(fù)鼻尖附近邊緣輪廓以及圖像原本面部存在的雀斑等。

圖2 Set5和Set14中的重建結(jié)果Fig.2Quality of reconstruction comparison for image baby pepper and face in Set5 and Set 14

3 總結(jié)與展望

本文提出了一種有監(jiān)督的基于分類字典的超分辨率重建算法。算法首先對圖像進(jìn)行聚類處理，然后在KSVD字典訓(xùn)練階段通過結(jié)合標(biāo)簽信息，在產(chǎn)生類字典的同時也產(chǎn)生了一個線性分類器；最后我們使用此分類器對輸入測試圖像塊特征分類，并使用改善的類錨定鄰域方法對各類測試特征塊進(jìn)行重建和融合來產(chǎn)生最終的高分辨率圖像。實(shí)驗(yàn)表明本文的算法最終獲得重建圖像在主觀視覺和客觀評價上均優(yōu)于文中所述的其他算法，同時本文提出的算法相較于其他基于分類字典算法的另一個優(yōu)勢是:當(dāng)多類字典訓(xùn)練完成后，無需知道之前使用的聚類算法，因此圖像重建過程是完全可以離線進(jìn)行的。

后續(xù)的工作將從提高聚類算法聚類準(zhǔn)確率以及提高分類器分類性能、改善字典訓(xùn)練算法、降低字典訓(xùn)練時間等多方面著手來進(jìn)一步提高重建圖像的質(zhì)量以達(dá)到實(shí)時性要求。

[1]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學(xué)報，2013，39(8)：1202-1213. SU Heng，ZHOU Jie，ZHANG Zhihao.Survey of Super-Resolution Image Reconstruction Methods[J].Acta Auto-matica Sinica(S0154-4256)，2013，39(8)：1202-1213.

[2]Freeman T，Jones T R，Pasztor E C.Example Based Super-Resolution[J].IEEE Computer Graphics and Applications(S0272-1716)，2002，22(2)：56-65.

[3]CHANG Hong，YEUNG Dityan，XIONG Yimin.Super-Resolution through Neighbor Embedding[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Washington，DC，USA，June 27-July 2，2004：275–282.

[4]Bevilacqua M，Roumy A，Guillemot C.Low-Complexity Single Image Super-Resolution Based on Nonnegative Neighbor Embedding[C]//Proceedings of British Machine Vision Conference，Bristol，UK，Sept 9-13，2012：135.1-135.10.

[5]李民，程建，樂翔，等.增強(qiáng)稀疏編碼的超分辨率重建[J].光電工程，2011，38(1)：127-133. LI Min，CHENG Jian，LE Xiang，et al.Super-Resolution Reconstruction Based on Improved Sparse Coding[J]. Opto-Electronic Engineering，2011，38(1)：127-133.

[6]蔣建國，陳亞運(yùn)，齊美彬，等.基于自相似性和稀疏表示的圖像超分辨率重建[J].光電工程，2015，42(12)：74-81. JIANG Jianguo，CHEN Yayun，QI Meibin，et al.Image Super-Resolution Reconstruction Based on Self-Similarity and Sparse Representation[J].Opto-Electronic Engineering，2015，42(12)：74-81.

[7]YANG Jianchao，Wright John，HUANG Thomas，et al.Image Super-Resolution via Sparse Representation[J].IEEE Transactions on Image Processing(S1057-7149)，2010，19(11)：2861-2873.

[8]Zeyde R，Elad M，Protter M.On Single Image Scale-up Using Sparse Representations[C]//Proceedings of the 7th International Conference on Curves and Surfaces，Avignon，F(xiàn)rance，June 24-30，2012，69(20)：711-730.

[9]Aharon M，Elad M，Bruckstein A.K-SVD：An Algorithm for Designing Over-complete Dictionaries for Sparse Representation [J].IEEE Transactions on Signal Processing(S1057-7149)，2006，54(11)：4311-4322.

[10]Timofte R，Smet D V，Gool L V.Anchored Neighborhood Regression for Fast Example-Based Super-Resolution[C]// Proceedings of IEEE International Conference on Computer Vision，Sydney，Australia，Dec 3-6，2013：1920-1927.

[11]DONG Weisheng，ZHANG Lei，SHI Guangming，et al.Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection andAdaptive Regularization[J].IEEE Transactions on Image Processing(S1057-7149)，2011，20(7)：1838-1857.

[12]Dempster A P，Laird N M，Rubin D B.Maximum Likelihood from Incomplete Data via the EM Algorithm[J].Journal of the Royal Statistical Society Series B(S1369-7412)，1977，39(1)：1-38.

[13]Soltani-Farani A，Rabiee H R，Hosseini S A.Spatial-Aware Dictionary Learning for Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing(S0196-2892)，2015，53(1)：527–541.

[14]JIANG Zhuolin，LIN Zhe，Davis Larry S.Label Consistent K-SVD：Learning a Discriminative Dictionary for Recognition[J]. IEEE Transactions on PatternAnalysis and Machine Intelligence(S0162-8828)，2013，35(11)：2651-2664.

[15]Pati Y C，Rezaiifar R，Krishnaprasad P S.Orthogonal Matching Pursuit：Recursive Function Approximation with Applications to Wavelet Decomposition[C]//Proceedings of 1993 Conference Record of the Twenty-Seventh Asilomar Conference on Systems and Computers，Pacific Grove，California，USA，Nov 1-3，1993，1：40-41.

Single Image Super-resolution Reconstruction via Supervised Multi-dictionary Learning

WU Congzhong，HU Changsheng，ZHANG Mingjun，XIE Zhenzhu，ZHAN Shu
(School of Computer and Information,Hefei University of Technology,Hefei230009,China)

In order to overcome the problems that the dictionary training process is time-consuming and the reconstruction quality couldn't meet the applications,we propose a super resolution reconstruction algorithm which based on a supervised KSVD multi-dictionary learning and class-anchored neighborhood regression.Firstly,the Gaussian mixture model clustering algorithm is employed to cluster the low resolution training features;Then we use the supervised KSVD algorithm to generate each subclass dictionary and a discriminative-linear classifier simultaneously;Finally,each input feature block is categorized by the classifier and reconstructed by the corresponding subclass dictionary and class-anchored neighborhood regression.Experimental results show that our method obtains a better result both on subjective and objective compare with other methods,and has a better adaptability to face image.

Gaussian mixture model;supervised dictionary learning;super-resolution;sparse representation

TN919.81

A

10.3969/j.issn.1003-501X.2016.11.011

1003-501X(2016)11-0069-07

2016-02-24；

2016-05-27

國家自然科學(xué)基金面上項(xiàng)目(61371156)；安徽省科技攻關(guān)項(xiàng)目(1401B042019)

吳從中(1965-)，男(漢族)，安徽蕪湖人。副教授，主要研究工作是信號與信息處理。E-mail:

詹曙(1968-)，男(漢族),安徽合肥人。教授，主要研究方向?yàn)槿四樧R別和醫(yī)學(xué)圖像處理與分析。E-mail:shu_zhan@hfut.edu.cn。