基于自訓(xùn)練字典學(xué)習(xí)的單幅圖像的超分辨率重建

張 強(qiáng)，張愛梅，王華敏，陳 鵬

基于自訓(xùn)練字典學(xué)習(xí)的單幅圖像的超分辨率重建

張 強(qiáng)，張愛梅，王華敏，陳 鵬

（鄭州大學(xué)機(jī)械工程學(xué)院，河南 鄭州 450001）

針對(duì)單幅低分辨率圖像的超分辨率重建問題，提出了一種基于自訓(xùn)練字典學(xué)習(xí)的超分辨率重建算法。首先根據(jù)圖像的退化模型，對(duì)輸入的低分辨率圖像進(jìn)行降質(zhì)處理，然后利用K-SVD方法訓(xùn)練字典，獲得重建所需要的先驗(yàn)知識(shí)，最后根據(jù)先驗(yàn)知識(shí)重建高分辨率圖像。仿真實(shí)驗(yàn)的結(jié)果表明，利用該方法獲得的高分辨率圖像在視覺效果和客觀評(píng)價(jià)上均優(yōu)于傳統(tǒng)方法，同時(shí)算法的時(shí)間效率也有很大的提升。

超分辨率重建；稀疏表示；自訓(xùn)練字典學(xué)習(xí)；K-SVD

0 引言

圖像超分辨率技術(shù)是指由一幅或幾幅低分辨率圖像復(fù)原出高分辨率圖像的方法。在不改變現(xiàn)有系統(tǒng)硬件設(shè)備的前提下，快速、低成本地提高圖像的分辨率。隨著圖像在各個(gè)領(lǐng)域的應(yīng)用越來越廣，人們對(duì)圖像分辨率要求也越來越高。在醫(yī)學(xué)成像、軍事遙感和安全監(jiān)控領(lǐng)域中，超分辨率技術(shù)都有著廣闊的應(yīng)用前景[1-2]。目前，超分辨率技術(shù)主要有以下幾種方法：基于插值的算法、基于重構(gòu)的算法和基于學(xué)習(xí)的算法[3]?；诓逯档乃惴ㄖ饕噪p三次插值為主，算法簡單，然而重建效果不好，重建的圖像有鋸齒效應(yīng)；基于重建的方法是依賴多幅低分辨率圖像進(jìn)行重建，在實(shí)際應(yīng)用中受限制，且當(dāng)目標(biāo)放大倍數(shù)較大時(shí)，重建效果急劇下降。基于學(xué)習(xí)的算法充分利用了圖像本身的先驗(yàn)知識(shí)，在不增加輸入圖像樣本數(shù)量的情況下，仍能產(chǎn)生高頻細(xì)節(jié)，獲得較好的復(fù)原效果[4]。

近年來，基于稀疏表示的圖像超分辨率重建理論得到了大家的廣泛關(guān)注并取得了一系列突破。Yang[5-6]等人提出了超分辨率重建的稀疏表示框架，其基本思想是低分辨率圖像塊和對(duì)應(yīng)的高分辨率圖像塊具有相同的稀疏表示系數(shù)。低分辨率圖像的每個(gè)圖像塊能夠在一個(gè)低分辨率超完備字典上得到一組稀疏表示系數(shù)，高分辨率圖像的圖像塊能夠用同樣的稀疏表示系數(shù)在給定的高分辨率超完備字典上重建，然后將高分辨率圖像快連接得到完整的高分辨率圖像。該方法重建效果好但是需要大量低分辨率圖像和高分辨率圖像樣本進(jìn)行聯(lián)合訓(xùn)練，運(yùn)算量大，重建時(shí)間長。Elad[7]在Yang思想的基礎(chǔ)上，利用一幅高分辨率圖像來訓(xùn)練字典，也能獲得較好的重建效果。Zeyde[8]等人在文獻(xiàn)[5-6]的基礎(chǔ)上利用主成分分析進(jìn)行降維和采取正交匹配追蹤算法進(jìn)行稀疏編碼對(duì)其進(jìn)行改進(jìn)，使重建速度得到了提高，并取得了較好的效果。

本文在上述算法的基礎(chǔ)上，結(jié)合稀疏表示的超分模型，提出了一種基于自訓(xùn)練字典學(xué)習(xí)的超分辨率重建算法，在重建效果和算法效率方面都有較大的提升。本文算法中超分辨率重建所需要的先驗(yàn)知識(shí)由輸入的低分辨率圖像提供，不需要額外的訓(xùn)練樣本，保證了重建高分辨率圖像信息的真實(shí)性。

1 基于超完備字典的圖像稀疏表示理論

信號(hào)的稀疏表示就是從給定的字典中選擇最佳線性組合的一定數(shù)量原子去稀疏逼近原始信號(hào)[9]。字典的選擇是信號(hào)稀疏表示理論的一個(gè)基本問題。近年來超完備字典算法被廣泛應(yīng)用于信號(hào)的稀疏表示。這種新的信號(hào)表示理論用一種稱為字典的超完備基替代傳統(tǒng)的正交基，由于字典的選擇沒有任何的限制，因此它能有效的表達(dá)出原始信號(hào)的結(jié)構(gòu)。

給定一個(gè)集合＝{d,＝1,2,3,…,}，它的每一個(gè)元素是張成希爾伯特空間＝R的單位矢量，其中>>，稱為超完備字典，它的每一列元素稱為一個(gè)原子。對(duì)任意給定的信號(hào)，都可以表示為字典原子的一組線性組合：

＝(1)

式中：為稀疏系數(shù)矩陣。字典訓(xùn)練算法的目標(biāo)是求解字典和對(duì)應(yīng)的稀疏表示系數(shù)，并保證信號(hào)殘差－和稀疏表示系數(shù)的非零項(xiàng)均為最小，其數(shù)學(xué)模型為：

常用的字典學(xué)習(xí)算法有迭代最小二乘字典學(xué)習(xí)算法[10]、在線字典學(xué)習(xí)算法[11]和K-SVD算法[12]。本文采用K-SVD字典學(xué)習(xí)算法來訓(xùn)練字典。該算法收斂速度快，能夠快速建立稀疏冗余字典。K-SVD訓(xùn)練字典時(shí)首先給定一個(gè)初始化字典0，把信號(hào)在該字典上進(jìn)行稀疏分解，得到稀疏表示系數(shù)，然后升級(jí)字典原子，得到信號(hào)在新字典上的稀疏表示系數(shù)。K-SVD與其他方法的不同之處在于字典的逐列更新。在字典升級(jí)的過程中，只對(duì)字典中的一個(gè)原子進(jìn)行更新，其他原子保持不變。假設(shè)系數(shù)和字典都是固定的，要更新字典的第列d，稀疏矩陣中與d相乘的第行記做，則目標(biāo)函數(shù)可以重寫為：

式中：表示去掉第個(gè)原子的殘差矩陣；d表示字典中要升級(jí)的原子。如此循環(huán)的對(duì)所有原子進(jìn)行更新，最終求得字典。

2 自訓(xùn)練字典學(xué)習(xí)算法框架

設(shè)低分辨率圖像為l，超分辨率重建的目標(biāo)為獲得相應(yīng)的高分辨率圖像h。定義超分辨率重建操作為，那么圖像超分辨率重建的數(shù)學(xué)模型可以描述為：

h＝l(4)

在重建處理過程中，我們將低分辨率圖像進(jìn)行分塊處理。設(shè)低分辨率圖像l分解為圖像塊l?R×l，相應(yīng)的高分辨率圖像塊h。

2.1 先驗(yàn)知識(shí)的獲取

在本文的算法中，通過輸入的低分辨率圖像l來獲取先驗(yàn)知識(shí)。定義為模糊操作，為圖像下采樣操作。根據(jù)圖像的退化模型可知，每個(gè)低分辨率圖像塊都可以通過對(duì)應(yīng)的高分辨率圖像塊模糊后下采樣得到[13]。高分辨率和低分辨率圖像之間的模型可以表示為：

l＝(h*)s(5)

通過對(duì)輸入低分辨率圖像l的模糊和下采樣后得到ll，以此來模擬超分辨率重建的逆過程?；趫D像稀疏表示理論，定義l為通過輸入低分辨率圖像訓(xùn)練得到的超完備字典。這時(shí)把ll看作是低分辨率圖像塊，l看作是相對(duì)應(yīng)的高分辨率圖像塊，那么相應(yīng)的低分辨率圖像塊ll可以在低分辨率字典上l得到稀疏表示：

ll＝l(6)

式中：為稀疏表示系數(shù)。利用優(yōu)化后的正交匹配追蹤算法來求解系數(shù)表示系數(shù)。根據(jù)圖像的稀疏表示理論，高分辨率圖像塊l可以用同樣的稀疏表示系數(shù)在高分辨率字典h上稀疏表示：

l＝h(7)

由高分辨率圖像塊l和稀疏表示系數(shù)可以得到高分辨率字典h。聯(lián)合低分辨率字典l和高分辨率字典h組成了超分辨率重建的先驗(yàn)知識(shí)（l，h）。

2.2 利用先驗(yàn)知識(shí)重建高分辨率圖像

通過上述步驟得到先驗(yàn)知識(shí)（l，h）后，接下來利用該先驗(yàn)知識(shí)重建高分辨率圖像塊h。將l看作是低分辨率圖像塊，h看作是相對(duì)應(yīng)的高分辨率圖像塊。低分辨率圖像塊l在低分辨率字典l上稀疏表示：

l＝l(8)

新的稀疏表示系數(shù)通過求解一個(gè)基于錯(cuò)誤容差的優(yōu)化問題得到：

此時(shí)，需要重建的高分辨率圖像塊h由同樣的稀疏表示系數(shù)在高分辨率字典上重建得到：

h＝h(10)

求解式(10)可得高分辨率圖像塊h。最后將所有重建得到的高分辨率圖像塊融合起來可得到完整的高分辨率圖像h。

2.3 高分辨率圖像的誤差修正

為了保證重建得到的高分辨率圖像和輸入的低分辨率圖像保持一致，采用迭代反向投影法對(duì)重建的得到的高分辨率圖像進(jìn)行誤差修正。首先將重建得到的高分辨率圖像h進(jìn)行下采樣操作得到s。然后計(jì)算s與低分辨率圖像l的差值圖像d：

d＝l－s(11)

把得到的差值圖像d進(jìn)行雙三次插值得到b，然后將它與一個(gè)高斯低通濾波器進(jìn)行卷積操作。將得到的結(jié)果和h求和，即可得到校正后的高分辨率圖像：

＝h＋b*(12)

3 實(shí)驗(yàn)結(jié)果及分析

在仿真實(shí)驗(yàn)中，分別用雙三次插值算法、Yang的算法和本文的算法對(duì)同一幅低分辨率圖像進(jìn)行超分辨率重建，然后對(duì)比重建效果，判斷算法的優(yōu)劣。本文采用峰值信噪比（PSNR）作為評(píng)價(jià)重建圖像質(zhì)量的統(tǒng)一標(biāo)準(zhǔn)。PSNR的計(jì)算值越高，重建圖像的質(zhì)量越高：

3.1 參數(shù)設(shè)置

原始高分辨率圖像大小為256×256，通過對(duì)其1/2下采樣操作得到一幅128×128的低分辨率圖像作為輸入圖像。目標(biāo)放大倍數(shù)為2倍。超完備字典的大小為1000，圖像塊大小為5×5，稀疏度設(shè)置為4，迭代次數(shù)40次。

3.2 仿真結(jié)果

仿真實(shí)驗(yàn)測(cè)試圖像采用國際標(biāo)準(zhǔn)測(cè)試圖像，對(duì)同一測(cè)試圖像分別采用雙三次插值算法、Yang的算法和本文的算法進(jìn)行重建。3種算法的超分辨率重建效果如圖1和圖2所示。

圖1 3種算法重建的效果圖像（Lena）

圖2 3種算法重建的效果圖像（butterfly）

對(duì)比重建效果圖像可知，雙三次插值算法產(chǎn)生了比較模糊的圖像，視覺效果差。Yang的算法和本章的算法都能得到滿意的效果。仔細(xì)對(duì)比細(xì)節(jié)圖像可以發(fā)現(xiàn)，Yang的算法重建出現(xiàn)較多的人工效應(yīng)，本文算法重建的高分辨率圖像有效地減小了人工痕跡，圖像的高頻細(xì)節(jié)更加真實(shí)自然，更接近于原始圖像。表1所示為不同算法重建圖像的PSNR值，從表中數(shù)據(jù)可以看出，本文算法的PSNR值均為最優(yōu)，與Bicubic算法和Yang的算法相比，PSNR值均有很大的提升。

表1 不同算法重建圖像PSNR值的比較

4 結(jié)束語

本文從圖像超分辨率重建的實(shí)際工程應(yīng)用出發(fā)，對(duì)基于稀疏表示的超分辨率算法進(jìn)行了改進(jìn)，提出了一種基于自訓(xùn)練字典學(xué)習(xí)的超分辨率算法。該算法不需要額外的訓(xùn)練樣本，利用自身低分辨率圖像的信息，快速高效地進(jìn)行高分辨率重建。通過實(shí)驗(yàn)驗(yàn)證，本文的算法相較于傳統(tǒng)插值算法和Yang的算法在重建圖像的視覺效果和客觀評(píng)價(jià)上均顯示出相當(dāng)大的優(yōu)勢(shì)，同時(shí)算法的時(shí)間效率也有很大的提升，使得其在工程領(lǐng)域的應(yīng)用成為可能。

[1] 王自樺, 劉燕文. 基于稀疏表示的圖像超分辨率重建[J]. 現(xiàn)代計(jì)算機(jī), 2014(3): 35-39.

Wang Zi-hua, Liu Yan-wen. Image super-resolution reconstruction based on sparse representation[J]., 2014(3): 35-39.

[2] 江靜, 張雪松. 圖像超分辨率重建算法綜述[J]. 紅外技術(shù), 2012, 34(1): 24-30.

Jiang Jing, Zhang Xue-song. A review of super-resolution reconstruction algorithms [J]., 2012, 34(1): 24-30.

[3] 浦劍, 張軍平, 黃華. 超分辨率算法研究綜述[J]. 山東大學(xué)學(xué)報(bào): 工學(xué)版, 2009, 39: 27-32.

Pu Jian, Zhang Jun-ping, Huang Hua. A survey of super resolution algorithms [J].:，2009, 39: 27-32.

[4] 鄭梅蘭, 章品正, 郭偉偉, 等. 基于學(xué)習(xí)的人臉圖像超分辨率重建方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2009, 45: 170-175.

Zheng Mei-lan,Zhang Pin-zheng, Guo Wei-wei, et al. Learning-based super-resolution reconstruction of face image [J]., 2009, 45: 170-175.

[5] Yang J C, Wright J, Huang T, et al. Image super -resolution as sparse representation of raw image patches[C]//, Washington, DC, USA: IEEE Computer Society, 2008: 1-8.

[6] Yang J C, Wright J, Huang T, et al. Image Super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[7] Elad M.[M]//. [s.l.]: Springer Press, 2010.

[8] Zeyde R, Elad M, Protter M.[C]//,. Heidelberg: Springer Press, 2012, 6920: 711-730.

[9] Zhang J, Zhao C, Xiong R, et al. Image super -resolution via dual- dictionary learning and sparse representation[C]//, Seoul, Korea, May 20-23, 2012: 1688-1691.

[10] Kjersti Engan, Karl Skrettin, John H?kon Hus?y. Family of iterative LS-based dictionary learning algorithms, ILS-DLA, for sparse signal representation[J]., 2007, 17(1): 32-49.

[11] Mairal J, Bach F, Ponce J, et al. Online dictionary learning for sparse coding[C]//, 2009: 689-696.

[12] Aharon M, Elad M, Bruckstein A. K-svd: an algorithm for designing over complete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[13] Glasner Daniel, Shai Bagon, Michal Irani. Super-resolution from a single image[C]//12, 2009: 349-356

Single Image Super-resolution Reconstruction Based on Self-learning Dictionary

ZHANG Qiang，ZHANG Ai-mei，WANG Hua-min，CHEN Peng

(，，450001，）

Based on the self-learning dictionary, a super-resolution reconstruction method of single image is proposed. First of all, according to the image degradation model, the low-resolution image input is processed with blurred and downsampled operations. Then the dictionary is trained with K-SVD method, and we obtain the priori knowledge for reconstruction. Finally, the high-resolution image is reconstructed based on the priori knowledge. The result of simulation experiment shows that the method is superior to conventional methods in the visual effects and objective evaluation, and the time efficiency of the algorithm is also significantly improved.

super-resolution reconstruction，sparse representation，self-learning dictionary，K-SVD

TP391

A

1001-8891(2015)09-0736-04

2015-06-10；

2015-07-30.

張強(qiáng)（1991-），男，碩士研究生，主要從事圖形圖像處理的研究。E-mail：zqs359@163.com。

張愛梅（1964-），女，教授，碩士研究生導(dǎo)師，主要研究方向?yàn)閳D形圖像處理與模式識(shí)別。