基于稀疏編碼和各向異性濾波的超分辨率重建*

伏伶麗，任 超，何小海,吳曉紅

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

0 引言

圖像含有大量的、生動(dòng)的、直觀(guān)的信息，是人們感知外界信息的主要載體。然而，成像設(shè)備、成像環(huán)境和傳輸環(huán)境影響了數(shù)字圖像的質(zhì)量，使得我們得到的圖像是低分辨(Low Resolution,LR)圖像。為了滿(mǎn)足人們對(duì)高質(zhì)量圖像的需求，圖像超分辨率(Super Resolution,SR)重建技術(shù)[1-7]被眾多研究學(xué)者提出。圖像SR重建是一種利用一幅或多幅LR圖像，重建出單幅高分辨率(High Resolution,HR)圖像的技術(shù)，該技術(shù)能使因圖像退化過(guò)程中模糊、噪聲等造成的LR圖像的分辨率得到顯著的提高。通常，圖像退化過(guò)程可以用式(1)表示：

y=Mx+v

(1)

式中，y為L(zhǎng)R圖像；x為HR圖像；M表示退化矩陣；v是標(biāo)準(zhǔn)差為σn的隨機(jī)高斯噪聲矩陣。

目前，主流的SR重建方法分為：基于重建的SR方法[1-3]和基于學(xué)習(xí)的SR方法[4-8]。由于SR重建是一個(gè)病態(tài)問(wèn)題，常常利用先驗(yàn)信息規(guī)范SR重建的解[1]。基于重建的SR方法根據(jù)圖像退化模型，利用總變分(Total Variation,TV)先驗(yàn)[1]、非局部正則項(xiàng)[3]等重建出視覺(jué)效果良好的HR圖像?；趯W(xué)習(xí)的方法[4-8]可分為基于完備字典學(xué)習(xí)方法[4]、基于稀疏表示方法[5]、基于深度學(xué)習(xí)方法[7-8]。大部分情況下，基于學(xué)習(xí)的SR方法在提升圖像分辨率方面，擁有優(yōu)秀的性能?；谏疃葘W(xué)習(xí)的方法[8]利用卷積神經(jīng)網(wǎng)絡(luò)和外部數(shù)據(jù)集，對(duì)LR圖像和HR圖像進(jìn)行端對(duì)端的映射學(xué)習(xí)，從而訓(xùn)練出一個(gè)預(yù)測(cè)模型，進(jìn)而根據(jù)預(yù)測(cè)模型預(yù)測(cè)出LR圖像對(duì)應(yīng)的HR圖像。文獻(xiàn)[8]僅利用的是LR圖像和HR圖像之間的映射關(guān)系，缺乏對(duì)LR圖像或HR圖像本身先驗(yàn)信息的利用?；诜蔷植肯∈璞硎镜姆椒?NCSR)[9]使用一張LR圖像進(jìn)行字典訓(xùn)練，同時(shí)利用稀疏編碼的非局部自相似性，重建出高質(zhì)量的HR圖像。基于非局部稀疏表示的方法[9]雖然考慮了圖像自身的先驗(yàn)信息，但在LR圖像和HR圖像映射關(guān)系這一方面還存有不足。因此，我們提出了一個(gè)基于稀疏編碼和各向異性濾波的圖像超分辨重建方法。本方法利用文獻(xiàn)[8]中的網(wǎng)絡(luò)和各向異性引導(dǎo)濾波學(xué)習(xí)各向異性特征，并根據(jù)該特征構(gòu)建一個(gè)學(xué)習(xí)先驗(yàn)，然后讓該學(xué)習(xí)先驗(yàn)進(jìn)一步地規(guī)范NCSR，從而提供更高質(zhì)量的HR圖像。

本文提出的方法在圖像結(jié)構(gòu)豐富的情況下，可獲取更高的客觀(guān)評(píng)價(jià)指標(biāo)和視覺(jué)效果，具有較好的理論研究?jī)r(jià)值。

1 相關(guān)理論

1.1 基于稀疏表示的SR方法

YNAG J等人[5]針對(duì)圖像超分辨應(yīng)用，提出了基于圖像稀疏表示的方法。通常，圖像x可以用一個(gè)字典Φ和稀疏系數(shù)Λ進(jìn)行表示，即

x=ΦΛ

(2)

由于圖像的SR重建是一個(gè)病態(tài)的問(wèn)題，因此稀疏系數(shù)Λ常被用來(lái)約束SR的解，該過(guò)程可以用下式表示：

(3)

最后，利用訓(xùn)練好的字典Φ和稀疏系數(shù)Λ，根據(jù)公式(2)，重建出HR圖像x。

1.2 各向異性引導(dǎo)濾波

引導(dǎo)濾波因其算法的低復(fù)雜度和良好的邊緣保持特性，被廣泛應(yīng)用于圖像處理領(lǐng)域和計(jì)算機(jī)視覺(jué)應(yīng)用。引導(dǎo)濾波通過(guò)一張引導(dǎo)圖像g，對(duì)濾波器的輸入圖像進(jìn)行濾波處理，從而增強(qiáng)輸入圖像的細(xì)節(jié)信息，該過(guò)程可被建模為：

x=ag+b

(4)

式中，a是一個(gè)控制細(xì)節(jié)轉(zhuǎn)移的參數(shù)；b表示偏差。引導(dǎo)濾波的主要任務(wù)是找出公式(4) 中的參數(shù)a和b。

盡管引導(dǎo)濾波在圖像應(yīng)用中取得明顯的效果，但現(xiàn)存的大部分引導(dǎo)濾波，如加權(quán)的引導(dǎo)濾波(Weighted Guided Image Filter,WGIF)[10]和基于梯度域的引導(dǎo)濾波(Gradient-domain Guided Image Filter,GGIF)[11],在輸入圖像和引導(dǎo)圖像的結(jié)構(gòu)不一致時(shí)，其濾波性能會(huì)大幅度下降[12]。因此，各向異性引導(dǎo)濾波[12]被提出，該方法利用一個(gè)局部平滑函數(shù)對(duì)濾波的平均步驟進(jìn)行重新規(guī)劃，進(jìn)而提升濾波器的性能。該方法是利用圖像塊xi(i=1,…,n)來(lái)求解參數(shù)a和b，其中基于塊的ai和bi可用下式求解：

(5)

式中，i表示第i塊；n是圖像塊的數(shù)量；γ是一個(gè)正則化的常數(shù)；0.000 2|(i)|表示給定鄰域范圍內(nèi)自然圖像的近似中值方差；var()是一個(gè)求方差的操作；為gi的均值。待求出參數(shù)a和b后，可使用公式(4) 對(duì)待濾波圖像進(jìn)行濾波處理。

2 基于稀疏編碼和各向異性濾波的超分辨率重建算法

目前，稀疏表示被廣泛應(yīng)用到SR的應(yīng)用中，獲得較好的SR性能[9,13]。文獻(xiàn)[9]提出的基于稀疏表示的非局部方法，首先利用輸入的LR圖像進(jìn)行字典訓(xùn)練，然后利用該字典和非局部正則項(xiàng)，重建出高質(zhì)量的HR圖像。然而，文獻(xiàn)[9]的方法沒(méi)有充分考慮到圖像的連續(xù)性和像素鄰域間的關(guān)聯(lián)性，不能對(duì)邊緣進(jìn)行良好的保持。于是，提出了一種基于稀疏編碼和各向異性濾波的超分辨重建方法，該方法有效地提升了圖像邊緣保持能力，提供更加高質(zhì)量的視覺(jué)效果圖。該算法的框架如圖1所示。首先本文利用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練好HR各向異性特征模型，然后利用基于稀疏表示的框架對(duì)輸入的LR圖像進(jìn)行迭代重建。具體的重建步驟如圖1所示。

注意，迭代重建過(guò)程中，若優(yōu)化求解后，迭代條件仍然滿(mǎn)足，則進(jìn)入下一次SR重建；反之，則輸出優(yōu)化求解的HR圖像作為最終的重建HR圖像。該方法可以建模為：

(6)

圖1 本文算法的框架圖

2.1 非局部先驗(yàn)

圖像含有大量的、重復(fù)的結(jié)構(gòu)信息，可以利用這種自相似特性構(gòu)建一個(gè)非局部先驗(yàn)[5]。同時(shí)，圖像可以表示為稀疏形式，所以其稀疏系數(shù)也具有自相似性，因此可以利用稀疏系數(shù)Λ的自相似性約束SR的解[9]。根據(jù)文獻(xiàn)[9]構(gòu)建的非局部先驗(yàn)為：

(7)

式中，B為根據(jù)Λ的自相似性估計(jì)出的值。

本文是基于圖像塊xi(i=1,…,n)的方法，所以Λ和B分別可用{Λi|i=1,…,n}和{Bi|i=1,…,n}求得。圖像塊和目標(biāo)塊相距越近，相似度的權(quán)重越大。因此，可通過(guò)對(duì)Λi的相似系數(shù)進(jìn)行高斯加權(quán)，獲得估計(jì)值Bi，具體地求解方式如下：

(8)

2.2 局部先驗(yàn)

盡管利用稀疏系數(shù)的非局部自相似性能重建出較好的HR圖像，但是該方法沒(méi)有充分考慮到圖像相鄰像素的相關(guān)性，不能很好地恢復(fù)圖像的邊緣細(xì)節(jié)。由于各向異性濾波[12]在邊緣保持方面表現(xiàn)出優(yōu)秀的性能，因此利用各向異性引導(dǎo)濾波構(gòu)建一個(gè)局部先驗(yàn)，和前述的非局部先驗(yàn)形成互補(bǔ)，進(jìn)一步提升圖像的邊緣保持性能，恢復(fù)更多的細(xì)節(jié)信息。

(9)

2.3 算法求解

本文利用交替迭代算法[14]對(duì)公式(6) 進(jìn)行求解，具體的步驟在表1中給出。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集及參數(shù)設(shè)置

在各向異性濾波特征的訓(xùn)練中，本文使用291張圖片及其旋轉(zhuǎn)和下采的圖像作為總的訓(xùn)練集[8]。圖像SR重建中，使用的測(cè)試集是通用的Set5[15]和Set14[16]數(shù)據(jù)庫(kù)。

本文的LR圖像是按照文獻(xiàn)[9]對(duì)數(shù)據(jù)集中的HR圖像進(jìn)行降質(zhì)得到的。具體而言，先用標(biāo)準(zhǔn)差為1.6且尺寸大小為7×7的高斯模糊核對(duì)HR圖像進(jìn)行模糊操作；然后對(duì)模糊圖像進(jìn)行隔點(diǎn)下采，其中采樣因子為3；最后對(duì)下采后的圖像添加標(biāo)準(zhǔn)差為σn的自適應(yīng)高斯白噪聲。對(duì)于RGB圖像，本文對(duì)其Ycbcr空間中的Y分量做處理。本文的非局部正則化參數(shù)λ1[9]是根據(jù)文獻(xiàn)中的方法求得的。通過(guò)大量的實(shí)驗(yàn)證明，δ為7；L為160；K為6；在σn=0時(shí)，λ2為0.000 36；在σn=5時(shí)，λ2為0.000 55，算法的SR性能比較好。

表1 算法求解步驟

3.2 性能評(píng)估

為了驗(yàn)證本文算法的性能，在LR圖像無(wú)噪和LR圖像含噪的情況下，將本文的方法和雙三次插值(Bicubic)、NCSR[9]、SelfExSR[17]、ASDS[18]、NARM[19]和MSEPLL[20]方法進(jìn)行比較。為了衡量重建HR圖像質(zhì)量，使用峰值信噪比(Peak Signal to Noise Ratio，PSNR) 和結(jié)構(gòu)相似性(Structural Similarity Index，SSIM)[21-22]作為客觀(guān)評(píng)價(jià)指標(biāo)。其中，PSNR的值越大，表示重建HR圖像失真越小，算法的重建效果越好；SSIM的值越接近于1，說(shuō)明重建的HR圖像和真實(shí)圖像越相似，重建算法的性能更加優(yōu)越。

表2給出了在LR圖像無(wú)噪(σn=0)和含噪(σn=5)的情況下，不同方法在Set5和Set14數(shù)據(jù)庫(kù)上重建出的HR圖像的客觀(guān)評(píng)價(jià)指標(biāo)PSNR和SSIM。從表2中可以看出，在LR圖像無(wú)噪時(shí)，本文算法的PSNR在Set5數(shù)據(jù)集上比NCSR高0.43 dB，同時(shí)SSIM高0.006 3；對(duì)于數(shù)據(jù)集Set14，本文算法的PSNR和SSIM比NCSR的PSNR和SSIM分別高0.32 dB和0.003 0。在LR圖像含有噪聲的情況下，對(duì)于數(shù)據(jù)集Set5和Set14，本文的算法相比其他方法，PSNR和SSIM均有所提高。

表2 放大比例為3時(shí)Set5和Set14經(jīng)不同方法處理后的平均PSNR(dB)/SSIM

為了更加直觀(guān)地比較，對(duì)LR圖像無(wú)噪和含噪兩種情況進(jìn)行了視覺(jué)效果對(duì)比，如圖2、圖3所示。從對(duì)比圖中可以看出，MSRPLL方法重建的圖像存在偽影，圖像質(zhì)量較差；SelfExSR會(huì)平滑圖像中的邊緣細(xì)節(jié)信息，使得圖像質(zhì)量不夠清晰；本文的算法能很好地保持邊緣細(xì)節(jié)，提供視覺(jué)效果更好的圖像。

圖2 無(wú)噪的情況下圖像Bird經(jīng)不同方法處理后的視覺(jué)效果圖

圖3 含噪的情況下圖像Woman經(jīng)不同方法處理后的視覺(jué)效果圖

4 結(jié)論

本文針對(duì)基于稀疏表示的SR方法提出了一種互補(bǔ)的各向異性特征先驗(yàn)，該先驗(yàn)有效地提升了算法邊緣保持能力，重建出邊緣細(xì)節(jié)更加豐富的HR圖像。所提出的算法綜合利用圖像自身的信息和訓(xùn)練樣本中的細(xì)節(jié)信息，更好地抑制重建圖像存在的偽影。對(duì)于邊緣結(jié)構(gòu)豐富的圖像，所提的算法能增強(qiáng)重建圖像的邊緣細(xì)節(jié)信息，提高重建圖像的質(zhì)量。實(shí)驗(yàn)表明，相比NCSR、MSRPLL等方法，本算法具有較高的客觀(guān)評(píng)價(jià)指標(biāo)(PSNR/SSIM)和良好的視覺(jué)效果。下一步，將本文提出的算法進(jìn)一步改進(jìn)，以應(yīng)用到更多的領(lǐng)域，如去霧、圖像增強(qiáng)等。