基于雙稀疏模型和非局部自相似約束的超分辨率算法研究

朱 晨,楊 欣,謝堂鑫,周大可

(南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210000)

數(shù)字圖像作為網(wǎng)絡(luò)時(shí)代信息的重要載體，其地位日益凸顯.高分辨率(high resolution，HR)圖像能夠提供比低分辨率(low resolution，LR)圖像更多的信息，在安防、醫(yī)療、探測(cè)等諸多領(lǐng)域HR圖像具有重要的應(yīng)用價(jià)值.由于環(huán)境、硬件、成本等因素制約，直接獲取場(chǎng)景HR圖像往往難以實(shí)現(xiàn)，為滿足對(duì)HR圖像的需求，我們有必要研究從LR圖像恢復(fù)HR圖像的方法.超分辨率(super resolution，SR)方法從早期的基于頻域方法到后來(lái)的基于空域方法，逐漸發(fā)展出三類方法[5]，分別是基于插值方法[1-2]，基于重建方法[3-4]以及基于學(xué)習(xí)的方法.在基于學(xué)習(xí)的方法中，基于稀疏理論的方法由于其對(duì)圖像特征的學(xué)習(xí)能力和表征能力，成為研究的熱點(diǎn).Yang等[9]首先提出了基于塊稀疏的SR模型，Zeyde等[11]在此基礎(chǔ)上引入K-SVD[17]字典及PCA降維，取得了效果和效率的提升.Dong等[12]通過(guò)引入圖像的非局部自相似性特性以降低稀疏編碼噪聲，提出了非局部集中超分辨率方法.Timofte等[14-15]引入嶺回歸模型將重建過(guò)程放在訓(xùn)練階段，提出錨定鄰域回歸模型(anchored neighborhood regression，ANR)及改進(jìn)方法A+，大幅降低了重建時(shí)間消耗并取得效果提升.Zhang等[16]在基于稀疏表示模型中引入低秩約束，進(jìn)一步恢復(fù)了重建圖像的自然結(jié)構(gòu)特性.國(guó)內(nèi)，針對(duì)高效保持圖像幾何及紋理結(jié)構(gòu)問(wèn)題，孫寶玉等[10]提出基于多形態(tài)稀疏正則的多幀SR凸變分模型，彭真明等[13]使用多尺度字典對(duì)圖像不同區(qū)域分別重建再融合，獲得更好的效果.

本文針對(duì)高維信號(hào)在K-SVD字典上表示誤差大，圖像重建時(shí)缺少結(jié)構(gòu)約束等問(wèn)題，提出引入一種雙稀疏字典模型[18-19]，通過(guò)結(jié)構(gòu)化字典和非結(jié)構(gòu)化字典結(jié)合，有效保證高維信號(hào)訓(xùn)練過(guò)程的進(jìn)行，同時(shí)保持對(duì)樣本空間表征能力.重建階段引入圖像非局部自相似性約束，約束模型解空間，使重建圖像結(jié)構(gòu)更接近自然圖像.實(shí)驗(yàn)結(jié)果表明，本文算法在客觀評(píng)價(jià)指標(biāo)及視覺(jué)感知效果上均獲得一定提升.

1 本文算法

傳統(tǒng)的基于稀疏表示的超分辨率方法中，圖像超分辨率問(wèn)題可以轉(zhuǎn)換為輸入圖像在先驗(yàn)過(guò)冗余字典上的最優(yōu)稀疏解求解問(wèn)題.設(shè)同一場(chǎng)景下x∈Rn表示為原始HR圖像塊，y∈Rm表示為降質(zhì)后的LR圖像塊，S∈Rm×n為下采樣矩陣，H∈Rn×n為模糊算子，n為加性高斯白噪聲，圖像的退化過(guò)程可以表示為：

y=SHx+n

(1)

超分辨率問(wèn)題可以看作是求解式(1)的病態(tài)逆問(wèn)題，如下所示

(2)

在基于稀疏表示的圖像超分辨率方法中，我們假設(shè)輸入及輸出信號(hào)y，x可被稀疏表示，即x=Dhαh，y=Dlαl，Dh和Dl分別為一對(duì)協(xié)同訓(xùn)練的高、低分辨率過(guò)冗余字典，αh和αl分別為x和y在對(duì)應(yīng)過(guò)冗余字典上的稀疏表示系數(shù).由于字典Dh和Dl在同分布訓(xùn)練集上協(xié)同訓(xùn)練，對(duì)于稀疏表示系數(shù)有如下關(guān)系αh≈αl，因此我們可以用α指代αh和αl.結(jié)合式(2)，SR問(wèn)題可以轉(zhuǎn)換為最優(yōu)稀疏表示系數(shù)求解問(wèn)題，如式(3)所示

(3)

式(3)中，λ表示正則化項(xiàng)平衡因子，α0為L(zhǎng)0范數(shù)約束項(xiàng).由于L0范數(shù)約束會(huì)導(dǎo)致式(3)變成一個(gè)NP難問(wèn)題，因此一般將其松弛到L1范數(shù)約束作為其最優(yōu)凸近似，從而可使用凸優(yōu)化方法求解，式(3)可變?yōu)?/p>

(4)

1.1 雙稀疏字典模型

在字典訓(xùn)練階段，我們基于已有的HR圖片集{Xi}生成LR圖片集{Yi}.使用雙三次插值法對(duì){Xi}作下采樣和上采樣，放大因子為s，生成尺寸相同但高頻細(xì)節(jié)信息丟失的LR 圖片集{Yi}.基于稀疏表示SR方法普遍采用K-SVD字典作為重建過(guò)程的過(guò)冗余字典[11,14-15]，訓(xùn)練過(guò)程通過(guò)在{Xi}和{Yi}上協(xié)同訓(xùn)練高低分辨率字典對(duì)保證稀疏表示系數(shù)的一致性.由于字典誤差隨信號(hào)維度增大而增大，上述方法通常對(duì)信號(hào)降維來(lái)減小誤差，但這會(huì)導(dǎo)致原本信號(hào)信息丟失.考慮上述問(wèn)題，我們引入文獻(xiàn)[19]中的雙稀疏字典模型：

(5)

其中，F(xiàn)∈Rn×N表示包含N個(gè)n維向量的樣本矩陣，Φ∈Rn×l表示給定的隱式結(jié)構(gòu)化字典如DCT，小波字典等，我們稱之為基字典，A∈Rl×m表示學(xué)習(xí)到的顯式非結(jié)構(gòu)化稀疏字典，Κ表示稀疏系數(shù)矩陣，q控制Κ中原子的稀疏度.

通過(guò)引入式(5)描述的雙稀疏字典模型，稀疏字典可以表示結(jié)構(gòu)化字典和非結(jié)構(gòu)化字典的乘積，即D=ΦA(chǔ)，D的每一個(gè)原子為基字典Φ的有限t個(gè)原子的線性組合表示.結(jié)構(gòu)化字典具有快速實(shí)現(xiàn)的優(yōu)點(diǎn)，但對(duì)于復(fù)雜的圖像數(shù)據(jù)缺乏自適應(yīng)性，對(duì)信號(hào)的表示能力較差，非結(jié)構(gòu)化字典則往往在樣本空間上具有很好的適應(yīng)性，但計(jì)算消耗大.通過(guò)在字典訓(xùn)練過(guò)程引入上述雙稀疏字典模型并融合考慮結(jié)構(gòu)化和非結(jié)構(gòu)化字典，使得該模型在保持快速性的同時(shí)也能夠有效適應(yīng)樣本空間，為處理更大維度的信號(hào)輸入提供了有效計(jì)算條件.

Fh≈DhK

(6)

由式(6)可計(jì)算得到Dh≈FhK+.因此，公式(4)在引入上述模型后可以寫成如下形式

(7)

1.2 非局部自相似性

(8)

其中ωj為高斯權(quán)重系數(shù)，計(jì)算方式如下

(9)

(10)

其中τ為非相似性約束項(xiàng)平衡因子.

1.3 整體算法

本文提出通過(guò)引入一種雙稀疏字典模型作為圖像SR重建的稀疏編碼字典，并在重建階段利用自然圖像的非局部相似性對(duì)問(wèn)題求解作進(jìn)一步約束，迭代求解獲得最終的SR圖像.圖1為本文算法流程圖.

本文算法步驟如下.

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境CPU為Intel Core i7-8700K，內(nèi)存為 32 GB，所有實(shí)驗(yàn)均在Matlab2016b環(huán)境下完成.為驗(yàn)證本文算法有效性，設(shè)置對(duì)比方法為Bicubic，ANR[14]，A+[15]及LRANR[20].ANR，A+，LRANR使用相同參數(shù)的K-SVD字典，字典冗余度設(shè)為1024，采樣窗口大小為3×3，并使用PCA對(duì)輸入樣本降維，雙稀疏字典采樣窗口大小3×3，直接使用未降維的樣本訓(xùn)練，正則化參數(shù)λ設(shè)置為0.001，τ設(shè)置為0.005，迭代次數(shù)J設(shè)為10次，放大系數(shù)s設(shè)為3倍.由于人眼對(duì)自然圖像的亮度敏感性，實(shí)驗(yàn)過(guò)程中RGB圖片均轉(zhuǎn)換到Y(jié)CbCr顏色空間，并在亮度通道Y上進(jìn)行實(shí)驗(yàn)，其它2個(gè)通道僅使用雙三次插值放大.訓(xùn)練集選擇Yang91[9]，并選擇6張常用圖片作為測(cè)試圖片驗(yàn)證算法效果.我們使用PSNR和SSIM作為最終重建質(zhì)量評(píng)價(jià)指標(biāo).

表1為本文方法和選取的對(duì)比方法在亮度通道上PSNR和SSIM指標(biāo)對(duì)比情況.從表1可以看出，在放大系數(shù)為3的情況下，本文方法在六張測(cè)試圖片上的客觀評(píng)價(jià)指標(biāo)均有一定提升，平均PSNR值比ANR，A+及LRANR分別提高了0.96，0.28以及0.16，平均SSIM值比ANR，A+及LRANR分別提高了0.013 5，0.003 2以及 0.001 9.

表2為雙稀疏模型和K-SVD方法的誤差比較情況.兩者均在Yang91訓(xùn)練集上進(jìn)行訓(xùn)練，字典訓(xùn)練參數(shù)設(shè)置與上述實(shí)驗(yàn)參數(shù)設(shè)置一致，分別在 10 000，20 000，30 000，40 000樣本上計(jì)算誤差并比較.誤差計(jì)算公式如下：

(11)

其中Y表示樣本矩陣，D表示字典，雙稀疏模型中D=ΦA(chǔ)，X表示表示系數(shù)矩陣，n表示樣本維數(shù)，N表示樣本總數(shù).根據(jù)表2我們可以看出，相同字典訓(xùn)練參數(shù)設(shè)置下，相同樣本數(shù)量下雙稀疏模型表示誤差均比K-SVD小，說(shuō)明雙稀疏模型對(duì)樣本的表示能力更好.

表1 各方法PSNR和SSIM比較

表2 不同樣本數(shù)下雙稀疏模型和K-SVD誤差比較 (×10-3)

如表3所示，我們選擇Lenna圖片對(duì)本文算法引入的雙稀疏字典模型以及非局部自相似性分別比較對(duì)最終重建結(jié)果的數(shù)值影響，結(jié)合表2可以看出，雙稀疏字典相比于K-SVD字典重建誤差更小，重建圖像的PSNR指標(biāo)也更高，同時(shí)圖片的非局部自相似性約束也有利于重建質(zhì)量的提升.

表3 Lenna各因素影響比較

圖2到圖4為各個(gè)方法放大3倍時(shí)在主觀視覺(jué)效果上的對(duì)比，其中圖(a)到(f)分別為原始HR圖像，Bicubic重建SR圖像，ANR重建SR圖像，A+重建SR圖像，LRANR重建SR圖像以及本文算法重建SR圖像.由圖可以看出，Bicubic重建效果最模糊，ANR方法雖然較Bicubic圖像質(zhì)量有所提高，但仍存在比較明顯的鋸齒效應(yīng)，A+及LRANR消除了鋸齒效應(yīng)，但邊緣細(xì)節(jié)過(guò)于平滑，本文算法通過(guò)引入非局部自相似性約束，保留了圖像的結(jié)構(gòu)化信息，克服了上述邊緣平滑問(wèn)題，使重建細(xì)節(jié)信息得到了較好的保留，邊緣更加清晰，且鋸齒效應(yīng)基本消除.

3 結(jié)語(yǔ)

本文提出了基于一種雙稀疏模型和非局部自相似性約束的圖像超分辨率方法，通過(guò)引入雙稀疏字典模型，避免了信號(hào)降維過(guò)程的信息損失，同時(shí)重建階段引入圖像非局部自相似性約束，迭代求解最佳重構(gòu)圖像.實(shí)驗(yàn)結(jié)果表明，該算法對(duì)比多種超分辨率方法在客觀評(píng)價(jià)指標(biāo)上獲得了一定提升，并且在主觀視覺(jué)效果上，該算法獲得了更好的邊緣清晰度及細(xì)節(jié)信息.