基于投影矩陣的單幅圖像超分辨率方法

端木春江 代曉東

摘? 要： 為了提高單幅圖像超分辨方法的性能，提出了新的基于投影矩陣的超分辨率方法。通過引入字典的互不一致性增強求解出的字典的表達能力;對分類后的低分辨率圖像特征和相應的高分辨率圖像特征的關(guān)系學習多個投影矩陣;并通過設(shè)置權(quán)重矩陣，增強鄰近字典原子對當前圖像塊的表達能力，弱化較遠原子的表達能力。在對投影矩陣進行正則化約束的前提下，利用字典原子和特征塊之間的相關(guān)性以及特征塊與其聚類中心的歐式距離關(guān)系，重構(gòu)出擁有更加詳細信息的高分辨率圖像特征。實驗結(jié)果顯示，該方法的重構(gòu)結(jié)果優(yōu)于傳統(tǒng)方法的重構(gòu)結(jié)果。

關(guān)鍵詞： 圖像處理; 圖像超分辨率; 字典學習; 投影矩陣; 互不一致性

中圖分類號：TP37? ? ? ? ? 文獻標識碼：A? ? 文章編號：1006-8228（2020）02-01-05

Single image super-resolution method based on projection matrices

Duanmu Chunjiang， Dai Xiaodong

（School of Mathematics and Computer Science， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： In order to boost the performance of the single image super-resolution methods， a new super-resolution method based on projection matrices is proposed. It introduces the item of the mutual incoherence to obtain the atoms which have more representation abilities， and then it learns multiple projection matrices according to the relationship of classified image features between low-resolution images and the corresponding high-resolution images after classification， and a weight matrix is set to increase the representation abilities of the close neighboring atoms and decrease the representation abilities of the atoms which are relatively far away. Under the constraints of the projection matrices with regularization term， the coherence properties between the atoms and feature blocks， and the Euclidean distance relationship of the feature blocks and the classification centers are utilized to reconstruct high-resolution image features with better detailed information. The experimental results show that the reconstruction result of the proposed method is better than that of the traditional method.

Key words： image processing; image super-resolution; dictionary learning; projection matrices; mutual incoherence

0 引言

圖像超分辨率研究是計算機視覺中的一個重要領(lǐng)域，其目的是將現(xiàn)實生活中因各種條件限制產(chǎn)生的低分辨率圖像（LR）提高其對應的分辨率，得到高分辨率圖像（HR），盡可能地減少視覺上的失真，并提高其清晰度。

圖像超分辨率算法主要分為基于插值、基于重構(gòu)和基于學習三大類。前兩類方法會產(chǎn)生帶有模糊的邊緣或鋸齒效果的圖像。目前基于學習的方法是研究的熱點。Yang[1]假設(shè)LR塊和HR塊具有相同的稀疏系數(shù)，HR塊可以通過被學習的字典原子的稀疏線性組合來重構(gòu)。在Yang的基礎(chǔ)上，Zeyde[2]利用主成分分析來減少特征塊的維度，使用K-SVD和OMP算法進一步求稀疏系數(shù)。Timofte[3]提出的錨定鄰域回歸（ANR）方法中利用LR和HR字典原子的相鄰字典原子得到LR和HR特征塊的投影矩陣。之后Timofte提出A+方法[4]，將訓練投影矩陣改為利用LR訓練塊而不是LR和HR字典對，重構(gòu)的圖像質(zhì)量又得到提升。Jiang[5-6]提出了局部正則化錨定鄰域回歸（LANR）的方法，它根據(jù)每個相鄰字典原子與輸入LR塊的相關(guān)性為每個相鄰字典原子分配不同的權(quán)重。Zhang[7]提出學習無參投影矩陣（ALNR）和基于學習的統(tǒng)計先驗信息來表示字典原子的方法，達到了好的效果。

在基于內(nèi)部樣本方法[11]的概念下，Dong[12]提出了一個基于深度卷積神經(jīng)網(wǎng)絡的超分辨率模型（SRCNN），以端到端的方式直接學習LR圖像與其對應的HR圖像之間的映射關(guān)系。

本文的創(chuàng)新點：①在訓練階段使用MI-KSVD[8]算法來訓練LR和HR字典，對LR和HR特征之間的投影矩陣做了[l2]范數(shù)正則化約束，使該投影矩陣能較好的預測出LR圖像缺失的高頻信息。②增加了字典原子之間的互不相關(guān)性，提高了利用字典原子表示圖像塊的精度，并且字典原子與其對應的特征塊集合的距離度量我們采用每個特征塊與其聚類中心的歐氏距離。③結(jié)合所提出的新的目標函數(shù)，最終得到優(yōu)化的從低分辨率到高分辨率的投影矩陣。

1 基于A+方法的回顧

1.1 字典訓練階段

設(shè)：[X=[xl1，xl2，...，xlN]∈Rdl×N]

[Y=[yh1， yh2， ...， yhN]∈Rdh×N]

X，Y分別表示從訓練集中提取出的低、高分辨率訓練矩陣。其中，每一列對應一個低、高分辨率圖像塊的特征。

根據(jù)Zeyde[2]提出的利用K-SVD方法和OMP方法訓練得到低分辨率字典和高分辨率字典矩陣：[Dl=[dl1，dl2，...，dlk，...，dlM]∈Rdl×M]和[Dh=[dh1，dh2，...，dhM]∈Rdh×M]，其中每列表示一個低、高分辨率字典原子。

1.2 學習投影矩陣

對每一個低分辨率字典原子[dlk]，利用歐式距離找到K個距離最近的低分辨率特征塊并構(gòu)成相鄰矩陣[Nlk=[xl1（k），...，xlK（k）]]，對應的高分辨率特征塊相鄰矩陣表示為[Nhk=[yh1（k），...，yhK（k）]]。然后，字典原子[dlk]的投影矩陣可以由⑴式得到：

[Fk=Nhk（（Nlk）TNlk+λI）-1（Nlk）T] ⑴

其中，[I]表示單位矩陣。

1.3 重構(gòu)高分辨率圖像

低分辨率字典原子[dlk]與低分辨率特征矩陣[X=[xl1，xl2，...，xlN]∈Rdl×N]中的任意一個特征塊[xlj]的距離度量我們采用相關(guān)性來表示，用式⑵表示。

[corr（dlk，xlj）=（xlj）Tdlk? （1≤j≤N）] ⑵

則[dlk]的N個LR特征塊相關(guān)性矩陣表示如下：

[Ci=[corr（dl1，xli），...，corr（dlM，xli）]] ⑶

對于低分辨率圖像塊[xli]，在低分辨率字典[Dl]上找到和其相關(guān)性最大的字典原子，然后根據(jù)在訓練階段存儲的這個原子所對應的投影矩陣，就可以得到高分辨率圖像塊，即[yhi=Fkxli]。

2 所提出的方法

2.1 訓練階段字典原子間互不相關(guān)性的引入

訓練階段中學習到的字典可能會過度擬合某些LR和HR圖像塊，為了平衡不同信息的圖像塊對訓練字典的影響，引入字典原子間的互不相關(guān)性到訓練字典的目標函數(shù)中。求解稀疏字典的最小化目標函數(shù)可用式⑷表示。

[X-Dlβ22? s.t. ?k，dlk2=1 and ?i，βi0≤K]? ?⑷

其中，[Dl]為待求的低分辨率字典，[β=[β1，β2，...，βN]∈RK×N]為待求的稀疏系數(shù)矩陣。

Candes[9]實驗結(jié)果表明：當字典原子之間的互不相關(guān)性足夠大時，更容易恢復稀疏性。因此，我們把字典間的互不相關(guān)性引入到目標函數(shù)中，并在目標函數(shù)中平衡重構(gòu)誤差和字典原子間的互不相關(guān)性，所提出的目標函數(shù)如下式⑸所示。

[⑸]

我們使用Bo[8]提出的MI-KSVD算法來求解目標函數(shù)式⑸，得到的低分辨率字典能在很大程度上提高字典原子之間的互不相關(guān)性。

2.2 求解所提出的投影矩陣階段

從訓練圖像集中提取的低、高分辨率特征塊，表示為[{xli，yhi}Mi=1（M>>N）]，其中[xli]表示第[i]個低分辨率特征塊，[yhi]表示對應的第[i]個高分辨率特征塊，[M]表示提取的圖像特征塊的數(shù)目，[N]表示特征塊的維數(shù)。對于低分辨率字典中的每一個原子[dlk]，我們采用相關(guān)性在低分辨率塊特征集合[xliMi=1]中找到和[dlk]最近的[L]個低分辨率特征塊，這些特征塊構(gòu)成了矩陣[Nlk=xl1（k），xl2（k），…，xlL（k）]。對應的高分辨率特征集合中的[L]個特征塊構(gòu)成了矩陣[Nhk=xh1（k），xh2（k），…，xhL（k）]。由于[dlk]與[Nlk]的聚類中心[xlc（k）]具有較高的相似性，因此[Nlk]中的每個特征塊與[Nlk]的聚類中心[xlc（k）]的距離度量我們利用歐式距離由如下公式⑹得出：

[si=（xli（k）-xlc（k））（xli（k）-xlc（k））T] ? ⑹

這里[xli（k）]是LR訓練集[Nlk]的任意一個特征塊，[si]表示第[i]個特征塊[xli]與其聚類中心[xlc（k）]的歐氏距離。因此利用[si]計算權(quán)值矩陣[Wk]由公式⑺給出。

[Wk=[es1，es2，...，esL]] ⑺

其中，[Wk]表示從[Nlk]到[Nhk]更詳細的投影關(guān)系。最后，投影矩陣[Pk]由如式⑻所定義的目標函數(shù)求解得出。

[minPkNhk-PkNlkWk22+λPk22] ⑻

[·2]表示添加在投影矩陣[Pk]上的[l2]范數(shù)約束。上面線性最小二乘問題有如下近似形式的解：

[Pk=NhkMkT（ΜkMkT+λI）-1] ⑼

其中，[Mk=NlkWk]。這些投影矩陣[Pk]可以離線進行計算，然后存儲起來，供在線放大時使用。

2.3 在線重構(gòu)階段

對于一幅低分辨率的圖像[Il]，首先利用雙三次插值方法將它放大到與高分辨率圖像相同的尺寸。然后進一步將被插值放大后的圖像[Ilb]進行分塊和特征提取。其分的任意塊和從分塊中提取的特征塊可以分別被表示為：[pli]和[fli]（[1≤i≤N]）。對于每一個低分辨率特征塊[fli]，利用相關(guān)性度量在字典[Dl]中找到與其關(guān)聯(lián)最緊密的L個字典原子[dlk（j）]，[1≤j≤L]，在L個字典原子中找到[fliTdm]值最大的字典原子[dm]，其中[dm]表示字典矩陣[Dl]中的第[m]列。為了恢復更多高頻信息，并遵守在訓練階段得到的自適應回歸的結(jié)果，結(jié)合[dm]對應的投影矩陣就可以利用如下的公式⑽得到高分辨率的特征塊[fhi]。

[fhi=Pkflicl] ⑽

其中，[cl=exp（dmTfli）]（[expx=ex]）。最后將被插值放大后得到的塊[pli]加上⑽式求出的高分辨率特征塊，就可以得到重構(gòu)的圖像塊，即

[phi=pli+fhi] ⑾

通過組合所有得到的高分辨率圖像塊，并對相鄰圖像塊之間的重疊區(qū)域進行平均來重建高分辨率圖像。

3 實驗結(jié)果和分析

3.1 實驗設(shè)置

為了實驗結(jié)果的公平性，采用與Yang[1]、Timofte[3-4]、Zhang[10]方法相同的91張圖片作為訓練圖像。利用圖1所顯示的10張圖像作為測試圖像集來證明我們提出的方法有較好的魯棒性。

實驗中，一些參數(shù)的初始值保持與A+方法一致。字典大小K=1024，字典訓練循環(huán)迭代次數(shù)N=50。相鄰塊的個數(shù)L=2048，低分辨率和高分辨率的訓練樣本數(shù)M=5000000。

同時，采用4倍放大倍數(shù)來放大低分辨率圖像，使用峰值信噪比（PSNR）來評判我們重構(gòu)出的高分辨率圖像的質(zhì)量。所有的實驗都是運行在Matlab 2016b軟件環(huán)境上，計算機的CPU是Intel Core i7，內(nèi)存8GB。

3.2 實驗結(jié)果

我們的實驗結(jié)果主要和Yang[1]、Zeyde[2]、ANR[3]、SRCNN[12]、A+[4]、ALNR[7]等方法進行比較。表1中列出的是所提出的方法和其他方法在放大倍數(shù)（×4）的10張測試集上PSNR的比較結(jié)果。可以看出，對于大多數(shù)的測試圖片，我們所提出的方法實現(xiàn)了最好的結(jié)果。其峰值信噪比（PSNR）的平均值要比ALNR[7]方法多0.02dB，比A+[4]方法多0.09dB，比SRCNN[12]方法多了0.43dB。由此，在一定程度上說明了利用提出的投影矩陣映射LR特征到HR特征的方法在增強HR圖像細節(jié)上起到了一定的作用。

在圖2，圖3，圖4中我們展示了來自10張測試圖像中的pepper、foreman、text在不同方法下的得到的高分辨率圖像。從這些圖中可以看出Yang[1]的方法模糊了圖像的紋理部分，圖像質(zhì)量較差。Zeyde[2]和ANR[3]方法的實驗結(jié)果在一定程度上也模糊了圖像的細節(jié)，SRCNN[12]方法得到的foreman圖像結(jié)果中出現(xiàn)了鋸齒失真，A+[4]、ALNR[7]方法重構(gòu)圖像的質(zhì)量較好。同時，相對ALNR[7]方法來看，我們所提出的方法展現(xiàn)了更好的圖像紋理信息和細節(jié)邊緣信息。

4 總結(jié)和展望

本文提出了一種新的圖像超分辨率處理方法，在目標函數(shù)中引入互不一致性來提高字典原子表示圖像塊的能力。通過學習新的低分辨率塊和高分辨率塊之間的投影關(guān)系，進而得到質(zhì)量更好的超分辨率重構(gòu)圖像。對比于其他超分辨率方法，所提出的方法在恢復高分辨率細節(jié)上有所提高，并且由于在獲取訓練字典和投影矩陣的步驟可以離線進行，因此節(jié)省了更多的運算時間。在未來的工作中，考慮把關(guān)注點放在優(yōu)化聚類中心上，進而能更好地提高圖像超分辨率的質(zhì)量。

參考文獻（References）：

[1] Yang J C，John W，Huang T S. Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing，2010.19（11）：2861-2873

[2] Zeyde R，EladM，Protter M.On single image scale-up using sparse-representations[C].Proceedings of International Conference on Curves and Surfaces. Springer Berlin Heidelberg，2010：711-730

[3] TimofteR，Smet V D，GoolLV. Anchored neighborhood regression for fast example-based super resolution.Proceedings of International Conference on Computer Vision，2013：1920-1927

[4] TimofteR，Smet V D，GoolLV.A+：Adjusted anchored neighborhood regression for fast super-resolution.Asian Conference on Computer Vision，2014，9006：111-126

[5] Jiang J J，F(xiàn)u J C，Lu T，et al. Locally regularized anchored neighborhood regression for fast super-resolution [C].IEEE International Conference on Multimedia & Expo，2015：1-6

[6] Jiang J J，Ma X，Chen C，et al. Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means[J].IEEE Transactions on Multimedia，2016.19（1）：15–26

[7] Zhang Y L，Zhang Y B，Zhang J，et al. Adaptive local nonparametric regression for fast single image super-resolution [C].Proceedings of IEEE International Conference on Visual Communications and Image Processing，2015：13-16

[8] Bo L F，Ren X F，F(xiàn)ox D. Multipath sparse coding using hierarchical matching pursuit [C].IEEE Conference on Computer Vision and Pattern Recognition，2013.9（4）：660-667

[9] Candes E，Romberg J. Sparsity and Incoherence in Compressive Sampling[J].Inverse problems，2007.23（3）：969-985（17）.

[10] Zhang Y L，Gu K Y，Zhang Y B，et al. Image super-resolution based on dictionary learning and anchored neighborhood regression with mutual incoherence[C]. IEEE International Conference on Image Processing，2015.59：1-595

[11] Glasner D，Bagon S，Irani M.，Super-resolution from a single image[C]，2009 IEEE 12th International Conference on Computer Vision，2009：349–356

[12] Dong C，Loy C C，He K，Image Super-Resolution Using Deep Convolutional Networks，2104 European Conference on Computer Vision，2014：184–199