新型混合字典學(xué)習(xí)算法改進圖像超分辨率的研究

李 可， 孫金嶺

(1.廣東開放大學(xué)，廣州 510091; 2.蘭州理工大學(xué) 經(jīng)濟與管理學(xué)院,蘭州 730050)

新型混合字典學(xué)習(xí)算法改進圖像超分辨率的研究

李 可1， 孫金嶺2

(1.廣東開放大學(xué)，廣州 510091; 2.蘭州理工大學(xué) 經(jīng)濟與管理學(xué)院,蘭州 730050)

目前機器學(xué)習(xí)算法大都采用單層字典的學(xué)習(xí)訓(xùn)練設(shè)計，現(xiàn)從改進視覺效果、分辨率2個角度，設(shè)計了2層字典混合學(xué)習(xí)算法。采用經(jīng)典的半耦合字典學(xué)習(xí)(SCDL)和模糊模型處理結(jié)合作為第1層字典學(xué)習(xí)，第2層則是針對第1層的殘余圖像進行重構(gòu)，結(jié)合K值聚類以及K-SVD算法設(shè)計了第2層字典的訓(xùn)練過程。與經(jīng)典SCSR、SCDL算法對比實驗結(jié)果表明：改進算法的峰值信噪比與其他2種算法有了4%左右的提高，提高值在1 dB以上，表明了算法能夠一定程度的提高重構(gòu)圖像的分辨率；算法的對比視覺效果看出，改進的算法能夠明顯改進重構(gòu)質(zhì)量，實現(xiàn)了圖像視覺效果的改善。由于算法并不是以犧牲算法運算時間、速度為代價，這樣其研究結(jié)果對于機器學(xué)習(xí)在圖像領(lǐng)域的進一步推廣與發(fā)展具有一定的參考價值。

字典學(xué)習(xí)； 2層字典； 半耦合字典學(xué)習(xí)； 峰值信噪比； 視覺效果

0 引 言

計算機圖像處理學(xué)科，改進視覺效果、提高分辨率一直都是研究人員追求的方向之一[1-3]。比較經(jīng)典的方法和應(yīng)用廣泛的有圖像恢復(fù)和圖像重建，他們都能實現(xiàn)圖像的去噪，改進圖像的視覺效果[4-7]。然而多年來研究發(fā)現(xiàn)，上述的方法實質(zhì)是并未使圖像的分辨率有任何改進[8-10]。此外，比較常見的圖像內(nèi)插方法也能提高圖像的尺寸，實現(xiàn)改進視覺效果，但其假設(shè)原像素與新像素的數(shù)學(xué)關(guān)系的設(shè)計，可能會導(dǎo)致圖像的失真。與上述方法不同的是，圖像超分辨率的重建可以實現(xiàn)處理后圖像新信息的增加，不僅可以改進視覺效果，還能提高分辨率[11-13]。圖像超分辨率重建率先是由Tsai等人在頻域進行的數(shù)學(xué)模型建立，逐漸推廣到如wavelet、contourlet等變換域。而之后在空間域?qū)崿F(xiàn)的超分辨重建更為直觀、易懂[14-16]。典型的有Hardie團隊提出的改進Gaussian MarkovRandom Field GMRF(高斯馬爾科夫隨機場)的超分辨率算法，以及Huber馬爾科夫隨機場的優(yōu)化超分辨率算法。近年來，圖像超分辨重建明顯由多幀朝著單幀的超分辨率變化，特別是年初的阿爾法狗贏得李世石的人機圍棋大戰(zhàn)，再度激發(fā)以“深度學(xué)習(xí)”為代表的智能算法的研究熱潮[17-19]。然而目前上述研究大都采用的是單層字典的學(xué)習(xí)算法，這樣有時會出現(xiàn)失真或者是峰值信噪比(PSNR)較低的現(xiàn)象?；谏鲜霰尘昂驮?，本文采用混合雙層的字典學(xué)習(xí)算法改進，理論和實驗對比結(jié)果表明,改進算法具有較好的視覺效果，PSNR也非常理想，這一研究對于機器學(xué)習(xí)在圖像領(lǐng)域的進一步推廣與發(fā)展具有一定的參考價值。

1 字典學(xué)習(xí)算法模型

1.1 半耦合

半耦合字典學(xué)習(xí)(Semi-Coupled Dictionary Learning，SCDL)是由低、高分辨率圖像的映射組成，通過字典配對圖像塊之間的映射關(guān)系，伴隨著字典、映射矩陣等的更新，重構(gòu)實現(xiàn)高分辨的圖像。SCDL的優(yōu)化問題可以表示為：

(1)

式中：x、y分別表示高分辨率圖像塊和低分辨率圖像塊，Λx、Λy表示高分辨率圖像塊編碼系數(shù)和低分辨率圖像塊編碼系數(shù)，Dx、Dy表示高分辨率字典對和低分辨率字典對，其他參數(shù)則表示的正則化的參數(shù)。SCDL總共涵蓋了稀疏編碼、字典更新、映射更新等3個階段。

第1步稀疏編碼實在初始化映射矩陣Γ以及字典對Dx、Dy之后，可以用以下式表述：

(2)

第2步則用以下表達式實現(xiàn)Dx、Dy的更新：

(3)

第3步更新?？梢圆捎孟旅媸阶樱?/p>

(4)

上述問題的解可以表示為：

(5)

其中:I為單位矩陣。進而可以得到SCDΩ= {Dx，Dy，Γ}，實現(xiàn)了高分辨率圖像和低分辨率圖像系數(shù)的線性化。然而上述單層字典丟失的高頻環(huán)節(jié)較多，故本文提出SCDL的改進，通過雙層混合學(xué)習(xí)實現(xiàn)更多高頻環(huán)節(jié)的恢復(fù)，達到低分辨率圖像的復(fù)原質(zhì)量的提高。

1.2 模糊度分析

(6)

(7)

2 混合字典學(xué)習(xí)算法建立

2.1 第1層字典學(xué)習(xí)

對于圖像的數(shù)學(xué)模型采用下式進行分析：

Y=DHX+n

(8)

(9)

式中:Yi代表是設(shè)計輸入的低分辨率圖像;Xii代表是設(shè)計對應(yīng)的高分辨率圖像塊，通過變換更替有αx,i1、αy,i1稀疏系數(shù)，這樣重構(gòu)的高分辨率圖像表示為:

(10)

具體的第1層字典學(xué)習(xí)算法過程見圖1所示：

圖1 第1層字典學(xué)習(xí)

2.2 第2層字典學(xué)習(xí)

(11)

對于殘余圖像Xr依然能夠有很多細節(jié)圖像信息，第2層字典學(xué)習(xí)就是對這些豐富的高頻環(huán)節(jié)進行又一次重構(gòu)，文中從不增加算法整體運算時間角度出發(fā)，采用以下的具體步驟：訓(xùn)練，通過對殘余圖像Xr進行高通濾波得到第2層字典學(xué)習(xí)特征，并對應(yīng)進行分塊處理，分為5×5，這樣得到的高分辨樣本表示為：H={h1,h2,…,hn}，對第1層重構(gòu)后的圖像經(jīng)過3次濾波后，又獲得第2層學(xué)習(xí)的低分辨率特征，也相應(yīng)分塊成5×5，這樣得到的低分辨樣本表示為：L={l1,l2,…,ln}；分類，對低分辨率樣本集進行分類處理，當(dāng)方差大于閾值(本文采用7)的特征Lf，則相應(yīng)的定義為高分辨率的樣本子集為Hf，采用K值聚類算法，得到m個聚類中心，相應(yīng)得到高分辨率訓(xùn)練集和低分辨率訓(xùn)練集表述為：H={H1,H2,…,Hi,…,Hm,Hm+1},L={L1,L2,…,Li,…,Lm,Lm+1}；訓(xùn)練字典，最后采用經(jīng)典的K-SVD算法對H、L實現(xiàn)訓(xùn)練，最終得到m+1的第2層高分辨率以及低分辨率字典對，把其作為第2層的字典。具體的第2層字典學(xué)習(xí)算法過程見圖2所示。

圖2 第2層字典學(xué)習(xí)

3 實驗驗證及對比

實驗對第1層字典采用505 000對的5×5 pt大小的高分辨率圖像塊和低分辨率圖像塊，相應(yīng)的正化參數(shù)設(shè)定如下：γ=0.2、λx=0.02、λy=0.02、λΓ=0.2、λ=0.21。第2層字典，選擇5×5的圖像塊，而訓(xùn)練樣本m選擇為300。表1對比了本文算法和經(jīng)典算法SCSR算法、SCDL算法的PSNR情況。

表1 算法峰值信噪比的對比 dB

表1的結(jié)果可以看出，算法的峰值信噪比有了明顯的提高，有4%左右的提高，1 dB以上。說明算法改進了重構(gòu)圖像的質(zhì)量，提高了圖像的分辨率，這一數(shù)據(jù)也驗證了算法是有效、可行的。圖3則相應(yīng)的給出了3種算法對比視覺情況，從圖中可以看出：SCSR算法盡管清晰度可以，但其邊緣卻表現(xiàn)了一定的振鈴現(xiàn)象，SCDL算法相比有了顯著改進，邊緣振鈴現(xiàn)象已經(jīng)不明顯了，而本文設(shè)計2層學(xué)習(xí)算法，重構(gòu)質(zhì)量相比有了比較明顯的提高。上述結(jié)果表明，算法不僅能夠提高圖像分辨率，還能顯著改善的圖像視覺效果。

(a) 原始圖像 (b) 低分辨率圖像 (c) SCSR算法

(d) SCDL算法 (e) 設(shè)計的2層字典算法

圖3 視覺效果對比

4 結(jié) 語

本文針對單層字典學(xué)習(xí)算法存在高頻細節(jié)丟失過多的問題，提出了2層混合字典學(xué)習(xí)算法，實現(xiàn)了圖像超分辨率重構(gòu)，與經(jīng)典的SCSR、SCDL算法對比驗證了算法不僅可以提高圖像的分辨率，還能顯著改進圖像視覺效果，由于算法并不是以犧牲算法運算時間、速度為代價，結(jié)果對于圖像超分辨率重構(gòu)具有明顯的理論和實際意義。

[1] 李家德,張 葉,賈 平,等.采用非局部均值的超分辨率重構(gòu)[J].光學(xué)精密工程,2013,21(6):1576-1585.

[2] 楊文波,朱 明,劉志明,等.基于3線陣探測器的亞像元成像超分辨率重構(gòu)[J].光學(xué)精密工程,2014,22(8):2247-2258.

[3] 史 郡,王曉華.基于改進K-SVD字典學(xué)習(xí)的超分辨率圖像重構(gòu)[J].電子學(xué)報,2013,41(5):997-1000.

[4] 常志國,郭茹俠,李 晶,等.基于稀疏表示和近鄰嵌入的圖像超分辨率重構(gòu)[J].計算機測量與控制,2016,24(5):173-177.

[5] 路錦正,吳 斌,張啟衡,等.正則化恢復(fù)聯(lián)合稀疏表示的圖像超分辨率重構(gòu)[J].光電工程,2013(9):1-7.

[6] 李 強,劉 哲,南炳炳,等.改進的基于鄰域嵌入的圖像超分辨率重構(gòu)[J].激光技術(shù),2015,42(1):13-18.

[7] 劉世瑛,胡江濤,黃 峰,等.復(fù)眼圖像超分辨率重構(gòu)的噪聲分析與消除[J].紅外技術(shù),2015,44(9):746-750.

[8] 管 超,金 波,張愛新,等.基于MCA分解的超分辨率重構(gòu)算法[J].通信技術(shù),2013,12(3):87-90.

[9] 胡江濤,黃 峰,張 雛,等.下采樣對復(fù)眼圖像超分辨率重構(gòu)效果的影響[J].激光雜志,2014,10(10):43-45.

[10] 朱華生,徐晨光.基于局部約束的人臉圖像超分辨率重構(gòu)算法[J].激光與紅外,2014,21(2):217-221.

[11] 李 雪,蔣愛民,劉小峰,等.基于稀疏表示的圖像超分辨率重構(gòu)算法[J].微處理機,2014,35(1):41-45.

[12] 趙 惠,魏靜萱,龐志海,等.波前編碼超分辨成像技術(shù)[J].紅外與激光工程,2016,45(4):227-236.

[13] 劉世瑛,黃 峰,劉秉琦,等.復(fù)眼圖像超分辨率重構(gòu)中配準(zhǔn)算法研究進展[J].激光與紅外,2015,45(10):1164-1170.

[14] 田浩南.超分辨率重構(gòu)在航空光電成像系統(tǒng)中的應(yīng)用?[J].國外電子測量技術(shù),2015,13(2):73-77.

[15] 徐煜明,宋佳偉,肖賢建,等.基于亞像素塊匹配和字典學(xué)習(xí)的超分辨率算法[J].計算機科學(xué),2016,43(8):304-308.

[16] 王 宏,盧芳芳,李建武,等.結(jié)合支持向量回歸和圖像自相似的單幅圖像超分辨率算法[J].中國圖象圖形學(xué)報,2016,21(8):986-992.

[17] 李 強,林文曉.基于稀疏表示和自相似學(xué)習(xí)的圖像超分辨率重構(gòu)[J].紡織高?；A(chǔ)科學(xué)學(xué)報,2013,5(4):548-552.

[18] 王爾卓,張月琴,于 楊,等.基于二維稀疏表示的人臉超分辨率重構(gòu)算法[J].太原理工大學(xué)學(xué)報,2015,17(2):183-187.

[19] 梁 玉,王 睿,李 蕊,等.改進邊緣質(zhì)量和運動估計的超分辨率圖像重構(gòu)[J].信號處理,2015,21(1):26-33.

AHybridDictionaryLearningAlgorithmforImpromentofImageSuper-resolution

LIKe1，SUNJinling2

(1. The Open University of Guangdong, Guangzhou, 510091, China; 2. School of Economics and Management, Lanzhou University of Technology, Lanzhou 730050, China)

At present the machine learning algorithms mostly adopt single dictionary learning training design. From the perspectives of improving simultaneously resolution and visual effect, a 2-layer dictionary hybrid learning algorithm is designed. The classic coupling half dictionary learning (SCDL) is combined with fuzzy model to use as the first level dictionary learning, the second layer is used to reconstruct the residual image of the first layer. The second level is trained by theKvalue clustering and theK-SVD algorithm. Compared with classical SCSR, SCDL algorithms, experimental results show that the improved algorithm can improve the peak signal-to-noise ratio about 4%, and the value is more than 1 dB. It illustrates that the algorithm can improve the resolution of the reconstructed image and visual effect. Because the algorithm does not increase operation time and operation speed, it has a certain reference value for further promotion and development in the field of machine learning.

dictionary learning; 2-layer dictionary; half coupling dictionary learning; peak signal to noise ratio; visual effect

TP 751

A

1006-7167(2017)11-0118-04

2016-12-18

國家自然科學(xué)基金創(chuàng)新研究群體項目(411211;412730)

李 可(1980-)，女,廣西柳州人，碩士，講師，研究方向：軟件工程，計算機應(yīng)用技術(shù)。

Tel.:150 1846 7856;E-mail:like@gdrtvu.edu.cn