采用稀疏表示和小波變換的超分辨率重建算法

張健， 黃德天， 林炎明

(華僑大學 工學院， 福建 泉州 362021)

超分辨率重建是根據(jù)給定的低分辨率(LR)圖像及其先驗知識恢復出高頻細節(jié).基于稀疏表示的超分辨率(SR)算法涉及兩個階段，即字典學習和稀疏編碼.Yang等[1]開創(chuàng)性地將壓縮感知運用到超分辨率算法中，首先，從LR和高分辨率(HR)圖像塊中學習聯(lián)合字典；然后，計算LR圖像塊的稀疏系數(shù)；最后，將HR字典和稀疏系數(shù)線性組合來表示重建的HR圖像塊.Zeyde等[2]在文獻[1]的基礎上進行改進，利用主成分分析法(PCA)對提取的特征進行降維，采用不同的方法訓練字典，并用正交匹配追蹤(OMP)算法[3]求解稀疏編碼模型,從而獲得更好的重建效果，并在一定程度上提高了重建速度.

由于小波變換具有多方向性、多尺度性等特性，能分離出圖像的高頻和低頻信息，Nazzal等[4]把小波變換運用到字典訓練和圖像重建中.Chang等[5]把流形學習中的局部線性嵌入(LLE)方法引入SR算法中，得到的重建圖像較好地保留了原始圖像的流形結(jié)構(gòu).Dong等[6]利用圖像的局部與非局部信息，在稀疏編碼階段分別引入自回歸(AR)與非局部(NL)自相似正則化項，提升了重建圖像的邊緣細節(jié).圖像的非局部相似性最早由Efros等[7]提出，隨后被廣泛應用于圖像去噪和復原.Chen等[8]將非局部自相似和局部光滑先驗同時加入超分辨率算法中，并用分裂Bregman迭代優(yōu)化算法求解目標函數(shù)，取得較好的重建效果.Dong等[9]綜合考慮圖像的非局部相似性和多尺度相似性，并將其融入壓縮感知模型，取得了良好的重建效果.Huang等[10]改進了稀疏自動編碼器，將其應用于超分辨率算法，該算法能有效地重建真實的醫(yī)療圖像，恢復出更精細的邊緣和紋理等細節(jié).Wu等[11]利用PCA訓練4組子字典，分別描述低頻子圖和3幅高頻子圖之間的關(guān)系.Ayas等[12]提出一種新型超分辨率重建算法，通過構(gòu)建包含小波域中重要信息的字典恢復重建圖像中的高頻信息.考慮到在圖像經(jīng)小波分解后，邊緣和紋理信息主要集中在3個HF子圖上，王相海等[13]通過所提出的多角度模板對每個細節(jié)子圖進行插值.上述3種算法重建的邊緣和紋理信息更準確.對于磁共振成像，圖像的分辨率、信噪比和掃描時間是3個相互制約的因素，它們不可能同時達到最優(yōu)的狀態(tài).因此，磁共振設備捕獲到的磁共振圖像(MRI)通常是低分辨率的.Plenge 等[14]比較了6種SR方法與直接采集高分辨率MRI方法的性能，結(jié)果表明，SR方法能有效地平衡上述3個制約因素，比以增加掃描時間或降低圖像分辨率為代價采集MRI更具優(yōu)越性.因此，SR重建能經(jīng)濟有效地提高MRI的分辨率.

近年來，大量基于學習的MRI SR方法[15-22]利用學習的圖像先驗知識作為約束，解決圖像重建的不適定逆問題.受上述文獻的啟發(fā)，結(jié)合小波變換的多尺度特性、多方向性與稀疏表示的靈活性，本文提出一種基于稀疏表示和小波變換的超分辨率算法.

1 超分辨率重建算法

借鑒Nazzal等[4]提出的SR方法，先對待重建圖像進行小波分解;然后，對3個不同方向特性的高頻子圖分別進行超分辨率重建;最后，對重建得到的高頻子圖進行逆小波變換，得到最終的HR重建圖像.此外，為了充分利用圖像的高頻信息，將小波變換運用于字典訓練中，分別訓練水平、垂直、對角方向的字典對(Dil，Dih)，i=h，v，d代表水平、豎直和對角線3個方向.

1.1 稀疏編碼模型

為了提升超分辨率算法的性能，在對冗余字典下的圖像系數(shù)進行稀疏約束的同時，對重建的高頻子圖像也進行稀疏約束，從而建立一種雙稀疏編碼模型.考慮到自然圖像通常具有復雜的結(jié)構(gòu)特征，僅使用單一的稀疏性作為約束條件無法重建出高質(zhì)量的圖像.因此，為了保留圖像的流形結(jié)構(gòu)，在雙稀疏編碼模型中加入局部線性嵌入正則化項(LLER).

1.1.1 雙稀疏編碼(DSC)模型 除了圖像在學習字典下的系數(shù)必須是稀疏的，考慮到重建后的高頻圖像同樣具有稀疏性，在稀疏編碼的階段，不僅對冗余字典的系數(shù)進行稀疏約束，同時對重建得到的高頻信息也進行稀疏約束，并由此建立雙稀疏編碼模型，即

(1)

式(1)中：αmh，αml分別是HR和LR子圖的稀疏系數(shù)；Dmh，Dml分別是HR和LR的子字典；Dhα是重建得到的高頻圖像；wm(m=h，v，d)代表水平、豎直和對角線3個方向的LR細節(jié)子圖；λ是正則化參數(shù)，用于平衡稀疏系數(shù)的稀疏性和wm的保真度；β是正則化參數(shù)，用于平衡小波域的稀疏性權(quán)重，并且對噪聲具有魯棒性.

根據(jù)HR細節(jié)子圖的稀疏系數(shù)與LR細節(jié)子圖的稀疏系數(shù)相同的假設[9]，令αmh=αml=αm，那么DSC模型可改寫為

(2)

圖1 重建流程Fig.1 Flowchart of reconstruction

將待重建的圖像經(jīng)小波分解得到1幅低頻子圖與3幅高頻子圖，由于高頻子圖對應的高頻信息具有稀疏性，所以，通過式(1)分別對3個高頻信息進行重建.對重建后的3幅高頻子圖(LH，HL，HH)和LR低分辨圖像再進行逆小波變換，得到最后的高分辨率圖像，其重建流程，如圖1所示.

1.1.2 局部線性嵌入正則化 在基于稀疏表示的SR算法中，圖像結(jié)構(gòu)信息的丟失或不足將導致重建后的圖像缺乏明顯的結(jié)構(gòu)特征，且若圖像的流形結(jié)構(gòu)能夠被保留，則可以為后續(xù)的圖像重建提供足夠的結(jié)構(gòu)信息.因此，為了更好地保留圖像原有的流形結(jié)構(gòu)，在稀疏編碼過程中加入LLE正則化項.LLE是流形學習中的經(jīng)典算法，在處于同一流形的前提下，該方法假設LR圖像能夠由其最近鄰線性表示，那么，相應的稀疏系數(shù)也能通過相應的近鄰點使用相同的權(quán)值線性表示.重構(gòu)權(quán)值qmi，j可表示為

(3)

‖(I-Qm)Wm‖22.

(4)

在雙稀疏模型中加入流形學習正則化項(式(3))，即

(5)

式(5)中：η是正則化參數(shù).

(6)

式(6)等價于

(7)

式(7)可優(yōu)化為

(8)

通過分裂Bregman算法[23]將式(8)轉(zhuǎn)化為

(9)

算法1用于求解LLER-DSC模型的分裂Bregman算法步驟如下.

輸入:LR字典Dml，HR 字典Dmh和小波細節(jié)子圖wm.初始化λ，β，η，μ1，μ2，f0，m=0，b0，m=0.

輸出:稀疏表示系數(shù)αm.

如果沒有收斂，則

fk+1，m=fk，m+(Dmlαk+1，m-wm)；

結(jié)束.

1.2 基于小波域的字典訓練

小波變換對圖像進行多尺度分解，它可以聚焦到圖像的任意細節(jié).將小波變換運用到字典訓練階段有兩個原因:1) 因為小波本身具有多尺度和多方向等特性，所以使用經(jīng)小波分解得到的子圖進行字典訓練，得到的字典同樣具有這些特性，從而使重建圖像具有更清晰的邊緣；2) 由壓縮感知理論可知，圖像本身或其在某個變換域內(nèi)的表示越稀疏，經(jīng)超分辨率算法得到的重建圖像質(zhì)量就越好.

對每一幅圖像進行小波分解，得到LL1，LH1，HL1和HH14組子圖，其中，LL1是和原圖相似的低頻子圖;LH1,HL1和HH1分別代表水平、豎直和對角線方向的高頻子圖，這些高頻子圖具有稀疏性.將其中的3組高頻子圖用于訓練高分辨率的字典;然后，對LL1進行二級小波分解，并將得到的3組高頻子圖LH2，HL2和HH2作為低頻部分，用于訓練低分辨率的字典.

借鑒文獻[2]分別訓練高、低分辨率字典的思想，但沒有使用高通濾波器進行特征提取.這是因為經(jīng)過小波變換后的圖像已經(jīng)提取了高頻特征，不需要再單獨進行特征提取.低分辨率字典的訓練有以下5個步驟.

步驟1分別對每組子圖LH2,HL2和HH2進行逆小波變換(保留其中1幅高頻子圖，同時將其他3幅子圖置零)得到3組子圖LH′2,HL′2和HH′2，這樣就能保證在求解稀疏系數(shù)時圖像維度一致.

步驟2對3組子圖LH′2,HL′2和HH′2重疊分塊.

步驟3對這些圖像塊進行列向量化，得到Pil(i=LH，HL，HH).

步驟4為了減少字典訓練量，采用PCA對Pil進行降維處理.

步驟5使用K-SVD算法進行字典訓練，有

(10)

式(10)中：αi是高頻子圖的稀疏系數(shù)；S是最大稀疏度.

相應的高分辨率字典的計算式為

Dih=PihαiT(αi(αi)T)-1.

(11)

式(11)中：上標T代表轉(zhuǎn)置；上標-1代表逆運算.

最后，得到3對高、低分辨率字典(Dil，Dih)，i=h，v，d.其中，(Dhl，Dhh)，(Dvl，Dvh)，(Ddl，Ddh)分別是水平方向、垂直方向、對角線和反對角線方向的高、低分辨率字典.

1.3 算法的具體步驟

在文中算法中，對于給定的一幅低分辨率圖像，其超分辨率的問題就轉(zhuǎn)換成對小波變換得到的3幅高頻子圖進行重建(圖1).相對于傳統(tǒng)的基于稀疏表示的超分辨率算法，文中算法利用小波變換在分析圖像細節(jié)方面的優(yōu)勢，使最終得到的重建圖像包含更多的細節(jié)信息.文中算法有以下4個具體步驟.

步驟1對待重建的圖像進行一級小波分解得到LL,LH,HL和HH 4幅子圖.

步驟2分別對LH,HL和HH 3幅高頻子圖進行逆小波變換(保留其中1幅高頻子圖，同時將其他3幅子圖置零),得到LH′,HL′和HH′，這樣有助于維持每個小波子帶的相同方向性.

步驟3采用式(6)對應的稀疏編碼模型對LH′,HL′和HH′子圖進行重建.先對這3幅子圖進行重疊分塊，并將其列向量化;然后，根據(jù)不同特征的圖像塊，自適應地選擇訓練好的字典，并求出對應的圖像塊稀疏系數(shù).假設高頻子帶的稀疏系數(shù)和低頻子帶的稀疏系數(shù)相同，那么，高頻子帶對應的重建圖像塊計算式為Pih=Dilαi.最后，將具有相同方向特征的重建圖像塊(重疊區(qū)域取平均)分別融合成一幅子圖(LH″，HL″和HH″).

步驟4對重建得到的3幅子圖和LR圖像進行逆小波操作，得到最終的HR重建圖像.

2 實驗結(jié)果與分析

2.1 實驗環(huán)境及數(shù)據(jù)準備

采用的硬件平臺為Intel(R) Core(TM)i7-7700K CPU@4.20 GHz，內(nèi)存24.0 GB，軟件平臺為Windows 64位操作系統(tǒng)，仿真軟件為MATLAB 2016b.在重建圖像過程中，選取圖像塊大小為6 px×6 px，在鄰近塊之間的重疊區(qū)為1個像素；在算法1中，λ=3.25，β=0.01，μ1=0.001，μ2=0.010.

用于字典訓練的圖像集采用文獻[1，24-26]中均使用的含有91張高分辨率圖像的訓練集.為了保證實驗的客觀性，采用的測試圖像庫為Set5[27]，Set14[2]，B100(BSDS300[28]中取100張)，這些測試圖像專門用于評價超分辨率重建算法.同時，還將文中算法運用到磁共振圖像中，為了保證用于MRI圖像實驗的客觀性，訓練圖像來源于TCIA[29]，測試圖像也從中隨機挑選.為了驗證文中算法的有效性，主要與雙三次插值(Bicubic)、L1SR[1]算法、SISR[2]算法、ANR[25]算法、LLE[30]算法、文獻[31]算法和SRISAE[32]算法進行比較.重建圖像的評價主要包括主觀和客觀評價兩個方面.客觀評價主要采用峰值信噪比(RPSN)[33]和結(jié)構(gòu)相似度(MSSI)[34]兩個指標.峰值信噪比和結(jié)構(gòu)相似度的分別定義為

2.2 結(jié)果分析

為了方便定量評價重建圖像的質(zhì)量，將測試圖像經(jīng)過小波變換得到的LL子圖作為待重建的LR圖像，并將原始的HR圖像作為參考圖像.實驗分為3組:1) 驗證改進算法的有效性；2) 對自然圖像進行超分辨率重建；3) 將文中算法運用于磁共振圖像.

表1 4種SR算法的RPSN和MSSI的平均值比較Tab.1 Comparison of average RPSN and MSSI values obtained by four different SR algorithms

由表1可知：2種改進算法的RPSN平均值都優(yōu)于SRWD算法，其中，LLER-DSC算法得到了最好的重建結(jié)果.由此可知，基于雙稀疏改進的SR算法是有效的.

2) 第2組實驗.該實驗的目的是驗證文中算法(LLER-DSC)對自然圖像重建的有效性.將文中算法與Bicubic，SRISAE,SISR，ANR，NE_LLE，文獻[31]，SRISAE算法進行比較.上述7種SR算法在Set5，Set14和B100中的RPSN和MSSI的平均值比較，如表2所示.由表2可知：在量化結(jié)果上，文中算法都優(yōu)于其他比較算法.由此可看出，文中算法重建效果高于其他比較算法.

表2 7種SR算法的RPSN和MSSI的平均值比較Tab.2 Comparison of average RPSN and MSSI values obtained by seven different SR algorithms

不同SR算法獲得的重建Butterfly和Barbara的主觀比較結(jié)果，如圖2，3所示.圖2,3中：除了列出原始HR參考圖像和上述7種對比算法重建結(jié)果在同一區(qū)域的細節(jié)放大圖外，還列出SRWD和DSC算法的重建結(jié)果.

圖2 不同SR算法獲得的重建Butterfly的主觀比較結(jié)果Fig.2 Visual comparison results of reconstructed images obtained by different SR algorithms for Butterfly

圖3 不同SR算法獲得的重建Barbara的主觀比較結(jié)果Fig.3 Visual comparison results of reconstructed images obtained by different SR algorithms for Barbara

由圖2,3可知：Bicubic不能重建出清晰的圖像；SISR,NE_LLE,文獻[31]和SRISAE算法的重建圖像邊緣過于平滑，丟失了部分信息；6種對比算法中，ANR的重建結(jié)果最好，但仍然不夠清晰；相比SRWD和DSC算法，LLER-DSC算法的重建圖像更清晰，LLER-DSC算法能有效地減少重建圖像的失真并且生成更精確的細節(jié)信息，重建出更接近于原始HR的圖像.該組實驗進一步說明了文中算法的魯棒性和有效性.

3) 第3組實驗.由于MRI的分辨率通常受到許多因素的限制，如信噪比、硬件條件、掃描時間及患者的舒適度等，導致采集到的圖像都是低分辨率圖像.然而，在許多醫(yī)學應用中，通常需要清晰的高分辨率MRI來輔助醫(yī)生，以提高臨床診斷的準確性.所以，該組實驗將文中算法應用到MRI圖像的超分辨率重建中，從而驗證文中算法的實用性.從癌癥影像檔案(TCIA)[29]中隨機選取91幅高分辨率MRI圖像作為訓練圖像，測試圖像也從TCIA中隨機挑選.不同SR算法對MRI重建圖像的RPSN和MSSI值的比較，如表3所示.由表3可知：文中算法的RPSN和MSSI值總體上優(yōu)于其他算法，并且兩個評價指標的平均值都最高.

表3 不同SR算法對MRI重建圖像的RPSN和MSSI值的比較Tab.3 Comparison of RPSN and MSSI of reconstructed MRI images obtained by different SR algorithms

不同SR算法獲得的重建MRI圖像Prostate-11,Prostate-02的主觀比較結(jié)果，如圖4,5所示.由圖4,5可知：NE_LLE算法得到的圖像在邊緣細節(jié)方面恢復不明顯，且出現(xiàn)嚴重的混疊現(xiàn)象；與其他SR算法相比，SISR算法重建的圖像不夠清晰；ANR算法在邊緣銳化方面優(yōu)于SISR算法，但是其重建圖像出現(xiàn)了許多虛假細節(jié)；相比于ANR算法，文獻[31]算法重建的圖像具有較少的虛假細節(jié)，且其恢復的邊緣細節(jié)更好；相比于文獻[31]算法，SRISAE算法重建圖像的邊緣細節(jié)有進一步提升；LLER-DSC算法在邊緣細節(jié)的恢復方面略優(yōu)于SRISAE算法，尤其是水平、垂直和對角方向的邊緣較為明顯，得到的重建圖像也更為清晰.因此，文中算法在MRI圖像超分辨率重建中取得了令人滿意的結(jié)果.

圖4 不同SR算法獲得的重建MRI圖像Prostate-11的主觀比較結(jié)果Fig.4 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-11

圖5 不同SR算法獲得的重建MRI圖像Prostate-02的主觀比較Fig.5 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-02

3 結(jié)論

將小波變換運用到字典訓練和稀疏編碼階段，提出一種基于稀疏表示和小波變換的圖像超分辨率算法.通過結(jié)合小波分解得到的高頻信息的稀疏性與圖像在冗余字典下的系數(shù)的稀疏性，提出一種雙稀疏編碼模型，從而提高超分辨率算法的性能.為了保留圖像的流形結(jié)構(gòu)，在雙稀疏編碼模型中引入LLE正則化項.同時，為了充分利用圖像的高頻信息，將小波變換運用于字典訓練的階段，并分別對待重建圖像經(jīng)小波分解得到的3幅高頻子圖進行重建.

從主觀和客觀兩個方面對重建結(jié)果進行分析，結(jié)果表明，文中方法的重建效果優(yōu)于其他用于比較的方法.同時，還將文中算法運用于MRI圖像的重建，同樣獲得了良好的效果.在實際應用中，文中算法有利于需要MRI快速成像的情況.由于對3幅高頻子圖的重建都采用相同的SR算法，并沒有考慮每幅子圖的差異性，因此，如何根據(jù)每幅高頻子圖的特征分別設計特定的SR算法，是將來工作的研究重點.