基于多種正則化的改進(jìn)超分辨率重建算法

黃吉慶，王麗會(huì)，秦 進(jìn)，程欣宇，張 健，李 智

貴州省智能醫(yī)學(xué)影像分析與精準(zhǔn)診斷重點(diǎn)實(shí)驗(yàn)室，貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng) 550025

1 引言

由于成像設(shè)備分辨率的限制，外加噪聲及運(yùn)動(dòng)等因素的影響，采集圖像的分辨率通常較低，無(wú)法滿足應(yīng)用需求。為了解決這一問(wèn)題，超分辨率（Super Resolution，SR）重建技術(shù)應(yīng)運(yùn)而生，即在不改變硬件條件的情況下，利用圖像的先驗(yàn)知識(shí)恢復(fù)出低分辨率圖像（Low Resolution，LR）的細(xì)節(jié)信息，進(jìn)而重建出高分辨率圖像（High Resolution，HR）。

目前，基于先驗(yàn)信息的超分辨率重建算法主要分為以下幾類，即基于插值的算法、基于學(xué)習(xí)的算法和基于建模的算法[1-6]。其中基于插值的算法是利用鄰近像素點(diǎn)的灰度值對(duì)待插像素點(diǎn)的灰度值進(jìn)行估計(jì)。較好的算法有基于邊緣導(dǎo)向的插值算法（Edge-Directed Interpolation，NEDI）和基于自學(xué)習(xí)特征的交替插值算法（Selflearned Characteristics Based Switched Image Interpolation，SLCSI）[7]。這兩種方法在圖像邊緣和細(xì)節(jié)區(qū)域的重建效果有所提升，但仍無(wú)法完全克服圖像插值算法的缺點(diǎn)，即基于局部信息的圖像像素估計(jì)會(huì)引入圖像的模糊，降低圖像質(zhì)量。

隨著深度學(xué)習(xí)和人工智能的快速發(fā)展，基于學(xué)習(xí)的方法進(jìn)行超分辨率圖像重建逐漸成為主流。其思想是利用多組低分辨率和高分辨率圖像，通過(guò)算法學(xué)習(xí)到低分辨率和高分辨率圖像的對(duì)應(yīng)關(guān)系。常用的超分辨率重建模型包括卷積神經(jīng)網(wǎng)絡(luò)模型[8]、殘差神經(jīng)網(wǎng)絡(luò)模型[9]、深度卷積對(duì)抗生成網(wǎng)絡(luò)模型[10]。但無(wú)論哪種學(xué)習(xí)模型，對(duì)低分辨率和高分辨率圖像樣本對(duì)的數(shù)目有很高的要求，并且訓(xùn)練的時(shí)間較長(zhǎng)，不具有實(shí)時(shí)性和廣泛應(yīng)用性。

基于建模的方法是利用圖像的降質(zhì)模型對(duì)超分辨率圖像重建提供約束，進(jìn)而基于逆問(wèn)題的求解方式獲得超分辨率圖像。在基于建模的方法中，通常加入正則項(xiàng)將病態(tài)問(wèn)題轉(zhuǎn)化為凸問(wèn)題進(jìn)行求解。目前常用的正則項(xiàng)包括L2范數(shù)、L1范數(shù)和LP范數(shù)正則項(xiàng)[11-20]。這些正則項(xiàng)通過(guò)對(duì)圖像灰度梯度變化進(jìn)行懲罰，進(jìn)而實(shí)現(xiàn)降低平滑區(qū)域噪聲并保持圖像邊緣和細(xì)節(jié)的效果。其中L2范數(shù)主要包括吉洪諾夫（Tikhonov Regularization，TR）和馬爾科夫隨機(jī)場(chǎng)（Markov Random Field，MRF）的正則項(xiàng)，這類正則項(xiàng)通過(guò)懲罰圖像的高頻部分，能夠很好地降低圖像的噪聲，但會(huì)過(guò)度平滑圖像的邊緣和細(xì)節(jié)信息。全變分正則項(xiàng)（Total Variation，TV）是典型的L1范數(shù)正則項(xiàng)，這類正則項(xiàng)可以更好地保持邊緣，但會(huì)在帶有噪聲的圖像平滑區(qū)域產(chǎn)生階梯效應(yīng)。為了克服L1和L2范數(shù)正則項(xiàng)的缺點(diǎn)，研究學(xué)者們提出利用閾值算法優(yōu)化L1和L2范數(shù)正則項(xiàng)，如Huber馬爾科夫隨機(jī)場(chǎng)（Huber-MRF，HMRF）和BTV（Bilateral TV，BTV）等正則項(xiàng)。這種改進(jìn)算法通過(guò)設(shè)置圖像灰度梯度的閾值，以區(qū)分圖像邊緣和平滑區(qū)域，對(duì)邊緣使用L1范數(shù)正則項(xiàng)，而對(duì)平滑區(qū)域則使用L2范數(shù)正則項(xiàng)，但這種方法的重建效果對(duì)閾值的選擇很敏感。為了解決這一問(wèn)題，非局部變分正則項(xiàng)（Non-Local Total Variation，NLTV）先驗(yàn)被提出[21]，即在TV的基礎(chǔ)上引入非局部相似度權(quán)重系數(shù)，可在一定程度上解決TV在平滑區(qū)域引起的塊效應(yīng)問(wèn)題。NLTV中的權(quán)重系數(shù)通常符合高斯分布，因此，從本質(zhì)上講，NLTV的權(quán)重系數(shù)是一種非局部的均勻?yàn)V波器，仍會(huì)引起圖像邊緣模糊現(xiàn)象。

鑒于TV和NLTV正則先驗(yàn)互補(bǔ)的優(yōu)勢(shì)，本文提出一種結(jié)合TV和改進(jìn)NLTV的多種正則先驗(yàn)的超分辨率重建算法。首先根據(jù)圖像灰度梯度滿足重尾分布的特點(diǎn)，將原有NLTV正則項(xiàng)的權(quán)重系數(shù)由高斯分布更改為更滿足重尾分布的多種分布的結(jié)合形式，提出ANLTV（Amended NLTV）正則先驗(yàn)；然后利用ANLTV正則先驗(yàn)對(duì)超分辨率圖像進(jìn)行初始估計(jì)，最后采用TV正則項(xiàng)對(duì)超分辨率圖像的初始估計(jì)進(jìn)行去模糊操作，從而得到最終的超分辨率重建結(jié)果。

目前，求解帶有TV類正則先驗(yàn)的優(yōu)化問(wèn)題的方法有很多種，如共軛梯度法（Conjugate Gradient Algorithm，CG），快速組合分裂算法（Fast Composite Splitting Algorithm，F(xiàn)CSA），交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）以及分裂Bregman方法（Split Bregman Algorithm，SBA）等。其中CG方法利用目標(biāo)函數(shù)的梯度信息，通過(guò)大量反復(fù)迭代，獲得最優(yōu)解，這種方法計(jì)算效率較低。FCSA是一種基于小波稀疏的凸優(yōu)化的求解方法，求解效率相比CG方法有很大的提高，但這種方法求解時(shí)，會(huì)傾向于連續(xù)解，容易出現(xiàn)階梯效應(yīng)。ADMM和SBA方法是求解帶有L1范數(shù)正則先驗(yàn)問(wèn)題的有效方法，其中Bregman方法是ADMM方法的一種特殊形式，在參數(shù)設(shè)置合理時(shí)，能比ADMM方法更快的收斂[22]。因此，本文選擇分裂Bregman算法對(duì)超分辨率圖像進(jìn)行求解。

2 基于多種正則化的改進(jìn)超分辨率重建

2.1 圖像降質(zhì)模型

一般而言，低分辨率是由高分辨率圖像經(jīng)過(guò)模糊、下采樣以及引入加性噪聲等一系列降質(zhì)過(guò)程獲得的，因此按照降質(zhì)模型，低分辨率與高分辨率圖像之間的關(guān)系可以表示為：

其中y為低分辨率圖像，D為下采樣操作，h為點(diǎn)擴(kuò)散函數(shù)，表示圖像模糊過(guò)程，x為高分辨率圖像，n為加性噪聲，本文采用均值為0方差可調(diào)節(jié)的高斯噪聲。

針對(duì)點(diǎn)擴(kuò)散函數(shù)和下采樣矩陣，本文采用了Antonio[9]提出的卷積下采樣模型，這種模型同時(shí)完成了圖像模糊和下采樣過(guò)程，并且可以較快地進(jìn)行降質(zhì)和上采樣，其表達(dá)式為：

式中D(x)代表圖像下采樣和模糊過(guò)程，S(y)代表上采樣過(guò)程，具體的采樣矩陣由Dx和Sx表示：

若高分辨率圖像x的大小為2m×2m，則Dx的維度為m×2m，Sx的維度為2m×m。通過(guò)下采樣操作D(x)，可以得到m×m大小的下采樣圖像y；通過(guò)上采樣操作S(y)，可以得到y(tǒng)擴(kuò)大兩倍的上采樣圖像。

2.2 改進(jìn)的超分辨率圖像重建模型

根據(jù)圖像的降質(zhì)模型可知，為恢復(fù)出高分辨率圖像，僅對(duì)低分辨率圖像進(jìn)行與降質(zhì)模型對(duì)應(yīng)的上采樣操作即可。然而，由于降質(zhì)模型的低秩性，使得這一逆過(guò)程的求解成為病態(tài)問(wèn)題，無(wú)法獲得最優(yōu)解。為解決這個(gè)問(wèn)題，需要在在求解過(guò)程中引入正則項(xiàng)，因此超分辨率圖像的重建模型可表達(dá)為：

其中i表示圖像x中的某一個(gè)像素點(diǎn)，Πi表示在圖像x中以m2×m2大小窗口搜索時(shí)獲得的與像素點(diǎn)i相似的所有像素點(diǎn)的集合，w(i,j)為權(quán)重函數(shù)，其定義為：

公式（8）中Ni(x)-Nj(x)分別表示圖像 x在i和 j點(diǎn)處的某固定大小鄰域上對(duì)應(yīng)的灰度差值，鄰域的窗口大小設(shè)置為m1×m1，p表示距離函數(shù)的范數(shù)，通常取值為2，代表像素點(diǎn)i和 j對(duì)應(yīng)的鄰域灰度的歐氏距離，σ為權(quán)重系數(shù)的調(diào)節(jié)參數(shù)。

在一幅圖像中，圖像灰度平滑區(qū)域占多數(shù)，因此針對(duì)平滑區(qū)域，相似塊個(gè)數(shù)較多，公式（8）則相當(dāng)于針對(duì)多個(gè)相似塊實(shí)現(xiàn)一個(gè)高斯濾波，進(jìn)而可以有效地去除圖像平滑區(qū)域的噪聲，解決TV正則先驗(yàn)引起的塊效應(yīng)問(wèn)題。然而對(duì)于圖像的邊緣區(qū)域，由公式（8）可知，其權(quán)重系數(shù)很小并且快速衰減為0，如圖1中的紅色曲線所示，當(dāng)灰度梯度的絕對(duì)值大于0.5時(shí)，權(quán)重系數(shù)趨近于0，若該灰度梯度出現(xiàn)的概率為0，則為0的高斯權(quán)重系數(shù)不會(huì)對(duì)結(jié)果有影響。然而自然圖像的灰度梯度是符合重尾分布的，即較大灰度梯度出現(xiàn)的概率不為0，則此時(shí)若仍然使用高斯分布的權(quán)重系數(shù)，則會(huì)丟失圖像的細(xì)節(jié)信息。因此，本文對(duì)NLTV正則項(xiàng)的權(quán)重系數(shù)進(jìn)行修改，結(jié)合高斯分布，拉普拉斯分布及柯西分布提出ANLTV的權(quán)重系數(shù)，其表達(dá)式如下：

式中q(x)、r(x)和s(x)分別代表了高斯分布、柯西分布和拉普拉斯分布，α、β和θ分別為各種分布的加權(quán)系數(shù)，即：

圖1 權(quán)重系數(shù)與灰度梯度的關(guān)系示意圖

圖1 中的黑色曲線為ANLTV的權(quán)重系數(shù)，相比于高斯權(quán)重系數(shù)，可以看出，在圖像的邊緣區(qū)域，改進(jìn)的權(quán)重系數(shù)尾部較厚重，更適合處理梯度滿足重尾分布的圖像。

雖然ANLTV的權(quán)重系數(shù)考慮了圖像梯度變化的統(tǒng)計(jì)特性，能夠保持圖像的細(xì)節(jié)信息，但是不同相似塊進(jìn)行加權(quán)平均的過(guò)程中又不可避免地會(huì)引起圖像邊緣區(qū)域的模糊。為了解決這個(gè)問(wèn)題，根據(jù)TV正則項(xiàng)在保持圖像邊緣方面的優(yōu)勢(shì)，在ANLTV正則化重建后，再利用TV對(duì)重建圖像進(jìn)行去模糊操作。綜上所述，本文的超分辨率重建模型可以表示為：

其中 ||·代表著一范數(shù)，RANLTV代表本文改進(jìn)的NLTV正則項(xiàng)，RTV代表TV正則項(xiàng)，為基于ANLTV正則項(xiàng)初步重建的超分辨率圖像，^為利用TV正則項(xiàng)對(duì)初始重建超分辨圖像去模糊得到的結(jié)果。

為了求解公式（11）中的最小化問(wèn)題，本文分別采用分裂Bregman方法對(duì)公式（11）中的兩個(gè)優(yōu)化問(wèn)題進(jìn)行迭代求解。

2.3 分裂Bregman算法求解

分裂Bregman方法是一種通過(guò)迭代，將正則項(xiàng)攜帶的先驗(yàn)信息傳遞到解之中的優(yōu)化方法。它可以解決的問(wèn)題形如：其中C是一個(gè)有界閉凸集，H(x)是可微凸函數(shù)，J(x)是凸正則項(xiàng)。

對(duì)于公式（9）所提出的超分辨率重建模型，滿足分裂Bregman方法所能求解的問(wèn)題。其中‖y - D(h*x)和‖(h * x-x0)對(duì)應(yīng)可微凸函數(shù)H(x)，| RANLTV(x)|和|RTV(x)|是凸正則項(xiàng)，相當(dāng)于J(x)。故公式（11）可采用分裂Bregman方法進(jìn)行求解。以公式（11）的第一個(gè)公式（11）為例，對(duì)其求解過(guò)程進(jìn)行詳細(xì)的描述。

首先令d=RANLTV(x)，可得：

然后，根據(jù)拉格朗日乘子法，將這個(gè)帶有約束條件的問(wèn)題轉(zhuǎn)化為非限制性問(wèn)題，即：

根據(jù)Bregman算法[20]的思想，公式（15）中V(x,d)可由Bregman距離(x,xk,d,dk)來(lái)代替，其定義為：

式中xk,dk為第k次迭代時(shí)獲得的解，和分別表示函數(shù)V(x,d)在 xk,dk上的次梯度，即 (,)∈?V(xk,dk)，＜·＞代表點(diǎn)乘操作。

將公式（16）代入到公式（15）可得第k+1次迭代獲得的優(yōu)化解為：

根據(jù)次梯度的定義，將公式（13）分別對(duì)x和d求導(dǎo)，可得到次梯度的迭代如下：

令bk+1=bk+(RANLTV(xk+1)-dk+1)，b0=0，迭代相加則得：

將公式（18）代入公式（17）中可得：

再將公式（21）代入到公式（17）中則有：

公式（20）中，C1和C2是常數(shù)項(xiàng)。為了加快公式（20）的迭代求解速度，利用分裂Bregman的思想，分別對(duì)x和d進(jìn)行迭代求解，即：

公式（21）對(duì)x進(jìn)行求導(dǎo)等于零可得：其中S°D表示對(duì)圖像依次進(jìn)行下采樣S和上采樣D操作。根據(jù)高斯賽德?tīng)柗椒╗23]對(duì)公式（22）進(jìn)行求解，可得第k+1步迭代x的解：

公式（21）對(duì)d進(jìn)行求導(dǎo)等于零，并利用收縮算子可得第k+1步迭代d的解：

經(jīng)過(guò)多次迭代，可以得到初步重建的高分辨率圖像x^0。對(duì)初步獲得的高分辨率圖像x^0根據(jù)公式（11）的第二個(gè)公式進(jìn)行去模糊處理，其求解過(guò)程與上述過(guò)程相同。

具體的算法求解流程圖如下所示：

算法1 ANLTV超分辨率重建Bregman正則化

輸入：低分辨率圖像y，參數(shù)設(shè)置

輸出：高分辨率圖像x^0

初始化圖像x0（使用雙三次插值算法），初始化d0=b0=0

外層循環(huán)：

內(nèi)層循環(huán)：

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提算法的性能，實(shí)驗(yàn)分別選取大小為512×512的Lena、Airfield、Baboon和Phantom圖像為HR圖像，利用2.1節(jié)闡述的圖像降質(zhì)模型，對(duì)圖像進(jìn)行模糊和下采樣并添加加性噪聲，得到對(duì)應(yīng)的LR圖像。再根據(jù)超分辨率圖像重建的原理，分別利用基于ITV、ATV、NLTV以及本文改進(jìn)的ANLTV+TV正則項(xiàng)的超分辨率重建算法進(jìn)行重構(gòu)。重建過(guò)程中不同方法所使用的參數(shù)如表1所示。

表1 超分辨率圖像重建參數(shù)

為了提高不同算法重建圖像的視覺(jué)對(duì)比效果，本文在幾種圖像中分別選擇一個(gè)感興趣區(qū)域，進(jìn)行局部放大顯示，如圖2至圖5所示，其中（a）顯示了感興趣區(qū)域，（b）為原始HR圖像；（c）為下采樣圖像；（d）為ITV正則化重建結(jié)果；（e）為ATV正則化重建結(jié)果；（f）為NLTV正則化重建結(jié)果；（g）為本文所提出的ANLTV+TV正則化重建結(jié)果。

從Lena圖（圖2）和Airfield圖（圖3）的重建視覺(jué)效果上看，利用本文所提出的方法重建獲得的超分辨率圖像，在平滑區(qū)域噪聲減少，并且在邊緣區(qū)域?qū)Ρ榷让黠@增加。這是由于ANLTV相比于原始的NLTV正則先驗(yàn)，滿足重尾分布的權(quán)重系數(shù)沒(méi)有屏蔽掉圖像的細(xì)節(jié)信息，因此在邊緣處理效果比NLTV要好很多。同時(shí)，經(jīng)過(guò)ANLTV在圖像平滑區(qū)域的均值濾波處理，可以很好地去除噪聲的影響，進(jìn)而再利用TV正則先驗(yàn)進(jìn)行圖像去模糊時(shí)，無(wú)塊效應(yīng)產(chǎn)生。

圖2 Lena圖像超分辨率重建結(jié)果

圖3 Airfield圖像超分辨率重建結(jié)果

圖4 Baboon圖像超分辨率重建結(jié)果

圖5 Phantom圖像超分辨率重建結(jié)果

圖2 和圖3是圖像細(xì)節(jié)和圖像平滑區(qū)域分布較均衡的圖像，為了進(jìn)一步驗(yàn)證本文算法，又分別對(duì)圖像細(xì)節(jié)較多的Baboon圖像和圖像平滑區(qū)域較多的Phantom圖像進(jìn)行重建，其結(jié)果如圖4和圖5所示。從Baboon圖像的重建結(jié)果可以看出，改進(jìn)后算法很好地保證了邊緣的對(duì)比度，展示出更多的細(xì)節(jié)信息。而針對(duì)平滑區(qū)域較多的Phantom圖像，ATV和ITV算法在平滑區(qū)域仍存在著一些噪聲；NLTV可以去除平滑區(qū)域的塊效應(yīng)，但是會(huì)模糊圖像邊緣；而ANLTV+TV在平滑區(qū)域幾乎無(wú)噪聲影響，并且邊緣對(duì)比度較明顯。

為了定量地分析4種不同正則項(xiàng)對(duì)于超分辨率圖像重建效果的影響，本文采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、平均結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）和信噪比（Signal-to-Noise Ratio，SNR））3種評(píng)價(jià)指標(biāo)對(duì)重建結(jié)果進(jìn)行對(duì)比，如表2所示。

可以看出在兩組圖像中，本文所提出的方法在3種評(píng)價(jià)指標(biāo)上都有一定的提升。針對(duì)Lena圖像PSNR至少提高了6%，SNR至少提高了5%，SSIM提高了3%；對(duì)Airfield圖像PSNR則至少提高10%，SNR提高了10%，SSIM提高了10%；對(duì)Baboon圖像PSNR至少提高了3%，SNR提高了5%，SSIM提高了19%；而對(duì)于Phantom圖像PSNR提高了8%，SNR提高了至少14%，SSIM至少提高了3%?？梢钥闯鲠槍?duì)不同特點(diǎn)的圖像，各種評(píng)價(jià)指標(biāo)的提升效果均不同，其原因可由圖像灰度梯度的分布特點(diǎn)來(lái)解釋，如圖6所示。

從圖6中可以看出，Baboon和Airfield圖像的重尾分布最為明顯，因此其在邊緣的重建視覺(jué)效果最好，結(jié)構(gòu)相似度提升較高。針對(duì)Lena圖像，其灰度梯度分布尾部較高斯分布而言，不是很厚，但是在圖像平滑區(qū)域，下降速度卻比高斯分布快很多，說(shuō)明在圖像平滑區(qū)域相似性很大，所以處理加權(quán)均勻?yàn)V波時(shí)處理平滑區(qū)域效果很好，進(jìn)而SNR得到很大的改善。尤其針對(duì)Phantom圖像，其梯度分布曲線下降速度最快，所以利用本文方法，其SNR提升的最多，但由于尾部分布概率幾乎為0，其SSIM并未提高很多。可以看出，利用本文所提方法，不管針對(duì)平滑圖像，還是細(xì)節(jié)較多的圖像，都能得到很好的重建效果。

表2 4種不同正則項(xiàng)定量評(píng)價(jià)指標(biāo)

圖6 不同圖像灰度梯度分布與高斯分布的區(qū)別

4 結(jié)論

本文針對(duì)超分辨率圖像重建過(guò)程中，無(wú)法同時(shí)滿足平滑噪聲和保持圖像邊緣的問(wèn)題，提出一種基于多個(gè)正則項(xiàng)的改進(jìn)的超分辨率重建算法。首先利用自然圖像灰度梯度滿足重尾分布的特性，結(jié)合高斯、拉普拉斯和柯西分布改進(jìn)了傳統(tǒng)NLTV正則項(xiàng)的加權(quán)系數(shù)，進(jìn)而提出一種新的ANLTV正則項(xiàng)，并利用該正則項(xiàng)對(duì)超分辨率圖像進(jìn)行初始重建。然后結(jié)合TV正則項(xiàng)在保持圖像邊緣方面的優(yōu)勢(shì)，利用TV正則項(xiàng)對(duì)初始重建圖像進(jìn)行去模糊操作，進(jìn)而獲得最終的超分辨率圖像重建結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文所提的超分辨率圖像重建算法，相比于傳統(tǒng)的基于TV和NLTV的超分辨率圖像重建算法，無(wú)論針對(duì)平滑圖像還是細(xì)節(jié)較多的圖像，其峰值信噪比，信噪比以及結(jié)構(gòu)相似性均有提升，在一定程度上解決了超分辨率重建過(guò)程中同時(shí)抑制噪聲和保持邊緣的矛盾。