離焦模糊圖像復(fù)原技術(shù)綜述

于春和，祁 奇

(沈陽航空航天大學(xué) 電子信息工程學(xué)院，沈陽 110136)

圖像復(fù)原也叫做圖像恢復(fù)，該技術(shù)屬于圖像處理范疇，在許多領(lǐng)域都有著非常廣泛的應(yīng)用前景。圖像復(fù)原實(shí)際上就是對(duì)已經(jīng)退化的圖像進(jìn)行處理，是圖像退化的反向過程，首先估計(jì)圖像退化的過程，建立起圖像退化的模型，通過計(jì)算復(fù)原成盡量接近原圖像的效果。根據(jù)不同的需要，將退化后的圖像各個(gè)部分進(jìn)行復(fù)原可以得到許多有用的信息[1]。例如在刑事偵查中，可以通過圖像復(fù)原的方式對(duì)逃逸車輛的車牌進(jìn)行恢復(fù)等。

1 圖像復(fù)原的基礎(chǔ)

圖像復(fù)原技術(shù)主要是通過對(duì)退化圖像的模糊和噪聲建立數(shù)學(xué)模型，然后通過模型的逆過程來求解原圖像。但是這種求解過程大都是近似的，一般用某些最佳準(zhǔn)則來作為約束。模糊圖像都具有相同的圖像退化模型，常常用數(shù)學(xué)表達(dá)式來表示退化的過程，如圖1所示。

圖1 圖像退化模型

該模型的方程式可用公式(1)表示。

g(x,y)=H(f(x,y))+n(x,y)

(1)

其中h(x,y)是點(diǎn)擴(kuò)散函數(shù)，就是模糊函數(shù)，f(x,y)是清晰圖像，n(x,y)是噪聲(一般默認(rèn)高斯白噪聲)，g(x,y)是退化后的模糊圖像。如果把公式(1)寫成卷積形式則可以用公式(2)表示。

g(x,y)=f(x,y)*h(x,y)+n(x,y)

(2)

無噪聲時(shí)，又可表示為

g(x,y)=f(x,y)*h(x,y)

(3)

通過公式(2)可知，如果已知模糊圖像g(x,y)和噪聲n(x,y)，那么只要知道h(x,y)就可求出f(x,y)，所以h(x,y)的求解非常重要。

通過研究國內(nèi)外許多學(xué)者的成果可以發(fā)現(xiàn)：在進(jìn)行離焦模糊圖像復(fù)原時(shí)，大家通常使用兩種模型：圓盤離焦模型和高斯離焦模型[2]。

(1)圓盤離焦模型：

(4)

式中：R是模糊半徑，是整個(gè)系統(tǒng)中僅有的不確定信息，實(shí)際上PSF估計(jì)就是求R。由于離焦模糊情況具有圓對(duì)稱性，所以圓盤離焦模型可以當(dāng)點(diǎn)擴(kuò)散函數(shù)來考慮[3]。

(2)高斯離焦模型:

(5)

高斯模型不涉及光學(xué)理論基礎(chǔ)，是研究人員經(jīng)過積累并綜合了多種因素得出的近似模型。其中，模糊參數(shù)為σ。

2 傳統(tǒng)的離焦模糊圖像復(fù)原技術(shù)

2.1 離焦模糊圖像成因和光學(xué)模型

離焦模糊主要是由于拍攝時(shí)焦點(diǎn)沒正好在物體上，成像時(shí)由于像距、焦距和物距沒有滿足高斯成像定理，所以在感光板上出現(xiàn)了模糊圖像。圖2為點(diǎn)光源的成像原理圖和離焦模糊成像系統(tǒng)的光學(xué)系統(tǒng)模型。

圖2 光學(xué)系統(tǒng)模型

在拍照過程中，物距u(像平面到透鏡間的距離)，像距v(感光板到透鏡間的距離)，相機(jī)透鏡的焦距為f。由上圖可以看出感光板無論向前或向后一點(diǎn)都會(huì)造成模糊，所以要得到理想的清晰圖像就必須遵守高斯成像定理。

2.2 常用的離焦圖像復(fù)原方法

近十幾年來，隨著科學(xué)技術(shù)不斷進(jìn)步，相機(jī)有了自動(dòng)聚焦的成像系統(tǒng)，然而自動(dòng)聚焦成像系統(tǒng)往往精度不高，而且也出現(xiàn)了別的影響，所以會(huì)造成自動(dòng)聚焦系統(tǒng)的混亂，就會(huì)導(dǎo)致圖像模糊，離焦模糊是目前出現(xiàn)較多的模糊類型。通常使用的離焦模糊圖像復(fù)原方法有：逆濾波復(fù)原法、維納濾波復(fù)原法、約束最小二乘法、正則化方法等[4]，下面為大家依次介紹。

2.2.1 逆濾波復(fù)原方法

圖像逆濾波復(fù)原算法的另一個(gè)名稱是方向復(fù)原算法，是最早使用的一種無約束復(fù)原方法[5]，是非常簡單的一種算法。依據(jù)傅里葉變換中的卷積定理，對(duì)模型兩側(cè)同時(shí)做傅里葉變換，式(2)變?yōu)槭?6)。

G(u,v)=F(u,v)H(u,v)+N(u,v)

(6)

如果忽略噪聲的影響，式(6)可變?yōu)?/p>

G(u,v)=F(u,v)H(u,v)

(7)

變形得

(8)

對(duì)F(u,v)做傅里葉反變換就可得到f(x,y)。進(jìn)行反變換的過程就是進(jìn)行逆濾波的過程。因?yàn)樵谑褂媚鏋V波法時(shí)H(u,v)某值為0或接近0時(shí)，噪聲會(huì)被無限放大，所以該方法將會(huì)出現(xiàn)病態(tài)，對(duì)它進(jìn)行改進(jìn)就有了維納濾波法復(fù)原圖像。

2.2.2 維納濾波復(fù)原方法

維納濾波就是找到傳輸函數(shù)為H(u,v)的濾波器，使恢復(fù)出的近似原圖像f*(x,y)與真正的原圖像f(x,y)的均方誤差達(dá)最小，即：[f(x,y)-f*(x,y)]2→min。通過維納濾波獲得的原圖像的估計(jì)：

(9)

式中：[ ]是維納濾波器；共軛序列H*(u,v)；pf(u,v)是未失真圖像的功率譜，pn(u,v)是噪聲功率譜，兩者比值的作用是進(jìn)行歸一化。實(shí)際應(yīng)用時(shí)，pn(u,v)和pf(u,v)都是非常難估計(jì)的，所以通常用公式(10)來近似維納濾波復(fù)原[6-7]。

(10)

式中：一般用觀測圖像信噪比的倒數(shù)來給常數(shù)γ賦值。文獻(xiàn)[8]分析討論了不同的γ值會(huì)產(chǎn)生不同的復(fù)原效果，經(jīng)過實(shí)驗(yàn)，γ范圍大概在0.0001～0.01之間可以減少“振鈴效應(yīng)”和噪聲干擾，并且有更好的復(fù)原效果[9]。

2.2.3 最大熵復(fù)原法

最大熵復(fù)原算法[10]在圖像復(fù)原技術(shù)中加入了最大熵約束條件，是圖像復(fù)原算法中的一種非線性算法。該算法要求進(jìn)行復(fù)原后的圖像在滿足成像公式的前提下，熵值能夠達(dá)到最大，就是從最終得到的圖像復(fù)原中的許多可行解中，找到能夠滿足熵最大的那個(gè)解[11]。 因?yàn)樽畲箪貜?fù)原算法不是線性的，所以在進(jìn)行數(shù)值求解時(shí)不會(huì)很容易。又因?yàn)槭褂玫?，所以進(jìn)行該算法時(shí)會(huì)消耗很多時(shí)間，對(duì)運(yùn)行設(shè)備要求也很高，不能在所有領(lǐng)域應(yīng)用。

對(duì)數(shù)字圖像進(jìn)行處理時(shí)，令h為模糊函數(shù)，g為退化圖像，f為清晰圖像，n為加性噪聲，圖像的熵記為S=-∑i,jf(i,j)lnf(i,j)，式(11)給出的是約束最優(yōu)化模型。

(11)

最大熵復(fù)原算法不要求圖像的先驗(yàn)知識(shí)，也不用對(duì)已知條件進(jìn)行假設(shè)，就可以很好地平衡邊緣細(xì)節(jié)恢復(fù)和噪聲平滑，相比于線性恢復(fù)方法具有更高的分辨率，更重要的是該算法還可以恢復(fù)圖像數(shù)據(jù)不完全的圖像。

2.2.4 約束最小二乘方濾波復(fù)原法[12]

考慮到圖像退化模型y=Bx+ξ，模型滿足‖y-Bx‖2=‖ξ‖2。因?yàn)檫M(jìn)行卷積運(yùn)算時(shí)存在病態(tài)問題，為了解決這一問題要求解的二階導(dǎo)數(shù)的范數(shù)平方最小，這樣就提出了差分算子：

(12)

用c(m,n)和x(m,n)進(jìn)行卷積替代二階導(dǎo)數(shù)，問題轉(zhuǎn)化為min‖Cx‖2，C是由c(m,n)得到的循環(huán)矩陣。所以，根據(jù)拉格朗日乘數(shù)法，可將公式(11)轉(zhuǎn)化為公式(13)。

(13)

對(duì)J(x)進(jìn)行求導(dǎo)置為0，就可得到式(14)。

(BTB+αCTC)x=BTy

(14)

(15)

其中，X(u,v)是x的傅里葉變換，Y(u,v)是y的傅里葉變換，H(u,v)是B的傅里葉變換，C(u,v)是c(m,n)先進(jìn)性零擴(kuò)充。在進(jìn)行優(yōu)化時(shí)，α是需要確定的參數(shù)，α確定了，就能夠通過計(jì)算得出清晰圖像傅變后的頻譜圖，然后再做傅里葉反變換，得到恢復(fù)圖像，同時(shí)Hunt提出了一種使用迭代的方法來確定α，對(duì)α進(jìn)行不斷地修正。

2.2.5 正則化方法

依數(shù)學(xué)角度分析，一個(gè)小的擾動(dòng)就會(huì)使方程出現(xiàn)的解不穩(wěn)定。通過諸多研究發(fā)現(xiàn)噪聲不是被忽略，就是被當(dāng)作零均值高斯白噪聲，導(dǎo)致在進(jìn)行復(fù)原時(shí)噪聲會(huì)被放大。所以，式(2)在真正運(yùn)用時(shí)是病態(tài)的，不能直接求解[13]。對(duì)于這個(gè)問題，學(xué)者們做了很多研究，當(dāng)?shù)玫絞、H與n的相關(guān)知識(shí)時(shí)，再求原圖像的近似解。在常用的方法中，正則化方法[14]有更大的優(yōu)勢。它把式(2)變?yōu)閹Ъs束條件的優(yōu)化解，即：

L(A,f)=|g-Hf|2+A|Cf|2

(16)

3 改進(jìn)后的圖像復(fù)原算法

由于上述經(jīng)典圖像復(fù)原技術(shù)都存在一定局限性，本文對(duì)近10年大家研究中所用的一些算法進(jìn)行了總結(jié)，其中有的是對(duì)經(jīng)典算法的改進(jìn)，有的則是較新的離焦模糊圖像復(fù)原算法。

3.1 改進(jìn)的維納濾波算法

維納濾波算法雖然是基于逆濾波算法的改進(jìn)算法，但它依然有一些缺點(diǎn)。因?yàn)榫S納濾波中γ值問題，劉曉輝[15]等人提出了一種二次維納濾波復(fù)原方法，首先利用式(10)對(duì)圖像進(jìn)行初步濾波復(fù)原得到一個(gè)近似清晰的圖像，然后利用近似清晰的圖像去估計(jì)圖像信號(hào)的功率譜密度，對(duì)圖像進(jìn)行二次濾波；韓小芳[16]驗(yàn)證了該算法的有效性。胡小平[17]等人也驗(yàn)證該改進(jìn)算法計(jì)算容易，復(fù)原精度較高，有較強(qiáng)抗噪聲能力。王媛媛[18]等人也運(yùn)用了改進(jìn)的二次維納濾波算法進(jìn)行圖像復(fù)原，首先估算出噪聲方差，然后計(jì)算信噪比，以信噪比參數(shù)為基礎(chǔ)對(duì)初次復(fù)原圖像進(jìn)行再次濾波，使算法更加清晰易懂，并且使用梯度值以及實(shí)際圖像復(fù)原效果進(jìn)行驗(yàn)證，發(fā)現(xiàn)該算法在復(fù)原分辨率和噪聲消除方面較好；辛玲[19]等人也對(duì)維納濾波算法做了兩個(gè)改進(jìn)：一是關(guān)于估計(jì)γ值，估計(jì)出一個(gè)最優(yōu)值使維納濾波的復(fù)原效果能夠更好；二是關(guān)于維納濾波復(fù)原中出現(xiàn)的振鈴效應(yīng)，她提出先計(jì)算一個(gè)加權(quán)的窗函數(shù)圖像，然后再結(jié)合退化的模糊函數(shù)圖像、點(diǎn)擴(kuò)散函數(shù)的光學(xué)傳遞函數(shù)和加權(quán)的函數(shù)圖像得出一幅防止振鈴效應(yīng)的圖像，最后再用維納濾波復(fù)原法對(duì)這圖像進(jìn)行處理，實(shí)驗(yàn)顯示這種方法有效地抑制了振鈴效應(yīng)，取得了令人滿意的效果；梁小萍[20]提出了一種以遺傳自適應(yīng)為基礎(chǔ)的維納濾波去模糊算法，通過遺傳算法[21]對(duì)λ值自適應(yīng)優(yōu)化維納濾波，達(dá)到了所選自適應(yīng)度函數(shù)的最佳復(fù)原效果。同時(shí)，杜苗苗[22]提出了一種維納濾波復(fù)原中λ值的快速估計(jì)算法，即循環(huán)評(píng)價(jià)方法：通過退化圖像估計(jì)信噪比λ，取合適的步長k和循環(huán)范圍的步數(shù)n，然后以λ為中心進(jìn)行循環(huán)，每次循環(huán)都計(jì)算原圖像與退化圖像間的誤差值，繪制λ-誤差曲線，最后得到的誤差最小時(shí)對(duì)應(yīng)的λ記為最佳估計(jì)值。張曉軍[23]也是針對(duì)λ值對(duì)維納濾波做改進(jìn)，利用噪聲均方值與圖像信息熵估計(jì)λ值。信息熵可以表示圖像的平均信息量，測量圖像的整體信息，可以代表圖像的收斂程度，針對(duì)先驗(yàn)知識(shí)缺乏的模糊圖像，信息熵?zé)o疑是能夠全面體現(xiàn)圖像效果的參量。雖然對(duì)維納濾波法進(jìn)行了改進(jìn)，但復(fù)原的圖像依然存在病態(tài)性，在實(shí)際中應(yīng)用較少了。

3.2 改進(jìn)的正則化濾波方法

以正則化技術(shù)為基礎(chǔ)的圖像復(fù)原方法有許多，例如：TV正則化方法、全變差正則化方法、快速非凸非光滑最小化方法、RL正則化方法等，但每種方法都有其缺點(diǎn)，所以研究人員對(duì)其進(jìn)行了改進(jìn)并取得不錯(cuò)的成果。Tikhonov 提出的正則化方法，該算法在經(jīng)過預(yù)處理的情況下得到的效果很好，但是也會(huì)產(chǎn)生階梯效應(yīng)。為了消除這一現(xiàn)象，許尚文[24]運(yùn)用了一種使用非凸性高階全變差的圖像盲復(fù)原模型，該模型使用了高階全變差克制階梯效應(yīng)，并且引入圖像稀疏先驗(yàn)信息保護(hù)圖像的邊緣。陳新平[25]對(duì)R-L算法進(jìn)行深入研究，運(yùn)用偏微分方程與去噪處理結(jié)合的最大熵正則化方法作了改進(jìn)，發(fā)現(xiàn)新的算法大大減少了噪聲，能恢復(fù)出圖像更多細(xì)節(jié)信息；同時(shí)結(jié)合小波域分別進(jìn)行正則化處理的方法和頻域正則化算法改進(jìn)，也取得了很好的效果。曲榮召[26]采取兩步迭代收縮算法求解基于全變分正則化的圖像復(fù)原問題，為避免正則化參數(shù)選取不正確而影響復(fù)原效果，運(yùn)用誤差度量的關(guān)系和匹配先驗(yàn)信息的噪聲方差來確定正則化參數(shù)，在迭代時(shí)參數(shù)會(huì)被反復(fù)修正得到最優(yōu)，采用經(jīng)過修正的參數(shù)得到的復(fù)原結(jié)果，要比固定參數(shù)值得到的結(jié)果更穩(wěn)定。趙曉偉[27]研究了融合l1/l2正則項(xiàng)、sl0正則項(xiàng)、l1正則項(xiàng)的圖像復(fù)原算法，為得到更清晰的圖像邊緣和輪廓，對(duì)圖像進(jìn)行了銳化處理。田玉針[28]提出了基于邊緣檢測的多方向加權(quán)TV模型，將非局部自相似性作為正則化項(xiàng)，引入到多方向加權(quán)TV模型中，得出基于多方向加權(quán)TV和非局部正則化的圖像復(fù)原模型。劉巧紅[29]提出了一種基于空間-變換域的聯(lián)合稀疏正則化復(fù)合模型來實(shí)現(xiàn)圖像的非盲復(fù)原，針對(duì)單一正則化模型在圖像表示時(shí)出現(xiàn)的問題，設(shè)計(jì)出合理有效的圖像復(fù)合表示模型，提高復(fù)原圖像邊緣、紋理等幾何結(jié)構(gòu)的維持能力。苗晴[30]在傳統(tǒng)正則化方法基礎(chǔ)上，創(chuàng)建了一個(gè)可結(jié)合許多模型優(yōu)點(diǎn)的正則化目標(biāo)泛函形式，并設(shè)計(jì)出對(duì)應(yīng)的算法實(shí)現(xiàn)對(duì)正則化復(fù)原模型進(jìn)行修改，保護(hù)了圖像的細(xì)節(jié)信息。林新潛[31]針對(duì)全變分正則化圖像復(fù)原問題，研究了一正則化參數(shù)自適應(yīng)的估計(jì)方法，以兩個(gè)先驗(yàn)假定的概率分布特性為基礎(chǔ)，利用最大后驗(yàn)概率進(jìn)行點(diǎn)估計(jì)，從而推導(dǎo)出正則化參數(shù)的計(jì)算方式。吳清平[32]提出了一種基于多重約束自適應(yīng)的想法，創(chuàng)建了邊緣的約束，運(yùn)用迭代求解對(duì)應(yīng)的約束優(yōu)化問題。高源[33]將YU-LI 和 KAVEH M.提出的四階偏微分方程[34]方法進(jìn)行了改進(jìn)，并結(jié)合正則化最小二乘方法進(jìn)行圖像復(fù)原，取得了非常好的效果。正則化方法相比維納濾波法有自身的優(yōu)異性，取得了更好的發(fā)展，對(duì)圖像的復(fù)原效果更好。

3.3 一些新型的離焦圖像復(fù)原技術(shù)

近幾年神經(jīng)網(wǎng)絡(luò)圖像復(fù)原技術(shù)和彩色圖像復(fù)原技術(shù)開始得到了很好的發(fā)展，下面依次進(jìn)行介紹。

神經(jīng)網(wǎng)絡(luò)一般把許多經(jīng)典的復(fù)原方法結(jié)合起來使用，它在復(fù)原過程中起到復(fù)原濾波和參數(shù)辨識(shí)的作用。復(fù)原技術(shù)中經(jīng)常使用的神經(jīng)網(wǎng)絡(luò)是以Hopfield類型為基礎(chǔ)，它有很快的收斂速度和穩(wěn)定性，并且復(fù)原精度也很高[35]。文獻(xiàn)[36]將一些典型的基于Hopfield的神經(jīng)網(wǎng)絡(luò)復(fù)原算法做了比對(duì)分析。石曉玲[37]等提出了一種運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)復(fù)原模糊圖像的方法，創(chuàng)建了一種端到端的處理模型，運(yùn)用多層神經(jīng)網(wǎng)絡(luò)表示非線性的圖像退化和復(fù)原過程，且運(yùn)用反向傳播算法對(duì)各層權(quán)重進(jìn)行優(yōu)化，取得了非常好的效果。蘭妙萍[38]先提出了一種卷積神經(jīng)網(wǎng)絡(luò)的圖像去模糊模型CIR，避免了傳統(tǒng)算法對(duì)先驗(yàn)知識(shí)的依賴；接著又提出了一種基于混合神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，這一算法比之前算法的復(fù)原效果更好；最后又提出了一種改進(jìn)的以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的圖像超分辨率算法，此算法不僅復(fù)原效果提高了，效率也提高了。Bao[39]等人采用多層感知模型神經(jīng)網(wǎng)絡(luò)，在復(fù)原時(shí)達(dá)到邊緣保護(hù)正則化。張維[40]提出了一種優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的復(fù)原方法，通過對(duì)比選擇了更適合的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和參數(shù)，得到了非常好的效果。

隨著彩色數(shù)碼相機(jī)的普及，彩色圖像復(fù)原技術(shù)也開始發(fā)展起來。彩色圖像處理的興起主要有兩方面原因：一是顏色是一個(gè)重要的描繪算子，能夠簡化目標(biāo)的區(qū)分，給目標(biāo)提取提供更加豐富的信息；二是人可以分辨數(shù)千種顏色的色調(diào)和亮度，卻只能分辨幾十種灰度層次，目前大多數(shù)彩色復(fù)原方法主要針對(duì)偽彩色圖像[41]。Fung[42]等提出以POCS為基礎(chǔ)的偽彩色圖像復(fù)原方法，可以運(yùn)用彩色調(diào)色板得到先驗(yàn)信息，復(fù)原效果非常好。后來，F(xiàn)ung[43-44]等也以該理論為基礎(chǔ)通過不同的實(shí)驗(yàn)驗(yàn)證該結(jié)論。隨后，F(xiàn)ung等將半色調(diào)因素考慮在研究內(nèi)，使以POCS為基礎(chǔ)的彩色復(fù)原方法能夠被普遍應(yīng)用[45]。

4 結(jié)論

通過上面的介紹，得出在一些經(jīng)典的復(fù)原算法中使用最多的是正則化復(fù)原方法，它能夠更好地解決復(fù)原過程中存在的病態(tài)問題，其應(yīng)用更加普遍；由于機(jī)器學(xué)習(xí)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)開始被廣泛應(yīng)用起來，其優(yōu)秀的非線性自適應(yīng)特征可以更好地辨識(shí)參數(shù)，并且具有實(shí)時(shí)性，所以被認(rèn)為是最適合的復(fù)原算法之一；彩色圖像復(fù)原的發(fā)展目前還面臨一些問題，發(fā)展相對(duì)緩慢。

除了以上介紹的圖像復(fù)原方法，還有很多復(fù)原算法，例如基于傅立葉變換的圖像復(fù)原法[46]、基于小波變換[47-48]的方法、支持向量機(jī)與圖像分割法(Lin等人提出一種新的基于支持向量機(jī)的自適應(yīng)濾波器)[49]等等，都能很好地對(duì)圖像進(jìn)行復(fù)原。但是任何一種單獨(dú)方法并不能取得很好的復(fù)原效果，所以有些研究人員將多種方法結(jié)合，利用各自的優(yōu)點(diǎn)對(duì)圖像進(jìn)行復(fù)原。希望學(xué)者們能夠研究出更好的方法使圖像處理技術(shù)得到更快的發(fā)展。