紀艷玲,湯宮民
(山東工程職業(yè)技術(shù)大學 信息工程學院,濟南 250000)
通過電子設(shè)備采集到的圖像在形成、儲存、調(diào)制處理和信號傳輸?shù)倪^程中,因為信道噪聲或模糊等因素影響會產(chǎn)生失真,從而造成圖像質(zhì)量的退化[1]。對采集過程中退化的圖像進行相關(guān)處理,從而得到與原始圖像盡可能一致圖像的過程稱為退化圖像的復(fù)原,其本質(zhì)是圖像退化的一個逆過程。作為一個基礎(chǔ)且重要的底層計算機視覺問題,圖像復(fù)原有很多經(jīng)典的理論和使用方法,早期的逆濾波從頻域的角度分析圖像復(fù)原,基于擴散的偏微分方程和小波系數(shù)的統(tǒng)計特性推動了圖像復(fù)原的發(fā)展;稀疏表示和字典學習在圖像復(fù)原方面也取得了較大的成功。近年來,隨著機器學習的快速發(fā)展,基于自然圖像塊建模的復(fù)原方法成為研究的熱點[2]。本文針對圖1 所示樣本類型進行圖像復(fù)原算法的研究。
圖1 退化圖像典型樣本Fig.1 Typical samples of degraded images
采集圖像質(zhì)量退化的原理可以用公式(1)所示的數(shù)學模型來表示:
其中,x表示初始清晰圖像;y表示采集后退化圖像;k表示模糊算子;n是噪聲;*是卷積運算。
通常可以假定噪聲為高斯白噪聲,服從均值為0,方差為σ的高斯分布,即n~N(0,σ)。如果模糊算子k已知,則稱為圖像非盲去卷積[3]。特別的,當k是狄拉克函數(shù)時,圖像復(fù)原問題就變成了圖像去噪。
在實際應(yīng)用中,模糊算子k和噪聲方差σ通常是未知的,這時的圖像復(fù)原問題稱為盲復(fù)原[4]。由于在退化方程中只有退化圖像y是已知的,而清晰圖像x、模糊算子k和方差σ均未知,從退化的圖像中恢復(fù)出清晰圖像是個病態(tài)問題。由于沒有足夠的信息保證待復(fù)原部分數(shù)據(jù)的正確性,通常需要利用先驗知識對問題加以約束。
通常可用公式(2)所示的損失函數(shù)來表示圖像復(fù)原的整個過程[5]。
其中,f(x,y) 表示數(shù)據(jù)保真項,使得估計出的原始圖像與退化圖像在內(nèi)容上保持一致,prior(x)則表示先驗項,這是一個來自自然圖像本身的特性。
這個損失函數(shù)可以從概率交付給與很好的解釋,根據(jù)最大后驗概率估計原理,對原始圖像的估計可表示為公式(3):
其中,P(x |y)表示從原始圖像x得到退化圖像y的概率,P(x)表示圖像x的先驗概率,對上式取負對數(shù),就可以得到圖像復(fù)原的損失函數(shù)。
對于模糊圖像進行盲去卷積,難點在于對于模糊算子一無所知,這就需要一個先驗性的知識,對原圖及模糊算子進行預(yù)估初始化。
解決這一問題的思路是采用圖像強度與梯度的L0 正則化[6]。首先,對圖像進行g(shù)amma 矯正;其次,設(shè)置模糊算子大小,確定最大迭代次數(shù),梯度濾波,用快速傅里葉變換去除模糊算子內(nèi)的固體噪聲,建立梯度幅度直方圖,對模糊算子進行估計。
對于給定的模糊圖像,在沒有給定模糊算子的情況下,直接使用維納濾波無法實現(xiàn)濾波,只能通過先驗知識進行估計。本文借鑒傳統(tǒng)露西-理查德森(Richardson-Lucy)的盲去卷積算法的同時,融合自然圖像塊強度和梯度的L0 正則化進行盲去卷積。
該算法由貝葉斯公式推導(dǎo)而來,因為使用了條件概率,即算法考慮了信號的固有波動,因此具有復(fù)原噪聲圖像的能力[7]。貝葉斯公式如公式(4)所示:
結(jié)合圖像退化/復(fù)原模型,可以得到迭代函數(shù),如公式(5)所示:
其中,fi就是第i輪迭代復(fù)原圖像,對應(yīng)貝葉斯公式中的p(x);g是退化函數(shù),對應(yīng)貝葉斯公式的P(y |x);c為退化圖像。
假設(shè)退化圖像各區(qū)域的模糊函數(shù)處處相同,那么可以將公式(5)化簡為公式(6):
這就是路西-理查德森迭代公式,其中c是退化圖像;g是退化函數(shù);f是第k輪復(fù)原圖像。
如果系統(tǒng)的退化函數(shù)PSF(g(x))已知,只要有一個初始估計f就可以進行迭代求解。在開始迭代后,由于算法的形式,估計值會與真實值的差距迅速減小,從而后續(xù)迭代過程f的更新速度會逐漸變慢,直至收斂。算法的另一優(yōu)點就是初始值f >0,后續(xù)迭代值均會保持非負性,并且能量不會發(fā)散。
無噪聲影響的盲去卷積需要兩步進行復(fù)原,原因是既不知道原始圖像f,也不知道退化函數(shù)g。算法執(zhí)行流程如圖2 所示。
圖2 圖像盲去卷積流程圖Fig.2 Flow chart of image blind deconvolution
即在第k輪迭代,假設(shè)原始圖像已知,即第k-1輪得到的fk-1,再通過R-L 公式求解gk,隨后再用gk求解fk,反復(fù)迭代,最后求得最終f和g。因此,在求解最初,需要同時假設(shè)一個復(fù)原圖像f0和一個退化函數(shù)g0。迭代公式如公式(7)和公式(8)所示:
同時,為了解決在復(fù)原圖像內(nèi)部灰度對比明顯的地方和圖像邊界都出現(xiàn)的“振鈴”問題,定義一個加權(quán)函數(shù)來減少圖像中的“振鈴”,該算法是在對圖像和PSF 進行復(fù)原時,對每個像元根據(jù)|WEIGHT |數(shù)組進行加權(quán)計算。
借助于不同的自然圖像先驗信息,可以估計出不同的原始圖像。常用的自然圖像的先驗信息有自然圖像的局部平滑性、非局部自相似性、稀疏性等特征[8],本文在圖像塊相似性先驗復(fù)原基礎(chǔ)上加以稀疏度特征,從而實現(xiàn)更精確的電子設(shè)備采集圖像的盲去卷積復(fù)原。
對于一幅模糊圖像x,定義其強度稀疏度如公式(9)所示:
而其稀疏度,即先驗條件,可表示為強度稀疏度和梯度稀疏度之和,如公式(10)所示:
式中,σ為權(quán)重,Pi(?x)為梯度稀疏度。
梯度稀疏度的最小化,本文采用L0 正則化方法實現(xiàn),如公式(11)所示:
其中,x為清晰圖像;y為模糊圖像;γ和λ為正則化參數(shù);k為模糊核;?為卷積運算符;‖‖2為正則約束項。
考慮到公式(11)無法直接求最小值,因此采用半二次分裂的優(yōu)化方法,即固定x,μ,g中任意兩個變量來交替求最小值。實驗發(fā)現(xiàn),采用梯度域預(yù)估模糊核比一般像素值預(yù)估模糊核效果要好。
本文實驗在Macbook air 1.8GHz Intel Core i5,8GB 內(nèi)存的硬件環(huán)境和MacOS High Sierra10.13.3、Matlab R2017a 的軟件環(huán)境條件下進行。
利用本文算法對模糊退化圖像進行盲去卷積復(fù)原,樣本復(fù)原圖像及其最大值歸一化后的模糊算子見表1??梢郧宄吹?,對于模糊文字、海報及實際車輛的復(fù)原效果較好。特別的,對于極度模糊的車輛,圖像復(fù)原后可以清晰辨認車輛車牌號后6 位為B 8L358。
表1 退化圖像復(fù)原結(jié)果圖Tab.1 Restoration results of degraded images
利用退化圖像與清晰圖像之間部分相似性和稀疏先驗條件構(gòu)建數(shù)學模型,以提高采集圖像的質(zhì)量。首先,構(gòu)建基于圖像塊期望的高斯拉普拉斯相似性模型,使計算機學習過程簡化,速度加快;其次,通過概率統(tǒng)計中的近似最大后驗估計算法,最終實現(xiàn)采集退化圖像的復(fù)原。通過對典型退化圖像樣本的算法測試可以看出,該算法對于模糊圖像的還原效果顯著,具有極大的現(xiàn)實意義。