混合梯度稀疏先驗約束下的圖像盲復(fù)原

徐寧珊，王 琛，任國強，黃永梅

混合梯度稀疏先驗約束下的圖像盲復(fù)原

徐寧珊1,2，王 琛3，任國強1*，黃永梅1

1中國科學(xué)院光電技術(shù)研究所，四川 成都 610209；2中國科學(xué)院大學(xué)，北京 1000493航天系統(tǒng)部裝備部軍代局成都室，四川 成都 610041

圖像盲復(fù)原旨在無參考的情況下準(zhǔn)確估計模糊核并恢復(fù)潛在的清晰圖像?，F(xiàn)有研究成果表明，利用全變分模型對高階圖像梯度先驗約束進行描述可以有效抑制復(fù)原圖像中產(chǎn)生的階梯效應(yīng)。本文在實驗觀察和研究的基礎(chǔ)上，提出了采用稀疏先驗約束模型對盲復(fù)原過程進行正則化的方法，以獲得更佳的圖像復(fù)原效果。該方法利用圖像高階梯度的稀疏性，通過與低階梯度相結(jié)合來構(gòu)造混合梯度正則項。同時，在正則項中引入基于圖像熵的自適應(yīng)因子，來調(diào)節(jié)迭代優(yōu)化過程中兩類梯度先驗的比例，以此獲得更好的收斂性。仿真與實驗證明，與現(xiàn)有圖像盲復(fù)原先進方法相比，本文方法具有更優(yōu)越的圖像復(fù)原性能。

圖像盲復(fù)原；高階梯度；稀疏先驗；自適應(yīng)加權(quán)

1 引 言

數(shù)字圖像在成像、存儲及傳輸?shù)拳h(huán)節(jié)會受到不同形態(tài)的圖像退化，主要包括離焦模糊、運動模糊、噪聲污染等。這些退化因素造成圖像質(zhì)量下降，從而影響后續(xù)圖像理解、圖像解譯等應(yīng)用。因此，為了對退化圖像的質(zhì)量進行提升，提高其應(yīng)用價值，需要進行圖像復(fù)原處理。實際上，在衛(wèi)星遙感、醫(yī)療、天文等諸多領(lǐng)域，由退化圖像來恢復(fù)原始信息一直是非常重要的問題，長期以來受到了廣泛地關(guān)注和研究。

圖像退化過程的一般形式可描述為

其中：表示點擴展函數(shù)(point spread function，PSF)，又稱模糊核；表示隨機噪聲；表示降質(zhì)圖像。圖像復(fù)原的目的是從觀測圖像恢復(fù)出潛在清晰圖像。根據(jù)圖像退化的模糊核是否已知，圖像復(fù)原技術(shù)可分為非盲復(fù)原和盲復(fù)原兩類。早期的圖像復(fù)原技術(shù)主要圍繞模糊核已知的非盲復(fù)原展開，然而在大多數(shù)實際工程應(yīng)用中，我們無法獲得模糊核的準(zhǔn)確信息，因此非盲復(fù)原方法在實際應(yīng)用中受到極大的限制，而盲復(fù)原則得到了研究者們越來越多的關(guān)注。本文對圖像盲復(fù)原進行研究，復(fù)原過程中同時對模糊核和清晰圖像進行估計。

1.1 研究現(xiàn)狀

現(xiàn)有的圖像盲復(fù)原研究成果主要集中于傳統(tǒng)的迭代優(yōu)化框架，通過利用各類不同的圖像先驗和模糊核先驗來對迭代估計過程進行約束。尤其是稀疏先驗約束模型，在近年來受到專家學(xué)者們的廣泛關(guān)注和研究，相關(guān)成果也證明了稀疏先驗在圖像盲復(fù)原問題上的優(yōu)越性[1-10]。

圖像梯度是常用的稀疏先驗之一，其主要利用自然圖像梯度分布的稀疏性。最早由Weiss等人[1-2]發(fā)現(xiàn)并提出自然圖像的梯度分布具有重尾特性，基于這一發(fā)現(xiàn)，F(xiàn)ergus等人[3]提出可以采用高斯混合模型來擬合圖像梯度分布，然后通過變分貝葉斯方法進行模糊核估計，最后采用Richardson-Lucy(RL)非盲復(fù)原方法來恢復(fù)清晰圖像。但是，RL算法的引入導(dǎo)致復(fù)原圖像產(chǎn)生明顯的振鈴效應(yīng)。隨后，Shan等人[4]提出采用連續(xù)分段函數(shù)來擬合圖像梯度的重尾分布，同時采用圖像邊緣信息來估計模糊核，并在圖像的平滑區(qū)域施加平滑約束來進一步抑制振鈴效應(yīng)的產(chǎn)生。Cho等人[5]進行了進一步的改進，他們提出在每次迭代過程中引入雙邊濾波來抑制圖像噪聲，然后采用Shock濾波進行圖像增強，再基于閾值法對圖像中的有效邊緣進行選擇。但是，受圖像邊緣細節(jié)的影響，該算法復(fù)原性能不穩(wěn)定。

Levin等人[6]采用超拉普拉斯分布來對圖像梯度分布進行擬合，然后通過最大后驗概率(maximum a posteriori，MAP)模型對運動模糊下的退化圖像進行復(fù)原，實現(xiàn)了較好的效果。Xu等人[7]提出采用0稀疏表示來描述圖像顯著邊緣分布，實現(xiàn)了快速收斂和較好的圖像復(fù)原效果。Wang等人[8]提出了一種0-1范數(shù)相結(jié)合的稀疏表示方法，通過對圖像及其梯度分別采用0和1范數(shù)來構(gòu)造先驗約束模型，交替復(fù)原出圖像模糊核和顯著邊緣，最后由非盲復(fù)原方法恢復(fù)出清晰圖像。

除了基于迭代優(yōu)化的圖像盲復(fù)原方法，在過去十年間，基于深度學(xué)習(xí)的盲復(fù)原方法也得到了廣泛關(guān)注和快速發(fā)展，許多基于深度神經(jīng)網(wǎng)絡(luò)的方法相繼被提出[11-16]。Zhang等人[14]提出了一種卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)。Tao等人[12]提出了一種基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)。Li等人[16]提出將神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的總變分正則化手段相結(jié)合，使得算法兼具這兩類盲復(fù)原算法的優(yōu)勢。綜合來看，學(xué)習(xí)類的方法在圖像復(fù)原效果上普遍優(yōu)于傳統(tǒng)迭代優(yōu)化的方法，但也普遍存在對訓(xùn)練數(shù)據(jù)集具有依賴性的缺點。由于實際應(yīng)用場景中圖像退化形態(tài)的復(fù)雜性，基于學(xué)習(xí)訓(xùn)練的方法在訓(xùn)練數(shù)據(jù)集的充分性方面必然存在局限性。同時，相關(guān)研究[16]指出，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)通常是憑經(jīng)驗確定的，其實際功能性很難得到解釋。

1.2 本文研究內(nèi)容

本文的研究主要受兩方面的啟發(fā)。一方面，盡管在圖像盲復(fù)原領(lǐng)域已經(jīng)積累了大量的研究成果，現(xiàn)有算法的圖像復(fù)原能力仍然有限，對清晰圖像和模糊核進行更為準(zhǔn)確的估計仍然是面臨挑戰(zhàn)的問題。另一方面，當(dāng)前圖像盲復(fù)原研究呈現(xiàn)出采用多種先驗進行組合約束的趨勢，這種組合策略可以有效提升圖像復(fù)原效果。因此，對圖像的先驗表示進行深入研究，以發(fā)掘更有效的先驗約束模型十分必要。

在本文的研究中，提出了一種具有自適應(yīng)特性的圖像混合梯度稀疏先驗約束模型。具體而言，我們提出可以將自然圖像高階梯度分布的稀疏性用于圖像盲復(fù)原研究，通過高階梯度和低階梯度的結(jié)合來建立混合稀疏先驗約束。同時，引入基于模糊測度的比例因子來自適應(yīng)地調(diào)節(jié)兩類梯度先驗在正則項中的比例。該方法的主要貢獻有以下兩點：

1) 通過研究圖像高階梯度的稀疏性，提出了一種低階梯度和高階梯度相結(jié)合的稀疏先驗約束策略，并通過實驗驗證了該策略可以有效提升圖像復(fù)原效果。

2) 介紹了一種基于自適應(yīng)的迭代優(yōu)化手段。通過構(gòu)造基于圖像熵的比例因子來對圖像迭代求解過程進行調(diào)節(jié)，使得算法具有更好的收斂性。

2 理論推導(dǎo)

2.1 混合梯度稀疏先驗?zāi)Ｐ偷慕?/h3>

圖像高階梯度主要應(yīng)用于圖像去噪領(lǐng)域，其本質(zhì)是利用了高階微分算子的圖像平滑能力。目前，高階梯度已成功應(yīng)用于基于總變分先驗約束的圖像復(fù)原方法中[17-18]，實驗表明它可以有效改善由TV范數(shù)造成的階梯效應(yīng)。然而，在對圖像高階梯度分布進行統(tǒng)計分析的過程中，發(fā)現(xiàn)自然圖像的高階梯度比低階梯度具有更明顯的重尾分布特性。如圖1所示，黃色柱狀圖描述的高階梯度分布比藍色柱狀圖描述的低階梯度分布具有更多零值成分，以及更明顯的拖尾效應(yīng)。這表明圖像高階梯度具有顯著稀疏性，可用于構(gòu)造稀疏先驗正則項。由此開展將高階梯度應(yīng)用于稀疏正則化的研究。

圖1 自然圖像高階梯度分布和低階梯度分布。由水平梯度和垂直梯度可得到相似結(jié)論， 圖中僅對水平梯度分布進行展示

基于迭代優(yōu)化的圖像盲復(fù)原方法可描述為如下目標(biāo)函數(shù)優(yōu)化問題：

Kotera等人[9]通過研究證明了采用稀疏先驗來描述一階梯度的重尾分布有助于恢復(fù)圖像顯著邊緣，同時能有效抑制噪聲和振鈴效應(yīng)?；谶@一結(jié)論，在研究初期考慮同時利用圖像高階梯度和低階梯度的稀疏性，將兩類梯度相結(jié)合得到稀疏正則項：

圖2 不同比例梯度約束下的圖像復(fù)原效果。(a)，(b) 為模糊圖像；(c)，(d)為圖(a)復(fù)原圖像；(e)，(f)為圖(b)復(fù)原圖像。

考慮到迭代優(yōu)化過程的中間圖像會逐漸趨于清晰(模糊程度逐漸降低)，由此提出一種輔助迭代優(yōu)化策略，來對迭代優(yōu)化進程中的參數(shù)進行自適應(yīng)調(diào)節(jié)，具體的參數(shù)模型建立過程見3.1.1小節(jié)。在本文中，定義為如下形式：

其中：表示圖像熵(Entropy。然后通過對式(2)進行代換，獲得本文方法的最終目標(biāo)函數(shù)：

上式所描述的是一個高度非凸問題，為了對其進行優(yōu)化求解，對和進行交替迭代更新。下面對具體的求解過程進行論述。

2.2 目標(biāo)函數(shù)求解

2.2.1子問題

算法1迭代求解

Loop

在迭代更新結(jié)束后，對估計所得的模糊核施加歸一化約束和非負約束，該先驗約束模型可描述為如下形式：

2.2.2子問題

與子問題的求解過程相似，引入輔助變量：

將目標(biāo)函數(shù)轉(zhuǎn)化為如下最小化問題：

其中：是上一次迭代估計得到的圖像模糊核的頻域表示。同樣地，引入半二次懲罰項后目標(biāo)函數(shù)轉(zhuǎn)化為如下表達式：

通過控制變量法對上式在頻域進行求解，得到變量(,)的頻域閉式解。關(guān)于子問題的求解過程總結(jié)為算法2，具體算法流程如下：

算法2迭代求解

輸入和初始值:

循環(huán)終止條件tol，最大循環(huán)數(shù)。

為了書寫簡單，令：

Loop

2.2.3子問題

對上式的求解可簡化為最小化問題：

的求解。在0<<1的情況下，不存在閉式解，可以通過查找表[20]方法來快速得到的近似解。

3 實驗結(jié)果與分析

3.1 實驗參數(shù)設(shè)計

3.1.1 自適應(yīng)因子

在2.1小節(jié)介紹了有關(guān)圖像低階梯度和高階梯度在不同實驗樣本下需要不同比例的組合這一發(fā)現(xiàn)，同時，提出引入自適應(yīng)因子來調(diào)整迭代更新過程中這兩類先驗約束的比例?？紤]到采用數(shù)學(xué)表示對這一現(xiàn)象進行精確建模的困難性，采用數(shù)據(jù)擬合的方式對參數(shù)進行建模。

為了實現(xiàn)自適應(yīng)目的，首先需要對迭代優(yōu)化過程的中間圖像進行實時模糊度度量。圖像熵(Entroy)是常用的圖像模糊度指標(biāo)之一，其計算過程簡單且快速，本文將其選為圖像模糊度度量指標(biāo)。由此，對參數(shù)的建模過程即為對圖像熵和之間的相關(guān)關(guān)系進行建模的過程。我們采用Levin數(shù)據(jù)集[6]中共計32幅模糊圖像開展建模實驗(參考圖像已知)，在實驗全過程中我們保持其他模型參數(shù)固定不變，僅對進行調(diào)整。對于每一個模糊圖像樣本，初始值設(shè)為1，調(diào)參標(biāo)準(zhǔn)為選擇使得復(fù)原圖像與參考圖像間的結(jié)構(gòu)相似性(SSIM)度量值更高的參數(shù)值。最終通過實驗獲得32組(，)相關(guān)的數(shù)據(jù)點用于模型擬合(擬合過程詳見附錄)，得到模型如式(6)所示。

通過對該模型進行分析，我們提出了關(guān)于參數(shù)如何對迭代優(yōu)化過程產(chǎn)生影響的一種可能性解釋。如圖3所示，隨著圖像模糊程度的增加，圖像高階梯度的重尾分布特性減弱，而低階梯度受到的影響較小。在這種情況下，L范數(shù)下的稀疏先驗約束模型需要提高對圖像高階梯度的約束程度，以增強高階梯度先驗的表達。而通過文中提出的自適應(yīng)輔助策略，靈活調(diào)節(jié)了圖像高階梯度先驗強度，進而提升了高階梯度先驗有效性，從而保護了算法的圖像復(fù)原性能。需要特別強調(diào)的是，通過手動調(diào)參和數(shù)據(jù)擬合來確定數(shù)學(xué)模型的方式必然存在一定的誤差，其準(zhǔn)確性有待提升。但是，本文所介紹的參數(shù)自適應(yīng)調(diào)節(jié)策略的主要意義在于通過實驗驗證了它能有效對圖像復(fù)原效果進行改善，能更好地滿足實際應(yīng)用中對圖像質(zhì)量指標(biāo)的要求。在未來的研究中，會針對這一問題進行更加深入的分析和驗證。

3.1.2 其他參數(shù)

算法的迭代優(yōu)化基于多尺度框架展開[9]，這樣做的目的是避免迭代陷入局部最優(yōu)解。同時，在每輪迭代結(jié)束后將保真項的權(quán)重乘以1.5，即逐漸釋放正則化所施加的約束，這有利于減弱復(fù)原圖像中的階梯效應(yīng)[21]。其他模型參數(shù)分別設(shè)置為：=1，α=0.01，α=10，β=1，β=104，=0.3，tol=0.001，=10。

3.2 實驗結(jié)果及數(shù)據(jù)分析

實驗使用BSDS[16]和GOPRO[11]兩個圖像數(shù)據(jù)集，對盲復(fù)原算法的復(fù)原能力進行實驗分析和驗證。BSDS數(shù)據(jù)集是一個合成圖像數(shù)據(jù)集，它采用BSDS500數(shù)據(jù)集[22]測試部分中的200幅參考圖像和4個仿真模糊核來生成800幅模糊圖像，并對每幅圖像添加標(biāo)準(zhǔn)差為0.01的高斯噪聲。GOPRO數(shù)據(jù)集是一個拍攝得到的真實圖像數(shù)據(jù)集，主要包括運動模糊和高斯模糊退化。

實驗采用兩項通用指標(biāo)來對圖像復(fù)原性能進行評價，分別為結(jié)構(gòu)相似性(SSIM)指標(biāo)和峰值信噪比(PSNR)指標(biāo)。采用六種現(xiàn)有的圖像盲復(fù)原算法與本文方法進行對比實驗，包括Krishnan[23]，Xu&Jia[7]，Kotera[9]，Hosseini[24]，Li[16]和Nah[11]。其中，前四種是基于迭代優(yōu)化框架的方法，后兩種是基于深度學(xué)習(xí)框架的方法。

3.2.1 算法有效性分析

為了驗證提出的盲復(fù)原方法的有效性，對正則項中不同先驗約束類型進行消融實驗，分為低階梯度稀疏先驗、混合梯度稀疏先驗和混合梯度自適應(yīng)稀疏先驗三種方案。實驗在BSDS數(shù)據(jù)集的后50%子集上展開，得到SSIM和PSNR指標(biāo)的平均結(jié)果如表1所示，實驗示例如圖4所示。

圖3 清晰圖像和退化圖像的高階梯度分布和低階梯度分布對比

表1 消融實驗算法性能比較

圖4 消融實驗復(fù)原效果

從實驗結(jié)果可以得出，本文所介紹的混合梯度先驗約束以及參數(shù)自適應(yīng)策略可以有效提升圖像復(fù)原能力。

由表1可知，本文所采用的正則化方案在性能指標(biāo)綜合評價上明顯優(yōu)于其他方案。由圖4可以得出，在保證顯著邊緣的情況下，本文方法可以更好地恢復(fù)圖像色彩、紋理等細節(jié)，使得復(fù)原圖像具有更好的視覺效果。

3.2.2 仿真數(shù)據(jù)集實驗分析

在BSDS合成數(shù)據(jù)集上對本文方法開展對比實驗，以此來評估本文方法相對于現(xiàn)有盲復(fù)原方法的復(fù)原性能。實驗同樣采用SSIM和PSNR兩項指標(biāo)來進行評價，最終的實驗結(jié)果和復(fù)原圖像示例分別如表2和圖5所示，最佳指標(biāo)值采用加粗進行強調(diào)。

從對比結(jié)果看出，本文方法在復(fù)原性能上優(yōu)于對比實驗中采用的其他方法。文獻[11]、[23]和[24]所提出方法的復(fù)原結(jié)果中仍存在大尺度的圖像模糊，而相比于文獻[7]、[16]中的方法，本文方法不僅能很好的恢復(fù)圖像細節(jié)，使得復(fù)原圖像邊緣更為銳利，還能有效保持圖像的整體平滑度，使得圖像視覺效果更佳。

表2 不同方法在合成數(shù)據(jù)集上的實驗結(jié)果

圖5 不同方法在合成數(shù)據(jù)集上的復(fù)原結(jié)果

Columns from top to bottom: blurry image, Li, Nah, Krishnan, Xu and Jia, Hosseini, and ours

3.2.3 真實數(shù)據(jù)集實驗分析

為了進一步驗證本文算法在實際應(yīng)用中的有效性，在真實退化的圖像數(shù)據(jù)集上進行性能評估。圖6展示了真實圖像數(shù)據(jù)的盲復(fù)原結(jié)果，各方法的性能評估結(jié)果如表3所示，最佳指標(biāo)值采用加粗進行強調(diào)。

由表3可知，本文得到的平均PSNR指標(biāo)優(yōu)于其他方法，平均SSIM指標(biāo)略小于Nah等人的方法，但明顯優(yōu)于其他相關(guān)方法。由圖6可以得到與圖5類似的結(jié)論，本文方法可以恢復(fù)出更銳利的邊緣和更平滑的細節(jié)信息。綜合來看，本文所提出的圖像盲復(fù)原方法在主觀視覺效果和性能評價指標(biāo)上均處于相對領(lǐng)先水平。

需要特別指出，從圖5和圖6的復(fù)原結(jié)果中可以觀察到仍存在一定程度的振鈴效應(yīng)，在進一步的研究工作中對這一現(xiàn)象進行抑制。

4 結(jié) 論

圖6 不同方法在真實數(shù)據(jù)集上的實驗結(jié)果

Columns from left to right: blurry image, Li, Nah, Krishnan, Xu&Jia, Hosseini and ours

表3 不同方法在真實數(shù)據(jù)集上的實驗結(jié)果

本文提出了一種具有自適應(yīng)特性的混合梯度稀疏先驗約束模型。通過利用圖像高階梯度和低階梯度分布的稀疏特性，構(gòu)造了一種基于稀疏先驗的混合梯度正則項，并引入自適應(yīng)因子來對兩類梯度先驗的比例進行實時調(diào)節(jié)，以保證迭代優(yōu)化求解更好地收斂。實驗結(jié)果表明，本文方法在合成圖像數(shù)據(jù)集和真實圖像數(shù)據(jù)上均表現(xiàn)出較好的圖像復(fù)原性能，可以很好地平衡復(fù)原圖像細節(jié)的銳度和平滑度，使得圖像主觀視覺效果更佳。在多方面的算法性能評價中，本文方法的有效性也得到了對比和驗證。

根據(jù)本文的研究結(jié)論，圖像高階梯度的稀疏性可以很好地用于稀疏先驗正則化研究中。下一步的研究將針對高階梯度先驗約束模型的構(gòu)造以及振鈴效應(yīng)的抑制兩方面展開。

附 錄

模型擬合通過SPSS統(tǒng)計分析工具的回歸分析功能實現(xiàn)。根據(jù)待擬合數(shù)據(jù)點的空間分布規(guī)律，選擇線性模型、對數(shù)模型和倒數(shù)模型作為候選模型，分別進行回歸曲線估計，得到回歸分析結(jié)果如表4所示，回歸曲線估計結(jié)果如圖7所示。

表4 模型總計及參數(shù)評估

圖7 回歸曲線估計圖

表5 不同配置下算法在Levin圖像庫[6]上復(fù)原結(jié)果的平均SSIM值

由表4可知，倒數(shù)模型的確定系數(shù)2最大，且取值為1。因此，結(jié)合模型參數(shù)評估結(jié)果，可初步判定的表達式形如：

在該模型基礎(chǔ)上對分別進行如下定義：

然后，對不同定義下的盲復(fù)原算法性能進行分析。由Levin圖像庫[6]得到各情況下復(fù)原圖像與參考圖像間的平均SSIM值，如表5所示。

由表5可知，2的情況下復(fù)原算法可取得最佳性能，因此，本文的研究中將定義為

[1] Weiss Y, Freeman W T. What makes a good model of natural images?[C]//, 2007: 1–8.

[2] Levin A, Weiss Y, Durand F,. Understanding and evaluating blind deconvolution algorithms[C]//,2009: 1964–1971.

[3] Fergus R, Singh B, Hertzmann A,.Removing camera shake from a single photograph[J].,2006, 25(3): 787–794.

[4] Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]., 2008, 27(3): 1–10.

[5] Cho S, Lee S. Fast motion deblurring[J].,2009, 28(5): 1–8.

[6] Levin A, Weiss Y, Durand F,.Efficient marginal likelihood optimization in blind deconvolution[C]//, 2011: 20–25.

[7] Xu L, Zheng S C, JiaJ Y. Unnatural0sparse representation for natural image deblurring[C]//, 2013: 1107–1114.

[8] Wang K, Shen Y, Xiao L,.Blind motion deblurring based on fused?-?regularization[C]//,2015: 1–10.

[9] Kotera J, ?roubek F, MilanfarP. Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors[C]//,2013: 59–66.

[10] Zhou H R, Tian Y, Rao C H. Blind restoration of atmospheric turbulence degraded images by sparse prior model[J]., 2020, 47(7): 190040.

周海蓉, 田雨, 饒長輝. 稀疏先驗型的大氣湍流退化圖像盲復(fù)原[J]. 光電工程, 2020, 47(7): 190040.

[11] Nah S, Kim T H, LeeK M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]//, 2017: 257–265.

[12] Tao X, Gao H Y, Shen X Y,.Scale-recurrent network for deep image deblurring[C]//, 2018: 8174–8182.

[13] Yan R M, Shao L. Blind image blur estimation via deep learning[J].,2016,25(4): 1910–1921.

[14] Zhang J W, Pan J S, Ren J,.Dynamic scene deblurring using spatially variant recurrent neural networks [C]//, 2018: 2521–2529.

[15] Xu X Y, Pan J S, Zhang Y J,. Motion blur kernel estimation via deep learning[J]., 2018, 27(1): 194–205.

[16] Li Y L, Tofighi M, Geng J Y,.Efficient and interpretable deep blind image deblurring via algorithm unrolling[J].,2020, 6: 666–681.

[17] Lv X G, Song Y Z, WangSX,. Image restoration with a high-order total variation minimization method[J]., 2013, 37(16–17): 8210–8224.

[18] Mu S S, Zhang J F. An anisotropic edge total generalized variation energy super-resolution based on fast1-norm dictionary edge representations[J]., 2019, 46(11): 180499.

穆紹碩, 張解放. 基于快速1-范數(shù)稀疏表示和TGV的超分辨算法研究[J]. 光電工程, 2019, 46(11): 180499.

[19] GoldsteinT, Osher S. The split Bregman method for1-regularized problems[J].,2009, 2(2): 323–343.

[20] Krishnan D, FergusR. Fast image deconvolution using hyper-laplacian priors[C]//, 2009: 1033–1041.

[21] Perrone D, FavaroP. Total variation blind deconvolution: the devil is in the details[C]//,2014: 2909–2916.

[22] Martin D, Fowlkes C, Tal D,. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//., 2001: 416–423.

[23] Krishnan D, Tay T, FergusR. Blind deconvolution using a normalized sparsity measure[C]//,2011: 233–240.

[24] Hosseini M S, PlataniotisK N. Convolutional deblurring for natural imaging[J].,2019, 29: 250–264.

Blind image restoration method regularized by hybrid gradient sparse prior

Xu Ningshan1,2, Wang Chen3, Ren Guoqiang1*, Huang Yongmei1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China;3Chengdu Office of Military Representative Bureau of Equipment Department of Aerospace System Department, Chengdu, Sichuan 610041, China

Blind image restoration performance of the proposed method

Overview:Blind image restoration is widely used to improve the quality of degraded images with no-reference. Its main purpose is to accurately estimate the blur kernel and the wanted clear image. In the blind restoration research based on high-order image gradient priors, most of the existing works employ the total variation to model the gradient prior constraints. This class of method can effectively suppress the blocking artifact in the restored image. On the basis of experimental observation and research, this paper proposes to use the sparse prior constraint model to regularize the blind restoration process to obtain a better image restoration performance. On the one hand, by looking into the histogram of high-order and low-order gradients of a natural image, it can be found that the sparsity of high-order gradients is even more salient than that of low-order gradients. On the other hand, the existing researches show that the use of sparse priors to describe a heavy-tailed distribution of low-order gradients helps to restore the significant edges of the have image while effectively suppressing noise and ringing effects. Therefore, this work proposes to combine the low-order and high-order gradient priors into a new sparse regularization term so as to benefit from both types of gradient priors. In the meantime, an interesting experimental finding is introduced in this work that different degrees of image blur favor different ratios of the two types of gradient priors which are beneficial to obtain the optimal solution. Therefore, to obtain better iteration convergence, an adaptive factorbased on image entropy is introduced to adjust the ratio of the two types of gradient priors in the iterative optimization process. Since it is hard to model the parametermathematically, the expression ofis determined by manually parameter adjustment and statistically data fitting in this work. The overall iterative optimization process is developed in a coarse-to-fine manner, and the split Bergman method is employed to deal with the non-convex problem of each minimization subtask. Finally, to analyze the performance of the proposed blind image restoration method, the ablation study was firstly conducted to demonstrate the efficiency of the employed strategies. Then, on the BSDS image dataset (simulated dataset) and the GOPRO image dataset (real blurred dataset), the proposed method was compared with the existing state-of-the-art image restoration methods. Experimental results show that our method can recover sharper edges and smoother details as well as introduce less unwanted artifacts, and our method is at a relatively leading level not only in subjective visual effects but also in performance evaluation indicators. All the above advantages demonstrate that the proposed method has superior image restoration performance.

Xu N S, Wang C, Ren G Q,Blind image restoration method regularized by hybrid gradient sparse prior[J]., 2021, 48(6): 210040; DOI:10.12086/oee.2021.210040

Blind image restoration method regularized by hybrid gradient sparse prior

Xu Ningshan1,2, Wang Chen3, Ren Guoqiang1*, Huang Yongmei1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China;3Chengdu Office of Military Representative Bureau of Equipment Department of Aerospace System Department, Chengdu, Sichuan 610041, China

Blind image restoration aims to accurately estimate the blur kernel and the wanted clear image with no-reference. Existing researches show that the use of the Total Variation to model the high-order image gradient prior constraints can effectively suppress the blocking artifact generated in the restored image. On the basis of experimental observation and research, this paper proposes to use the sparse prior constraint model to regularize the blind restoration process to obtain a better image restoration performance. Our method makes use of the sparsity of the high-order gradient of the image and combines it with the low-order gradient to construct the mixed gradient regularization term. At the same time, an adaptive factor based on image entropy is introduced to adjust the ratio of the two types of gradient priors in the iterative optimization process so as to obtain better convergence. Simulated and experimental results prove that compared with the existing state-of-the-art methods of blind image restoration, the proposed method has superior image restoration performance.

blind image restoration; high-order gradient; sparse prior; adaption

徐寧珊，王琛，任國強，等. 混合梯度稀疏先驗約束下的圖像盲復(fù)原[J]. 光電工程，2021，48(6): 210040

Xu N S, Wang C, Ren G Q,Blind image restoration method regularized by hybrid gradient sparse prior[J]., 2021, 48(6): 210040

TP391.41

A

10.12086/oee.2021.210040

2021-01-27；

2021-05-06

國家重點研發(fā)計劃資助項目(2016YFB0500201)

徐寧珊(1994-)，女，博士研究生，主要從事無參考圖像質(zhì)量評價及圖像復(fù)原技術(shù)的研究。E-mail：xuningshan16@mails.ucas.ac.cn

任國強(1971-)，男，博士，研究員，主要從事光電成像領(lǐng)域信號與信息處理、電子與通信工程的技術(shù)的研究。E-mail：renguoqiang@ioe.ac.cn

National Key Research and Development Project (2016YFB0500201)

* E-mail: renguoqiang@ioe.ac.cn