一種循環(huán)多尺度的圖像盲去模糊網(wǎng)絡(luò)

張玉波, 王建陽, 韓 爽, 王冬梅

(東北石油大學(xué) 電氣信息工程學(xué)院, 黑龍江 大慶 163318)

圖像去模糊即從一張模糊圖像中復(fù)原該圖像的紋理細(xì)節(jié), 使其清晰化[1]. 在深度學(xué)習(xí)算法普及前, 圖像去模糊一般采用去卷積操作, 嚴(yán)重依賴于對模糊核的計算. 傳統(tǒng)去模糊算法目前已有許多, 如Xu等[2]提出了一種基于空間先驗(yàn)和迭代支持檢測核精化的兩階段模糊核估計方法, 利用去卷積模型進(jìn)行盲去模糊; Sun等[3]提出了補(bǔ)丁先驗(yàn)的方法, 利用自然圖像中提取的邊緣圖像塊作為先驗(yàn)信息, 約束圖像間的相似性, 生成高質(zhì)量的圖像; Xu等[4]利用L0稀疏先驗(yàn)提出了一種有效的去模糊方法, 該方法可在少量迭代中迅速收斂, 有較快的運(yùn)行時間與較好的圖像質(zhì)量; Zhang等[5]提出了利用先驗(yàn)知識抑制圖像處理中的偽影, 提升了復(fù)原圖像的清晰度； Pan等[6]針對文本圖像去模糊提出了一種基于L0正則化先驗(yàn)的方法, 可對低照度文本圖像進(jìn)行有效的去模糊; Yan等[7]提出了一種極致通道先驗(yàn)(extreme channels prior)方法, 基于亮通道先驗(yàn)聯(lián)合暗通道先驗(yàn), 進(jìn)一步提升了圖像去模糊的效果與算法的穩(wěn)定性. 但由于傳統(tǒng)的模糊模型依賴于圖像的先驗(yàn)知識[8], 因此盡管在一些專用領(lǐng)域表現(xiàn)出優(yōu)異的性能, 但在面對多種因素導(dǎo)致的模糊時, 通常泛化性較差.

近年來, 深度學(xué)習(xí)框架在圖像去模糊中得到廣泛應(yīng)用, 獲得了較好的效果. 該類算法通過有效地學(xué)習(xí)原始圖像與模糊圖像之間的對應(yīng)關(guān)系執(zhí)行去模糊操作. Sun等[9]使用該類技術(shù)反向計算出圖像的模糊核, 然后利用其進(jìn)行復(fù)原； Nah等[10]搭建了一種從粗到細(xì)的多尺度卷積框架對圖像進(jìn)行去模糊, 在使用視頻合成的真實(shí)模糊圖像上取得了優(yōu)異的成績； Tao等[11]根據(jù)金字塔逐步恢復(fù)不同尺度原始圖像的策略, 提出了一種尺度循環(huán)卷積網(wǎng)絡(luò)的編解碼結(jié)構(gòu), 不同尺度的子網(wǎng)絡(luò)共享參數(shù), 從粗到精的端到端去模糊； Noroozi等[12]使用融合多個分辨率特征的金字塔結(jié)構(gòu)與短跳連接構(gòu)建去模糊網(wǎng)絡(luò)； Gao等[13]提出了PSS-NSC網(wǎng)絡(luò), 使用跨層連接和網(wǎng)絡(luò)參數(shù)共享機(jī)制, 確保了網(wǎng)絡(luò)可以自動識別到各尺度下最重要的特征; Cai等[14]使用一種明暗通道先驗(yàn)框架, 通過將明暗通道先驗(yàn)嵌入卷積層中, 取得了較好的去模糊效果； Kupyn等[15]設(shè)計了一個新的圖像去模糊網(wǎng)絡(luò), 通過條件生成對抗網(wǎng)絡(luò)(GAN)進(jìn)行去模糊, 與一般的深度學(xué)習(xí)方法相比, 增加了處理速度; 此后, Kupyn等[16]又搭建了一種具有雙鑒別器的GAN網(wǎng)絡(luò), 在框架中使用特征塔形結(jié)構(gòu), 由于該框架使用了最新的輕量化網(wǎng)絡(luò), 使得其較其他經(jīng)典網(wǎng)絡(luò)計算速度更快； Gong等[17]搭建了一種可進(jìn)行自學(xué)習(xí)的去模糊GAN框架, 該框架在處理圖像的小范圍模糊去除上獲得了較理想的結(jié)果； Lu等[18]提出了解纏網(wǎng)絡(luò)分離圖像的語義和特征, 通過將模糊特征編入網(wǎng)絡(luò)提升網(wǎng)絡(luò)的處理能力.

傳統(tǒng)的圖像去模糊方法通常先對模糊核進(jìn)行估算, 通過計算分析得到大致的模糊核后, 再將問題簡化為模糊核已知的反向卷積數(shù)學(xué)問題. 而該方法的缺陷是無法對多模糊核的數(shù)據(jù)集進(jìn)行有效擬合, 使得該類方法應(yīng)用范圍較單一. 而深度學(xué)習(xí)算法龐大的網(wǎng)絡(luò)層提供了強(qiáng)大的擬合能力, 使其可解決這類缺陷, 但越來越多的網(wǎng)絡(luò)層疊加也使得網(wǎng)絡(luò)的參數(shù)幾何倍增, 在網(wǎng)絡(luò)結(jié)構(gòu)上較龐大, 且損失函數(shù)通常較單一, 生成對抗網(wǎng)絡(luò)類的算法雖然通常速度較快, 易于訓(xùn)練[19], 但效果一般, 穩(wěn)定性較差. 因此, 本文提出一種基于循環(huán)多尺度的圖像盲去模糊網(wǎng)絡(luò), 采用從低尺度到高尺度的方法逐步恢復(fù)圖像, 利用參數(shù)共享機(jī)制在避免參數(shù)過多的同時對圖像進(jìn)行由粗到細(xì)的處理. 通過嵌入通道注意力的殘差通道選擇模塊和圖像特征跨層直連加強(qiáng)網(wǎng)絡(luò)的去模糊性能, 所設(shè)計的損失函數(shù)可綜合計算圖像的亮度、 結(jié)構(gòu)對比度及均方誤差, 以提升去模糊后圖像的真實(shí)性. 實(shí)驗(yàn)結(jié)果表明, 在指標(biāo)與圖像主觀對比上, 本文算法優(yōu)于其他經(jīng)典的圖像盲去模糊網(wǎng)絡(luò), 具有較穩(wěn)定的圖像去模糊性能.

1 去模糊網(wǎng)絡(luò)設(shè)計

1.1 圖像退化模型

圖像在生成、 獲取、 拷貝和存放過程中, 由于拍攝環(huán)境較差, 相機(jī)硬件損壞或頻繁存取壓縮圖像等會導(dǎo)致其出現(xiàn)細(xì)節(jié)失真等問題, 而模糊圖像不利于圖像識別、 衛(wèi)星測繪和案件偵破等實(shí)際應(yīng)用, 因此需要對已獲得的模糊圖像進(jìn)行去模糊處理.

由圖像模糊原理可建模為

B=I?K+N,

(1)

其中I為原清晰圖像,K為模糊核, ?為卷積操作,N為加性噪聲.模糊圖像可被視為原始圖像與模糊核先進(jìn)行卷積操作, 然后在加性噪聲N的影響下生成的.圖像去模糊的方法則根據(jù)模糊核是否已知分為盲去模糊和非盲去模糊兩類.盲去模糊在模糊核未知的情況下進(jìn)行, 而現(xiàn)實(shí)生活中圖像產(chǎn)生模糊的原因常復(fù)雜多變, 模糊核很難通過計算得出.因此研究盲去模糊問題, 對于如何從真實(shí)場景中復(fù)原清晰圖像具有重要意義.

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)模型上, 本文采用端到端的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[20]作為網(wǎng)絡(luò)的主要設(shè)計思想.為增強(qiáng)網(wǎng)絡(luò)的去模糊能力, 充分利用圖像自身的多尺度信息, 在網(wǎng)絡(luò)主體結(jié)構(gòu)上, 采用SRN網(wǎng)絡(luò)[11]的類U-Net結(jié)構(gòu)進(jìn)行圖像的尺度循環(huán)處理, 如圖1所示. 首先對原始圖像進(jìn)行下采樣, 再送入到主框架中開始去模糊處理, 然后將重建去模糊后的清晰圖像進(jìn)行上采樣升尺度, 再次輸入網(wǎng)絡(luò)進(jìn)行循環(huán)訓(xùn)練. 循環(huán)訓(xùn)練可保持參數(shù)的一致性, 由于同一張圖像的不同尺度具有相似的模糊特征, 因此, 參數(shù)共享機(jī)制可以充分發(fā)揮神經(jīng)網(wǎng)絡(luò)的去模糊能力, 并降低網(wǎng)絡(luò)的參數(shù)量. 在神經(jīng)網(wǎng)絡(luò)中, 圖像在網(wǎng)絡(luò)中循環(huán)的次數(shù)與初始時圖像縮小的尺度級別相匹配, 并最終通過多尺度的去模糊循環(huán)處理, 使圖像具有不同尺度的細(xì)粒度特征, 達(dá)到較好的去模糊效果.

圖1 尺度循環(huán)示意圖Fig.1 Schematic diagram of scale cycle

網(wǎng)絡(luò)的主體框架如圖2所示. ResNet[21]中的跳躍連接設(shè)計可實(shí)現(xiàn)不同層級特征的引入, 并優(yōu)化網(wǎng)絡(luò)訓(xùn)練, 同時受文獻(xiàn)[16]在DeblurGANV2網(wǎng)絡(luò)中長鏈接設(shè)計的啟發(fā), 本文在網(wǎng)絡(luò)中設(shè)計了從模糊圖像到重建圖像的跳躍直連. 通過將原始特征引入至網(wǎng)絡(luò)輸出, 實(shí)現(xiàn)圖像特征的充分融合. 跳躍長連接可使融合后的圖像獲得更理想的圖像視覺細(xì)節(jié), 如圖像的光影、 色彩等.

圖2 網(wǎng)絡(luò)主框架Fig.2 Main framework of network

在解碼器中, 為增強(qiáng)網(wǎng)絡(luò)的特征提取能力, 需使用基本卷積結(jié)構(gòu)對網(wǎng)絡(luò)進(jìn)行加深. 如圖3所示, 類似SRN網(wǎng)絡(luò)的設(shè)計[11], 在網(wǎng)絡(luò)內(nèi)部逐層特征提取的卷積層后, 使用3層堆疊的ResNet塊, 6組卷積層的卷積組強(qiáng)化特征提取. 在3個不同深度層級的卷積組中, 通道數(shù)分別設(shè)為32,64,128, 以逐級深化特征. 解碼器網(wǎng)絡(luò)結(jié)構(gòu)采用與編碼器一致的對稱設(shè)計.

圖3 卷積組Fig.3 Convolution group

受ResNet殘差思想的啟發(fā), 本文在神經(jīng)網(wǎng)絡(luò)內(nèi)部采用跳躍連接進(jìn)行特征的強(qiáng)化傳播. 為充分對編碼網(wǎng)絡(luò)的各通道特征進(jìn)行選擇, 本文設(shè)計了殘差通道選擇模塊, 如圖4所示. 模塊內(nèi)部采用通道注意力[22]的結(jié)構(gòu), 但不同于經(jīng)典的通道注意力模型. 由圖4可見, 本文在其基礎(chǔ)上引入了殘差思想, 在進(jìn)行通道選擇的同時保留了原始特征, 以增強(qiáng)網(wǎng)絡(luò)的去模糊能力.

圖4 通道選擇模塊Fig.4 Channel selection module

1.3 損失函數(shù)

為實(shí)現(xiàn)對網(wǎng)絡(luò)的優(yōu)化訓(xùn)練, 本文設(shè)計使用的損失函數(shù)為均方誤差(mean square error, MSE)和結(jié)構(gòu)相似性(structural similarity, SSIM)的多尺度組合, 可表示為

(2)

其中α為權(quán)重系數(shù), 通過實(shí)驗(yàn)進(jìn)行確定.最終的損失將由3個分辨率尺度進(jìn)行計算并求和得出.

為解決圖像盲去模糊算法在結(jié)構(gòu)亮度等細(xì)節(jié)上優(yōu)化無力的情況, 本文設(shè)計了多尺度結(jié)構(gòu)相似性損失, 其中結(jié)構(gòu)相似性定義為

(3)

結(jié)構(gòu)相似性綜合計算了模糊圖像與清晰圖像像素級別的亮度、 對比度和結(jié)構(gòu)差異, 將圖像均值作為圖像亮度的近似, 使用標(biāo)準(zhǔn)差表示圖像的對比度, 圖像結(jié)構(gòu)則采用協(xié)方差度量.當(dāng)使用兩張完全一樣的圖片時, SSIM值應(yīng)為1; 當(dāng)相似度趨近無窮小時, SSIM值則趨近于0. 由于SSIM與MSE在圖像訓(xùn)練中的優(yōu)化方向相反, 因此在擬合MSE的最小值時, SSIM值會增大. 為將其用于損失函數(shù)優(yōu)化, 需對其進(jìn)行再設(shè)計. 因此, 本文采用1-SSIM作為損失函數(shù), 并綜合計算3個尺度的圖像相似值求和, 在訓(xùn)練過程中將其最小化. 同時, 考慮到單獨(dú)使用SSIM可能會導(dǎo)致訓(xùn)練方向?qū)庥敖Y(jié)構(gòu)進(jìn)行過度擬合, 因此本文采用MSE均方誤差彌補(bǔ)SSIM作為損失函數(shù)時對訓(xùn)練產(chǎn)生的誤差, 使訓(xùn)練方向朝像素級的去模糊進(jìn)行. MSE計算公式為

(4)

MSE通過計算去模糊圖像與真實(shí)圖像之間像素級別的差異, 結(jié)合SSIM對亮度、 對比度和結(jié)構(gòu)共同對網(wǎng)絡(luò)訓(xùn)練進(jìn)行指導(dǎo). 在訓(xùn)練過程中, 網(wǎng)絡(luò)將在3個尺度計算模糊圖像與真實(shí)圖像之間的差值并加權(quán)相加, 將計算和作為最終損失進(jìn)行最小化, 從而指導(dǎo)函數(shù)收斂. 在本文算法中, 通過多次實(shí)驗(yàn)驗(yàn)證, 當(dāng)多尺度SSIM損失的參數(shù)α=0.04時, 可獲得較平衡的訓(xùn)練效果. 而在其他圖像復(fù)原任務(wù)中, 對兩種損失函數(shù)的比重進(jìn)行微調(diào)可獲得更優(yōu)的效果.

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

模糊數(shù)據(jù)集GoPro[10]使用GoPro運(yùn)動攝影機(jī)拍攝的高清圖像, 并利用影像臨近幀合成真實(shí)模糊圖, 使用臨近幀的中間幀表示清晰圖像, 構(gòu)建了大量的清晰-模糊圖像對. 本文采用其中3 214對圖像進(jìn)行實(shí)驗(yàn), 其中2 103對用于網(wǎng)絡(luò)訓(xùn)練, 1 111對用于結(jié)果測試.

為測試網(wǎng)絡(luò)的有效性與穩(wěn)定性, 本文使用數(shù)據(jù)集Kohler[23]進(jìn)一步進(jìn)行指標(biāo)對比. 數(shù)據(jù)集Kohler由4張圖片在12種不同類型的卷積核上卷積而成, 由于模糊核種類較多, 模糊形成復(fù)雜, 因此可測試網(wǎng)絡(luò)的去模糊性能. 本文采用真實(shí)數(shù)據(jù)集Lai[24]進(jìn)行直觀視覺對比, 該數(shù)據(jù)集包括文本、 建筑、 人臉等多種目標(biāo)圖像, 涵蓋了低照度、 高復(fù)雜性等多種特征, 可直觀檢驗(yàn)算法的泛化性與實(shí)際應(yīng)用能力.

2.2 模型訓(xùn)練

本文程序使用Tensorflow1.13[25]框架, 采用Python語言進(jìn)行構(gòu)建, 在Ubuntu系統(tǒng)的計算機(jī)平臺上使用Nvidia1080Ti顯卡進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)采用數(shù)據(jù)集GoPro進(jìn)行網(wǎng)絡(luò)訓(xùn)練, 在訓(xùn)練過程中圖片會被裁切為256×256大小的圖像輸入網(wǎng)絡(luò), 訓(xùn)練批尺寸設(shè)定為16, 采用Adam優(yōu)化器, 損失函數(shù)超參數(shù)設(shè)定為0.04, 網(wǎng)絡(luò)經(jīng)過2 000次迭代訓(xùn)練收斂, 得到模型的基本數(shù)據(jù).

2.3 實(shí)驗(yàn)結(jié)果及分析

為檢驗(yàn)程序的可靠性與實(shí)用性, 本文采用在圖像質(zhì)量評價中廣泛使用的量化評價指標(biāo), 將去模糊后的圖像與原始真實(shí)圖像進(jìn)行峰值信噪比(peak signal to noise ratio, PSNR)和結(jié)構(gòu)相似性的比較, 對比網(wǎng)絡(luò)為近年深度學(xué)習(xí)領(lǐng)域應(yīng)用廣泛的經(jīng)典算法, 兩個數(shù)據(jù)集的對比結(jié)果列于表1.

表1 數(shù)據(jù)集測試結(jié)果

由表1可見, 在數(shù)據(jù)集GoPro上進(jìn)行定量分析, 本文方法較文獻(xiàn)[16]方法在PSNR和SSIM上分別提升了0.72 dB和0.001 7, 在數(shù)據(jù)集Kohler上進(jìn)行定量分析, PSNR與SSIM則分別提升了0.03 dB和0.000 4. 與文獻(xiàn)[11]方法進(jìn)行比較, 在數(shù)據(jù)集GoPro上也有一定程度的提升. 而與其他的經(jīng)典深度學(xué)習(xí)算法相比, 如采用了三層網(wǎng)絡(luò)的文獻(xiàn)[10]方法, 本文方法具有更大的提升.

在具體圖像的定性直觀分析上, 本文選用在指標(biāo)測試中綜合表現(xiàn)更好的循環(huán)神經(jīng)(SRN)網(wǎng)絡(luò), 對比數(shù)據(jù)來源為GoPro測試集中的1 111張圖像. 圖5列舉了5張例圖及放大細(xì)節(jié), 其中每列從左至右分別為模糊圖像、 SRN去模糊圖像、 本文方法去模糊圖像和清晰圖像, 同時, 本文也對在數(shù)據(jù)集Kohle上測試的圖像進(jìn)行了細(xì)節(jié)對比, 結(jié)果如圖6所示. 由圖5和圖6可見, 與SRN算法相比, 本文方法在復(fù)原圖像上的特征輪廓更準(zhǔn)確和清晰, 光影和亮度方面與真實(shí)圖像相比更貼近, SRN算法在數(shù)據(jù)集Kohle的部分復(fù)原圖像在平滑的背景上出現(xiàn)了細(xì)微的偽影, 本文方法則較少出現(xiàn).

圖5 數(shù)據(jù)集GoPro上的復(fù)原圖像細(xì)節(jié)Fig.5 Details of restored images on GoPro dataset

圖6 數(shù)據(jù)集Kohler上的復(fù)原圖像細(xì)節(jié)對比Fig.6 Detail comparison of restored images on Kohler dataset

本文在數(shù)據(jù)集Lai上對真實(shí)圖像進(jìn)行了視覺對比, 對比算法為SRN網(wǎng)絡(luò)與文獻(xiàn)[16]網(wǎng)絡(luò). 如圖7所示, 本文選用具有代表性的3類圖像： 人臉、 文字與低光圖像. 由圖7可見: 在人臉圖像中, 本文方法具有較好的整體觀感, 臉部色彩紋理平滑, 偽影較少, 但在人臉邊界的處理中表現(xiàn)較差, 出現(xiàn)了模糊現(xiàn)象； 在文字方面, 本文方法具有較明顯的背景-前景對比度, 清晰度與SRN等方法相似； 在低光環(huán)境中, 本文方法表現(xiàn)較好, 相比SRN網(wǎng)絡(luò)和文獻(xiàn)[16]網(wǎng)絡(luò), 具有更高的字母識別度. 因此, 在真實(shí)圖像上本文方法在輪廓邊緣等細(xì)節(jié)與SRN方法相比較差, 但在低光圖像與色彩對比度上具有好的去模糊效果, 且圖像整體紋理平滑, 觀感較好.

圖7 數(shù)據(jù)集Lai上的復(fù)原圖像細(xì)節(jié)對比Fig.7 Detail comparison of restored images on Lai dataset

綜上所述, 針對復(fù)雜的單圖像盲去模糊問題, 本文以現(xiàn)有方法為基礎(chǔ), 提出了一種基于循環(huán)多尺度的盲去模糊網(wǎng)絡(luò). 為使網(wǎng)絡(luò)能充分利用有效特征, 設(shè)計了殘差通道選擇模塊并將其融入到循環(huán)網(wǎng)絡(luò)框架中, 進(jìn)行通道的選擇優(yōu)化. 同時在框架中設(shè)計了跨卷積層的跳躍連接, 以保留原始圖像的有用特征. 此外, 設(shè)計了用于圖像盲去模糊的多尺度結(jié)構(gòu)損失函數(shù), 通過綜合優(yōu)化圖像的像素級差異和大尺度上的結(jié)構(gòu)、 亮度、 對比度獲得最佳的去模糊視覺效果. 實(shí)驗(yàn)結(jié)果表明, 本文方法可在多個數(shù)據(jù)集上獲得較優(yōu)的圖像盲去模糊效果, 與文獻(xiàn)[16]方法相比, 在數(shù)據(jù)集GoPro上PSNR與SSIM分別提升了0.72 dB和0.001 7, 在數(shù)據(jù)集Kohler上PSNR與SSIM分別提升了0.03 dB和0.000 4, 較其他對比方法也有不同程度的提升, 整體表現(xiàn)優(yōu)于經(jīng)典深度學(xué)習(xí)去模糊算法, 在多個數(shù)據(jù)集中具有較好的穩(wěn)定性.