基于神經(jīng)網(wǎng)絡(luò)的攝影圖像無參考去偽影仿真

秦 琛,孫 晨

(1. 江西科技學(xué)院,江西 南昌 330098;2. 長(zhǎng)春師范大學(xué),吉林 長(zhǎng)春130031)

1 引言

近年來,攝像設(shè)備技術(shù)已不斷提高,像素?cái)?shù)已經(jīng)提升至千萬級(jí)以上,分辨率也同時(shí)得到較大程度的優(yōu)化[1]。但是實(shí)際使用過程中,受到光電轉(zhuǎn)換與光敏元件性能的影響,使用攝像機(jī)或者照相機(jī)所獲取的圖像常常出現(xiàn)噪聲或者偽影干擾,同時(shí)也會(huì)出現(xiàn)圖像傳感器動(dòng)態(tài)范圍較低的情況。盡管硬件系統(tǒng)是干擾攝像機(jī)圖像效果的因素之一,但是圖像存儲(chǔ)與拍攝環(huán)境也會(huì)嚴(yán)重影響圖像質(zhì)量,造成圖像中存在偽影的情況[2-4]。受到某些因素影響,使用攝像機(jī)拍攝時(shí)不可避免地會(huì)出現(xiàn)拍攝圖像過飽和或者偽影區(qū)域等情況,影響拍攝場(chǎng)景中的高亮區(qū)域與低亮區(qū)域,難以獲取圖像細(xì)節(jié)信息。以拍攝經(jīng)驗(yàn)來看,日常拍攝過程中常常遇到這種情況,例如在陽光過于強(qiáng)烈的室外環(huán)境或者燈光直射的拍攝環(huán)境中都容易出現(xiàn)偽影現(xiàn)象。為解決這種情況,已經(jīng)有學(xué)者提出使用自動(dòng)曝光的方式去除圖像中的偽影[5],但是這種方法并不能改變整個(gè)圖像的亮度問題,甚至?xí)斐蓤D像中的細(xì)節(jié)丟失,降低圖像質(zhì)量。有學(xué)者針對(duì)去偽影提出基于哈希算法的去偽影方法[6],通過圖像匹配達(dá)到去偽影目的,但是對(duì)于復(fù)雜運(yùn)動(dòng)場(chǎng)景卻無法實(shí)現(xiàn)去偽影效果;還有學(xué)者提出以殘差學(xué)習(xí)作為基礎(chǔ)的去偽影方法[7],具有較高的去除效果,但是該方法只能針對(duì)醫(yī)療領(lǐng)域使用,在其它領(lǐng)域應(yīng)用較少。

近年來,神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺研究應(yīng)用廣泛。深度學(xué)習(xí)網(wǎng)絡(luò)能夠構(gòu)建模型,通過學(xué)習(xí)和訓(xùn)練,完成視覺效果分類,并通過神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改變獲得優(yōu)化訓(xùn)練數(shù)據(jù)。已經(jīng)有眾多研究者把深度學(xué)習(xí)網(wǎng)絡(luò)用在圖像超分辨率重建方面,通過神經(jīng)網(wǎng)絡(luò)重新構(gòu)建圖像重建模型,實(shí)現(xiàn)去除圖像中偽影的目的。在目前的圖像重建相關(guān)研究中,最常見的是使用圖像插值技術(shù)[8]完成圖像修復(fù),該技術(shù)經(jīng)過反復(fù)驗(yàn)證并沒有獲得較好的圖像修復(fù)效果;還有學(xué)者使用普通學(xué)習(xí)方法[9]實(shí)現(xiàn)圖像修復(fù),但是該方法只適用于單幅圖像修復(fù)。這類方法主要針對(duì)的都是相同圖像中的內(nèi)部相似性,實(shí)現(xiàn)過程中需要利用大量樣本數(shù)據(jù),常常會(huì)由于有效數(shù)據(jù)不全而導(dǎo)致建模困難的情況出現(xiàn)。深度學(xué)習(xí)網(wǎng)絡(luò)[10-11]已經(jīng)在眾多領(lǐng)域應(yīng)用廣泛,例如人臉識(shí)別領(lǐng)域、目標(biāo)分類等領(lǐng)域都已經(jīng)取得可觀成效,在解決視覺問題時(shí)體現(xiàn)出明顯優(yōu)勢(shì)。以卷積成精網(wǎng)絡(luò)(CNN)作為基礎(chǔ)的圖像超分辨率算法能夠?qū)崿F(xiàn)圖像處理,并直接訓(xùn)練多維數(shù)據(jù),還能降低訓(xùn)練參數(shù),降低算法復(fù)雜性,提升圖像去偽影效果。

本文以CNN為基礎(chǔ),結(jié)合仿真平臺(tái)實(shí)現(xiàn)攝影圖像無參考去偽影,以期獲得良好圖像處理效果。

2 基于神經(jīng)網(wǎng)絡(luò)的攝影圖像無參考去偽影方法

2.1 圖像超分辨率重建模型

本文研究中引入密集殘差網(wǎng)絡(luò)結(jié)構(gòu)以此獲得較多圖像高頻特征,提升圖像超分辨率精度。網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1中的黑色層是密集殘差網(wǎng)絡(luò)單元。圖1中包括反卷積上采樣、特征映射等層,輸入是低分辨率的攝像圖像,低級(jí)特征由首個(gè)卷積層提取,特征非線性映射由密集殘差學(xué)習(xí)實(shí)現(xiàn),其后通過反卷積上采樣實(shí)現(xiàn)低維特征向高維特征轉(zhuǎn)換,實(shí)現(xiàn)目標(biāo)大小重建,上采樣后的圖像特征使用密集殘差網(wǎng)絡(luò)開展學(xué)習(xí),輸出重建后圖像。以下為圖像重建的詳細(xì)過程[12]。

2.1.1 非線性特征映射

在本文研究中,CNN的輸入項(xiàng)為分辨率較低的攝像圖像,使用第一個(gè)卷積層卷積該圖像,得到的特征圖有64個(gè)通道。本文研究中在CNN中應(yīng)用密集殘差網(wǎng)絡(luò)結(jié)構(gòu)防止高頻信息丟失。為使CNN能夠完成學(xué)習(xí)同時(shí)還能最大程度保留攝像圖像的特征該密集殘差網(wǎng)絡(luò)連接方式為多路徑密集連接,利用特征中的有效信息將高質(zhì)量的圖像重新構(gòu)建出來[13]。原始攝影圖像由Yi描述,同時(shí)Yi也是CNN的輸入項(xiàng),F(Yi)表示低級(jí)特征,經(jīng)首個(gè)卷積層提取,在密集殘差學(xué)習(xí)單元中輸入F(Yi)。F(Yi)經(jīng)學(xué)習(xí)后獲得殘差圖像f1(Yi)。f1(Yi)與自身單元的輸入疊加組成下一個(gè)殘差學(xué)習(xí)單元的輸入δ[F(Yi)+f1(Yi)]。第二個(gè)單元學(xué)習(xí)上一個(gè)單元的輸出,獲得殘差圖像f2(Yi),重復(fù)以上步驟獲得R=δ[δ[F(Yi)+f1(Yi)]+f2(Yi)]。第二個(gè)殘差單元輸出與輸出圖像特征相連接,連接方式為跳層連接法,由此獲得首個(gè)密集殘差學(xué)習(xí)單元輸出

F1(Yi)=R+F1(Yi)

(1)

前一個(gè)密集殘差學(xué)習(xí)單元的輸出是后一個(gè)單元的輸入,密集殘差學(xué)習(xí)式(1),得出后一個(gè)密集殘差學(xué)習(xí)單元的輸出

F1(Yi)=R+F2(Yi)

(2)

運(yùn)用以上方法持續(xù)向后推導(dǎo),獲得第n個(gè)密集殘差學(xué)習(xí)單元輸出

F1(Yi)=R+Fn(Yi)

(3)

為獲得整體輸出特征連接輸入圖像特征和最后一個(gè)殘差單元,二者的連接方法是跳層連接法,式(4)為輸出特征Gn(Yi)

Gn(Yi)=R+Fn-1(Yi)+Fn(Yi)]]

(4)

2.1.2 反卷積和上采樣

為使重建后圖像更加清晰,需要上采樣上文提取的低維特征。本文通過反卷積層實(shí)現(xiàn)上采樣。

假設(shè)存在某個(gè)卷積層,以下為具體表示過程:

使用k*k和i*i分別表示卷積核大小與在輸入的圖像大小;p與s分別表示零填充數(shù)與步長(zhǎng)。p′=k-p-1表示零填充數(shù),步長(zhǎng)s′與反卷積核k′大小表示為1和k,反卷積層輸出大小o′如下

o′=s(i′-1)+k-2p

(5)

在網(wǎng)絡(luò)中實(shí)現(xiàn)反卷積上采樣,結(jié)合特征映射與超分辨率圖像重建一起完成優(yōu)化學(xué)習(xí),以此獲得端到端的自主學(xué)習(xí)重建網(wǎng)絡(luò),在一定程度上提升重建圖像的精度。

2.1.3 圖像重建

聚合反卷積提取的圖像特征快,輸出圖獲取使用疊加求平均方法,使用一個(gè)提前設(shè)定好的濾波器實(shí)現(xiàn)平均步驟,式(6)表示基于CNN的圖像超分辨率重建模型重建層輸出結(jié)果

F(Yi)=W·Fn(Yi)+B

(6)

式中,W與W分別表示濾波器和偏差。

2.2 基于多通道去偽影CNN超分辨率圖像重建

使用密集殘差模塊處理經(jīng)反卷積層上采樣后的圖像,導(dǎo)入多通道輸入以此獲得更加復(fù)雜的圖像高維特征信息,提升圖像重建細(xì)節(jié)信息。將有64個(gè)通道的殘差輸出作為卷積核的輸入,輸入到1×1大小的卷積層中,降低特征維數(shù)至16。去偽影CNN圖像超分辨率重建的模型結(jié)構(gòu)見圖2。

圖2 去偽影CNN圖像超分辨率重建模型結(jié)構(gòu)

1)多通道圖像輸入結(jié)構(gòu)

針對(duì)原始低分辨率攝像圖像使用4個(gè)不同強(qiáng)度值對(duì)其銳化,這四個(gè)值分別為0.5、0.9、1.3、1.7,設(shè)置過程使用強(qiáng)度值參數(shù)和MATLAB仿真平臺(tái)中的內(nèi)建函數(shù)實(shí)現(xiàn)。

經(jīng)過銳化后的圖像可以提升圖像的紋理信息,但是原始圖像中的偽影問題并沒有得到良好處理,同時(shí)還造成銳化后的圖像中存在較多噪聲點(diǎn)集,導(dǎo)致圖像中出現(xiàn)大面積噪聲塊,嚴(yán)重影響圖像超分辨率重建的效果。

2)構(gòu)建去偽影結(jié)構(gòu)

由于上文銳化后原始圖像噪聲過多且偽影干擾嚴(yán)重,利用基于CNN的圖像超分辨率重建模型開展圖像特征提取和映射時(shí)會(huì)獲得嚴(yán)重模糊的特征圖。為解決這一問題,在基于CNN的圖像超分辨率重建模型中導(dǎo)入去偽影層(位于CNN第二層),由此得到一個(gè)新的模型結(jié)構(gòu):去偽影CNN超分辨率重構(gòu)模型。這個(gè)去偽影層能夠把CNN中第一層中包含噪聲和偽影的特征映射到更清潔的特征空間之中,也就是在該特征映射步驟中實(shí)現(xiàn)圖像去噪。

在多通道去偽影CNN超分辨率重構(gòu)模型結(jié)構(gòu)中,原網(wǎng)絡(luò)各層仍然保持不變,只是添加一個(gè)去偽影層,該模型的結(jié)構(gòu)使用式(7)表示

(7)

式中,Wi與Y(n)分別表示第i層濾波器與多通道輸入圖像;Fi與Bi分別表示輸出的特征向量與第i層偏移。后添加的去偽影層使用(W2,B2)表示。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

選取100幅低分辨率攝像圖像在MATLAB仿真平臺(tái)中開展實(shí)驗(yàn),其中90幅為訓(xùn)練集,10幅為測(cè)試集,為防止在模型訓(xùn)練過程中出現(xiàn)過度擬合,使用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)訓(xùn)練集圖像開展數(shù)據(jù)擴(kuò)充,確保每幅圖像都能得到19倍擴(kuò)充。開展訓(xùn)練前,先裁剪原始低分辨率攝像圖像,步長(zhǎng)設(shè)定為12。有關(guān)去偽影CNN超分辨率重構(gòu)模型參數(shù)選擇:通道數(shù)量按照通道順序分別選擇10、64、32、16、1;濾波器大小分別為9、7、5。

為實(shí)現(xiàn)去偽影效果對(duì)比,同時(shí)使用基于哈希算法的去偽影方法與基于殘差學(xué)習(xí)的去偽影方法同時(shí)對(duì)實(shí)驗(yàn)對(duì)象開展去偽影處理,獲得攝像圖像去偽影效果,兩個(gè)對(duì)比方法分別為文獻(xiàn)[6]方法與文獻(xiàn)[7]方法。

其中一幅低分辨率圖像為例,分別使用三種方法對(duì)圖像進(jìn)行去噪處理后圖像清晰情況對(duì)比見圖3。

圖3 去噪效果對(duì)比

從圖3中能夠看出,兩種傳統(tǒng)方法只能消除圖像中的一部分噪聲,處理圖像后還會(huì)存在大量毛刺和高斯噪聲干擾,導(dǎo)致圖像光滑度不高,圖像效果不清晰。使用本文方法能夠?qū)z像圖像中的噪聲全部去除,保證后續(xù)去偽影處理時(shí)能夠具有良好的圖像效果。分析本文方法去噪效果較好的原因,主要是由于本文方法使用非線性特征映射結(jié)合反卷積上采樣,圖像重建過程中又使用性能良好的濾波器,提升模型的去噪效果。

使用三種方法分別對(duì)圖3中各方法去噪后的圖像開展去偽影操作,去偽影的效果見圖4。

圖4 去偽影效果對(duì)比

從圖4中能夠看出,兩種對(duì)比方法雖然也能實(shí)現(xiàn)去偽影,但是偽影去除效果并不好,存在光暈干擾和不應(yīng)該屬于圖像中的影像,主要是由于這兩種對(duì)比方法在去噪處理階段沒有取得良好的效果,而且這兩種對(duì)比方法專業(yè)針對(duì)性較強(qiáng),對(duì)于攝像圖像的去偽影效果不佳。本文方法使用多通道去偽影CNN超分辨率重建,在傳統(tǒng)CNN的基礎(chǔ)上添加去偽影層,獲得更加良好的去偽影效果。

使用三種方法分別完成攝像圖像偽影去除后,需要評(píng)價(jià)圖像質(zhì)量,評(píng)價(jià)指標(biāo)為結(jié)構(gòu)相似度(SSIM)與峰值信噪比(PSNR),這兩個(gè)評(píng)價(jià)指標(biāo)的計(jì)算式見式(8)和式(9)

(8)

(9)

式中,Y與分別表示低分辨率圖像與去偽影后圖像;μY與μ分別表示低分辨率圖像與去偽影圖像的平均灰度值;σY與σ分別表示低分辨率圖像與去偽影圖像方差;σY代表低分辨率圖像與去偽影后圖像的協(xié)方差,C1與C2則均代表常數(shù)。這兩個(gè)評(píng)價(jià)指標(biāo)的值越高說明圖像去偽影質(zhì)量越好。

在實(shí)驗(yàn)過程中,分別將圖3(a)放大2倍、3倍、4倍、5倍后再分別使用三種方法對(duì)圖像開展去偽影處理,處理完成后,使用式(8)與式(9)計(jì)算圖像的PSNR與SSIM值,結(jié)果見表1。

表1 圖像不同倍數(shù)下PSNR與SSIM值對(duì)比

從表1中能夠看出,在圖片倍數(shù)放大的情況下,兩種對(duì)比方法的PSNR與SSIM值逐漸降低,這說明,隨著圖像細(xì)節(jié)逐漸擴(kuò)大,兩種對(duì)比方法去除圖像偽影后并沒有獲得良好的圖像效果,圖像可能存在不清晰的情況,但是本文方法在不同圖像倍數(shù)這下,PSNR與SSIM值保持升高狀態(tài),這說明圖像細(xì)節(jié)越多去偽影效果越好,這種情況的主要原因是本文方法強(qiáng)大的特征映射功能,而且使用多通道去偽影能夠提升圖像的紋理信息,因此本文對(duì)圖像去偽影處理后評(píng)價(jià)值更高。

4 結(jié)論

本文主要研究基于神經(jīng)網(wǎng)絡(luò)的攝影圖像無參考去偽影方法,并在仿真平臺(tái)上開展仿真,以驗(yàn)證方法性能。盡管本文方法已經(jīng)足夠充分,但是受到篇幅限制仍然有許多內(nèi)容無法呈現(xiàn),在今后的研究中可以深入展開:

1)攝像圖像屬于動(dòng)態(tài)圖像,圖像中出現(xiàn)偽影限制圖像使用,雖然本文提出的方法已經(jīng)能夠基本解決這種偽影的影響,但是動(dòng)態(tài)圖像中干擾因素較多,在今后的研究中還需要進(jìn)一步深化研究解決方法。

2)網(wǎng)絡(luò)性能需要進(jìn)一步優(yōu)化,未來研究需要避免網(wǎng)絡(luò)陷入局部最優(yōu),盡快實(shí)現(xiàn)收斂,同時(shí)還需要降低方法計(jì)算復(fù)雜度,降低CNN層數(shù)。