結(jié)合遷移學(xué)習(xí)的真實(shí)圖像去噪算法

周聯(lián)敏， 周冬明， 楊浩

(云南大學(xué)信息學(xué)院， 昆明 650000)

圖像在采集和傳輸過(guò)程中會(huì)受各種因素干擾，不可避免地引入多種噪聲[1]。圖像去噪是基本的計(jì)算機(jī)視覺(jué)任務(wù)之一，為了得到較干凈圖像需要對(duì)有噪圖像進(jìn)行處理[2]。在圖像去噪任務(wù)中，去噪方法主要分為傳統(tǒng)去噪方法和基于深度學(xué)習(xí)的去噪方法。傳統(tǒng)去噪方法在發(fā)展前期占據(jù)了重要地位，眾多優(yōu)秀的算法提出并沿用至今。其中具有代表性的傳統(tǒng)方法如Buades等[3]基于圖像的非局部自相似性提出了非局部均值去噪方法(nonlocal means denoising method, NLM)。NLM去噪方法對(duì)圖像中所有像素點(diǎn)的相似度都要進(jìn)行度量，進(jìn)行遍歷計(jì)算復(fù)雜。之后，Dabov等[4]結(jié)合非局部自相似性先驗(yàn)將搜索到的二維相似圖像塊轉(zhuǎn)成三維塊組，再進(jìn)行去噪處理，稱為三維塊匹配去噪方法(block-matching and 3D filtering, BM3D)。BM3D算法的處理速度和取得的去噪效果都有了一定提升。雖然傳統(tǒng)去噪方法取得了一定的去噪效果，但是需要使用復(fù)雜的優(yōu)化算法進(jìn)行改進(jìn)并人為來(lái)調(diào)節(jié)參數(shù)，所消耗的計(jì)算資源和時(shí)間成本是巨大的，處理復(fù)雜噪聲的效果不佳。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall network structure

隨著深度學(xué)習(xí)的研究發(fā)展，在圖像去噪領(lǐng)域應(yīng)用深度學(xué)習(xí)的方法越來(lái)越多。深度學(xué)習(xí)技術(shù)是為了讓機(jī)器能夠以類似人類的方式學(xué)習(xí)，通過(guò)大量的數(shù)據(jù)分析探索深層的規(guī)律和知識(shí)?；谏疃葘W(xué)習(xí)技術(shù)讓機(jī)器建立起神經(jīng)結(jié)構(gòu)模型，使其能夠模擬人類感知學(xué)習(xí)的能力。Jain等[5]最早結(jié)合深度學(xué)習(xí)研究圖像去噪，首次將卷積神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)下用于去噪，并取得了很好的去噪表現(xiàn)。Xie等[6]采用深度學(xué)習(xí)和稀疏編碼相結(jié)合研究，對(duì)全連接層中被激活的神經(jīng)元個(gè)數(shù)進(jìn)行稀疏地約束，提出了棧式稀疏去噪自編碼器(stacked sparse denoising auto-encoders, SSDA)。Burger等[7]采用滑動(dòng)窗口的方式在每個(gè)窗口內(nèi)對(duì)圖像去噪，提出了多層感知機(jī)(multi layer perceptron, MLP)。MLP具有很好的擬合性能，在理想條件下可以擬合多種復(fù)雜函數(shù)，但面對(duì)復(fù)雜噪聲時(shí)就無(wú)法適應(yīng)。Chen等[8]利用圖像的先驗(yàn)信息獲取圖像結(jié)構(gòu)特征，提出了非線性反應(yīng)擴(kuò)散去噪模型(trainable nonlinear reaction diffusion, TNRD)。深層網(wǎng)絡(luò)帶來(lái)的性能提升是可觀的，其在圖像去噪領(lǐng)域的應(yīng)用也愈加廣泛。Zhang等[9]結(jié)合批標(biāo)準(zhǔn)化和殘差學(xué)習(xí)使得網(wǎng)絡(luò)在高斯去噪任務(wù)上性能得到提升，提出了去噪卷積神經(jīng)網(wǎng)絡(luò)(denoising convolutional neural network, DnCNN)。DnCNN學(xué)習(xí)噪聲圖像與干凈圖像的殘差來(lái)訓(xùn)練網(wǎng)絡(luò)去除噪聲，解決了隨著增加網(wǎng)絡(luò)深度而導(dǎo)致的梯度彌散問(wèn)題。Ahn等[10]為了實(shí)現(xiàn)更好的圖像去噪器，將卷積神經(jīng)網(wǎng)絡(luò)特征提取能力和局部特征相結(jié)合提出了BMCNN(block-matching convolutional neural network)。該方法可將預(yù)先處理過(guò)的噪聲圖像相似塊組進(jìn)行塊匹配，能對(duì)不規(guī)則圖像進(jìn)行去噪。Liu等[11]結(jié)合小波去噪算法和U-Net(U-shaped network)，用小波去噪中的小波變換和逆變換替換了U-Net中的下采樣和上采樣操作，提出了MWCNN(multi-wave convolutional neural network)。在RIDNet(real image denoising network)去噪網(wǎng)絡(luò)中，作者第一個(gè)將注意力機(jī)制應(yīng)用于圖像去噪，使神經(jīng)網(wǎng)絡(luò)能關(guān)注圖像更為重要的特征[12]。Yue等[13]提出變分去噪網(wǎng)絡(luò)(variational denoising network, VDN)，在去除圖像噪聲的同時(shí)估計(jì)噪聲分布。Kim等[14]應(yīng)用自適應(yīng)實(shí)例規(guī)范化來(lái)搭建去噪網(wǎng)絡(luò)AINDNet(adaptive instance normalization denoising network)，能實(shí)現(xiàn)約束特征圖和防止網(wǎng)絡(luò)過(guò)擬合。Ren等[15]基于自適應(yīng)一致性先驗(yàn)提出了可解釋的深度去噪網(wǎng)絡(luò)DeamNet(dual element-wise attention mechanism network)。Liu等[16]利用從先驗(yàn)分布中取樣的隱性表征取代了噪聲隱性表征，提出一個(gè)可逆去噪網(wǎng)絡(luò)InvDN(invertible denoising network)。雖然這些算法對(duì)噪聲去除性能得到了提升，但同時(shí)也損失了圖像的細(xì)節(jié)紋理和邊緣信息。真實(shí)噪聲圖像往往是多種噪聲疊加，分布十分復(fù)雜，要將其去除仍是具有挑戰(zhàn)性的任務(wù)。

在前人工作的基礎(chǔ)上，現(xiàn)結(jié)合遷移學(xué)習(xí)提出一種真實(shí)圖像去噪算法，在有效融合特征信息后對(duì)圖像細(xì)節(jié)信息加強(qiáng)關(guān)注，進(jìn)而更好地恢復(fù)圖像。

1 方法與理論

1.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

本文研究結(jié)合遷移學(xué)習(xí)技術(shù)提出了針對(duì)真實(shí)圖像的去噪網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖1所示。本文的整體架構(gòu)是編碼解碼單元組成的U型網(wǎng)絡(luò)結(jié)構(gòu)[17]。其中編碼單元由遷移學(xué)習(xí)模塊和殘差塊分別構(gòu)成兩個(gè)編碼器，解碼單元由特征融合模塊和殘差注意力模塊組成。將一張真實(shí)噪聲圖像P∈H×W×3(其中H、W分別表示高度和寬度，為數(shù)域)分別送入殘差塊編碼器和遷移學(xué)習(xí)模塊編碼器。在編碼的過(guò)程中，遷移學(xué)習(xí)模塊經(jīng)過(guò)跳線連接到特征融合模塊，殘差塊經(jīng)過(guò)殘差跳線連接到特征融合模塊，對(duì)解碼器所需信息起到了補(bǔ)充作用。在解碼的過(guò)程中，通過(guò)密集跳線對(duì)信息進(jìn)一步補(bǔ)充。經(jīng)過(guò)編碼解碼處理后通過(guò)一個(gè)3×3卷積得到殘差圖G∈H×W×3，隨后得到恢復(fù)后的圖像Po=P+G。

1.2 雙編碼器

在訓(xùn)練網(wǎng)絡(luò)的過(guò)程中，所需的真實(shí)噪聲與干凈圖像對(duì)采集是十分困難的，現(xiàn)存的真實(shí)噪聲數(shù)據(jù)集也十分有限。遷移學(xué)習(xí)就是解決數(shù)據(jù)有限的一種有效方法。其目的是以之前任務(wù)中學(xué)習(xí)到的知識(shí)為基礎(chǔ)，讓模型能夠運(yùn)行新的任務(wù)[18]。為了提高編碼單元的性能，本文使用Res2Net(residual-like network)[19]作為遷移學(xué)習(xí)編碼器。Res2Net最初是為圖像分類任務(wù)而訓(xùn)練的，具有出色的性能。本文使用的時(shí)候刪除了尾部的全連接層，只采用前端下采樣和預(yù)訓(xùn)練參數(shù)，Res2Net模塊結(jié)構(gòu)如圖2所示。

從圖2可以看到，Res2Net模塊將單一卷積層改變?yōu)榉謱有〗M的卷積，在各個(gè)小組之間通過(guò)類似殘差的連接結(jié)構(gòu)逐層連接起來(lái)。輸入經(jīng)過(guò)1×1卷積層后分成了多個(gè)子集xi，i∈{1,2，…，q}，這些子集通道數(shù)分割為原來(lái)的1/i，而子集特征圖大小保持不變。特征圖子集經(jīng)過(guò)3×3卷積層后能獲得更大的感受野并且通過(guò)跳線加到下一子集3×3卷積層之前，如此累積Res2Net模塊輸出了多種尺度感受野的多種組合，最后拼接在一起通過(guò)一個(gè)1×1卷積層對(duì)這些信息進(jìn)行有效融合。采用這種拆分再合并的處理方式使得網(wǎng)絡(luò)能夠提取多尺度特征信息，有利于卷積層對(duì)特征圖進(jìn)行處理。用Qi(·)表示除x1外每個(gè)子集所對(duì)應(yīng)的3×3卷積層，并且對(duì)應(yīng)的輸出是yi。Qi-1(·)和子集xi相加之后傳遞給Qi(·)進(jìn)行計(jì)算，輸出yi[19]可表示為

(1)

圖2 遷移學(xué)習(xí)模塊Fig.2 Transfer learning module

訓(xùn)練模型的過(guò)程中，通過(guò)使用遷移學(xué)習(xí)編碼器加載在ImageNet上預(yù)先訓(xùn)練好的權(quán)值。這些預(yù)先訓(xùn)練好的權(quán)值能讓模型能夠很好地提取魯棒特征，并且通過(guò)中間跳線將這些特征送入對(duì)應(yīng)的特征融合模塊。在利用遷移學(xué)習(xí)模塊的先驗(yàn)知識(shí)提取魯棒特征的同時(shí)，再通過(guò)殘差塊[20]組成的編碼器對(duì)當(dāng)前數(shù)據(jù)進(jìn)行處理，提取出特征進(jìn)行信息補(bǔ)充，殘差塊結(jié)構(gòu)如圖3所示。

在利用殘差塊進(jìn)行特征信息的深度提取編碼的過(guò)程中，圖像的細(xì)節(jié)信息十分重要，而批標(biāo)準(zhǔn)化技術(shù)的使用容易造成細(xì)節(jié)信息的丟失[21]。在圖3中，使用殘差塊時(shí)將批標(biāo)準(zhǔn)化層去除了，并采用了Leaky ReLU激活函數(shù)，通過(guò)3×3卷積得到重建后的殘差輸出。經(jīng)過(guò)殘差塊處理后的特征處于網(wǎng)絡(luò)中較淺層，屬于初級(jí)特征，與解碼器更高級(jí)別的特征會(huì)存在語(yǔ)義差異[22]。因此，通過(guò)中間跳躍連接線將編碼特征送到解碼器之前需要進(jìn)行處理。在處理方法的選擇上并不是采用通常的卷積層，而是使用了殘差連接。該結(jié)構(gòu)在深度卷積網(wǎng)絡(luò)中十分有效，并且能讓學(xué)習(xí)過(guò)程變得更容易[23]。本文研究在中間跳躍連接線上加入一個(gè)殘差結(jié)構(gòu)的3×3卷積層，殘差跳線結(jié)構(gòu)如圖4所示。通過(guò)使用殘差跳線來(lái)緩解編碼器與解碼器特征之間的語(yǔ)義差異，有利于模型的訓(xùn)練過(guò)程。

圖3 殘差塊結(jié)構(gòu)Fig.3 Residual block structure

圖4 殘差跳線結(jié)構(gòu)Fig.4 Residual skip connections structure

1.3 解碼器

解碼過(guò)程是利用編碼提取的特征逐漸恢復(fù)原圖像尺寸和恢復(fù)細(xì)節(jié)的過(guò)程，最后獲得去噪后的圖像。在解碼的過(guò)程中需要豐富的信息來(lái)恢復(fù)圖像，本文不僅通過(guò)中間跳躍連接線提供信息，而且充分利用了解碼器之間的信息來(lái)進(jìn)行補(bǔ)充。從圖1可以看到，處于低層的解碼塊特征通過(guò)雙線性上采樣送到每一個(gè)上層的解碼塊中。解碼首先要對(duì)接收到的多個(gè)特征進(jìn)行融合，不是簡(jiǎn)單地將這些特征拼接起來(lái)。受Zamir等[24]研究的啟發(fā)，本文引入選擇性核特征融合模塊(selective kernel feature fusion, SKFF)來(lái)對(duì)解碼收到的特征進(jìn)行聚合，以3個(gè)卷積流為例，結(jié)構(gòu)如圖5所示。

圖6 殘差注意力模塊Fig.6 Residual attention module

從圖5中可以看到SKFF首先對(duì)并行卷積流按元素求和的方式將特征進(jìn)行組合E=E1+E2+E3，然后應(yīng)用全局平均池化來(lái)壓縮融合特征的空間維度。接下來(lái)通過(guò)一個(gè)1×1卷積層壓縮通道，隨后是3個(gè)并行的卷積層以產(chǎn)生3個(gè)特征描述符。在選擇操作時(shí)，采用Softmax函數(shù)來(lái)獲得3個(gè)關(guān)注特征f1、f2和f3。最后，分別利用f1、f2、f3來(lái)重新校準(zhǔn)輸入特征圖E1、E2、E3，特征校準(zhǔn)和聚合的過(guò)程可定義為

圖5 特征融合模塊Fig.5 Feature fusion module

S=f1E1+f2E2+f3E3

(2)

在經(jīng)過(guò)特征融合模塊后，極大地豐富了解碼所需的信息。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)特征的重要占比無(wú)法判別，會(huì)限制較深網(wǎng)絡(luò)的表達(dá)能力。在恢復(fù)圖像的過(guò)程中，為了實(shí)現(xiàn)更好的去噪效果，網(wǎng)絡(luò)對(duì)那些更有價(jià)值的特征需要更多地關(guān)注。因此，將空間注意力[25](spatial attention, SA)和通道注意力[26](channel attention, CA)進(jìn)行結(jié)合來(lái)實(shí)現(xiàn)殘差注意力模塊，對(duì)特征進(jìn)行自適應(yīng)調(diào)整。殘差注意力模塊的結(jié)構(gòu)如圖6所示。

殘差注意力模塊主要是由卷積層、通道注意力層和空間注意力層構(gòu)成，并在每一層之間使用了殘差跳線。這樣的局部殘差學(xué)習(xí)結(jié)構(gòu)能讓網(wǎng)絡(luò)繞過(guò)低頻區(qū)域等較不重要的信息，而更關(guān)注有效信息，并且避免了梯度消失的問(wèn)題。該模塊首先通過(guò)兩層3×3卷積層進(jìn)行初次處理，隨后通過(guò)CA層，然后饋送到SA層，最終經(jīng)過(guò)一個(gè)1×1卷積層壓縮通道后送出。

通道注意力層使得神經(jīng)網(wǎng)絡(luò)能夠?qū)⒂杏玫耐ǖ佬畔⒑Y選出來(lái)，賦予更大的權(quán)重。通道注意力首先使用全局平均池化實(shí)現(xiàn)壓縮操作，便于對(duì)空間全局上下文進(jìn)行編碼，隨后經(jīng)過(guò)兩層1×1卷積和Sigmoid函數(shù)。通過(guò)Sigmoid函數(shù)后，實(shí)現(xiàn)了線性變換以分別為每個(gè)通道輸出權(quán)重，最后使用基于元素的乘積來(lái)進(jìn)行特征映射?？臻g注意力層能利用卷積特征的空間相關(guān)性實(shí)現(xiàn)重要特征的關(guān)注?？臻g注意力首先在通道維度分別對(duì)輸入特征進(jìn)行全局最大池化和全局平均池化，并將輸出連接起來(lái)，然后通過(guò)一個(gè)3×3卷積和Sigmoid函數(shù)得到空間注意力圖，最后利用元素乘積對(duì)輸入特征進(jìn)行權(quán)重調(diào)整。殘差注意力模塊的使用對(duì)特征權(quán)重進(jìn)行調(diào)整，從而賦予重要特征更多的權(quán)重，讓網(wǎng)絡(luò)更加關(guān)注圖像紋理等有效信息，以更好地恢復(fù)圖像細(xì)節(jié)。

1.4 損失函數(shù)

為了提升圖像恢復(fù)的效果，網(wǎng)絡(luò)一般以恢復(fù)結(jié)果與真實(shí)圖像進(jìn)行像素級(jí)對(duì)比，不斷優(yōu)化縮小差別。本文研究采用了L1損失的一個(gè)變種Charbonnier Loss[27]損失函數(shù)。該損失函數(shù)中多了個(gè)正則項(xiàng)，能提高模型的最終表現(xiàn)并加快收斂速度，即

(3)

式(3)中：Z為去噪圖像；Z*為參考圖像；β為常數(shù)，β設(shè)置為10-3。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 度量標(biāo)準(zhǔn)

對(duì)于去噪處理后的圖像，選用了結(jié)構(gòu)相似性(structural similarity, SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)[28]來(lái)進(jìn)行客觀評(píng)價(jià)，計(jì)算公式[28]為

(4)

(5)

式中：Ki,j為去噪圖像；Ii,j為無(wú)噪原圖像；u1、u2分別為Ii,j、Ki,j的均值；σ1、σ2分別為Ii,j、Ki,j的方差；σ1,2為Ii,j、Ki,j的協(xié)方差；為了維持穩(wěn)定性設(shè)置常數(shù)為c1=0.01、c2=0.02。PSNR越大，SSIM越接近1，則說(shuō)明去噪圖像和無(wú)噪圖像越接近。

2.2 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)集

在DND[29]、SIDD[30]和RNI15[31]3個(gè)真實(shí)噪聲數(shù)據(jù)集上對(duì)模型性能進(jìn)行了評(píng)估。DND(darmstadt noise dataset)[29]數(shù)據(jù)集是由4個(gè)不同尺寸傳感器的消費(fèi)級(jí)相機(jī)拍攝采集的。該數(shù)據(jù)集共包含50個(gè)真實(shí)噪聲圖像與無(wú)噪圖像組成的圖像對(duì)。這些圖像被裁切成1 000個(gè)大小為512×512的小圖像塊便于使用。由于DND數(shù)據(jù)集是不公開(kāi)無(wú)噪圖像的，所以該數(shù)據(jù)集只能用于測(cè)試，要獲取結(jié)構(gòu)相似性(SSIM)和峰值信噪比(PSNR)需要將去噪結(jié)果提交到官方在線系統(tǒng)來(lái)評(píng)估性能。SIDD(smartphone image denoising dataset)[30]數(shù)據(jù)集是由5個(gè)小光圈的智能手機(jī)拍攝形成的。智能手機(jī)的傳感器相較于相機(jī)會(huì)比較小，在拍攝照片的過(guò)程當(dāng)中容易產(chǎn)生許多噪聲。該數(shù)據(jù)集包含320個(gè)噪聲與無(wú)噪圖像對(duì)用于訓(xùn)練，其余40個(gè)圖像對(duì)裁切為1 280個(gè)大小為256×256的小圖像塊用于測(cè)試。RNI15[31]數(shù)據(jù)集是由15幅真實(shí)噪聲圖像組成，沒(méi)有相對(duì)應(yīng)的無(wú)噪圖像。因此，本文研究提供了該數(shù)據(jù)集的視覺(jué)效果比較。

使用SIDD數(shù)據(jù)集的320個(gè)圖像對(duì)用于訓(xùn)練。使用前，先將每一幅原圖裁切為300個(gè)大小為256×256的小圖像塊，利用這96 000個(gè)小圖像塊進(jìn)行訓(xùn)練。本次實(shí)驗(yàn)是在DND數(shù)據(jù)集、SIDD數(shù)據(jù)集和RNI15數(shù)據(jù)集的sRGB圖像上測(cè)試模型性能，PSNR統(tǒng)一在RGB通道上進(jìn)行計(jì)算。使用的是Pytorch框架來(lái)搭建模型，硬件設(shè)施是NVIDIA RTX 3080Ti顯卡和Intel i5-10600KF處理器。訓(xùn)練過(guò)程中，應(yīng)用Charbonnier Loss損失函數(shù)和Adam優(yōu)化器(β1=0.9，β2=0.999)對(duì)模型參數(shù)進(jìn)行優(yōu)化。模型的初始學(xué)習(xí)率設(shè)為4×10-4，最低學(xué)習(xí)率設(shè)為10-5，訓(xùn)練期間利用余弦退火衰減策略[32]使學(xué)習(xí)率平穩(wěn)的下降，batch size設(shè)為16的情況下，共訓(xùn)練了50個(gè)epochs。

2.3 去噪性能對(duì)比試驗(yàn)

為了驗(yàn)證本文提出方法的性能，對(duì)多個(gè)方法在DND、SIDD和RNI15三個(gè)數(shù)據(jù)集上客觀與主觀的去噪性能進(jìn)行對(duì)比。表1羅列了不同方法在SIDD和DND數(shù)據(jù)集上PSNR和SSIM指標(biāo)方面的去噪性能對(duì)比。共有8個(gè)盲去噪方法(DnCNN[9]、CBDNet[33]、RIDNet[12]、AINDNet[14]、DeamNet[15]、DANet[34]、InvDN[16]、VDN[13])，3個(gè)非盲去噪方法(BM3D[4]、TWSC[35]、FFDNet[36])。由表1可以看到本文方法在PSNR和SSIM指標(biāo)上都高于其他深度學(xué)習(xí)和傳統(tǒng)去噪的方法。其中，與本文同樣使用了遷移學(xué)習(xí)技術(shù)的AINDNet在SIDD數(shù)據(jù)集上PSNR落后0.32 dB，SSIM落后0.007；在DND數(shù)據(jù)集上PSNR落后0.22 dB，SSIM落后0.005，可見(jiàn)本文的模型性能更優(yōu)。在這些方法中，AINDNet、RIDNet、CBDNet在訓(xùn)練時(shí)使用了額外的數(shù)據(jù)，本文模型訓(xùn)練只使用了SIDD數(shù)據(jù)集，但取得了更好的表現(xiàn)。舉例來(lái)說(shuō)，本文模型在SIDD數(shù)據(jù)集上比CBDNet高出了8.55 dB，在DND數(shù)據(jù)集上高出了1.61 dB。本文方法相較于最近的方法AINDNet、DeamNet、DANet、InvDN、VDN，性能都有了一定的提高，相較于非盲去噪方法BM3D、TWSC、FFDNet，性能顯著提升。

在圖7、圖8和圖9中，分別列出了不同方法在DND、SIDD和RNI15數(shù)據(jù)集上的視覺(jué)效果對(duì)比。結(jié)合圖7和圖8可以看到，BM3D、FFDNet、TWSC、DnCNN、CBDNet方法都沒(méi)有很好地去除噪聲，殘留了許多噪點(diǎn)。在圖7中，RIDNet、DANet、AINDNet、VDN、InvDN雖然能有效去除噪聲，但同時(shí)產(chǎn)生了圖像細(xì)節(jié)和邊緣信息丟失，相較之下本文方法表現(xiàn)更好。DND數(shù)據(jù)集不公開(kāi)無(wú)噪圖像，但通過(guò)官方在線系統(tǒng)能獲取到PSNR。在圖8中，本文方法相較于其他方法，木塊的紋理和木塊上的數(shù)字更接近干凈圖像，而其他方法出現(xiàn)了偽影和圖像精細(xì)紋理的丟失。在圖9中，RNI15數(shù)據(jù)集只存在噪聲圖像。從圖9中可以看到，狗狗的眼睛、燈飾的底座和窗戶的邊框上，本文方法實(shí)現(xiàn)了噪聲的有效去除，并產(chǎn)生了更加清晰的圖像，呈現(xiàn)的視覺(jué)效果最佳。

表1 不同方法在SIDD和DND數(shù)據(jù)集的去噪結(jié)果對(duì)比Table 1 Comparison of denoising results of different methods on SIDD and DND datasets

DND、SIDD和RNI15三個(gè)數(shù)據(jù)集采集的設(shè)備與方式是各不相同的，噪聲特性也不同。本文方法只在SIDD數(shù)據(jù)集上進(jìn)行訓(xùn)練，在三個(gè)數(shù)據(jù)集上經(jīng)過(guò)測(cè)試，都表現(xiàn)出優(yōu)秀的性能，體現(xiàn)了本文方法具有很好的泛化能力。

2.4 消融實(shí)驗(yàn)

對(duì)遷移學(xué)習(xí)編碼單元(A)、殘差注意力模塊(B)和殘差跳線(C)進(jìn)行了消融實(shí)驗(yàn)。本實(shí)驗(yàn)中所使用的SIDD訓(xùn)練測(cè)試數(shù)據(jù)和參數(shù)設(shè)置與之前對(duì)比實(shí)驗(yàn)是相同的。從表2可以看到，實(shí)驗(yàn)1～實(shí)驗(yàn)3表示分別去掉模塊A、B、C之后，模型性能分別下降了0.77、0.26、0.12 dB，其中遷移學(xué)習(xí)編碼單元對(duì)模型性能有著較大的影響。實(shí)驗(yàn)4表示將3個(gè)模塊都去除，模型性能大幅下降了2.5 dB。由此可見(jiàn)，遷移學(xué)習(xí)編碼單元、殘差注意力模塊和殘差跳線都使得模型性能得以提升，并且這些模塊組合于模型中時(shí)去噪效果更優(yōu)。

圖7 DND數(shù)據(jù)集的去噪結(jié)果對(duì)比Fig.7 Comparison of denoising results of DND dataset

圖8 SIDD數(shù)據(jù)集的去噪結(jié)果對(duì)比Fig.8 Comparison of denoising results of SIDD dataset

圖9 RNI15數(shù)據(jù)集的去噪結(jié)果對(duì)比Fig.9 Comparison of denoising results of RNI15 dataset

表2 模塊A、B、C的消融實(shí)驗(yàn)Table 2 Ablation experiments of modules A, B and C

3 結(jié)論

針對(duì)真實(shí)噪聲圖像復(fù)雜的噪聲分布，結(jié)合遷移學(xué)習(xí)技術(shù)，提出了一種能有效去除真實(shí)噪聲的去噪模型。該模型利用遷移學(xué)習(xí)模塊預(yù)先訓(xùn)練好的權(quán)值能很好地提取魯棒特征，結(jié)合殘差編碼單元對(duì)信息進(jìn)行補(bǔ)充，在解碼單元利用殘差注意力模塊進(jìn)一步處理恢復(fù)圖像。實(shí)驗(yàn)結(jié)果表明，該模型在有效去除噪聲的同時(shí)，能很好地保留圖像細(xì)節(jié)和邊緣信息，在不同數(shù)據(jù)集上有很好的泛化能力。