結合Shortcut Connections結構的卷積稀疏編碼圖像去噪算法

張 臏， 張運杰， 白明明

(大連海事大學理學院， 大連 116026)

稀疏編碼算法(sparse coding, SC)是解決線性逆問題的有效算法[1]，其中Daubechies等[2]所提出的迭代收縮閾值算法(iterative shrinkage thresholding algorithms, ISTA)是最經(jīng)典的稀疏編碼算法。

ISTA算法結合Landweber迭代算法完成迭代，并采用使用加權展開式來代替?zhèn)鹘y(tǒng)的懲罰項。ISTA算法雖然能夠有效解決稀疏編碼問題，但是算法該算法收斂速度卻很慢，為進一步提升ISTA算法收斂速率，Beck等[3]提出快速迭代收縮閾值算法(fast iterative shrinkage thresholding algorithm, FISTA)。FISTA算法中新編碼向量與原編碼向量之間呈線性關系，該算法保留了ISTA的計算簡單性，并且在理論上和實踐上均被證明具有比ISTA算法更好的全局收斂速度，有效提升了ISTA算法整體收斂速度。為進一步提升ISTA這一類算法計算效率，Li等[4]提出坐標下降算法(coordinate descent method, CoD)。CoD算法在每次迭代中只對精心選擇的編碼向量中某一子向量進行優(yōu)化，直至其收斂為止。這樣一來，算法相比之前FISTA算法進一步降低了獲取最優(yōu)稀疏編碼所需計算復雜度。Gregor等[5]、Koray等[6]提出基于學習的迭代收縮閾值算法 (learned iterative shrinkage thresholding algorithm, LISTA)。LISTA算法通過結合常規(guī)方法所得編碼向量，以訓練參數(shù)化的非線性編碼器來預測最優(yōu)稀疏編碼。

傳統(tǒng)稀疏編碼算法是將圖像整體分為若干過冗余圖像塊，然后基于所有過冗余圖像塊訓練所需字典。這樣一來所學習到的字典中會含有大量的冗余信息，從而最終降低了所得目標圖像質量。Kavukcuoglu等[7]提出卷積形式的坐標下降算法(convolutional extension to coordinate descent sparse coding, CCoD)，該算法在卷積訓練過程中通過使用大窗口代替小窗口以減少過冗余信息?？祩骼萚8]提出可以從平滑角度出發(fā)來去除噪聲。華志勝等[9]采用噪聲檢測對圖像塊進行分類進一步提高傳統(tǒng)方法對圖像的特征的描述?？子萚10]通過改進傳統(tǒng)算法來提升去噪效果并提出新算法，該算法可以對噪聲圖像進行高低頻分離，進而可以更好地描述圖像信息。為進一步提高算法去噪效果，張宇中等[11]通過將曲波算法與傳統(tǒng)算法結合起來。新算法不但同時結合曲波算法與傳統(tǒng)算法的優(yōu)勢，而且多尺度字典可以更加充分的描述圖像信息。Zeiler等[12]通過訓練組卷積核來學習所需字典，提出卷積稀疏編碼模型(convolutional sparse coding, CSC)。CSC模型通過交替訓練卷積核與其對應的特征響應來完成對原始圖像的重構。卷積稀疏編碼使用全局模型代替了傳統(tǒng)稀疏編碼基于圖像塊的局部模型，具有移位不變性[13]的全局模型不再區(qū)分位于不同圖像塊中的相同圖像特征，有效提高了所獲取目標圖像的質量。

目前對于卷積稀疏編碼算法的研究主要為Bristow等[14]、Heide等[15]、Brendt等[16]所提出的結合ADMM算法在傅里葉域中對CSC模型進行優(yōu)化求解。后來，Vardan等[17-19]為優(yōu)化求解CSC模型給出了理論保障，并結合傳統(tǒng)稀疏編碼算法提出卷積字典學習算法(slice based dictionary learning, S-BCSC)[20]。Choudhury等[21]提出共識卷積稀疏編碼模型(consensus convolutional sparse coding, CCSC)。CCSC有效解決了CSC模型在每次迭代中過程所占內存較大問題。Chalasani等[22]提出卷積形式的快速迭代收縮閾值算法(convolutional fast iterative shrinkage thresholding algorithm, CFISTA)。該算法首次將ISTA算法應用于求解CSC模型，但算法并不成熟最終所帶來的效果并不理想。Wang等[23]提出可拓展的在線卷積稀疏編碼算法，通過重新設計目標函數(shù)進一步減少了在線訓練卷積字典算法中所需歷史矩陣的大小。陳小陶等[24]將傳統(tǒng)模型與CSC模型相結合提出卷積稀疏表示圖像重構算法。Lama等[25]在對偶域中重新設計了卷積稀疏編碼模型，新模型進一步提升了模型收斂速度，但沒有考慮到與深度學習相關算法相結合。Wang等[26]提出在線字典學習算法，該算法首先在全體圖像集上訓練基字典，然后在訓練與相關的自適應系數(shù)，以此用來在基字典中選擇出與樣本相關的濾波器從而可以更好地描述圖像特征。Wang等[26]所提出的在線字典學習算法可以通過僅與樣本相關的圖像來訓練所需卷積字典，該算法是初步借鑒深度學習領域相關算法來優(yōu)化卷積稀疏編碼。

為進一步優(yōu)化卷積稀疏編碼模型，Hillel等[27]將卷積神經(jīng)網(wǎng)絡的計算能力和稀疏編碼理論結合在一起提出近似卷積稀疏編碼算法(approximate convolutional sparse coding, ACSC)。ACSC算法并不是直接對CSC模型使用標準LISTA算法，而是先將標準ISTA算法轉延拓為卷積形式，進而在轉化為卷積形式的LISTA算法。ACSC算法通過在卷積形式的LISTA算法迭代的末尾添加由濾波器數(shù)組組成的線性編碼器來學習卷積字典，進一步提高了CSC模型生成編碼向量的精確程度。ACSC算法首次將CNN應用于卷積稀疏編碼模型中，雖然使用該算法所得效果要優(yōu)于傳統(tǒng)卷積稀疏編碼模型，但是并沒有從理論上給出可行性解釋。

卷積稀疏編碼算法雖然已經(jīng)應用于圖像卡通紋理分離[20]、圖像融合[28]、圖像超分辨率[29]等其他問題。但對于圖像去噪等問題，卷積稀疏編碼算法依舊落后于經(jīng)典算法。為進一步研究CSC模型，Aviad等[30]、Vardan等[31]在之前研究者基礎上，從理論上分析了卷積稀疏編碼模型與卷積神經(jīng)網(wǎng)絡的不同與相同之處，并通過實驗給出相關對比。為更好地將卷積稀疏編碼應用于圖像去噪，Dror等[32]結合ACSC算法提出卷積稀疏編碼網(wǎng)絡模型(convolutional sparse coding network, CSCNet)。新模型在圖像去噪應用上效果要優(yōu)于傳統(tǒng)算法，而且相比深度學習算法大大減少了模型訓練參數(shù)。

CSCNet模型雖然有效解決了卷積稀疏編碼圖像去噪問題，而且模型整體相比深度模型大大減少了所使用參數(shù)量。但是CSCNet模型并沒有考慮到卷積層與反卷積層之間疊加會改變原始輸入數(shù)據(jù)分布方式，進而降低最終圖像去噪效果，而這種現(xiàn)象在深度學習中被稱之為內部協(xié)變量偏移。為避免這種現(xiàn)象對CSCNet模型帶來影響，現(xiàn)結合批處理標準化算法(batch normalization, BN)[33]、非線性激活函數(shù)(non-linear activation function rectified linear unit, Relu)[34-35]、 殘差結構(residual learning, RL)[36]對CSCNet圖像去噪網(wǎng)絡模型作進一步改進與研究。首先討論在CSCNet模型中加入以及不加入BN、Relu函數(shù)、殘差結構對原模型所帶來的影響，然后在此基礎上提出帶有跳躍聯(lián)結結構(Shortcut Connections結構)的卷積稀疏編碼模型，通過實驗將本文研究中所提算法與CSCNet模型、S-BCSC算法[20]所得結果進行對比來驗證所提算法有效性。

1 相關工作

1.1 稀疏編碼

稀疏編碼(sparse coding, SC)[1]是稀疏矩陣與學習到的字典矩陣之間通過線性組合的方式來完成對原始輸入的重構。該模型表達形式為

(1)

式(1)中:X為原始輸入;D為所訓練的字典矩陣;z為稀疏矩陣；α為懲罰系數(shù)；L(X,z,D) 為算法優(yōu)化過程中所涉及的量。對于給定的輸入X，z*=argminL(X,z,D) 為算法最終所得編碼向量。

1.2 卷積稀疏編碼

傳統(tǒng)稀疏編碼算法是將圖像整體分為若干過冗余圖像塊，然后將每一個圖像塊看為整體使用基追蹤方法相互獨立的處理。通過這種方法學習到的字典中會含有大量的冗余信息，因此，由此所得中高級圖像特征并不能準確描述圖像信息。為有效解決該問題，Zeiler等[12]通過訓練組卷積核來生成所需字典，提出卷積稀疏編碼模型(convolutional sparse coding, CSC)。CSC通過交替訓練卷積核與其對應的特征響應來完成對原始圖像的重構，模型表達式為

(2)

式(2)中：X為原始輸入圖像；dj為第j個卷積核；zj為卷積核所對應的特征響應；m、K分別為模型對特征響應非零數(shù)目的限制以及所訓練卷積核總數(shù)。

1.3 批處理標準化

卷積神經(jīng)網(wǎng)絡因可以有效解決大規(guī)模數(shù)據(jù)集特征提取問題而受到廣泛關注，但隨著網(wǎng)絡層數(shù)的增加模型也會變得越來越難訓練。雖然小批量隨機梯度下降算法(stochastic gradient descent algorithm, SGD)是一種非常有效的深度模型訓練方法，但是在訓練過程中隨著前一層參數(shù)的變化后一層輸入數(shù)據(jù)的分布同樣也會發(fā)生變化從而導致模型不易訓練，這種現(xiàn)象稱之為內部協(xié)變量偏移(internal convariate shift, ICS)。通常的解決方法是在訓練過程中設置較小的學習率以及選取適當?shù)某跏蓟瘏?shù)。為進一步有效解決內部協(xié)變量偏移對模型的影響，Sergey等[33]提出批處理標準化算法。批處理標準化算法在每一層非線性映射函數(shù)之前，通過數(shù)據(jù)歸一化步驟來降低ICS問題對模型的影響。批處理標準化算法如表1所示。目前CSC模型同類算法中，還沒有算法通過考慮加入BN來優(yōu)化CSC模型。

表1 批處理標準化算法[33]Table 1 Batch normalizing algorithm[33]

1.4 Shortcut Connections

隨著卷積神經(jīng)網(wǎng)絡層數(shù)的不斷增加，不得不面臨的一個問題就是梯度消失、爆炸。當然這個問題可以通過在每一層非線性映射函數(shù)之前，通過批處理標準化(batch normalization, BN)來解決。但是隨著網(wǎng)絡層數(shù)的進一步增加，最終訓練得到的模型精確度卻不高。這一現(xiàn)象不再與梯度消失、梯度爆炸相關，而是由所設計模型本身的復雜程度所導致。為有效解決該問題，He等[36]提出殘差學習。殘差學習網(wǎng)絡模型由帶有跳躍結構的基礎殘差塊構成，其中基礎殘差塊結構如圖1所示。殘差網(wǎng)絡不再是直接學習目標未知函數(shù)H(x)，而是先學習殘差映射F(x)=H(x)-x，最終通過H(x)=F(x)+x獲得原始目標映射。目前卷積稀疏編碼同類算法中，還沒有算法使用Shortcut Connections結構、基礎殘差結構[36]來優(yōu)化CSC模型。

圖1 殘差塊結構[36]Fig.1 Residual block structure[36]

1.5 卷積稀疏編碼圖像去噪網(wǎng)絡模型

具有移位不變性的卷積稀疏編碼模型廣泛應用于信號圖像處理各領域，但是在諸如圖像去噪之類的應用中仍落后于傳統(tǒng)算法。Dror等[32]對CSC模型應用于圖像去噪給出新的見解，并提出帶卷積步長且以MMSE算法作為近似逼近的卷積稀疏編碼網(wǎng)模型(CSCNet)。CSCNet是在ACSC模型[27]基礎上改進的，算法主要迭代內容如下：

(3)

圖2 卷積稀疏編碼網(wǎng)絡模型Fig.2 Convolutional sparse coding network model

CSCNet模型雖能有效解決圖像去噪問題，但模型并沒有考慮到由卷積以及反卷積之間的疊加會改變數(shù)據(jù)的分布方式。Zhang等[37]將BN[33]、殘差學習[36]加入深層卷積神經(jīng)網(wǎng)絡提出深層卷積去噪網(wǎng)絡，并在文中提高實驗證明加入服從高斯分布的BN、殘差網(wǎng)絡有利于模型去除高斯噪聲。李敏等[38]后來對Zhang等[37]提出的模型做出改進，并在模型中加入了Inception結構。CSCNet模型并沒有考慮加入非線性激活函數(shù)、BN、基礎殘差塊等其他深度學習常用方法。Wang等[26]、Sreter等[27]雖然借鑒了深度學習相關方法來優(yōu)化CSC模型，但并沒有給出理論依據(jù)。Dror等[32]從理論上分析了CSC模型與CNN之間的相同與不同之處并提出了CSCNet網(wǎng)絡模型，但是該模型沒有考慮到卷積層與反卷積層之間的疊加會改變數(shù)據(jù)傳播方式。本文研究中借鑒Zhang等[37]的思想，嘗試將非線性激活函數(shù)Relu、批標準化處理、殘差塊結構加入卷積稀疏編碼網(wǎng)絡模型中，并通過實驗討論了加入這些結構對CSCNet模型所帶來的影響。目前在CSC同類算法中，還沒有算法考慮使用非線性激活函數(shù)Relu、BN、殘差塊結構這些方法來優(yōu)化CSC模型。

2 本文算法

2.1 新網(wǎng)絡模型結構圖

為進一步深入研究卷積稀疏編碼網(wǎng)絡模型，在保持原始卷積稀疏編碼網(wǎng)絡結構、優(yōu)化算法不變的情況下，給出兩種不同的網(wǎng)絡模型設置。模型1是僅在CSCNet模型每一層加入BN、Relu函數(shù)，模型1網(wǎng)絡結構如圖3所示。在模型1中，輸入圖像被分若若干128×128圖像塊，然后使用LISTA算法完成近似編碼過程，在此過程中輸入數(shù)據(jù)會經(jīng)歷卷積層、反卷積層疊加，為不改變數(shù)據(jù)分布方式模型1中在卷積層、反卷積層后加入BN，為進一步促進模型稀疏性加入Relu函數(shù)，模型1最后一層反卷積層為圖像解碼以及圖像重構過程。模型1中卷積層、反卷積層均由175個11×11卷積核構成。模型1中LISTA迭代為Gregor等[5]所提出的可學習的迭代收縮閾值算法。具體模型結構圖如圖3所示。

圖3 模型1網(wǎng)絡結構圖Fig.3 Model 1 network structure diagram

模型2不僅在原始網(wǎng)絡每一層上加入批處理標準化層、非線性激活函數(shù)層，還在原始輸入與卷積輸入之前加入了Shortcut Connections結構，改變了原始模型參數(shù)傳播方式而且使模型變得復雜。為不增加原始模型負擔。模型2由三部分組成，第一部分為數(shù)據(jù)處理階段，該部分由1個3×3的卷積層，1個1×1的卷積層，以及將原始輸入與殘差輸出聯(lián)結起來的Shortcut Connections結構構成。第二、三部分為向量編碼、解碼過程，這兩部分結構與模型1一致均使用175個11×11的卷積核構成。模型2中LISTA迭代為Gregor等[5]所提出的可學習的迭代收縮閾值算法，Conv代表卷積層。模型2具體結構如圖4所示。

圖4 模型2網(wǎng)絡結構圖Fig.4 Model 2 network structure diagram

2.2 BN、Shortcut Connections結構對CSCNet模型的影響

Dror等[32]提出CSCNet是以近似卷積稀疏編碼算法[20]為基礎，由卷積層、反卷積層構成的網(wǎng)絡模型。但由于卷積、反卷積層之間的疊加，CSCNet模型在訓練過程中數(shù)據(jù)會隨著前一層參數(shù)的變化，從而導致影響最終所得結果。為避免或減少該現(xiàn)象對CSCNet網(wǎng)絡模型的影響，借鑒Zhang等[37]在卷積神經(jīng)網(wǎng)絡中處理類似問題的方法，在原始CSCNet模型中每加入Batch Normalization[33]、Relu[35]函數(shù)。并且通過實驗對比了不同卷積步長的CSCNet模型中，加入以及不加入BN結構對模型去噪效果的影響。在CSCNet模型中加入Relu函數(shù)會使一部分元素的輸出為0，進一步促進了網(wǎng)絡的稀疏性。

Zhang等[37]指出BN、殘差結構均是服從高斯分布，從而能夠更好地去除高斯噪聲。本文中嘗試在CSCNet模型中卷積輸入之前加入基礎殘差塊結構，該殘差塊結構從輸入層出發(fā)由1個3×3的卷積層構成，然后通過Shortcut Connections結構將原始輸入與1×1卷積層卷積輸入聯(lián)結起來。在模型中加入3×3卷積層是通過依次添加不同尺度卷積核，最終對比實驗結果所得。在CSCNet模型中加入3×3卷積層進一步增加了圖像特征的多樣性。在模型中加入1×1的卷積，是為了使新模型在卷積稀疏編碼部分卷積輸入與原始模型卷積輸入數(shù)據(jù)維度保持一致。在卷積稀疏編碼網(wǎng)絡模型中加入基礎殘差塊結構，改變了原始參模型數(shù)傳播方式，使模型能夠更好地去除高斯噪聲。

選取文獻[39]中BSD432圖像集60幅圖像為一組作為訓練集，Set12標準圖像集作為測試集，其中測試集中的圖像均不會出現(xiàn)在訓練集中，以添加均值為0、方差為σ=25的高斯白噪聲為例，觀察非線Relu、BN、基礎殘差塊結構對CSCNet網(wǎng)絡模型去噪效果的影響。圖5～圖7是卷積步長固定時Relu函數(shù)、BN、基礎殘差塊結構對模型去噪效果影響。圖8～圖12是對于不同步長同時加入Relu、BN、基礎殘差塊結構對模型去噪效果影響。圖13、圖14顯示的是基礎殘差結構中卷積核選取方法。

圖5 卷積步長為9時BN層、Relu函數(shù)對、基礎殘差塊對CSCNet模型去噪效果影響Fig.5 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 9

圖6 卷積步長為8時BN層、Relu函數(shù)對、基礎殘差塊對CSCNet模型去噪效果影響Fig.6 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 8

圖7 卷積步長為7時BN層、Relu函數(shù)對、基礎殘差塊對CSCNet模型去噪效果影響Fig.7 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 7

圖8 不同卷積步長時加入BN對CSCNet模型去噪影響Fig.8 The effect of adding BN to the denoising effect of the CSCNet model at different convolution steps

圖9 不同卷積步長時加入Relu對CSCNet模型去噪影響Fig.9 The effect of adding Relu on the denoising of the CSCNet model at different convolution steps

圖10 不同卷積步長時同時加入BN、Relu函數(shù)對CSCNet模型去噪影響Fig.10 The effect of adding BN and Relu functions to the denoising of the CSCNet model at different convolution steps

圖11 不同卷積步長時加入基礎殘差塊對CSCNet模型去噪影響Fig.11 The influence of adding the basic residual block to the denoising of the CSCNet model at different convolution steps

圖12 不同卷積步長時同時加入BN、Relu、基礎殘差塊對CSCNet模型去噪影響Fig.12 The effect of adding BN, Relu, and basic residual block to CSCNet model denoising at different step

圖13 不同尺度卷積核對CSCNet模型去噪影響Fig.13 The influence of different scale convolution kernels on the denoising of CSCNet model

圖14 不同數(shù)量卷積核對CSCNet模型去噪影響Fig.14 The influence of different numbers of convolution kernels on the denoising of the CSCNet model

從圖5、圖6、圖7(a)中可以看出，在CSCNet模型中僅加入BN、Relu函數(shù)對原始模型帶來的效果并不明顯，甚至可能沒有不加之前效果好，但是在CSCNet模型中同時加入兩者后新模型整體收斂速度要比原始模型更平穩(wěn)，而且最終收斂值要比原模型高一些。從圖5、圖6、圖7(b)中可以看出，在模型中只加入基礎殘差塊結構在一定程度上影響模型去噪效果，在模型1結構基礎上加入基礎殘差塊對模型影響可能沒有不加之前要好，但是與原始模型相比去噪效果有了些許提升。圖8～圖12是對比不同步長同時加入BN、Relu函數(shù)、基礎殘差塊結構對CSCNet模型去噪影響。從中可以看出在步長不同時僅加入BN或者Relu對模型帶來的影響并不大，甚至可能沒有原模型效果好，但從圖8～圖12中可以看出，當步長為7時模型整體從收斂速度以及收斂值來說要好一些，也即圖中藍色曲線部分。圖13、圖14描述的是如何設置殘差塊結構中卷積核，可以看出卷積核并不是加入越多、設置的越大越好。

3 實驗結果

通過實驗對比模型1、模型2與CSCNet模型去噪效果。CSCNet原模型、模型1、模型2中LISTA迭代為Gregor等[5]所提出的可學習的迭代收縮閾值算法。實驗中以文獻[39]中BSD432圖像集60幅、120幅為一組分別記為訓練集1與訓練集2，接著以文獻[40]中Waterloo exploration database圖像集60幅、120幅為一組分別記為訓練集3與訓練集4。再以文獻[32]中Set12作為測試集，文獻[39]BSD68圖像集中20幅圖像為一組作為測試集2。在上述實驗中測試集中的圖像均不會出現(xiàn)在訓練集中。為方便對比實驗結果，各模型均采用DCT變換初始化卷積字典，CSCNet模型、模型1、模型2卷積步長均設置為7。測試實驗是在i7-8550U 1.8 GHz CPU和8 GB RAM的設備上進行的。

表2～表9是各模型在不同訓練集不同測試集上所得結果對比，最終結果取多次重復實驗所得結果的平均值。表10顯示的是各模型在訓練集1、Set12測試集上每次迭代所需平均時間對比。表11描述的是各模型所使用參數(shù)對比情況。

表2 訓練集為1時各模型在測試集Set12上平均峰值信噪比值對比Table 2 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 1

表3 訓練集為1時各模型在測試集2上平均峰值信噪比值對比Table 3 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 1

表4 訓練集為2時各模型在測試集Set12上平均峰值信噪比值對比Table 4 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 2

表5 訓練集為2時各模型在測試集2上平均峰值信噪比值對比Table 5 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 2

表6 訓練集為3時各模型在測試集Set12上平均峰值信噪比值對比Table 6 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 3

表7 訓練集為3時各模型在測試集2上平均峰值信噪比值對比Table 7 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 3

表8 訓練集為4時各模型在測試集Set12上平均峰值信噪比值對比Table 8 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 4

表9 訓練集為4時各模型在測試集2上平均峰值信噪比值對比Table 9 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 4

表10 不同模型測試時間對比Table 10 Comparison of Test Time of Different Models

表11 不同模型參數(shù)對比Table 11 Comparison of different model parameters

從表2～表9中實驗數(shù)據(jù)可以看出，模型1、模型2所得結果相比原CSCNet模型所得結果略有提升，當所添加噪聲程度較低時這種。使用本文研究所設計的兩種模型去噪后的結果要比原S-BCSC算法以及原始CSCNet網(wǎng)絡模型要好一些，這種優(yōu)勢在噪聲程度較低時會明顯一些。表10、表11是各模型運行時間以及參數(shù)對比，可以看出模型1、模型2再不大幅增加CSCNet模型計算負擔的前提下使模型去噪效果略有改善。

4 結論

圍繞迭代求解近似編碼向量過程中卷積、反卷積層疊加會改變CSCNet模型中數(shù)據(jù)分布方式，通過在原模型中加入BN、Relu函數(shù)，先后設計了模型1、模型2。通過一系列實驗驗證所設計模型可行性，通過實驗得出模型1、模型2最終所得結果要優(yōu)于S-BCSC算法以及CSCNet模型。但由于實驗設備有限僅在部分數(shù)據(jù)集上進行實驗，后續(xù)會繼續(xù)擴大數(shù)據(jù)集來進一步驗證所提方法有效性。模型1、模型2雖然所得結果相比CSCNet模型所提升，但提升結果并不是特別明顯，后期會繼續(xù)結合其他可行方法對CSCNet模型做進一步研究。