深度學(xué)習(xí)輕量化偵察圖像壓縮網(wǎng)絡(luò)

諶 宇,諶德榮,崇魁奇,王澤鵬,張 凱

(1.北京理工大學(xué),北京 100081;2.北京航宇天穹科技有限公司,北京 100043)

0 引言

小型偵察平臺具有靈活性高、隱蔽性強(qiáng)等特點(diǎn),是快速獲取偵察圖像的重要技術(shù)手段。為了保證獲取圖像的時效性,小型偵察平臺需要將獲取的偵察圖像壓縮后通過無線信道傳回指揮中心,圖像壓縮性能是決定獲取圖像質(zhì)量的關(guān)鍵。

根據(jù)處理方法的不同,圖像壓縮算法可以分為傳統(tǒng)壓縮算法和基于深度學(xué)習(xí)的壓縮算法兩類。

傳統(tǒng)壓縮算法主要通過預(yù)測、變換去除圖像的空間冗余,通過熵編碼去除統(tǒng)計(jì)冗余,進(jìn)而達(dá)到壓縮數(shù)據(jù)的目的。例如,JPEG2000[1]壓縮算法通過小波變換來去除圖像中的空間冗余,利用算數(shù)編碼來去除統(tǒng)計(jì)冗余,是傳統(tǒng)圖像壓縮算法中性能最好的。

基于深度學(xué)習(xí)的圖像壓縮算法主要通過神經(jīng)網(wǎng)絡(luò)來去除圖像中的冗余信息。根據(jù)使用的網(wǎng)絡(luò)模型結(jié)構(gòu)不同,基于深度學(xué)習(xí)的圖像壓縮方法可以分為基于遞歸神經(jīng)網(wǎng)絡(luò)的、基于變分自編碼器的和基于生成對抗網(wǎng)絡(luò)的圖像壓縮算法三類。

基于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的圖像壓縮算法通過迭代調(diào)用基于RNN的編碼器來壓縮圖像或圖像殘差的數(shù)據(jù)量,并利用熵編碼進(jìn)一步降低數(shù)據(jù)量。雖然能精確地控制壓縮比,但是存在網(wǎng)絡(luò)模型復(fù)雜度較高、計(jì)算量大、圖像壓縮質(zhì)量不佳等問題。

基于變分自編碼器(VAE)的圖像壓縮算法利用卷積神經(jīng)網(wǎng)絡(luò)搭建由編碼器和解碼器組成的端到端學(xué)習(xí)網(wǎng)絡(luò)。此算法可以超過JPEG2000的圖像壓縮質(zhì)量,但是單個網(wǎng)絡(luò)模型只能實(shí)現(xiàn)一種壓縮比的圖像壓縮,而且使用了熵編碼處理,不利于硬件的并行加速處理。

基于生成對抗網(wǎng)絡(luò)(GAN)的圖像壓縮算法在基于VAE的端到端圖像壓縮模型的基礎(chǔ)上引入判別器以構(gòu)成GAN,并且以金字塔式結(jié)構(gòu)設(shè)計(jì)了編碼器和判別器,在去除圖像冗余的同時保留更多細(xì)節(jié)信息,提高了圖像質(zhì)量,但同樣存在模型復(fù)雜、計(jì)算量大等問題。

為滿足小型偵察平臺對圖像壓縮算法計(jì)算復(fù)雜度低、計(jì)算量小、模型參數(shù)少等要求,提出基于深度學(xué)習(xí)輕量化偵察圖像壓縮網(wǎng)絡(luò),通過輕量化編碼網(wǎng)絡(luò)設(shè)計(jì)、高質(zhì)量解碼網(wǎng)絡(luò)設(shè)計(jì)和損失函數(shù)設(shè)計(jì)以降低編碼網(wǎng)絡(luò)的復(fù)雜度和提升圖像壓縮質(zhì)量。該網(wǎng)絡(luò)在編碼端采用三個卷積模塊將圖像直接映射為服從均勻分布的二進(jìn)制碼流,得到壓縮后數(shù)據(jù),進(jìn)而去除了不利于硬件并行處理的熵編碼操作;為了降低卷積模塊的計(jì)算量和參數(shù)量,采用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積,并利用分組卷積+通道重排優(yōu)化卷積模塊;在解碼端通過轉(zhuǎn)置卷積和殘差模塊提升特征的提取和恢復(fù)能力,進(jìn)而提高解碼圖像質(zhì)量。為了使壓縮后的數(shù)據(jù)服從均勻分布使其包含的信息量最大化,并使圖像重建誤差最小化,設(shè)計(jì)了能夠同時反映壓縮后數(shù)據(jù)信息熵和重建誤差的目標(biāo)函數(shù)。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種包含卷積計(jì)算且具有深層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),通常由數(shù)據(jù)輸入層、卷積層、激活函數(shù)層、池化層與全連接層組成。

數(shù)據(jù)輸入層一般是對輸入卷積網(wǎng)絡(luò)的數(shù)據(jù)進(jìn)行預(yù)處理,例如去均值、歸一化等。該層的主要目的是加快訓(xùn)練過程中網(wǎng)絡(luò)的收斂速度,調(diào)整輸入數(shù)據(jù)的取值范圍,防止超過激活函數(shù)的值域限制。

卷積層主要通過卷積核完成對數(shù)據(jù)的卷積操作。該層的目的是獲取數(shù)據(jù)更深層次的特征信息。在卷積神經(jīng)網(wǎng)絡(luò)中,決定某一層輸出結(jié)果中一個元素所對應(yīng)的輸入層的區(qū)域大小,被稱作感受野。卷積層的層數(shù)越多,感受野就越大;感受野越大,網(wǎng)絡(luò)能提取的信息就越充分。

激活函數(shù)的主要作用是向網(wǎng)絡(luò)中引入非線性,加入激活函數(shù)之后,深度神經(jīng)網(wǎng)絡(luò)具備了非線性映射學(xué)習(xí)能力。

全連接層一般處在網(wǎng)絡(luò)的末端,在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用,將網(wǎng)絡(luò)中生成的各種特征整合到一起。 該層的參數(shù)較多,容易出現(xiàn)參數(shù)冗余,降低訓(xùn)練速度等問題。

2 輕量化圖像壓縮網(wǎng)絡(luò)

通過輕量化編碼網(wǎng)絡(luò)設(shè)計(jì)、高質(zhì)量解碼網(wǎng)絡(luò)設(shè)計(jì)和損失函數(shù)設(shè)計(jì)以降低編碼網(wǎng)絡(luò)的參數(shù)量與計(jì)算量和提升圖像壓縮的質(zhì)量。

2.1 編碼網(wǎng)絡(luò)設(shè)計(jì)

編碼網(wǎng)絡(luò)的設(shè)計(jì)以編碼結(jié)構(gòu)簡單、編碼參數(shù)少、編碼計(jì)算量少為指導(dǎo)思想。編碼網(wǎng)絡(luò)使用卷積神經(jīng)網(wǎng)絡(luò)將圖像直接映射為二進(jìn)制碼流,同時為了減少編碼的計(jì)算量,引入深度可分離卷積與分組卷積,大大降低了網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 編碼網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of coding network structure

編碼網(wǎng)絡(luò)主要包含三個模塊:

第一個模塊包含一個下采樣卷積層和一個ReLU激活函數(shù)。下采樣卷積層對輸入數(shù)據(jù)進(jìn)行步長為2的下采樣卷積處理。該層卷積核尺寸為3×3,卷積核個數(shù)為32個。

第二個模塊采用了深度可分離卷積以及分組卷積+通道重排。該模塊包含一個ReLU激活函數(shù)、一個下采樣深度卷積層和一個點(diǎn)卷積層。下采樣深度卷積層,進(jìn)行步長為2的下采樣,其卷積核為尺寸3×3,個數(shù)為32個。點(diǎn)卷積層根據(jù)分組卷積原理將該層分為兩個部分,每部分卷積核尺寸為1×1×16,卷積核個數(shù)為16個。

第三個模塊也采用了深度可分離卷積。該模塊也包含一個下采樣深度卷積層,以及一個點(diǎn)卷積層。下采樣深度卷積層采樣步長為2,卷積核尺寸為3×3,卷積核個數(shù)為32個。點(diǎn)卷積層卷積核尺寸為1×1×32,該層卷積核數(shù)量與壓縮比有關(guān)。

經(jīng)過三個模塊處理后,輸出數(shù)據(jù)經(jīng)二進(jìn)制量化得到壓縮后的數(shù)據(jù)。二進(jìn)制量化處理將網(wǎng)絡(luò)輸出的數(shù)據(jù)量化為位寬為1 b的0或1,進(jìn)一步提高壓縮比。在測試過程中二值量化采用以0.5為分界的階躍函數(shù);在訓(xùn)練過程中為了保證梯度能夠反傳,采用Sigmoid函數(shù)代替階躍函數(shù)完成量化。

壓縮比與第三模塊點(diǎn)卷積層卷積核的數(shù)量相關(guān)。設(shè)編碼網(wǎng)絡(luò)輸入的灰度圖像長和寬分別為H,W,第三模塊點(diǎn)卷積層的卷積核個數(shù)為M,則編碼網(wǎng)絡(luò)輸入的數(shù)據(jù)量為H×W×1,編碼網(wǎng)絡(luò)輸出數(shù)據(jù)量為H/8×W/8×M,此時數(shù)據(jù)量壓縮比為64/M。原始圖像像素位寬為8 b,二值量化后數(shù)據(jù)位寬為1 b,因此最終壓縮比為64/M×8。當(dāng)輸入圖像尺寸為128×128,壓縮比設(shè)定為64時,第三模塊點(diǎn)卷積層個數(shù)為8,編碼端參數(shù)量為1 632,編碼器浮點(diǎn)運(yùn)算量(FLOPs)為4 069 376(一次乘加運(yùn)算FLOPs為2)。

2.1.1深度可分離卷積

在編碼網(wǎng)絡(luò)中,第一模塊輸入通道數(shù)為1,第二、第三模塊輸入通道數(shù)為32。計(jì)算量主要集中在第二模塊和第三模塊。在這兩個模塊中使用深度可分離卷積,可以大大減少編碼網(wǎng)絡(luò)的參數(shù)量與計(jì)算量[2-3]。

深度可分離卷積包括深度卷積(DW)和點(diǎn)卷積(PW)兩個部分。相比常規(guī)的卷積操作,其參數(shù)量和計(jì)算量比較低。

在深度卷積中,每個輸入通道的特征圖分別與一個卷積核進(jìn)行卷積,而非每個輸入通道的特征圖與所有卷積核進(jìn)行卷積。深度卷積的計(jì)算結(jié)果缺少不同通道在相同空間上的信息,通常需要在其后加一個點(diǎn)卷積,以融合不同通道之間的信息。深度卷積的卷積核數(shù)與輸入通道數(shù)一致,不會改變數(shù)據(jù)的維度。

點(diǎn)卷積的卷積核尺寸為1×1×M,M為輸入通道數(shù)。點(diǎn)卷積運(yùn)算主要是對每個輸入特征圖的像素點(diǎn)在通道的維度上進(jìn)行線性組合。

若編碼網(wǎng)絡(luò)第二、第三模塊不使用深度可分離卷積,則編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 剝離深度可分離卷積的編碼網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Schematic diagram of code network structure without using depth-separable convolution

圖2中,第二模塊只保留了一層下采樣卷積層和一個ReLU激活函數(shù)。卷積層分為兩個部分,每個部分卷積核尺寸為3×3×16,卷積核個數(shù)為16個;第三個模塊也只保留了一層下采樣卷積層,該層卷積核尺寸為3×3×32,卷積核個數(shù)為8個。此時編碼網(wǎng)絡(luò)參數(shù)量為7 200,是使用深度可分離卷積的編碼網(wǎng)絡(luò)參數(shù)量的4.4倍;在輸入圖像尺寸為128×128的情況下,浮點(diǎn)運(yùn)算量為11 750 400,是使用深度可分離卷積的編碼網(wǎng)絡(luò)運(yùn)算量的2.9倍。

2.1.2分組卷積+通道重排

在編碼網(wǎng)絡(luò)三個模塊中第二模塊的輸入通道與卷積核的數(shù)量最多,可通過對該模塊采用分組卷積[4-5]+通道重排[6-8]的方法以減少參數(shù)量及計(jì)算量。

分組卷積是將輸入通道以及卷積核分為T組,組內(nèi)進(jìn)行常規(guī)卷積,組與組之間沒有聯(lián)系。其中,每一組輸入通道和卷積核個數(shù)為原來的1/T。

分組卷積在降低計(jì)算量的同時削弱了通道之間的相關(guān)性,引入ShuffleNet算法的通道重排模塊可提高對通道相關(guān)性利用。分組卷積與通道重排結(jié)構(gòu)如圖3所示。

圖3 分組卷積與通道重排示意圖Fig.3 Schematic diagram of group convolution and channel shuffle

在編碼網(wǎng)絡(luò)的第二模塊中,點(diǎn)卷積層使用了分組卷積,將該層卷積分兩組,每組由16個1×1×16卷積構(gòu)成,輸入通道數(shù)為第二模塊深度卷積輸出通道數(shù)的一半,即每一組的輸入通道數(shù)為16。

為了提高對通道相關(guān)性的利用,參考ShuffleNet算法,首先將第一模塊下采樣卷積層輸出的32個通道進(jìn)行分組,通道1～16為一組,通道17～32為一組;然后將兩組通道進(jìn)行交錯排列,并將重排后的特征圖傳入下一個處理網(wǎng)絡(luò)。

若編碼網(wǎng)絡(luò)第二模塊不使用分組卷積+通道重排,則編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 剝離分組卷積+通道重排的編碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Schematic diagram of code network structure without using Group convolution and channel shuffle

與圖1相比,圖4中第一、第三模塊未發(fā)生變化,第二模塊的點(diǎn)卷積層卷積尺寸變?yōu)榱?×1×32,卷積核個數(shù)變?yōu)?2個。此時編碼網(wǎng)絡(luò)參數(shù)量為2 144,是使用分組卷積+通道重排編碼網(wǎng)絡(luò)參數(shù)量的1.3倍;在輸入圖像尺寸為128×128的情況下,編碼網(wǎng)絡(luò)浮點(diǎn)運(yùn)算量為5 117 952,是使用分組卷積+通道重排編碼網(wǎng)絡(luò)參數(shù)量的1.25倍。

表1、表2比較了在128×128分辨率下本文設(shè)計(jì)的編碼網(wǎng)絡(luò)、不使用深度可分離卷積的編碼網(wǎng)絡(luò)、不使用卷積分組+通道重排的編碼網(wǎng)絡(luò),三種編碼網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。參數(shù)量見表1,計(jì)算量見表2。

表1 編碼網(wǎng)絡(luò)參數(shù)量對比表Tab.1 Code network parameter number comparison table

表2 編碼網(wǎng)絡(luò)計(jì)算量對比表Tab.2 Comparison table of computations at coding network

由表1、表2可知,深度可分離卷積和卷積分組+通道重排可以使編碼網(wǎng)絡(luò)參數(shù)量、計(jì)算量大大降低。

2.2 解碼網(wǎng)絡(luò)設(shè)計(jì)

解碼網(wǎng)絡(luò)以提高重建圖像質(zhì)量為設(shè)計(jì)目的。提出的解碼網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 解碼網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.5 Decoding network structure diagram

在圖5中,解碼網(wǎng)絡(luò)主要由3種模塊組成:卷積層、轉(zhuǎn)置卷積、殘差模塊。

在解碼網(wǎng)絡(luò)中,第一個卷積層尺寸為3×3,卷積核個數(shù)為64個;最后一個卷積層尺寸為3×3,卷積核個數(shù)為1個;其余的卷積層卷積尺寸為3×3,卷積核個數(shù)為32個。

轉(zhuǎn)置卷積用來恢復(fù)圖像分辨率。轉(zhuǎn)置卷積的核長為4,步長為2,卷積核個數(shù)為32個。這樣可以避免由棋盤效應(yīng)帶來的重建圖像質(zhì)量下降的問題。

殘差模塊可以緩解網(wǎng)絡(luò)過深造成的網(wǎng)絡(luò)退化和梯度消失問題,有利于提升梯度傳遞的效率。殘差模塊結(jié)構(gòu)中包含兩層卷積層和兩個ReLU函數(shù)。

2.3 損失函數(shù)設(shè)計(jì)

(1)

式中:壓縮量y的熵值如式(2)所示。

(2)

式中:n為壓縮量y的取值范圍,pi為對應(yīng)y值出現(xiàn)的概率。

(3)

3 網(wǎng)絡(luò)訓(xùn)練與測試

網(wǎng)絡(luò)訓(xùn)練所用平臺配置如下:CPU為Intel Xeon(R)Silver 4210R @2.40 GHz×40,GPU為 NVIDIA RTX 3090 TI,內(nèi)存為64 GB。

3.1 數(shù)據(jù)集準(zhǔn)備

實(shí)驗(yàn)數(shù)據(jù)來自2018和2019屆CLIC圖像壓縮挑戰(zhàn)賽,共616張圖像。其中隨機(jī)選擇587張?jiān)紙D像隨機(jī)裁剪為尺寸為256×256的圖像,共獲得24 078張圖像用于構(gòu)成訓(xùn)練集。剩余42張?jiān)紙D像,裁剪為6 692張大小為128×128的圖像作為驗(yàn)證集。選用Set5,Set14[9],SunHays80,BSD100,Urban100[10]作為本次實(shí)驗(yàn)的測試集,將測試集圖像裁剪為128×128的圖像進(jìn)行測試。

3.2 模型訓(xùn)練

使用Adam優(yōu)化器進(jìn)行訓(xùn)練,初始學(xué)習(xí)率設(shè)置為0.000 1,在達(dá)到第80輪的時候?qū)W習(xí)率降低10倍,共訓(xùn)練120個輪。模型效果的評估準(zhǔn)則為PSNR和SSIM[11],PSNR計(jì)算公式為

(4)

式中:(I,K)MSE表示圖像I和K殘差值的平方。

(5)

SSIM計(jì)算公式為

(I,K)SSIM=L(I,K)·C(I,K)·S(I,K),

(6)

(7)

(8)

(9)

式中,uI和uK分別表示圖像I和K的均值;σI和σK分別表示圖像I和K的標(biāo)準(zhǔn)差;σIK表示圖像I和K的協(xié)方差;C1,C2,C3為常數(shù),避免分母為0。

3.3 測試結(jié)果

對于測試集,輕量化偵察圖像壓縮網(wǎng)絡(luò)與JPGE2000算法編碼所需時間如表3所示。

表3 編碼時間對比表Tab.3 Code time comparison table

由表3可知,本文方法編碼速度約是JPGE2000算法編碼速度的11倍。

JPGE2000算法和本文算法重建圖像質(zhì)量如表4所示。選用5個測試集PSNR與SSIM的加權(quán)平均作為重建質(zhì)量的度量。

表4 重建質(zhì)量對比Tab.4 Reconstruction quality comparison

由表4可知,輕量化偵察圖像壓縮網(wǎng)絡(luò)與JPGE2000算法相比,PSNR提高了3.85 dB,SSIM提高了0.27,重建質(zhì)量遠(yuǎn)超于JPGE2000算法。解碼端使用轉(zhuǎn)置卷積能獲得更好的重建圖像質(zhì)量。

圖6給出了JPGE2000和本文算法重建偵察圖像(分辨率為128×128)的結(jié)果。進(jìn)一步說明了輕量化偵察圖像壓縮網(wǎng)絡(luò)的重建質(zhì)量高于JPGE2000。

圖6 128×128分辨率下圖像對比Fig.6 Image comparison at 128×128 resolution

為了驗(yàn)證深度可分離卷積、分組卷積+通道重排以及轉(zhuǎn)置卷積的作用,本文進(jìn)行了剝離實(shí)驗(yàn)以驗(yàn)證其效果。對比了用普通卷積替換深度可分離卷積、普通卷積替換分組卷積、最近鄰插值替換轉(zhuǎn)置卷積三種情況與本文方法的重建圖像精度,結(jié)果如表5所示。

表5 重建質(zhì)量對比Tab.5 Reconstruction quality comparison

對比表1、表2以及表5中無深度可分離卷積、無分組重排以及輕量化偵察圖像壓縮網(wǎng)絡(luò)可知,引入深度可分離卷積與分組卷積+通道重排不僅可以減少編碼網(wǎng)絡(luò)的參數(shù)量與計(jì)算量,還能提高重建圖像的質(zhì)量。用轉(zhuǎn)置卷積進(jìn)行上采樣比用最近鄰插值進(jìn)行上采樣能獲得更好的重建圖像質(zhì)量。

4 結(jié)論

本文設(shè)計(jì)了一種基于深度學(xué)習(xí)輕量化偵察圖像壓縮網(wǎng)絡(luò),編碼網(wǎng)絡(luò)由三個卷積模塊組成,并通過深度可分離卷積、分組卷積+通道重排的方式降低編碼網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。該編碼網(wǎng)絡(luò)能夠?qū)⑤斎霐?shù)據(jù)直接映射為服從均勻分布的二進(jìn)制碼流,從而完成圖像壓縮;解碼端使用轉(zhuǎn)置卷積、殘差模塊增加特征的提取與重建能力。實(shí)驗(yàn)結(jié)果表明,與JPGE2000算法相比,基于深度學(xué)習(xí)輕量化偵察圖像壓縮網(wǎng)絡(luò)的PSNR提高了3.85 dB,SSIM提高了0.27,編碼時間降低91%。