一種基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò)研究

柴國強(qiáng)，王召巴，丁長明，肖劍平，蘆 賓

(1. 中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051； 2. 山西師范大學(xué) 物理與信息工程學(xué)院，山西 臨汾 041000；3. 上海杰普軟件科技有限公司，上海 200436； 4. 深圳市捷易檢測服務(wù)有限責(zé)任公司，廣東 深圳 518040)

0 引 言

下雨是生活中常見的自然現(xiàn)象，往往會造成視線模糊和能見度下降，從而對基于干凈圖像的目標(biāo)跟蹤、交通路標(biāo)識別、室外監(jiān)控等計(jì)算機(jī)視覺算法帶來負(fù)面影響[1-3]. 為了保證各種算法在不同條件下的有效性，需要對雨圖像預(yù)先進(jìn)行去雨處理. 因此，圖像去雨吸引了廣大學(xué)者的研究，并且取得了一定成果. 根據(jù)處理對象的不同，去雨方法主要可以分為兩類： 基于視頻的去雨方法和基于單幅圖像的去雨方法. 基于視頻的方法可以充分利用連續(xù)圖像中雨條紋的時(shí)空特性，根據(jù)這些特性分析雨條紋與背景圖像的差異從而將其去除. 與之對應(yīng)，基于單幅圖像的方法因無法獲取時(shí)空信息，更加具有挑戰(zhàn)性.

單幅圖像去雨根據(jù)是否使用數(shù)據(jù)集進(jìn)行訓(xùn)練分為傳統(tǒng)方法和深度學(xué)習(xí)方法. 傳統(tǒng)方法中，Luo等[4]利用稀疏編碼，通過字典學(xué)習(xí)來分離雨條紋和背景圖像； Kang等[5]利用雙邊濾波器將雨圖分解為低頻和高頻分量進(jìn)行去雨； Wang等[6]定義了一個(gè)3層的分層方案來檢測和去除單個(gè)圖像中的雨或雪. 深度學(xué)習(xí)算法中； Zhang等[7]提出了一種同時(shí)執(zhí)行單圖像超分辨率和雨水去除的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)； Xia等[8]提出了一種簡化的殘差稠密網(wǎng)絡(luò)來學(xué)習(xí)雨圖像和相應(yīng)干凈圖像之間的殘差； Yang等[9]設(shè)計(jì)了一個(gè)遞歸小波學(xué)習(xí)網(wǎng)絡(luò)來去除無標(biāo)度雨帶； Zhang等[10]利用生成對抗網(wǎng)絡(luò)進(jìn)行去雨，同時(shí)利用感知損失提升去雨效果. 盡管現(xiàn)有方法在去雨方面取得了不錯(cuò)進(jìn)展，但是，就去雨質(zhì)量方面仍然有較大提升空間. 本文提出一種基于金字塔模型的注意力網(wǎng)絡(luò)進(jìn)行去雨，在去除雨條紋的同時(shí)保證了背景紋理的恢復(fù).

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 對稱金字塔結(jié)構(gòu)

圖像金字塔是圖像多尺度的一種表達(dá)形式，使用不同分辨率來聚合圖像特征. 隨著金子塔的遞進(jìn)，圖像分辨率逐漸降低，圖像尺度越小. 對于高維度的問題，如圖像分類，則只需將圖像一直降采樣即可. 對于低維度問題，如生成超分辨率圖像以及本文所處理的圖像去雨，還需將低分辨率的圖像上采樣到原始尺寸或者更大.

本文采用基于圖 1 所示的網(wǎng)絡(luò)進(jìn)行去雨，預(yù)處理卷積層將3維雨圖像提升至128維，非局域卷積模塊有助于提升網(wǎng)絡(luò)的長期記憶能力，雨條紋檢測網(wǎng)絡(luò)用來確定降雨區(qū)域，使后續(xù)模塊對于雨條紋區(qū)域給予有意識的關(guān)注. 對稱金字塔中前一部分對圖像下采樣，生成各種尺寸的特征圖，后一部分對圖像進(jìn)行上采樣，將圖像尺寸逐漸恢復(fù)至原始尺寸. 在降采樣和上采用過程中，相同尺寸的特征圖通過跳線連接，使得低維度特征可以在高維度復(fù)用，在保證細(xì)節(jié)特征傳遞的同時(shí)，增強(qiáng)網(wǎng)絡(luò)的穩(wěn)定性.

圖 1 基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò)結(jié)構(gòu)

1.2 雨條紋檢測網(wǎng)絡(luò)

為了使網(wǎng)絡(luò)可以將更多的關(guān)注放在雨條紋區(qū)域，本文設(shè)計(jì)了一個(gè)具有不同擴(kuò)張因子空洞卷積的多通道網(wǎng)絡(luò)進(jìn)行雨條紋檢測. 如圖 2 所示，檢測網(wǎng)絡(luò)共有3個(gè)卷積通道，每個(gè)通道卷積核具有不同擴(kuò)張因子，最后通過一個(gè)卷積層實(shí)現(xiàn)特征聚合. 通過不同的擴(kuò)張因子，在不損失分辨率的情況下增加其感受野，捕獲多尺度上下文信息. 其中每個(gè)通道的卷積核尺寸均為3×3，卷積擴(kuò)張因子分別為1、3、5.

圖 2 雨條紋檢測網(wǎng)絡(luò)結(jié)構(gòu)

為了更好地利用卷積層之間的相互依賴關(guān)系，在每個(gè)通道的末端應(yīng)用了擠壓激勵(lì)網(wǎng)絡(luò)(SeNet)[11]. 與傳統(tǒng)的只考慮空間信息的卷積相比，SeNet通過對信道分配不同的權(quán)值來融合空間信息和信道信息. SeNet主要有擠壓和激勵(lì)兩步組成，在擠壓操作中，在保證通道數(shù)量不變的前提下利用全局池化對特征圖進(jìn)行壓縮，每個(gè)特征圖用一個(gè)權(quán)值表征； 在激勵(lì)操作中，通過全連接對擠壓操作的結(jié)果進(jìn)行處理得到每個(gè)通道的權(quán)重，將權(quán)重與對應(yīng)通道進(jìn)行相乘實(shí)現(xiàn)特征的重標(biāo)定. SeNet將通道信息融入每個(gè)特征圖，提高網(wǎng)絡(luò)的表征能力.

為了得到雨條紋檢測網(wǎng)絡(luò)的監(jiān)督信息，將雨圖像與背景圖像相減，然后將得到的結(jié)果做二值化處理，其中1代表有雨區(qū)域，0代表無雨區(qū)域，最后將此二值化結(jié)果作為注意圖網(wǎng)絡(luò)的監(jiān)督信息，這樣就可以使注意圖網(wǎng)絡(luò)檢測出雨條紋，從而指導(dǎo)網(wǎng)絡(luò)將更多注意力放在降雨區(qū)域.圖 3 為雨圖像、背景圖像和利用檢測網(wǎng)絡(luò)識別出的降雨區(qū)域，從檢測結(jié)果中可以看出，檢測網(wǎng)絡(luò)幾乎識別出所有雨條紋區(qū)域.

圖 3 雨條紋檢測網(wǎng)絡(luò)結(jié)果Fig.3 Result of rain streaks detection network

1.3 非局域卷積模塊

非局域神經(jīng)網(wǎng)絡(luò)具有出色的捕捉圖像長時(shí)記憶的能力，對高維度計(jì)算機(jī)視覺任務(wù)非常有用[12]. 在嵌入式空間中，應(yīng)用擴(kuò)展高斯函數(shù)來計(jì)算相似度[12]，非局域運(yùn)算可以表述為

(1)

式中：X為前面特征層的輸出結(jié)果；F(1)(·)為核大小為1×1的帶激活函數(shù)的卷積層； T為矩陣的轉(zhuǎn)置.利用卷積實(shí)現(xiàn)非局域操作的網(wǎng)絡(luò)結(jié)構(gòu)如圖 4 所示，其中f表示softmax激活函數(shù).

圖 4 非局域卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的全局級非局域操作可能會導(dǎo)致不可接受的計(jì)算負(fù)擔(dān)，特別是當(dāng)一個(gè)特征映射的尺寸較大時(shí). 此外，文獻(xiàn)[13]證明了具有適當(dāng)鄰域大小的非局域操作對于圖像去噪、超分辨率生成等低維度任務(wù)更有優(yōu)勢. 因此，在本文處理中，非局域操作是分區(qū)域進(jìn)行的. 首先將輸入特征映射到一個(gè)網(wǎng)格的區(qū)域(如圖 4 所示，輸入特性映射分為4個(gè)大小相同分區(qū))，然后在各個(gè)局域上進(jìn)行處理，最后將特征進(jìn)行合并.

1.4 目標(biāo)函數(shù)

本文結(jié)合圖像目標(biāo)函數(shù)、感知目標(biāo)函數(shù)、結(jié)構(gòu)相似目標(biāo)函數(shù)以及注意圖目標(biāo)函數(shù)來確保生成圖像既可以去除雨條紋，又可以符合人類感知. 其中圖像目標(biāo)函數(shù)衡量去雨圖像和背景圖像每個(gè)像素之間的絕對誤差，是一種低維度的像素級目標(biāo)函數(shù)，其定義為

L1=LMSE(G(x)-y),

(2)

式中：x為雨圖像；G(x)為網(wǎng)絡(luò)去雨圖像；y為背景圖. 感知目標(biāo)函數(shù)衡量兩者在高維度特征圖的差異，在高分辨率圖像重構(gòu)、目標(biāo)分類具有廣泛應(yīng)用. 本文采用在ImageNet上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)分別對去雨圖像和背景圖像進(jìn)行高維特征提取，感知目標(biāo)函定義為

(3)

式中：VGGi為通過VGG16提取的第i層特征. 結(jié)構(gòu)相似目標(biāo)函數(shù)綜合亮度、對比度和結(jié)構(gòu)來衡量兩幅圖像差異，其定義為

LSSIM=1-SSIM(G(x),y),

(4)

式中：SSIM為結(jié)構(gòu)相似度指標(biāo)，SSIM越高表示兩幅圖像越相似，兩幅完全相同的圖像其SSIM為1.注意圖目標(biāo)函數(shù)用來訓(xùn)練雨條紋檢測網(wǎng)絡(luò)，其定義為

Latt=LMSE(MAAM(x)-M(x)),

(5)

式中：MAAM(x)為雨條紋檢測網(wǎng)絡(luò)的輸出；M(x)為二值雨條紋圖像. 總體目標(biāo)函數(shù)為

L=L1+Lssim+Lper+Latt.

(6)

2 訓(xùn)練細(xì)節(jié)及結(jié)果分析

2.1 訓(xùn)練細(xì)節(jié)

由于光照、大氣散射等不確定性因素，無法獲取降雨圖像與其對應(yīng)的背景圖像，本文利用文獻(xiàn)[14]中提供的兩組數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中Rain100L包含200組訓(xùn)練圖像對和100組測試圖像對，每張雨圖像包含1種雨條紋，Rain100H包含1 800組訓(xùn)練圖像對和100組測試圖像對，每張雨圖像包含5種雨條紋.

本文利用深度學(xué)習(xí)框架Pytorch作為網(wǎng)絡(luò)搭建工具，使用ADAM優(yōu)化器來訓(xùn)練模型，并且將其參數(shù)分別設(shè)置為0.9和0.99. 初始化學(xué)習(xí)率為0.001，每訓(xùn)練40個(gè)epoch后學(xué)習(xí)率降低10倍，模型一共訓(xùn)練100個(gè)epoch. 為了對比不同方法在合成數(shù)據(jù)集上的去雨效果，采用兩種常用的圖像評價(jià)標(biāo)準(zhǔn)進(jìn)行定量分析，即結(jié)構(gòu)相似度(SSIM)和峰值信噪比(PSNR). 將本文算法去雨結(jié)果與基于傳統(tǒng)優(yōu)化算法的DSC[4]和兩種基于深度學(xué)習(xí)的算法JORDER[14]和SPANet[15]進(jìn)行了對比.

2.2 結(jié)果分析

表 1 列出了不同方法在訓(xùn)練數(shù)據(jù)集上去雨效果的定量比較結(jié)果. 可以看出，本文方法在Rain100H和Rain100L兩個(gè)數(shù)據(jù)集上都取得了最好結(jié)果，與其他方法相比，優(yōu)勢較大，驗(yàn)證了本文方法有效性.

表 1 不同方法去雨效果定量比較Tab.1 The quantitative comparison of different deraining methods

圖 5 為不同方法去雨效果的可視化結(jié)果. 為了說明本文算法的有效性，選擇情況較為復(fù)雜的雨圖像. 從圖中可以看出，基于傳統(tǒng)優(yōu)化的DSC幾乎無法去除雨條紋，JORDER和SPANet雖然去除了大部分雨條紋，但是有很多偽影的產(chǎn)生. 與其他方法相比，本文方法在去除雨條紋的同時(shí)更好地保留了背景信息.

圖 5 不同方法去雨效果可視化對比Fig.5 The visual comparison of different deraining methods

3 結(jié)束語

本文提出一種基于注意機(jī)制的金字塔去雨網(wǎng)絡(luò)，是一種以降雨圖像為輸入，去雨圖像為輸出的端到端的深度學(xué)習(xí)網(wǎng)絡(luò). 該網(wǎng)絡(luò)以金字塔結(jié)構(gòu)為主體，首先采用非局域神經(jīng)網(wǎng)絡(luò)增強(qiáng)圖像的長時(shí)記憶； 然后利用多通道的聚合技術(shù)和擠壓激勵(lì)網(wǎng)絡(luò)檢測雨條紋，其中不同通道采用不同的卷積擴(kuò)張因子擴(kuò)大網(wǎng)絡(luò)的感受野，擠壓激勵(lì)網(wǎng)絡(luò)的使用進(jìn)一步提高了網(wǎng)絡(luò)表征能力，生成的注意圖可以使后續(xù)網(wǎng)絡(luò)給予雨條紋區(qū)域有意識關(guān)注； 最后通過對稱的金字塔網(wǎng)絡(luò)完成雨條紋的去除. 與現(xiàn)有方法相比，本文方法在峰值信噪比和結(jié)構(gòu)相似度都取得更好結(jié)果，去雨結(jié)果的可視化對比也驗(yàn)證了本文算法的有效性.