面向無(wú)人船感知的低對(duì)比度水面圖像增強(qiáng)方法

趙瑞祥，暢海峰，白曉勇，彭銀銀，呂 武

(中船航?？萍加邢挢?zé)任公司 信息產(chǎn)品部, 北京 100070)

0 引 言

無(wú)人船環(huán)境感知算法依賴高質(zhì)量圖像，如果觀感器獲取的圖像質(zhì)量不佳，會(huì)給后續(xù)的高級(jí)視覺任務(wù)產(chǎn)生嚴(yán)重的影響。在實(shí)際應(yīng)用過程中，光電傳感器所獲取的圖像會(huì)受到環(huán)境能見度、目標(biāo)背景光譜對(duì)比度和天氣狀況等因素影響。圖像對(duì)比度為圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級(jí)的差距[1]，在海面常見的雨、霧和低照度等環(huán)境條件下，光電傳感器捕獲的圖像較暗，對(duì)比度較低，導(dǎo)致圖像質(zhì)量退化[2]，對(duì)后續(xù)的高級(jí)視覺任務(wù)造成不利影響。因此本文將對(duì)上述問題產(chǎn)生的圖像退化現(xiàn)象進(jìn)行低對(duì)比度圖像增強(qiáng)技術(shù)的研究。

針對(duì)低對(duì)比度圖像增強(qiáng)技術(shù)的需求，本文研究了MSR（Multi-Scale Retinex）圖像增強(qiáng)算法。由于MSR 模型參數(shù)是人工設(shè)置的（一般為高斯核），沒有依賴實(shí)際的退化圖像數(shù)據(jù)，因此算法對(duì)圖像的增強(qiáng)程度具有局限性。針對(duì)上述問題，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的MSSEN（Multi-Scale Squeeze and Excitation Networks）模型來(lái)進(jìn)行低對(duì)比度圖像增強(qiáng)。首先，根據(jù)MSR 的結(jié)構(gòu)，利用inception（多尺度特征圖）模塊[3]與res-block（殘差塊）模塊[4]構(gòu)建MSRN（Multi-Scale Retinex Networks）。其次，增加了多尺度模塊濾波器的尺度多樣性，使得算法從圖像的局部到全局都可以有更佳的增強(qiáng)效果。最后，對(duì)不同尺度的濾波器引入通道級(jí)的視覺注意力機(jī)制技術(shù)，使得算法主動(dòng)篩選出更佳的濾波器，從而達(dá)到更好的圖像增強(qiáng)效果。訓(xùn)練好的MSSEN 既可以單獨(dú)處理對(duì)比度圖像，也可以后續(xù)接入高級(jí)視覺任務(wù)的網(wǎng)絡(luò)，2 個(gè)網(wǎng)絡(luò)共享權(quán)重，進(jìn)行參數(shù)微調(diào)之后便可以端到端的在低對(duì)比度圖像上進(jìn)行高級(jí)視覺任務(wù)。

1 正 文

1.1 基于Retinex 理論的低對(duì)比度水面圖像增強(qiáng)原理

對(duì)比度指圖像灰度反差的大小，其受入射光影響[1]。Retinex 理論認(rèn)為圖像可以分解為入射光部分與反射光部分[5]，如圖1 所示。

上述的Retinex 成像原理將入射部分與反射部分分離開建模，可表示為：

其中：I(x,y)為觀察到的圖像；R(x,y)為物體反射特性；L(x,y)為入射光圖像。反射圖像是圖像的內(nèi)在屬性，應(yīng)該最大程度保留，而入射圖像影響了圖像像素的動(dòng)態(tài)范圍與對(duì)比度，應(yīng)當(dāng)盡量去除。通常把反射圖像作為空間平滑圖像的估計(jì)，則有如下公式：

式中：log(·)函數(shù)用于平滑圖像。

根據(jù)單尺度Retinex（SSR）理論，可利用中心環(huán)繞函數(shù)輔助求解，其公式轉(zhuǎn)化為：

這里R(x,y)為輸出圖像，括號(hào)中 ?表示卷積運(yùn)算，F(xiàn)(x,y)為高斯中心環(huán)繞函數(shù)，其表達(dá)式為：

式中：σ為高斯函數(shù)的標(biāo)準(zhǔn)差，也稱為環(huán)繞尺度；λ為一個(gè)尺度系數(shù)，它保證整個(gè)函數(shù)滿足以下約束：

由以上公式可以分析出，SSR 算法中通過高斯核與入射圖像的卷積運(yùn)算，計(jì)算像素點(diǎn)與其鄰域加權(quán)平均的作用，來(lái)估計(jì)圖像中光照強(qiáng)度的變化程度。同時(shí)去掉L(x,y)的作用，僅保留了I(x,y)的屬性。改變卷積與對(duì)數(shù)運(yùn)算的順序，可得到下式：

中心環(huán)繞函數(shù)F(x,y)通常采用低通函數(shù)，卷積運(yùn)算后能夠提取出圖像的低頻部分。從觀測(cè)圖像中去掉低頻部分，就可獲得高頻分量，即圖像邊緣信息。所以SSR 算法對(duì)增強(qiáng)圖像中的邊緣信息有著較好的效果。

多尺度Retinex（MSR）算法基于SSR 發(fā)展而來(lái)，其在實(shí)現(xiàn)顏色恒常性的色彩增強(qiáng)的同時(shí)，也能夠提升圖像信噪比、抑制背景干擾。MSR 具體可表示成多個(gè)SSR 算子的加權(quán)和：

式中：為MSR 算法輸出的第i個(gè)通道分量；n為尺度數(shù)；ωn為對(duì)應(yīng)的第n種尺度的權(quán)重；為SSR 輸出的第n個(gè)尺度下的第i個(gè)通道分量。通常，取N=3,，式子展開后為：

將不同的高斯環(huán)繞函數(shù)F(x,y)展開代入上式得：

由式 (9) 可知，只需設(shè)置好高斯環(huán)繞函數(shù)的參數(shù)，便可進(jìn)行圖像增強(qiáng)計(jì)算。整個(gè)MSR 算法流程如圖2 所示。

圖2 MSR 算法流程圖Fig. 2 The overview of MSR algorithm

1.2 基于MSSEN 的低對(duì)比度水面圖像增強(qiáng)技術(shù)

MSR 算法采用多尺度結(jié)構(gòu)，其中的高斯環(huán)繞函數(shù)的參數(shù)是人工設(shè)置的。監(jiān)督學(xué)習(xí)通過誤差反向傳播技術(shù)[6]能夠很好地指導(dǎo)模型參數(shù)進(jìn)行學(xué)習(xí)。鑒于此，本文提出了多尺度知識(shí)抽取網(wǎng)絡(luò)（Multi-Scale Squeeze and Excitation Networks，MSSEN）, 使得模型參數(shù)可以從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)。MSEEN 提升了網(wǎng)絡(luò)抽取圖像特征的能力，使得模型能夠更好地對(duì)低對(duì)比度水面圖像進(jìn)行增強(qiáng)。

圖3 展示了MSSEN 的整體結(jié)構(gòu)，MSSEN 是一個(gè)能進(jìn)行端到端訓(xùn)練的全卷積網(wǎng)絡(luò)，它主要由MSRN、IEM 與SRM 串聯(lián)而成。

圖3 MSSE Net 模型網(wǎng)絡(luò)架構(gòu)圖Fig. 3 The overview of MSSE Net

1）MSRN

對(duì)于MSRN 模型，由于初始的MSR 算法采用3 個(gè)不同尺度的高斯環(huán)繞函數(shù)，本文也采用3 種不同尺度的卷積核，其感受野從小到大設(shè)置為5×5，15×15和25×25（單位：像素）。通過Inception 結(jié)構(gòu)后，將3 個(gè)張量在通道維度上結(jié)合。這一運(yùn)算符合MSR 中對(duì)不同尺度SSR 加權(quán)的結(jié)果。

多尺度的并行特征抽取結(jié)構(gòu)使得模型能夠提取到不同尺度的局部圖像的特性細(xì)節(jié)。MSFEM 卷積核感受野尺度k范圍如下式：

式中：slow與sup分別是尺度下界與上界參數(shù)，本文取2 與24，可根據(jù)算法性能與時(shí)間效率的均衡性來(lái)調(diào)節(jié)上下界范圍。

每個(gè)尺度通過一層卷積層完成特征抽取，輸出通道數(shù)為16 的特征圖，進(jìn)入下一個(gè)模塊。

2）IEM

特征重要性抽取模塊，引入SENet[7]中的通道級(jí)的注意力機(jī)制，給不同尺度的特征圖以及不同通道特征進(jìn)行權(quán)重的重新分配。

在MSR 算法中，對(duì)3 個(gè)不同尺度的高斯環(huán)繞函數(shù)的結(jié)果采用了平均加權(quán)的策略，后來(lái)改進(jìn)的帶顏色恢復(fù)的MSR 算法中提出了顏色恢復(fù)因子來(lái)調(diào)節(jié)不同色彩通道的權(quán)重比例，公式為：

式中，ci(x,y)是第i個(gè)通道的權(quán)重系數(shù)，它是圖像的自適應(yīng)函數(shù)。

因此，改進(jìn)了在MSR 中對(duì)每個(gè)通道進(jìn)行平均加權(quán)的方法，對(duì)每個(gè)尺度輸出的特征圖進(jìn)行特征通道級(jí)的注意力機(jī)制計(jì)算，為每個(gè)特征通道分配權(quán)重，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到不同通道的重要程度，如圖4 所示。

圖4 特征重要性抽取模塊示意圖Fig. 4 The channel attention module

首先是進(jìn)行知識(shí)嵌入的操作，從輸入的特征圖U中獲取每個(gè)通道的全局特征信息嵌入，即特征向量。這一步驟通過全局平均池化（GAP）模塊[8]來(lái)實(shí)現(xiàn)，計(jì)算公式為：

式中：uc為U第c個(gè)通道，W和H為特征圖U的形狀參數(shù)。

式 (13) 便可將W×H×C的輸入U(xiǎn)映射為1×1×C的特征向量z，所求取的z代表著每個(gè)通道特征的分布情況，具有全局性。

獲得特征向量z后，就可通過z來(lái)計(jì)算分配給每個(gè)通道的權(quán)重。也就是說(shuō)，需要一個(gè)非線性變換來(lái)將z映射為s，它們兩者的維度相同，等于U的通道數(shù)C，可以采用全連接層來(lái)學(xué)習(xí)這種映射關(guān)系：

式中：W1與W2為全連接層的參數(shù)；δ(·)為ReLu 激活函數(shù)，用于提升映射的非線性能力；σ(·)為sigmoid 激活函數(shù)，用于將s中的系數(shù)映射到0～1 之間。

學(xué)習(xí)出權(quán)重系數(shù)向量s后，將U中每個(gè)通道的特征圖uc與對(duì)應(yīng)的sc相乘，便得到了加權(quán)后的特征圖U′：

式中：為U′中第c個(gè)通道的特征圖；sc為其對(duì)應(yīng)的權(quán)重系數(shù)，為標(biāo)量。

3）SRM

特征轉(zhuǎn)化與殘差模塊作用為減少特征圖通道并將其恢復(fù)到RGB 顏色空間。由于圖像增強(qiáng)任務(wù)是點(diǎn)對(duì)點(diǎn)（point-to-point）的回歸，采用三層編解碼（encode-deconde）結(jié)構(gòu)[9]來(lái)提升網(wǎng)絡(luò)性能

最后引入的殘差結(jié)構(gòu)，可從兩方面闡述其意義。首先，殘差模塊可以減緩梯度消失的程度，使得網(wǎng)絡(luò)參數(shù)更容易學(xué)習(xí)。其次，如果去掉殘差模塊，網(wǎng)絡(luò)估計(jì)的是增強(qiáng)后的圖像，損失函數(shù)如下：

式中：N為訓(xùn)練樣本數(shù)量；Xi與Yi分別為第i個(gè)低對(duì)比度圖像樣本與它對(duì)應(yīng)的標(biāo)簽（高質(zhì)量圖像）；λ為正則化系數(shù)；W為網(wǎng)絡(luò)參數(shù)。

根據(jù)Retinex 理論，觀測(cè)圖像由物體的反射部分與入射圖像組成。加入殘差模塊，損失函數(shù)如下：

2 個(gè)損失函數(shù)的差異在于均方根誤差MSE 函數(shù)中，f1(Xi)為網(wǎng)絡(luò)估計(jì)增強(qiáng)后的圖像；f2(Xi)為網(wǎng)絡(luò)估計(jì)入射圖像部分；Xi?f2(Xi)是增強(qiáng)后的圖像。入射圖像f2(Xi)，這部分會(huì)調(diào)節(jié)像素動(dòng)態(tài)范圍，相對(duì)于完整的增強(qiáng)圖像f1(Xi)，其分布比較集中，方差較小，在整個(gè)回歸任務(wù)中，尋優(yōu)解空間范圍大幅度下降，網(wǎng)絡(luò)更佳容易收斂。

1.3 融合低對(duì)比度增強(qiáng)的高級(jí)視覺任務(wù)

水面目標(biāo)的檢測(cè)、識(shí)別與跟蹤是無(wú)人船自主巡航時(shí)需要完成的最核心任務(wù)。在海面常見的雨、霧和低照度等環(huán)境條件下，光電傳感器捕獲的圖像較暗，對(duì)比度較低，導(dǎo)致圖像質(zhì)量退化，對(duì)后續(xù)的高級(jí)視覺任務(wù)造成不利影響。此時(shí)，增強(qiáng)算法處理后的圖像是為后續(xù)的高級(jí)視覺任務(wù)服務(wù)，本文提出的MSSEN 模型是端到端的神經(jīng)網(wǎng)絡(luò)模型。因此，可以作為一個(gè)模塊與高級(jí)視覺任務(wù)（如目標(biāo)檢測(cè)識(shí)別）的神經(jīng)網(wǎng)絡(luò)相結(jié)合，共享參數(shù)，端到端的處理低對(duì)比度環(huán)境下水面目標(biāo)的檢測(cè)識(shí)別任務(wù)。

如圖5 所示，首先訓(xùn)練好低對(duì)比度圖像增強(qiáng)的網(wǎng)絡(luò)MSSEN，然后訓(xùn)練目標(biāo)檢測(cè)識(shí)別的網(wǎng)絡(luò)。最后用兩部分預(yù)訓(xùn)練權(quán)重初始化2 個(gè)網(wǎng)絡(luò)組合成的網(wǎng)絡(luò)的參數(shù)，然后用檢測(cè)識(shí)別任務(wù)的損失函數(shù)作為監(jiān)督進(jìn)行訓(xùn)練，減小參數(shù)更新的學(xué)習(xí)率，進(jìn)行參數(shù)微調(diào)。

圖5 低高級(jí)視覺任務(wù)結(jié)合模式Fig. 5 The combination of low-level and high-level visual task

1.4 實(shí)驗(yàn)結(jié)果分析

1.4.1 數(shù)據(jù)集生成

為了對(duì)MSSEN 模型進(jìn)行監(jiān)督訓(xùn)練，需低對(duì)比度圖像（樣本）與高質(zhì)量圖像（標(biāo)簽）的配對(duì)圖像組合，由于沒有這種類型的公開數(shù)據(jù)集，本文生成一個(gè)用于低對(duì)比度增強(qiáng)任務(wù)的數(shù)據(jù)集。從BSD 數(shù)據(jù)集[10]與UCID 數(shù)據(jù)集[11]中采集水面圖像，并且結(jié)合從網(wǎng)絡(luò)中收集一些高質(zhì)量圖像作為標(biāo)簽，然后為上述每一張圖像生成與其對(duì)應(yīng)的低對(duì)比度圖像。首先，將圖像轉(zhuǎn)換到HSV 空間，并且將V 通道的值乘上一個(gè)范圍在0.3～1 之間的隨機(jī)縮放因子；然后對(duì)圖像進(jìn)行伽馬變換（Gamma Transform），變換參數(shù)gamma 值在1～3 的范圍中隨機(jī)選取。由上述方式一共生成5 372對(duì)樣本對(duì)，如圖6 所示。

圖6 低對(duì)比度水面圖像增強(qiáng)數(shù)據(jù)集Fig. 6 The dataset for low-contrast water surface image enhancement

1.4.2 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)環(huán)境為64 位的Linux（Ubuntu16.04）系統(tǒng)，Inter 酷睿i7-7700K 處理器，32 GB 內(nèi)存，Nvidia GTX GeForce 1 080 顯卡，8 GB 顯存。

在MSSEN 模型中，采用Adam 優(yōu)化器[12]更新網(wǎng)絡(luò)參數(shù)，一個(gè)批次16 個(gè)樣本，學(xué)習(xí)率初始化為10?3，每隔100 個(gè)epoch 衰減一次，衰減率為0.5，一共訓(xùn)練200 個(gè)epoch 網(wǎng)絡(luò)收斂。

1.4.3 實(shí)驗(yàn)結(jié)果分析

圖7 展示了本文提出MSEEN 算法與MSR 算法分別在圖像增強(qiáng)數(shù)據(jù)集中與實(shí)拍圖像中的低對(duì)比度圖像增強(qiáng)實(shí)驗(yàn)的效果對(duì)比?？梢钥闯觯琈SR 算法在一定程度上提升了圖像對(duì)比度，但存在著涂抹感嚴(yán)重，圖像邊緣不分明的情況。本文提出的基于卷積網(wǎng)絡(luò)的圖像增強(qiáng)算法不僅提升了圖像對(duì)比度，而且能使得增強(qiáng)后的圖像更接近真實(shí)圖像。相較之下，MSEEN 模型在色彩、飽和度等視覺觀感上都顯得更加自然，其邊緣與紋理等結(jié)構(gòu)信息也更佳清晰。

除了視覺上主觀的對(duì)比，本文還采用峰值信噪比PSNR 與結(jié)構(gòu)相似性SSIM2 個(gè)圖像恢復(fù)的指標(biāo)來(lái)對(duì)不同算法的效果進(jìn)行量化，在測(cè)試集上計(jì)算這2 個(gè)指標(biāo)，然后取平均值記錄在表1 中。在2 個(gè)指標(biāo)中本文提出的MSEEN 模型都取得了最高分，說(shuō)明經(jīng)過MSEEN 算法增強(qiáng)后的低對(duì)比度圖像能夠最大程度消除背景噪聲，保留有效信息。同時(shí)，具有高信噪比的圖像有利于進(jìn)行圖像檢測(cè)識(shí)別任務(wù)[13]。

表1 增強(qiáng)圖像的PSNR/SSIM 對(duì)比Tab. 1 Comparison of PSNR/SSIM on enhanced images

無(wú)人船的環(huán)境感知模塊中加入低對(duì)比度增強(qiáng)算法的意圖是為后續(xù)的高級(jí)視覺任務(wù)輸出高質(zhì)量圖像，以提升高級(jí)視覺任務(wù)算法的性能。因此，評(píng)價(jià)低對(duì)比度圖像增強(qiáng)算法不僅需要從輸出的圖像質(zhì)量方面進(jìn)行比較，也可從圖像增強(qiáng)對(duì)高級(jí)任務(wù)帶來(lái)的提升方面進(jìn)行比較。

表2 為檢測(cè)算法作用于不同低對(duì)比度圖像增強(qiáng)算法增強(qiáng)后的測(cè)試集后得到的mAP。實(shí)驗(yàn)結(jié)果表明，在低對(duì)比度成像環(huán)境中，本文提出的MSSEN模型能為后續(xù)高級(jí)視覺任務(wù)的提升帶來(lái)較大貢獻(xiàn)。獨(dú)立2 個(gè)網(wǎng)絡(luò)的權(quán)重直接結(jié)合使用存在局限，而采用2 個(gè)網(wǎng)絡(luò)的權(quán)重作為參數(shù)初始化，再進(jìn)行微調(diào)訓(xùn)練，使得2 個(gè)網(wǎng)絡(luò)的權(quán)重相互作用，能使得算法性能進(jìn)一步提升，使其更佳接近高質(zhì)量成像環(huán)境下的算法性能。

表2 低對(duì)度圖像增強(qiáng)對(duì)檢測(cè)算法的提升Tab. 2 Improvement of detection algorithm by low-contrast image enhancement

2 結(jié) 語(yǔ)

本文針對(duì)無(wú)人船視覺任務(wù)中遇到的低對(duì)比度成像環(huán)境問題進(jìn)行探討并提出一些解決方案，首先探討了MSR 算法的理論與一些不足，然后利用卷積網(wǎng)絡(luò)重構(gòu)MSR 算法，提出MSRN 模塊，使得MSR 算法的參數(shù)能夠自適應(yīng)學(xué)習(xí)。隨后，提出MSSEN 模型，引入視覺注意力機(jī)制與編解碼結(jié)構(gòu)等，這些改進(jìn)使得提出的MSSEN 模型能有效利用卷積計(jì)算的信息，提升了網(wǎng)絡(luò)抽取特征的性能，并且在模型訓(xùn)練時(shí)易于收斂。通過大量實(shí)驗(yàn)驗(yàn)證，提出的MSSEN 模型能有效增強(qiáng)低對(duì)比度圖像，使其不但在視覺觀感上更加接近沒有退化的高質(zhì)量圖像，而且在PSNR 與SSIM 等量化指標(biāo)上取得不錯(cuò)的表現(xiàn)。除此之外，基于提出的圖像增強(qiáng)網(wǎng)絡(luò)，提出了一種低級(jí)視覺任務(wù)與高級(jí)視覺任務(wù)結(jié)合的模式，使得低對(duì)比度圖像增強(qiáng)與檢測(cè)識(shí)別任務(wù)能夠端到端的訓(xùn)練并運(yùn)行，提升了整個(gè)算法的性能與效率。