改進(jìn)的CycleGAN 網(wǎng)絡(luò)用于水下顯微圖像顏色校正

王昊天，劉慶省，陳 亮，葉旺全，盧 淵，郭金家，鄭榮兒

（中國海洋大學(xué)信息科學(xué)與工程學(xué)部物理與光電工程學(xué)院，山東 青島 266100）

1 引 言

深海熱液礦床富含錳、銅、鎳和鈷等元素，是一種具有潛在開發(fā)價值的礦產(chǎn)資源，熱液中的微生物在礦物沉積和結(jié)核生成過程中發(fā)揮了重要作用［1-2］。同時，在海底深部生態(tài)系統(tǒng)中，菌席為生態(tài)系統(tǒng)中的生物群落提供了碳源和能量，一般因其不同部位微生物種類和地質(zhì)的差異而顯示出不同的色彩［3］。水下顯微成像技術(shù)具有高分辨率動態(tài)監(jiān)測、無損觀測等特點，可實現(xiàn)從幾十微米到幾百微米的微觀尺度觀測，該技術(shù)可以很好地滿足海洋中針對微生物群體這一微觀領(lǐng)域研究的需求。但是，復(fù)雜的水下環(huán)境及惡劣的光照條件使得獲取的水下圖像出現(xiàn)嚴(yán)重的質(zhì)量退化。水下目標(biāo)物的顯微圖像質(zhì)量普遍較差，尤其會產(chǎn)生嚴(yán)重的顏色差，導(dǎo)致難以有效識別目標(biāo)。

現(xiàn)階段關(guān)于水下圖像的質(zhì)量復(fù)原研究，主要采用機(jī)器學(xué)習(xí)的方法。Zhang 等人［4］通過在神經(jīng)網(wǎng)絡(luò)中添加U-Net 網(wǎng)絡(luò)以及感知損失函數(shù)來提高網(wǎng)絡(luò)性能，達(dá)到對渾濁水下圖像顏色復(fù)原的目的。Wu 等人［5］提出了一種基于結(jié)構(gòu)分解的兩階段水下圖像卷積神經(jīng)網(wǎng)絡(luò)（UWCNN-SD）增強(qiáng)算法，對不同類型的水下圖像進(jìn)行顏色校正和增強(qiáng)。Han 等人［6］提出了一種新的螺旋生成對抗網(wǎng)絡(luò)框架，在目標(biāo)函數(shù)中包括由均方誤差和角度誤差組成的像素級損失，可以有效地恢復(fù)出具有更多細(xì)節(jié)、生動色彩和更好對比度的真實水下圖像。Zong 等人［7］提出了一個局部CycleGAN 網(wǎng)絡(luò)來增強(qiáng)水下圖像，它結(jié)合了局部鑒別器和全局鑒別器來約束增強(qiáng)圖像的全局和局部視覺效果，有效地提升了水下圖像質(zhì)量，校正了圖像色彩。Fu 等人［8］提出了一種基于全局-局部網(wǎng)絡(luò)和壓縮直方圖均衡化的水下圖像顏色校正方法來解決顏色畸變問題。Song 等人［9］提出了背景光的統(tǒng)計模型和傳輸圖的優(yōu)化來增強(qiáng)水下圖像。然而，先驗信息的獲取依賴于水下成像環(huán)境，導(dǎo)致該方法對成像假設(shè)和模型參數(shù)很敏感，因此該方法可能不適用于變化強(qiáng)烈的水下環(huán)境。褚金奎等人［10］提出了一種基于特定偏振態(tài)的水下圖像去散射方法，能簡單有效地抑制渾濁水體的散射，增加圖像對比度，改善圖像質(zhì)量。Zhuang 等人［11］提出了一種新穎的邊緣保持濾波Retinex 算法用于水下圖像增強(qiáng)，該算法將梯度域引導(dǎo)的圖像濾波反射和光照先驗嵌入到基于Retinex 的變分框架中，以改善圖像結(jié)構(gòu)，減少偽影或噪聲。

對于水下顯微圖像，由于其具有更高的分辨率以及更低的像素差異度，一般的算法較難獲得很好的處理效果。因此，本文提出一種改進(jìn)的循環(huán)一致性生成對抗網(wǎng)絡(luò)（Cycle-consistent Adversarial Network，CycleGAN）對水下顯微成像系統(tǒng)拍攝的大量水下目標(biāo)物的數(shù)據(jù)集進(jìn)行訓(xùn)練處理，所獲結(jié)果在水下目標(biāo)物顯微圖像的顏色校正方面能得到廣泛的應(yīng)用。

2 改進(jìn)的CycleGAN

2.1 CycleGAN

CycleGAN［12］是由兩個鏡像的生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［13］構(gòu)成的環(huán)形網(wǎng)絡(luò)結(jié)構(gòu)，主要包括兩個生成器、兩個判別器，損失函數(shù)不僅有生成對抗損失，還加入了循環(huán)一致?lián)p失（Cycle-consistency Loss）。該網(wǎng)絡(luò)首先學(xué)習(xí)源域X到目標(biāo)域Y之間映射，然后又能從目標(biāo)域Y中還原回來，有效完成了非配對數(shù)據(jù)集在圖像顏色和紋理方面的轉(zhuǎn)換任務(wù)，具體過程如圖1 所示。

以圖1（a）正向網(wǎng)絡(luò)為例，在正向網(wǎng)絡(luò)中生成器G將源域X中數(shù)據(jù)x映射到目標(biāo)域Y中y?，鑒別器DY對生成圖像y?做出判斷；再通過生成器F將其還原成為域X中數(shù)據(jù)x?，而循環(huán)一致性損失則是為了讓x和x?盡可能相同。同理，目標(biāo)域Y到源域X的轉(zhuǎn)換與上述過程相同。生成器G和判別器DY之間的損失函數(shù)定義如下［12］：

其中，X，Y分別代表源域和目標(biāo)域，x?X，y?Y，Pdata（x）為源域X的數(shù)據(jù)分布，Pdata（y）為目標(biāo)域Y的數(shù)據(jù)分布，Ey～Pdata(y)代表y服從Pdata（y）的情況下求期望，Ex～Pdata(x)代表x服從Pdata（x）的情況下求期望。

同樣，生成器F和判別器DX之間的損失函數(shù)可以表達(dá)成如下形式［12］：

為避免源域X中部分圖像映射為目標(biāo)域Y中同一圖像的情況發(fā)生，CycleGAN 引入循環(huán)一致性損失（Cycle-Consistency Loss）函數(shù)用于計算x和x?之間的損失。利用F（G（x））≈y和G（F（x））≈x定義循環(huán)一致性損失Lcyc如式（3）［12］：

2.2 引入結(jié)構(gòu)相似性損失函數(shù)

通常自然圖像是高度結(jié)構(gòu)化的，降質(zhì)的水下圖像的像素與空氣中標(biāo)準(zhǔn)圖像的像素之間存在很強(qiáng)的相關(guān)性。特別是在空間環(huán)境相似的情況下，這些相關(guān)性攜帶著視覺場景中物體結(jié)構(gòu)的重要信息。文獻(xiàn)［14］在CycleGAN 網(wǎng)絡(luò)結(jié)構(gòu)中引入結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）損失函數(shù)［14］，其中，SSIM 可以從亮度、對比度和結(jié)構(gòu)三方面度量圖像x和圖像y的相似性，其定義如公式（4）所示：

其中：μx為x的均值，μy為y的均值，σxy為x，y的協(xié)方差，σx2為x的方差，σy2為y的方差，c1，c2為常數(shù)。

文獻(xiàn)［14］在CycleGAN 網(wǎng)絡(luò)中加入結(jié)構(gòu)相似性損失函數(shù)的目的就是使生成的空氣中圖像和輸入的水下顏色失真圖像，在紋理結(jié)構(gòu)、亮度和對比度上保持一定程度的相似性。但是，輸入的水下失真圖像一般對比度和亮度較低，且顏色失真嚴(yán)重，用該失真圖像去校正生成的空氣中圖像，效果未必理想。本文希望生成的空氣中圖像在顏色和對比度方面都可以得到進(jìn)一步增強(qiáng)。

受此啟發(fā)，本文使用的SSIM 損失函數(shù)只是限制輸入的原始水下降質(zhì)圖像X和重構(gòu)的水下圖像X?在顏色和邊緣紋理結(jié)構(gòu)上保持一致性。所以，在彩色圖像X和X?的R、G、B 三個通道上分別計算SSIM 損失函數(shù)的值。然后將三個通道的SSIM 值取平均值，得到最終的SSIM 值。該改進(jìn)可以加強(qiáng)對水下降質(zhì)圖像R、G、B 三通道顏色的精準(zhǔn)校正，進(jìn)一步增強(qiáng)CycleGAN 網(wǎng)絡(luò)的性能，改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)的循環(huán)一致對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of improved cycle-consistent adversarial network

綜上，輸入圖像X和重構(gòu)圖像X?之間的損失函數(shù)可被定義為：

其中，

其中：N為一幅圖像中像素個數(shù)，P為圖像中心像素值。

改進(jìn)后的CycleGAN 網(wǎng)絡(luò)總損失函數(shù)為對抗損失、循環(huán)一致?lián)p失、結(jié)構(gòu)相似損失三部分的加權(quán)組合：

這里將權(quán)重系數(shù)λ與β賦值為1。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練細(xì)節(jié)

經(jīng)典的CycleGAN 網(wǎng)絡(luò)呈鏡像結(jié)構(gòu)，主要由兩部分構(gòu)成，每部分都是基于GAN 的子網(wǎng)絡(luò)。每個GAN 網(wǎng)絡(luò)的生成器均由編碼器、轉(zhuǎn)換器以及解碼器構(gòu)成。本文使用的生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of generator network

圖3中編碼器由三個卷積層構(gòu)成，可用來提取源域圖像的不同特征；解碼器由三個轉(zhuǎn)置卷積層構(gòu)成，通過特征向量完成對圖像的重構(gòu)，在編碼器和解碼器之間還添加了9 個殘差塊（Residual Block）［12］構(gòu)成轉(zhuǎn)換器，組合圖像的不同相近特征。

本文中GAN 網(wǎng)絡(luò)的判別器采用原網(wǎng)絡(luò)中70×70 的PatchGAN［12］，可以同時判別圖像中多個70×70 圖像塊真假，把所有圖像塊的判定結(jié)果的平均值作為圖像真假的判定結(jié)果，判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖4。

圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of discriminator network

3 水下圖像顏色恢復(fù)實驗

本文模型訓(xùn)練使用計算機(jī)配置是CPU 為Intel Xeon W-2123、3.60 GHz、RAM 16 GB、顯卡為NVIDIA TITAN RTX，利用搭建的水下顯微成像系統(tǒng)，采集了模擬水體下的自制標(biāo)靶圖像。訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)量為550 張512×512 的模擬水體中自制標(biāo)靶及礦石圖像數(shù)據(jù)、550 張512×512 對應(yīng)的空氣中圖像數(shù)據(jù)。優(yōu)化器采用性能較好的Adam 算法，學(xué)習(xí)率設(shè)置為0.000 2，迭代次數(shù)80，批次（batch size）為1。

3.1 水下顯微成像系統(tǒng)

為研究水下顯微成像過程及其影響因素，在顯微成像的光學(xué)結(jié)構(gòu)基礎(chǔ)之上，搭建了如圖5 所示的水下顯微成像系統(tǒng)。該系統(tǒng)由圖像采集模塊、照明模塊和顯微成像模塊構(gòu)成。

圖5 水下顯微成像系統(tǒng)裝置簡圖Fig.5 Device diagram of underwater microscopic imaging system

圖像采集模塊主要采用了一臺200 萬像素的彩色相機(jī)（BFLY-PGE-23S6C-C）對水下目標(biāo)物進(jìn)行高分辨率的彩色成像。照明模塊由白色的環(huán)形LED 光源及光源控制器構(gòu)成，為水下顯微成像提供所需的均勻照明環(huán)境。顯微成像模塊由顯微物鏡（5×）和管透鏡（1×）組成，以實現(xiàn)對水下目標(biāo)的顯微成像，本文實驗基于此套系統(tǒng)對水下目標(biāo)物進(jìn)行顯微圖像采集。

3.2 模擬水體及數(shù)據(jù)集制備

為了更好地模擬復(fù)雜海水環(huán)境以及懸浮顆粒對光的強(qiáng)散射與強(qiáng)吸收作用，文中在實驗室條件下制備了模擬水體，即通過向清水中加入脫脂牛奶模擬海水的散射作用，脫脂牛奶主要含有酪蛋白分子，其平均直徑在0.04～0.3 nm 之間，可模擬瑞利散射的機(jī)制［15-16］；向清水中摻入具有特定光吸收特性的墨水來模擬海水對光的吸收效應(yīng)。實驗中選用的是法國J. Herbin D 系列彩色染料墨水［17］。

如圖6 所示，在實驗中所用照明光源波長范圍內(nèi)，該染料墨水的吸收光譜相對值曲線與海水的吸收光譜特性曲線的變化趨勢較為類似，均存在一個“海水透光窗口”，其所覆蓋的波長范圍為430～570 nm。實驗所用照明光源的波長范圍都在650 nm 以下，避免了曲線特征變化趨勢不相似的波長區(qū)域。因此，墨水在長波長與海水吸收的差異不影響實驗中對海水吸收特性的模擬效果。綜上，脫脂牛奶和染料墨水可以很好地模擬復(fù)雜海水環(huán)境的強(qiáng)吸收與強(qiáng)散射特性。

圖6 典型的海水和藍(lán)綠染料墨水的吸收光譜Fig.6 Absorption spectra of typical seawater and bluegreen dye inks

在樣品的選擇方面，由于天然巖石標(biāo)本顏色種類單一，水下礦物樣品難以獲得，無法滿足訓(xùn)練要求，為了增加訓(xùn)練神經(jīng)網(wǎng)絡(luò)的泛化能力。采用Photoshop 軟件中的顏色庫PANTONE+Color Bridge Uncoated 制作了顏色形狀種類豐富的水下目標(biāo)物標(biāo)靶，并以此作為訓(xùn)練網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集，部分自制標(biāo)靶圖像如圖7所示。

圖7 部分自制標(biāo)靶圖像Fig.7 Some self-made target images

4 結(jié)果分析與對比

4.1 實驗結(jié)果主觀分析

利用改進(jìn)的CycleGAN 算法對自制的水下目標(biāo)物標(biāo)靶數(shù)據(jù)集進(jìn)行訓(xùn)練處理；同時，為了對比處理效果，本文采用傳統(tǒng)圖像處理方法中的帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（Multi Scale Retinex With Color Restoration，MSRCR）［18-19］對目標(biāo)物進(jìn)行處理，結(jié)果如圖8所示。

圖8 不同算法處理水下自制標(biāo)靶圖像結(jié)果Fig.8 Results of underwater self-made target images processed by different algorithms

從主觀視覺角度可以看出，圖8 中帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（MSRCR）處理后的圖像，存在明顯的顏色過飽和現(xiàn)象，與空氣中的目標(biāo)物圖像顏色差距較大。在迭代次數(shù)和學(xué)習(xí)率相同情況下，原始的CycleGAN 網(wǎng)絡(luò)處理后的水下圖像在照明不足部分（暗區(qū)域）出現(xiàn)了大量偽色彩，且存在圖像顏色復(fù)原失真現(xiàn)象，圖像顏色恢復(fù)較原圖存在很大的差距。與此相比，改進(jìn)后的CycleGAN 處理的水下圖像顏色恢復(fù)得更加接近空氣中的原圖，圖像亮度得到明顯提升，且圖像周圍的干擾噪聲得到了有效抑制，網(wǎng)絡(luò)模型訓(xùn)練更加穩(wěn)定。從圖8 中可發(fā)現(xiàn)，實驗采集的水下圖像普遍呈現(xiàn)藍(lán)綠色調(diào)，主要是由于模擬水體對可見光波段的強(qiáng)吸收具有明顯的波長選擇性，表現(xiàn)為短波長比長波長吸收少。此外，由于脫脂牛奶中酪蛋白分子產(chǎn)生強(qiáng)烈的后向散射效應(yīng)，導(dǎo)致水下圖像表面呈現(xiàn)“霧化”效果。經(jīng)本文算法處理后，以上兩種現(xiàn)象也得到了明顯改善。

本文利用訓(xùn)練好的改進(jìn)CycleGAN 網(wǎng)絡(luò)對天然礦石的水下降質(zhì)圖像進(jìn)行了處理。所選用天然礦石為斑點石（Dalmatian）、花綠石（Unakite）、圖畫石（Picture Jasper），這幾種礦石的表面顏色和紋理均有較為明顯的區(qū)別。通過對天然礦石特征區(qū)域的顯微圖像進(jìn)行處理，得到如圖9所示的實驗結(jié)果。

圖9 不同算法處理水下天然礦石圖像結(jié)果對比Fig.9 Comparison of underwater natural stone images processed by different algorithms

從以上處理結(jié)果可以看出，帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（MSRCR）處理后圖像雖然亮度得到明顯提升，但顏色恢復(fù)效果不佳。改進(jìn)后的CycleGAN 算法圖像顏色恢復(fù)得更加自然真實，圖像亮度有了很大改善，紋理邊界更加清晰，顏色上也更加接近空氣中的原圖。

4.2 實驗結(jié)果客觀評價

為了更加客觀地說明本文算法對水下顯微圖像處理的適用性和優(yōu)越性，本文通過客觀評價指標(biāo)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［20］，以及水下彩色圖像質(zhì)量評價指標(biāo)（Undewater Color Image Quality Evaluation，UCIQE）［21］對不同算法處理后的水下顯微圖像進(jìn)行定量分析比較。

要計算PSNR 必須先計算當(dāng)前圖像和參考圖像的均方誤差（MSE）。假設(shè)兩幅圖像X和Y，他們的分辨率均為m×n，則它們的均方誤差可以定義為：

則峰值信噪比PSNR 可通過MSE 得出來：

其中：MAXI代表圖像像素點的最大值，MSE的值越小，PSNR越大，說明處理后圖像的質(zhì)量越好。

UCIQE 是用CIELab 空間的色度、飽和度、對比度三者的加權(quán)組合來評價圖像質(zhì)量，其定義為：

其中：σc是色度的標(biāo)準(zhǔn)差，conl為對比度，μs是飽和度的平均值，c1，c2，c3是加權(quán)系數(shù)。

通過客觀評價指標(biāo)對水下目標(biāo)物圖像進(jìn)行處理，得到如表1 所示的客觀評價結(jié)果。

從表1 中可以看出改進(jìn)的CycleGAN 算法處理后的水下圖像的PSNR、SSIM 指標(biāo)均好于CycleGAN 算法，改進(jìn)的CycleGAN 算法的UCIQE指標(biāo)與空氣中標(biāo)準(zhǔn)圖像的UCIQE 指標(biāo)的差值最小，即改進(jìn)的CycleGAN 算法處理后的水下圖像更加接近空氣中的標(biāo)準(zhǔn)圖像；MSRCR 算法處理結(jié)果中的UCIQE 差值在幾種算法中最高，即該算法處理后的水下圖像與空氣中的標(biāo)準(zhǔn)圖像相去甚遠(yuǎn)，且PSNR 和SSIM 指標(biāo)也不及前者；評價指標(biāo)的客觀評價結(jié)果與主觀視覺感受相符。

表1 不同算法處理的水下顯微圖像客觀評價指標(biāo)Tab.1 Objective evaluation indexes of underwater microscopic images processed by different algorithms

5 結(jié) 論

為解決水下顯微圖像顏色失真的問題，本文提出了一種改進(jìn)的CycleGAN 算法。通過在原始水下降質(zhì)圖像和重構(gòu)水下圖像之間加入R、G、B 三個通道的SSIM 損失函數(shù)，度量二者圖像間的信息損失；并通過主觀視覺感受和客觀評價指標(biāo)驗證了改進(jìn)算法對水下圖像色彩恢復(fù)的有效性。結(jié)果表明，在強(qiáng)吸收與強(qiáng)散射混合水體中，自制標(biāo)靶圖像組中本文所提改進(jìn)的CycleGAN算法處理后的效果表現(xiàn)良好，圖像的PSNR、SSIM 指標(biāo)分別較改進(jìn)前提高了12.89% 和5.78%，較傳統(tǒng)MSRCR 提高了41.85% 和35.62%，UCIQE 也與空氣中圖像最為接近；水下巖石樣品圖像的PSNR、SSIM 指標(biāo)分別較改進(jìn)前提高7.40%和5.78%，較傳統(tǒng)MSRCR 提高了20.65%和75.86%，達(dá)到對水下顯微圖像顏色校正的需求，為研究水下礦石表面微生物礦化過程和深海菌席的研究提供了技術(shù)支撐，有望在海洋地質(zhì)和海洋生物學(xué)方面得到應(yīng)用。