基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法

王 照 陳恩慶

1(河南護理職業(yè)學院公共學科部 河南 安陽 455000)2(鄭州大學信息工程學院 河南 鄭州 450000)

0 引 言

圖像信息的提取是圖像領(lǐng)域研究中最基礎(chǔ)的方面，通過將圖像分解為固有成分是許多計算機視覺和圖形任務(wù)的有效預處理手段[1]。本征圖像分解技術(shù)就是通過提取反照率和亮度兩個本征圖來更直觀地獲得圖像的顏色和光照信息，從而提高圖像分割、對比度增強等算法的性能[2-3]。

由于本征圖像分解技術(shù)的重要性，研究人員對該技術(shù)進行了廣泛的研究。目前，大多數(shù)方法是基于特定圖像理論的算法，如圖像序列法[4]、Retinex模型算法[5]等。這些傳統(tǒng)算法在提取圖像細節(jié)特征方面存在弱點，遇到光照不均或材質(zhì)條件復雜的自然場景時性能明顯下降。近年來，隨著人工智能被廣泛關(guān)注，基于機器深度學習的技術(shù)被廣泛應(yīng)用到計算機科學的很多領(lǐng)域中，本征圖像分解方向也不例外。Janner等[6]提出了一種基于解釋輸入圖像來學習本征圖像分解的方法，該方法利用RIN網(wǎng)絡(luò)將圖像分解管道連接在一起，通過給定單個圖像來預測反射率、形狀和照明條件。Baslamisli等[7]提出了一種基于CNN學習與Retinex模型相結(jié)合的本征圖像分解方法，該方法采用數(shù)據(jù)集訓練CNN網(wǎng)絡(luò)，通過基于物理的反射模型來指導學習過程，以及利用反射率和陰影漸變信息來獲取固有圖像，從而提高算法模型的計算速度。Yuan等[8]提出了使用聯(lián)合并行學習進行本征圖像分解的方法，該方法利用并行卷積神經(jīng)網(wǎng)絡(luò)分別學習具有不同空間特征和數(shù)據(jù)分布的反照率和明暗度，同時將基于傳統(tǒng)圖像的梯度先驗引入損失函數(shù)中，通過結(jié)合基于物理方法和基于數(shù)據(jù)驅(qū)動的方法的優(yōu)點來改善學習模型的性能。Liu等[9]開發(fā)了用于本征分解的增強型殘差密集本征網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過構(gòu)建增強型殘差密集塊來達到充分利用分層功能的目標，并且將圖像物理成像原理設(shè)計為重建損失函數(shù)，確保觀測和估計分量的乘法之間的一致性，提高模型的本征分解性能。

本文針對現(xiàn)有方法分解質(zhì)量不高、紋理細節(jié)不夠清晰的現(xiàn)象，提出一種基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法。該算法是在全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了端到端的殘差網(wǎng)絡(luò)模塊和生成對抗網(wǎng)絡(luò)，并提出一個由數(shù)據(jù)損失、數(shù)據(jù)梯度損失和對抗損失三項組成的加權(quán)損失函數(shù)用于監(jiān)督網(wǎng)絡(luò)的訓練過程。本文算法可以在不需要任何物理先驗和幾何信息前提下，實現(xiàn)單幅圖像本征分解。

1 相關(guān)知識

1.1 生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GANs)是由Goodfellow等提出，靈感來源于博弈論中的二人零和博弈思想。GANs的圖片生成能力特別強大，因此被廣泛應(yīng)用于圖像修復、圖像合成、超分辨率等方面[10]。

生成對抗網(wǎng)絡(luò)的基本框架是由一個生成模型G和一個判別模型D組成，該網(wǎng)絡(luò)通過對抗過程用于迭代更新生成模型的性能。GANS的流程由圖1給出。

圖1 生成對抗網(wǎng)絡(luò)的流程示意圖

可以看到，生成模型G通過真實數(shù)據(jù)樣本x的訓練，生成新的數(shù)據(jù)樣本G(z)作為判別模型D的輸入，而D是一個二分類器，用于判斷輸入樣本是來自于原始數(shù)據(jù)x還是由生成模型產(chǎn)生G(z)。整個GANs過程中網(wǎng)絡(luò)生成模型G與判別模型D同時在運行，判別模型的目標是降低D(G(z))出現(xiàn)的概率，使其盡可能接近0，生成模型的目標則是保證G(z)與x盡可能地相近，兩者之間不斷地循環(huán)往復，直到二者在博弈中達到納什平衡。生成式對抗網(wǎng)絡(luò)的目標函數(shù)可以表示為：

Ez,P(z)[log(1-D(G(z)))]

(1)

式中：x是真實數(shù)據(jù)樣本；z表示潛在表征；P表示概率分布；E表示期望。

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(Residual Networks，ResNets)[11]是在2015年被提出的，該網(wǎng)絡(luò)由殘差塊構(gòu)成，主要通過跳躍連接將模型中的某一層激活信息迅速反饋給更深層。該網(wǎng)絡(luò)的優(yōu)點是通過跳躍連接有效加深網(wǎng)絡(luò)訓練深度，提高識別準確率，從而解決了深度卷積神經(jīng)網(wǎng)絡(luò)隨著深度的增加會導致梯度彌散、梯度爆炸、退化問題的產(chǎn)生。

圖2為殘差網(wǎng)絡(luò)的殘差塊結(jié)構(gòu)示意圖。可以看出，殘差網(wǎng)絡(luò)是在傳統(tǒng)網(wǎng)絡(luò)的基礎(chǔ)上引入跳躍連接，而且ResNets中存在兩種映射關(guān)系：恒等映射和殘差映射。恒等映射是將淺層C(l)的信息x在保持輸出不變的情況下通過跳躍一層或者n層傳遞到更深層C(l+n)的節(jié)點；殘差映射是指目標輸出值H(x)=F(x)+x與輸入值x之間的差值，即中間層輸出值F(x)。ResNet網(wǎng)絡(luò)訓練的目標是將殘差結(jié)果逼近于0。

圖2 殘差網(wǎng)絡(luò)的基本模塊

2 算法簡介

本征圖像分解就是將由彌散材料組成的圖像以像素為單位拆分成反照率A和陰影S的乘積：

I(x)=A(x)·S(x)

(2)

式中：I表示輸入圖像；x表示像素。

由于本征分解問題是不適定的，A和S存在許多滿足上述方程式的可能性都遵循上述解，并且I的大小取決于未知的采集參數(shù)，例如曝光、光照等。 因此，基于深度學習研究的學者采用“尺度不變”理論，即遵循I=αA·βS。這要求分別對α和β進行手動優(yōu)化，但是會容易引起失真和不一致性[12]。相反，本文認為為了使A和S的后續(xù)原則化和聯(lián)合標準化，能量守恒非常重要，即按照I=αA·S/α調(diào)整α。A是由物理屬性定義的，應(yīng)被視為絕對值，該絕對值對于照明變化和采集噪聲是不變的。

2.1 網(wǎng)絡(luò)架構(gòu)

(3)

2.1.1預 測

圖3 本文網(wǎng)絡(luò)的整體架構(gòu)示意圖

2.1.2殘差學習

輸入圖像I與陰影S(或反照率A)具有很多共同點，因此識別函數(shù)存在一個良好的初始估計值。但是，當解決方案接近真值時，CNN容易出現(xiàn)發(fā)散和不穩(wěn)定的情況。而殘留網(wǎng)絡(luò)可以很好地解決深度網(wǎng)絡(luò)的這一缺點，基于此點考慮，本文將殘差模塊引入提出的分解網(wǎng)絡(luò)中，以方便估算S。

圖4給出了圖2中CNN分支的具體組成情況，該分支學習了從I到S的映射。該網(wǎng)絡(luò)中的一個殘差塊由兩個64通道的3×3卷積層組成，每次卷積操作后使用批量歸一化作為網(wǎng)絡(luò)的正則化。然后，進行ReLU。在第二次卷積的ReLU之前完成與輸入的逐元素求和。本網(wǎng)絡(luò)分支中存在10個依次連接的殘差塊。 最后，因為生成網(wǎng)絡(luò)是完全卷積的，因此它可以在測試時處理任何大小的圖像。

圖4 殘差生成器網(wǎng)絡(luò)示意圖

2.2 損失函數(shù)

(4)

首先，數(shù)據(jù)損失項可以確保預測值適應(yīng)真實數(shù)據(jù)。本文采用一種對規(guī)模敏感的措施，可以保證全局強度的一致性。 因此，將該損失項定義為反照率和陰影的L2范數(shù)：

(5)

其次，對于數(shù)據(jù)梯度損失，由于反照率和陰影都會呈現(xiàn)出銳利的不連續(xù)性，需要進行平滑。為了有利于顯示變化估計以及避免過度平滑，在反照率和陰影的梯度上用L2范數(shù)補充損失：

(6)

由于典型的CNN容易產(chǎn)生視覺偽像，因此，為避免偽像的產(chǎn)生，為A和S引入了對抗性損失。鑒別器網(wǎng)絡(luò)采用兩個二進制CNN分類器，兩個分類器可以表示為：DA(A)和DS(S)。鑒別器網(wǎng)絡(luò)的目的是區(qū)分生成網(wǎng)絡(luò)輸出的數(shù)據(jù)與真實數(shù)據(jù)之間的差異范圍。因此，生成器網(wǎng)絡(luò)的目的就是欺騙鑒別器，使其無法區(qū)分生成圖像與真實圖像。

(7)

鑒別器在生成器訓練迭代期間是固定的，它僅用作感知度量。通過鑒別器的反向傳播可以將誤差信息轉(zhuǎn)化為更具表現(xiàn)力形式，從而豐富了誤差信息，指導網(wǎng)絡(luò)學習能力。但是，其缺點是強度可能會超過來自較深處的其他誤差信息，因此需要在式(4)中加入權(quán)重因子λ。鑒別器的體系結(jié)構(gòu)遵循標準的分類體系結(jié)構(gòu)：卷積層和最大池化層在前，后面是幾個完全連接層，鑒別器網(wǎng)絡(luò)架構(gòu)如圖5所示。

圖5 鑒別器網(wǎng)絡(luò)架構(gòu)示意圖

鑒別器使用二進制分類損失函數(shù)進行訓練：

(8)

3 實 驗

本文所有實驗在一臺配置為Intel(R) Core(TM)i7- 7820X CPU @3.60 GHz和8 GB RAM的機器上進行，所有測試均在TensorFlow環(huán)境下實現(xiàn)。生成網(wǎng)絡(luò)在批次大小為5的8 000次迭代過程中得到了有效的訓練。由于生成器網(wǎng)絡(luò)的最初估算很差，因此在前400次迭代中不使用對抗訓練來提高訓練穩(wěn)定性。然后，采用與生成器同樣的參數(shù)對鑒別器進行訓練：在迭代過程中，3個鑒別器使用固定生成器進行更新，然后生成器采用固定鑒別器更新。根據(jù)經(jīng)驗，參數(shù)λ=10-4在執(zhí)行任務(wù)時最為有效。本文采用ADAM優(yōu)化方法，學習率從10-4開始，隨后降低到10-6。最后，遵循雙重交叉驗證程序來產(chǎn)生測試結(jié)果，該結(jié)果是使用在相互測試和訓練集上訓練的網(wǎng)絡(luò)進行的兩次評估的平均值。

3.1 數(shù)據(jù)集

本文采用MPI Sintel數(shù)據(jù)集[8]進行測試。Sintel是一部開源的計算機動畫短片，其中包含復雜的室內(nèi)和室外場景。出于研究目的，從中選取多種格式，如固有的陰影和反照率，形成了MPI Sintel數(shù)據(jù)集。數(shù)據(jù)集包含18個序列，其中17個序列由50幀組成，另一個序列由40幀組成，共計890幀。反照率圖像是在沒有照明的情況下渲染的，陰影圖像包括照明效果，并且是通過使用恒定的灰色反照率進行渲染而生成的。本文將數(shù)據(jù)集中的圖像隨機分配一半用于訓練，另一半則用于測試。在訓練過程中，使用標準的數(shù)據(jù)增強技術(shù)，即在以[0.8,1.2]區(qū)間內(nèi)的隨機因子進行縮放，以最大15°的隨機角度旋轉(zhuǎn)以及使用隨機水平鏡像，可能性為0.5。

3.2 評價指標

為了進行定量評估，必須選擇誤差指標?？紤]經(jīng)常使用的指標：兩個與數(shù)據(jù)相關(guān)的指標(si-MSE和si-LMSE)和一個基于感知動機的指標(DSSIM)。 但是，由于這些指標對規(guī)模不敏感，因此需要另外考慮對規(guī)模敏感的指標。

3.2.1尺度不變度量

尺度不變均方誤差si_MSE的數(shù)學公式可以被定義為：

(9)

尺度不變局部均方誤差si_LMSE的數(shù)學公式可以表示為：

(10)

結(jié)構(gòu)相似性SSIM是一種出于感觀動機的度量，它考慮了多個獨立的結(jié)構(gòu)和亮度差異。本文將采用其差異度量形式DSSIM：

(11)

3.2.2規(guī)模感知指標

本文認為反照率具有獨特的物理價值，在提取時應(yīng)該嚴格遵守式(2)的理論原則。因此，(A,S)對應(yīng)該是唯一的。采用下面兩個數(shù)據(jù)指標，用于測量與一致性聯(lián)合尺度相關(guān)的重建偏差。

傳統(tǒng)的對比例敏感的指標是MSE，用于衡量總體目標，在數(shù)值上會盡可能接近真實值：

(12)

相對尺度均方誤差rs_MSE：

(13)

此措施僅允許相對比例優(yōu)化，以便保留以下關(guān)系：

I=αA·S/α

(14)

因此與式(2)一致，即這種措施可以容忍相對一致的強度變化，同時必須保留整體強度以及結(jié)構(gòu)信息。

3.3 測試結(jié)果

本文采用MPI Sintel數(shù)據(jù)集進行測試，利用尺度不變度量和規(guī)模感知指標進行評估本文算法的性能，并且與ParCNN[8]、ERDIN[9]、ADM-ALM[13]等方法進行對比驗證。

圖6給出了MPI Sintel數(shù)據(jù)集中選擇的圖像的視覺比較?？梢钥吹?，文獻[13]的測試結(jié)果中紋理細節(jié)模糊，文獻[8]、文獻[9]可以實現(xiàn)平坦的反照率，但是無法保留細節(jié)并產(chǎn)生鋸齒狀邊緣。相比較而言，本文模型產(chǎn)生可恢復更好細節(jié)的高質(zhì)量圖像，在空間和顏色域中的清晰度更高，反照率圖中可以看到清晰的背景輪廓，陰影圖中可以很好地觀測到圖中人物頭發(fā)。

圖6 MPI Sintel數(shù)據(jù)集中選擇的圖像的視覺比較

表1-表3給出了測試圖像在尺度不變度量和規(guī)模感知指標上的定量評估結(jié)果?？梢钥闯?，相對于其他本征圖像分解算法，本文方法的分解性能更佳，對噪聲更具魯棒性，對局部結(jié)構(gòu)錯誤的糾正能力強，而且擁有更好的泛化能力。

表1 在Sintel圖像分割上進行兩次交叉驗證后的測試結(jié)果

續(xù)表1

表2 Sintel圖像在基于感知動機的指標的測試結(jié)果

表3 Sintel圖像在規(guī)模感知指標上的測試結(jié)果

4 結(jié) 語

本文提出一種基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法，用于解決現(xiàn)有方法分解質(zhì)量不佳、紋理細節(jié)分解不夠清晰的問題。該算法是基于一個全卷積神經(jīng)網(wǎng)絡(luò)，引入端到端的殘差網(wǎng)絡(luò)模塊和生成對抗網(wǎng)絡(luò)。為了避免網(wǎng)絡(luò)過擬合現(xiàn)象的產(chǎn)生，提出一個由數(shù)據(jù)損失、數(shù)據(jù)梯度損失和對抗損失三項組成的加權(quán)損失函數(shù)用于監(jiān)督網(wǎng)絡(luò)的訓練過程。本文算法在不需要任何物理先驗和幾何信息前提下，實現(xiàn)了單幅圖像本征分解。實驗結(jié)果表明，本文方法比其他分解算法具有更明顯的性能優(yōu)勢，而且獲得的反照率對尺度敏感性高。