基于衰減式生成對抗網(wǎng)絡(luò)的單幅圖像陰影去除

廖斌 譚道強(qiáng) 吳文

摘 要：圖像中的陰影是投影物體的重要視覺信息，但也會對計(jì)算機(jī)視覺任務(wù)造成影響?，F(xiàn)有的單幅圖像陰影去除方法因魯棒陰影特征的缺乏或訓(xùn)練樣本數(shù)據(jù)的不足與誤差等原因，無法得到好的陰影去除結(jié)果。為了準(zhǔn)確生成用于描述陰影區(qū)域光照衰減程度的蒙版圖像，進(jìn)而獲得高質(zhì)量的無陰影圖像，提出了一種基于衰減式生成對抗網(wǎng)絡(luò)的單幅圖像陰影去除方法。首先，敏感因子引導(dǎo)的衰減器被用來提升訓(xùn)練樣本數(shù)據(jù)，為后續(xù)的生成器與判別器提供符合物理光照模型的陰影樣本圖像。其次，生成器將結(jié)合感知損失，并在判別器的督促下得到最終陰影蒙版。與相關(guān)研究工作比較，所提方法能有效恢復(fù)陰影區(qū)域的光照信息，可以得到更為逼真、陰影邊界過渡更加自然的無陰影圖像。利用客觀指標(biāo)評價(jià)陰影去除結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法能在多個真實(shí)場景下有效去除陰影，去陰影結(jié)果視覺一致性良好。

關(guān)鍵詞：圖像處理;陰影去除;生成對抗網(wǎng)絡(luò);衰減器;光照模型

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

Single image shadow removal based on attenuated generative adversarial networks

LIAO Bin*， TAN Daoqiang， WU Wen

School of Computer Science and Information Engineering， Hubei University， Wuhan Hubei 430062， China

Abstract：

Shadow in an image is important visual information of the projective object， but it affects computer vision tasks. Existing single image shadow removal methods cannot obtain good shadow-free results due to the lack of robust shadow features or insufficiency of and errors in training sample data. In order to generate accurately the shadow mask image for describing the illumination attenuation degree and obtain the high quality shadow-free image， a single image shadow removal method based on attenuated generative adversarial network was proposed. Firstly， an attenuator guided by the sensitive parameters was used to augment the training sample data in order to provide shadow sample images agreed with physical illumination model for a subsequent generator and discriminator. Then， with the supervision from the discriminator， the generator combined perceptual loss function to generate the final shadow mask. Compared with related works， the proposed method can effectively recover the illumination information of shadow regions and obtain the more realistic shadow-free image with natural transition of shadow boundary. Shadow removal results were evaluated using objective metric. Experimental results show that the proposed method can remove shadow effectively in various real scenes with a good visual consistency.

Key words：

image processing; shadow removal; generative adversarial network; attenuator; illumination model

0 引言

陰影雖能為圖像深度和物體幾何形狀預(yù)估等計(jì)算機(jī)視覺研究工作提供重要依據(jù)，但其存在也會加大物體檢測、目標(biāo)跟蹤等任務(wù)的難度。因此，在諸多計(jì)算機(jī)視覺應(yīng)用中需要去除圖像中的陰影。單幅圖像陰影去除一直是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的一個研究熱點(diǎn)。

陰影去除常包含陰影定位和去陰影這兩個步驟。在陰影定位過程中，文獻(xiàn)[1-3]中使用陰影檢測的方法，文獻(xiàn)[4-5]中使用人工交互標(biāo)注的方法確定陰影的位置，然后再分別使用自定義的特征對全陰影和半陰影區(qū)域進(jìn)行重建。然而，陰影檢測本身就十分困難。傳統(tǒng)基于物理模型的方法僅僅在處理高清圖像時(shí)才能得到不錯的效果。基于統(tǒng)計(jì)學(xué)習(xí)的方法則過度依賴自定義的陰影特征[2]。用戶交互雖然能準(zhǔn)確地定位陰影，但處理大數(shù)據(jù)量圖像時(shí)非常耗時(shí)耗力。利用卷積神經(jīng)網(wǎng)絡(luò)表征學(xué)習(xí)的能力，文獻(xiàn)[2]和文獻(xiàn)[6]中的深度網(wǎng)絡(luò)能夠?qū)W習(xí)陰影檢測所需要的特征，但受到數(shù)據(jù)集規(guī)模的限制，這兩個網(wǎng)絡(luò)層次都較淺。此外，這兩種方法以區(qū)域塊的形式運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)，后續(xù)還要進(jìn)行全局優(yōu)化以保持圖像的連貫性。在去陰影過程中，已有的陰影去除方法大致可分為以下兩類。文獻(xiàn)[7-10]中的方法均基于梯度域去陰影，而文獻(xiàn)[1，2，4，11-12]中的方法均基于圖像顏色域去陰影。文獻(xiàn)[8-9]中通過比較光照不變圖和原始RGB圖像進(jìn)行陰影檢測，然后提出一系列基于梯度的方法進(jìn)行陰影去除。但這些基于梯度的方法僅僅只改變陰影邊界或半陰影區(qū)域的梯度變量，因此對于全陰影區(qū)域的光照變量并不適用。基于顏色域的陰影去除方法通常采用分類[1-2]和用戶交互[11-12]的方法區(qū)分全陰影和半陰影區(qū)域。其中，文獻(xiàn)[2]中使用兩個獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)對陰影進(jìn)行檢測并區(qū)分全陰影和半陰影區(qū)域，然后基于貝葉斯公式的方法提取描述陰影區(qū)域光照衰減程度的蒙版圖像。文獻(xiàn)[12]中在全陰影和半陰影區(qū)域分別使用不同的低級特征，使用馬爾可夫隨機(jī)場找出半陰影區(qū)域，然后使用強(qiáng)度表面恢復(fù)法去除陰影。文獻(xiàn)[13]中基于棧式條件生成對抗網(wǎng)絡(luò)提出了一種多任務(wù)學(xué)習(xí)的方法，將陰影檢測與陰影去除并行，能得到不錯的效果。文獻(xiàn)[14]中繞開了陰影檢測環(huán)節(jié)，通過圖像本征分解得到無陰影的圖像。但是，基于本征圖像的方法可能會改變非陰影區(qū)域的顏色。文獻(xiàn)[15]中提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，結(jié)合圖像中陰影的外表模型以及語義模型構(gòu)建多語境結(jié)構(gòu)，為陰影圖像生成陰影蒙版，從而達(dá)到陰影去除的效果，但因?yàn)闆]有從根源上選擇誤差較低的訓(xùn)練集，使得陰影去除圖像的像素在全局均會發(fā)生變化，這并不符合陰影去除的初衷。

基于以上問題和不足，本文基于一種新的生成對抗網(wǎng)絡(luò)進(jìn)行單幅圖像的陰影去除，能為待處理的陰影圖像生成更為準(zhǔn)確的陰影蒙版圖像，從而得到更為真實(shí)的無陰影圖像。根據(jù)文獻(xiàn)[7]可知，陰影圖像可由無陰影圖像和陰影蒙版圖像在像素級別上相乘得到，因此得到了陰影蒙版圖像就能得到陰影去除圖像。所提網(wǎng)絡(luò)由衰減器、生成器和判別器等3個部分構(gòu)成。首先，為了減小樣本存在的誤差，篩選訓(xùn)練樣本。利用帶敏感因子的衰減器生成額外的樣本訓(xùn)練網(wǎng)絡(luò)以提高所提模型的擬合能力。衰減器的輸入為樣本陰影圖像和標(biāo)注陰影區(qū)域的陰影二值掩膜構(gòu)成的四通道圖像，旨在生成新的符合物理光照模型的陰影圖像。這些新的數(shù)據(jù)一方面能擴(kuò)大數(shù)據(jù)集增加模型的可靠性以及擬合能力，另一方面生成的圖像與經(jīng)過篩選的訓(xùn)練樣本一樣，與它們對應(yīng)的真實(shí)無陰影圖像具有較小的誤差，這能提高模型訓(xùn)練的精度。其次，在衰減器提供充足訓(xùn)練樣本的前提下，生成器結(jié)合感知損失函數(shù)，旨在生成準(zhǔn)確的陰影蒙版;而判別器不斷更新，并給予生成器反饋。最終判別器與衰減器、生成器達(dá)到平衡。然后直接將待處理陰影圖像作為生成器的輸入就能直接得到其對應(yīng)的陰影蒙版圖像。

本文的主要貢獻(xiàn)：1）提出一種基于衰減式生成對抗網(wǎng)絡(luò)的陰影去除框架，能為待處理的陰影圖像生成對應(yīng)的陰影蒙版，從而實(shí)現(xiàn)陰影去除;2）提出了一種帶敏感因子的衰減器，能夠生成不同衰減程度且符合物理光照模型的陰影衰減圖像，以作為額外可靠的數(shù)據(jù)集;3）與傳統(tǒng)的生成器不同，本文將結(jié)合感知損失，并與判別器進(jìn)行對抗訓(xùn)練，以大幅度提高生成蒙版的準(zhǔn)確性，得到更自然的無陰影圖像，在多個測試數(shù)據(jù)集上均能得到良好的結(jié)果。

1 衰減式生成對抗網(wǎng)絡(luò)

傳統(tǒng)基于陰影蒙版的陰影去除方法在估算陰影蒙版時(shí)需要提前定位陰影的位置。而定位陰影常常需要做陰影檢測[1-2]或者使用用戶交互的方式[4-5]標(biāo)注出陰影的位置。因陰影檢測的過程本身就十分具有挑戰(zhàn)性，且這一過程常常因?yàn)槿狈︳敯舻年幱疤卣鱗1，16-17]造成陰影檢測不夠準(zhǔn)確或只在處理高清圖像時(shí)才能得到較好的結(jié)果[18]。基于用戶交互的方式雖然能更為準(zhǔn)確地定位陰影的位置，但整個檢測過程缺乏全自動性，大批量處理圖像時(shí)，需要較多的資源。生成對抗網(wǎng)絡(luò)[19-21]作為一種圖像生成模型無需提前定位陰影的位置，也可應(yīng)用于生成陰影蒙版。文獻(xiàn)[19]提出的生成對抗網(wǎng)絡(luò)由一個生成器G和一個判別器D組成。生成器接收一個隨機(jī)噪聲從而生成一幅逼真的圖像。判別器從訓(xùn)練集中學(xué)習(xí)從而判斷生成器生成的圖像是真還是假。這兩個部分是博弈關(guān)系。生成器生成圖像旨在讓判別器難以辨別真假，從而從訓(xùn)練集中學(xué)習(xí)出數(shù)據(jù)的分布。文獻(xiàn)[20]則進(jìn)一步拓展文獻(xiàn)[19]，允許在生成器和判別器中引入額外的條件變量。文獻(xiàn)[21]基于文獻(xiàn)[20]，使用一幅輸入圖像作為約束條件，訓(xùn)練生成對抗網(wǎng)絡(luò)以生成另一幅圖像。利用深度神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)特征的能力，可以大幅減小因人為選定特征而對結(jié)果造成的誤差。由此，根據(jù)文獻(xiàn)[21]，將樣本陰影圖像作為約束條件，旨在讓生成器生成逼真的陰影蒙版，以達(dá)到當(dāng)前判別器無法分辨的程度;而判別器在提高自己判別能力的同時(shí)也激勵著生成器能力的提升;直至判別器無法辨認(rèn)生成器生成的圖像的真假之后，使用式（1）[7]計(jì)算得到無陰影圖像：

x=y·x′（1）

其中：x為陰影圖像;y為陰影蒙版，表示由陰影造成的光照衰減效應(yīng);x′為無陰影圖像。

文獻(xiàn)[21]對于陰影圖像中非陰影區(qū)中偏暗的區(qū)域、光照衰減程度多樣化的陰影區(qū)域以及陰影邊界處理能力較差，導(dǎo)致無法生成準(zhǔn)確的陰影蒙版，從而無法得到真實(shí)的無陰影圖像。受到文獻(xiàn)[22]的啟發(fā)，該文使用一個卷積神經(jīng)網(wǎng)絡(luò)為主體進(jìn)行陰影檢測，可以提供額外的訓(xùn)練數(shù)據(jù)，用以提高網(wǎng)絡(luò)的泛化能力，從而使得網(wǎng)絡(luò)能夠準(zhǔn)確地區(qū)分非陰影區(qū)域中顏色偏暗區(qū)域和真實(shí)的陰影的區(qū)域。同樣，本文在生成對抗網(wǎng)絡(luò)的基礎(chǔ)之上，引入一個衰減器A實(shí)現(xiàn)類似于文獻(xiàn)[22]的功能，以提高整體網(wǎng)絡(luò)的泛化能力。但文獻(xiàn)[22]只應(yīng)用于陰影檢測，方法仍然具有較大的局限，雖然基于光照模型，能生成較為逼真的衰減陰影圖像，但其在訓(xùn)練階段，每次僅能為樣本陰影圖像生成一幅衰減的陰影圖像，而且衰減的程度不可控制，有些樣本中的陰影衰減程度較高，而還有很多樣本幾乎不衰減?；谝陨线@些問題，本文進(jìn)一步提出敏感因子引導(dǎo)的衰減器輔以生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每次訓(xùn)練通過調(diào)整步長來控制敏感因子的取值，從而來生成相對于輸入圖像不同衰減程度的陰影圖像。在本文中將所提網(wǎng)絡(luò)稱為衰減式生成對抗網(wǎng)絡(luò)。通過增大可靠的衰減陰影圖像樣本，所提網(wǎng)絡(luò)的處理能力得到大幅度增強(qiáng)，其訓(xùn)練流程如圖1所示。

衰減式生成對抗網(wǎng)絡(luò)由一個衰減器、一個生成器以及一個判別器組成。為了減小樣本存在的誤差，使用像素的均方根誤差（Root Mean Square Error，RMSE）[23]篩選客觀數(shù)據(jù)集作為所提網(wǎng)絡(luò)的訓(xùn)練樣本。樣本訓(xùn)練集中每組圖像將由樣本陰影圖像、標(biāo)識陰影位置的陰影二值掩膜、真實(shí)的無陰影圖像、樣本陰影圖像的真實(shí)陰影蒙版這四幅圖像組成。如圖1所示，訓(xùn)練過程中，衰減器的輸入為訓(xùn)練樣本中的陰影圖像及其陰影檢測的二值掩膜結(jié)果，其中⊕表示將三通道的RGB陰影圖像和單通道的二值陰影檢測結(jié)果堆疊成為四通道的輸入，而受到敏感因子的引導(dǎo)與差異損失的約束，衰減器能夠生成多幅符合物理光照模型的圖像。生成器使用衰減器的輸出作為額外的訓(xùn)練數(shù)據(jù)，結(jié)合感知損失，旨在生成準(zhǔn)確的陰影蒙版。判別器判斷衰減器產(chǎn)生的陰影衰減圖像和生成器生成的陰影蒙版是否為真，同時(shí)給予衰減器以及生成器信息反饋，以達(dá)到相互促進(jìn)相互學(xué)習(xí)的目的。網(wǎng)絡(luò)訓(xùn)練完畢后，便可舍棄衰減器與判別器，直接將待處理的陰影圖像作為生成器的輸入，即可得到其對應(yīng)的陰影蒙版，結(jié)合式（1）便能得到陰影去除結(jié)果。

2 網(wǎng)絡(luò)構(gòu)成細(xì)節(jié)

2.1 敏感因子引導(dǎo)的衰減器

衰減器的引入可以為后續(xù)生成器提供符合物理光照模型的訓(xùn)練數(shù)據(jù)集，而使用敏感因子作為引導(dǎo)則可以控制原始陰影圖像中陰影區(qū)域的衰減程度以及數(shù)量，這將極大程度地提高模型對于多種場景下不同程度陰影的處理能力。敏感因子引導(dǎo)的衰減器加強(qiáng)了非陰影區(qū)域中顏色偏暗區(qū)域的識別能力，從而生成更加合理、準(zhǔn)確的陰影蒙版。在訓(xùn)練過程中，為衰減器構(gòu)造合適的損失項(xiàng)并形成損失目標(biāo)函數(shù)以達(dá)到以上目的。

設(shè)M（x）是陰影圖像x的陰影掩膜，A（x）為衰減器A關(guān)于x和M（x）的輸出。首先，為了讓衰減器的輸出在非陰影區(qū)域的像素值保持不變，構(gòu)建損失項(xiàng)L1旨在抑制x在非陰影區(qū)域中像素的改變，如式（2）所示：

L1（x）=∑iM（x）（A（x）i-xi）2（2）

其中i表示的是像素的序號。

其次，衰減器生成的圖像應(yīng)該遵守物理光照模型。生成圖像在陰影區(qū)域中的所有像素改變的幅度應(yīng)該盡可能一致，如式（3）所示：

L2（x）=∑c∈{R，G，B}V（ln（A（x）ci-ln（xci）））（3）

其中：L2是物理損失，確保生成器生成的圖像是真實(shí)可信的。（·）c表示一個像素在c通道上的像素值，c∈{R，G，B}。V（·）為求方差運(yùn)算，其衡量了各個像素變化量的離散程度。

僅僅使用上述的兩種條件作為約束并不能生成衰減程度一致的衰減圖像，每次衰減也只能得到一幅隨機(jī)衰減程度的圖像，因此，衰減器還應(yīng)該有控制其衰減敏感度的敏感因子參數(shù)μ。衰減器雖然仍然受限于輸入的場景圖像，但通過調(diào)節(jié)μ能生成衰減程度不同的陰影圖像用于衰減式生成對抗網(wǎng)絡(luò)的訓(xùn)練。同時(shí)，參數(shù)μ也權(quán)衡生成圖像與樣本陰影圖像在陰影區(qū)域之間的差異。如式（4）所示：

L3（x）=∑i∈M（x），μ∈[0，1]（μxi-A（x）i）2（4）

其中L3是敏感損失。當(dāng)μ接近于1的時(shí)候，優(yōu)化目標(biāo)函數(shù)時(shí)，會使得陰影內(nèi)部像素在滿足物理約束的基礎(chǔ)上，不會改變太多。通過改變μ的大小。就可以產(chǎn)生衰減不同程度的陰影圖像。在實(shí)驗(yàn)過程中， μ在[0，1]中采樣，步長為0.2，則可將原始訓(xùn)練集擴(kuò)大5倍。

最終，衰減器A的損失目標(biāo)函數(shù)由損失項(xiàng)L1、L2、L3加權(quán)得到，如式（5）所示：

LA（x）=λ1L1（x）+λ2L2（x）+λ3L3（x）（5）

如圖2所示，給出了不同敏感因子取值所得到的陰影衰減圖像。圖2（a）為樣本陰影圖像。圖2（b）是通過文獻(xiàn)[22]生成的衰減圖像，衰減程度不可控，且只能生成單幅衰減圖像。圖2（c）、圖2（d）、圖2（e）分別為3個不同的敏感因子控制的圖像。通過比較，較大的μ得到的圖像，其陰影區(qū)域的顏色深度越接近樣本陰影圖像;反之，較小的μ將會得到陰影較弱的圖像，值得注意的是，受到式（2）的約束，衰減器生成的陰影圖像在非陰影區(qū)域是不會改變的。使用不同衰減程度圖像訓(xùn)練所提網(wǎng)絡(luò)中的生成器，將使得生成器的能力顯著提升。

衰減器的內(nèi)部結(jié)構(gòu)如表1所示。其中，卷積層5（3）表示第5個卷積層重復(fù)3次;ReLU為激活函數(shù);BN為批標(biāo)準(zhǔn)化[24];4/4表示衰減器的輸入為一幅四通道圖像，分別由三通道的RGB陰影圖像和單通道的陰影二值掩膜組成，其輸出是一幅在陰影區(qū)域存在衰減效果的陰影圖像，該圖像同樣為RGB三個通道，表示為3/3。

2.2 多語境嵌入的生成器和判別器

在衰減式生成對抗網(wǎng)絡(luò)中，衰減器A輸出的圖像A（x）（包括生成的衰減圖像和原始的樣本圖像）作為生成器G的輸入。生成器G將A（x）作為條件變量，旨在生成陰影蒙版G（A（x））。G試圖模擬由輸入圖像A（x）和樣本真實(shí)陰影蒙版y組成的訓(xùn)練數(shù)據(jù)的分布。判別器D的輸入為（A（x），y）或（A（x），G（A（x））），并且需要判斷該組圖像是否是真的訓(xùn)練數(shù)據(jù)。構(gòu)建目標(biāo)函數(shù)如式（6）所示：

G=Ex，y～pdata（x，y）[ln D（A（x），y）]+Ex～pdata（x）[ln（1-D（A（x），G（A（x））））+λ4LL1（G）（6）

LL1（G）=Ex，y[‖y-G（A（x））‖]（7）

其中：x～pdata（x）為x服從pdata（x）分布，E為求期望運(yùn)算。

針對如何在去除陰影過程中提高陰影邊緣的清晰度這一問題，為鼓勵生成圖像G（A（x））與真實(shí)陰影蒙版y差距更小，在實(shí)驗(yàn)過程中增加1個額外的感知損失，LL1距離（真實(shí)圖像和生成圖像）。此時(shí)判別器的損失不變，生成器的損失變了。加入LL1后可在陰影邊緣局部減少陰影模糊程度，提高清晰度。LL1一方面在鼓勵生成圖像要盡量靠近目標(biāo)圖像，一方面使用感知損失協(xié)助生成圖像在語義上與目標(biāo)圖像更為相近。

生成器的內(nèi)部結(jié)構(gòu)與衰減器，而判別器的內(nèi)部結(jié)構(gòu)如表2所示，其本質(zhì)同樣是一個卷積神經(jīng)網(wǎng)絡(luò)，其中，LReLU為激活函數(shù)。6/6表示判別器的輸入是一個圖像對，分別是陰影圖像和陰影蒙版圖像。將RGB陰影圖像和RGB的陰影蒙版圖像堆疊成六通道作為判別器的輸入。陰影圖像為衰減器的輸出，其中包括樣本陰影圖像與陰影衰減圖像。而陰影蒙版圖像有可能來源于樣本真實(shí)陰影蒙版或來源于生成器為樣本陰影圖像生成的陰影蒙版圖像。判別器的輸出為圖像對是否為真的概率，即陰影蒙版是該樣本陰影圖像對應(yīng)的陰影蒙版的可能性。

2.3 網(wǎng)絡(luò)訓(xùn)練細(xì)節(jié)

衰減式生成對抗網(wǎng)絡(luò)的訓(xùn)練可視為衰減器、生成器與判別器之間的一場博弈，并可形式化為求解目標(biāo)函數(shù)，如式（8）所示：

minA，G maxD LA（x）+G（8）

如式（8）所示，衰減器與生成器一組與判別器進(jìn)行對抗訓(xùn)練，判別器旨在最大化目標(biāo)函數(shù)，而衰減器和生成器卻試圖最小化目標(biāo)函數(shù)。

為了求解目標(biāo)函數(shù)（8），達(dá)到局部最優(yōu)解，在選取激活函數(shù)時(shí)，應(yīng)該注意如下問題。衰減器/生成器的學(xué)習(xí)率通常較小，可以使用ReLU 加快訓(xùn)練速度。在判別器輸出層使用 Sigmoid。這是因?yàn)镾igmoid在特征相差明顯時(shí)的效果很好，在循環(huán)過程中會不斷地增強(qiáng)特征效果。而判別器的其他層均選用收斂速度快又不易使神經(jīng)元壞死的 LReLU。這是因?yàn)镽eLU 函數(shù)雖然收斂速度快，但其最大的缺點(diǎn)是當(dāng)輸入小于零時(shí)的梯度為 0，這樣就導(dǎo)致負(fù)值的梯度被設(shè)置為 0，此時(shí)神經(jīng)元會處于失活狀態(tài)，不會對任何數(shù)據(jù)有所反應(yīng)，尤其是當(dāng)學(xué)習(xí)率很大時(shí)，神經(jīng)元會大面積壞死 ，

使用Tensorflow[26]實(shí)現(xiàn)本文網(wǎng)絡(luò)，LReLU的斜率設(shè)置為0.2。使用了Adam優(yōu)化方法和一個交替梯度更新策略求解式（8）。首先，固定衰減器和生成器中的權(quán)值，采用梯度下降更新判別器中的權(quán)值;然后同理，固定判別器中的權(quán)值不變，使用梯度下降更新生成器和衰減器中的權(quán)值。而在更新生成器中的權(quán)重時(shí)，優(yōu)先訓(xùn)練外表結(jié)構(gòu)分支和語義分支，然后再將這兩個分支通過一個卷積層連接到一起，則可完成生成器的一次迭代。按照均值為0、方差為0.2的正態(tài)分布初始化衰減器、生成器和判別器中所有的卷積層和反卷積層的權(quán)重，設(shè)置偏置值為0。數(shù)據(jù)增大采用圖像裁剪的方法，將原始286×286的圖像隨機(jī)裁剪成多個256×256的子圖像，得到4張子圖，然后進(jìn)行水平翻轉(zhuǎn)得8張子圖進(jìn)一步增大數(shù)據(jù)集。通過大量實(shí)驗(yàn)，當(dāng)λ1=0.2，λ2=0.3，λ3=0.3，λ4=0.2時(shí)可以得到較好的結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)中使用Ubantu 18.04操作系統(tǒng)，內(nèi)存為8GB，雙核Inter CPU I5，圖像處理器（GPU）采用NVIDIA GTX 1080Ti。在數(shù)據(jù)集部分，挑選UIUC（University of Illinois at Urbana-Champaign）[1]、ISTD（a new Dataset with Image Shadow Triplets）[13]和SRD（a new Dataset for Shadow Removal）[15]這3個有代表性的數(shù)據(jù)集進(jìn)行測試。其中：SRD[15]包含3088組陰影和無陰影圖像;UIUC[1]包含76組陰影和無陰影圖像;ISTD[13]包含1870組陰影、陰影掩膜和無陰影圖像。本文經(jīng)過一系列預(yù)處理，便于提供給所提網(wǎng)絡(luò)學(xué)習(xí)。具體地，首先，篩選上述3個數(shù)據(jù)集中一共5034組圖像，使用RMSE計(jì)算陰影圖像和真實(shí)無陰影圖像在非陰影區(qū)域的誤差，選取誤差最少且場景多樣的800組圖像。

然后，將這800組圖像中陰影圖像和無陰影圖像相減，在3個通道上設(shè)置閾值為20，再進(jìn)行形態(tài)學(xué)濾波，最后人工調(diào)整錯誤的陰影像素標(biāo)簽，為數(shù)據(jù)集得到相應(yīng)的陰影二值掩膜作為其陰影檢測的結(jié)果，其中來自于ISTD的數(shù)據(jù)因自帶了陰影檢測結(jié)果則跳過這一步驟。最后為每組圖像補(bǔ)充上真實(shí)陰影蒙版構(gòu)成每四幅圖像一組的綜合篩選數(shù)據(jù)集。抽取綜合篩選數(shù)據(jù)集中20%的數(shù)據(jù)用于本文方法的可行性檢驗(yàn)。挑選綜合篩選數(shù)據(jù)集中的幾組圖像作為示例，如圖3所示。

理以及人工標(biāo)注修正的陰影二值掩膜。圖3（d）真實(shí)陰影蒙版，其體現(xiàn)了陰影造成的光照衰減效應(yīng)，為RGB三通道圖像。

在綜合篩選數(shù)據(jù)集中選取四幅圖像，從獲取陰影蒙版角度，將本文方法與文獻(xiàn)[15]的方法進(jìn)行比較，文獻(xiàn)[15]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，其構(gòu)建多語境結(jié)構(gòu)，為陰影圖像生成陰影蒙版，該方法十分具有代表性，而且也能得到不錯的結(jié)果。分別使用文獻(xiàn)[15]與本文方法為陰影圖像生成陰影蒙版，結(jié)果如圖4所示。

圖4（c）中因?yàn)槲墨I(xiàn)[15]的方法使用的訓(xùn)練數(shù)據(jù)集存在較大誤差，使得后續(xù)的陰影去除結(jié)果在非陰影區(qū)域也會存在大量的變化。如圖4（f）所示，無論是海報(bào)上的人物、草地上、墻上以及地面上的陰影，在恢復(fù)之后明顯會出現(xiàn)過亮的情況，導(dǎo)致陰影邊界尤為明顯。而觀察圖4（d），本文方法能夠得到更加準(zhǔn)確的陰影蒙版。比較圖4（b）和圖4（d），可以發(fā)現(xiàn)，在陰影以外的區(qū)域，本文方法幾乎不會存在虛假的蒙版信息，這使得本文方法在后續(xù)的無陰影圖像中，在非陰影區(qū)域幾乎不會發(fā)生變化，結(jié)果更加合理。如圖4（g）所示，可以發(fā)現(xiàn)這四組實(shí)驗(yàn)中，本文方法因?yàn)槟軌虻玫綔?zhǔn)確的陰影蒙版，使得無陰影結(jié)果在非陰影區(qū)域得到了完整的信息保留，相比文獻(xiàn)[15]方法，陰影邊界過渡更加自然。

在綜合篩選數(shù)據(jù)集中挑選四幅不同場景的陰影圖像，從陰影去除的角度，將本文方法與文獻(xiàn)[1]和文獻(xiàn)[13]的方法進(jìn)行比較。這兩種方法非常具有代表性：文獻(xiàn)[1]的方法基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，使用自定義的陰影特征，先將陰影檢測出來，然后基于物理光照模型將陰影去除;文獻(xiàn)[13]的方法利用基于條件生成對抗網(wǎng)絡(luò)的多任務(wù)學(xué)習(xí)方法，能夠同時(shí)進(jìn)行陰影檢測和陰影去除任務(wù)。陰影去除的結(jié)果如圖5所示。

從圖5可以看出，文獻(xiàn)[1]的方法因使用缺乏魯棒性人為定義的陰影特征，從而導(dǎo)致陰影檢測的不精準(zhǔn)，最終無法得到令人滿意的陰影去除結(jié)果。如第一行中草地上遮陽傘的部分陰影、第二行中水泥地面上較淺的陰影、第三行中大面積地貼磚、第四行中手持磚塊的人物陰影均無法得到準(zhǔn)確的檢測，從而導(dǎo)致這些區(qū)域均未經(jīng)處理。文獻(xiàn)[13]的方法相比文獻(xiàn)[1]的方法能夠得到更好的結(jié)果，但是復(fù)原區(qū)域存在明顯的亮度偏高、輕度模糊的情況，圖像整體過渡不均勻，例如第一行到第三行中依然能夠看到遮陽傘的輪廓，第四行中人物的軀干，這說明深度網(wǎng)絡(luò)對于陰影的檢測與識別能力已經(jīng)遠(yuǎn)遠(yuǎn)超過了基于自定義特征陰影檢測能力，但是在去除能力上仍然具有較大的上升空間。樣本場景的不足、精度的不夠以及沒有結(jié)合感知損失等原因造成深度網(wǎng)絡(luò)陰影去除能力的不足。本文方法繼承了深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，為陰影圖像直接生成陰影蒙版。衰減器生成的衰減的陰影圖像作為強(qiáng)大的數(shù)據(jù)支撐，使得模型對于任意程度的陰影都有較為魯棒的識別能力，拓展了模型的泛化能力。引入感知損失的生成器能夠生成更為精準(zhǔn)的陰影蒙版圖像，從而能夠得到好的陰影去除結(jié)果。本文方法處理這4幅圖像時(shí)，還原的陰影區(qū)域的亮度信息更為準(zhǔn)確，陰影邊界過渡更為自然的同時(shí)減少對非陰影區(qū)域像素的改變，圖像整體更為均勻。在綜合篩選數(shù)據(jù)集上，使用RMSE和結(jié)構(gòu)相似度（Structural SIMilarity index， SSIM）[23]作為衡量指標(biāo)，將本文方法與上述具體代表性的單幅圖像陰影去除方法進(jìn)行客觀數(shù)據(jù)比較。其中RMSE計(jì)算了去陰影圖像和真實(shí)無陰影圖像對應(yīng)的每個像素的誤差，而SSIM反映了結(jié)構(gòu)信息，其更符合人類視覺的感知。

將本文方法與文獻(xiàn)[1，13，15]的方法進(jìn)行量化評估，如表3所示。測試圖像為綜合篩選數(shù)據(jù)集的20%，這些圖像均具有相應(yīng)的真實(shí)無陰影圖像、陰影檢測結(jié)果。將陰影去除圖像與真實(shí)無陰影圖像從陰影區(qū)域、非陰影區(qū)域以及整體區(qū)域進(jìn)行量化分析，分別計(jì)算測試圖像的RMSE與SSIM值的平均值。RMSE值越低說明陰影去除圖像與真實(shí)無陰影圖像之間的誤差越小，SSIM值越大說明陰影去除圖像從結(jié)構(gòu)上與真實(shí)無陰影圖像之間更為相似。因?yàn)槲墨I(xiàn)[1]的方法基于傳統(tǒng)機(jī)器學(xué)習(xí)方法，對陰影區(qū)域缺乏魯棒的特征導(dǎo)致陰影檢測十分不準(zhǔn)確，從而導(dǎo)致不能擁有較好的陰影去除結(jié)果，所以在RMSE上具有較大的誤差，在SSIM上相似度也偏低。文獻(xiàn)[15]的方法基于卷積神經(jīng)網(wǎng)絡(luò)提出一種端到端的陰影蒙版

生成方式，但因其受到訓(xùn)練樣本的限制，在深淺程度不同的陰影場景下，不能得到較好的陰影去除結(jié)果，其RMSE和SSIM上的表現(xiàn)雖然相比文獻(xiàn)[1]的方法有了較大提升，但仍然具有較大的上升空間。文獻(xiàn)[13]的方法基于多任務(wù)學(xué)習(xí)使用兩個聯(lián)合的生成對抗網(wǎng)絡(luò)分別完成陰影檢測和陰影去除的工作，同樣受到訓(xùn)練數(shù)據(jù)集的約束且并未考慮生成圖像和目標(biāo)圖像之間的感知損失。因此其結(jié)果雖優(yōu)于文獻(xiàn)[15]的方法，但仍然沒有本文方法好。本文方法在該誤差評估上具有最低的誤差值以及最高的結(jié)構(gòu)相似度?；趥鹘y(tǒng)學(xué)習(xí)方法的文獻(xiàn)[1]方法消耗時(shí)間較長，文獻(xiàn)[13，15]的方法和本文方法均基于深度學(xué)習(xí)，在訓(xùn)練好模型后進(jìn)行預(yù)測，在算法時(shí)間上有明顯優(yōu)勢。

4 結(jié)語

本文為得到體現(xiàn)陰影圖像中光照衰減效應(yīng)的陰影蒙版圖像，從而得到更加真實(shí)、自然的無陰影結(jié)果，提出一種新的陰影去除框架。所提框架由一個帶敏感因子的衰減器、一個生成器以及一個判別器組成。帶有敏感因子的衰減器能夠以不同的程度生成符合物理光照模型的陰影圖像，這大大地增加了訓(xùn)練數(shù)據(jù)的數(shù)量，同時(shí)也增加了模型對于不同程度陰影的識別與處理能力。生成器使用衰減器的輸出作為額外的訓(xùn)練數(shù)據(jù)用于訓(xùn)練，結(jié)合了感知損失，旨在生成逼真的陰影蒙版。判別器判斷衰減器產(chǎn)生的陰影衰減圖像和生成器生成的陰影蒙版是否為真，同時(shí)給予生成器信息反饋，使其能與生成器共同進(jìn)步。在客觀數(shù)據(jù)集上，對所提方法進(jìn)行了諸多實(shí)驗(yàn)，在像素的均方根誤差以及結(jié)構(gòu)相似性上均能得到較好的成績。下一步，將會把所提框架應(yīng)用于視頻去陰影領(lǐng)域，同時(shí)解決無陰影視頻結(jié)果在幀與幀之間的時(shí)空連貫性。

參考文獻(xiàn)

[1]GUO R， DAI Q， HOIEM D. Paired regions for shadow detection and removal [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2956-2967.

[2]KHAN S H， BENNAMOUN M， SOHEL F， et al. Automatic shadow detection and removal from a single image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（3）： 431-446.doi：10.1109/TPAMI.2015.2462355.

[3]張營，朱岱寅，俞翔，等.一種VideoSAR動目標(biāo)陰影檢測方法[J].電子與信息學(xué)報(bào)，2017，39（9）：2197-2202. doi： 10.11999/JEIT161394.ZHANG Ying， ZHU Daiyin， YU Xiang， et al.. Approach to moving targets shadow detection for VideoSAR[J]. Jounal of Electronics & Information Technology， 2017， 39（9）： 2197-2202. doi： 10.11999/JEIT161394.

張營，朱岱寅，俞翔，等.一種VideoSAR動目標(biāo)陰影檢測方法[J].電子與信息學(xué)報(bào)，2017，39（9）：2197-2202.（ZHANG Y， ZHU D Y， YU X， et al. Approach to moving targets shadow detection for VideoSAR [J]. Journal of Electronics and Information Technology， 2017， 39（9）： 2197-2202.）

[4]ZHANG L， ZHANG Q， XIAO C. Shadow remover： image shadow removal based on illumination recovering optimization [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 4623-4636.doi：10.1109/TIP.2015.2465159.

[5]ZHANG L， ZHU Y， LIAO B， et al. Video shadow removal using spatio-temporal illumination transfer [J]. Computer Graphics Forum， 2017， 36（7）： 125-134.doi：10.1111/cgf.13278.

[6]SHEN L， CHUA T W， LEMAN K. Shadow optimization from structured deep edge detection [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 2067-2074.doi：10.1109/CVPR.2015.7298818.

[7]LIU F， GLEICHER M. Texture-consistent shadow removal [C]// Proceedings of the 2008 European Conference on Computer Vision， LNCS 5305. Berlin： Springer， 2008： 437-450.doi：10.1007/978-3-540-88693-8_32.

[8]FINLAYSON G D， HORDLEY S D， DREW M S. Removing shadows from images [C]// Proceedings of the 2002 European Conference on Computer Vision， LNCS 2353. Berlin： Springer， 2002： 823-836.doi：10.1007/3-540-47979-1_55.

[9]FINLAYSON G D， HORDLEY S D， LU C， et al. On the removal of shadows from images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（1）： 59-68.doi：10.1109/TPAMI.2006.18.

[10]MOHAN A， TUMBLIN J， CHOUDHURY P. Editing soft shadows in a digital photograph [J]. IEEE Computer Graphics and Applications， 2007， 27（2）： 23-31.doi：10.1109/MCG.2007.30.

[11]CHUANG Y， CURLESS B， SALESIN D H， et al. A Bayesian approach to digital matting [C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2001， 2： 264.

[12]ARBEL E， HEL-OR H. Shadow removal using intensity surfaces and texture anchor points [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（6）： 1202-1216.

[13]WANG J， LI X， HUI L， et al. Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 1788-1797.

[14]BARRON J T， MALIK J. Shape， illumination， and reflectance from shading [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（8）： 1670-1687.

[15]QU L， TIAN J， HE S， et al. DeshadowNet： a multi-context embedding deep network for shadow removal [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 2308-2316.

[16]ZHU J， SAMUEL K G G， MASOOD S Z， et al. Learning to recognize shadows in monochromatic natural images [C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2010： 223-230.

[17]LALONDE J， EFROS A A， NARASIMHAN S G. Detecting ground shadows in outdoor consumer photographs [C]// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6312. Berlin： Springer， 2010： 322-335.

[18]FINLAYSON G D， DREW M S， LU C. Entropy minimization for shadow removal [J]. International Journal of Computer Vision， 2009， 85（1）： 35-57.

[19]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014， 2： 2672-2680.

[20]MIRZA M， OSINDERO S. Conditional generative adversarial nets [C]// Proceedings of the 2014 Advances in Neural Information Processing Systems. Montreal，Canada： [s.n.]， 2014： 2672-2680.

[21]ISOLA P， ZHU J， ZHOU T， et al. Image-to-image translation with conditional adversarial networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 5967-5976.

[22]LE H， VICENTE T F Y， NGUYEN V， et al. A+D net： training a shadow detector with adversarial shadow attenuation [C]// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11206. Berlin： Springer， 2018： 680-696.

[23]施文娟，孫彥景，左海維，等.基于視頻自然統(tǒng)計(jì)特性的無參考移動終端視頻質(zhì)量評價(jià)[J].電子與信息學(xué)報(bào)，2018，40（1）：143-150.（SHI W J， SUN Y J， ZUO H W， et al. No-reference mobile video quality assessment based on video natural statistics [J]. Jounal of Electronics and Information Technology， 2018， 40（1）： 143-150.

[24]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille， France： [s.n.]， 2015： 448-456.

[25]JOHNSON J， ALAHI A， LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Berlin： Springer， 2016： 694-711.

[26]WONGSUPHASAWAT K， SMILKOV D， WEXLER J， et al. Visualizing dataflow graphs of deep learning models in TensorFlow [J]. IEEE Transactions on Visualization and Computer Graphics， 2018， 24（1）： 1-12.

This work is partially supported by the National Natural Science Foundation of China（61300125）.

LIAO Bin， born in 1979， Ph. D.， professor. His research interests include image and video processing.

TAN Daoqiang， born in 1995， M. S. candidate. His research interests include computer image processing.

WU Wen， born in 1994， M. S. candidate. His research interests include image video processing.