基于循環(huán)一致性對(duì)抗網(wǎng)絡(luò)的室內(nèi)火焰圖像場(chǎng)景遷移

楊植凱，卜樂平，王 騰，歐陽繼能

(海軍工程大學(xué) 電氣工程學(xué)院，湖北 武漢 430033)

1 引 言

隨著深度學(xué)習(xí)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks，DCNN)的火災(zāi)識(shí)別方法得到大量應(yīng)用。而深度學(xué)習(xí)的方法依賴于訓(xùn)練集的樣本的數(shù)量和質(zhì)量。正樣本(火災(zāi)視頻)與負(fù)樣本(背景干擾)不均衡會(huì)影響到深度神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率[1]。由于受到安全限制，很多場(chǎng)景下，如廠房、倉庫、辦公室等場(chǎng)所無法直接點(diǎn)火采集火災(zāi)視頻數(shù)據(jù)或測(cè)試火災(zāi)監(jiān)控模型。而由固定的試驗(yàn)場(chǎng)所采集的數(shù)據(jù)則存在背景、干擾情況單一的缺陷。以上限制造成數(shù)據(jù)集中正樣本(不同背景下的火災(zāi)視頻)數(shù)量偏少，正負(fù)樣本不平衡，限制了深度學(xué)習(xí)火災(zāi)識(shí)別算法的作用和效果。

為解決數(shù)據(jù)不平衡的問題，Kisantal等設(shè)計(jì)了多次復(fù)制小目標(biāo)圖像的數(shù)據(jù)增廣(Data Argument， DA)方法以增加數(shù)據(jù)集中小目標(biāo)圖像的數(shù)量[2]。與常見的目標(biāo)檢測(cè)數(shù)據(jù)集不同，火焰沒有明顯的分割邊緣。并且當(dāng)火焰燃燒時(shí)自身產(chǎn)生的煙霧以及周圍物體的顏色都會(huì)發(fā)生相應(yīng)變化，這些因素都限制了火焰在場(chǎng)景中的提取與復(fù)制，同時(shí)限制了對(duì)火焰圖像的增廣?；诖?，本文提出一種將火焰與場(chǎng)景相融合的方法。該模型滿足火焰數(shù)據(jù)增廣的三個(gè)要求：第一是火焰的多樣性即生成的火焰形狀、顏色等特征多樣。第二是生成圖像應(yīng)盡量具備視覺真實(shí)性，即火焰的顏色、產(chǎn)生的煙霧及其附近物體的反光等，應(yīng)符合該場(chǎng)景條件下的經(jīng)驗(yàn)值。第三是添加火焰的區(qū)域與整體場(chǎng)景的拼接處應(yīng)平滑地過渡。

由于生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用(Generative Adversarial Network， GAN)[3]的應(yīng)用，圖像轉(zhuǎn)換領(lǐng)域快速發(fā)展并取得了良好效果，本文任務(wù)由圖像轉(zhuǎn)換(Image-to-Image translation， I2I)完成。雖然目前已有多種不同功能的圖像轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)。比如，超分辨率重建[4-5]， 語意合成[6-7]， 圖像增強(qiáng)[8-9]及 圖像編輯[10-12]等。但以上應(yīng)用中并沒有適用于解決本文問題的方法。一方面，傳統(tǒng)I2I方法的一個(gè)常見的限制是它們的確定性輸出[5，7]。受到Gaty[13]的啟發(fā)，文獻(xiàn)[14-16]將圖像信息分解為兩部分：內(nèi)容信息和風(fēng)格信息。其中內(nèi)容信息包含了圖像潛在的空間結(jié)構(gòu)、形狀等在圖像轉(zhuǎn)換過程中需要保留的信息。而風(fēng)格信息包含了紋理、顏色以及其他在轉(zhuǎn)換中需要改變的信息等。但對(duì)同一個(gè)輸入，這類方法只能得到一個(gè)固定的輸出，無法滿足在同一場(chǎng)景下火焰多樣性的要求。

另一方面，雖然BicycleGAN[17]等多模態(tài)I2I提出在輸出和隱空間之間使用雙射變換，將圖像的風(fēng)格信息回歸為白噪聲，通過改變白噪聲改變轉(zhuǎn)換圖像的風(fēng)格，對(duì)同一圖像的轉(zhuǎn)換具有多樣性的輸出。然而噪聲形式的解纏繞表達(dá)雖然可以增加輸出的多樣性，但無法確定生成圖像的風(fēng)格。類似地，Multimodal Unsupervised Image-to-Image Translation(MUNIT)[18]將圖像的內(nèi)容信息與風(fēng)格信息分別解纏繞為隱編碼的形式，通過改變代表風(fēng)格的隱編碼得到多樣性的輸出。但這種方法生成的圖像清晰度低，而且通過編碼器自動(dòng)習(xí)得的隱編碼沒有明確的含義，可解釋性差。在通過編碼器抽取圖像信息的同時(shí)，文獻(xiàn)[19-20]通過顯式編碼控制圖像生成。這些編碼有明確意義，可解釋性強(qiáng)。AgeGAN[19]采用了與InfoGAN[21]類似的方法，從由編碼向量生成的圖像中解纏繞出向量自身以初始化編碼器。這個(gè)向量由白噪聲以及表示年齡的條件編碼c組成，通過c在轉(zhuǎn)換階段控制所生成人臉的年齡。Ganimation[20]則使用了表示人臉表情的17維向量控制生成人臉的表情。這種由編碼形式的解纏繞表示所生成的圖像有一個(gè)明顯的缺陷，即圖像信息就壓縮至編碼的過程中會(huì)造成信息的大量丟失，由編碼重建圖像時(shí)，引起失真問題。由于以上多模態(tài)I2I方法[18-20]主要在保留人臉發(fā)色、膚色的基礎(chǔ)上重構(gòu)五官，五官形狀和背景顏色的改變是被允許的。但并不適合本文問題中保持背景細(xì)節(jié)的要求。

與編碼形式的輸入相比，可解釋性更強(qiáng)的方法是使用圖像輸入。文獻(xiàn)[22]將圖像中解糾纏出的人臉編碼與圖像形式的五官輪廓結(jié)合，以重組人臉表情。文獻(xiàn)[23]則使用了梯度意義的線條。Progressive Image Reconstruction Network with Edge and Color Domain(PI-REC)[24]使用色塊與五官邊緣，重建人臉。因?yàn)榫€條與色塊比編碼包含的信息更為準(zhǔn)確具體，使用這種圖像作為條件輸入所獲得的結(jié)果更加明確，可控性更強(qiáng)。

受到這種圖像形式的顯式表示方法的啟發(fā)，從信息的保留與傳遞考慮，本文設(shè)計(jì)了以火焰圖像作為條件輸入的場(chǎng)景遷移模型，在保證轉(zhuǎn)換圖像背景細(xì)節(jié)質(zhì)量的同時(shí)增強(qiáng)火焰的多樣性、可控性。同時(shí)為了便于數(shù)據(jù)集制作，本文設(shè)計(jì)了基于CycleGAN的場(chǎng)景遷移模型以解除非匹配數(shù)據(jù)對(duì)于模型訓(xùn)練的限制。

2 問題描述

2.1 火焰場(chǎng)景融合

本文目的是尋求無火場(chǎng)景In在火焰形態(tài)c條件下到有火場(chǎng)景Iyc的映射：M：(In|c)→Iyc，通過改變c達(dá)到增加火焰多樣性的目的。

由于編碼形式的信息高度抽象，因此無法包含足夠具體的信息準(zhǔn)確描述火焰的形態(tài)、位置及其與背景的關(guān)系。通過編碼器將條件c或風(fēng)格信息映射到隱編碼空間的方式會(huì)導(dǎo)致c的意義不明確，影響火焰形態(tài)的可控性。此外，以編碼形式作為生成火焰的控制條件會(huì)引起圖像其他位置的扭曲、變色，背景的細(xì)節(jié)將難以保持。

圖1 火焰場(chǎng)景融合示意Fig.1 Model architecture of scene and flame fusing

圖2 復(fù)雜場(chǎng)景下火焰分割缺陷示意Fig.2 Defect of flame segmentation in complex scenarios

考慮到以上因素，本文提出將映射M：(In|c)→Iyc中編碼形式的條件c改為圖像形式的條件cI。同時(shí)，將火焰也看作待轉(zhuǎn)換圖像的內(nèi)容信息，將cI植入場(chǎng)景中，覆蓋相應(yīng)位置的背景像素。其中cI來自于已有視頻中相似場(chǎng)景下的火焰，I(n|cI)與Iyc的差異表現(xiàn)在煙霧、物體的反光等火焰燃燒時(shí)對(duì)場(chǎng)景圖像的紋理和顏色所造成的改變等方面，這些可以看作風(fēng)格信息。I(n|cI)則以圖像形式完整包含了著火場(chǎng)景中的內(nèi)容信息如火焰的位置、形態(tài)和背景等，以明確的內(nèi)容信息為基礎(chǔ)進(jìn)行圖像轉(zhuǎn)換，將遷移的火焰與場(chǎng)景相融合，從而避免因修改內(nèi)容信息而引起生成圖像失真。最終本文火焰場(chǎng)景融合方法的數(shù)學(xué)表示為映射M：I(n|cI)→Iyc，其流程如圖1所示。

2.2 循環(huán)一致性對(duì)抗網(wǎng)絡(luò)與非匹配數(shù)據(jù)集

圖3 匹配與非匹配數(shù)據(jù)集Fig.3 Paired and unpaired datasets

一般情況下，樣本的多樣性越高，訓(xùn)練的網(wǎng)絡(luò)模型處理復(fù)雜情況的穩(wěn)定性越好。但數(shù)據(jù)集的制作難度隨著場(chǎng)景的復(fù)雜程度增長(zhǎng)：當(dāng)火焰附近存在與火顏色相近的物體時(shí)；或在低光照條件下，光滑表面反射的火光與火焰顏色相似，都將難以從場(chǎng)景中分割出火焰(如圖2紅圈所示，彩圖見期刊電子版)。如圖4所示，為了降低數(shù)據(jù)制作的難度，本文在制作數(shù)據(jù)集時(shí)，將相同光照條件下由簡(jiǎn)單場(chǎng)景下分割出的火焰cI移植到復(fù)雜場(chǎng)景中作為I(n|cI)；而將復(fù)雜場(chǎng)景中真實(shí)的火焰燃燒圖像作為Iyc，通過CycleGAN結(jié)構(gòu)訓(xùn)練圖像轉(zhuǎn)換網(wǎng)絡(luò)。

圖4 復(fù)雜場(chǎng)景下數(shù)據(jù)集制作示意Fig.4 Dataset production in complex scenarios

3 基于CycleGAN的場(chǎng)景遷移網(wǎng)絡(luò)結(jié)構(gòu)

3.1 模型整體結(jié)構(gòu)

圖5 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.5 Overall structure of network

由于循環(huán)一致性對(duì)抗網(wǎng)絡(luò)形成了鏈狀的映射結(jié)構(gòu)，訓(xùn)練中無法清晰地界定G與F的映射關(guān)系。為了G與F學(xué)習(xí)到準(zhǔn)確的映射關(guān)系，本文引入了同一映射損失，即當(dāng)G與F各自將目標(biāo)圖像域中的圖像仍然映射至各自的目標(biāo)圖像域中時(shí)，目標(biāo)圖像在轉(zhuǎn)換后應(yīng)與轉(zhuǎn)換前保持一致。

3.2 生成器

本文的兩個(gè)生成器G與F都使用了相同的結(jié)構(gòu)，其結(jié)構(gòu)如圖6所示。為了避免背景在轉(zhuǎn)換過程中產(chǎn)生形變采用了U-net[25]結(jié)構(gòu)。U-net在編碼器和解碼器層與層之間具有跳躍連接，可以很好地避免輸出圖像模糊和扭曲。除此之外，注意力機(jī)制也被引入，用以提升火焰與場(chǎng)景融合的效果。

圖6 生成器模型結(jié)構(gòu)

Fig.6 Model structure of generator

3.3 注意力機(jī)制

不同于常見的圖像轉(zhuǎn)換任務(wù)，火焰場(chǎng)景遷移只需要對(duì)火焰及其周圍進(jìn)行相應(yīng)轉(zhuǎn)換。通過訓(xùn)練，注意力機(jī)制可以對(duì)感興趣區(qū)域產(chǎn)生高度響應(yīng)，從而有針對(duì)性地提升生成圖像的質(zhì)量。目前注意力機(jī)制可以根據(jù)情況和自身功能加載在生成器的前端[26]、中間[27]和末端[20]。為使最終生成的圖像與場(chǎng)景的拼接可以更加自然，本文采用了圖像遮罩[28]的方式融合轉(zhuǎn)換前圖像I(n|cI)與轉(zhuǎn)換后圖像If，并采用GANimagtion[20]中的方式訓(xùn)練注意力層。

圖像遮罩可以表示為式(1)：

(1)

注意力損失函數(shù)為：

(2)

(3)

(4)

其中：A=G(I(n|cI))，B=F(Iyc)，Ai，j，Bi，j表示圖像矩陣A或B中第i行第j列的元素值。

3.4 判別器

由于圖像的轉(zhuǎn)換區(qū)域集中在火焰附近，因此本文的兩個(gè)判別器DC和DF都使用了PatchGAN[6，29]的判別器結(jié)構(gòu)。這種結(jié)構(gòu)不是對(duì)圖像的整體進(jìn)行真實(shí)性評(píng)價(jià)，而是將整體圖像分為N×N的小區(qū)域，分別判斷每個(gè)區(qū)域的真實(shí)性。除了最后一層卷積層，每層卷積層之后都伴隨有Leaky ReLU[30]激活層。通過Sigmoid函數(shù)將最后的輸出歸一化。判別器的結(jié)構(gòu)如圖7所示。

圖7 判別器模型結(jié)構(gòu)Fig.7 Structure of discriminator

3.5 損失函數(shù)

循環(huán)一致性損失：

(5)

其中：

(6)

(7)

同一映射損失：

(8)

其中：

(9)

(10)

對(duì)于生成器G與判別器D，本文使用了訓(xùn)練過程相對(duì)穩(wěn)定的Least Squares GAN(LSGAN)[31]作為對(duì)抗性損失。對(duì)于生成器的輸入z與目標(biāo)圖像x，有：

(11)

(12)

本文采用常用設(shè)置：a=0，c=1，b=1。

因此生成器G與判別器DG的損失函數(shù)分別為：

(13)

(14)

而生成器F與判別器DF的損失函數(shù)分別為：

(15)

(16)

最終對(duì)抗性損失為：

(17)

訓(xùn)練整個(gè)網(wǎng)絡(luò)的聯(lián)合損失函數(shù)為：

(18)

本文設(shè)置λ1=5，λ2=0.5，λ3=1，λ4=10-5。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集和訓(xùn)練細(xì)節(jié)

本文在倉庫場(chǎng)景下錄制了20段視頻，并記錄了光照強(qiáng)度。本文實(shí)驗(yàn)參考倉庫的照度標(biāo)準(zhǔn)，絕大多數(shù)視頻的環(huán)境光照強(qiáng)度在50～400 Lux之間。以此為基礎(chǔ)，分別制作了火焰圖像數(shù)據(jù)集cI以及燃燒場(chǎng)景數(shù)據(jù)集Iy。

最終從16段視頻中分別選用800張I(n|cI)和Iy圖像用于訓(xùn)練。從另外4段視頻中選取100對(duì)用于測(cè)試。對(duì)于難以分割火焰圖像的復(fù)雜場(chǎng)景，本文從相同光照條件下的簡(jiǎn)單場(chǎng)景中分割出火焰cI植入復(fù)雜場(chǎng)景相同位置作為I(n|cI)，而將實(shí)際錄制的復(fù)雜場(chǎng)景中的燃燒圖像作為Iyc。對(duì)于簡(jiǎn)單場(chǎng)景，則使用不同時(shí)刻的I(n|cI)與Iyc。因此，I(n|cI)與Iyc是非匹配的。

本文實(shí)驗(yàn)均使用Pytorch0.4.1深度學(xué)習(xí)框架，在英偉達(dá)GPU(泰坦Pascal X)進(jìn)行訓(xùn)練。BicycleGAN，MUNIT以及本文模型都使用Adam優(yōu)化的隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)更新網(wǎng)絡(luò)參數(shù)(β1= 0.5，β2= 0.999)，學(xué)習(xí)率lr分別為0.000 2，0.000 2，0.000 1， Batchsize=1，本文模型訓(xùn)練200Epoch， BicycleGAN訓(xùn)練200Epoch， MUNIT訓(xùn)練400Epoch分別達(dá)到穩(wěn)定的結(jié)果。

AgeGAN使用Adam優(yōu)化的SGD(β1= 0.5，β2= 0.999)， 學(xué)習(xí)率lr=0.001， Batchsize=32，訓(xùn)練200Epoch達(dá)到穩(wěn)定的結(jié)果。

4.2 評(píng)價(jià)方式

本文通過消融實(shí)驗(yàn)對(duì)模型結(jié)構(gòu)進(jìn)行評(píng)價(jià)及分析；通過與BicycleGAN、MUNIT等相關(guān)模型的比較對(duì)火焰遷移模型進(jìn)行定性評(píng)價(jià)；通過FID(Fréchet Inception Distance)[32-33]和Learned Perceptual Image Patch Similarity(LPIPS)[34]兩個(gè)接近人類視覺的評(píng)價(jià)指標(biāo)對(duì)圖像質(zhì)量進(jìn)行定量評(píng)價(jià)。

Fréchet距離用于衡量?jī)蓚€(gè)高斯分布的差異，F(xiàn)ID計(jì)算兩個(gè)圖片集在InceptionNet[35]各層間響應(yīng)的Fréchet距離衡量?jī)山M圖像的差異。

(19)

對(duì)不斷增加的干擾而言，F(xiàn)ID的測(cè)試結(jié)果與人類的判斷相一致。與IS[36]相比，F(xiàn)ID對(duì)噪聲的抵抗能力較強(qiáng)，對(duì)模型坍塌更加敏感。較低的FID意味著較高的圖片質(zhì)量和多樣性。

LPIPS 通過計(jì)算生成圖像與實(shí)際圖像映射在預(yù)訓(xùn)練的DCNN特征空間的距離評(píng)價(jià)生成圖像與實(shí)際圖像的相似度。LPIPS也展示出了與人類視覺相似的評(píng)價(jià)體系，與傳統(tǒng)的圖像相似度度量方法不同[37]，感知相似度對(duì)噪聲更不敏感，對(duì)模糊更敏感。LPIPS值越小，生成圖像在人類感知上越接近真實(shí)圖像。LPIPS可以表示為：

(20)

本文取測(cè)試圖像的均值：

(21)

4.3 消融實(shí)驗(yàn)

4.3.1 模型作用評(píng)估

在第1節(jié)中討論了圖像形式的條件cI在圖像轉(zhuǎn)換上的不同影響。圖8(f)展示出本文的方法具有保持背景圖像質(zhì)量和增強(qiáng)火焰真實(shí)性的優(yōu)點(diǎn)，這一優(yōu)勢(shì)同樣在圖8(e)和圖8(g)中有所體現(xiàn)。圖8(f)給出了本文模型的轉(zhuǎn)換結(jié)果，它對(duì)移植了火焰的場(chǎng)景進(jìn)行轉(zhuǎn)換(圖8(d))。圖8(a)給出了相同結(jié)構(gòu)下，使用場(chǎng)景進(jìn)行轉(zhuǎn)換得到的結(jié)果，可以看出它只會(huì)生硬地添加火焰圖像。

另一方面，直接對(duì)圖像進(jìn)行轉(zhuǎn)換而不是通過編碼重建圖像的方式也便于選擇帶有跳躍連接的生成器以維持背景圖像的清晰度。與圖8(f)相比，通過編碼器-解碼器(Encoder-Decoder)[14]方式生成的圖像(圖8(g))背景顏色改變較大，說明U-net在維持背景方面具有優(yōu)勢(shì)。

圖8 消融實(shí)驗(yàn)結(jié)果對(duì)比Fig.8 Result comparison of ablation experiment

4.3.2 注意力機(jī)制評(píng)估

在沒有注意力結(jié)構(gòu)的情況下，本文的模型采用了圖像翻譯過程中最簡(jiǎn)單的方法，即接近一致地改變輸入背景的顏色(圖8(e))。而采用注意力結(jié)構(gòu)的生成器將背景顏色的改變限制在火焰的附近(圖8(f))，使結(jié)果更加真實(shí)?？梢韵嘈?，隨著數(shù)據(jù)集的擴(kuò)充和訓(xùn)練的進(jìn)行，這種能力會(huì)得到更大提升。

圖9 場(chǎng)景光照強(qiáng)度對(duì)注意力的影響Fig.9 Scene illumination intensity effects on attention mechanism

4.4 遷移圖像與環(huán)境的關(guān)系

4.4.1 光照強(qiáng)度對(duì)遷移效果的影響

本文將不同光照強(qiáng)度下拍攝的火焰遷移至同一場(chǎng)景中以分析火焰顏色特征對(duì)轉(zhuǎn)換效果的影響。圖11中火焰內(nèi)核圖像取自于圖10所示場(chǎng)景。圖10中場(chǎng)景光照強(qiáng)度從左到右分別為78、140、180、400、1 500 Lux。而圖11中3個(gè)場(chǎng)景的光照強(qiáng)度分別為186、50、32 Lux。

圖10 火焰內(nèi)核來源，圖像下方為場(chǎng)景光照強(qiáng)度Fig.10 Sources of fire kernel， labels below each figure is illumination intensity of the scene

圖11 不同光照強(qiáng)度下火焰的遷移結(jié)果(火焰內(nèi)核來自于圖9)Fig.11 Migration results of flame recorded at different illumination intensity(fire kernels taken from Fig.9)

可以看出，火焰在地面的反射光幾乎不受遷移場(chǎng)景光照強(qiáng)度的影響，而是與火焰內(nèi)核的顏色相關(guān)?；鹧媪炼仍礁撸w移進(jìn)場(chǎng)景地面反射光越強(qiáng)烈。并且，由于32 Lux的場(chǎng)景中地面的灰度值最低，轉(zhuǎn)換圖像的地面反光是這3個(gè)場(chǎng)景中最強(qiáng)的。當(dāng)場(chǎng)景光照強(qiáng)度達(dá)到400 Lux時(shí)，無論是真實(shí)圖像還是轉(zhuǎn)換圖像，火焰附近都難以看到地面的反光。從圖11可以看出，在同樣的場(chǎng)景中，火焰面積越大，地面的反光越強(qiáng)，這說明除了火焰顏色，火焰面積也是控制轉(zhuǎn)換結(jié)果的一個(gè)條件因素。因此可以推斷出本文的模型主要是根據(jù)火焰的顏色特征和火焰附近背景的灰度值而補(bǔ)充相應(yīng)的反射和火焰的邊緣。這是符合常識(shí)和預(yù)期的，因?yàn)閿z像機(jī)的光圈會(huì)自動(dòng)調(diào)整曝光以適應(yīng)不同的光照強(qiáng)度，因此場(chǎng)景圖像不會(huì)因?yàn)楣庹諒?qiáng)度變化顯示出非常大的區(qū)別。而火焰的明度通常在一個(gè)固定的區(qū)間內(nèi)，因此不同曝光下的火焰圖像呈現(xiàn)出不同的顏色特征。

4.4.2 風(fēng)對(duì)遷移效果的影響

當(dāng)環(huán)境中有風(fēng)時(shí)，火焰受風(fēng)的影響幾何中心發(fā)生偏移。相應(yīng)地，火焰在地面反光的中心也會(huì)隨之偏移。圖12選取了3張因風(fēng)吹而偏移中心位置的火焰(圖12(a))，將其遷移至4個(gè)不同場(chǎng)景之中(圖12(b)～圖12(e))。可以看出，4個(gè)場(chǎng)景的火焰遷移結(jié)果都體現(xiàn)出這一改變。因?yàn)橛?xùn)練集中絕大部分圖像火焰下方位置是盛放燃油的油盤，而遷移場(chǎng)景在該位置缺少油盤，圖像轉(zhuǎn)換網(wǎng)絡(luò)無法對(duì)該區(qū)域做出合理轉(zhuǎn)換，因此圖12(d)和圖12(e)效果略差。

圖12 風(fēng)對(duì)室內(nèi)火焰場(chǎng)景遷移的影響

Fig.12 Wind effects on scene migration of indoor flame

4.5 與其他方法的比較

在圖13中，本文將MUNIT，AgeGAN，BicycleGAN以及本文方法用于火焰與場(chǎng)景融合的效果進(jìn)行了定性比較。其中，對(duì)MUNIT和BicycleGAN分別使用了場(chǎng)景(bg)和移植了火焰的場(chǎng)景(ip)兩種圖像作為待轉(zhuǎn)換圖像進(jìn)行訓(xùn)練。本文的模型在火焰真實(shí)性和背景分辨率保持方面都優(yōu)于最先進(jìn)的方法?？傮w來說，MUNIT，AgeGAN及BicycleGAN顯示出了使用隱式編碼表示圖像的缺陷，而且使用移植了火焰的場(chǎng)景(ip)作為待轉(zhuǎn)換圖像所得結(jié)果優(yōu)于將場(chǎng)景(bg)作為輸入。在僅用場(chǎng)景作為輸入的結(jié)果中，BicycleGAN(圖13(a))只能生硬地向場(chǎng)景圖像中添加火焰，而MUNIT(圖13(b))及AgeGAN(圖13(c))則無法描述火焰位置。并且這種生硬的映射改變了圖像的內(nèi)容信息，導(dǎo)致轉(zhuǎn)換圖像背景的大面積失真。

盡管通過向場(chǎng)景移植火焰以完善待轉(zhuǎn)換圖像的內(nèi)容信息，但是BicycleGAN中固定長(zhǎng)度為8的樣式向量不能包含足夠的信息來完美地表示圖像風(fēng)格，最終導(dǎo)致圖像中出現(xiàn)不均勻的色塊(圖13(e))。同樣， MUNIT提取的固定長(zhǎng)度風(fēng)格及內(nèi)容向量不能包含足夠的信息保證重建圖像的分辨率(圖13(d))。簡(jiǎn)單地增加向量的長(zhǎng)度對(duì)于背景分辨率的保持是徒勞的。在這一點(diǎn)上，本文的模型不僅輸入具有明確的內(nèi)容空間，可以準(zhǔn)確地描述畫面結(jié)構(gòu)，而且生成器中的跳躍連接可以將圖像的背景的分辨率保持在較高質(zhì)量(圖9(b))。各主要相關(guān)方法的關(guān)鍵差異見表1。

表1 本文及相關(guān)方法的主要性能比較

圖13 AgeGAN、MUNIT及BicycleGAN用于火焰遷移的結(jié)果比較

Fig.13 Comparison between AgeGAN， MUNIT and BicycleGAN used for fire migration

4.6 質(zhì)量評(píng)價(jià)

本文對(duì)比了MUNIT，BicycleGAN，AgeGAN以及本文模型在重建的場(chǎng)景圖像與實(shí)際場(chǎng)景圖像間的FID與LPIPS值。其中，MUNIT和BicycleGAN分別使用了單純的背景(bg)和植入了火焰的背景(ip)作為待轉(zhuǎn)換圖像。從表2可知，單純的背景輸入(BicycleGANbg，MUNITbg，AgeGAN)所得結(jié)果在FID與LPIPS值上與植入火焰的背景(BicycleGANtp，MUNITtp，Ours)差距明顯，側(cè)面反映了圖像形式的條件輸入在處理本文問題上所具有的優(yōu)勢(shì)。與BicycleGANtp和MUNITtp相比，用本文模型重建的圖像的FID與LPIPS值是最小的，分別為119.6和0.134 2，說明同樣以植入了火焰的背景作為輸入的情況下，本文模型火焰場(chǎng)景遷移問題上仍然優(yōu)于BicycleGAN與MUNIT。

表2 不同模型的FID與LPIPS

4.6 討 論

不同于常見的圖像轉(zhuǎn)換，本文問題聚焦于火焰周圍圖像而不是整體圖像的風(fēng)格變化。因此本文選擇添加注意力層以限制圖像轉(zhuǎn)換的區(qū)域。雖然注意力結(jié)構(gòu)的使用提升了火焰場(chǎng)景融合的效果，可以更加準(zhǔn)確地在火焰附近的地面添加火光倒影，但無法完全達(dá)到人類經(jīng)驗(yàn)和邏輯水平。一定程度上，由于火焰根部的儲(chǔ)油盤是黑色的，吸收了大量的可見光，無法顯示出I(n|cI)與Iyc的差異，影響了學(xué)習(xí)的效果。另外由于存在拍攝距離、角度、背景亮度和火焰大小等干擾因素，相同光照強(qiáng)度下所拍攝火焰的亮度以及地面反光存在差異。總體而言，場(chǎng)景環(huán)境中光照強(qiáng)度高，火焰圖像顏色偏黃，地面的火焰反射光越淡；光照強(qiáng)度低，火焰圖像顏色偏青，地面的火焰反光越明顯。轉(zhuǎn)換模型能夠根據(jù)經(jīng)驗(yàn)，依據(jù)火焰顏色、面積以及場(chǎng)景的顏色向圖像中添加火焰虛化的邊緣和地面的反光。

5 結(jié) 論

本文提出了一種新的室內(nèi)火焰燃燒圖像的場(chǎng)景遷移方法。該方法基于循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)并添加了注意力結(jié)構(gòu)以提升效果，通過遷移其它視頻中的火焰圖像在未點(diǎn)火場(chǎng)景中生成火焰，目前該領(lǐng)域尚未有人做出相關(guān)研究。從信息的保留與傳遞考慮，該方法以顯式的圖像形式取代隱式的編碼以表示火焰形態(tài)，在改善火焰的可控性和生成圖像的真實(shí)性，以及維持轉(zhuǎn)換圖像高質(zhì)量的背景細(xì)節(jié)方面取得了良好的表現(xiàn)。實(shí)驗(yàn)表明，與BicycleGAN、MUNIT以及AgeGAN等采用編碼方式控制圖像生成的方法相比，本文方法改善了控制條件的可解釋性從而提升了火焰形態(tài)的可控性，并且取得了相對(duì)逼真的效果。通過在測(cè)試集上使用FID和LPIPS兩個(gè)接近人類視覺的評(píng)價(jià)方式對(duì)轉(zhuǎn)換結(jié)果的打分顯示，本文方法所得結(jié)果最為真實(shí)，其分值分別為119.6和0.134 2。在一定程度上，這項(xiàng)工作可以用來制作和增廣危險(xiǎn)場(chǎng)合下的火焰燃燒圖像及訓(xùn)練集。