非真實感繪制技術(shù)的發(fā)展綜述

李本佳

摘要：隨著深度學習浪潮的到來，圖像領(lǐng)域獲得了革命性的突破與發(fā)展，作為圖像領(lǐng)域的重要組成部分，圖像風格遷移技術(shù)也開始了新的篇章。生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks）作為圖像風格遷移的一種新技術(shù)，對該領(lǐng)域帶來了革命性的改變。該文針對非真實感繪制領(lǐng)域，分別對該領(lǐng)域內(nèi)各種具有代表性的方法進行介紹，并給出相關(guān)的實驗結(jié)果。同時重點介紹了生成對抗網(wǎng)絡(luò)以及其相關(guān)分支并給出工業(yè)界的一些相關(guān)應用，最后對非真實感繪制技術(shù)的發(fā)展趨勢進行展望。

關(guān)鍵詞：生成對抗網(wǎng)絡(luò);圖片抽象;圖片融合

中圖分類號：TP3? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2018）35-0188-03

1 概述

圖像風格遷移技術(shù)涉及圖像濾波、非真實感繪制以及圖像融合等多個領(lǐng)域，具有非常廣泛的用途。作為圖像風格遷移技術(shù)的重要分支，非真實感繪制技術(shù)不僅和計算機技術(shù)息息相關(guān)，還有助于提高藝術(shù)領(lǐng)域的水平，降低藝術(shù)創(chuàng)作的門檻。近幾年，隨著深度學習的廣泛應用，圖像領(lǐng)域迎來了一波又一波突破性的變革，作為圖像領(lǐng)域的重要分支，非真實感繪制技術(shù)也開啟了新的篇章。

2 傳統(tǒng)非真實感繪制技術(shù)

圖像作為我們?nèi)粘Ｉ钪袕V泛使用的信息介質(zhì)，具有多重功能。針對社會各界的不同需求，往往會針對圖像做出各種各樣的改變，然而通過人力顯然是一項龐大的工程。針對這些需求，學者們提出了一系列自動或者半自動的工程來完成圖像風格的轉(zhuǎn)變。1990年，Saito等人[1]最早提出非真實感繪制技術(shù)，其基本思路是從3D場景的幾何屬性中提取數(shù)據(jù)，導入到數(shù)據(jù)緩沖區(qū)并執(zhí)行圖像處理操作。隨著時代的前進，已經(jīng)陸續(xù)開發(fā)了很多非真實感繪制技術(shù)。這些方法大多使用圖像過濾或者通過數(shù)據(jù)公式對圖像進行優(yōu)化。在基于圖像過濾的非真實感繪制技術(shù)中，最具有代表性的是2006年，Holger等人[2]等人提出的實時抽象方法，該方法使用近似各方向擴散的方法來降低低對比度區(qū)域的對比度，并且在具有高斯邊緣差異的較高對比度區(qū)域中人為地增加對比度。抽象步驟是可擴展的，允許藝術(shù)或數(shù)據(jù)驅(qū)動的控制?？梢赃x擇使用軟顏色量化來對抽象圖像進行風格化，以產(chǎn)生具有良好時間相干性的類似卡通效果。同時，在基于梯度最小化的非真實感繪制技術(shù)中，最典型的方法是Xu[3]等人提出的通過L0梯度最小化的圖像平滑技術(shù)來進行圖像風格轉(zhuǎn)換。該方法主要通過增加過渡的陡度來銳化主要邊緣，同時消除了可控制程度較低的低振幅結(jié)構(gòu)，并利用L0進行梯度最小化。

雖然現(xiàn)有的傳統(tǒng)非真實感繪制技術(shù)具有不錯的效果，但是依然具有很多缺陷。傳統(tǒng)的非真實感繪制技術(shù)只能簡單而粗略地對圖片進行處理，在具體的轉(zhuǎn)換風格和圖片細節(jié)方面做得不夠準確。

3 生成對抗網(wǎng)絡(luò)技術(shù)

2012年，Alex等人[4]在ImageNet分類挑戰(zhàn)賽中贏得了冠軍，其使用的卷積神經(jīng)網(wǎng)絡(luò)模型迅速提升了圖像識別性能，產(chǎn)生了重大的影響，開啟了深度學習的浪潮。 2014年，Goodfellow等人[5]提出了模型對抗式的新生成模型架構(gòu)，命名為生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks），該技術(shù)在圖像生成、數(shù)據(jù)增強、非真實感繪制技術(shù)等多個領(lǐng)域均有廣泛的用途。

3.1 生成對抗網(wǎng)絡(luò)

機器學習總共包含兩類模型，一種是判別模型（discrimination model），判別模型由特定的網(wǎng)絡(luò)結(jié)構(gòu)的組成，模型會通過模型進行不間斷的訓練來對輸入的種類進行分辨。另一種是生成模型（generative model），其基本思路是通過給定輸入，通過模型的訓練來逼近數(shù)據(jù)的原始概率分布。

生成對抗網(wǎng)絡(luò)采用了真實樣本與生成器之間相互博弈，達到均衡的目的來訓練生成網(wǎng)絡(luò)。整個網(wǎng)絡(luò)主要包含兩個模型，一個是生成模型，另一個是判別模型。這兩個模型是相輔相成的，生成器的輸出反饋給判別模型，而判別器的輸出再反饋到生成的模型。其具體思路是給定輸入數(shù)據(jù)，設(shè)定好生成器的概率分布，通過一個噪聲函數(shù)進行控制。這樣就可以通過生成器將輸入映射到一個模仿出的樣本中，將該樣本作為判別模型的輸入。提取生成模型的輸出和真實圖像一起作為判別模型的輸入，看是否滿足判別器的條件，如果不滿足則繼續(xù)進行訓練，知道滿足條件為止。根據(jù)文獻[5]，我們可以看到整個網(wǎng)絡(luò)結(jié)構(gòu)：

通過圖1所示的生成對抗網(wǎng)絡(luò)模型，我們可以了解到生成對抗網(wǎng)絡(luò)的工作流程。首先通過生成器產(chǎn)生fake image，然后將fake image和real image進行混合，并通過判別器進行判斷并進行反饋。GAN的優(yōu)化是real image和fake image相互博弈的問題，最終的目的是生成器的輸出給判別器時很難判斷是真實或者偽造的，即極大化判別器的判斷能力，極小化將生成器的輸出判斷為偽造的概率。由于生成對抗網(wǎng)絡(luò)包含兩個網(wǎng)絡(luò)，而其輸出和輸入彼此相關(guān)，因此生成對抗網(wǎng)絡(luò)中的兩個模型訓練的方法是單獨交替迭代訓練，并相互關(guān)聯(lián)。

生成對抗網(wǎng)絡(luò)具有非常卓越的優(yōu)越性。當真實數(shù)據(jù)具有不確定性時，往往不方便進行具體的計算，而傳統(tǒng)的機器學習模型無法直接應用。但是生成對抗網(wǎng)絡(luò)依舊可以運用，這是由于生成對抗網(wǎng)絡(luò)引入了內(nèi)部對抗的訓練機制，能夠逼近一下難以計算的概率分布。更為重要的，深度學習領(lǐng)域?qū)＜覀円恢狈e極提倡生成對抗網(wǎng)絡(luò)在各方面的應用，甚至認為生成對抗網(wǎng)絡(luò)是當前最有趣的貢獻，其原因主要是因為生成對抗網(wǎng)絡(luò)為無監(jiān)督學習做出了巨大的貢獻，為強人工智能打下了堅實的基礎(chǔ)。

3.2 生成對抗網(wǎng)絡(luò)改進模型

基于生成對抗網(wǎng)絡(luò)的原理，更多關(guān)于生成對抗網(wǎng)絡(luò)的變體以及其相關(guān)領(lǐng)域的技術(shù)如雨后春筍般浮現(xiàn)，短短幾年，相關(guān)技術(shù)的論文已經(jīng)到達了上百篇。特別是針對圖像風格轉(zhuǎn)換，出現(xiàn)了許多效果非常棒的模型。

2016年，文獻[6]提出了一種名為Pix2PixGan的技術(shù)。普通的生成對抗網(wǎng)絡(luò)接收的生成器部分的輸入是隨機向量，輸出是圖像;判別器部分接收的輸入是圖像（生成的或是真實的），輸出是對或者錯[6]?；谶@個原理，生成對抗網(wǎng)絡(luò)就可以得到目標作品。但對于圖像翻譯任務來說，它的生成器輸入顯然應該是一張圖x，輸出當然也是一張圖y。但是為了使對比更加明顯，更容易轉(zhuǎn)換，在新技術(shù)中提出了要求，即判別器的輸入應保證生成的圖像和輸入圖像是相互適配的。于是在新技術(shù)中，對判別器的輸入部分進行了改進，使其變成一個損失函數(shù)。通過文獻[6]中的實驗結(jié)果，可以看出Pix2PixGan的效果圖：

CycleGAN由兩個相互連接的單向生成對抗網(wǎng)絡(luò)。兩個單向生成對抗網(wǎng)絡(luò)共享兩個生成器，然后各自帶一個判別器。一個單向生成對抗網(wǎng)絡(luò)有兩個loss。由于該模型架構(gòu)組成了一個環(huán)，故命名為CycleGan。CycleGan通過兩個單向生成對抗網(wǎng)絡(luò)解決了Pix2PixGan需要兩個圖片相同標準的不足，提高了應用的范圍。CycleGan具有很優(yōu)秀的效果，通過該技術(shù)可以應用到各個領(lǐng)域，例如男人圖片變成女人圖片，蘋果變成橘子等等有意思的應用。通過文獻[7]中的實驗結(jié)果，可以看出CycleGAN的效果，如圖3所示。

2018年，計算機視覺頂級會議IEEE Conference on Computer Vision and Pattern Recognition接收了一篇名為CartoonGAN[8]的論文，該論文可以自動將真實世界的照片轉(zhuǎn)換為具有特定作畫風格的漫畫風格。該技術(shù)對于畫師來說是非常有幫助的一件事：這可以為他們節(jié)省大量時間，讓他們專注于更有意義和創(chuàng)造性的工作，風格遷移工具也可以為 Instagram 和 Photoshop 等圖像編輯軟件提供新功能[8]。CartoonGan在傳統(tǒng)的生成對抗網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，改進了兩種具體的損失函數(shù)，使該網(wǎng)絡(luò)架構(gòu)可以更好地適配出漫畫所存在的細節(jié)和特質(zhì)。其核心的轉(zhuǎn)變主要體現(xiàn)在定義了一種名為?1的稀疏正則化的損失衡量標準，同時為了確保漫畫邊緣風格細節(jié)的質(zhì)感，對圖片進行增強邊緣對抗的處理。通過文獻[8]中的實驗結(jié)果，可以看到CartoonGan的效果圖以及與其他相關(guān)技術(shù)的效果對比：

4 非真實感繪制技術(shù)的應用與展望

如今，非真實感知技術(shù)已經(jīng)成熟應用于工業(yè)界，帶來了巨大的效益。狹義上來說，非真實感繪制技術(shù)可以使廣大用戶方便地將目標圖片轉(zhuǎn)換成各種其他風格的圖片。同時，不同風格之間的轉(zhuǎn)換，對于畫師來說更是一項非常有利的工作，因為很多時候存在很多費時費力卻又不得不做的工作。廣義上來說，非真實感繪制技術(shù)還可以應用在從低分辨率圖像得到高分辨率圖像的轉(zhuǎn)換上，場景圖片和標簽圖片之間的相互轉(zhuǎn)換，環(huán)境的色調(diào)轉(zhuǎn)換，藝術(shù)品與真實圖片之間的轉(zhuǎn)換（油畫與真實圖片的轉(zhuǎn)換、漫畫與真實圖片的轉(zhuǎn)換、素描與真實圖片的轉(zhuǎn)換），黑白照片轉(zhuǎn)換彩色照片等。

雖然深度學習技術(shù)越來越成熟，但是現(xiàn)有方法依然有一些缺陷不可避免。現(xiàn)有的模型方法大多存在較多的超參數(shù)，不同的超參數(shù)設(shè)定會導致很多不同的結(jié)果，正因為超參數(shù)的不確定性，導致很多技術(shù)復現(xiàn)不了很好的效果。下一步非感知繪制技術(shù)的發(fā)展應該進一步減少超參數(shù)的數(shù)量，以更加合理的參數(shù)數(shù)目來提高模型的優(yōu)越性。

5 總結(jié)

本文介紹了非真實感繪制技術(shù)的發(fā)展歷程，介紹了當前領(lǐng)先的生成對抗網(wǎng)絡(luò)，并對其中具有代表性的方法進行了詳盡的介紹和分析。非真實感繪制技術(shù)會隨著時代的發(fā)展越來越被社會各界所需要，而其相關(guān)的技術(shù)也會發(fā)展得越完善。

參考文獻：

[1] Saito T， Takahashi T. Comprehensible rendering of 3-D shapes[C].Conference on Computer Graphics & Interactive Techniques. ACM， 1990：197-206.

[2] Holger Winnem?ller， Olsen S C， Gooch B. Real-time video abstraction[C].AcmSiggraph. ACM， 2006：1221-1226.

[3] Xu L， Lu C， Xu Y， et al. Image smoothing via L0 gradient minimization[C].Siggraph Asia Conference. ACM， 2011：1-12.

[4] Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097-1105.

[5] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3：2672-2680.

[6] Isola P， Zhu J Y， Zhou T， et al. Image-to-Image Translation with Conditional Adversarial Networks[J]. 2016：5967-5976.

[7] Kim T， Cha M， Kim H， et al. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks[J].south korean intelligence information system institute of academic conference， 2017.

[8] YANG C， YU-Kun L，YONG-Jin L. CartoonGAN： Generative Adversarial Networks for Photo Cartoonization[C]. IEEE Conference on Computer Vision and Pattern Recognition，2018.

[通聯(lián)編輯：代影]