基于生成對抗網(wǎng)絡(luò)的建筑平面圖像生成及其隱空間探索

蒙勝宇 廣西建設(shè)職業(yè)技術(shù)學(xué)院講師， 因斯布魯克大學(xué)博士研究生許心慧（通訊作者） 廣西建設(shè)職業(yè)技術(shù)學(xué)院助教

1 研究背景

1.1 空間分配問題的相關(guān)研究

建筑平面設(shè)計包括建筑空間的方位、形狀及尺度等要素的決策，因此建筑空間布局設(shè)計在算法上又稱為“空間分配問題”[1]。對這一問題的研究主要分為3 個流派：基于人工邏輯定義的算法、基于“感知—行動”的進(jìn)化算法和以構(gòu)造人工神經(jīng)網(wǎng)絡(luò)為主的機(jī)器學(xué)習(xí)[2]?？臻g分配問題的各流派特征如圖1 所示。空間分配問題包含兩個主要因素。一是客觀因素，包含用地紅線、日照距離、防火規(guī)范等設(shè)計標(biāo)準(zhǔn)；二是主觀因素，包括審美、環(huán)境、歷史、空間使用感等[3]。人工邏輯算法和進(jìn)化算法能夠一一對應(yīng)每個條件進(jìn)行輸出，對于空間分配問題的客觀因素有很好的適配性。但主觀因素是不確定的、模糊的，很難制定規(guī)則。

圖1 空間分配問題的各流派特征

1.2 計算機(jī)科學(xué)中建筑平面圖生成研究

ARVIN 將空間坐標(biāo)系里的房間參數(shù)化，并通過移動房間墻節(jié)點(diǎn)改變空間多邊形的形狀[4]。然而在建筑平面生成中，約束條件往往十分復(fù)雜，僅僅靠人工邏輯算法很難解決，進(jìn)化算法應(yīng)運(yùn)而生。郭梓峰等人結(jié)合進(jìn)化算法和多智能體模型制定房間數(shù)量、面積等初始限定，結(jié)合其他建筑學(xué)約束條件制定評價函數(shù)，生成大量滿足評價的優(yōu)化結(jié)果[1]。LAIGNEL等人在特定的建筑輪廓中通過進(jìn)化算法生成特定的網(wǎng)格體系，將分區(qū)問題轉(zhuǎn)化為分配問題[5]。

進(jìn)化算法為復(fù)雜多變的場地條件提供建筑生成的可能，但難以在實際生產(chǎn)過程中實踐。算法設(shè)計需要建筑師集成場地信息，并轉(zhuǎn)化為算法和評價標(biāo)準(zhǔn)。因此，即使進(jìn)化算法具備了機(jī)器學(xué)習(xí)的特征，但最終實現(xiàn)的質(zhì)量仍取決于建筑師和架構(gòu)師的主觀決策。同時，由于場地內(nèi)部比較復(fù)雜，建筑師難以針對每個特殊地塊架構(gòu)相應(yīng)算法并調(diào)試，單個地塊的算法在普適性上有所欠缺。自上而下地設(shè)計算法在實際生產(chǎn)工作中難以控制建筑設(shè)計的精度與效率[6]。

Goodfellow 在2014 年提出GAN，建筑平面生成問題由傳統(tǒng)自上而下的算法轉(zhuǎn)變?yōu)樽韵露系男畔⒆越M織，即基于真實的圖像樣本進(jìn)行擬合[7]。其生成方式不再基于邏輯規(guī)則，而是數(shù)據(jù)導(dǎo)向，即通過概率和統(tǒng)計使用人工神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練，生成符合數(shù)據(jù)集分布的輸出。GAN 是一種由生成器（Generator）和判別器（Discriminator）組成的神經(jīng)網(wǎng)絡(luò)架構(gòu)。目前在建筑平面生成領(lǐng)域，較流行的是Pix2Pix、Pix2PixHD、GauGAN和cycleGAN 等GAN 架構(gòu)[8—10]。JIAN 使用ArchiGAN 通過建筑輪廓生成整個建筑平面[11]。PAN 等人使用GauGAN 輸入類似條件生成社區(qū)平面[12]。董智勇等人使用神經(jīng)風(fēng)格遷移對城市形態(tài)進(jìn)行探索[13]。當(dāng)滿足輸入條件時，上述研究的結(jié)果圖像通常與樣本有顯著的相似性，且需要處理數(shù)以萬計的成對數(shù)據(jù)集，在生成時仍需要處理輸入的內(nèi)容參數(shù)，從而導(dǎo)致它們的性能受到限制。

2 基于StyleGAN2 的建筑平面生成模型

相較于其他GAN 網(wǎng)絡(luò)，StyleGAN2從高維隱空間中對向量進(jìn)行隨機(jī)采樣，可以在沒有條件輸入的情況下生成和判別平面。StyleGAN2 模型中沒有原生編碼器，本文通過應(yīng)用VGG16 預(yù)訓(xùn)練感知模型，實現(xiàn)了將訓(xùn)練集以外的建筑平面圖像投影到現(xiàn)有模型的隱空間，便于進(jìn)行下一步的高維特征控制[14]。同時，通過對StyleGAN2 模型的中間隱空間進(jìn)行主成分分析，能夠在隱空間對生成的結(jié)果進(jìn)行優(yōu)化，進(jìn)一步控制生成結(jié)果的高級屬性[15]。

2.1 基于StyleGAN2 的建筑平面模型訓(xùn)練

StyleGAN2 是Nvidia 公司于2020年發(fā)布的圖像生成模型，擁有不同于大多數(shù)GAN 模型的獨(dú)特生成器結(jié)構(gòu)[16]。傳統(tǒng)生成器結(jié)構(gòu)如圖2 所示，StyleGAN2生成器結(jié)構(gòu)如圖3 所示。StyleGAN2的網(wǎng)絡(luò)結(jié)構(gòu)包含兩個部分：Mapping network 和Synthesis network。Mapping network 將隱向量z轉(zhuǎn)換為中間隱向量w，以此控制生成圖像的風(fēng)格。Synthesis network 將由w轉(zhuǎn)換得到的向量A和轉(zhuǎn)換后的隨機(jī)噪聲B生成1 024 x 1 024 像素的圖像[17]。StyleGAN2 中基于特征的生成器擁有以下新功能：第一，隱空間不受訓(xùn)練集數(shù)據(jù)約束且有可能被解耦；第二，可以對生成圖像的高級特征進(jìn)行無監(jiān)督分類；第三，通過操縱圖像對應(yīng)的特征向量來調(diào)整生成圖像的風(fēng)格和內(nèi)容[15]。

圖2 傳統(tǒng)生成器結(jié)構(gòu)

圖3 StyleGAN2 生成器結(jié)構(gòu)

2.1.1 數(shù)據(jù)來源

圖片數(shù)據(jù)是KALERVO 等人提供的開源數(shù)據(jù)CubiCasa5K，采用了多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，其中包含5 000 張高清公寓平面圖像，并且包含超過80 種不同類型的建筑平面元素[18]。數(shù)據(jù)集的初始文件像素不統(tǒng)一，本文將數(shù)據(jù)集文件統(tǒng)一處理為1 024 x 1 024 像素的圖像。

2.1.2 訓(xùn)練過程

訓(xùn)練過程中使用StyleGAN2 的config—f 參數(shù)設(shè)置（1 024 × 1 024 分辨率），并開啟數(shù)據(jù)鏡像增強(qiáng)功能。訓(xùn)練在單臺NVIDIA Tesla V100 GPU 上運(yùn)行，顯存為16 GB。

2.1.3 生成結(jié)果

訓(xùn)練完成后，StyleGAN2 模型可以從隨機(jī)種子中生成具有1 024 × 1 024 分辨率的建筑平面圖像，如圖4 所示。生成的圖像與訓(xùn)練集圖像相似，而非重復(fù)。訓(xùn)練集圖像如圖5 所示[18]。但是，生成圖像中的某些細(xì)節(jié)仍然模糊。這可能是因為數(shù)據(jù)集相對較小，一些訓(xùn)練圖像的原始分辨率不夠以及訓(xùn)練時間不夠?qū)е碌摹?/p>

圖4 Seed 0092 生成圖像（由訓(xùn)練模型生成）

圖5 訓(xùn)練集圖像

2.2 高維函數(shù)隱空間解析與探索

2.2.1 主成分分析下高維隱空間可視化

圖像結(jié)果是由生成器向隱空間W中輸入一個隱向量w生成的。隱空間W是由8 層全連接網(wǎng)絡(luò)從512 維隨機(jī)采樣的隱空間Z映射得到。為了可視化W和Z的分布，引入主成分分析法進(jìn)行降維，并將兩個空間中的向量采樣投影到二維圖像中。如圖6 所示，Z空間的二維投影中向量幾乎是被隨機(jī)采樣的。相對而言，圖7 中隱空間W的向量分布具有一定的規(guī)律。

圖6 隱空間Z 的向量分布

圖7 隱空間W 的向量分布

2.2.2 圖像嵌入和隱空間聚類

為了證明W中w向量的分布能夠反映其對應(yīng)圖像內(nèi)容的特征分布，該實驗將2 000 個模型生成結(jié)果嵌入相應(yīng)向量w終點(diǎn)的投影位置，如圖8 所示。為避免同時顯示過多的圖像導(dǎo)致重疊，僅顯示了大約10%的圖像縮略圖。此外，通過應(yīng)用無監(jiān)督的K—means 聚類算法，本文將w向量聚類為4 類，并根據(jù)縮略圖的邊框以及對應(yīng)坐標(biāo)點(diǎn)的顏色進(jìn)行標(biāo)注。

圖8 將生成的建筑平面嵌入在隱空間W 中對應(yīng)的特征向量

某些特征會沿著主軸方向呈現(xiàn)線性變化。例如，建筑物的開間從左至右呈現(xiàn)遞減的趨勢。據(jù)此，可以提出一個假設(shè)，即生成圖像的高級語義特征，可以通過沿某些主軸移動其對應(yīng)的隱向量w來控制。K—means 聚類算法分類建筑平面示例如圖9 所示。

2.3 基于投影方法的生成結(jié)果篩選

在沿主軸方向正式調(diào)整圖像前，需要將新圖像編碼為隱空間W中的向量。由于StyleGAN2 沒有編碼器，訓(xùn)練集之外的新圖像不能直接編碼為向量w。為了解決這個問題，Image2StyleGAN 算法采用了預(yù)訓(xùn)練的VGG16 感知模型[19]。本文將訓(xùn)練集外的建筑平面投影到隱空間W，得到訓(xùn)練集中最相近的輸出圖像，并獲得圖像對應(yīng)的512 維特征向量。將目標(biāo)圖像投影到隱空間W如圖10 所示。

圖10 將目標(biāo)圖像投影入隱空間W

2.4 使用GANSpace 通過高維向量空間對平面進(jìn)行高維特征編輯

將目標(biāo)圖像投影到隱空間W后，便可以運(yùn)用GANspace 對投影結(jié)果的高級特征進(jìn)行操作和編輯。首先通過主成分分析法分析隱空間W的主軸Vn，然后根據(jù)原始向量w計算出修正向量w′，其中x是用戶自定義的調(diào)整強(qiáng)度參數(shù)：

2.4.1 高級特征分析

實驗中對隱空間W中的2 000 個特征隱向量進(jìn)行主成分分析，并將其中4個最主要的主成分在圖11 中展示。主成分C0中呈現(xiàn)出訓(xùn)練集圖片中最顯著的變化，即平面中的房間數(shù)量顯著增加；主成分C1中平面從進(jìn)深長開間短過渡到進(jìn)深短開間長；主成分C2中平面的面積減少且房間布置更為緊湊。主成分C3～C6的高維特征操作如圖12 所示[20]。

圖11 主成分C0 ～C2 的高維特征操作

圖12 主成分C3 ～C6 的高維特征操作

第4 ～7 行演示了將變化約束到細(xì)節(jié)的效果。例如，C3的變化在于房間左下角的房間形狀；C5則是集中在門廳。理想情況下，每個主成分將控制一個重要特征，然而這些特征在實驗中無法完全解耦。這可能是因為訓(xùn)練集中的訓(xùn)練圖像數(shù)據(jù)量和多樣性不足。

2.4.2 對投影對象進(jìn)行GANSpace操作

在獲得投影對象后，本文嘗試使用GANSpace 將上述分析出的主成分應(yīng)用在投影結(jié)果中，對投影結(jié)果進(jìn)行高級特征操控和優(yōu)化。圖13 為投影對象通過GANSpace 在C1主成分上進(jìn)行操作的結(jié)果?？梢钥吹剑S著投影對象在C1主成分上向上移動，房間進(jìn)深增大；向下移動則房間開間增大。此外，當(dāng)投影對象移動接近W空間的邊界時，生成的圖像變得模糊和不真實，這是因為StyleGAN2模型在這些區(qū)域沒有得到足夠的訓(xùn)練。通過C1主軸對投影圖像進(jìn)行高維特征編輯如圖14 所示。

圖13 可視化投影圖像進(jìn)行高維特征編輯的C1 主軸

圖14 通過C1 主軸對投影圖像進(jìn)行高維特征編輯

3 結(jié)語

本文旨在搭建基于GAN 的圖像生成模型，并應(yīng)用于基于樣本的自下而上的設(shè)計生成工作流中，實現(xiàn)了投影圖像的高級特征操作。研究仍有局限性，如生成圖像的一些細(xì)節(jié)仍模糊或不匹配，且高級特征控制沒有實現(xiàn)完全解耦。