邊收縮池化的網(wǎng)格變分自編碼器

袁宇杰，來(lái)煜坤，楊潔，段琦，傅紅波，高林*

1.中國(guó)科學(xué)院計(jì)算技術(shù)研究所, 北京 100190； 2.中國(guó)科學(xué)院大學(xué), 北京 100049；3.英國(guó)卡迪夫大學(xué),卡迪夫 CF24 4AG,英國(guó)； 4.商湯科技, 上海 200233； 5.香港城市大學(xué), 香港 999077

0 引 言

近年來(lái)，互聯(lián)網(wǎng)上的3D模型數(shù)據(jù)集呈現(xiàn)井噴式的發(fā)展。數(shù)據(jù)驅(qū)動(dòng)的3D形狀分析一直是計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形領(lǐng)域的一個(gè)熱門(mén)研究課題。除了傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)工作(Gao等，2017)，更多工作試圖將深度神經(jīng)網(wǎng)絡(luò)方法從2D圖像擴(kuò)展到3D模型，如三角網(wǎng)格(Tan等，2018a，b；Litany等，2018)、點(diǎn)云(Qi等，2017a)、體素(Wu等，2016；Maturana和Scherer，2015)等。本文專(zhuān)注于三角網(wǎng)格的深度神經(jīng)網(wǎng)絡(luò)。與圖像不同，三角網(wǎng)格具有復(fù)雜且不規(guī)則的連通性。大多數(shù)現(xiàn)有工作傾向于保持層與層之間的網(wǎng)格連接不變，從而失去了應(yīng)用池化操作時(shí)增加感受野的能力。

變分自編碼器(variational auto-encoder, VAE)(Kingma和Welling，2014)作為一種生成網(wǎng)絡(luò)已廣泛應(yīng)用于各種任務(wù)，包括2維的人臉圖像修復(fù)(張雪菲 等，2020)以及3維的三角網(wǎng)格的生成、插值和瀏覽(Tan等，2018b)。翟正利等人(2019)對(duì)變分自編碼器模型及其衍生模型進(jìn)行了綜述。最初的MeshVAE(Tan等，2018b)使用全連接層，需要大量參數(shù)，泛化能力往往較弱。盡管全連接層允許層間網(wǎng)格連接的變化，但由于不規(guī)則的變化，全連接層后不能直接應(yīng)用卷積層。一些工作(Litany等，2018；Gao等，2018)在 VAE結(jié)構(gòu)中采用卷積層。然而，這樣的卷積操作并不能改變網(wǎng)格的連通性。Ranjan等人(2018)在網(wǎng)格上的卷積網(wǎng)絡(luò)中引入了采樣操作，但其采樣策略在減少頂點(diǎn)數(shù)量時(shí)不會(huì)聚合所有局部鄰域信息。因此，為了處理更稠密網(wǎng)格的模型，增強(qiáng)網(wǎng)絡(luò)的泛化能力，有必要設(shè)計(jì)一種類(lèi)似于圖像池化的網(wǎng)格池化操作形式，以減少網(wǎng)絡(luò)參數(shù)的數(shù)量。此外，本文希望定義的池化可以支持進(jìn)一步的卷積并允許通過(guò)相應(yīng)的反池化操作恢復(fù)到原始網(wǎng)格。

本文提出一種具有新定義的池化操作的VAE架構(gòu)，如圖1所示。圖中ε是隨機(jī)變量，滿足高斯分布N(0,I),I是全為1的向量，?和⊕分別表示乘和加。該方法使用網(wǎng)格簡(jiǎn)化的邊收縮操作來(lái)形成具有不同細(xì)節(jié)層次的網(wǎng)格層次結(jié)構(gòu)，并通過(guò)跟蹤粗細(xì)網(wǎng)格之間的映射來(lái)實(shí)現(xiàn)有效的池化。為了避免在網(wǎng)格簡(jiǎn)化過(guò)程中生成高度不規(guī)則的三角形，引入了一種基于經(jīng)典方法(Garland和Heckbert，1997)的改進(jìn)的網(wǎng)格簡(jiǎn)化方法。新定義的池化操作能有效聚合局部鄰域信息，增強(qiáng)網(wǎng)絡(luò)的泛化能力。網(wǎng)絡(luò)的輸入是基于頂點(diǎn)的變形特征表示(Gao等，2021)，與3D坐標(biāo)不同，它使用定義在頂點(diǎn)上的變形梯度對(duì)變形進(jìn)行編碼。提出的框架使用一組具有相同連接關(guān)系的3D形狀來(lái)訓(xùn)練網(wǎng)絡(luò)。通過(guò)一致的重網(wǎng)格操作可以很容易地獲得這樣的網(wǎng)格。此外，本文在網(wǎng)絡(luò)中采用了圖卷積操作(Defferrard等，2016)。總體而言，本文提出的網(wǎng)絡(luò)遵循VAE架構(gòu)，其中應(yīng)用了池化操作和圖卷積。正如在實(shí)驗(yàn)部分展示的，本文網(wǎng)絡(luò)不僅具有更好的泛化能力，而且可以處理更高分辨率的網(wǎng)格，從而有利于各種應(yīng)用，如形狀生成、插值和嵌入。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Our network architecture

1 相關(guān)工作

1.1 3D模型的深度學(xué)習(xí)方法

針對(duì)3D模型的深度學(xué)習(xí)方法受到越來(lái)越多的關(guān)注。Boscaini等人(2016a，b)將卷積神經(jīng)網(wǎng)絡(luò)從歐幾里德域推廣到非歐幾里德域，這有助于3D形狀分析，比如建立3D形狀之間的對(duì)應(yīng)關(guān)系。Bronstein等人(2017)概述了在非歐氏域上利用卷積神經(jīng)網(wǎng)絡(luò)的方法，包括在圖結(jié)構(gòu)和網(wǎng)格上。Masci等人(2015)通過(guò)對(duì)以測(cè)地極坐標(biāo)表示的局部面片應(yīng)用濾波器，提出了第1個(gè)網(wǎng)格卷積運(yùn)算。Sinha等人(2016)將3D形狀轉(zhuǎn)換為幾何圖像以獲得歐氏參數(shù)化表示，標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)即可被應(yīng)用。Wang等人(2017，2018)提出了基于八叉樹(shù)的卷積用于3D形狀分析。與局部面片、幾何圖像或八叉樹(shù)結(jié)構(gòu)不同，本文工作使用頂點(diǎn)特征(Gao等，2021)為輸入進(jìn)行卷積運(yùn)算。

為了分析具有相同連通性但不同幾何形狀的網(wǎng)格模型，MeshVAE(Tan等，2018b)首次將變分自編碼器網(wǎng)絡(luò)結(jié)構(gòu)引入到3維網(wǎng)格數(shù)據(jù)，并通過(guò)各種應(yīng)用證明了其有效性。Tan等人(2018a)使用卷積自編碼器從具有大尺度變形的網(wǎng)格數(shù)據(jù)集中提取局部變形分量。Gao等人(2018)提出了一種將卷積網(wǎng)格變分自編碼器與循環(huán)一致對(duì)抗網(wǎng)絡(luò)CycleGAN (Zhu等，2017)相結(jié)合的網(wǎng)絡(luò)，用于沒(méi)有配對(duì)的形狀之間的全自動(dòng)變形傳播。Tan等人(2018a)和Gao等人(2018)在網(wǎng)格上使用了基于空域的卷積運(yùn)算，而Defferrard等人(2016)和Henaff等人(2015)的工作通過(guò)在頻域的構(gòu)造將卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到不規(guī)則圖上，與空域卷積相比表現(xiàn)出更優(yōu)越的性能。與Defferrard等人(2016)和Yi等人(2017)相同，本文工作也在頻域中執(zhí)行卷積運(yùn)算。

雖然池化操作在圖像處理的深度網(wǎng)絡(luò)中得到了廣泛的應(yīng)用，但現(xiàn)有的基于網(wǎng)格的VAE方法有些不支持池化(Tan等，2018b；Gao等，2018)，有些使用簡(jiǎn)單的采樣過(guò)程(Ranjan等，2018)，無(wú)法聚合所有的局部鄰域信息。實(shí)際上，Ranjan等人(2018)提出的采樣方法也是基于一種簡(jiǎn)化算法，但是該方法直接舍棄頂點(diǎn)，然后利用三角形的重心坐標(biāo)通過(guò)插值來(lái)恢復(fù)丟失的頂點(diǎn)。相反，本文池化操作可以通過(guò)記錄簡(jiǎn)化過(guò)程來(lái)聚合局部信息，并支持池化操作的直接逆向，從而有效地實(shí)現(xiàn)反池化操作。

Hanocka等人(2019)提出了MeshCNN，一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的網(wǎng)格神經(jīng)網(wǎng)絡(luò)，用于網(wǎng)格分類(lèi)和分割。該框架包含一個(gè)動(dòng)態(tài)網(wǎng)格池化操作，該操作根據(jù)特定任務(wù)進(jìn)行網(wǎng)格簡(jiǎn)化。相反，本文在靜態(tài)網(wǎng)格簡(jiǎn)化算法的基礎(chǔ)上定義了池化操作，因?yàn)楸疚木W(wǎng)絡(luò)旨在編碼和生成高質(zhì)量的網(wǎng)格模型，靜態(tài)簡(jiǎn)化算法保證了層次結(jié)構(gòu)的一致性，從而更好地保留了幾何細(xì)節(jié)，更具魯棒性。

1.2 均勻采樣或池化方法

以點(diǎn)云作為輸入，PointNet++(Qi等，2017b)提出了一種均勻采樣方法，能用于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)中?；谙嗤乃枷耄琓extureNet(Huang等，2019)對(duì)網(wǎng)格的頂點(diǎn)也進(jìn)行均勻采樣，但這種采樣方法破壞了頂點(diǎn)之間的連接關(guān)系，將網(wǎng)格數(shù)據(jù)轉(zhuǎn)化為點(diǎn)云，不支持進(jìn)一步的圖卷積。相反，簡(jiǎn)化方法可以建立網(wǎng)格層次結(jié)構(gòu)，因此可以幫助執(zhí)行網(wǎng)格池化操作。然而，大多數(shù)簡(jiǎn)化方法，如Garland和Heckbert(1997)都是保持幾何形狀的，但是簡(jiǎn)化網(wǎng)格上的頂點(diǎn)可能是高度不均勻的。重網(wǎng)格化操作(Botsch和Kobbelt，2004)可以構(gòu)建均勻的簡(jiǎn)化網(wǎng)格，但會(huì)丟失層次結(jié)構(gòu)中網(wǎng)格之間的對(duì)應(yīng)關(guān)系。在經(jīng)典方法(Garland和Heckbert，1997)的基礎(chǔ)上，本文提出了一種改進(jìn)的網(wǎng)格簡(jiǎn)化方法，對(duì)新定義的網(wǎng)格池化和反池化操作進(jìn)行更均勻的網(wǎng)格簡(jiǎn)化，并記錄粗糙網(wǎng)格和稠密網(wǎng)格之間的對(duì)應(yīng)關(guān)系。

1.3 變形網(wǎng)格的表示和應(yīng)用

為了更好地表示3D網(wǎng)格，一種直接的方法是使用3D形狀的頂點(diǎn)坐標(biāo)。然而，頂點(diǎn)坐標(biāo)既不具有平移不變性，也不具有旋轉(zhuǎn)不變性，這給大尺度變形的學(xué)習(xí)帶來(lái)了困難。相反，本文使用了一種最新的3維形狀變形表示方法(Gao等，2021)，與另一種廣泛使用的表示方法(Gao等，2016)相比，它具有在頂點(diǎn)記錄變形，使得圖卷積和池化操作更容易實(shí)現(xiàn)的優(yōu)點(diǎn)。

2 方 法

2.1 網(wǎng)格簡(jiǎn)化

使用網(wǎng)格簡(jiǎn)化的邊收縮算法來(lái)幫助構(gòu)建可靠的池化操作。為此，網(wǎng)格簡(jiǎn)化不僅創(chuàng)建了具有不同細(xì)節(jié)級(jí)別的網(wǎng)格層次結(jié)構(gòu)，而且還確保了較粗網(wǎng)格和較細(xì)網(wǎng)格之間的對(duì)應(yīng)關(guān)系。網(wǎng)格簡(jiǎn)化過(guò)程基于經(jīng)典的邊收縮方法(Garland和Heckbert，1997)，該方法根據(jù)衡量形狀變化的度量依次重復(fù)邊收縮操作。然而，原始方法不能保證簡(jiǎn)化的網(wǎng)格包含均勻分布的三角形。為了實(shí)現(xiàn)更有效的池化，較粗網(wǎng)格中的每個(gè)頂點(diǎn)都應(yīng)對(duì)應(yīng)于相似大小的區(qū)域。

(1)

圖2 比較網(wǎng)格簡(jiǎn)化算法Fig.2 Comparison of the mesh simplification algorithm ((a) original mesh; (b) Garland and Heckbert (1997); (c)ours)

2.2 池化和反池化

網(wǎng)格簡(jiǎn)化通過(guò)重復(fù)的邊收縮操作來(lái)實(shí)現(xiàn)，即將兩個(gè)相鄰的頂點(diǎn)收縮為一個(gè)新的頂點(diǎn)。利用這個(gè)過(guò)程來(lái)定義網(wǎng)格池化操作。將采用平均池化應(yīng)用于接下來(lái)的網(wǎng)絡(luò)框架，其他類(lèi)型的池化操作也可以類(lèi)似地定義。在邊收縮步驟之后，將新頂點(diǎn)的特征定義為收縮頂點(diǎn)的平均特征。如圖3所示，通過(guò)邊收縮將紅色頂點(diǎn)簡(jiǎn)化為綠色頂點(diǎn)，并對(duì)紅色頂點(diǎn)的特征進(jìn)行平均，得到綠色頂點(diǎn)的特征。這確保池化操作在相應(yīng)簡(jiǎn)化區(qū)域有效進(jìn)行。這個(gè)過(guò)程有一些優(yōu)點(diǎn)：它既保留了正確的拓?fù)浣Y(jié)構(gòu)以支持多層卷積或池化，也使感受野得到很好的定義。由于變分自編碼器網(wǎng)絡(luò)具有解碼器結(jié)構(gòu)，因此還需要正確定義反池化操作。同樣利用了簡(jiǎn)化關(guān)系，將反池化定義為逆操作：簡(jiǎn)化后的網(wǎng)格上頂點(diǎn)的特征均等分配給稠密網(wǎng)格上相應(yīng)的被收縮頂點(diǎn)。

圖3 使用簡(jiǎn)化算法來(lái)引入網(wǎng)格上的池化操作Fig.3 Using a simplification algorithm to introduce pooling operation on meshes

2.3 圖卷積

為了形成一個(gè)完整的神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用Defferrard等人(2016)介紹的圖卷積。假設(shè)輸入是矩陣x，卷積操作的輸出為矩陣y，其中x，y的每行對(duì)應(yīng)一個(gè)頂點(diǎn)，每列對(duì)應(yīng)一個(gè)特征維度。令L表示歸一化圖拉普拉斯算子。網(wǎng)絡(luò)中使用的頻域圖卷積定義為

(2)

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

(3)

2.5 條件變分自編碼器

當(dāng)VAE用于形狀生成時(shí)，通常傾向于選擇生成形狀類(lèi)型，特別是對(duì)于包含來(lái)自不同類(lèi)別的形狀的數(shù)據(jù)集(例如男性和女性，瘦和胖，更多示例參見(jiàn)Pons-Moll等人(2015))。為了實(shí)現(xiàn)這一點(diǎn)，參考Sohn等人(2015)為輸入和隱變量添加標(biāo)簽以擴(kuò)展框架。在這種情況下，網(wǎng)絡(luò)的損失函數(shù)變?yōu)?/p>

(4)

2.6 實(shí)現(xiàn)細(xì)節(jié)

在所有的實(shí)驗(yàn)中，式(1)中用λ=0.001收縮一半的頂點(diǎn)，并設(shè)置圖卷積式(2)的超參數(shù)H=3，總損失函數(shù)中α=0.3。除了特別說(shuō)明的實(shí)驗(yàn)，其余實(shí)驗(yàn)的隱空間維度都是128,并在網(wǎng)絡(luò)權(quán)重上使用L2正則化來(lái)避免過(guò)度擬合。使用Adam優(yōu)化器(Kingma和Ba，2015)，其中β1=0.9，β2=0.999，學(xué)習(xí)率設(shè)置為 0.001。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 架構(gòu)評(píng)估

為了比較不同的網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)置，同時(shí)對(duì)編碼解碼結(jié)果的性能有較大影響的一些因素分析，進(jìn)行一系列消融實(shí)驗(yàn)。

1)池化的影響。在表1(第8列和第3列)中，比較了在使用和不使用池化的情況下重建形狀的RMS誤差。使用池化后RMS誤差平均降低6.92%。該結(jié)果顯示了池化和反池化操作的優(yōu)勢(shì)，能增強(qiáng)網(wǎng)絡(luò)在未見(jiàn)形狀上的重建能力。

表1 消融實(shí)驗(yàn)的RMS重建誤差Table 1 Ablation study of RMS reconstruction errors

2)與空域卷積比較。將頻域圖卷積與空域圖卷積進(jìn)行比較，二者都采用了如圖1所示的網(wǎng)絡(luò)結(jié)構(gòu)。比較結(jié)果如表1(第2列和第3列)所示，容易發(fā)現(xiàn)頻域圖卷積得到了更好的結(jié)果，這是因?yàn)轭l域卷積相較于空域卷積，能考慮更多的鄰域信息。

3)與其他池化或采樣方法比較。為了證明基于改進(jìn)的邊收縮算法的池化操作的優(yōu)勢(shì)，將提出的池化與基于原始簡(jiǎn)化算法(Garland和Heckbert，1997)的池化、基于均勻重網(wǎng)格方法(Botsch和Kobbelt，2004)的池化、現(xiàn)有的圖池化方法(Shen等，2018)和網(wǎng)格采樣操作(Ranjan等，2018)進(jìn)行了比較。其中，重網(wǎng)格方法能夠均勻地分布頂點(diǎn)，但會(huì)丟失幾何細(xì)節(jié)。而本文方法旨在實(shí)現(xiàn)均勻的同時(shí)保持形狀的簡(jiǎn)化，從而獲得更好的泛化能力。結(jié)果如表1所示。與基于Garland和Heckbert(1997)的池化相比，本文池化對(duì)訓(xùn)練未見(jiàn)數(shù)據(jù)的RMS誤差平均降低了9.34%，與均勻重網(wǎng)格方法(Botsch和Kobbelt，2004)相比降低了9.07%，與圖池化方法(Shen等，2018)相比降低了8.06%，與網(wǎng)格采樣操作(Ranjan等，2018)相比降低了9.64%。結(jié)果表明，改進(jìn)后的簡(jiǎn)化算法在池化方面更為有效，而且本文方法的池化在多個(gè)數(shù)據(jù)集上的效果更為優(yōu)越，展示了其泛化能力。另外，圖4展示了改進(jìn)的簡(jiǎn)化算法與原始簡(jiǎn)化算法在簡(jiǎn)化網(wǎng)格上的更多比較結(jié)果，可以看出改進(jìn)的邊收縮算法能夠得到分布更均勻的簡(jiǎn)化網(wǎng)格。這也是本文網(wǎng)格池化在數(shù)值上具有優(yōu)勢(shì)的原因。

圖4 與經(jīng)典網(wǎng)格簡(jiǎn)化算法的更多對(duì)比Fig.4 More comparisons with the mesh simplification algorithm ((a) original mesh; (b) Garland and Heckbert (1997); (c) ours)

3.2 與最優(yōu)方法的比較

在表2中，將本文方法與最先進(jìn)的基于網(wǎng)格的自編碼器架構(gòu)(Gao等，2018；Ranjan等，2018；Tan等，2018b)在重建未見(jiàn)形狀的RMS誤差方面進(jìn)行了比較。由于使用了頻域圖卷積和本文池化操作，該方法減少了訓(xùn)練未見(jiàn)數(shù)據(jù)的重建誤差，展現(xiàn)出優(yōu)越的泛化能力。例如，與使用相同逐頂點(diǎn)特征的Gao等人(2018)方法相比，本文網(wǎng)絡(luò)在SCAPE和Face數(shù)據(jù)集上降低了29%和32%的平均RMS重建誤差。此外，在圖5—圖7與Gao等人(2018)和Ranjan等人(2018)方法進(jìn)行了重建的可視化比較。圖5和圖6中重建誤差使用顏色可視化。這些結(jié)果表明，本文方法比Gao等人(2018)和Ranjan等人(2018)方法能夠生成更加準(zhǔn)確的重建結(jié)果。

表2 與不同自編碼器框架比較訓(xùn)練未見(jiàn)數(shù)據(jù)的RMS重建誤差Table 2 Comparison of RMS reconstruction errors for unseen data using different auto-encoder frameworks

在表3中還與MeshCNN(Hanocka等，2019)進(jìn)行了比較。MeshCNN使用邊上的特征，包括每個(gè)面的二面角、兩個(gè)內(nèi)角和兩個(gè)邊長(zhǎng)比作為輸入，不能用于重建模型。因此，采用邊特征的平均絕對(duì)誤差(mean absolute error, MAE)作為比較的度量。為本文網(wǎng)絡(luò)的輸入形狀和重建形狀計(jì)算這些特征，并修改MeshCNN的分割網(wǎng)絡(luò)用于編碼和解碼任務(wù)。可以看到，網(wǎng)絡(luò)在所有的5個(gè)邊特征上都取得了更好的結(jié)果，這反映了本文方法重建的網(wǎng)格三角形質(zhì)量更好。

圖5 與Gao等人(2018)方法的重建結(jié)果可視化比較Fig.5 Qualitative comparison of reconstruction results with Gao et al.(2018)

圖6 在訓(xùn)練未見(jiàn)數(shù)據(jù)上重建結(jié)果可視化比較Fig.6 Qualitative comparison of reconstruction results for unseen data

圖7 與Ranjan等人(2018)方法的重建結(jié)果可視化比較Fig.7 Qualitative comparison of reconstruction results with Ranjan et al.(2018)

表3 與MeshCNN(Hanocka 等，2019)比較MAE重建誤差Table 3 Comparison of MAE reconstruction errors with MeshCNN (Hanocka et al.，2019)

在表4中，與DEMEA(deep mesh autoencoder)(Tretschk等，2020)進(jìn)行比較，采用與DEMEA相同的數(shù)據(jù)集以及訓(xùn)練集和測(cè)試集劃分，網(wǎng)絡(luò)使用相同的隱含層維度32維。結(jié)果度量上也采用了與DEMEA相同的平均逐頂點(diǎn)誤差。從表中結(jié)果比較可以看出，在4個(gè)數(shù)據(jù)集上，本文網(wǎng)絡(luò)都取得了更好的重建結(jié)果。

表5實(shí)驗(yàn)說(shuō)明本文網(wǎng)絡(luò)比原始MeshVAE需要的參數(shù)更少。在Fat和Hand兩個(gè)數(shù)據(jù)集上，本文網(wǎng)絡(luò)需要的網(wǎng)絡(luò)權(quán)重?cái)?shù)量遠(yuǎn)遠(yuǎn)少于原始的MeshVAE，這更有助于網(wǎng)絡(luò)的泛化能力。

表4 與DEMEA(Tretschk等，2020)比較重建誤差Table 4 Comparison of reconstruction errors with DEMEA (Tretschk et al., 2020)

表5 與原始MeshVAE(Tan 等，2018b)在網(wǎng)絡(luò)權(quán)重?cái)?shù)量上的比較Table 5 Comparison of parameters number withMeshVAE (Tan et al., 2018b)

3.3 新形狀生成

網(wǎng)絡(luò)訓(xùn)練完成后就可以使用隱空間和解碼器來(lái)生成新的形狀。使用標(biāo)準(zhǔn)正態(tài)分布zN(0,1)作為輸入傳入訓(xùn)練好的解碼器。從圖8可以看出，本文網(wǎng)絡(luò)能夠生成合理的新形狀。為了證明生成的形狀不存在于數(shù)據(jù)集中，根據(jù)頂點(diǎn)平均歐氏距離找到訓(xùn)練數(shù)據(jù)集中最相近的形狀用于視覺(jué)比較。從比較可以看出生成的形狀確實(shí)是新的，不同于訓(xùn)練數(shù)據(jù)集中任何已有的形狀。為了展示模型的條件隨機(jī)生成能力，在Pons-Moll等人(2015)的Dyna數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)。分別使用BMI(body mass index)+性別和運(yùn)動(dòng)作為條件來(lái)訓(xùn)練網(wǎng)絡(luò)。如圖9所示，本文方法能夠隨機(jī)生成以編號(hào)“50007”，一個(gè)BMI為39.0的男性模型為條件，和以帶有“單腿跳躍”標(biāo)簽的動(dòng)作(包括抬腿)為條件的新形狀。

3.4 形狀插值

本文方法也可用于形狀插值。這也是一種生成新形狀的方法。將兩個(gè)形狀的隱變量進(jìn)行線性插值，然后利用概率解碼器輸出3D變形序列。在SCAPE數(shù)據(jù)集(Anguelov等，2005)上與原始MeshVAE和最先進(jìn)的數(shù)據(jù)驅(qū)動(dòng)變形方法(Gao等，2017)進(jìn)行對(duì)比，結(jié)果分別如圖10和圖11所示，最左列和最右列中的模型是插值的輸入模型。可以看到MeshVAE生成的插值結(jié)果具有明顯的瑕疵。Gao等人(2017)的結(jié)果傾向于遵循原始數(shù)據(jù)集的運(yùn)動(dòng)序列，這些數(shù)據(jù)集具有相似的開(kāi)始和結(jié)束狀態(tài)，這導(dǎo)致如擺動(dòng)右臂等多余的運(yùn)動(dòng)。相比之下，本文插值給出了更合理的運(yùn)動(dòng)序列。在圖12中，展示了與Litany等人(2018)方法的比較，其會(huì)產(chǎn)生瑕疵，特別是在合成的人手中。在圖13展示了更多的插值結(jié)果，包括在新生成的人體模型之間和其他類(lèi)型的模型之間插值。

圖8 本文框架隨機(jī)生成的新形狀以及它們?cè)谠紨?shù)據(jù)集中的最近鄰Fig.8 Randomly generated new shapes by our framework, along with their nearest neighbors in the original datasets ((a) Hand; (b) SCAPE; (c) Horse; (d) Face; (e) Swing)

圖9 本文框架條件隨機(jī)生成新形狀Fig.9 Conditional random generation of new shapes using our framework((a) conditioned on motion sequence—one leg jump; (b) conditioned on bodyshape—male model with BMI 39.0)

圖10 與Tan等人(2018b)比較網(wǎng)格插值結(jié)果Fig.10 Comparison of mesh interpolation results with Tan et al.(2018b)((a) Tan et al.(2018b); (b) ours)

圖11 與Gao等人(2017)比較網(wǎng)格插值結(jié)果Fig.11 Comparison of mesh interpolation results with Gao et al.(2017)((a) Gao et al.(2017);(b) ours)

圖12 與Litany等人(2018)比較網(wǎng)格插值結(jié)果Fig.12 Comparison of mesh interpolation results with Litany et al.(2018)((a) Litany et al.(2018); (b) ours)

圖13 更多插值結(jié)果Fig.13 More interpolation results((a) Horse; (b) Hand; (c) new generated shapes)

3.5 形狀嵌入

本文方法可以將3D形狀壓縮成低維向量進(jìn)行可視化。為了更好地可視化嵌入，計(jì)算了隱含向量的最大的兩個(gè)方差作為2D嵌入圖中模型對(duì)應(yīng)的水平和垂直坐標(biāo)，利用這種方法在低維空間中嵌入形狀。本文方法根據(jù)模型的形狀來(lái)劃分所有的模型，同時(shí)允許相似姿態(tài)的模型保持在接近的位置。使用一個(gè)代表性的運(yùn)動(dòng)序列，即來(lái)自Sumner和Popovi(2004)的馬運(yùn)動(dòng)序列。Horse數(shù)據(jù)集包含一個(gè)奔騰的馬的運(yùn)動(dòng)序列，它形成了一個(gè)循環(huán)序列?？梢詮膱D15左子圖所示的嵌入結(jié)果，即一個(gè)與原始序列相匹配的圓得出結(jié)論，本文網(wǎng)絡(luò)具有良好的嵌入能力。在圖15的右上角和右下角，還分別展示了PCA(principal components analysis)和t-SNE(t-distributed stochastic neighbor embedding)的結(jié)果。對(duì)比發(fā)現(xiàn)，本文網(wǎng)絡(luò)結(jié)果呈現(xiàn)為兩個(gè)圓，而PCA和t-SNE不能揭示數(shù)據(jù)的內(nèi)在信息。

圖14 與MeshVAE(Tan等，2018b)的插值比較Fig.14 Interpolation comparison with MeshVAE ((a) Tan et al.(2018b); (b) ours)

圖15 Horse數(shù)據(jù)集(Sumner和的2D嵌入Fig.15 2D embedding of Horse dataset (Sumner and 2004)

4 結(jié) 論

本文提出了一種新的網(wǎng)格池化操作，該池化操作能改變網(wǎng)格的連接關(guān)系，支持進(jìn)一步的卷積或池化操作。該池化操作基于邊收縮網(wǎng)格簡(jiǎn)化算法。同時(shí)，為了使得網(wǎng)格池化的感受野更加一致，改進(jìn)了邊收縮網(wǎng)格簡(jiǎn)化算法。利用提出的網(wǎng)格池化操作，結(jié)合圖卷積算子，本文構(gòu)建了一個(gè)網(wǎng)格變分自編碼器，該網(wǎng)絡(luò)采用逐頂點(diǎn)特征表示作為輸入。通過(guò)對(duì)訓(xùn)練未見(jiàn)數(shù)據(jù)的重建實(shí)驗(yàn)，表明了相較于目前已有的網(wǎng)格編解碼網(wǎng)絡(luò)，本文網(wǎng)絡(luò)具有更好的泛化能力。相較于原始的MeshVAE，方法能夠生成高質(zhì)量且具有豐富細(xì)節(jié)的變形模型。模型還可以被應(yīng)用于包括形狀生成，形狀插值和形狀嵌入等諸多應(yīng)用中，且實(shí)驗(yàn)表明，模型超越了已有方法。不足之一在于只能處理相同連接關(guān)系的網(wǎng)格結(jié)構(gòu)，這是由于神經(jīng)網(wǎng)絡(luò)的輸入需要一致的表示。又因?yàn)槌鼗僮魇腔诰W(wǎng)格簡(jiǎn)化的，因此在網(wǎng)格簡(jiǎn)化失敗的情況下無(wú)法生成合理的結(jié)果，例如非水密網(wǎng)格和高度不規(guī)則的網(wǎng)格輸入。對(duì)于未來(lái)的工作，擬探索如何將不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)格作為輸入，同時(shí)在網(wǎng)格簡(jiǎn)化算法上進(jìn)一步研究，解決網(wǎng)格簡(jiǎn)化失敗導(dǎo)致網(wǎng)格池化無(wú)法使用的情況。