混合式監(jiān)督學習的三維模型對應(yīng)關(guān)系計算

楊 軍，李金泰

(1.蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070；2.蘭州交通大學 測繪與地理信息學院，甘肅 蘭州 730070)

對應(yīng)關(guān)系計算通常是指根據(jù)模型的特征及其語義信息尋找兩個或多個模型間相同或相似對應(yīng)元素的過程。對應(yīng)關(guān)系計算是模型變形、模型插值、模型識別以及模型分割[1]等工作的研究基礎(chǔ)，被廣泛應(yīng)用于考古學、醫(yī)學、游戲動畫制作、無人駕駛等領(lǐng)域，因此建立正確的模型間對應(yīng)關(guān)系是相關(guān)研究領(lǐng)域中的一個亟待解決的研究難題[2]。

在三維模型對應(yīng)關(guān)系計算的研究中，剛性三維模型對應(yīng)關(guān)系計算的研究發(fā)展相對成熟，且能得到準確的對應(yīng)關(guān)系結(jié)果，如迭代最近點匹配算法(Iterative Closest Point，ICP)[3]是最常用的剛性三維模型匹配算法。迭代最近點匹配算法將模型表面采樣點的空間位置作為模型特征描述符，通過多次迭代使源模型和目標模型采樣點之間的空間距離最小化以實現(xiàn)剛性三維模型的對應(yīng)。然而在現(xiàn)實世界中，人體、動物等三維模型一般都帶有形態(tài)或姿勢的變化，當模型發(fā)生非剛性變換后，采用從剛性模型中提取到的特征無法得到準確的對應(yīng)關(guān)系計算結(jié)果[4]。已有的一些非剛性模型的對應(yīng)關(guān)系計算方法大多使用模型自身的幾何信息，如曲率、法線、熱核、波核等局部幾何特征以及測地距離、擴散距離等全局幾何特征，或使用人工設(shè)計的局部特征描述符，如尺度不變特征變換(Scale Invariant Feature Transform，SIFT)特征描述符[5]、方向直方圖簽名(Signature of Histograms of OrienTations，SHOT)特征描述符[6]來提取模型的局部信息。雖然上述方法取得了一定的研究成果，但仍存在不足之處，如特征提取方法的計算復雜度較高，局部描述符信息單一且魯棒性差，獲得的對應(yīng)關(guān)系計算結(jié)果準確率低等問題。

2012年，OVSJANIKOV 等[7]開創(chuàng)先河，創(chuàng)新性地提出函數(shù)映射(Functional Maps，F(xiàn)M)方法。該方法將模型間對應(yīng)關(guān)系計算問題轉(zhuǎn)化為求解相應(yīng)的函數(shù)映射矩陣的問題，顯著地提高了計算模型間對應(yīng)關(guān)系的效率和準確率，但該方法僅適用于完全等距的模型。由于現(xiàn)實世界中絕大多數(shù)的三維模型是近似等距和非等距的，加之在建模過程中存在的技術(shù)缺陷和幾何計算中存在的離散化誤差等因素，即使是針對不同姿態(tài)下的同一剛性模型，也不能保證兩個采樣點之間的距離度量保持完全等距不變。因此，非剛性近似等距三維模型對應(yīng)關(guān)系計算成為近幾年的一個研究熱點。如今，深度學習技術(shù)正如火如荼地發(fā)展，尤其在數(shù)字圖像領(lǐng)域成效卓然。在這一背景下，研究者們開始嘗試將深度學習方法遷移到解決對應(yīng)關(guān)系計算的問題上，大多數(shù)方法利用卷積神經(jīng)網(wǎng)絡(luò)對模型特征描述符進行學習。然而到目前為止，更高效且準確的非剛性近似等距乃至非等距的三維模型對應(yīng)關(guān)系計算方法仍需不斷探索。

筆者創(chuàng)新性地提出了混合監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)(Mixed Supervision Deep Functional Maps Network，MSDFMNet)來計算近似等距非剛性三維模型間的對應(yīng)關(guān)系，旨在探究一種端到端的學習方法，結(jié)合三維點云模型所包含的特征信息，優(yōu)化函數(shù)映射矩陣，精細化逐點映射結(jié)果，提高近似等距非剛性三維模型間對應(yīng)關(guān)系計算的準確率。主要創(chuàng)新點和貢獻有：(1)通過弱監(jiān)督學習對輸入模型進行近似剛性對齊，并直接從原始的三維點云數(shù)據(jù)中學習特征，在降低人工成本的同時獲取了更具鑒別力的特征；(2)在優(yōu)化函數(shù)映射矩陣時，通過添加無監(jiān)督加權(quán)正則化約束項獲得更高質(zhì)量的函數(shù)映射矩陣，進而計算出更準確的近似等距非剛性模型對應(yīng)關(guān)系。

1 相關(guān)研究現(xiàn)狀

模型間對應(yīng)關(guān)系計算是計算機視覺、計算機圖形學等領(lǐng)域的一項重要的基礎(chǔ)性研究工作。目前，三維模型對應(yīng)關(guān)系計算方法大致分為3類：基于模型特征描述符的方法、函數(shù)映射的方法和基于深度學習的方法。

模型特征描述符包含模型幾何特征信息和語義特征信息。常用的模型特征描述符一般包括4類[8]：(1) 基于模型表面特征的描述符。該類模型特征描述符致力于描述模型表面的特征及其在全局歐氏變換下的不變性，如SIFT描述符和SHOT描述符等。(2) 基于模型統(tǒng)計特征的描述符。該類模型特征描述符根據(jù)統(tǒng)計量的穩(wěn)定性來描述模型的全局特性，如模型分布(Shape Distribution，SD)描述符[9]和內(nèi)部距離模型簽名(Inner Distance Shape Signature，IDSS)描述符[10]等。(3) 基于模型拓撲結(jié)構(gòu)的描述符。該類特征描述符將三維模型對應(yīng)關(guān)系計算問題轉(zhuǎn)換成其拓撲結(jié)構(gòu)對應(yīng)問題，具有代表性的兩類描述符分別是基于Reeb圖理論的描述符[11]和基于模型的骨架線理論的描述符[12]。(4) 基于譜分析的模型特征描述符。該類特征描述符誘導出的譜距離是一種良好的度量結(jié)構(gòu)，具有等距不變性，如熱核簽名(Heat Kernel Signature，HKS)[13]、波核簽名(Wave Kernel Signature，WKS)[14]以及將二者融合的描述符[15]等。雖然選取最優(yōu)模型特征描述符的對應(yīng)關(guān)系計算方法比直接計算點到點映射方法的效率大幅提高，但該類方法大多存在魯棒性差、人工設(shè)計的描述符良莠不齊、嚴重依賴專家經(jīng)驗且易受模型自身對稱性、拓撲結(jié)構(gòu)改變等影響而導致對應(yīng)結(jié)果準確率低的問題。

函數(shù)映射方法[7]由OVSJANIKOV 等首次提出，目的是解決非剛性模型對應(yīng)關(guān)系計算問題。研究者在后續(xù)研究中不斷拓展與探究[16]，將函數(shù)映射方法應(yīng)用在解決殘缺模型對應(yīng)關(guān)系計算[17]、模型簇對應(yīng)關(guān)系計算[18]、切向量場的泛函表示[19]等問題上。相比單純計算復雜的、非線性的點到點映射，函數(shù)映射能獲得更準確的對應(yīng)關(guān)系。雖然該方法將點到點的映射簡化為線性方程組的求解，但是基于該理論的計算方法過度依賴特征描述符的選擇，僅適用于完全等距的三維模型，且產(chǎn)生的映射不具備雙射性，無法得到準確的紋理映射結(jié)果。REN等[20]提出一種利用函數(shù)映射框架計算非剛性模型間對應(yīng)關(guān)系的方法，通過添加連續(xù)性和方向性等約束，以獲得高質(zhì)量的函數(shù)映射，但該方法優(yōu)化步驟復雜，計算復雜度高。文獻[21]提出了一種校準三維幾何模型之間基矩陣的對應(yīng)關(guān)系計算方法，將模型間對應(yīng)關(guān)系的構(gòu)建轉(zhuǎn)化為由模型特征函數(shù)構(gòu)建的基矩陣之間的校準運算，但當模型產(chǎn)生形變時，將導致模型間的基函數(shù)出現(xiàn)不一致的情況，進而無法得到準確的對應(yīng)關(guān)系。WU等[22]針對非剛性三維殘缺模型的對應(yīng)關(guān)系問題，提出一種基于全頻譜特征值對齊和上采樣細化的三維模型部分函數(shù)映射新方法，但該方法的定位正則化項需要大量的特征值來參與運算才能獲得準確的對應(yīng)關(guān)系，且也不支持非等距殘缺模型的對應(yīng)關(guān)系計算。

近年來，隨著深度學習技術(shù)的發(fā)展，研究者開始嘗試將其應(yīng)用在模型間對應(yīng)關(guān)系的計算中，主要通過訓練深度學習網(wǎng)絡(luò)以提取特征描述符和學習構(gòu)建對應(yīng)關(guān)系。HUANG等[23]采用多視圖神經(jīng)網(wǎng)絡(luò)來獲取模型局部描述符，通過局部描述符構(gòu)建等距模型間準確的對應(yīng)關(guān)系。然而，對于近似等距和非等距模型，由于幾何拓撲結(jié)構(gòu)發(fā)生較大變化，經(jīng)學習后產(chǎn)生的模型間對應(yīng)關(guān)系準確率不高。CHEN等[24]提出一種基于深度三重卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合學習模型特征描述符的方法來計算三維模型對應(yīng)關(guān)系，通過生成局部的、基于點的、更具區(qū)分性的模型特征描述符來提高對應(yīng)關(guān)系的準確率，但該方法使用固定大小和數(shù)量的局部區(qū)域來生成多尺度特征，對于不同的三維模型，局部區(qū)域大小和數(shù)量的選擇需要結(jié)合其結(jié)構(gòu)來重新考慮，導致該方法泛化能力不佳。GROUEIX等[25]提出一種基于模板的編-解碼器深度網(wǎng)絡(luò)，編碼器模型變形網(wǎng)絡(luò)生成全局模型描述符，解碼器模型變形網(wǎng)絡(luò)使用全局描述符將模板上的點映射回原始模型。然而，該方法對應(yīng)關(guān)系的結(jié)果嚴重依賴設(shè)計模板的質(zhì)量，對于不同數(shù)據(jù)集則需要重新設(shè)計特定的模板。

為了利用上述3類方法各自計算對應(yīng)關(guān)系的優(yōu)勢，越來越多的研究者致力于探究如何將三者有機地結(jié)合在一起。LITANY等[26]將深度學習技術(shù)與函數(shù)映射理論相結(jié)合，提出深度函數(shù)映射網(wǎng)絡(luò)，將對應(yīng)關(guān)系計算直接作為學習過程的一部分，通過任務(wù)驅(qū)動的特征描述符學習方式得到更為準確、涵蓋信息更全面的模型特征描述符，但該方法需要大量的帶標簽數(shù)據(jù)進行訓練以獲得準確的對應(yīng)關(guān)系，而正確的帶標簽數(shù)據(jù)的獲取需要耗費大量的時間和人力成本。CORMAN等[27]提出在函數(shù)映射框架的基礎(chǔ)上尋找最優(yōu)的特征描述符集，但該方法需要真實對應(yīng)關(guān)系進行監(jiān)督學習，而真實對應(yīng)關(guān)系稀缺且獲取代價昂貴。ROUFOSSE等[28]提出一種無監(jiān)督學習方法計算模型間的對應(yīng)關(guān)系，利用函數(shù)映射框架，通過計算給定描述符函數(shù)的非線性變換獲得函數(shù)映射結(jié)果，同時優(yōu)化所得映射的全局結(jié)構(gòu)屬性，但當模型受拓撲噪聲影響時，模型匹配率將大幅下降。HALIMI等[29]提出一種無監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)，用模型的幾何約束代替模型間真實對應(yīng)關(guān)系，定義無監(jiān)督損失函數(shù)來評估對應(yīng)關(guān)系的準確性，可以減少對帶標簽數(shù)據(jù)的依賴，但該方法對模型的局部尺度變化和拓撲變化敏感，對于近似等距和非等距的模型會產(chǎn)生不準確的對應(yīng)關(guān)系。

從廣義上來說，現(xiàn)有的深度函數(shù)映射方法主要包括特征提取器、基函數(shù)的選擇以及對函數(shù)映射的正則化約束，其存在的主要問題有：(1)需要大量的訓練數(shù)據(jù)或人工制作的特征描述符作為輸入，導致時間復雜度和計算復雜度增大，且提取到的模型特征信息有限。(2)無法有效地解決模型因自身對稱性影響對應(yīng)關(guān)系計算問題。(3)大多數(shù)算法適用于等距模型，對近似等距和非等距模型的對應(yīng)關(guān)系計算效果不佳，算法的泛化能力較差。為解決現(xiàn)有方法所存在的局限，以實現(xiàn)高精度三維模型對應(yīng)關(guān)系計算為主要研究目標，筆者基于深度學習網(wǎng)絡(luò)，對近似等距非剛性的三維模型對應(yīng)關(guān)系計算方法進行了探索。

2 函數(shù)映射及結(jié)構(gòu)正則化約束

2.1 函數(shù)映射

(1)

(2)

又根據(jù)

(3)

可從式(3)中得以下結(jié)論：

(4)

因此可以通過式(4)來求出系數(shù){cij}，而得到由系數(shù){cij}構(gòu)成的矩陣C就可以求出最終映射TF，也就是說，通過求解矩陣C可以構(gòu)建兩模型的映射關(guān)系T。

綜上所述，可以將基于函數(shù)映射的對應(yīng)關(guān)系計算方法歸納為以下4個步驟：

步驟3 通過計算以下優(yōu)化問題來得到最終的函數(shù)映射矩陣C：

(5)

其中，Edesc(CMN)為描述符保留項，Ereg(CMN)為正則化項，Λm和ΛN分別是源模型M和目標模型N的拉普拉斯-貝爾特拉米特征值的對角矩陣，α是標量權(quán)重參數(shù)。

步驟4 通過函數(shù)映射矩陣C恢復到點到點的映射T，即將映射從譜域轉(zhuǎn)換到空間域。

2.2 深度函數(shù)映射

雖然函數(shù)映射的方法簡單而有效，但它依賴于特征描述符的初始選擇。隨著數(shù)據(jù)驅(qū)動技術(shù)的發(fā)展，為了減少這種依賴，研究者們嘗試從數(shù)據(jù)中學習最佳初始特征描述符，如文獻[26-29]。這些研究的目的都是學習一組給定特征描述符的非線性變換，使得計算出的最佳映射盡可能地接近在訓練期間給出的真實對應(yīng)關(guān)系。這種變換既可以在有監(jiān)督損失的情況下學習，如文獻[26-27]，也可以在無監(jiān)督損失的情況下學習，如文獻[28-29]。

函數(shù)映射方法與深度學習的結(jié)合源于文獻[26]。2017年，LITANY等首次提出了深度函數(shù)映射網(wǎng)絡(luò)(Deep Functional Maps Networks，DFMNet)，專注于解決以下優(yōu)化問題：

(6)

2.3 結(jié)構(gòu)正則化約束

雖然DFMNet可以構(gòu)建高度精確的對應(yīng)關(guān)系，但其僅適用于模型存在高質(zhì)量真實對應(yīng)關(guān)系作為監(jiān)督的情況，而且計算模糊映射損失需要所有點對的測地距離，這使得它的計算代價昂貴。為解決此問題，研究者們對模型進行結(jié)構(gòu)屬性約束來代替計算lF，如雙射性約束[30]、正交性約束[31]、拉普拉斯算子的交換性約束[32]等。

雙射性約束是給定一對模型，從源模型到目標模型的函數(shù)映射矩陣和從目標模型到源模型的函數(shù)映射矩陣為互逆矩陣。通過使兩者之間的乘積趨于單位矩陣來實現(xiàn)。該約束定義如下：

E1=‖CMNCNM-I‖2+‖CNMCMN-I‖2，

(7)

其中，CMN為從模型M到N的函數(shù)映射矩陣，CNM為從模型N到M的函數(shù)映射矩陣，I為單位矩陣。

正交性約束是給定一對模型，當且僅當它們之間的函數(shù)映射矩陣正交時，點到點的映射結(jié)果才能保持局部最優(yōu)。該約束定義如下：

(8)

拉普拉斯算子的交換性約束是給定一對模型，通過將拉普拉斯算子與函數(shù)映射矩陣進行交換，以確保模型之間近似等距。該約束定義如下：

(9)

其中，R(Δγ)表示基于拉普拉斯-貝爾特拉米算子構(gòu)建的能量約束矩陣；Δγ表示拉普拉斯-貝爾特拉米自伴算子的γ次方，γ取值為0.5，r∈R，s∈R，i為虛數(shù)單位。

3 混合監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)

針對現(xiàn)有三維模型對應(yīng)關(guān)系計算方法的不足，結(jié)合經(jīng)典函數(shù)映射理論與數(shù)據(jù)驅(qū)動技術(shù)，構(gòu)建一種混合監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)。該框架如圖1所示，主要由弱監(jiān)督特征提取模塊、無監(jiān)督函數(shù)映射模塊、后處理模塊組成。

混合監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)對應(yīng)關(guān)系計算方法的具體實現(xiàn)步驟如下：

(1) 將一對三維點云模型(源模型M和目標模型N)輸入到弱監(jiān)督特征提取模塊中，通過弱監(jiān)督學習后直接從原始三維幾何模型中提取特征，獲得信息量更豐富的特征。

(3) 計算兩個模型間的函數(shù)映射關(guān)系，即通過最小二乘法計算出函數(shù)映射矩陣C，再利用加權(quán)結(jié)構(gòu)正則化約束項來獲得最優(yōu)函數(shù)映射矩陣Copt。

(4) 將得到的最優(yōu)函數(shù)映射矩陣Copt輸入到后處理模塊中，使用頻譜迭代上采樣ZoomOut算法恢復到點到點的映射關(guān)系。

3.1 弱監(jiān)督特征提取模塊

本模塊主要實現(xiàn)三維模型的特征提取。主要步驟如下：

第1步，采取弱監(jiān)督的方式來使源模型和目標模型近似剛性對齊，從而規(guī)避對代價昂貴的模型間真實對應(yīng)關(guān)系的需求和解決因模型自身對稱性影響對應(yīng)關(guān)系計算準確性的問題。具體來講，通過弱監(jiān)督學習中的不完全監(jiān)督學習將點云目標模型的y軸和z軸方向與源模型方向保持一致，對輸入的模型進行剛性變，換使得非剛性模型近似剛性對齊，以解決特征提取器無法區(qū)分模型左右對稱部件而導致不能準確對應(yīng)的問題。

第2步，通過共享學習參數(shù)的孿生神經(jīng)網(wǎng)絡(luò)來提取源模型M與目標模型N的特征。由于點云數(shù)據(jù)能夠準確、直觀地描述三維模型，筆者提出的算法可直接從原始的點云模型中提取特征。特征提取網(wǎng)絡(luò)是基于PointNet++[33]中提出的網(wǎng)絡(luò)模型。首先，利用最遠點采樣法進行隨機采樣；其次，從小的鄰域中提取帶有精細幾何結(jié)構(gòu)信息的局部特征，這些局部特征被進一步分組為更大的單元，通過層級迭代的方式不斷生成更高級別的特征，最終得到一組全局特征。特征提取網(wǎng)絡(luò)包含4個采樣層和4個特征傳播層，其中采樣層第一層對每個模型采樣1 024個點，特征傳播層最后一層為每個模型輸出128維特征。

3.2 無監(jiān)督函數(shù)映射模塊

L=α1E1+α2E2+α3E3，

(10)

其中，E1為雙射性約束，E2為正交性約束，E3為拉普拉斯算子的交換性約束。通過大量實驗，得出各約束相應(yīng)的權(quán)重值，分別設(shè)置為α1=1，α2=1，α3=0.001。

3.3 后處理模塊

函數(shù)映射算法的最后一步是將函數(shù)映射矩陣C轉(zhuǎn)換為逐點映射。通過迭代譜信息上采樣的方式來恢復逐點映射。這種簡單而高效的映射精細化過程被稱為ZoomOut算法[34]。該算法在初始映射矩陣上引入新的固定數(shù)值的模型特征基，從而通過這種在譜域中增加采樣的方式，逐步獲得更大的函數(shù)映射矩陣。具體來說，對于輸入大小為kM×kN的函數(shù)映射矩陣C，將其擴展得到大小為(kM+1)×(kN+1)的函數(shù)映射矩陣C1。要實現(xiàn)這一目標，只需進行兩步操作：

第1步，通過下式計算得到源模型M上任意點p到目標模型N上與之對應(yīng)點q之間的映射T，并將其進行編碼為矩陣П：

(11)

其中，ΦN(q)和ΦM(p)分別表示特征向量矩陣ΦN的第q行、ΦM的第p行，且C=(ΦN)TΠΦM。

ZoomOut算法避免了迭代最近點匹配算法需要計算點對之間歐氏距離的問題，并且即使對于給定非常小且有噪聲的輸入矩陣，也能獲得準確的逐點映射關(guān)系。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境及參數(shù)設(shè)置

本實驗的軟件環(huán)境為Linux Ubuntu 16.04操作系統(tǒng)，硬件支撐為i9-9900k CPU和NVIDIA GeForce RTX2080Ti GPU(11GB顯存)處理器。運算平臺為CUDA-Toolkit 9.0版本，采用Cudnn7.6.5作為網(wǎng)絡(luò)的GPU加速器，深度學習框架為TensorFlow-GPU，版本號為1.13，編程語言為Python 3.7。

在實驗中設(shè)置Batch Size為8，初始學習率為0.000 1。使用ADAM優(yōu)化器，學習率衰減指數(shù)為0.7，衰減速度為200 000，網(wǎng)絡(luò)訓練過程迭代10 000次。

4.2 實驗數(shù)據(jù)集

為了驗證筆者提出的算法計算對應(yīng)關(guān)系的準確性和網(wǎng)絡(luò)的泛化能力，實驗選用3個標準公開數(shù)據(jù)集，即FAUST數(shù)據(jù)集[35]、SCAPE數(shù)據(jù)集[36]和SURREAL數(shù)據(jù)集[37]來對筆者提出的算法進行定量和定性評估。FAUST數(shù)據(jù)集中包含100個人體模型，選取前80個進行訓練，后20個進行測試；SCAPE數(shù)據(jù)集包含71個人體模型，選取前51個進行訓練，后20個進行測試。對于FAUST和SCAPE數(shù)據(jù)集，筆者對其進行重新網(wǎng)格化處理，一方面在提高網(wǎng)格元素質(zhì)量的同時降低了網(wǎng)格的復雜度，另一方面使得模型不同的網(wǎng)格不再是一對一的對應(yīng)，可以更好地評估算法的對應(yīng)關(guān)系準確率和泛化能力。SURREAL是一個對人體運動數(shù)據(jù)進行捕捉再進行三維序列渲染之后所合成的大規(guī)模數(shù)據(jù)集。該數(shù)據(jù)集包含23萬個人體模型，并結(jié)合對真實人體體型和姿態(tài)變化學習的SMPL模型(Skinned Multi-Person Linear model)來保證模型的真實度。筆者選取該數(shù)據(jù)集的500個模型作為訓練集，以在不同數(shù)據(jù)集上測試所提算法的泛化能力。

4.3 實驗結(jié)果與分析

(1)定性實驗。圖2與圖3分別是筆者提出的算法與3D-CODED算法[25]、DFMNet算法[26]、SURFMNet算法[28]和Unsup FMNet算法[29]在FAUST和SCAPE數(shù)據(jù)集上構(gòu)建的人體類內(nèi)模型和類間模型的對應(yīng)關(guān)系結(jié)果對比。

SCAPE數(shù)據(jù)集比FAUST數(shù)據(jù)集更具挑戰(zhàn)性，因為在SCAPE數(shù)據(jù)集中模型的姿態(tài)更豐富，所包含的特征也比FAUST數(shù)據(jù)集中的少。筆者還進一步通過對比紋理傳輸?shù)慕Y(jié)果展示了定性實驗的結(jié)果。圖4與圖5分別是筆者提出的算法與其他算法在FAUST和SCAPE數(shù)據(jù)集上構(gòu)建的紋理傳輸對應(yīng)關(guān)系結(jié)果。紋理傳輸是把一幅圖像貼到三維模型的表面來增強真實感，可以更好地展示出所得映射的局部失真情況。

從圖4和圖5可以得出，筆者提出的算法與其他算法相比具有更高的對應(yīng)關(guān)系來構(gòu)建準確率，所得到的紋理映射也最接近映射的實際情況。原因主要有：(1) 通過弱監(jiān)督學習可以使源模型與目標模型近似剛性對齊，解決了對應(yīng)關(guān)系計算結(jié)果受模型自身對稱性影響的問題。(2) 由于點云數(shù)據(jù)具有置換不變性以及幾何不變性的特點，直接從原始點云數(shù)據(jù)中提取到的特征包含更豐富的信息。(3) 通過施加加權(quán)正則化約束項得到更優(yōu)的函數(shù)映射矩陣，進而對輸入的近似等距非剛性模型生成更精確的對應(yīng)關(guān)系。(4) 在恢復逐點映射時所采用的ZoomOut算法使得所得映射關(guān)系更加準確，更加接近實際情況。而3D-CODED算法由于嚴重依賴模板的質(zhì)量，當模型拓撲結(jié)構(gòu)發(fā)生改變時，類內(nèi)模型與類間模型上均出現(xiàn)大量錯誤對應(yīng)。DFMNet算法由于訓練時對帶標簽數(shù)據(jù)的依賴以及未對函數(shù)映射添加正則化約束項，極易受到模型自身對稱性的影響，導致在類內(nèi)模型與類間模型的手部與腿部均出現(xiàn)錯誤對應(yīng)。SURFMNet算法與Unsup FMNet算法雖然比上述方法獲得了更好的對應(yīng)結(jié)果，但由于SHOT描述符對拓撲結(jié)構(gòu)改變敏感，這兩種算法在類間模型上均出現(xiàn)不同程度的局部錯誤對應(yīng)。綜上所述，定性結(jié)果表明了筆者提出的算法所構(gòu)建的對應(yīng)關(guān)系準確性更高，連續(xù)性更好，充分證明了這種算法的優(yōu)越性。

(2)定量實驗。利用歸一化測地距離(Normalized Geodesic Distance，NGD)[38]對模型的對應(yīng)關(guān)系質(zhì)量進行定量評估。假設(shè)計算出一對模型的對應(yīng)關(guān)系為(p，q)∈M×N，其真實對應(yīng)關(guān)系為(p，q*)，則二者之間的測地誤差計算公式如下：

(12)

其中，DN(q，q*)表示目標模型N上的點q與真實對應(yīng)點q*之間的測地距離，S(N)為目標模型N的表面積。

為進一步評價文中算法與3D-CODED算法、DFMNet算法、SURFMNet算法、Unsup FMNet算法的對應(yīng)關(guān)系計算結(jié)果，將不同算法在FAUST數(shù)據(jù)集和SCAPE數(shù)據(jù)集上的平均測地誤差對比結(jié)果在表1給出。

表1 不同算法的平均測地誤差

從表1可以看出，與3D-CODED算法、DFMNet算法、SURFMNet算法、Unsup FMNet算法相比，文中算法構(gòu)建的對應(yīng)關(guān)系平均測地誤差在FAUST數(shù)據(jù)集上分別減小了0.013、0.051、0.034和0.036，在SCAPE數(shù)據(jù)集上分別減小了0.344、0.304、0.104和0.084，這充分驗證了文中算法計算近似等距非剛性三維模型對應(yīng)關(guān)系的能力。

通過繪制測地誤差曲線來進一步展示定量結(jié)果。文中算法與不同算法在FAUST、SCAPE數(shù)據(jù)集上的測地誤差對比曲線如圖6所示。

由圖6可知，在FAUST數(shù)據(jù)集上，筆者提出的算法有57.4%的對應(yīng)關(guān)系沒有測地誤差，有93.5%的對應(yīng)關(guān)系的測地誤差小于0.02。當誤差接近0.04時，該算法的對應(yīng)關(guān)系準確率達到100%。在SCAPE數(shù)據(jù)集上，筆者提出的算法有8.1%的對應(yīng)關(guān)系沒有測地誤差，有88.25%的對應(yīng)關(guān)系的測地誤差小于0.04。當誤差接近0.1時，該算法的對應(yīng)關(guān)系準確率達到100%。

表2為文中算法與3D-CODED算法、DFMNet算法、SURFMNet算法和Unsup FMNet算法在FAUST和SCAPE數(shù)據(jù)集上計算一對模型對應(yīng)關(guān)系所需的平均運行時間對比結(jié)果?？傮w運行時間主要由3個階段構(gòu)成：在預處理階段，3D-CODED算法需要對模型進行旋轉(zhuǎn)和縮放等剛性變換，DFMNet算法、SURFMNet算法、Unsup FMNet算法及筆者提出的算法都需要計算模型的拉普拉斯算子的特征值和特征向量，而DFMNet算法還需要計算每個模型的測地距離矩陣。在訓練和測試階段，3D-CODED算法由于網(wǎng)絡(luò)參數(shù)量較大，所以需要耗費較長的計算時間；DFMNet算法需要使用成對的測地距離矩陣來計算軟映射損失，所以耗時最長；而SURFMNet算法、Unsup FMNet算法和筆者提出的算法都是使用無監(jiān)督損失函數(shù)來對網(wǎng)絡(luò)進行優(yōu)化。在后處理階段，3D-CODED算法使用K最近鄰(K-Nearest Neighbor，KNN)算法得到最終的對應(yīng)關(guān)系，DFMNet算法、SURFMNet算法、Unsup FMNet算法及筆者提出的算法都是將得到的函數(shù)映射矩陣恢復至逐點映射。不同的是，DFMNet算法和Unsup FMNet算法使用的是PMF(Product Manifold Filter)算法，SURFMNet算法使用的是ICP算法，而筆者則使用ZoomOut算法，耗時比ICP算法長，比PMF算法短，但效果均優(yōu)于這兩種算法。所以，總體的運行時間，筆者提出的算法和SURFMNet算法以及Unsup FMNet算法處于同一數(shù)量級，而3D-CODED算法和DFMNet算法總體時間要遠遠超過那3種算法。綜上所述，筆者提出的算法在獲得準確對應(yīng)關(guān)系的前提下，在計算時間上也具備一定的優(yōu)勢。

表2 不同算法的運行時間比較s

(3)消融實驗。表3為筆者提出的算法在SURREAL數(shù)據(jù)集上進行訓練，在FAUST和SCAPE數(shù)據(jù)集上進行測試的消融實驗結(jié)果。表3中的數(shù)據(jù)為測地誤差。通過在弱監(jiān)督對齊的情況下只添加約束項E1、約束項E2、約束項E3以及添加加權(quán)正則化約束項L和未在弱監(jiān)督對齊情況下只添加加權(quán)正則化約束項LN這5種不同的設(shè)置進行實驗?？梢钥闯?，在訓練數(shù)據(jù)較少時，進行弱監(jiān)督對齊和添加加權(quán)正則化約束可顯著提高對應(yīng)關(guān)系的準確率，進一步證明了筆者提出算法的有效性。此外，約束項E3對對應(yīng)關(guān)系準確率的影響最大。綜上所述，筆者提出的算法在訓練數(shù)據(jù)有限的情況下仍能獲得準確的對應(yīng)關(guān)系，網(wǎng)絡(luò)的魯棒性更強，在不同數(shù)據(jù)集上泛化能力更好。

表3 消融實驗結(jié)果

5 結(jié)束語

模型間的對應(yīng)關(guān)系計算是計算機視覺和計算機圖形學領(lǐng)域的研究熱點與難點問題。筆者提出了一種采用混合監(jiān)督深度函數(shù)映射網(wǎng)絡(luò)計算近似等距非剛性三維模型對應(yīng)關(guān)系的方法。首先對輸入的原始點云模型進行弱監(jiān)督學習以達到近似剛性對齊的效果，進而輸入到特征提取模塊中從原始的三維點云模型中學習特征；然后在無監(jiān)督函數(shù)映射模塊中對提取到的特征進行轉(zhuǎn)換以獲得所需的譜描述符，接著利用函數(shù)映射方法和加權(quán)正則化約束得到最優(yōu)的函數(shù)映射矩陣；最后在后處理模塊中將得到的最優(yōu)函數(shù)映射矩陣恢復到逐點映射。在FAUST、SCAPE和SURREAL數(shù)據(jù)集上進行的實驗結(jié)果表明，在不需要真實對應(yīng)關(guān)系作為監(jiān)督以及在訓練數(shù)據(jù)有限的情況下，筆者提出的算法均取得優(yōu)于目前主流算法的對應(yīng)關(guān)系計算結(jié)果。

然而，這種算法仍存在進一步改進之處。如何解決更普遍的模型間對應(yīng)關(guān)系問題，如單體模型與模型簇之間以及異質(zhì)模型之間的對應(yīng)關(guān)系計算問題、完整模型與殘缺模型之間以及殘缺模型與殘缺模型之間的對應(yīng)關(guān)系計算問題等，是今后需要繼續(xù)研究的方向。