雙層CNN三維剛性與非剛性模型相似性分析

羅林 阮文靜 莊濟滔

摘 要：三維模型相似性分析是計算機視覺中的重點問題，如何構(gòu)建其形狀特征和對比函數(shù)是難點。隨著深度學(xué)習(xí)出現(xiàn)，通過神經(jīng)網(wǎng)絡(luò)自動提取模型特征成為研究熱點。構(gòu)建了雙層CNN網(wǎng)絡(luò)，首先利用熱核特征函數(shù)分別構(gòu)建帶有顏色的剛性和非剛性訓(xùn)練集與測試集，其次將數(shù)據(jù)集通過雙層CNN網(wǎng)絡(luò)進行模型訓(xùn)練，第一層實現(xiàn)類別初步判定，第二層實現(xiàn)同一模型剛性與非剛性形變區(qū)分。為了提高分類準(zhǔn)確度，對初步分類錯誤的模型引入閾值判定，將其直接排除。通過實驗分析，雙層CNN網(wǎng)絡(luò)剛性與非剛性的判別準(zhǔn)確率達到99%。實驗證明，該方法在模型相似性分析上是魯棒的，且提取的特征不受人工干擾。

關(guān)鍵詞：三維模型;相似性分析;形狀特征;CNN;熱核特征

DOI：10. 11907/rjdk. 182493

中圖分類號：TP301

文獻標(biāo)識碼：A文章編號：1672-7800（2019）006-0029-06

Abstract： Three-dimensional （3D） model similarity analysis is a key issue in computer vision. How to construct the shape feature and analysis function of the 3D model is a challenging problem. With the advent of deep learning， it is a hot topic to extract model features automatically through the neural network. Therefore， the paper proposes a two-layer CNNs. Firstly， we construct a rigid and non-rigid training set and test set with color by the heat kernel signature （HKS）. Then a two-layer CNNs with the constructed training set is trained. The first layer of CNN implements the preliminary classification for 3D models， and the second layer achieves the distinction between the rigid and non-rigid deformation of the same model. Finally， in order to improve the accuracy of classification， the threshold is presented for excluding the 3D models directly，by which they have an error classification after the preliminary classification. The two-layer CNNs constructed in our paper has an accuracy of 99% in classification of rigid and non-rigid deformation through the experiments. The proposed method is robust in the similarity analysis of the model， and the extracted features are not subject to artificial interference.

Key Words：three-dimensional model; similarity analysis; shape feature; CNN; HKS

0 引言

近年來，隨著多媒體技術(shù)飛速發(fā)展，三維模型廣泛應(yīng)用于工業(yè)產(chǎn)品設(shè)計、虛擬現(xiàn)實、影視動畫。例如，醫(yī)療行業(yè)用三維模型制作器官的精確模型、建筑行業(yè)用三維模型展示建筑物或者風(fēng)景表現(xiàn)等[1-2]。每天都有大量三維模型產(chǎn)生和傳播，因此對三維模型進行分析、匹配與檢索存在迫切需求[3]。由于存在拓撲關(guān)系，三維模型在變形時會導(dǎo)致模型發(fā)生變異。因此，其相似性分析主要分為剛性模型和非剛性模型兩大類。剛性模型主要變換有旋轉(zhuǎn)、平移、縮放以及映射等，變換前后模型內(nèi)部點的相對位置不發(fā)生改變，而非剛性模型則具有鉸鏈結(jié)構(gòu)，模型的形狀變化也會多種多樣，不僅能進行旋轉(zhuǎn)、平移、縮放等剛性形變，還能發(fā)生連接關(guān)系改變，因此非剛性模型相似性分析存在更高的技術(shù)難度[4]。目前，比較成熟且常見的檢索系統(tǒng)主要針對剛性模型，而近年來非剛性模型相似性以及檢索系統(tǒng)研究也越來越受到學(xué)者關(guān)注[5]。

目前常用的三維模型相似性分析算法有形狀直方圖、擴展高斯圖像和函數(shù)分析等[6-8]。隨著深度學(xué)習(xí)技術(shù)出現(xiàn)，人工提取特征的局限性越來越明顯，上述算法不再適合三維模型相似性分析。但是，仍有許多研究將其應(yīng)用在模型預(yù)處理等工作上。例如，Chen等[9]提出基于視覺的三維模型檢索系統(tǒng)，首先將視點布置在正十二面體上，然后通過旋轉(zhuǎn)正十二面體得到不同視角下的二維投影圖像，通過比較不同模型所得圖像進行相似性分析。二維投影確實可以表達三維模型的整體形狀，但是不能較精確地表達三維模型的局部信息。因此，Hang 等[10]提出了多視角下CNN網(wǎng)絡(luò)構(gòu)建方法，通過多個視點，構(gòu)建多張視角圖片作為CNN網(wǎng)絡(luò)的輸入向量，將二維圖像特征通過CNN網(wǎng)絡(luò)提取為更豐富的高級特征，從而提高模型檢索準(zhǔn)確度。李重等[11]提出基于骨架的蛋白質(zhì)三維模型相似性分析方法，通過提取模型拓撲骨架，獲取比較特征值，基于距離函數(shù)對模型進行相似性分析。該類算法的核心是通過提取三維模型某一方面特征（如形狀、拓撲和二維投影等），將其映射到特征向量空間。由于這些方法提取的是三維模型的整體特征，所以只能在整體級別上對三維模型進行較為粗糙的比較，無法實現(xiàn)精確的局部細節(jié)特征級別相似性比較。針對模型的局部特征問題，Smeets 等[12]將二維尺度不變特征轉(zhuǎn)換（Scale Invariant Feature Transform，SIFT）特征描述方法擴展到三維網(wǎng)格空間，提出了基于MeshSIFT的三維模型局部特征提取方法。因此，目前眾多研究人員開始關(guān)注如何構(gòu)建更加高級且豐富的模型特征，從而在檢索中提高其準(zhǔn)確度。結(jié)合深度學(xué)習(xí)技術(shù)進行三維模型形狀相似性分析引發(fā)了眾多科研工作者關(guān)注，例如，Wang等[13]提出基于八叉樹CNN網(wǎng)絡(luò)的三維模型形狀分析方法，通過八叉樹表征三維模型數(shù)據(jù)，輸入到CNN網(wǎng)絡(luò)中對模型進行分析。Masci等[14]提出GCNN方法，直接將三維形狀看成二維流形（Manifold），頂點之間的距離不再是歐氏距離，而是在極坐標(biāo)系下定義的測地線距離，該網(wǎng)絡(luò)結(jié)構(gòu)可以在流形上進行任意變化，模型檢索結(jié)果較好。

但是，上述方法對于模型的非剛性變化基本無效。結(jié)合深度學(xué)習(xí)進行非剛性模型檢索的優(yōu)秀文章目前極少，大多數(shù)研究仍然采用人工特征提取方法進行非剛性模型分析。例如，萬雅娟[15]提出基于幾何特征的非剛性三維模型檢索方法，因測地線距離的幾何特征具備等距不變性，該特性適用于非剛性三維模型檢索。但是，該算法需要在模型表面進行采樣點選取， 如果采樣點不均衡，提取到的模型特征不足以充分描述該模型形狀，其檢索度將會降低。因此，該作者針對該問題提出了基于形狀特征的興趣點均衡選取算法，首先均勻選取采樣點，然后計算其測地線距離，統(tǒng)計分布直方圖，最后根據(jù)直方圖進行匹配檢索。賴龍等[16]提出一種多特征融合的非剛性三維模型匹配算法，先計算待融合特征的信息熵，將該信息熵轉(zhuǎn)化成權(quán)值，對單一特征下模型間相似度進行加權(quán)融合，將最終得到的相似度作為新的模型間相似度。

面對非剛性變化的豐富多樣性，現(xiàn)有特征提取算法都有其適應(yīng)性以及局限性，如果只是人工提取特征，其局限性和特征提取的不完整性終會導(dǎo)致檢索準(zhǔn)確度降低。針對非剛性模型的這一難點，本文考慮剛性和非剛性模型特性，提出基于雙層CNN對三維模型進行相似性分析，而傳統(tǒng)CNN網(wǎng)絡(luò)只支持二維圖片輸入，因此如何構(gòu)建合適的輸入特征以及分析函數(shù)是重點和難點。同時，不同輸入特征也決定了網(wǎng)絡(luò)層數(shù)的深度和廣度，面對眾多三維模型，不可能每天都進行訓(xùn)練和學(xué)習(xí)。因此本文在三維模型相似性分析上，不僅能在模型形變基礎(chǔ)上對模型進行識別，還能對該模型是發(fā)生了剛性形變還是非剛性形變進行判斷，同時訓(xùn)練時間較短，識別效果較優(yōu)，研究具有一定實踐意義。

1 數(shù)據(jù)集構(gòu)建

如何構(gòu)建適合深度學(xué)習(xí)CNN網(wǎng)絡(luò)的輸入特征，是本文研究重點，因此從建立三維模型的數(shù)據(jù)集出發(fā)，結(jié)合熱核特征等距不變性，對三維模型進行著色處理。將模型著色處理后，采取不同視點角度，在x0y平面上得到不同二維圖像，將其作為數(shù)據(jù)集。二維圖像可以很好地表達模型的整體特征，而通過熱核特征計算的顏色特征可以描述模型的拓撲變化以及局部特性，不同視角下的圖片表征了三維模型的視角變化。

熱核特征（HKS）由Sun等[17]在2009年提出，它是基于Laplace-Beltrami算子的形狀描述子。因為HKS對于三維模型的變化比較敏感，當(dāng)三維模型進行非剛性變化后，對應(yīng)模型的點的HKS值會有較大變化，相應(yīng)的顏色填充較剛性形變模型也會發(fā)生較大變化，如圖1所示。該特點能夠很好地對三維模型剛性變化與非剛性變化進行區(qū)分，對于三維模型剛性和非剛性相似性分析有較好魯棒性。根據(jù)文獻[17]中HKS特征計算公式得到三維模型的HKS特征值，按照HKS特征值自定義區(qū)間顏色范圍，對各區(qū)間用不同顏色進行著色處理，如圖1所示。

由圖2可以看到，當(dāng)模型進行剛性變化后，其顏色與原模型顏色接近一致，圖2（a）的RGB值為[127，83，80]，圖2（b）的RGB值為[128，85，76]，兩個模型RGB值非常接近。而非剛性變化后的模型顏色差異比較明顯，圖2（c）的RGB值為[173，111，25]，因此3個模型通過顏色能夠更加直觀地進行分析，為后續(xù)CNN網(wǎng)絡(luò)模型訓(xùn)練提供了保證。最后將三維模型置于不同視點下，使用Matlab得到不同角度下三維模型的二維視圖，如圖3所示。本文采用的三維模型為McGill模型集[18]，構(gòu)建的數(shù)據(jù)集有剛性數(shù)據(jù)集（圖3左）和非剛性數(shù)據(jù)集（圖3右），數(shù)據(jù)集中每張圖片的數(shù)值表示為三維模型在[i， j， k]方位角下的二維圖片。

2 雙層CNN網(wǎng)絡(luò)構(gòu)建

深度學(xué)習(xí)技術(shù)出現(xiàn)之前，人工對圖片識別保持著較高準(zhǔn)確度，但存在耗費大量人力以及效率低的問題[19]。而深度學(xué)習(xí)的出現(xiàn)很大程度上解決了該問題，其網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)斎氲骄W(wǎng)絡(luò)中的數(shù)據(jù)集進行分析并學(xué)習(xí)數(shù)據(jù)的分布性特征，通過加深網(wǎng)絡(luò)中的層數(shù)使得網(wǎng)絡(luò)能夠?qū)W習(xí)到更抽象的數(shù)據(jù)特征，訓(xùn)練完成后的深度學(xué)習(xí)網(wǎng)絡(luò)具有自動分析識別數(shù)據(jù)能力。

首先，利用數(shù)據(jù)集構(gòu)建方法，構(gòu)建兩分類（鉗子和飛機模型）的顏色數(shù)據(jù)集，如圖4所示。同時上文已構(gòu)建了鉗子的剛性和非剛性數(shù)據(jù)集，如圖3所示。本文在兩類數(shù)據(jù)集基礎(chǔ)上，構(gòu)建雙層CNN網(wǎng)絡(luò)，每層CNN網(wǎng)絡(luò)層數(shù)都為6，如圖5所示。其次，根據(jù)兩類數(shù)據(jù)集分別訓(xùn)練2層CNN網(wǎng)絡(luò)模型，將兩分類顏色數(shù)據(jù)集放入單層CNN網(wǎng)絡(luò)中進行模型訓(xùn)練，直至可以準(zhǔn)確地將不同模型進行分類;分別將兩分類模型的剛性和非剛性數(shù)據(jù)集放入另一單層CNN網(wǎng)絡(luò)中進行相應(yīng)模型訓(xùn)練，直至可以準(zhǔn)確地將兩分類模型的剛性和非剛性形變模型分別分出。最后，隨意輸入一張模型圖片到網(wǎng)絡(luò)中，圖片通過CNN網(wǎng)絡(luò)初步確認(rèn)模型類別，根據(jù)類別再次放入訓(xùn)練好的剛性判別CNN網(wǎng)絡(luò)中，從而最終得到模型形變結(jié)果，流程如圖6所示。

但是，如果輸入任意模型圖片，并非兩類模型中的一種，CNN網(wǎng)絡(luò)總會將圖片分為最相似一類，即便通過雙層CNN網(wǎng)絡(luò)仍會被分為兩類中的一類，而多類分類亦如此。因此本文在CNN網(wǎng)絡(luò)基礎(chǔ)上，提出了閾值判定分類算法。該算法結(jié)合傳統(tǒng)CNN結(jié)構(gòu)和孿生網(wǎng)絡(luò)的特征，通過閾值判定，將非兩類模型圖片排除出去，如圖7所示，通過閾值W進行最終判定。

圖5中輸出向量output1是為閾值計算服務(wù)的，圖7中基準(zhǔn)向量input為圖5中向量output1的平均值。首先，選取顏色數(shù)據(jù)集中n張同一類模型圖片放入單層CNN網(wǎng)絡(luò)中，會得到n個輸出向量output1， 計算n個向量的平均值，作為基準(zhǔn)向量input。其次，隨機放入一個模型任意視角下的m張圖片到CNN網(wǎng)絡(luò)中，通過已訓(xùn)練好的CNN網(wǎng)絡(luò)得到m個輸出向量output1，再次計算基準(zhǔn)向量input與輸出向量output1之間的歐式距離W，然后將W的平均值作為該類別閾值，意味著多分類就有多個閾值。最后，隨機輸入一張調(diào)色后的圖片，通過單層CNN網(wǎng)絡(luò)得到輸出向量，通過輸出向量初步確認(rèn)類別，與該類別基準(zhǔn)向量進行計算得到一個值W，與該類別閾值進行比較，最終決定輸入網(wǎng)絡(luò)中的模型屬于哪一類或完全不相似。具體流程如圖8所示。