基于PRPNet的三維表面重建方法

雷懂 宋俊鋒 葉振

摘?要：

隱式神經(jīng)網(wǎng)絡(luò)用于三維表面重建時(shí)，存在重建物體的結(jié)構(gòu)不準(zhǔn)確、表面缺乏局部細(xì)節(jié)等問題，針對此問題，文章提出了一種基于PRPNet（點(diǎn)云殘差編碼網(wǎng)絡(luò)）的三維表面重建方法。首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，加入PointMateBase模塊，以增強(qiáng)局部細(xì)節(jié)表示能力；其次使用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過區(qū)域增長的Marching?Cubes算法提取三維表面。實(shí)驗(yàn)結(jié)果表明，PRPNet模型在ShapetNet和Synthetic?Rooms數(shù)據(jù)集上的精度較DpConvONet模型相應(yīng)數(shù)據(jù)集上的精度分別提升了2.5百分點(diǎn)和2.6百分點(diǎn)，能夠有效提升三維表面重建性能。

關(guān)鍵詞：三維表面重建；隱式神經(jīng)網(wǎng)絡(luò)；點(diǎn)云；殘差模塊；PointMateBase模塊；特征權(quán)重網(wǎng)絡(luò)；Marching?Cubes算法

中圖分類號：TP391.41??文獻(xiàn)標(biāo)志碼：A

0?引言（Introduction）

三維重建是指從物體的二維圖像序列或三維點(diǎn)云，通過視覺算法恢復(fù)真實(shí)世界的三維場景結(jié)構(gòu)，在醫(yī)學(xué)成像［1］、自動(dòng)駕駛［2］和虛擬現(xiàn)實(shí)［3］等領(lǐng)域都有著廣泛的應(yīng)用。近年來，基于隱式神經(jīng)網(wǎng)絡(luò)的三維表面重建方法因具有計(jì)算簡單、內(nèi)存消耗少等優(yōu)點(diǎn)而受到了廣泛關(guān)注。韓煌達(dá)等［4］提出了一種紋理推斷模型，該方法能夠重建接近真實(shí)紋理的三維表面，但是采樣方式復(fù)雜。CHABRA等［5］將點(diǎn)云劃分為多個(gè)局部體積塊后進(jìn)行編碼，可以提高重建精度，但是該方法無法提供全局特征約束。ERLER等［6］分別采樣局部點(diǎn)和全局點(diǎn)進(jìn)行特征提取以提高重建質(zhì)量，但是該方法重建三維表面的速度較慢。GROPP等［7］提出了一種隱式幾何正則化方法，讓重建的三維表面更加平滑，但是丟失了局部細(xì)節(jié)。

綜上，本文提出一種基于PRPNet的三維表面重建方法。首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，同時(shí)加入PointMateBase模塊，以增強(qiáng)局部細(xì)節(jié)表示能力；其次利用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過區(qū)域增長的Marching?Cubes算法［8］提取三維表面。實(shí)驗(yàn)結(jié)果表明，該方法在ShapeNet和Synthetic?Rooms數(shù)據(jù)集上能夠提升三維表面重建模型性能。

1?方法設(shè)計(jì)（Method?design）

本文基于隱式占用域?qū)崿F(xiàn)三維表面重建，其隱式函數(shù)表達(dá)式如下：

其中：[WTHX]p[WTBX]i表示輸入點(diǎn)云；[WTHX]θ[WTBX]表示隱式函數(shù)的矩陣參數(shù)；oi表示點(diǎn)云在三維空間中的占用概率；F表示多層感知機(jī)。

本文提出的基于PRPNet三維表面重建方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先將預(yù)處理點(diǎn)云數(shù)據(jù)輸入由PRP?Abstraction模塊和Feature?Propagation模塊構(gòu)成的特征提取網(wǎng)絡(luò)中獲取點(diǎn)云特征；其次將鄰域特征與歸一化相對坐標(biāo)經(jīng)過多層感知機(jī)融合獲得相對特征后，利用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過區(qū)域生長的Marching?Cubes算法提取連續(xù)的三維表面。

1.1?點(diǎn)云特征提取網(wǎng)絡(luò)

點(diǎn)云是表示三維對象的點(diǎn)集，每個(gè)點(diǎn)包含坐標(biāo)、法向量等信息，具有稀疏性、非結(jié)構(gòu)化、無序性等特性?？刹捎肞ointNet+[KG-*5]+等深度學(xué)習(xí)模型提取點(diǎn)云的空間結(jié)構(gòu)特征。由于PointNet+[KG-*5]+是一個(gè)較小的網(wǎng)絡(luò)，其編碼器僅包含2個(gè)分類架構(gòu)階段和4個(gè)分割架構(gòu)階段，每個(gè)階段僅包含一個(gè)Set?Abstraction模塊，因此提取的點(diǎn)云特征過于簡單，導(dǎo)致三維表面重建精度較低。為此，本文基于分層抽取特征思想，采用更深層次的網(wǎng)絡(luò)結(jié)構(gòu)挖掘更多潛在的點(diǎn)云結(jié)構(gòu)特征，同時(shí)在每個(gè)階段的PointBase模塊之后添加殘差模塊防止梯度消失。

為更好地對點(diǎn)云進(jìn)行分析，LIN等［9］提出了PointMate元架構(gòu)，如圖2（a）所示，該結(jié)構(gòu)主要包含鄰域更新模塊、位置編碼模塊、鄰域聚合模塊及點(diǎn)更新模塊，其實(shí)現(xiàn)流程如下：

其中：n表示鄰域更新函數(shù)；e表示位置編碼函數(shù)；a表示鄰域聚合函數(shù)；p[KG-1mm]表示點(diǎn)更新函數(shù)；[SX（B-*2]。[][SX）]表示函數(shù)的復(fù)合；N（i）表示采樣點(diǎn)i的鄰域點(diǎn)云；[WTHX]f[WTBX]i[KG-1mm]表示采樣點(diǎn)特征向量；[WTHX]p[WTBX]i表示采樣點(diǎn)坐標(biāo)向量；[WTHX]f[WTBX]N（i）表示采樣點(diǎn)鄰域特征向量；[WTHX]p[WTBX]N（i）表示采樣點(diǎn)鄰域坐標(biāo)向量。本文通過對PointMate元架構(gòu)進(jìn)行分析，將其實(shí)例化為PointMateBase模塊，如圖2（b）所示。其中，將鄰域更新模塊位于K最近鄰分組前可帶來效率增益；位置編碼模塊采用Point?Transformer［10］中的顯式位置編碼實(shí)現(xiàn)，該編碼方式可以解決鄰域特征向量與相對位置向量維度不匹配的問題；鄰域聚合模塊采用最大池化實(shí)現(xiàn)，使模型輕量化；點(diǎn)更新模塊采用多層感知機(jī)實(shí)現(xiàn)。本文將PointMateBase模塊用于殘差模塊，以增強(qiáng)局部細(xì)節(jié)表示能力，并進(jìn)一步提升點(diǎn)云特征提取網(wǎng)絡(luò)的性能。

本文設(shè)計(jì)的PRPNet點(diǎn)云特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該網(wǎng)絡(luò)由PRP?Abstraction模塊和Feature?Propagation模塊構(gòu)成，其中PRP?Abstraction模塊由PointBase模塊、Residual模塊和PointMateBase模塊構(gòu)成，F(xiàn)eature?Propagation模塊由插值、特征拼接和多層感知機(jī)構(gòu)成。

1.2?特征解碼網(wǎng)絡(luò)

針對點(diǎn)云特征提取網(wǎng)絡(luò)獲得的點(diǎn)云特征向量，需要通過特征解碼網(wǎng)絡(luò)得到查詢點(diǎn)在空間中的占用概率。由于點(diǎn)云具有非結(jié)構(gòu)化特性，查詢點(diǎn)[WTHX]q[WTBZ]的特征與其鄰域有緊密關(guān)聯(lián)，因此本文聚焦于其鄰域特征與相對位置特征，通過特征權(quán)重網(wǎng)絡(luò)進(jìn)行推斷，特征解碼網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1.3?三維表面提取

在得到查詢點(diǎn)在三維空間中的占用概率后，由于不能直接觀察到隱式三維結(jié)構(gòu)的表面，因此通常采用Marching?Cubes算法提取連續(xù)的三維表面進(jìn)行可視化。該方法首先根據(jù)設(shè)置的體素分辨率將三維空間劃分為等大小體素單元。其次計(jì)算體素單元每個(gè)頂點(diǎn)的占用概率，并將概率大于閾值的頂點(diǎn)標(biāo)記為占用狀態(tài)，反之標(biāo)記為空閑狀態(tài)。假設(shè)占用概率是連續(xù)變化的，當(dāng)一條邊的兩個(gè)頂點(diǎn)表示的狀態(tài)不同時(shí)，則認(rèn)為這條邊與重建表面存在一個(gè)交點(diǎn)。最后采用插值算法得到該點(diǎn)的坐標(biāo)信息，將所有交點(diǎn)相連生成重建的三維表面。

本文采用基于區(qū)域生長的Marching?Cubes算法進(jìn)一步提高重建精度。為清晰地觀察重建表面的細(xì)節(jié)，同時(shí)不增加計(jì)算成本，本文將體素分辨率設(shè)置為128×128×128，然后從輸入點(diǎn)云中點(diǎn)的體素開始，迭代添加符合占用條件的相鄰體素，直到形成完整的區(qū)域。

2?[JP5]實(shí)驗(yàn)結(jié)果與分析（Experimental?results?and?analysis）

2.1?數(shù)據(jù)集及預(yù)處理

ShapeNet數(shù)據(jù)集是由人工進(jìn)行標(biāo)注的大型三維模型庫，本文從該數(shù)據(jù)集選取飛機(jī)、板凳、柜子、汽車、椅子、顯示器、臺(tái)燈、揚(yáng)聲器、步槍、沙發(fā)、桌子、電話和輪船共13類物體進(jìn)行實(shí)驗(yàn)，共包含42?500個(gè)模型。Synthetic?Rooms數(shù)據(jù)集包含5?000個(gè)合成的三維場景，涵蓋客廳、辦公室等場景。

在數(shù)據(jù)預(yù)處理階段，本文采用與ConvONet等相同的策略對ShapeNet數(shù)據(jù)集和Synthetic?Rooms數(shù)據(jù)集進(jìn)行預(yù)處理。對于ShapeNet數(shù)據(jù)集，從每個(gè)類別的物體表面隨機(jī)采樣3?000個(gè)點(diǎn)作為輸入，并對輸入的點(diǎn)云數(shù)據(jù)進(jìn)行均值為0、標(biāo)準(zhǔn)差為0.005的高斯加噪處理。同時(shí)，隨機(jī)選取2?048個(gè)帶有占用率標(biāo)簽的查詢點(diǎn)，用于訓(xùn)練網(wǎng)絡(luò)預(yù)測其在空間的占用率；對于Synthetic?Rooms數(shù)據(jù)集，將隨機(jī)采樣點(diǎn)數(shù)增加到10?000個(gè)，將數(shù)據(jù)集劃分為80%的訓(xùn)練集、10%的測試集和10%的驗(yàn)證集。

2.2?評價(jià)指標(biāo)

為了定量評價(jià)本文算法的有效性，對于ShapeNet數(shù)據(jù)集和Synthetic?Rooms數(shù)據(jù)集，本文均采用交并比（IoU）、倒角距離（Chamfer?Distance，CD）、法線一致性（Normal?Consistency，NC）、F分?jǐn)?shù)（FS）4個(gè)指標(biāo)評估模型的重建性能。

交并比（IoU）：評估重建表面與真實(shí)表面之間的重疊程度，計(jì)算公式如下：

2.3?實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)環(huán)境如下：服務(wù)器操作系統(tǒng)為Ubuntu?20.04，Python版本為3.7.10，使用的深度學(xué)習(xí)框架為PyTorch?1.8.1，顯卡為Nvidia?GeForce?GTX?4070Ti。實(shí)驗(yàn)損失函數(shù)為二元交叉熵?fù)p失函數(shù)，BatchSize大小設(shè)置為16，學(xué)習(xí)率設(shè)置為0.001，Adam算法為模型參數(shù)優(yōu)化器，在全連接層后采用Dropout（設(shè)置為0.5），訓(xùn)練周期為100次，當(dāng)驗(yàn)證集損失值不再下降時(shí)，停止訓(xùn)練，防止發(fā)生過擬合。

2.4?特征提取網(wǎng)絡(luò)對比實(shí)驗(yàn)

為證明本文提出的點(diǎn)云特征提取網(wǎng)絡(luò)PRPNet對三維表面重建的有效性，本文將ConvONet模型中的點(diǎn)云特征提取網(wǎng)絡(luò)PointNet分別替換為PointNet+[KG-*5]+、ASSANet、PointNeXt和PRPNet，并在ShapeNet數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。不同特征提取網(wǎng)絡(luò)下的三維表面重建性能如表1所示。表1中的結(jié)果表明，PRPNet應(yīng)用在ConvONet模型中均優(yōu)于其他點(diǎn)云特征提取網(wǎng)絡(luò)，其中與PointNet相比，PRPNet在交并比、倒角距離、法線一致性以及F分?jǐn)?shù)上分別提升了2.5百分點(diǎn)、0.6百分點(diǎn)、0.6百分點(diǎn)和2.1百分點(diǎn)，表明本文提出的PRPNet能夠有效改善表面重建效果。

2.5?模型實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文模型應(yīng)用在隱式三維表面重建中的優(yōu)勢，在相同的實(shí)驗(yàn)條件和數(shù)據(jù)集下，將本文模型與主流的隱式三維表面重建模型PointConv、ONet、ConvONet和DpConvONet進(jìn)行對比。首先采用交并比、倒角距離、法線一致性和F分?jǐn)?shù)4個(gè)評價(jià)指標(biāo)進(jìn)行定量分析；其次根據(jù)重建物體的視覺效果定性分析模型的性能優(yōu)劣。

2.5.1?ShapeNet數(shù)據(jù)集三維表面重建實(shí)驗(yàn)

定量分析：ShapeNet數(shù)據(jù)集三維表面重建結(jié)果如表2所示。其中，本文模型在交并比、倒角距離、法線一致性和F分?jǐn)?shù)指標(biāo)上均明顯優(yōu)于對比模型，表明本文方法重建的三維物體表面與真實(shí)表面之間的差距更小，重建質(zhì)量更好。

定性分析：ShapeNet數(shù)據(jù)集重建出的三維表面如圖5所示，由視覺效果可以看出，PRPNet模型生成的重建結(jié)果更加接近真實(shí)表面，而DpConvONet無法重建出結(jié)構(gòu)完整的三維表面，這也進(jìn)一步表明本文提出的基于PRPNet的三維表面重建方法在三維物體表面的重建任務(wù)中，重建精度更高，模型整體性能更好。

2.5.2?Synthetic?Rooms數(shù)據(jù)集三維表面重建實(shí)驗(yàn)

定量分析：Synthetic?Rooms數(shù)據(jù)集三維表面重建結(jié)果如表3所示。結(jié)果表明，本文模型的交并比、法線一致性和F分?jǐn)?shù)在所有模型中均是最高的且倒角距離最低，表明本文模型應(yīng)用在三維場景表面的重建任務(wù)中，性能更好。

定性分析：Synthetic?Rooms數(shù)據(jù)集重建出的三維表面如圖6所示。由可視化結(jié)果可以看出，相比于ConvONet和DpConvONet模型，PRPNet模型取得了最好的重建效果，重建出更為細(xì)致的表面。這是由于本文設(shè)計(jì)的PRPNet模型在點(diǎn)云特征提取時(shí)能夠更多地提取到語義信息，更充分地理解周圍環(huán)境，從而在三維場景表面重建中獲得不錯(cuò)的視覺效果。

3?結(jié)論（Conclusion）

針對隱式神經(jīng)網(wǎng)絡(luò)用于三維表面重建時(shí)，存在重建物體的結(jié)構(gòu)不準(zhǔn)確、表面缺乏局部細(xì)節(jié)等問題，提出了一種基于PRPNet的三維表面重建方法。該方法首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入了殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，同時(shí)加入PointMateBase模塊，以增強(qiáng)細(xì)節(jié)表示能力。其次利用特征權(quán)重網(wǎng)絡(luò)通過鄰域特征進(jìn)行推斷查詢點(diǎn)的占用概率。最后通過區(qū)域增長的Marching?Cubes算法進(jìn)一步提升重建精度。實(shí)驗(yàn)結(jié)果表明，PRPNet模型在ShapeNet和Synthetic?Rooms數(shù)據(jù)集上的重建精度較主流模型分別提升了2.5百分點(diǎn)和2.6百分點(diǎn)，能夠有效地提升三維表面重建模型性能。由于缺失點(diǎn)云會(huì)嚴(yán)重影響重建表面的質(zhì)量，后續(xù)將致力于研究使用更少的點(diǎn)云數(shù)據(jù)重建更高質(zhì)量的表面，進(jìn)一步提升三維表面重建模型的性能。

參考文獻(xiàn)（References）

［1］?李瑋琳，曾琪峰，李穎.?多模態(tài)醫(yī)學(xué)圖像外邊界點(diǎn)云數(shù)據(jù)實(shí)時(shí)配準(zhǔn)仿真［J］.?計(jì)算機(jī)仿真，2019，36（3）：248＼|251，417.

［2］?茍悅宬，鄧志堅(jiān)，黃成梁，等.?基于無人駕駛的點(diǎn)云數(shù)據(jù)處理與校園高精度地圖應(yīng)用［J］.?數(shù)字技術(shù)與應(yīng)用，2021，39（12）：29＼|32.

［3］?王瑜，曹大有.?虛擬現(xiàn)實(shí)場景圖像點(diǎn)云大數(shù)據(jù)展示仿真［J］.?計(jì)算機(jī)仿真，2023，40（3）：228＼|231，353.

［4］?韓煌達(dá)，張海翔，馬漢杰，等.?基于隱函數(shù)的三維紋理網(wǎng)格重建［J］.?計(jì)算機(jī)時(shí)代，2021（12）：1＼|5，9.

［5］?CHABRA?R，LENSSEN?J?E，ILG?E，et?al.?Deep?local?shapes：learning?local?sdf?priors?for?detailed?3D?reconstruction［C］∥MORTENSEN?E.?Proceeding?of?the?European?Conference?on?Computer?Vision.?Berlin：Springer，2020：608＼|625.

［6］?ERLER?P，?GUERRERO?P，?OHRHALLINGER?S，?et?al.?Points2Surf：Learning?implicit?surfaces?from?point?cloud?patches［DB/OL］.?（2020＼|07＼|20）?［2023＼|10＼|31］.?https：∥arxiv.org/abs/2007.10453.

［7］?GROPP?A，YARIV?L，HAIM?N，et?al.?Implicit?geometric?regularization?for?learning?shapes［C］∥KORNBLITH?S.?Proceeding?of?the?International?Conference?on?Machine?Learning.?Diego：ACM，2020：2640＼|2654.