點(diǎn)云配準(zhǔn)中多維度信息融合的特征挖掘方法

武 越 苑詠哲 岳銘煜 公茂果 李 豪 張明陽(yáng) 馬文萍 苗啟廣

1(西安電子科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 西安 710071)2(西安電子科技大學(xué)電子工程學(xué)院 西安 710071)3(西安電子科技大學(xué)人工智能學(xué)院 西安 710071)

隨著三維數(shù)據(jù)采集技術(shù)的快速發(fā)展，激光雷達(dá)[1-2]、結(jié)構(gòu)光傳感器和立體攝像機(jī)采集到的點(diǎn)云數(shù)據(jù)得到了廣泛應(yīng)用.同時(shí)，這也使得點(diǎn)云配準(zhǔn)、分類、分割等應(yīng)用引起了廣泛關(guān)注.三維剛體點(diǎn)云配準(zhǔn)是計(jì)算機(jī)視覺(jué)和機(jī)器人學(xué)[3-4]等許多重要應(yīng)用中的一項(xiàng)關(guān)鍵任務(wù)，如自動(dòng)駕駛[5-6]、手術(shù)導(dǎo)航和同步定位與構(gòu)圖(simultaneous localization and mapping, SLAM)[7]等.點(diǎn)云配準(zhǔn)的目的是找到一個(gè)剛性變換將一個(gè)點(diǎn)云與另一個(gè)點(diǎn)云對(duì)齊.然而，點(diǎn)云固有的結(jié)構(gòu)缺陷給其直接應(yīng)用于深度學(xué)習(xí)體系帶來(lái)了很大的困難.PointNet[8]及其變體的出現(xiàn)給點(diǎn)云提供了結(jié)構(gòu)化表示方法，可以克服直接在深度學(xué)習(xí)中使用點(diǎn)云的困難，并且極大地提高了處理速度.

傳統(tǒng)的點(diǎn)云配準(zhǔn)方法，例如迭代最近點(diǎn)(iterative closest point, ICP)算法[9]以及基于ICP的衍生算法[10-14]，它們通過(guò)尋找2個(gè)點(diǎn)云的對(duì)應(yīng)點(diǎn)關(guān)系來(lái)估計(jì)剛體變換[15].但是，它們對(duì)初始化極其敏感，配準(zhǔn)通常會(huì)在尋找最優(yōu)解的過(guò)程中陷入局部最優(yōu)而失敗[16].近年來(lái)，研究者們提出了許多基于PointNet的深度學(xué)習(xí)的無(wú)對(duì)應(yīng)點(diǎn)云配準(zhǔn)方法，它們通過(guò)PointNet提取全局特征描述符，為后續(xù)剛體變換階段提供獲取精確變換參數(shù)的基礎(chǔ).然而，這些深度學(xué)習(xí)方法在提取全局特征時(shí)容易忽略低維局部特征，導(dǎo)致大量點(diǎn)云信息的丟失，使得后續(xù)剛體變換估計(jì)階段求解變換參數(shù)時(shí)精度無(wú)法達(dá)到預(yù)期[17-21].

數(shù)據(jù)挖掘是使用人工智能等方法在大型數(shù)據(jù)集中提取隱含潛在信息的過(guò)程.數(shù)據(jù)挖掘已經(jīng)廣泛存在于人工智能的應(yīng)用當(dāng)中，例如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和推薦系統(tǒng)等.深度學(xué)習(xí)作為人工智能領(lǐng)域中一種基于對(duì)大數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，其可以自動(dòng)從大量信息中獲取有價(jià)值的知識(shí)，充分挖掘隱藏在大數(shù)據(jù)中的豐富信息，從而完成如分類、回歸等特定任務(wù).本文將數(shù)據(jù)挖掘應(yīng)用于點(diǎn)云配準(zhǔn)當(dāng)中，通過(guò)深度學(xué)習(xí)設(shè)計(jì)了基于多維度信息融合的特征挖掘方法，充分挖掘點(diǎn)云中的高維全局和低維局部信息，有效彌補(bǔ)了點(diǎn)云配準(zhǔn)的全局特征提取階段局部特征的缺失.

本文的主要貢獻(xiàn)包括3個(gè)方面:

1) 提出了一種多維度信息融合網(wǎng)絡(luò)(multi-dimensional information fusion network, MIFNet)，充分挖掘點(diǎn)云中的高維全局和低維局部信息，有效彌補(bǔ)了點(diǎn)云配準(zhǔn)的全局特征提取階段局部特征的缺失;

2) 為了充分挖掘變換信息，在剛體變換估計(jì)階段使用了深度神經(jīng)網(wǎng)絡(luò)擬合對(duì)偶四元數(shù)的剛體變換參數(shù)，其可以在一個(gè)公共框架內(nèi)同時(shí)表示旋轉(zhuǎn)和平移，為姿態(tài)估計(jì)提供緊湊和精確的表示;

3) 在ModelNet40數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明：與現(xiàn)有無(wú)對(duì)應(yīng)前沿的無(wú)對(duì)應(yīng)點(diǎn)云配準(zhǔn)方法相比，我們的方法可以獲得更高的精度，同時(shí)對(duì)噪聲具有較強(qiáng)的魯棒性.

1 相關(guān)工作

目前的文獻(xiàn)中描述了許多先進(jìn)的點(diǎn)云配準(zhǔn)方法.經(jīng)典的傳統(tǒng)點(diǎn)云配準(zhǔn)方法需要良好的初始變換，并在初始點(diǎn)附近收斂到局部最小值.最有代表性的方法是ICP算法，該算法從初始變換開(kāi)始，迭代交替求解2個(gè)子問(wèn)題：在當(dāng)前變換下尋找最接近的點(diǎn)作為對(duì)應(yīng)點(diǎn)以及通過(guò)奇異值分解(singular value decomposition, SVD)找到對(duì)應(yīng)計(jì)算的最優(yōu)變換.盡管ICP可以完成較高精度的配準(zhǔn)，但它容易受到初始擾動(dòng)的影響.近年來(lái)，人們基于ICP提出了各種衍生的變體，可以改善ICP的缺陷，提高配準(zhǔn)精度.然而，仍存在一些基本的缺點(diǎn).首先，它們強(qiáng)烈依賴于初始化.其次，由于它們不可微分的性質(zhì)，很難將它們整合到深度學(xué)習(xí)系統(tǒng)中.

PointNet是第1個(gè)直接將點(diǎn)云應(yīng)用在深度學(xué)習(xí)系統(tǒng)中的方法，它通過(guò)對(duì)稱函數(shù)解決了點(diǎn)云的無(wú)序性.PointNet為下游任務(wù)提供了一個(gè)非常有用的概念，用于提取點(diǎn)云的特征，并激發(fā)了研究者們使用深度學(xué)習(xí)解決點(diǎn)云配準(zhǔn)問(wèn)題的興趣.基于深度學(xué)習(xí)的方法通常分為基于對(duì)應(yīng)的方法和無(wú)對(duì)應(yīng)的方法.基于對(duì)應(yīng)關(guān)系的方法占據(jù)了相當(dāng)大的比例，如CorsNet[22],DeepVCP[23]和3DFeat Net[24-26]等.而基于無(wú)對(duì)應(yīng)的方法較少，是目前研究的一個(gè)熱點(diǎn).無(wú)對(duì)應(yīng)方法通過(guò)計(jì)算2個(gè)點(diǎn)云的全局特征之間的差異來(lái)獲得剛體變換參數(shù).與傳統(tǒng)方法和基于對(duì)應(yīng)的方法相比，該方法節(jié)省了搜索對(duì)應(yīng)點(diǎn)的時(shí)間.例如PointNetLK[27]和PCRNet[28]在內(nèi)的無(wú)對(duì)應(yīng)點(diǎn)云配準(zhǔn)方法使用PointNet作為特征提取器[29].PointNetLK通過(guò)PointNet計(jì)算全局特征描述符，并迭代使用逆合成公式和光流(Lucas-Kanade, LK)[30-31]算法最小化描述符之間的距離以實(shí)現(xiàn)配準(zhǔn).PCRNet使用數(shù)據(jù)驅(qū)動(dòng)技術(shù)代替PointNetLK中的逆合成公式和LK算法進(jìn)行特征對(duì)齊，該算法對(duì)訓(xùn)練中未見(jiàn)過(guò)的形狀可以產(chǎn)生良好的泛化能力[32].然而，這些方法在特征提取過(guò)程中忽略了局部信息，導(dǎo)致大量點(diǎn)云信息的丟失，因此我們本文針對(duì)此問(wèn)題進(jìn)行了改進(jìn).

另外，在剛體變換估計(jì)階段，有許多方法可以表示具有3個(gè)自由度的剛體的旋轉(zhuǎn)，例如旋轉(zhuǎn)矩陣、旋轉(zhuǎn)向量和歐拉角[33].旋轉(zhuǎn)矩陣由9個(gè)變量表示，這種方法表示是冗余的.旋轉(zhuǎn)矢量和歐拉角是緊湊的，但它們存在萬(wàn)向鎖問(wèn)題[34]，并且容易出現(xiàn)奇異性.為了解決這個(gè)問(wèn)題，Hamilton在1866年提出了一個(gè)擴(kuò)展復(fù)數(shù)，并將其命名為四元數(shù)[35]，它可以將復(fù)數(shù)擴(kuò)展到三維空間.四元數(shù)完美地解決了旋轉(zhuǎn)參數(shù)的緊湊性和奇異性問(wèn)題.然而，在剛體運(yùn)動(dòng)中，四元數(shù)只具有表示旋轉(zhuǎn)的能力[36].因此，我們使用將四元數(shù)和對(duì)偶數(shù)結(jié)合的對(duì)偶四元數(shù)[37]，它可以在一個(gè)公共框架內(nèi)表示平移和旋轉(zhuǎn).每個(gè)對(duì)偶四元數(shù)有2個(gè)四元數(shù)：實(shí)部和對(duì)偶部[38].實(shí)部?jī)H表示旋轉(zhuǎn)，對(duì)偶部表示平移和旋轉(zhuǎn).在我們?cè)O(shè)計(jì)的方法中，對(duì)偶四元數(shù)由8維向量表示，在第2節(jié)將給出詳細(xì)推導(dǎo).

2 使用對(duì)偶四元數(shù)進(jìn)行剛體變換估計(jì)

本節(jié)我們主要介紹對(duì)偶四元數(shù)進(jìn)行剛體變換估計(jì)的理論保證.四元數(shù)只能表示旋轉(zhuǎn)，而對(duì)偶四元數(shù)可以同時(shí)表示旋轉(zhuǎn)和平移.我們從使用四元數(shù)表示旋轉(zhuǎn)的有效性出發(fā)，解釋對(duì)偶四元數(shù)的有效性以及為什么它可以同時(shí)表示旋轉(zhuǎn)和平移.

Q=(q0,q)=q0+q1i+q2j+q3k，

(1)

其中，q0∈為實(shí)部，q=(q1,q2,q3)為虛部[39-40].另外，我們定義四元數(shù)的模：

(2)

以及共軛四元數(shù)：

(3)

(4)

對(duì)偶四元數(shù)由2個(gè)四元數(shù)Q，Qε以及對(duì)偶單元ε組成，它可以同時(shí)表示旋轉(zhuǎn)和平移：

Qd=Q+εQε.

(5)

我們定義對(duì)偶四元數(shù)的共軛：

(6)

我們使用單位四元數(shù)R=(r0,r)=r0+r1i+r2j+r3k和虛四元數(shù)T=(0,t)=t1i+t2j+t3k來(lái)表示轉(zhuǎn)換[42].

(7)

其中，A=t1r1+t2r2+t3r3，B=t1r0-t3r2+t2r3，C=t2r0+t3r1-t1r3，M=t3r0-t2r1+t1r2.與式(4)的旋轉(zhuǎn)四元數(shù)類似，對(duì)于點(diǎn)P=q1i+q2j+q3k，四元數(shù)通過(guò)擴(kuò)展為對(duì)偶四元數(shù)Pd=1+εP表示旋轉(zhuǎn)和平移，并且可以獲得變換后的點(diǎn):

(8)

通過(guò)上述推導(dǎo)，我們可知使用對(duì)偶四元數(shù)表示剛體變換中旋轉(zhuǎn)和平移是可行的，其需要8個(gè)參數(shù)，其中(r0,r1,r2,r3)表示旋轉(zhuǎn)，(A,B,C,M)表示平移和旋轉(zhuǎn).再次需要強(qiáng)調(diào)的是，對(duì)偶四元數(shù)可以同時(shí)表示旋轉(zhuǎn)和平移.本文中，對(duì)偶四元數(shù)將用于剛體變換估計(jì)階段，即使用多維度信息融合進(jìn)行特征挖掘后，使用深度神經(jīng)網(wǎng)絡(luò)擬合對(duì)偶四元數(shù)的變換參數(shù)進(jìn)行配準(zhǔn).在后續(xù)實(shí)驗(yàn)中，我們驗(yàn)證了采用對(duì)偶四元數(shù)進(jìn)行變換參數(shù)估計(jì)的有效性.

3 基于多維度信息融合的點(diǎn)云配準(zhǔn)

本節(jié)我們將系統(tǒng)介紹本文方法的詳細(xì)流程.一個(gè)點(diǎn)云可以被表示為一組3D點(diǎn)的集合{P：pi|i=1,2,…,N}?3，其中每個(gè)點(diǎn)pi表示為一個(gè)由坐標(biāo)構(gòu)成的3D向量.我們分別用PT和PS表示模板點(diǎn)云和源點(diǎn)云.我們的目的是尋找到一個(gè)最優(yōu)的變換矩陣G∈SE(3)，使得PT和PS完美對(duì)齊.剛體在三維空間的運(yùn)動(dòng)由旋轉(zhuǎn)R和平移T描述.簡(jiǎn)單的變換參數(shù)估計(jì)可以使用歐拉角、齊次矩陣或四元數(shù)來(lái)表示.然而，歐拉角容易出現(xiàn)奇異性，齊次矩陣和四元數(shù)不能同時(shí)表示旋轉(zhuǎn)R和平移T.因此，我們?cè)邳c(diǎn)云配準(zhǔn)中使用對(duì)偶四元數(shù)進(jìn)行了變換參數(shù)估計(jì).對(duì)偶四元數(shù)的優(yōu)點(diǎn)在于，在一個(gè)公共框架內(nèi)，僅使用8個(gè)參數(shù)就可以組合表示旋轉(zhuǎn)和平移.特別是，它們也可以用矩陣表示，這使它成為一種高效的計(jì)算工具.我們?cè)诘?節(jié)中描述了對(duì)偶四元數(shù)及其相關(guān)推導(dǎo).為了準(zhǔn)確獲得對(duì)偶四元數(shù)的8個(gè)參數(shù)，我們?cè)O(shè)計(jì)了MIFNet，其中包含了一個(gè)特征提取網(wǎng)絡(luò)和一個(gè)由全連接層(full-connected, FC)構(gòu)成的剛體變換估計(jì)網(wǎng)絡(luò).其中特征提取部分可以彌補(bǔ)局部特征的不足，充分挖掘點(diǎn)云中的高維全局和低維局部信息，有效彌補(bǔ)了點(diǎn)云配準(zhǔn)的全局特征提取階段局部特征的缺失，為后續(xù)剛體變換估計(jì)提供準(zhǔn)確的特征表示，以提升參數(shù)估計(jì)的精度，更多細(xì)節(jié)見(jiàn)3.1節(jié).在3.2節(jié)中描述了關(guān)于本文方法的損失函數(shù).

3.1 網(wǎng)絡(luò)的詳細(xì)架構(gòu)

點(diǎn)云數(shù)據(jù)是高度非結(jié)構(gòu)化并具有排列不變性的.目前研究者們提出了許多提取點(diǎn)云全局特征的方法，如PointNetLK和PCRNet，它們?yōu)楂@取包含幾何信息的全局特征提供了一些創(chuàng)新性的方法.同時(shí)，它們?cè)试S將原始點(diǎn)云直接作為網(wǎng)絡(luò)輸入，并可以嵌入到更大規(guī)模的網(wǎng)絡(luò)中.但是，它們沒(méi)有考慮到點(diǎn)云提取特征過(guò)程中的局部特征，不能充分利用點(diǎn)云信息.為了解決現(xiàn)有方法中的這些問(wèn)題，我們提出了MIFNet.圖1顯示了MIFNet的體系結(jié)構(gòu).該系統(tǒng)由特征提取網(wǎng)絡(luò)和基于對(duì)偶四元數(shù)的剛體變換估計(jì)網(wǎng)絡(luò)2部分組成.圖2顯示了提出的特征提取網(wǎng)絡(luò)架構(gòu).

Fig. 1 Illustration of MIFNet圖1 MIFNet示意圖

Fig. 2 Illustration of architecture of global features extraction圖2 全局特征提取網(wǎng)絡(luò)架構(gòu)示意圖

在特征提取網(wǎng)絡(luò)中，我們?yōu)辄c(diǎn)云中的每個(gè)點(diǎn)提取特征.隨著網(wǎng)絡(luò)層數(shù)的加深，低維局部信息無(wú)法復(fù)用導(dǎo)致特征無(wú)法充分利用，可能使最后提取到的全局特征忽略了原始點(diǎn)云的某些信息.此外，為每個(gè)點(diǎn)進(jìn)行特征提取時(shí)，點(diǎn)與點(diǎn)之間的信息相互獨(dú)立，無(wú)法進(jìn)行信息交互，我們?yōu)榇嗽O(shè)計(jì)了局部特征(local feature, LF)單元將低維局部特征輸入到下一層.LF單元將各個(gè)維度的局部信息反饋給下一層的每個(gè)點(diǎn)，充分利用了各個(gè)維度的局部信息，而且每個(gè)點(diǎn)都會(huì)擁有其他N-1個(gè)點(diǎn)的特征信息.在提取高維全局特征時(shí)，相鄰層之間使用LF單元會(huì)得到更多的點(diǎn)云低維局部信息，并且加強(qiáng)了信息交互，從而實(shí)現(xiàn)多維度信息融合.

LF單元由3個(gè)大小分別為64,128,D的多層感知器(multi-layer perceptions, MLPs)組成.輸出的維數(shù)為D，與輸入的維度相同.然后，利用對(duì)稱的最大池化函數(shù)得到一個(gè)大小為1×D的特征向量.最后，在LF單元中，將特征向量重復(fù)N次并拼接到后續(xù)層中每個(gè)點(diǎn)的特征上.特征提取網(wǎng)絡(luò)由5個(gè)MLPs組成，大小分別為64，64，64，128，1024.使用LF單元后，各層特征尺寸分別擴(kuò)展到64，128，128，192，1152.如圖1所示，使用特征提取網(wǎng)絡(luò)和對(duì)稱的最大池化函數(shù)提取全局特征.

提取全局特征后，將這些全局特征拼接并輸入到由FC構(gòu)成的剛體變換估計(jì)網(wǎng)絡(luò).FC層有大小為1024，1024，512，512，256的5個(gè)隱藏層和一個(gè)8維向量的輸出層，該8維向量表示估計(jì)的變換矩陣G，其中n為當(dāng)前迭代次數(shù).根據(jù)第2節(jié)的分析，此8維向量對(duì)應(yīng)了對(duì)偶四元數(shù)表示變換需要的8個(gè)參數(shù)(r0,r1,r2,r3,A,B,C,M).因此我們可以使用剛體變換網(wǎng)絡(luò)學(xué)習(xí)到的8個(gè)參數(shù)進(jìn)行旋轉(zhuǎn)矩陣R和平移向量T表示：

R=

(9)

(10)

最后，我們使用一個(gè)迭代方案來(lái)更新PS.在第一次迭代后，我們根據(jù)R和T可以得到變換矩陣G：

(11)

在后續(xù)的迭代中，使用G對(duì)源點(diǎn)云進(jìn)行變換，將更新后的源點(diǎn)云作為MIFNet的輸入.經(jīng)過(guò)n次迭代，結(jié)合每次迭代中估計(jì)的變換矩陣，可以得到最終估計(jì)的整體變換：

Gest=G(n)×G(n-1)×…×G(1).

(12)

3.2 優(yōu) 化

針對(duì)我們的任務(wù)，我們選擇了考慮對(duì)應(yīng)點(diǎn)之間的損失的倒角距離損失：

(13)

以及從全局變換角度考慮的剛性變換的損失：

(14)

L=L1+λL2.

(15)

我們將在后續(xù)實(shí)驗(yàn)中討論超參數(shù)λ的最優(yōu)值，當(dāng)模版點(diǎn)云與源點(diǎn)云完全配準(zhǔn)時(shí)，L為0.

4 實(shí) 驗(yàn)

本節(jié)我們通過(guò)在ModelNet40數(shù)據(jù)集上評(píng)估提出方法的有效性.我們分別證明了所提出方法的準(zhǔn)確性和對(duì)噪聲的魯棒性.我們將本方法與ICP，PointNetLK，CorsNet，DirectNet和PCRNet進(jìn)行了比較.我們使用真實(shí)變換與網(wǎng)絡(luò)預(yù)測(cè)變換之間的均方根誤差(root mean squared error,RMSE)作為評(píng)價(jià)指標(biāo).需要指出的是，如果配準(zhǔn)結(jié)果是完美的，則RMSE=0.

4.1 實(shí)驗(yàn)設(shè)置

在我們的工作中，使用ModelNet40數(shù)據(jù)集，共9 840個(gè)樣例來(lái)訓(xùn)練我們的網(wǎng)絡(luò).ModelNet40包含40個(gè)不同對(duì)象類別，共12 000多個(gè)計(jì)算機(jī)輔助設(shè)計(jì)模型，例如飛機(jī)、椅子、人或桌子.網(wǎng)絡(luò)訓(xùn)練了200代，使用10-3的學(xué)習(xí)率和0.7的指數(shù)衰減率，批量大小是32.迭代次數(shù)n=2.為了防止過(guò)多的變換信息影響點(diǎn)之間的對(duì)應(yīng)關(guān)系，我們?cè)O(shè)置了一個(gè)比例損失因子λ來(lái)補(bǔ)償這種不平衡，從而得到組合目標(biāo)函數(shù).使用Adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù).

4.2 最優(yōu)的超參數(shù)λ

我們討論了損失函數(shù)L中超參數(shù)λ的最優(yōu)值.首先，我們優(yōu)先說(shuō)明為什么在損失函數(shù)的L2一項(xiàng)中添加權(quán)重項(xiàng)，并將權(quán)重范圍的值設(shè)置得明顯小于L1一項(xiàng).

我們?cè)诘?.1節(jié)的基礎(chǔ)上，對(duì)于不同的損失函數(shù)我們進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示.我們可以發(fā)現(xiàn)，單獨(dú)使用某項(xiàng)損失函數(shù)時(shí)，配準(zhǔn)效果并不如兩者的組合，這是因?yàn)槲覀冊(cè)O(shè)置的損失函同時(shí)考慮了局部對(duì)應(yīng)點(diǎn)關(guān)系以及全局變換，使得優(yōu)化效果更佳.此外，我們還可以發(fā)現(xiàn)，單獨(dú)使用L2作為損失函數(shù)的效果明顯要比L1差很多，因此，我們?cè)趽p失函數(shù)中為L(zhǎng)2添加權(quán)重項(xiàng)，并將其設(shè)置為超參數(shù)，使其值顯著小于L1，降低其對(duì)總體優(yōu)化的影響.因此，我們?cè)O(shè)定在0.001 ～ 0.01范圍內(nèi)尋找性能最好的λ.

Table 1 Registration Error Using Different Loss Functions表1 使用不同損失函數(shù)的配準(zhǔn)誤差

結(jié)果如圖3所示.結(jié)果表明，當(dāng)λ=0.007時(shí)，平移和旋轉(zhuǎn)的RMSE可以同時(shí)達(dá)到最優(yōu)值.因此，后續(xù)實(shí)驗(yàn)均在λ=0.007的條件下進(jìn)行.

Fig. 3 Registration results with different values of λ圖3 不同λ值時(shí)的配準(zhǔn)結(jié)果

4.3 和現(xiàn)有方法比較

為了改進(jìn)我們提出方法的性能，我們將MIFNet與ICP,PointNetLK,DirectNet,CorsNet和PCRNet進(jìn)行了比較.在實(shí)驗(yàn)中，我們保留了所有對(duì)比方法中的實(shí)驗(yàn)設(shè)置.表2給出了各方法的性能評(píng)價(jià)結(jié)果.結(jié)果表明：我們所提出的網(wǎng)絡(luò)MIFNet在達(dá)到了最高的精度.此外，我們發(fā)現(xiàn)，在無(wú)對(duì)應(yīng)的點(diǎn)云配準(zhǔn)方法中，我們的方法可以在較少的迭代下產(chǎn)生卓越的性能.為了更清晰地展示我們所提出方法的效果，我們選取了9個(gè)比較有代表性類別的可視化結(jié)果，如圖4所示.

Table 2 Comparison Between the Proposed Method and the State-of-the-Art Methods表2 提出方法和先進(jìn)方法的對(duì)比

Fig. 4 A part of visual registration results of representative categories on ModelNet40圖4 ModelNet40部分具有代表性類別的可視化配準(zhǔn)結(jié)果

4.4 網(wǎng)絡(luò)泛化性研究

為了驗(yàn)證網(wǎng)絡(luò)的泛化性，即對(duì)于未看見(jiàn)過(guò)的類別的配準(zhǔn)效果.我們通過(guò)使用不同的類別進(jìn)行訓(xùn)練和測(cè)試來(lái)評(píng)估所提出的網(wǎng)絡(luò)結(jié)構(gòu).我們將ModelNet40分為2部分進(jìn)行訓(xùn)練和測(cè)試.每個(gè)部分有20個(gè)類別，每個(gè)類別是不同的.測(cè)試部分的類別和訓(xùn)練部分的類別沒(méi)有重合.表3給出了各方法的性能評(píng)價(jià)結(jié)果.結(jié)果表明，即使在以前從未見(jiàn)過(guò)的類別中，MIFNet仍然可以取得更好的性能.

Table 3 Comparison Between the Proposed Method and the State-of-the-Art Methods on Different Categories When Training and Testing表3 在不同類別上訓(xùn)練和測(cè)試時(shí)提出方法和先進(jìn) 方法的對(duì)比

4.5 高斯噪聲

為了探索我們的網(wǎng)絡(luò)對(duì)噪聲的魯棒性，我們?cè)谠袋c(diǎn)云上進(jìn)行了高斯噪聲的實(shí)驗(yàn).對(duì)于源點(diǎn)云中的每個(gè)點(diǎn)，使用來(lái)自高斯分布的噪聲，均值為0，標(biāo)準(zhǔn)差為0.04.我們和帶有噪聲的ICP,PointNetLK和PCRNet方法進(jìn)行比較.確保數(shù)據(jù)集具有相同的源點(diǎn)云和模板點(diǎn)云對(duì)，以便進(jìn)行公平的比較.圖5顯示了最終結(jié)果，橫軸代表使得變換估計(jì)成功的最大旋轉(zhuǎn)誤差(角度制)，縱軸代表實(shí)驗(yàn)成功的比率.在這個(gè)實(shí)驗(yàn)中，我們使用受試者工作特性曲線(receiver operating characteristic curve,ROC)來(lái)評(píng)估每種方法的質(zhì)量，并使用ROC曲線下的面積(area under curve,AUC)作為度量標(biāo)準(zhǔn).AUC值越高，網(wǎng)絡(luò)的性能越好.我們觀察到，MIFNet方法的AUC明顯高于ICP,PCRNet和PointNetLK方法，這意味著我們的方法對(duì)高斯噪聲有更強(qiáng)的魯棒性.

Fig. 5 Experimental results of Gaussian noise圖5 高斯噪聲的實(shí)驗(yàn)結(jié)果

4.6 消融實(shí)驗(yàn)

為了探索我們提出方法的有效性，我們分別對(duì)特征提取部分和使用對(duì)偶四元數(shù)進(jìn)行變換參數(shù)估計(jì)部分進(jìn)行了消融實(shí)驗(yàn).其中，特征提取部分使用我們提出的多維度信息融合方法與PointNet進(jìn)行對(duì)比，變換參數(shù)估計(jì)部分使用對(duì)偶四元數(shù)與四元數(shù)進(jìn)行對(duì)比，經(jīng)過(guò)不同的組合，結(jié)果如表4所示，可見(jiàn)，當(dāng)使用多維度信息融合與對(duì)偶四元數(shù)進(jìn)行配準(zhǔn)時(shí)效果最佳，這也驗(yàn)證了實(shí)驗(yàn)的正確性和有效性.

Table 4 Ablation Studies of Each Part表4 每個(gè)部分的消融實(shí)驗(yàn)

5 結(jié) 論

本文從定性和定量2方面驗(yàn)證了我們提出方法的優(yōu)越性.我們?cè)贛odelNet40數(shù)據(jù)集上驗(yàn)證了所提出的網(wǎng)絡(luò)——MIFNet的有效性，并比較了5種現(xiàn)有先進(jìn)方法來(lái)說(shuō)明其優(yōu)越性.本文提出了一種基于多維度信息融合的特征提取網(wǎng)絡(luò)和對(duì)偶四元數(shù)的剛體變換估計(jì)網(wǎng)絡(luò)點(diǎn)云配準(zhǔn)框架.我們的方法可以直接將點(diǎn)云作為輸入.該網(wǎng)絡(luò)彌補(bǔ)了現(xiàn)有大多數(shù)方法無(wú)法充分利用局部特征的不足，并使用對(duì)偶四元數(shù)估計(jì)剛性變換.與傳統(tǒng)的點(diǎn)云配準(zhǔn)方法相比，我們的方法不需要尋找點(diǎn)云的對(duì)應(yīng)關(guān)系，并且對(duì)噪聲有很強(qiáng)的魯棒性.與其他無(wú)對(duì)應(yīng)點(diǎn)云配準(zhǔn)方法相比，該框架可通過(guò)更少次數(shù)的迭代實(shí)現(xiàn)更高的精度.我們認(rèn)為，考慮局部特征的無(wú)對(duì)應(yīng)點(diǎn)云配準(zhǔn)方法是有價(jià)值的.未來(lái)的工作將涉及更多的多維度以及多尺度等網(wǎng)絡(luò)架構(gòu)，以便集成到更大的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)中進(jìn)行點(diǎn)云配準(zhǔn)任務(wù).