基于PointNet改進(jìn)的無(wú)序工件點(diǎn)云配準(zhǔn)算法*

梁艷陽(yáng)，葉達(dá)游，周集華，黃子健，孫偉霖，石峰，王瓊瑤，曹梓涵，何春燕

（五邑大學(xué)智能制造學(xué)部，廣東 江門 529020）

0 引言

由于結(jié)構(gòu)光傳感器等三維相機(jī)的快速發(fā)展，三維點(diǎn)云逐漸被應(yīng)用于各個(gè)領(lǐng)域[1]。因此，關(guān)于三維點(diǎn)云處理算法發(fā)展得到更多的關(guān)注，例如目標(biāo)識(shí)別、位姿估計(jì)[2]和逆向工程等。點(diǎn)云配準(zhǔn)是三維點(diǎn)云的基礎(chǔ)技術(shù)，其原理是通過(guò)若干次旋轉(zhuǎn)、平移等剛性變換，將不同視角的點(diǎn)云統(tǒng)一到同一個(gè)參考坐標(biāo)系。近年來(lái)，深度學(xué)習(xí)領(lǐng)域有很大的突破，三維點(diǎn)云配準(zhǔn)效率和準(zhǔn)確性逐漸提高，這給三維點(diǎn)云數(shù)據(jù)處理提供了很好的解決方案，也帶來(lái)了機(jī)遇和挑戰(zhàn)[3]。

傳統(tǒng)算法仍然是三維點(diǎn)云配準(zhǔn)的常用方法。一種是基于局部特征的方法，通過(guò)特征描述符（如3DSC[4]、SHOT[5]）找到模板點(diǎn)云與目標(biāo)點(diǎn)云之間的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)粗配準(zhǔn)，再求解精確配準(zhǔn)。另一種為全局特征最優(yōu)方法實(shí)現(xiàn)最優(yōu)配準(zhǔn)，但全局特征最優(yōu)方法效率較低。迭代最近點(diǎn)（ICP）[6]仍然是主流的點(diǎn)云配準(zhǔn)方法之一，但容易出現(xiàn)過(guò)擬合，改進(jìn)的ICP算法[7]的計(jì)算效率和精度逐漸提高。FGR[8]為快速全局配準(zhǔn)算法，提取點(diǎn)云表面特征通過(guò)特征距離進(jìn)行匹配。PFH 算法[9]利用直方圖對(duì)點(diǎn)云的幾何特征進(jìn)行點(diǎn)云配準(zhǔn)。文獻(xiàn)[10]提出采用因子分析法對(duì)點(diǎn)云進(jìn)行表示，利用極大似然估計(jì)的方法求得因子載荷矩陣對(duì)含有噪聲點(diǎn)云的配準(zhǔn)。

基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)研究也得到更多的關(guān)注，PointNet[11]是首個(gè)直接處理點(diǎn)云的神經(jīng)網(wǎng)絡(luò)，以此為基礎(chǔ)設(shè)計(jì)出先進(jìn)的算法。PointNetLK[12]把點(diǎn)映射到高維空間，使用LK光流算法，進(jìn)行點(diǎn)云配準(zhǔn)，但對(duì)于含有噪聲的點(diǎn)云數(shù)據(jù)魯棒性較低。SCANet[14]提出基于空間和通道注意力的網(wǎng)絡(luò)，用于兩個(gè)輸入全局特征向量之間的信息交互實(shí)現(xiàn)配準(zhǔn)。ROPNet[15]使用代表重疊點(diǎn)提取全局特征來(lái)預(yù)測(cè)配準(zhǔn)，將部分到部分的配準(zhǔn)轉(zhuǎn)變?yōu)椴糠值酵耆呐錅?zhǔn)。

基于上述的現(xiàn)狀，本文研究引入基于PointNet 的點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)i-SAM，對(duì)無(wú)序工件三維點(diǎn)云進(jìn)行位姿估計(jì)。首先利用三維軟件制作工件CAD模型，再基于CAD模型生成點(diǎn)云生成相應(yīng)的無(wú)序工件數(shù)據(jù)集（WorkpiecesDataSet），用于配準(zhǔn)算法訓(xùn)練測(cè)試與優(yōu)化，并建立位姿估計(jì)預(yù)測(cè)模型，對(duì)無(wú)序工件位精確姿參數(shù)進(jìn)行求解，最后引導(dǎo)機(jī)器人實(shí)現(xiàn)無(wú)序工件抓取。

1 三維點(diǎn)云配準(zhǔn)流程

1.1 算法流程

研究提出的點(diǎn)云配準(zhǔn)算法流程如圖1 所示，無(wú)序工件三維點(diǎn)云配準(zhǔn)算法的框架是利用PointNet 對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行編碼，分別對(duì)模板點(diǎn)云和目標(biāo)點(diǎn)云進(jìn)行特征提取，求解全局特征向量。根據(jù)兩組點(diǎn)云的特征向量計(jì)算初始變換矩陣，將求變換后的目標(biāo)點(diǎn)云與模板點(diǎn)云輸入ICP模塊求解初始變換矩陣，最后通過(guò)多次迭代求解精確位姿矩陣，實(shí)現(xiàn)無(wú)序工件位姿估計(jì)。當(dāng)達(dá)到設(shè)定的收斂閾值，結(jié)束迭代完成配準(zhǔn)，最后通過(guò)奇異值分解（SVD）計(jì)算工件在空間的位姿參數(shù)。

1.2 構(gòu)建網(wǎng)絡(luò)

三維點(diǎn)云具有無(wú)序性和幾何不變性，且保存了三維空間中原始的幾何信息，包括三維坐標(biāo)、類別、法向量等。在對(duì)點(diǎn)云進(jìn)行配準(zhǔn)時(shí)，利用對(duì)稱函數(shù)以提供對(duì)輸入點(diǎn)云變換的不變性，而對(duì)稱函數(shù)的輸出向量稱為全局特征向量，點(diǎn)云全局特征向量包含點(diǎn)云的幾何信息和方向信息，可以通過(guò)比較點(diǎn)云的特征向量來(lái)求解兩片點(diǎn)云之間的變換關(guān)系。點(diǎn)云配準(zhǔn)問(wèn)題可以描述為給定兩片點(diǎn)云X∈RN×3和Y∈RM×3，計(jì)算得出一個(gè)剛性變換矩陣（R，t）。定義目標(biāo)點(diǎn)云為PT和模板點(diǎn)云為PS，目標(biāo)函數(shù)為φ，計(jì)算出剛體變換矩陣T∈SE(3)，使φ(PT)和φ(PS)之間的差異最小。

1.3 配準(zhǔn)模塊

圖2 為算法的核心。將從結(jié)構(gòu)光傳感器采集的點(diǎn)云（稱為目標(biāo)點(diǎn)云PT）與對(duì)應(yīng)要配準(zhǔn)物體的已知模型的點(diǎn)云（稱為模板點(diǎn)云PS）作為輸入。SAM 包括特征提取層和回歸層。特征提取層分別將PT和PS輸入到PointNet 模塊，對(duì)每個(gè)點(diǎn)進(jìn)行一維卷積運(yùn)算提取點(diǎn)云特征。首先通過(guò)T-Net 模塊對(duì)數(shù)據(jù)做仿射變換，由共享的多層感知器（MLP），以連體結(jié)構(gòu)排列，對(duì)點(diǎn)云逐點(diǎn)特征提?。?4維）；接著采用仿射變換實(shí)現(xiàn)點(diǎn)云的旋轉(zhuǎn)平移不變性，避免損失過(guò)多的特征，需要將特征維度映射到高維度空間（1 024 維）。接著作最大池化操作（max-pool），得到全局特征。

圖2 單次配準(zhǔn)模塊網(wǎng)絡(luò)結(jié)構(gòu)

點(diǎn)云配準(zhǔn)模塊的對(duì)稱最大集合函數(shù)用于尋找φ(PT)和φ(PS)的全局特征向量。全局特征串聯(lián)起來(lái)并作為輸入特征配準(zhǔn)模塊，將2 片點(diǎn)云合并連接操作進(jìn)行特征匹配?；貧w層對(duì)PT和PS之間的變換進(jìn)行預(yù)測(cè)。為避免過(guò)擬合以及提高配準(zhǔn)效果，網(wǎng)絡(luò)設(shè)置了5 層全連接層FC（1024，1024，512，256，64）進(jìn)行位姿估計(jì)。最后將變換后的目標(biāo)點(diǎn)云（PT）和模板點(diǎn)云（PS）輸入ICP 模塊，輸出7 維向量位姿參數(shù)，前3 位代表位置參數(shù)t∈R3，后4位代表旋轉(zhuǎn)四元數(shù)q∈R4（qTq=1）。

1.4 迭代配準(zhǔn)框架

在場(chǎng)景中，由于結(jié)構(gòu)光三維相機(jī)采集到的點(diǎn)云數(shù)據(jù)通常為散亂的點(diǎn)。數(shù)據(jù)量大且含有一定量的噪聲點(diǎn)和離群點(diǎn)，存在著遮擋和點(diǎn)云不完整的情況。求得的整體變換不滿足精度要求。需要經(jīng)過(guò)預(yù)處理等手段再運(yùn)用迭代的方式獲取精確整體變換，求解位姿參數(shù)。每次使用SAM 進(jìn)行配準(zhǔn)時(shí)，將求得目標(biāo)點(diǎn)云和模板點(diǎn)云之間的變換矩陣T（i）應(yīng)用于目標(biāo)點(diǎn)云。變換后的PT與PS作為下一個(gè)SAM 的輸入。當(dāng)網(wǎng)絡(luò)進(jìn)行多次迭代后，配準(zhǔn)結(jié)果到達(dá)設(shè)定的收斂閾值時(shí)，表示迭代結(jié)束；最后將每次迭代所求的變換矩陣相乘求得整體變換矩陣，得到模板點(diǎn)云和目標(biāo)點(diǎn)云之間的整體變換，如式（1）所示。迭代配準(zhǔn)框架如圖3所示。

圖3 迭代配準(zhǔn)框架

1.5 位姿估計(jì)

由式（1）求解得到整體變換矩陣T后，將求解得到整體變換矩陣?yán)镁仃嚻娈愔捣纸猓⊿VD）解出具體姿勢(shì)參數(shù)。

式中：X′= (xi-ux)=(x′i)；P′= (xi-ux) = (x′i)；ux=；δ1、δ2、δ3均為特征值。

1.6 損失函數(shù)

用于訓(xùn)練點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)的損失函數(shù)的目的是使預(yù)測(cè)點(diǎn)云與模板點(diǎn)云之間的距離盡可能小。Earth Mover’s Distance（EMD）函數(shù)是對(duì)特征空間中的多維矩陣中某一維距離的一種度量?？紤]S1，S2∈R3的大小相等s=。X和Y兩片點(diǎn)云之間的EMD表示為：

EMD Loss 函數(shù)對(duì)下一節(jié)描述的訓(xùn)練數(shù)據(jù)集的學(xué)習(xí)比較有效，對(duì)于典型點(diǎn)云輸入也有比較高度準(zhǔn)確的結(jié)果。

2 實(shí)驗(yàn)與分析

2.1 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練使用Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)，初始學(xué)習(xí)率為10-6，批次大小為64。實(shí)驗(yàn)平臺(tái)為CentOS 7，配置一個(gè)NVIDIA Tesla V100 GPU 和一個(gè)Intel 6133 CPU 上訓(xùn)練，CUDA 版本為11.2，Python 版本為3.7，網(wǎng)絡(luò)都在PyTorch架構(gòu)上實(shí)現(xiàn)。并且使用收斂標(biāo)準(zhǔn)：

實(shí)驗(yàn)根據(jù)各向同性的旋轉(zhuǎn)誤差Err(R)和平移誤差Err(t)來(lái)評(píng)估配準(zhǔn)的點(diǎn)云配準(zhǔn)精度，其中，

式中：R、t，分別表示預(yù)測(cè)變換和真實(shí)變換。通過(guò)計(jì)算歐拉角和平移向量的平均絕對(duì)誤差，評(píng)估各向異性旋轉(zhuǎn)均方誤差R(MSE,MAE)、 平移均方誤差t(MSE,MAE)。

無(wú)序工件CAD 數(shù)據(jù)集（WorkpiecesDataSet）包含4個(gè)不同類別的工件，每類工件800 個(gè)點(diǎn)云圖，共3 200個(gè)點(diǎn)云圖，設(shè)置訓(xùn)練集為2 240 個(gè)訓(xùn)練圖，測(cè)試集為960個(gè)測(cè)試圖?；贑AD 模型表面區(qū)域均勻采樣，使用最遠(yuǎn)點(diǎn)算法得到一個(gè)完整的點(diǎn)云模型。數(shù)據(jù)集模型的歐拉角旋轉(zhuǎn)范圍為[90°，90°]，平移范圍為[-0.5，0.5]單位，在模板點(diǎn)云上應(yīng)用隨機(jī)剛性轉(zhuǎn)換來(lái)生成目標(biāo)點(diǎn)云。

另外利用結(jié)構(gòu)光相機(jī)采集點(diǎn)云場(chǎng)景數(shù)據(jù)，制作場(chǎng)景數(shù)據(jù)集。每類工件約1 000 個(gè)點(diǎn)云圖，4 類工件約4 000個(gè)點(diǎn)云圖。首先進(jìn)行點(diǎn)云預(yù)處理操作，使得點(diǎn)云數(shù)據(jù)更加平滑，再按要求生成場(chǎng)景數(shù)據(jù)集，用作網(wǎng)絡(luò)訓(xùn)練與測(cè)試，按比例分成2 部分：一部分作為訓(xùn)練數(shù)據(jù)（70%），另一部分為測(cè)試數(shù)據(jù)（30%）。

2.2 完整點(diǎn)云數(shù)據(jù)

實(shí)驗(yàn)對(duì)上述WorkpiecesDataSet數(shù)據(jù)集添加隨機(jī)噪聲、離群點(diǎn)進(jìn)行訓(xùn)練，再使用測(cè)試集對(duì)網(wǎng)絡(luò)進(jìn)行評(píng)估；數(shù)據(jù)集未含大區(qū)域不完整的點(diǎn)云。采取隨機(jī)種子點(diǎn)進(jìn)行測(cè)試，以進(jìn)行客觀的比較評(píng)價(jià)。實(shí)驗(yàn)結(jié)果如表1、圖4 所示，i-SAM 與ICP、FGR、PointNetLK、PCRNet、ROPNet 算法對(duì)比有較高的配準(zhǔn)案例數(shù)量，設(shè)置i-SAM 的迭代次數(shù)為8 次，成功配準(zhǔn)的旋轉(zhuǎn)和平移誤差更小，由于經(jīng)過(guò)多次迭代配準(zhǔn)效率不及其他網(wǎng)絡(luò)，但也在可接受的范圍。

表1 WorkpiecesDataSet不可見(jiàn)形狀的測(cè)試結(jié)果

圖4 WorkpiecesDataSet的所見(jiàn)類別物體的測(cè)試及預(yù)測(cè)結(jié)果

2.3 不完整點(diǎn)云數(shù)據(jù)

在真實(shí)的場(chǎng)景中，從三維結(jié)構(gòu)光相機(jī)采集到的點(diǎn)云有部分含有殘缺、不完整情況。在進(jìn)行配準(zhǔn)時(shí)，由于點(diǎn)云的部分輪廓特征缺失，導(dǎo)致配準(zhǔn)得到的結(jié)果不太理想。實(shí)驗(yàn)使用含有殘缺測(cè)試集測(cè)試i-SAM 的配準(zhǔn)能力。測(cè)試集隨機(jī)產(chǎn)生殘缺、不同堆疊程度的模擬實(shí)際工況采樣，得到95%、90%、75%、60%、50%、25%完整度的點(diǎn)云，最后在訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行點(diǎn)云殘缺配準(zhǔn)測(cè)試。

配準(zhǔn)結(jié)果如表2，在完整數(shù)據(jù)集上訓(xùn)練，將不同比例不完整的目標(biāo)點(diǎn)云匹配到工件源模型的測(cè)試結(jié)果如圖5所示。隨著點(diǎn)云的完整度降低，當(dāng)點(diǎn)云完整性從95%下降到75%準(zhǔn)確度略有下降，從60%降到50%時(shí)，配準(zhǔn)精確度逐漸降低。說(shuō)明i-SAM可以較好地處理小幅度缺失情況，成功配準(zhǔn)結(jié)果的示例有較小的旋轉(zhuǎn)、平移誤差。當(dāng)點(diǎn)云存在大面積遮擋的情況，由于缺失輪廓特征導(dǎo)致誤差較大。

表2 不同殘缺點(diǎn)云進(jìn)行配準(zhǔn)測(cè)試結(jié)果

圖5 在完整數(shù)據(jù)集上訓(xùn)練，將不同比例不完整的目標(biāo)點(diǎn)云匹配到工件源模型的測(cè)試結(jié)果示例

2.4 含噪聲點(diǎn)云數(shù)據(jù)

在不同的高斯噪聲數(shù)據(jù)下對(duì)部分可見(jiàn)性測(cè)試， 在含有0.01～0.20的高斯噪聲的測(cè)試集上進(jìn)行測(cè)試。結(jié)果如圖6所示，圖中，縱軸是實(shí)驗(yàn)配準(zhǔn)成功率，即旋轉(zhuǎn)誤差小于成功標(biāo)準(zhǔn)的測(cè)試案例的數(shù)量，橫軸為不同的噪聲標(biāo)準(zhǔn)差值。PointNetLK 對(duì)噪聲非常敏感表現(xiàn)較差，i-SAM 在0.03～0.075 高斯噪聲表現(xiàn)比較穩(wěn)定，成功配準(zhǔn)的示例旋轉(zhuǎn)、平移誤差相對(duì)其他配準(zhǔn)方法較小。

圖6 不同程度的高斯噪聲下各配準(zhǔn)方法的表現(xiàn)

2.5 場(chǎng)景點(diǎn)云數(shù)據(jù)

使用結(jié)構(gòu)光相機(jī)在真實(shí)場(chǎng)景、光照良好，并存在一定的堆疊、遮擋等缺陷同時(shí)含有隨機(jī)噪聲等干擾情況進(jìn)采集無(wú)序工件點(diǎn)云場(chǎng)景數(shù)據(jù)，并對(duì)場(chǎng)景點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理與分割。對(duì)處理后的點(diǎn)云模型用于配準(zhǔn)算法的評(píng)估。配準(zhǔn)結(jié)果如表3，配準(zhǔn)示例如圖7，實(shí)驗(yàn)表明配準(zhǔn)網(wǎng)絡(luò)在場(chǎng)景點(diǎn)云數(shù)據(jù)含有小面積遮擋場(chǎng)景、噪聲的情況下，i-SAM 與ICP、FGR、PointNetLK、PCRNet、ROPNet 算法對(duì)比在場(chǎng)景點(diǎn)云數(shù)據(jù)中能夠獲得較高的精度，配準(zhǔn)結(jié)果的旋轉(zhuǎn)誤差、平移誤差更小。

表3 無(wú)序工件場(chǎng)景點(diǎn)云進(jìn)行配準(zhǔn)測(cè)試結(jié)果

圖7 不同配準(zhǔn)方法對(duì)無(wú)序工件場(chǎng)景數(shù)據(jù)配準(zhǔn)結(jié)果示例

3 結(jié)束語(yǔ)

實(shí)驗(yàn)針對(duì)存在噪聲和堆疊工況下，無(wú)序工件點(diǎn)云配準(zhǔn)結(jié)果精度不高、效率低等問(wèn)題，研究提出i-SAM 網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)方法。網(wǎng)絡(luò)基于PointNet 架構(gòu)的編碼網(wǎng)絡(luò)，利用點(diǎn)云數(shù)據(jù)進(jìn)行特征提取與特征匹配，并結(jié)合ICP 算法，最后進(jìn)行多次迭代實(shí)現(xiàn)點(diǎn)云精確配準(zhǔn)，以進(jìn)行無(wú)序工件位姿估計(jì)。實(shí)驗(yàn)使用無(wú)序工件數(shù)據(jù)集（Workpieces-DataSet）訓(xùn)練并測(cè)試對(duì)網(wǎng)絡(luò)進(jìn)評(píng)估，并使用結(jié)構(gòu)光相機(jī)采集場(chǎng)景用于測(cè)試網(wǎng)絡(luò)性能。實(shí)驗(yàn)證明提出的配準(zhǔn)網(wǎng)絡(luò)對(duì)含有噪聲點(diǎn)云具有一定的魯棒性，對(duì)工件含有小面積遮擋場(chǎng)景，含有殘缺的情況下，配準(zhǔn)框架以迭代的方式實(shí)現(xiàn)配準(zhǔn)，能夠獲得較高及精度的位姿估計(jì)結(jié)果。