基于調(diào)整輪廓線(xiàn)權(quán)重的文物碎塊自動(dòng)拼接方法

耿國(guó)華,姚文敏,周明全,劉 杰,徐雪麗,4, 曹 欣,劉陽(yáng)洋,李 康

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.西北大學(xué) 文化遺產(chǎn)數(shù)字化國(guó)家地方聯(lián)合工程研究中心, 陜西 西安 710127;3.北京師范大學(xué) 教育部虛擬現(xiàn)實(shí)應(yīng)用工程研究中心,北京 100875;4.延安大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,陜西 延安 716000)

地殼運(yùn)動(dòng)、氣候變化、收藏和搬運(yùn)等過(guò)程中的不當(dāng)操作都可能使文物破損,進(jìn)而影響其藝術(shù)、歷史等價(jià)值,因此，拼接碎片以恢復(fù)文物原貌是一項(xiàng)重要工作。傳統(tǒng)的手工拼接不僅繁瑣,而且可能在拼接過(guò)程中對(duì)文物造成二次破壞[1]。計(jì)算機(jī)技術(shù)的發(fā)展使虛擬拼接技術(shù)取代手工操作成為可能。在大量待處理碎塊中,虛擬拼接技術(shù)能夠自動(dòng)選擇合適的碎塊進(jìn)行拼接，最終實(shí)現(xiàn)整體復(fù)原。該過(guò)程包括兩個(gè)階段:匹配與配準(zhǔn),前者確定哪些碎塊應(yīng)該拼接在一起,后者確定如何拼接。

三維物體匹配的通用方法是:提取物體的特征之后對(duì)特征描述子進(jìn)行比對(duì),確定物體之間的匹配關(guān)系。根據(jù)不同的特征來(lái)源,可以將這些方法歸為基于點(diǎn)[2-3]、基于線(xiàn)[4-7]和基于面[8-9]3類(lèi)。PAN等通過(guò)檢測(cè)物體的關(guān)鍵點(diǎn),對(duì)其局部特征進(jìn)行編碼，利用能量函數(shù)對(duì)局部特征和歐幾里得幾何混合空間中臨界點(diǎn)的相似性進(jìn)行建模,完成相應(yīng)匹配任務(wù)[2]。袁潔等通過(guò)構(gòu)建輪廓線(xiàn)到斷裂面和表面特征點(diǎn)的雙向距離描述子[7],提高了特征的魯棒性,但該方法對(duì)輪廓線(xiàn)有較高的依賴(lài)性,在輪廓線(xiàn)嚴(yán)重缺損時(shí)表現(xiàn)不佳。Son等提出了一種基于表面的描述符(surface signature),用于描述基于凹凸信息的幾何特征,以衡量不同表面的相似性[9]?？傮w而言,從點(diǎn)到線(xiàn)再到面的特征描述子包含的信息逐漸豐富,對(duì)噪聲的抗干擾程度逐漸增強(qiáng)。

配準(zhǔn)的解決方案主要可分為3種[10]:基于距離[11-15]、基于濾波器[16-18]和基于概率分布[19-22]。迭代最近點(diǎn)(iterative closest point, ICP)算法[11]是基于距離的三維點(diǎn)云配準(zhǔn)方法。ICP以三維點(diǎn)云之間的歐式距離為優(yōu)化目標(biāo),迭代更新點(diǎn)云與空間位姿的對(duì)應(yīng)關(guān)系。為了解決更具體、更復(fù)雜的問(wèn)題,研究者們提出了一系列基于ICP的改進(jìn)方法[12-15]，但此類(lèi)方法仍存在計(jì)算量大、收斂時(shí)間長(zhǎng)、局部最優(yōu)以及對(duì)噪聲敏感等缺點(diǎn)[23]。Sandhu等采用粒子濾波方案驅(qū)動(dòng)點(diǎn)集的配準(zhǔn)過(guò)程,對(duì)噪聲與結(jié)構(gòu)缺失等問(wèn)題具有較好魯棒性[18]。Jian等將三維點(diǎn)云表示為高斯混合模型,并將點(diǎn)云配準(zhǔn)問(wèn)題視為對(duì)兩個(gè)高斯混合模型的配準(zhǔn)[19]。此外,三維點(diǎn)云配準(zhǔn)通常使用由粗到精的配準(zhǔn)策略[24]。Kim等聯(lián)合主成分分析(principal component analysis, PCA)和ICP算法使用基于PCA的全局配準(zhǔn)粗略對(duì)齊三維數(shù)據(jù),得到位置的初始估計(jì),然后，采用ICP和Levenberg-Marquardt算法進(jìn)行局部對(duì)齊得到更精細(xì)的配準(zhǔn)結(jié)果,提高了算法的效率和精度[25]。此外,Wang等[26]提出了深度最近點(diǎn)(deep closest point， DCP)神經(jīng)網(wǎng)絡(luò),由于其訓(xùn)練樣本為理想狀態(tài)下的三維物體,因此，若直接將該方法應(yīng)用于現(xiàn)實(shí)問(wèn)題,效果并不突出。

為了提高對(duì)破損輪廓線(xiàn)的魯棒性,本文提出一種基于斷裂面信息的文物碎塊自動(dòng)拼接方法,該方法能夠降低對(duì)輪廓線(xiàn)的依賴(lài)程度,同時(shí)有效解決PCA配準(zhǔn)的方向歧義性,并且通過(guò)構(gòu)建的由粗到細(xì)的配準(zhǔn)方法,得到更精準(zhǔn)的拼接結(jié)果。

1 方法描述

1.1 斷裂面提取

與文物外表面不同,斷裂面是因斷裂而產(chǎn)生的新表面,如圖1所示。斷裂面包含重要的紋理和幾何分布信息,能夠?yàn)槠ヅ潆A段提供豐富的特征和有力的支持。本文參考Li等[27]的斷裂面提取方法,根據(jù)多尺度曲率確定斷裂面輪廓線(xiàn),比較平面粗糙程度來(lái)區(qū)分?jǐn)嗔衙婧屯獗砻?，斷裂面提取結(jié)果如圖2所示。

圖1 不同視角下的兵馬俑碎塊Fig.1 Terracotta Warriors fragment from different perspectives

圖2 斷裂面提取結(jié)果Fig.2 Extraction result of fracture surface

1.2 特征提取與匹配

快速點(diǎn)特征直方圖(fast point feature histograms,FPFH)[28]在三維點(diǎn)云關(guān)鍵點(diǎn)檢測(cè)、匹配和配準(zhǔn)等領(lǐng)域有廣泛的應(yīng)用。文物最初斷裂產(chǎn)生的輪廓線(xiàn)比較尖銳,但輪廓線(xiàn)位于斷裂面外沿,經(jīng)歷長(zhǎng)期自然以及人為因素的影響極易磨損。因此,高度依賴(lài)輪廓線(xiàn)的方法可能因特征的不可靠性導(dǎo)致性能下降?；诖?本文提出基于改進(jìn)的FPFH特征的文物斷裂面特征提取與匹配算法,降低對(duì)輪廓線(xiàn)的依賴(lài)度。算法描述如圖3所示,以一對(duì)待處理的斷裂面作為輸入,經(jīng)過(guò)FPFH特征提取和比對(duì)得到匹配點(diǎn),再根據(jù)該點(diǎn)是否位于輪廓線(xiàn)上,調(diào)整其對(duì)斷裂面的整體匹配度的權(quán)重,最終輸出匹配得分。

圖3 文物斷裂面特征提取與匹配算法示意圖Fig.3 Schematic diagram of the feature extraction and matching algorithm of cultural relics fracture surfaces

以斷裂面A,B為例,其分別由m和n個(gè)點(diǎn)組成,即A={a1,a2,…,am},B={b1,b2,…,bn}。 計(jì)算各點(diǎn)的FPPH特征, 得到FA={fa1,fa2,…,fam},FB={fb1,fb2,…,fbn}。A中任意一點(diǎn)對(duì)應(yīng)的匹配點(diǎn)為B中在FPPH特征向量空間中歐式距離接近的點(diǎn)。例如，若‖fai,fbj‖≤ξ,則ai與bj為一對(duì)匹配點(diǎn)，ξ為判斷點(diǎn)是否匹配的閾值。根據(jù)匹配點(diǎn)數(shù)占斷裂面上總點(diǎn)數(shù)的比例,確定最終的斷裂面匹配得分，

(1)

其中,若第i個(gè)點(diǎn)為匹配點(diǎn),則Mi=1,否則Mi=0;若第i個(gè)點(diǎn)為輪廓線(xiàn)上的點(diǎn),則wi=wc,否則wi=wp。wc表示輪廓線(xiàn)上點(diǎn)的權(quán)重，wp表示非輪廓線(xiàn)上點(diǎn)的權(quán)重，且wc

1.3 由粗到細(xì)配準(zhǔn)

確定匹配關(guān)系后，下一步進(jìn)行配準(zhǔn)。給定三維物體P和Q，配準(zhǔn)任務(wù)可以表述為:求解旋轉(zhuǎn)矩陣R和平移向量T以達(dá)到優(yōu)化目標(biāo),優(yōu)化目標(biāo)是PR+T盡量與Q重合。

由于斷裂面是所屬碎塊的子集,二者共享同一個(gè)坐標(biāo)系,因此,將根據(jù)斷裂面獲得的參數(shù)R與T用于碎塊即可實(shí)現(xiàn)碎塊拼接。匹配的斷裂面之間,形狀分布也較為接近。對(duì)于一個(gè)匹配碎塊對(duì),本文利用PCA分別獲得其3個(gè)主方向,將其作為配準(zhǔn)對(duì)象,取代了對(duì)斷裂面全體點(diǎn)進(jìn)行配準(zhǔn),加快粗配準(zhǔn)的速度,粗配準(zhǔn)過(guò)程如圖4所示。

圖4 斷裂面粗配準(zhǔn)過(guò)程Fig.4 Fracture surfaces coarse registration process

H=USV,R=VUT,

(2)

其中：U和V均為單位正交陣，分別稱(chēng)為左右奇異矩陣；S的主對(duì)角線(xiàn)上為奇異值，其他元素為0；R即為所求的旋轉(zhuǎn)矩陣。平移向量T=CB-CA,CA與CB分別是斷裂面A與B的質(zhì)心。質(zhì)心可通過(guò)計(jì)算斷裂面的三維坐標(biāo)平均值獲得,以A為例,有

(3)

然而,基于PCA的粗配準(zhǔn)方法會(huì)帶來(lái)配準(zhǔn)方向產(chǎn)生歧義的問(wèn)題。A的任何一個(gè)主方向都可與B的兩種配準(zhǔn)主方向相對(duì)應(yīng),即:xA與xB,或xA與-xB。所以3個(gè)主方向會(huì)產(chǎn)生8種配準(zhǔn)方向,在主方向間相對(duì)位置的約束下,最后可能的配準(zhǔn)方向有4種,分別是:

這4種可能的配準(zhǔn)方向的配準(zhǔn)結(jié)果如圖5所示。

圖5 4種配準(zhǔn)方向Fig.5 Four registration directions

鑒于方向歧義的問(wèn)題,本文分別實(shí)現(xiàn)了上述4種方向的配準(zhǔn),并評(píng)價(jià)其配準(zhǔn)效果,最終擇優(yōu)選取。在此，以?xún)蓚€(gè)斷裂面之間的距離為評(píng)價(jià)標(biāo)準(zhǔn),即

D=DAB+DBA,

(4)

(5)

(6)

(7)

(8)

其中,DAB表示A到B的距離,即A中每個(gè)點(diǎn)到B中點(diǎn)最短距離的平均值,DBA同理。D作為兩個(gè)面之間距離的均值,可以體現(xiàn)點(diǎn)云的重合程度,用以評(píng)價(jià)配準(zhǔn)質(zhì)量。如圖5A對(duì)應(yīng)的D最小,因此被確定為最終選擇。

深度最近點(diǎn)(deep closest point,DCP)模型是一種解決三維配準(zhǔn)問(wèn)題的深度學(xué)習(xí)方法。通過(guò)編碼模塊、注意力模塊以及奇異值分解模塊,DCP可以自動(dòng)求解待配準(zhǔn)物體間的旋轉(zhuǎn)矩陣R和平移向量T。DCP的編碼模塊采用動(dòng)態(tài)圖卷積(dynamic graph convolution neural network, DGCNN),提取點(diǎn)云的深度特征,注意力模塊用于調(diào)整待配準(zhǔn)物體的關(guān)聯(lián)特征,SVD模塊用于計(jì)算R和T,DCP模型結(jié)構(gòu)如圖6所示。在實(shí)驗(yàn)過(guò)程中,DCP的訓(xùn)練集與測(cè)試集均為理想狀態(tài),即配準(zhǔn)對(duì)象之間形狀完全重合,僅在位置上有區(qū)別。然而實(shí)際情況與理想狀態(tài)有很大差別:在數(shù)據(jù)采集的過(guò)程中,不同文物碎塊作為單獨(dú)的個(gè)體被分開(kāi)處理,故在數(shù)據(jù)密度、精度以及形狀結(jié)構(gòu)上均有差別,所以直接將DCP應(yīng)用于文物配準(zhǔn),效果并不理想。

圖6 DCP架構(gòu)Fig.6 Structure of DCP

本文針對(duì)文物的特殊性,構(gòu)造完全由文物數(shù)據(jù)組成的數(shù)據(jù)集,對(duì)DCP進(jìn)行遷移訓(xùn)練,得到適用于文物配準(zhǔn)的DCP網(wǎng)絡(luò),并且與PCA結(jié)合,通過(guò)PCA給定初始的位姿估計(jì),再使用DCP進(jìn)行細(xì)微調(diào)整,最終實(shí)現(xiàn)配準(zhǔn)精度的提升。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)說(shuō)明

實(shí)驗(yàn)數(shù)據(jù)均為兵馬俑碎塊,由秦始皇兵馬俑博物館提供,西北大學(xué)文化遺產(chǎn)數(shù)字化國(guó)家地方聯(lián)合工程研究中心整理入庫(kù),通過(guò)Artec Eva手持掃描儀獲取。實(shí)驗(yàn)分為兩個(gè)部分:一是仿真實(shí)驗(yàn)，二是真實(shí)場(chǎng)景實(shí)驗(yàn)。

2.2 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)所用數(shù)據(jù)包括兩部分:標(biāo)準(zhǔn)數(shù)據(jù)集ModelNet40和兵馬俑碎塊數(shù)據(jù)。DCP網(wǎng)絡(luò)先在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后遷移至兵馬俑碎塊上繼續(xù)訓(xùn)練。關(guān)于兵馬俑數(shù)據(jù),本文通過(guò)隨機(jī)旋轉(zhuǎn),平移,裁剪等處理,得到包含1 800對(duì)待配準(zhǔn)碎塊斷裂面的數(shù)據(jù)集,仿真了現(xiàn)實(shí)場(chǎng)景。此數(shù)據(jù)集以4∶1的比例分為訓(xùn)練集和測(cè)試集。在測(cè)試集上,除了本文方法之外,選取了ICP[11]、DCP[26]、單獨(dú)使用PCA,以及PCA與ICP聯(lián)合共4種方法作為對(duì)比,對(duì)比結(jié)果如表1所示。評(píng)價(jià)指標(biāo)主要有3個(gè):

1)配準(zhǔn)成功率。統(tǒng)計(jì)配準(zhǔn)成功的樣本占所有實(shí)驗(yàn)樣本的比例,配準(zhǔn)結(jié)果中碎塊斷裂面之間的角度以及距離在一定范圍內(nèi)即視為配準(zhǔn)成功(角度誤差在10°之內(nèi),距離誤差在20 mm之內(nèi))。

2)距離誤差。統(tǒng)計(jì)所有成功樣本斷裂面之間距離的均方誤差MSE和平均絕對(duì)誤差MAE，斷裂面之間距離的定義見(jiàn)公式(4)。

3)計(jì)算開(kāi)銷(xiāo)。統(tǒng)計(jì)所有樣本所需的平均迭代計(jì)算次數(shù)。

表1 不同配準(zhǔn)方法在兵馬俑碎塊上實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 The experimental results comparison of different registration methods implemented on the Terracotta Warriors fragments

從表1的實(shí)驗(yàn)結(jié)果可以看出,由于ICP算法迭代運(yùn)算的特點(diǎn),其在成功率、誤差和計(jì)算開(kāi)銷(xiāo)上表現(xiàn)最差; DCP方法的成功率很低,但是在配準(zhǔn)成功的實(shí)例上誤差較小;PCA作為粗配準(zhǔn)方法,配準(zhǔn)成功率很高,但是在細(xì)尺度的精度上不夠理想,反映為較高的距離誤差。

本文提出的PCA+DCP方法在各個(gè)指標(biāo)上均表現(xiàn)最佳,且未引入迭代運(yùn)算,計(jì)算開(kāi)銷(xiāo)得以保證。與單獨(dú)使用PCA或者DCP相比,本文方法結(jié)合PCA的快速粗配準(zhǔn)以及DCP在細(xì)配準(zhǔn)階段的優(yōu)勢(shì),彌補(bǔ)了前者精度不足以及后者成功率不高的缺陷。圖7為一對(duì)待配準(zhǔn)斷裂面的不同拼接結(jié)果對(duì)比圖。由圖7可知,PCA獲得了總體的配準(zhǔn)結(jié)果,但在細(xì)節(jié)上表現(xiàn)不佳;DCP在失去PCA的支持后,在該樣本上配準(zhǔn)失敗;而結(jié)合了PCA和DCP的方法取得了最佳的配準(zhǔn)結(jié)果。

圖7 具體樣本配準(zhǔn)結(jié)果對(duì)比Fig.7 Comparison of registration results of a specific sample

PCA方法作為優(yōu)秀的粗配準(zhǔn)方法,能為后續(xù)細(xì)配準(zhǔn)提供良好的初始化結(jié)果,不僅可以與DCP結(jié)合,也可以與ICP結(jié)合。由表1可以看出,PCA可以全面提升ICP的性能,但屬于單方面提升,依舊落后于PCA本身。本文提出的PCA+DCP的方案可以實(shí)現(xiàn)二者的優(yōu)勢(shì)互補(bǔ),實(shí)現(xiàn)最佳配準(zhǔn)效果。

2.3 真實(shí)場(chǎng)景實(shí)驗(yàn)

真實(shí)場(chǎng)景中,兩個(gè)被拼接在一起的碎塊可以作為一個(gè)新的碎塊加入到下一輪拼接過(guò)程中。以“G10-36”號(hào)兵馬俑背部為例,本文方法的拼接過(guò)程如圖8所示。

圖8 “G10-36”號(hào)兵馬俑背部拼接結(jié)果Fig.8 Reassembly process of back of Terracotta Warriors labeled “G10-36”

在拼接過(guò)程中,本文統(tǒng)計(jì)了匹配得分。此得分作為判斷碎塊是否匹配的依據(jù),越靠近真實(shí)值則說(shuō)明匹配結(jié)果越合理,即:對(duì)于匹配碎塊,匹配得分應(yīng)盡量趨于1,對(duì)于不匹配碎塊,匹配得分應(yīng)盡量趨于0。本例中,每一步匹配的匹配得分如表2,其中，判斷匹配點(diǎn)的閾值ξ=20,輪廓線(xiàn)上點(diǎn)的權(quán)重wc=0.8,非輪廓線(xiàn)上點(diǎn)的權(quán)重wp=1.0。為了驗(yàn)證權(quán)重調(diào)整的必要性,以未經(jīng)過(guò)輪廓線(xiàn)權(quán)重調(diào)整的FPFH方法作為對(duì)比。在匹配得分方面,本方法由于降低了輪廓線(xiàn)權(quán)重,更加信賴(lài)非輪廓線(xiàn),因此得到的匹配得分更高;在運(yùn)行時(shí)間方面,由于輪廓線(xiàn)已經(jīng)在斷裂面提取過(guò)程中獲取,沒(méi)有增加太多額外計(jì)算,因此，運(yùn)行時(shí)間與FPFH相當(dāng)。

表2 “G1036”號(hào)兵馬俑碎塊拼接過(guò)程匹配得分Tab.2 The matching scores of Terracotta Warriors fragments labeled “G10-36” in reassembly process

然而,在某些情形下,本文提出的方法會(huì)暴露一些不足。如圖9所示,由于碎塊的斷裂面嚴(yán)重破損(見(jiàn)紅色框線(xiàn)內(nèi)),特征信息不足,最終會(huì)導(dǎo)致匹配和配準(zhǔn)的失敗。

圖9 斷裂面嚴(yán)重破損示例Fig.9 An example of severely damaged fracture surface

3 結(jié)語(yǔ)

本文提出了一種基于斷裂面信息的文物碎塊自動(dòng)拼接方法。在匹配階段,通過(guò)FPFH特征確定匹配點(diǎn)對(duì),考慮到輪廓線(xiàn)的磨損,調(diào)整其對(duì)斷裂面之間的匹配權(quán)重;在配準(zhǔn)階段,實(shí)現(xiàn)PCA方法中所有可能的方向,并根據(jù)斷裂面之間的距離選擇最優(yōu),解決了方向歧義問(wèn)題;制作文物數(shù)據(jù)對(duì)DCP進(jìn)行了遷移訓(xùn)練,并與PCA方法結(jié)合,完成由粗到細(xì)的配準(zhǔn)過(guò)程。通過(guò)一系列實(shí)驗(yàn),驗(yàn)證了本文所提匹配策略的有效性和配準(zhǔn)策略的高精度與低開(kāi)銷(xiāo),具體表現(xiàn)為:匹配得分提高了1到3,配準(zhǔn)成功率達(dá)到53.89%,配準(zhǔn)的平均絕對(duì)誤差為0.920 2 mm。

然而,由于本文方法的特征來(lái)源和直接拼接對(duì)象均為斷裂面,因此，具有一定的局限性。在斷裂面保存比較完整的情況下,匹配與配準(zhǔn)效果都能夠?qū)崿F(xiàn)預(yù)期結(jié)果;但是，在斷裂面破損嚴(yán)重的情況下,結(jié)果不夠理想。后續(xù)工作將會(huì)考慮如何在斷裂面不完整的情形下完成文物碎塊拼接任務(wù)。