基于多描述子投票的飛機蒙皮局部掃描點云定位

張一鳴 李紅衛(wèi) 趙安安 謝 乾 汪 俊

1.南京航空航天大學計算機科學與技術學院，南京，210016 2.航空工業(yè)西安飛機工業(yè)(集團)有限責任公司，西安，710089 3.南京航空航天大學機電學院，南京，210016

0 引言

飛機蒙皮對飛機的氣動性和安全性起著重要作用，一方面，作為飛機氣動力外形構件，蒙皮類鈑金零件需要具備光滑的自由曲面，具有尺寸大、剛性弱、外形復雜等特點，為了避免加工過程產生較大誤差，加工出的蒙皮零件往往需要和理論模型進行對比檢測；另一方面，飛機蒙皮直接暴露于外界環(huán)境，日久老化、交變載荷、酸液腐蝕、外界撞擊等不確定性因素常常使蒙皮出現(xiàn)劃痕、裂紋、凹陷、膨脹等一系列損傷[1]，這些損傷的積累對飛機的安全性造成了極大影響，因此，飛機蒙皮質量的檢測也是飛機日常維護工作中的一項重要任務。

目前國內的蒙皮零件檢測大多仍舊采用手動測量的方法，依靠模胎、樣板等專業(yè)檢驗工裝進行檢測。這種方法依賴于操作人員的實踐經驗，主觀性強，誤差大，效率低[2]。飛機蒙皮的日常維護技術也經歷了從傳統(tǒng)的目視檢測，到渦流、磁粉、滲透檢測等無損檢測技術[3]，再到近年來基于機器視覺的蒙皮檢測技術的發(fā)展歷程[4-6]。然而，基于機器視覺的蒙皮檢測技術處理飛機蒙皮的二維圖像，顏色、光照等圖像紋理信息往往會對其檢測質量產生較大的干擾。數(shù)字化測量設備的廣泛應用，如三坐標測量機、激光跟蹤儀、激光雷達等，使得人們能夠很容易地獲取物體的三維點云數(shù)據(jù)。利用點云數(shù)據(jù)對飛機蒙皮進行自動化檢測，能在不受外界環(huán)境影響的同時保證較高的測量精度，是制造工業(yè)向數(shù)字化檢測方向發(fā)展的一個技術趨勢。JOVANCEVIC等[7]通過分析掃描到的三維點云數(shù)據(jù)，自動化識別并提取飛機表面上存在的凹痕、突起或劃痕等損傷。高瑞[8]研究蒙皮外形檢測特征的識別提取，規(guī)劃蒙皮外形的掃描測量路徑，實現(xiàn)了蒙皮自動化測量。XIE等[9]提出了一種從三維掃描點云中自動提取蒙皮表面鉚釘?shù)姆椒?。許龍[10]研究了基于激光雷達的自動化測量基準建立的原則與方法，并設計了針對飛機蒙皮外形的自動化檢測方法和流程。

飛機蒙皮的數(shù)字化檢測技術通過設備對飛機蒙皮件進行掃描，得到高精度的點云數(shù)據(jù)，再將其和零件理論CAD模型或其生成的點云進行配準分析，能夠快速獲得零件的制造誤差或蒙皮的凹陷、突起、膨脹等損傷信息。其中，局部蒙皮掃描點云和其理論模型的對齊是一個重要環(huán)節(jié)。由于飛機局部蒙皮和整機蒙皮有著很大的尺寸差異，現(xiàn)有的自動配準算法如基于主成分分析[11-12]的方法、基于幾何特征分析的方法[13-17]等方法很難一次性將局部點云對齊到準確的位置上[18]，所以基于數(shù)字化測量技術的飛機蒙皮形變檢測可以分為局部蒙皮定位、配準和誤差分析三個步驟。其中，局部蒙皮定位是在整機蒙皮上確定出局部蒙皮的所在位置，它能夠保證后續(xù)配準的速度和精度，從而提高誤差分析的準確度。因此，實現(xiàn)局部蒙皮點云的自動化定位對于提高飛機蒙皮形變檢測效率具有重要意義。

針對上述問題，本文提出基于多描述子投票的飛機蒙皮局部掃描點云定位算法，以實現(xiàn)局部蒙皮點云的自動化定位。算法的整體思路是：先根據(jù)局部掃描點云的大小，在整體飛機點云上取得一系列大小與之相近的蒙皮局部點云面片，組成蒙皮面片集合；然后分別用不同的全局描述子選出蒙皮面片集合中與局部掃描點云相似度最高的幾個，其所在位置為該描述子確定的投票點；在所有投票點組成的投票空間上進行歐氏聚類，劃出投票點最為密集的區(qū)域；最后利用投票點加權定位算法由聚類區(qū)域內的投票點確定出最終的定位點。

1 飛機蒙皮局部點云面片

飛機蒙皮局部點云面片(以下簡稱蒙皮面片)是完整飛機點云的一部分，其選取方法直接影響到算法的精度和效率，選取應遵循以下原則：一是蒙皮面片的選取過程要符合真實的掃描過程；二是所有選取的蒙皮面片能夠全部覆蓋飛機蒙皮表面，且相鄰面片之間存在重疊；三是蒙皮面片的數(shù)量要在保證精度的同時衡量算法效率。本節(jié)結合以上原則對算法中蒙皮面片的選取方法和蒙皮面片集合的建立過程進行說明。

1.1 歐氏距離與測地距離

從一個三維掃描點云中選取局部點云，一種常見的方法是基于歐氏距離(Euclidean distance)進行選取，選取關鍵點周圍半徑re以內的近鄰點作為一個局部點云。對于一般物體或場景點云，該方法簡單快速，適用于對選取的局部點云無特殊要求的任務。然而，為了確保蒙皮面片集合中存在與局部掃描點云相似的形狀，就要使選取的蒙皮面片盡量貼近真實掃描出的點云，其形狀應沿著飛機蒙皮表面連續(xù)延伸?；跉W氏距離的選取方法在一些地方往往無法取得符合上述要求的蒙皮面片，包含著大量的無用點，如圖1a所示，在類似飛機機翼的結構處，若以上表面一點vi為中心、re為半徑選取局部點云時(紅色區(qū)域)，基于歐氏距離的選取方法很容易選取到下表面的點，其形狀不符合真實掃描出的局部點云。這些形狀給局部掃描點云和蒙皮面片集合之間的相似度比較帶來了極大的干擾，使得之后的局部蒙皮定位過程無法定位到正確的位置。

本文算法基于測地距離選取蒙皮面片，如圖1b所示。測地距離(geodesic distance)描述了曲面上兩點沿其表面的最短距離，或者圖上兩個節(jié)點之間的最短距離。對于三維空間中的一張無向圖G={V,E}，節(jié)點vi在rg半徑內的鄰近點，是所有與節(jié)點vi之間測地距離小于rg的節(jié)點的集合，描述為

(a)歐氏距離

Nvi={vj|vj∈V,g(vj,vi)≤rg}

(1)

其中，Nvi為點vi的鄰近點集合，g(vj,vi)為vi、vj兩節(jié)點之間測地距離。該算法可以確保其形狀沿著飛機蒙皮表面延伸，符合真實掃描點云數(shù)據(jù)的特點。

1.2 飛機蒙皮面片集合的建立

飛機蒙皮面片集合包含若干從完整飛機點云上選取的蒙皮面片，基于測地距離的選取方法可以保證它們的形狀貼近真實掃描的局部點云。同時，集合規(guī)模和其中蒙皮面片形狀的完備也影響著算法的精確性和運行速度。集合中蒙皮面片對整個飛機蒙皮表面覆蓋得越完整，形狀越豐富，數(shù)量越多，越能保證其中存在與局部掃描點云高相似度的蒙皮面片，從而提高算法的精度。但集合增大意味著需要花費更長的時間，后續(xù)計算描述子的時間開銷也會隨之增加。通過下文的實驗可以看出，過多數(shù)量的蒙皮面片只能對算法精度帶來有限的提升。本節(jié)先介紹蒙皮面片的詳細選取過程，然后說明蒙皮面片集合的建立方法，最后考慮到算法的時間復雜度和空間復雜度，提出一種優(yōu)化的集合建立策略。

在空間中離散分布的三維點云無法直接反映點與點之間的測地距離關系，只能先將點云構造成離散帶權無向圖G。從輸入點云構造圖G=(V，E)的流程如下[19]：

(1)將完整飛機點云中的所有點作為節(jié)點V={v1,v2,…,vn}并入圖G。

(2)構造點云的k鄰近圖。若點vj是vi鄰近點,則將以這兩點為節(jié)點的邊eij并入圖G的邊集E,以兩點之間的歐氏距離作為該邊的權值。

(3)對于圖G中任意兩個節(jié)點，用Dijkstra算法計算它們此時在圖G上的最短距離，并作為該邊的權值并入圖G的邊集E。

構造后的帶權無向圖G中任意兩節(jié)點之間的邊的權值，即可作為點云上對應兩點間的測地距離?；趫DG和飛機點云上的關鍵點，可按照式(1)選取關鍵點周圍半徑rg以內的鄰近點作為該處的蒙皮面片。

關鍵點的位置和數(shù)量直接關系到蒙皮面片的分布情況，要盡量使其在飛機表面上均勻分布，以使所有蒙皮面片能完全覆蓋整個飛機表面，本文采用最遠點采樣法(farthest point sampling)確定關鍵點，采樣數(shù)量應根據(jù)飛機尺寸進行調整，以滿足前文所述的精度和效率之間的平衡。在下文的實驗中，對某型飛機模型下最優(yōu)設定的關鍵點密度情況進行了分析和可視化。

如果直接將整個飛機點云建立成一張離散帶權圖，算法的時間復雜度和空間復雜度都將是O(n2)，這對于大規(guī)模的點云來說無疑會耗費較大的內存空間和較長的運行時間，因此，本文提出一種優(yōu)化的算法策略建立蒙皮面片集合T={t1,t2,…,tl},其中，l為集合的大小，具體建立過程如下。

首先在完整飛機點云上選取l個關鍵點；對于第i個關鍵點，先以半徑re選取其周圍基于歐氏距離的鄰近點集合Si；建立集合Si的離散帶權圖Gi；然后在圖Gi上以半徑rg選取關鍵點i周圍基于測地距離的鄰近點，構成蒙皮面片ti,其中rg=0.7re；重復上述過程直至建立完整的集合T。算法流程如圖2所示。優(yōu)化后算法的時間和空間復雜度降為O(nlogn)。

圖2 飛機蒙皮面片集合的建立Fig.2 Establishment of aircraft skin patch set

2 基于多描述子投票的蒙皮定位

建立飛機蒙皮面片集合后，為了定位局部掃描點云，需要將其與集合中的蒙皮面片一一比較，確定出相似度最高的一塊蒙皮面片，該蒙皮面片的所在位置即為定位點?；谌痔卣鞯娜S描述子是常用的點云之間相似度比較工具。目前不同的基于全局特征的描述子對形狀、密度各異的點云的描述能力往往各有優(yōu)劣，單一的描述子容易選出錯誤的蒙皮面片。因此，本文提出了基于多描述子投票的蒙皮定位方法，首先利用多個描述子各自確定的相似度最高的蒙皮面片的位置建立投票空間，然后在投票空間上進行聚類，找出投票點最密集的區(qū)域，最后在該區(qū)域中確定最終的定位位置。

2.1 建立投票空間

傳統(tǒng)的點云特征描述子根據(jù)提取特征尺度的不同，可以劃分為局部特征描述子和全局特征描述子。由于局部掃描點云每次掃描大小尺度不一，點數(shù)各異，采用局部特征描述子編碼蒙皮面片和局部掃描點云得到的描述向量長度也會難以統(tǒng)一，這將增大后續(xù)算法的復雜度。而全局特征描述子則會將任意點云編碼成統(tǒng)一長度的向量，更便于相似度比對。在所有傳統(tǒng)全局特征描述子中，一些描述子專門為特定任務設計，如Point-related Shape[20]、GFPFH[21]等，均難以適用于蒙皮定位任務，也有一些描述子由于考慮視點信息而缺乏旋轉和平移不變性，或是需要額外的物體類別信息輸入，這些都不適合用于投票空間的建立和后續(xù)的蒙皮定位。

綜上，本文篩選了現(xiàn)有的全局點云描述子，最終選出以下4種描述子建立投票空間：快速點特征直方圖[13](fast point feature histogram，F(xiàn)PFH)、形狀函數(shù)集合[14](ensemble of shape function，ESF)、全局半徑表面描述子[15](global radius-based surface descriptor，GRSD)以及全局正交物體描述子[22](global orthographic object descriptor，GOOD)，其中，F(xiàn)PFH作為全局描述子使用。值得注意的是，本文方法并不局限于上述4種描述子建立投票空間，參與投票空間建立的描述子種類和數(shù)量均可根據(jù)不同任務進行調整。假設每種描述子確定q個投票點，對投票空間的建立過程進行說明，對于每一種描述子，以ESF為例，具體建立過程如下：

(1)計算蒙皮面片集合中所有蒙皮面片的ESF特征，組成集合的ESF描述空間。

(2)計算局部掃描點云的ESF特征，并尋找該特征在集合的ESF描述空間里的前q個最鄰近點。

(3)將這q個鄰近點所代表的蒙皮面片在三維空間中的位置，即其關鍵點的位置，作為該描述子的q個投票點。

(4)對于其余描述子重復以上過程，總共可得到4q個投票點。

(a)FPFH投票空間 (b)GRSD投票空間

包含這4q個投票點的三維空間即最終建立的投票空間如圖3所示。由于每種描述子從各自的描述空間中依次尋找前q個鄰近點作為投票點，所以理論上第一個投票點會比第二個投票點具有更大的投票力度，即與局部掃描點云具有更高的相似度。但實驗過程中發(fā)現(xiàn)由于描述子自身不穩(wěn)定的表現(xiàn)，這一推論并不總是成立，因此，從宏觀角度上講，本文在投票空間建立時賦予了所有投票點相同的權值，而下文將在更微觀的尺度上設計算法來驗證這一趨勢。

2.2 蒙皮局部點云面片定位

投票空間代表不同描述子各自選出的若干個最優(yōu)定位位置。為了綜合利用各個描述子的優(yōu)勢，在最終定位階段，算法從描述空間中找出投票點最為密集的區(qū)域，如圖3中黑色圓圈所示。具體地，本文采用點云庫(point cloud liabrary)中的歐氏聚類算法，以聚類半徑rc=rg確定該區(qū)域。

聚類區(qū)域包含著m個投票點，最終的定位位置為這m個投票點的線性加權組合：

(2)

式中，s為定位點坐標；wi為第i個投票點的權值；vi為第i個投票點坐標。

由于聚類區(qū)域中的投票點具有不同的投票力度，最終的定位位置不應簡單地取所有投票點的平均值，而是應該靠近力度大的投票點。如圖4所示，投票點上的數(shù)字顯示了該點在其描述子上的投票排名，1表示該描述子投出的第一個點，其投票力度最大，以此類推，同排名的投票點投票力度相等。因此，本文采用如下方法確定投票點的權值：

(3)

式中，wi為第i個投票點的權值；m為聚類區(qū)域中投票點的個數(shù)；pi為第i個投票點在其描述子中的排名；δ為大于q的任意整數(shù)。

(a)定位點和各投票點等距 (b)定位點靠近力度高的投票點圖4 不同策略下的定位點位置Fig.4 Localization position under different strategies

當δ→∞時，wi→1/m，此時定位點坐標為聚類區(qū)域內所有投票點的平均值。δ值越小，排名更高的投票點會取得更大的權值。上述方法稱為投票點的加權定位法。

假設局部掃描點云的中心點為c,定位點為s,通過對局部掃描點云施加平移矩陣T=(I,s-c)，其中，I為單位矩陣，可以將點云平移對齊到定位點。

3 實例分析

基于多描述子投票的蒙皮定位方法綜合了不同描述子的優(yōu)勢。本節(jié)首先將該方法與基于單一描述子的蒙皮定位方法進行對比實驗，驗證該方法在實際飛機掃描點云中能取得良好的定位效果。然后針對1.2節(jié)的論述，驗證不同規(guī)模的蒙皮面片集合對定位精確度的影響。

3.1 對比實驗驗證

分別基于FPFH、ESF、GRSD、GOOD描述子的蒙皮定位法和基于以上4種全局描述子投票的蒙皮定位法進行對比實驗。采用從殲-6型戰(zhàn)斗機三維模型上采樣得到的點云數(shù)據(jù)進行實驗，點云規(guī)模為22 000個點。從150個不同的位置選擇錨點和半徑，參照1.2節(jié)所述方法選取其基于測地距離的蒙皮面片作為該位置的局部掃描點云，然后采用不同的定位方法對其進行定位。各錨點坐標作為對應局部掃描點云的真實位置。所有單一描述子定位方法將局部掃描點云的特征向量與蒙皮面片集合中蒙皮面片的特征向量一一計算歐氏距離，然后取距離最近的特征所對應的蒙皮面片，其所在位置即為該描述子方法的定位點。實驗規(guī)定，若某種方法確定的定位點與真實位置之間的誤差距離e小于閾值ε，則認為該方法定位準確。在本實驗中，將ε設定為0.7 m，每種描述子的投票數(shù)q設定為3，蒙皮面片集合的大小設置為800。

當使用某種方法對所有150個局部掃描點云進行定位時，準確定位的局部掃描點云數(shù)量在其中的占比稱為該方法下的定位準確率。不同方法的定位準確數(shù)量和定位準確率見表1，多描述子投票相較于單一描述子定位準確率平均提高約37.5%。同時，圖5所示為多描述子投票法構建的投票空間的可視化結果，其中紅色圓圈中表示的是算法經過聚類后得到的投票點集，其中包含了FPFH、ESF、GOOD等描述子的投票點。值得注意的是，即使GOOD全局描述子的定位準確率相較于其他描述子有著較大的差距，但是以圖5所示情況為例，GOOD仍然有一票發(fā)揮了正確的投票作用，而正確率相對較高的GRSD描述子3個投票點卻均未能正確定位。這說明多描述子投票法能有效抵抗單個描述子定位效果波動的干擾，綜合利用不同效果差異的描述子的優(yōu)勢，從而提高定位準確率。

表1 各個方法的定位準確率對比Tab.1 Comparison of methods in location accuracy

圖5 投票空間可視化Fig.5 Visualization of voting space

3.2 聚類區(qū)域內投票點的加權實驗

在聚類區(qū)域內確定最終的定位點時，為了使定位位置更加準確，需要考慮其中投票點不同的投票力度。參照2.2節(jié)提出的投票點加權定位法，本節(jié)實驗對比了式(3)中δ=∞和δ=q+1時的定位效果。實驗配置參考3.1節(jié)，q取值為3。在150個局部掃描點云中，選擇其中定位準確的實例，計算它們與真實定位位置之間誤差距離的平均值，稱為該方法的平均定位偏差。

圖6所示為兩種加權方法在不同蒙皮面片集合大小下平均定位偏差。相比簡單地計算聚類區(qū)域內投票點的平均值，改進的加權方法能夠有效降低定位點的偏離程度。

圖6 不同權值下的實驗對比Fig.6 Experimental comparision in different weights

3.3 蒙皮面片集合大小的影響

1.2節(jié)論述了不同大小的蒙皮面片集合影響著算法的精度和效率。參照3.1節(jié)的實驗配置，本節(jié)實驗調整了其中蒙皮面片集合的大小,以驗證蒙皮面片集合大小對定位準確率的影響。在殲-6型飛機點云上的實驗結果如圖7中實線所示?？梢钥闯?，隨著集合中蒙皮面片數(shù)量的增加，定位準確率逐步上升，但當蒙皮面片的數(shù)量大于600時，定位準確率的增長趨勢放緩。進一步，實驗選擇ModelNet40[23]集上的兩模型飛機A和飛機B進行多次實驗驗證，可以得出相同的結論。

圖7 不同蒙皮面片集合大小下的定位準確率Fig.7 Localization accuracy in various scale of skin patch set

圖8所示為不同蒙皮面片集合大小下程序的運行時間。與定位準率不同，程序的運行時間隨著蒙皮面片數(shù)量的增多持續(xù)線性增長，這意味著定位算法的效率也將隨之降低。以殲-6型戰(zhàn)斗機為例，在蒙皮面片集合大小為600時，算法效率將達到最高，此時的定位準確率約為74%。圖9所示為此時完整飛機點云上關鍵點的分布情況。

圖8 不同蒙皮面片集合大小下的程序運行時間Fig.8 Running time in various scale of skin patch set

圖9 最優(yōu)設定下的關鍵點可視化Fig.9 Key points visualization under optimal settings

3.4 工程實例

使用Metro-Scan750 Elite掃描儀對殲-6型戰(zhàn)斗機進行實測掃描，如圖10所示，飛機長度14.64 m，翼展9.0 m，高度3.89 m。實驗獲取飛機某處的局部掃描點云，對應的飛機蒙皮面積約為1.5 m2。掃描儀得到的格式為ply的點云文件在CloudCo-mpare中進行去噪和降采樣處理。圖11所示為本文算法在該實測數(shù)據(jù)上的定位位置的可視化結果，證明了本文算法在實際工程中的可行性。

圖10 殲-6型飛機真實點云數(shù)據(jù)獲取Fig.10 Scanning real point cloud data of J-6

圖11 實測數(shù)據(jù)算法定位結果Fig.11 Localization result on a real scanning point cloud

4 結論

(1)針對飛機蒙皮數(shù)字化檢測技術中局部蒙皮定位問題，本文提出了基于多描述子投票的局部蒙皮定位方法；提出了投票點的加權定位算法減小定位誤差；定量地分析了本文方法相較于單一描述子定位的效果優(yōu)勢；定性地分析了選取關鍵點的最佳采樣密度。

(2)在殲-6型飛機實測點云數(shù)據(jù)上進行實例驗證，并對實驗結果進行了可視化分析，證明該算法可以在實際工程中應用。