三維點(diǎn)云與圖像雙模態(tài)融合的空間目標(biāo)部件識別方法

袁萌萌，張澤旭

(哈爾濱工業(yè)大學(xué)航天學(xué)院，哈爾濱 150001)

0 引 言

近年來,隨著人類對太空資源探索、開發(fā)及利用的需求不斷增加,發(fā)射衛(wèi)星的數(shù)量也與日俱增,因此對于故障衛(wèi)星的在軌修復(fù)、捕獲移除與功能衛(wèi)星碰撞風(fēng)險(xiǎn)高的報(bào)廢衛(wèi)星、碎片清除等自主近距離操作任務(wù)成為各航天機(jī)構(gòu)的關(guān)注熱點(diǎn)[1]。為了保障這些任務(wù)的順利實(shí)施,執(zhí)行自主近距離操作的前提是對空間目標(biāo)進(jìn)行參數(shù)識別和測量[2-3]。通常衛(wèi)星上的部件都具有一定特征且執(zhí)行不同的功能,如太陽能帆板、主體、星箭對接環(huán)等,識別出這些部件對抓捕、對接、維修等具有非常重要的意義[4-5]。

在星載資源有限的情況下,相機(jī)是廣泛使用的敏感器,智能感知技術(shù)的快速發(fā)展使得借助深度學(xué)習(xí)方法可以從圖像中高精度地識別出空間目標(biāo)各部件[6-9]。文獻(xiàn)[10]提供了一個(gè)空間圖像數(shù)據(jù)集,對3 117張衛(wèi)星和空間站圖像進(jìn)行標(biāo)注用于空間目標(biāo)檢測、分割和部組件識別。但圖像是三維目標(biāo)在二維平面的映射,在二維圖像上識別出特征部位后無法提供準(zhǔn)確的空間位置。三維點(diǎn)云彌補(bǔ)了這一不足,在二維圖像的基礎(chǔ)上增加了深度信息,更有利于后續(xù)的位姿測量,因此,三維點(diǎn)云的分類和三維模型上的目標(biāo)部件識別具有重要的價(jià)值和意義[11]。

基于特征描述的三維點(diǎn)云識別過程中涉及的關(guān)鍵步驟就是3D特征描述符的構(gòu)建,它對于識別過程的性能和結(jié)果有顯著影響。目前三維特征描述符主要分為基于全局特征的和基于局部特征的。三維全局特征描述符依賴于整個(gè)三維點(diǎn)云,對整體的幾何信息進(jìn)行編碼,可以更好地捕獲遠(yuǎn)處點(diǎn)之間的關(guān)系;而局部特征描述符對點(diǎn)云中的關(guān)鍵點(diǎn)使用鄰域幾何信息(比如表面法線或曲率等)進(jìn)行編碼,對遮擋和噪聲比全局特征更具有魯棒性,但會帶來更高的計(jì)算成本。Ding等[12]提取目標(biāo)點(diǎn)云和模板點(diǎn)云的點(diǎn)快速特征直方圖(Fast point feature histogram, FPFH)特征,采用采樣一致性初始配準(zhǔn)算法(Sample consensus initial alignment, SAC-IA)對每個(gè)模板點(diǎn)云和目標(biāo)點(diǎn)云進(jìn)行粗匹配,選取精度最高的模板點(diǎn)云,之后使用迭代最近點(diǎn)算法(Iterative closest point, ICP)進(jìn)行精細(xì)匹配來實(shí)現(xiàn)準(zhǔn)確檢測空間目標(biāo)的AKE噴嘴部件。Huang等[13]結(jié)合了FPFH描述符和SVM學(xué)習(xí)算法來檢測場景點(diǎn)云中的對象,在雜亂的工業(yè)場景目標(biāo)識別方面取得了有效的結(jié)果。Wohlkinger等[14]針對實(shí)時(shí)三維模型類別識別問題引入了一種新的全局描述符ESF(Ensemble of shape functions),將角度、面積和距離3種形狀函數(shù)集合到一起產(chǎn)生了一種更加高效、更具有表達(dá)性的描述符,能在快速、魯棒的情況下對深度傳感器的目標(biāo)進(jìn)行分類。為了克服局部和全局描述符的缺點(diǎn),Hadji等[15]提出了局部到全局描述符(Local-to-global descriptor, LGS),更穩(wěn)健地捕獲目標(biāo)的精確結(jié)構(gòu),同時(shí)對雜亂和遮擋保持魯棒性。Himmelsbach等[16]設(shè)計(jì)了一種利用點(diǎn)云的局部和全局特性的新的特征描述符LGPFH(Local and global point feature histog-ram),被證明非常適合于大型三維點(diǎn)云場景中的目標(biāo)檢測。

也有學(xué)者利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)場景中對目標(biāo)識別,先對場景點(diǎn)云進(jìn)行分割提取出單個(gè)目標(biāo),再通過支持向量機(jī)、馬爾可夫隨機(jī)場(Markov random field, MRF)和隨機(jī)森林等模型對樣本特征進(jìn)行學(xué)習(xí)完成點(diǎn)云多類別識別。還有學(xué)者借用深度學(xué)習(xí)實(shí)現(xiàn)點(diǎn)云識別,文獻(xiàn)[17]提出了PointNet框架,可以運(yùn)用在形狀分類、零件分割、場景分割等許多基準(zhǔn)數(shù)據(jù)集的場景下。文獻(xiàn)[18]在三維激光點(diǎn)云中使用基于殘差學(xué)習(xí)的卷積網(wǎng)絡(luò)模型對點(diǎn)云進(jìn)行分類,再利用馬爾可夫隨機(jī)場對分類結(jié)果進(jìn)行優(yōu)化,提高了點(diǎn)云語義分割的準(zhǔn)確率。將點(diǎn)云投影到二維圖像中可以借助基于視圖的成熟的網(wǎng)絡(luò)框架,這樣可以將三維點(diǎn)云識別任務(wù)簡化為二維識別任務(wù)。文獻(xiàn)[19]在MVCNN中使用CNN生成每個(gè)二維視圖的描述符,將多視圖特性聚合到一個(gè)緊湊的3D全局描述符中實(shí)現(xiàn)三維點(diǎn)云分類。Wei等[20]將多視圖視為圖節(jié)點(diǎn),設(shè)計(jì)了圖卷積網(wǎng)絡(luò)View-GCN聚合多視圖特征來學(xué)習(xí)全局形狀描述符用于三維點(diǎn)云分類。

本文借助多視圖的思想,提出了一種三維點(diǎn)云與圖像雙模態(tài)融合的空間目標(biāo)部件識別方法,結(jié)構(gòu)如圖1所示。首先,采用DeepLabv3+網(wǎng)絡(luò)[21]對二維高分辨率圖像進(jìn)行分割,實(shí)現(xiàn)空間目標(biāo)部件的二維識別。其次,將三維重建點(diǎn)云投影至二維圖像中,通過最近鄰查找將像素點(diǎn)語義標(biāo)簽傳遞給對應(yīng)的三維點(diǎn),實(shí)現(xiàn)三維點(diǎn)云與二維圖像目標(biāo)間的語義關(guān)聯(lián)。最后,對具有語義信息的三維點(diǎn)云使用全連接條件隨機(jī)場進(jìn)行優(yōu)化,降低重建位姿誤差和二維目標(biāo)部件識別誤差帶來的影響,得到更加精細(xì)的點(diǎn)云語義標(biāo)記結(jié)果,并融合多個(gè)姿態(tài)下的三維點(diǎn)標(biāo)簽得到最終的點(diǎn)云部件識別結(jié)果。

圖1 本文方法總體流程圖Fig.1 Overall flow chart of the proposed method

1 基于Deeplabv3+的空間目標(biāo)部件二維識別

本文通過對空間目標(biāo)二維圖像進(jìn)行語義分割來實(shí)現(xiàn)對目標(biāo)部件的二維識別,為圖像中的每一個(gè)像素分配語義標(biāo)簽。Deeplabv3+是目前分割精度比較領(lǐng)先的語義分割算法,其在多個(gè)研究中展示出較好的圖像分割性能,本文也將基于Deeplabv3+網(wǎng)絡(luò)進(jìn)行二維圖像上的空間目標(biāo)部件識別。

Deeplabv3+網(wǎng)絡(luò)引入了編碼器-解碼器結(jié)構(gòu),整體網(wǎng)絡(luò)框架如圖2所示。編碼器階段通過骨干網(wǎng)絡(luò)來提取圖像特征信息,本文分割網(wǎng)絡(luò)的輸入是分辨率為1024×1024的空間目標(biāo)高分辨率圖像,卷積參數(shù)量會增加,考慮到模型計(jì)算效率和內(nèi)存的問題,骨干網(wǎng)絡(luò)使用輕量級特征提取網(wǎng)絡(luò)MobileNet-v2[22]。通過空間金字塔池化模塊中并行的不同擴(kuò)張率的空洞卷積對多尺度上下文信息進(jìn)行編碼,使得卷積輸出包含的圖像特征信息范圍更大。解碼器的作用主要是為了還原特征圖的尺寸,對模型結(jié)果只起到了微調(diào)作用,應(yīng)使用較少的參數(shù)來減少計(jì)算量。在解碼器中,對拼接前的低級有效特征層使用1×1卷積減小通道數(shù),并且在對拼接結(jié)果利用3×3卷積過程中使用深度可分離卷積來減少參數(shù)量,最后進(jìn)行4倍雙線性插值上采樣來精細(xì)化分割邊界細(xì)節(jié)信息得到分割圖。

圖2 圖像語義分割網(wǎng)絡(luò)框架Fig.2 Image sematic segmentation framework

圖3 點(diǎn)云與圖像語義傳遞Fig.3 Semantic labels from image to point cloud

圖4 3D-2D投影Fig.4 3D-2D projection

在圖像語義分割任務(wù)中,常用到的損失函數(shù)是交叉熵?fù)p失,但是交叉熵?fù)p失函數(shù)并不能很好地解決樣本類別不均衡的問題。在空間目標(biāo)圖像中恰恰就存在這種問題,各個(gè)部件的大小不一,在圖像中會出現(xiàn)像素不均衡的問題,比如目標(biāo)主體或帆板在圖像中的占比就遠(yuǎn)大于對接環(huán),如圖5所示。它們的分割難度也會有所不同。這種不均衡問題會使得各部件分割難度有所不同,像素占比大的部件因其數(shù)量上的優(yōu)勢而主導(dǎo)模型的訓(xùn)練,使模型性能退化,訓(xùn)練效率降低。

圖5 數(shù)據(jù)集樣本Fig.5 Samples of the dataset

焦點(diǎn)損失(Focal loss)函數(shù)利用動態(tài)加權(quán)的方式來解決同一張圖像中不同語義的像素個(gè)數(shù)不均衡以及學(xué)習(xí)的難易程度不同的問題,在交叉熵?fù)p失的基礎(chǔ)上添加權(quán)重調(diào)節(jié)因子,讓模型更加關(guān)注難樣本的學(xué)習(xí),提升分割精確度。焦點(diǎn)損失函數(shù)數(shù)學(xué)表達(dá)式為

LFl(pi)=-α(1-pi)γyilgpi

(1)

式中:α為類別間的權(quán)重系數(shù),用來平衡正負(fù)樣本;yi和pi為第i個(gè)類別的標(biāo)簽和網(wǎng)絡(luò)輸出概率值;γ參數(shù)調(diào)節(jié)難易樣本的權(quán)重。設(shè)置α=0.5,γ=2。

本文采用Focal loss和Dice loss結(jié)合的損失函數(shù),除了使模型更好地學(xué)習(xí)難樣本之外,利用Dice loss學(xué)習(xí)減輕不平衡像素間的類分布。Dice loss是衡量兩個(gè)樣本之間的重疊部分,這與評價(jià)指標(biāo)交并比(Intersection over uion,IoU)類似。數(shù)學(xué)表達(dá)式為

(2)

L=LFl+LDl

(3)

2 三維點(diǎn)云與圖像目標(biāo)間2D-3D語義關(guān)聯(lián)

假設(shè)三維點(diǎn)云P={Pwi,1≤i≤n}是由空間目標(biāo)單目圖像序列I={Ik,1≤k≤m}通過三維重建得到的稠密點(diǎn)云,同時(shí)獲得相機(jī)反演位姿{(lán)Rk,Tk}。通過針孔相機(jī)模型可以建立三維點(diǎn)云映射到二維圖像像素點(diǎn)的投影變換關(guān)系,三維空間點(diǎn)與對應(yīng)的二維像素點(diǎn)之間存在如下對應(yīng)關(guān)系:

(4)

式中:λ是比例因子;ui(ui,vi)為圖像中的像素坐標(biāo);K為相機(jī)內(nèi)參;Pci(Xci,Yci,Zci)為相機(jī)坐標(biāo)系下的點(diǎn);Pwi(Xwi,Ywi,Zwi)為世界坐標(biāo)下的點(diǎn)。

圖像中的目標(biāo)實(shí)際上是對應(yīng)3D點(diǎn)在2D像平面上的投影,解算出目標(biāo)和相機(jī)之間的相對位姿就可以將3D點(diǎn)和2D點(diǎn)相關(guān)聯(lián)。二維圖像語義分割可以得到圖像中每個(gè)像素點(diǎn)所屬的類別{ui,vi,li},通過點(diǎn)云降維圖像的方式結(jié)合投影變換關(guān)系可以將2D像素點(diǎn)的語義標(biāo)簽傳遞到3D點(diǎn),給三維點(diǎn)云中的每一個(gè)點(diǎn)Pwi賦予對應(yīng)的類別{Xwi,Ywi,Zwi,li}。但是重建過程中得到的相機(jī)反演位姿存在誤差,會使三維點(diǎn)云映射到二維圖像平面出現(xiàn)投影誤差,導(dǎo)致二維投影點(diǎn)與圖像目標(biāo)像素之間存在偏移。圖3(a)展示了點(diǎn)云二維投影點(diǎn)與圖像中目標(biāo)區(qū)域之間存在像素偏差,部分點(diǎn)云投影沒有與之直接關(guān)聯(lián)的mask區(qū)域像素點(diǎn),無法與三維點(diǎn)進(jìn)行語義關(guān)聯(lián)從而帶來三維點(diǎn)云的語義信息缺失。

本文要解決的問題是在重建點(diǎn)云中識別出各個(gè)部件,需要給每一個(gè)三維點(diǎn)賦予語義標(biāo)簽。語義分割網(wǎng)絡(luò)的輸出結(jié)果mask圖保留了二維像素點(diǎn)的空間位置信息,對其構(gòu)建KDTree的空間索引結(jié)構(gòu),在目標(biāo)mask中采用最近鄰查找的方式尋找與3D投影點(diǎn)距離最近的2D像素點(diǎn),使用其語義標(biāo)簽對3D點(diǎn)進(jìn)行語義標(biāo)記,如圖3(b)所示。

3 基于DenseCRF的三維點(diǎn)云目標(biāo)識別與優(yōu)化

將點(diǎn)云按照解算位姿進(jìn)行投影后,通過最近鄰搜索的方式找到了與三維點(diǎn)對應(yīng)的二維像素點(diǎn),點(diǎn)云實(shí)現(xiàn)了語義分割。但是這種方式依賴圖像語義分割的準(zhǔn)確性,并且會受到投影誤差的影響。這樣就會導(dǎo)致在某些姿態(tài)下出現(xiàn)三維語義分割結(jié)果中部分組件類別識別錯誤,而且會造成點(diǎn)云識別結(jié)果不連續(xù)的情況。通過2D-3D語義傳遞的方式?jīng)]有充分利用三維點(diǎn)云的數(shù)據(jù)信息以及點(diǎn)云之間的位置關(guān)系。通過圖4可以注意到,三維點(diǎn)云進(jìn)行二維投影時(shí),如果兩個(gè)3D點(diǎn)在模型中足夠接近,它們投影在圖像中的特征很可能會非常接近。同時(shí),兩個(gè)距離較遠(yuǎn)的3D點(diǎn)從特定角度投影在二維空間中也可能非常接近,這種情況下,通過投影點(diǎn)最近鄰搜索的方式進(jìn)行語義傳遞會造成點(diǎn)云識別錯誤及語義標(biāo)簽不連續(xù)的情況出現(xiàn)。

因此,在得到點(diǎn)云初始語義標(biāo)記的基礎(chǔ)上,充分利用三維點(diǎn)云的特征信息和上下文信息,考慮部件間三維點(diǎn)的空間依賴性,有助于提高點(diǎn)云識別結(jié)果。無向圖模型是由點(diǎn)和邊組成的數(shù)據(jù)結(jié)構(gòu),模型中的點(diǎn)代表隨機(jī)變量,若點(diǎn)之間用一條無向邊連接代表變量間存在相關(guān)性,可以相互影響,那么利用無向圖模型便可以建立點(diǎn)云之間的空間依賴關(guān)系。條件隨機(jī)場(CRF)屬于無向圖模型,通常被描述為語義標(biāo)簽空間中的離散模型,常被用于提高圖像語義分割的準(zhǔn)確性,最大限度地提高相似像素之間的標(biāo)簽一致性。DenseCRF是將無向圖中的所有點(diǎn)連接成對,可以有效融合遠(yuǎn)距離上下文特征信息,本文將其用于表征三維點(diǎn)間的相互關(guān)系來克服初始語義標(biāo)記的噪聲問題,優(yōu)化點(diǎn)云語義標(biāo)記結(jié)果,提高點(diǎn)云部件識別的準(zhǔn)確度。

(5)

式中:xi∈X是點(diǎn)Pwi的標(biāo)簽;ψu(yù)(xi)是一元勢(unary potential)函數(shù),此時(shí)點(diǎn)云的類別標(biāo)簽分布只與單個(gè)點(diǎn)自身特征有關(guān),當(dāng)每個(gè)點(diǎn)被分配一個(gè)標(biāo)簽時(shí),就會得到一個(gè)懲罰項(xiàng)。一般一元勢可以簡單地計(jì)算為

ψu(yù)(xi)=-lg(p(xi))

(6)

式中:p(xi)為判別分類器預(yù)測的概率,本文3D點(diǎn)的預(yù)測概率值來自對應(yīng)二維像素點(diǎn)通過圖像語義分割網(wǎng)絡(luò)得到的預(yù)測概率向量。這種獨(dú)立輸出結(jié)果產(chǎn)生的最大后驗(yàn)概率分布(MAP)通常都是有噪聲的。

ψp(xi,xj)稱為二元勢(pairwise potentials)函數(shù),考慮點(diǎn)云上下文之間的關(guān)系,計(jì)算所有連接點(diǎn)對間的能量特征,懲罰兩個(gè)具有不同標(biāo)簽的連接點(diǎn)對來約束每個(gè)類別的標(biāo)簽一致性,數(shù)學(xué)表示為

(7)

式中:μ(xi,xj)度量了不同類別之間的兼容性,依據(jù)Potts模型μ(xi,xj)=[xi≠xj],只有在標(biāo)簽相同時(shí),二元勢能才能傳遞;k(·,·)是定義在點(diǎn)云特征空間上的高斯核函數(shù);ωm為權(quán)重,采用點(diǎn)云位置和深度特征信息,可以表示為

(8)

式中:pi(ui,vi,Zci)包括三維點(diǎn)投影點(diǎn)的深度信息和二維位置信息,上式中前一項(xiàng)為外觀核,假設(shè)觀察到的相近位置的具有相近深度的點(diǎn)云很可能屬于同一類,后一項(xiàng)為平滑項(xiàng),去除小的孤立區(qū)域。使用基于CRF分布的平均場變分近似來聚合變量信息進(jìn)行迭代優(yōu)化,實(shí)現(xiàn)DenseCRF中所有變量的平均場更新,最終得到精細(xì)化的點(diǎn)云部件識別結(jié)果。

4 仿真實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集制作

使用語義分割網(wǎng)絡(luò)對圖像進(jìn)行分割識別二維目標(biāo)部件需要大量樣本,但是航天任務(wù)的特殊性難以獲取真實(shí)空間目標(biāo)圖像。本文使用3DSMax創(chuàng)建衛(wèi)星模型,將衛(wèi)星模型部件分為5類,分別為帆板、航天器主體、天線、星箭對接環(huán)和噴管。通過搭建虛擬環(huán)境來生成衛(wèi)星數(shù)據(jù)集,添加平行光源來模擬空間中太陽光照數(shù)據(jù)集中包括繞飛和逼近兩種工況,繞飛工況下衛(wèi)星和相機(jī)相對距離為60 m,逼近工況相機(jī)從距衛(wèi)星100 m處開始繞行并接近。以相同的工況運(yùn)動控制顏色模型來對各部件進(jìn)行標(biāo)注。

數(shù)據(jù)集中包含衛(wèi)星模型點(diǎn)云及部件語義標(biāo)簽,40個(gè)序列約8 000張圖像,每個(gè)序列中包含200幀圖像,以1 024×1 024的分辨率渲染圖像,并對部件掩碼進(jìn)行標(biāo)注,其中一些圖像如圖5所示。

4.2 部件識別

在二維圖像語義分割實(shí)驗(yàn)中,本文采用MobileNetv2模型作為前置網(wǎng)絡(luò)進(jìn)行參數(shù)初始化,在預(yù)訓(xùn)練的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)與微調(diào)。訓(xùn)練集包含35個(gè)序列約7 000張圖像,共訓(xùn)練200代(epoch)。使用Adam優(yōu)化器分兩個(gè)階段對圖像進(jìn)行訓(xùn)練,凍結(jié)階段訓(xùn)練50代(epoch),批樣本大小為8,初始學(xué)習(xí)率為1×10-4;解凍階段共訓(xùn)練150代(epoch),批樣本大小為4,初始學(xué)習(xí)率為1×10-5。二維識別網(wǎng)絡(luò)訓(xùn)練過程中損失函數(shù)隨訓(xùn)練次數(shù)的變化情況如圖6所示,可以看到圖像分割網(wǎng)絡(luò)的收斂情況較好。

圖6 訓(xùn)練過程中損失函數(shù)變化圖Fig.6 Changing of loss function during training

在測試集上采用類別平均像素準(zhǔn)確率(Mean pixel accuracy,MPA)作為評價(jià)指標(biāo)對模型進(jìn)行驗(yàn)證,可以得到如圖7所示的結(jié)果。從評價(jià)指標(biāo)來看,網(wǎng)絡(luò)的訓(xùn)練與圖像分割效果較好。圖8對圖像語義分割的結(jié)果進(jìn)行可視化,可以看出不僅大尺寸部件如主體、帆板以及天線等分割較完整且邊界清晰,對接環(huán)和噴管等小尺寸部件的分割效果也較好,實(shí)現(xiàn)了空間目標(biāo)高分辨率圖像各部件的識別與分割。

圖7 MPA隨訓(xùn)練次數(shù)的變化情況Fig.7 Changing of MPA with training times

圖8 部件二維識別結(jié)果Fig.8 2D recognition results of the satellite components

本文采用SFM&PMVS算法對序列衛(wèi)星二維圖像進(jìn)行三維重建,獲取稠密化的三維點(diǎn)云數(shù)據(jù)和重建反演位姿,將點(diǎn)云中的一些噪聲點(diǎn)和離群點(diǎn)去除掉,完整的三維重建點(diǎn)云如圖9所示。

圖9 重建點(diǎn)云Fig.9 Reconstruction point cloud

將點(diǎn)云按照反演位姿投影到像素平面,通過最近鄰搜索的方式找到與三維點(diǎn)對應(yīng)的二維點(diǎn),結(jié)合二維圖像語義分割結(jié)果,可以實(shí)現(xiàn)2D-3D的語義傳遞,對三維點(diǎn)云進(jìn)行初始語義標(biāo)記。圖10(a)和(b)分別展示了應(yīng)用DenseCRF對點(diǎn)云語義標(biāo)記結(jié)果進(jìn)行優(yōu)化前后的點(diǎn)云各部件識別結(jié)果,可以看出優(yōu)化方法的有效性。從圖10(a)可以看出點(diǎn)云部件識別受到圖像中目標(biāo)姿態(tài)的影響,若圖像中目標(biāo)部件部分被遮擋,通過投影進(jìn)行語義傳遞會出現(xiàn)被遮擋部分點(diǎn)云類別識別結(jié)果錯誤的情況,圖像語義分割精度和反演位姿誤差對小尺寸部件的點(diǎn)云識別結(jié)果影響較大。從圖10(b)可以看出使用全連接條件隨機(jī)場可以優(yōu)化點(diǎn)云的部件識別結(jié)果,改善遮擋造成的點(diǎn)云識別錯誤以及圖像語義分割未識別出的帆板桿部分,但是對于小尺寸部件,在某些角度會由于二維識別不夠精確以及反演位姿誤差導(dǎo)致投影像素偏移較大從而賦予三維點(diǎn)云語義標(biāo)簽錯誤,進(jìn)而導(dǎo)致優(yōu)化后部件識別效果不明顯。

圖10 點(diǎn)云語義標(biāo)記Fig.10 Point cloud semantic labeling

通過點(diǎn)云降維圖像進(jìn)行語義傳遞的方式為三維點(diǎn)云賦予語義標(biāo)簽受到單個(gè)圖像目標(biāo)姿態(tài)的影響,本文使用多個(gè)姿態(tài)下的點(diǎn)云識別結(jié)果,選取出現(xiàn)概率最大的標(biāo)簽作為每個(gè)點(diǎn)的語義標(biāo)記結(jié)果。圖11分別展示了本文方法與利用K-means聚類、BIRCH聚類方法進(jìn)行點(diǎn)云部件識別的可視化結(jié)果,三種方法都識別出了大尺寸部件如帆板、主體、天線等,但是本文方法識別出的部件完整度高于其他兩種方法,而且識別出的部件間邊界更清晰。通過對比可以發(fā)現(xiàn)點(diǎn)云聚類分割方法無法滿足小尺寸部件的識別,而本文方法可以識別出噴管和對接環(huán)。

圖11 點(diǎn)云部件識別結(jié)果Fig.11 Point cloud component recognition result

本文通過計(jì)算F1分?jǐn)?shù)(F1-score)和準(zhǔn)確率(Accuracy)對目標(biāo)部件識別性能進(jìn)行定量評價(jià),其中F1分?jǐn)?shù)結(jié)合了精確率和召回率,F1分?jǐn)?shù)越高,代表識別方法越穩(wěn)健,準(zhǔn)確率是點(diǎn)云中語義標(biāo)記正確的點(diǎn)數(shù)占總點(diǎn)數(shù)的比例。

為了評價(jià)本文方法的有效性,不光計(jì)算了點(diǎn)云總體的平均F1值和準(zhǔn)確率,還對比了目標(biāo)不同部件的識別準(zhǔn)確率和F1值。將兩種聚類分割方法所識別出的衛(wèi)星兩側(cè)帆板劃為同一類計(jì)算這兩項(xiàng)指標(biāo)得到表1中的數(shù)據(jù)。從表1的結(jié)果可以看出來3種方法都識別出帆板、主體和天線等大尺寸部件,識別精度都超過80%,除此之外,本文點(diǎn)云部件識別方法還可以識別出對接環(huán)和噴管這類小尺寸部件,但是識別精度略低于大尺寸部件?？傮w來說,本文方法平均F1值高于90%,總體識別精度也高于95%,與K-means聚類和BRICH聚類方法相比,在目標(biāo)部件識別上更具有優(yōu)勢,這也證明了本文方法的有效性。

表1 識別性能比較Table 1 Recognition performance comparison

5 結(jié) 論

為結(jié)合圖像目標(biāo)部件識別的高準(zhǔn)確率和點(diǎn)云具有的空間幾何位置信息,本文提出了一種融合圖像識別結(jié)果的空間目標(biāo)三維點(diǎn)云部件識別方法。該方法通過點(diǎn)云投影建立2D-3D對應(yīng)關(guān)系,將Deep-Labv3+網(wǎng)絡(luò)輸出的二維像素點(diǎn)的語義標(biāo)簽傳遞給三維點(diǎn)云,使用二維點(diǎn)最近鄰搜索來應(yīng)對由于重建位姿誤差導(dǎo)致的語義傳遞過程中部分三維點(diǎn)語義信息缺失。同時(shí)使用全連接條件隨機(jī)場對點(diǎn)云識別結(jié)果進(jìn)行優(yōu)化,提高各部件的識別精度,最后融合多視角三維點(diǎn)語義標(biāo)簽得到點(diǎn)云部件識別結(jié)果。文中給出的仿真實(shí)例說明了該方法的有效性,各個(gè)部件的識別精度也優(yōu)于對比方法,總體識別精度優(yōu)于95%。