利用顯著性的點(diǎn)云模型客觀質(zhì)量評價

張 娟， 張習(xí)民， 萬旺根， 方志軍

1.上海大學(xué)通信與信息工程學(xué)院，上海200444

2.上海大學(xué)智慧城市研究院，上海200444

由于激光掃描儀等測量設(shè)備的快速發(fā)展，通過測量三維模型得到的點(diǎn)云數(shù)據(jù)日益精確、龐大.目前，一般的激光測量設(shè)備可以從物體表面輕易獲取數(shù)十萬、甚至數(shù)百萬個點(diǎn)云數(shù)據(jù).早在20世紀(jì)80年代，文獻(xiàn)[1]提出了基于點(diǎn)繪制復(fù)雜的三維幾何模型——點(diǎn)云模型，但當(dāng)時并沒有引起人們的關(guān)注.

近年來，隨著網(wǎng)格模型處理復(fù)雜度的劇增，點(diǎn)云模型的優(yōu)勢更加明顯.以點(diǎn)云模型為研究對象的基于點(diǎn)的計算機(jī)圖形學(xué)已經(jīng)受到廣泛關(guān)注，點(diǎn)云模型的數(shù)字幾何處理技術(shù)也逐漸成為圖形學(xué)中的一個研究熱點(diǎn)[2-4]，在逆向工程、工業(yè)制造、文物保護(hù)以及醫(yī)學(xué)可視化等領(lǐng)域得到廣泛的應(yīng)用.

三維幾何模型(如網(wǎng)格模型、點(diǎn)云模型)能更好地表達(dá)物體的形狀，但數(shù)據(jù)量龐大.因此，在存儲、傳輸三維幾何模型時，通常需要對三維幾何模型進(jìn)行適當(dāng)?shù)奶幚?，如有損壓縮.目前，針對三維幾何模型處理的評價方法主要有主觀評價方法和客觀評價方法.主觀評價方法簡單而直觀，但要耗費(fèi)大量的時間和人力，并且受觀測者個人因素的影響較大，大大降低了主觀評價的實(shí)用性和準(zhǔn)確性.客觀評價方法將擺脫依賴人的主觀判斷的局限，有效提高評價的效率，為三維幾何模型的處理提供科學(xué)的、統(tǒng)一的評價標(biāo)準(zhǔn)，具有操作簡單、成本低、易于解析和嵌入實(shí)現(xiàn)等優(yōu)點(diǎn)，將成為今后三維幾何數(shù)據(jù)質(zhì)量評價的研究重點(diǎn).

1 相關(guān)工作

關(guān)于三維幾何模型質(zhì)量客觀評價的研究主要集中在網(wǎng)格模型領(lǐng)域[5-10].文獻(xiàn)[5]認(rèn)為因嵌入水印而產(chǎn)生的視覺差異可以通過網(wǎng)格模型表面的粗糙度來反映，并定義了基于全局粗糙度的兩種客觀度量指標(biāo)，用來計算含水印的網(wǎng)格模型質(zhì)量.文獻(xiàn)[6]基于網(wǎng)格模型的幾何和紋理分辨率提出了一種三維網(wǎng)格模型質(zhì)量的評估方法，并指出圖像紋理在視覺上的貢獻(xiàn)遠(yuǎn)遠(yuǎn)大于幾何形狀.文獻(xiàn)[7]從視覺心理學(xué)的角度提出了一種評估不同網(wǎng)格模型簡化算法的實(shí)驗(yàn)方法.文獻(xiàn)[8]借鑒二維圖像的質(zhì)量評價方法，采用基于結(jié)構(gòu)相似性的原理對網(wǎng)格模型進(jìn)行質(zhì)量評價.文獻(xiàn)[9]以含水印網(wǎng)格模型與原網(wǎng)格模型之間的粗糙度增量作為評價水印不可見性的標(biāo)準(zhǔn).

由于點(diǎn)云模型的研究尚處于起步階段，關(guān)于點(diǎn)云模型的質(zhì)量評價研究并不多見[11-12].文獻(xiàn)[11]從噪聲、密度、完整性、準(zhǔn)確性等方面對采集的點(diǎn)云數(shù)據(jù)進(jìn)行質(zhì)量評價，分析了由于數(shù)字化系統(tǒng)來源導(dǎo)致點(diǎn)云數(shù)據(jù)獲取的誤差，并對每個評價指標(biāo)提出了對應(yīng)的評價方法.文獻(xiàn)[12]分析了在3D成像系統(tǒng)中采集繪畫制品的質(zhì)量和性能要求.

在網(wǎng)格模型中，若刪除一個面或點(diǎn)，則該處的平面將更光滑，但用于表達(dá)的信息發(fā)生了變化.而在點(diǎn)云模型中，若刪除一個點(diǎn)，則該處為空，導(dǎo)致人眼無法獲取任何有價值的信息.因此，兩者之間的質(zhì)量評價有著本質(zhì)的區(qū)別.

本文首先對顯著性計算方法[13]進(jìn)行改進(jìn)，提出了以點(diǎn)的法向量與其鄰域點(diǎn)的平均法向量的差異作為計算該點(diǎn)顯著性的權(quán)值；然后對比處理前后點(diǎn)云模型顯著性之間的變化，并以此作為質(zhì)量評價依據(jù)；最后通過實(shí)驗(yàn)驗(yàn)證了質(zhì)量評價模型.

本文研究的是全參考類型的點(diǎn)云模型質(zhì)量評價，點(diǎn)云模型中的對象是通過高分辨率激光掃描儀掃描實(shí)物得到的點(diǎn)云數(shù)據(jù).

2 點(diǎn)云顯著性

文獻(xiàn)[13]根據(jù)計算二維圖像的顯著性的中心操作方法[14]計算了三維網(wǎng)格模型的顯著性，認(rèn)為三維模型的幾何拓?fù)浣Y(jié)構(gòu)信息能夠很好地反映網(wǎng)格模型的顯著性.該方法以網(wǎng)格上頂點(diǎn)鄰域內(nèi)所有點(diǎn)的平均曲率作高斯權(quán)值的加權(quán)平均，表示該頂點(diǎn)的顯著性，并把網(wǎng)格模型中零顯著性的區(qū)域定義為一個球面，即3D模型中零顯著性的區(qū)域?yàn)榍蛐蔚狞c(diǎn)云面.

根據(jù)顯著性在三維幾何模型中的研究成果，得出顯著性與人類視覺之間存在重要的關(guān)聯(lián)特性.顯著性越大的點(diǎn)對人的視覺越敏感，該點(diǎn)在點(diǎn)云模型中越重要，于是本文以點(diǎn)云模型的顯著性作為質(zhì)量評價的依據(jù)，下面給出本文顯著性的計算過程.

設(shè)點(diǎn)云模型P是m個點(diǎn)的集合，點(diǎn)p∈P，np為p點(diǎn)的法向量(法向量的計算使用最小二乘法近似得到).求出以點(diǎn)p為圓心，r為半徑的球體圍內(nèi)所有的點(diǎn)t，記為球鄰域B(p,r)={t|‖t-p‖≤r}；計算B(p,r)中所有點(diǎn)t的法向量nt與點(diǎn)p的法向量np之間的正弦值

如圖1所示，對于點(diǎn)云模型，如果表面復(fù)雜或不光滑，對應(yīng)相鄰點(diǎn)之間的法向量夾角就越大；如果表面比較光滑，人眼視覺對該區(qū)域不太敏感，則該區(qū)域相鄰點(diǎn)之間的法向量夾角越接近0或π.兩法向量之間的夾角取值范圍為[0,π].對于顯著性越高的點(diǎn)，與近鄰點(diǎn)計算得到的正弦值越接近1；對于顯著性越低的點(diǎn)，其正弦值越接近0.法向量估算的方法具有二義性，即計算得到的只是法向量所在的直線，而沒有確定是直線的哪個方向.根據(jù)正弦函數(shù)對稱于π/2的特性，可以避免對法向量重定向的計算.

圖1 點(diǎn)法向量夾角示意圖Figure 1 Angle between the normal vectors

下面給出點(diǎn)云模型P中點(diǎn)p在球鄰域B(p,r)中的高斯平均加權(quán)顯著性的計算公式

為了計算方便，當(dāng)p點(diǎn)不存在時，令s(λP,r,P)=0.可以看出每個點(diǎn)的顯著性是通過與球鄰域內(nèi)所有點(diǎn)的法向量夾角的正弦值進(jìn)行高斯加權(quán)平均得到的.r的取值不同，包含在球鄰域中的點(diǎn)也不同，計算得到的顯著性也不相同.顯然，點(diǎn)云模型中零顯著性區(qū)域?yàn)槠矫?，即光滑平面上的點(diǎn)被刪除對于人的視覺影響較小，而凹凸面上的點(diǎn)被刪除對于人的視覺影響則較大.

3 質(zhì)量評價模型

原始點(diǎn)云模型通常包含較多的點(diǎn)，而處理后的點(diǎn)云模型包含較少的點(diǎn)，這兩個點(diǎn)云模型屬于同源模型，且不包含噪聲點(diǎn).下面給出點(diǎn)云模型的客觀質(zhì)量評價模型的計算過程.

3.1 點(diǎn)的分類

根據(jù)點(diǎn)在處理前后點(diǎn)云模型中的對比結(jié)果可以把點(diǎn)分為3類：不變點(diǎn)˙V、變異點(diǎn)¨V、消失點(diǎn)V.不變點(diǎn)是在點(diǎn)云模型處理前后不發(fā)生變化的點(diǎn).變異點(diǎn)是在原始點(diǎn)云模型中不出現(xiàn)而在處理后點(diǎn)云模型中出現(xiàn)的點(diǎn).消失點(diǎn)是在原始點(diǎn)云模型中出現(xiàn)而在處理后點(diǎn)云模型中不出現(xiàn)的點(diǎn).假設(shè)P為原始點(diǎn)云模型，Q為處理后的點(diǎn)云模型，則點(diǎn)分類示意圖如圖2所示.

圖2 點(diǎn)法向量夾角示意圖Figure 2 Point classif ication diagram

下面給出不變點(diǎn)、變異點(diǎn)、消失點(diǎn)的定義：

在同源點(diǎn)云模型P和Q中，變異點(diǎn)只在Q中出現(xiàn)，而不在P中出現(xiàn).將變異點(diǎn)v在點(diǎn)云模型P的消失點(diǎn)集中的最鄰近點(diǎn)作為變異點(diǎn)的原始點(diǎn)，記為?v.變異點(diǎn)通常在較近距離進(jìn)行變異，于是可設(shè)定一個閾值r為變異點(diǎn)的搜索范圍，如果在此范圍內(nèi)無最鄰近點(diǎn)，則認(rèn)為該變異點(diǎn)為噪聲點(diǎn)，不存在原始點(diǎn).原始點(diǎn)的定義如下：

定義4 在同源點(diǎn)云模型P和Q中，將變異點(diǎn)變異之前的原始點(diǎn)集合記為

根據(jù)以上各類點(diǎn)的定義，可以很容易對兩個點(diǎn)云模型中的點(diǎn)進(jìn)行篩選和分類.下面給出各類點(diǎn)集的顯著性計算公式：

不變點(diǎn)集在點(diǎn)云模型P中的顯著性記為

不變點(diǎn)集在點(diǎn)云模型Q中的顯著性記為

變異點(diǎn)集的顯著性記為

消失點(diǎn)集的顯著性記為

3.2 質(zhì)量評價

在同源點(diǎn)云模型P和Q中，若要點(diǎn)云模型的質(zhì)量前后保持不變，則點(diǎn)的顯著性應(yīng)保持不變，但因消失點(diǎn)與變異點(diǎn)的存在，點(diǎn)的顯著性將發(fā)生改變，于是可以考慮利用這種變化來衡量點(diǎn)云模型的質(zhì)量差異，從而將兩個點(diǎn)云模型的差異度歸結(jié)為以上3類點(diǎn)的關(guān)于顯著性的算法模型.

不變點(diǎn)集的顯著性變化情況可歸納如下：在點(diǎn)云模型P和Q中，分別計算不變點(diǎn)的顯著性，一般由于點(diǎn)的減少，凹凸面的細(xì)節(jié)情況不明顯，即不變點(diǎn)的顯著性會降低，其計算公式為

變異點(diǎn)的顯著性變化情況歸納如下：點(diǎn)云模型Q中的變異點(diǎn)是由點(diǎn)云模型P中的原始點(diǎn)演變而成，因此變異點(diǎn)顯著性將在原始點(diǎn)的顯著性上發(fā)生變化，即變異點(diǎn)顯著性變化的計算公式為

由定義4可知，一個原始點(diǎn)一定是一個消失點(diǎn)，原始點(diǎn)集為消失點(diǎn)集的子集.

消失點(diǎn)集的顯著性變化情況如下：消失點(diǎn)只在點(diǎn)云模型P中出現(xiàn)，因此消失點(diǎn)的顯著性在處理后點(diǎn)云模型Q中為零.由于消失點(diǎn)集中包含了原始點(diǎn)集，需要減去原始點(diǎn)集.消失點(diǎn)的顯著性變化計算公式為

根據(jù)對顯著性變化的分析，給出有參考的點(diǎn)云模型質(zhì)量的計算公式

式中，θ1、θ2、θ3為權(quán)值，滿足θ1+θ2+θ3=3，表示各類點(diǎn)影響點(diǎn)云模型質(zhì)量的重要程度.

當(dāng)同源點(diǎn)云模型P和Q相同時，M(P,Q)=0，說明點(diǎn)云模型在質(zhì)量上不存在差異.當(dāng)點(diǎn)云模型Q為空時，M(P,Q)=100%，說明此時點(diǎn)云模型的質(zhì)量全部損失了.

如果點(diǎn)云模型P和Q不是同源點(diǎn)云模型，說明兩個點(diǎn)云模型不存在任何的相交部分，此時得到的結(jié)果將為100%.

3.3 信噪比

為了方便實(shí)驗(yàn)結(jié)果的對比，本文針對點(diǎn)云模型的特點(diǎn)，參照二維圖像信噪比的定義，設(shè)計了一種點(diǎn)云模型的信噪比計算方法.

點(diǎn)云模型x坐標(biāo)的均方差計算公式為

式中，f和f′代表點(diǎn)云模型P和Q各坐標(biāo)分量的值，n為點(diǎn)云模型的點(diǎn)數(shù).當(dāng)沒有點(diǎn)對應(yīng)時，x坐標(biāo)值取當(dāng)前點(diǎn)云模型的最大變化值Δfx,x方向上峰值信噪比的計算公式為

取各坐標(biāo)分量的峰值信噪比平均值作為最后的峰值信噪比評價的結(jié)果，其計算公式為

3.4 實(shí)驗(yàn)結(jié)果及分析

用FARO Focus3D高分辨率三維激光掃描儀對猴子玩具進(jìn)行原始點(diǎn)云模型的采集.為了避免點(diǎn)云模型在配準(zhǔn)過程中對掃描數(shù)據(jù)產(chǎn)生干擾，盡可能地反映自然物體的真實(shí)性，本文僅使用掃描數(shù)據(jù)中的一站點(diǎn)云數(shù)據(jù).經(jīng)過噪聲預(yù)處理后，獲取到的原始點(diǎn)云模型共包含520 125個點(diǎn).

利用PCL庫[15]的開源軟件生成同源的5個不同分辨率的點(diǎn)云模型，分別如圖3～8所示.圖3為原始點(diǎn)云模型；在原始點(diǎn)云的基礎(chǔ)上采取均勻壓縮方法，壓縮比為1.1855的點(diǎn)云模型，壓縮后包含438 734個點(diǎn)，如圖4所示；壓縮比為1.7712的點(diǎn)云模型，壓縮后包含293 662個點(diǎn)，如5所示；壓縮比為3.508 0的點(diǎn)云模型，壓縮后包含148 270個點(diǎn),如圖6所示；壓縮比為10.360 8的點(diǎn)云模型，壓縮后包含50 201個點(diǎn)，如圖7所示；壓縮比為25.600 5的點(diǎn)云模型，壓縮后包含20 317個點(diǎn)，如8所示.

圖3 原始點(diǎn)云模型Figur e 3 Original model

圖4 壓縮比為1.185 5的點(diǎn)云模型Figure 4 Model with compression ratio of 1.185 5

圖5 壓縮比為1.771 2的點(diǎn)云模型Figure 5 Model with compression ratio of 1.771 2

圖6 壓縮比為3.508 0的點(diǎn)云模型Figure 6 Model with compression ratio of 3.5080

圖7 壓縮比為10.3608的點(diǎn)云模型Figur e 7 Model with compression ratio of 10.3608

圖8 壓縮比為25.6005的點(diǎn)云模型Figur e 8 Model with compression ratio of 25.600 5

由于目前還沒有公認(rèn)的點(diǎn)云數(shù)據(jù)質(zhì)量客觀評價標(biāo)準(zhǔn)，在實(shí)驗(yàn)中還需引入主觀評價方法與本文的評價方法進(jìn)行對比.參與主觀評價的人數(shù)共計18人，計分標(biāo)準(zhǔn)為百分制，最低分0%定義為點(diǎn)云數(shù)據(jù)無損耗，質(zhì)量最高；最高分100%定義為點(diǎn)云數(shù)據(jù)完全耗損，質(zhì)量最低.把原始點(diǎn)云模型作為參考模型，對參與評價的圖3～8的5個點(diǎn)云模型進(jìn)行打分，得到主觀評價的結(jié)果.

經(jīng)過計算實(shí)驗(yàn)得到了主觀和客觀評價分析的對比結(jié)果，如表1所示.根據(jù)r的不同取值，表中列出了不同壓縮率下點(diǎn)云模型質(zhì)量耗損的實(shí)驗(yàn)結(jié)果.其中r的取值分別為0.3、0.2、0.1、0.05，θ1、θ2、θ3取值分別為1、1、1.

表1 主觀評價與客觀評價的實(shí)驗(yàn)結(jié)果對比Table 1 Comparison experiment results between subjective and objective evaluation

從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：1)本文的客觀評價的結(jié)果基本上與主觀評價一致；2)壓縮率和點(diǎn)云模型的降質(zhì)基本上呈正比關(guān)系；3)壓縮率在30%～55%附近的壓縮-失真率最好；4)在某個合理范圍內(nèi)，r的取值對實(shí)驗(yàn)結(jié)果影響較??；5)對比本文的客觀評價和信噪比的結(jié)果可知，本文的結(jié)果更能體現(xiàn)人的感知.

4 結(jié)語

本文根據(jù)人類視覺系統(tǒng)對于物體的凹凸部分可以產(chǎn)生更多的視覺感知這一特點(diǎn)，改進(jìn)了點(diǎn)的顯著性定義，并將顯著性應(yīng)用于點(diǎn)云模型質(zhì)量的客觀評價.由實(shí)驗(yàn)結(jié)果可知，基于顯著性的點(diǎn)云模型質(zhì)量的客觀評價可以很好地替代人的主觀評價.

點(diǎn)云模型中不僅包含坐標(biāo)信息，而且包含了豐富的顏色信息.為了進(jìn)一步提高質(zhì)量評價，今后的研究將引入點(diǎn)云模型的顏色屬性作為評價指標(biāo).

[1]LEVOY M,WHITTED T.The use of points as a display primitive[M].[S.l]:University of North Carolina,1985.

[2]AMENTA N,KIL Y J.Def ining point-set surfaces[J].ACM Transactions on Graphics,2004,23(3):264-270.

[3]ISENBURGM.LASzip:losslesscompression of LiDAR data[J].Photogrammetric Engineering and Remote Sensing,2013,79(2):209-217.

[4]DURANLEAUF,BEAUDOINP,POULINP.Multiresolution point-set surfaces[C]//Proceedings of Graphics Interface 2008.Canadian Information Processing Society,2008:211-218.

[5]CORSINI M,GELASCA E D,EBRHIMI T,BARNI M.Watermarked 3D mesh quality assessment[J].IEEE Transactions on Multimedia,2007,9(2):247-256.

[6]PANY,CHENGI,BASUA.Quality metric for approximating subjective evaluation of 3D objects[J].IEEE Transactions on Multimedia,2005,7(2):269-279.

[7]CHENG I,SHEN R,BOULANGER P,YANG X D.Perceptual analysis of level-of-detail:the JND approach.2006[C]//ISM'06.Eighth IEEE International Symposium on Multimedia,2006:533-540.

[8]石振鋒，金凱，牛夏牧.基于結(jié)構(gòu)相似的三維模型視覺降質(zhì)度量[J].哈爾濱工業(yè)大學(xué)學(xué)報，2010(9):1444-1448.

SHIZhenfeng,JINKai,NIUXiamu.Evaluation of visual perception degradation for 3D mesh based on structural similarity[J].Journal of Harbin Institute of Technology,2010(9):1444-1448.(in Chinese)

[9]楊斌，李曉強(qiáng)，李偉，丁廣太.基于表面粗糙度的三維模型質(zhì)量評價研究[J].計算機(jī)科學(xué)，2011,38(1):276-278.

YANG Bin,LI Xiaoqiang,LI Wei,DING Guangtai.Quality assessment for 3D model based on surface roughness[J].Computer Science,2011,38(1):276-278.(in Chinese)

[10]LAVOUéG.A local roughness measure for 3D meshes and its application to visual masking[J].ACM Transactions on Applied Perception(TAP),2009,5(4):aticle 21:1-23..

[11]LARTIGUEC,CONTRIA,BOURDET P.Digitised point quality in relation with point exploitation[J].Measurement,2002,32(3):193-203.

[12]BLAIS F,TAYLOR J,COURNOYER L,PICARD M,BORGEAT L,DICAIREL G,RIOUXM,BERALDINJ A,GODING,LAHNANIERC.Ultra-high resolution imaging at 50μm using a portable XYZ-RGB color laser scanner[C]//Intl.Workshop on Recording,Modeling and Visualization of Cultural Heritage.Centro Stefano Franscini,Monte Verita.Ascona,Switzerland,2005,May:22-27.

[13]LEEC H,VARSHNEYA,JACOBSD W.Mesh saliency[C]//ACM Transactions on Graphics,2005,24:659-666.

[14]ITTI L,KOCH C,NIEBUR E.A model of saliencybased visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[15]RUSU R B,COUSINS S.3D is here:point cloud library[C]//2011 IEEE International Conference on Robotics and Automation(ICRA),2011:1-4.