附加法向信息的三維網格預測編碼

高原， 施云惠， 韓妍妍， 曾萍， 尹寶才,4

(1. 北京電子科技學院 電子與通信工程系，北京 100070；2.國家信息中心，北京 100045；3. 北京工業(yè)大學 信息學部，多媒體與智能軟件技術北京市重點實驗室，北京 100124；4.大連理工大學 電子信息與電氣工程學部，遼寧，大連 116024)

三維模型可以用來模擬任何物理自然界存在的實體或虛構的物體，既可以通過三維建模軟件等計算機程序人工合成，也可以使用如Cyberware三維掃描儀[1]和多視點攝像機[2]等專業(yè)感知設備捕獲現實世界中的真實對象獲得. 盡管三維模型可以通過多種方式表達，但通過網格形式(尤其是廣泛應用的三角網格[3])表示以其結構簡單、形式通用等特點成為表示三維模型、描述三維物體最為流行的方法. 隨著虛擬現實技術以及三維掃描技術的飛速發(fā)展，三維模型的采集、獲取及建模手段日趨成熟，由此生成了大量復雜的三維網格數據擴展到各類應用，與日俱增的復雜度和精度為傳統(tǒng)的壓縮算法和處理技術帶來了巨大的壓力. 為了保持三維網格的視覺效果，在壓縮和傳輸三維網格時通常將法向數據連同幾何數據(也稱為幾何網格，由頂點的位置信息和拓撲連接信息組成)同步編碼，而作為網格主觀渲染的重要因素，法向數據包含了更多網格的紋理細節(jié)，數據通常由3個IEEE 32位浮點數組成[4]，無論是傳輸、存儲還是實時渲染都會給軟硬件環(huán)境帶來巨大壓力.

針對附加法向信息的三維網格編碼，例如文獻[5-8]通常法向數據獨立編碼，基于相鄰頂點、面片或網格單元法向間的預測，大部分通過改進法向數據的量化算法提高編碼效率. 由于傳統(tǒng)附加法向信息的三維網格編碼未充分考慮頂點法向3個分量間(幀間)及頂點幾何數據與法向數據間(幀間)的相關性，因此，壓縮性能有提升空間. 如何在現有壓縮技術基礎上充分挖掘法向與幾何數據幀內-幀間相關性提升編碼效率仍然是一個值得深入研究的問題.

本文對附加法向信息的三維網格進行預測編碼研究，利用法向數據幀內相關性以及幾何與法向數據幀內-幀間相關性，提出三維網格幀內-幀間預測編碼方法，并與傳統(tǒng)分別壓縮三維網格法向與幾何數據的編碼方法進行比較，通過實驗仿真展示壓縮編碼性能.

1 法向信息壓縮

在三維計算機圖形學中，通常使用幾何網格模擬三維物體的基本形狀，而網格的主觀視覺質量則通過網格的法向數據提升. 三維網格的幾何形狀是由頂點連接的多個小平面組合確定，這些小平面稱為面片. 通過每一個面片的法向確定了渲染過程中抽樣模擬曲面時模型的光照強度，從而獲得三維網格的主觀視覺感. 在三角形網格中，每3個頂點構成一個三角形面片. 為了方便渲染、計算和處理，在網格繪制階段，常見繪制工具和軟件需要三維網格頂點的法向量作為曲面光照法向信息. 以三維模型bunny為例，其幾何網格和經過法向量渲染繪制后的附加法向信息的三維網格如圖1(a)(b)所示.

圖1 三維網格的幾何與法向Fig.1 Geometry and normals of the mesh

給定附加法向信息的三角網格(M，N)，M表示幾何網格，由頂點的三維坐標集V以及面片集F兩類幾何數據組成，N表示網格頂點的法向數據. 其中

V={vi|vi=(xi,yi,zi)}i=1,2，…，s，

F={fj|fj=(vi1,vi2,vi3)}j=1,2，…，t，

s為三維網格頂點的個數，t為三維網格三角面片的個數.

(1)

(2)

(3)

本文中頂點法向是單位化相鄰所有三角面片的法向量平均值獲得，其第i個分量為

(4)

其中m是與頂點相連的面片數. 面片法向量和頂點法向量示意圖如圖1(c)所示.

通常單純壓縮網格的位置信息和拓撲連接信息，解碼端通過重建的幾何數據可以估計法向信息，并以估計的法向數據對幾何網格進行渲染繪制得到重建的三維模型(本文稱之為自渲染)，如圖2 (b)所示. 以三維模型venus為例說明網格法向數據壓縮的重要性，圖2 (a)展示了未經壓縮的原始venus網格，圖2 (b)展示了通過自渲染重建的網格模型，圖2 (c)展示了利用與圖2 (b)相同總碼率，并以1∶1的比例分別壓縮法向和位置信息后重建的法向數據渲染的網格. 可明顯看出，在相同的總碼率下，將法向數據與幾何數據同步壓縮相比單純壓縮幾何數據更能提高附加法向信息三維網格的主觀視覺質量，進一步說明了三維網格法向數據同步壓縮的重要意義.

圖2 不同法向渲染的網格主觀質量比較Fig.2 Subjective quality comparison of the rendered mesh with different normals

再以三維模型bunny為例，圖2 (d)展示了未經壓縮的原始bunny網格，通過重建的幾何網格預測法向數據，若直接以預測的法向數據渲染繪制幾何網格，生成的最終網格如圖2 (e)所示(自渲染). 為了方便比較，仍然使用重建的幾何網格，但是通過原始的法向量進行渲染繪制，生成的最終網格如圖2(f)所示. 經比較可以看出，同樣是有損解壓縮重建的幾何網格，用不同的法向數據渲染繪制，獲得的主觀質量視差很大，而這個差值就是本文幀間預測思路中的法向量預測殘差. 因此，有損壓縮的三維網格，法向數據與幾何網格同步壓縮效果更好.

2 幀內預測編碼

2.1 法向數據幀內相關性

在計算法向量的過程中，為了簡化計算，通常是將法向量的長度單位化為1，即將法向量歸一化到單位球面上，如圖1 (d)所示. 因此，網格所有頂點法向量的模長均為1，即

x′2+y′2+z′2=1.

(5)

式(5)充分說明了法向量的三個分量之間存在著較強的相關性. 因此，3個分量中的任何分量可以通過另外兩個分量表示，即

(6)

因此，在法向z分量符號已知的情況下，其可以通過其它兩個x,y分量經式(5)和(6)預測得到，即

(7)

其中Sz為法向z分量的符號.

將法向數據3個分量之間的相關性稱為法向數據幀內相關性. 將幀內相關性應用在附加法向信息的三維網格壓縮中，可以達到降低法向分量的數據規(guī)模，提高壓縮性能的目的.

2.2 編解碼框架

為了有效利用法向數據幀內相關性，降低法向數據的傳輸比特流，提出一種幀內預測法向數據的編碼框架. 該預測模式利用法向數據內部3個分量間的相關性，在編碼網格法向信息時只編碼x,y兩個分量及z分量的邊信息，從而降低了法向z分量的編碼數據量.

整體的編解碼框架如圖3所示. 幀內基本預測編碼的主要思想如下.

在編碼端，將附加法向信息的三維網格分解為原始的幾何網格及法向數據. 對于幾何網格M，其拓撲連接信息采用無損方式編碼，頂點位置數據采用小波變換編碼輸出碼流. 在編碼法向數據時，僅小波變換編碼x,y分量. 對于法向z分量，無損編碼其符號值Sz輸出碼流.

圖3 幀內預測編解碼框架Fig.3 The codec framework of proposed intra-inter prediction

3 幀內-幀間預測編碼

通過深入分析幾何數據與法向數據之間的關聯，結合法向數據內部分量間的關系，提出附加法向信息的三維網格幀內-幀間預測編碼方案.

3.1 法向與幾何幀間相關性

法向與幾何幀間相關性是基于頂點法向數據的計算理論，挖掘幾何網格與法向數據間的關系，從而獲得重建的幾何網格與法向數據之間的相關性.

(8)

(9)

3.2 編解碼框架

為了提高附加法向信息三維網格的壓縮效率，有效利用法向數據與幾何數據幀內和幀間相關性，提出了一種幀內-幀間預測法向數據的編碼框架. 該預測模式通過重建的幾何網格幀間預測頂點的法向數據x,y分量，再對z分量進行幀內預測.

整體的編解碼框架如圖4所示. 幀內-幀間預測編碼的主要思想如下.

圖4 幀內-幀間預測編解碼框架Fig.4 The codec framework of proposed intra-inter mixed prediction

4 實驗結果及分析

本文在4個三維模型上驗證提出的基于法向與幾何數據幀內-幀間相關性的附加法向信息的三維網格預測編碼方法. 此外還實驗了對比組直接壓縮法向數據的編碼方法，并給出實驗結果及分析. 在實驗中，使用三維模型bunny，venus，lion，cow. 這4個模型的基本信息見表1.

表1 實驗模型的基本幾何信息

實驗中分別對模型的頂點位置信息、面片信息以及法向數據/法向殘差數據進行壓縮. 面片信息使用7 zip壓縮工具進行無損編碼. 對于頂點位置信息和法向信息，首先將頂點位置數據量化為10 bit，法向數據量化為8 bit，再應用一維小波技術(1DWT)對這些數據進行變換. 使用不同的量化步長對小波變換系數進行量化. 由于量化后的數據仍存在大量冗余信息，因此，使用7 zip壓縮工具對其進行壓縮，最后通過信道輸出最終碼流. 為了方便比較和分析，本文針對法向數據壓縮采用調整量化步長的方式，將上述編碼方案中法向信息的碼率控制在10∶0.5∶12范圍. 本文提出的編碼方案以及對比組直接壓縮法向數據的編碼方案，都是在此碼率范圍進行分析比較.

實驗中對重建三維網格的主客觀質量進行了對比，利用針對幾何的峰值信噪比(peak signal to noise ratio,PSNR)衡量重建三維網格的客觀質量，定義如下：

(10)

式中：lpeak為三維網格包圍盒的對角線長度；d為原始網格與重建網格之間的Hausdorff距離[9]. 對于法向數據的客觀質量，采用均方誤差(mean squared error,MSE)衡量壓縮前后法向數據的平均誤差.

首先壓縮4個模型的幾何數據，頂點位置坐標利用450，350，250，150，50的量化步長對小波變換系數進行量化. 表2展示了利用解壓縮后的頂點位置數據與無損壓縮的拓撲連接信息重建的幾何網格與原始網格之間的PSNR結果.

表2 重建幾何網格的PSNR

對于法向數據，分為3組進行實驗：直接編碼法向數據、幀內預測編碼、幀內-幀間預測編碼. 為方便對編碼算法進行主客觀質量的對比和評估，將法向數據碼率控制在10.0∶0.5∶12.0范圍. 4個模型法向數據編碼實驗的客觀質量由圖5所示.

圖5 法向數據壓縮MSE曲線Fig.5 MSE curves of normal compression

在圖6～圖9中展示了每個模型在法向數據壓縮碼率為10 bpv的條件下，使用重建的法向數據渲染經QP為450壓縮的幾何網格的主觀質量. 其中可以明顯看出，對比直接壓縮法向數據的方案，本文提出的基于預測的編碼方法，無論從主觀質量還是客觀性能上都優(yōu)于直接壓縮法向數據的編碼方案，提出的幀內-幀間預測編碼方案優(yōu)于幀內預測的編碼方案.

圖6 Bunny模型壓縮重建的主觀質量對比Fig.6 Subjective quality comparison of the rendered meshes with normal for bunny

圖7 Venus模型壓縮重建的主觀質量對比Fig.7 Subjective quality comparison of the rendered meshes with mormal for venus

圖8 Lion模型壓縮重建的主觀質量對比Fig.8 Subjective quality companson of the rendered meshes with normal for lion

圖9 Cow模型壓縮重建的主觀質量對比Fig.9 Subjective quality comparison of the rendered meshes with normals for cow

5 結 論

三維網格壓縮一直是充滿挑戰(zhàn)且具有重要意義的研究領域，針對現有法向與幾何數據分別壓縮效率低的問題，本文從法向數據生成理論出發(fā)，提出了基于幀內預測和幀內-幀間預測的附加法向信息的三維網格編碼方法. 該方法充分利用法向數據內部分量間(幀內)及法向與幾何數據間(幀間)的相關性，有效保持了解碼后三維網格的幾何特性，為附加法向信息的三維網格壓縮提供了一種全新的解決方案. 同時，該方法在減少傳輸數據量、降低能耗以及提升繪制效果方面具有巨大的優(yōu)勢. 但現有的工作無法應對該領域中出現的所有挑戰(zhàn)，下一步的研究工作將圍繞真實感三維網格富含的法向、顏色、紋理等屬性信息編碼以及附加法向信息的三維網格序列壓縮展開研究.