多級紋理細節(jié)的立方體全景紋理再現(xiàn)*

宋穎麗，牛保寧，宋春花

太原理工大學 計算機科學與技術(shù)學院，太原 030600

多級紋理細節(jié)的立方體全景紋理再現(xiàn)*

宋穎麗，牛保寧，宋春花+

太原理工大學 計算機科學與技術(shù)學院，太原 030600

城市可視化中的紋理再現(xiàn)，是場景真實性的關(guān)鍵。紋理再現(xiàn)通常需要大量的紋理數(shù)據(jù)，對于資源受限的移動終端，意味著巨大的網(wǎng)絡流量和電量消耗，成為制約城市可視化技術(shù)在移動終端應用的瓶頸。提出一種多級紋理細節(jié)的立方體全景紋理再現(xiàn)技術(shù)（LOD-in-IBR）。根據(jù)人眼視覺系統(tǒng)信息選擇策略中對場景各區(qū)域關(guān)注度存在的差異，用較低分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較低的區(qū)域，從而減少所需的紋理數(shù)據(jù)，降低移動終端的資源消耗。場景各區(qū)域用圖像紋理的信息熵進行區(qū)分，按照信息熵的大小對場景各區(qū)域分類，不同類別的紋理采用不同的分辨率進行再現(xiàn)，使之達到全景圖像的同層次多級細節(jié)。對于縮?。ǚ直媛式档停┍壤∮?.5以上的部分所產(chǎn)生的塊效應，用雙三次迭代插值算法進行優(yōu)化。實驗證明該方法在不引起視覺感知變化的條件下，再現(xiàn)所需的紋理數(shù)據(jù)減少30%，全景平均渲染時間減少30%。

立方體全景；圖像信息熵；紋理再現(xiàn)；同層次多級細節(jié)

1 引言

城市可視化中的紋理再現(xiàn)，是實現(xiàn)場景真實性的關(guān)鍵。無論基于圖形學的場景建模方法[1-2]，還是基于圖像的場景建模方法[3-4]，都需要利用紋理再現(xiàn)來增加場景的真實感?；趫D形學的場景建模方法通過構(gòu)建實體的幾何模型顯示實體的輪廓特征，然后對實體模型進行紋理渲染，增加場景的真實感；基于圖像的建模方法通過對自然場景的照片序列拼接視角和變換視點，然后修改觀察參數(shù)以形成真實的場景。采用自然場景的紋理圖像可以真實地反映場景中實物的色澤明暗和材質(zhì)紋理等特性，不需要額外光照和紋理的模擬，具有很高的真實性。

然而城市場景可視化的數(shù)據(jù)量可達到千兆字節(jié)（GB）甚至太字節(jié)（TB）級別，其中紋理數(shù)據(jù)占50%～70%[5]。對于資源受限的移動終端，巨大的紋理數(shù)據(jù)傳輸導致高額的網(wǎng)絡流量，對內(nèi)存和電池容量提出更高要求。紋理數(shù)據(jù)再現(xiàn)成為制約城市可視化技術(shù)在移動端應用的主要瓶頸。

現(xiàn)有紋理再現(xiàn)技術(shù)主要有Mip-Map[6]技術(shù)、過程式語法紋理構(gòu)建技術(shù)[5]兩種。Mip-Map技術(shù)按照實體與觀看者距離遠近的不同，使用不同分辨率渲染同一場景。分辨率最大的圖像放在前面人眼觀看的顯著位置，分辨率低的圖像放在背景區(qū)域。這種方法的優(yōu)點是利用低分辨率紋理圖像加載時間短的特點，縮短場景顯示在線等待時間。但是當場景前進后，距離觀察者遠的建筑物移動到距離近的位置，同一建筑物立面紋理會有低分辨率和高分辨率多次調(diào)用的過程，這樣從服務器端傳輸?shù)揭苿佣说募y理數(shù)據(jù)會大幅度增加。另外，Mip-Map技術(shù)需要深度信息，通常只適用于圖形學建模方式。過程式語法紋理構(gòu)建技術(shù)提取二維紋理數(shù)據(jù)的重復性和對稱性，構(gòu)建基于語義的過程式語法，只傳輸不重復的單元紋理，壓縮紋理圖像數(shù)據(jù)。但是這種方法在渲染時，用戶需要通過逆過程式建模將單元紋理重構(gòu)來還原真實紋理，增加了渲染終端的計算量。此外，其他紋理再現(xiàn)技術(shù)，把研究重點主要集中在圖像拼接和添加深度信息增加觀察者的沉浸感[7-9]方面，同樣沒有考慮到紋理數(shù)據(jù)傳輸量大的問題。

由于立方體全景建模技術(shù)不存在深度信息，能夠大幅度壓縮紋理數(shù)據(jù)的Mip-Map技術(shù)不能夠直接在立方體全景建模中應用。針對這一問題，本文提出一種多級紋理細節(jié)的立方體全景紋理再現(xiàn)技術(shù)（LOD-in-IBR），基于Mip-Map技術(shù)思想，用人眼識別場景各區(qū)域重要度差異代替深度信息，選取不同分辨率圖像渲染各區(qū)域。根據(jù)人眼視覺系統(tǒng)信息選擇策略中對場景各區(qū)域關(guān)注度存在的差異，用較低分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較低的區(qū)域，用較高分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較高的區(qū)域，從而減少所需紋理數(shù)據(jù)。

LOD-in-IBR引入圖像信息熵表示紋理信息復雜度，把場景分割為若干區(qū)域，以信息熵為依據(jù)對區(qū)域分類，不同的區(qū)域類別采用不同的分辨率再現(xiàn)紋理。對于低分辨率低再現(xiàn)產(chǎn)生的塊效應，用雙三次迭代插值算法進行優(yōu)化，達到不引起視覺感知變化的效果。

本文組織結(jié)構(gòu)如下：第2章綜述城市場景可視化相關(guān)工作；第3章介紹相關(guān)背景知識；第4章闡述紋理再現(xiàn)技術(shù)原理及實驗流程；第5章通過實驗驗證本文方法并分析實驗結(jié)果；第6章進行總結(jié)和展望。

2 相關(guān)工作

城市場景建模所需數(shù)據(jù)量巨大，一些攝影設備、測量CCD傳感器、LIDAR設備的使用使得紋理數(shù)據(jù)尺寸和精度也有了明顯的提高，海量紋理數(shù)據(jù)意味著巨額網(wǎng)絡流量和電量消耗?，F(xiàn)有快速場景可視化渲染主要從降低建模所需數(shù)據(jù)量和優(yōu)化實時渲染兩方面來解決。

在降低建模所需數(shù)據(jù)量方面：Glander和D?llner提出基于單元塊聚類對建筑物進行合并[10]；Ellul和Joubran在三維場景中對城市建筑物集設定閾值進行特征值的移除、簡化和聚合[11]；Ellul和Altenbuchner提出對單個建筑物采用拓撲數(shù)據(jù)結(jié)構(gòu)進行存儲表示，從而降低用于構(gòu)建建筑物幾何模型的數(shù)據(jù)[12]。以上方法都是在基于圖形學的城市場景可視化中對模型數(shù)據(jù)進行壓縮。然而，這種建模方式對場景再現(xiàn)終端的計算能力要求較高，計算量的增多必然會加劇電量消耗，因此這種方法并不適用于移動終端。對于場景的構(gòu)建，二維紋理數(shù)量占總數(shù)據(jù)量絕大多數(shù)，因此對紋理圖像壓縮才是數(shù)據(jù)壓縮的重中之重。文獻[5]提出通過提取建模二維紋理的重復性和對稱性，構(gòu)建過程式語法，傳輸單元紋理，壓縮紋理圖像數(shù)據(jù)，但是這種壓縮方法在場景重現(xiàn)時必然會導致渲染終端計算量的增加。針對以上現(xiàn)狀，本文在移動端采用計算量較小的基于圖像的城市場景建模方法，并對紋理圖像數(shù)據(jù)進行壓縮。

在優(yōu)化實時渲染方面：對紋理數(shù)據(jù)切片模型進行處理[13]，這種方法實際是將大圖切成小圖分塊加載，達到加快渲染的目的，數(shù)據(jù)傳輸量并未降低；另一種是Mip-Map技術(shù)，使用不同分辨率圖像減少同一靜止場景渲染數(shù)據(jù)總量，達到降低渲染時間的效果。但是在場景變換時，同一場景的不同分辨率多次進行調(diào)用，反而增加紋理數(shù)據(jù)的加載。受Mip-Map方法啟發(fā)，本文根據(jù)場景區(qū)域等級不同對紋理數(shù)據(jù)采用不同分辨率。與Mip-Map技術(shù)不同之處在于，Mip-Map根據(jù)距離人眼的距離進行分級，這種分級方式導致場景變換時實體與人眼距離是不斷變換的，因此增加了紋理數(shù)據(jù)量的加載。全景圖由二維紋理圖像拼接而成，無法使用Mip-Map技術(shù)，因此本文根據(jù)人眼視覺系統(tǒng)對場景各部分關(guān)注度的重要程度進行分級，將細節(jié)層次模型與技術(shù)的思想相結(jié)合，從而降低渲染數(shù)據(jù)量。

3 背景知識

3.1 全景圖像的紋理數(shù)據(jù)組織

立方體全景模型是將同一個場景旋轉(zhuǎn)360°拍攝所獲得的前、后、上、下、左、右6張影像分別貼于立方體模型對應的6個面當中[14]，生成的六面體全景圖建立在二維紋理數(shù)據(jù)基礎(chǔ)上[15]。為了交互式全方位展示立方體全景圖，必須把紋理實時地映射到終端顯示的平面圖像視平面上。平面圖像和全景紋理的幾何關(guān)系如圖1所示，全景立方體6個展開面與全景圖的存儲關(guān)系如圖2所示。

Fig.1 Projection principle of cubic panorama圖1 立方體全景的投影原理

Fig.2 Storage format of cubic texture image圖2 立方體全景紋理圖像的存儲格式

3.2 圖像插值算法

降低圖像紋理分辨率可以降低紋理數(shù)據(jù)量，又能減少流經(jīng)移動端的數(shù)據(jù)量，從而降低移動終端紋理加載的計算量，達到降低紋理渲染時間的目的。

圖像分辨率的改變通過圖像插值算法實現(xiàn)。插值算法可以分為非自適應插值算法和自適應插值算法。自適應插值算法復雜度高，運行時間長[16]，不適合擁有TB級紋理數(shù)據(jù)量圖像的處理。

設原圖為S，圖像尺寸大小為Sw×Sh?？s小后的目標圖像為D，大小為Dw×Dh。橫向縮放比例為Sw/Dw，縱向縮放比例為Sh/Dh。當Sw/Dw=Sh/Dh時，簡稱縮放比例?？s小后圖像每個位置的像素與原圖像像素的關(guān)系如式（1）：

以原圖像大小5×5，縮小后目標圖像4×4為例，設 fxy為(x,y)點像素值。在計算目標像素對應原像素坐標時，Sw/Dw和Sh/Dh會出現(xiàn)小數(shù)，即目標圖像f22位置的像素應該由原圖像中 f2.52.5的像素決定，如圖3所示。像素的坐標是整數(shù)，當使用四舍五入處理這些小數(shù)時，是最近鄰插值算法。由式（1）計算得到的目標像素所對應的原像素設為 f(i+u,j+v)（i、j分別為浮點坐標的整數(shù)部分；u、v為浮點坐標的小數(shù)部分），如果由 (i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)4個像素決定時，此方法為雙線性插值算法。

Fig.3 Relation of original image and target image pixels圖3 原圖像與目標圖像像素點關(guān)系

雙三次插值是對雙線性插值的一種改進，考慮鄰域內(nèi)4×4像素對目標像素的影響，本文在降低分辨率方面選擇了雙三次插值算法。其插值公式為：

4 多級紋理細節(jié)的立方體全景紋理再現(xiàn)

根據(jù)人眼視覺神經(jīng)系統(tǒng)的特征可知，視覺注意機制引導人眼對場景識別關(guān)注復雜度較高區(qū)域，而對于場景復雜度較低的區(qū)域人眼并不敏感[17]，因此可以降低對人眼認知場景無關(guān)性小的圖像分辨率，從而保證在不引起視覺感知變化的條件下，達到降低紋理數(shù)據(jù)的目的。

為了實現(xiàn)場景的同層次多級紋理細節(jié)，需要解決以下問題：（1）把場景分割為3個等級的區(qū)域；（2）根據(jù)區(qū)域等級的劃分把相應區(qū)域的分辨率分為3個等級；（3）降低分辨率后再次渲染時塊效應的消除。本章分別討論解決以上問題的方案。

4.1 場景分割

同一場景中，人眼識別場景會快速識別有效興趣區(qū)域，即復雜度較高區(qū)域，實現(xiàn)對場景的識別。本文通過信息熵來表征圖像復雜度，圖像信息熵越大，代表紋理圖像信息量越多，對人眼視覺系統(tǒng)識別場景的貢獻度越大；相反，信息熵越小，代表紋理圖像中所包含信息量越小，對人眼視覺系統(tǒng)識別場景的貢獻度越小。因此可以對場景各區(qū)域用圖像紋理的信息熵進行區(qū)分，按照信息熵的大小對場景各區(qū)域進行分類，不同類別的紋理采用不同的分辨率進行再現(xiàn)，使之達到全景圖像的同層次多級細節(jié)。

由上文立方體展開面與全景圖存儲關(guān)系可知，一個場景由6張紋理圖像組成，即6個區(qū)域。本文將立方體全景中的6張二維紋理圖像根據(jù)信息熵的大小分成3個等級區(qū)域。信息熵最大的兩個區(qū)域為一等級區(qū)域，信息熵最小的兩個區(qū)域為三等級區(qū)域，剩下的兩個區(qū)域為二等級區(qū)域。

4.2 分辨率分級

根據(jù)3個等級區(qū)域劃分，將各區(qū)域所對應圖像分辨率也分成3個等級，信息熵最大的兩個區(qū)域即一等級區(qū)域，用分辨率最高的紋理圖像再現(xiàn)；信息熵大小排序中間的兩個區(qū)域即二等級區(qū)域，降低其紋理圖像分辨率，將紋理圖像長寬分別縮小為原來的0.5；信息熵最小的兩個區(qū)域即三等級區(qū)域，用最低分辨率，將紋理圖像長寬縮小為原來的0.25。

本文采用上采樣方法縮小圖像以降低圖像紋理的分辨率，使用雙三次插值算法對縮小比例0.5的圖像進行操作，對于縮小比例0.25的部分所產(chǎn)生的塊效應，提出用雙三次迭代插值算法進行優(yōu)化。

4.3 雙三次迭代插值算法

由上文圖像的縮小原理可知，縮放過程中要用更少的像素來代替原圖像，因此信息的丟失是無法避免的。減少原圖像信息丟失的關(guān)鍵是用浮點坐標周圍更多的像素去表示縮小后相應的像素。實驗測定雙三次插值算法在縮小比例0.5～1.0內(nèi)所產(chǎn)生的效果不會對人眼感受產(chǎn)生影響，而縮放比例小于0.5時邊緣會出現(xiàn)塊效應。本文提出雙三次迭代插值算法，其思想為：當縮放比例Sw/Dw≥0.5,Sh/Dh≥0.5時可以直接使用雙三次插值算法；當Sw/Dw＜0.5,Sh/Dh＜0.5時，需要對Sh/Dh和Sw/Dw先進行放大操作，尋找放大次數(shù) n，滿足 n×Sh/Dh≥0.5,n×Sw/Dw≥0.5，先對原圖進行n×Sh/Dh和n×Sw/Dw的縮放，再進行n-1次0.5比例的縮小。

以本文紋理再現(xiàn)過程為例，縮小比例Sw/Dw=Sh/Dh=0.5時，圖像進行一次雙三次插值操作；縮小比例Sw/Dw=Sh/Dh=0.25時，當放大到原來圖像尺寸渲染時就會出現(xiàn)塊效應，此時需要先對原圖進行2×Sw/Dw=2×Sh/Dh=0.5縮小操作，再進行1次0.5比例的縮小操作。當進行一次雙三次插值時，式（2）中B的每一個像素 f(i′,j′)由其橫坐標為 (i′-1)～(i′+2)、縱坐標為 (j′-2)～(j′+1)這些像素點決定，再進行 1次 0.5縮放比例迭代后，f(i,j)將由橫坐標(i-2)～(i+4)、縱坐標(j-4)～(j+2)領(lǐng)域的像素決定。即縮小后目標圖像的像素由原來圖像對應領(lǐng)域內(nèi)4×4的像素點決定，迭代后變成由原來圖像領(lǐng)域內(nèi)7×7的像素點決定。其原理如圖4所示。

Fig.4 Relation of original sub-block image and target image sub-block圖4 原圖像子塊與目標圖像子塊的對應關(guān)系

4.4 整體步驟和算法

本文基于熵的雙三次迭代算法分為兩個階段：第一個階段是在每個場景的6幅紋理圖像中進行信息熵計算，并按熵值從大到小排序。第二階段是將第一階段所得到的結(jié)果作為初始條件，將熵值排序第三和第四的兩張紋理圖像縮小為原來的0.5；將熵值排序第五和第六最小的兩張紋理圖像進行0.25縮小操作；對熵值排序最高的兩張紋理圖像不進行操作，這樣在同一場景中，就形成了同級多層次細節(jié)。

整體步驟如下：

步驟1設場景S中的6張紋理圖像分別為l1、l2、l3、l4、l5、l6，對每一場景 6 張彩色紋理圖 S={l1,l2,l3,l4,l5,l6}進行RGB通道到灰度通道的轉(zhuǎn)換，采用式（3），對應以下算法描述的第2、第3行。

步驟2分別求解步驟1輸出圖像的信息熵，如式（4）所示。因為每個場景熱點中使用的是相同參數(shù)的相機進行拍攝，所以每個場景中的6幅圖是具有可比較性的。利用信息熵含義，來描述每個場景平均信息量的多少，對應算法描述的第4、第5行。

其中，Pi代表圖像信息中灰度值為i的像素在所有像素中所占比例?？芍獔D像信息熵表示圖像中灰度聚集度分布所包含的信息量。H越高，擁有更多的紋理信息。相反，H越低則代表紋理信息較單一。

步驟3對步驟2中6張圖像計算出來的信息熵H={H1,H2,H3,H4,H5,H6}由大到小排序，假定其中H1＞H2＞H3＞H4＞H5＞H6。根據(jù)圖像信息熵等級的排列采用雙三次插值縮放算法和雙三次迭代插值算法對紋理圖像分別操作。經(jīng)過實驗測定，對H3、H4所表示的紋理數(shù)據(jù)縮小0.5，對H5、H6所表示紋理數(shù)據(jù)縮小0.25的實驗結(jié)果較好。

步驟4對H3、H4包含信息量中等的圖像進行0.5縮放比例的雙三次插值變換，如式（2）所示，對應算法描述的第7行。

步驟5對H5、H6包含信息量較小的原圖像利用雙三次迭代插值算法進行比例0.25的縮小變換。即先對 H5、H6所對應的原圖進行寬 2×Sw/Dw(2×Sw/Dw≥0.5)、高2×Sh/Dh(2×Sh/Dh≥0.5)的雙三次插值計算，如式（5）所示，式中B的每個 f(a,b)值由 f(a+u,b+v)帶入到式（2）對其結(jié)果再次進行寬0.5、高0.5的迭代計算，最后可得縮小為0.25圖像，如算法描述的第8行。

算法描述：

輸入：場景的6張紋理S={l1,l2,l3,l4,l5,l6}

輸出：紋理壓縮后的場景紋理D={l1,l2,l3,l4,l5,l6}

1.初始化G,H;

2.for eachli∈Sdo

3. 將li由RGB模式轉(zhuǎn)換成灰度模式gi放入數(shù)組G中；

4.for eachgi∈Gdo

5. 計算gi的圖像信息熵hi；

6.for eachhi∈Hdo

7. 將最小的兩個hi所對應的li縮小0.5；

8. 將次小的兩個hi所對應的li縮小0.25；

9. 將變換后的li放入D中;

10.returnD；

5 實驗驗證與結(jié)果分析

本實驗環(huán)境配置：Inter?Pentium?CPU G3250@3.20 GHz處理器，4 GB內(nèi)存，Windows8.1操作系統(tǒng)，C++語言實現(xiàn)算法，VS2010環(huán)境下運行。

5.1 場景熵值

本文以一個場景為例，設pano_b、pano_d、pano_f、pano_l、pano_r、pano_u分別代表同一場景全景紋理圖像存儲格式中的后平面、下平面、前平面、左平面、右平面和上平面。利用式（4）計算此場景中6幅圖的熵值，結(jié)果如表1所示。

Table 1 Experiment data of scene entropy表1 場景熵值實驗數(shù)據(jù)

由表1可知，下一步需要對pano_d和pano_u進行0.25比例的縮小操作，對pano_r和pano_b進行0.50比例的縮小操作，剩余其他紋理不進行操作。

5.2 圖像縮小效果及其再現(xiàn)質(zhì)量評價

本文對其中一個場景，使用最鄰近算法、線性插值算法、雙三次線性插值算法和本文算法進行0.25縮小再放大操作。由于篇幅原因，截取該場景圖像的一部分，其效果如圖5所示。

從圖5所示結(jié)果中可以看出，最鄰近算法效果最差，樓房邊緣和電線桿等處可以看到明顯的塊效應，本文的雙三次迭代插值算法效果最佳。

Fig.5 Effect comparison of 4 methods圖5 4種算法效果對比

在LIVE和TID2008兩個公開評價數(shù)據(jù)庫上[18]對現(xiàn)有的9種圖像質(zhì)量評價方法進行了測試。其中，特征相似度（FSIM、FSIMc）幾乎在所有失真類型的測試中都有很好的結(jié)果。這是因為FSIM和FSIMc考慮了相位一致性信息和圖像梯度，來模擬人眼感興趣區(qū)域[19]，所以在質(zhì)量評價標準上除了使用峰值信噪比（PSNR）和均方誤差（MSE）外，還增加FSIMc的測量。其計算公式如式（6）所示，其中PCm(x,y)=max(PC(x),PC(y))代表圖像x、y整體的相似性加權(quán)，SPC(x,y)和SG(x,y)分別表示x、y的特征相似性和梯度相似性，PC和G分別表示圖像的相位一致性和梯度幅度，SI和SQ表示圖像的色度信息，I和Q代表圖像的色度分量。

利用上述質(zhì)量評價標準對其中一張圖像的原圖和縮小0.25后再放大到原圖尺寸進行質(zhì)量測評，結(jié)果如表2所示。

Table 2 Image quality measurement表2 圖像質(zhì)量測量

由表2中數(shù)據(jù)可知，3種方法所測得的PSNR、MSE和FSIMc變化趨勢相同，F(xiàn)SIMc結(jié)果是一個0到1的任意數(shù)字，表示相似度，數(shù)字越大，相似度越高。由實驗結(jié)果可知，本文方法的FSIMc結(jié)果最高，相似度為0.994 0，人眼幾乎識別不出差異。

表3為一場景縮放前后文件大小的對比，場景中6張紋理原圖大小分別為 564、683、848、674、646、188 KB，總計3 603 KB。根據(jù)表1中的熵值得出，需要一級縮小的紋理是pano_b和pano_r，分辨率降低后圖像大小為370KB和403KB，需要二級縮小的紋理是pano_d和pano_u，分辨率降低后圖像大小為109 KB和48 KB。壓縮后6張紋理圖像大小為2 452 KB，壓縮率為32%。

Table 3 Data comparison before and after lowerresolution of texture data表3 紋理數(shù)據(jù)降低分辨率前后數(shù)據(jù)對比 KB

表4為紋理原圖和縮小后的紋理內(nèi)存載入與顯示時間之和的前后對比。

由表4可知，紋理圖像縮小前后相比，縮小后紋理圖像再現(xiàn)沒有引進額外的計算量，從時間度量可知，圖像降低分辨率后會降低紋理的顯示時間。

Table 4 Time comparison before and after lower resolution of texture data表4 紋理數(shù)據(jù)降低分辨率前后顯示時間對比 s

實驗過程中以同一場景的6幅2 048×2 048紋理圖像作為研究對象，設定一級紋理為2 048×2 048，二級紋理為1 024×1 024，三級紋理為512×512，壓縮率達到了32%；將經(jīng)過縮放技術(shù)的圖像在html中利用three.js開源庫模擬全景在移動端的顯示，驗證了利用圖像信息熵對場景紋理高效再現(xiàn)方法的可行性，仿真效果如圖6所示。

Fig.6 Compression effect before and after experiment圖6 壓縮前后實驗效果

6 總結(jié)

本文突破傳統(tǒng)紋理“縱向分層、橫向分塊”的處理思想。根據(jù)信息熵大小，將全景紋理圖像分成多個等級的區(qū)域，每一級區(qū)域圖像的尺寸大小都是上一等級圖像的0.5倍；利用雙三次插值迭代算法消除了縮小（分辨率降低）比例小于0.5圖像再放大所產(chǎn)生的塊效應。從理論上紋理數(shù)據(jù)的壓縮率可以達到50%，通過實驗比對，壓縮率可達30%以上。在不引起視覺感知變化的條件下，減小再現(xiàn)所需紋理數(shù)據(jù)和渲染時間。本文方法雖然針對基于圖像的立方體全景紋理數(shù)據(jù)，但是針對球形和圓柱形全景紋理數(shù)據(jù)，在基于圖形圖像的建模領(lǐng)域中也可以有很好的應用，對三維建模紋理數(shù)據(jù)高效再現(xiàn)提供了一種新思路、新方法。后續(xù)也將繼續(xù)研究本文方法在球形和圓柱形全景建模中的應用。

[1]Batty M,Shiode N,Smith A,et al.Visualizing the city:communicating urban design to planners and decision-makers[J].Planning Support Systems,2001:26.

[2]Vanegas C A,Aliaga D G,Bene? B,et al.Visualization of simulated urban spaces:inferring parameterized generation of streets,parcels,and aerial imagery[J].IEEE Transactions on Visualization&Computer Graphics,2009,15(3):424-435.[3]Zhou Kun,Pan Zhigeng,Shi Jiaoying.A real-time rendering algorithm based on hybrid multiple level-of-detail methods[J].Journal of Software,2001,12(1):74-82.

[4]Liu Bo,Wang Zhangye,Wang Liying,et al.Study on the efficient modeling and real-time rendering of large-scale urban scenes[J].Journal of Computer Aided Design&Computer Graphics,2008,20(9):1153-1162.

[5]Du Ying,Wu Yuguo,You Xiong.Research of Mipmap textures for virtual global terrain environment[J].Journal of Geomatics Science and Technology,2006,23(5):355-358.

[6]Zhou Shengchuan.A geometry-and image-based hybrid modeling and visually lossless rendering approach for largescale urban simulation[D].Qingdao:Ocean University of China,2014.

[7]Lin Mingxiu,Xu Gang,Ren Xingning,et al.Cylindrical panoramic image stitching method based on multi-cameras[C]//Proceedings of the 5th International Conference on Cyber Technology in Automation,Control,and Intelligent Systems,Shenyang,China,Jun 8-12,2015.Piscataway,USA:IEEE,2015:1091-1096.

[8]Wang Jiaxi,Watada J.Panoramic image mosaic based onSURF algorithm using OpenCV[C]//Proceedings of the 9th International Symposium on Intelligent Signal Processing,Siena,Italy,May 15-17,2015.Piscataway,USA:IEEE,2015:1-6.

[9]Iizuka S,Kanamori Y,Mitani J,et al.Efficiently modeling 3D scenes from a single image[J].IEEE Computer Graphics&Applications,2012,32(6):18-25.

[10]Glander T,D?llner J.Cell-based generalization of 3D building groups with outlier management[C]//Proceedings of the 15th International Symposium on Geographic Information Systems,Seattle,USA,Nov 7-9,2007.NewYork:ACM,2007:54.

[11]Ellul C,Joubran J A.Preliminary investigations into the potential of improving rendering performance of 3D datasets using 2D generalisation[J].Usage,2012,10:1-7.

[12]Ellul C,Altenbuchner J.Investigating approaches to improving rendering performance of 3D city models on mobile devices[J].Geospatial Information Science,2014,17(2):73-84.

[13]Chen Hua,Yue Liqun,Xia Qing,et al.Research on the conversion and pretreatment of global multi-resolution texture[C]//Proceedings of the 14th National Conference on Image and Graphics,Fuzhou,China，May 16-19,2008.Bijing:Tsinghua University Press,2008:699-702.

[14]Zhang Chunxiao,Dubois E,Zhao Yan.Virtual cubic panorama synthesis based on triangular reprojection[J].Computer Animation&Virtual Worlds,2014,25(2):143-154.

[15]Amini A S,Varshosaz M,Saadatseresht M.Development of a new stereo-panorama system based on off-the-shelf stereo cameras[J].Photogrammetric Record,2014,29(146):206-223.

[16]Tian Qichong.A fast edge-based image interpolation algorithm[D].Wuhan:Huazhong University of Science and Technology,2013.

[17]Grill S K,Malach R.The human visual cortex[J].Annual Review of Neuroscience,2004,27(1):649-677.

[18]Chu Jiang,Chen Qiang,Yang Xichen.Review on fullreference image quality assessment algorithms[J].Application Research of Computers,2014,31(1):13-22.

[19]Zhang Lin,Zhang Lei,Mou Xuanqin,et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011,20(8):2378-2386.

附中文參考文獻：

[3]周昆,潘志庚,石教英.基于混合多細節(jié)層次技術(shù)的實時繪制算法[J].軟件學報,2001,12(1):74-82.

[4]劉波,王章野,王麗英,等.大規(guī)模城市場景的高效建模及其實時繪制[J].計算機輔助設計與圖形學學報,2008,20(9):1153-1162.

[5]杜瑩,武玉國,游雄.全球虛擬地形環(huán)境中Mipmap紋理技術(shù)研究[J].測繪科學技術(shù)學報,2006,23(5):355-358.

[6]周圣川.大規(guī)模城市場景圖形圖像混合建模與視覺無損渲染技術(shù)[D].青島:中國海洋大學,2014.

[13]陳華,岳利群,夏青,等.全球多分辨率紋理數(shù)據(jù)的轉(zhuǎn)換與預處理技術(shù)研究[C]//第十四屆全國圖象圖形學學術(shù)會議論文集,中國,福州,2008.北京:清華大學出版社,2008:699-702.

[16]田其沖.基于邊緣的快速圖像插值算法研究[D].武漢:華中科技大學,2013.

[18]褚江,陳強,楊曦晨.全參考圖像質(zhì)量評價綜述[J].計算機應用研究,2014,31(1):13-22.

SONG Yingli was born in 1992.She is an M.S.candidate at Taiyuan University of Technology.Her research interest is computer graphics and image processing.

宋穎麗（1992—），女，山西晉中人，太原理工大學碩士研究生，主要研究領(lǐng)域為計算機圖形圖像處理。

NIU Baoning was born in 1964.He is a professor and Ph.D.supervisor at Taiyuan University of Technology,and the senior member of CCF.His research interests include big data,the autonomic computing and performance management of database system.

牛保寧（1964—），太原理工大學教授、博士生導師，CCF高級會員，主要研究領(lǐng)域為大數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)的自主計算與性能管理。

SONG Chunhua was born in 1965.She is an associate professor and M.S.supervisor at Taiyuan University of Technology.Her research interests include computer graphic modeling,visible simulation and database modeling.

宋春花（1965—），太原理工大學副教授、碩士生導師，主要研究領(lǐng)域為計算機圖形建模，可視化仿真，數(shù)據(jù)庫建模。

Multilevel of Details Texture Rendering on Cubic Panorama*

SONG Yingli,NIU Baoning,SONG Chunhua+
School of Computer Science and Technology,Taiyuan University of Technology,Taiyuan 030600,China

Texture rendering is the key to the scene reality in urban visualization,and it limits the development of urban visualization,as excessive quantities of texture data are needed,which means network traffic and power consumption on mobile terminal.This paper proposes a multilevel of details among same layer texture techniques used in cubic texture rendering,named LOD-in-IBR.Because the information selection strategy of the human visual system is different when facing vary areas,the texture data with lower resolution are used to reappear low concerned area,so as to reduce the texture data and the resource consumption of the mobile terminal.The scene area is distinguished by information entropy of image texture,the multi-resolution is used to reappear different areas in order to achieve the multilevel of details among the same layer.This paper puts forward iterated bi-cubic interpolation algorithm to eliminate the block effect of which image scaling rate is less than 0.5.Using the proposed method,the texture data needed are reduced by 30%and the time of rendering panorama is reduced by 30%with no visual perception change when texture rendering.

cubic panorama;image information entropy;texture rendering;multilevel of details among same layer

2016-08, Accepted 2016-10.

A

TP391

+Corresponding author:E-mail:songchunhua@tyut.edu.cn

SONG Yingli,NIU Baoning,SONG Chunhua.Multilevel of details texture rendering on cubic panorama.Journal of Frontiers of Computer Science and Technology,2017,11(9)：1496-1504.

10.3778/j.issn.1673-9418.1609013

*The National Natural Science Foundation of China under Grant No.61572345(國家自然科學基金);the National Science and Technology Support Program of China under Grant No.2015BAH37F01(國家科技支撐計劃).

CNKI網(wǎng)絡優(yōu)先出版: 2016-10-31, http://www.cnki.net/kcms/detail/11.5602.TP.20161031.1650.020.html