基于優(yōu)化頂點(diǎn)彈簧模型的半沉浸環(huán)境標(biāo)定算法

楊廷俊，朱 博，劉 雨

（1.浙江大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州310027；2.浙江大學(xué) 航空航天學(xué)院，浙江 杭州310027）

沉浸式可視化系統(tǒng)通常被設(shè)計(jì)為應(yīng)用虛擬現(xiàn)實(shí)技術(shù)來模擬真實(shí)世界中的各種真實(shí)感體驗(yàn)，用戶在不需要佩戴任何頭戴顯示器或其他輔助設(shè)備的情形下，便可以在虛擬環(huán)境里自由地漫游［1-2］.球幕投影系統(tǒng)作為沉浸式曲面可視化系統(tǒng)代表，通過將觀察者包圍在減少了邊緣干擾的球形屏幕之中，同時(shí)對(duì)環(huán)繞觀察者周圍的視場(chǎng)進(jìn)行圖像預(yù)先扭曲，從而提供了一個(gè)具有強(qiáng)烈真實(shí)感的可視化環(huán)境.早期球幕投影系統(tǒng)的使用場(chǎng)景僅僅局限于天文館，他們使用多臺(tái)專門投影硬件，將星空?qǐng)D像和其他類型多媒體資料在球形幕布上投影，進(jìn)行天文學(xué)知識(shí)的公共教育領(lǐng)域.隨著DLP（digital light procession）投影技術(shù)在大型天文館的廣泛應(yīng)用，通過小型球幕投影系統(tǒng)可以獲取昂貴的專業(yè)星象球機(jī)設(shè)備同樣的視覺體驗(yàn)，得到了越來越多的關(guān)注.小型球幕系統(tǒng)硬件一般由單臺(tái)商用數(shù)字投影機(jī)配備普通魚眼鏡頭構(gòu)成，球幕直徑常介于2～5m，因而可以在很多場(chǎng)所方便地進(jìn)行配置.與傳統(tǒng)多臺(tái)投影機(jī)構(gòu)成天文館系統(tǒng)相比，不需要任何特殊硬件裝置，也不需要專門圖像融合軟件進(jìn)行拼接，非常適合在科學(xué)可視化、模擬仿真環(huán)境等場(chǎng)景中進(jìn)行使用.

對(duì)于現(xiàn)有的投影可視化系統(tǒng)，由于投影表面形狀和投影機(jī)安裝位置等因素，圖像在投影到投影表面時(shí)常會(huì)出現(xiàn)扭曲現(xiàn)象，幾何標(biāo)定是通過對(duì)該扭曲參數(shù)進(jìn)行估計(jì)，實(shí)現(xiàn)對(duì)投影圖像的預(yù)先校正工作［3］.目前，大多數(shù)投影系統(tǒng)都廣泛采用基于相機(jī)反饋輔助的標(biāo)定算法，將平面屏幕系統(tǒng)中的該問題轉(zhuǎn)換為相機(jī)和投影機(jī)之間單向性矩陣的計(jì)算［4-6］.對(duì)于曲面和非平面屏幕系統(tǒng)，幾何標(biāo)定不能由單一的單線性矩陣描述，Raskar等［7-9］使用一對(duì)正交的立體照相機(jī)，并通過保角映射和二次傳遞的方法來進(jìn)行標(biāo)定，該方法僅適用于標(biāo)準(zhǔn)二次曲面.Majumder等［10-12］使用單臺(tái)相機(jī)并通過有理貝塞爾面片的方法對(duì)CAVE和球幕系統(tǒng)進(jìn)行幾何標(biāo)定；該方法要求投影表面為標(biāo)準(zhǔn)球幕表面，并需要在投影表面放置物理的校正標(biāo)記.

針對(duì)現(xiàn)有曲面投影環(huán)境標(biāo)定算法在自適應(yīng)校正精度和計(jì)算效率上的不足，本文提出一種基于優(yōu)化頂點(diǎn)彈簧模型的半沉浸式投影環(huán)境快速自適應(yīng)標(biāo)定算法.首先基于優(yōu)化的頂點(diǎn)彈簧模型對(duì)非均勻二次曲面進(jìn)行三維網(wǎng)格獲?。蝗缓?，使用曲面細(xì)分方法根據(jù)人眼視線與網(wǎng)格面片的空間幾何關(guān)系，對(duì)網(wǎng)格進(jìn)行進(jìn)一步的網(wǎng)格細(xì)分計(jì)算；最終根據(jù)細(xì)分結(jié)果，網(wǎng)格對(duì)投影圖像進(jìn)行精確預(yù)校正，實(shí)現(xiàn)半沉浸式投影環(huán)境的快速自適應(yīng)標(biāo)定.

1 基于球幕的半沉浸可視化系統(tǒng)建模

1.1 非均勻二次球形曲面數(shù)學(xué)模型

基于球形幕布投影的半沉浸式可視化環(huán)境需要應(yīng)用非均勻曲面網(wǎng)格的精確計(jì)算.為了分析球面投影圖像的變形情況需要建立非均勻二次球面投影模型，可以將球面屏幕簡化為一個(gè)球面，投影機(jī)的投影光線簡化為一個(gè)四棱錐體.如圖1所示，投影機(jī)的投影位置在z軸上的P 點(diǎn)，投影機(jī)的投影方向通過球心O，則投影機(jī)的投影光束呈一個(gè)四棱錐形，它與球面相交，在球面上生成一個(gè)比較規(guī)則的準(zhǔn)矩形曲面，即投影光束所形成的四棱錐體為P-Q1Q2Q3Q4.

假設(shè)球體的半徑為R，則球面上的坐標(biāo)點(diǎn)（x，y，z）可以用參數(shù)化的經(jīng)緯坐標(biāo)（θ，φ）表示為

為了簡化投影光束的表達(dá)，將投影機(jī)投影光束的邊界表示為4 個(gè)平面，采用4 個(gè)方程來表示.PQ1Q2、PQ3Q4、PQ2Q4和PQ4Q1平 面 的 表 達(dá) 式分別為

式中：L 為投影機(jī)與球面的成像距離.

圖1 球形曲面投影模型Fig.1 Spherical projection model

1.2 魚眼光學(xué)系統(tǒng)

本文設(shè)計(jì)的球幕投影系統(tǒng)使用加裝魚眼鏡頭的方式組成投影光學(xué)系統(tǒng)進(jìn)行投影成像（見圖2（a））.魚眼鏡頭成像的球面投影模型（見圖2（b）），其定義為從原點(diǎn)O 指向空間任一點(diǎn)A（x，y，z）的射線斜交投影球面于一點(diǎn).將這一點(diǎn)正投影到一個(gè)與z 軸垂直的固定平面上（由于該平面上各點(diǎn)的z 坐標(biāo)相同，只考慮x 和y 坐標(biāo)），得到平面點(diǎn)B（m，n）.空間各點(diǎn)A（x，y，z）在所給固定平面上的投影B（m，n）即構(gòu)成魚眼鏡頭成像，利用該模型的逆變換可以將魚眼鏡頭圖像變換為透視投影圖像.

圖2 魚眼鏡頭投影系統(tǒng)Fig.2 Fisheye lens projection system

利用魚眼鏡頭可以得到180°高匯聚和大視角的圓形魚眼圖像，反之180°圓形魚眼圖像的大視角和高匯聚性通過180°魚眼投影鏡頭從投影到球面便能將景深部分信息還原（見圖3）.這種魚眼投影配合球形曲面投影系統(tǒng)給人造成的視覺誤差，能夠讓人產(chǎn)生如臨現(xiàn)場(chǎng)的沉浸感.

圖3 魚眼鏡頭投影示例Fig.3 Fisheye lens projection example

2 基于優(yōu)化頂點(diǎn)彈簧模型的自適應(yīng)快速標(biāo)定算法

2.1 頂點(diǎn)彈簧網(wǎng)格變形方法

頂點(diǎn)彈簧模型（vertex springs model）是非結(jié)構(gòu)動(dòng)網(wǎng)格彈簧近似法的一種.假設(shè)將網(wǎng)格單元的各條邊看作彈簧，則彈簧系數(shù)與網(wǎng)格邊的長度有關(guān).當(dāng)網(wǎng)格邊界發(fā)生自適應(yīng)移動(dòng)后，通過求解彈簧系統(tǒng)節(jié)點(diǎn)受力平衡確定網(wǎng)格點(diǎn)的新位置.該非結(jié)構(gòu)動(dòng)網(wǎng)格變形方法通過網(wǎng)格變形、網(wǎng)格重構(gòu)和局部網(wǎng)格重構(gòu)等方法使計(jì)算網(wǎng)格適應(yīng)計(jì)算區(qū)域的改變，是一種非定常問題數(shù)值模擬的關(guān)鍵技術(shù)，可以應(yīng)用于可變形飛行器、機(jī)翼氣動(dòng)彈性振動(dòng)、生物仿生流等問題所涉及的非定常問題求解.

本文研究的基于球形幕布投影的半沉浸式可視化環(huán)境需要進(jìn)行非均勻曲面網(wǎng)格的精確計(jì)算，應(yīng)用非結(jié)構(gòu)動(dòng)網(wǎng)格變形方法可以在保持網(wǎng)格數(shù)目不變的情況下，通過網(wǎng)格結(jié)構(gòu)變形來適應(yīng)運(yùn)動(dòng)邊界引起的物理空間變化.變形動(dòng)網(wǎng)格可以針對(duì)球幕曲面環(huán)境的物理性質(zhì)，建立有效控制網(wǎng)格變形和運(yùn)動(dòng)的計(jì)算模型.基于頂點(diǎn)彈簧模型的非結(jié)構(gòu)網(wǎng)格具有幾何上的靈活性，易于處理復(fù)雜曲面形狀模型，同時(shí)網(wǎng)格生成的自動(dòng)化程度高.球幕的有效投影環(huán)境邊界獲取之后，在計(jì)算網(wǎng)格區(qū)域內(nèi)可以自動(dòng)生成網(wǎng)格，當(dāng)網(wǎng)格邊界發(fā)生改變時(shí)，運(yùn)動(dòng)邊界帶動(dòng)有效網(wǎng)格區(qū)域內(nèi)的網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)，依靠網(wǎng)格邊的伸縮、扭轉(zhuǎn)來適應(yīng)邊界的運(yùn)動(dòng).

基于頂點(diǎn)彈簧模型的網(wǎng)格變形計(jì)算如圖4 所示，其中圖4（a）所示為非結(jié)構(gòu)網(wǎng)格的示例圖.彈簧法假設(shè)網(wǎng)格節(jié)點(diǎn)由彈簧連接，整個(gè)計(jì)算域網(wǎng)格是一個(gè)達(dá)到平衡狀態(tài)的彈簧系統(tǒng).

如圖4（b）所示為非結(jié)構(gòu)網(wǎng)格局部放大的頂點(diǎn)彈簧模型示例圖，網(wǎng)格邊可以看作彈簧連接，連同節(jié)點(diǎn)i、j間的組成頂點(diǎn)彈簧變形模型.獲得由于邊界變形或運(yùn)動(dòng)帶來的網(wǎng)格節(jié)點(diǎn)位移，從而得到適應(yīng)計(jì)算域變化的計(jì)算網(wǎng)格.其中將網(wǎng)格邊看作彈簧，節(jié)點(diǎn)i、j之間的彈簧張力計(jì)算為

式中：Kij為彈簧的倔強(qiáng)系數(shù)，xi、xj分別為節(jié)點(diǎn)i、j的位置矢量.節(jié)點(diǎn)i所受的合力如式（4）所示，其中Ni為與節(jié)點(diǎn)i相連的相鄰節(jié)點(diǎn)總數(shù).

在初始網(wǎng)格確定后，使用式（4）得到節(jié)點(diǎn)i的初始狀態(tài)，則運(yùn)動(dòng)邊界上的點(diǎn)移動(dòng)后，可以構(gòu)造線性方程得到其他網(wǎng)格點(diǎn)的新位置坐標(biāo)：

圖4 頂點(diǎn)彈簧模型Fig.4 Vertex springs model

式中：下標(biāo)npsum 為運(yùn)動(dòng)邊界點(diǎn)數(shù)量.分析上述線性方程，由于對(duì)角線元素求和指標(biāo)j取遍該行所有非對(duì)角線不為0的列k，因此該方程對(duì)角占優(yōu)，采用Jacobi迭代格式收斂如下公式：

2.2 基于優(yōu)化頂點(diǎn)彈簧模型的球幕網(wǎng)格計(jì)算

如圖5（a）所示為球幕網(wǎng)格示例，將最外圍的球幕網(wǎng)格邊緣作為網(wǎng)格變形邊界，根據(jù)實(shí)際球幕的物理幾何形狀來不斷地變化邊界節(jié)點(diǎn).從圖5（b）可以看出，網(wǎng)格節(jié)點(diǎn)之間的連接是不等長線段，需要求解圖4（b）中的球幕網(wǎng)格的彈簧倔強(qiáng)系數(shù)Kij.

根據(jù)頂點(diǎn)彈簧模型（式（7）），可以將彈簧倔強(qiáng)系數(shù)設(shè)置為常數(shù)，網(wǎng)格點(diǎn)以東后的新位置坐標(biāo)可以通過周圍點(diǎn)坐標(biāo)的雙線性插值計(jì)算得到.常用的彈簧倔強(qiáng)系數(shù)計(jì)算與網(wǎng)格節(jié)點(diǎn)之間的距離成倒數(shù)，對(duì)于球幕網(wǎng)格可以應(yīng)用二維頂點(diǎn)彈簧倔強(qiáng)系數(shù)計(jì)算公式：

式中：lij為節(jié)點(diǎn)i、j之間的距離.當(dāng)網(wǎng)格不斷壓縮變形時(shí)，倔強(qiáng)系數(shù)不斷增大，保證球幕網(wǎng)格節(jié)點(diǎn)之間保持一定的間距.在實(shí)際計(jì)算過程中會(huì)出現(xiàn)如圖6所示不可預(yù)知的“網(wǎng)格拆穿”（mesh snap-through），根據(jù)頂點(diǎn)彈簧模型在整體球幕網(wǎng)格的作用力，這種牽引作用距離邊界越遠(yuǎn)影響越小，最早發(fā)生網(wǎng)格變形失敗的網(wǎng)格單元一般位于網(wǎng)格邊緣附近.

圖5 球幕網(wǎng)格示例圖Fig.5 Dome mesh example

圖6 頂點(diǎn)彈簧模型的“網(wǎng)格拆穿”Fig.6 “Mesh snap-through”in vertex springs model

為了解決上述網(wǎng)格拆穿情況，對(duì)經(jīng)典頂點(diǎn)彈簧倔強(qiáng)系數(shù)計(jì)算方法進(jìn)行改進(jìn)，優(yōu)化的倔強(qiáng)系數(shù)計(jì)算方法綜合考慮網(wǎng)格的伸縮和扭轉(zhuǎn)作用，引入網(wǎng)格變形修正因子S1和S2.其中，S1是一個(gè)與網(wǎng)格邊界相關(guān)的空間位置函數(shù)，可以通過橢圓方程計(jì)算得到，由于球幕網(wǎng)格的特殊形狀，可以設(shè)置為一個(gè)常數(shù).S2是二維網(wǎng)格扭轉(zhuǎn)因子，可以由下式計(jì)算得到：

最終優(yōu)化的適用于球幕網(wǎng)格的頂點(diǎn)彈簧倔強(qiáng)系數(shù)計(jì)算公式如下：

隨著網(wǎng)格節(jié)點(diǎn)之間的距離和夾角變化，lij和S2不斷變化，倔強(qiáng)系數(shù)需要實(shí)時(shí)更新.

在實(shí)際計(jì)算中，彈簧網(wǎng)格中的實(shí)時(shí)受力狀況與初始受力相同，則第i個(gè)節(jié)點(diǎn)在網(wǎng)格彈簧系統(tǒng)中所受的合力僅需計(jì)算一次，在計(jì)算過程中保持不變.對(duì)于優(yōu)化的彈簧倔強(qiáng)系數(shù)需要按照一定的頻率刷新，可以迭代100步以上更新一次，基于以上算法實(shí)現(xiàn)的球幕網(wǎng)格計(jì)算步驟具體如下.

1）使用“投影機(jī)-相機(jī)”系統(tǒng)獲取球幕環(huán)境的采集圖像，應(yīng)用Sobel分割算法和圖像二值化算法提取球幕邊緣，得到球幕邊緣坐標(biāo)集合.

2）繪制原始球幕網(wǎng)格圖形作為初始網(wǎng)格，通過式（9）計(jì)算得到優(yōu)化后的初始倔強(qiáng)系數(shù)，最終構(gòu)造頂點(diǎn)彈簧模型.

3）結(jié)合步驟1）計(jì)算得到的球幕邊緣坐標(biāo)，使用頂點(diǎn)彈簧模型建立網(wǎng)格彈簧系統(tǒng)方程，得到網(wǎng)格內(nèi)所有節(jié)點(diǎn)的新坐標(biāo)集合.

4）通過“投影機(jī)-相機(jī)”系統(tǒng)進(jìn)行球幕網(wǎng)格校正圖像反饋，多步迭代計(jì)算節(jié)點(diǎn)坐標(biāo)并更新.

5）通過步驟3）建立的線性方程迭代收斂，并實(shí)時(shí)使用4）的實(shí)時(shí)在線閉環(huán)系統(tǒng)進(jìn)行校正結(jié)果反饋，最終校正球幕網(wǎng)格.

2.3 基于曲面細(xì)分算法和GPU 加速的球幕校正投影圖形渲染

由于在魚眼鏡頭的投影模式下，球幕幾何網(wǎng)格中任意一條邊上的2個(gè)頂點(diǎn)之間，其距離并非原始投影之前的直線關(guān)系，而是經(jīng)過魚眼透視的空間曲線；對(duì)于球幕投影中人眼觀察到的球幕表面區(qū)域，為了提高魚眼投影校正的精度，四邊形網(wǎng)格需要被進(jìn)一步細(xì)化.從OpenGL 4.0［13］標(biāo)準(zhǔn)以及DirectX 11.0［14］開始，基于硬件的參數(shù)表面曲面細(xì)分技術(shù)便被引入了新一代顯卡的可編程圖形流水線中.

本文的研究工作均使用OpenGL來實(shí)現(xiàn)，因此接下來的內(nèi)容均只介紹OpenGL中的實(shí)現(xiàn)方法.在加入了曲面細(xì)分的硬件支持之后，目前OpenGL 4.0以上標(biāo)準(zhǔn)中的GPU 的繪制流水線如圖7 所示.在該繪制流水線中，硬件曲面細(xì)分工作包含了圖中藍(lán)色的3個(gè)單元：細(xì)分控制著色器（TCS）、細(xì)分圖元產(chǎn)生器（TGP）和細(xì)分評(píng)估著色器（TES）.TCS根據(jù)細(xì)分參數(shù)對(duì)片元的屬性及內(nèi)部的頂點(diǎn)屬性進(jìn)行修改；TGP單元根據(jù)下一單元TES的輸入數(shù)據(jù)格式，將對(duì)TCS傳入的片元內(nèi)部的頂點(diǎn)進(jìn)行分割；TES 將TGP分割后每個(gè)頂點(diǎn)的局部坐標(biāo)變換成世界坐標(biāo)，并對(duì)頂點(diǎn)的相應(yīng)屬性進(jìn)行轉(zhuǎn)換.

在球幕投影系統(tǒng)中，為了減少更精細(xì)網(wǎng)格數(shù)據(jù)的存儲(chǔ)和CPU（中央處理器）／GPU 的總線開銷，利用顯卡中的獨(dú)立功能硬件進(jìn)行曲面細(xì)分.根據(jù)網(wǎng)格面片與人眼視線方向的夾角作為參數(shù)描述，在需要細(xì)分網(wǎng)格的區(qū)域生成密集的三角化面片：網(wǎng)格面片與人眼視線方向的夾角越小，人眼對(duì)于魚眼投影失真的容忍度越小，網(wǎng)格曲面需要細(xì)分的精度越大；網(wǎng)格與視線的夾角越大，人眼對(duì)于其繪制效果的敏感度越低，網(wǎng)格細(xì)分的精度越小.細(xì)分參數(shù)的計(jì)算如下：

式中：dm為單個(gè)網(wǎng)格的細(xì)分參數(shù)，Nm為網(wǎng)格面片的歸一化法向向量，dmax為細(xì)分參數(shù)的最大值，z 為人離球幕的距離，c為人眼所在的位置，ov為人眼視線與球幕交點(diǎn)的位置.

對(duì)于網(wǎng)格細(xì)分算法，為了更好地利用以上的曲面細(xì)分繪制流水線，減少網(wǎng)格數(shù)據(jù)的復(fù)雜度，并避免細(xì)分算法的迭代情況出現(xiàn)，選擇PN（Point-Normal）三角細(xì)分算法.PN 三角細(xì)分法是Vlachos等［15］提出的一種基于三角化網(wǎng)格的曲面細(xì)分方法，它通過一種特殊的貝塞爾曲面來替換原始的三角網(wǎng)格.對(duì)于任意的三角面片，輸入頂點(diǎn)Vi＝（Pi，Ni），其中Pi為頂點(diǎn)位置，Ni為頂點(diǎn)對(duì)應(yīng)的法線向量；新頂點(diǎn)的重心坐標(biāo)u、v、w∈R3，該細(xì)分法產(chǎn)生的細(xì)分曲面可以表示為

圖7 基于曲面細(xì)分算法的GPU 圖形繪制流水線Fig.7 Graphics pipeline for hardware tessellation

式中：u ＋v ＋w ＝1；bijk為PN 三角片的控制點(diǎn)，如圖8所示，計(jì)算公式如下：

圖8 PN 三角細(xì)分法Fig.8 Curved PN triangles

為了減少基于視點(diǎn)的曲面細(xì)分過程中，頻繁使用曲面細(xì)分帶來的額外計(jì)算負(fù)荷，本文利用了OpenGL 4.0新流水線下的另一新特性：Transform Feedback技術(shù)［16］.所謂Transform Feedback，即對(duì)當(dāng)前在GPU 流水線上的頂點(diǎn)數(shù)據(jù)，在經(jīng)過頂點(diǎn)處理和曲面細(xì)分等處理后，進(jìn)入到光柵化步驟之前，將之前流水線處理的結(jié)果數(shù)據(jù)，保存到緩存結(jié)構(gòu)中.在本文的球幕網(wǎng)格校正系統(tǒng)中，基于Transform Feedback使用了Two-Pass的繪制策略：當(dāng)用戶視點(diǎn)發(fā)生改變時(shí)，進(jìn)行一次曲面細(xì)分，并將細(xì)分結(jié)果保存在顯卡內(nèi)存中，并在下一次用戶視點(diǎn)變化之前，一直使用之前曲面細(xì)分的結(jié)果網(wǎng)格，進(jìn)行球幕圖像的繪制；當(dāng)用戶視點(diǎn)再次改變時(shí)，根據(jù)新的視線方向，對(duì)初始的稀疏網(wǎng)格進(jìn)行再一次的細(xì)分，從而減少重復(fù)的頂點(diǎn)數(shù)據(jù)處理和增加繪制性能.

3 算法實(shí)現(xiàn)和驗(yàn)證

為了評(píng)估基于優(yōu)化頂點(diǎn)彈簧模型的快速自適應(yīng)標(biāo)定算法效果，搭建了單臺(tái)投影機(jī)組成的小型球幕實(shí)驗(yàn)環(huán)境：幕布采用直徑為2m 的一體成型半球型無縫正投球幕；投影機(jī)使用物理分辨率為1 920×1 080的DLP投影機(jī)；魚眼鏡頭采用基于等距投影映射模式的Peleng 8mm f／3.5鏡頭；相機(jī)使用羅技QuickCam Pro 9000型號(hào)攝像頭；標(biāo)定計(jì)算的電腦顯卡使用Nvidia GTX 750，其支持CUDA（Compute Unified Device Architecture）技術(shù)和OpenGL 4.0標(biāo)準(zhǔn).如圖9所示為本文提出的基于優(yōu)化頂點(diǎn)彈簧模型的快速自適應(yīng)標(biāo)定算法實(shí)現(xiàn)和驗(yàn)證實(shí)驗(yàn).

圖9（b）展示了整個(gè)實(shí)驗(yàn)的硬件環(huán)境，其中，魚眼鏡頭與投影機(jī)鏡頭位于同一光軸線上，由于從魚眼鏡頭出射的光線能夠覆蓋180°的視場(chǎng)，整個(gè)投影球幕都位于覆蓋范圍之內(nèi).根據(jù)該標(biāo)定算法的計(jì)算步驟可知，整個(gè)標(biāo)定的過程如下.

1）使用相機(jī)獲取球幕環(huán)境的采集圖像，利用圖像分割算法得到球幕邊緣.

2）繪制原始球幕網(wǎng)格圖形作為初始網(wǎng)格，并構(gòu)造頂點(diǎn)彈簧模型，圖9（b）展示了初始網(wǎng)格的投影效果.

3）通過“投影機(jī)-相機(jī)”系統(tǒng)和球幕邊緣的位置信息，進(jìn)行球幕網(wǎng)格的彈簧模型迭代更新，圖9（c）展示了通過多次迭代計(jì)算的最終效果.

4）利用GPU 圖形硬件的曲面細(xì)分功能，根據(jù)網(wǎng)格面片與人眼視線的關(guān)系，進(jìn)行自適應(yīng)的網(wǎng)格細(xì)分，圖9（d）展示了經(jīng)過曲面細(xì)分后的網(wǎng)格結(jié)果.

將標(biāo)定結(jié)果應(yīng)用到球幕投影的圖像渲染，如圖9（e）、（f）分別為圖片播放和模擬飛行的效果圖.

為了驗(yàn)證本文提出的快速自適應(yīng)標(biāo)定算法的校正精度和效率，使用幾種現(xiàn)有的主流球幕投影系統(tǒng)校正方法［17-18］進(jìn)行實(shí)驗(yàn)比較，算法的比較結(jié)果如表1所示.

圖9 本文提出的標(biāo)定算法實(shí)現(xiàn)和驗(yàn)證實(shí)驗(yàn)Fig.9 Implementation and experimental validation of proposed calibration algorithm

表1 算法實(shí)驗(yàn)比較結(jié)果Tab.1 Comparison of results

與激光網(wǎng)格標(biāo)定方法和有理貝塞爾曲面標(biāo)定算法這2種現(xiàn)有主流的球幕標(biāo)定方法相比，使用本文提出的基于優(yōu)化頂點(diǎn)彈簧模型的球幕標(biāo)定算法可以從3個(gè)方面體現(xiàn)出明顯優(yōu)勢(shì).1）在投影模式上，由于多投影機(jī)拼接系統(tǒng)不僅需要多臺(tái)高流明的工業(yè)投影機(jī)，還需要額外圖形融合硬件進(jìn)行多通道融合工作；使用單投影機(jī)投影在工程造價(jià)上遠(yuǎn)小于多投影機(jī)拼接方法，可以大大降低球幕投影設(shè)備的硬件成本.2）在校正精度上，由于多投影機(jī)拼接本身的復(fù)雜性以及投影機(jī)光學(xué)投影硬件本身的關(guān)系，不同投影機(jī)很可能出現(xiàn)顏色空間和亮度空間不統(tǒng)一的現(xiàn)象，相鄰?fù)队皺C(jī)投影區(qū)域之間的裂縫和顏色跳變，很容易造成視覺感知的敏感；本文提出的單投影機(jī)標(biāo)定算法不僅可以達(dá)到低于0.5像素的校正精度，小于等于原有多投影機(jī)標(biāo)定算法中的最高校正精度，并且由于單投影機(jī)的色彩分布更加均勻，能夠給用戶提供更好的視覺體驗(yàn).3）在校正效率上，多投影機(jī)拼接系統(tǒng)需要水平儀或其他輔助設(shè)備進(jìn)行精密測(cè)量，同時(shí)需要投入具有深厚工程經(jīng)驗(yàn)的技術(shù)人員進(jìn)行操作校正軟件，不僅降低了系統(tǒng)的易用性，而且加大了整個(gè)校正過程的時(shí)間；本文提出的基于優(yōu)化頂點(diǎn)彈簧模型的算法，整體標(biāo)定時(shí)間小于3min，低于原有方法中至少5min的校正時(shí)間需求.

4 結(jié) 語

本文針對(duì)半沉浸式投影環(huán)境的標(biāo)定計(jì)算提出一種基于優(yōu)化頂點(diǎn)彈簧模型的自適應(yīng)快速校正算法.該算法基于球幕投影過程中由于鏡頭光線傳輸和曲面投影表面引起的扭曲現(xiàn)象，借助“投影機(jī)-相機(jī)”構(gòu)成的光學(xué)反饋系統(tǒng)，通過對(duì)彈簧模型的不斷迭代和更新工作，能夠快速、方便地完成整個(gè)球幕的粗粒度校正操作；然后對(duì)人眼視線對(duì)應(yīng)的需要高精度網(wǎng)格的敏感區(qū)域，通過基于圖形硬件加速的曲面細(xì)分技術(shù)，結(jié)合PN 三角面片細(xì)分方法，使用更加精細(xì)的貝塞爾曲面來對(duì)投影曲面進(jìn)行細(xì)分模擬.

算法驗(yàn)證和比較實(shí)驗(yàn)結(jié)果表明，使用本文提出的基于優(yōu)化頂點(diǎn)彈簧模型的自適應(yīng)快速標(biāo)定方法可以顯著地加速球幕投影系統(tǒng)的整體校正效率，同時(shí)大幅提升投影圖像的校正精度，并且在降低球幕投影系統(tǒng)硬件成本的同時(shí)得到了符合視覺檢驗(yàn)的投影圖像校正效果.下一階段的工作將集中在全沉浸式球幕標(biāo)定方法以及基于球幕投影系統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)的研究2個(gè)方面，希望在未來的工作中逐步完善球幕投影系統(tǒng)的應(yīng)用，為沉浸式虛擬現(xiàn)實(shí)環(huán)境提供一種新型的可視化技術(shù).

（

）：

［1］DEFANTI T A，SANDIN D J，CRUZ-NEIRA C.A“room”with a “view”［J］.IEEE Spectrum，1993，30（10）：30-33.

［2］CRUZ-NEIRA C，SANDIN D J，DEFANTI T A，et al.The CAVE audio visual experience automatic virtual environment［J］.Communnications of the ACM，1992，35（6）：64-72.

［3］HARVILLE M，CULBERTSON B，SOBEL I，et al.Practical methods for geometric and photometric correction of tiled projector displays on curved surfaces［C］∥Proceedings of CVPRW.New York：IEEE，2006：52-59.

［4］BROWN M，MAJUMDER A，YANG R.Camera-based calibration techniques for seamless multi-projector displays［J］.IEEE Transactions on Visualization and Computer Graphics，2005，11（2）：193-206.

［5］SUKTHANKAR R，STOCKTON R G，MULLIN M D.Smarter presentations：exploiting homography in camera-projector systems［C］∥Proceddings of the 8th International Conference on Computer Vision （ICCV-01）.Vancouver：IEEE，2001：247-253.

［6］OKATANI T，DEGUCHI K.Autocalibration of a projector-camera system［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（12）：1845-1855.

［7］RASKAR R，BAAR J，RAO S，et al.Multi-projector imagery on curved surfaces［R］.Cambridge：Mitsubishi Electric Research Labs，2004.

［8］BAAR J，RASKAR R.Flexible calibration of multiple projectors for low-cost curved screen displays ［C］∥Proceddings of 14th International Conference on Artificial Reality Telexistence.Seoul：［s.n.］，2004：263-268.

［9］RASKAR R，BAAR J，WILLARCHER T，et al.Quadric transfer for immersive curved screen displays［J］.Computer Graphics Forum，2004，23（3）：451-460.

［10］SAJADI B，MAJUMDER A.Automatic registration of multiple projectors on swept surfaces［C］∥Proceddings of 17th ACM Symposium on Virtual Reality Software and Technology. Hong Kong：ACM，2010：159-166.

［11］SAJADI B，MAJUMDER A.Auto-calibration of multi-projector CAVE-like immersive environments［J］.IEEE Transaction on Visualization and Computer Graphics，2012，18（3）：381-393.

［12］SAJADI B，MAJUMDER A.Automatic registration of multi-projector domes using a single uncalibrated camera［J］.Compututer Graphics Forum，2011，30（3）：1161-1170.

［13］SEGAL M，AKELEY K.OpenGL 4.0specification［M］.［S.l.］：Khronos Group Inc，2010.

［14］SHERROD A，JONES W.Beginning DirectX 11game programming［M］.Boston：Cengage Learning，2011.

［15］VLACHOS A，PETERS J，BOYD C，et al.Curved PN triangles［C］∥Proceedings of the 2001Symposium on Interactive 3D Graphics.New York：ACM，2001：159-166.

［16］ROST R，LICEA-KANE B.OpenGL shading language［M］.3rd ed.Boston：Wesley，2010.

［17］李賽.面向大型遺址的球幕展示系統(tǒng)研究與實(shí)現(xiàn)［D］.杭州：浙江大學(xué)，2012.LI Sai.Dome display systems research and implementation for large sites［D］.Hangzhou：Zhejiang University，2012.

［18］梁思毓.面向球幕的編輯式多投影校正技術(shù)與系統(tǒng)［D］.上海：復(fù)旦大學(xué)，2012.LIANG Si-yu.Multiple projection calibration technology based on interactive editing for dome systems［D］.Shanghai：Fudan University，2012.