虛擬引擎制作在傳統(tǒng)演播室的研究和實踐

劉 美

（浙江廣播電視集團(tuán)，浙江 杭州 310000）

0 引 言

浙江廣播電視集團(tuán)廣播電視制作中心的400 m2演播廳完成了一場使用國際上較為先進(jìn)的Zero Density Reality 虛擬引擎實時渲染技術(shù)和增強現(xiàn)實（Augmented Reality，AR）技術(shù)的電視節(jié)目制作。相比于傳統(tǒng)的切換臺摳像，虛擬引擎制作能夠呈現(xiàn)更宏大的視角，給視頻制作人員更大的自由度，對于演播室的應(yīng)用也更具有靈活性。為此，本文就虛擬引擎制作的特點和原理展開論述。

1 虛擬引擎制作的優(yōu)點

虛擬演播室技術(shù)能夠完成節(jié)目場景的變換，并且不會受到次數(shù)的限制，從而實現(xiàn)節(jié)目播出時環(huán)境變換的無縫銜接。與以往制作節(jié)目的演播室相比，虛擬演播室技術(shù)無需使用特定的道具或者節(jié)目場景，演播室可以隨著節(jié)目內(nèi)容的變化改變環(huán)境。一方面，這可以為節(jié)目設(shè)計者在前期的設(shè)計環(huán)節(jié)創(chuàng)造更多的可能性；另一方面，還可以有效減少成本的投入。

相比于傳統(tǒng)的切換臺摳像方式，虛擬引擎制作具有以下優(yōu)點。第一，打破空間環(huán)境的限制，只需要不太大的空間就能創(chuàng)造出幾倍于場地面積的視覺效果，如圖1 所示。第二，縮短舞美置景的周期，場景素材由專門的制作人員在計算機內(nèi)完成，現(xiàn)場只需要綠幕空間。第三，虛擬引擎自帶的高質(zhì)感畫面渲染能力為創(chuàng)作者提供了更絢麗、更現(xiàn)代的舞臺藝術(shù)選擇。第四，配合AR 技術(shù)，可大大增強節(jié)目的交互感、體驗性。

圖1 本次虛擬制作的效果對比

2 虛擬引擎制作的基本原理

跟蹤技術(shù)及方式是虛擬制作不可或缺的重要組成部分，也是實現(xiàn)整個虛擬場景的基礎(chǔ)。該技術(shù)在現(xiàn)實空間內(nèi)為虛擬場景提供準(zhǔn)確的物理位置，為虛擬物體提供準(zhǔn)確的畸變模式以及變換方式，從而實現(xiàn)虛擬場景與現(xiàn)實環(huán)境的無縫結(jié)合。攝像機將拍攝物體的跟蹤數(shù)據(jù)實時傳送給渲染引擎，通過計算得出拍攝物體與虛擬物體之間的距離和相對位置關(guān)系，使得拍攝實景與渲染生成的虛擬場景結(jié)合，最后合成為符合同一空間透視關(guān)系的畫面[1]。

攝像機跟蹤系統(tǒng)中，需要獲取的攝像機運動參數(shù)包括變焦、聚焦、光圈、搖移、俯仰以及空間位置參數(shù)（X，Y，Z）。根據(jù)實現(xiàn)原理，可將跟蹤方式分為基于硬件和基于計算機視覺的方式。前者常用的是機械跟蹤（傳感器跟蹤），后者常用的是網(wǎng)格識別方式。還可以將兩者結(jié)合，實現(xiàn)更精準(zhǔn)的跟蹤[2]。

本次制作使用的是Zero Density 公司的Reality Engine 產(chǎn)品。這是一款基于虛擬引擎打造的虛擬工作室和增強現(xiàn)實解決方案。Zero Density 的技術(shù)創(chuàng)新核心是其領(lǐng)先的基于節(jié)點的實時合成工具，以及其專有的鍵控技術(shù)——Reality Keyer，其所有計算都在GPU 上執(zhí)行。與一般引擎不同的是，Reality是一種物理的引擎，其動畫效果通過編程而不是制作人員通過手動關(guān)鍵幀實現(xiàn)[3]。Zero Density 的所有代碼都能在虛擬引擎中運行，并且能夠利用著色器編譯器、C++語言以及虛擬引擎的跨平臺功能。

在鍵控方面，Reality Keyer 使用一塊空白板，將其與系統(tǒng)的追蹤功能相結(jié)合。其生成的網(wǎng)格體可以用來表示攝影棚中的任意環(huán)形綠幕。三維圖像是由程序生成的，支持更為干凈的鍵控操作以及動態(tài)垃圾遮罩，即便是在掃描平移和傾斜時，也能生成干凈而真實的鍵控最終圖像。該系統(tǒng)通過在空白板上進(jìn)行投影映射，協(xié)助鍵控操作，因此比普通的色度鍵控器更為先進(jìn)，如圖2 所示。

圖2 Zero Density 摳像效果展示

傳統(tǒng)上，圖形化軟件包只提供填充信號和鍵信號，并假設(shè)圖像切換器中存在基本合成畫面。Zero Density 提供了一種更為強大的系統(tǒng)，能夠識別伽馬信號，并且理解線性工作流和查找表。它能將通常為離線方案保留的控制功能添加到實時環(huán)境中。

Zero Density 可以從大多數(shù)主要解決方案中提取跟蹤數(shù)據(jù)。此外，它還可以提取程序提供的鏡頭數(shù)據(jù)。如果沒有鏡頭數(shù)據(jù)可用，軟件會從最后一次校準(zhǔn)的變焦和聚焦數(shù)據(jù)入手，估算出鏡頭曲率和其他屬性如視野等。

綠幕中拍攝的前景畫面直接進(jìn)入虛擬引擎，與提前制作好的虛擬素材一起直接進(jìn)入最終剪輯階段，無需傳統(tǒng)的離線渲染，也無需后期制作的視覺效果。軟件不僅可以輸出最終合成畫面，還可以輸出各種關(guān)鍵圖層，以便在后期階段完整地調(diào)整并重新剪輯，最終合成畫面。這次實踐也使用了AR技術(shù)。在電視內(nèi)容創(chuàng)作的語境下，AR 指的是在攝像機畫面上疊加一層虛擬空間，其中的虛擬物體多以元素的形態(tài)出現(xiàn)[4]。當(dāng)AR 與虛擬演播技術(shù)結(jié)合，便形成了混合現(xiàn)實（Mixed Reality，MR），實景不再固定于做后景，而虛景也不再固定于做前景。

3 本次虛擬引擎制作的視頻系統(tǒng)設(shè)計

本次制作共有5 個攝制機位，CAM 1、CAM 3、CAM 5 為固定機位，CAM 2 為ROSS 機器人，CAM 4為搖臂。其中，CAM 1、CAM 2、CAM 3、CAM 4連接虛擬引擎，即由攝像機機頭輸出本機拍攝的綠幕畫面信號送至虛擬引擎。經(jīng)過虛擬引擎渲染后的信號（EXT 1、EXT 2、EXT 3、EXT 4）經(jīng)過HD2012幀同步器進(jìn)入系統(tǒng)，分別送往切換臺和矩陣。切換臺負(fù)責(zé)完成PGM 和PVW 信號的選切，矩陣負(fù)責(zé)完成錄制等各個節(jié)點的信號調(diào)度。4 臺虛擬引擎每一臺都接入系統(tǒng)統(tǒng)一的BB 同步信號，虛擬引擎信號流程如圖3 所示。

圖3 虛擬引擎信號流程

每一臺攝像機共有三路監(jiān)看信號，一路是本機綠幕畫面信號，一路是PGM 信號，一路是經(jīng)過虛擬引擎渲染的本機合成后信號。其中，經(jīng)過虛擬引擎渲染的合成信號單獨使用一臺監(jiān)視器。這樣的設(shè)置有利于攝像人員進(jìn)行渲染前后畫面的比對，更加方便構(gòu)圖和藝術(shù)化創(chuàng)作。

由于這種制作方式還比較新穎，現(xiàn)場除了PGM返看外，還特地為主持人和嘉賓在每一個機位前方都設(shè)置了一個單機位返看電視機，這臺電視機接入的信號是經(jīng)過虛擬引擎渲染的本機位信號，如圖4 所示。

圖4 現(xiàn)場單機位返看

錄制方面，主要錄制手段為7 臺藍(lán)光機。其中1臺采集PGM 主路信號，1 臺采集PGM 備路信號，4臺采集經(jīng)過虛擬引擎渲染后的單機位合成信號，1 臺采集沒有經(jīng)過虛擬引擎渲染的綠幕信號。備份錄制手段為兩臺EVS，分別采集主路、備路的PGM 信號。

現(xiàn)場主持人和嘉賓錄制完成后，還有一些AR畫面需要制作。此時先用藍(lán)光機上載素材到EVS，再在EVS 里進(jìn)行片段的編輯、播表的制作，最后將EVS 輸出信號接入虛擬引擎，完成畫面合成。

本次實踐中，還對系統(tǒng)的TALLY 指示做了一定更改。在常規(guī)制作中，導(dǎo)播在切換臺PGM 和PVW 母線選切CAM 信號時，相應(yīng)的攝像機機頭指示燈會顯示紅色或綠色。切換臺的交叉點信息（包括PGM、PVW）經(jīng)過一個GPI/O 控制設(shè)備傳送給攝像機控制單元（CCU）。在本次制作中，導(dǎo)播實際選切信號為經(jīng)過虛擬引擎渲染的信號，即EXT 1、EXT 2、EXT 3、EXT 4，但為了給主持人和現(xiàn)場嘉賓指示，需要相應(yīng)的機頭CAM 1、CAM 2、CAM 3、CAM 4 亮燈。所以在GPI 設(shè)置中，應(yīng)該將EXT 1、EXT 2、EXT 3、EXT 4 的信號與CCU 1、CCU 2、CCU 3、CCU 4 做一一綁定。

經(jīng)過虛擬引擎制作后，產(chǎn)生了比較明顯的聲畫不同步現(xiàn)象。由于攝像機信號經(jīng)過虛擬引擎處理，產(chǎn)生了比較大的延時，所以出現(xiàn)了視頻滯后音頻的問題。要解決這一問題，只需將聲音做一定的延時處理。調(diào)音臺將現(xiàn)場主持人及嘉賓聲音做456 ms的延時處理后，經(jīng)測定，聲畫不同步現(xiàn)象消除。

另外一個值得注意的問題是，為了保證虛擬引擎的摳像效果，對綠幕空間也有一定要求。摳像相體要能提供足夠大小的純色背景，最大限度地不產(chǎn)生色光反射，從而使攝像機采集的前景信號能夠輕松地從純色背景中剝離出來[5]。

4 結(jié) 語

虛擬引擎制作已成為一種趨勢，它有著得天獨厚的優(yōu)點，對于傳統(tǒng)演播室的再利用也有很大價值。虛擬引擎制作給觀眾帶來了視覺奇觀，也讓電視從業(yè)者對審美有了重新的思考與升級。相信在未來會有更多的節(jié)目應(yīng)用這一技術(shù)，而伴隨而來的必將是更加優(yōu)質(zhì)的廣播電視作品。