沉浸式球幕影院中沉浸聲系統(tǒng)的應用

歐陽玥

(中廣電廣播電影電視設計研究院，北京 100045)

1 概述

2020年8月，國家廣播電視總局提出了 “高新視頻”的概念，旨在推動5G 環(huán)境下 “更高技術格式、更新應用場景、更美視聽體驗”的新業(yè)態(tài)，沉浸式視頻是高新視頻的重要組成部分。在《5G 高新視頻—沉浸式視頻技術白皮書 (2020)》中提到，球幕、環(huán)幕、沉浸式CAVE是沉浸式視頻最主要的呈現(xiàn)形態(tài)，而其中球幕是最符合人眼曲面透視規(guī)律的一種呈現(xiàn)形式。沉浸式球幕影院本是特種影院的一種，多見于天文館、科技館等科普場館。近年來，將球幕和動感座椅、飛行平臺結(jié)合的飛行影院越來越受到觀眾的歡迎，它以強烈的視覺沉浸感、聲音包圍感給觀眾留下了深刻的印象，懸空的推出式座椅和震動、墜落、吹風、噴水、撓癢等多種特效，配合影片動作情節(jié)可以產(chǎn)生豐富多樣的體感，為觀眾帶來前所未有的沉浸式觀影體驗。

沉浸式球幕影院坐落在一個鋼結(jié)構(gòu)球體內(nèi)，觀眾置身其中，被半球形銀幕或切掉部分的碗形幕所包圍。根據(jù)觀看方式的不同，球幕又可以分為穹頂式、傾斜式和垂直式:穹頂式球幕，觀眾一般仰躺著觀看，如天文館星象廳里的球幕；傾斜式球幕，觀眾一般坐在階梯座椅上觀看，如IMAX 球幕影院；垂直式球幕，觀眾一般坐在懸掛座椅上或站立在觀景平臺上觀看，如飛行影院。

沉浸式球幕影院的視頻系統(tǒng)通過一臺或多臺投影機，在球形銀幕上投影出完整連續(xù)的畫面，表現(xiàn)出高分辨率、廣視角范圍的顯示效果，帶來強烈的沉浸感與真實感。目前新建的球幕影院，畫面分辨率達到8K，對于180°水平視場角的球幕而言，7200的水平分辨率對應的最小像素夾角為1.5弧分，符合國際天文館協(xié)會(IPS)對球幕“精確辨別”的建議。此外，由于曲面透視的原理，球幕本身可以較好地實現(xiàn)裸眼立體的效果，還有的球幕影院加入了3D 立體效果，如夢幻長城球幕影院和 “720穿越飛船”項目。因此從視場角、分辨率、立體效果等幾個方面來看，沉浸式球幕影院的視覺沉浸感已經(jīng)實現(xiàn)得比較成熟，那聽覺的沉浸感如何實現(xiàn)呢?本文旨在探討在沉浸式球幕影院中實現(xiàn)聲音沉浸感的必要性和方法。

2 沉浸聲系統(tǒng)的概念

盡管從立體聲發(fā)展到了5.1/7.1聲道，實現(xiàn)了音響空間上的巨大進步，但傳統(tǒng)的聲音系統(tǒng)距離真實的聲場仍然有不小的距離。因為傳統(tǒng)的立體聲和5.1/7.1環(huán)繞聲，只能重放水平方向來的聲音信息，例如5.1是通過在人耳高度上的5只揚聲器實現(xiàn)水平方向上360°包圍的效果，但是不能實現(xiàn)垂直方向上的覆蓋。而真實世界的聲音來自四面八方，人耳可以通過聲波的時間差、強度差、相位差、頻率差等辨別聲音的方位。為了再現(xiàn)一個更接近真實世界聽覺感受的聲學環(huán)境，或者創(chuàng)造一種僅在虛擬空間出現(xiàn)的、經(jīng)過增強的現(xiàn)實世界體驗，可以通過聲音的捕捉、合成和渲染得到沉浸式聲場，再通過沉浸式聲音重放系統(tǒng)進行再現(xiàn)。

關于沉浸聲的概念，目前有很多相關名詞，如電影領域里說的全景聲(特指杜比全景聲)、多維聲(特指中國多維聲)，廣播電視領域里說的三維聲、3D Audio以及VR 和游戲領域里說的空間音頻，這些名詞都是指的沉浸聲系統(tǒng)。沉浸聲的技術主要有三大類:基于聲道的音頻 (Channel-based Audio，CBA)、基于對象的音頻 (Object-based Audio，OBA)和基于場景的音頻 (Scene-based Audio，SBA)。基于聲道的技術制式主要有THX 10.2 (2＋8＋0的揚聲器布局，即2只上層揚聲器、8只中層揚聲器、0 只下層揚聲器)、Auro 3D (5＋5＋1的揚聲器布局)和NHK 22.2 (9＋10＋3的揚聲器布局)三類。基于對象的技術是目前主流的沉浸聲技術，如電影領域的杜比全景聲、DTS∶X、Auro-MAX、HoloSound (國產(chǎn))、Wanos全景聲 (國產(chǎn))等，以及在廣播電視領域的MPEG-H、AVS2-P3(國產(chǎn))等?；趫鼍暗募夹g則主要用于游戲和VR領域，其核心的底層算法是Ambisonics。用于劇場劇院和演出行業(yè)的沉浸聲系統(tǒng)，有的也使用高階Ambisonics(簡稱HOA)技術作為底層技術，如L-ISA、Spat Revolution、音王 (國產(chǎn))；還有的使用波場合成WFS技術，如IOSONO、HOLOPHONIX、Astro Spatial Audio等。

3 球幕影院聲音系統(tǒng)現(xiàn)狀

經(jīng)調(diào)研發(fā)現(xiàn)，現(xiàn)有的沉浸式影院大多還是傳統(tǒng)的5.1 聲道環(huán)繞聲系統(tǒng)，并沒有使用沉浸聲系統(tǒng)。最近幾年新建或改建的沉浸式影院，有一些運用了沉浸聲系統(tǒng)，但是聲道的數(shù)量和揚聲器布局并沒有統(tǒng)一的標準，筆者對目前國內(nèi)的沉浸式球幕影院做了調(diào)研和統(tǒng)計，列出了使用沉浸聲系統(tǒng)的球幕影院(含飛行影院)項目情況，詳見表1。

表1 沉浸式球幕影院 (含飛行影院)應用沉浸聲系統(tǒng)的情況列表

此處，筆者想澄清幾個容易被混淆的概念:節(jié)目的聲道數(shù)、還音系統(tǒng)的聲道數(shù)和音箱數(shù)量是三個不同的概念。往往宣傳中說該項目擁有20聲道的聲音系統(tǒng)，最后核實下來其實就是一個5.1系統(tǒng)，之所以會相差懸殊，除了吸引眼球而故意宣傳的情況外，對上述三個概念不清晰是影院建設方或者運營方常有的問題。節(jié)目的聲道數(shù)是指節(jié)目制作和母版輸出的聲音信號數(shù)量；還音系統(tǒng)的聲道數(shù)是指系統(tǒng)能單獨接收信號的通道數(shù)量；而音箱數(shù)量是指使用揚聲器的數(shù)量。這三個數(shù)字往往是一個比一個大，還音系統(tǒng)的聲道數(shù)可能大于節(jié)目的聲道數(shù)，而音箱數(shù)量往往又大于系統(tǒng)聲道數(shù)。例如，某球幕影院的還音系統(tǒng)支持8個聲道的輸出，卻總共用了19只揚聲器，分別是銀幕揚聲器3只(對應3個聲道)、超低揚聲器4只(對應1個聲道)、環(huán)繞揚聲器12只(對應4個聲道)，這么看該影院是可以支持7.1聲道節(jié)目還音的(8個聲道)，但是實際上，該影院只有5.1聲道的節(jié)目源，因此只能說該影院的聲音系統(tǒng)是5.1聲道。

表1中有一些球幕影院，如北京天文館、內(nèi)蒙古科技館使用了基于通道的技術，比如7.1 聲道，是在傳統(tǒng)5.1聲道的基礎上增加2個頂部聲道構(gòu)成的沉浸聲系統(tǒng)?；诼暤赖姆绞皆诹Ⅲw聲以及環(huán)繞聲的音頻制作中被廣泛使用，但是它對揚聲器布局絕對依賴，聽眾只有在很小的區(qū)域內(nèi) (即通常所說的“皇帝位”)才能聽到最佳的聲音效果，而且要求制作與重放的揚聲器布局及聲學環(huán)境一致，因此靈活性不高。從表1中統(tǒng)計的結(jié)果來看，絕大多數(shù)沉浸式影院的沉浸聲系統(tǒng)使用了基于對象的音頻技術，如夢幻長城球幕影院、融創(chuàng)飛行影院系列、首望“720穿越飛船”項目等?；趯ο蟮囊纛l技術的核心組成部分是元數(shù)據(jù)，它記錄聲音的位置、擴展度、運動特性，把這些元數(shù)據(jù)存儲并傳輸?shù)浇K端，渲染后再進行重放。和基于聲道的實現(xiàn)方式不同，基于對象的音頻技術不受還音條件 (諸如音箱數(shù)量和布局)的限制，渲染器可以讀取音頻對象的元數(shù)據(jù)信息，使得同一母版能夠適配各種空間的各類還音系統(tǒng)，但前提是制作端和重放端使用相同格式(至少是兼容)的渲染器或渲染模塊。

4 沉浸式球幕影院的沉浸聲系統(tǒng)設計

如何在沉浸式的球幕影院中實現(xiàn)沉浸式的聽覺效果呢? 首先要從沉浸聲系統(tǒng)設計開始。

對于沉浸式球幕影院而言，除了沉浸聲系統(tǒng)的設計之外，還有聲學設計、視頻系統(tǒng)設計和建筑設計等環(huán)節(jié)。這些設計環(huán)環(huán)相扣，相互影響。要想獲得極致的沉浸式視聽體驗，沉浸聲系統(tǒng)設計需要建立在良好的建筑聲學環(huán)境和視覺環(huán)境基礎上，還要精心設計揚聲器的布局，對揚聲器進行嚴格選型，同時還要考慮銀幕的位置、畫面中心區(qū)域、觀眾區(qū)位置、俯仰角、視線、最佳視點等因素之間的關系，設計難度較大，且缺少相關的標準和實施指南。根據(jù)以往參與實施的多個大型沉浸式影院項目的設計和建設經(jīng)驗，在此分享一些沉浸式球幕影院中沉浸聲系統(tǒng)設計的主要內(nèi)容。

4.1 聲音制式及聲道數(shù)量

沉浸聲系統(tǒng)設計首先要確定沉浸聲制式和聲道數(shù)量。沉浸聲制式可以根據(jù)項目規(guī)模、建筑情況、投資情況等來確定。推薦使用基于對象的沉浸聲技術，杜比全景聲、DTS∶X、Auro Max、Holo-Sound、Wanos這些沉浸聲制式都在標準電影院中成功商用了，其中最成功的是杜比全景聲。不過杜比全景聲多用于標準影院(方形房間)，較少用于球幕影院，其制定的設計流程和施工標準都是針對標準影院。雖然家庭版全景聲考慮了圓形布局，但是并不適用于球幕影院這樣的大空間。DTS∶X、Auro Max和HoloSound制式支持球形空間的揚聲器布局和聲場渲染，但是從調(diào)研結(jié)果來看，應用的案例都不多。目前關于球幕影院的沉浸聲方面還沒有相關的標準出臺，球幕影院的節(jié)目也基本上以本地播放為主，未來若想要接入超高清電視節(jié)目、全景VR 直播的沉浸式影院，在選擇的時候就要考慮沉浸聲系統(tǒng)是否支持信號傳輸?shù)囊螅詈眠x擇具有編解碼方案的沉浸聲系統(tǒng)。

對于聲道數(shù)量，國際巨幕協(xié)會出臺的數(shù)字沉浸式大銀幕規(guī)范DIGSS V2.0對球幕影院聲道的建議為5、6、7或12，而對于更高需求的沉浸聲系統(tǒng)見表2最右一列全景式，至少需要配置12個聲道。根據(jù)《5G 高新視頻-沉浸式視頻技術白皮書2020》中的規(guī)定，沉浸聲系統(tǒng)推薦不低于為5.1.4 聲道，即10個聲道的多聲道還音能力，推薦使用更多聲道及帶有對象和場景信息的各類三維聲還音系統(tǒng)配置。對于要求較高的項目，想要實現(xiàn)極致的沉浸聲效果，根據(jù)實際經(jīng)驗，一般16個聲道方案是能滿足多數(shù)項目需求的。尺寸較大的特效影院，32個聲道已足夠。

表2 DIGSS V2.0中對平面影院和球幕影院音頻指標的規(guī)定

4.2 揚聲器布局

確定了沉浸聲制式和聲道數(shù)量后，需要根據(jù)建筑本身的情況確定揚聲器具體的布局。對于沉浸式球幕影院，揚聲器的布局需要根據(jù)球幕的傾角、觀眾位置和主畫面的位置來確定。

圖2 德國漢堡天文館現(xiàn)場照片，采用60.4聲道沉浸聲系統(tǒng)[6]

在穹頂式的球幕中，觀眾一般仰躺著觀看節(jié)目，揚聲器可以按照3～4個高度不同的圓環(huán)來設置。最低一層的圓環(huán)位于最接近觀眾的水平面上，間隔一定高度再設置一層圓環(huán)，以此類推。穹頂?shù)淖钌戏綐O點處一般會設置一個專門的聲道，叫做上帝聲道。揚聲器均勻分布在各層圓環(huán)上，一般最下面一層環(huán)繞聲道的數(shù)量最多，上層環(huán)繞聲道的數(shù)量較少。

表3 德國漢堡天文館60.4聲道沉浸聲系統(tǒng)的揚聲器布局[6]

傾斜的球幕影院，例如IMAX 球幕影院，觀眾一般是坐在階梯座椅上觀看節(jié)目，揚聲器一般分主聲道和環(huán)繞聲道。主聲道一般應包含至少5個前方聲道(左、左中、中、右中、右)，高度位于最佳視點的附近，一般是主畫面的2/3垂直高度，環(huán)繞聲道一般分布在中層 (觀眾同高)和上層 (也稱為頂部)。

圖3 夢幻長城球幕影院的揚聲器布局 (東方佳聯(lián)提供)

立式的球幕影院，例如飛行影院和碗幕等 (圖4)，觀眾一般是坐在動感座椅上或者是站立著朝正前方觀看，揚聲器可以按照4～6個高度不同的半圓環(huán)來設置，均勻覆蓋畫面所在的整個半球體，觀眾所在區(qū)域的側(cè)面和后部，也應配置1～2圈揚聲器作為環(huán)繞聲道的呈現(xiàn)，球體的底部和頂部 (如有)應設置相應的揚聲器。

圖4 某飛行影院的揚聲器布局 (萬達提供)

4.3 沉浸聲制作系統(tǒng)

沉浸聲系統(tǒng)要想展示出較好的沉浸感，還得有精心制作的沉浸聲節(jié)目?；诼暤赖某两暪?jié)目當然就是多聲道的音頻文件；基于對象的沉浸聲節(jié)目除了有多聲道文件 (稱之為聲床)之外，還有多個音頻對象的素材元數(shù)據(jù)文件；而基于場景的沉浸聲節(jié)目就是一個打包好的聲場。那么用什么工具來制作沉浸聲呢? 沉浸聲制作系統(tǒng)一般包括音頻工作站(含軟件及插件)、視頻工作站、音頻接口、調(diào)音臺、沉浸聲渲染設備、預混監(jiān)聽 (制作棚)、終混監(jiān)聽(影院本地)等設備。

沉浸聲節(jié)目的制作可以使用Pro Tools、Pyramix、Logic、Nuendo、Reaper等常用的音頻工作站，再配合支持沉浸式聲音制式的渲染引擎和制作插件，如杜比全景聲、HoloSound、Wanos等制式都有沉浸聲制作的渲染引擎和制作插件。需要注意的是，有些沉浸聲引擎或插件并不能適配所有的工作站，例如IOSONO 的格式只能使用Nuendo來進行聲音制作，而不支持Pro Tools工作站。此外，音頻工作站還需要原生支持沉浸式的Panner，或者支持安裝3D Panner插件，用于控制聲音在三維空間中的運動軌跡。

對于小型沉浸聲制作系統(tǒng)而言，一般由音頻接口與音頻工作站配套使用，連接音頻渲染器、音頻處理器等設備，滿足相應的輸出通道給監(jiān)聽系統(tǒng)。音頻接口可選模擬或數(shù)字音頻接口，目前較多采用MADI協(xié)議的數(shù)字音頻接口，每個MADI接口可以同時傳輸64通道高質(zhì)量的音頻信號。

大型的影片制作系統(tǒng)需要多臺音頻工作站 (放機、錄機)和視頻工作站聯(lián)動協(xié)同工作，系統(tǒng)的連接方式可借鑒電影混錄棚的系統(tǒng)設計。同時，還需要配備大型的調(diào)音臺，供混音師精細調(diào)整聲音的均衡、音量、延時、混響等參數(shù)。因為需要同時控制多軌聲音的各個參數(shù)，所以聲音制作的調(diào)音臺至少要有32個推子，大型影片則要配備帶有64個或更多推子的調(diào)音臺。

沉浸聲渲染引擎是沉浸聲系統(tǒng)的核心設備，它將聲音對象在三維空間中的元數(shù)據(jù)進行編輯和記錄，并將所有的分軌聲音合成為一個聲音母版文件，在還音時再由解碼器將聲音渲染還原。一般每個沉浸聲制式會有自己專用的渲染引擎，有的基于Windows操作系統(tǒng)，有的基于mac OS，還有的基于Linux。渲染引擎最核心的模塊是算法，功能強大的引擎可以支持多種算法，如聲像定位的算法VBAP(基于矢量的振幅定位)、DBAP (基于距離的振幅定位)，如渲染的算法HOA (高階Ambisonics)、Binaural(雙耳化)以及去相關的算法等。強大的算法是最終呈現(xiàn)聲音效果的關鍵，也是渲染引擎軟件能力的體現(xiàn)，同時穩(wěn)定性、運算速度和精度、接口的多樣性是渲染引擎硬件能力的體現(xiàn)。

預混監(jiān)聽 (制作棚)一般為小型混音環(huán)境，對聲音進行編輯制作和預混合。預混監(jiān)聽環(huán)境可以按照ITU-R BS.2051-1以及GY/T 316-2018中的要求來設置，例如5.1.4聲道對應10個聲道。沉浸聲的監(jiān)聽也可以使用雙耳化技術來實現(xiàn)，通過虛擬三維耳機仿真模擬人耳在沉浸聲影院里的聽覺感受，但是目前其聲場還原的準確度和真實感還有待提高。

終混監(jiān)聽(影院本地)應該在目標影院的環(huán)境中來完成，一般由影院還音系統(tǒng)來播放音頻工作站中的分軌文件，在這個環(huán)境中對影片的音樂、音效、語言進行最終精細調(diào)整。

4.4 音頻播放系統(tǒng)

音頻播放系統(tǒng)包括媒體服務器、音頻解碼器和音頻處理器。目前球幕影院常用的媒體服務器一般可以支持5.1和7.1聲道的音頻輸出，但是不支持沉浸式聲音的解碼輸出，因此需要有專門的音頻解碼器來負責聲音的播放。音頻解碼器一般需要和制作時的渲染設備相匹配，以確保將打包好的音頻母版文件進行正確的解碼處理，再按照目標影院的揚聲器設置進行渲染，讓還音系統(tǒng)能正常地回放出制作時的聲音感覺。音頻處理器負責揚聲器的信號調(diào)校處理，有的音頻解碼器本身就具有揚聲器信號處理的功能，音頻處理器可以省略。

4.5 還音系統(tǒng)

還音系統(tǒng)包括功放及揚聲器，其設備選型需結(jié)合項目情況確定。根據(jù)國內(nèi)數(shù)字影院技術標準和國際巨幕協(xié)會對沉浸式數(shù)字影院做出的規(guī)定，沉浸式影廳各聲道的基準聲壓級確定為85dBC，主揚聲器的峰值聲壓級為105dBC (參考電平為—20dBFS)，次低頻揚聲器的峰值聲壓級為110d BC。選擇功放揚聲器的時候要滿足上述聲壓級，且功放的額定輸出功率≥1.5倍所對應的揚聲器額定功率 (或滿足所對應的揚聲器工廠推薦的功率)。

頻響可參考國內(nèi)數(shù)字影院技術標準和國際巨幕協(xié)會對巨幕影廳和球幕影廳的指標要求，規(guī)定主揚聲器的頻率響應需滿足30～16k Hz (＋3/—6dB)，環(huán)繞揚聲器的頻率響應需滿足40～16k Hz (＋3/—6dB)，次低頻揚聲器的頻率響應需滿足25～120Hz。

沉浸聲系統(tǒng)中每個揚聲器包括環(huán)繞揚聲器都扮演著很重要的角色，因為聲像定位和移動往往需要多只揚聲器共同發(fā)聲來實現(xiàn)，因此揚聲器能夠覆蓋的觀眾區(qū)域就變得比較關鍵了。在揚聲器的選型中，一般需要盡可能地選擇水平和垂直覆蓋角度大于100°的揚聲器。

4.6 其他因素

(1)建筑聲學:球幕影院由于使用球形銀幕，對聲音或多或少會有反射作用，很容易造成聲聚焦的問題，因此要特別小心。為了獲得良好的室內(nèi)音質(zhì)，需要對混響時間、混響時間頻率特性和聲場均勻性進行控制，還要控制回聲、顫動回聲、聲聚焦、諧振等聲缺陷。

(2)房間均衡和校正:校正揚聲器的頻響和時延對沉浸式球幕影院而言尤為重要，因為房間的反射會影響觀眾最終聽到的聲像定位、空間感和音色，未校正過的還音系統(tǒng)可能導致聲音發(fā)悶、變薄等。

沉浸式影院的聲音系統(tǒng)設計往往要和建筑、結(jié)構(gòu)、暖通、電氣、弱電、裝修等多個專業(yè)配合，以確保整個空間功能實用且合理，裝飾美觀且安全，觀眾體驗舒適而又充滿驚喜。

5 結(jié)語

事實上，由于服務場所、用途、規(guī)模、投資和主要呈現(xiàn)內(nèi)容的不同，各個沉浸式球幕影院之間配套的沉浸聲系統(tǒng)往往具有很強的獨立性和定制性，在設計階段就需要和使用方、節(jié)目制作方及項目實施方進行充分的討論溝通，平衡節(jié)目制作、實施難度、還放效果和資金投入等多方面的因素，最終選擇最適合的沉浸聲方案。無論選擇哪種沉浸聲實現(xiàn)方案，都將是對設計、制造、施工、最終體驗等環(huán)節(jié)的全方位考核。

在國家大力推進沉浸式視頻發(fā)展的大環(huán)境下，原來簡單以“特種電影”身份出現(xiàn)的各類沉浸式球幕影院，將迎來一場快速的市場爆發(fā)和技術的更新迭代，并最終以其無與倫比的沉浸式節(jié)目內(nèi)容和強大的沉浸式視聽體驗征服觀眾。根據(jù)沉浸式視頻的發(fā)展規(guī)劃，在未來3～5年內(nèi)，將實現(xiàn)沉浸式視頻進社區(qū)、進家庭的暢想，彼時也許可以實現(xiàn)足不出戶就體驗到或真實或奇幻的另一個世界。其中，沉浸聲系統(tǒng)所營造的聽覺沉浸感一定是必不可少的因素，且將建立在更加靈活便捷的揚聲器系統(tǒng)和更小型甚至芯片化的渲染設備基礎上。目前，沉浸聲系統(tǒng)的應用規(guī)模和數(shù)量還有很大的提升空間，沉浸聲項目的設計和內(nèi)容的制作、相關技術和產(chǎn)品的研發(fā)也還需要實現(xiàn)新的突破，而這需要技術人員的共同努力，才能讓這個行業(yè)發(fā)展越來越好。