電影聲音在虛擬攝制中的可聽化研究

張 瑩 沈希辰

1.上海大學(xué)上海電影學(xué)院，上海 200072 2.騰訊互娛NExT Studios，上海 200032

1 引言

2009 年《阿凡達(dá)》的熱映，使虛擬攝制技術(shù)開始進(jìn)入大眾視野，在電影技術(shù)發(fā)展史上具有里程碑式的意義[1]。之后的十多年間，《奇幻森林》（2015）、《頭號玩家》（2018）等影片都在虛擬拍攝技術(shù)等方面進(jìn)行了更為廣泛且深入的實踐。2019 年，美劇《曼達(dá)洛人》第一季上線，全流程可視化的“虛擬攝制”（Virtual Production,VP）這一概念開始深入人心，成為電影制作發(fā)展的新方向。而隨著虛擬攝制流程在影片《獨行月球》（2022）、《流浪地球2》（2023）中的全面應(yīng)用，標(biāo)志著中國電影進(jìn)入虛擬攝制時代。

圍繞虛擬攝制所展開的研究和實踐逐漸成為熱點，Epic Games 分別在2019 年和2021 年推出了兩冊《虛擬制片實踐指南》（以下簡稱《指南》），對虛擬攝制的概念、流程、關(guān)鍵特性和優(yōu)勢進(jìn)行了詳細(xì)解讀。同傳統(tǒng)制片相比，虛擬攝制促使制片過程更為迭代化、協(xié)作化和非線性[2]。丹尼爾·馬多克[3]、劉戈三[4]、陳軍[5]和陳奕[6]等人分別圍繞虛擬攝制、虛擬預(yù)演（Previz）和可視化技術(shù)等方面進(jìn)行了實踐探索；丁鵬[7]等人從數(shù)字技術(shù)美學(xué)的角度探討了虛擬攝制?；蛟S由于虛擬攝制技術(shù)起步于數(shù)字技術(shù)、計算機(jī)圖形學(xué)（Computer Graphics，CG）與電影的聯(lián)姻[8]，更專注于實時可視化的運用，因此盡管該技術(shù)在近幾年取得了突飛猛進(jìn)的發(fā)展，但聲音制作始終沒有能夠真正地參與到虛擬攝制的工作流程中。那么，是否有可能讓電影聲音也成為先進(jìn)攝制流程的一部分，在“可視化”的同時，實現(xiàn)“可聽化”，本文將圍繞此議題展開探討和研究。

2 虛擬攝制中的聲音制作

2.1 研究現(xiàn)狀

在《指南》第二冊中，Epic Games“憧憬將虛幻引擎打造成創(chuàng)意平臺和協(xié)作沙盒”，希望“通過合作實驗迭代找到故事的最佳表達(dá)方式”，甚至以音樂的即興創(chuàng)作過程類比了電影的創(chuàng)意過程[9]。然而，縱觀《指南》中梳理的工作流程，包括訪談的對象，聲音部門并沒有被包含在內(nèi)。劉笑微等人[10]在其論文中沿用了“沙盒”的概念，探討了虛擬攝制技術(shù)如何為導(dǎo)演帶來全新的創(chuàng)作時空。張詩雪[11]結(jié)合教學(xué)實踐短片《異星救援》的制作經(jīng)驗，研究了在LED 虛擬攝制流程中，聲音設(shè)計的工作方式變化和創(chuàng)作突破，不失為一次有益嘗試。在虛擬攝制典型案例《曼達(dá)洛人》的相關(guān)聲音創(chuàng)作中，聲音團(tuán)隊重點解決了在LED 背景墻前拍攝的聲學(xué)環(huán)境中的反射問題，通過消除不必要的反射聲來獲取可用對白。

在這些研究和實踐中，更多關(guān)注的是聲音如何適應(yīng)和配合新的攝制流程，比如研究在新的拍攝環(huán)境中同期聲的拾取方式，或者是在視覺預(yù)演階段進(jìn)行聲音預(yù)設(shè)計。聲音猶如一個追隨者，徘徊在虛擬攝制的核心流程邊緣。造成這種情況的原因，一是相比于畫面的實時可視化，聲音實時可聽化對于創(chuàng)作效率的提升沒有那么直觀可見；二是目前電影聲音制作仍使用相對傳統(tǒng)的工具和手段，對于其如何深度參與虛擬攝制流程，尚未有足夠的關(guān)注和討論。但可以預(yù)見的是，如果聲音這個道具也能加入“電影沙盒”的創(chuàng)作空間，導(dǎo)演的創(chuàng)作思維邊界將得以再度擴(kuò)展。

2.2 現(xiàn)有虛擬攝制流程中的聲音環(huán)節(jié)

根據(jù)Epic Games 對虛擬攝制流程的梳理，在前期開發(fā)和準(zhǔn)備階段，導(dǎo)演和編劇可以同影像創(chuàng)作相關(guān)部門進(jìn)行充分溝通并準(zhǔn)備數(shù)字資產(chǎn)，預(yù)演拍攝方案和效果，在拍攝前進(jìn)行特技預(yù)演、技術(shù)預(yù)演或后期預(yù)演，并在現(xiàn)場拍攝和后期制作時進(jìn)行可迭代的修改，實現(xiàn)實時創(chuàng)作的反饋循環(huán)。在聲音方面，雖然可以根據(jù)預(yù)先生成的數(shù)字場景和預(yù)演結(jié)果進(jìn)行聲音概念設(shè)計和聲音資產(chǎn)的準(zhǔn)備，但大量的聲音效果仍然要到后期制作階段才能夠得以完整呈現(xiàn)。在現(xiàn)有流程中，整個聲音環(huán)節(jié)是相對靜態(tài)、非實時的，由于無法參與迭代流程，聲音部門在虛擬攝制中的作用非常有限，其工作狀態(tài)也相對被動（圖1）。要解決這個問題，基本思路便是運用恰當(dāng)?shù)墓ぞ?，通過實時渲染，為聲音加載動態(tài)特征，使其可以根據(jù)虛擬環(huán)境的變化而發(fā)生改變，從而實現(xiàn)實時可聽化效果。

圖1 現(xiàn)有虛擬攝制流程

3 渲染引擎在虛擬攝制可聽化中的運用

早在20 世紀(jì)60 年代就開始出現(xiàn)虛擬環(huán)境中的可聽化（Auralisation）相關(guān)研究，Krokstad 等人開創(chuàng)性地將光線追蹤（Ray Tracing）技術(shù)運用于房間響應(yīng)計算[12]。發(fā)展至今，在聲學(xué)領(lǐng)域早已開發(fā)出多種方法和技術(shù)，可以對室內(nèi)和室外聲場進(jìn)行精確的建模、模擬和測量，并成為建筑聲學(xué)的標(biāo)準(zhǔn)預(yù)演手段之一。但是這種方法是一種靜態(tài)聲學(xué)模擬，需要預(yù)先計算，雖然基于物理建模的模擬結(jié)果較為精確，但無法適用于實時動態(tài)環(huán)境。

近年來，出現(xiàn)了一個名為虛擬聲學(xué)（Virtual Acoustics）的新研究領(lǐng)域，主要聚焦動態(tài)可聽化的概念，專注于再現(xiàn)三維聲環(huán)境及其特征，旨在為聽眾提供一種沉浸感。在現(xiàn)階段的動態(tài)可聽化研究中，主要的挑戰(zhàn)在于如何在虛擬環(huán)境中以較低的計算成本生成較為逼真的空間聲，而渲染引擎是目前解決這類問題的可用方案。雖然渲染引擎尚無法全面描述聲音傳播過程中發(fā)生的聲學(xué)現(xiàn)象，但其基于感知的渲染方式還是可以取得不錯的聽感效果[13]。

在影像方面，之所以從攝制最初就可以制作出高質(zhì)量的畫面，并且資源間可以互相兼容，在預(yù)覽和最終輸出階段均可使用，離不開以虛幻引擎（UE）和Unity 為代表的渲染引擎的加入，其強(qiáng)大的實時渲染能力使全流程可視化成為可能。因此，如果聲音也能夠借助渲染引擎的優(yōu)勢參與虛擬攝制，實現(xiàn)全流程可聽化，那么聲音與畫面將從創(chuàng)意階段就全方位建立聯(lián)系，達(dá)成“視聽合約”[14]，讓編劇、導(dǎo)演、演員等創(chuàng)作者在身臨其境的非線性視聽環(huán)境中構(gòu)建跨模態(tài)感知的敘事方式，從而形成全新的視聽理念和電影創(chuàng)作模式。

聲音部門可以從前期創(chuàng)意階段開始介入虛擬攝制，在數(shù)字音頻工作站（DAW）中制作的聲音資產(chǎn)可以高度模塊化、靈活配置，并通過渲染引擎與視覺對象一一對應(yīng)。聲音設(shè)計師可以走出錄音棚，同導(dǎo)演和各個視覺部門進(jìn)行充分討論，激發(fā)創(chuàng)作靈感，通過聲畫結(jié)合的預(yù)演和現(xiàn)場預(yù)覽生成參考音軌，用于現(xiàn)場參考和后期制作。而在前期創(chuàng)建的聲音資產(chǎn)，也可以直接用于后期。當(dāng)聲音部門真正參與進(jìn)來之后，整個虛擬攝制迭代化、協(xié)作化和非線性的流程才達(dá)到了完整（圖2）。

圖2 聲畫結(jié)合的虛擬攝制流程

4 虛擬攝制可聽化的應(yīng)用場景

4.1 虛擬預(yù)演可聽化

在傳統(tǒng)聲音設(shè)計方式中，雖然可以預(yù)先設(shè)計和準(zhǔn)備聲音資產(chǎn)，以此縮短后期制作周期，但這些資產(chǎn)是無法同虛擬預(yù)演中的視覺元素產(chǎn)生聯(lián)動的。通過使用渲染引擎整合音頻數(shù)據(jù)的方式，拍攝時將攝影機(jī)作為聽者，攝影機(jī)在空間中的位置及其同場景中的各個聲源的相對關(guān)系都可以進(jìn)行實時計算，各個聲源將會依據(jù)設(shè)計的衰減設(shè)置，生成并播放匹配鏡頭距離和景別的聲音效果（圖3）。通過這種方式，一是可以使導(dǎo)演等創(chuàng)作者在視聽合一、沉浸式的狀態(tài)下審視創(chuàng)作方案，同時，可聽化內(nèi)容的加入，為創(chuàng)作者提供了更多的反饋；二是可以使聲音設(shè)計師快速預(yù)覽聲音設(shè)計方案，完善聲音資產(chǎn)的配置，為現(xiàn)場拍攝和后期制作提供更有力的支持；三是可以在項目開發(fā)階段就快速生成聲畫合一的樣片或預(yù)告片，為項目的推進(jìn)、融資和落地爭取更多時間。

圖3 虛擬預(yù)演可聽化示意

在聲音資產(chǎn)準(zhǔn)備方面，可以借鑒游戲聲音設(shè)計的思路。以環(huán)境聲為例，通常包含三類內(nèi)容：基于通道的（Channel-based）可循環(huán)播放鋪底環(huán)境聲，一般是立體聲（Stereo）或是四聲道（QUAD）資源，用于表現(xiàn)場景中最基礎(chǔ)的聲場特質(zhì)，比如風(fēng)聲等；隨機(jī)觸發(fā)的空間點聲源，可以通過參數(shù)調(diào)整來控制觸發(fā)的頻次和距離，比如鳥鳴聲和蟲鳴聲等；特殊場景物件的聲音，比如一條河流的聲音，可以利用3D 定位和衰減設(shè)置整合進(jìn)場景中。將上述各類聲音資產(chǎn)整合到一起，用于可聽化預(yù)演或是拍攝現(xiàn)場的播放參考（圖4）。由于渲染引擎中的音頻具有原生三維聲的特點，可以支持多種空間聲的重放環(huán)境，因此在各種條件下都可以獲得較好的預(yù)聽效果。在虛幻引擎5（UE5）中，還推出了聲景插件（SoundScape），能夠以程序化的方式生成環(huán)境聲，并支持一階Ambisonics聲音資產(chǎn)，以使聲音的呈現(xiàn)變得更為多元化，從而適應(yīng)各類重放要求。

圖4 環(huán)境聲資產(chǎn)整合

4.2 實時拍攝可聽化

4.2.1 環(huán)境聲（Ambience）

環(huán)境聲是電影聲音構(gòu)成不可或缺的要素，它在塑造時空環(huán)境、參與敘事和展現(xiàn)人物內(nèi)心等方面起到了重要的作用[15]。在傳統(tǒng)拍攝流程中，拍攝場景往往與影片最終展現(xiàn)的環(huán)境并不一致，而環(huán)境聲是在聲音設(shè)計后期階段才加入的，無論是演員還是導(dǎo)演，都無法在拍攝現(xiàn)場感受到環(huán)境聲的作用。當(dāng)進(jìn)入虛擬攝制時代后，無論是動作捕捉還是藍(lán)幕/綠幕合成，都對創(chuàng)作者的想象力提出了新要求，需要在沒有太多視聽參照的環(huán)境中進(jìn)行表演創(chuàng)作。即使有了全實時LED 背景墻前拍攝技術(shù)的加入，對于某些特殊場景，尤其是離現(xiàn)實世界較遠(yuǎn)的場景，仍然需要在環(huán)境想象方面付出努力。

當(dāng)可聽化加入虛擬攝制流程后，除了可以在前期制作階段為各類創(chuàng)意方案提供環(huán)境聲參考，還可以在動作捕捉或是現(xiàn)場拍攝階段提供更為真實和沉浸的環(huán)境聲，幫助創(chuàng)作者更快地進(jìn)入狀態(tài)，提高拍攝效率。同時，在此過程中使用的環(huán)境聲，可以快速地加入迭代流程，生成參考音軌，使聲音設(shè)計師在第一時間就能確認(rèn)設(shè)計方案的可用性，而不用等到拍攝和定剪完成之后才能確認(rèn)。

4.2.2 提示音（Sound Trigger）

渲染引擎增加了虛擬攝制流程的實時性和交互性，在拍攝過程中，實時的影像呈現(xiàn)和反饋可以真正實現(xiàn)“所見即所得”和“所想即所得”的效果。但是相比于在游戲中的聲音交互和實時反饋，虛擬攝制對渲染引擎聲音功能的利用非常有限。事實上，渲染引擎的聲音功能非常強(qiáng)大，以UE5 為例，它更新了高性能的音頻系統(tǒng)MetaSounds，為聲音設(shè)計師提供了更多音頻控制，比如可以實時合成音頻，并將程序生成的聲音與其他音頻源自由混合和匹配，也可以輕松地實現(xiàn)交互，創(chuàng)建由事件觸發(fā)的沉浸式體驗。

基于這個思路，一方面，在使用一些虛擬道具時，可以通過觸發(fā)道具音效，達(dá)到表演提示的作用。另一方面，也可以通過編制創(chuàng)建程序化的聲音，整合其他聲音資源，同影像發(fā)生聯(lián)動，幫助導(dǎo)演和演員加深對畫面的理解，以達(dá)到更好的創(chuàng)作狀態(tài)。

從觸發(fā)方式來看，實時拍攝提示音的實現(xiàn)有兩種形式：演員通過道具觸發(fā)，以及通過引擎控制來播放。以道具槍械觸發(fā)槍聲為例，一發(fā)槍聲中有多個層次的素材，包含爆破本體（Shot Body）、機(jī)械成分（Mechanic）和低頻（Boom），以及在不同空間和不同距離上的頻段變化控制。可以把槍聲聲音資源導(dǎo)入引擎中，以虛幻引擎（UE）為例，在引擎的聲音提示（SoundCue）組件中設(shè)置好聲音素材的層級關(guān)系和播放邏輯，然后在控制藍(lán)圖（Blueprint）中創(chuàng)建觸發(fā)事件，該觸發(fā)事件響應(yīng)道具槍械的扳機(jī)按鈕。這樣，當(dāng)演員在表演過程中扣動扳機(jī)時，就會播放相應(yīng)的槍聲（圖5）。同時，利用上文提到的實時定位特性，槍聲還可以匹配鏡頭距離和景別進(jìn)行實時變化。

除了演員表演所用的道具觸發(fā)之外，某些特定的腳本事件（Script Event）也可以通過影視化（Cinematic）的方式呈現(xiàn)。引擎中的動畫序列器（Animation Sequencer）的編輯窗口同常用的視頻剪輯軟件的結(jié)構(gòu)非常類似，聲音可以根據(jù)對象縱向排列，并以時間順序在時間軸上展開。拍攝時，可以配合鏡頭運鏡，在預(yù)設(shè)的時機(jī)觸發(fā)整條動畫片段，實現(xiàn)視效和音效共同的實時預(yù)演（PreViz）（圖6）。

圖6 引擎控制聲音觸發(fā)

4.2.3 對白（Dialogue）

在虛擬攝制中，真人表演的對白仍需在現(xiàn)場通過傳統(tǒng)的同期聲方式進(jìn)行錄制。同期錄音需面臨的挑戰(zhàn)是LED 背景墻的電子類干擾、底噪以及反射等問題。為此，人們研究了一些解決方案，比如在美劇《曼達(dá)洛人》中就使用了Delta H Design 公司的ZR Acoustics 模塊，它有助于在虛擬的內(nèi)部空間中拍攝時獲得優(yōu)質(zhì)的對白（圖7）。同時，團(tuán)隊還開發(fā)出了一個便攜式自動對白替換（ADR）系統(tǒng)，演員拍完后可以隨時隨地做ADR，保證了拍攝中的情緒可以最大化地延續(xù)到配音中去，解決了傳統(tǒng)后期配音流程中由于間隔時間太長，表演情緒不飽滿或不到位的問題。

圖7 ZR Acoustics 模塊在同期錄音中的運用[16]

如果把對白也加入由渲染引擎引導(dǎo)的虛擬攝制流程中，創(chuàng)作模式的多樣化還將得以進(jìn)一步提升。在前期制作階段，可以通過文本轉(zhuǎn)語音（Text to Speech，TTS）工具直接從劇本生成臨時的對白資產(chǎn)，在虛擬預(yù)演（PreViz）和拍攝預(yù)覽中啟用無演員排練。在拍攝場景涉及演員同虛擬角色互動時，也可以為演員提供更直觀的對白參考（圖8）。

圖8 虛擬攝制中的對白流程

4.2.4 現(xiàn)場信號通路

實拍過程中的可聽化應(yīng)該能夠根據(jù)現(xiàn)場拍攝的實際需求，實現(xiàn)空間聲還放、耳機(jī)返聽、靜音、參考聲軌錄制等多功能切換，調(diào)音臺是實現(xiàn)現(xiàn)場信號控制的可行方案。無論是在引擎中預(yù)設(shè)的音頻信號、在動作捕捉過程中錄制的對白，還是現(xiàn)場錄制的同期聲，都可以接入調(diào)音臺（圖9）?？梢栽诂F(xiàn)場設(shè)置空間聲制式的揚(yáng)聲器，播放預(yù)先設(shè)計的環(huán)境聲，呈現(xiàn)聲畫合一的場景；可以給演員佩戴耳機(jī)返聽，播放提示音或參考對白；可以實時錄制對白和音效合一的參考聲軌，用于導(dǎo)演監(jiān)聽、樣片輸出和后期參考；也可以根據(jù)需要進(jìn)行分軌靜音。

圖9 實時拍攝可聽化的現(xiàn)場信號通路

5 虛擬攝制可聽化的展望

隨著虛擬攝制流程的日漸成熟，借助渲染引擎等工具，具有動態(tài)特征的聲音可聽化功能將在其中發(fā)揮越來越多的作用。虛擬攝制的全流程可聽化將助力電影項目開發(fā)和前期階段的創(chuàng)意轉(zhuǎn)化、方案預(yù)覽和制定以及概念呈現(xiàn)。在拍攝時可以賦予虛擬場景以臨場感和真實感，為演員提供表演提示，在拍攝完成時即可生成參考音軌，用于預(yù)告片生成或后期制作。原先處于電影攝制流程末端的聲音后期也可以像畫面制作一樣進(jìn)行后期前置，通過可聽化界面選擇聲音設(shè)計方案，并通過遠(yuǎn)程協(xié)作的方式對聲音細(xì)節(jié)進(jìn)行實時迭代修改?？梢蚤_發(fā)高度模塊化的聲音資產(chǎn)，通過在渲染引擎中重新配置參數(shù)來發(fā)揮多種用途。由于實時可聽化的加入，可實現(xiàn)交互功能的道具、錄音和監(jiān)聽設(shè)備，以及各類穿戴裝備的性能將進(jìn)一步提升。此外，游戲開發(fā)相關(guān)的引擎工具和設(shè)計思路已經(jīng)在影視內(nèi)容制作中發(fā)揮著越來越重要的作用?？梢源竽懺O(shè)想一下，以渲染引擎時序編輯器（Sequence）中橫向的時間線（Timeline）和縱向的對象（Object）的形態(tài)為基礎(chǔ)，在其中充分整合現(xiàn)有音頻工具成熟的資源制作和數(shù)據(jù)處理手段，這樣一種新型的基于對象的（Object-based）“數(shù)字音頻工作站”，可能會在今后更多元的影視創(chuàng)作領(lǐng)域發(fā)揮更大的作用。

聲音和畫面作為電影這門視聽藝術(shù)的一雙“翅膀”，它們的發(fā)展一直是以“雙螺旋上升”的方式進(jìn)行的。可以說虛擬攝制使電影制作流程發(fā)生了又一次進(jìn)化，畫面的制作方式率先發(fā)生了蛻變，聲音即將緊隨其后。虛擬攝制的興起并非偶然，當(dāng)元宇宙讓數(shù)字世界與物理世界得以實時疊加，當(dāng)遠(yuǎn)程協(xié)同已然成為一種工作方式，當(dāng)非線性和沉浸式環(huán)境賦予創(chuàng)作者和觀眾更多選擇的權(quán)力，我們也需要運用新的技術(shù)、策略和內(nèi)容來完成視聽敘事。