基于虛擬現(xiàn)實模型的混響實時生成方案設(shè)計

董雪婷, 張 瑩, 毛潤坤, 吳 昊

(上海大學(xué) 上海電影學(xué)院，上海 200072)

虛擬現(xiàn)實意圖在虛擬世界中模擬現(xiàn)實世界的一切，如何通過虛擬現(xiàn)實技術(shù)來提升使用者的沉浸感一直是研究的重點.聽覺同視覺一樣，是幫助人類感知世界必不可少的部分，因此也需要考慮如何讓虛擬世界聽起來更加符合現(xiàn)實世界.

在真實世界中，受聲波本身特性的影響，聲波的傳播非常復(fù)雜，會因障礙物造成各類聲學(xué)現(xiàn)象[1]，而現(xiàn)實世界中常見的障礙物就是建筑.在建筑聲學(xué)中，很多情況下需要考慮聲波在閉室內(nèi)傳播這一具有特定聲學(xué)特性的室內(nèi)聲場.就虛擬現(xiàn)實(Virtual Reality, VR)而言，構(gòu)建一個虛擬的3維空間是核心所在，即對建筑進行建模.因此在虛擬現(xiàn)實技術(shù)中，建聲仿真必不可少.

在室內(nèi)聲場中，混響受室內(nèi)容積、建筑結(jié)構(gòu)和吸聲材料的影響最大，也最能體現(xiàn)室內(nèi)的空間感.一個真實的混響效果能夠有效地幫助虛擬建筑模型形成逼真的空間環(huán)境感.

虛擬現(xiàn)實的另一大特征是交互性，用戶應(yīng)當(dāng)可以隨意地在空間中走動.在真實的室內(nèi)環(huán)境中，隨著聽者的走動，其在空間中的位置會發(fā)生變化，無論聲源是來自聽者本身，還是來自空間中某一固定或移動的位置，聽感都會相應(yīng)地發(fā)生改變.因此，在虛擬現(xiàn)實中也需要模擬這種自然的交互體驗，實時地根據(jù)用戶的操作改變其在空間中聽到的聲音，更好地增加用戶的沉浸感.

1 相關(guān)研究

1.1 室內(nèi)聲學(xué)

圖1 室內(nèi)聲場的構(gòu)成Fig.1 Composition of room sound field

在室內(nèi)聲場中，聽者在某一位置所聽到的聲音由3部分構(gòu)成，分別為直達聲、早期反射聲和混響聲，其能量(本文用聲壓級來度量)和時間(t)的關(guān)系如圖1所示.直達聲指的是聲源經(jīng)直線段傳播至聽音點的聲音，聽感只受距離的影響，距離每增加1倍，聲壓級下降6dB.早期反射聲指的是延遲于直達聲50ms以內(nèi)到達的聲音，受室內(nèi)界面的影響較大.混響聲指的是在早期反射聲之后經(jīng)多次反射到達的聲音.

早期反射聲與直達聲由于時間相差很小，因此難以分開，只有助于增強直達聲的空間感.而混響聲由于經(jīng)過多次反射，且每一次都受室內(nèi)建筑的影響，因此它對室內(nèi)真實空間感的營造最為重要[2].

19世紀末，賽賓提出了混響時間(T60)這一概念，即聲能密度在聲源停止發(fā)聲后衰減到原數(shù)值的百萬分之一(60dB)所需要的時間，以此奠定了建筑聲學(xué)的基礎(chǔ).很久以來，這一直是唯一可測量、可計算的室內(nèi)聲學(xué)參量，也是對室內(nèi)空間感影響最大的參量.直到后來，研究者對聲音傳播有了更全面的認識，添加了傳播中因障礙物材料的吸聲機制引起的衰減現(xiàn)象.而后由于計算機技術(shù)的輔助，對建筑聲學(xué)的研究更是進入了可聽化的階段[3].

聲波有反射、透射和吸收現(xiàn)象，室內(nèi)鋪設(shè)的不同材料具有不同的吸聲系數(shù)，吸聲系數(shù)不僅與材料本身的性質(zhì)有關(guān)，還與聲波的頻率、入射方向和材料厚度等因素有關(guān).工程上一般選擇125，250，500，1000，2000和4000Hz這6個頻率的吸聲系數(shù)來表示該材料的吸聲性能，若未說明具體頻率，則專指500Hz時.混響時間與吸聲系數(shù)有關(guān)，因此混響時間的計算也需要考慮以上6個不同頻率.

室內(nèi)聲場的另一關(guān)鍵指標是室內(nèi)聲壓級，它與聽者到聲源的距離以及房間常數(shù)R(根據(jù)室內(nèi)吸聲系數(shù)和室內(nèi)總表面積得出)有關(guān).根據(jù)距離的不同，聽者所聽到的聲音分別由直達聲或混響聲起主要作用，其臨界距離也稱為混響半徑，它取決于空間類型和房間常數(shù)R.

1.2 傳統(tǒng)建聲仿真的局限性

聲學(xué)特性的設(shè)計是建筑設(shè)計中必不可少的一個環(huán)節(jié)，在沒有計算機輔助進行仿真的情況下，只能憑借設(shè)計人員的經(jīng)驗和復(fù)雜計算，對音響系統(tǒng)的設(shè)計更是需要在建筑竣工后才能開始.而通過計算機進行建聲和音響系統(tǒng)的仿真，可以更輕松、直觀地獲得各個聲學(xué)參數(shù)，能夠在工程實施之前發(fā)現(xiàn)設(shè)計中存在的問題，還可以不斷地嘗試多種方案，并對方案進行有效的驗證[4].因此，在建聲領(lǐng)域的研究中，引入計算機仿真非常必要.

丹麥的ODEON以及德國的EASE軟件是目前應(yīng)用廣泛的建聲仿真軟件，它們能夠通過計算機建立工程的3維模型，對輸入的各類建聲信息進行運算，從而輸出準確、真實的聲學(xué)參量.二者均采用了聲線跟蹤法與虛擬聲源法.ODEON多用于廳堂本身建聲特性的仿真，但無法監(jiān)聽輸出混響效果[5].而EASE則多用于揚聲器系統(tǒng)在廳堂內(nèi)部的仿真，可以通過外掛的EARS模塊，對輸出結(jié)果進行雙耳試聽，但是由于受制于計算機本身的性能，使用聲線跟蹤法生成監(jiān)聽效果耗時很長，并且不能做到根據(jù)監(jiān)聽位置的移動進行混響效果的實時生成.

而虛擬現(xiàn)實技術(shù)追求沉浸感，因此需要對建筑模型進行真實的建聲仿真，并要求較快的計算速度，同時由于交互性的存在，需要實時計算并生成混響效果.

1.3 傳統(tǒng)人工混響的局限性

原本混響效果是一種只能通過建筑聲學(xué)才能產(chǎn)生的自然聲學(xué)現(xiàn)象，只能利用特定的建筑結(jié)構(gòu)來產(chǎn)生特定的混響效果.隨著對相關(guān)技術(shù)的深入研究，混響效果已經(jīng)可以利用數(shù)字信號處理的方式進行實現(xiàn).

目前人工混響的研究領(lǐng)域已有多種混響模型和優(yōu)秀的混響算法，如經(jīng)典模型Schroeder和Moorer,以及較新的模型Gardner、Jot和Dattorro[6].商業(yè)領(lǐng)域也有各類硬件效果器和混響插件被運用于影視聲音設(shè)計和音樂創(chuàng)作中，這些技術(shù)起到了不可或缺的作用.

但是這類混響效果器都需要聲音設(shè)計師憑借自身經(jīng)驗，自行調(diào)整參數(shù)以達到最終效果，并且參數(shù)需要提前進行設(shè)置.而虛擬現(xiàn)實的交互性決定了系統(tǒng)必須根據(jù)用戶的操作實時進行輸出效果的調(diào)整，因此需要對以上人工混響模型加以改進.

2 混響實時生成方案的設(shè)計

虛擬現(xiàn)實中的聲音制作，涉及到復(fù)雜的雙耳聽覺，其制作流程和思路可以參考Ambisonics的音頻制作方式.在實景拍攝的情況下，一般使用Ambisonics話筒進行拾音，再通過支持4聲道的音頻工作站進行處理，調(diào)整音源在虛擬現(xiàn)實空間的定位和音量等[7].而本文探討的是除了實景拍攝之外，利用CG技術(shù)來構(gòu)建虛擬場景及角色的情況，這種情況一般使用游戲引擎進行制作，對于聲音而言，同樣是借助游戲引擎所搭建的虛擬3維空間來構(gòu)建聲場.

游戲引擎內(nèi)部所具有的空間坐標信息，不但可以預(yù)先將聲源放置在空間中，還可以繪制聲源的運動軌跡，并且實時監(jiān)測用戶行為，不斷計算聽者與聲源之間的距離.由于虛擬現(xiàn)實場景要模擬真實世界，因此坐標系單位長度與真實世界的長度應(yīng)該對應(yīng)，從而計算出真實的距離信息.利用坐標系還可計算出房間的長、寬、高，以此計算出室內(nèi)總表面積、體積等房間信息.對于建筑模型表面的材質(zhì)，系統(tǒng)內(nèi)可預(yù)置一些常見墻表面材料供用戶選擇，如磚墻、水泥、瓷磚、布等，并將其對各頻段的吸聲系數(shù)存于系統(tǒng).

Unity是一個常用的游戲開發(fā)引擎，目前也應(yīng)用于虛擬現(xiàn)實的開發(fā)，并且可以很好地支持其他語言編譯的插件，因此本文基于Unity來設(shè)計混響實時生成系統(tǒng)方案.

本系統(tǒng)設(shè)計目的為基于虛擬現(xiàn)實模型，計算其對應(yīng)的建聲參量，輸出對應(yīng)的混響效果，并根據(jù)聽者與聲源位置的移動進行實時調(diào)整.考慮到應(yīng)用于虛擬現(xiàn)實聲音制時作，需要平衡準確性與實時性，若完全采用EASE中運用的幾何聲學(xué)的研究方法，雖然結(jié)果精確，但生成速度低.因此，可以將各理論方法與電影混音藝術(shù)方法相結(jié)合，追求生成速度的同時，保持藝術(shù)真實.

根據(jù)室內(nèi)聲場的組成，將系統(tǒng)分為3個部分： 直達聲、早期反射聲以及混響聲，其總體架構(gòu)如圖2所示，再分別計算與生成.

圖2 生成系統(tǒng)的總體架構(gòu)圖Fig.2 Overall architecture of the generating system

2.1 直達聲的生成

考慮到在音源錄制過程中，一般使用指向性電容話筒在強吸聲的專業(yè)錄音棚內(nèi)錄制，因此錄制出的聲音各頻段的響度受話筒的頻響曲線等因素影響，并不完全符合真實世界的情況，其聲壓級也取決于錄制時的增益設(shè)置，因此錄制的素材仍需要后期處理.例如，需要使用均衡器(Equalizer, EQ)消除錄制過程中話筒的影響，同時，要將其音量調(diào)整到聽者位于發(fā)生源位置時所聽到的真實效果.

根據(jù)建聲理論，直達聲不受室內(nèi)各界面的影響，其聲壓級只與距離有關(guān)，距離每增加1倍，聲壓級下降6 dB.因此，系統(tǒng)需要實時計算聽者與聲源的距離，并根據(jù)距離調(diào)整其增益.

另外，還需要考慮聲音各頻率在傳播過程中的衰減程度不同，當(dāng)聲源較近時，高頻成分會更豐富，從墻面和地面?zhèn)鱽淼幕祉懧暤挠绊懸矔伲?dāng)聲源較遠時則相反[8].因此系統(tǒng)需要為聲源添加一個低通(Low Pass，LP)濾波器，并根據(jù)距離實時調(diào)整濾波器的參數(shù)，使其產(chǎn)生真實的距離感.

2.2 早期反射聲的生成

早期反射聲指晚于直達聲50ms內(nèi)的反射聲，其疊加產(chǎn)生了前期的混響效果，可利用延時單元來模擬單個反射聲.根據(jù)室內(nèi)聲學(xué)原理，聲音傳播路徑不同以及墻面等障礙物的吸收和反射效果會導(dǎo)致有限多個反射聲產(chǎn)生.因此，可以利用多級延時線混響算法實現(xiàn)，利用每一個延時線的抽頭對應(yīng)一個離散的反射聲，通過對增益的控制來模擬聲音在實際傳播過程中的衰減[9].

圖3 早期反射聲模型Fig.3 Early reflections model

對于利用多級延時線混響算法來模擬混響聲，Schroeder首先提出了一種模型進行實現(xiàn)[10]，而后Moorer對模型又進行了改進，二者的區(qū)別在于后期的混響實現(xiàn)方式，對于早期反射聲的部分則一致，其結(jié)構(gòu)圖如圖3所示[11]，其中mi代表延時，αi代表衰減.為了追求更準確真實的效果，Schroeder曾建議將每個衰減αi都替換成濾波器來模擬墻面對各頻段的吸收效應(yīng)，但由于哈斯效應(yīng)的存在，各個反射聲在聽覺上最終會混合在一起，人耳無法區(qū)分每個反射聲，并且全部替換成濾波器會極大的增加系統(tǒng)的運算量.而本文設(shè)計的虛擬現(xiàn)實系統(tǒng)需要進行混響效果的實時輸出，替換會得不償失，因此選擇了為信號整體添加一個低通濾波器的方式，用于模擬聲音在空氣傳播過程中的衰減以及室內(nèi)墻壁的吸收、反射效果.

系統(tǒng)需要根據(jù)室內(nèi)空間的大小、聲音的傳播速度、室內(nèi)鋪設(shè)材料對各頻段的吸聲情況，計算出模型需要的各個關(guān)鍵參數(shù)，并根據(jù)聽音者與聲源位置的改變，作出相應(yīng)的改變，最后實時輸出效果.

2.3 混響聲的生成

由于早期反射聲時間短，一般只經(jīng)墻壁、天花板、地面反射1～2次后到達聽者耳朵，數(shù)量有限，因此可用上節(jié)中所述方式實現(xiàn)，而后期混響聲無法用同樣的方法進行模擬，需要使用遞歸型結(jié)構(gòu)的IIR(Infinite Impulse Response)濾波器.Moorer模型實現(xiàn)后期混響的結(jié)構(gòu)圖如圖4所示，C1～C6為6個并聯(lián)的低通梳狀濾波器.

現(xiàn)今，在Schroeder與Moorer這兩個經(jīng)典的人工混響模型基礎(chǔ)上，利用數(shù)字信號處理技術(shù)制作混響效果器方面已有了很多優(yōu)秀的研究成果，例如Gardner、Jot、Dattoroo等模型[6，12]，這些模型已廣泛運用于影視、游戲聲音的混音工作中.

這些人工混響模型已經(jīng)可以很好地完成特定混響的生成，但在實際應(yīng)用過程中，例如音頻工作站ProTools的混響插件Revibe(如圖5所示)，則需要用戶自行設(shè)置混響時間、房間大小、延遲時間、各頻段的衰減情況、增益等各項關(guān)鍵聲學(xué)參數(shù)，然后輸出最終效果.

圖4 Moorer混響模型Fig.4 Moorer reverberation model

圖5 混響插件RevibeFig.5 Reverberation plug-in Revibe

在虛擬現(xiàn)實中，關(guān)鍵是如何根據(jù)房間模型的建聲信息，基于建筑聲學(xué)基礎(chǔ)理論，利用計算機代替混音師自動計算得出以上關(guān)鍵參數(shù)，并生成最終效果.后期混響聲與房間內(nèi)部構(gòu)造以及所鋪設(shè)材料吸聲情況關(guān)系較大，若僅考慮單一閉室內(nèi)部，一旦在建模過程中將房間基本信息確定，混響則隨之確定，聲源以及聽者位置的改變所造成的影響很小，因此不必進行實時的改變.

3 結(jié) 語

將建筑聲學(xué)引入虛擬現(xiàn)實技術(shù)，建立混響實時生成系統(tǒng)，可以使虛擬現(xiàn)實世界更符合真實的建筑聲學(xué)理論，幫助提升用戶的沉浸感.系統(tǒng)還可應(yīng)用于ODEON、EASE等建聲設(shè)計軟件，可供設(shè)計師在虛擬建筑空間中隨意走動的同時，實時監(jiān)聽方案的最終效果.同時，系統(tǒng)也可用于影視混音階段，幫助混音師根據(jù)真實拍攝空間的建聲信息，計算得出對應(yīng)的聲學(xué)參量，并直接輸出生成混響的效果.

本文只簡單地考慮了單一閉室的情況，且閉室內(nèi)不包含其他障礙物，但在真實情況下，閉室內(nèi)的情況復(fù)雜，會包含更多障礙物，而用戶更有可能在不同房間之間走動.因此，本文所涉及的方案為虛擬現(xiàn)實的聲音制作提供參考的同時，仍有很大的改進空間.