全景聲技術(shù)及應(yīng)用

白泉

【摘要】本文以全景聲為核心內(nèi)容，闡述全景聲的誕生歷史、技術(shù)原理、技術(shù)發(fā)展以及實際應(yīng)用。通過圖文的形式更加直觀的闡述觀點和問題，并結(jié)合實際加以求真論證。作者希望通過本篇論文幫助大家認識了解全景聲的技術(shù)和應(yīng)用。

【關(guān)鍵詞】Ambisonics;VR（虛擬現(xiàn)實）;音頻編解碼;WAVES;Pro Tools

中圖分類號：TN94 ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.06..005

隨著我國物質(zhì)經(jīng)濟實力的不斷提高，國民對于物質(zhì)文化的需求也水漲船高，特別是對于精神文化需求逐年遞增。為此我們的技術(shù)儲備也必須不斷地完善進取才能滿足人民日益增長的物質(zhì)文化需求。建國初期在黑白電視時代，我們聲音只有一個通道叫單聲道。后來隨著技術(shù)的進步，彩色電視時代步入家庭從而加速了聲音單聲道到立體聲的轉(zhuǎn)變。到了高清1080P甚至超高清4K分辨率時代，我們誕生了5.1、7.1環(huán)繞立體聲。技術(shù)的飛速發(fā)展給人民群眾帶來了更加接近真實的視聽感官體驗。2010年以后，隨著VR頭戴設(shè)備的誕生，我們進入了一個顛覆以往所有視聽技術(shù)的時代——虛擬現(xiàn)實！那么聲音便誕生出了與之相適應(yīng)的技術(shù)革命——全景聲！

1. 全景聲技術(shù)概述

講到全景聲我們不得不先從Ambisonics這種聲音格式講起。那么什么是Ambisonics？

1.1 Ambisonics的前世今生

說起Ambisonics的歷史是非常曲折的。Ambisonics以牛津大學(xué)教授Michael Gerzon（1945-1996）的理論成果為基礎(chǔ)，二十世紀70年代，由英國國家研究發(fā)展公司主持開發(fā)Ambisonics，并成功實現(xiàn)了“四聲道理論（quadraphonics）”的高保真沉浸空間全景360聲音。

當年Ambinsonics搞得風(fēng)風(fēng)火火，甚至注冊了商標（2010年過期）并申請了專利（大部分已經(jīng)過期）。是的，盡管Ambisonics具有當時最完美的功能和效果，英國國家研究發(fā)展公司具有雄厚的技術(shù)基礎(chǔ)和許多優(yōu)勢，但是Ambisonics并沒有獲得商業(yè)上的成功。在實際推廣過程中，卻由于種種因素的制約，始終沒有形成大規(guī)模的市場需求，最終被擱置，甚至在一段時間內(nèi)只有在愛好者粉絲中的堅持才算幸存下來。即使制作Ambisonics話筒方面一直有“持續(xù)性”研究的公司，有商業(yè)的回報，也經(jīng)歷了無數(shù)次轉(zhuǎn)手收購才存活下來（先是Calrec，后來相繼被AMS、Siemens、Soundfield Research、現(xiàn)在是RODE所收購）。其實只要再撐幾年，隨著技術(shù)的不斷進步，特別是VR虛擬現(xiàn)實的發(fā)展變能讓Ambisonics重新紅火起來。由此我們可以看到，聲音技術(shù)的誕生到應(yīng)用商業(yè)化是漫長的過程，甚至是有賴于視覺的技術(shù)革命才能得以發(fā)展。

1.2 Ambisonics的定義

Ambisonics是一種用于記錄，混音和重放三維360度音頻的方法。它是在20世紀70年代被發(fā)明的，但直到最近隨著VR行業(yè)的發(fā)展，全景聲音頻解決方案才被更多人認知。

Ambisonics音頻格式有時會與傳統(tǒng)環(huán)繞聲技術(shù)相混淆，但他們是不一樣的，是有很大的區(qū)別，而正是這些差別特性，造成新興的VR和全景視頻都采用Ambisonics而不是經(jīng)典的環(huán)繞聲格式作為首選音頻格式。

雖然傳統(tǒng)的環(huán)繞聲技術(shù)比簡單的雙聲道立體聲更加有沉浸效果，但是它們基礎(chǔ)的原理是相同的，它們都通過將音頻發(fā)送到特定的揚聲器陣列來創(chuàng)建聲音場景。立體聲將音源發(fā)送給兩個揚聲器、5.1環(huán)繞立體聲將音源發(fā)送到6個全頻揚聲器和一個超低音、杜比7.1發(fā)送到7個全頻揚聲器外加一個超低等等。

相比之下，Ambisonics與其他多聲道環(huán)繞聲格式不同，其傳輸通道不帶揚聲器信號。相反，它們包含與B格式聲場無關(guān)的揚聲器，然后將其解碼為聽眾的揚聲器設(shè)置。這個額外的步驟允許音頻工作者根據(jù)聲源方向而不是揚聲器的位置來思考設(shè)計。并且為聽眾提供了用于播放揚聲器的布局和數(shù)量。因此，大大增加了靈活性。Ambisonics音頻格式可以解碼任何揚聲器陣列。并且可以完整的、不間斷的還原音源而不受任何特定編解碼播放系統(tǒng)的限制。如圖（1）是從立體聲、5.1到全景聲的3D人耳模擬圖

1.3 Ambisonics的技術(shù)解析

廣泛應(yīng)用于VR和全景視頻的Ambisonics音頻格式其中包括一種稱為Ambisonics B格式的4通道格式。Ambisonics可以理解為M/S立體聲拾音制式的三維擴展。Ambisonics音頻格式為高度和深度增加了另外的差異通道。所得到的音頻信號集稱為B格式（Ambisonics B Format）。它使用至少四個通道來再現(xiàn)完整的三維聲場。是一種拾取和播放聲音的技術(shù)，專門用來模擬原始三維聲場效果的聲音系統(tǒng)。

它通過拾音“四面體陣列”（麥克風(fēng)振膜排列的這種不尋常的布置被稱為四面體陣列，由四個指向不同方向的心形話筒組成）實現(xiàn)三維度全覆蓋的360°沉浸式全景環(huán)繞聲音。Ambisonics除了水平X Z軸向環(huán)繞聲音，還包括拾音位置或者聽眾即Y軸上下的聲源。與普通環(huán)繞聲不同，播放效果更類似于Dobly Atoms（這里必須強調(diào)一點的是Dobly Atoms目前只解決了半球形的聲場，并沒有解決720度球型聲場的重現(xiàn)與還原）。如（圖2）是一個全景聲話筒，來自RODE公司的NT-SF

1.4 Ambisonics的編解碼

編碼：一個簡單的Ambisonic panner（或編碼器）可以獲取源信號S和W兩個參數(shù)，即水平θ和仰角?。它通過以不同的增益將音頻信號分布在Ambisonics組件上，將信號源定位在所需的角度：

全方位的W通道始終獲得相同的恒定輸入信號，無論角度如何。因此，它的平均能量或多或少與其他通道的平均能量相同，W衰減約3dB（精確地除以2的平方根）。我們認為他們的價值在角度和仰角，并將結(jié)果與輸入信號相乘。其結(jié)果是，輸入在所有組件中完全相對應(yīng)的麥克風(fēng)拾取它一樣響。

解碼：基本的Ambisonic解碼器與一組虛擬麥克風(fēng)非常相似。對于完美的規(guī)則布局，可以通過將虛擬心形麥克風(fēng)指向每個揚聲器的方向來生成簡化的解碼器。這里是一個正方形：

的跡象X和Y組件是重要組成部分，其余都是增益因素。該Z組件被丟棄，因為不可能在一個平面上只用四個揚聲器重現(xiàn)高度線索。實際上，真實的Ambisonics解碼器需要許多心理聲學(xué)優(yōu)化才能正常工作。如圖（3）是用于方形揚聲器布局的樸素單頻段同相解碼器。

當然了，這篇文章我們討論的主要是Ambisonics的一階形態(tài)，更高階的形態(tài)我們在這里不展開闡述，以圖4作為參考。

圖解：Ambisonic B格式組件的視覺表示直至三階。黑色部分表示極性反轉(zhuǎn)的區(qū)域。請注意前兩行如何對應(yīng)于全向和八字形麥克風(fēng)極性圖案。

了解了全景聲技術(shù)的基石，我們不難推出全景聲的概念了。首先來說人類只有兩個耳朵，但可以在三維空間中定位范圍（距離），上下前后左右方向、以及任意一側(cè)。因為通過大腦，內(nèi)耳和外耳（耳廓）的雙耳時間差，雙耳響度差一起工作來推斷位置。這種將聲源本地化的能力可能在人類和祖先中已經(jīng)發(fā)展成為一種進化的必要性，因為眼睛只能看到觀看者周圍的世界的一小部分，并且視覺在黑暗中受到阻礙，而聽覺不受光線的影響，聲源本地化的能力則以不同的精度在所有的方向起作用。那么全景聲用一句話概括就是一種全球通用的環(huán)繞聲技術(shù)：除了水平面之外，它還覆蓋了聽者上方和下方的聲源。它高精度的還原了真實環(huán)境下人耳的聽覺體驗，而且這種聲音的還原再現(xiàn)很難讓人分辨出這是真實的還是虛擬的。

2. 全景聲制作流程

2.1 全景聲的聲音采集

全景聲的聲音采集目前采用全景聲話筒外加單聲道點話筒分軌錄制，最后通過DAW混音。目前市面上的全景聲話筒種類不多，國外的有森海塞爾AMBEO VR MIC 、RODE NT-SF1，國內(nèi)有時代拓靈Twirling720。他們大多采用“四面體陣列”拾音，需要強調(diào)一點的是，采用全景聲話筒錄制，接口箱、聲卡或者調(diào)音臺必須留有4路XLR接口，以便接入4路音頻信號。如圖（5）是SENNHEISER AMBEO VR MIC的話筒內(nèi)部圖。

我以聲卡Zoom F8外加AMBEO VR MIC 話筒簡述錄制全景聲步驟。

將錄音設(shè)備連接到三腳架上，調(diào)整角度。理想的情況下是將它盡可能的以垂直方向靠近相機。如果它的距離與VR攝像機太過遙遠，聲音便不會那樣的身臨其境，因為你的眼睛（相機）和耳朵（話筒）應(yīng)該是在同一個水平上的。擰緊話筒支架，將話筒指向朝上。

將XLR線連接到Ambeo底部，按順序?qū)⑺耐ǖ赖妮斎氩宓紽4多軌現(xiàn)場錄音機的輸入接口。

連接好AMBEO VR MIC話筒和ZOOM F8錄音機后，進入菜單點INPUT，選擇希望錄制的Ambisonic格式。F8的固件4.0現(xiàn)在包括Ambisonics解碼，允許以以下格式錄制360個音頻：●FuMa●Ambix●AmbisonicA（立體聲監(jiān)視器）●FuMa（雙）●Ambix（雙）●FuMa+Ambix●FuMa+AmbisonicsA●Ambix+ Ambisonics A

錄制Ambisonics所有格式都會記錄在Poly WAV文件。當在Ambisonics模式下使用F8時，增益會自動關(guān)聯(lián)，因此可以使用一個旋鈕進行控制。這對于正確監(jiān)視和調(diào)整ambisonic錄音中的音頻電平至關(guān)重要。采樣率只能設(shè)置為192 kHz時，Ambisonic模式關(guān)閉。必須說明的是Ambisonic只能文件保存為4軌Poly文件，不能保存為多單聲道或立體聲文件。在Ambisonic模式錄音時，可以點PFL監(jiān)聽輸入聲音，當PFL為PFL模式下，你聽到的是轉(zhuǎn)換Ambisonic B格式之前的聲音，當PFL為SOLO模式下，你聽到的是轉(zhuǎn)換Ambisonic B格式之后的聲音。

在編碼的實際應(yīng)用上，AMBEO只需要通過一對編碼立體聲輸入通道和4個解碼重放通道（reproducing channel），就能夠?qū)崿F(xiàn)對聽眾周圍360度三維范圍內(nèi)聲場效果的精確模擬和復(fù)制。當然，所使用的輸入通道和重放揚聲器越多，聽眾的聽音環(huán)境就越接近于三維體圓球形。從編解碼方式來看，采用Ambisonics方式錄制得到的聲音信號可以通過計算變換后得到很多相關(guān)的格式，雙聲道，立體聲、5.1、7.1，甚至是11.1、22.2等各種多聲道環(huán)繞聲格式。

2.2 全景聲的后期制作

聲音錄制下來以后就是后期的制作，全景聲的后期制作和原來的立體聲，環(huán)繞立體聲5.1或者7.1完全不同，它需要DAW掛載特殊的全景聲插件來處理720°度聲像的變化，而之前不管是立體聲還是5.1、7.1環(huán)繞立體聲都是在一個平面即360°上來通過聲像位置的變化來設(shè)計聲場。

DAW的選擇：業(yè)內(nèi)通用的DAW是avid的Pro Tools。Pro Tools HD 12.8.2使用高保真度立體聲音響開啟了新的3D音頻工作流程，并提供開始使用Facebook Spatial Workstation插件創(chuàng)建虛擬現(xiàn)實（VR）和360音頻內(nèi)容的工具。同時最新版的Pro Tools 12.8.2為第一，第二和第三階的Ambisonics增加了新的總線和音軌格式，為插件創(chuàng)建和操作Ambisonics音頻和混音提供了框架。First Order總線有4個通道，并且是由傳統(tǒng)聲場麥克風(fēng)產(chǎn)生的格式。更高階的高保真度立體聲系統(tǒng)會使用更多通道（第二階為9，第三階為16）以增加混合中點聲源的位置分辨率。

在手機上觀看全景視頻，或者使用Samsung Gear VR或Google Cardboard等頭戴式顯示器（HMD）。Pro Tools為這些體驗提供了一個完整的球形視圖，通過用手指滑動或轉(zhuǎn)動頭部來環(huán)視四周。由于Ambisonics具有統(tǒng)一的環(huán)繞聲音場，可以與播放時的視覺體驗相匹配，因此它是360和VR音效的理想媒體。在大多數(shù)情況下，全景視頻和VR的聲音通過耳機傳送。當移動屏幕或轉(zhuǎn)動頭部時，設(shè)備會旋轉(zhuǎn)Ambisonic的聲場以匹配觀看方向，并將其轉(zhuǎn)換為立體聲耳機輸出。

使用熟悉的后期制作或音樂混合工作流程從頭開始制作Ambisonics格式的內(nèi)容。Dolby Atmos Renderer插件與Facebook Spatial Workstation集合和Audio Ease的360pan套件中的插件一樣，可將混音源（單聲道，立體聲，5.1等）定位到Ambisonics混音。如圖（7.1、7.2）是Pro Tools制作全景聲的軟件界面

監(jiān)聽的選擇：在監(jiān)聽部分目前有兩種途徑，一種是以標準制式擺放全景聲監(jiān)聽音箱。這種方式以杜比5.1.4、7.1.4揚聲器制式為業(yè)內(nèi)標準，主要針對電影和電視行業(yè)的音頻后期混音監(jiān)聽。如圖（8）是杜比5.1.4的音箱位置圖。

除了揚聲器監(jiān)聽外，還有另外一種途徑監(jiān)聽全景聲的制作那就是耳機監(jiān)聽。市面上現(xiàn)在已經(jīng)推出了全景聲的耳機監(jiān)聽，在DAW中也加入了耳機監(jiān)聽全景聲的插件包。如圖（9）是WAVES的 B360 Ambisonics Encoder。

B360 Ambisonics Encoder能夠?qū)温暤?，立體聲和環(huán)繞聲音頻轉(zhuǎn)換為Ambisonics B格式音頻，從而為YouTube 360，F(xiàn)acebook 360或其他虛擬現(xiàn)實（VR）視頻提供360°全景混音。Ambisonics B格式是制作360°全景聲場的行業(yè)標準。與傳統(tǒng)基于聲道的單聲道，立體聲和環(huán)繞聲不同，B格式能夠用4個聲道的信息表現(xiàn)整個全景聲場。當你想要將一些單聲道，立體聲或環(huán)繞聲音頻素材添加到Ambisonics混音當中，你需要先將它們轉(zhuǎn)換為B格式。B360 Ambi- sonics Encoder能夠讓你通過兩個基本步驟完成轉(zhuǎn)換。你也可以將B360插入到你的立體聲或環(huán)繞聲母線中，它會幫你把整個混音轉(zhuǎn)換為Ambisonics B格式。你也可以將B360插入每一個軌道，從而分別將這些聲音精確地定位在立體混響混音的3D聲場當中。

在以上兩種方式中，你都可以通過B360將多種類型的聲音素材置入到一個三維聲場當中，同時還可以控制混音的寬度，高度和角度。通過直觀的界面和流暢的操控，B360將讓你的立體混響混音流程變得前所未有的快捷，簡單。

關(guān)于全景聲的耳機，我在這里介紹一下Mobius： Immersive Cinematic 3D Audio Headphone。如圖（10）

圖10：Mobius： Immersive Cinematic 3D Audio Headphone

Mobius捆綁了來自Waves的最新3D音頻插件，包括B360 4編碼器和NX 4 Mix Room。對于任何使用虛擬和增強的人來說，這兩個關(guān)鍵工具都是重要的。

Mobius的平面磁驅(qū)動器針對空間音頻進行了優(yōu)化，先進的3D聲音仿真算法，使用6軸（四元數(shù)）跟蹤與3軸加速度計和3軸陀螺儀進行連續(xù)智能頭部跟蹤，使聲場隨著頭部位置的變化而發(fā)生變化。使用Mobius的實時頭部追蹤功能編輯，將單聲道，立體聲，5.1或7.1元素引入DAW的時間線。Mobius還可以精確地跟蹤每秒1000次的最微小的頭部動作，并提供3D 仿真算法用來創(chuàng)建房間內(nèi)聲音的空間混響感和直達聲。

Mobius允許使用的音頻工作站有（Avid Pro Tools，Logic Pro，Ableton Live，Digital Performer，Nuendo，Cubase，Reaper等）并與控制界面實時創(chuàng)造性地刻錄音頻，而無需佩戴VR耳機。

3. 全景聲應(yīng)用當下處境

與傳統(tǒng)體驗方式一樣，4體驗中聲音與畫面同等重要，是衡量整體體驗質(zhì)量高低的一項關(guān)鍵指標。而空間音頻則是構(gòu)建逼真VR體驗的關(guān)鍵。空間化的聲源提供了三維位置數(shù)據(jù)，與杜比全景聲技術(shù)十分相似，可以讓用戶時時感覺到聲音傳來的具體位置，營造一直極強的臨場感。

從電影電視到游戲音樂無不與聲音相關(guān)，2017年世界范圍內(nèi)個人終端只有YouTube和Facebook是支持全景聲播放的公眾性開放平臺。2019年后中國的愛奇藝和騰訊等視頻平臺開始陸續(xù)支持支持少量全景聲音視頻節(jié)目。但全景聲的電視節(jié)目目前還微乎其微，目前最高也就停留在環(huán)繞立體聲。換句話說，即便有，對于受眾來說從終端輸出這些聲音需要從編解碼到專業(yè)軟硬件等一系列的技術(shù)性問題需要商業(yè)化解決方案。群體性的觀眾規(guī)模目前主要集中在杜比全景聲影院。遺憾的是目前全景聲影片和全景聲影院與目前傳統(tǒng)立體聲電影和影院比仍舊比例失衡。因此，發(fā)行平臺數(shù)量上的限制也就使得內(nèi)容創(chuàng)作者制作全景聲的熱情大大降低。畢竟經(jīng)過自己潛心打造的東西不能得到有效的傳播對于任何人來說都不是那么容易接受的一件事。不過，隨著人們越來越重視聲音的逼真性體驗感，我們有理由相信未來主流媒體以及互聯(lián)網(wǎng)音視頻平臺將陸續(xù)全面支持全景聲的影音節(jié)目。

參考文獻：

[1]來自維基百科：https：//en.wikipedia.org/wiki/Ambisonics

[2]來自avid官網(wǎng)：http：//www.avidblogs.com/Ambisonics-vr360-audio-pro-tools-hd/？promo_id=ProToolsHD，productteaser，ProAudioAmbisonicsBlogPromo，10182017&promo_name=ProAudioAmbisonicsBlogPromo&promo_position=productteaser

[3]來自插件提供商waves：https：//www.waves.com/nx

[4]來自杜比官網(wǎng)：https：//www.dolby.com/cn/zh/brands/dolby-atmos.html

[5]來自audeze的官網(wǎng)：https：//www.audeze.com/products/mobius-series/mobius-creators-edition

[6]來自同期錄音網(wǎng)：http：//www.locationsound.cn/portal.php？mod=list&catid=31