基于8K超高清制播三維聲端到端解決方案的測(cè)試
——以8K版央視春晚為例

楊 奇

（中央廣播電視總臺(tái)技術(shù)局，北京 100010）

近年來(lái)，中央廣播電視總臺(tái)（以下簡(jiǎn)稱(chēng)“總臺(tái)”）以北京冬奧會(huì)8K轉(zhuǎn)播為目標(biāo)，全面推進(jìn)8K超高清電視的制作和播出，現(xiàn)已研發(fā)了制作、播出、傳輸和呈現(xiàn)全鏈路試驗(yàn)系統(tǒng)。隨著《超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃（2019-2022年）》中“4K先行、兼顧8K”總體技術(shù)路線[1]的提出，總臺(tái)充分發(fā)揮在視音頻制播領(lǐng)域的技術(shù)優(yōu)勢(shì)，以2021年春節(jié)聯(lián)歡晚會(huì)（以下簡(jiǎn)稱(chēng)“央視春晚”）為契機(jī)，通過(guò)8K超高清實(shí)驗(yàn)頻道為觀眾提供8K版的央視春晚。借此機(jī)會(huì)，音頻制作團(tuán)隊(duì)在8K音頻直播系統(tǒng)下，對(duì)在用、在研的三維聲（3D Audio）制播技術(shù)在全I(xiàn)P環(huán)境下進(jìn)行了端到端的全鏈路測(cè)試。

1 8K超高清音頻制播環(huán)境概況

由于8K視頻系統(tǒng)對(duì)帶寬的要求，以交換機(jī)為核心的IP架構(gòu)成為8K超高清演播室系統(tǒng)的必然選擇，音頻系統(tǒng)相應(yīng)地也實(shí)現(xiàn)了完全I(xiàn)P化管理和信號(hào)交互共享。

8K超高清直播除了在畫(huà)面分辨率方面比傳統(tǒng)的高清電視有了很大提升之外，更加真實(shí)的沉浸式三維聲聽(tīng)感體驗(yàn)也是一大特色，可完成5.1環(huán)繞聲及5.1.4三維聲制作和監(jiān)聽(tīng)[2]。三維聲作為下一代音頻制作規(guī)范，其標(biāo)準(zhǔn)已經(jīng)在多個(gè)國(guó)家確立。目前，中國(guó)廣播電視行業(yè)三維聲的相關(guān)行業(yè)標(biāo)準(zhǔn)正在積極推進(jìn)，并已經(jīng)完成了多次全鏈路驗(yàn)證；2018年初發(fā)布了GY/T316—2018《用于節(jié)目制作的先進(jìn)聲音系統(tǒng)》行業(yè)標(biāo)準(zhǔn)，規(guī)范了三維聲制作的監(jiān)聽(tīng)布局；2018 年底，壓縮編碼部分的草案文本已提交，目前還在按照國(guó)家廣播電視總局科技司的要求進(jìn)一步修改[3]。在消費(fèi)者的終端體驗(yàn)方面，三維聲音頻技術(shù)已經(jīng)有了相當(dāng)廣泛的設(shè)備支持，大量家庭終端具備MPEG-H、Dolby Atmos（杜比全景聲）、DTS:X、Auro-3D等多種解碼能力。例如本次作為測(cè)試重放環(huán)境的功率放大器（馬蘭士AV8805）和Soundbar（索尼HTST5000）等設(shè)備均支持上述三維聲解碼功能。

2021年8K版央視春晚采用的8K超高清制播系統(tǒng)通過(guò)全鏈路IP化傳輸，采用無(wú)損調(diào)度和分發(fā)方式，全鏈路支持 SMPTE ST2110 標(biāo)準(zhǔn)；與視頻系統(tǒng)適配的音頻系統(tǒng)是一套全I(xiàn)P化移動(dòng)外場(chǎng)音頻系統(tǒng)，統(tǒng)一在8K超高清IP化制作流程下，進(jìn)行了從音視頻系統(tǒng)制作端到主控、播出系統(tǒng)的傳輸端，及有線電視機(jī)頂盒的重放端的全流程功能性測(cè)試，如圖1所示。

圖1 8K版央視春晚音頻系統(tǒng)各端點(diǎn)的測(cè)試

8K版央視春晚制作的音頻系統(tǒng)是以EFP形式部署在總臺(tái)復(fù)興路辦公區(qū)的第九演播室的音控室內(nèi)。由于空間物理位置限制，本次采用System T S300調(diào)音臺(tái)作為混音調(diào)音臺(tái)，華為的CE6865系列交換機(jī)作為音頻系統(tǒng)的核心路由設(shè)備。所有音頻信號(hào)通過(guò)調(diào)音臺(tái)混合處理后，采用符合SMPTE ST2110-30標(biāo)準(zhǔn)格式的組播流推送至視頻系統(tǒng)，如圖2所示。

圖2 三維聲全鏈路測(cè)試系統(tǒng)示意圖

其中，Junger的MPEG-H渲染器MMA通過(guò)MADI方式與Junger AIX pressor接駁，后者作為硬件接口設(shè)備通過(guò)SMPTE ST2110組播流方式與8K版央視春晚音頻系統(tǒng)核心交換機(jī)互通。杜比的DP591作為三維聲編碼器與8K版央視春晚音頻系統(tǒng)的MADI網(wǎng)關(guān)設(shè)備連接，輸出的Dolby Digital Plus with Atoms碼流通過(guò)AES3方式送至數(shù)字接口箱。

2 主流三維聲編碼的關(guān)鍵技術(shù)及實(shí)際應(yīng)用

為了能夠更好地完成2021年8K版央視春晚三維聲全鏈路測(cè)試工作，首先對(duì)MPEG-H和Dolby Atoms這兩種目前主流的三維聲技術(shù)進(jìn)行前期技術(shù)調(diào)研，充分了解其實(shí)際應(yīng)用的場(chǎng)景和特點(diǎn)，為后續(xù)測(cè)試奠定理論基礎(chǔ)。

2.1 MPEG-H三維聲音頻標(biāo)準(zhǔn)

由Fraunhofer IIS推出的MPEG-H三維聲音頻標(biāo)準(zhǔn)，目前已被DVB和ATSC標(biāo)準(zhǔn)采納，能夠?yàn)槌咔鍙V播電視、流媒體和VR用戶(hù)提供沉浸式和交互式的多維度視聽(tīng)體驗(yàn)。在家庭影院、Soundbar或者手機(jī)等多種重放環(huán)境下，MPEG-H三維聲音頻標(biāo)準(zhǔn)進(jìn)行自定義對(duì)象元素和三維聲重放，通過(guò)一系列音頻實(shí)時(shí)制作工具，從音頻信號(hào)采集、信號(hào)傳輸、元數(shù)據(jù)生成、編碼到終端重放，將整個(gè)三維聲制作鏈路打通。終端用戶(hù)除了能夠聽(tīng)到真實(shí)沉浸的三維聲聽(tīng)感，還能夠享受到個(gè)性定制化的體驗(yàn)。

目前，Junger的MMA和Linear Acoustic的AMS均支持MPEG-H，可實(shí)現(xiàn)配置三維聲通道、進(jìn)行對(duì)象的交互性設(shè)置等功能。MMA和AMS均基于服務(wù)器架構(gòu)，物理接口支持SDI、MADI或者AES67多種音頻格式。通過(guò)預(yù)先配置描述MPEG-H場(chǎng)景信息的元數(shù)據(jù)，可以讓終端用戶(hù)選擇各種不同語(yǔ)言、對(duì)白的音量等個(gè)性化的重放效果。同時(shí)，依托于MMA或者AMS，系統(tǒng)工程師可以在渲染配置中使用不同的揚(yáng)聲器布局進(jìn)行質(zhì)量監(jiān)聽(tīng)，檢查各個(gè)版本（5.1.4/5.1/2.0）渲染輸出的電平及響度。

2.2 Dolby Atmos技術(shù)

Dolby Atmos是杜比實(shí)驗(yàn)室于2012年4月24日發(fā)布的三維聲技術(shù)，是基于音頻對(duì)象（Object Based）的音頻技術(shù)，使用時(shí)可以靈活地選用、組合音頻對(duì)象。Dolby Atmos會(huì)通過(guò)元數(shù)據(jù)記錄各個(gè)音頻對(duì)象在不同時(shí)間點(diǎn)的相對(duì)位置、距離遠(yuǎn)近以及音量，每個(gè)對(duì)象都作為獨(dú)立的信號(hào)源進(jìn)行存儲(chǔ)。在重放時(shí)，終端設(shè)備會(huì)根據(jù)回放聽(tīng)音的環(huán)境進(jìn)行渲染，基于音效相對(duì)位置的信息，來(lái)決定交給哪個(gè)揚(yáng)聲器或哪幾個(gè)揚(yáng)聲器播出。

Dolby Atmos對(duì)下混兼容性也非常好，如果終端設(shè)備不支持5.1.4的重放環(huán)境，則會(huì)依靠元數(shù)據(jù)下混信息，將三維聲信號(hào)下混為環(huán)繞聲或立體聲進(jìn)行播放，這樣就不需要在前端制作系統(tǒng)再額外制作環(huán)繞聲或立體聲的母帶版本。制作域中，杜比升級(jí)了Professional Metadata（PMD），添加支持了三維聲音頻相關(guān)描述，如沉浸式音頻、對(duì)白增強(qiáng)、多語(yǔ)言、評(píng)論/對(duì)白的選擇和音量調(diào)整、音頻對(duì)象的移動(dòng)和耳機(jī)虛擬功能等。

直播傳輸時(shí)，DD+碼流可按照SMPTE 337規(guī)范，以非PCM的數(shù)據(jù)形式，傳輸于一對(duì)立體聲聲道中。該音頻信號(hào)可以被數(shù)字音視頻系統(tǒng)透?jìng)?，需要注意的是，傳輸鏈路上不能?duì)SMPTE 337音頻開(kāi)啟采樣頻率自適應(yīng)功能（SRC），同時(shí)也不能對(duì)SMPTE 337音頻信號(hào)進(jìn)行電平增益調(diào)整，否則會(huì)破壞其中的數(shù)據(jù)信息，如圖3所示。

圖3 Dolby Digital Plus碼流被破壞

3 基于C3DA和Dolby Atmos的三維聲全鏈路制播方案測(cè)試

本次測(cè)試重點(diǎn)分為兩個(gè)部分，第一部分是測(cè)試基于MPEG-H LC和華為增強(qiáng)層編碼的C3DA三維聲技術(shù)信號(hào)在重放終端的各項(xiàng)功能性的實(shí)現(xiàn)情況；第二部分是測(cè)試杜比DP591渲染的Dolby Digital Plus（DD+）音頻碼流在基于全I(xiàn)P化制播流程的透?jìng)骺尚行浴?/p>

3.1 基于Fraunhofer MPEG-H的元數(shù)據(jù)功能性測(cè)試

第一部分基于MPEG-H的測(cè)試重點(diǎn)關(guān)注MPEG-H的元數(shù)據(jù)。在前端制作域可以“預(yù)設(shè)”O(jiān)bject內(nèi)容，如圖4所示，以指導(dǎo)末端的對(duì)象渲染，形成不同對(duì)象元素的組合或者調(diào)整不同對(duì)象在位置和音量上的關(guān)系，可以讓重放終端選擇不同的聲音體驗(yàn)，實(shí)現(xiàn)制作者和用戶(hù)間的內(nèi)容交互。

圖4 在前端制作域進(jìn)行Object內(nèi)容預(yù)設(shè)

整個(gè)測(cè)試主要分為制作端和重放端這兩個(gè)維度。在制作端，音頻信號(hào)通過(guò)三維聲制作工具M(jìn)MA，將三維聲音頻信號(hào)及元數(shù)據(jù)等16軌音頻信息，通過(guò)8K版央視春晚音視頻系統(tǒng)傳遞給主控、播出系統(tǒng)。通過(guò)部署在播出系統(tǒng)的數(shù)碼視訊編碼器，利用MPEG-H LC和華為增強(qiáng)層的編碼算法進(jìn)行編碼，形成AVS3的8K視頻編碼格式及C3DA的三維聲音頻編碼格式，最后由主控IPDM系統(tǒng)交付給有線電視進(jìn)行分發(fā)。在重放端，通過(guò)配有海思芯片的浪潮機(jī)頂盒、功率放大器及Soundbar等設(shè)備進(jìn)行解碼測(cè)試，如圖5所示，進(jìn)而驗(yàn)證三維聲信號(hào)能否正確還原播放，以及元數(shù)據(jù)是否可以正確讀取識(shí)別，從而為終端用戶(hù)提供個(gè)性化的聲音效果。本次重點(diǎn)測(cè)試在機(jī)頂盒UI界面中自由切換語(yǔ)言的功能，以及通過(guò)電視遙控器對(duì)解說(shuō)音量和對(duì)象元素在重放中聲像定位進(jìn)行控制的功能。經(jīng)過(guò)測(cè)試，元數(shù)據(jù)透?jìng)鹘馕稣?，可以正常?shí)現(xiàn)終端用戶(hù)交互功能。

圖5 MPEG-H功能性測(cè)試

3.2 基于Dolby Atmos的透?jìng)髂芰y(cè)試

Dolby Atmos的測(cè)試重點(diǎn)放在全I(xiàn)P化制播環(huán)境的DD+碼流透?jìng)髂芰?，測(cè)試流程如圖6所示。傳測(cè)試中，Dolby Atmos經(jīng)DP591編碼DD+JOC，DD+JOC碼流攜載于ST 2110-30中，從音頻系統(tǒng)輸出至視頻系統(tǒng)，再由主控系統(tǒng)分發(fā)至播出系統(tǒng)進(jìn)行AVS3視頻編碼（音頻透?jìng)鳎?，最后通過(guò)主控IPDM系統(tǒng)以組播方式交付至有線電視機(jī)房，最終由浪潮機(jī)頂盒輸出至終端設(shè)備功率放大器和Soundbar進(jìn)行重放。

圖6 杜比DD+透?jìng)鳒y(cè)試流程

本次測(cè)試主要模擬當(dāng)電視信號(hào)需要照顧立體聲、環(huán)繞聲和三維聲時(shí)，如何解決多種不同版本音頻PGM聲道排布問(wèn)題。由于2021年央視春晚除了有標(biāo)清、高清和4K、8K頻道的立體聲和環(huán)繞聲播出信號(hào)外，還需要制作新媒體版本的三維聲音頻信號(hào)。按照現(xiàn)有聲道排布要求，音頻軌的前8聲道內(nèi)容為5.1+2。當(dāng)再增加三維聲版本的16聲道時(shí)（Bed+Object+元數(shù)據(jù)），立體聲、環(huán)繞聲和三維聲版本的音頻軌道總數(shù)已經(jīng)超過(guò)16軌，勢(shì)必對(duì)現(xiàn)有演播室音視頻系統(tǒng)提出更高的要求（加嵌器通常只支持16軌音頻聲道加嵌）。

現(xiàn)階段的做法是，將16軌的三維聲版本信號(hào)在前端制作域進(jìn)行壓縮編碼，以保證送至視頻系統(tǒng)加嵌器的聲道數(shù)量保持在可用范圍以?xún)?nèi)。本次8K超高清透?jìng)鞫疟葴y(cè)試的16軌音頻PGM輸出信號(hào)通過(guò)DP591編碼后（碼率格式為448 Kb/s的DD+JOC音頻信號(hào)，占用兩聲道數(shù)字音頻）放置在音頻PGM信號(hào)的9/10路送至視頻系統(tǒng)。通過(guò)驗(yàn)證機(jī)頂盒終端解碼重放的音頻格式和內(nèi)容，與前端制作域傳輸編碼的格式和內(nèi)容一致，如圖7所示，證明8K超高清制作鏈路對(duì)Dolby Atmos三維聲節(jié)目透?jìng)鳠o(wú)誤。

圖7 杜比DD+透?jìng)髦两K端解碼的測(cè)試

4 總結(jié)

2021年8K版央視春晚節(jié)目制作調(diào)試期中，對(duì)包括基于MPEG-H LC和華為增強(qiáng)層編碼的C3DA三維聲技術(shù)，以及基于DD+編碼的Dolby Atmos三維聲技術(shù)分別進(jìn)行了驗(yàn)證測(cè)試。經(jīng)過(guò)1個(gè)月的測(cè)試工作，可以看到目前三維聲制播技術(shù)全鏈路已打通，兩種三維聲編碼信號(hào)均能被正常透?jìng)?、解碼，并且正確讀取元數(shù)據(jù)信息。另外，本次測(cè)試還成功驗(yàn)證了C3DA三維聲技術(shù)通過(guò)元數(shù)據(jù)提前預(yù)設(shè)相關(guān)參數(shù)，在機(jī)頂盒UI界面中自由切換聲音對(duì)象、調(diào)節(jié)對(duì)白音量、改變音頻元素在重放環(huán)境中的位置等，可以為終端用戶(hù)提供個(gè)性化聲音效果的交互功能。

通過(guò)探索合理的三維聲制播方案，聯(lián)合芯片研發(fā)、平臺(tái)服務(wù)，解決有線終端和移動(dòng)終端的超高清三維聲傳輸及呈現(xiàn)，為觀眾呈現(xiàn)更加精彩的沉浸式觀看體驗(yàn)。