數(shù)字音頻插件的智能化發(fā)展趨勢(shì)

湯偉彬

(中國(guó)傳媒大學(xué)，北京 100024)

在當(dāng)今的數(shù)字音頻時(shí)代，絕大部分的音樂(lè)、影視混錄工程師、現(xiàn)場(chǎng)擴(kuò)聲調(diào)音師，都離不開(kāi)多樣化、強(qiáng)大且便利的各類(lèi)數(shù)字音頻插件。數(shù)字音頻插件在一代代音頻工程師的努力下，從開(kāi)始單純用算法去模仿模擬設(shè)備，如老派經(jīng)典的均衡器、壓縮器、機(jī)械式混響器等，到可以使用脈沖響應(yīng)技術(shù)進(jìn)行逼真模擬聲學(xué)空間特征，以及對(duì)模擬電路建模仿真；再到如今音頻處理的自動(dòng)化、智能化。數(shù)字音頻插件正以其強(qiáng)大優(yōu)勢(shì)得到越來(lái)越多的應(yīng)用，映射出音頻行業(yè)發(fā)展的軌跡。

所謂智能化，是指事物在網(wǎng)絡(luò)、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)的支持下，所具有的能滿足人的各種需求的屬性[1]。而在專(zhuān)業(yè)音樂(lè)創(chuàng)作、音頻制作領(lǐng)域，各種插件的智能化屬性正日益突顯，自動(dòng)分析音頻信號(hào)并理解音頻工程師的意圖與預(yù)期進(jìn)行繁瑣復(fù)雜而又高效率處理的能力不斷提升。各類(lèi)智能化數(shù)字音頻處理軟件（可以在操作系統(tǒng)下獨(dú)立運(yùn)行并處理）或插件（必須在數(shù)字音頻工作站中運(yùn)行），如雨后春筍般地出現(xiàn)，并不斷推陳出新。例如，在基于多層神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)的人工智能作曲、歌聲合成方面，已有較為成熟的Amper、AIVA、Jukedeck、Humtap、鯨鳴等獨(dú)立軟件平臺(tái)，集作詞、作曲、編曲、修音為一體；在基于大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)的人工智能音頻分析、處理方面，有Zynaptiq Unveil、iZotope、PhonicMind等插件，可實(shí)現(xiàn)去混響、分離人聲及樂(lè)器等功能。

在本文中，筆者主要對(duì)近年來(lái)涌現(xiàn)的用于編輯、處理、控制的在數(shù)字音頻工作站中運(yùn)行的插件的性能和使用方法進(jìn)行分析與討論，為音頻工作者提供較新的技術(shù)參考。

1 音頻編輯與修復(fù)的智能化

1.1 校準(zhǔn)對(duì)齊插件

相關(guān)信號(hào)間的相位關(guān)系的校準(zhǔn)處理一直是音頻工作者日常工作中不可忽視的問(wèn)題，諸如現(xiàn)場(chǎng)擴(kuò)聲環(huán)境下?lián)P聲器系統(tǒng)的擺放，錄音棚中對(duì)一件樂(lè)器采用多傳聲器的拾音，影視同期聲錄音使用多傳聲器拾音等。對(duì)此，傳統(tǒng)的數(shù)字音頻插件要進(jìn)行信號(hào)間梳狀濾波、相位干涉等問(wèn)題的處理，如Waves的相位修正插件InPhase（見(jiàn)圖1）、現(xiàn)場(chǎng)擴(kuò)聲處理插件Sub Align（見(jiàn)圖2），它們均是通過(guò)波形顯示的輔助手段，人為觀察并仔細(xì)調(diào)整延時(shí)量，以達(dá)到相位校準(zhǔn)的目的。

圖1 Waves的InPhase插件

圖2 Waves的Sub Align插件

在2010年、2018年相繼問(wèn)世的Sound Radix的Auto-Align、Auto-Align Post（傳聲器定位插件），采用了信號(hào)自動(dòng)探測(cè)與自適應(yīng)技術(shù)，無(wú)需觀察波形，僅用手動(dòng)拖拽方式，使得工作效率大大提高。如圖3所示，當(dāng)前的一個(gè)混音工程中有三軌素材，分別是底鼓內(nèi)鼓皮、底鼓外鼓皮、底鼓超低，只需將該插件插入到這三軌，在其內(nèi)部總線分別設(shè)置為SEND1、RECV1、RECV1，隨后點(diǎn)擊后兩者的DETECT并播放，Auto-Align在短短幾秒鐘內(nèi)就能計(jì)算并自動(dòng)補(bǔ)償采樣點(diǎn)精度的相位差（圖3中右上角所示，分別為40、20個(gè)采樣點(diǎn)，也可以切換為毫秒、厘米、英尺的單位），達(dá)到理想的相位對(duì)齊。從中央的頻譜相位表可以看到各頻率的相位差基本為正，而從聽(tīng)感上也能明顯感覺(jué)到梳狀濾波效應(yīng)的改善，低頻顯著提升。特別是Audio Suite的Post版本，還可以根據(jù)傳聲器移動(dòng)、環(huán)境改變，分區(qū)塊進(jìn)行自動(dòng)適配，使后期制作的聲音修復(fù)和處理向智能化邁進(jìn)。

圖3 Avid Pro Tools AAX AudioSuite的插件Auto-Align

圖4 音頻對(duì)齊插件VocAlign

除了相位校準(zhǔn)之外，音頻素材的時(shí)間對(duì)齊與同步也是縮混編輯環(huán)節(jié)中經(jīng)常讓人頭痛的問(wèn)題，有時(shí)多達(dá)幾十軌的人聲素材、樂(lè)器素材、影視同期聲素材需要花費(fèi)數(shù)個(gè)小時(shí)進(jìn)行整理。在1995年，Synchro Arts作為業(yè)界知名的音頻對(duì)齊技術(shù)研發(fā)者，推出第一代算法的VocAlign（見(jiàn)圖4）。其用法很簡(jiǎn)單，選中要與之對(duì)齊的目標(biāo)軌道作為GUIDE軌，再依次選擇需要整理的素材軌道進(jìn)行渲染處理，該插件便會(huì)根據(jù)波形形狀進(jìn)行對(duì)齊。不過(guò)其局限性也較為明顯，處理素材的長(zhǎng)度不能超過(guò)120 s，一次只能對(duì)齊一軌。直到2012年，基于第三代算法與機(jī)器學(xué)習(xí)的Revoice Pro獨(dú)立軟件問(wèn)世（見(jiàn)圖5），可以在合理范圍內(nèi)同時(shí)處理無(wú)限數(shù)量音頻軌道，沒(méi)有素材長(zhǎng)度限制，并且根據(jù)信號(hào)的性質(zhì)匹配最優(yōu)算法。這種智能化的對(duì)齊方式，將幾小時(shí)繁重枯燥的編輯工作簡(jiǎn)化為導(dǎo)入，點(diǎn)擊對(duì)齊即可，區(qū)區(qū)數(shù)秒。

1.2 更聰明的補(bǔ)救插件

與錄音棚錄高質(zhì)量音頻素材不同，對(duì)于現(xiàn)場(chǎng)擴(kuò)聲、影視同期聲的音頻素材通?；蚨嗷蛏贂?huì)存在如環(huán)境噪聲、臟混響、可聞失真、風(fēng)聲、噴麥碰麥、哼聲等各種問(wèn)題，而解決這些問(wèn)題的傳統(tǒng)數(shù)字音頻插件雖然不勝枚舉，但大部分基于普通的均衡處理以及側(cè)鏈壓縮等技術(shù)，結(jié)果往往不夠人性化與自然。

圖5 Revoice Pro獨(dú)立軟件

圖6 音頻修復(fù)獨(dú)立軟件RX 7

自2012年始，許多廠家開(kāi)始陸續(xù)推出較為智能化的音頻修復(fù)類(lèi)插件，如Accusonus的ERA 4 Pro套裝包含去混響、去噴麥、去嘶聲等模塊，Klevgrand的適應(yīng)多系統(tǒng)（iOS、PC）的降噪插件Brusfri，Waves的自適應(yīng)實(shí)時(shí)噪聲抑制插件NS1，以及具有編碼恢復(fù)、梳狀濾波修復(fù)的插件Zynaptiq等。在2018年年底，iZotope推出了新一代的基于機(jī)器學(xué)習(xí)的音頻修復(fù)軟件RX7(見(jiàn)圖6)，與上一代的RX6相比，RX7不僅開(kāi)發(fā)了更多的功能，還將機(jī)器學(xué)習(xí)算法普及到了各個(gè)模塊當(dāng)中，將音頻修復(fù)推上智能化處理的高度。

RX7除了作為獨(dú)立的音頻處理軟件外，還可以在任意的數(shù)字音頻工作站中加載其單獨(dú)模塊的數(shù)字音頻插件。如圖7的Dialogue De-reverb與Dialogue Isolate（對(duì)白去混響與分離）功能不需要像傳統(tǒng)的去混響插件需要加載用戶(hù)提交的混響特征文件，而是通過(guò)機(jī)器學(xué)習(xí)算法分離出對(duì)白與混響的成分，用戶(hù)只需要通過(guò)簡(jiǎn)單的調(diào)整Sensitivity(靈敏度越高，去除的混響成分越多，但是可能會(huì)降低對(duì)白的清晰度)、Reduction(衰減量越大，去除的混響信號(hào)越多)、Ambience preservation(環(huán)境特征比例，決定了環(huán)境相關(guān)的背景噪聲的保留程度，該比例越高時(shí)，環(huán)境噪聲越明顯，但是有可能將不想要的混響信號(hào)也識(shí)別成環(huán)境噪聲)就可以達(dá)到理想的效果。

另外，RX7最新的Music Reblance（音樂(lè)重平衡）功能（見(jiàn)圖8），是對(duì)已經(jīng)縮混完畢的立體聲格式音頻進(jìn)行重塑的手段。它摒棄了傳統(tǒng)的利用左右聲道反相消除人聲或者低頻樂(lè)器的原理，利用機(jī)器學(xué)習(xí)算法去直接分離出人聲、貝司、打擊樂(lè)組、其他樂(lè)器4個(gè)聲部，不僅可以?xún)H通過(guò)4個(gè)推子進(jìn)行單一聲部的衰減與提取，還可以重構(gòu)聲部間的平衡，這在以前是無(wú)法做到的。

在RX7中可有三種不同的算法供選擇：

（1）Channel Independent——在該模式下，RX7會(huì)忽略聲道間的相關(guān)性，直接對(duì)每一個(gè)聲道先處理再合并，速度最快的獨(dú)立聲道處理模式，適合實(shí)時(shí)預(yù)覽；

圖7 RX7的對(duì)白去混響與分離功能

圖8 RX7的音樂(lè)重平衡功能

（2）Joint Channel——先對(duì)多聲道文件進(jìn)行預(yù)合并處理，通常相關(guān)性強(qiáng)的文件為佳，再確定整體的特征性參數(shù)，這種方式的音頻質(zhì)量會(huì)比（1）算法高很多；

（3）Advanced Joint Channel——適合高采樣率的音頻格式文件以及不以440 Hz為標(biāo)準(zhǔn)音的音樂(lè)作品等，算法最復(fù)雜，處理質(zhì)量最高。

2 頻率與動(dòng)態(tài)處理的智能化

縱觀模擬域與數(shù)字域的音頻信號(hào)處理單元，對(duì)設(shè)備更完善、更強(qiáng)大、更智能的追求就未曾停止過(guò)。20世紀(jì)90年代初期，各類(lèi)模擬音頻設(shè)備無(wú)論是可調(diào)參數(shù)還是處理能力都已經(jīng)非常成熟，如BSS DPR 901的多段壓縮開(kāi)始出現(xiàn)；數(shù)字域的新秀TC M5000也擁有了MD2（Message-Digest）算法的母帶多段壓縮功能，這給許多數(shù)字音頻工程師也帶來(lái)了啟發(fā)。之后，McDSP、HOFA等廠家?guī)缀跤谕粫r(shí)間發(fā)布了首批動(dòng)態(tài)均衡器，使得音頻信號(hào)處理從單一的“靜態(tài)”化開(kāi)始向“動(dòng)態(tài)”化轉(zhuǎn)變。到了2020年，多段壓縮、動(dòng)態(tài)均衡也已成為了傳統(tǒng)的處理方式，頻率與動(dòng)態(tài)范疇間的關(guān)系與處理正變得更加緊密與智能化。

2.1 Sonible-smart系列

Sonible公司于2019年推出了三款基于智能化的自適應(yīng)數(shù)字均衡器與壓縮器插件：smart: EQ live（見(jiàn)圖9）、smart:EQ 2（見(jiàn)圖10），smart:comp（見(jiàn)圖11）。

smart:EQ 2和smart: EQ live這兩款均衡器處理插件，除了live版本有零延遲功能以及在UI（User Interface）設(shè)計(jì)、鍵位布局上更適合現(xiàn)場(chǎng)擴(kuò)聲的工作人員使用之外，沒(méi)有區(qū)別。除了基本的均衡器功能外，重要的特點(diǎn)是如果開(kāi)啟了smart模式并播放，會(huì)進(jìn)行幾秒鐘的分析運(yùn)算，該軟件便會(huì)根據(jù)當(dāng)前音頻素材的屬性與聲音變化進(jìn)行實(shí)時(shí)分析，生成一個(gè)復(fù)雜的實(shí)時(shí)變化的均衡曲線，用戶(hù)還可以自行調(diào)節(jié)該曲線的使用比例與范圍，如在衰減共振峰的同時(shí)增加底鼓的沖擊感、衰減人聲的毛躁感與可能存在的近講效應(yīng)等，適合現(xiàn)場(chǎng)調(diào)音師進(jìn)行快速的處理及提供個(gè)性化的單軌均衡參考意見(jiàn)。

smart:comp依托于智能化的處理技術(shù)，結(jié)合了時(shí)域分析壓縮技術(shù)和頻域分析壓縮技術(shù)。開(kāi)啟smart模式后，該軟件通過(guò)短時(shí)的信號(hào)分析之后，會(huì)自動(dòng)生成一套包括閾值、壓縮比、啟動(dòng)釋放時(shí)間的壓縮方案，并且會(huì)根據(jù)實(shí)時(shí)信號(hào)的變化及頻譜性質(zhì)，自動(dòng)識(shí)別并隨時(shí)調(diào)整啟動(dòng)壓縮的頻率范圍，相當(dāng)于一個(gè)有著2 000個(gè)頻段的多段壓縮器。如圖11所示，當(dāng)前在一個(gè)人聲軌上使用了smart:comp壓縮器，上半部分是經(jīng)過(guò)機(jī)器學(xué)習(xí)得到的時(shí)域壓縮方案，閾值為-33 dB，壓縮比為2:1，啟動(dòng)時(shí)間為50 ms，釋放時(shí)間為73 ms，增益衰減量大約是-6 dB，比較適合當(dāng)前這個(gè)搖滾風(fēng)格的音樂(lè)。而從下半部分的頻域壓縮可以看出，該壓縮器主要對(duì)500 Hz～1 kHz的信號(hào)（即圖中發(fā)亮部分）進(jìn)行壓縮，其他頻段的信號(hào)的壓縮量按比例進(jìn)行衰減。

2.2 Soundtheory-Gullfoss均衡器

Soundtheory團(tuán)隊(duì)經(jīng)過(guò)14年的理論研究，于2018年發(fā)布了它們目前唯一的一款產(chǎn)品Gullfoss均衡器（見(jiàn)圖12）。這個(gè)數(shù)字音頻處理軟件使用的是一種受量子理論和數(shù)學(xué)方法（例如非交換代數(shù)、微分幾何和信息論）啟發(fā)的信號(hào)處理替代方法、與以往采用的技術(shù)完全不同，沒(méi)有使用神經(jīng)網(wǎng)絡(luò)、等響曲線、傳統(tǒng)的DSP方法或機(jī)器學(xué)習(xí)算法，而是采用了純粹的計(jì)算機(jī)聽(tīng)覺(jué)感知仿真技術(shù)。

圖9 smart:eq live

圖10 smart:EQ 2

圖11 smart:comp

圖12 Gullfoss均衡器

Gullfoss均衡器和傳統(tǒng)的數(shù)字均衡器完全不同，無(wú)法自行處理任何頻點(diǎn)，只能通過(guò)紅色選框來(lái)選擇需要處理的頻段，其本質(zhì)是根據(jù)音頻信號(hào)進(jìn)行實(shí)時(shí)優(yōu)化。可調(diào)整的參數(shù)只有上方欄中的5個(gè)參數(shù)：Recover/Tame（控制所有參數(shù)的主導(dǎo)方向）、Bias/Brighten（根據(jù)音樂(lè)風(fēng)格調(diào)整亮度和暗度）、Boost（根據(jù)聽(tīng)覺(jué)特性進(jìn)行不同的頻率增益），其他界面均為儀表和頻譜變化圖。通過(guò)調(diào)整上述5個(gè)參數(shù)，Gullfoss可以做到根據(jù)素材特性進(jìn)行頻率處理，如圖12所示，在一個(gè)人聲軌上使用Gullfoss，將處理頻段設(shè)置為6 kHz～20 kHz，通過(guò)聽(tīng)感將TAME設(shè)置到了52%，Gullfoss會(huì)對(duì)該頻段進(jìn)行智能衰減，基本去除了不需要的嘶聲成分，之后再通過(guò)Bias和Brighten補(bǔ)充一些高頻，結(jié)果非常自然。除此之外，Gullfoss還可應(yīng)用于母帶均衡階段，以及聲音設(shè)計(jì)和5.1環(huán)繞聲處理。

3 全局控制的智能化

音頻后期制作本質(zhì)上是基于精神的藝術(shù)創(chuàng)作行為，它融合了音頻工作者的審美與經(jīng)驗(yàn)，那么是否智能化的手段和設(shè)備可以從更高的層面代替人為的抉擇與判斷呢？

圖13 現(xiàn)場(chǎng)樂(lè)隊(duì)錄音分軌

圖14 Nectar 3和Neutron 3的實(shí)時(shí)音頻處理

iZotope作為數(shù)字音頻軟件廠商中人工智能與機(jī)器學(xué)習(xí)技術(shù)的代表，一直以來(lái)都專(zhuān)注于如何將音頻處理變得更加智能化。截止到2019年底，其軟件產(chǎn)品線中有3款都擁有Assistant（智能助手）功能（不包括音頻修復(fù)RX 7的獨(dú)立程序助手）：Ozone 9（智能母帶處理插件）、Neutron 3（智能混音處理插件）、Nectar 3（人聲智能處理插件）。下面以一個(gè)實(shí)際的例子看看，一個(gè)混音工程是如何不需要音頻工程師創(chuàng)造性思維的介入而完成的。

如圖13所示，為一現(xiàn)場(chǎng)樂(lè)隊(duì)錄音分軌，由常規(guī)的鼓組、貝司、人聲、電吉他、鍵盤(pán)構(gòu)成。現(xiàn)在在人聲軌道插入Nectar 3、其他所有軌道插入Neutron 3（如圖14），為軌道選定樂(lè)器類(lèi)型后（也可以讓其自動(dòng)識(shí)別），點(diǎn)擊Assistant鍵并播放，Nectar 3和Neutron 3會(huì)實(shí)時(shí)對(duì)音頻進(jìn)行分析并自動(dòng)為軌道做出相應(yīng)的均衡、壓縮、去嘶聲、激勵(lì)、頻譜優(yōu)化、混響等處理，直接完成所有的單軌混音音色處理的操作。

接下來(lái)，進(jìn)行音量與聲像處理。在所有軌道上插入Relay 2插件，這是Neutron 3插件的組成之一，目的是將所有軌的音頻信號(hào)送入到插件的內(nèi)部總線上，從而進(jìn)行分析。隨后，打開(kāi)Neutron 3，點(diǎn)擊Balance Assistant（平衡智能助手），這里將會(huì)展示出所有已經(jīng)準(zhǔn)備好分析的軌道，如圖15所示。在這里需要選擇重點(diǎn)關(guān)注的軌道，例如吉他獨(dú)奏、人聲獨(dú)唱等，進(jìn)一步增加分析的權(quán)重程度。最后，再點(diǎn)擊開(kāi)始監(jiān)聽(tīng)，并將工程文件從頭播放一遍，在此過(guò)程中，Neutron 3會(huì)基于音樂(lè)風(fēng)格進(jìn)行相應(yīng)的全局音量調(diào)整與聲像設(shè)置。結(jié)果可以通過(guò)VISUAL MIXER（可視化虛擬混音插件）來(lái)查看最終的結(jié)果并進(jìn)行進(jìn)一步微調(diào)，如圖16所示。

圖15 Relay 2插件的音量與聲像處理

圖16 VISUAL MIXER插件的混音微調(diào)

圖17 Ozone 9的編碼預(yù)覽功能

最后，在總線上加載Ozone 9，點(diǎn)擊Master Assistant（母帶智能助手）并播放，該軟件將對(duì)混音作品進(jìn)行整體分析，從聲場(chǎng)、頻率、動(dòng)態(tài)等方面做全自動(dòng)化母帶處理。值得一提的是，Ozone 9還提供了Intelligent Release Control(IRC)母帶算法。其中，最復(fù)雜的IRC IV，在已有的智能釋放控制算法上，加入了頻譜整形功能以減少失真和抽吸效應(yīng)，并且對(duì)于高于閾值的信號(hào)，IRC IV算法會(huì)根據(jù)不同的頻率內(nèi)容來(lái)限制峰值，并從心理聲學(xué)的角度減少不同頻率成分之間的掩蔽。IRC IV還提供了三種不同的處理風(fēng)格供選擇：Classic（Ozone的傳統(tǒng)算法，有一定的諧波色）；Modern（較前者有更好的清晰度）；Transient（一種對(duì)瞬態(tài)進(jìn)行保留的優(yōu)化算法，清晰度最佳）。除此之外，Ozone 9還有編碼預(yù)覽功能，可以直接對(duì)最后的成品進(jìn)行客觀的分析，如圖17所示。

在上述過(guò)程中，音頻工程師利用一系列的智能化數(shù)字音頻軟件，只需要幾次簡(jiǎn)單的點(diǎn)按操作，無(wú)需主觀創(chuàng)造性的處理介入，并且處理結(jié)果可以接受。近幾年，除了數(shù)字音頻軟件之外，也涌現(xiàn)了許多被稱(chēng)為“黑匣子”的在線混音、母帶處理網(wǎng)站，上傳提交，返還結(jié)果，如AI Mixing、AI Mastering、LANDR等，更為簡(jiǎn)單直接。

4 結(jié)束語(yǔ)

從上述音頻處理軟件的發(fā)展變化看，數(shù)字音頻軟件的智能化、網(wǎng)絡(luò)化的趨勢(shì)愈加顯現(xiàn)。作為音頻行業(yè)的從業(yè)人員，應(yīng)該開(kāi)拓新思維，掌握新理念，勇于嘗試新技術(shù)。同時(shí)，也不要過(guò)度依賴(lài)智能化的設(shè)備、軟件等工具，無(wú)論以后數(shù)字技術(shù)的智能化發(fā)展到哪種程度，它們提供的始終是參考價(jià)值，對(duì)聲音的決定權(quán)一定是掌握在自己手中。