《城市迷陣》： “虛擬現(xiàn)實(shí)”聲空間的設(shè)計(jì)與塑造

秦 毅，周 東，翁若倫

(上海音樂學(xué)院 音樂工程系，上海 200031)

《城市迷陣》是一部“音樂跨媒體劇場行為”作品，是2015年8月上演于上海二十一世紀(jì)民生美術(shù)館的“聲立方”——超感官空間的一個(gè)章節(jié).

作品講述一個(gè)關(guān)于上海的記憶迷陣，在這里，過去、現(xiàn)在與未來交織在一起，夢幻與現(xiàn)實(shí)之間的界線變得模糊.城市聲音帶著觀眾穿梭在這其中，而聽到的遠(yuǎn)比聲音本身要多得多.

本篇論文將著重討論該作品是如何塑造“虛擬-現(xiàn)實(shí)”的情境式劇場空間，尤其從聽覺角度予以剖析.

1 整體設(shè)計(jì)

該作品由說唱演員與扮成工人的打擊樂演員所構(gòu)成的現(xiàn)場表演以及3D音頻、影像、手機(jī)裝置、燈光等多媒體手段所構(gòu)成的虛擬現(xiàn)實(shí)，形成全方位的沉浸式互動關(guān)系.以劇場的形式建構(gòu)一場關(guān)于城市聲音的“時(shí)空旅行”[1-2].

作品在一個(gè)由美術(shù)展廳改建而成的空間中演出.舞臺區(qū)設(shè)于斜角45°空間內(nèi)，在近似220cm×190cm的方形場地內(nèi)，將舞臺和音控區(qū)放置在對角線上，將中間大片的區(qū)域都留給聽眾以及非舞臺的演出區(qū)域，以供演員進(jìn)行劇場行為的表演.

圖1 劇場布局的示意圖Fig.1 The diaggram of the layout of the theater

在場館內(nèi)，上下共設(shè)置了3層揚(yáng)聲器.第1層為高密度圈，與人耳齊高，達(dá)到聚焦定位效果；而密度較低的第2層，用于增加延伸感，達(dá)到與上層音箱圈的平滑過度感；第3層揚(yáng)聲器分布于頂層，從頂部全方位包圍觀眾.此外，整個(gè)演出場所還做了吸聲處理，以利于整體3D音響的定位[3].劇場的布局如圖1所示.

2 不同類型聲音的處理

在《城市迷陣》中，我們采用的是基于對象(object)的3D聲音處理以及“虛擬-現(xiàn)實(shí)”的聽覺情境構(gòu)建.以下是該作品中最重要的4種聲源對象.

2.1 真實(shí)聲音的再現(xiàn)

這一類聲音本身幾乎沒有經(jīng)過加工，剪切、拼貼和聲音位置的變化是僅有的創(chuàng)作手段.我們的想象是基于對現(xiàn)實(shí)認(rèn)識的，因此要塑造一個(gè)虛擬的空間，就必須給予這個(gè)空間與真實(shí)空間的聯(lián)系.這些聲音如同真實(shí)空間的地標(biāo)，使虛擬的空間更加可信、親切，這類聲音包括地鐵報(bào)站、腳步與喘息聲、演員的耳語、視頻中出現(xiàn)的人物對話、叫賣及相應(yīng)音效等，其作用會在后文中談到.

2.2 對真實(shí)聲音的變形處理

由于作品中需要營造多層的迷陣空間，所以需要很多變形的聲音來構(gòu)建不同層的空間.按處理后的辨認(rèn)度來分： 一類是雖然進(jìn)行了濾波、混響以及播放速度的變化，但總體保持了聲音語意的辨識度，這些音頻處理也同時(shí)用于表達(dá)特定的“時(shí)間”或“空間”，如來自未來的新聞播報(bào)，又如在作品中出現(xiàn)的很多標(biāo)志性的“叫賣調(diào)”，對其采用混響和高頻的濾波營造出不同的距離感，配合空間化處理；另一類是把上海市井的聲景進(jìn)行“背景”化處理，其中部分經(jīng)過了長時(shí)間的混響和長時(shí)間、較高反饋的延遲處理，作為一個(gè)類似音色墊的，感覺極為遙遠(yuǎn)、恍惚的聲音素材，在觀眾席后方及兩側(cè)半包圍出現(xiàn).在處理過程中我們也通過壓縮、限幅等效果器減弱這個(gè)素材的動態(tài)，對于自然聲景中特別突出的聲響進(jìn)行人為的刪減，使得總體聽感更為平穩(wěn)，同時(shí)也削減其中傳達(dá)的具體的語義信息.此外，還有一些音頻處理是用于表達(dá)特定的“時(shí)間”或“空間”，如來自未來的新聞播報(bào)等.

2.3 音效類音響

這部作品將一些具有記憶引導(dǎo)的音效作為時(shí)空變化的結(jié)構(gòu)點(diǎn)，不僅在不同的情景之間起到了承上啟下的作用，同時(shí)又為總體的虛擬空間帶來統(tǒng)一性.這類音效往往伴有極其顯著的聲音位置變化，讓聽眾對下一種音響效果迅速地有所準(zhǔn)備，也帶來了敘事意義上的時(shí)空轉(zhuǎn)換.

在無數(shù)地鐵列車的情景之后，聽眾的頭頂將“開”過一輛飛馳的老式電車.這個(gè)聲音來自加速5倍的電車錄音，作為一個(gè)點(diǎn)聲源在3s不到的時(shí)間內(nèi)從音響陣列的上方的最后面，飛速移動到最前方.作為城市公共交通的早期代表，老式電車不僅在城市運(yùn)行的角色上，也在聲音上和地鐵有著相似之處.這令兩種聲音的銜接非常自然，但電車聲出現(xiàn)之后獨(dú)特的空間化處理使這個(gè)聲音特別引人注目，也帶出了瞬間增加的年代感.

承接滑稽戲演員的“滬語rap”與最后的濕地陣雨的是一聲振聾發(fā)聵的驚雷.這個(gè)雷聲也是整個(gè)作品乃至這套波場合成技術(shù)(Wave Field Synthesis, WFS)系統(tǒng)播放過的上下移動最快的點(diǎn)聲源——1s內(nèi)在音響陣列中間靠前的位置完成了從最頂層到最底層的移動.這種移動與自然界中的雷聲并無相似之處，但正是這種空間化處理上的差別，讓聽眾意識到這不只是一聲普通的雷，而是一個(gè)信號，預(yù)示著城市高度發(fā)展后所需要警醒的后果，也完成了瞬間回到上海灘形成之初的心理旅程.

2.4 現(xiàn)場直達(dá)聲

除了回放的電子音樂，現(xiàn)場演員的表演也是聲音環(huán)境中的重要部分.一名滑稽戲演員同時(shí)承擔(dān)了臺詞表演和與觀眾互動的任務(wù)，他的語言聲經(jīng)由無線麥克風(fēng)拾音，在觀眾席前方的兩個(gè)對稱點(diǎn)作為點(diǎn)聲源擴(kuò)聲.

4位打擊樂演奏員在作品的不同部分分別扮演居委會工作人員、回收廢品人員和建筑工人.他們的語言聲和現(xiàn)場演奏并不通過音箱擴(kuò)聲，但由于他們的表演位置貫穿整個(gè)觀眾區(qū)，同樣可以作為移動的點(diǎn)聲源看待.

3 基于設(shè)計(jì)場景的空間維度構(gòu)建

我們在《城市迷陣》中，基于敘事腳本，以不同聲音空間層次的設(shè)計(jì)與安排為重要的切入點(diǎn)，構(gòu)建作品的“虛擬-現(xiàn)實(shí)”的3D聽覺情境[4].下面以3個(gè)情境為例來介紹.

3.1 “空間迷失”

這是作品的起始部分，地鐵報(bào)站聲音首先依稀出現(xiàn)在聽眾上方的前、后、左、右，隨后出現(xiàn)頻率加劇，并且每次都有不同的聲音位置，不再僅限于聽眾上方，而是在全場布滿點(diǎn)聲源呈環(huán)形包圍聽眾，加上地鐵線路、站名的不同，短時(shí)間內(nèi)就營造了一種將真實(shí)空間解構(gòu)后重新拼貼的氛圍，使觀眾有被迷失在一個(gè)陌生空間中的錯覺.

而腳步與喘息聲塑造了一個(gè)奔跑的人物形象，而這個(gè)只可聽不可見的人物，給了聽眾極大的想象.而稍后出現(xiàn)的演員又會與這個(gè)形象重合，宣告這才是聲音的主人.由于演員即將從聽眾“看不見”的地方走入聽眾的視野，腳步與喘息聲的空間設(shè)計(jì)是從觀眾背后下方，逐漸向觀眾的高度和觀眾面前的方位移動的.

地鐵報(bào)站聲的環(huán)形還有一個(gè)由大到小、由四周到中心的收縮過程，而這一過程與腳步聲從后到前的過程緊密配合.當(dāng)腳步聲到達(dá)觀眾席前半部分時(shí)，地鐵的報(bào)站聲也收縮到最里圈，素材出現(xiàn)頻率達(dá)到最密集的狀態(tài).然后，加速的電車在最上方從后向前呼嘯而過，在這一幕的高點(diǎn)直接進(jìn)入下一情景.

“空間迷失”場景聲音的空間化運(yùn)動如圖2所示.

3.2 “虛擬夢境”

這個(gè)情境主要由經(jīng)處理的“街道聲景”、“叫賣調(diào)”以及演員耳語的直接聲這3類聲音共同構(gòu)建.這三者雖都源自于我們的日常生活，但各自代表著這個(gè)空間的“虛”、“實(shí)”、“過去”與“現(xiàn)在”.街道聲景是這個(gè)場景中最為遙遠(yuǎn)、模糊的背景，它在觀眾席后方呈半包圍狀；叫賣調(diào)則是在觀眾席四周緩慢移動，作為中景；演員的耳語離觀眾最近，但依然呈現(xiàn)離散的狀態(tài)，共同形成了一種夢幻、飄渺的意境.

“我搞糊涂了”“這怎么那么像我小時(shí)候”等耳語在錄音棚中錄制，并以幾乎純干聲的方式在演出中回放，給聽眾超近距離的聽覺感受.同時(shí)，這也承載著一部分作品的敘事功能.耳語的頻率也是人類語言聲中較高的，這個(gè)頻率的聲音定位非常明顯，不需要很高的密度就能使聽眾感受到來自各個(gè)方位的聽覺刺激.與腳步、喘息聲呼應(yīng)，耳語聲也有一個(gè)從后向前移動的趨勢，但比腳步、喘息聲更為自由，左右、上下的變化非常豐富.

叫賣調(diào)全部作為點(diǎn)聲源安排在全場各個(gè)方位，在回放的同時(shí)聲源緩慢地在水平方向上移動，是一種對現(xiàn)實(shí)生活中商販邊走邊唱情景的重現(xiàn)，也給虛擬的空間注入了生命力.

“虛擬夢境”場景聲音的空間化運(yùn)動如圖3所示.

圖2 “空間迷失”場景聲音的空間化運(yùn)動示意圖Fig.2 The diagram of the movement of spatialized sound in scene “Lost”

圖3 “虛擬夢境”場景聲音的空間化運(yùn)動示意圖Fig.3 The diagram of the movement of spatialized sound in scene “Dream”

3.3 “城市工地”

演奏員出現(xiàn)在舞臺和觀眾席中的4個(gè)位置，而預(yù)制的虛擬樂器聲則以這4個(gè)點(diǎn)為中心，呈點(diǎn)狀向四周擴(kuò)散，幾乎將聽眾包圍.現(xiàn)場和預(yù)制的樂器都是具體的敲打物體的聲音，同時(shí)也具有一定的音效意義.個(gè)別作為音效的聲音，有著明顯、快速的位置移動，如同聲音隨著演奏員的動作飛行一般.聲音配合演奏員的肢體動作，使整個(gè)場景充滿了動感.

4 交互系統(tǒng)的應(yīng)用

在該作品中，實(shí)時(shí)交互系統(tǒng)的應(yīng)用與預(yù)制音響穿插融合，突破了時(shí)間的線性，良好的沉浸式和交互式體驗(yàn)為觀眾構(gòu)建了整個(gè)“虛擬-現(xiàn)實(shí)”的情境式空間.

《城市迷陣》的硬件部分分為3部分，硬件連接如圖4所示.

第1部分是信號輸入部分，作品中使用的是手機(jī)，手機(jī)中預(yù)制安裝了特定編寫的應(yīng)用程序采集手機(jī)內(nèi)部傳感器的信號，通過布置在場館周圍的接收器進(jìn)行收集，然后集成在一個(gè)網(wǎng)頁終端打包發(fā)送給音頻處理系統(tǒng).

第2部分是音頻處理系統(tǒng)，主要作為主音頻電腦播放的，特定聲音對象的效果疊加層，在特定時(shí)間點(diǎn)，根據(jù)現(xiàn)場內(nèi)容觸發(fā)或者由演員控制相應(yīng)的事件，或者通過手機(jī)信號實(shí)時(shí)改變相關(guān)參數(shù)，然后統(tǒng)一將數(shù)據(jù)發(fā)送至音頻核心處理器.

第3部分是視頻燈光部分，通過與主音頻電腦、交互音頻電腦架構(gòu)在同一網(wǎng)絡(luò)中，達(dá)到同步音樂事件與聲音對象，實(shí)時(shí)反映相關(guān)視頻燈光事件.

圖4 硬件連接示意圖Fig.4 The diagram of the connection of hardwares

作品的音頻交互電腦的主控制界面主要分為4個(gè)部分.

第1部分主要是事件編號、事件內(nèi)容、預(yù)置參數(shù)、控制器平臺設(shè)置、輸入輸出等基礎(chǔ)部分.

第2部分是手機(jī)信號接收處理部分，工作是在收到兩臺手機(jī)(a, b)的原生態(tài)信號后，根據(jù)需要進(jìn)行處理，變?yōu)閷?shí)時(shí)控制所需要的方向、力度的參數(shù)后發(fā)送.

第3部分是音頻播放.交互音頻主要由兩部分組成： 12軌道的播放器以及兩組5軌道的樣本觸發(fā)器.播放器主要負(fù)責(zé)長段的鋪底的音頻播放，樣本觸發(fā)主要是觸發(fā)復(fù)音的聲音樣本配合演出劇情.

圖5 可視化交互控制界面概覽Fig.5 The overview of the graphic user interface

第4部分是空間定位部分，這也是交互的核心部分.因?yàn)橐纛l主處理器分別接收音頻信號和位置信號，所以這里將對應(yīng)的軌道編號，逐個(gè)進(jìn)行定位或者路徑編輯.最后由一個(gè)可視化交互控制界面(圖5)直觀地表現(xiàn)觸發(fā)式樣本的位置反饋.

作品中，實(shí)時(shí)音頻交互主要用于處理以下3類事件：

1) 12軌道音頻的實(shí)時(shí)路徑空間播放

此時(shí)播放器進(jìn)行播放，12個(gè)軌道的路徑按照從遠(yuǎn)到近環(huán)繞并逐漸加速，路徑設(shè)計(jì)配合著聲音設(shè)計(jì)和現(xiàn)場演員的走位.

2) 手機(jī)a晃動改變音頻音量和環(huán)繞速度

這一部分是交由現(xiàn)場演員實(shí)時(shí)操控的，在控制開關(guān)打開之后，音頻播放器會播放兩段風(fēng)聲的音頻，但音頻的播放音量和旋轉(zhuǎn)的速度是與演員手中的手機(jī)晃動的程度從輕到重作0到1對應(yīng)的.簡單地說，演員晃動地越猛烈，風(fēng)聲就越大，轉(zhuǎn)動地就越快，反之則幾乎沒有聲音.同時(shí)這個(gè)信號還會發(fā)送給視頻電腦控制視頻的明暗.

3) 手機(jī)b晃動觸發(fā)聲音樣本加上手動觸發(fā)樣本

這一部分主要是樣本觸發(fā)聲音對象，由另外一只手機(jī)，通過晃動來觸發(fā)播放聲音樣本，切換不同的內(nèi)容；同時(shí)，在控制臺上的觸發(fā)按鍵也會根據(jù)進(jìn)度觸發(fā)幾組復(fù)音樣本，觸發(fā)的信號還會發(fā)送給燈光和視頻電腦，控制燈光的閃動和畫面內(nèi)容的切換.

致謝： 感謝霍英東教育基金會第十五屆高等院校青年教師基金基礎(chǔ)性研究課題“跨學(xué)科背景下的當(dāng)代新媒體音樂研究”(項(xiàng)目編號： 151094)以及上海音樂學(xué)院項(xiàng)目支持.

[1] KIM J H, SEIFERT U. Embodiment and agency： Towards an aesthetics of interactive performativity [C]∥Proceedings 4th Sound and Music Computing Conference.Lefkada, Greece： SMC，2007： 231.

[2] ROCCHESSO D. Explorations in Sonic interaction design [M]. Berlin, Germany： COST Office and Logos Verlag Berlin GmbH COST，2011： 11.

[3] CORTEEL E, CAULKINS T, KUHN C. A quick introduction to wave field synthesis [EB/OL]. ftp： ∥ftp.ircam.fr/pub/IRCAM/equipes/salles/download/theses/these_Etienne_Corteel.pdf.

[4] CORTEEL E, CAULKINS T. Sound Scene Creation and Manipulation using Wave Field Synthesis [EB/OL]. https：∥www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0ahUKEwihtIzL38nSAhVFJcAKHcN7ASwQFggjMAA&url=http%3A%2F%2Frecherche.ircam.fr%2Fequipes%2Fsalles%2FWFS_WEBSITE%2FDocuments%2FWFS_overview.pdf&usg=AFQjCNGYcoXLj9SahcsaTDJltoc17imgCg.