“聯(lián)覺(jué)”在新媒體聲音裝置分析中的運(yùn)用研究——以《微瀾》為例

●姜超遷

“聯(lián)覺(jué)”在新媒體聲音裝置分析中的運(yùn)用研究——以《微瀾》為例

●姜超遷

（上海音樂(lè)學(xué)院，上海，200031）

通過(guò)對(duì)中國(guó)當(dāng)代新媒體聲音裝置藝術(shù)作品《微瀾》的研習(xí)、分析，來(lái)進(jìn)一步探討我國(guó)該領(lǐng)域作品創(chuàng)作的特征特點(diǎn)，文中將“聯(lián)覺(jué)”這一概念引入到研究當(dāng)中，作為表現(xiàn)層面分析的理論支撐和切入點(diǎn)，進(jìn)而相對(duì)更為客觀地描述作品表現(xiàn)與觀者感受兩者之間的關(guān)系，也為今后該領(lǐng)域的藝術(shù)創(chuàng)作與研究提供一個(gè)新的維度。

《微瀾》；聲音裝置藝術(shù)；金平；聯(lián)覺(jué)

一、本文相關(guān)概念概述及論域界定

（一）關(guān)于“聲音裝置藝術(shù)”及論域界定

裝置藝術(shù)由來(lái)已久，始于20世紀(jì)中葉，涉及建筑、雕塑、美術(shù)、音樂(lè)等領(lǐng)域。而聲音裝置藝術(shù)則是以聲音為呈現(xiàn)主體的裝置藝術(shù)作品，這其中又涉及音樂(lè)裝置藝術(shù)與非音樂(lè)性的聲音裝置藝術(shù)兩個(gè)范疇。本文所涉及的聲音裝置是以電子音樂(lè)語(yǔ)匯作為聲音表達(dá)的核心要素，因此本文的研究也是從電子音樂(lè)作曲專業(yè)角度出發(fā)，針對(duì)電子音樂(lè)學(xué)科領(lǐng)域的新媒體聲音裝置藝術(shù)創(chuàng)作進(jìn)行研習(xí)。

（二）關(guān)于“新媒體”

新媒體是指相對(duì)于戶外、報(bào)刊、廣播、電視四大傳統(tǒng)媒體而言的“第五媒體”，例如數(shù)字廣播、手機(jī)短信、互聯(lián)網(wǎng)信息、數(shù)字電影等以數(shù)字技術(shù)為核心的媒體形態(tài)。顧名思義，新媒體裝置藝術(shù)是以數(shù)字技術(shù)為載體的裝置藝術(shù)形式，是數(shù)字科技與裝置藝術(shù)的結(jié)合，其實(shí)質(zhì)就是藝術(shù)家通過(guò)新媒體的形態(tài)或技術(shù)手段來(lái)實(shí)現(xiàn)個(gè)人創(chuàng)作意圖。

（三）關(guān)于“聯(lián)覺(jué)”

“聯(lián)覺(jué)”就是指一種知覺(jué)系統(tǒng)的刺激引起另外一個(gè)或數(shù)個(gè)其他知覺(jué)系統(tǒng)反應(yīng)所獲得的感受。例如“甜美的春風(fēng)”“冰冷的現(xiàn)實(shí)”等等，都是人體多種知覺(jué)系統(tǒng)相互影響而形成的結(jié)果，是聯(lián)覺(jué)現(xiàn)象的某種體現(xiàn)。音樂(lè)中也同樣存在著許多聯(lián)覺(jué)現(xiàn)象，大量的實(shí)踐研究表明，音樂(lè)的音高、音強(qiáng)、音長(zhǎng)、時(shí)間變化率等因素與人體的感官感受（例如大小、輕重、視覺(jué)亮度、情態(tài)興奮等）因素存在著一一對(duì)應(yīng)的聯(lián)覺(jué)關(guān)系。中央音樂(lè)學(xué)院的周海宏教授曾對(duì)這一領(lǐng)域有過(guò)系統(tǒng)性的研究和論述，他指出：音樂(lè)在某種程度而言是具有運(yùn)動(dòng)特征的。這一運(yùn)動(dòng)特征與所要表現(xiàn)對(duì)象的世界或情感的運(yùn)動(dòng)特征是相通的，以共同的特征作為中介環(huán)節(jié)，使得兩者的對(duì)應(yīng)成為可能。[1]

二、作品《微瀾》研究分析

《微瀾》是一首大型的交互式融合媒體裝置作品，應(yīng)2012年北京現(xiàn)代音樂(lè)節(jié)組委會(huì)委約而作。該作品是由中央音樂(lè)學(xué)院電子音樂(lè)中心金平教授主導(dǎo)，同時(shí)聯(lián)合來(lái)自中央美術(shù)學(xué)院交互設(shè)計(jì)實(shí)驗(yàn)室、同濟(jì)大學(xué)傳播與藝術(shù)學(xué)院、東北大學(xué)軟件學(xué)院軟件工程研究所的教授、技術(shù)人員而創(chuàng)意、研發(fā)的一個(gè)實(shí)驗(yàn)性作品?！段憽酚?012年5月19日至25日北京現(xiàn)代音樂(lè)節(jié)期間在中央音樂(lè)學(xué)院友誼廳展演。

新媒體聲音裝置作品不同于以往的傳統(tǒng)音樂(lè)創(chuàng)作，有其一定的特殊性，例如在時(shí)間因素上，打破了傳統(tǒng)結(jié)構(gòu)上從始至終的線性鑒賞規(guī)律；再如空間環(huán)境因素上，不同于以往傳統(tǒng)音樂(lè)作品，空間環(huán)境因素在作品中的地位和重要性與傳統(tǒng)作品相比大大增強(qiáng)，直接影響聲音裝置作品所呈現(xiàn)出的形態(tài)和效果，以上因素都決定了聲音裝置作品的研究分析需要另辟蹊徑，區(qū)別對(duì)待。因此，本文將嘗試通過(guò)創(chuàng)作分析（創(chuàng)作的理念、構(gòu)思）、技術(shù)分析（作品如何實(shí)現(xiàn)）、表現(xiàn)分析（作品的表現(xiàn)同觀者感官感受之間的聯(lián)系）等三個(gè)層面來(lái)對(duì)該作進(jìn)行研究。

（一）創(chuàng)作分析

初見(jiàn)《微瀾》，第一直觀感受被“藍(lán)色”二字所充斥：藍(lán)色的池水、藍(lán)色的波紋、藍(lán)色的空間……，走近《微瀾》就仿佛走進(jìn)了一方藍(lán)色、靜謐、虛幻的世界。在這片奇幻的空間中，觀者或會(huì)陡然間發(fā)現(xiàn)時(shí)代的變遷、生活節(jié)奏的加快模糊了太多的細(xì)節(jié)過(guò)程，太多應(yīng)被感知的事物已逐漸被忽略。物質(zhì)世界太過(guò)嘈雜，似乎已記不起關(guān)照內(nèi)心的寧?kù)o。在充斥感官刺激的生活中，感官卻愈加遲鈍而麻木?！段憽肥菍?duì)當(dāng)今一種社會(huì)現(xiàn)象的關(guān)注，充斥著人文關(guān)懷，它希望營(yíng)造一個(gè)凝思的時(shí)刻，或許可以凝神關(guān)注水中映出的影像，又或許在聲音的起伏中隨形態(tài)顏色而變化去體驗(yàn)?zāi)欠莼蜻h(yuǎn)或近，或濃或淡，或聚合或散去。如果輕輕撩動(dòng)水面，就會(huì)發(fā)現(xiàn)投射到水面的光影會(huì)立即折射出好似大理石紋路般的動(dòng)態(tài)光波反射到墻面，靈動(dòng)而來(lái)，隱約而去，仿佛進(jìn)入了靜謐的另一個(gè)空間。在這片刻的屏息凝視中，在視覺(jué)與聽(tīng)覺(jué)被延長(zhǎng)的歷程中，或許我們可以找尋到一種久違的狀態(tài)，找尋到那些渴望的，丟失了的能力，或許是對(duì)細(xì)節(jié)的感知，也或許是對(duì)微妙的體驗(yàn)。

《微瀾》的創(chuàng)作理念可由 “微”“瀾”二字著眼進(jìn)行深入：“微”衍生出細(xì)微、輕微、微小之意；“瀾”則給人以水的印象，同時(shí)蘊(yùn)含水的動(dòng)態(tài)。就某種層面而言僅僅“微瀾”這兩個(gè)字就已經(jīng)向觀眾傳遞了作品聲音材料的選擇和處理方式的許多信息。作品試圖通過(guò)電子音樂(lè)的音響、視頻的畫面與實(shí)時(shí)變化以及展演環(huán)境的布置等多方面因素的搭配，讓觀者的審美意識(shí)和心靈能夠暫時(shí)走出當(dāng)下忙碌生活的嘈雜與喧囂，去靜心體驗(yàn)一份久違的心之微瀾，感受那份恬靜與淡然，感受淡然中那一段沉思的時(shí)間，因?yàn)檫@一份沉思相對(duì)于生活在越發(fā)浮躁的現(xiàn)代社會(huì)里的人們而言，越來(lái)越可貴了?！段憽菲谕貌煌谋憩F(xiàn)媒介與形式同作者的音樂(lè)與理念相結(jié)合，從而形成某種“自然的默契”，將其在特定的音響空間中還原給觀者（見(jiàn)圖1、2）。

圖1

圖2

作品的音樂(lè)部分是隨著展演現(xiàn)場(chǎng)觀者位置的變化、數(shù)量的多寡實(shí)時(shí)變化的，當(dāng)觀者走進(jìn)超聲波傳感器的偵測(cè)范圍內(nèi)，音樂(lè)就會(huì)接受到觸發(fā)信號(hào)開(kāi)始演奏，水滴聲和金屬聲會(huì)隨著觀者位置的挪動(dòng)和觀者數(shù)量的變化產(chǎn)生音色、音量、音高、聲音密集度等因素的相應(yīng)變化，所以展期間的每一次音樂(lè)演奏都是不同的，有其隨機(jī)性和偶然性。從《微瀾》的聲音角度分析，其聲音構(gòu)成及語(yǔ)匯特征方面的特點(diǎn)可以概括為以下兩方面：其一，聲音構(gòu)成元素豐富、統(tǒng)一：作品主要的聲音材料有抽象化的水滴聲、金屬鐘聲以及氛圍類長(zhǎng)線條化電子音色。盡管聲音素材豐富，但其中無(wú)論是將細(xì)節(jié)無(wú)線擴(kuò)大化的水滴聲，還是悠遠(yuǎn)給人以聯(lián)想的鐘聲，再或是神秘、空靈的虛幻氛圍類電子音響，都自然的形成某種默契的和諧，塑造出一個(gè)沉靜而富有聯(lián)想的意境空間；其二，音樂(lè)語(yǔ)匯抽象化：無(wú)論是將細(xì)節(jié)無(wú)限夸張、擴(kuò)大化的水滴聲，還是悠遠(yuǎn)給人以聯(lián)想的鐘聲，盡管二者都屬于具象化的自然聲響，但均經(jīng)過(guò)了電子技術(shù)手段的抽象化處理，從而帶給人新奇、和諧的感受，由此可見(jiàn)聲音抽象化是整首作品音樂(lè)語(yǔ)匯的一個(gè)重要特征。

（二）技術(shù)分析

首先，我們先來(lái)看一下這首聲音裝置作品所需的材料：長(zhǎng)約6米寬約3米的藍(lán)色水池1個(gè)、超聲波感應(yīng)器20個(gè)、蘋果計(jì)算機(jī)2臺(tái)、攝像頭1個(gè)、投影儀3個(gè)、音箱4個(gè)、8聲道以上的調(diào)音臺(tái)1個(gè)、線材若干。

其次，再來(lái)了解這個(gè)聲音裝置的制作流程：從測(cè)量展演現(xiàn)場(chǎng)聲音裝置的占地面積、建筑高度等數(shù)據(jù)，到確定水池面積及計(jì)算機(jī)與投影儀的擺放位置，再到電源線路的布局以及暗室氛圍的營(yíng)造，最終確定了聲音裝置的設(shè)計(jì)理念、結(jié)構(gòu)形態(tài)與施工流程。在裝置搭建過(guò)程中，以顏料浸染而成的藍(lán)色池水效果的恒定性與超聲波傳感器的靈敏度是施工過(guò)程中的兩個(gè)難題，經(jīng)過(guò)反復(fù)實(shí)驗(yàn)、討論，最終確立了以藍(lán)底為水池底部背景，以及用20個(gè)傳感器相互協(xié)同工作的方案圓滿解決（見(jiàn)圖3、4）。

圖3

圖4

再次，我們來(lái)看一下聲音裝置的工作原理：當(dāng)觀者走近聲音裝置，水池周圍布置的超聲波感應(yīng)器會(huì)感應(yīng)到觀者的位置信息，偵測(cè)觀者與水池的距離，將所得到的相關(guān)數(shù)據(jù)通過(guò)Wi-Fi信號(hào)傳遞到蘋果電腦中，隨著觀者位置的遠(yuǎn)近、數(shù)量的多寡變化觸發(fā)并逐漸地引起實(shí)時(shí)音樂(lè)、影像的層次變化；安置在池邊的攝像頭會(huì)將其捕捉到的影像通過(guò)計(jì)算機(jī)和電腦投射到水面的視頻當(dāng)中，其所偵測(cè)到的場(chǎng)景變化，會(huì)實(shí)時(shí)觸發(fā)聲音與圖像的變化，將觀者的動(dòng)作變化信息即時(shí)地用于音樂(lè)、影像的觸發(fā)和組織當(dāng)中；觀眾撩動(dòng)水面時(shí)，投影儀會(huì)通過(guò)一定的角度設(shè)置，將一部分光線經(jīng)過(guò)水面的波瀾反射在展演環(huán)境的四壁之上，通過(guò)實(shí)時(shí)產(chǎn)生的動(dòng)態(tài)光波投射出美麗的光影，奇妙的音響空間、奇妙的視覺(jué)呈現(xiàn)、奇妙的互動(dòng)反饋等等這一切都形成一個(gè)整體的環(huán)境氛圍，將觀者帶入一個(gè)寧?kù)o澄澈的藝術(shù)與思想空間之中。整個(gè)裝置的軟件部分采用了Max軟件平臺(tái)，主要分為視頻和音頻兩個(gè)指令集的編寫，音頻部分的Patch（工程文件）編寫借助Max&Msp部分實(shí)現(xiàn)，視頻部分的指令編寫則通過(guò)Jitter部分完成。

綜上可以得知，《微瀾》是一首交互式的大型新媒體聲音裝置藝術(shù)作品，其技術(shù)層面的核心在于觀者與裝置的互動(dòng)。

（三）表現(xiàn)分析

為了把握作品帶給觀者的感受并探尋其根源所在，因此本文針對(duì)作品展演時(shí)的表現(xiàn)與觀者感受兩者之間的相互關(guān)系進(jìn)行了分析。由于對(duì)于觀者感受的描寫存在著無(wú)法規(guī)避的主觀性和抽象性，所以在表現(xiàn)分析這一環(huán)節(jié)中，我們引入了“聯(lián)覺(jué)”概念，通過(guò)借助音樂(lè)美學(xué)、音樂(lè)心理學(xué)學(xué)科關(guān)于“聯(lián)覺(jué)”的研究成果來(lái)更為客觀、清晰地對(duì)該層面進(jìn)行研習(xí)，避免空洞的探討，讓該層面的分析有跡可循、有理可依。該裝置作品所涉及到的觀者感官主要有視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)三種，因此我們將針對(duì)以上三種因素與視覺(jué)亮度、情態(tài)興奮度、空間感、觸感在作品當(dāng)中的聯(lián)覺(jué)現(xiàn)象進(jìn)行分析。

首先，整首作品的視覺(jué)環(huán)境是一個(gè)暗光線的視覺(jué)空間，它與全曲相對(duì)的弱音量、長(zhǎng)音符、緩慢的時(shí)間變化率以及低頻段等音樂(lè)元素存在著某種對(duì)應(yīng)關(guān)系，恰到好處的與暗光線的視覺(jué)亮度相互呼應(yīng)。在音樂(lè)聯(lián)覺(jué)實(shí)證研究理論中指出：“頻率越高的聲音，給人的感覺(jué)越亮”，而《微瀾》音樂(lè)的低頻段表現(xiàn)形式通過(guò)暗光線的視覺(jué)襯托，加強(qiáng)了觀者聽(tīng)覺(jué)與視覺(jué)間的聯(lián)覺(jué)體驗(yàn)，音量、音強(qiáng)、音長(zhǎng)、時(shí)間變化率因素的向下趨勢(shì)會(huì)給人視覺(jué)亮度由生硬到柔和的結(jié)論，從而使多方面媒介元素形成某種默契，和諧并準(zhǔn)確地引導(dǎo)著觀者的感受。

其次，為了營(yíng)造一個(gè)凝思的時(shí)刻，全曲的情態(tài)興奮度應(yīng)該是相對(duì)舒緩、沉靜的。在這個(gè)裝置作品中的情態(tài)興奮度因素與全曲相對(duì)的低頻段、低聽(tīng)覺(jué)緊張度以及低音強(qiáng)等音樂(lè)元素存在著對(duì)應(yīng)關(guān)系，以上三種音樂(lè)表情的處理都表現(xiàn)出了相對(duì)低點(diǎn)的情態(tài)興奮度，從側(cè)面表現(xiàn)出音樂(lè)聯(lián)覺(jué)實(shí)證研究理論中隨著音強(qiáng)、聽(tīng)覺(jué)緊張度、音高等因素的向下趨勢(shì)會(huì)讓人的情態(tài)興奮度處于低點(diǎn)的結(jié)論。作者有意識(shí)地加強(qiáng)各音樂(lè)元素與各媒介的統(tǒng)一、協(xié)調(diào)，從而強(qiáng)化了觀者的藝術(shù)感受，達(dá)到創(chuàng)作者的意圖所在。

再次，《微瀾》需要在觀者走進(jìn)聲音裝置的同時(shí)如同走入到了一個(gè)沉靜、微妙、充滿聯(lián)想的空間當(dāng)中，因此音樂(lè)的空間感應(yīng)該是相對(duì)寬廣、深遠(yuǎn)的。創(chuàng)作者將4個(gè)音箱分別吊頂在展演現(xiàn)場(chǎng)的高空中，形成了一個(gè)相對(duì)寬闊的音場(chǎng)空間，同時(shí)結(jié)合音樂(lè)部分中相對(duì)的低音強(qiáng)、低聽(tīng)覺(jué)緊張度等音樂(lè)表情，創(chuàng)造了一個(gè)寬廣、深遠(yuǎn)的音響場(chǎng)景。在聯(lián)覺(jué)與音樂(lè)的研究成果中有如下表述：聽(tīng)覺(jué)緊張度越低，空間容納性越高；音強(qiáng)越弱，空間距離越遠(yuǎn)?！段憽穼?duì)于音樂(lè)元素的處理都成功加強(qiáng)了觀者的聯(lián)覺(jué)體驗(yàn)，作者有意識(shí)的用音強(qiáng)、聽(tīng)覺(jué)緊張度的向下趨勢(shì)來(lái)協(xié)調(diào)空間距離、空間容納性的上升，從而塑造出一個(gè)寬廣、深遠(yuǎn)的音響空間。

另外，《微瀾》中涉及到了人的觸感，當(dāng)人走進(jìn)水池輕輕撩撥水面，會(huì)產(chǎn)生視覺(jué)呈現(xiàn)的相應(yīng)變化。水的觸感是“軟”的，而映射在四壁上的漣漪光影是“柔和”的，再配合音頻中抽象化的水滴聲音，三者相輔相成，讓觀者的觸覺(jué)、視覺(jué)、聽(tīng)覺(jué)形成了奇妙的統(tǒng)一。

結(jié) 語(yǔ)

新媒體聲音裝置藝術(shù)相對(duì)于漫長(zhǎng)的音樂(lè)發(fā)展史而言仍是一個(gè)新興的藝術(shù)形式，前文中無(wú)論是對(duì)作品《微瀾》就創(chuàng)作思路、技術(shù)手段以及表現(xiàn)分析三個(gè)層面的解構(gòu)，還是將“聯(lián)覺(jué)”這一其他學(xué)科的理論研究成果作為選題的基石和切入點(diǎn)，都是筆者對(duì)于新媒體聲音藝術(shù)裝置這種新興藝術(shù)形式的探尋和嘗試。衷心希望本文的研究能夠?yàn)橹袊?guó)新媒體聲音裝置藝術(shù)的發(fā)展添磚加瓦，為該領(lǐng)域的創(chuàng)作和研究盡一份綿薄之力，相信隨著中國(guó)快速發(fā)展的步伐，就在不久的將來(lái)，我們會(huì)迎來(lái)中國(guó)新媒體聲音裝置藝術(shù)真正的繁榮時(shí)刻。

[1]周海宏.音樂(lè)與其表現(xiàn)的世界[M].北京：中央音樂(lè)學(xué)院出版社，2011.

[2]付曉東.寓無(wú)形于有形——音樂(lè)裝置藝術(shù)應(yīng)用現(xiàn)狀與前景展望[J].音樂(lè)傳播，2013（4）.

J611.1

A

1003-1499-（2020）02-0088-04

姜超遷（1985～），男，上海音樂(lè)學(xué)院在讀博士，浙江音樂(lè)學(xué)院音樂(lè)工程系講師。

2020年度上海市音樂(lè)聲學(xué)藝術(shù)重點(diǎn)實(shí)驗(yàn)室委托科研項(xiàng)目（編號(hào)：2020-03）研究成果。

2020-04-29

責(zé)任編輯 春 曉