聯(lián)覺效應(yīng)在新媒體聲音裝置藝術(shù)作品分析中的運(yùn)用初探
——以聲音裝置藝術(shù)作品《聲音·北京》為例

●姜超遷

（浙江音樂學(xué)院，浙江·杭州，310024）

隨著新媒體的快速發(fā)展，新媒體聲音裝置藝術(shù)已悄然走入人們的視野。例如，加拿大的多倫多音樂花園（Toronto Music Garden）、美國底特律機(jī)場（Detroit Airport）的音樂通道等，都在不知不覺間融入了人們的生活。多樣化的聲音裝置藝術(shù)表現(xiàn)形式不僅為觀者塑造了更多不同的藝術(shù)語境，同時也大大豐富了人們的生活感受。

作為一種相對新型的藝術(shù)創(chuàng)作，新媒體聲音裝置藝術(shù)作品的藝術(shù)呈現(xiàn)與傳統(tǒng)的音樂作品相比有了許多新的特征。例如，其音樂語匯不再僅僅局限于傳統(tǒng)的樂音，音樂結(jié)構(gòu)不再僅局限于固定的結(jié)構(gòu)和作品時長等。鑒于其聲音呈現(xiàn)的偶然性與不確定性等因素，該類作品的研習(xí)很難用傳統(tǒng)的作品分析方式來解構(gòu)。因此，本文將以聲音裝置藝術(shù)作品《聲音·北京》為例，嘗試從創(chuàng)作、技術(shù)、表現(xiàn)三個層面進(jìn)行研究分析，進(jìn)而對該類作品進(jìn)行更進(jìn)一步解析。

一、新媒體與聲音裝置藝術(shù)的概念界定

媒體（Medium）簡而言之就是指傳播信息的媒介，例如報紙、雜志、廣播、電視等。而“新媒體”一詞的出現(xiàn)，是針對“舊”媒體而言。傳統(tǒng)意義上的四大媒體是指戶外、報刊、廣播、電視。而新媒體則特指以上四種媒體之外的“第五媒體”，其領(lǐng)域相對較為寬泛，例如數(shù)字報紙、數(shù)字雜志、數(shù)字廣播、手機(jī)短信、互聯(lián)網(wǎng)、數(shù)字電影、觸摸媒體等一系列以數(shù)字技術(shù)為核心的媒體形態(tài)。

因此，如今的新媒體藝術(shù)是一門以“光學(xué)”媒介和電子媒介作為基本語言的新藝術(shù)學(xué)科門類，是建立在數(shù)字技術(shù)核心基礎(chǔ)之上的藝術(shù)。其實質(zhì)就是藝術(shù)家借助上述新媒體形態(tài)的方式和技術(shù)作為創(chuàng)作手段來進(jìn)行藝術(shù)創(chuàng)作。

裝置藝術(shù)（Installation Art）是當(dāng)代相對較為獨特的藝術(shù)樣式，屬于實物藝術(shù)范疇。它一般是指通過對日常生活中的物質(zhì)文化實體地改造、利用，進(jìn)而傳達(dá)作者創(chuàng)作意圖的藝術(shù)形態(tài)，起源于20世紀(jì)初馬塞爾·杜尚的現(xiàn)成品藝術(shù)（見圖1）。

圖1

聲音裝置藝術(shù)則是指以聲音作為呈現(xiàn)主體的裝置藝術(shù)。在前文中我們曾提到，隨著電子音樂創(chuàng)作不斷地進(jìn)步發(fā)展和現(xiàn)代音樂形式體裁的愈發(fā)寬泛，“音樂”與“聲音”的概念已漸趨融合。在21世紀(jì)的音樂領(lǐng)域（尤其是電子音樂領(lǐng)域）中，其界限開始逐漸模糊，音樂創(chuàng)作的元素也不再僅是傳統(tǒng)音樂觀念中的樂音。例如，在電子音樂領(lǐng)域中，語言聲、噪聲以及各類抽象化的電子音色都可以作為構(gòu)成音樂作品的“音符”。因此，就某種層面而言，本文的新媒體聲音裝置藝術(shù)作品可以理解為以電子音樂為呈現(xiàn)主體的新媒體裝置作品。

二、“聯(lián)覺”的引用緣由及相關(guān)概述

（一）關(guān)于“聯(lián)覺”的引用

新媒體聲音裝置藝術(shù)，是多媒體創(chuàng)作的重要組成部分。多媒體作品則意味著多種媒介的表現(xiàn)和多種感官的體驗。而新媒體聲音裝置作品的審美體驗絕不僅是純粹的音響感受，它還包括對概念的領(lǐng)悟、形象的聯(lián)想，以及情感性的體驗等等。因此，在作品表現(xiàn)層面的分析中，筆者以“聯(lián)覺”關(guān)系作為突破口，根據(jù)視覺、聽覺、觸覺與情態(tài)興奮度、空間感、緊張度等因素的對應(yīng)關(guān)系，并結(jié)合音樂美學(xué)和音樂心理學(xué)的實證研究成果，進(jìn)一步證明中國新媒體聲音裝置作品的創(chuàng)作者在有意識地關(guān)注觀者多感官協(xié)調(diào)問題。

（二）聯(lián)覺概念解析

人類可以接收到許多感官刺激，包括視覺、聽覺、味覺、嗅覺等。而“聯(lián)覺”是指一種知覺系統(tǒng)的刺激引起另一個或數(shù)個其他知覺系統(tǒng)反應(yīng)所獲得的感。所以，也有人稱之為“通感”，它是各種感官刺激相互作用而產(chǎn)生的一種心理現(xiàn)象。例如在聽到一種聲音時感覺到一種顏色，就是聽覺與視覺的聯(lián)覺現(xiàn)象。再如“甜美的聲音”、“冰冷的事實”等，都可稱之為聯(lián)覺現(xiàn)象的體現(xiàn)。

音樂中同樣存在著許多聯(lián)覺現(xiàn)象。在音樂學(xué)科領(lǐng)域，對“聯(lián)覺”概念關(guān)注最多且研究最早的應(yīng)屬音樂美學(xué)和音樂心理學(xué)。大量的實踐研究表明，音樂的音高、音強(qiáng)、音長、時間變化率等因素與人體的感官感受（例如大小、輕重、視覺亮度、情態(tài)興奮等）因素存在著一一對應(yīng)的聯(lián)覺關(guān)系，中央音樂學(xué)院的周海宏教授也曾對這一領(lǐng)域有過系統(tǒng)性的研究和論述。[1]研究工作者基于“同構(gòu)學(xué)說”這一理論依據(jù)，來論證音樂與多種感官的聯(lián)覺現(xiàn)象過程。音樂領(lǐng)域范圍內(nèi)的同構(gòu)關(guān)系，是指音樂的運(yùn)動形態(tài)和人的心理運(yùn)動形態(tài)之間具有的某種相似性。這種相似性主要表現(xiàn)在二者在運(yùn)動形態(tài)上多方面的同構(gòu)關(guān)系，即相同或類似的內(nèi)部動力結(jié)構(gòu)。例如，就音樂的物理層面而言，其實質(zhì)就是將具有一定頻率、振幅、波形的聲音進(jìn)行有序排列。因此，音樂在某種程度而言是具有運(yùn)動特征的。這一運(yùn)動特征與所要表現(xiàn)對象的世界或情感的運(yùn)動特征是相通的，以共同的特征作為中介環(huán)節(jié)，使得兩者的對應(yīng)成為可能。

三、作品《聲音·北京》研究分析

（一）作品《聲音·北京》背景簡介

《聲音 · 北京》是一首視聽結(jié)合的大型的融合媒體聲音裝置藝術(shù)作品，應(yīng)2012年新媒體概念藝術(shù)展組委會委約而創(chuàng)作。這部實驗性的作品由中央音樂學(xué)院張小夫教授主創(chuàng)，同時聯(lián)合中央音樂學(xué)院電子音樂作曲的專業(yè)研究生創(chuàng)意、研發(fā)的。在2012年10月的新媒體概念藝術(shù)展期間，《聲音·北京》在中華世紀(jì)壇進(jìn)行了為期 15天展演（見圖2）。

（二）創(chuàng)作分析

聲音既是藝術(shù)的載體，又是文化的符號，能記錄歷史也可以象征時代?！堵曇簟け本肥且徊拷Y(jié)合燈光與音響的大型新媒體裝置藝術(shù)作品。其中，24聲道全方位環(huán)繞聲的運(yùn)用是音樂多聲道技術(shù)探索中的一次創(chuàng)新性試驗，這似乎能讓人回溯一番北京城充滿新奇的聲音景觀。另外，作品中收集和梳理了北京城最具代表性、地標(biāo)性、時代性和文化符號意義的聲音。例如，代表性聲音：京腔、早點的叫賣聲、胡同里的茶余飯后聲、北京晨練聲、清晨的鳥叫聲、鴿哨聲；時代性聲音：建設(shè)工地、工業(yè)農(nóng)業(yè)、股市金融、學(xué)生讀書、幼兒園、藝術(shù)院校；地標(biāo)性聲音：首都機(jī)場、北京地鐵、公共交通、北京交通臺、堵車；符號性聲音：京劇、民樂、交響樂、歌劇、電子音樂。這些聲音經(jīng)過作曲家的加工處理后，以獨特的聲音藝術(shù)形態(tài)展示了今日的北京。

圖2

全曲分為“北京晨曦、北京節(jié)奏、北京交響、北京夢幻”四個樂章。在第一樂章“北京晨曦”中，作品的音響著重聲音的寫實。日常生活中不同音場空間的真實采樣聲音被加工，然后在24聲道音響空間中重新融合；第二樂章“北京節(jié)奏”的音樂將真實采樣聲音與流行音樂元素相結(jié)合。流行音樂部分又融合了諸如 Hip-hop、House 等多種電子舞曲的元素例。不同的音樂節(jié)奏有機(jī)組合穿插在24聲道中，使觀者能夠在多方位的音響空間里感受到多樣、多層次的動感律動；在第三樂章“北京交響”中，作曲家將許多帶有時代符號意義的聲音元素（如電鈴、手機(jī)鈴聲等）與傳統(tǒng)交響音樂元素進(jìn)行了融合。并著眼于“交響”二字，嘗試以交響樂和電子音樂相結(jié)合的方式，進(jìn)而描繪出一幅具有北京時代氣息的交響畫卷；第四樂章“北京夢幻”是以鈴鐺音色的真實采樣作為原始聲音素材的電子音樂。其聲音的主要來源是由鈴鐺音色衍變而出的各種音響，并與帶有濃厚北京元素的真實聲音采樣相結(jié)合，以此引發(fā)觀者對于北京城的遐想。在 24聲道的全方位音響空間中，觀者仿佛置身于一幕幕北京歷史畫面交錯的時空當(dāng)中。

在展演之前，創(chuàng)作人員對北京城市生活中各種場合、環(huán)境、行為及狀態(tài)的聲音（諸如北京街上叫賣早點的聲音、馬路上車水馬龍的律動聲音、工地中塔吊搭建樓房的聲音、公園里自由藝人京劇雜耍的聲音等）進(jìn)行采錄。隨后，經(jīng)過電子音樂技術(shù)手段的處理和結(jié)合，塑造出一個虛擬與現(xiàn)實并存的神奇世界。由前文可見，作品《聲音·北京》通過直觀的感受、繁復(fù)的指令以及零距離的接觸，實現(xiàn)了科技與社會的融合性探索與碰撞，是一次跨學(xué)科跨領(lǐng)域的嘗試。

（三）技術(shù)分析

《聲音·北京》這部裝置將整體設(shè)計分為兩個單元，分別是聲音單元和裝置單元。聲音單元包含了電子音樂、北京日常生活中的聲音采樣、交響樂等多種聲音元素。其中，電子音樂又包括傳統(tǒng)意義上的純電子音樂、電子聲學(xué)音樂和應(yīng)用型電子音樂等多種類型混合形式。而在裝置單元中，互動部分是關(guān)鍵，不僅融入了人機(jī)合一的理念，還通過Max軟件平臺的指令編寫來控制音樂和燈光閥門，并以數(shù)據(jù)代碼作為作品展演的信息始源。

在這首裝置藝術(shù)作品中，燈光的控制部分采用了Arduino開發(fā)板解決方案（Arduino 是一個開源電子原型平臺，由軟件和硬件兩個單元構(gòu)成，被設(shè)計師、藝術(shù)家、互動愛好者們廣泛應(yīng)用）。它能通過各種各樣的傳感器來感知環(huán)境，并且通過控制燈光、馬達(dá)以及其他裝置來反饋、影響環(huán)境。

這套裝置使用了 Arduino開發(fā)板的串口與計算機(jī)的連接，通過 Max&Msp軟件的 Serial對象連續(xù)向 Arduino發(fā)送指令字符串。Arduino在接收到信號后，會實時更新每個燈的亮度值，并控制燈光做出相應(yīng)的變化。另外，電路板上的微控制系統(tǒng)也可以通過 Arduino的指令程序來編寫，并與互動系統(tǒng)相結(jié)合共同參與裝置的互動。同時，裝置還使用了PWM（脈沖寬度調(diào)制）技術(shù)，能通過改變占空比的相關(guān)數(shù)據(jù)以實現(xiàn)在宏觀時間范圍內(nèi)對燈光的亮度控制。在綜合燈光亮度和燈光壽命等因素后，作品最終選擇了35W 12V的鹵素白熾燈作為發(fā)光裝置。裝置準(zhǔn)備過程中，筆者發(fā)現(xiàn)一盞35W的白熾燈需要大約3A的電流，而Arduino的每個PWM 端口只能提供大約30mA的電流。為解決這個問題，創(chuàng)作人員又在裝置中附件了固態(tài)繼電器，通過arduino輸出的小電流來控制大電流鹵素?zé)舻墓ぷ鳌?/p>

《聲音·北京》區(qū)別于傳統(tǒng)音響的立體聲模式或 5.1聲道模式，以24聲道全方位環(huán)繞聲的方式呈現(xiàn)。就現(xiàn)狀而言，大于 8聲道的音響布局通常只見于專業(yè)音響實驗室或電子音樂工作室。這種成上、中、下、左、中、右，多層次、多角度環(huán)繞于聽眾四周的音響布局在一定范圍內(nèi)，最大程度地模糊了真實與虛擬的界限，并塑造出一個全新、奇妙的音響空間，為觀者帶來新奇的聲音體驗（見圖3）。

圖3

（四）表現(xiàn)分析

該裝置作品所涉及到的感官主要有視覺、聽覺兩種。因此，在這一環(huán)節(jié)中我們將針對視覺、聽覺因素與視覺亮度、情態(tài)興奮度、空間感在作品當(dāng)中的聯(lián)覺現(xiàn)象進(jìn)行分析。

首先，《聲音·北京》的視覺環(huán)境是一個布滿實時變化燈光的室內(nèi)空間。燈光的明暗度會隨著24聲道中音頻的音量大小、音頻高低而變化。同時，燈光色彩的變化頻率會與聲音變化的頻率相適應(yīng)。因此，作品通過燈光的明暗度、變化頻率與聲音的音量、時值、節(jié)拍的增減和快慢變化之間的互動，使觀者獲得和諧統(tǒng)一的視聽感官體驗。在聯(lián)覺實證研究理論中，聲音頻率高低與視覺亮度明暗相對應(yīng)的科學(xué)結(jié)論即頻率越高的聲音給人的感覺越亮。這部作品通過音高與視覺亮度的互動，強(qiáng)化了觀者對于作品的觀感。

其次，全曲的四個章節(jié)有著不同的結(jié)構(gòu)和音響形式，音樂所表現(xiàn)出的情態(tài)興奮度也大相徑庭。無論是“北京晨曦”的舒緩，“北京節(jié)奏”的動感、“北京交響”的雄壯還是“北京夢幻”的神奇，每一個章節(jié)的情態(tài)興奮度都與各自章節(jié)的頻段高低、聽覺緊張度高低以及音樂強(qiáng)弱有著準(zhǔn)確的對應(yīng)關(guān)系。印證了聯(lián)覺實證研究理論中隨著音強(qiáng)、聽覺緊張度、音高等因素的高低強(qiáng)弱，與情態(tài)興奮度的高低一一對應(yīng)，以音響、燈光的方式正確地傳遞出作者需要觀者感知的信息。

最后，空間因素一直是電子音樂聲音裝置藝術(shù)的重要一環(huán)?！堵曇簟け本纷層^者在不同的音樂章節(jié)中，感受到了截然不同的音響空間。因此，在24個音箱全方位布置的室內(nèi)空間中，作品通過聲音的音量、音樂的風(fēng)格形式和節(jié)奏舒緩的調(diào)節(jié)，創(chuàng)造了一個或遠(yuǎn)或近、或?qū)捇蛘亩嘧兊目臻g感覺。這也側(cè)面體現(xiàn)出聯(lián)覺與聲音的科學(xué)實驗中聽覺緊張度、音強(qiáng)的高低與空間容納性、空間距離的對應(yīng)關(guān)系，并為不同的音樂場景勾勒出相適應(yīng)的音響空間感。

結(jié) 語

《聲音·北京》用多元化的聲音符號、多樣化的音樂形式描繪出北京的歷史和發(fā)展，24聲道的音響空間更是為觀者帶來了新奇的藝術(shù)感受，是一部極富人文關(guān)懷的作品。其創(chuàng)作理念和音響形態(tài)與觀者感受之間形成了奇妙的“和諧”。其呈現(xiàn)音響的音量、音強(qiáng)、音長、時間變化率等因素均與視覺、觸覺、情態(tài)興奮度、空間感等因素形成了聯(lián)覺對應(yīng)關(guān)系。這種對應(yīng)關(guān)系在無形中加強(qiáng)了作品的藝術(shù)表現(xiàn)力和觀者的藝術(shù)感受。由此可以看出，一個“和”字被暗含在這部新媒體聲音裝置藝術(shù)作品中，這也許與中國傳統(tǒng)文化有關(guān)（如古人“天人合一”的觀念等）。隨著科技的快速發(fā)展，將作品的文化內(nèi)涵和表現(xiàn)形態(tài)合理地融入于高科技創(chuàng)作領(lǐng)域，以達(dá)到觀者聽覺、視覺，甚至觸覺等人體感官知覺的統(tǒng)一，或許可以成為今后中國藝術(shù)家們嘗試并努力的方向。

在中國的藝術(shù)大地上，新媒體聲音裝置藝術(shù)還是一個新興的藝術(shù)形式。筆者被這種藝術(shù)形式的獨特魅力深深觸動，并希望通過本文的研究為中國新媒體聲音裝置藝術(shù)的發(fā)展添磚加瓦，為該類藝術(shù)作品的研究和創(chuàng)作盡一份綿薄之力。