交互音樂設(shè)計及對音樂內(nèi)容的延伸

馮楚然

[摘要]交互音樂作為前沿音樂形式在近年逐漸被更多地認識并介紹。然而因其在我國發(fā)展和研究仍處于早期階段，這一技術(shù)尚未被完全了解和運用。相關(guān)資料、文獻更多的是對于此類音樂的定義、作品分析和技術(shù)研究，交互音樂的具體創(chuàng)作實踐報告較少。因此本文嘗試以個人交互音樂作品《VoyagetotheOtherShore》在創(chuàng)作和制作中的實踐經(jīng)驗，分別解釋交互音樂中的概念和技術(shù)，并結(jié)合音樂表演，分析音樂內(nèi)容在這一新的音樂形式中的運用。

［關(guān)鍵詞］交互電子音樂；體感攝像頭；數(shù)據(jù)驅(qū)動；Kyma；Max/MSP/Jitter

［中圖分類號］J605［文獻標識碼］A［文章編號］1007-2233（2022）12-0202-04

一、交互音樂簡介

交互音樂，“交互”一詞概括了此類音樂的創(chuàng)作過程、傳達媒介和呈現(xiàn)形式，強調(diào)的是對象與音樂之間的相互作用和關(guān)系。而有別于傳統(tǒng)演奏，交互邏輯中的相互作用與影響能帶來許多隨機和不確定性，這一概念可被比喻為車載導航：“……駕駛員可通過GPS設(shè)備明確車輛的方位，而當其改變行車軌跡時，GPS設(shè)備又能依照現(xiàn)有路徑重新規(guī)劃路線，這樣，駕駛員與GPS設(shè)備之間便形成了交互。”[1]

因交互音樂中音樂呈現(xiàn)形式的自由性，作者在創(chuàng)作中可通過特定機制的設(shè)定決定音樂中各種觸發(fā)條件和反饋方式。前文中提到的“對象”，在不同類型的交互音樂中是靈活的，可以是設(shè)計交互形式的創(chuàng)作者，可以是操作設(shè)備的演奏者，也可以是交互裝置藝術(shù)空間中的參與者和觀眾。下文將避免羅列編程公式和算法，從創(chuàng)作和演奏的角度分析交互音樂的設(shè)計思路與傳達。

二、音樂創(chuàng)作背景

筆者碩士畢業(yè)于美國俄勒岡大學音樂與舞蹈學院跨媒體音樂技術(shù)專業(yè)，導師為著名電子音樂家杰弗瑞·斯托萊特?？缑襟w音樂技術(shù)是交互音樂的載體，而研究的著重點在于交互音樂的設(shè)備。所謂跨媒體，強調(diào)的是有別于傳統(tǒng)音樂媒體，既傳統(tǒng)樂器和音樂控制器，如：各類MIDI輸入設(shè)備；跨媒體技術(shù)注重開發(fā)各種并非為音樂目的而設(shè)計的控制裝置，如筆者碩士在讀期間俄勒岡大學FutureMusicOregon未來音樂實驗室已經(jīng)開發(fā)的：游戲手柄和控制器任天堂WiiMote、Game-trak；微軟Xhox360Kinect體感攝像頭；WacomTablet數(shù)位畫板；LeapMotion手部動作追蹤器。

另外，為達到更特定的交互與藝術(shù)表達需求，創(chuàng)作者也會充分發(fā)揮想象力，創(chuàng)造新的控制設(shè)備，并利用各類傳感器（光、電、壓力、紅外線、濕度、加速器、陀螺儀等）豐富動作甚至是數(shù)據(jù)的“個性”，增加演奏和控制的張力和戲劇性。

俄勒岡大學該專業(yè)使用的主要聲音系統(tǒng)為SymbolicSoundKyma（以下簡稱“Kyma”）和Cycling74Max/MSP/Jitter（以下簡稱Max）。Kyma是由軟、硬件共同構(gòu)成的聲音及音樂設(shè)計引擎，通過軟件端功能模塊的鏈接以及數(shù)學化指令的驅(qū)動，配合硬件處理器的運算，完成音頻處理，具有處理極復雜運算的能力以及高自由度，當今被廣泛運用于國外交互音樂工程及影視、游戲音效設(shè)計中。Max由其名字的三個部分構(gòu)成：代表數(shù)據(jù)處理的Max功能模塊、音頻處理的MSP模塊以及視頻處理的Jitter模塊。Max的模塊設(shè)計思路與Kyma相似，但自由度更高，三種類型的模塊可以自由組合搭配。不同點在于Kyma更注重聲音的處理與合成，而Max更注重數(shù)據(jù)本身的靈活，被運用在各個行業(yè)的交互設(shè)計中。在俄勒岡大學的跨媒體音樂技術(shù)專業(yè)中，Kyma常用作音樂和聲音部分的設(shè)計系統(tǒng)，Max常用作介于控制器與Kyma之間處理數(shù)據(jù)的中間件。

Kyma（上）和Max（下）本文分析作品《VoyagetotheOtherShore》為筆者碩士畢業(yè)項目作品，設(shè)計、創(chuàng)作、制作時長一年，曾在2015Kyma國際聲音研討會以及俄勒岡大學FMO音樂會上表演。該作品翻譯為《航行到彼岸》，俄勒岡大學位于美國西海岸尤金市，筆者生長在中國東南沿海城市深圳，兩座城市相隔太平洋互為彼岸，作為留學生三年之間往返于兩個彼岸，該作品主題意在表達兩個地域和兩種文化帶給個人的文化沖擊、影響以及感受。

三、技術(shù)設(shè)計、參數(shù)、系統(tǒng)平臺

該作品在設(shè)計時希望表演具有視覺張力，需要能夠做出較大動作的控制裝置。筆者意圖將“兩個地域”的概念在演奏時通過舞臺的空間區(qū)域展現(xiàn)出來，表演者可以在音樂中走動于不同位置之間，故排除了限定演奏位置的控制器（筆者歸類為“接觸式”控制），選用微軟Xbox360Kinect體感攝像頭。

該作品創(chuàng)作分為4個階段：1.動作捕捉和數(shù)據(jù)化；2.數(shù)據(jù)整理和定義；3.數(shù)據(jù)分配、綁定；4.音樂制作、排查測試和聲音輸出。

第一階段選用DelicodeNiMate作為端口接收Kinect輸出的原始數(shù)據(jù)。Kinect將人體完整捕捉為15個關(guān)鍵點：頭、脖子、軀干、左右肩、左右肘、左右手、左右腰、左右膝蓋、左右腳。Kinect帶有距離感應(yīng)功能，因此每一個點都能以立體坐標的形式體現(xiàn)出位置信息，即“X-Y-Z”。

另外，每個數(shù)據(jù)都可以選擇輸出數(shù)據(jù)類型：MIDI、OSC[2]。與MIDI的0～127數(shù)據(jù)范圍不同，OSC可自由定義，因此需要提前對每個數(shù)據(jù)所控制的音樂要素有設(shè)計，例如：右手控制某個音色的音高，選擇MIDI更為合適；而左手控制另一個音色的明亮到暗淡的效果變換，更為線性的OSC數(shù)據(jù)則更合適。

第二階段選用Max處理數(shù)據(jù)，將從NiMate接收到的數(shù)據(jù)規(guī)整化。由于NiMate的數(shù)據(jù)輸出是從單一頻道，因此需要在Max中重建每個身體部位的頻道，并將接收到的數(shù)據(jù)定位到各個頻道，保證從Max輸出到下一階段的各項數(shù)據(jù)是帶有命名且獨立頻道的。

更重要的兩點：第一，由于Kinect捕捉到的所有信息都是“隔空”完成的，包括光線在內(nèi)的許多因素都會導致數(shù)據(jù)波動和不準確，因此必須在Max中通過各種算法進行處理，例如筆者用到的取平均值法（將最后收到的5個數(shù)值相加再除以5，以得到相對穩(wěn)定的數(shù)據(jù)變化，每接收到一個新的數(shù)據(jù)都會替換掉5個數(shù)值中最早接收到的一個），但此方法的弊端是導致所有通過Max的信息產(chǎn)生5次數(shù)據(jù)接收時間的延遲；第二，需要使用的數(shù)據(jù)區(qū)間未必是接收到數(shù)據(jù)的完整區(qū)間，因此要為每個數(shù)據(jù)重新定義范圍，例如某個MIDI信號可控制的旋律音域為中央C上下兩個八度（48～72），不需要用到0～47和73～127兩段更低和更高的區(qū)間，并且如果把整個數(shù)據(jù)范圍定義給某個身體部位控制，過于高密度的數(shù)據(jù)排列，會導致實際操作難以把控，一個細微的位置變化都可能造成演奏失誤，因此設(shè)計每個部位的活動范圍和數(shù)據(jù)范圍是必要的。

第三階段進入音樂創(chuàng)作系統(tǒng)，選用Kyma作為平臺，接收Max處理后的數(shù)據(jù)。從表演角度，傳統(tǒng)樂器的演奏，由于觀眾對各個樂器的認知，特定的演奏及肢體動作都會帶來指向性的情緒引導。交互表演中的所有動作完全由創(chuàng)作者設(shè)計和決定，這既是優(yōu)勢也是困難所在。每一個動作的設(shè)計，都要符合音樂的內(nèi)容、走向以及想象。創(chuàng)作中需要找到與音樂中每個要素關(guān)聯(lián)性最高的動作，并設(shè)定演奏機制，完成動作設(shè)計。

任何身體部位或數(shù)據(jù)都未必只能控制一個音樂變量，同樣的，未必任何身體部位的數(shù)據(jù)都需要被用到并且設(shè)計成動作。筆者在創(chuàng)作中將Kyma內(nèi)具有相同音樂能量的控制要素歸類，如：高音、高頻率、提升音量、增加某個效果密度、提速等劃分為同類型。相同類型的元素變化可在某片段用同一動作驅(qū)動。當某一個或一個類型的動作在不同段落重復驅(qū)動同一種音樂能量的變化，并在一首作品時長內(nèi)，讓觀眾感受到這種趨勢，且能夠在再一次出現(xiàn)前有所預(yù)測，這個設(shè)計就是成功的。

第四階段的音樂制作部分更偏向傳統(tǒng)制作，將提前在Kyma完成的各個聲音模塊按設(shè)計排列在時間軸上，并根據(jù)實際測試效果做調(diào)整。這一過程會出現(xiàn)反復于第二、三、四階段的情況，為某個效果或是動作重復調(diào)整數(shù)據(jù)范圍和動作設(shè)計，又或是某一時間點同一個數(shù)據(jù)使用沖突，必須重新選擇其他身體部位控制，并構(gòu)思新的機制。

需要強調(diào)的是，因為交互表演中存在的自由度和隨機性，交互音樂工程中的時間軸并不像傳統(tǒng)音樂制作模式中每個聲音按照準確時間點開始和結(jié)束。筆者采用的方式是為每個音樂段落結(jié)尾或開頭增加“WaitUntil”模塊，既當時間標尺在時間軸走到該模塊位置時保持位置，直到滿足預(yù)設(shè)條件后繼續(xù)進行。如果實際演奏速度比設(shè)計速度慢，此操作能夠保證不產(chǎn)生演奏失誤；而解決演奏速度快于設(shè)計的方法，則是可以將時間軸上這一段落的長度大幅縮短，甚至可以設(shè)置成幾秒，當時間停在WaitUntil模塊后繼續(xù)演奏，直到段落結(jié)束，再去觸發(fā)時間繼續(xù)的條件。

相同原理同樣可以應(yīng)用到任何一個聲音模塊上，筆者將多個不論出現(xiàn)和結(jié)束時間的所有模塊長度都拉伸到整段，但為每個聲音模塊都設(shè)置了觸發(fā)和結(jié)束的條件，此方法極大增加了演奏時對于整體音樂節(jié)奏和任意單個聲音的掌控程度。

聲音輸出方案筆者選擇傳統(tǒng)左/右雙聲道輸出而非許多交互音樂的8聲道環(huán)繞聲，原因是考慮到該作品可能在不同場所表演，8聲道環(huán)境普及率低，雙聲道能夠確保在任何演出場所都順利進行。斯托萊特教授就曾多次在授課中提到，保證演出的穩(wěn)定性比追求更好的聲音效果更重要。

四、音樂創(chuàng)作與設(shè)計

《VoyagetotheOtherShore》的素材由3段旋律和若干場景錄音片段構(gòu)成。音樂主題是一個鋼琴獨奏版本和一個弦樂版本，另一條是鋼琴主題錄音的倒置。音頻素材有：水龍頭出水、海岸線、海浪、飛機引擎、國內(nèi)家中炒菜的鐵鍋鍋鏟翻炒的碰撞聲、國內(nèi)公園老人拉二胡、國內(nèi)下班高峰馬路邊、美國大學課堂中老師和同學對話、美國酒吧內(nèi)朋友邊看球邊聊天及兩段人聲獨白錄音。下文將著重解析幾個重要音樂片段與交互部分的設(shè)計。

音樂的開頭將水龍頭音頻交由左手，海岸線和海浪音頻交由右手，將錄音的播放位置綁定到左右手的前后位置（Z），設(shè)置可正反向播放，因此音頻不會跟隨時間順序播放和播放結(jié)束，而是跟隨雙手的前后位置反復，手的高低位置（Y）線性控制音頻的音調(diào)。為防止手的方向變換和動作幅度變慢造成音頻失真，添加了超過2秒的混響。開頭段用“小”和“大”的水聲，比喻生活和遠航，雙手前后動作的推動觀感，營造水的“能量”。

NiMate軟件在頭部左上和右上方為演奏者增加了虛擬的“按鈕”，雙手“觸碰”到這個位置，就會輸出“0-1-0”的開關(guān)型數(shù)據(jù)，原理是手的橫向與縱向位置（X、Y）同時滿足大于臨界值。筆者用這個虛擬按鈕作為幾個段落開始和音效的觸發(fā)。音樂進入主體段正是使用這個按鈕進入并同時觸發(fā)人聲獨白錄音。

NiMate中的實時捕捉和虛擬按鍵進入新的段落播放弦樂版本主題，這里筆者對弦樂音頻做了顆粒化處理，即：使用Kyma的SpectralAnalysis光譜分析功能，分析音頻在每個頻率上的內(nèi)容并可視化，選擇內(nèi)容密度最高的若干頻段，將音頻切分為一個個短時間段，同時播放設(shè)定數(shù)量的切片，以時間順序向前行進。這里播放的數(shù)量，稱為顆粒化密度，由左手（Y）控制。

此時對獨白錄音同樣做光譜分析并顆?；?，右手（X）控制獨白錄音的播放位置，（Z）控制顆?；芏?。本段通過左右手對這兩個音色的動態(tài)控制，體態(tài)動作可以巧妙地設(shè)計成小提琴的演奏姿勢，模擬了弦樂主題的演奏，增加可視化效果。

在鋼琴版本主題出現(xiàn)的段落，筆者為音頻增加了混響，效果大小由演奏者位置決定，越靠近觀眾越小，越往舞臺后方，混響越深越遠。同時加入另一個從錄音素材截取的自行車鈴聲，降低兩個八度，音調(diào)變低音頻變長，聽感較為空靈。這個聲音的時間軸被定義在左手（X），而音頻的音頭在時間軸的位置靠近身體，演奏機制為手慢慢靠近身體，當觸發(fā)音頭時，手橫向快速向外拿開，類似豎琴撥弦動作。延音高低則由右手（Y）控制，右手（Z）控制延音的顆?；芏群烷L短。

再現(xiàn)段之前會出現(xiàn)上文提到的演奏位置的變化。舞臺定義為左前、左后、右前、右后四個區(qū)域，左邊綁定了兩個國內(nèi)場景錄音，右邊則是美國的場景，循環(huán)播放，在空間上分別代表兩個海岸，隨著演奏者在舞臺上位置的改變，不斷改變四個音頻的音量比例。演奏者在用肢體控制其他音色的同時，在舞臺不同位置徘徊，逐漸回到中心，影射感受到的兩種文化帶來的影響。

最后再現(xiàn)段結(jié)束前播放的倒置鋼琴主題音頻設(shè)置了較長的延遲和混響，而混響時間和擴散則由右手（X-Z）共同控制，右手左右擺動延音產(chǎn)生類似脈沖的效果，而右手的動作則是揮手告別，寓意音樂和碩士經(jīng)歷的結(jié)束。

五、技術(shù)難點

該作品在創(chuàng)作中遇到若干因設(shè)備、軟件和環(huán)境的局限性帶來的技術(shù)難點，以下舉例。

一，盡管NiMate顯示設(shè)備的捕捉為每秒30幀，但實際刷新率會在每秒10～30幀之間波動。

二，在Max接收數(shù)據(jù)超過10個后，龐大的數(shù)據(jù)量會偶然導致程序崩潰。筆者的解決方案是在Max中為每個數(shù)據(jù)插入接收速率限制模塊Speedlim并將刷新速率限制在20，可以保證Max穩(wěn)定運行。

三，雖然隨著使用數(shù)據(jù)的增多，演奏可以更加豐富，但筆者在測試中發(fā)現(xiàn)當同一時間身體控制數(shù)據(jù)超過10個后，很難完全協(xié)調(diào)身體和控制。

四，部分數(shù)據(jù)具有相似的特點，例如：手、肘、肩膀；腰、膝蓋、腳。這些部位的動作屬于同一肢體系統(tǒng)，因此相比肘和肩膀，筆者更傾向使用可以完成幅度更大和更快的動作的手部，而對數(shù)據(jù)的選擇也因此十分重要。

五，Kinect所擺放的高度和角度會對所有距離數(shù)據(jù)（Z）產(chǎn)生極大影響，為了保證演出的穩(wěn)定性筆者會攜帶自己的設(shè)備架，并在固定高度和角度位置做好標記。

六，環(huán)境和光線都會影響到設(shè)備對人物的識別，Kinect視野內(nèi)的大型家具、小型物件和正在移動的物體都會偶然被識別成人物。因此確保演奏區(qū)域內(nèi)明亮以及沒有障礙物至關(guān)重要。

七，為演出設(shè)定可視化觀測和提示是必要的，演奏者需要時刻監(jiān)測設(shè)備捕捉數(shù)據(jù)的情況，隨時準備調(diào)整，這一點適用于所有交互工程。

結(jié)語

交互音樂是一門結(jié)合感性創(chuàng)作和理性設(shè)計的藝術(shù)形式，相信從文中的解析中不難看出，許多設(shè)計思路都是數(shù)學化的，這要求創(chuàng)作者在發(fā)揮藝術(shù)想象力的同時保持嚴謹?shù)姆治鏊季S。筆者文中提到的各種設(shè)計和思路都來自該作品創(chuàng)作階段大量的測試和實踐，并不一定適用于所有交互環(huán)境和工程設(shè)計，但也同樣希望這些經(jīng)驗?zāi)芙o創(chuàng)作者帶來啟發(fā)，為音樂作品增添表現(xiàn)力和多樣性。

伴隨科技發(fā)展，新技術(shù)和設(shè)備陸續(xù)面世，交互藝術(shù)正是極其依賴計算機技術(shù)的領(lǐng)域?，F(xiàn)階段因部分技術(shù)壁壘及發(fā)展階段處在早期，交互音樂尚未被主流音樂風格和大眾所完全熟知及接納。但筆者相信，隨著國內(nèi)陸續(xù)有高校開設(shè)新媒體音樂技術(shù)類的專業(yè)和課程，交互音樂的研究和創(chuàng)作者不斷增加，新技術(shù)和新理念的不斷碰撞，這一前沿音樂必會陸續(xù)融合更多的風格和領(lǐng)域，輸出更多有趣的作品，得到長遠的發(fā)展，讓更多人參與到交互作品中感受由科技和技術(shù)帶來的獨特美感。

注釋：

[1]范翎.交互式電子音樂的概念界定[J].音樂傳播，2017（04）：93—97.

[2]OpenSoundControl（OSC）是一種用于應(yīng)用程序和硬件之間實時消息通信的數(shù)據(jù)傳輸規(guī)范，由MattWright和AdrianFreed開發(fā)，最初設(shè)計為一種高精度、低延遲、輕量級和靈活的通信方法，用于實時音樂表演。他們于1997年提出OSC作為“計算機、合成器和其他多媒體設(shè)備之間通信的新協(xié)議，該協(xié)議針對現(xiàn)代網(wǎng)絡(luò)技術(shù)進行了優(yōu)化”。

（責任編輯：韓瑩瑩）