當(dāng)代音樂人工智能技術(shù)的應(yīng)用與展望

摘 要：人工智能是21世紀(jì)以來，對(duì)人類音樂發(fā)展影響最為全面和深刻的技術(shù)和理念之一。而且在近年來，這種影響已經(jīng)不再局限于音樂本體，而是擴(kuò)展到了音樂的相關(guān)學(xué)科，也獲得了全面的藝術(shù)呈現(xiàn)效果。基于此，本文從交互式電子音樂中的四個(gè)大類（傳統(tǒng)舞臺(tái)的交互式、舞蹈交互、藝術(shù)裝置、敘事舞臺(tái)）闡述音樂人工智能與跨學(xué)科的關(guān)系，并簡要描述近期上演的代表性作品，從而介紹目前國際最新人工智能在各個(gè)領(lǐng)域的演出作品和應(yīng)用。

關(guān)鍵詞：音樂人工智能；跨學(xué)科應(yīng)用；展望

中圖分類號(hào)：J614文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-0905（2023）34-0-03

一、音樂人工智能技術(shù)的跨學(xué)科應(yīng)用

（一）交互式電子音樂

數(shù)據(jù)驅(qū)動(dòng)樂器是交互式電子音樂的一個(gè)分支，也是筆者主要研究的方向。傳感器作為樂器的編程是電子音樂作曲面臨的主要問題，即要如何劃分聲音。其中包括四大類，最常見的便是樂器與電子音樂的交互。樂器通過麥克風(fēng)與電子音樂進(jìn)行實(shí)時(shí)交互，或者演奏員穿戴音量檢測器或者傳感器，通過實(shí)時(shí)數(shù)據(jù)流和電子音樂進(jìn)行交互。交互的結(jié)果可以反映為兩種——聲音、視覺。無論什么樣的交互，通過電腦輸出后，可以生成實(shí)時(shí)電子音樂，或者觸發(fā)聲音片段，再或是通過Max/MSP中的Jitter投影產(chǎn)生視頻效果。

相比傳統(tǒng)作曲，交互式電子音樂會(huì)帶來更多不同的感受，例如，鋼琴演奏傳統(tǒng)的古典作品時(shí)，利用燈光或者實(shí)時(shí)的畫面，在電腦的人工智能運(yùn)算下，結(jié)合麥克風(fēng)檢測到演奏曲子的輕重緩急進(jìn)行光影變化，讓觀眾從另外一個(gè)角度欣賞同一首作品。這種聽覺藝術(shù)加上視覺效果的形式，除了讓人從新的角度理解古典音樂外，同時(shí)也吸引更多認(rèn)為古典音樂“晦澀”的觀眾，從而能夠更好地將古典音樂推出去[1]。

（二）舞蹈交互

舞蹈演員穿戴上傳感器，而電子音樂再根據(jù)舞蹈演員的肢體動(dòng)作而進(jìn)行實(shí)時(shí)的處理，這是舞蹈的一大革新。傳統(tǒng)的舞蹈需要根據(jù)伴奏的節(jié)奏，而交互式電子音樂的舞蹈可以由舞蹈家用肢體作為“樂器”來“演奏”音樂。

主流的肢體檢測分為三種，第一種為穿戴式檢測，第二種是攝像頭檢測，第三種是通過編舞進(jìn)行檢測。

通過穿戴式檢測傳輸數(shù)據(jù)的有很多，也有很多關(guān)于穿戴式舞蹈的論文，在此不再累述。但在眾多的傳感器中，由Arduino公司推出了一款名為sensestage xbee sensors的傳感器與其開源代碼，讓很多沒有編程背景的作曲家可以更簡單地建造自己需要的傳感器。攝像頭檢測中的，如Cody Kauhl創(chuàng)作的《Enclencher》。兩位舞者在手心貼了紅色貼紙，然后攝像頭檢測顏色（預(yù)制紅色），從兩臺(tái)Apple筆記本電腦的網(wǎng)絡(luò)攝像頭捕捉手勢或表演動(dòng)作。這些計(jì)算機(jī)處理數(shù)據(jù)并通過無線鏈路將信息發(fā)送到另一臺(tái)計(jì)算機(jī)上，該計(jì)算機(jī)使用這些數(shù)據(jù)根據(jù)準(zhǔn)備好的算法生成音高和節(jié)奏序列。簡單來說就是運(yùn)動(dòng)軌跡觸發(fā)Max中預(yù)制的聲音，從而結(jié)合聲音和舞蹈。又例如Pablo Garretón創(chuàng)作的Estudio Triángulo III為Interactive dance/music，max/msp，kinect，arduino。在這場表演中，舞者的動(dòng)作控制著燈光和聲音，控制的參數(shù)來源于空間中x、y、z舞者的移動(dòng)位置和移動(dòng)速度。所有系統(tǒng)均采用Max/msp軟件進(jìn)行編程，并使用kinect作為紅外傳感器和兩個(gè)arduino來控制燈光。 Max/msp補(bǔ)丁還通過實(shí)時(shí)算法產(chǎn)生聲音，以便根據(jù)舞者的動(dòng)作實(shí)時(shí)產(chǎn)生音樂。

上述兩首曲子為2013年、2014年的作品，而近期Google推出的Google MediaPipe，可以連接Max/MSP，通過作者lysdexic上傳的開源插件，我們可以直接在Max內(nèi)部得到檢測手部、頭部、臉部的動(dòng)作數(shù)據(jù)，在這個(gè)基礎(chǔ)上，Max/MSP接收到純數(shù)據(jù)后，作曲家和工程師可以按照自己的想法將對(duì)應(yīng)的數(shù)據(jù)音樂化。

通過編舞和聽節(jié)拍器（click）從而達(dá)到讓觀眾誤以為是實(shí)時(shí)觸發(fā)效果的方法其實(shí)是最早開始使用，最常見的方式。其實(shí)與磁帶音樂和樂器演奏一樣，樂手/舞者需要熟悉音樂，熟悉節(jié)拍，在適當(dāng)?shù)牡胤匠霈F(xiàn)，聽起來看起來以假亂真，讓人分不清是實(shí)時(shí)還是預(yù)制。

（三）藝術(shù)裝置

帶有可觸發(fā)聲音的交互式藝術(shù)裝置近來在國際各大美術(shù)館展出，作品既是雕塑，又是互動(dòng)音樂裝置。此外，增加了“聲音”這個(gè)緯度，也帶給雕塑家們新的靈感，從而從更廣闊的緯度去表現(xiàn)藝術(shù)家想要表現(xiàn)的主題[2]。

Amatria作為有感知的建筑雕塑（Sentient Architecture）作品，是由Philip Beesley領(lǐng)導(dǎo)的多倫多生活建筑系統(tǒng)集團(tuán)（LASG）、Philip Beesley Architect Inc.和網(wǎng)絡(luò)科學(xué)中心網(wǎng)絡(luò)基礎(chǔ)設(shè)施（CNS）的成員設(shè)計(jì)和建造的。雕像和樓體一同建造。目前位于印第安納大學(xué)伯明頓分校信息計(jì)算和工程學(xué)院四樓。

Amatria懸掛在4樓中庭的樓梯上方，由3D打印結(jié)構(gòu)灌木叢形成的龐大森林景觀。作為實(shí)時(shí)交互的建筑雕塑，便是人工智能的編程，使得其使用光和運(yùn)動(dòng)傳感器收集有關(guān)環(huán)境的信息，對(duì)大氣聲音、起伏的運(yùn)動(dòng)和變化的顏色做出反應(yīng)，并且在后臺(tái)實(shí)時(shí)發(fā)出自然之聲，模仿叢林。Amatria的每個(gè)零件都包含一個(gè)光傳感器和執(zhí)行器，從而使后臺(tái)軟件得以控制每一個(gè)零件上的傳感器和執(zhí)行器。

圖1作品中人工智能運(yùn)用于Amatria對(duì)于自然日照光線的捕捉、周圍環(huán)境的信息、大氣聲音的起伏進(jìn)行檢測后產(chǎn)生數(shù)據(jù)流，并發(fā)送到每個(gè)單獨(dú)的羽毛元件（見圖2），使其能夠?qū)γ咳窄h(huán)境變化做出相應(yīng)的反應(yīng)。音樂在其中扮演的角色，是支撐“3D打印森林景觀”的聲音部分的出現(xiàn)。整個(gè)作品規(guī)模龐大，需要運(yùn)行的程序眾多，如同一個(gè)有機(jī)體。筆者猜測這也是作者設(shè)計(jì)的初衷：森林作為自然有機(jī)體存在，乍看平平無奇，但森林中的萬物都是緊密相連的。當(dāng)人類試圖用科技“復(fù)制”這樣的“簡單的有機(jī)體”時(shí)，才會(huì)體現(xiàn)到自然規(guī)則的龐大和對(duì)自然法則的敬畏[3]。

（四）敘事舞臺(tái)（文學(xué)戲劇）

這一類可以從故事情節(jié)和語言學(xué)兩個(gè)方面入手，故事情節(jié)可以和交互式多媒體進(jìn)行互動(dòng)，從音樂、燈光、舞臺(tái)、交互式多媒體出發(fā)，讓導(dǎo)演更好地講述故事情節(jié)，同時(shí)使觀眾更加身臨其境。

亞歷山大·舒伯特（Alexander Schubert）所創(chuàng)作的Anima?被他自定義為“人工智能驅(qū)動(dòng)的研究所（AI-driven institute）”。在作品簡介中介紹：“Anima?是一個(gè)中心，人們可以進(jìn)入模擬情境，舉例說明他們生活中的段落和時(shí)刻——不斷變化的參數(shù)和修改的現(xiàn)實(shí)。它是由計(jì)算機(jī)運(yùn)行的人工智能驅(qū)動(dòng)的場景，以提供心理洞察或先驗(yàn)啟蒙。這是一個(gè)放棄自我和身體，屈服于不斷變化、強(qiáng)化的環(huán)境的過程，在這個(gè)環(huán)境中，世界隨著人的進(jìn)入而消失。它使未來和過去栩栩如生，并使虛擬充滿活力。它在客體與主體、生物學(xué)與技術(shù)、啟蒙與自我消解之間運(yùn)作?！?/p>

從圖3可以看，舞臺(tái)前有一個(gè)半透明網(wǎng)紗的屏幕，這個(gè)屏幕可以使投影儀投影畫面，同時(shí)也可以讓觀眾看清演員或演奏家。作曲家在2023年布魯塞爾的講座《虛擬身份模型（Virtual Identity Models）》中提到，這樣的設(shè)置是“……仿佛我們透過舞臺(tái)，在看一卷錄像帶”，這樣的設(shè)置強(qiáng)調(diào)了故事感和距離感。Anima?的表演分為沒有AI參與的部分和有AI參與的部分，分別對(duì)應(yīng)舒伯特想表現(xiàn)的內(nèi)和外（inner and outer）的概念。

沒有AI參與的部分，根據(jù)作曲家在講座中介紹的：“從技術(shù)上講，這首曲子的所有七位表演者都使用節(jié)拍器（click track）；他們所說的每一個(gè)動(dòng)作、每一個(gè)字，都是由節(jié)拍器產(chǎn)生的。所以參與者幾乎沒有代理權(quán)，也沒有什么表達(dá)的空間?！?/p>

而有AI參與的部分，AI主要自動(dòng)實(shí)時(shí)生成三種文本：（1）對(duì)于臺(tái)上演員們的指令（如向前、回頭、哭、笑等）；（2）自動(dòng)生成詩歌；（3）由AI生成的人物聲音進(jìn)行朗誦自動(dòng)生成的詩歌，演奏生成各種樂器聲音，以及合唱隊(duì)聲音等。

以上三點(diǎn)所涉及的技術(shù)之廣，編程之復(fù)雜，是令人無法想象的。第一和第二點(diǎn)中，可以使用人工智能、數(shù)學(xué)模型系統(tǒng)和神經(jīng)元編程完成。而在第三點(diǎn)語音和樂器聲音的生成，則需要前期對(duì)表演者，樂器、合唱團(tuán)大量的錄音后，由電腦生成的類似于這些采樣樂器/人聲的聲音。需要注意，這和平時(shí)在DAW中使用的音源采樣不同，這錄制了聲音之后，計(jì)算機(jī)會(huì)自動(dòng)分析樂器/人聲的音色所反映的頻譜，自我進(jìn)化生成更進(jìn)一步類似于輸入樂器/人聲的聲音。在此基礎(chǔ)上，無論電腦生成什么文字、詩歌，都不需要女演員在此錄音，而是直接可以用電腦生成的聲音朗誦生成的文本和指令。作者在講座中提出，本作的中心思想，是思考“從內(nèi)向外，從外向內(nèi)看”的思想，且內(nèi)外的連接（interface）才是最重要，最值得探索的[4]。

綜上所述，人工智能給藝術(shù)家?guī)砹烁啾磉_(dá)的可能性，可以讓藝術(shù)家在更多的維度上表達(dá)自己的思考，自己的想法，迸發(fā)出更多的靈感，影響更多的聽眾與觀眾。

（五）其他跨學(xué)科關(guān)系

以傳統(tǒng)音樂中古琴演奏的記存方式為例。早先，古人為了保存古琴的彈奏指法、弦序和音位發(fā)明了減字譜，但令人惋惜的是大部分樂譜早已消失在歷史的洪流中。例如，上海音樂學(xué)院趙維平教授在一次采訪中透露，他們正聯(lián)合華為團(tuán)隊(duì)研究如何用人工智能來解讀這些“天書”，重構(gòu)古曲。這一過程需要電腦程序員將減字譜的記譜規(guī)律編寫成程序，再用智能設(shè)備拍下譜例，并智能翻譯成簡譜收錄數(shù)據(jù)庫中，隨后，通過云計(jì)算等技術(shù)手段在服務(wù)器上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行減字譜的深度學(xué)習(xí)。這個(gè)過程便屬于機(jī)器學(xué)習(xí)（Machine Learning）。

二、音樂人工智能技術(shù)的跨學(xué)科展望

交互式音樂演奏、視覺藝術(shù)、人工智能識(shí)別系統(tǒng)可以讓各個(gè)學(xué)科之間有更加緊密的聯(lián)系，進(jìn)行更多的跨學(xué)科項(xiàng)目交流。

從音樂科普的角度來說，多媒體互動(dòng)可以改變認(rèn)為古典音樂“晦澀難懂”、傳統(tǒng)音樂“曲高和寡”的聽眾的認(rèn)知。在傳統(tǒng)的演奏中，根據(jù)實(shí)時(shí)的音樂變化做出現(xiàn)場的沉浸式視覺效果，吸引更多的年輕觀眾群體，推廣古典音樂的現(xiàn)代魅力，使得更多人開始進(jìn)一步了解古典、傳統(tǒng)音樂。

從合作的角度來說，多媒體視覺藝術(shù)是一大趨勢。對(duì)于現(xiàn)代多媒體歌劇來說，現(xiàn)代的科技手段可以幫助舞臺(tái)導(dǎo)演有更多的維度展示作品，更好地體現(xiàn)人物的塑造，或者使觀眾更加身臨其境。其中包括實(shí)時(shí)的音樂和舞蹈的合作、電子音樂和視覺藝術(shù)的結(jié)合等。做到互幫互助，增加院際交流，互相提升。

從表演教學(xué)角度來說，積極引進(jìn)人工智能跟隨伴奏，能夠引導(dǎo)學(xué)生對(duì)伴奏聲部進(jìn)行練習(xí)，從而提高伴奏課的效率，減輕伴奏老師的工作壓力，讓跟隨伴奏事半功倍，提高學(xué)生的整體水平。

從項(xiàng)目申請(qǐng)角度來說，以“新時(shí)代新技術(shù)話說經(jīng)典”為主題，用最新的媒介傳播中國傳統(tǒng)文化。在世界范圍內(nèi)介紹中國傳統(tǒng)文化，用新時(shí)代的技術(shù)譜寫傳播經(jīng)典文學(xué)作品，在國際音樂節(jié)介紹更多中國文化。

三、結(jié)束語

法國IRCAM聲學(xué)研究所CNRS的研究主任讓·路易·賈維托曾說：“人工智能在某方面會(huì)比我們更‘藝術(shù)……因此，人工智能迫使我們從另一個(gè)角度重新思考藝術(shù)、哲學(xué)、人類學(xué)等古老的問題?！笨萍寂c藝術(shù)的結(jié)合已經(jīng)成為不可阻擋的趨勢，作曲家通過在音樂創(chuàng)作中有效融入AI技術(shù)，提高音樂創(chuàng)作質(zhì)量。但科技自身不會(huì)產(chǎn)生藝術(shù)，科技卻可以作為載體激發(fā)人類以其形式進(jìn)行創(chuàng)新，并推動(dòng)整體音樂藝術(shù)的發(fā)展。這也正是音樂家堅(jiān)信人工智能音樂具有光明發(fā)展前景的基本理念所在。

參考文獻(xiàn)：

[1]黃宗權(quán).音樂人工智能的哲學(xué)審思[J].中央音樂學(xué)院學(xué)報(bào)，2023（03）：9-21.

[2]陳天嬌.人工智能在音樂創(chuàng)作中的應(yīng)用[J].信息與電腦（理論版），2023，35（12）：177-179.

[3]楊東妮.基于人工智能技術(shù)的圖書館音樂資源數(shù)據(jù)庫建設(shè)方法研究[J].信息與電腦（理論版），2023，35（10）：180-182.

[4]徐麗梅.音樂人工智能專業(yè)風(fēng)頭正勁[N].音樂周報(bào)，2023-07-05（031）.

作者簡介：林舒瑜（1994-），女，福建廈門人，博士，從事音樂作曲等研究。