基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計

1.澳門城市大學(xué)創(chuàng)新設(shè)計學(xué)院 .吉林藝術(shù)學(xué)院 顏成宇 孫博 馬映彤

1 腦波與腦波音樂

1.1 腦波概述

十九世紀(jì)末，德國精神科醫(yī)生Hans Berger 見電鰻放出電氣，便推斷人類也存在著生物電活動現(xiàn)象。1924 年，Hans Berger 首次在頭蓋骨受損患者的大腦中檢測出電磁波變化，由于這些信號是以電磁波形式傳播的，因此被命名為“腦波”。腦波即人腦中的神經(jīng)細胞活動時發(fā)生的電氣性擺動，并以圖表形式呈現(xiàn)。它的振動頻率在一定程度上與人的意識活動相對應(yīng)，因而引起眾多研究者的關(guān)注。1934 年，英國劍橋大學(xué)的E.D Adrian 博士和B.H.C.Mathew 博士再次證實了腦波的存在。

1.2 腦波音樂概述

由于腦波與音樂具有相似的信號形式，因此二者之間的關(guān)系始終是神經(jīng)科學(xué)、心理學(xué)等領(lǐng)域研究的熱點問題[1]。將腦電波轉(zhuǎn)換為音樂，離不開信號數(shù)據(jù)的可視化應(yīng)用。19 世紀(jì)下半葉，生理學(xué)家Etienne-Jules Marey 首創(chuàng)了用圖形法記錄多種生理信號，揭開了成像技術(shù)發(fā)展的序幕。1929 年，德國精神病學(xué)家Hans Berger 發(fā)表了人類腦電圖的首次報道，科學(xué)家們開始不斷探尋關(guān)于人的行為與大腦皮層神經(jīng)細胞活動之間的聯(lián)系。

1934 年，迎來了腦波與聲音聯(lián)系起來的首次嘗試，神經(jīng)生理學(xué)家Edgar Adrian 呈現(xiàn)了Berger 節(jié)律的實驗結(jié)果，將腦電信號轉(zhuǎn)化為聲音信號，并通過揚聲器播放[2]。由此可知，與音頻信號一樣，腦電波也具備聲波頻率的數(shù)據(jù)可聽化參數(shù)。要想采用聽覺來感知腦電波，那么通過揚聲器就可將腦電波轉(zhuǎn)化成聲音。但是當(dāng)時腦電信號和人聲、樂聲的頻率范圍相差較大。直至50 年代開始，信號處理的發(fā)展使腦電信號分析方式得到了顯著改善，通過技術(shù)可將腦電信號的頻率與人聲、樂聲的頻率相契合。由此證實，利用音頻的振幅可以進行腦電信號與音樂信號之間的轉(zhuǎn)化，腦波與音樂之間確實存在一定的相關(guān)性[3]。

2 電子音樂合成器概述

電子音樂合成器是指一種能夠產(chǎn)生音頻信號的電子樂器。它的工作原理是先產(chǎn)生電信號，然后利用電信號儀表放大器接收信號，從而推動音頻輸出設(shè)備發(fā)出聲音。電子音樂合成器的特點是不僅能模擬，如傳統(tǒng)樂器、人聲、海浪聲等以自然形態(tài)存在的聲音，又可以獨立生成非自然發(fā)生的電子聲音。目前，電子音樂合成器的應(yīng)用幾乎貫穿了所有音樂流派和風(fēng)格，被認(rèn)為是目前音樂產(chǎn)業(yè)最重要的樂器之一。

2.1 電子音樂合成器的發(fā)展

電子音樂合成器的起源可追溯到19 世紀(jì)末。當(dāng)時以利沙·格雷為代表的科學(xué)家發(fā)現(xiàn)，人們可以通過控制電磁電路上的機械振動獲取聲音[4]。1876 年，他開發(fā)了一種音樂電報機，使用鋼制成的簧片作為振蕩器，通過電話線和電磁石傳送信號，并被認(rèn)為是電子音樂合成器的前身。1929 年，來自法國的Edouard Coupleux 和 Joseph Givelet 推出了一種樂器，并將它的非官方名稱簡寫為Coupleux-Givelet 合成器，這是歷史上第一次有人將樂器稱為電子音樂合成器。

歷史上第一臺公認(rèn)的、真正意義上的電子音樂合成器誕生于1955 年，美國無線電公司制作了一臺名為MKI 的加法合成器[5]?，F(xiàn)今大多數(shù)電子音樂合成器所使用的有源模塊，如滑音器、包絡(luò)發(fā)生器等，都已在這臺機器上有所體現(xiàn)。1956 年，MKI 的出現(xiàn)標(biāo)志著電子音樂合成器一詞的正式引入。1971 年Moog 公司推出了鍵盤合成器Minimoog Model D，它的出現(xiàn)標(biāo)志著電子音樂合成器的首次商業(yè)成功。1983 年，Yamaha 推出了更加穩(wěn)定可靠的數(shù)字合成器DX7。90 年代隨著計算機的發(fā)展，出現(xiàn)了如Serum可復(fù)刻經(jīng)典模擬合成器等更多音色的軟件合成器。至此，電子音樂合成器的形態(tài)被賦予了新的技術(shù)特征。

2.2 電子音樂合成器的分類

關(guān)于電子音樂合成器的分類，廣義上可以分為模擬合成器和數(shù)字合成器。模擬合成器靠電子信號振動發(fā)聲，所有的組件都通過旋鈕等調(diào)節(jié)電壓來控制，極易調(diào)節(jié)的電壓能產(chǎn)生無數(shù)的音響結(jié)構(gòu)。數(shù)字合成器使用數(shù)字計算干預(yù)處理電子信號振動的某一環(huán)節(jié)來達到將模擬信號數(shù)字化，或直接使用數(shù)字信號。從狹義上來講，電子音樂合成器也可以按功能分為減法合成器、波表合成器、FM合成器、采樣合成器及粒子合成器。

3 國內(nèi)外基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計現(xiàn)狀

腦電波與聲音交互的研究起始于神經(jīng)生理學(xué)家Edgar Adrian將Berger Rhythm 的實驗進行重現(xiàn)，將腦電轉(zhuǎn)化為音頻通過揚聲器進行播放[6]。1965 年，實驗音樂作曲家Alvin Lucier 用腦波創(chuàng)造出第一首腦波音樂Music for the solo performer。通過對其腦波信號的阿爾法波進行放大，將腦電信號轉(zhuǎn)為聲音信號映射到樂器中進行演奏。20 世紀(jì)末，在腦電和音頻技術(shù)飛速發(fā)展的基礎(chǔ)上誕生了BCMI，可用腦波控制音樂演奏且聲音動聽。

3.1 國內(nèi)基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計現(xiàn)狀

國內(nèi)的研究起步較晚且側(cè)重于醫(yī)學(xué)研究領(lǐng)域。2009 年，就職于電子科技大學(xué)的吳丹博士第一次提出基于無標(biāo)度性的腦波音樂編碼假說[7]。該假說是在EEG 與音樂都遵循“無標(biāo)度性”這一非線性動力學(xué)現(xiàn)象的基礎(chǔ)上提出的。2012 年，神經(jīng)信息教育部重點實驗室盧競等人進一步運用和EEG 同步提取的FMRI 來映射音樂中的聲音強度，從而制作了EEG 與FMRI 信號結(jié)合的音樂，該音樂比純粹的腦波音樂更符合無標(biāo)度性[8]。2013 年，吳丹進一步發(fā)展了基于“藝術(shù)濾波”策略的多聲部合奏腦波音樂。研究結(jié)論表明，大腦實現(xiàn)多腦區(qū)之間的協(xié)作就類似于多聲部音樂中不同聲部的合作。

3.2 國外基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計現(xiàn)狀

國外腦波音樂研究有數(shù)十年的歷史，研究側(cè)重于兩方面：一方面是實驗音樂創(chuàng)作，將腦電轉(zhuǎn)化為MIDI 信號映射到音樂合成器中輸出聲音。如作曲家約翰·凱奇是世界公認(rèn)的對實驗音樂起源與發(fā)展有重大意義的作曲家。目前的腦電檢測技術(shù)可映射出人興奮、緊張、輕松等情緒。如Grace Leslie 采用腦電信息采集技術(shù)開發(fā)出將大腦和身體用作樂器，Grace 的心跳、神經(jīng)電活動和其他生理信息反饋可以從接口收集輸入計算機，將它轉(zhuǎn)化為聲音。Grace 在演奏長笛的同時，需要仔細調(diào)整情緒和身體狀態(tài)，以在表演中創(chuàng)造出和諧的音調(diào)。另一方面是基于腦機接口的出現(xiàn)，使用腦電信號驅(qū)動樂器進行演奏。

4 基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計意義

4.1 豐富了電子音樂產(chǎn)業(yè)的創(chuàng)作方式

通過腦電波驅(qū)動的電子音樂可以在不同思維狀態(tài)下創(chuàng)作出具有生物屬性的電子音樂，這是一種全新的創(chuàng)作方式。它改變了傳統(tǒng)音樂創(chuàng)作的固有形式，使音樂的創(chuàng)作從“情感化”向“情感數(shù)據(jù)”的轉(zhuǎn)變，提供了具有生物信號數(shù)據(jù)的創(chuàng)作新視角。

4.2 激發(fā)了藝術(shù)家們的創(chuàng)作積極性

腦電波數(shù)據(jù)的產(chǎn)生通過電子音樂合成器進行數(shù)據(jù)處理，并驅(qū)動設(shè)計出契合用戶生理狀態(tài)的音樂，這種新創(chuàng)作工具的研究有助于激發(fā)藝術(shù)家們的創(chuàng)作靈感，豐富創(chuàng)作的思維邏輯，提高創(chuàng)作效率，從而激發(fā)藝術(shù)家對于電子合成音樂創(chuàng)作的積極性。

4.3 推動了國內(nèi)音樂產(chǎn)業(yè)的發(fā)展

中國正進入數(shù)字化和智能化的新時代，這有效地推動了國內(nèi)音樂創(chuàng)作領(lǐng)域的傳承和發(fā)展，對于打造國家文化軟實力，提高國家文化形象具有重大意義。這不僅重建了人們對國內(nèi)音樂領(lǐng)域的認(rèn)知結(jié)構(gòu)，而且構(gòu)建了一種全新的文化展示形式。

5 基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計思路

5.1 功能設(shè)計

從基于腦波驅(qū)動的電子音樂合成器（以下簡稱為腦波電子合成器）的功能實現(xiàn)方面來講，使用腦波來驅(qū)動電子音樂合成器發(fā)聲主要經(jīng)過采集腦電信號數(shù)據(jù)、參數(shù)映射、信號轉(zhuǎn)換、輸出MIDI四個步驟：第一，通過使用穿戴式腦波傳感器作為腦機接口運用在使用者身上，以標(biāo)準(zhǔn)腦電圖采集法來獲取腦電圖信息。接著，需要對收集的腦電信號數(shù)據(jù)進行特征分析。這里使用到一種技術(shù)，被稱為腦電圖，用于監(jiān)視測量人腦所放射生物電的活動，它廣泛地運用在臨床試驗及科研領(lǐng)域。基于數(shù)值范圍腦電信號可分類為5 種：α波，在淺意識狀態(tài)下8—14 Hz；β波：在意識清醒狀態(tài)下為14—30 Hz；γ波：被測人集中注意力于一點時在30 Hz 以上；δ波：在測試者對事物視而不見聽而不聞的意識狀態(tài)下為4Hz 以下；以及θ波：在潛意識過程中4—8 Hz。根據(jù)這5 種波形可展現(xiàn)人不同時期不同狀態(tài)下人們的情緒。第二，通過放大處理、信號濾波、模擬數(shù)字信號轉(zhuǎn)換等分析方法得到想要的特征參數(shù)，并將其映射成控制聲音或音樂合成所需要的參數(shù)。參數(shù)映射不僅能夠靈敏地、實時地檢測腦電波振幅頻率的微小變化，而且還能夠顯示腦電圖和音樂都遵循的無標(biāo)度定律這一基本特征。根據(jù)費希納定律，腦波的基本屬性和與樂音之間存在著一種對應(yīng)關(guān)系，通過映射算法將大腦皮層電信號的振幅、周期、映射規(guī)則轉(zhuǎn)換成先后對應(yīng)的音高、音長、音量三大音樂的基本特性[9]。第三，在第二步的基礎(chǔ)上，可以將映射后的參數(shù)作為元數(shù)據(jù)來調(diào)節(jié)合成器的電壓，由此驅(qū)動合成器進行電子振動，這里相當(dāng)于一個腦電波到MIDI 信息的接口。第四步發(fā)射MIDI 信號，可選擇與其他的合成器組件或計算機等輸入設(shè)備進行連接，或者直接連接揚聲器進行發(fā)聲。

5.2 交互方式設(shè)計

設(shè)計腦波電子合成器的理念在于，提供了一種不需要使用者進行任何肌肉控制就可以進行音樂交互與表演的方式。因此，腦波電子合成器設(shè)計要避免過多的實體操控，可交互的部分聚焦于對腦波分類的切換和對外部接口的擴展。用戶在使用過程中通過集中注意力、冥想、調(diào)節(jié)情緒等，借助“思想”的力量來完成對產(chǎn)品的使用和音樂的創(chuàng)作：一方面是在表演和音樂創(chuàng)作方向具有創(chuàng)新的、實驗性的意義；另一方面借助此種交互形式幫助由于疾病或先天缺陷不能、不方便進行肌肉控制行動的人群來完成藝術(shù)創(chuàng)作或體驗等需求。

5.3 結(jié)構(gòu)設(shè)計

從結(jié)構(gòu)上來說，腦波電子合成器集成了腦機接口及振蕩器、濾波器等基本組件，并開放與其他合成器和MIDI 輸入設(shè)備、音頻輸入設(shè)備的接口，增加屏幕等可視化界面來監(jiān)測腦波波形，實時反饋用戶的大腦活動和情緒狀態(tài)。采用模塊化的組成結(jié)構(gòu)，一方面腦波傳感器與腦波電子合成器在形式和功能上都能進行分離，以保證后續(xù)對組件的更換與維護不會影響正常的使用；另一方面有利于對雙方的功能進行升級和拓展。同時，內(nèi)置的腦機接口既能配合腦波電子合成器本身完成對腦電波數(shù)據(jù)的采集接收，又可以作為獨立的內(nèi)置模塊與其他電子音樂合成器組件進行數(shù)據(jù)通訊。

5.4 外觀設(shè)計

在外觀上，文章中研究的產(chǎn)品雖然在形式上符合東海岸風(fēng)格合成器注重簡單易用性的理念，但它的交互方式?jīng)Q定了它是一種具有創(chuàng)新性工作流程的西海岸風(fēng)格合成器。因此，在造型設(shè)計方面，產(chǎn)品主要由非侵入式腦波傳感器和接收腦波信號的合成器兩部分構(gòu)成，分別使用頭戴式設(shè)計和模塊化設(shè)計來保持風(fēng)格的一致性。在材料設(shè)計方面，傳感器部分應(yīng)使用碳纖維、ABS 等兼具輕便與堅固特性的材料，結(jié)合人體工程學(xué)保證使用過程的舒適性，減少穿戴設(shè)備對表演者心理狀態(tài)的干擾。合成器部分與傳感器部分保持調(diào)性的一致，外殼材料要保證其便攜性，且有利于腦波信號的接收與發(fā)射。在色彩設(shè)計方面，應(yīng)當(dāng)使用黑或白這種無情感傾向的顏色，讓觀眾聚焦于音樂和表演本身，弱化產(chǎn)品的裝飾性。

6 基于腦波驅(qū)動的電子音樂合成器產(chǎn)品設(shè)計實踐

6.1 設(shè)計理念

腦波驅(qū)動的電子音樂合成器使用了實驗性的交互模式且易于控制，兼?zhèn)涮剿餍院蛯嵱眯浴τ趧倓偨佑|電子合成器領(lǐng)域的入門新手來說，人性化的使用流程和操控界面容易上手。而對于經(jīng)驗豐富的音樂家來說，新的使用方式很大程度上提高了趣味性，為音樂家、作曲家等拓寬了新的創(chuàng)作思路。

6.2 功能設(shè)計

文章中研究的產(chǎn)品提供了腦電波波形實時可視化、信號放大、信號門電路輸出、MIDI 信號輸出四種功能。腦波電子合成器在操控界面上達到了極簡，只保留了三種類型的硬件操作，其中縮放頻率的旋鈕是唯一可干預(yù)所輸入腦電波信息源的部分，信號門電路輸出功能可以發(fā)出電平信號來控制包絡(luò)發(fā)生器等新的模塊，使之能與常規(guī)電子合成器的用戶生態(tài)有機地結(jié)合起來。MIDI 信號輸出功能負責(zé)與其他支持MIDI 信號通訊的設(shè)備，如軟件合成器、激光燈、音響等進行交互來拓寬表演的邊界。

6.3 外觀設(shè)計

6.3.1 產(chǎn)品控件設(shè)計

產(chǎn)品控件設(shè)計是根據(jù)合成器內(nèi)部的模塊結(jié)構(gòu)進行的，這些硬件由算法支持，并決定了它的作用[10]。從產(chǎn)品的功能性和用戶的操作性考量，在設(shè)計中體現(xiàn)出人性化的理念，把腦波這種抽象、無實體的存在形成信息可視化系統(tǒng)?？丶O(shè)計分為5 組，分別對應(yīng)5 種腦電圖波形的信號采集。在每一組控制區(qū)域內(nèi)分為：（1）波形視覺化顯示區(qū)；（2）信號放大調(diào)節(jié)旋鈕；（3）信號門電路輸出接口；（4）MIDI 信號輸出接口。

6.3.2 產(chǎn)品操作界面設(shè)計

產(chǎn)品操作界面設(shè)計的邏輯和風(fēng)格遵循以下三方面內(nèi)容的指導(dǎo)：產(chǎn)品目標(biāo)、硬件（設(shè)備）接口、用戶習(xí)慣。產(chǎn)品目標(biāo)要求界面的設(shè)計要體現(xiàn)產(chǎn)品性質(zhì)，也就決定了界面中的元素和元素間的主次關(guān)系，因此腦波的可視化監(jiān)測屏幕被放置在產(chǎn)品的最上方。整體元素排布與用戶使用習(xí)慣的風(fēng)格一致，在進行用戶界面設(shè)計時應(yīng)充分考慮體驗設(shè)計理論，并結(jié)合用戶對其他音樂合成器的使用經(jīng)驗進行設(shè)計，來保持用戶習(xí)慣的一致性。

6.4 設(shè)計呈現(xiàn)

綜合以上的觀點，此次產(chǎn)品的設(shè)計以功能創(chuàng)新為出發(fā)點，外觀設(shè)計充分考慮電子合成器用戶的使用經(jīng)驗和操作習(xí)慣，既突破了現(xiàn)有產(chǎn)品的框架，又有著延續(xù)用戶生態(tài)的優(yōu)勢。產(chǎn)品最終的效果如圖1、圖2 所示，黑色機身體現(xiàn)工業(yè)美學(xué)，上方的品牌包裝使用了國際主義風(fēng)格，兼具實用性與美觀性。

圖1 產(chǎn)品操作界面

圖2 產(chǎn)品外觀與人機交互

7 結(jié)語

隨著現(xiàn)代科技的發(fā)展，基于腦波的人機交互已成為電子樂器創(chuàng)新設(shè)計的重要方向。文章將電子樂器設(shè)計相關(guān)理論運用到腦波驅(qū)動的電子音樂合成器創(chuàng)新設(shè)計之中，為電子音樂合成器產(chǎn)品設(shè)計提供了新的思路。文章通過實踐驗證理論，真正意義上融合了軟件設(shè)計與硬件設(shè)計，解決了基于腦波驅(qū)動的電子音樂合成器一體化的創(chuàng)新設(shè)計問題。在未來的研究中將繼續(xù)對電子音樂合成器的創(chuàng)新性設(shè)計進行探索，進一步完善研究實證實驗，優(yōu)化產(chǎn)品的迭代設(shè)計。