從腦機(jī)接口窺視未來的鋼琴演奏

文/賀思原

引言

腦機(jī)接口，來自未來的科技，窺視未來的窗口。對—名音樂工作者來說，這是一次腦洞大開的機(jī)會。對樂器演奏來說，好像沒有一點(diǎn)關(guān)系。但對我來說，這是無限可能。還好，藝術(shù)本身就是一種想象的空間，同樣充滿著無限可能。讓我們從一個音樂工作者的角度來思考一下，腦機(jī)接口跟樂器演奏結(jié)合，到底會發(fā)生什么匪夷所思、讓人大跌眼鏡的事情呢？

一、技術(shù)部分

（一）什么是腦機(jī)接口

腦機(jī)接口技術(shù)Brain Computer Interface，BCI)，當(dāng)今最紅的未來黑科技之一。該技術(shù)建立了一種全新的通訊通道，使大腦不依賴于原有的通訊渠道傳送信號，為大腦與外部設(shè)備提供了一種全新的互動方式。

1875年，英國物理學(xué)家Richard Caton首次發(fā)現(xiàn)大腦上的電流信號之后，各國科學(xué)家紛紛對其展開了研究。

1929年，德國醫(yī)學(xué)家Hans Berger首次通過電極記錄下了腦電波。從此，通過分析腦皮層電信號來窺探大腦的意圖，成為了可能[1]。

1973年，Vidal教授提出了一種大腦和計(jì)算機(jī)直接通訊的觀點(diǎn)，腦機(jī)接口從此開啟了新的篇章[2]。

1999年，腦機(jī)接口技術(shù)國際會議對BCI進(jìn)行了定義，即“腦機(jī)接口技術(shù)是一種不依賴于正常的由外周神經(jīng)和肌肉組成的輸出通路的通訊系統(tǒng)”。在這個系統(tǒng)中，大腦繞過了周圍神經(jīng)系統(tǒng)，通過設(shè)備與外界溝通。自此之后，隨著研究的不斷深入，腦機(jī)接口技術(shù)在生活、醫(yī)療和軍事上都體現(xiàn)出了其自身的獨(dú)特價值。作為一種跨界的技術(shù)，腦機(jī)接口的研究涉獵極廣。目前主要涉及生物學(xué)、腦科學(xué)、神經(jīng)學(xué)、臨床醫(yī)學(xué)、計(jì)算機(jī)、通訊行業(yè)等多個領(lǐng)域的交叉。

（二）腦機(jī)接口現(xiàn)狀

基于腦機(jī)接口的產(chǎn)品已經(jīng)看到不少。在科幻影視作品中，《黑客帝國》和《攻殼特工隊(duì)》等作品中都有相關(guān)的描述。在現(xiàn)實(shí)生活中，也已經(jīng)有了相關(guān)的產(chǎn)品報道。據(jù)澎湃新聞報道，奔馳在其概念車Vision AVTR中搭載腦機(jī)接口技術(shù)?！颁撹F俠”馬斯克已經(jīng)在熱衷于通過植入芯片之后，通過意念來控制身邊設(shè)備（圖1）。2018年哈佛大學(xué)的一個創(chuàng)業(yè)公司研究出了一款義肢，讓失去右手的女孩可以演奏鋼琴。這都說明，腦機(jī)接口已經(jīng)不再是科幻話題了。

圖1 腦波采集設(shè)備

1.硬件平臺方面

小型化、便攜化是腦機(jī)接口硬件設(shè)備的發(fā)展趨勢。近紅外成像設(shè)備體積小、噪聲低，且受被試者運(yùn)動狀態(tài)影響較小，目前正被探索用于腦機(jī)接口實(shí)踐。目前國際上較為知名的硬件廠商有奧地利的G.Tec公司、德國的Brain Prouducts公司、美國的NeuroScan公司等。目前不少無線腦電采集系統(tǒng)也已面世。此外，以往腦電采集設(shè)備造價較高，并不利于商用和普及。為了改變這一局面，市面上也出現(xiàn)了一些適合商用的低價采集系統(tǒng)，如Emotiv和OpenBCI等。在國內(nèi)，目前暫時沒有查詢到相關(guān)原創(chuàng)硬件廠商，僅聽聞國防科技大學(xué)有團(tuán)隊(duì)正在進(jìn)行該方面的研發(fā)[3]。

2.軟件平臺方面

經(jīng)過多年的發(fā)展，針對腦機(jī)接口，國內(nèi)外已推出了一些系統(tǒng)設(shè)計(jì)或信息處理的通用軟件平臺工具。知名的主要有ROS、BCI2000、OpenVibe等。ROS主要用于機(jī)器人的操控，也適用于腦機(jī)接口的研究工作，目前越來越多的研究者在BCI2000之后開始使用ROS作為綜合研究平臺。BCI2000是一個基于C語言框架的開放平臺，提供了Python語言的專用流程控制和刺激顯示模塊BCPY2000，也提供了MATLAB等軟件的數(shù)據(jù)接口。OpenVibe則采用了可視化編程界面，一定程度上方便了范式設(shè)計(jì)。在信息處理上，常見的集成工具有EEGlab、ERPlab等。在需要視覺刺激誘發(fā)的情況下，C-sharp、MATLAB的psychtoolbox工具箱和E-prime軟件也都是常用工具[4]。

（三）現(xiàn)有的音樂科技：樂器的數(shù)字化接口（MIDI）

MIDI技術(shù)對于音樂人來說幾乎盡人皆知，至少也是聽說過。自19世紀(jì)90年代起，它逐漸滲透到了音樂活動的方方面面。從樂譜制作到舞臺演奏，從音樂制作到唱片生成，無時無刻不體現(xiàn)著數(shù)字化的魅力。

MIDI是一種信號傳輸?shù)膮f(xié)議，而這個協(xié)議的目的就是用來控制電子樂器的。它本身沒有任何聲音的元素，只是協(xié)議，一堆預(yù)先指定的十六進(jìn)制代碼。所謂的“MIDI音樂”是不存在的。顯而易見，這是利用數(shù)字的手段，來控制MIDI設(shè)備，這也正是數(shù)控技術(shù)的工作方式。所以，我把MIDI技術(shù)稱之為數(shù)控技術(shù)在音樂方面的具體應(yīng)用，數(shù)控技術(shù)在無數(shù)應(yīng)用中的一個分支。

實(shí)際上，除了電子樂器之外，還有一些其他的設(shè)備也在使用相同的方式控制。有些時候還需要跟MIDI信號一起傳送。例如，舞臺的燈光和布景；某些機(jī)械與音樂的同步；有些時候還有音響。還聽說有一些音樂噴泉也是通過類似的手段控制。新聞中曾看到過國外某地鐵站里的樓梯鋪設(shè)了壓力傳感器，人走上去之后會發(fā)出相應(yīng)的音符，這也是MIDI的功勞之一。以前曾經(jīng)非常流行的多復(fù)音手機(jī)鈴聲，在播放音樂的時候還可以同時觸發(fā)多彩的燈光，有些還可以在播放音樂和觸發(fā)多彩燈光的同時，觸發(fā)震動。其工作方式，就是讓燈光和振動的控制單元（或者是程序），根據(jù)指定的MIDI內(nèi)容，進(jìn)行工作。

從技術(shù)上來說，這是計(jì)算機(jī)數(shù)控技術(shù)的一個分支，在音樂藝術(shù)領(lǐng)域里的具體應(yīng)用。經(jīng)過多年的發(fā)展和運(yùn)用，MIDI技術(shù)已經(jīng)成為一種非常成熟的技術(shù)，在音樂行業(yè)中它已經(jīng)成為了一種習(xí)慣。我個人認(rèn)為，腦波演奏將離不開MIDI技術(shù)。無論是腦波驅(qū)動機(jī)械手演奏鋼琴，還是腦波直接驅(qū)動電鋼琴，都將通過MIDI信號來實(shí)現(xiàn)。因?yàn)閷τ谝豁?xiàng)全新技術(shù)來說，以模塊化的概念將新功能模塊嫁接在現(xiàn)有成熟技術(shù)之上，這將少走很多彎路，也將極大地提升原有成熟技術(shù)的上升空間。在我的知識儲備中，這也是這個未來項(xiàng)目唯一的技術(shù)捷徑。

（四）腦機(jī)信號與MIDI的連接

在設(shè)想連接方式之前，我們先要明確一個概念：MIDI本身只是一種數(shù)據(jù)交換協(xié)議，同時也是不同設(shè)備之間的數(shù)字交互控制技術(shù)。既然是一種數(shù)控技術(shù)，那工作的方式一定是以發(fā)送數(shù)據(jù)的方式工作的。MIDI基本原理，就MIDI信號（或數(shù)據(jù)）本身而言，不過只是一堆數(shù)據(jù)而已，沒有任何的聲音。這四個字母是Music Instrument Digital Interface的縮寫，意思是樂器的數(shù)字化界面或接口（圖2）。

圖2 數(shù)據(jù)串00 60（3CH）120（78H）100（64H）

比如任何設(shè)備發(fā)送一組數(shù)據(jù)，音源在收到這組數(shù)據(jù)以后，按照要求準(zhǔn)備音色、鍵位和力度，然后發(fā)一個Note On（開音碼）的事件，開始發(fā)音，并計(jì)數(shù)（Tick）；時值到期的時候，再發(fā)送一個Note Off（關(guān)音碼）。整個事件完成。

從理論上說，MIDI技術(shù)涵蓋了幾乎所有的實(shí)際演奏情況。熟練掌握MIDI知識和多加練習(xí)并融入自己的樂感，就能制作出以假亂真的音樂。

綜上所述，腦機(jī)接口是一種新型的控制技術(shù)。它通過各種方式獲取到純模擬的腦波信號并轉(zhuǎn)換成為數(shù)字信號，用于驅(qū)動外部設(shè)備。MIDI設(shè)備本身就是一種全數(shù)字化的設(shè)備，屬于計(jì)算機(jī)數(shù)控技術(shù)在音樂領(lǐng)域的一個分支。MIDI設(shè)備是通過被控制，才發(fā)出我們需要的聲音。

我所設(shè)想的通過腦電波來演奏鋼琴的方式，與MIDI技術(shù)緊密相連。通過某種還未產(chǎn)生的協(xié)議或技術(shù)，使腦電波直接與MIDI Mapper（MIDI映射表）對應(yīng)起來，這樣便能驅(qū)動音源播放曲目或是驅(qū)動機(jī)械手來演奏鋼琴。

二、對通過腦機(jī)接口演奏鋼琴的思考

（一）優(yōu)點(diǎn)

應(yīng)該可以說，再也不用長年累月的手指練習(xí)了。那種枯燥和痛苦，業(yè)余愛好者是不大能夠體會到的。換個角度來看，更多的業(yè)余愛好者有可能通過腦機(jī)接口成為鋼琴大師。因?yàn)樗囆g(shù)表現(xiàn)完全靠思維，意思是演奏者的意識到哪里演奏就到哪里?？梢灶A(yù)見，這將會形成一種全新的音樂表演形式。藝術(shù)表現(xiàn)力不用再靠多年練習(xí)積累，而是完全依靠個人修養(yǎng)。這時候?qū)I(yè)院校日常的專業(yè)副課將會大顯神威。

很多人可能不大理解這個觀點(diǎn)，但圈內(nèi)的專業(yè)人士應(yīng)該都深有體會。專業(yè)院校的專業(yè)課程只是其核心競爭力的一部分，另外一部分是專業(yè)副課。優(yōu)秀的專業(yè)老師可能在社會上同樣能找到，但輔助的課程和大量的訓(xùn)練是無法在社會上輕易獲取的。僅以音樂教育中的視唱練耳、和聲兩門課程為例。在國內(nèi)各大專業(yè)音樂學(xué)府中，視唱練耳、和聲這兩門課的教學(xué)方式和目標(biāo)就遠(yuǎn)高于國內(nèi)其他院校的音樂專業(yè)。這些專業(yè)學(xué)府的很多學(xué)生經(jīng)過幾乎可謂“變態(tài)”的訓(xùn)練之后，橫向的音樂素養(yǎng)遠(yuǎn)高于國內(nèi)其他院校音樂專業(yè)的學(xué)生。特別是部分院校的附小、附中的學(xué)生。經(jīng)過近10年的訓(xùn)練，聽辨和樂理方面的職業(yè)能力可謂“變態(tài)”。在本科階段，基本可以算是“傲視群雄”了。除了視唱練耳、和聲兩門課程之外，還有音樂美學(xué)、音樂欣賞、中西方音樂史、曲式、復(fù)調(diào)等等一系列的課程。這些課程合在一起，使學(xué)生們的整體音樂素養(yǎng)遠(yuǎn)高于業(yè)余人士。他們對音樂或藝術(shù)作品的理解和把握遠(yuǎn)超業(yè)余選手。

在實(shí)現(xiàn)了腦機(jī)演奏之后，不用再經(jīng)過長年累月的手指機(jī)能訓(xùn)練，而空出來的時間也許會更多投入到美學(xué)、音樂史等專業(yè)副課的學(xué)習(xí)上，也許還有繪畫等非音樂但同樣需要美學(xué)功底的橫向藝術(shù)項(xiàng)目上。最終能碰撞出什么樣的火花，我很期待。

（二）缺點(diǎn)

說實(shí)話，很可怕，細(xì)思極恐。

常年的手指技能訓(xùn)練，使我們在演奏的時候根本不需要考慮哪個手指彈哪個琴鍵，這是一種肌肉記憶。長年的練習(xí)基本都會具有一種本能，就是眼睛看到五線譜上的內(nèi)容，無需反應(yīng)就能在琴鍵上表達(dá)出來，而且準(zhǔn)確率很高。

舉一個例子來說明。應(yīng)用軟件通過操作系統(tǒng)驅(qū)動底層機(jī)器實(shí)現(xiàn)相應(yīng)功能，無需控制芯片的每一個開關(guān)要干什么。我們在用的時候，只需要用好我們自己的應(yīng)用軟件就行了，根本不用管它跟操作系統(tǒng)和底層芯片之間到底發(fā)生了什么。在鋼琴演奏這里就是，眼睛看過五線譜之后產(chǎn)生相應(yīng)的腦波，腦波通過生物電流等等方式控制身體、手臂、腿腳來完成演奏，而不需要仔細(xì)想哪一個手指來彈哪一個琴鍵。這一切都不需要我們特意地控制它，大腦自己就完成了這一切。一切都是那么水到渠成的事情，可轉(zhuǎn)移到腦波演奏上，那麻煩就來了。

腦波演奏，有可能需要每一個音符都要先想到才會發(fā)聲，從而變成需要人為的控制每一根肌肉，才能正常地操縱身體來演奏。因此，簡單地演奏單旋律都成為了一種奢望。這好比是操作系統(tǒng)出現(xiàn)之前的電腦系統(tǒng)，那真的僅僅是一小撮人才能使用的奇怪機(jī)器。鋼琴這種多聲部的演奏，需要同時想到每一個聲部的每一個音才能演奏。幾百年來，鋼琴演奏從來都不是這樣的，這是不可想象的。相對于鋼琴演奏，腦機(jī)接口的數(shù)據(jù)精度和通道數(shù)量必須成倍增長，才能跟上演奏的需求。這一切什么時候能到來，我看不到。借用一句老話，“蜀道難，難于上青天”。

三、挑戰(zhàn)

現(xiàn)代操作系統(tǒng)誕生之初，計(jì)算機(jī)的每一個動作都需要編制天書般的二進(jìn)制代碼構(gòu)成的程序，用以告訴芯片該干什么、開哪個門關(guān)哪個門。世界上第一臺通用計(jì)算機(jī)“ENIAC”，每秒鐘進(jìn)行5000次運(yùn)算，讓它工作必須全部人工編寫一個完整的程序，指導(dǎo)機(jī)器每一步的動作。相比之下這貌似還能接受，因?yàn)楝F(xiàn)代操作系統(tǒng)，上千萬行的代碼，一個人是不可能完成的。所以，軟件編譯工具產(chǎn)生了，解決了人和機(jī)器之間的交流問題；操作系統(tǒng)產(chǎn)生了，計(jì)算機(jī)使用者不需要再直接跟編譯系統(tǒng)和底層機(jī)器代碼打交道了。解決了這兩個問題之后，電腦才真正地普及了，才逐漸有了我們現(xiàn)在所見到的數(shù)碼世界（圖3）。

圖3 系統(tǒng)自帶科學(xué)計(jì)算器中界面下，1234567890數(shù)字串相對應(yīng)的十六進(jìn)制、十進(jìn)制、八進(jìn)制、二進(jìn)制數(shù)字串的截圖

目前腦波演奏鋼琴的技術(shù)狀態(tài)，似乎正處于“ENIAC”誕生之前的“黑暗”時期。目前后段的MIDI技術(shù)已經(jīng)成熟，無論從通訊協(xié)議、應(yīng)用軟件還是硬件，都非常發(fā)達(dá)。就連演奏用的機(jī)械手都已經(jīng)誕生（先不論好壞，總有一天會完善的）。而前端的軟硬件，一切都是未知數(shù)。沒有“ENIAC”，甚至制造“ENIAC”的“電子管”都還在研發(fā)中。就算有了“ENIAC”，還需要一個類似于編譯工具和一種專用的批命令程序，才有可能驅(qū)動樂器，或者演奏樂器的機(jī)械手。而這兩者的研發(fā)，才是腦波演奏鋼琴的真正挑戰(zhàn)。它的誕生之日，將是腦波演奏的春天的開始。

四、結(jié)語

縱觀人類歷史，絕大部分的新技術(shù)都會被首先用于兩個方面。一個是軍事，另一個就是藝術(shù)。腦機(jī)接口作為一個跨多個行業(yè)的新技術(shù)，也不例外。在軍事方面，多年前就開始有專門定制的設(shè)備用于飛機(jī)駕駛等方面。而藝術(shù)方面，目前還真沒看到相關(guān)的發(fā)明。正如前文所述，腦機(jī)接口需要一個全新開發(fā)的通訊協(xié)議和一種編譯工具和某種批命令程序才能逐漸完善起來，而這個完善需要一個漫長的過程。若想在音樂演奏方面有所建樹，真心需要音樂、工程、生物等等各行業(yè)人才的共同努力。也許真正到了那一天，我們將目睹全新樂器“腦琴”的誕生!