虛擬現(xiàn)實(shí)技術(shù)在鋼琴教學(xué)中的應(yīng)用研究綜述

肖睿 劉笑妤 王延松

【摘要】 在傳統(tǒng)的器樂教學(xué)中，學(xué)生個(gè)人練習(xí)質(zhì)量的高低很大程度上決定了學(xué)習(xí)的效果。大部分學(xué)生在練習(xí)時(shí)沒有辦法得到教師的指導(dǎo)，所得到的即時(shí)反饋有限，因此練習(xí)效果也難以保證。運(yùn)用虛擬現(xiàn)實(shí)技術(shù)將復(fù)雜的鋼琴練習(xí)任務(wù)轉(zhuǎn)化為通關(guān)游戲，使學(xué)生佩戴頭戴顯示器在視覺上監(jiān)控自己的練習(xí)，不僅可以激發(fā)學(xué)生的練琴興趣與動(dòng)機(jī)，使他們從練琴中獲得游戲的樂趣，也可以提高學(xué)生的讀譜能力和演奏技巧。本文立足于虛擬現(xiàn)實(shí)工具發(fā)展的實(shí)際情況，以國外最新研究成果為基礎(chǔ)，對虛擬現(xiàn)實(shí)技術(shù)在鋼琴中的應(yīng)用進(jìn)行深入研究。其次，通過文獻(xiàn)分析，對人機(jī)交互過程做一個(gè)簡要的說明，最后補(bǔ)充幾點(diǎn)反思和對未來發(fā)展的期許。

【關(guān)鍵詞】 虛擬現(xiàn)實(shí)技術(shù);鋼琴教學(xué);音樂教育;人機(jī)交互

【中圖分類號(hào)】G623 ? ? ? ? ?【文獻(xiàn)標(biāo)識(shí)碼】A ? ? ? ? ?【文章編號(hào)】2096-8264（2020）16-0071-02

基金項(xiàng)目：2019年陜西省社會(huì)實(shí)踐一流本科課程——音樂筑夢紅軍小學(xué)，陜教高辦〔2020〕2號(hào)。

一、前言

虛擬現(xiàn)實(shí)技術(shù)已成功地應(yīng)用于醫(yī)學(xué)訓(xùn)練、軍用飛機(jī)導(dǎo)航、娛樂以及教育領(lǐng)域。該技術(shù)的主要優(yōu)點(diǎn)是可以在物理對象（如儀器）和使用者之間產(chǎn)生感知和認(rèn)知的交叉。本論文試圖通過研究國外虛擬現(xiàn)實(shí)技術(shù)，探索新的音樂教育模式，以鋼琴教學(xué)為例，討論提高學(xué)習(xí)者學(xué)習(xí)體驗(yàn)和動(dòng)機(jī)的方法與實(shí)施過程。

二、虛擬現(xiàn)實(shí)技術(shù)在鋼琴教學(xué)中的應(yīng)用

Shacklock采訪一位經(jīng)驗(yàn)豐富的音樂老師時(shí)發(fā)現(xiàn)，初學(xué)者遇到的主要困難之一是將樂譜轉(zhuǎn)換成鍵盤上的實(shí)體鍵。Dirkse指出，這一基本技能可能需要幾個(gè)月的時(shí)間來培養(yǎng)，然而大多數(shù)復(fù)習(xí)系統(tǒng)都不能解決學(xué)生缺乏興趣和動(dòng)力的問題。這個(gè)問題對于那些通過學(xué)校課程或父母而不是自己意愿來接觸音樂教育的孩子來說尤其重要。虛擬現(xiàn)實(shí)技術(shù)能夠在樂器（鍵盤）、指令（音符）和音樂（聲音）之間創(chuàng)建感知和認(rèn)知聯(lián)系。視覺效果和物理按鍵之間的聯(lián)系可以使用戶快速演奏特定的曲調(diào)，因此有可能改善學(xué)習(xí)體驗(yàn)并增加動(dòng)機(jī)。筆者查閱文獻(xiàn)后發(fā)現(xiàn)，很多優(yōu)秀的計(jì)算機(jī)音樂教育系統(tǒng)已經(jīng)被開發(fā)出來。

其中，鋼琴教學(xué)系統(tǒng)包括Piano Tutor、PianoFORTE 、AR Piano Tutor和Piano AR。其他樂器教學(xué)方面的應(yīng)用也已面世，特別是小提琴輔導(dǎo)軟件Digital Violin Tutor，使用了虛擬現(xiàn)實(shí)技術(shù)和可視化概念來創(chuàng)建手指動(dòng)作和音符之間的認(rèn)知聯(lián)系。Piano Tutor是由Dannenberg等人與兩位音樂教師一起合作開發(fā)的系統(tǒng)。該應(yīng)用程序使用標(biāo)準(zhǔn)的MIDI接口將鋼琴連接到計(jì)算機(jī)，以獲取演奏數(shù)據(jù)。MIDI之所以被選中，是因?yàn)樗鼈鬟f了大量與演奏相關(guān)的信息，包括演奏音符的速度、力度，包括踏板使用的信息。同時(shí)，Dannenberg等人開發(fā)了一個(gè)專家系統(tǒng)，對用戶的表現(xiàn)提供反饋。指令和分?jǐn)?shù)會(huì)顯示在用戶面前的電腦屏幕上。用戶的表現(xiàn)主要根據(jù)音高、音長和節(jié)奏的準(zhǔn)確性來評分。專家系統(tǒng)引導(dǎo)用戶逐個(gè)改正出現(xiàn)的錯(cuò)誤。

Smoliar等人開發(fā)了PianoFORTE，這款工具側(cè)重于音樂的解釋而非基本技能的教學(xué)。Smoliar指出，音樂既不是印在紙上的音符，也不是執(zhí)行電腦指令的運(yùn)動(dòng)技能。音樂是一種藝術(shù)形式，而電腦無法教授或分析情感方面的內(nèi)容。該系統(tǒng)引入了更高級(jí)的分析功能，如發(fā)音的準(zhǔn)確性和和弦的同步。該功能清晰地描述了每個(gè)音符是如何演奏的。例如，斷奏表示一個(gè)音符與相鄰的音符是分開的，而連奏表示音符之間平穩(wěn)過渡，沒有停頓。同步性是指一個(gè)和弦中的音符是否同時(shí)演奏，相同長度的音符是否均勻演奏。這些特征構(gòu)成了高級(jí)音樂表演能力的基礎(chǔ)。在使用的技術(shù)方面，PianoFORTE使用了與Piano Tutor類似的硬件設(shè)置。Huang提出了一個(gè)更近期的系統(tǒng)，該系統(tǒng)通過采用快速準(zhǔn)確的無標(biāo)記跟蹤來改進(jìn)AR Piano Tutor系統(tǒng)的硬件設(shè)置。視覺界面的主要?jiǎng)?chuàng)新是使用虛擬手指，用簡單的圓柱體來表示手的位置和要彈奏的鍵。

三、虛擬現(xiàn)實(shí)鋼琴教學(xué)系統(tǒng)人機(jī)交互過程

（一）目標(biāo)受眾。教學(xué)對象大多是初學(xué)者，目標(biāo)是學(xué)習(xí)基本音符和演奏技巧。

（二）興趣來源。這個(gè)系統(tǒng)最重要的目標(biāo)是要培養(yǎng)學(xué)生的積極性和興趣，只有這樣才能增加練習(xí)時(shí)間，從而提高學(xué)習(xí)效果。Percival等人在音樂以外的領(lǐng)域引用了幾個(gè)成功的教育游戲，認(rèn)為僅僅通過將一項(xiàng)復(fù)雜的任務(wù)以游戲的形式分步呈現(xiàn)，就能給用戶更多堅(jiān)持下去的動(dòng)力。游戲領(lǐng)域的其他概念也可以改編進(jìn)去，例如用虛擬“徽章”和“獎(jiǎng)杯”來獎(jiǎng)勵(lì)成就。

（三）硬件設(shè)置。硬件設(shè)置包括一個(gè)電子鍵盤、一個(gè)帶攝像頭的頭戴顯示器和一臺(tái)計(jì)算機(jī)。用戶頭戴顯示器坐在鍵盤前，鍵盤通過MIDI接口連接到計(jì)算機(jī)，頭戴顯示器通過USB接口連接到計(jì)算機(jī)。設(shè)備前的攝像頭捕捉到的視頻必須投射到顯示器上，以創(chuàng)建增強(qiáng)現(xiàn)實(shí)效果。

（四）儀器的選擇。頭戴顯示器可用于結(jié)合真實(shí)和虛擬對象，以實(shí)現(xiàn)身臨其境的體驗(yàn)。目前的頭戴顯示器主要有兩種類：光學(xué)設(shè)備和錄像設(shè)備。光學(xué)設(shè)備允許用戶看到現(xiàn)實(shí)世界并支持虛擬對象顯示在半透明屏上，而錄像設(shè)備使用攝像頭捕捉真實(shí)世界的圖片，與虛擬對象一起整體顯示在一個(gè)不透明屏上。在實(shí)際應(yīng)用中，光學(xué)設(shè)備因其較低的延遲和更直接的與現(xiàn)實(shí)世界對象的交互而更受歡迎。

從各種可用的音樂接口中，MIDI接口最為適合。它提供豐富、準(zhǔn)確的數(shù)字信息，可以直接由計(jì)算機(jī)使用，而不需要進(jìn)行模擬輸入所需的信號(hào)處理。同時(shí)，MIDI也有一個(gè)成熟的行業(yè)標(biāo)準(zhǔn)。

（五）虛擬現(xiàn)實(shí)界面中的交互。創(chuàng)建虛擬現(xiàn)實(shí)界面需要四個(gè)步驟：（1）捕獲用戶可以看到的圖像;（2）分析目標(biāo)圖像;（3）在映像上疊加虛擬對象;（4）向用戶顯示合成圖像。

在鋼琴教學(xué)系統(tǒng)中，每個(gè)音符都表示為對應(yīng)鍵上的線段，其線段的長度表示音符的持續(xù)時(shí)間。音符以穩(wěn)定的節(jié)奏接近AR視圖中的鍵。當(dāng)音符到達(dá)鍵盤時(shí)，按下相應(yīng)的鍵。同樣地，當(dāng)音符的結(jié)尾到達(dá)鍵盤時(shí)，鍵應(yīng)該被釋放。線段繪制在增強(qiáng)現(xiàn)實(shí)視圖中鍵盤上方的虛擬層，與此同時(shí)，分值跟蹤算法會(huì)在每個(gè)音符被演奏時(shí)跟蹤書面上的音符，得分顯示在臨近的音符上方。

音樂樂譜和虛擬音符是從存儲(chǔ)的MIDI文件中加載的。這個(gè)MIDI文件成為確定用戶演奏質(zhì)量的參考模型。用戶要有一個(gè)他們想要練習(xí)曲目的電子版本，可以通過下載，也可以通過錄制導(dǎo)師的彈奏而獲得。MIDI文件包含每個(gè)音符的計(jì)時(shí)，在犯錯(cuò)的情況下保持穩(wěn)定的節(jié)奏是音樂家需要的技能，系統(tǒng)會(huì)嚴(yán)格執(zhí)行這些計(jì)時(shí)。然而，用戶可以根據(jù)自己的能力手動(dòng)調(diào)整樂曲的速度。用更多的時(shí)間來閱讀樂譜，使一段不熟悉的音樂更容易被理解。慢速練習(xí)是提高音樂流暢性的常用技巧。這個(gè)功能鼓勵(lì)用戶遵循有效的學(xué)習(xí)規(guī)律來掌握一段音樂。

還有一種音符學(xué)習(xí)模式，它在每個(gè)音符到達(dá)時(shí)暫停，并等待用戶按下鍵，然后繼續(xù)下一個(gè)音符。這消除了用戶提前閱讀和準(zhǔn)備未來音符的壓力。通過允許用戶一步步地瀏覽音符，習(xí)慣手和手指的動(dòng)作，慢慢地建立以合適的速度彈奏音符所需的靈活性。

（六）演奏分析和反饋。反饋是非常重要的一個(gè)環(huán)節(jié)，它允許用戶從錯(cuò)誤中學(xué)習(xí)，并為未來的練習(xí)設(shè)定目標(biāo)。系統(tǒng)向用戶提供關(guān)于基本技能的反饋，即音符、音高、音長和節(jié)奏，實(shí)現(xiàn)這一點(diǎn)的方法是使用疊加圖像來點(diǎn)亮琴鍵。通過在增強(qiáng)現(xiàn)實(shí)視圖中對音符可視化進(jìn)行顏色編碼，可以實(shí)時(shí)反饋音符演奏的準(zhǔn)確性，如圖1所示。顏色不像是大小和形狀，不占用額外的屏幕空間，所以顏色是用于表示這些信息最合適的視覺屬性。

在演奏測試的最后，會(huì)給出最終的反饋，總結(jié)有多少音符被彈錯(cuò)或漏掉了。這可以使用戶將反饋與其預(yù)期的標(biāo)準(zhǔn)進(jìn)行比較，為后續(xù)的練習(xí)設(shè)置目標(biāo)。

四、虛擬現(xiàn)實(shí)技術(shù)在鋼琴教學(xué)中應(yīng)用的局限性及發(fā)展趨勢

（一）局限性。從界面設(shè)計(jì)的角度來評價(jià)，虛擬現(xiàn)實(shí)技術(shù)系統(tǒng)的不足之處可能有以下幾點(diǎn)：第一，樂譜的展示可能會(huì)讓人分心。同時(shí)關(guān)注書面符號(hào)和虛擬音符確實(shí)很難做到，許多用戶只是想根據(jù)VR視圖中指定的鍵來彈鋼琴，而不是學(xué)習(xí)閱讀音符;第二，追上逼近的音符是一件令人生畏的事，而尋找音符和強(qiáng)迫計(jì)時(shí)的壓力有可能會(huì)讓學(xué)習(xí)者錯(cuò)過了更多的音符。

從游戲心理學(xué)的角度來評價(jià)，在設(shè)計(jì)時(shí)可能還需要注意以下幾點(diǎn)：第一，游戲廣度。游戲應(yīng)該滿足多種基本的人類需求，如自尊需求、認(rèn)知需求、自我實(shí)現(xiàn)和超越（幫助他人的需求）。游戲廣度可以通過在鋼琴練習(xí)中給予更多的反饋來提高，比如表揚(yáng)、鼓勵(lì)和糾正、有社會(huì)交往（結(jié)對練習(xí)或小組練習(xí)）、增加難度級(jí)別（添加時(shí)間限制、障礙、隨機(jī)事件）等;第二，模仿。游戲應(yīng)該讓玩家不斷學(xué)習(xí)。這一點(diǎn)可以通過對音樂作品的難度進(jìn)行排序、增加要求等方式來實(shí)現(xiàn);第三，情感影響。提高情感影響的常見方法是視覺和聲音效果和獎(jiǎng)勵(lì)（高分榜、虛擬徽章等）。

（二）發(fā)展趨勢。首先，未來必要的發(fā)展可能要包括手指動(dòng)力學(xué)和演奏清晰度等問題的分析。第二，更全面的反饋總結(jié)。將使學(xué)習(xí)者看清自身問題，從而使學(xué)習(xí)目標(biāo)更加明確。第三，分?jǐn)?shù)跟蹤系統(tǒng)也可以繼續(xù)改進(jìn)。此外，還需要進(jìn)行正式的用戶研究，以確定虛擬現(xiàn)實(shí)鋼琴教學(xué)系統(tǒng)與人類鋼琴教師使用傳統(tǒng)顯示器的電腦化教學(xué)工具相比，可用性、有效性和應(yīng)用效果究竟如何。

五、結(jié)論

通過以上文獻(xiàn)綜述得出，國外對于虛擬現(xiàn)實(shí)技術(shù)在鋼琴教學(xué)領(lǐng)域已有一些相應(yīng)的軟件設(shè)計(jì)與硬件實(shí)現(xiàn)。虛擬現(xiàn)實(shí)系統(tǒng)應(yīng)用到音樂教育中，以游戲的方式出現(xiàn)，不僅能夠培養(yǎng)學(xué)生對鋼琴和其他樂器學(xué)習(xí)的興趣，同時(shí)激勵(lì)學(xué)生去自主練習(xí)和改進(jìn)。

作者簡介：

肖睿，女，陜西西安人，西安音樂學(xué)院碩士研究生，主要從事音樂教育學(xué)理論與實(shí)踐等方向的研究。