基于增強(qiáng)現(xiàn)實(shí)技術(shù)的鋼琴教學(xué)系統(tǒng)研究

[摘要]隨著“互聯(lián)網(wǎng)+”的推進(jìn)，計(jì)算機(jī)輔助教學(xué)得到了快速發(fā)展，由于鋼琴教學(xué)的特殊性，使得鋼琴教學(xué)還處在較為傳統(tǒng)的模式，如何使用現(xiàn)有互聯(lián)網(wǎng)技術(shù)輔助鋼琴教學(xué)是現(xiàn)在鋼琴教育研究的重點(diǎn)。本文主要介紹如何將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用到鋼琴教學(xué)系統(tǒng)中，將樂譜通過投影輸出到鋼琴琴鍵上，方便演奏者實(shí)時(shí)觀看，同時(shí)將演奏者的音頻數(shù)據(jù)還原成樂譜進(jìn)行系統(tǒng)指導(dǎo)或人工指導(dǎo)。

[關(guān)鍵詞]增強(qiáng)現(xiàn)實(shí)技術(shù)；教學(xué)系統(tǒng)；鋼琴

中圖分類號(hào)：G6135

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-2233（2016）11-0030-03

近年來，高校信息化的發(fā)展作為高校自身發(fā)展一部分，越來越受到高校管理者的重視。[1]鋼琴教學(xué)的研究在高校也異?；馃?，利用互聯(lián)網(wǎng)技術(shù)輔助鋼琴教學(xué)是鋼琴教師從事鋼琴教學(xué)的迫切需要。

以增強(qiáng)現(xiàn)實(shí)技術(shù)為基礎(chǔ)的鋼琴教學(xué)系統(tǒng)通過將虛擬琴鍵與實(shí)體鋼琴鍵的信息集成，實(shí)現(xiàn)鋼琴演奏者的實(shí)時(shí)交互性，并通過采集演奏者的音頻數(shù)據(jù)，可以進(jìn)行系統(tǒng)指導(dǎo)和人工指導(dǎo)。

本文在增強(qiáng)現(xiàn)實(shí)技術(shù)的基礎(chǔ)開發(fā)，將樂譜轉(zhuǎn)換在按琴鍵序直接投影到實(shí)體鋼琴鍵上，來檢測演奏者是否彈錯(cuò)，并通過分析演奏者音頻數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)指導(dǎo)。

一、增強(qiáng)現(xiàn)實(shí)技術(shù)增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）也稱為混合現(xiàn)實(shí)，是指利用計(jì)算機(jī)技術(shù)，將虛擬物體實(shí)時(shí)地疊加到一個(gè)真實(shí)畫面或空間，形成具有實(shí)時(shí)交互的三維圖像畫面，給用戶帶來更真實(shí)的體驗(yàn)與感受。[2]AR通過軟硬件人機(jī)交互通道，從視覺、聽覺、運(yùn)動(dòng)、觸覺、味覺、嗅覺等方面建立一套感官刺激，與現(xiàn)實(shí)世界的感官融合，在現(xiàn)實(shí)世界中延伸出新的交互環(huán)境。[3]它借助計(jì)算機(jī)視覺技術(shù)、傳感器技術(shù)和可視化技術(shù)、交互技術(shù)等將計(jì)算機(jī)生成的虛擬圖像或其他信息有機(jī)地疊加到用戶所看到的真實(shí)世界的場景中，包括視覺、聽覺、嗅覺、觸覺信息等，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。[4]增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)一般框架，由四個(gè)部分組成：虛擬圖形渲染、現(xiàn)實(shí)實(shí)景采集、計(jì)算機(jī)虛實(shí)圖形融合和顯示輸出，如圖1所示。

虛擬圖形渲染將虛擬景物通過圖形渲染技術(shù)進(jìn)行三維呈現(xiàn)，現(xiàn)實(shí)實(shí)景采集通過圖像采集設(shè)備（如3D攝像頭）采集實(shí)體場景，計(jì)算機(jī)虛實(shí)圖形融合利用計(jì)算機(jī)視覺技術(shù)將虛擬景物與實(shí)景在立體空間通過本給定位進(jìn)行融合，顯示輸出將融合后場景進(jìn)行輸出。

二、系統(tǒng)架構(gòu)

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的鋼琴教學(xué)系統(tǒng)Piano AR架構(gòu)從下往上分別是：數(shù)據(jù)采集層、數(shù)據(jù)處理層、行為指導(dǎo)層和輸出層，如圖2所示。

（1）數(shù)據(jù)采集層：包括圖像采集和音頻采集。圖像采集，通過多臺(tái)3D攝像機(jī)采集手指按鋼琴鍵的位置、深淺及腳部動(dòng)作；音頻采集，通過全向麥克風(fēng)采集鋼琴演奏音。

（2）數(shù)據(jù)處理層：包括對(duì)鋼琴音律和鋼琴譜的建模、音頻的處理和分析。

（3）行為指導(dǎo)層：包括系統(tǒng)指導(dǎo)和人工指導(dǎo)。系統(tǒng)指導(dǎo)，由數(shù)據(jù)處理層將指導(dǎo)信息輸出到輸出層；人工指導(dǎo)，由遠(yuǎn)程老師進(jìn)行人工指導(dǎo)輸出信息到輸出層。

（4）輸出層：包括投影界面和音頻輸出。投影界面，將圖形界面投影到鋼琴鍵面上；音頻輸出，并播放所需的音頻流或音頻文件。

三、鋼琴音律和鋼琴譜建模Piano AR系統(tǒng)輸出層的投影界面輸出的影像鋼琴鍵面與實(shí)體鋼琴的鋼琴鍵面一一對(duì)應(yīng)，如圖3所示，通過3D攝像機(jī)采集到實(shí)體鋼琴琴鍵界面，將琴鍵界面?zhèn)魉偷接?jì)算機(jī)屏幕上，計(jì)算機(jī)在屏幕上建立一個(gè)二維坐標(biāo)，將虛擬的鋼琴琴鍵界面與實(shí)體鋼琴琴鍵界面進(jìn)行重疊，進(jìn)而可以通過3D攝像機(jī)采集演奏人員的彈鋼琴琴鍵的動(dòng)作，鋼琴琴鍵建模，如圖4所示。

接下來采集鋼琴演奏的音頻數(shù)據(jù)，并對(duì)音頻數(shù)據(jù)進(jìn)行分析，來識(shí)別音頻的音高數(shù)據(jù)。該音頻處理的方法已申請(qǐng)專利，申請(qǐng)?zhí)枮椋?016103808743，如圖5所示。

音高數(shù)據(jù)的采集是通過基音頻率識(shí)別器，基音頻率識(shí)別器中含多種音高頻率算法，比如小波變換法、諧波峰值法、倒譜法和并行處理法等來獲取音高數(shù)據(jù)，依據(jù)十二平均律來計(jì)算不同鋼琴鍵頻率與對(duì)應(yīng)音高頻率進(jìn)行比較，可以得到鋼琴演奏的音頻在五線譜的位置，圖6為十二音平均律頻率值示意圖。

從音頻數(shù)據(jù)到樂譜認(rèn)識(shí)，整個(gè)過程可以分為三個(gè)階段：音頻數(shù)據(jù)準(zhǔn)備階段、音符識(shí)別階段和音名識(shí)別階段，如圖7所示。音頻數(shù)據(jù)準(zhǔn)備階段通過音頻采集單元，完成音頻數(shù)據(jù)采集、消除噪音等預(yù)處理工作；音符識(shí)別階段通過基音頻率識(shí)別器獲得音高數(shù)據(jù)；音名識(shí)別階段根據(jù)識(shí)別的音高信息與依據(jù)十二平均律來計(jì)算與之對(duì)應(yīng)的音名。

四、總 結(jié)本文提出一種將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于鋼琴教學(xué)Piano AR系統(tǒng)，利用投景技術(shù)將虛擬琴鍵投景到實(shí)體琴鍵上，通過3D攝像機(jī)捕捉演奏者按琴鍵是否與虛擬琴鍵匹配，通過對(duì)采集音頻數(shù)據(jù)進(jìn)行分析，根據(jù)需求進(jìn)行系統(tǒng)指導(dǎo)或人工指導(dǎo)。

本文下一步要做的研究是實(shí)現(xiàn)多個(gè)演奏者通過AR進(jìn)行協(xié)調(diào)，同步進(jìn)行鋼琴演奏。

[參 考 文 獻(xiàn)]

[1]胡 銳，胡伏原，陳麗春.基于Hadoop的高校公共數(shù)據(jù)平臺(tái)的構(gòu)建[J].蘇州科技學(xué)院學(xué)報(bào)，2015（03）：52—53

[2]宋燕燕，曹效業(yè)，周 靈.移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)在互動(dòng)展示中的應(yīng)用研究[J/OL].計(jì)算機(jī)技術(shù)與發(fā)展，2016（09）.http：//www.cnki.net/kcms/detail/61.1450.TP.20160823.1359.056.html

[3]王德宇，宋述強(qiáng)，陳 震.增強(qiáng)現(xiàn)實(shí)技術(shù)在高校創(chuàng)客教育中的應(yīng)用[J/OL].中國電化教育，2016（10）.http：//www.cnki.net/kcms/detail/11.3792.20161010.1149.038.html.

[4] 孫 源，陳 靖.智能手機(jī)的移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)研究[J].計(jì)算機(jī)科學(xué)，2012（s1）：493—498

（責(zé)任編輯：邢曉萌）