智能鋼琴盲人輔助系統(tǒng)的構(gòu)建

摘 要：本文從六個(gè)方面論述智能鋼琴盲人輔助系統(tǒng)的構(gòu)建過(guò)程，旨在解決盲人鋼琴教學(xué)教師資源短缺的問(wèn)題，滿足盲人內(nèi)心的對(duì)于和明眼人一樣學(xué)習(xí)和彈奏鋼琴的期望，豐富他們的內(nèi)心世界。

關(guān)鍵詞：智能;鋼琴;輔助

隨著人工智能的不斷發(fā)展，智能鋼琴于 2014 年進(jìn)入大眾視野，國(guó)內(nèi)外關(guān)于鋼琴智能輔助教學(xué)系統(tǒng)的研究逐漸豐富，并且正在往更智能，更人性化的方向發(fā)展。國(guó)內(nèi)外已經(jīng)有了幾款帶有教學(xué)功能的智能輔助彈琴系統(tǒng)的產(chǎn)品，但此類鋼琴輔助工具主要是軟件，而且還需要搭配相對(duì)應(yīng)的鋼琴才能使用。且這類工具通常是通過(guò)移動(dòng)端屏幕來(lái)顯示圖像，從而引導(dǎo)使用者按下對(duì)應(yīng)的琴鍵，盲人是肯定不能使用的，目前國(guó)內(nèi)外能幫助盲人學(xué)習(xí)的鋼琴智能輔助教學(xué)系統(tǒng)基本上是空白，構(gòu)建智能鋼琴盲人輔助系統(tǒng)有一定的開(kāi)創(chuàng)性的意義。其前端界面采用信息無(wú)障礙設(shè)計(jì)，可以由盲人選擇想要彈奏的的曲譜，同時(shí)建立評(píng)價(jià)系統(tǒng)，分析彈奏聲音，給出相應(yīng)評(píng)價(jià)和建議，并利用符合人體工學(xué)的手部牽引裝置的滑塊移動(dòng)和指環(huán)震動(dòng)幫助盲人練習(xí)和演奏鋼琴，同時(shí)要收集彈奏聲音，實(shí)現(xiàn)信息的軟硬件傳輸。

一、機(jī)械裝置設(shè)計(jì)

沿用非標(biāo)準(zhǔn)化產(chǎn)品設(shè)計(jì)，將十個(gè)滑塊放置在同一導(dǎo)軌上，同時(shí)使十個(gè)分別由電機(jī)控制的同步帶位于滑塊下方，通過(guò)壓板與滑塊連接，從而使滑塊都在同一水平面同一直線上運(yùn)動(dòng)。每個(gè)滑塊上方都外加一個(gè)契合手指的不同高度的帶有半開(kāi)放圓指環(huán)的托槽，在保障盲人手指不受傷害的同時(shí)牽引他們的手指到達(dá)指定琴鍵的位置。同時(shí)，為了實(shí)現(xiàn)手動(dòng)升降功能，達(dá)到方便調(diào)整，易于收納的目的，本系統(tǒng)的支撐桌面內(nèi)設(shè)計(jì)有錐齒輪傳動(dòng)的手搖升降機(jī)構(gòu)，同時(shí)設(shè)計(jì)防軋腳觸條，盡可能的保障使用者的安全。

（一）手搖升降裝置方案

市面上的鋼琴雖然長(zhǎng)度大體一致，但是高度卻各不相同，為了提高本系統(tǒng)的通用性和易操作性，故采用手搖升降平臺(tái)的方式承托手部牽引裝置，此手搖升降臺(tái)的升降機(jī)構(gòu)的原理為利用錐齒輪嚙合傳動(dòng)改變運(yùn)動(dòng)方向，利用絲桿將滾動(dòng)手柄的轉(zhuǎn)動(dòng)變?yōu)槠脚_(tái)的上下平動(dòng)，達(dá)到使用者轉(zhuǎn)動(dòng)手柄即可實(shí)現(xiàn)整個(gè)系統(tǒng)升降的目的，提升使用者的舒適度。在滾動(dòng)手柄傳動(dòng)軸中設(shè)計(jì)有鉗制器，保障系統(tǒng)不會(huì)因重力或意外改變高度，同時(shí)本系統(tǒng)設(shè)計(jì)有防軋腳觸條和防止升降平臺(tái)下落的安全支撐桿，都可以最大程度上保證使用者的安全，提升用戶體驗(yàn)。

（二）手部牽引裝置方案

采用非標(biāo)準(zhǔn)化產(chǎn)品設(shè)計(jì)，將兩組滑塊群放置在同一導(dǎo)軌上，每組滑塊群由5個(gè)滑塊組成。讓十個(gè)分別由電機(jī)控制的同步帶位于滑塊下方，通過(guò)壓板與滑塊連接，從而使滑塊都在同一水平面同一直線上運(yùn)動(dòng)。本裝置從人體工程學(xué)的角度，考慮到不同的人手指的尺寸不同，設(shè)計(jì)指環(huán)為開(kāi)放的半圓環(huán)，讓其更好的適配不同人的手指，同時(shí)這樣的設(shè)計(jì)還能最大限度的避免個(gè)別人的手指因不能習(xí)慣某些指法受到傷害。根據(jù)彈鋼琴的手型特點(diǎn)和發(fā)力方式，將指環(huán)設(shè)計(jì)在不同的指環(huán)高度上，使用戶的手指擁有最舒適，最安心的使用體驗(yàn)。

（三）手部牽引裝置方案

經(jīng)過(guò)多次實(shí)驗(yàn)，我們發(fā)現(xiàn)之前構(gòu)想的振動(dòng)模塊方案會(huì)使彈琴者感到不舒適。經(jīng)過(guò)多次修改，決定將原先由振動(dòng)的提醒方式改為無(wú)震動(dòng)，滑塊到指定點(diǎn)即停，彈琴者在感知滑塊停止時(shí)按下鋼琴鍵。此外，我們還在每個(gè)滑塊與指環(huán)的托槽間增加一個(gè)彈簧，指環(huán)與滑塊之間不采用剛性連接，而是有一定的活動(dòng)范圍，保證指環(huán)緊貼手指，使其牽引置于其中的盲人手指到達(dá)指定琴鍵的位置。這樣既能避免指環(huán)給手指提供的支持力過(guò)大，影響手感，又能避免用力過(guò)大，損壞滑臺(tái)。

本裝置從人體工程學(xué)的角度，考慮到不同的人手指的尺寸不同，設(shè)計(jì)指環(huán)為開(kāi)放的半圓環(huán)，讓其更好的適配不同人的手指，同時(shí)這樣的設(shè)計(jì)還能最大限度的避免個(gè)別人的手指因不能習(xí)慣某些指法受到傷害。根據(jù)彈鋼琴的手型特點(diǎn)和發(fā)力方式，我們將指環(huán)設(shè)計(jì)在不同的指環(huán)高度上，使用戶的手指擁有最舒適，最安心的使用體驗(yàn)。

二、理論設(shè)計(jì)計(jì)算

（一）手搖升降裝置尺寸設(shè)計(jì)

1.框架尺寸設(shè)計(jì)

綜合考慮電機(jī)單片機(jī)等控制設(shè)備放置空間以及與鋼琴的適配度，我們裝置的總長(zhǎng)度為1700mm，考慮到我們電機(jī)控制部分已選用42步進(jìn)電機(jī)，設(shè)計(jì)裝置寬度為400mm，采用鋁型材拼接而成。

2.齒輪尺寸設(shè)計(jì)

錐齒輪是圓錐齒輪的簡(jiǎn)稱，它用來(lái)實(shí)現(xiàn)兩相交軸之間的傳動(dòng)，兩軸交角 S 稱為軸角，其值根據(jù)傳動(dòng)需要確定為 90°，選用硬度為200HB的灰鑄鐵作為齒輪的材料。模數(shù)為2.5，小齒輪齒數(shù)為20，大齒輪齒數(shù)為40的直齒圓錐齒輪。

（二）手部牽引裝置尺寸設(shè)計(jì)

1.同步帶傳動(dòng)尺寸設(shè)計(jì)

為保證傳動(dòng)準(zhǔn)確，考慮使用梯形齒同步帶傳動(dòng)。電動(dòng)機(jī)定位轉(zhuǎn)矩T=15mN·m，保持轉(zhuǎn)矩240mN·m，最大轉(zhuǎn)速n=2300×1.8°÷360°×60=690r/min。名義功率P=T·n×10·-3/9.55=1.1W。載荷修正系數(shù)查表后選取KA=1.2。設(shè)計(jì)功率Pd=KAP=1.3W。

2.滑塊滑臺(tái)設(shè)計(jì)

由于鋼琴的白鍵寬度為23.4～23.8mm，因此選用長(zhǎng)度小于該寬度的滑塊MGN7C，和與其配對(duì)的MGN7導(dǎo)軌。

三、電機(jī)驅(qū)動(dòng)選用

為了精確而緩慢地牽引盲人的手指到達(dá)指定琴鍵處，可以采用兩種方案：閉環(huán)控制直流減速電機(jī)和開(kāi)環(huán)控制步進(jìn)電機(jī)。

由于無(wú)法直接控制直流電機(jī)旋轉(zhuǎn)的角度，因此直流電機(jī)必須閉環(huán)控制。為了獲得較低的轉(zhuǎn)速，還應(yīng)配備減速器。電機(jī)選用帶減速器的直流減速電機(jī)成品。由于步進(jìn)電機(jī)的轉(zhuǎn)角方便控制，在本裝置中運(yùn)行平滑無(wú)沖擊，步進(jìn)電機(jī)不容易丟步，因此采用開(kāi)環(huán)控制。步進(jìn)電機(jī)選用普通42步進(jìn)電機(jī)。為保證使用者的舒適體驗(yàn)和防止步進(jìn)電機(jī)丟步，編寫相關(guān)程序，使步進(jìn)電機(jī)以擺線運(yùn)動(dòng)規(guī)律轉(zhuǎn)動(dòng)，這樣速度和加速度都不會(huì)發(fā)生突變。具體實(shí)現(xiàn)方式如下：由外部告訴單片機(jī)總共需要旋轉(zhuǎn)的步數(shù)以及整個(gè)旋轉(zhuǎn)過(guò)程的時(shí)間，單片機(jī)查余弦表并且插值獲得近似的余弦值，經(jīng)換算后得到某一時(shí)刻應(yīng)該運(yùn)行的步數(shù)，在計(jì)算得到的時(shí)刻發(fā)送脈沖，使DRV8825控制步進(jìn)電機(jī)旋轉(zhuǎn)（目前電機(jī)驅(qū)動(dòng)芯片部分為模擬實(shí)現(xiàn)）。

四、藍(lán)牙連接

藍(lán)牙HC05是主從一體的藍(lán)牙串口模塊，簡(jiǎn)單的說(shuō)，當(dāng)藍(lán)牙設(shè)備與藍(lán)牙設(shè)備配對(duì)連接成功后，我們可以忽視藍(lán)牙內(nèi)部的通信協(xié)議，直接將將藍(lán)牙當(dāng)做串口用。當(dāng)建立連接，兩設(shè)備共同使用一通道也就是同一個(gè)串口，一個(gè)設(shè)備發(fā)送數(shù)據(jù)到通道中，另外一個(gè)設(shè)備便可以接收通道中的數(shù)據(jù)。

五、小程序設(shè)計(jì)

（一）微信小程序功能

微信小程序主要幫助我們實(shí)現(xiàn)兩個(gè)功能：①傳送用戶選定的曲目信息到電機(jī)模塊，實(shí)現(xiàn)鋼琴輔助用戶彈琴;②接收來(lái)自藍(lán)牙模塊傳來(lái)的信息，分析對(duì)比原曲目音譜，實(shí)時(shí)反饋用戶，實(shí)現(xiàn)評(píng)價(jià)功能。此外，我們還設(shè)置了聽(tīng)歌識(shí)曲、活動(dòng)界面、積分兌換等功能模塊，同時(shí)發(fā)大字體，配色圖標(biāo)，豐富了用戶的體驗(yàn)，讓盲人、視力障礙者等這些需要幫助的人享受無(wú)障礙服務(wù)。我們?cè)谧鲞@個(gè)微信小程序前端開(kāi)發(fā)時(shí)，使用了藍(lán)湖Photoshop插件。

（二）微信小程序界面

1.界面設(shè)計(jì)

我們使用Photoshop這款圖像處理軟件，它是集圖像掃描、編輯修改、圖像制作、廣告創(chuàng)意，圖像輸入與輸出于一體的圖形圖像處理軟件。

由于我們面向的對(duì)象是：1.無(wú)法感知網(wǎng)頁(yè)和文字信息的盲人;2.無(wú)法看清屏幕的視力障礙人群;3.不善使用讀屏軟件的人群。我們提供了友好性服務(wù)：放大屏幕字體、模塊簡(jiǎn)單化、屏幕無(wú)上下滑動(dòng)、配色鮮艷。我們后期還將實(shí)現(xiàn)語(yǔ)音引導(dǎo)、操作幫助、可視化服務(wù)等服務(wù)功能。

我們的微信小程序名稱暫定為“盲輔”，全稱是盲人彈琴輔助系統(tǒng)。一共分為六大模塊：選曲、聽(tīng)歌識(shí)曲、活動(dòng)界面、評(píng)價(jià)界面、積分兌換和設(shè)置。無(wú)屏幕上下滑動(dòng)，每個(gè)模塊都配有不同顏色，為視力障礙者提供無(wú)障礙服務(wù)，后期我們將引進(jìn)語(yǔ)音引導(dǎo)功能，方便盲人使用。

2.界面實(shí)現(xiàn)

我們?cè)谧鲞@個(gè)微信小程序前端開(kāi)發(fā)時(shí)，使用了藍(lán)湖Photoshop插件。藍(lán)湖是一款產(chǎn)品文檔和設(shè)計(jì)圖的共享平臺(tái)，幫助互聯(lián)網(wǎng)團(tuán)隊(duì)更好地管理文檔和設(shè)計(jì)圖。使我們做前端開(kāi)發(fā)比較方便。

六、音頻的反饋與處理

（一）語(yǔ)音的預(yù)處理（漢明窗）

先對(duì)語(yǔ)音進(jìn)行預(yù)處理。首先是預(yù)加重，然后進(jìn)行加窗分幀處理，一般每秒的幀數(shù)約為33～100幀。前一幀和后一幀的交疊不分稱為幀移，幀移與幀長(zhǎng)的比值一般為0～1/2。分幀是用可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)。

（二）頻域分析（傅里葉變換）

信號(hào)頻譜分為幅度譜和相位譜，傅里葉頻譜分析的基礎(chǔ)是傅里葉變換，用傅里葉變換及其反變換可以求得傅里葉譜，自相關(guān)函數(shù)，功率譜，倒譜。因?yàn)閷?duì)于線性系統(tǒng)來(lái)說(shuō)，可以很方便地確定其對(duì)正弦或復(fù)指數(shù)和的響應(yīng)，所以傅立葉分析方法能完善地解決許多信號(hào)分析和處理問(wèn)題，F(xiàn)FT即為快速傅氏變換，是離散傅氏變換的快速算法，可以將一個(gè)信號(hào)變換到頻域，有些信號(hào)在時(shí)域上的特征不是很明顯，但是如果變換到頻域之后，就很容易看出特征了。

（三）濾波（Butterworth濾波器）

巴特沃斯濾波器（Butterworth filter）是電子濾波器的一種，它也被稱作最大平坦濾波器。巴特沃斯濾波器的特點(diǎn)是通頻帶內(nèi)的頻率響應(yīng)曲線最大限度平坦，沒(méi)有紋波，而在阻頻帶則逐漸下降為零。

（四）實(shí)驗(yàn)

在本為了更好的驗(yàn)證頻譜分析模塊的音頻采集功能，利用數(shù)字麥克風(fēng)采集到的信號(hào)經(jīng)I？2S傳送到單片機(jī)并且儲(chǔ)存在內(nèi)存中，通過(guò)短時(shí)自相關(guān)法找到基頻，再通過(guò)十二平均律計(jì)算出音符，將波形和處理結(jié)果顯示在屏幕上。現(xiàn)設(shè)計(jì)實(shí)驗(yàn)如下：

實(shí)驗(yàn)?zāi)康模禾骄渴欠窨梢允褂枚虝r(shí)自相關(guān)提取鋼琴聲音的基頻。

使用設(shè)備：Kendryte單片機(jī)開(kāi)發(fā)板及其板載數(shù)字麥克風(fēng)、計(jì)算機(jī)以及虛擬鋼琴軟件。

實(shí)驗(yàn)過(guò)程：編寫采集數(shù)字麥克風(fēng)數(shù)據(jù)、生成圖像的程序以及將頻率轉(zhuǎn)換為音符的程序，根據(jù)定義編寫計(jì)算自相關(guān)函數(shù)以及峰值查找的程序，燒錄編譯生成的二進(jìn)制文件到單片機(jī)上并運(yùn)行，使用電腦上的虛擬鋼琴軟件彈奏不同的音符（每次僅按下一個(gè)琴鍵），觀察屏幕上是否有結(jié)果輸出，以及識(shí)別出的音符是否正確。程序使用C語(yǔ)言編寫。

結(jié)論：經(jīng)測(cè)試，能夠識(shí)別音符，為構(gòu)建反饋模塊的全面構(gòu)建確立了實(shí)物基礎(chǔ)。

參考文獻(xiàn)：

[1]閆鑫狄.《智能鋼琴 極客的音樂(lè)夢(mèng)》[DB/OL].中國(guó)知網(wǎng)，2016-01-16.

[2]KLASSIKOM音樂(lè)資訊中心.《FIND智慧鋼琴發(fā)布，定位家庭音樂(lè)中心》[DB/OL].維普，2016.

[3]弱雞13.《谷歌AI鋼琴精靈推出：只需8個(gè)按鍵，搖身一變成郎朗》[J/OL].IT之家，2018-10-18.

[4]張曉梅.圖書館微信小程序應(yīng)用研究[J].傳媒論壇，2020，3（03）：93-94.

[5]魏小迪，劉敏.南寧公共體育微信小程序的研究與設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2020，16（04）：48-49.

[6]陳思，冷雪.微信小程序開(kāi)發(fā)方式對(duì)比[J].電子制作，2020（02）：52-53+22.

[7]李哲，周靈.微信小程序的架構(gòu)與開(kāi)發(fā)淺析[J].福建電腦，2019，35（12）：66-69.

[8]賴培烜，秦道新，田園，余衛(wèi)業(yè)，譚衛(wèi)國(guó).互聯(lián)網(wǎng)技術(shù)+手機(jī)微信小程序的患者管理模式探討[J].中國(guó)熱帶醫(yī)學(xué)，2020，20（04）：394-396.

[9]LabVIEW graphical programming / Gary W. Johnson， Richard Jennings. New York ; London ： McGraw-Hill， c2006

[10]chonglastest.語(yǔ)音信號(hào)的短時(shí)技術(shù)分析[B].百度文庫(kù).2010-10-31.

[11]風(fēng)翼冰舟.音頻處理短時(shí)傅里葉變換[N].CSDN博客論壇.2020-02-28.

[12]LabVIEW advanced programming techniques / Rick Bitter， Taqi Mohiuddin， Matt Nawrocki. Published Boca Raton， FL ： CRC Press， c2001. ISBN：0849320496 （alk. paper）

[13]Yngz_Miao 【常用模塊】HC-05藍(lán)牙串口通信模塊使用詳解【N】CSDN博客論壇2018.05.19

[14]沙雕碼 藍(lán)牙模塊HC05遇到的一些常見(jiàn)的問(wèn)題【N】CSDN博客論壇 2017.07.21

[15]卞毓偉. 鋼琴?gòu)椬鄻?lè)曲識(shí)別算法研究及其APP設(shè)計(jì)與實(shí)現(xiàn) [D]. 南京理工大學(xué)， 2017.

[16]張俊杰. 基于和諧泛音檢測(cè)的主旋律提取技術(shù) [D]. 上海交通大學(xué)， 2007.

[17]劉樂(lè). 鋼琴演奏評(píng)價(jià)系統(tǒng)研究 [D]. 清華大學(xué)， 2005.傅水根主編 機(jī)械制造工藝學(xué)基礎(chǔ) 清華大學(xué)出版社 2011年

[18]伍艷雄，黃勇，高林， 等.步進(jìn)電機(jī)細(xì)分驅(qū)動(dòng)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].湖北民族學(xué)院學(xué)報(bào)（自然科學(xué)版），2019，37（4）：458-462. DOI：10.13501/j.cnki.42-1569/n.2019.12.021.

[19]孫星，吳杏.基于單片機(jī)的步進(jìn)電機(jī)細(xì)分驅(qū)動(dòng)系統(tǒng)設(shè)計(jì)[J].山東工業(yè)技術(shù)，2017，（6）：157-158. DOI：10.16640/j.cnki.37-1222/t.2017.06.136.

作者簡(jiǎn)介：

趙梓伊（2000.03-），女，漢族，四川南充人，四川大學(xué)機(jī)械工程學(xué)院 機(jī)械設(shè)計(jì)制造及其自動(dòng)化專業(yè)2018級(jí)本科學(xué)生，研究方向：機(jī)械設(shè)計(jì)及其自動(dòng)化.

（四川大學(xué)機(jī)械工程學(xué)院 ? 四川 ?成都 ? 610065）