基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)設(shè)計(jì)

陳浩 吳煜祺

摘? 要： 由于受到音樂專業(yè)性強(qiáng)、樂理知識復(fù)雜、變化多樣等因素影響，導(dǎo)致音樂特征識別難度較大，為此設(shè)計(jì)基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)。系統(tǒng)物理感知層在不同位置布設(shè)聲音傳感器采集音樂原始信號，采用TMS320VC5402數(shù)字信號處理器展開音樂信號分析處理;網(wǎng)絡(luò)傳輸層將處理完成音樂信號，傳輸至系統(tǒng)應(yīng)用層中的音樂信號數(shù)據(jù)庫中;應(yīng)用層中的音樂特征分析模塊，采用動(dòng)態(tài)時(shí)間規(guī)整算法，獲取測試模板和參考模板間最大相似度，實(shí)現(xiàn)音樂信號特征識別，并依據(jù)識別結(jié)果識別音樂曲式和音樂情感對應(yīng)音樂特征內(nèi)容。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)運(yùn)行穩(wěn)定，可采集到高音質(zhì)音樂信號，且能正確識別音樂曲式特征和情感特征。

關(guān)鍵詞： 音樂特征識別; 物聯(lián)網(wǎng); 系統(tǒng)設(shè)計(jì); 信號采集; 信號處理; 實(shí)驗(yàn)分析

中圖分類號： TN912.34?34; TP311.13? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）10?0043?03

Design of music feature recognition system based on Internet of Things technology

CHEN Hao1， WU Yuqi2

（1. Shiyuan College of Nanning Normal University， Nanning 530226， China; 2. Jiaxing University Nanhu College， Jiaxing 314001， China）

Abstract： In allusion to the influence of strong music specialization， complex music theory knowledge， various changes and other factors， it is difficult to recognize the music features. Therefore， a music feature recognition system based on Internet of Things technology is designed. The sound sensors are equipped at the different locations in the physical perception layer of the system to collect the original music signal. The music signals are analyzed and processed by the digital signal processor TMS320VC5402. The processed music signals are transmitted to the music signal database in the application layer of the system through network transmission layer.? The maximum similarity between the testing template and the reference template is obtained with the music feature analysis module in the application layer and by means of the dynamic time warping algorithm， so as to realize the music signal feature recognition， and identify? the musical form and musical emotion corresponding to the music feature contents according to the recognition results. The experimental results show that the system runs steadily， can collect high?quality music signals， and can identify the musical form features and emotional features correctly.

Keywords： music feature recognition; Internet of Things; system design; signal acquisition; signal processing; experimental analysis

0? 引? 言

音樂特征識別是基于語音識別發(fā)展藝術(shù)，通過音頻信號獲取音樂內(nèi)容，進(jìn)一步得到音樂曲式、情感等音樂特征[1]。音樂特征識別的研究涉及到許多方面，如心理聲學(xué)、樂器分析及樂理知識等。目前音樂識別系統(tǒng)未能大范圍應(yīng)用，是由于缺少有利于提升性能信息的系統(tǒng)整體框架設(shè)計(jì)。物聯(lián)網(wǎng)技術(shù)的出現(xiàn)使音樂特征識別系統(tǒng)的實(shí)現(xiàn)成為可能[2]。物聯(lián)網(wǎng)技術(shù)通過有線/無線網(wǎng)絡(luò)間信息實(shí)時(shí)傳遞，實(shí)現(xiàn)音樂信號的智能化采集、處理、分析等，其具有感知全面、傳遞可靠、方便快捷等優(yōu)勢[3]。設(shè)計(jì)基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)，利用物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)音樂信號的感知、傳輸及識別。

1? 音樂特征識別系統(tǒng)總體結(jié)構(gòu)

基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)主要由物理感知層、網(wǎng)絡(luò)傳輸層以及系統(tǒng)應(yīng)用層共同構(gòu)成，系統(tǒng)總體結(jié)構(gòu)框圖如圖1所示[4]。

物理感知層主要包括音樂信號采集模塊和音樂信號處理模塊[5]。其中音樂信號采集模塊通過布設(shè)在不同位置的聲音傳感器采集系統(tǒng)識別所需音樂信號，并將采集到的音樂信號傳輸?shù)揭魳沸盘柼幚砟K，該模塊利用DSP處理器處理音樂信號。網(wǎng)絡(luò)傳輸層通過無線網(wǎng)絡(luò)通信傳輸方式將物理感知層采集并處理完成的數(shù)據(jù)傳輸至系統(tǒng)應(yīng)用層。系統(tǒng)應(yīng)用層匯集音樂信號形成音樂信號數(shù)據(jù)庫，經(jīng)音樂特征分析模塊中的音樂信號特征提取及特征識別分類后，通過LED顯示音樂特征識別結(jié)果[6]。

1.1? 音樂信號采集模塊的設(shè)計(jì)

音樂信號采集模塊包括音樂采集子模塊和語音編碼子模塊。音樂采集子模塊由安裝在不同位置的聲音傳感器組成，負(fù)責(zé)采集原始音樂信號。聲音傳感器內(nèi)置對聲音敏感的電容式駐極體話筒，經(jīng)A/D轉(zhuǎn)換器轉(zhuǎn)換后傳輸?shù)秸Z音編碼子模塊。語音編碼子模塊主要負(fù)責(zé)原始音樂信號的高保真無損壓縮，將音樂信號轉(zhuǎn)換為可傳輸?shù)臄?shù)據(jù)信息，然后將其傳輸?shù)揭魳沸盘柼幚砟K[7]。

1.2? 音樂信號處理模塊設(shè)計(jì)

音樂信號處理模塊由DSP處理器完成設(shè)計(jì)[8]。該模塊采用一款適用于語音信號處理的型號為TMS320VC5402DSP的定點(diǎn)DSP芯片，該DSP芯片運(yùn)行功耗低，運(yùn)行速度快，攜帶2個(gè)MCBSPS（多通道緩沖串口），能夠連接CODEC（編譯解碼器）實(shí)現(xiàn)語音輸入，具備8位增強(qiáng)型主機(jī)并行口（HPI8），與主機(jī)建立通信連接，內(nèi)含4 KB ROM及16 KB DARAM。其結(jié)構(gòu)如圖2所示。

TMS320VC5402內(nèi)部功能單元如下：

內(nèi)部總線結(jié)構(gòu)由4條地址總線和4條程序/數(shù)據(jù)總線構(gòu)成8條16位總線。特殊功能寄存器含有用于控制、管理、訪問各功能單元的26個(gè)特殊功能寄存器。定時(shí)器和中斷系統(tǒng)自身攜帶4位預(yù)定標(biāo)的16位定時(shí)器。TMS320VC5402DSP存儲(chǔ)器基本空間大小為192 KB，程序空間、數(shù)據(jù)空間、I/O空間大小各占[13]，其中程序存儲(chǔ)空間可拓展至1 MB。TMS320VC5402DSP有BIO和XF兩個(gè)通用I/O端口。此外訪問I/O空間可以擴(kuò)展I/O端口，并且TMS320VC54xDSP的HPI以及MCBSP也能夠配置成通用I/O端口。TMS320VC5402的MCBSP能夠在SPI方式下運(yùn)行，有利于同串行A/D、串行E2PROM接口。主機(jī)口為DSP與外部處理器連接供應(yīng)并行接口，便于DSP與外部處理器間的信息交流。

2? 音樂特征識別

2.1? 音樂信號特征識別

在系統(tǒng)應(yīng)用層中的音樂特征分析模塊采用動(dòng)態(tài)時(shí)間規(guī)整（DTW）算法[9]，通過比較音樂特征測試模板和參考模板間歐氏距離識別音樂信號特征。音樂特征測試模板、參考模板的語音幀遵循DTW算法搜索路徑展開音樂特征匹配。假設(shè)參考模板和測試模板分別表示為：

[S={S（1），S（2），S（m），S（M）}]

[P={P（1），P（2），P（n），P（N）}]

式中：[M，N]分別為參考模板和測試模板內(nèi)包含的語音幀總數(shù);[m，n]分別為[S，P]中任意幀號。歐氏距離的計(jì)算方法如下：

[l[P（n），S（m）]=1kr=1K（Hr-H′r）2]? ? ?（1）

式中，[H′，H]分別表示[S，P]的元素。

DTW算法通過搜尋并標(biāo)記最優(yōu)局部路徑，并沿此路徑累計(jì)局部距離獲取全局累計(jì)距離，獲取最優(yōu)模板匹配相似度，將此路徑作為最優(yōu)路徑。

假設(shè)路徑依次經(jīng)過的格點(diǎn)分別為[（n1，m1）]，…，[（ni，mi）]，[（nN，mM）]，根據(jù)端點(diǎn)約束條件可得到[（n1，m1）=（1，1）]，[（nN，mM）=（N，M）]，為符合斜率約束，斜率選擇區(qū)間為0.5～2.5。

從局部搜索角度出發(fā)，假設(shè)最佳路徑經(jīng)過的格點(diǎn)[（ni，mi）]的上一個(gè)格點(diǎn)為[（ni-1，mi）]、[（ni-1，mi-1）]以及[（ni-1，mi-2）]三者之一，假設(shè)始發(fā)點(diǎn)距離這三個(gè)格點(diǎn)的部分累計(jì)距離分別為[L[（ni-1，mi）]]，[L[（ni-1，mi-1）]]和[L[（ni-1，mi-2）]]，則[（ni，mi）]挑選部分累計(jì)距離最小格點(diǎn)繼續(xù)前進(jìn)，以此類推。最終路徑累計(jì)距離如下：

[L[（ni，mi）]=l[T（ni，R（mi））]+L[（ni-1，mi-1）]]? ? （2）

故最小累計(jì)距離就是測試模板和參考模板的最大相似度，即音樂信號特征識別結(jié)果。

2.2? 音樂特征內(nèi)容識別

2.2.1? 音樂曲式特征提取

音樂旋律一般包括兩個(gè)相近樂句，為分析音樂曲式結(jié)構(gòu)采用搜索相近旋律方法，并通過初步識別、重點(diǎn)識別、補(bǔ)充識別三步識別法提升搜索效率和精確度，同時(shí)兼顧音樂曲式的節(jié)奏與和聲特點(diǎn)[10]。

1） 依照節(jié)奏和調(diào)性初步識別

依照音樂節(jié)奏和調(diào)性特征初步劃分整首音樂，縮小范圍，為重點(diǎn)識別提供基礎(chǔ)，增加搜索效率。

2） 通過旋律搜索重點(diǎn)識別

依照音樂特點(diǎn)采用3步假設(shè)進(jìn)一步增加相近旋律搜索效率。

假設(shè)一：16個(gè)小節(jié)組成一個(gè)樂句。該假設(shè)廣泛應(yīng)用于音樂結(jié)構(gòu)研究中，經(jīng)檢驗(yàn)具備正確性。

假設(shè)二：樂句重點(diǎn)部分為前4個(gè)小節(jié)。該假設(shè)采用少量音符表征樂句，且假設(shè)具備正確性。

假設(shè)三：單簧管、小提琴、長笛為眾多樂器中演奏主旋律可能性最大樂器。該假設(shè)有利于快速尋求主旋律音色，是通過旋律搜索重點(diǎn)識別的前提。

基于3步假設(shè)，采用樹狀結(jié)構(gòu)記錄旋律整體輪廓，完成相似旋律搜索。樹狀結(jié)構(gòu)包括4層：第1層為一段旋律，由16個(gè)小節(jié)組成;第2 層為旋律前4個(gè)小節(jié);第3層為每小節(jié)的3個(gè)正拍;第4層為各小節(jié)正拍和半拍。樹狀結(jié)構(gòu)節(jié)奏為[34]拍，主要功能為記錄音樂相對音高。

3） 基于和聲特征補(bǔ)充識別

音樂經(jīng)過初步識別和重點(diǎn)識別之后，可提取到音樂曲式特征，但也會(huì)存在例外[11]。因此通過終止一個(gè)音樂結(jié)構(gòu)和樂思的和聲補(bǔ)充識別曲式結(jié)構(gòu)，提升搜索精確度。

2.2.2? 音樂情感特征提取

音樂曲式特征提取后，音樂被分割成若干個(gè)小樂段。綜合分析每個(gè)樂段的速度、旋律、音響等特征，通過模糊分類器提取其中情感特征。最后依照情感結(jié)構(gòu)合理形容音樂情感特征。

3? 實(shí)驗(yàn)分析

采用Visual C++在Windows 2010平臺(tái)上模擬本文系統(tǒng)原型驗(yàn)證本文系統(tǒng)的有效性。系統(tǒng)聲音傳感器收集到某監(jiān)測區(qū)域中3個(gè)不同地點(diǎn)的音樂信號如圖3所示。從圖3可以看出，系統(tǒng)采集到的音樂信號曲線平滑，沒有毛刺且未出現(xiàn)信號中斷情況，表明系統(tǒng)運(yùn)行穩(wěn)定，采集到的音樂信號音質(zhì)較好。依據(jù)圖3采集的音樂信號，采用本文系統(tǒng)識別音樂特征的結(jié)果如表1所示。

分析表1可知，本文系統(tǒng)可以正確識別出音樂的曲式特征和情感特征，在識別范圍內(nèi)的音樂特征識別率可達(dá)100%。

4? 結(jié)? 論

本文設(shè)計(jì)基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)，系統(tǒng)中的語音信號采集模塊實(shí)現(xiàn)不同來源音樂信號采集，并設(shè)置語音編碼子模塊，獲取高保真無損壓縮原始音樂信號等，可提升系統(tǒng)運(yùn)行速度，降低能耗，極大地提高了音樂特征識別的精度。

參考文獻(xiàn)

[1] 胡昭華，余媛媛.深度卷積神經(jīng)網(wǎng)絡(luò)在音樂風(fēng)格識別中的應(yīng)用[J].小型微型計(jì)算機(jī)系統(tǒng)，2018，39（9）：1932?1936.

[2] 張善文，黃文準(zhǔn)，尤著宏.基于物聯(lián)網(wǎng)和深度卷積神經(jīng)網(wǎng)絡(luò)的冬棗病害識別方法[J].浙江農(nóng)業(yè)學(xué)報(bào)，2017，29（11）：1868?1874.

[3] 趙巧.基于物聯(lián)網(wǎng)的農(nóng)作物試驗(yàn)基地監(jiān)控管理系統(tǒng)設(shè)計(jì)[J].農(nóng)機(jī)化研究，2019，41（1）：222?225.

[4] 錢承山，毛海強(qiáng)，張永宏，等.基于物聯(lián)網(wǎng)技術(shù)的校園用電監(jiān)控系統(tǒng)設(shè)計(jì)[J].電子器件，2017，40（5）：1266?1271.

[5] 馮勇，蔣高明，吳志明，等.基于物聯(lián)網(wǎng)的經(jīng)編制造執(zhí)行系統(tǒng)關(guān)鍵技術(shù)[J].紡織學(xué)報(bào)，2018，39（2）：144?149.

[6] 劉彪，黃蓉蓉，林和，等.基于卷積神經(jīng)網(wǎng)絡(luò)的盲文音樂識別研究[J].智能系統(tǒng)學(xué)報(bào)，2019，14（1）：190?197.

[7] 王蒙蒙，關(guān)欣，李鏘.基于魯棒音階特征和測度學(xué)習(xí)SVM的音樂和弦識別[J].信號處理，2017，33（7）：943?952.

[8] 苗靜，楊帆，潘國峰.嵌入式智能音樂播放系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].聲學(xué)技術(shù)，2017，36（4）：357?362.

[9] 杜威，林滸，孫建偉，等.一種基于分層結(jié)構(gòu)的音樂自動(dòng)分類方法[J].小型微型計(jì)算機(jī)系統(tǒng)，2018，39（5）：888?892.

[10] 肖曉紅，張懿，劉冬生，等.基于隱馬爾可夫模型的音樂分類[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（16）：138?143.

[11] 楊曉宇，黃浩，王浩華.基于改進(jìn)的T型關(guān)聯(lián)度在音樂分類中的應(yīng)用[J].數(shù)學(xué)的實(shí)踐與認(rèn)識，2017，47（20）：155?163.