基于多特征融合的樂(lè)器聲品質(zhì)評(píng)價(jià)方法研究

陳燕文，李 坤，韓 焱，王燕平

(1.中北大學(xué) 信息探測(cè)與處理山西省重點(diǎn)實(shí)驗(yàn)室,山西 太原 030051；2.中北大學(xué) 藝術(shù)學(xué)院,山西 太原 030051)

0 引 言

中國(guó)傳統(tǒng)音樂(lè)是世界音樂(lè)史中璀璨的一部分，蘊(yùn)含著豐富的歷史、文化和民間傳統(tǒng)資源，是民族歷史的積淀和思想意識(shí)的結(jié)晶，是活著的傳統(tǒng).然而隨著現(xiàn)在快速文化的涌入和影響，許多傳統(tǒng)音樂(lè)正在逐漸消失，特別在民族樂(lè)器的傳承與發(fā)展上嚴(yán)重不足.研究樂(lè)器聲品質(zhì)有助于民族樂(lè)器的傳承與發(fā)展，對(duì)于樂(lè)器質(zhì)量的改良起到至關(guān)重要的作用，對(duì)樂(lè)器購(gòu)買(mǎi)者亦具有很好的指導(dǎo)意義[1].

目前，研究樂(lè)器聲品質(zhì)主要集中在樂(lè)器結(jié)構(gòu)及其物理特性，如：材質(zhì)、力學(xué)、尺寸大小和共振特性等[2-5].文獻(xiàn)[6]從樂(lè)器選材、制作工藝上，對(duì)二胡聲品質(zhì)進(jìn)行客觀評(píng)價(jià)和鑒賞；文獻(xiàn)[7-9]從主觀聽(tīng)感上對(duì)樂(lè)器聲品質(zhì)進(jìn)行評(píng)價(jià)研究.在音樂(lè)聲學(xué)領(lǐng)域，對(duì)樂(lè)器質(zhì)量進(jìn)行客觀測(cè)量評(píng)價(jià)是一項(xiàng)艱巨的任務(wù)[10].李子晉在主觀評(píng)價(jià)與客觀量分析之間建立了聯(lián)系，并闡述了建立主客觀評(píng)價(jià)方法的重要性[11]；徐茂濱和田英志研究出分析二胡樂(lè)音的客觀聲音指標(biāo)(主觀與客觀評(píng)價(jià)之間的橋梁)，并通過(guò)客觀測(cè)量來(lái)評(píng)估二胡樂(lè)音特性[12].

國(guó)內(nèi)外關(guān)于樂(lè)器聲品質(zhì)評(píng)價(jià)研究多數(shù)集中在西洋樂(lè)器，民族樂(lè)器少之又少；評(píng)價(jià)研究主要是從樂(lè)器的結(jié)構(gòu)以及物理特性出發(fā)，忽略了樂(lè)音本身的重要性.考慮到客觀評(píng)價(jià)測(cè)量復(fù)雜，且不易準(zhǔn)確實(shí)現(xiàn)，結(jié)合人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)具有模仿人類(lèi)大腦行為特征的功能，本文提出一種基于多特征融合的樂(lè)器聲品質(zhì)評(píng)價(jià)方法.通過(guò)主觀評(píng)價(jià)法[13-15]獲得樂(lè)器琵琶的聲品質(zhì)評(píng)價(jià)結(jié)果，并建立具有主觀評(píng)價(jià)的樂(lè)音信號(hào)庫(kù)；提取樂(lè)音信號(hào)的相關(guān)系數(shù)(Correlation Coefficient，CC)[16]、常數(shù)Q變換 (Constant Q Transform，CQT)[17-19]和梅爾頻率倒譜系數(shù)(Mel Frequency Cepstrum Coefficients，MFCC)[20,21]，將單一特征以及多特征融合后通過(guò)基于BP神經(jīng)網(wǎng)絡(luò)[22]的樂(lè)器聲品質(zhì)評(píng)價(jià)模型，實(shí)現(xiàn)樂(lè)器聲品質(zhì)評(píng)價(jià).實(shí)驗(yàn)結(jié)果表明，利用樂(lè)音信號(hào)的多特征融合[23]以及評(píng)價(jià)模型進(jìn)行樂(lè)器聲品質(zhì)主觀評(píng)價(jià)預(yù)測(cè)，取得了很好的效果.

1 建立主觀評(píng)價(jià)的樂(lè)音信號(hào)庫(kù)

樂(lè)器聲品質(zhì)評(píng)價(jià)方法研究建立在主觀評(píng)價(jià)基礎(chǔ)上，具有主觀評(píng)價(jià)的樂(lè)音信號(hào)庫(kù)是實(shí)驗(yàn)研究的樣本.

1.1 主觀評(píng)價(jià)法

主觀評(píng)價(jià)法流程如圖1所示.

具體過(guò)程要求為：

1) 樂(lè)器選擇：選用不同價(jià)位、不同品質(zhì)的6把琵琶作為主觀評(píng)價(jià)與樂(lè)音信號(hào)采集的對(duì)象.

圖1 主觀評(píng)價(jià)法流程框圖

2) 評(píng)價(jià)環(huán)境選擇：由于評(píng)價(jià)環(huán)境的聲學(xué)特性對(duì)于樂(lè)器聲品質(zhì)的聽(tīng)辨具有直接的影響.理想選擇是在消音室內(nèi)進(jìn)行，但實(shí)際條件不允許，于是選擇帶有吸音材料的音樂(lè)廳進(jìn)行.

3) 確定評(píng)價(jià)成員：評(píng)價(jià)成員必須具備較為深厚的音樂(lè)素養(yǎng)，熟悉所評(píng)價(jià)樂(lè)器的音響以及相關(guān)的評(píng)價(jià)項(xiàng)目，并能夠較為客觀、全面地進(jìn)行評(píng)價(jià).評(píng)價(jià)成員由5名琵琶專(zhuān)業(yè)教師組成，且保證評(píng)價(jià)員在聽(tīng)審時(shí)的身體與情緒狀態(tài)均為正常.

4) 選擇演奏人員：演奏人員對(duì)樂(lè)器實(shí)施的演奏行為會(huì)直接影響樂(lè)器聲品質(zhì)的結(jié)果，即使是同一種技術(shù)操作，其運(yùn)用與把握的程度也會(huì)導(dǎo)致評(píng)價(jià)結(jié)果產(chǎn)生較大的差異.因此，選用演奏技術(shù)嫻熟的專(zhuān)業(yè)教師一名，且保證演奏員在演奏時(shí)的身體與情緒狀態(tài)均為正常，全部演奏由同一個(gè)人完成.

5) 選定評(píng)價(jià)曲目：以全面反映樂(lè)器聲學(xué)品質(zhì)為原則，由評(píng)價(jià)成員與演奏人員共同選定包含低中高音區(qū)的曲目《金蛇狂舞》.

采用5分評(píng)分制，最終獲得的評(píng)價(jià)結(jié)果如表1所示.

表1 主觀評(píng)價(jià)結(jié)果

1.2 構(gòu)建樂(lè)音信號(hào)庫(kù)

為了獲取不同位置的樂(lè)音信息，搭建8路音頻信號(hào)采集系統(tǒng)，采用8個(gè)高保真的拾音器，連接到計(jì)算機(jī)采集設(shè)備上.為了避免聲波產(chǎn)生空間混疊現(xiàn)象，拾音器線性采集陣列間距應(yīng)滿(mǎn)足空間采樣定理[24]

(1)

式中：fmax為演奏出的樂(lè)音最大頻率值，選取陣元間距d=20 cm.為了滿(mǎn)足采樣頻率不低于44.1 kHz[25]的要求，選用56.25 kHz.每個(gè)樂(lè)音音頻文件采集時(shí)間為30 s，錄制評(píng)價(jià)曲目中音域跨度廣的一小段，每把琵琶進(jìn)行3次主觀評(píng)價(jià)與采集.8路均勻線性采集陣列如圖2所示，建立樂(lè)音信號(hào)庫(kù)的具體原理過(guò)程如圖3所示.樂(lè)音信號(hào)庫(kù)包含144個(gè)音頻文件.

圖2 8通道均勻線性采集陣列

圖3 樂(lè)音信號(hào)庫(kù)構(gòu)建原理流程框圖

2 樂(lè)音信號(hào)的特征提取

音頻信號(hào)的特征提取參數(shù)有兩點(diǎn)需要滿(mǎn)足：① 不同特征參數(shù)之間能有效地區(qū)分開(kāi)，且具備相對(duì)穩(wěn)定性，不隨時(shí)間與空間的變換發(fā)生實(shí)質(zhì)性的變化；② 提取的特征參數(shù)應(yīng)該盡可能全面，準(zhǔn)確地反映音頻信號(hào)的特性.

樂(lè)音信號(hào)的特征包含時(shí)域、頻域和倒頻域3種域特征，時(shí)域特征有短時(shí)能量(Short-term Energy，STE)、相關(guān)系數(shù)(CC)等；頻域特征有短時(shí)傅里葉變換(Short-time Fourier Transform，STFT)、常數(shù)Q變換(CQT)等；倒頻域特征有線性預(yù)測(cè)倒譜系數(shù)(Linear Prediction Cepstrum Coefficients，LPCC)、Mel頻率倒譜系數(shù)(MFCC)等.為了盡可能全面、充分地獲取樂(lè)音信號(hào)中的譜特征信息以及聲場(chǎng)分布信息，本文選取時(shí)域中的相關(guān)系數(shù)(CC)、頻域中的常數(shù)Q變換(CQT)和倒頻域中的Mel頻率倒譜系數(shù)(MFCC)作為特征提取.

2.1 相關(guān)系數(shù)(CC)

采集陣列中的陣元分布在聲場(chǎng)的不同方位，故可以模擬不同位置的主觀評(píng)價(jià)員.對(duì)聲場(chǎng)中的不同采集信號(hào)做時(shí)域的相關(guān)分析，可以研究聲場(chǎng)不同位置的相似度以及探究出聲場(chǎng)的分布狀態(tài).互相關(guān)的物理意義是表示兩個(gè)時(shí)間序列之間的相關(guān)系數(shù)，即表示兩組不同隨機(jī)信號(hào)之間的相關(guān)程度.兩個(gè)隨機(jī)信號(hào)的互相關(guān)函數(shù)定義為

(2)

將樂(lè)音信號(hào)庫(kù)中的8個(gè)一組的音頻文件(即8通道信號(hào))兩兩求取相關(guān)系數(shù)，獲得一個(gè)8*8的相關(guān)系數(shù)矩陣，并進(jìn)一步提取矩陣特征值作為評(píng)價(jià)系統(tǒng)的時(shí)域特征.

2.2 常數(shù)Q變換(CQT)

CQT使音樂(lè)信號(hào)在12平均律的頻點(diǎn)進(jìn)行分解，體現(xiàn)了音樂(lè)信號(hào)頻率分布規(guī)律，而短時(shí)傅里葉變換(STFT)并不能體現(xiàn)這種規(guī)律.

有限長(zhǎng)序列的CQT變換為

(3)

式中：wNk(n)是長(zhǎng)度為Nk的窗函數(shù)(選用漢明窗)；Q是CQT變換中的常數(shù)因子；k是CQT譜的頻率序號(hào)；Nk的值與k值有關(guān).

Q=1/(21/b-1),

(4)

式中：b是一個(gè)8度內(nèi)包含的頻率譜線數(shù).

(5)

fk=fmin×2k/b,k=0,1,…,K-1,

(6)

(7)

特征提取過(guò)程中，取b=12，fmin=27.5，fmax=4 186，fs=56.25 kHz.獲得樂(lè)音信號(hào)的CQT譜如圖4所示.

CQT變換，在低頻部分頻率分辨率高，在高頻部分時(shí)間分辨率高.CQT譜信息保存在一個(gè)分音矩陣XCQT(k,n)中，其中，k=1,2,…,K為頻點(diǎn)序號(hào)；n=1,2,…,N為幀序號(hào).

圖4 樂(lè)音信號(hào)與CQT特征曲線

2.3 梅爾頻率倒譜系數(shù)(MFCC)

MFCC是基于人類(lèi)聽(tīng)覺(jué)的非線性特性提出的一種特征提取方法，它比線性預(yù)測(cè)倒譜系數(shù)(LPCC)更符合人耳的聽(tīng)覺(jué)特征，可以更好地表征音符信號(hào)特性.Mel頻率與線性頻率的轉(zhuǎn)換關(guān)系為

fmel=2 595log10(1+f/700),

或fmel=1 125ln(1+f/700),

(8)

式中：fmel是以Mel為單位的感知頻率，f是以Hz為單位的實(shí)際頻率.

通過(guò)觀察分析如圖5所示的Mel頻率與線性頻率對(duì)應(yīng)關(guān)系曲線及Mel濾波器組頻率響應(yīng)曲線，可知Mel頻率與線性頻率是非線性關(guān)系，Mel濾波器在低頻區(qū)域分布比較密集.

圖5 Mel頻率與線性頻率對(duì)應(yīng)關(guān)系曲線及Mel濾波器組頻率響應(yīng)曲線

MFCC特征參數(shù)提取原理如圖6所示.

圖6 MFCC特征參數(shù)提取原理框圖

具體過(guò)程為：

1) 原始樂(lè)音信號(hào)x(n)經(jīng)過(guò)分幀、加窗處理得到單幀的短時(shí)信號(hào)xw(i,n).分幀的目的是能把較短的單幀作為穩(wěn)態(tài)信號(hào)處理，使幀間參數(shù)平穩(wěn)過(guò)度，幀長(zhǎng)wlen=1 024，幀移inc=512；加窗的目的是減少頻域的泄漏，并采用漢明窗.

2) 快速傅里葉變換(FFT)

X(i,k)=FFT[xi(m)].

(9)

3) 計(jì)算每幀譜線能量

E(i,k)=[X(i,k)]2.

(10)

4) 計(jì)算通過(guò)Mel濾波器的能量

(11)

式中：i為第i幀；k為頻域中第k條譜線.

5) 將Mel濾波器的能量取對(duì)數(shù)后計(jì)算DCT

(12)

式中：m是指第m個(gè)Mel濾波器(共有M=24個(gè))，i是指第i幀，是離散余弦變換(DCT)后的譜線.提取的MFCC特征如圖7所示.

圖7 樂(lè)音信號(hào)與MFCC特征曲線

2.4 多特征融合方法

由于各特征之間的性質(zhì)不同，且具有不同的量綱和數(shù)量級(jí).為了消除數(shù)值大小對(duì)于分析結(jié)果的影響，需進(jìn)行去量綱與數(shù)量級(jí)處理.因此，為了保證實(shí)驗(yàn)結(jié)果的可靠性，多特征融合前需對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理.采用Min-Max標(biāo)準(zhǔn)化處理

(13)

式中：min為各特征數(shù)據(jù)中的最小值；max為各特征數(shù)據(jù)中的最大值.

多特征融合采用首尾相接，即串聯(lián)的方式，把提取得到的3個(gè)特征進(jìn)行組合，形成融合特征.

3 基于BP神經(jīng)網(wǎng)絡(luò)的樂(lè)器聲品質(zhì)評(píng)價(jià)模型

3.1 建?；舅枷?/h3>

樂(lè)器聲品質(zhì)評(píng)價(jià)方法的研究最終目標(biāo)是替代實(shí)現(xiàn)人的主觀感受，盡可能取代主觀評(píng)價(jià)，實(shí)現(xiàn)人工智能化.運(yùn)用人工神經(jīng)網(wǎng)絡(luò)(ANN)具有模仿人類(lèi)大腦行為特征的功能，采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行建模分析，構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的樂(lè)器聲品質(zhì)評(píng)價(jià)模型，其基本思想如圖8所示.建立具有主觀評(píng)價(jià)的樂(lè)音信號(hào)庫(kù)，信號(hào)庫(kù)中包含待訓(xùn)練的樣本、測(cè)試樣本以及驗(yàn)證樣本.提取樂(lè)音信號(hào)的時(shí)域、頻域和倒頻域3種域中比較具有代表性、更貼近人耳感知的特征(CC，CQT和MFCC)，作為特征參數(shù)進(jìn)入評(píng)價(jià)模型學(xué)習(xí)與訓(xùn)練，得出最優(yōu)預(yù)測(cè)評(píng)價(jià)結(jié)果.

圖8 建模基本思想框圖

3.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是運(yùn)用最廣的神經(jīng)網(wǎng)絡(luò)之一，具有很好的非線性映射能力以及自學(xué)習(xí)能力，主要運(yùn)用于函數(shù)逼近、模式識(shí)別、數(shù)據(jù)壓縮和數(shù)據(jù)預(yù)測(cè)等方面.BP神經(jīng)網(wǎng)絡(luò)是由Rumelhart與McCelland為首的科學(xué)家小組提出的多層前饋神經(jīng)網(wǎng)絡(luò)，它是一種機(jī)器學(xué)習(xí)方法，能夠?qū)τ?xùn)練樣本特性產(chǎn)生特定的記憶，并對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè).采用誤差反向傳播(Back Propagation)算法進(jìn)行有監(jiān)督的學(xué)習(xí)，根據(jù)預(yù)測(cè)誤差不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使網(wǎng)絡(luò)預(yù)測(cè)輸出與期望輸出達(dá)到一致.BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層構(gòu)成，隱含層包含單層和多層.

3.3 樂(lè)器聲品質(zhì)評(píng)價(jià)模型

根據(jù)上述建模思想的分析，構(gòu)建樂(lè)器聲品質(zhì)評(píng)價(jià)模型的結(jié)構(gòu)如圖9所示.輸入層神經(jīng)元個(gè)數(shù)根據(jù)輸入特征維數(shù)而定，根據(jù)經(jīng)驗(yàn)以及多次試驗(yàn)確定最優(yōu)隱層層數(shù)及其各層神經(jīng)元個(gè)數(shù)，預(yù)測(cè)評(píng)價(jià)結(jié)果作為BP神經(jīng)網(wǎng)絡(luò)的輸出.

圖9 BP神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型結(jié)構(gòu)

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)仿真

初步實(shí)驗(yàn)，采用融合特征(MFCC+CQT+CC)作為特征參數(shù)輸入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和訓(xùn)練.實(shí)驗(yàn)中，將主觀評(píng)價(jià)結(jié)果作為期望值監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練；在144組樣本中，110組作為訓(xùn)練樣本，24組作為測(cè)試樣本，10組作為驗(yàn)證樣本.根據(jù)樣本和網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，隱層傳遞函數(shù)均采用logsig，輸出層傳遞函數(shù)采用purelin，網(wǎng)絡(luò)訓(xùn)練函數(shù)采用trainlm，學(xué)習(xí)算法采用Levenberg-Marquardt算法.通過(guò)多次試驗(yàn)對(duì)比，調(diào)整網(wǎng)絡(luò)參數(shù)，得到最優(yōu)網(wǎng)絡(luò)參數(shù)配置.

為了進(jìn)一步驗(yàn)證采用融合特征(MFCC+CQT+CC)作為特征參數(shù)輸入到BP神經(jīng)網(wǎng)絡(luò)是最佳的特征融合方式，進(jìn)行了對(duì)比實(shí)驗(yàn)，采用單一特征和不同組合特征以及改變樣本數(shù)進(jìn)行探究實(shí)驗(yàn).

4.2 結(jié)果分析

初步實(shí)驗(yàn)中，得到的結(jié)果如圖10所示.從圖10 中可知，預(yù)測(cè)輸出值與期望輸出值非常相近，有個(gè)別樣本預(yù)測(cè)不是很理想，但總體上預(yù)測(cè)效果很好.測(cè)試樣本的平均準(zhǔn)確率為99.68%，驗(yàn)證樣本的平均準(zhǔn)確率也達(dá)到了99.49%.

圖10 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出與誤差曲線

進(jìn)一步探究實(shí)驗(yàn)獲得的結(jié)果如表2 和圖11所示.

圖11 不同訓(xùn)練樣本數(shù)的平均準(zhǔn)確率曲線

從表2 和圖11 可知，平均準(zhǔn)確率隨著訓(xùn)練樣本數(shù)的增加呈現(xiàn)上升趨勢(shì)，且樣本數(shù)達(dá)到50組以后，組合特征(MFCC+CQT+CC)的預(yù)測(cè)效果都強(qiáng)于其他幾種特征組合；從整體上看，單一特征MFCC以及它的組合特征(MFCC+CC)預(yù)測(cè)效果不佳.

5 結(jié)束語(yǔ)

通過(guò)建立具有主觀評(píng)價(jià)的樂(lè)音信號(hào)庫(kù)作為實(shí)驗(yàn)對(duì)象，提取樂(lè)音信號(hào)的CC,CQT和MFCC特征，作為特征參數(shù)輸入到基于BP神經(jīng)網(wǎng)路的樂(lè)器聲品質(zhì)評(píng)價(jià)系統(tǒng).單一特征MFCC和CQT以及其他4種組合特征分別進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明：融合特征(MFCC+CQT+CC)獲得的預(yù)測(cè)評(píng)價(jià)效果最好，最大程度地表征了琵琶聲品質(zhì)特征；該樂(lè)器聲品質(zhì)評(píng)價(jià)方法可行.雖然取得了比較好的結(jié)果，但是該研究方法的普適性還有待于進(jìn)一步研究與探討.