西方樂器單音情感感知與音色的相關(guān)性分析

戴銘微，王鑫，朱偉，高萌

(中國傳媒大學(xué)音樂與錄音藝術(shù)學(xué)院，北京 100024)

1 引言

音樂是人們表達情感的重要方式，隨著智能音樂的迅速發(fā)展，樂器音色情感感知特點的研究逐漸受到關(guān)注。音樂的情感感知通常從客體角度和主體角度出發(fā)進行區(qū)分，客體角度強調(diào)聽音者感知到的音樂情感表達，而主體角度是聽音者所產(chǎn)生的情感體驗[1，2]。本文將從音樂情感的客體角度展開論述。在音樂情感感知的研究中，常用的情感模型主要分為離散情感模型和維度情感模型。離散情感模型通常要求被試根據(jù)憤怒、恐懼、驚訝、快樂等類別進行分類或打分[3，4]。由于離散情感模型標注的非連續(xù)性[5]，很難通過多元統(tǒng)計方法建立情感感知結(jié)果與聲學(xué)特征之間的關(guān)聯(lián)。而維度情感模型能夠描述連續(xù)的感知水平，便于實現(xiàn)與聲學(xué)特征的關(guān)聯(lián)。以情感環(huán)為基礎(chǔ)的愉悅度(valence)—喚醒度(arousal)二維模型[6]是知名度較高的模型。另外Watson提出的積極-消極情感模型(Positive Activation-Negative Activation)[7]和Thayer提出緊張喚醒度(Tension Arousal)-能量喚醒度(Energy Arousal)模型[8]也是研究中經(jīng)常使用的模型。由于二維模型無法準確描述情感感知的多樣性，近年來人們提出了情感感知三維模型。其中，愉悅度、緊張喚醒度和能量喚醒度的三維模型(簡稱VTE三維情感模型)是最有說服力的模型，并廣泛應(yīng)用到音樂情感感知實驗中[7-10]。

多維尺度分析(Multidimensional scaling analysis，以下簡稱MDS)也是研究情感及音色感知的有效方法。1977年，Grey利用MDS技術(shù)推導(dǎo)了音色的三維感知模型，其中第一個維度與頻譜能量分布有關(guān)，剩下的兩個維度與高次諧波起振-衰減的時間同步程度和包絡(luò)的頻譜波動程度有關(guān)[9]。Eerola和Vuoskoski利用MDS的方法，基于18個西樂單音建立了音色二維情感感知空間模型，模型的兩個維度分別對應(yīng)愉悅度和能量喚醒度[10]。謝，張對18個民樂的感知屬性進行主觀實驗，利用MDS法得到了音色感知空間。結(jié)果表明低頻能量分布和亮度是影響音色感知的主要聲學(xué)因素[11]。

盡管對音樂和情感的研究越來越多，但對于音樂元素如何影響音樂的情感卻很難得出決定性的結(jié)論[12]。目前許多學(xué)者基于音樂的模式、旋律、和聲、節(jié)奏和形式等心理物理線索(psychophysical cues)進行研究，而音色的聲學(xué)特征也是傳遞情感信息的重要元素。張婧穎等人對18種民族樂器單音的諧和性進行分析，發(fā)現(xiàn)頻譜質(zhì)心是影響樂器單音諧和性的重要聲學(xué)特征，并且頻域特征也是影響其組合協(xié)和性的主要物理因素[13]。Wu等人對西方樂器持續(xù)樂音采用配對比較的方法，比較其表達情感方面的差異，結(jié)果表明明亮度、起振時間和奇偶諧波能量比與情感感知高度相關(guān)。隨后將實驗在西方樂器瞬態(tài)樂音中進行研究的擴展，證明吉他、豎琴和彈撥小提琴與消極情緒高度相關(guān)[14]，衰減斜率和顯著諧波密度是西方樂器瞬態(tài)樂音情感感知的重要音色特征。Eerola等人基于三維情感模型對西樂單音進行實驗，發(fā)現(xiàn)高低頻能量比、頻譜規(guī)則度和起振斜率對愉悅度起主要作用，而高低頻能量比、譜偏度和時域質(zhì)心是影響能量喚醒度的重要聲學(xué)特征[15]。由于中西方文化背景差異，西方文化背景被試對西樂單音得出的結(jié)果是否適用于中國文化背景被試仍有待商榷。

為了探究不同文化背景被試對西樂單音音色情感感知的差異，本文以中國被試為研究群體，西方樂器單音為研究對象，采用三維情感感知模型和情感感知相似度實驗建立中國被試西方樂器單音的情感感知空間，然后提取音色聲學(xué)特征，通過回歸分析方法建立情感感知結(jié)果與聲學(xué)特征之間的關(guān)聯(lián)。最終通過對比中西方被試的結(jié)果差異，探究情感感知的共性與差異性。這將為今后音樂情感的跨文化智能推薦提供一定的理論參考。

2 西方樂器單音情感感知實驗

2.1 實驗1：基于三維感模型的單音情感感知實驗

2.1.1 實驗方法及過程

實驗信號為18種西洋樂器單音，其中包含彈撥樂器(吉他、羽管鍵琴、鋼琴、豎琴)，吹管樂器(小號、長笛、雙簧管、薩克斯、長號、單簧管、圓號)和弓弦樂器(大提琴、高音提琴、中提琴、小提琴)。本文采用維也納管弦樂音色庫(VSL)集合中18種音色差異相對較大的西洋常見樂器，演奏時長盡量控制在2s左右，采樣率為44.1kHz，量化位數(shù)為16bit。為了避免響度對聽感實驗的影響，所有實驗信號進行響度均衡處理。首先在Audition工作站中依據(jù)ITU-R BS.1770-4標準進行響度匹配[16]，歸一化到-26LUFS，之后由3名音樂專業(yè)被試再對響度進行微調(diào)，校準后的重放聲壓級約在71dBA。

30名被試參加了本次實驗，其中男生8人，女生22人，年齡在18-25歲之間，所有被試均有五年以上專業(yè)音樂學(xué)習背景(平均學(xué)習年限=12.3，標準差=4.5)。要求被試在愉悅度、緊張喚醒度，能量喚醒度三個維度上，根據(jù)九級李克特量表對實驗信號表達情感進行打分，表達情感即實驗信號試圖傳達的情感。實驗前為被試播放18種單音信號，以便熟悉實驗要求。在實驗過程中每個信號可隨意播放多遍。實驗結(jié)束后，對被試進行音樂學(xué)習背景調(diào)查。

圖1 情感模型實驗界面

2.1.2 實驗結(jié)果

?愉悅度

圖2 樂器類別對愉悅度的影響，誤差線根據(jù)標準差標注

?緊張喚醒度

圖3 樂器類別對緊張喚醒度的影響，誤差線根據(jù)標準差標注

?能量喚醒度

圖4 樂器類別對能量喚醒度的影響，誤差線根據(jù)標準差標注

為了解三個情感維度之間關(guān)系，對三個情感維度進行皮爾遜相關(guān)性計算(見表1)。結(jié)果表明，緊張喚醒度和能量喚醒度呈顯著強相關(guān)，而緊張喚醒度與愉悅度呈弱負相關(guān)，能量喚醒度與愉悅度呈非常弱的正相關(guān)，因此舍去緊張喚醒度，僅保留愉悅度和能量喚醒度作為中國被試對西洋樂器的情感感知模型。

表1 VTE三維情感維度相關(guān)性分析結(jié)果

18種樂器在這個二維情感模型上的空間分布如圖5所示。吹管樂器集中分布在圖表下方，能量喚醒度評分較低。彈撥樂器集中分布在圖表右側(cè)，有較高的愉悅度評分。弓弦樂器大多集中在上方，有較高的能量喚醒度評分。

圖5 18種樂器愉悅度和能量喚醒度空間分布圖數(shù)字1，2代表由兩把不同的樂器演奏相同單音

2.2 實驗2：情感相似度實驗及MDS分析

2.2.1 實驗方法及過程

將實驗1中的18個實驗信號兩兩配對，要求被試根據(jù)情感相似度(Affective similarity)在9級李克特量表上進行評分(1分表示非常不相似，9分表示非常相似)。情感相似度是指對比的實驗信號是否表達相似的情感，例如高興、悲傷、憤怒、平靜、恐懼、興奮等。5分表示具有中等水平的相似度。實驗環(huán)境、實驗設(shè)備與30名被試均與實驗1相同，但在不同時間段進行測試，避免不同實驗之間的干擾。在正式實驗之前，被試將18個單音全部聽一遍，感受所有實驗信號之間的不同。配對信號一共有181對信號，被分成3組，配對信號中前后兩個信號時間間隔1s，被試可以隨意播放多次。被試在每組信號之間可以進行適當?shù)男菹ⅰ嶒灲Y(jié)束后，讓被試填寫問卷調(diào)查，考察被試進行判斷時的影響因素。

圖6 情感相似度實驗界面

2.2.2 實驗結(jié)果

對30名被試的情感感知相似度結(jié)果進行克隆巴哈系數(shù)計算，結(jié)果為0.97，被試之間的一致性較好，結(jié)果均為有效數(shù)據(jù)。為得到西方樂器單音的情感感知模型，對實驗情感相似度結(jié)果采用多維尺度(MDS)進行分析。MDS在音樂心理學(xué)領(lǐng)域被大量應(yīng)用于音色建模[17， 18]，是一種將對象間差異轉(zhuǎn)換成距離，將研究對象在低維空間表示出來的方法?；谧顑?yōu)尺度變換的MDS模型(PROXSCAL)是對傳統(tǒng)MDS的優(yōu)化，可以對相似性數(shù)據(jù)和不相似性數(shù)據(jù)、多矩陣源等多種數(shù)據(jù)類型進行分析[20]。本實驗30名被試共構(gòu)成30個矩陣，以大的數(shù)值代表程度大的相似性?？紤]到實驗中不同被試對于情感相似度的評價標準可能存在差異，因此本實驗使用了考慮個體差異的加權(quán)歐幾里得度量模型，對不同被試分別賦予權(quán)重再進行計算分析。因此采用PROXSCAL進行多維尺度分析。MDS的模型擬合優(yōu)度通常用應(yīng)力值(Stress)進行衡量。較小的應(yīng)力值表示較好的擬合解決方案，應(yīng)力值小于0.2時，認為模型擬合效果較好[21]。由于應(yīng)力值只能模糊的表示擬合優(yōu)度，因此會結(jié)合碎石圖查看擬合效果，并最終確定MDS維度數(shù)。在碎石圖中，應(yīng)力大小與維度數(shù)成反比，圖中的拐點即為可接受應(yīng)力的最小維度數(shù)[22]。

在西方樂器情感感知相似性模型中，通過碎石圖(圖7)可以看出，維度數(shù)為2時，曲線出現(xiàn)了明顯的轉(zhuǎn)折，對應(yīng)的正態(tài)化原始應(yīng)力值為0.06，即前兩維坐標就已經(jīng)可以較好的解釋研究主體結(jié)構(gòu)的有效信息，所以選用二維空間來分析情感感知相似度結(jié)果。

圖7 情感相似度MDS模型碎石圖

圖8為西方樂器情感相似度空間圖。除小號外的吹管類樂器均聚集在左下方；彈撥類樂器均分布在右側(cè)，弓弦類樂器的分布在左上方。樂器的分布按樂器類別形成了聚類。

圖8 情感相似度MDS模型二維空間圖

2.3 兩種情感空間的關(guān)聯(lián)

為了探究兩種情感空間之間的聯(lián)系，實驗1中提出的二維情感空間與情感相似度二維空間進行相關(guān)性分析，結(jié)果如表2所示。實驗結(jié)果表明，情感相似度一維坐標與能量喚醒度高度正相關(guān)，情感相似度二維坐標與愉悅度中度相關(guān)。由此可見，兩種方法描述的被試情感空間一致性較好，可以用兩維情感空間進行描述，第一維度與愉悅度有關(guān)，第二個維度與緊張喚醒度有關(guān)。由于兩種情感空間相關(guān)性較好，因此選擇情感相似度二維空間進行相關(guān)性分析。

表2 情感相似度MDS模型與VTE三維情感模型維度相關(guān)性

3 情感感知與音色的關(guān)聯(lián)分析

3.1 西方樂器單音聲學(xué)特征

本文提取了24種描述單音音色的聲學(xué)特征，用于探究影響西方樂器單音情感感知的聲學(xué)參數(shù)。聲學(xué)特征主要包括諧波特征，頻域特征，時域特征和時頻域特征。使用Timbre Toolbox對實驗1中的18個樂器單音進行特征提取，計算方法均采用工具包默認的參數(shù)設(shè)置[23]。工具包提供了多種算法提取頻域特征，本文選擇基于FFT計算ERB頻帶能量的方法。對于時變特征，選擇中位數(shù)(Median)和四分位(Interquartile Range，以下簡稱IQR)作為該特征的統(tǒng)計值。通過對特征值進行相關(guān)性分析，剔除皮爾遜系數(shù)高于0.9的特征值，最終留下較為獨立的19維聲學(xué)特征。提取的聲學(xué)特征在附錄中用“*”進行標注。

3.2 聲學(xué)特征關(guān)聯(lián)結(jié)果分析

將聲學(xué)特征作為自變量，維度1坐標和維度2坐標分別作為因變量進行逐步回歸分析，構(gòu)建聲學(xué)特征和情感感知維度之間的關(guān)系。逐步回歸分析利用事先合定的標準，逐一將具有顯著意義的自變量引入方程，同時對每一個自變量進行檢驗，剔除不具有顯著性的變量，使方程中的每一個變量都具有顯著意義，即建立“最佳”方程的回歸分析[24]。

在逐步回歸分析中，校正決定系數(shù)R2表示反應(yīng)變量的總變異中可由回歸模型中自變量解釋的部分所占比例，是衡量模型好壞的指標[19]。R2越接近1，對模型解釋能力越強。標準歸一化系數(shù)β表示自變量對因變量的影響程度，β值越大說明該變量對因變量的影響越大。實驗計算結(jié)果見表3。

維度1可由愉悅度解釋，由諧波偏移和頻譜滾降度組成的回歸模型F(1，15)=33.99，p<.001，模型具有統(tǒng)計意義。從實驗結(jié)果可以看出，對于西方樂器而言，諧波包絡(luò)平滑，高頻分布動態(tài)變化較大的單音愉悅度更高。

維度2可由能量喚醒度解釋，由時域包絡(luò)調(diào)制幅度、刺激值組成的模型F(1，15)=39.61，p<.001，具有統(tǒng)計意義。實驗結(jié)果表明，在能量喚醒度上，顫音多，高次諧波豐富的單音，評分更高。

表3 維度1和維度2的回歸模型參數(shù)值

4 中西方文化背景被試單音情感感知的異同

本文實驗結(jié)果表明，中國被試對西洋樂器的情感感知模型由愉悅度和能量喚醒度兩個維度構(gòu)成。Eerola等人發(fā)現(xiàn)，西方被試對西洋樂器的情感感知模型同樣由愉悅度和能量喚醒度構(gòu)成，即不同文化背景被試的西洋樂器單音情感感知空間構(gòu)成十分相似，即單音的情感感知具有跨文化的普適性。

對于中國被試而言，愉悅度主要與諧波偏移和頻譜滾降度有關(guān)，愉悅度高的單音，諧波包絡(luò)更為平滑，高頻動態(tài)變化較大。能量喚醒度主要與時域包絡(luò)調(diào)制幅度、刺激值有關(guān)，高次諧波豐富，顫音變化大的樂器能量喚醒度更高。在Eerola論文中，西方被試認為愉悅度主要與高低頻能量比、頻譜平滑度和起振斜率等有關(guān)。低頻豐富、頻譜包絡(luò)平滑，起振快的單音，愉悅度評分較高。能量喚醒度主要與起振斜率、時域包絡(luò)質(zhì)心、高低頻能量比等有關(guān)，高頻能量豐富、起振較快的樂器，能量喚醒度較高。對比中西方被試的實驗結(jié)果發(fā)現(xiàn)，頻域包絡(luò)形狀是影響中西方被試對愉悅度評價的重要因素，對西方被試來說，高愉悅度單音特點主要體現(xiàn)在頻譜的平滑度上，而對中國被試而言，則體現(xiàn)在高頻分布動態(tài)變化上。高頻能量是影響西方被試能量喚醒度評價的重要因素，西方被試認為，高能量喚醒度的單音特點更多的體現(xiàn)在時域包絡(luò)的起振階段，而對中國被試來說，則體現(xiàn)高次諧波分量上。因此，中西方不同文化背景被試對于愉悅度和能量喚醒度與客觀特征的關(guān)聯(lián)性上存在一定差異。由此可見，被試文化背景的差異，會對單音情感模型與客觀特征的關(guān)聯(lián)產(chǎn)生一定的影響。

5 結(jié)論及未來工作

本文分別通過三維情感模型和情感相似度實驗來分析中國被試對西方樂器單音的情感感知規(guī)律。三維情感感知實驗結(jié)果表明，中國被試對西方樂器單音的情感感知可以簡化為愉悅度和能量喚醒度兩個維度。情感相似度實驗結(jié)果表明，MDS模型第1維度與愉悅度呈中度相關(guān)，MDS模型第2維度與能量喚醒度高度相關(guān)。兩種實驗結(jié)果一致性較強。因此愉悅度和能量喚醒度的二維情感空間即可較好的解釋中國被試對西方樂器單音的情感感知規(guī)律。

通過多元逐步回歸分析可知，諧波偏移對愉悅度的影響最為顯著，高愉悅度的樂器單音諧波包絡(luò)更為平滑，高頻分布動態(tài)變化較大，例如彈撥樂器多具有較高的愉悅度評分。能量喚醒度的感知主要與顫音成分和諧波能量分布有關(guān)，如時域包絡(luò)調(diào)制幅度、刺激值。高次諧波能量豐富、顫音成分多的單音，被試會感知到越多的能量喚醒度。

未來的工作將進一步探究不同文化背景的樂器對音色情感感知的影響，此外會將音高和音色同時作為影響因素進行情感感知評判，考察音高和音色的交互作用以及情感感知機理的變化規(guī)律。