虛擬現(xiàn)實(shí)誘發(fā)聲樂(lè)表演者情緒狀態(tài)及演唱效果研究

張 進(jìn),劉艷玲,張道強(qiáng)

(南京航空航天大學(xué) 1.藝術(shù)學(xué)院;2.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 南京 211106)

聲樂(lè)表演是演唱者個(gè)人情緒的一種展現(xiàn)方式,以歌聲作為載體,將演唱者的情緒傳遞給聽(tīng)眾。可以說(shuō),聲樂(lè)表演是情緒與技巧的結(jié)合,只有將情緒融入聲樂(lè)演唱中,才能體現(xiàn)出作品的生命力,使其更加深入人心[1]。

傳統(tǒng)的聲樂(lè)教學(xué)方式更注重傳授技巧,對(duì)情緒少有關(guān)注,而演唱者的情緒在表演過(guò)程中起著非常重要的作用。情緒一般產(chǎn)生于個(gè)體面對(duì)刺激時(shí)的反應(yīng),目前已經(jīng)開(kāi)發(fā)了不同的刺激策略來(lái)引發(fā)特定的情緒反應(yīng)。情緒的誘發(fā)方式基本上可以分為主動(dòng)和被動(dòng)2大類(lèi):主動(dòng)即個(gè)體被要求做出可能引發(fā)情緒的行為,如擺出微笑表情、和他人溝通交流等;被動(dòng)則通過(guò)個(gè)人觀看特定圖片、電影等實(shí)現(xiàn)[2]。相比于主動(dòng)情緒誘發(fā),在聲樂(lè)表演之前,被動(dòng)的情緒誘發(fā)方式更適合演唱者。傳統(tǒng)的被動(dòng)情緒誘發(fā)方法在情緒的真實(shí)體驗(yàn)方面存在局限性,難以給演唱者帶來(lái)沉浸感和舞臺(tái)感的效果[3]。虛擬現(xiàn)實(shí)(Virtual reality,VR)技術(shù)在情緒誘發(fā)方面存在一定潛力,它可以通過(guò)場(chǎng)景設(shè)計(jì)給用戶(hù)提供高度的沉浸感,在現(xiàn)實(shí)中的局限空間里營(yíng)造出真實(shí)世界的感覺(jué)[4]。已有一些研究將VR技術(shù)應(yīng)用于誘發(fā)情緒[5,6],因此,本文將VR技術(shù)作為表演者誘發(fā)情緒的工具,探索其應(yīng)用于聲樂(lè)表演領(lǐng)域的可能性。為了分析VR誘發(fā)對(duì)表演者情緒的影響,本文在表演者的情緒狀態(tài)變化以及表演效果2方面,與傳統(tǒng)教學(xué)模式下的情緒誘發(fā)方式(表演者情緒自我想象)進(jìn)行了對(duì)比。

本文主要?jiǎng)?chuàng)新點(diǎn)在于將VR技術(shù)作為誘發(fā)情緒的工具加入聲樂(lè)表演的準(zhǔn)備過(guò)程中,并分析其對(duì)于表演者情緒狀態(tài)和表演效果的影響。通過(guò)主觀、客觀2個(gè)角度,對(duì)2種情緒誘發(fā)方式對(duì)積極、消極、中性3種不同情緒的誘發(fā)效果進(jìn)行對(duì)比研究。主觀度量采用自我情緒評(píng)定量表(Self-assessment manikin,SAM)[7],可以從愉悅度、喚醒度和控制度3個(gè)方面評(píng)估個(gè)體感受到的情緒[8]。由于腦電信號(hào)不受主觀報(bào)告的影響,可以作為客觀評(píng)價(jià)標(biāo)準(zhǔn),因此對(duì)情緒誘發(fā)下的腦電信號(hào)進(jìn)行分析,作為客觀度量方式。在對(duì)2種方式下表演者演唱效果的分析方面,采用專(zhuān)業(yè)聲樂(lè)教師對(duì)表演的打分情況進(jìn)行對(duì)比分析。

1 試驗(yàn)方法

試驗(yàn)流程如圖1所示。以3種不同情緒類(lèi)型的歌曲作為情緒刺激材料,收集傳統(tǒng)聲樂(lè)教學(xué)模式下表演者自我想象情況和本文提出的沉浸式VR誘發(fā)下的主客觀數(shù)據(jù),對(duì)其進(jìn)行統(tǒng)計(jì)對(duì)比分析。

圖1 試驗(yàn)流程圖

1.1 對(duì)象及刺激材料

16名被試參與了歌唱情緒誘發(fā)試驗(yàn),平均年齡19.5±1.54歲,男女比例1∶1,所有試驗(yàn)被試均來(lái)自南京航空航天大學(xué)藝術(shù)學(xué)院。參與者均為右利手,聽(tīng)力正常,視力正?；虺C正至正常,沒(méi)有神經(jīng)或精神健康問(wèn)題,采集數(shù)據(jù)前一天保證良好睡眠。試驗(yàn)開(kāi)始前向參與者介紹所有相關(guān)試驗(yàn)流程并簽署試驗(yàn)知情同意書(shū)。采集的所有數(shù)據(jù)都進(jìn)行匿名分析和研究。

為盡可能地接近現(xiàn)實(shí)聲樂(lè)表演情景,本試驗(yàn)涵蓋了3種不同情緒(正性、負(fù)性、中性)的歌曲。選用表達(dá)3種情緒的18首歌曲(每種情緒6首),并將歌曲剪輯至3 min左右長(zhǎng)度的核心音樂(lè)片段。由20名非試驗(yàn)參與者根據(jù)在歌曲下感受到的情緒對(duì)該歌曲在愉悅維度上按1～9分打分,1分表示非常悲傷,9分表示非常愉悅。表達(dá)正性情緒的6首歌曲中,保留最接近9分的2首歌曲。中性和負(fù)性分別將評(píng)分最接近5分和1分的2首歌曲作為該情緒的刺激材料。選用歌曲如表1所示。

表1 試驗(yàn)刺激材料表

1.2 試驗(yàn)流程

為了研究VR和傳統(tǒng)自我想象2種方式的情緒誘發(fā)效果,本研究設(shè)計(jì)并進(jìn)行了情緒誘發(fā)試驗(yàn)。試驗(yàn)分為2組:第1組為自我想象誘發(fā)組,仿照常規(guī)教學(xué)模式,被試聽(tīng)歌曲伴奏和講解并進(jìn)行自我想象情緒誘發(fā);第2組為VR誘發(fā)組,被試佩戴VR眼鏡觀看與歌曲匹配的虛擬場(chǎng)景視頻,歌曲伴奏作為視頻背景音樂(lè)。2組均完成6首歌曲的試驗(yàn),每種情緒2首歌曲。對(duì)于每一首歌曲,第1組試驗(yàn)中表演者聽(tīng)歌曲伴奏和講解,進(jìn)行3 min自我想象;第2組試驗(yàn)中參與者佩戴VR眼鏡聽(tīng)歌曲伴奏并感受虛擬場(chǎng)景3 min。隨后2組試驗(yàn)步驟相同,均先清唱歌曲1 min,然后休息3 min,接著以相同步驟完成同一情緒的第2首歌曲。在每種情緒的2首歌曲結(jié)束后,完成自我情緒評(píng)定量表,休息后開(kāi)始試驗(yàn)下一種情緒。情緒刺激試驗(yàn)按照負(fù)性、中性、正性順序進(jìn)行。為避免VR眼鏡的頻繁佩戴對(duì)腦電信號(hào)的干擾,參與者先完成自我想象組試驗(yàn)的全部歌曲,再進(jìn)行VR組試驗(yàn),2組試驗(yàn)中間休息30 min。試驗(yàn)在封閉、不受干擾的隔音室中進(jìn)行。要求參與者在睜眼狀態(tài)下完成試驗(yàn),并避免不必要的肢體動(dòng)作,試驗(yàn)范式如圖2所示。

圖2 試驗(yàn)范式圖

2 數(shù)據(jù)采集與處理

本文使用NeuSen W系列64通道無(wú)線腦電采集系統(tǒng)(博?？?中國(guó))采集腦電信號(hào)。根據(jù)國(guó)際標(biāo)準(zhǔn)10-20系統(tǒng),記錄的59個(gè)電極分別為FP1/2、FPz、AF3/4、AF7/8、F1/2、F3/4、F5/6、F7/8、Fz、FC1/2、FC3/4、FC5/6、FCz、FT7/8、C1/2、C3/4、C5/6、Cz、CP1/2、CP3/4、CP5/6、T7/8、TP7/8、P3/4、P5/6、P7/8、Pz、PO3/4、PO5/6、PO7/8、POz、O1/2、Oz,并以CPz為參考電極,AFz為接地電極。采樣率設(shè)置為1 000 Hz。試驗(yàn)期間,電極阻抗均保持在5 kΩ以下。

腦電信號(hào)的預(yù)處理在EEGLAB[9]工具箱中完成。進(jìn)行通道定位后,對(duì)原始腦電數(shù)據(jù)做1～45 Hz的帶通濾波。然后進(jìn)行全腦平均重參考,并降采樣至250 Hz。為去除偽跡影響,使用獨(dú)立成分分析(Independent component analysis,ICA)方法,將數(shù)據(jù)分解為獨(dú)立成分,使用ICLabel[10]插件剔除眼動(dòng)、肌肉運(yùn)動(dòng)等偽跡成分。然后將每首歌曲最后150 s的腦電信號(hào)劃分成150個(gè)長(zhǎng)度為1 s的樣本,用來(lái)獲得最大的情緒反應(yīng)。

頻段功率是基于腦電信號(hào)的情緒識(shí)別中最流行的頻域特征之一[11],將時(shí)域腦電信號(hào)轉(zhuǎn)化為信號(hào)功率與頻率間的對(duì)應(yīng)關(guān)系,以觀察各頻率下的能量分布。本文將腦電信號(hào)按頻率劃分為5種節(jié)律,分別為δ(0.1～4 Hz)、θ(4～8 Hz)、α(8～13 Hz)、β(13～30 Hz)和γ(30～45 Hz),并使用Welch方法計(jì)算預(yù)處理后的腦電信號(hào)在5種節(jié)律上的平均功率。

3 試驗(yàn)結(jié)果

3.1 腦電圖

本文使用配對(duì)t檢驗(yàn)比較想象組與VR組之間δ、θ、α、β、γ節(jié)律平均功率之間的差異。為了更方便地對(duì)比結(jié)果,如圖3所示,本文將59個(gè)通道劃分為5個(gè)主要區(qū)域:額區(qū)(FP1/2、FPz、AF3/4、AF7/8、F1/2、F3/4、F5/6、F7/8、Fz、FC1/2、FC3/4、FC5/6、FCz、FT7/8)、中央(C1/2、C3/4、C5/6、Cz、CP1/2、CP3/4、CP5/6)、顳區(qū)(T7/8、TP7/8)、頂區(qū)(P3/4、P5/6、P7/8、Pz、PO3/4、PO5/6、PO7/8、POz)、枕區(qū)(O1/2、Oz)。如圖4所示,橙色表示VR組平均功率大于想象組且差異具有顯著性(p<0.05)的通道,藍(lán)色表示想象組平均功率大于VR組且差異具有顯著性(p<0.05)的通道。

圖3 電極分區(qū)圖

圖4 配對(duì)t檢驗(yàn)比較結(jié)果圖

(1)如圖4(a)所示,對(duì)于正性情緒,在δ節(jié)律中,除FP2、FPz、F4、FC3和FC4外,2組的平均功率在額區(qū)所有通道上的差異均有顯著性,VR組高于想象組;在顳葉4個(gè)通道(T7/8、TP7/8)以及中央葉的大部分通道中,2組的平均功率差異都具有顯著性,VR組高于想象組;除P7、PO7外,頂葉和枕葉所有通道上的差異都沒(méi)有顯著性。因此可以得出,2組間有統(tǒng)計(jì)學(xué)差異的通道分布在額葉、顳葉和中央葉上,并且均為VR組平均功率高,激活更強(qiáng)。

(2)如圖4(b)所示,對(duì)于正性情緒,在θ節(jié)律中,額葉大部分通道上的功率都有顯著性差異;中央葉的C3、C5、C6、CP3以及顳葉的4個(gè)通道均有顯著性差異,VR組高于想象組;除P5外頂葉和枕葉的所有通道差異無(wú)顯著性。因此可以得出,有統(tǒng)計(jì)學(xué)差異的通道分布在額葉、顳葉和中央葉上,VR組平均功率更高。

(3)如圖4(c)所示,對(duì)于正性情緒,在α節(jié)律中,額葉AF7/8、F7/8、FC5、FT7/8通道的差異具有顯著性,VR組高于想象組,而F1、FC1/2、FCz相反,想象組平均功率高于VR組;在中央葉通道C1/2、C4、CP2、CP4以及除P7、PO7外頂葉所有通道上的功率差異都有顯著性,想象組高于VR組;除T8外顳葉和枕葉的所有通道上的功率無(wú)顯著性差異。因此可以得出,有統(tǒng)計(jì)學(xué)差異的通道主要分布在頂葉,其次分布在額葉和中央葉,其中額葉部分通道上VR組功率更高,其余通道均為想象組高于VR組。

(4)如圖4(d)所示,對(duì)于正性情緒,在γ節(jié)律中,中央葉除C5/6、CP5/6外,所有通道的功率差異都有顯著性,VR組高于想象組。存在統(tǒng)計(jì)學(xué)差異的通道主要分布在中央葉,其次分布在額葉,表現(xiàn)為VR組平均功率更高。

(5)如圖4(e)所示,對(duì)于中性情緒,在δ節(jié)律中,具有顯著性差異的通道主要分布在額葉和顳葉,少量出現(xiàn)在中央葉,并且主要出現(xiàn)在大腦邊緣部分,均為VR組高于想象組。

(6)如圖4(f)所示,對(duì)于中性情緒,θ節(jié)律的分布情況類(lèi)似于δ節(jié)律。

(7)如圖4(g)所示,對(duì)于中性情緒,在α節(jié)律中,額葉邊緣表現(xiàn)出VR組大于想象組的顯著性差異,但在頂葉通道Pz、PO3/4、PO6則相反,想象組平均功率更高,激活更強(qiáng)。

(8)如圖4(h)所示,對(duì)于負(fù)性情緒,在δ節(jié)律中,有統(tǒng)計(jì)學(xué)差異的通道基本分布在額葉和顳葉,少量出現(xiàn)在中央葉,并且主要出現(xiàn)在皮層邊緣部分,均為VR組高于想象組。

(9)如圖4(i)所示,對(duì)于負(fù)性情緒,θ節(jié)律的分布情況類(lèi)似于δ節(jié)律。

(10)如圖4(j)所示,對(duì)于負(fù)性情緒,在α節(jié)律中,額葉邊緣表現(xiàn)出VR組大于想象組的顯著性差異,但在頂葉通道PO3/4、PO5/6、P4以及額葉通道Fz、FCz和FC1則相反,想象組的平均功率更高。

以上試驗(yàn)結(jié)果表明,3種情緒下額葉表現(xiàn)出最多的統(tǒng)計(jì)差異,且分布靠近大腦邊緣。δ和θ節(jié)律統(tǒng)計(jì)差異的分布相似,正性情緒中δ節(jié)律出現(xiàn)差異的通道最多,而β節(jié)律在3種情緒下都只有少數(shù)通道存在統(tǒng)計(jì)差異,γ節(jié)律也只在正性情緒下出現(xiàn)較多的差異通道,基本分布在中央?yún)^(qū)。上述結(jié)果均為VR組功率更高,激活更強(qiáng)。而α節(jié)律在中性與負(fù)性情緒下主要分布在頂枕區(qū)和額中央,在正性情緒下主要分布在頂葉、頂枕葉、頂中央和中央葉,且在這些區(qū)域中均為想象組功率更高,激活更強(qiáng)。

3.2 SAM量表

SAM量表是一種自我情緒狀態(tài)評(píng)估工具,可以識(shí)別給定情緒刺激與參與者所感受到情緒間的關(guān)系。SAM量表包括愉悅度、喚醒度、控制度3個(gè)維度,每個(gè)維度由描繪不同程度表情的5個(gè)小人圖組成,并采用9點(diǎn)評(píng)分制。參與者根據(jù)自身的情緒狀態(tài),在各維度中選出與自身情緒最相符的圖片。試驗(yàn)中所使用的SAM量表如圖5所示。

圖5 SAM量表

本文對(duì)參與者在2組試驗(yàn)下完成的SAM自評(píng)量表進(jìn)行統(tǒng)計(jì)分析,使用配對(duì)t檢驗(yàn)比較想象組與VR組在3個(gè)維度上的差異,結(jié)果見(jiàn)表2。對(duì)于負(fù)性情緒,2組在愉悅、喚醒和控制維度上的差異都有統(tǒng)計(jì)意義(p<0.01);中性情緒則相反,3個(gè)維度下差異均不具有顯著性;正性情緒在愉悅和喚醒維度上的差異有統(tǒng)計(jì)意義(p<0.01)。想象組在正性和負(fù)性情緒上的喚醒度低于VR組,差異具有顯著性(p<0.01);VR組在負(fù)性情緒下的愉悅度低于想象組,在正性情緒下高于想象組,差異具有顯著性(p<0.01)。相比于想象組,VR組的情緒激活程度更強(qiáng),更能調(diào)動(dòng)參與者情緒。在控制維度上,僅負(fù)性情緒表現(xiàn)出顯著性差異,且想象組更強(qiáng),可能是由于VR組調(diào)動(dòng)的負(fù)性情緒更強(qiáng)烈,參與者控制感不足。

表2 自評(píng)量表得分情況(均值±方差)及顯著性水平表

3.3 聲樂(lè)他評(píng)量表

他評(píng)量表是由5名專(zhuān)家對(duì)參與者清唱階段的表演錄音進(jìn)行10分制打分。歌唱表演者將演唱錄音進(jìn)行隨機(jī)播放,由專(zhuān)家對(duì)其進(jìn)行打分。評(píng)分表由7個(gè)維度組成,分別是歌曲演唱連貫性、氣息運(yùn)用、共鳴運(yùn)用、音準(zhǔn)節(jié)奏、語(yǔ)言咬字、樂(lè)感和情感表達(dá)。對(duì)于每個(gè)評(píng)分維度,對(duì)每個(gè)參與者在不同情緒下的5個(gè)得分取平均值,再對(duì)2組試驗(yàn)下16名參與者的平均得分做統(tǒng)計(jì)分析,結(jié)果見(jiàn)表3。2組試驗(yàn)在3種情緒下除音準(zhǔn)節(jié)奏和語(yǔ)言咬字外,其余5個(gè)維度上的差異均有統(tǒng)計(jì)意義(p<0.01),且均為VR組高于想象組。演唱連貫性可能是由于想象組和VR組的順序原因,導(dǎo)致VR組試驗(yàn)時(shí)演唱更連貫。VR組在表演的氣息、共鳴、樂(lè)感方面均有顯著提高,情感表達(dá)也更加豐富,由此可見(jiàn)VR誘發(fā)對(duì)于聲樂(lè)表演情緒調(diào)動(dòng)的積極作用。

表3 聲樂(lè)他評(píng)量表及顯著性水平

4 試驗(yàn)結(jié)果分析

根據(jù)自評(píng)結(jié)果,表演者在VR誘發(fā)下感受到的正、負(fù)性情緒刺激更強(qiáng)。腦電信號(hào)作為客觀證據(jù),考慮了在相同伴奏下2組試驗(yàn)分別記錄的59個(gè)通道在5個(gè)節(jié)律上的平均頻帶功率。研究表明,在聽(tīng)音樂(lè)的過(guò)程中個(gè)體腦電會(huì)顯示出雙側(cè)額顳葉被廣泛激活的激活模式[12]。只分析具有統(tǒng)計(jì)差異通道的分布情況,發(fā)現(xiàn)試驗(yàn)結(jié)果中雙側(cè)額顳區(qū)VR組的腦電信號(hào)在低頻節(jié)律的平均功率表現(xiàn)出高于想象組的差異顯著性,特別是正性情緒下的δ和θ頻段,說(shuō)明VR組的激活程度更強(qiáng)。同時(shí),2組試驗(yàn)間功率的統(tǒng)計(jì)差異主要分布在皮層前部區(qū)域,前部區(qū)域被證明主要與情緒的效價(jià)/愉悅維度相關(guān)[13]。試驗(yàn)結(jié)果中額葉出現(xiàn)最多的差異通道,分析前額葉活動(dòng)可以區(qū)分情緒強(qiáng)度,與額葉與積極/消極情緒反應(yīng)有關(guān)[14,15]相一致,結(jié)果表明VR誘導(dǎo)積極/消極情緒的激活程度強(qiáng)于想象組。

本研究中α頻帶功率的統(tǒng)計(jì)差異主要分布在頂葉和頂枕區(qū),想象組大于VR組,在正性情緒下差異最顯著,在中央?yún)^(qū)域部分通道以及除P7和PO7通道外的所有頂葉和頂枕區(qū)通道均有統(tǒng)計(jì)差異。α功率被證明是比較不同情緒狀態(tài)的有效指標(biāo),與精神活動(dòng)呈負(fù)相關(guān)[16,17]。同時(shí)文獻(xiàn)[18]的研究表明α功率可以作為皮層喚醒級(jí)別的有效指標(biāo),喚醒與頂枕部α功率呈負(fù)相關(guān)[19]。雖然在頂區(qū)、頂枕區(qū)的結(jié)果表現(xiàn)出VR組對(duì)情緒的喚醒水平顯著高于想象組,但這可能部分由于VR刺激階段包括除情緒外的其他復(fù)雜過(guò)程,需要進(jìn)一步研究。

2組試驗(yàn)不同刺激后的演唱情況由專(zhuān)家通過(guò)聲樂(lè)他評(píng)量表從多個(gè)角度評(píng)價(jià),結(jié)果表明,情感表達(dá)維度上的得分表現(xiàn)出VR組高于想象組的統(tǒng)計(jì)差異,并且VR組中表演者在表演的氣息、樂(lè)感、共鳴方面也有顯著的提高。

5 結(jié)束語(yǔ)

本文探索了將VR技術(shù)應(yīng)用在聲樂(lè)表演方面的可能性?；诒硌菡咦晕蚁胂蠛蚔R誘發(fā)2種方式,采集3種不同情緒歌曲下的情緒腦電信號(hào)、自我情緒評(píng)定量表及演唱音頻,從主、客觀2個(gè)角度研究表演者情緒刺激差異,并通過(guò)他評(píng)方式分析表演者在接收不同刺激后的演唱階段表達(dá)出的演唱情感和演唱技巧方面的異同。本文結(jié)果表明,VR技術(shù)作為聲樂(lè)表演中的情緒誘發(fā)工具可以更好地調(diào)動(dòng)表演者的情緒,同時(shí)表演者的表演效果也會(huì)有所加強(qiáng)。