從語音到歌聲的感知錯覺轉(zhuǎn)換

[美]戴安娜·多伊奇，[美]特雷弗·翰瑟，[美]瑞秋·萊皮迪斯(著)；王博涵，李小諾(譯)

(1.加州大學(xué) 圣地亞哥分校，美國 加利福尼亞州； 2.華東師范大學(xué) 教育學(xué)部；3.上海音樂學(xué)院 音樂學(xué)系，上海200031)

?

·海外新譯·

從語音到歌聲的感知錯覺轉(zhuǎn)換

[美]戴安娜·多伊奇，[美]特雷弗·翰瑟，[美]瑞秋·萊皮迪斯(著)1；王博涵2，李小諾3(譯)

(1.加州大學(xué) 圣地亞哥分校，美國 加利福尼亞州； 2.華東師范大學(xué) 教育學(xué)部；3.上海音樂學(xué)院 音樂學(xué)系，上海200031)

文章針對聽覺系統(tǒng)對音樂與語音之間的交互處理方式進(jìn)行了研究。研究摘取一段語音中的一個短句，將其進(jìn)行多種聲音技術(shù)處理，通過兩個實(shí)驗(yàn)探討了語言與歌唱感知之間的錯覺轉(zhuǎn)換關(guān)系。實(shí)驗(yàn)一，首先將選取的語音短句進(jìn)行兩種處理，之后將原句及這兩種處理呈現(xiàn)給被試，運(yùn)用任務(wù)分級評價的測量方法獲取被試對其感知的判斷；經(jīng)統(tǒng)計(jì)表明，在原句經(jīng)過多次重復(fù)時，被試逐漸將其判斷成歌唱而不是說話的錯覺轉(zhuǎn)換才會產(chǎn)生。實(shí)驗(yàn)二在實(shí)驗(yàn)一的基礎(chǔ)上，設(shè)計(jì)四種刺激條件，收取被試代表聽辨之后的復(fù)述呈現(xiàn)，運(yùn)用聲學(xué)技術(shù)和統(tǒng)計(jì)學(xué)運(yùn)算，得出其與語音、歌唱等之間的數(shù)據(jù)關(guān)系；并由此對這一錯覺轉(zhuǎn)換的神經(jīng)學(xué)基礎(chǔ)、音樂與語言處理的腦機(jī)制及相關(guān)理論進(jìn)行了深入討論。

語音(語言)；歌聲(歌唱)；錯覺轉(zhuǎn)換；感知；腦機(jī)制

本文探討了一個錯覺現(xiàn)象，就是僅用多次重復(fù)的辦法人們就會對一個言語短句(a spoken phrase)的感知從語音轉(zhuǎn)化為歌聲的聲音。在實(shí)驗(yàn)Ⅰ中，被試重復(fù)聽10遍短句，然后對它進(jìn)行判斷，在1分至5分分別為“完全是語音”和“完全是樂音”的五分制選項(xiàng)中打分。最初和最后的兩次短句表述完全相同，當(dāng)介于中間的幾次表述也相同時，被試的判斷結(jié)果呈現(xiàn)出從語音變化成歌聲的穩(wěn)定趨勢，而當(dāng)中間表述音調(diào)輕微調(diào)整或者音階打亂順序時，被試的判斷就不會發(fā)生變化。在實(shí)驗(yàn)Ⅱ中，短句播放1次或10次，被試在最后一次聽完后口頭重復(fù)該短句。在聽完一次表述之后，被試所重復(fù)的內(nèi)容為說話的音調(diào)，然而在聽完10次后，他們重復(fù)的內(nèi)容是唱歌的音調(diào)。并且，聽完10次后被試重復(fù)的內(nèi)容更接近假設(shè)的音調(diào)旋律，而不是原語音短句。

一、引 言

最近，人們對音樂與語音之間的關(guān)系，尤其是聽覺系統(tǒng)對這兩種交流形式的處理方式方面的研究興趣日漸高漲(cf. Zatorreetal.，2002；Koelshetal.，2002；Koelsch and Siebel，2005；Zatorre and Gandour，2007；Schonetal., 2004；Peretz and Coltheart，2003；Patel，2008；Hyde et al. 2009；Deutsch, 2010)。在探討這類問題時，人們一般根據(jù)其聽覺特點(diǎn)判斷一個短句是語音還是基于這一語音聲學(xué)特性的歌唱。語音是由頻率急劇滑動構(gòu)成的，這種滑動往往是振幅和頻率的迅疾轉(zhuǎn)換。相反，大部分歌聲都是由大量離散的音高組成(即每個音高之間不是滑動聯(lián)接的)，每個音高都持續(xù)一定的時間，并且彼此以較小的音高距離聯(lián)接。在現(xiàn)象學(xué)層面上講，語音就像是一連串輔音和元音音色的快速變化呈現(xiàn)，在語音中音高輪廓是大致呈現(xiàn)的(至少在非聲調(diào)語言中)。相反，歌唱聽起來主要是一連串音高明確的音符(盡管也有輔音和元音)，這些音符聯(lián)接起來構(gòu)成明確的音高關(guān)系和節(jié)奏型。然而，言語與非言語的物理特性的區(qū)分并不明確。有研究表明，特定的非言語聲音可以在長期訓(xùn)練后(Remezetal.，1981，Mottonenetal.，2006)或在口頭背景時(Shtyrovetal.，2005)以語音形式表達(dá)(be interpreted)。

人們普遍認(rèn)為，語音與音樂可以通過聲學(xué)特性來區(qū)分，這一觀點(diǎn)在針對其知覺特征與神經(jīng)學(xué)的基礎(chǔ)研究中有所體現(xiàn)。對于語音來說，研究者關(guān)注的是諸如快速遷移的共振峰和發(fā)音的起始時間(Diehl et al.，2004)之類的特點(diǎn)，而對于音樂來說，研究者探究的是音高序列處理、樂器音色和節(jié)奏模式等問題(Stewart et al.，2006)。

使用不同物理特征的聲音信號來獨(dú)立研究樂音與語音是必要的，但是，如果發(fā)現(xiàn)它們的處理方式上有區(qū)別，那么其原因既有可能由于運(yùn)用了不同的信號，也有可能由于信號是通過不同的神經(jīng)通路處理的(Zatorre and Gandour, 2007)。相反，本文描述和研究的是一種將口語短句轉(zhuǎn)換成聽起來像歌唱的(而不是說話的)感知錯覺。產(chǎn)生這一錯覺不需要信號的任何轉(zhuǎn)變，不需要訓(xùn)練，不需要其它聲音提供任何背景，僅僅是將短句重復(fù)數(shù)次后的結(jié)果。因此，本文提供了對于語音與音樂處理差異方面的見解，不需要再刻意借用不同的信號參數(shù)或者不同的聲音背景。

該錯覺研究首次發(fā)表在Deutsch(2003)作為演示范例的光碟上。光碟上首先播放一個口語句子，接下來重復(fù)插入于句子中的一個短句。大多數(shù)人聽到短句重復(fù)后會感覺自己聽到的變成了歌唱的旋律，如圖1所示。本文為該錯覺的第一個正式研究和描述，并對其可能存在的潛在基理展開討論。

圖1 像唱歌一樣的口語斷句(感知為樂音的短句)，來自Deutsch(2003)。

本研究包括兩個實(shí)驗(yàn)，實(shí)驗(yàn)Ⅰ運(yùn)用任務(wù)分級評價的測量方法，對該錯覺的研究進(jìn)行規(guī)則性限制。只有對原句中的某一短句進(jìn)行準(zhǔn)確重復(fù)時，這種錯覺才會出現(xiàn)；而當(dāng)重復(fù)短句有輕微的(音高)移位或者音階錯亂時，這種錯覺就不會出現(xiàn)。在實(shí)驗(yàn)Ⅱ中，通過分別讓被試在聽一次和聽十次以后復(fù)述出所聽到的短句，在細(xì)節(jié)上探討了這一感知轉(zhuǎn)換的特點(diǎn)。我們假設(shè)，在處理重復(fù)短句的過程中，音高聯(lián)接形成短句的感知顯著性不斷增加，并且，重復(fù)短句發(fā)生感知變化形成了音調(diào)旋律。實(shí)驗(yàn)中的發(fā)現(xiàn)為我們的假設(shè)提供了證據(jù)。最終，我們對這一錯覺的神經(jīng)學(xué)基礎(chǔ)提出假設(shè)，并對語音與音樂關(guān)系之間的普遍含義進(jìn)行了討論。

二、實(shí)驗(yàn)Ⅰ

(一)方法

1.被試

2.刺激編碼(stimulus pattern)與實(shí)驗(yàn)程序

實(shí)驗(yàn)在一個安靜的房間內(nèi)進(jìn)行。刺激編碼取自多伊奇(Deutsch 2003)制作的光碟第22條的一個句子，表述如下：“The sounds as they appear to you are not only different from those that are really present, but they sometimes behave so strangely as to seem quite impossible.”該句在各種條件(condition)下均出現(xiàn)，一個2300毫秒的停頓間隔之后，該句中的短句“sometimes behave so strangely”重復(fù)10遍，每遍中間的停頓間隔為2300毫秒。在每遍停頓時，被試要對所聽短句狀況作出判斷，在一個1分至5分分別是“完全是講話”和“完全是歌唱”的五分制選項(xiàng)中打分。

最后，所有被試完成一份調(diào)查其年齡與音樂訓(xùn)練的問卷。

3.設(shè)備與軟件

原始句子來自多伊奇(Deutsch，2003)制作的光碟第22條，上傳至Power Mac G5計(jì)算機(jī)存為AIF文件，采樣頻率44.1kHz。使用BIAS PEAK PRO 4.01版本的軟件包創(chuàng)制所有條件下使用的刺激物，并且創(chuàng)制出語句在原有有序混合整體情況下音節(jié)被打亂順序后的音響。使用軟件包PRAAT 4.5.06版本(Boersma and Weenink, 2006)創(chuàng)制變換音調(diào)位置的短句，使用音高同步疊加法。隨后重組信號保存至光碟。被試聽到的聲音使用DenonDCD-815光碟播放器，其輸出聲音經(jīng)過Mackie CR 1604-VLZ混頻器，通過兩個DynaudioBM15A擴(kuò)音器播放，被試聽到的聲音大約70dB的聲壓級(SPL)。

(二)結(jié)果

圖2表示的是在第一遍、最后一遍，以及在上述三種條件下短句感知情況的平均比率。第一遍、最后一遍，不變音調(diào)位置、變化音調(diào)位置和打亂順序重新組合三種情況下短語感知情況的平均比率。被試以五分制形式對所聽短語打分，1分、5分兩端分別是“完全是說話”，“完全是歌唱”。我們可以看出，短句第一遍播放的感知結(jié)果為語音，但是最后一遍播放的感知結(jié)果取決于中間播放短句的特點(diǎn)。當(dāng)中間短句音調(diào)沒有改變時，最后一遍的結(jié)果為樂音；但是，如果中間短句音調(diào)變化了，最后短句的結(jié)果為語音，但是位置略偏向樂音；當(dāng)中間短句順序打亂時，最后結(jié)果為語音。

圖2 三種條件下短句感知情況的平均比率

為了對不同條件下被試做出的判斷進(jìn)行數(shù)據(jù)比較，我們做了一個2×3方差分析，將第一遍和最后一遍播放的短句作為被試內(nèi)因子(within-subjects factor)，將三種條件(不變音調(diào)位置、變化音調(diào)位置和打亂順序重新組合)作為被試間因子(between-subjects factor)。第一遍與最后一遍播放間差異顯著[F(1，51)=62.817；p<0.001]，三種條件影響顯著[F(2，51)=16.965；p<0.001]，播放與條件之間的交互作用顯著[F(2，51)=25.593；p<0.001]。

在得到如上發(fā)現(xiàn)之后，我們做了更深一步的方差分析，把三種條件下、第一遍和最后一遍被試的判斷分開來進(jìn)行比較。在第一遍播放時，三種條件下被試的判斷沒有顯著差異[F(2，51)=1.912；p>0.05]。但是，在最后一遍播放時，中間插入短句的影響是非常明顯的[F(2，51)=27.317；p<0.001]。因此，我們在最后一遍播放的三種條件下展開比較。我們發(fā)現(xiàn)，被試在不變音調(diào)位置條件下和在變化音調(diào)位置條件下作出的判斷是有明顯差異的(p<0.001)，并且不變音調(diào)位置和打亂順序重新組合條件下作出的判斷的差異也是具有顯著性的(p<0.001)。而被試在變化音調(diào)位置條件下與在打亂順序重新組合條件下的判斷的差異不具有顯著性(p>0.05)。

(三)討論

實(shí)驗(yàn)Ⅱ運(yùn)用行動任務(wù)(production task)的方法，在更深入的細(xì)節(jié)上研究這一錯覺轉(zhuǎn)換問題。在整句播放之后，其中被選出的短句播放1遍或10遍，要求被試在聽完后將他們所聽到的準(zhǔn)確重復(fù)出來。隨后我們對被試在兩種條件下重復(fù)內(nèi)容的差異進(jìn)行分析。

該實(shí)驗(yàn)激發(fā)了兩個假設(shè)。首先，與歌唱相反，語音的音高特點(diǎn)在感知上是不突出的，目前出現(xiàn)的感知錯覺的一個重要特點(diǎn)是對音節(jié)音高的突顯感知在重復(fù)過程中被持續(xù)增強(qiáng)，因此我們假設(shè)，在反復(fù)聽到短句之后，被試的音高顯著性的感知會增強(qiáng)，這就導(dǎo)致被試模仿的聲音音高和原短句更接近，進(jìn)而取得主體間的一致性。第二，一旦當(dāng)音節(jié)聽起來具有凸顯的音高結(jié)構(gòu)，它們就會發(fā)生感知變化，與貌似正確的旋律表述相一致，具體來說，如圖1所示，被試對語句音高的假設(shè)。

三、實(shí)驗(yàn)Ⅱ

(一)方法

1.被試

共有31名被試有償參與到實(shí)驗(yàn)中來，分為3組。第一組有11名被試，平均年齡23.8歲(年齡范圍，19-35歲)，平均接受11.2年的音樂訓(xùn)練(接受范圍，5-15年)。在加入實(shí)驗(yàn)之前，他們都已經(jīng)聽過句子以及隨后重復(fù)的短句，并都表示他們聽到的語音短句轉(zhuǎn)化成為歌唱。第二組也有11名被試，平均年齡18.9歲(年齡范圍，18-20歲)，平均接受8.9年的音樂訓(xùn)練(接受范圍，6-12年)。在加入實(shí)驗(yàn)之前，他們沒有聽過刺激音組。第三組有9名被試，平均年齡19.2歲(年齡范圍，18-22歲)，平均接受了8.0年的音樂訓(xùn)練(接受范圍，4-11年)。所有被試不具備絕對音感；由聽力測試測定，在250Hz-6Hz范圍內(nèi)全部聽力正常，全部對實(shí)驗(yàn)?zāi)康呐c錯覺本質(zhì)都只有非常天真單純的認(rèn)識。

2.實(shí)驗(yàn)條件與程序

實(shí)驗(yàn)共分四種情況。

新課改下，在小學(xué)語文教學(xué)中，運(yùn)用合作學(xué)習(xí)教學(xué)方式時，需要對學(xué)生進(jìn)行科學(xué)合理的分組。在進(jìn)行合作學(xué)習(xí)時，主要是按照小組的形式，開展各類學(xué)習(xí)活動，主要目的是提升學(xué)生的學(xué)習(xí)和合作能力。通過分組教學(xué)，能夠?yàn)楹献鲗W(xué)習(xí)做好準(zhǔn)備。而由于各個學(xué)生的性格與愛好等都存在一定的差異，因此教師可以采用異質(zhì)分組法，合理地對學(xué)生進(jìn)行分組，促使各個組之間的競爭關(guān)系不斷強(qiáng)化，進(jìn)而使得學(xué)生的熱情大大提升。對于教師來說，需要對成員的具體職能進(jìn)行明確，使之分工更加合理，進(jìn)而確保各個學(xué)生都能獲得鍛煉的機(jī)會。

第一，“有語言重復(fù)(repeat speech condition)”條件，其刺激音組與實(shí)驗(yàn)Ⅰ相同，其中的短句“sometimes behave so strangely”接連播放10遍，和實(shí)驗(yàn)Ⅰ唯一的區(qū)別就在于這里重復(fù)表述的停頓時間為780ms；第二，“無語言重復(fù)(nonrepeat speech condition)”條件，這與“有語言重復(fù)”條件的刺激音響是相同，區(qū)別在于“無語言重復(fù)”條件中的短句只重復(fù)一遍；第三，“無歌唱重復(fù)”(nonrepeat song condition)條件中，刺激音響只包括由本文其中的一位作者(R.L.)在聽過多次重復(fù)后演唱的該短句歌聲般的錄音。在這三種條件下，被試都被要求在聽到刺激音組后將聽到的聲音準(zhǔn)確重復(fù)三至四遍；第二遍被提取出來作為分析使用。第一組被試參與“有語言重復(fù)”條件的實(shí)驗(yàn)，第二組參與“無語言重復(fù)”條件，第三組參與“無語言重復(fù)”條件以及緊接其后的“無歌唱重復(fù)”條件的實(shí)驗(yàn)。

最后，以三種聽辨條件為內(nèi)容進(jìn)行評價，我們提取“有語言重復(fù)”和“無語言重復(fù)”條件下兩組共22名被試(每組11名)所重復(fù)的聲音，并展示給第三組被試。這些短句以隨機(jī)順序播放，每個之間間隔8秒，跟隨每次停頓及聲音呈現(xiàn)期間，被試要求把對上述短句聽起來是說話還是歌唱的判斷填寫到相對的表格中。

3.儀器與軟件

被試的這一從聽辨到口頭呈現(xiàn)的實(shí)驗(yàn)是在安靜房間內(nèi)以個人為單位單獨(dú)進(jìn)行的。此處我們用來播放刺激音組的儀器與實(shí)驗(yàn)Ⅰ所用相同。被試聲音以44.1kHz采樣頻率收錄在Edirol R-1 24位錄音機(jī)上。我們使用AKG C1000s麥克風(fēng)制作錄音，麥克風(fēng)放置在距離被試嘴部8英尺的位置。這些聲音文件傳輸?shù)絠Mac電腦上，存為AIF文件，采樣頻率44.1K。隨后，我們在每一個聲音文件中，提取出被試對句子的第二遍復(fù)述，存為單獨(dú)文件，使用軟件包BIAS PEAK PRO5.2.版本將振幅做歸一化處理(normalized for amplitude)。在5毫秒中間間隔時，我們使用軟件包PRAAT5.0.09版本獲得被試發(fā)音的F0估值(F0 estimates)(自相關(guān)法 autocorrelation method)。隨后對每一個音樂文件，將F0估值平均分布在音階上；這樣一來，沿對數(shù)頻率聯(lián)接，就計(jì)算出一個短句的平均F0估值。需要說明的是，每一個短句都被分割成幾個音節(jié)(some，times，be，have，so，strange和ly)，每一個單獨(dú)音節(jié)的F0估值分別計(jì)算。

圖3 三角形代表原始短語中每個音節(jié)的平均F0估數(shù)

菱形代表所有被試在有語言重復(fù)條件下發(fā)音中每個音節(jié)的平均F0估數(shù)；正方形代表所有被試在無語言重復(fù)條件下發(fā)音中每個音節(jié)的平均F0估數(shù)。F3=174.6 Hz; G3=196.0 Hz; A3=220 Hz; B3=246.9Hz; C#4=277.2 Hz; D#4=311.1 Hz。

(二)結(jié)果

被試的判斷經(jīng)過評價顯示，無語言重復(fù)條件下的發(fā)音聽起來像說話，而有語言重復(fù)條件下的發(fā)音聽起來像歌唱。具體來說，在被試198次判斷中上述結(jié)果的準(zhǔn)確率為97.5%。該結(jié)果符合實(shí)驗(yàn)Ⅰ的發(fā)現(xiàn)；在實(shí)驗(yàn)Ⅰ中，被試認(rèn)為原短句第1遍播放的聽起來像說話，最后一遍聽起來像歌唱。

我們具體分析了被試發(fā)音的音高模式，以此總結(jié)被試在反復(fù)聽到原短句后的判斷和發(fā)音變化。圖3表現(xiàn)的是原短句在所有音節(jié)以及被試在有語言重復(fù)條件和在無語言重復(fù)條件下發(fā)聲的平均F0s。作為進(jìn)一步的分析，圖4展示了原始短句以及4名被試在有語言重復(fù)條件、4名在無語言重復(fù)條件下的音高軌跡(pitch tracing)。這幾條音高軌跡圖概括了全部被試在幾種條件下的發(fā)音。

我們得到兩個發(fā)現(xiàn)，這兩個發(fā)現(xiàn)來源于我們對音高突出性隨重復(fù)而增強(qiáng)的假設(shè)。這體現(xiàn)出，相比無語言重復(fù)條件，在有語言重復(fù)條件下短句整體以及其中每個單獨(dú)音節(jié)的平均音高在被試間都更持續(xù)，和原始短句也更接近。

首先，相比無語言重復(fù)條件，有語言重復(fù)條件下F0平均值的被試間方差是相當(dāng)?shù)偷?。以被試對完整短句發(fā)音的F0平均值為例，它的方差差異十分顯著[F(10，10)=5.62，p<0.01]。而對短句中每個音節(jié)展開比較時，這種模式依然持續(xù)：some，F(xiàn)(10,10)=19.72，p<0.0001；times，F(xiàn)(10,10)=69.22，p<0.0001；be，F(xiàn)(10,10)=6.2，p<0.01；have，F(xiàn)(10,10)=9.71，p<0.001；so，F(xiàn)(10,10)=22.68，p<0.0001；strange，F(xiàn)(10,10)=35.76，p<0.0001；ly，F(xiàn)(10,10)=12.71，p<0.001。

圖4 原始短語以及被試代表4名在有語言重復(fù)條件4名在無語言重復(fù)條件條件下的音高軌跡圖。F3=174.6 Hz; B3=246.9Hz;F4=349.2 Hz。

其次，我們發(fā)現(xiàn)，相比在無語言重復(fù)條件下的F0平均值，有語言重復(fù)條件下的F0平均值和原短句的F0平均值要更接近。為了求出這一表現(xiàn)的數(shù)值，我們計(jì)算了每位被試短句發(fā)音的F0平均值與原始短句F0平均值的差數(shù)(a difference score)。我們使用獨(dú)立樣本T檢驗(yàn)，并假定不對稱樣本方差，發(fā)現(xiàn)被試在聽到10遍重復(fù)短句后的差數(shù)要明顯低于聽到1遍短句后的[t(13.34)=-4.03；p<0.01]。這一模式適用于單獨(dú)拆分開的每一個音節(jié)，除了最后一個：some：t(11.01)=5.37，p<0.001；times：t(10.29)=7.68，p<0.0001；be：t(13.14)=6.46，p<0.0001；have：t(12.04)=6.28 ，p<0.0001；so：t(10.88)=4.23，p<0.01；strange：t(10.73)=6.07，p<0.001；對于ly，效果并不明顯[t(11.19)=1.34；p=0.23]呈現(xiàn)出相同的趨勢。

圖5 原始樂句中每個音節(jié)的F0平均值(用三角形表示)以及全部被試在無歌唱重復(fù)條件下發(fā)音的每個音節(jié)的F0平均值(用正方形代表)。F3=174.6 Hz; G3=196.0 Hz; A3=220 Hz; B3=246.9Hz; C#4=277.2 Hz; D#4=311.1 Hz。

為了確定我們發(fā)現(xiàn)的上述區(qū)別不是因?yàn)楹唵沃貜?fù)的結(jié)果，我們在無語言重復(fù)和無歌唱重復(fù)兩種條件之間作了比較，這兩種條件下被試都只接受到一次刺激音組。圖5表現(xiàn)了原歌唱短句中所有音節(jié)的平均F0值以及無歌唱重復(fù)條件下所有被試發(fā)音的F0平均值。我們可以看出，被試在這種條件下的發(fā)音彼此間十分相近，和原歌唱短句也十分相近。作為進(jìn)一步的闡釋，圖6展示了原歌唱短句以及有代表性的被試在無歌唱重復(fù)條件下的音高軌跡(這里的音高軌跡選自圖4中無語言重復(fù)條件下被試的音高軌跡)。由此我們可以發(fā)現(xiàn)，相比無語言重復(fù)條件下被試的發(fā)音與原語音短句的關(guān)系，在無歌唱重復(fù)條件下的復(fù)述呈現(xiàn)在被試間更持續(xù)，并且與原歌唱短句更相近。

針對這兩種條件下的復(fù)述呈現(xiàn)，我們作了兩種形式的數(shù)據(jù)比較。

首先，在無歌唱重復(fù)條件下被試間方差的F0平均值要明顯低于在無語言重復(fù)條件下。得出整句短句發(fā)音的F0平均值后，我們發(fā)現(xiàn)方差的差異十分顯著[F(10，10)=7.39，p<0.01]，當(dāng)每個音節(jié)單獨(dú)計(jì)算時也是這樣：some[F(10，10)=19.89，p<0.0001]；times[F(10，10)=97.66，p<0.0001]；be[F(10，10)=5.31，p<0.01]；have[F(10，10)=21.63，p<0.0001]；so[F(10，10)=60.51，p<0.0001]；strange[F(10，10)=66.06，p<0.0001]；ly[F(10，10)=17.74，p<0.0001]。

其次，計(jì)算完整短句發(fā)音的F0平均值與原始歌唱短句F0平均值的差分(difference score)，得出每個被試在無歌唱重復(fù)條件下的差分。我們使用相關(guān)樣本T檢驗(yàn)，發(fā)現(xiàn)在無歌唱重復(fù)條件下得出的差分要明顯低于在無語言重復(fù)條件下的得出的[t(10)=3.31；p<0.01]。當(dāng)我們把七個音節(jié)分開來計(jì)算時，除了最后一個音節(jié)，在前六個音節(jié)測量中該模式依然適用：somet(10)=-4.16，p<0.01；timest(10)=-7.56，p<0.0001；bet(10)=-5.69，p<0.001；havet(10)=-6.12 ，p<0.001；sot(10)=-2.41，p<0.05；stranget(10)=-6.6，p<0.0001；對于ly，效果并不明顯t(10)=-1.37，p<0.200。

我們之前假設(shè)，反復(fù)聆聽原語音短句會使得音高顯著性增強(qiáng)，因而被試認(rèn)為他們聽到的更像歌唱而非說話，以上發(fā)現(xiàn)與假設(shè)相符。與無語言重復(fù)條件相比，被試在有語言重復(fù)條件下的復(fù)述呈現(xiàn)與原語句更接近，在被試內(nèi)更一致。但是，被試在無歌唱重復(fù)條件下的復(fù)述呈現(xiàn)更接近原語句，更具有被試內(nèi)一致性。

圖6 原始歌唱短句、以及被試代表在無歌唱重復(fù)條件下的音高描軌跡圖這四名被試就是圖4中無語言重復(fù)條件下選擇的被試F3=174.6 Hz; B3=246.9Hz;F4=349.2 Hz。

現(xiàn)在討論我們在前文所預(yù)測的——一旦組成原語句的音節(jié)的音高顯著性增強(qiáng)，人們就會在感知上將其轉(zhuǎn)變以符合音調(diào)旋律。具體來說，我們預(yù)測，被試在有語言重復(fù)條件下的復(fù)述呈現(xiàn)符合圖1模式，因此也就符合0，-2，-2，+4，-2，-7(半音)的區(qū)間序列。因此我們假設(shè)，被試相比原口語短句中形成的音程結(jié)構(gòu)區(qū)間序列，被試在在有語言重復(fù)條件下的復(fù)述呈現(xiàn)的音程結(jié)構(gòu)區(qū)間更符合旋律性的表述。

為了驗(yàn)證假設(shè)，我們計(jì)算了原語音短句形成的六個旋律音程(melodic intervals)，同樣也計(jì)算了被試在有語言重復(fù)條件和無語言重復(fù)條件下復(fù)述呈現(xiàn)的旋律區(qū)間，基本方法為使用每個音節(jié)的F0平均值。接下來，針對每種條件，我們計(jì)算了六個音程的兩組差分：(1)被試的復(fù)述呈現(xiàn)與原語音短句的音程之間的差分；(2)被試的復(fù)述呈現(xiàn)與基于假設(shè)的旋律表述音程之間的差分。隨后我們對這兩組差分作了數(shù)據(jù)上的比較。

計(jì)算結(jié)果可以在表1中看到。正如我們預(yù)期，被試在無語言重復(fù)條件下復(fù)述呈現(xiàn)的差分在兩類比較中差異不顯著。但是，與被試在有語言重復(fù)條件下復(fù)述呈現(xiàn)更接近的不是原始的語音短句，而是假設(shè)的旋律表述。具體來說，在有語言重復(fù)條件下，對于六個音程來說，被試的復(fù)述呈現(xiàn)與假設(shè)旋律表述之間的區(qū)別要小于被試復(fù)述呈現(xiàn)與原語音短句之間的區(qū)別。兩類比較有顯著的數(shù)據(jù)差異(p<0.016，單尾檢驗(yàn)，二項(xiàng)式測驗(yàn))。該結(jié)果和我們假設(shè)相一致——被試的復(fù)述呈現(xiàn)在重復(fù)聽短句后受到假設(shè)的音調(diào)旋律感知表述的影響。

表1 被試復(fù)述呈現(xiàn)的音程與以下二者之間的差分(a)原語音短句，(b)基于假設(shè)的旋律表述(取被試平均數(shù))。

表2 被試復(fù)述呈現(xiàn)的音程與以下二者之間的差分(a)原歌唱短句，(b)基于假設(shè)的旋律表述(取被試平均數(shù))。

表2顯示了同樣形式的計(jì)算結(jié)果，這里的計(jì)算基于原歌唱短句，比如無歌唱重復(fù)條件。我們可以發(fā)現(xiàn)，這里的差分?jǐn)?shù)值很小，并且不會因?yàn)榕c原歌唱短句或與假設(shè)旋律表征之間的比較結(jié)果而有所變化。這一結(jié)果基于我們的假設(shè)——原歌唱短句本身就受到由歌者建構(gòu)的旋律表征的強(qiáng)烈影響。

四、討 論

當(dāng)考慮到這種轉(zhuǎn)換結(jié)果的可能原因時，我們注意到，語音的元音成分(vowel components)由泛音列(harmonic series)組成，因此一個人可能會希望能夠清晰地感知到音高，即使已經(jīng)不再重復(fù)了。但是和歌唱相反，語音的音高特點(diǎn)并不具備感知顯著性。因此我們假設(shè)，在聽到正常表達(dá)的語音時，潛藏在音高顯著性下的神經(jīng)元回路通過某種方式被抑制了，從而或許能夠使聽者將注意力集中在言語流的其它特點(diǎn)上，而這些特點(diǎn)對于語義來說是具有本質(zhì)意義的，比如輔音和元音。同時我們假設(shè)，對短句的準(zhǔn)確重復(fù)解除了對神經(jīng)元回路的抑制，從而強(qiáng)化了聽者感知到的音高顯著性?？紤]到我們的研究可能會涉及到腦領(lǐng)域，我們進(jìn)行了腦成像研究，識別出顳葉雙邊區(qū)域，初級聽皮層的前外側(cè)，這一區(qū)域會對聲音音高顯著性優(yōu)先反應(yīng)(Patterson et al., 2002；Penagos et al., 2004；Schneider et al., 2005)。這就引起我們的推測：對短句的重復(fù)收聽強(qiáng)化了這一腦區(qū)域的活性。

從語音短句轉(zhuǎn)化為結(jié)構(gòu)較好(well-formed)的音調(diào)旋律的感知轉(zhuǎn)化過程一定是非常復(fù)雜的，包括多個層次的抽象活動(Deutsch, 1999)。旋律音程在最低層次形成(Deutsch,1969；Demany and Ramos, 2005)。這一過程包括顳葉區(qū)域，這是一個進(jìn)一步遠(yuǎn)離初級聽皮層、側(cè)重右半球發(fā)揮主要功能(Patterson et al., 2002；Hyde et al., 2008；Stewart et al., 2008)的過程。另外，聽者要在感知上將語音短句轉(zhuǎn)換成音調(diào)旋律，必須利用他們對熟悉音樂的長期記憶。這就需要他們將音高信息投射到曾強(qiáng)化學(xué)習(xí)過的范圍內(nèi)(Burns, 1999)并運(yùn)用我們聲調(diào)系統(tǒng)中更深入的規(guī)則導(dǎo)向特點(diǎn)(Deutsch, 1999；Deutsch and Feroe, 1981；Lerdahl and Jackendoff, 1983；Krumhansl, 1990；Lerdahl, 2001)因此需要音樂語法參與處理。因此，一旦短句的感知發(fā)生轉(zhuǎn)化，更深層的腦區(qū)域就也參與其中。腦成像研究顯示，兩個半腦的大腦額葉區(qū)域，尤其是布洛卡區(qū)及其同族體，參與到音樂句法的處理中(Patel et al., 1998；Maess et al., 2001；Janata et al., 2002；Koelsch et al., 2002；Koelsch and Siebel, 2005)。進(jìn)一步來講，人們已經(jīng)發(fā)現(xiàn)，頂葉區(qū)域，尤其是左緣上回，參與到音樂曲調(diào)的短期記憶中(Schmithorst and Holland, 2003；Vines et al., 2006；Koelsch et al., 2009)，同樣參與的還有其它周質(zhì)層，比如葉上回(Janata et al., 2002；Koelsch et al., 2002；Schimithorst and Holland, 2003；Warrier and Zatorre, 2004)。因此，我們假設(shè)，當(dāng)把語音短句轉(zhuǎn)化感知為歌唱時，上述腦區(qū)域會發(fā)生深層活性活動。

應(yīng)該指出的是，目前研究中的被試均有音樂訓(xùn)練經(jīng)歷。人們發(fā)現(xiàn)，相比沒有音樂訓(xùn)練經(jīng)歷的聽者，有過音樂訓(xùn)練經(jīng)歷的聽者對音高結(jié)構(gòu)更加敏感(Schneider et al., 2002；Thompson et al., 2004；Magne et al., 2006；Musacchia et al., 2007；Wong et al., 2007；Kraus et al., 2009；Hyde et al., 2009)，所以，如果被試為未經(jīng)過音樂訓(xùn)練的聽者，可能無法得到目前實(shí)驗(yàn)所達(dá)到的清晰程度。

最后，目前的發(fā)現(xiàn)對有關(guān)樂音與語音感知基底的一般理論發(fā)生影響。正如Diehl et al.(2004)和Zatorre與Gandour(2007)所評論的那樣，這一領(lǐng)域大部分研究都由兩個恰好相反的理論所推動?！疤囟I(lǐng)域”(domain-specifically)理論認(rèn)為，語言的聲音與音樂的聲音是由特定系統(tǒng)進(jìn)行處理的，這一系統(tǒng)只針對某一聲音，排斥其他聲音(Liberman and Mattingly, 1985；Peretz and Coltheart, 2003)。與此相反，“線索基礎(chǔ)”(cue-based)理論認(rèn)為，判斷一個刺激音是說話、音樂或是其它聲音，主要依據(jù)它的聲學(xué)特點(diǎn)，沒有必要去確定某一機(jī)制是特定處理語音還是音樂的(Diehl et al.,2004；Zatorre et al., 2002)。目前我們的發(fā)現(xiàn)無法由上述兩種強(qiáng)大的理論體系容納在內(nèi)，因?yàn)樯鲜鑫覀兯脳l件并無疑點(diǎn)，而該條件下同一刺激音組可以在某種情況下是被認(rèn)為是說話，而在另外情況下被認(rèn)為是音樂。因此有人提出相反的建議(Zatorre和Gandour提出了類似的建議，2007)，說話和音樂在很大程度上是由同一種神經(jīng)通路處理的，但是在最終感知時，針對語音或音樂的特定神經(jīng)元回路會發(fā)揮作用。

五、結(jié) 論

總之，我們描述并探索了一個新的感知轉(zhuǎn)換效果，僅用多次重復(fù)的辦法將人們對一個口語短句的感知從說話轉(zhuǎn)化為歌唱。因?yàn)槁犝咴谥貜?fù)收聽后將所聽到的表述出來，而他們所表述的內(nèi)容音高發(fā)生了轉(zhuǎn)變以形成一段結(jié)構(gòu)良好的旋律。我們還需要做進(jìn)一步的研究并總結(jié)產(chǎn)生這種的錯覺口語短句的特點(diǎn)，記錄其神經(jīng)基礎(chǔ)以及理解其發(fā)生原因是十分必要的。該研究將會對有關(guān)語音與歌唱的腦部機(jī)制方面提供相關(guān)信息。

致謝：感謝Adam Tierney, David Huber, 和Julian Parris提出的討論；感謝Stefan Koelsch和匿名審稿人對本文早期草稿給予的有益建議。

[1]Boersma, P., and Weenink, D. (2006). “Praat: Doing phonetics by computer (version 4.5.06),” http://www.praat.org/ (Last viewed December 8, 2010).

[2]Burns, E. M. (1999). “Intervals, scales, and tuning,” inThePsychologyofMusic, 2nd ed., edited by D. Deutsch (Academic Press, New York), pp. 215-258.

[3]Demany, L., and Ramos, C. (2005). “On the binding of successive sounds: Perceiving shifts in nonperceived pitches,” J. Acoust. Soc. Am. 117, 833- 841.

[4]Deutsch, D. (2010). “Speaking in tones,” Sci. Am. Mind 21, 36-43.

[5]Deutsch, D. (2003).PhantomWords,andOtherCuriosities(Philomel Records, La Jolla) (compact disc; Track 22).

[6]Deutsch, D. (1999). “Processing of pitch combinations,” inThePsychologyofMusic, 2nd ed., edited by D. Deutsch (Academic Press, New York), pp. 349-412.

[7]Deutsch, D. (1969). “Music recognition,” Psychol. Rev. 76, 300-309.

[8]Deutsch, D., and Feroe, J. (1981). “The internal representation of pitch sequences in tonal music,” Psychol. Rev. 88, 503-522.

[9]Diehl, R. L., Lotto, A. J., and Holt, L. L. (2004). “Speech perception,” Annu. Rev. Psychol. 55, 149-179.

[10]Hyde, K. L., Peretz, I., and Zatorre, R. J. (2008). “Evidence for the role of the right auditory cortex in fine pitch resolution,” Neuropsychologia 46, 632-639.

[11]Hyde, K. L., Lerch, J., Norton, A., Forgeard, M., Winner, E., Evans, A. C., and Schlaug, G. (2009). “Musical training shapes structural brain development,” J. Neurosci. 29, 3019-3025.

[12]Janata, P., Birk, J. L., Horn, J. D. V., Leman, M., Tillmann, B., and Bharucha, J. J. (2002). “The cortical topography of tonal structures underlying Western music” Science 298, 2167-2170.

[13]Koelsch, S., Gunter, T. C., von Cramon, D. Y., Zysset, S., Lohmann, G., and Friederici, A. D. (2002). “Bach speaks: A cortical ‘language-network’ serves the processing of music,” Neuroimage 17, 956-966.

[14]Koelsch, S., and Siebel, W.A. (2005). “Towards a neural basis of music perception,” Trends Cogn. Sci. 9, 578-584.

[15]Koelsch, S., Schulze, K., Sammler, D., Fritz, T., Muller, K., and Gruber, O. (2009). “Functional architecture of verbal and tonal working memory: An fMRI study,” Hum. Brain Mapp. 30, 859-873.

[16]Kraus, N., Skoe, E., Parbery-Clark, A., and Ashley, R. (2009). “Experience-induced malleability in neural encoding ofpitch,timbreandtiming,” Ann. N. Y. Acad. Sci. 1169, 543-557.

[17]Krumhansl, C. L. (1990).CognitiveFoundationsofMusicalPitch(Oxford University Press, New York), pp 1-318.

[18]Lerdahl, F. (2001).TonalPitchSpace(Oxford University Press, New York), pp. 1-411.

[19]Lerdahl, F., and Jackendoff, R. (1983).AGenerativeTheoryofTonalMusic(MIT Press, Cambridge, MA), pp. 1-368.

[20]Liberman, A. M., and Mattingly, I. G. (1985). “The motor theory of speech perception revised,” Cognition 21, 1-36.

[21]Maess, B., Koelsch, S., Gunter, T. C., and Friederici, A. D. (2001). “Musical syntax is processed in Broca’s area: An MEG study,” Nat. Neurosci. 4, 540-545.

[23]Mottonen, R., Calvert, G. A., Jaaskelainen, I. P., Matthews, P. M., Thesen, T., Tuomainen, J., and Sams, M. (2006). “Perceiving identical sounds as speech or non-speech modulates activity in the left posterior superior tem- poral sulcus-,” Neuroimage 30, 563-569.

[24]Musacchia, G., Sams, M., Skoe, E., and Kraus, N. (2007). “Musicians have enhanced subcortical auditory and audiovisual processing of speech and music,” Proc. Natl. Acad. Sci. U.S.A. 104, 15894-15898.

[25]Patel, A. D., (2008).Music,Language,andtheBrain(Oxford University Press, Oxford), pp. 1-513.

[26]Patel, A. D., Peretz, I., Tramo, M. J., and Lebreque, R. (1998). “Processing prosodic and musical patterns: A neuropsychological investigation,” Brain Lang. 61, 123-144.

[27]Patterson, R. D., Uppenkamp, S., Johnsrude, I. S., and Griffiths, T. D. (2002). “The processing of temporal pitch and melody information in au- ditory cortex,” Neuron 36, 767-776.

[28]Penagos, H., Melcher, J. R., and Oxenham, A. J. (2004). “A neural represen- tation of pitch salience in nonprimary human auditory cortex revealed with functional magnetic resonance imaging,” J. Neurosci. 24, 6810- 6815.

[29]Peretz, I., and Coltheart, M. (2003). “Modularity of music processing,” Nat. Neurosci. 6, 688-691.

[30]Remez, R. E., Rubin, P. E., Pisoni, D. B., and Carrell, T. D. (1981). “Speech perception without traditional speech cues,” Science 212, 947- 949.

[31]Schmithorst, V. J., and Holland, S. K. (2003). “The effect of musical train- ing on music processing: A functional magnetic resonance imaging study in humans,” Neurosci. Lett. 348, 65-68.

[32]Schneider, P., Scherg, M., Dosch, H. G., Specht, H. J., Gutschalk, A., and Rupp, A. (2002). “Morphology of Heschl’s gyrus reflects enhanced activation in the auditory cortex of musicians,” Nat. Neurosci. 5, 688- 694.

[33]Schneider, P., Sluming, V., Roberts, N., Scherg, M., Goebel, R., Specht, H. J., Dosch, H. G., Bleeck, S., Stippich, C., and Rupp, A. (2005). “Structural and functional asymmetry of lateral Heschl’s gyrus reflects pitch percep- tion preference,” Nat. Neurosci. 8, 1241-1247.

[34]Schon, D., Magne, C., and Besson, M. (2004). “The music of speech: Music training facilitates pitch processing in both music and language,” Psycho- physiology 41, 341-349.

[35]Shtyrov, Y., Pihko, E., and Pulvermuller, F. (2005). “Determinants of domi- nance: Is language laterality explained by physical or linguistic features of speech?” Neuroimage 27, 37-47.

[36]Stewart, L., Von Kriegstein, K., Warren, J. D., and Griffiths, T. D. (2006). “Music and the brain: Disorders of musical listening,” Brain 129, 2533- 2553

[37]Stewart, L., Overath, T., Warren, J. D., Foxton, J. M., and Griffiths, T. D. (2008). “fMRI evidence for a cortical hierarchy of pitch pattern proc- essing,” PLoS ONE 3, e1470.

[38]Thompson, W. F., Schellenberg, E.G. and Husain, G. (2004). “Decoding speech prosody: Do music lessons help?” Emotion 4, 46-64.

[39]Vines, B. W., Schnider N. M., and Schlaug, G. (2006). “Testing for causality with transcranial direct current stimulation: Pitch memory and the left supramarginal gyrus,” NeuroReport 17, 1047-1050.

[40]Warrier, C. M., and Zatorre, R. J. (2004). “Right temporal cortex is critical for utilization of melodic contextual cues in a pitch constancy task,” Brain 127, 1616-1625.

[41]Wong, P. C. M., Skoe, E., Russo, N. M., Dees, T., and Kraus, N. (2007). “Musical experience shapes human brainstem encoding of linguistic pitch patterns,” Nat. Neurosci. 10, 420-422.

[42]Zatorre, R. J., and Gandour, J. T. (2007). “Neural specializations for speech and pitch: Moving beyond the dichotomies,” Philos. Trans. R. Soc. Lon- don Ser. B 2161, 1-18.

[43]Zatorre, R. J., Belin, P., and Penhune, V. B. (2002). “Structure and function of auditory cortex: Music and speech,” Trends Cogn. Sci. 6, 37-46.

【責(zé)任編輯：楊正君】

2016-09-07

教育部人文社科研究基金一般項(xiàng)目“音樂認(rèn)知的理論與實(shí)踐”(11YJA760039)；上海高校高原學(xué)科“藝術(shù)學(xué)理論-音樂藝術(shù)本原與當(dāng)代音樂文化批判”。

1.[美]戴安娜·多伊奇，[美]特雷弗·翰瑟，[美]瑞秋·萊皮迪斯：美國加州大學(xué)圣地亞哥分校心理學(xué)系，戴安娜·多伊奇(1938-)教授為本文通訊作者，主要從事音樂聽覺錯覺和音樂記憶等研究；2.王博涵(1990-)，女，華東師范大學(xué)教育學(xué)部碩士研究生，蘇州工業(yè)園區(qū)青劍湖學(xué)校教師；3.李小諾(1968-)，女，上海音樂學(xué)院研究員，音樂學(xué)系書記、副系主任，華東師范大學(xué)心理學(xué)博士后。

10.3969/j.issn.1008-7389.2016.04.014

J60-051

A

1008-7389(2016)04-0133-13

原文Diana Deutsch, Trevor Henthorn, and Rachael Lapidis. “Illusory transformation from speech to song”發(fā)表于AcousticalSocietyofAmerica(美國聲學(xué)雜志),Volume, 129(4)April 2011.