面向情感分析的古箏樂曲聲譜圖信息主干提取

肖仲喆，吳 迪，張曉俊，陶 智

(蘇州大學(xué) 物理與光電·能源學(xué)部，蘇州 215006)

古箏又名漢箏、秦箏、瑤箏、鸞箏等，是最古老的中國民族傳統(tǒng)樂器中的一種，屬于彈撥樂器，一弦一音.它的音色優(yōu)美，音域?qū)拸V、演奏技巧豐富，表現(xiàn)力強(qiáng),有“群聲之主，眾樂之師”之美稱.戰(zhàn)國時(shí)期盛行于“秦”地，最早為五弦，唐宋時(shí)為十三弦，后增至十六弦、十八弦、二十一弦等，目前最常用的規(guī)格為二十一弦.

古箏演奏是一門表演藝術(shù)，而有情感的演奏可以使音樂具有生命力、感染力，情感表現(xiàn)成為古箏演奏藝術(shù)的重要組成部分.作為一種表達(dá)情感及至入微的樂器，其演奏也是情感的產(chǎn)物[1-2].而古箏演奏中的情感表現(xiàn)作為非技術(shù)性因素，沒有如演奏技法一般標(biāo)準(zhǔn)，與演奏者在演奏過程中對(duì)作品的理解有關(guān)，在同一作品中也有可能發(fā)生復(fù)雜的情感流動(dòng)與變化.

在演奏者對(duì)古箏曲情感的表達(dá)中，在正確的控制音色、力度、速度，把握好旋律和節(jié)拍的變化的基礎(chǔ)上，配合左手的按顫技巧，才能夠表現(xiàn)出箏樂中的情感本質(zhì).左手恰到好處的“吟、揉、按、滑”在很大程度上決定了古箏演奏者的情感表達(dá).例如，悲憤、惱怒的旋律，需要左手進(jìn)行頻率快、振幅大的猛顫，而優(yōu)美如歌的旋律則需要左手顫音振幅小而均勻[3].

作為一種古老的傳統(tǒng)民族樂器，在漫長的歷史變遷中，古箏藝術(shù)與地域環(huán)境、文化、民俗等多種元素相結(jié)合，逐漸形成了多種不同的特色，很多箏曲，尤其是傳統(tǒng)箏曲，會(huì)不同程度地受到古箏派別的影響,從地域上大致可以區(qū)分為南北兩派.北派以河南箏和山東箏為代表，北派箏曲大多音色高亢豪放，粗曠明朗，左手按顫弦通常比較急且深，在旋律的處理上抑揚(yáng)起伏較多；而南派的潮州箏曲、客家箏曲、浙江箏曲等，大多柔美含蓄，注重內(nèi)在情感的抒發(fā)和表達(dá)，左手按揉弦變化比較多，風(fēng)格偏于含蓄內(nèi)斂，清秀淡雅，曲調(diào)上也比北派箏曲更加細(xì)膩婉約[4].

除左手的按、顫弦外，右手的觸弦位置、力度，古箏演奏中特有的刮奏、搖指等技法的恰當(dāng)運(yùn)用，在古箏的情感表現(xiàn)中也起到重要作用.

在基于音頻信號(hào)的古箏曲分析中，提取出不同表現(xiàn)技法在信號(hào)中的特征，是進(jìn)行古箏樂曲情感表達(dá)的基礎(chǔ).對(duì)于樂曲情緒的分析，近年來已成為音樂信息提取中的一個(gè)重要方面之一[5-6].然而，基于機(jī)器學(xué)習(xí)算法的自動(dòng)音樂情緒分析，首先依賴于對(duì)情緒的精確標(biāo)注，常見的標(biāo)注方法主要有使用離散的情緒種類或者維度空間，例如價(jià)效-激勵(lì)二維空間[7].Saari等[8]對(duì)音樂情緒標(biāo)注進(jìn)行了詳細(xì)的分析.然而，古箏作為一種中國傳統(tǒng)樂器，尚未有專門針對(duì)此種樂器的樂曲進(jìn)行了情緒標(biāo)注的數(shù)據(jù)庫，并且，常用于西方音樂情緒描述的類別，也并不適用于古箏曲，尤其是傳統(tǒng)古箏曲.因而，對(duì)古箏樂曲的情緒分析，首先需要了解古箏各流派主要樂曲背景的專業(yè)人士進(jìn)行標(biāo)注.在目前缺少標(biāo)注庫的情況下，對(duì)古箏樂曲進(jìn)行分析，對(duì)能夠表現(xiàn)出情緒變化的演奏技法進(jìn)行識(shí)別，則是對(duì)古箏曲情緒進(jìn)行自動(dòng)識(shí)別的基礎(chǔ).

聲譜圖作為同時(shí)體現(xiàn)聲音信號(hào)的時(shí)域、頻域特征的綜合的可視化表達(dá)方式，能夠保留聲音信號(hào)中的大多數(shù)信息，因此能夠?qū)?shù)字圖像處理方法引入到音頻信號(hào)分析中.聲譜圖相似度可被用于音樂檢索[9-10]或音樂風(fēng)格分析[11-12]；而將聲譜圖作為圖像，通過對(duì)其圖像二維頻譜的分析，可以對(duì)語音和音樂信號(hào)之間進(jìn)行分類[13]；多分辨率的聲譜圖也被用于伴奏音樂與歌唱人聲的分離[14].雖然尚未見文獻(xiàn)中提及使用聲譜圖進(jìn)行音樂情緒的分析，但音樂情緒分析與音樂風(fēng)格分析可以采用類似方法，因而本文將聲譜圖作為對(duì)箏樂分析的載體.

按、顫、觸弦位置等都會(huì)引起聲譜圖紋理變化，而這些信息都屬于聲譜圖中的局部細(xì)節(jié)信息，不易提取，若能先對(duì)聲譜圖進(jìn)行主干信息分析，就可以在圍繞聲譜主干的基礎(chǔ)上對(duì)各局部的細(xì)節(jié)信息進(jìn)行分別提取.本文提出了一種基于有限峰值中心點(diǎn)的聲譜圖主干提取方法，作為后續(xù)研究中對(duì)古箏曲進(jìn)行情感表現(xiàn)技法的細(xì)節(jié)分析的基礎(chǔ).

1 古箏簡介

目前，最通常的古箏型號(hào)為S163-21，其中： S代表S形岳山，王巽之與繆金林共同發(fā)明；163代表古箏長度為163cm左右；21代表古箏弦數(shù)為21根.古箏正面圖如圖1所示[15].前梁、后梁也稱前岳山、后岳山.

圖1 古箏結(jié)構(gòu)圖Fig.1 Structure of Guzheng

古箏的21根弦為一弦一音，使用五聲調(diào)式，最常用的調(diào)式為D調(diào)，以距離演奏者最近的弦為第1弦，對(duì)應(yīng)的唱名為倍高音do，距離演奏者最遠(yuǎn)的弦為第21弦，對(duì)應(yīng)的唱名為倍低音do.通常情況下，第3，8，13，18這4根弦采用綠色或紅色進(jìn)行標(biāo)識(shí)，以方便演奏者在演奏中區(qū)分音區(qū).可以采用十二平均律進(jìn)行調(diào)音，弦號(hào)、音名、唱名、頻率(保留整數(shù))的對(duì)應(yīng)關(guān)系列于表1.

表1 古箏D調(diào)，各弦基頻

注： 加黑的數(shù)據(jù)表示古箏上對(duì)應(yīng)序號(hào)的弦采用綠色或者紅色進(jìn)行標(biāo)識(shí)，以方便演奏者.

2 古箏常用指法的單音時(shí)頻分析

古箏作為一種一弦一音的彈撥樂器，有其獨(dú)特的音色特征，而不同的演奏技法則會(huì)引起音色的細(xì)微變化，從而有不同的表現(xiàn)力，同時(shí)也會(huì)在頻譜、聲譜圖上體現(xiàn)出差異.

2.1 觸弦位置對(duì)古箏單音頻譜的影響

圖2 觸弦位置對(duì)頻譜的影響Fig.2 Influence of position of contact point to spectrum

古箏右手觸弦位置是直接關(guān)系到音色的表現(xiàn).通常，初學(xué)者時(shí)右手的基本觸弦位置是在距前岳山約3cm處，而基本音質(zhì)的最佳觸弦點(diǎn)，則是在發(fā)音弦段1/8處，即本音第3個(gè)八度的泛音位置，在這個(gè)位置上彈弦發(fā)音純凈響亮.在實(shí)際演奏中，演奏者會(huì)根據(jù)樂曲的需要，選擇不同的觸弦點(diǎn)以獲得不同的音色，如明暗變化、剛?cè)嶙兓?觸弦位置對(duì)頻譜的影響如圖2所示.

圖2中所示兩個(gè)音均為第8弦，標(biāo)準(zhǔn)基頻為440Hz.實(shí)線所示的義甲觸弦位置距前岳山約3cm，為常規(guī)觸弦位置，虛線所示的觸弦位置約為有效發(fā)聲弦長的中點(diǎn)，常用于表現(xiàn)較輕、較柔和的音色.由圖2可見，居中觸弦時(shí)，基頻分量的幅度較常規(guī)位置觸弦時(shí)有了明顯的提升，從而引起頻譜的整體重心向低頻方向轉(zhuǎn)移，使音色變得更加厚重，音色不再明亮，從而顯得更加柔和.

2.2 相同觸弦位置在不同弦上的頻譜變化

作為一種多弦樂器，古箏具有21根琴弦，跨越4個(gè)八度的范圍，高音區(qū)與低音區(qū)的音色存在明顯差異，而頻譜特征也存在明顯區(qū)別.本文選擇D調(diào)唱名為sol的4根弦(從高音到倍低音，第3，8，13，18弦)進(jìn)行分析，觸弦位置均為距前岳山3～4cm處，琴弦進(jìn)入穩(wěn)定振動(dòng)狀態(tài)后某時(shí)刻的取長度為30ms的短時(shí)幀的頻譜如圖3(a)所示.由圖3(a)可見，高音區(qū)和中音區(qū)(第3，第8弦)基頻分量有明顯的較高幅度，而低音、倍低音區(qū)的基頻分量幅度顯著降低.

為更清晰地顯示高低音區(qū)的頻譜差異，頻率按照各弦的基頻進(jìn)行歸一化，將橫坐標(biāo)轉(zhuǎn)換為諧波，重繪于圖3(b).由圖3(b)可見，高音sol(第3弦)的基頻分量明顯為該音的最高頻率分量；中音sol(第8弦)的2次諧波幅度已經(jīng)接近基頻分量幅度；低音sol(第13弦)的基頻分量已不易辨別，第2、3次諧波幅度明顯較高；而倍低音sol(第18弦)的基頻分量幾乎缺失，2次諧波分量也較低，最高幅度出現(xiàn)在4次諧波處.這一差異一方面是因?yàn)楣殴~琴弦音越低則有效弦長越長，相對(duì)于前岳山相同距離的觸弦位置相對(duì)于弦長的比例就越小，相當(dāng)于更接近前岳山進(jìn)行觸弦；另一方面由于古箏從第1弦到第21弦的直徑差異很大，也會(huì)造成頻譜特征的區(qū)別.

圖3 第3，8，13，18弦在常規(guī)觸弦位置的情況Fig.3 Short time spectrum of strings 3，8，13，18 at normal touching position

圖4 第3，8，13，18弦的聲譜圖Fig.4 Spectrogram of strings 3，8，13，18

圖4為上述各弦的聲譜圖.由圖4可見與圖3(b)類似的信息，第18弦基頻分量在聲譜圖中不可分辨，發(fā)生了基音缺失.同時(shí)，各弦的聲譜均表現(xiàn)出高頻分量比低頻分量衰減快的現(xiàn)象.

2.3 揉、顫弦對(duì)聲譜圖的影響

左手的揉、顫弦可以引起古箏琴音的基頻在原有基礎(chǔ)上發(fā)生波動(dòng)，揉、顫的幅度、頻率都可以在聲譜圖上造成變化，不同力度、頻率的揉、顫弦，可以使聲譜圖中的條紋產(chǎn)生波動(dòng)，造成或條紋變粗，或條紋邊緣模糊等效果.而從聽覺上，揉、顫弦可以使音色發(fā)生不同變化，同時(shí)可以產(chǎn)生延長發(fā)聲的作用.以第8弦(基頻440Hz)為例，無揉顫弦與有揉顫弦時(shí)的聲譜圖對(duì)比如圖5所示.

由圖5可見，當(dāng)加入揉弦時(shí)，由于左手對(duì)弦施加變化的壓力，造成弦上張力的變化，從而引起基頻的波動(dòng)，表現(xiàn)為聲譜圖中的條紋發(fā)生起伏變化.

2.4 滑音的聲譜圖特征

古箏演奏中，可以通過左手按弦產(chǎn)生滑音效果，例如，sol音可以通過按弦變化到#sol或la音.其中，上滑音為先彈響琴弦，一般在當(dāng)前音符時(shí)值大約一半的時(shí)刻進(jìn)行按弦，而下滑音為先按弦，彈響后在當(dāng)前音符時(shí)值大約一半的時(shí)刻放開.滑音聲譜圖的例子如圖6所示.

圖5 第8弦，有無揉弦對(duì)聲譜的影響Fig.5 Influence of vibrato to the spectrogram

圖6 上、下滑音的聲譜圖Fig.6 Spectrogram of portamento

由圖6可見，在滑音的聲譜圖中，聲譜條紋會(huì)在按弦或放弦時(shí)刻發(fā)生傾斜，最終在新的位置形成橫條紋，而按弦或放弦時(shí)刻前的諧波頻率處的橫條紋會(huì)繼續(xù)持續(xù)存在一段時(shí)間.

2.5 短時(shí)間內(nèi)多次觸弦技法的聲譜圖特征

古箏演奏技法中，刮奏、搖指等均為短時(shí)間內(nèi)多次觸弦的技法.古箏刮奏指連續(xù)劃過相鄰的若干根琴弦，分為上行刮奏與下行刮奏.由于刮奏過程中，相鄰各弦間的觸弦間隔時(shí)間短，且各相鄰弦間的基頻差距小，因此聲譜圖表現(xiàn)為較密集的條紋，且音頭部分呈現(xiàn)明顯的曲線，如圖7(a)所示.上下行刮奏均出現(xiàn)了密集的橫條紋，上行刮奏中可以明顯看出從左下向右上的曲線，而下行刮奏中可以明顯看出從左上向右下的曲線.

搖指為古箏中較有特色的指法，指以大指義甲在同一根弦上快速連續(xù)均勻的進(jìn)行托劈交替的彈奏，使古箏的顆粒性的音效變化為連續(xù)聲音，其聲譜圖也表現(xiàn)為若干條連續(xù)的橫線條紋，但由于搖指過程中義甲頻繁觸弦，各次諧波分量均不會(huì)出現(xiàn)明顯衰減.同時(shí)，由于觸弦瞬間會(huì)產(chǎn)生諧波位置之外的雜音，因而有可能在非諧波位置處也有單次觸弦時(shí)更高的能量出現(xiàn).搖指聲譜圖如圖7(b)所示，圖中彈奏的琴弦為第8弦.

圖7 多次觸弦技法的聲譜圖Fig.7 Spectrogram in notes with multiple string touchings

2.6 泛音的聲譜圖

圖8 泛音的聲譜圖Fig.8 Spectrogram of overtone

古箏的泛音彈奏方式為，在右手義甲觸弦的瞬間，以左手指尖在當(dāng)前琴弦的有效長度1/2處觸弦并迅速離開，可以得到清脆明亮的音色，有時(shí)可用于模擬鐘聲等，其時(shí)域波形光滑，頻譜由2次諧波占主導(dǎo)地位.泛音的聲譜圖如圖8所示，其2次諧波位置的聲譜圖條紋顏色明顯比其他條紋深，而基頻與其他諧波較弱，與普通的彈奏方式產(chǎn)生的聲譜圖有明顯差異.

3 基于聲譜圖的古箏樂信息主干提取

圖9 聲譜圖主干信息提取流程圖Fig.9 Diagram of spectrogram main trace extraction

由第2節(jié)的古箏主要指法的單音分析可知，古箏樂曲的聲譜圖主要表現(xiàn)為一系列在每個(gè)音的范圍內(nèi)隨時(shí)間衰減的橫條紋，并會(huì)由于揉、顫弦、滑音等在橫條紋的附近發(fā)生細(xì)節(jié)變化，而刮奏、搖指等密集觸弦的指法，則會(huì)產(chǎn)生如曲線形音頭軌跡，密集條紋，或不隨時(shí)間衰減等變化.揉、顫弦、滑音、刮奏、搖指等均為能夠影響古箏演奏情感表達(dá)的重要因素.這些因素所產(chǎn)生的聲譜圖細(xì)節(jié)變化不易直接提取，因而本文通過一種基于有限峰值中心點(diǎn)的聲譜圖主干提取方法，獲取聲譜圖條紋中心位置作為樂曲框架式的脈絡(luò)，則可以作為分析基礎(chǔ)，圍繞各條紋中心線對(duì)聲譜圖的細(xì)節(jié)變化進(jìn)行進(jìn)一步的分析.

3.1 聲譜圖主干提取方法實(shí)驗(yàn)設(shè)計(jì)

聲譜圖的主干提取分為時(shí)域、頻域兩個(gè)方向分別進(jìn)行，如圖9所示.古箏演奏中，對(duì)一個(gè)音符的表現(xiàn)，分為單次觸弦與多次觸弦兩類.其中，多數(shù)的普通技法均為單次觸弦，而刮奏、搖指等技法則為短時(shí)間內(nèi)均勻的多次觸弦.

聲譜圖主干提取的第1步，通過對(duì)聲譜圖進(jìn)行時(shí)域一階差分，獲取觸弦時(shí)間點(diǎn).通過是否出現(xiàn)短時(shí)間內(nèi)的密集觸弦點(diǎn)，判斷該音符屬于單一觸弦技法或是多次觸弦技法.第2步，根據(jù)頻譜峰值位置，將聲譜圖轉(zhuǎn)化為稀疏矩陣，并經(jīng)過優(yōu)化，獲取聲譜圖主干.優(yōu)化過程中，單一觸弦音使用當(dāng)前音符觸弦激發(fā)后的能量較強(qiáng)的時(shí)間段的信息，而多次觸弦音使用當(dāng)前音符所占所有時(shí)間的信息.

3.2 時(shí)域主干提?。?觸弦時(shí)間點(diǎn)提取

聲譜圖主干提取，首先需要進(jìn)行觸弦時(shí)間點(diǎn)的提取.對(duì)于單次觸弦的音，觸弦時(shí)間即為此音符的起始時(shí)間，而多次觸弦的音，密集的連續(xù)觸弦時(shí)間的第一次觸弦即為此音符的起始時(shí)間.對(duì)觸弦時(shí)間點(diǎn)的提取，可以進(jìn)行各音符之間的分割，以及提取節(jié)奏等樂曲重要信息.

圖10為《漁舟唱晚》(宋心馨演奏版本，樂曲下載于中國古箏網(wǎng))的起始部分，僅包含單次觸弦技法.圖10(a)中灰色曲線為時(shí)域波形，橫坐標(biāo)為時(shí)間(s)，縱坐標(biāo)為幅度；圖10(b)為對(duì)應(yīng)的聲譜圖，橫坐標(biāo)為時(shí)間(s)，與圖10(a)對(duì)齊，縱坐標(biāo)為頻率(Hz)，只顯示了0至2000Hz部分.由時(shí)域波形可以看到，觸弦點(diǎn)的時(shí)域波形包絡(luò)會(huì)有突發(fā)上升，然而，在一個(gè)音符時(shí)間范圍內(nèi)，時(shí)域波形包絡(luò)衰減并非單調(diào)，例如圖10(a)在0.6s附近有明顯的上升；同時(shí)，此次的時(shí)域幅度高于6.9s附近第5個(gè)音符的觸發(fā)幅度，因而，即便在時(shí)域波形包絡(luò)上升位置處配合幅度的閾值判斷仍不便進(jìn)行觸弦點(diǎn)的準(zhǔn)確提取.

由圖10(b)的聲譜圖可以看到，在每個(gè)音符的穩(wěn)定振動(dòng)狀態(tài)下，聲譜圖表現(xiàn)為若干條平行的橫條紋，而橫條紋之間的幅度較低，但在觸弦點(diǎn)處，由于觸弦瞬間義甲與琴弦的碰撞，不可避免的會(huì)帶來一定的觸弦聲，即便控制在不易聽辨出的程度，依然可以在聲譜圖中看到每個(gè)觸弦點(diǎn)處均有較明顯的分布于各橫條紋之間的峰值.對(duì)聲譜圖作時(shí)間方向的一階差分，則可在各觸弦點(diǎn)得到明顯大于其他位置的數(shù)值，表現(xiàn)為縱向條紋.設(shè)被分析的音樂段的聲譜圖為S(n,k)，其中：n為離散信號(hào)的時(shí)間序號(hào)，n=1,2,…,N；k為對(duì)應(yīng)的頻率序號(hào)，k=1,2,…,K.其一階差分結(jié)果為：

DT(n,k)=S(n+1,k)-S(n,k)n=1,2,…,N-1；k=1,2,…,K.

(1)

聲譜圖的一階差分結(jié)果二值化后的結(jié)果如圖10(c)所示，提取各縱條紋的時(shí)間位置，即為觸弦時(shí)間點(diǎn).經(jīng)微調(diào)修正的觸弦時(shí)間點(diǎn)以黑色豎線標(biāo)記于圖10(a)中.

當(dāng)演奏中出現(xiàn)刮奏、搖指等短時(shí)間內(nèi)多次觸弦的演奏技法時(shí)，對(duì)觸弦時(shí)間點(diǎn)的提取則會(huì)呈現(xiàn)密集結(jié)果，如圖11(a)中點(diǎn)劃線框內(nèi)所示.然而，刮奏、搖指等技法由于演奏中的反復(fù)觸弦，造成對(duì)弦的反復(fù)激發(fā)，在最后一次觸弦時(shí)間之前，聲音能量不會(huì)發(fā)生明顯衰減，造成聲譜整體能量較高，因而時(shí)域一階差分結(jié)果雖然能夠體現(xiàn)密集觸弦的特性，但是并不能完全準(zhǔn)確地檢測(cè)出密集的所有觸弦時(shí)間點(diǎn)，從而檢測(cè)出的密集時(shí)間點(diǎn)無法體現(xiàn)出均勻分布特性.

圖10 漁舟唱晚片段Fig.10 A segment of “Yu Zhou Chang Wan”

圖11 含有多次觸弦演奏技法的片段(漁舟唱晚)Fig.11 A segment with multiple string touchings(“Yu Zhou Chang Wan”)

3.3 頻域主干提取： 各音符諧波頻率提取

聲譜圖的信息內(nèi)容為一個(gè)數(shù)據(jù)矩陣，每一個(gè)元素代表了它所在位置對(duì)應(yīng)的時(shí)間、頻率上的幅度值，其中包含的數(shù)據(jù)量較大，占用較大的存儲(chǔ)空間，且不便于處理.孔旭等在研究聲譜相似度的工作中提出了對(duì)聲譜圖的最大頻率強(qiáng)度采樣的方法[9]，即對(duì)每一幀存儲(chǔ)其若干個(gè)幅度最大值的頻率的坐標(biāo)，并以各坐標(biāo)構(gòu)成識(shí)別特征矩陣.在古箏樂曲主干提取中，由于各次諧波的幅度關(guān)系會(huì)包含觸弦位置等信息，因而最大幅值也需要被同時(shí)存儲(chǔ).本文提出了對(duì)聲譜圖進(jìn)行兩步頻域主干的提取，其中： 第1步，將原始聲譜圖提取為稀疏矩陣；第2步，結(jié)合聲譜圖稀疏矩陣以及在時(shí)域主干提取中得到的觸弦點(diǎn)時(shí)間，提取每個(gè)音符的最強(qiáng)的若干諧波，并將諧波顯示在聲譜圖中各音符的起始位置處.

3.3.1 頻域主干提?。?提取稀疏矩陣

此步驟的具體方法如下：

1) 對(duì)聲譜圖進(jìn)行頻域一階差分，并對(duì)結(jié)果的符號(hào)再次進(jìn)行頻域一階差分，結(jié)果中取值為-2的位置即為頻譜峰值位置：

DF1(n,k)=S(n,k+1)-S(n,k)k=1,2,…,K-1，

(2)

DF2(n,k)=sign[DF1(n,k+1)]-sign[DF1(n,k)]k=1,2,…,K-2，

(3)

P=position(DF2(n,k)=-2)；

(4)

2) 對(duì)前一步獲取的峰值位置所在處的幅值進(jìn)行排序，保留前16位的坐標(biāo)；

3) 保留提取出的16位坐標(biāo)處的原始幅度數(shù)值，其余位置數(shù)據(jù)置0.

圖12 漁舟唱晚片段Fig.12 A segment from “Yu Zhou Chang Wan”

經(jīng)過此處理過程，每列數(shù)據(jù)從幾千個(gè)數(shù)值化簡為僅有16個(gè)非0值.圖12為《漁舟唱晚》的初始片段，僅包含單次觸弦技法，圖12(a)為原始聲譜圖，圖12(b)為處理后所得的稀疏矩陣.由圖12(b)可以看到，聲譜圖中的主要條紋位置均得到了保留，然而，在主要條紋位置之外，存在若干散點(diǎn)，同時(shí)，在低頻部分，存在前一音符的諧波條紋的延續(xù)，尤其以1000Hz以下部分更為明顯，如第3s前后，第2個(gè)音符在0～2000Hz 內(nèi)應(yīng)有4個(gè)諧波存在，而另有4條對(duì)應(yīng)于第1個(gè)音符的諧波條紋存在.

3.3.2 頻域主干優(yōu)化： 最強(qiáng)諧波位置提取

在將聲譜圖轉(zhuǎn)化為稀疏矩陣的過程中，會(huì)殘留若干不在諧波位置處的散點(diǎn)，且前一音符的部分諧波會(huì)持續(xù)存在，對(duì)后續(xù)音符產(chǎn)生影響.第二步的主要目的即為盡可能地去除散點(diǎn)，并刪除來自于前一音符諧波位置的拖尾軌跡.具體方法為：

1) 對(duì)于單次觸弦技法，以各觸弦時(shí)間點(diǎn)為起點(diǎn)，選取至下一觸弦時(shí)間點(diǎn)的間隔一半位置處，計(jì)算此時(shí)間區(qū)間各頻率處在稀疏矩陣中有被保留元素的值的均值，并進(jìn)行排序.對(duì)于多次觸弦技法，選取密集觸弦時(shí)間段內(nèi)第一次觸弦起至下一音符起始時(shí)間點(diǎn)的所有信息，計(jì)算各頻率處在稀疏矩陣中有被保留元素的值的均值，并進(jìn)行排序.

2) 設(shè)定諧波間隔閾值.由古箏最低音弦(第21弦)的基頻約為73Hz，設(shè)定其頻率值的一半，即：

thresf=36.5Hz

(5)

為諧波間隔閾值.

3) 根據(jù)步驟1)中排序后的被保留值，從最高值起，刪除該音符時(shí)間范圍內(nèi)，稀疏矩陣中與其頻率距離小于諧波間隔閾值thresf的所有點(diǎn).

4) 對(duì)步驟3)中保留的頻率值，取一階差分，得到各保留頻率間的間隔.當(dāng)頻率間隔均勻時(shí)，提取過程結(jié)束；當(dāng)頻率間隔不均勻時(shí)，分別提取奇數(shù)頻率值間隔、偶數(shù)頻率值間隔以及頻率間隔的1/2值，連同所有頻率點(diǎn)的間隔值一起，以上述所有間隔值中出現(xiàn)頻次最高者作為該音符的實(shí)際諧波間隔，并標(biāo)記出不符合本音符的諧波特性的頻率值.

5) 對(duì)步驟4)中標(biāo)記出的不符合本音符諧波特性的頻率值，將出現(xiàn)在前一音符的諧波頻率附近的值刪除.

經(jīng)過此處理過程，各音符位置平均會(huì)被保留4～8個(gè)諧波，如圖12(c)所示.各音符的最強(qiáng)若干諧波被提取出來，仍存在部分音符有個(gè)別強(qiáng)度較弱的諧波被誤刪除，或前一音符的諧波拖尾未被識(shí)別的現(xiàn)象，但多數(shù)情況，前4個(gè)諧波可以得到準(zhǔn)確的保留.此時(shí)，樂曲主干部分包含的信息包括：

i) 各音符的觸弦時(shí)間點(diǎn)；

ii) 各音符的諧波頻率值；

iii) 各諧波處的平均強(qiáng)度.

針對(duì)多次觸弦技法的聲譜圖在頻域主干提取時(shí)使用當(dāng)前音符的所占的全部時(shí)值的信息，其結(jié)果如圖13所示.其中，圖13(b)為對(duì)搖指技法的聲譜圖進(jìn)行頻域有限數(shù)量峰值提取后的結(jié)果，由于搖指技法在演奏過程中需要快速頻繁撥動(dòng)同一根琴弦，在每次觸弦過程中都會(huì)造成琴弦穩(wěn)定振動(dòng)模式的中斷，因而提取出的結(jié)果也表現(xiàn)為不連貫的水平條紋，經(jīng)平均優(yōu)化后，獲得如圖13(c)所示的結(jié)果.圖13(e)為對(duì)刮奏技法進(jìn)行頻域有限數(shù)量峰值提取后的結(jié)果，在其觸弦時(shí)間段結(jié)束后，呈現(xiàn)密集水平條紋，而在其演奏起始階段，即順序撥動(dòng)相鄰若干根琴弦的過程中，呈現(xiàn)出圓弧狀邊緣.對(duì)此邊緣進(jìn)行提取后，如圖13(f)所示.

圖13 多次觸弦技法的聲譜圖的主干提取信息Fig.13 Key information extracted from notes with multiple string touchings

綜上所述，可以通過對(duì)聲譜圖的分析，提取古箏單次或多次觸弦演奏技法的聲譜圖主干信息.經(jīng)過樂曲主干信息提取，相對(duì)于原始聲譜圖，可以大幅度地減少信息數(shù)據(jù)量，同時(shí)使樂曲特征更加清晰，便于進(jìn)一步地深入分析.

4 結(jié) 語

本文根據(jù)相關(guān)文獻(xiàn)中對(duì)古箏的演奏中的情感表達(dá)的研究，詳細(xì)分析了對(duì)情感表達(dá)產(chǎn)生影響的各種不同演奏技法產(chǎn)生的聲音信號(hào)在頻譜以及聲譜圖方面的影響.另一方面，本文提出了一種基于有限峰值中心點(diǎn)的聲譜圖主干提取方法.這一由聲譜圖提取古箏樂曲主干的方法能夠?qū)非懈饕舴M(jìn)行分隔，并提取出各音符的前4～8個(gè)諧波位置與強(qiáng)度，能夠作為后續(xù)對(duì)不同演奏技法引起的聲譜圖細(xì)節(jié)變化提取的基礎(chǔ)，以便進(jìn)行古箏樂曲情緒表達(dá)的分析.

[1] 李 莉.論古箏演奏中的情感表達(dá) [J].大眾文藝，2012(2)： 10-11.

[2] 王溫豪.淺談古箏演奏中的情感表現(xiàn) [J].歌海，2008(4)： 67-68.

[3] 蔡丹丹.淺析古箏演奏中的情感表達(dá) [J].音樂時(shí)空，2015(8)： 94.

[4] 石彬怡.淺析古箏演奏中的情感表達(dá) [J].湖北科技學(xué)院學(xué)報(bào)，2014，34(5)： 125，129.

[5] HU X, DOWNIE J S, LAURIER C,etal. The 2007 MIREX audio mood classification task： Lessons learned [C]∥Proceedings International Conference on Music Information Retrieval. Drexel, USA： ICMIR，2008： 462-467.

[6] ALJANAKI A, YANG Y H, SOLEYMANI M. Emotion in music task at MediaEval 2014 [R]. Barcelona, Spain： MediaEval，2014.

[7] HU X, YANG Y H. Cross-dataset and cross-cultural music mood prediction： A case on western and Chinese pop songs [J].IEEETransactionsonAffectiveComputing，2016，PP(99)： 1. Doi： 10.1109/TAFFC.2016.2523503.

[8] SAARI P, FAZEKAS G, EEROLA T,etal.Genre-adaptive semantic computing and audio-based modelling for music mood annotation [J].IEEETransactionsonAffectiveComputing，2016，7(2)： 122-135.

[9] 孔 旭，關(guān)佶紅.以聲譜圖相似度為度量的波形音樂檢索 [J].計(jì)算機(jī)工程與應(yīng)用，2009，45(13)： 136-141.

[10] 孔 旭.基于聲譜圖的音樂檢索 [D].上海： 復(fù)旦大學(xué)，2009.

[11] CHOU C H, LIAO B J. Music genre classification by analyzing the subband spectrogram [C]∥2014 International Conference on Information Science, Electronics and Electrical Engineering. Washington, DC, USA： IEEE Computer Society，2014： 1677-1680.

[12] COSTA Y M G, OLIVEIRA L S, KOERICB A L,etal.Music genre recognition using spectrograms [C]∥The 18th International Conference on Systems, Signals and Image Processing. Washington, DC, USA： IEEE Computer Society，2011： 1-4.

[13] NEAMMALAI P, PHIMOLTARES S, LURSINSAP C.Speech and music classification using hybrid form of spectrogram and Fourier transformation [C]∥2014 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Washington, DC, USA： IEEE Computer Society，2014： 1-6.

[14] TACHIBANA H, ONO N, SAGAYAMA S.Singing voice enhancement in monaural music signals based on two-stage harmonic/percussive sound separation on multiple resolution spectrograms [J].IEEE/ACMTransactionsonAudio,Speech,andLanguageProcessing，2014，22(1)： 228-237.

[15] 滬江部落網(wǎng)友.第二期 基礎(chǔ)知識(shí)(二) [EB/OL].http：∥bulo.hujiang.com/menu/109899/item/830251/.