基于雙向情感分析的實(shí)時(shí)性音樂推薦系統(tǒng)設(shè)計(jì)

毋亞男，劉德然，許小可

(大連民族大學(xué)，信息與通信工程學(xué)院，遼寧 大連 116605)

基于雙向情感分析的實(shí)時(shí)性音樂推薦系統(tǒng)設(shè)計(jì)

毋亞男，劉德然，許小可

(大連民族大學(xué)，信息與通信工程學(xué)院，遼寧 大連 116605)

目前的音樂推薦系統(tǒng)，一般采用基于個(gè)體興趣的推薦方法，這種方式雖然能滿足大部分情景下的用戶需求，但無法感知到用戶實(shí)時(shí)性的心情變化?？紤]到不同情緒狀態(tài)下用戶對(duì)于音樂的需求往往也會(huì)發(fā)生改變，提出一種基于雙向情感分析的算法并構(gòu)建了實(shí)際系統(tǒng)，實(shí)時(shí)分析用戶的情感需求來進(jìn)行音樂推薦。一方面基于音樂在頻域的梅爾倒譜系數(shù)構(gòu)建特征分類器完成歌曲的情感分類；另一方面通過獲取用戶在社交網(wǎng)絡(luò)中的實(shí)時(shí)文本信息，基于自然語言理解分析出用戶當(dāng)前的情感需求，最終為用戶產(chǎn)生音樂推薦列表，實(shí)現(xiàn)基于情境感知的實(shí)時(shí)音樂推薦。實(shí)驗(yàn)表明，使用該個(gè)性化推薦算法具有更高的準(zhǔn)確性，用戶群體可以獲得更為滿意的用戶體驗(yàn)。

情感分析；推薦系統(tǒng)；貝葉斯分類器

隨著移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，在線數(shù)字音樂已是人們上網(wǎng)消遣、日常休閑等場(chǎng)景中非常流行的娛樂方式，但海量的音樂資源往往使得用戶受信息過載的困擾，很難在眾多曲目中找到要聽的旋律。針對(duì)大規(guī)模的音樂數(shù)據(jù)，個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生[1-3]。目前常用的推薦方式有基于歌曲相似性的推薦，基于用戶相似性的推薦，人工推薦，朋友推薦等諸多方式，這些推薦方式雖然在一定程度上解決了音樂和用戶需求相匹配的問題，但沒有考慮到用戶時(shí)刻變化的心情以及身處的情景。

本文以用戶體驗(yàn)滿意度為主要指標(biāo)，一方面使用基于梅爾頻率倒譜系數(shù)對(duì)歌曲情感的傾向性[4-5]進(jìn)行分類；另一方面實(shí)時(shí)爬取用戶在社交網(wǎng)絡(luò)和社交媒體上的留言信息，通過自然語言理解[6]的方法來感知用戶心情的實(shí)時(shí)變化；然后采用貝葉斯分類器將兩部分情感分析的結(jié)果進(jìn)行整合和匹配，完成時(shí)刻契合用戶心情的音樂推薦。使用該個(gè)性化推薦算法的群體可以獲得更為滿意的用戶體驗(yàn)。

1 實(shí)時(shí)音樂推薦系統(tǒng)總體框架

實(shí)時(shí)音樂系統(tǒng)可以分為用戶音樂情感分類、用戶社交網(wǎng)絡(luò)情感分析與推薦系統(tǒng)界面三個(gè)模塊，如圖1。其中，音樂情感和用戶情感均分為四個(gè)維度，分別是喜悅、勵(lì)志、躁動(dòng)和悲傷。具體過程：首先獲得用戶的音樂曲目列表，計(jì)算所有歌曲在頻域的梅爾倒譜系數(shù)，完成曲目的情感分類。這部分的計(jì)算是離線的，非實(shí)時(shí)感知的。此外，還需要使用網(wǎng)絡(luò)爬蟲實(shí)時(shí)抓取用戶在社交網(wǎng)絡(luò)或社交媒體上的文本信息，使用自然語言處理模塊分析出用戶每時(shí)每刻的情感，要求此部分必須是在線的，實(shí)時(shí)感知的。將用戶的實(shí)時(shí)心情和對(duì)應(yīng)的曲目相匹配，推薦出滿足當(dāng)前心情的歌曲，再整合到推薦系統(tǒng)界面，最終進(jìn)行可視化展示和音樂播放[7-8]。

圖1 總體設(shè)計(jì)圖

2 音樂情感分類

首先對(duì)每首歌曲的音樂數(shù)據(jù)進(jìn)行預(yù)處理，分別使用歌曲的頻域特征和梅爾倒譜特征來設(shè)計(jì)分類器，測(cè)試和評(píng)估分類效果。在對(duì)基于不同音頻特征構(gòu)建的分類器結(jié)果進(jìn)行比較后，選取梅爾頻率倒譜系數(shù)這一準(zhǔn)確率較高的特征作為最終分類的依據(jù)，完成音樂情感分類。

2.1 實(shí)現(xiàn)過程

(1)音樂數(shù)據(jù)預(yù)處理。由于目前在音樂情感識(shí)別領(lǐng)域未有公開的音樂數(shù)據(jù)庫，故本文用于測(cè)試和訓(xùn)練的音樂數(shù)據(jù)庫為項(xiàng)目成員收集并通過多次篩選的1 600首中文歌曲，采用SoX音頻處理軟件將所有MP3類型歌曲統(tǒng)一轉(zhuǎn)化為單聲道，音軌為22 050 Hz的WAV文件。

(2)人工標(biāo)定音樂情感分類。選取20位本科在讀學(xué)生作為測(cè)評(píng)人員，利用人工判讀的方式，針對(duì)處理后的音頻文件按照勵(lì)志、喜悅、悲傷、躁動(dòng)四個(gè)情感維度對(duì)歌曲進(jìn)行分類。由于音樂情感劃分受主觀性影響較大，故采用多人對(duì)同一音樂片段進(jìn)行標(biāo)定，取人數(shù)最多的方式完成歌曲的情感分類。

(3)劃分訓(xùn)練集和測(cè)試集。將預(yù)處理后的WAV文件按照7:3分成兩個(gè)子集，前者作為訓(xùn)練集，用于構(gòu)建分類器，后者作為測(cè)試集，用來評(píng)估分類器的性能。

(4)音樂特征提取。根據(jù)分析的角度不同，可以對(duì)音樂信號(hào)進(jìn)行時(shí)域分析、頻域分析等。時(shí)域特征提取方法計(jì)算量較小，提取相對(duì)較容易，但不足之處是魯棒性差。時(shí)域特征參數(shù)包括音樂的短時(shí)能量，短時(shí)自相關(guān)函數(shù)，短時(shí)過零率等。音樂信號(hào)的功率譜可從多方面反映音樂的情感特性，故本文主要從頻域提取音樂特征，分別提取出歌曲的頻譜特征和梅爾倒譜特征。

(5)訓(xùn)練分類器。考慮到本項(xiàng)目是個(gè)多分類問題，采用邏輯回歸分類器進(jìn)行音樂分類。

(6)測(cè)試并評(píng)估分類結(jié)果。將測(cè)試集作為輸入，運(yùn)行分類器，得到最終的分類結(jié)果并進(jìn)行評(píng)價(jià)。

2.2 音頻信號(hào)特征提取過程

從頻域特征參數(shù)的分析角度，分別提取每首歌曲的頻譜特征和梅爾倒譜特征[9]。對(duì)于音頻信號(hào)等數(shù)字信號(hào)的處理過程，離散傅里葉變換是常用的變換方法。使用快速傅里葉變換可分析信號(hào)的頻譜、計(jì)數(shù)濾波器的頻率響應(yīng)，以及實(shí)現(xiàn)信號(hào)通過線性系統(tǒng)的卷積運(yùn)算等，因而在信號(hào)的頻譜分析方面有廣泛的應(yīng)用。本文采用快速傅里葉變換來計(jì)算每首歌曲的頻譜特征。

梅爾頻率倒譜系數(shù)(Mel-scale Frequency Cepstral Coefficients，簡(jiǎn)稱MFCC)是標(biāo)度頻率域提取出的倒譜參數(shù)，描述了音頻信號(hào)在頻域上的非線性特性。原始的頻譜由兩部分組成：包絡(luò)和頻譜的細(xì)節(jié)。如果從低頻到高頻按臨界帶寬的大小依次設(shè)置一組帶通濾波器，對(duì)輸入信號(hào)進(jìn)行濾波，再將每個(gè)帶通濾波器輸出的信號(hào)能量作為信號(hào)的基本特征，就可以提取出梅爾頻率倒譜系數(shù)。由于該特征不依賴于信號(hào)的性質(zhì)，因此具有良好的識(shí)別性和抗噪能力，更符合人耳的聽覺特性。MFCC參數(shù)提取基本流程如下：

(1)將連續(xù)音樂信號(hào)s(n)經(jīng)過預(yù)加重，分幀及加窗得到一幀音樂信號(hào)x(n)。

(2)將x(n)信號(hào)進(jìn)行快速傅里葉變換(FFT)得到頻域信號(hào)，即線性頻譜X(k)，

(1)

式中，x(n)為輸入語音信號(hào)，N為傅里葉變換的點(diǎn)數(shù)。

(2)

(3)

(5)經(jīng)離散余弦反變換，得到頻率域上的Mel頻率倒譜C(n)：

(4)

式中，L指MFCC系數(shù)的階數(shù)。由于前若干維及后若干維的MFCC系數(shù)對(duì)語音的區(qū)分性能較大, 所以本文采用前12維MFCC系數(shù)和前12維一階差分系數(shù)作為特征參數(shù)。

2.3 音樂情感分類結(jié)果的評(píng)估與比較

在得到每首歌曲的頻譜特征和梅爾倒譜特征以后，就可以分別使用這兩種特征來訓(xùn)練分類器，使用測(cè)試集數(shù)據(jù)評(píng)估分類結(jié)果。為更直觀比較這兩種特征分類效果的優(yōu)劣，本文通過混淆矩陣對(duì)分類結(jié)果進(jìn)行可視化?；煜仃囀怯糜诒容^分類結(jié)果準(zhǔn)確性的一種可視化工具，通過比較每個(gè)實(shí)測(cè)單元與預(yù)測(cè)分類圖像的相應(yīng)位置，對(duì)應(yīng)單元模塊的顏色濃度直觀的顯示分類結(jié)果。本文中混淆矩陣中橫軸方向代表預(yù)測(cè)分類結(jié)果，縱軸方向代表實(shí)際類別結(jié)果。對(duì)于完美的分類器，從左上角到右下角都是深色的方格，而剩下的區(qū)域都是淺色，甚至無色。因此，可以通過觀察混淆矩陣中主對(duì)角線區(qū)域內(nèi)方格顏色的深淺，直觀快速地評(píng)估分類效果。

基于頻譜特征和梅爾倒譜特征構(gòu)建分類器的分類效果比較如圖2。圖中橫軸表示歌曲預(yù)測(cè)分類，縱軸代表經(jīng)主觀評(píng)定后歌曲的真實(shí)情感分類。左圖為基于頻譜特征構(gòu)建的分類器，從它的混淆矩陣中可看出關(guān)于喜悅、躁動(dòng)的格子顏色較深，但勵(lì)志、悲傷的方格顏色較淺，而且非對(duì)角區(qū)域顏色并不都是如期望的均為白色，說明錯(cuò)誤分類的數(shù)量較多，整體分類效果一般。相對(duì)于左圖，右圖中基于梅爾頻率倒譜系數(shù)構(gòu)建的混淆矩陣中對(duì)角線區(qū)域格子的顏色更深，其中關(guān)于躁動(dòng)這一類別的分類優(yōu)勢(shì)更為明顯，非對(duì)角區(qū)域顏色較左圖更淺，表明誤分類情況出現(xiàn)較少，整體分類效果較左圖獲得了明顯提升。綜上所述，基于梅爾倒譜特征構(gòu)建的分類器在音樂情感分類中取得了更好的分類效果，本系統(tǒng)采取該方法對(duì)每首歌曲進(jìn)行情感分類。

圖2 基于頻譜特征和梅爾倒譜特征構(gòu)建 分類器的分類效果比較

3 用戶實(shí)時(shí)心情檢測(cè)

在對(duì)歌曲進(jìn)行分類后，下一步就是要實(shí)時(shí)檢測(cè)出用戶的心情變化。本文首先對(duì)實(shí)現(xiàn)過程進(jìn)行闡述，然后使用樸素貝葉斯分類器[10]對(duì)文本情感分類結(jié)果進(jìn)行評(píng)估。

3.1 情感分析實(shí)現(xiàn)過程

(1)用戶情感文本數(shù)據(jù)的收集和預(yù)處理。本文利用新浪微博公開的API,采集熱門話題下的微博數(shù)據(jù)共計(jì)7 500條，篩選出具有情感色彩的2 500條微博。

(2)人工標(biāo)定文本情感分類。選取25名本科在讀學(xué)生作為測(cè)評(píng)人員，與上述音樂分類情況相同，通過人工判讀的方式，對(duì)所收集的微博文本按照勵(lì)志、喜悅、悲傷、躁動(dòng)四個(gè)情感維度的特征屬性對(duì)文本進(jìn)行分類。

(3)構(gòu)建訓(xùn)練和測(cè)試語料庫。首先，從2 500條微博文本信息中去除表情符號(hào)，保留中文部分并利用中文分詞工具(“結(jié)巴”分詞)進(jìn)行分詞處理，構(gòu)成文本情感集。在基本情感字典基礎(chǔ)上加入“杯具”、“給力”等帶有感情色彩的網(wǎng)絡(luò)詞匯構(gòu)建適用于微博的情感詞典。其次，利用已構(gòu)建的情感字典，對(duì)分詞所得的稀疏矩陣進(jìn)行降維，去掉停用詞，提取能顯著表征文本情感類別的詞匯，進(jìn)行情感特征選擇。最后，進(jìn)行情感特征權(quán)值的計(jì)算。情感文本集經(jīng)過處理后得到的向量矩陣，按照7:3劃分為訓(xùn)練語料庫和測(cè)試語料庫，利用訓(xùn)練語料庫進(jìn)行分類器訓(xùn)練。

3.2 文本情感分類結(jié)果的評(píng)估

通過對(duì)文本分析分類性能進(jìn)行評(píng)估，常用的評(píng)價(jià)方法包括準(zhǔn)確率、召回率、F1值等。本文采用前兩種方法進(jìn)行評(píng)估。精確率(Precision)是指在所有被判斷為正確的文檔中，正確數(shù)量所占比例。而召回率(RecallRate)是指在所有事實(shí)上正確的文檔中，有多大比例被判為正確。將測(cè)試語料進(jìn)行分類測(cè)試，實(shí)驗(yàn)結(jié)果見表1。從分類結(jié)果可看出，貝葉斯分類器在文本情感分析中取得了較好的分類效果。最后，將歌曲情感分類和文本情感分類進(jìn)行匹配，完成音樂的實(shí)時(shí)性推薦。

表1 基于樸素貝葉斯構(gòu)建的分類器分類結(jié)果

4 結(jié) 語

本文提出了一種雙向的情感分析算法并構(gòu)建了實(shí)際系統(tǒng)，重點(diǎn)在于對(duì)音樂情感屬性劃分以及感知用戶的社交網(wǎng)絡(luò)情境。實(shí)驗(yàn)結(jié)果表明，使用該個(gè)性化推薦算法的用戶群體可以獲得更為滿意的用戶體驗(yàn)，推薦效果較好。今后將融合曲目的歌詞信息用于提高歌曲情感分析的準(zhǔn)確性，采用Adaboost等集成分類器來提高實(shí)時(shí)情感分析的分類準(zhǔn)確性，從整體上進(jìn)一步提升推薦質(zhì)量。

[1] 陳雅茜. 音樂推薦系統(tǒng)及相關(guān)技術(shù)研究[J]. 計(jì)算機(jī)工程與應(yīng)用,2012(18):9-16.

[2] 李瑞敏,閆俊,林鴻飛. 基于音樂基因組的個(gè)性化移動(dòng)音樂推薦系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用與軟件,2012(9):27-30.

[3] 譚學(xué)清,何珊. 音樂個(gè)性化推薦系統(tǒng)研究綜述[J]. 現(xiàn)代圖書情報(bào)技術(shù),2014(9):22-32.

[4] 李瑞敏,林鴻飛,閆俊. 基于用戶-標(biāo)簽-項(xiàng)目語義挖掘的個(gè)性化音樂推薦[J]. 計(jì)算機(jī)研究與發(fā)展,2014(10):2270-2276.

[5] 牛濱,孔令志,羅森林,等. 基于MFCC和GMM的個(gè)性音樂推薦模型[J]. 北京理工大學(xué)學(xué)報(bào),2009(4):351-355.

[6] 孫艷,周學(xué)廣,付偉. 基于主題情感混合模型的無監(jiān)督文本情感分析[J]. 北京大學(xué)學(xué)報(bào)(自然科學(xué)版),2013(1):102-108.

[7] 伯德, 克萊恩, 洛佩爾.Python自然語言處理[M]. 北京:人民郵電出版社, 2014：266-271.

[8] 查美麗. 基于情感的音樂分類系統(tǒng)的研究與實(shí)現(xiàn)[D].南京：南京郵電大學(xué),2014.

[9] 里徹特, 柯埃略.機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)[M]. 劉峰, 譯. 北京:人民郵電出版社, 2014:139-153.

[10] 楊鼎,陽愛民. 一種基于情感詞典和樸素貝葉斯的中文文本情感分類方法[J]. 計(jì)算機(jī)應(yīng)用研究,2010(10):3737-3739.

(責(zé)任編輯 王楠楠)

Designing of Real-time Music Recommendation System Based on Two-Way Emotion Analysis

WU Ya-nan, LIU De-ran, XU Xiao-ke

(School of Information and Communication Engineering, Dalian Minzu University,Dalian Liaoning 116605, China)

The current music recommendation system generally adopts the recommendation method on the basis of individual interest. Such method can meet users’ needs under most situations, but it fails to perceive the real-time mood changes of users. In view of the users’ demands for music under different emotional state always changing, the paper puts forward a two-way emotion analysis algorithm and constructs a real system to recommend music through real-time analysis of users’ emotion needs. On the one hand, based on MEL cepstrum coefficient of the music in the frequency domain, a feature classifier is built to complete the music emotion classification. On the other hand, by capturing the users’ real-time text social information in social networks, the emotional needs of the users are analyzed all the time based on natural language understanding. Finally, a music recommendation list is produced to the user for a specific situation, achieving the real-time music recommendation based on situational awareness. The experiment results show that the user groups who adopt such personalized recommendation algorithm can obtain more satisfying user experience.

sentiment analysis; recommendation system; naive Bayes classification

2016-09-14；最后

2016-12-13

國家自然科學(xué)基金項(xiàng)目(61374170)；中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目 (DC201502060201)。

毋亞男(1990-)，女，遼寧大連人，大連民族大學(xué)信息與通信工程學(xué)院碩士研究生，主要從事數(shù)據(jù)挖掘和社交網(wǎng)絡(luò)分析研究。

2096-1383(2017)01-0076-04

TP

A