基于LSTM-Att方法的音樂流行趨勢預(yù)測

王振業(yè)，葉成緒*，王文韜，楊 萍

(1.青海師范大學(xué) 計算機(jī)學(xué)院，青海 西寧 810008；2.青海師范大學(xué) 地理科學(xué)學(xué)院，青海 西寧 810008)

0 引 言

流行音樂作為當(dāng)下人們文娛消費(fèi)的產(chǎn)品之一，越來越受到人們的關(guān)注。根據(jù)速圖研究院研究報告指出，2013年到2018年中國的移動音樂市場呈現(xiàn)井噴的模式。在當(dāng)今大數(shù)據(jù)的背景下，眾多的流行音樂聽眾在很大程度上能夠決定流行音樂的發(fā)展趨勢，這主要體現(xiàn)在眾多聽眾在各大音樂平臺上的諸如試聽、收藏、下載等行為對流行音樂的影響，這些影響反映出了聽眾對相應(yīng)音樂的喜好和偏愛。針對流行音樂趨勢的預(yù)測，可以在海量用戶數(shù)據(jù)的基礎(chǔ)上，對聽眾的喜好和偏愛進(jìn)行深層次的挖掘和分析來獲得。收集整合各大平臺的海量曲庫資源以及用戶行為，從而形成流行音樂大數(shù)據(jù)集，對該數(shù)據(jù)集進(jìn)行特定屬性的精準(zhǔn)分析，最終可以實現(xiàn)對流行音樂趨勢走向的精準(zhǔn)把控，也實現(xiàn)了用戶喜好偏愛的聚合決定流行音樂的趨勢走向。

針對流行音樂趨勢走向的預(yù)測，國內(nèi)外現(xiàn)在還鮮有研究，2016年阿里舉辦了音樂流行趨勢預(yù)測大賽開啟了該研究領(lǐng)域的大門。阿里音樂經(jīng)過將近7年的發(fā)展和沉淀，如今已經(jīng)擁有了將近百萬首的曲庫資源和數(shù)以億次的用戶試聽、收藏、下載等行為。通過對歷史用戶行為數(shù)據(jù)的分析，預(yù)測下一階段某些藝人或歌曲的播放量，從海量的數(shù)據(jù)中挖掘出未來的黑馬歌手，從根本上精準(zhǔn)把控流行音樂的發(fā)展趨勢，是眾多音樂平臺的關(guān)注焦點。文中在阿里提供的用戶音樂數(shù)據(jù)2015年3月到2015年8月的歷史播放數(shù)據(jù)上，組合長短時記憶網(wǎng)絡(luò)(long short-term memory，LSTM)和注意力機(jī)制(attention mechanism)方法，構(gòu)建LSTM-Attention預(yù)測模型，實現(xiàn)對2015年9月到2015年10月藝人播放量較為精準(zhǔn)的預(yù)測。

1 相關(guān)研究

1.1 傳統(tǒng)預(yù)測方法

對時間序列數(shù)據(jù)進(jìn)行預(yù)測時，傳統(tǒng)的方法包括：支持向量機(jī)(support vector machine，SVM)、BP(back propagation)神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)等[1]。支持向量機(jī)最早是在20世紀(jì)90年代中期，由Cortes和Vapnik所提出的。當(dāng)樣本規(guī)模較小、維度較高且樣本間呈非線性狀態(tài)時，SVM能夠充分發(fā)揮其自身優(yōu)勢來解決這些問題。

以VC(Vapnik-Chervonenkis dimension，VC)維理論與結(jié)構(gòu)風(fēng)險最小原理為基礎(chǔ)，SVM模型被建立起來[2]。通過有限的數(shù)據(jù)信息，SVM模型以期在模型的復(fù)雜程度和學(xué)習(xí)技巧、方法之間找到最佳平衡點，從而獲得極佳的泛化能力。

SVM的核心思想就是基于訓(xùn)練集在樣本空間中找到一個超平面將不同類別的樣本分開。基于樣本空間E，SVM在尋找超平面時采用如下的方式來表述：

VTX+a=0

(1)

其中，V=(V1,V2,…,Ve) 為法向量，決定了超平面的方向；a代表位移發(fā)生的程度，SVM所尋求的超平面與(0,0)之間的距離由a所確定。經(jīng)過推導(dǎo)后的SVM基本模型如下：

(2)

s.t.yi(VTX+a)≥1,i=1,2,…,m

SVM本身可以通過決策邊界的邊緣來控制模型的能力[3]，同時，它在小樣本訓(xùn)練集上能夠得到比其他算法好很多的結(jié)果。相較于其他模型，在對目標(biāo)進(jìn)行優(yōu)化時，SVM在確保分類準(zhǔn)確率的基礎(chǔ)上，對模型的VC維進(jìn)行降維，從而使得模型在整個樣本數(shù)據(jù)上的期望誤差得到了很好的控制，這種方法使得SVM對新鮮樣本具有很強(qiáng)的適應(yīng)能力。然而不可忽視的是SVM本身所存在的缺陷：(1)SVM算法無法對大規(guī)模的樣本進(jìn)行訓(xùn)練；(2)SVM算法對于解決多分類問題存在困難；(3)SVM算法對缺失的數(shù)據(jù)敏感，對參數(shù)和核函數(shù)的選擇也很敏感。近年來有學(xué)者指出，在進(jìn)行大規(guī)模時間序列預(yù)測問題上，SVM存在較為嚴(yán)重的過擬合現(xiàn)象。

循環(huán)神經(jīng)網(wǎng)絡(luò)是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。相對于深度神經(jīng)網(wǎng)絡(luò)(deep neural network，DNN)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)，RNN的不同之處在于：它不僅考慮前一時刻的輸入，并且賦予了網(wǎng)絡(luò)對前面信息的一種“記憶”功能[4]。具體的表現(xiàn)形式為網(wǎng)絡(luò)會對前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計算中，即隱含層之間的節(jié)點不再是無連接的而是有連接，并且包括上一時刻隱含層的輸出。

RNN結(jié)構(gòu)與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，其存在記憶效應(yīng)，正是這種記憶使得RNN網(wǎng)絡(luò)可以對上下文進(jìn)行分析，具體到時間序列數(shù)據(jù)中，它可以做到對前后文數(shù)據(jù)的連接。然而，在實踐中RNN也存在不可避免的缺陷：無法實現(xiàn)對較長序列數(shù)據(jù)的記憶[5]。一個主要的原因是，RNN在訓(xùn)練中很容易發(fā)生梯度爆炸和梯度消失。文獻(xiàn)[3]指出，利用RNN在進(jìn)行時間序列數(shù)據(jù)的預(yù)測時，極易發(fā)生梯度消失現(xiàn)象，這導(dǎo)致訓(xùn)練時梯度不能在較長的序列匯中一直傳遞下去，從而使得RNN無法捕捉到長距離的影響。

1.2 文中使用的模型

(1)長短時記憶網(wǎng)絡(luò)模型。

利用長短時記憶網(wǎng)絡(luò)來進(jìn)行音樂時序數(shù)據(jù)的相關(guān)預(yù)測。長短時記憶(long short-term memory，LSTM)神經(jīng)網(wǎng)絡(luò)模型是RNN的一種特殊變形，由瑞士人工智能實驗室Hochreiter & Schmidhuber(1997)提出，并在近期由Alex Grave進(jìn)行了改良和推廣[6]。此處主要介紹2000年Gers改進(jìn)后的LSTM算法。在傳統(tǒng)的RNN中，使用反向傳播算法(back propagation through time，BPTT)訓(xùn)練RNN，存在以下問題：(1)網(wǎng)絡(luò)中輸出步長的梯度計算不僅取決于當(dāng)前步長，還依賴于前一或許多步長的計算；(2)由于存在長期的依賴，會造成梯度消失或梯度爆炸問題[7]。LSTM模型就是在此基礎(chǔ)上被提出的。

LSTM跟RNN最大的不同之處在于，為了判斷網(wǎng)絡(luò)信息流中相應(yīng)的信息是否有用[8]，LSTM網(wǎng)絡(luò)中加入了“處理器”，該處理器的作用就是甄別當(dāng)前輸入和上一時刻的輸出是否對接下來的信息修整有用，這個“處理器”通常被稱為“細(xì)胞”[9]。在LSTM中，每個“細(xì)胞”中又被放入了三個“門”，分別是：輸入門、遺忘門和輸出門。正是通過這三個門，LSTM可以處理相應(yīng)的信息。

(2)注意力機(jī)制。

2014年，在人類視覺注意力機(jī)制的基礎(chǔ)上，Bahdanau等人首次將注意力模型應(yīng)用到了自然語言處理領(lǐng)域。同時，注意力模型被應(yīng)用到基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯中并取得了當(dāng)時最好的效果。隨著深度學(xué)習(xí)的發(fā)展，注意力機(jī)制因其優(yōu)異的表現(xiàn)而得到廣泛應(yīng)用，以時序序列為代表的領(lǐng)域也開始引入注意力機(jī)制進(jìn)行相關(guān)的研究[10]。以文中對阿里音樂平臺音樂流行預(yù)測研究為例，由LSTM層得到相應(yīng)的輸出后，可以對這些輸出信息進(jìn)行計算，進(jìn)一步得到相關(guān)信息的注意力概率分布，這為掌握時序序列中每一時刻LSTM細(xì)胞單元的輸出狀態(tài)對預(yù)測未來歌手歌曲流行趨勢提供了重要依據(jù)。

(3)LSTM-Attention模型。

LSTM-Attention模型就是在LSTM結(jié)構(gòu)后加上注意力層。雖然LSTM與Attention的組合模型早被用于關(guān)系分類中并取得了較好的效果[11]，但是該組合模型在時序序列數(shù)據(jù)尤其是公共數(shù)據(jù)中的預(yù)測研究上還處于不斷探討改進(jìn)的地步。文中利用LSTM與Attention相結(jié)合的機(jī)制，對阿里云音樂平臺上的相應(yīng)歌手及歌曲進(jìn)行預(yù)測研究，利用過往歷史數(shù)據(jù)選取組合“日播放量”、“連續(xù)3天播放均值”2個維度來預(yù)測未來60天的歌手歌曲播放量。所采用的整體模型結(jié)構(gòu)如圖1所示。

圖1 所采用的LSTM-Attention模型結(jié)構(gòu)

2 相關(guān)實驗及分析

2.1 樣本數(shù)據(jù)描述

2.1.1 樣本數(shù)據(jù)來源

文中所用到的數(shù)據(jù)集來自于阿里云音樂平臺[12]。阿里云音樂是阿里巴巴旗下的一個大型音樂平臺，該平臺經(jīng)過多年的發(fā)展積累了大量的用戶以及曲庫資源，不論是歌手?jǐn)?shù)量還是歌曲種類，該平臺都在同類平臺中名列前茅。更重要的是，在平臺下，存在豐富的用戶行為：上傳歌曲、下載專輯等。無論是豐富的資源還是用戶的活躍程度都對把握音樂流行趨勢起到了極其重要的指引作用[13]。

針對該音樂平臺下的數(shù)據(jù)信息，平臺給出的樣例數(shù)據(jù)是兩張表，一張是用戶行為表(時間跨度為2015.03.01～2015.08.31)p2_mars_tianchi_users_action，該表的作用是對阿里音樂平臺下用戶的行為進(jìn)行表征；另一張是歌曲信息表p2_mars_tianchi_songs，該表所表述信息包含：歌手以及相應(yīng)歌曲的相關(guān)信息，如所屬專輯、初始熱度等。

文中所用到的數(shù)據(jù)集p2_mars_tianchi_user_actions.csv和p2_mars_tianchi_songs.csv中涵蓋了(2015.03.01～2015.08.30)共計6個月的用戶行為信息和歌曲信息，經(jīng)過對數(shù)據(jù)集的統(tǒng)計，其中所包含歌曲的初始播放總熱度(即歷史播放人次)為26 107萬。用戶的播放行為記錄為478萬。

2.1.2 數(shù)據(jù)預(yù)分析及預(yù)處理

數(shù)據(jù)分析包括數(shù)據(jù)質(zhì)量分析和數(shù)據(jù)特征分析等。數(shù)據(jù)質(zhì)量分析是數(shù)據(jù)準(zhǔn)備過程中重要的環(huán)節(jié)，是數(shù)據(jù)預(yù)處理的前提。數(shù)據(jù)質(zhì)量分析主要是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，包括缺失值、異常值(用戶表出現(xiàn)新歌曲或用戶表行為不在20150301～2010831等)、重復(fù)數(shù)據(jù)以及含有特殊符號的數(shù)據(jù)。由于數(shù)據(jù)集中存在著大量對進(jìn)行預(yù)測無意義的數(shù)據(jù)(比如gmt_create即用戶播放時間)，因此要考慮刪除。對原始數(shù)據(jù)集p2_tianchi_user_actions.csv進(jìn)行處理，可得到兩個文件：一個是song_p_d_c.txt，該文件包含songs_id、每天的播放量、每天的下載量以及每天的收藏量；另一個是song_fan.txt，包含songs_id以及每天不同用戶的數(shù)目。同理，利用ifNoArtistTXT()對artist的songs進(jìn)行整理。

(1)相關(guān)屬性選取。

為了提高預(yù)測模型的準(zhǔn)確率、效率及降低算法的復(fù)雜度，在進(jìn)行實驗之前需對數(shù)據(jù)集中的若干個屬性進(jìn)行選擇，挑選組合能夠決定或者影響到未來歌手歌曲播放量的因素。傳統(tǒng)情況下通常采用維度變化、特征轉(zhuǎn)換等處理來達(dá)到目的[14]。文中要對阿里云音樂平臺未來60天歌手歌曲播放量進(jìn)行預(yù)測，通過相關(guān)先驗知識可知，所用到的數(shù)據(jù)集之間很多屬性間不存在相關(guān)性，例如用戶播放時長等。因此，為了降低模型的復(fù)雜度，考慮刪除不相關(guān)屬性。文中利用最大信息系數(shù)方法來尋找各個屬性間的相關(guān)性。

最大信息系數(shù)(也稱互信息方法)是一種具備廣泛性和公平性的標(biāo)準(zhǔn)，該方法的主要作用是權(quán)衡眾多數(shù)據(jù)中相關(guān)兩個變量X、Y之間存在的依賴關(guān)系。假設(shè)給定兩個離散型變量X和Y，定義兩者之間的互信息系數(shù)R(X,Y)計算方法如下：

(3)

其中，p(x)、p(y)分別為變量X、Y的邊緣概率分布，p(x,y)為兩者的聯(lián)合概率分布。

文中利用以上方法，在刪除不相關(guān)屬性后的數(shù)據(jù)集中計算以下四個屬性：播放量、播放均值、播放量方差和播放時長，最終選取“日播放量”和“連續(xù)3天播放均值”作為未來歌手歌曲播放量預(yù)測的組合指標(biāo)。

(2)數(shù)據(jù)預(yù)處理。

在獲取的數(shù)據(jù)集中存在諸如數(shù)據(jù)缺失、臟數(shù)據(jù)以及異常數(shù)據(jù)等不符合要求的數(shù)據(jù)，因此在模型構(gòu)建之前需要對這些異常數(shù)據(jù)進(jìn)行處理，其處理的步驟如下：

Step1：數(shù)據(jù)缺失值處理。

在獲取的470多萬條數(shù)據(jù)中存在數(shù)據(jù)缺失現(xiàn)象，文中采用均值填補(bǔ)法進(jìn)行數(shù)據(jù)缺失值的填充，具體方法如下：

(4)

其中，Xt代表當(dāng)前時刻缺失的信息，Xt-1代表前一時刻的信息，Xt+1代表后一時刻的信息。

Step2：數(shù)據(jù)平滑。

數(shù)據(jù)平滑的目的是將數(shù)據(jù)集相關(guān)屬性中存在的偏度較大的數(shù)據(jù)進(jìn)行轉(zhuǎn)化，使其更加服從高斯分布，為取得較好的后續(xù)分類結(jié)果奠定基礎(chǔ)。文中利用最小二乘法對數(shù)據(jù)進(jìn)行平滑；

Step3：數(shù)據(jù)歸一化。

在利用深度學(xué)習(xí)方法尤其是神經(jīng)網(wǎng)絡(luò)進(jìn)行模型構(gòu)建時，數(shù)據(jù)集中數(shù)值越大的數(shù)據(jù)對模型的影響比重越高，這就導(dǎo)致無形中可能丟失那些數(shù)值較小的數(shù)值屬性。因此要對數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行歸一化處理，文中利用最小最大標(biāo)準(zhǔn)化(Min-Max標(biāo)準(zhǔn)化)方法將數(shù)據(jù)歸一化到[0,1]：

(5)

其中，X'表示歸一化完成后的數(shù)據(jù)，X表示原始數(shù)據(jù)，Xmax和Xmin分別表示原始數(shù)據(jù)中的最大值和最小值。

經(jīng)過上述數(shù)據(jù)預(yù)處理后，數(shù)據(jù)集大致的格式如表1所示。

表1 經(jīng)預(yù)處理后的數(shù)據(jù)內(nèi)容

2.1.3 數(shù)據(jù)預(yù)分析及預(yù)處理

文中的最終目標(biāo)是預(yù)測相應(yīng)歌手歌曲的播放量，因此在進(jìn)行數(shù)據(jù)集的處理時應(yīng)定位到歌手歌曲播放量這一屬性。針對數(shù)據(jù)集給出的2015.03.01～2015.08.30這六個月數(shù)據(jù)，統(tǒng)計并制作歌手歌曲播放量的變化趨勢圖，選取組合日播放量、連續(xù)3天播放均值，作為某一時間點的樣本值，“滑動”構(gòu)建神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。其模型參數(shù)設(shè)置如下：

(1)輸入節(jié)點數(shù)=2；

(2)輸出節(jié)點數(shù)=1；

(3)傳播步長=64；

(4)隱含層節(jié)點個數(shù)=128；

(5)激活函數(shù)=ReLU；

(6)正則優(yōu)化(Dropout丟棄比例)=0.3；

(7)學(xué)習(xí)率=0.001。

2.2 實驗結(jié)果

圖2所示為任意一名歌手過去六個月內(nèi)歌曲的平均播放、下載和收藏量。從中可以看出，某位歌手的歌曲播放量、收藏量及下載量三者中，最適合用來預(yù)測未來某段時間內(nèi)某位歌手是否能流行起來的是播放量。

圖2 歌手歌曲的平均播放、下載和收藏量

針對所有歌手的歌曲播放數(shù)據(jù)，進(jìn)行去均值、方差歸一以及縮放到[-1,1]，同時設(shè)置均值濾波的長度為aveFilter=4。利用原始的播放量進(jìn)行預(yù)測，能夠得到如圖3所示的預(yù)測曲線。從圖3可以看出，對原始數(shù)據(jù)進(jìn)行預(yù)測所得的結(jié)果中，在某些歌手的預(yù)測上存在偏差。

圖3 歌手歌曲預(yù)測播放量和真實播放量比對

圖4為利用歌手平均歌曲播放量預(yù)測未來60天歌手歌曲播放量的實驗結(jié)果(為縮放后的結(jié)果)。由圖4可以看出，使用平均歌曲播放量進(jìn)行預(yù)測的結(jié)果要比使用原始歌曲播放量進(jìn)行預(yù)測的效果好，預(yù)測結(jié)果基本和未來60天歌手的真實歌曲播放量吻合。

圖4 利用平均播放數(shù)據(jù)進(jìn)行預(yù)測后歌手歌曲預(yù)測播放量和真實播放量比對

對比其他預(yù)測方法時，利用了RMSE、MAE，其具體的計算方法如下：

(6)

(7)

文中實驗在數(shù)據(jù)集中任意選取10名藝人，分別利用SVM、LSTM以及文中用到的LSTM-Attention算法預(yù)測2015年8月1日到2015年8月31日藝人歌曲播放量，預(yù)測結(jié)果—均方根誤差、平均絕對誤差如圖5和圖6所示。

圖5 三種模型在RMSE指標(biāo)上的比對

圖6 三種模型在MAE指標(biāo)上的比對

由圖5和圖6可以看出，在對10名藝人的歌曲播放量預(yù)測中，文中提出的預(yù)測模型在預(yù)測效果(RMSE、MAE指標(biāo))上，相比于傳統(tǒng)方法中的LSTM以及SVM，分別由原來的0.073、0.046降低到0.046、0.033，誤差率分別降低了36.8%和28.3%。證明文中所提出的模型更適合對音樂流行趨勢進(jìn)行預(yù)測。圖7顯示的是不同的模型參數(shù)的RMSE、MAE兩個指標(biāo)的影響程度，不難發(fā)現(xiàn)，在一定范圍內(nèi)隨著模型層數(shù)的增加，兩個指標(biāo)都在下降，但是超過一定的范圍后，又呈上升趨勢。文中模型所采用的層數(shù)為5層。

圖7 不同預(yù)測模型層數(shù)對RMSE和MAE的影響

表2為模型中隱層單元個數(shù)以及學(xué)習(xí)率兩個參數(shù)對結(jié)果的影響，主要體現(xiàn)在訓(xùn)練集以及測試集的均方根誤差和平均絕對誤差兩個指標(biāo)中?？梢钥闯?，隱層單元個數(shù)為64，學(xué)習(xí)率為0.001時，所得實驗結(jié)果優(yōu)于其他參數(shù)組合。

表2 不同參數(shù)對模型結(jié)果的影響

3 結(jié)束語

提出了一種基于LSTM-Attention的音樂流行趨勢預(yù)測模型，即根據(jù)過往歌手歌曲的均值播放量來預(yù)測未來一段時間內(nèi)某位歌手的歌曲能否流行起來。利用阿里云音樂上的音樂數(shù)據(jù)評估了該模型，預(yù)測結(jié)果超過了利用傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行的預(yù)測，證實了LSTM-Attention模型更適合于處理時間序列數(shù)據(jù)。

未來，在該研究的基礎(chǔ)上還可以進(jìn)行以下工作：文中采用的是基于LSTM-Attention模型的預(yù)測方法，接下來可以嘗試采用CNN-LSTM-ResNet的方法進(jìn)行相關(guān)數(shù)據(jù)的預(yù)測，因此后續(xù)工作中也可以嘗試單模型組合，以期提升預(yù)測效果；文中在進(jìn)行相應(yīng)特征選擇時，影響藝人歌曲播放量的因素考慮略有不足，使得預(yù)測結(jié)果略差，因此后期可進(jìn)一步挖掘出對藝人歌曲播放量有影響的其他特征。