一種基于深度學(xué)習(xí)的電影票房預(yù)測(cè)模型

茹玉年，李波，柴劍平，劉劍波

(中國(guó)傳媒大學(xué) 信息與通信工程學(xué)院，北京 100024)

1 前言

電影產(chǎn)業(yè)是一項(xiàng)高投資高風(fēng)險(xiǎn)的行業(yè)，電影票房的預(yù)測(cè)對(duì)電影項(xiàng)目的制作、發(fā)行、放映以及相關(guān)產(chǎn)品的開發(fā)等商業(yè)智能決策過程提供了重要的支撐。制片、發(fā)行放映公司和影院等各個(gè)電影工業(yè)流程環(huán)節(jié)都希望可以使用一個(gè)預(yù)測(cè)精度高、適用性強(qiáng)的映前預(yù)測(cè)模型來降低其投資管理的風(fēng)險(xiǎn)。

票房預(yù)測(cè)研究是電影產(chǎn)業(yè)決策過程中的一項(xiàng)具有挑戰(zhàn)性但又十分重要的任務(wù)，從上世紀(jì)四十年代開始就有了票房預(yù)測(cè)相關(guān)研究。早期最著名的研究者是來自觀眾調(diào)查所的喬治·蓋洛普和來自電影研究局的里奧·漢德爾[1]，他們首次將電影的影響因素如演員、營(yíng)銷、故事和評(píng)價(jià)進(jìn)行了系統(tǒng)的梳理從而來預(yù)測(cè)票房收入。該階段的研究主要是基于民意測(cè)驗(yàn)等經(jīng)驗(yàn)性研究法[2]。

第二階段的票房研究以巴瑞·李特曼票房預(yù)測(cè)模型的發(fā)表為標(biāo)志性起點(diǎn)。李特曼[3]使用14個(gè)自變量來預(yù)測(cè)電影租金收入，其主要貢獻(xiàn)在于首次使用了線性回歸算法構(gòu)建了一個(gè)具有廣泛影響力的票房預(yù)測(cè)模型。相比于第一個(gè)階段，該階段的研究更多是基于量化后的影響因素進(jìn)行票房預(yù)測(cè)模型構(gòu)建的。之后的研究者多是基于這一思路進(jìn)行票房預(yù)測(cè)，同時(shí)也對(duì)李特曼的模型進(jìn)行了諸多改進(jìn)，其中主要的改進(jìn)方向有兩種：一是對(duì)新的影響因素的引入和度量方法的改進(jìn)，其趨勢(shì)是越來越多符合新的市場(chǎng)環(huán)境的變量和度量方法被引入；二是對(duì)使用的回歸或者分類算法的改進(jìn)，其趨勢(shì)是逐漸由線性算法到非線性算法。其中有代表性的研究有：Ghiassi Manoochehr等人提出了一種基于動(dòng)態(tài)人工神經(jīng)網(wǎng)絡(luò)的電影前期收入預(yù)測(cè)模型[4]。Minhoe Hur等學(xué)者提出一種基于電影評(píng)論和獨(dú)立子空間方法的票房預(yù)測(cè)模型，利用觀眾評(píng)論文本同時(shí)使用非線性機(jī)器學(xué)習(xí)算法來提高預(yù)測(cè)精度[5]。相對(duì)于其他預(yù)測(cè)模型，該模型的預(yù)測(cè)變量添加了投資成本、發(fā)布前廣告支出、上映時(shí)間和檔期等信息，并且經(jīng)驗(yàn)該模型能有很好的預(yù)測(cè)效果。張?chǎng)蔚葘W(xué)者基于剪枝的隨機(jī)森林算法構(gòu)建了上映首周票房模型。模型將預(yù)測(cè)之一回歸問題通過區(qū)間劃分轉(zhuǎn)化成了分類問題，并且在影響因素上加入了同檔期競(jìng)爭(zhēng)，取得了不錯(cuò)的效果[6]。韓忠明等學(xué)者針對(duì)早期預(yù)測(cè)精度低、電影預(yù)測(cè)困難的問題，提出一種基于梯度增強(qiáng)回歸樹的電影票房模型。其中影響因素選擇了演員、導(dǎo)演、發(fā)行日期、發(fā)行公司等因素，在對(duì)這些特征進(jìn)行特征化處理時(shí)使用了社會(huì)網(wǎng)絡(luò)節(jié)點(diǎn)影響力度量法、平均票房權(quán)重區(qū)間化等處理方式[7]。

隨著互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù)的長(zhǎng)足發(fā)展，使得對(duì)電影相關(guān)數(shù)據(jù)的收集、建模成為可能。影片的相關(guān)數(shù)據(jù)更加容易獲得和存儲(chǔ)，為票房預(yù)測(cè)提供了扎實(shí)的數(shù)據(jù)基礎(chǔ)。在電影未上映前，通過其制作數(shù)據(jù)、營(yíng)銷數(shù)據(jù)等數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法能夠?qū)τ捌钠狈窟M(jìn)行預(yù)測(cè)。然而票房預(yù)測(cè)仍然是一個(gè)挑戰(zhàn)，主要是因?yàn)橐韵聨c(diǎn)：

(1)票房影響因素眾多：電影票房有著眾多的影響因素，從影片自身質(zhì)量可以有：主創(chuàng)陣容、投資等因素，從影片的宣傳角度有：預(yù)告片播放量，網(wǎng)絡(luò)口碑、網(wǎng)絡(luò)熱議度等數(shù)據(jù)、微博指數(shù)等數(shù)據(jù)。從發(fā)行放映角度有：檔期，同期電影競(jìng)爭(zhēng)等因素。并且還有許多難以量化的因素都會(huì)影響電影的票房例如季節(jié)、天氣、盜版、路演效果等難以衡量的因素。

(2)離散多類別數(shù)據(jù)為票房預(yù)測(cè)模型的構(gòu)建增加了難度：離散多類別數(shù)據(jù)如發(fā)行公司、電影類型等數(shù)據(jù)。這些數(shù)據(jù)僅僅只提供了不同的名字只能定性去分析，若將其進(jìn)行one-hot編碼，又會(huì)帶來維度過大等問題，所模型如何有效的利用這些數(shù)據(jù)也是一個(gè)亟待解決的問題。

所以本章重點(diǎn)研究了一是如何處理影響票房的影響因素以及使用IP特征等一些新的以往的研究沒有涉及的因素，去構(gòu)建一個(gè)準(zhǔn)確率高、適應(yīng)性好的映前票房預(yù)測(cè)模型。二是如何設(shè)計(jì)和改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)來適用于離散多類別數(shù)據(jù)建模。

2 映前電影票房預(yù)測(cè)模型

本文針對(duì)離散類別數(shù)據(jù)設(shè)計(jì)了一種新的網(wǎng)絡(luò)架構(gòu)，來探索如何設(shè)計(jì)合適的深度網(wǎng)絡(luò)處理這類數(shù)據(jù)，完成自動(dòng)的特征組合，提高模型的預(yù)測(cè)能力。如圖1所示本文設(shè)計(jì)的框架包括原始特征層、嵌入層、深度網(wǎng)絡(luò)層、以及輸出層。其中原始特征包括離散類別數(shù)據(jù)和連續(xù)數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)不能對(duì)離散數(shù)據(jù)進(jìn)行直接計(jì)算，所以本文在原始特征層上面添加了嵌入層將離散數(shù)據(jù)進(jìn)行one-hot編碼和嵌入計(jì)算后和連續(xù)數(shù)據(jù)合并一起輸入到深度網(wǎng)絡(luò)層中。深度網(wǎng)絡(luò)層在借鑒Wide&Deep網(wǎng)絡(luò)和Cross&Deep網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)成了兩部分：特征交叉組合網(wǎng)絡(luò)和稠密跳接網(wǎng)絡(luò)。最終輸出層將兩部分網(wǎng)絡(luò)的特征合并后計(jì)算得到最終的預(yù)測(cè)輸出。其中嵌入層和深度網(wǎng)絡(luò)層是本文的重點(diǎn)，下文將詳細(xì)介紹這些模塊。

2.1 嵌入層

嵌入技術(shù)是一種特征學(xué)習(xí)技術(shù)，廣泛應(yīng)用于深度學(xué)習(xí)中，特別是在自然語(yǔ)言處理領(lǐng)域[8]。神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)需要是實(shí)數(shù)，所以在其處理類別數(shù)據(jù)的時(shí)候，需要將類別數(shù)據(jù)進(jìn)行轉(zhuǎn)換。一種常見的做法是將類別數(shù)據(jù)進(jìn)行one-hot編碼，編碼的新的特征再輸入到神經(jīng)網(wǎng)絡(luò)中。

然而，當(dāng)這樣的特征比較多，而且每個(gè)特征中的類別數(shù)目特別多的時(shí)候，就存在數(shù)據(jù)維度特別高，數(shù)據(jù)特別稀疏的情況，同時(shí)這種表示方法也不能表征不同類別之間的相似性。嵌入技術(shù)本質(zhì)上是將類別

圖1

數(shù)據(jù)映射到低維空間中，其中被轉(zhuǎn)換后的由實(shí)數(shù)值構(gòu)成的稠密向量我們稱為嵌入向量。例如，之前我們用X_(embed，i)=(1，0，0，0，0，0)來表示中國(guó)，那么使用嵌入技術(shù)就可以用低維但是稠密的向量X_i=(0.1，0.5，0.2)表示。用公式表示這一過程為：

Xembed，i=Wembed，iXi

(1)

2.2 特征交叉組合網(wǎng)絡(luò)

特征工程對(duì)一個(gè)預(yù)測(cè)模型的好壞起著關(guān)鍵的作用，特征交叉組合在處理?yè)碛羞B續(xù)數(shù)據(jù)和離散的類別數(shù)據(jù)時(shí)候也是一個(gè)業(yè)界不可避免的工作。然而，這一工作又是一項(xiàng)繁瑣、人工投入巨大、需要大量的搜索的任務(wù)。DNN網(wǎng)絡(luò)在計(jì)算機(jī)視覺、自然語(yǔ)言處理領(lǐng)域都證明了其通過端到端的學(xué)習(xí)能夠很好的提取出這些原始數(shù)據(jù)的有效的特征，并且證明了這些特征雖然可解釋性很差，但是卻好于人工提取的特征。但是在本文所用的離散類別數(shù)據(jù)上，DNN網(wǎng)絡(luò)這種隱式的特征組合方式并不能高效的提取所有有效的特征組合。正如上文所總結(jié)那樣，目前的特征交叉組合主要是進(jìn)行人工特征組合例如LR模型、Wide&deep模型；還有就是部分基于FM的模型，自動(dòng)學(xué)習(xí)了二階特征組合，例如：PNN和deepFM結(jié)構(gòu)。本文在網(wǎng)絡(luò)設(shè)計(jì)中借鑒了Google所提出的Deep&Cross網(wǎng)絡(luò)中的特征交叉學(xué)習(xí)模塊。Cross Layer Network模塊通過構(gòu)造的網(wǎng)絡(luò)，實(shí)現(xiàn)了顯式的特征交叉組合。這種網(wǎng)絡(luò)是由交叉層搭建而成，其中交叉層所實(shí)現(xiàn)的功能可以用下式表示：

(2)

其中，Xl+1，XlRd每層輸入是列向量。wl，bl為第l層的參數(shù)向量和偏差向量，它們也是長(zhǎng)度為d列向量，需要在網(wǎng)絡(luò)訓(xùn)練時(shí)候?qū)W習(xí)。為了直觀的解釋這一個(gè)過程，下圖為交叉層的可視化過程：

圖2 交叉層的可視化過程

由上圖可知，當(dāng)前層的特征是上一層的特征和上一層的特征的交叉組合結(jié)果這兩項(xiàng)之和構(gòu)成。這種做法參考了殘差網(wǎng)絡(luò)跳接的思路，既保留了原始低階特征同時(shí)也增加了高階交叉特征，并且層數(shù)也決定了最高階的上限，即隨著交叉層的增加，通過這個(gè)網(wǎng)絡(luò)可以學(xué)習(xí)任意高階的特征交叉組合，其中當(dāng)層數(shù)為l時(shí)，那么特征的最高階為l+1，因此這個(gè)網(wǎng)絡(luò)生成從1階到l+1階的所有可能的特征交叉組合可能性。同時(shí)值得注意的一點(diǎn)是，該網(wǎng)絡(luò)的參數(shù)量為d*l*2，所以這種做法有效的控制了參數(shù)規(guī)模。同時(shí)特征交叉網(wǎng)絡(luò)過少的參數(shù)也限制了模型的能力，所以為了捕捉特征之間的更高階的非線性關(guān)系，還需要并行地引入了深度網(wǎng)絡(luò)。

2.3 稠密跳接網(wǎng)絡(luò)

短跳接技術(shù)在卷積網(wǎng)絡(luò)在圖像視覺處理領(lǐng)域有著廣泛的應(yīng)用，隨著計(jì)算力和一些深度學(xué)習(xí)相關(guān)技術(shù)的出現(xiàn)，網(wǎng)絡(luò)已經(jīng)越來越深，從LeNet5的5層到VGG的19層。同時(shí)一些新的問題也出現(xiàn)了，其中當(dāng)網(wǎng)絡(luò)越來越深輸入信息經(jīng)過很多層的傳輸之后存在著消失和爆炸的現(xiàn)象，同時(shí)反向傳播的時(shí)候梯度信息也存在消失和爆炸的現(xiàn)象[9]。針對(duì)這一問題之前的一些技術(shù)和訓(xùn)練技巧雖然能對(duì)其有所改進(jìn)，然而卻無法有效的解決這種情況。研究人員發(fā)現(xiàn)當(dāng)網(wǎng)絡(luò)到達(dá)一定深度之后，雖然通過一些技術(shù)和技巧可以將其優(yōu)化和訓(xùn)練，但是性能卻反而不如深度更小的網(wǎng)絡(luò)，并且不同于過擬合，這種現(xiàn)象發(fā)生在訓(xùn)練集上。所以網(wǎng)絡(luò)結(jié)構(gòu)及其設(shè)計(jì)這一問題引起了不少研究者的思考和探索。其中何凱明等人發(fā)明的ResNet網(wǎng)絡(luò)，提出了一種很好的解決方案，他們使用短接技術(shù)構(gòu)建了著名的殘差網(wǎng)絡(luò)，這種結(jié)構(gòu)的網(wǎng)絡(luò)有很多優(yōu)點(diǎn)，其中之一就是降低了網(wǎng)絡(luò)訓(xùn)練的難度，可將網(wǎng)絡(luò)的深度提升到100層以上，取得了以往模型都無法到達(dá)的性能[10]。其做出的改進(jìn)在于，傳統(tǒng)的網(wǎng)絡(luò)在前向傳播過程中，都是將前一層的輸出作為下一層的輸入，例如第L層的輸出可以表示為，所以之前的網(wǎng)絡(luò)每層都是去擬合一個(gè)基礎(chǔ)的函數(shù)H(x)。而殘差網(wǎng)絡(luò)是去擬合一個(gè)殘差函數(shù)F(x)，其中F(x)=H(x)-x，經(jīng)過其實(shí)驗(yàn)證明和大量研究證明，這種新的網(wǎng)絡(luò)構(gòu)造，更容易去擬合，更加利于優(yōu)化，提升模型性能。

自從這篇文章發(fā)表以后，其得到了廣泛的關(guān)注和認(rèn)可，在此基礎(chǔ)上的研究也逐漸增多，基于短鏈接的不同網(wǎng)絡(luò)設(shè)計(jì)版本被一一設(shè)計(jì)出來，如ResNeXt，Wide-ResNet，Res-ResNet，這些研究都基于殘差網(wǎng)絡(luò)中最重要的一點(diǎn)：建立從前層到后層的短鏈接。其中17年CVPR最佳論文提出的DenseNet網(wǎng)絡(luò)將這種方法發(fā)揮到了極致，其設(shè)計(jì)思路是將任意兩層網(wǎng)絡(luò)都進(jìn)行了連通，這樣淺層特征和深層特征可以自由組合從而實(shí)現(xiàn)更穩(wěn)定的梯度流和信息流，提高收斂速度和模型能力。這一思路成功的應(yīng)用于了計(jì)算機(jī)視覺領(lǐng)域，通過這些方法將卷積深度神經(jīng)網(wǎng)絡(luò)搭建的更深性能更好，成功的解決了圖像分類識(shí)別等一系列問題。

本文受到該方法的啟發(fā)，將其應(yīng)用于離散多類別數(shù)據(jù)的建模中，將這種思路引入本文提出的框架中來改進(jìn)deep模塊中網(wǎng)絡(luò)結(jié)構(gòu)，從而提高模型的性能。在本框架中具體做法如下。

Densenet網(wǎng)絡(luò)針對(duì)卷積網(wǎng)絡(luò)設(shè)計(jì)了一種有別于ResNets的短鏈接方法。之前的方法是跳接將前一層和后一層求和，這樣就需要短接時(shí)相加的兩個(gè)向量擁有相同的長(zhǎng)度。而DenseNet中某層的多個(gè)輸入源(不同抽象程度的特征)不是直接算術(shù)相加，而是在特征維度上進(jìn)行拼接。本文將這一經(jīng)過試驗(yàn)和實(shí)踐證明的方法引入DNN網(wǎng)絡(luò)。所以可以將第i層和第j層的特征進(jìn)行拼接，就可以建立第i層和第j層短跳接。為了充分利用跳接技術(shù)帶來的優(yōu)勢(shì)，本文將任意兩層網(wǎng)絡(luò)進(jìn)行連接。用公式表示這一過程為：

xl=Hl([x1，x2，，xl-1])

(3)

其中Hl為第l層需要擬合的函數(shù)。下圖更加直觀的展示稠密跳接網(wǎng)絡(luò)的搭建過程。

圖3 稠密跳接網(wǎng)絡(luò)示意圖

將每一層都使用短鏈接連接到之后的所有層上，這種網(wǎng)絡(luò)結(jié)構(gòu)給網(wǎng)絡(luò)帶來了很多優(yōu)點(diǎn)。從特征角度來分析這種結(jié)構(gòu)，可以發(fā)現(xiàn)每一層的特征被用到時(shí)，都可以被看作是做了特征的歸一化，這樣可以代替如今常用的bath normalization技術(shù)，降低運(yùn)算復(fù)雜度，同時(shí)也能保證好的收斂率。

從特征提取來看，淺層和深層的特征將可以進(jìn)行自由的組合，如此就會(huì)使得模型有更加穩(wěn)定。同時(shí)在傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)里，后面層可以直接使用之前層抽象出來的信息，只需要提取之前層沒有提取過的新特征，如此對(duì)特征的利用率更高。

從訓(xùn)練的角度可以發(fā)現(xiàn)，這種設(shè)計(jì)梯度可以直接傳遞到靠前的層，可以解決梯度消失的問題。

3 實(shí)驗(yàn)

本文選擇了近4年(2013年-2016年)，在國(guó)內(nèi)上映的影片。由于票房過小的影片一方面研究?jī)r(jià)值較低，另一方面存在著嚴(yán)重的特征缺失的問題，所以只篩選了票房超過一千萬(wàn)的影片作為研究對(duì)象，最終經(jīng)過篩選最后共有645部。本文從互聯(lián)網(wǎng)上采集了上文中介紹的電影的特征(類型、播放制式、上映時(shí)間、主創(chuàng)人員信息、發(fā)行放映信息和網(wǎng)絡(luò)口碑等數(shù)據(jù))，這些數(shù)據(jù)主要來自于豆瓣網(wǎng)、時(shí)光網(wǎng)和貓眼電影專業(yè)版和微博電影。這些特征包括連續(xù)數(shù)據(jù)和離散的類別數(shù)據(jù)。本文為了獲得一個(gè)有效的票房預(yù)測(cè)模型，將連續(xù)的票房值進(jìn)行了離散化處理。本文基于實(shí)際需求和模型構(gòu)建要求將票房離散化成為4個(gè)區(qū)域。

表1 電影票房分區(qū)表

3.1 票房預(yù)測(cè)分類性能指標(biāo)

針對(duì)多分類問題，研究人員常用混淆矩陣和根據(jù)混淆矩陣得到的絕對(duì)精度(Bingo)和相對(duì)精度(1-Away)來分析分類器的性能優(yōu)劣。

絕對(duì)精度：準(zhǔn)確預(yù)測(cè)到實(shí)際類別的影片個(gè)數(shù)占整個(gè)實(shí)際類別影片總數(shù)的比率。相對(duì)精度：準(zhǔn)確預(yù)測(cè)到對(duì)應(yīng)的區(qū)間(相鄰類別)的影片個(gè)數(shù)占整個(gè)實(shí)際類別影片總數(shù)的比率。

3.2 實(shí)驗(yàn)結(jié)果

本文將提出的算法模型和傳統(tǒng)常用的算法SVM、決策樹CART、隨機(jī)森林算法進(jìn)行了對(duì)比，先使用訓(xùn)練集對(duì)模型進(jìn)行了訓(xùn)練，然后在測(cè)試集上計(jì)算了每種算法的準(zhǔn)確率。其中SVM，決策樹和隨機(jī)森林使用了python程序庫(kù)sklearn中的程序?qū)崿F(xiàn)的。SVM中參數(shù)選擇為C=1.0，cache_size=200。決策樹選擇樹的最大深度為5，隨機(jī)森林選擇樹的子樹的數(shù)量為20，樹的深度為10。DNN算法是將上文框架中的深度網(wǎng)絡(luò)層換成多層全連接網(wǎng)絡(luò)，該網(wǎng)絡(luò)由4層神經(jīng)網(wǎng)絡(luò)構(gòu)成，每層的神經(jīng)單元數(shù)為100、50、25和20。算法1為本文提出框架不使用多任務(wù)學(xué)習(xí)的情況，算法2使用多任務(wù)學(xué)習(xí)。具體的實(shí)驗(yàn)結(jié)果如下表所示，為了試驗(yàn)的可靠性，每個(gè)算法都經(jīng)過20次試驗(yàn)然后取其平均值作為最后的預(yù)測(cè)效果。

表2 電影票房數(shù)據(jù)集上個(gè)算法預(yù)測(cè)效果表

通過實(shí)驗(yàn)可以發(fā)現(xiàn)，本文提出的算法更加能夠充分利用特征中的信息，同時(shí)新的框架相對(duì)于普通的DNN網(wǎng)絡(luò)，更加適用于離散多類別特征數(shù)據(jù)，能夠提升3%，也證明了這種框架可以更好的將深度學(xué)習(xí)應(yīng)用于含有離散多類別數(shù)據(jù)的分析中。

4 結(jié)論

電影票房預(yù)測(cè)一直以來是一個(gè)非常有研究?jī)r(jià)值的問題，票房的預(yù)測(cè)對(duì)電影這個(gè)高投入高風(fēng)險(xiǎn)的行業(yè)從業(yè)者有著重要的指導(dǎo)意義，然而這也是一個(gè)比較復(fù)雜的問題其難點(diǎn)在于票房影響因素眾多，并且很多數(shù)據(jù)為離散的類別數(shù)據(jù)，這些數(shù)據(jù)難以量化，并且深度學(xué)習(xí)在處理這類數(shù)據(jù)時(shí)，一直未能像圖像、文本數(shù)據(jù)那樣取得明顯好于其他算法的優(yōu)勢(shì)。

本文針對(duì)這一問題，提出了一種適用于對(duì)離散類別數(shù)據(jù)的深度網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)改進(jìn)了Wide&Deep模型，主要包括了特征交叉組合網(wǎng)絡(luò)和稠密跳接網(wǎng)絡(luò)。其中前者可以有效的對(duì)低階特征進(jìn)行交叉組合，后者使得淺層特征和深層特征可以自由組合從而實(shí)現(xiàn)更穩(wěn)定的梯度流和信息流，提高收斂速度和模型能力。

本文用451部電影訓(xùn)練模型，最后再在194部影片上測(cè)試，模型的絕對(duì)精度為55%，相對(duì)精度為92%。該模型在使用相同的特征的情況下好于SVM、隨機(jī)森林等算法，上升了至少3%。