基于機(jī)器學(xué)習(xí)的視頻識(shí)別與自適應(yīng)推送算法

向志華， 梁玉英

(廣東理工學(xué)院 信息技術(shù)學(xué)院， 廣東 肇慶 526100)

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)與網(wǎng)絡(luò)環(huán)境的不斷改善，傳統(tǒng)的以文本為主的交流方式正逐漸向視頻和圖片過(guò)渡，這一轉(zhuǎn)變促進(jìn)了短視頻行業(yè)的蓬勃發(fā)展[1].調(diào)查指出，短視頻行業(yè)從2016年開(kāi)始爆發(fā)式增長(zhǎng)，到2017年其規(guī)模已達(dá)到57.3億元，并將于2020年達(dá)到300億元[2].相較于傳統(tǒng)行業(yè)，短視頻行業(yè)具有流量、內(nèi)容成本低，回報(bào)率高的特點(diǎn).但要真正挖掘其商業(yè)價(jià)值，提升其內(nèi)容變現(xiàn)能力仍是各大短視頻平臺(tái)的痛點(diǎn).因此，如何結(jié)合短視頻的內(nèi)容和商業(yè)化產(chǎn)品的特點(diǎn)來(lái)提升短視頻平臺(tái)的變現(xiàn)能力，且將短視頻流量精準(zhǔn)地匹配到商業(yè)化路線上，仍面臨巨大的挑戰(zhàn)[3-5].

目前，國(guó)內(nèi)的短視頻平臺(tái)主要有抖音視頻、西瓜視頻和快手視頻等[6]，這些短視頻平臺(tái)主要采用一種隱藏的形式推送廣告，即將不同長(zhǎng)度的廣告與常規(guī)視頻相結(jié)合，在用戶(hù)觀看短視頻的同時(shí)必然會(huì)接收到所推送的廣告[7-9].但該廣告推送方式無(wú)法根據(jù)用戶(hù)的特點(diǎn)推送，其針對(duì)性較差.而國(guó)外短視頻平臺(tái)如OneWay等，旨在為開(kāi)發(fā)者和廣告客戶(hù)提供更優(yōu)的短視頻廣告解決方案.其根據(jù)用戶(hù)的歷史觀看記錄來(lái)提供精準(zhǔn)的廣告投放，提高所投放廣告的有效性[10-12].同時(shí)，OneWay也使用開(kāi)屏廣告與360°全景廣告的方式來(lái)豐富廣告投放的形式.但此廣告投放方式并未結(jié)合當(dāng)前用戶(hù)觀看的短視頻內(nèi)容，無(wú)法提供物體級(jí)的廣告投放方案[13-15].

物體級(jí)廣告投放即使用圖像處理技術(shù)，從短視頻中提取出關(guān)鍵幀并在其中進(jìn)行檢測(cè)，且根據(jù)檢測(cè)結(jié)果投放廣告[16].其中關(guān)鍵幀提取方法包括：1)基于鏡頭邊界的方法，使用幀平均來(lái)提取每個(gè)鏡頭的關(guān)鍵幀，或直接將最開(kāi)始一幀與最后一幀作為關(guān)鍵幀[17]；2)基于運(yùn)動(dòng)分析的方法，僅在視頻的靜止點(diǎn)處提取關(guān)鍵幀.

本文提出了一種基于機(jī)器學(xué)習(xí)的視頻識(shí)別與自適應(yīng)推送算法，該算法通過(guò)準(zhǔn)確地檢測(cè)出短視頻中的物體，并結(jié)合基于用戶(hù)行為的內(nèi)容推薦算法，向用戶(hù)推薦其感興趣的內(nèi)容.本文所提出的內(nèi)容推薦算法不但不會(huì)引起用戶(hù)的反感，且還能增加推薦內(nèi)容的點(diǎn)擊概率，提升推薦內(nèi)容的收益率.

1 視頻內(nèi)容檢測(cè)識(shí)別算法

本文從物體級(jí)廣告投放方式出發(fā)，提出了一種基于深度學(xué)習(xí)的圖片檢測(cè)與內(nèi)容推薦算法.該算法首先使用FFMpeg解析短視頻，然后使用基于內(nèi)容的關(guān)鍵幀提取算法，提取出短視頻的關(guān)鍵幀，并使用Faster-RCNN目標(biāo)檢測(cè)算法對(duì)視頻中的目標(biāo)進(jìn)行檢測(cè)、分類(lèi).最后，通過(guò)將檢測(cè)出的物品與需要推薦的內(nèi)容信息進(jìn)行匹配，自適應(yīng)地向用戶(hù)推薦與視頻內(nèi)容相關(guān)的廣告.本文所提出方法的整體流程，如圖1所示.該方法主要包括：關(guān)鍵幀提取、目標(biāo)檢測(cè)與識(shí)別和廣告推薦3個(gè)模塊.

圖1 算法整體流程Fig.1 Overall flow chart of algorithm

1.1 關(guān)鍵幀提取

本文直接從CDN采集的視頻信息中獲取視頻幀，并采用關(guān)鍵幀提取技術(shù)來(lái)排除冗余圖像.其中，關(guān)鍵幀能代表一組視頻的內(nèi)容概要，其提取過(guò)程相當(dāng)于一個(gè)數(shù)據(jù)壓縮過(guò)程，且目標(biāo)是最小化幀與幀間的相似性.

本文首先將視頻序列的第一幀作為參考幀，然后依次計(jì)算其他各幀與選定參考幀間的相似度.通過(guò)與相似度閾值δ進(jìn)行比較來(lái)確定新的一幀是否可以設(shè)置為新的關(guān)鍵幀.當(dāng)相似度小于閾值δ時(shí)，將該幀設(shè)為關(guān)鍵幀，并將其作為后續(xù)幀的參考幀.循環(huán)上述過(guò)程，直至結(jié)束遍歷視頻序列.本文使用顏色、紋理和形狀信息作為相似度計(jì)算指標(biāo)，其中基于顏色直方圖的相似度計(jì)算過(guò)程如下：

(1)

(2)

2) 當(dāng)Sij<δC時(shí)，則表示該幀與上一關(guān)鍵幀具有較小的相似度，即當(dāng)前幀所包含的額外信息較少，本文將該幀作為新的關(guān)鍵幀；當(dāng)Sij≥δC時(shí)，表示該幀與上一關(guān)鍵幀具有較高的相似度，則舍棄該幀.

1.2 目標(biāo)檢測(cè)與識(shí)別

使用上文所述的方法提取出關(guān)鍵幀后，本文使用Faster R-CNN物體檢測(cè)框架進(jìn)行實(shí)時(shí)檢測(cè).使用Faster R-CNN算法處理一張M×N大小的圖片，首先需要進(jìn)行一系列卷積與池化操作得到特征圖，然后在特征圖上采用3×3的滑動(dòng)操作，每次滑動(dòng)將產(chǎn)生9個(gè)錨框.這9個(gè)錨框的中心對(duì)應(yīng)著滑動(dòng)窗口的中心，且具有3種不同的面積：1 282、2 562和5 122；3種不同的長(zhǎng)寬比：2∶1、1∶1和1∶2.

得到錨框特征后，F(xiàn)aster R-CNN算法使用1×1×256×18與1×1×256×36兩個(gè)卷積層，分別得到一個(gè)18維的向量和一個(gè)36維的向量.具體生成網(wǎng)絡(luò)操作如圖2所示，圖2中將256維特征回歸到4k個(gè)候選框的位置坐標(biāo)中，并分類(lèi)為2k個(gè)類(lèi)別中的一類(lèi).根據(jù)位置和類(lèi)別信息，可以將這些候選框歸類(lèi)為正負(fù)樣本，即將與真實(shí)區(qū)域大于0.7的框作為正樣本；將真實(shí)區(qū)域小于0.3的框作為負(fù)樣本.

圖2 候選區(qū)域生成網(wǎng)絡(luò)Fig.2 Candidate area generation network

為了優(yōu)化上述目標(biāo)檢測(cè)網(wǎng)絡(luò)，F(xiàn)aster R-CNN算法對(duì)候選區(qū)域進(jìn)行Softmax二分類(lèi)，并設(shè)目標(biāo)函數(shù)為

(3)

(4)

(5)

該目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：

1) 使用ImageNet數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型進(jìn)行初始化，并獨(dú)立訓(xùn)練區(qū)域生成網(wǎng)絡(luò)；

2) 使用步驟1)訓(xùn)練好的區(qū)域生成網(wǎng)絡(luò)訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)；

3) 使用步驟2)得到的網(wǎng)絡(luò)初始化一個(gè)新的區(qū)域生成網(wǎng)絡(luò)，將步驟1)得到的區(qū)域生成網(wǎng)絡(luò)與Fast R-CNN網(wǎng)絡(luò)的權(quán)重固定，僅更新區(qū)域生成網(wǎng)絡(luò)的權(quán)重；

4) 固定權(quán)重共享的網(wǎng)絡(luò)層，加入Fast R-CNN所特有的特征提取層形成一個(gè)統(tǒng)一的網(wǎng)絡(luò)，然后繼續(xù)訓(xùn)練，并微調(diào)整個(gè)網(wǎng)絡(luò).

1.3 基于反饋的推薦系統(tǒng)

本文提出了一種基于反饋的推薦系統(tǒng)，通過(guò)搜集和分析不同用戶(hù)在觀看短視頻時(shí)的行為來(lái)調(diào)整用戶(hù)對(duì)系統(tǒng)所推薦廣告的權(quán)重.推薦系統(tǒng)整體流程如圖3所示，可以看出，該系統(tǒng)使用閉環(huán)設(shè)置，根據(jù)用戶(hù)的行為調(diào)整系統(tǒng).

圖3 基于反饋的推薦系統(tǒng)流程Fig.3 Flow chart of feedback-based recommendation system

基于系統(tǒng)根據(jù)用戶(hù)在觀看短視頻時(shí)的行為來(lái)調(diào)整系統(tǒng)所推薦的廣告權(quán)重，行為級(jí)別的具體設(shè)置過(guò)程如下：

1) 在播放視頻時(shí)，系統(tǒng)并未推送任何廣告，但用戶(hù)主動(dòng)觸發(fā)目標(biāo)檢測(cè)操作來(lái)觀察視頻中的某一物體時(shí)，具有最高級(jí)別的權(quán)重；

2) 在播放視頻時(shí)，用戶(hù)看到廣告，并點(diǎn)擊廣告鏈接，這一過(guò)程具有第二高的權(quán)重；

3) 在播放視頻時(shí)，用戶(hù)看到廣告推送，但未進(jìn)行任何操作直至廣告結(jié)束，這一過(guò)程具有第三高的權(quán)重；

4) 在播放視頻時(shí)，用戶(hù)看到廣告并點(diǎn)擊關(guān)閉廣告，這一過(guò)程具有第四高的權(quán)重.

本文根據(jù)上述用戶(hù)行為的反饋，設(shè)置了如表1所示的權(quán)重調(diào)整表.系統(tǒng)根據(jù)用戶(hù)的喜好來(lái)調(diào)整權(quán)重，并通過(guò)反復(fù)試驗(yàn)來(lái)設(shè)置用戶(hù)感興趣閾值和不感興趣閾值.

表1 用戶(hù)喜好權(quán)重設(shè)置Tab.1 Settings for user preference weight

2 系統(tǒng)實(shí)現(xiàn)與測(cè)試

本文使用C/S架構(gòu)實(shí)現(xiàn)基于機(jī)器學(xué)習(xí)的視頻識(shí)別與自適應(yīng)推送算法，該系統(tǒng)使用云端預(yù)處理模塊提供靜態(tài)文件分發(fā)和負(fù)載均衡服務(wù)；使用網(wǎng)絡(luò)接口模塊作為客戶(hù)端與服務(wù)器進(jìn)行數(shù)據(jù)傳輸?shù)耐ǖ?；使用視頻展示模塊實(shí)現(xiàn)視頻解碼和渲染，從而進(jìn)一步實(shí)現(xiàn)視頻播放與廣告推送展示.基于該系統(tǒng)軟硬件平臺(tái)，本文分別進(jìn)行關(guān)鍵幀采樣測(cè)試實(shí)驗(yàn)與用戶(hù)喜好閾值設(shè)置實(shí)驗(yàn).

2.1 關(guān)鍵幀采樣測(cè)試實(shí)驗(yàn)

為了研究采樣步長(zhǎng)和相似度閾值對(duì)關(guān)鍵幀提取算法的影響，使用一段時(shí)長(zhǎng)為100 s的短視頻進(jìn)行仿真測(cè)試.本文測(cè)試不同采樣步長(zhǎng)與相似度閾值組合下的關(guān)鍵幀提取的數(shù)量，結(jié)果如表2所示.

表2 關(guān)鍵幀提取數(shù)量Tab.2 Number of extracted key frames

通過(guò)多組人工測(cè)試結(jié)果表明，該組視頻實(shí)際包括20幀關(guān)鍵幀.對(duì)比表2的結(jié)果可知，當(dāng)采樣步長(zhǎng)為2～4 s，相似度閾值在0.5～0.7時(shí)提取出的關(guān)鍵幀數(shù)量符合真實(shí)情況.當(dāng)增加相似度閾值或減小采樣步長(zhǎng)時(shí)，提出的關(guān)鍵幀數(shù)量將增加；而減小相似度閾值或增加采樣步長(zhǎng)時(shí)，提出的關(guān)鍵幀數(shù)量將減少.綜合考慮計(jì)算量與提取出的關(guān)鍵幀的數(shù)量，本文設(shè)置采樣步長(zhǎng)為3 s，相似度閾值為0.6.

2.2 用戶(hù)喜好閾值設(shè)置

本文算法根據(jù)用戶(hù)與視頻的交互行為來(lái)生成用戶(hù)偏好表，以記錄用戶(hù)對(duì)不同物品的偏好分?jǐn)?shù).將用戶(hù)對(duì)每個(gè)類(lèi)別的物品偏好分?jǐn)?shù)設(shè)置為0～100間的整數(shù)，并初始化為50.在系統(tǒng)運(yùn)行時(shí)，根據(jù)表1給出的權(quán)值實(shí)時(shí)更新該偏好分值.

本文使用直方圖統(tǒng)計(jì)用戶(hù)偏好分值的分布情況，設(shè)置一組包含200種不同物品，100個(gè)用戶(hù)的實(shí)驗(yàn)進(jìn)行仿真測(cè)試.用戶(hù)偏好分值的直方圖分布如圖4所示.

當(dāng)偏好閾值設(shè)置過(guò)高時(shí)，僅有極少的物品能被推送給用戶(hù)；而閾值設(shè)置過(guò)低時(shí)，則無(wú)法達(dá)到減少物體類(lèi)別的要求.本文通過(guò)權(quán)衡用戶(hù)偏好和物品數(shù)量來(lái)選取喜好閾值，并設(shè)置用戶(hù)喜好閾值為70.

2.3 推薦算法測(cè)試實(shí)驗(yàn)

基于上述分析和參數(shù)設(shè)置，本文使用25部時(shí)長(zhǎng)為300 s的短視頻測(cè)試文中提出推薦算法的有效性.其中這25個(gè)短視頻包括15個(gè)不同的物體類(lèi)別，本文算法能依次匹配這些物體及廣告信息.文中將這25個(gè)視頻分為不同時(shí)長(zhǎng)的5組視頻，表3給出了不同方法在這些短視頻上的廣告推薦結(jié)果.從表3中可以看出，本文算法平均能達(dá)到84.19%的推薦精度，相比于文獻(xiàn)[16]所提出的算法，推薦精度有所提升.

圖4 用戶(hù)偏好分值的直方圖分布Fig.4 Distribution histogram of user preference scores

3 結(jié) 論

本文提出了一種基于機(jī)器學(xué)習(xí)的視頻識(shí)別與自適應(yīng)推送算法.該算法使用基于顏色相似度的關(guān)鍵幀提取算法，從短視頻中提取出關(guān)鍵幀，形成短視頻的信息摘要；使用Faster R-CNN目標(biāo)檢測(cè)算法，可以快速檢測(cè)出關(guān)鍵幀中包含的目標(biāo)來(lái)形成廣告推薦；所提出的基于用戶(hù)偏好的廣告推薦算法可以實(shí)時(shí)更新用戶(hù)的偏好權(quán)重來(lái)進(jìn)行廣告推薦.算法實(shí)現(xiàn)與仿真測(cè)試結(jié)果表明，所提出的方法不但不會(huì)引起用戶(hù)的不適感，而且可以增加推薦內(nèi)容的點(diǎn)擊概率，提升廣告推送的收益率.

表3 不同時(shí)長(zhǎng)視頻的推薦精度Tab.3 Recommendation accuracy of videos with different lengths