大數(shù)據(jù)下網(wǎng)絡(luò)視頻類用戶行為分析

呂佳寧 魏芳

【摘要】我們生活的時(shí)代是信息爆炸的時(shí)代，伴隨信息數(shù)量的井噴式增長，一個(gè)最新的概念——“大數(shù)據(jù)”也隨之興起，并逐漸開始影響包括傳媒產(chǎn)業(yè)在內(nèi)的各行各業(yè)的經(jīng)營理念和操作方式。大數(shù)據(jù)在網(wǎng)絡(luò)視頻領(lǐng)域的應(yīng)用和對(duì)用戶行為的分析，已經(jīng)展現(xiàn)出其日漸改變視聽產(chǎn)業(yè)的理念、業(yè)態(tài)、調(diào)查方式和經(jīng)營管理方式，大數(shù)據(jù)已成為人們感知社會(huì)、改變社會(huì)的一個(gè)重要方式和工具。

【關(guān)鍵詞】大數(shù)據(jù)；網(wǎng)絡(luò)視頻；用戶行為

半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。

一、大數(shù)據(jù)的基本特征

21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大地拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博、微信）、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）等行業(yè)都在瘋狂產(chǎn)生著數(shù)據(jù)。

數(shù)據(jù)的單位從小到大依次為Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，相鄰單位之間相差進(jìn)率為1024。我們?nèi)粘Ｉ钪薪佑|較多的是前5個(gè)，但大數(shù)據(jù)的單位卻幾乎是從TB才開始的。在2006年，個(gè)人用戶剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)，在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。根據(jù)著名市場(chǎng)研究機(jī)構(gòu)IDC的預(yù)測(cè)，到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長44倍，達(dá)到35.2ZB。想駕馭這些龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的基本特征。

一是體量大（Volume）。據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)一天產(chǎn)生的全部?jī)?nèi)容可以制作1.68億張DVD，一天發(fā)出2940億封郵件以及200萬個(gè)帖子。這些數(shù)據(jù)都表明，互聯(lián)網(wǎng)時(shí)代，社交網(wǎng)絡(luò)、電子商務(wù)與移動(dòng)通信把人類帶入了一個(gè)以“PB”為單位的新時(shí)代，PB化已經(jīng)成為比較常態(tài)的情況。大數(shù)據(jù)中的“大”除了大量的意思外，還有全局的概念，所有的數(shù)據(jù)都聚集在這里。

二是多樣化（Variety）。從形式上看，如今的數(shù)據(jù)類型早已不是單一的文本形式，海量數(shù)據(jù)有不同的格式，訂單、日志、音頻對(duì)人們的處理能力提出了更高的要求。從結(jié)構(gòu)上看，數(shù)據(jù)分為結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，其中非結(jié)構(gòu)化數(shù)據(jù)正以很高的速率增長，占總數(shù)據(jù)量的80%～90%，比結(jié)構(gòu)化數(shù)據(jù)增長快10到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10到50倍。

三是價(jià)值高（Value）。網(wǎng)絡(luò)每天都會(huì)產(chǎn)生大量的不相關(guān)信息，這些未經(jīng)過處理的原始材料屬于價(jià)值密度低的數(shù)據(jù)，需要人們沙里淘金。以視頻為例，一部1小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。

四是速度快（Velocity）。大數(shù)據(jù)的產(chǎn)生速度相當(dāng)快，包括股票、資訊等各方面的信息隨時(shí)都在傳輸。由于數(shù)據(jù)化存在時(shí)效性，需要快速處理并得到結(jié)果，實(shí)時(shí)獲取需要的信息。比如說一些電商數(shù)據(jù)，今天的信息不經(jīng)處理就不能產(chǎn)生有效的結(jié)果，這將會(huì)影響到今天捕獲很多商業(yè)決策，因此在海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。[1]

二、大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的價(jià)值差異

大數(shù)據(jù)包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集，具體由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量處理數(shù)據(jù)三種主要技術(shù)匯聚組成。

海量交易數(shù)據(jù)指企業(yè)內(nèi)部的經(jīng)營交易信息數(shù)據(jù)，主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。

海量交互數(shù)據(jù)來自Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)。它包括呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等。這些數(shù)據(jù)可以告訴我們未來會(huì)發(fā)生什么。

海量數(shù)據(jù)處理是一種應(yīng)對(duì)復(fù)雜、海量數(shù)據(jù)的能力，大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的Apache Hadoop，難題在于以具備成本效益的方式快速可靠地從Hadoop中存取數(shù)據(jù)。

有人說，大數(shù)據(jù)是對(duì)傳統(tǒng)數(shù)據(jù)的終結(jié)和替代。這種觀點(diǎn)并不被學(xué)者們普遍接受。但大數(shù)據(jù)的價(jià)值和處理方式的確與傳統(tǒng)數(shù)據(jù)有很大程度的不同。

在宗旨上，傳統(tǒng)數(shù)據(jù)處理遵循的是固化業(yè)務(wù)優(yōu)于高效，高效優(yōu)于發(fā)現(xiàn)業(yè)務(wù)。整體上講這是一種求穩(wěn)策略。而大數(shù)據(jù)處理卻將傳統(tǒng)方法的順序整體顛倒過來，首先是發(fā)現(xiàn)業(yè)務(wù)，其次是高效，最后是固化業(yè)務(wù)。

在數(shù)據(jù)特點(diǎn)上，傳統(tǒng)數(shù)據(jù)面對(duì)的一般是企業(yè)內(nèi)部數(shù)據(jù)，數(shù)據(jù)量一般不會(huì)超過10億量級(jí)。大數(shù)據(jù)處理的卻是多樣化的數(shù)據(jù)，從數(shù)據(jù)來源上有內(nèi)部和外部，數(shù)據(jù)結(jié)構(gòu)上有結(jié)構(gòu)化和非結(jié)構(gòu)化，數(shù)據(jù)量可處理xPB級(jí)。

在技術(shù)手段上，傳統(tǒng)數(shù)據(jù)處理方法使用商務(wù)智能的開源RDBMS，昂貴的分析挖掘工具，甚至是商用集群。大數(shù)據(jù)處理方法則更多的是使用開源技術(shù)，更注重?cái)?shù)據(jù)本身，使用多種技術(shù)解決業(yè)務(wù)問題。

在場(chǎng)景上，傳統(tǒng)數(shù)據(jù)主要處理實(shí)時(shí)、事務(wù)性、在線業(yè)務(wù)，而大數(shù)據(jù)則會(huì)處理大量的批量數(shù)據(jù)和少量的在線實(shí)時(shí)型數(shù)據(jù)?？偠灾瑐鹘y(tǒng)數(shù)據(jù)是以業(yè)務(wù)為中心，大數(shù)據(jù)則是以數(shù)據(jù)為中心，數(shù)據(jù)為業(yè)務(wù)服務(wù)。

三、網(wǎng)絡(luò)視頻類用戶行為分析

（一）中國網(wǎng)絡(luò)視頻發(fā)展的現(xiàn)狀。中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）發(fā)布的《第33次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2013年12月，中國網(wǎng)絡(luò)視頻用戶規(guī)模達(dá)4.28億，較上年底增加5637萬人，增長率為15.2%。網(wǎng)絡(luò)視頻使用率為69.3%，與上年底相比增長3.4個(gè)百分點(diǎn)，而且這一規(guī)模依舊呈現(xiàn)出持續(xù)穩(wěn)定上升的態(tài)勢(shì)。在收看新電影、熱播劇方面，網(wǎng)絡(luò)視頻已經(jīng)成為網(wǎng)民的首選。上述報(bào)告還顯示，在收看電視劇的渠道選擇偏好上，“基本通過網(wǎng)上收看的比例為28.7%，大部分通過網(wǎng)上看，偶爾在電視上看”的用戶占25%，可以說網(wǎng)絡(luò)視頻已經(jīng)分流了傳統(tǒng)電視劇播放超過50%的收看渠道。網(wǎng)絡(luò)視頻有著收看時(shí)間自由、播放時(shí)長不受限制、廣告插播次數(shù)少等特點(diǎn)，很好地避免了傳統(tǒng)電視媒體稍縱即逝、被動(dòng)接受、插播廣告等先天性劣勢(shì)，迎合了用戶的需求。目前主流的網(wǎng)絡(luò)視頻媒體有十余家，包括優(yōu)酷土豆、搜狐視頻、PPS網(wǎng)絡(luò)電視、迅雷看看、愛奇藝、樂視網(wǎng)、酷6等等。一些網(wǎng)站的用戶重合度較高，比如搜狐視頻與優(yōu)酷（40%）、搜狐視頻與土豆（41.2%）[1]，用戶還未對(duì)特定的視頻網(wǎng)站持較高的忠誠度，網(wǎng)站之間的用戶流動(dòng)性大。對(duì)于視頻網(wǎng)站來說，豐富網(wǎng)站資源、加快更新速度是提高用戶黏性的關(guān)鍵。

（二）中國網(wǎng)絡(luò)視頻用戶的收看方式。據(jù)調(diào)研，通過搜索引擎進(jìn)入視頻網(wǎng)站仍然是當(dāng)前用戶收看視頻的最主要方式。當(dāng)想收看某個(gè)視頻時(shí)，35.1%的用戶首先通過搜索引擎找到視頻后收看，這類用戶還未對(duì)特定視頻網(wǎng)站形成忠誠度。有小部分用戶形成了直接登錄視頻網(wǎng)站的習(xí)慣，甚至通過下載安裝的視頻客戶端尋找視頻。

用戶主要通過PC電腦上網(wǎng)看視頻，使用比例高達(dá)96%，與此同時(shí)，使用移動(dòng)設(shè)備（手機(jī)、平板）上網(wǎng)看視頻的比例也達(dá)到了49.4%。[1]隨著移動(dòng)設(shè)備性能提高、視頻客戶端質(zhì)量提升，移動(dòng)網(wǎng)絡(luò)視頻也逐漸被人們所接受。

（三）中國網(wǎng)絡(luò)視頻用戶行為的監(jiān)測(cè)形式。在互聯(lián)網(wǎng)領(lǐng)域不斷涌現(xiàn)的新業(yè)務(wù)中，網(wǎng)絡(luò)視頻業(yè)務(wù)無疑是最受人關(guān)注的業(yè)務(wù)，但同時(shí)也是網(wǎng)絡(luò)中帶寬需求最大的一個(gè)部分。對(duì)用戶的網(wǎng)絡(luò)行為進(jìn)行監(jiān)測(cè)是網(wǎng)絡(luò)視頻得以成功發(fā)展和推廣的關(guān)鍵，通過監(jiān)測(cè)了解用戶的搜索、觀看與反饋行為，反映真實(shí)的視頻品質(zhì)，準(zhǔn)確地分析視頻業(yè)務(wù)中的亮點(diǎn)與問題，進(jìn)而提升用戶體驗(yàn)質(zhì)量。

具體而言，這些監(jiān)測(cè)行為包括手機(jī)App、微博、百度搜索等。手機(jī)App可產(chǎn)生用戶反饋，如搜狐視頻、愛奇藝都有自己的手機(jī)客戶端，通過客戶端即可獲得一部分忠實(shí)用戶的數(shù)據(jù)。此外，微博上用戶所發(fā)表的意見或形成的討論也是十分有價(jià)值的信息，許多人將微博作為自己首要的發(fā)聲場(chǎng)所。百度搜索是目前為止網(wǎng)絡(luò)上最為重要的數(shù)據(jù)來源，因?yàn)槊刻於加袛?shù)以億計(jì)的網(wǎng)民在搜索欄中輸入無數(shù)詞條，這些詞條的價(jià)值是無法想象的，并且根據(jù)一些關(guān)鍵詞還會(huì)產(chǎn)生文章的推薦鏈接，通過這些都可以勾畫出用戶的網(wǎng)絡(luò)行為。

最為完整、時(shí)時(shí)刻刻都在記錄用戶行為的當(dāng)數(shù)Cookie，人們稱Cookie“像網(wǎng)絡(luò)身份證一樣收集用戶數(shù)據(jù)”。它能夠讓網(wǎng)絡(luò)服務(wù)器把數(shù)據(jù)存儲(chǔ)到用戶的硬盤，之后再從硬盤中讀取數(shù)據(jù)。它與各瀏覽器結(jié)合，針對(duì)每一個(gè)電腦用戶產(chǎn)生一個(gè)獨(dú)特的識(shí)別碼，記錄用戶的ID、密碼、曝光頻次、視頻點(diǎn)擊次數(shù)、視頻點(diǎn)擊位、瀏覽過的網(wǎng)頁等等。用戶的每一次訪問都會(huì)記錄，數(shù)據(jù)量巨大，正因?yàn)槿绱?，Cookie往往只有數(shù)月的存活期。

行為數(shù)據(jù)的獲取整體上有兩個(gè)途徑，即插碼在線采集和線下數(shù)據(jù)導(dǎo)入。通過在頁面上嵌入JS代碼，采集用戶在線行為數(shù)據(jù)，這些行為包括搜索、點(diǎn)擊、下載、收藏、評(píng)論、分享、邀請(qǐng)、標(biāo)注、上傳、評(píng)分，甚至包括頁面停留時(shí)間、滾動(dòng)、懸停、回退等細(xì)微行為。線下數(shù)據(jù)導(dǎo)入是指定期更新傳輸協(xié)議，離線爬取內(nèi)容數(shù)據(jù)，獲取用戶信息與資訊內(nèi)容。

（四）中國網(wǎng)絡(luò)視頻用戶的行為評(píng)估指標(biāo)。獲取數(shù)據(jù)的意義在于對(duì)數(shù)據(jù)進(jìn)行評(píng)估，以指導(dǎo)今后的戰(zhàn)略調(diào)整與制定，這些評(píng)估指標(biāo)包括以下幾項(xiàng)：曝光量，即視頻展示了多少次；曝光人數(shù)，即有多少人看了視頻；點(diǎn)擊數(shù)，即視頻點(diǎn)擊次數(shù)；點(diǎn)擊人數(shù)，即視頻點(diǎn)擊人數(shù)；點(diǎn)擊率，即每100次曝光產(chǎn)生多少次點(diǎn)擊；UV點(diǎn)擊率，即每100個(gè)看視頻的人有多少人點(diǎn)擊了該視頻。更為重要的四個(gè)指標(biāo)是眼球系數(shù)、網(wǎng)絡(luò)千人成本、互動(dòng)數(shù)與蹦失率。

眼球系數(shù)指每個(gè)點(diǎn)位吸引瀏覽者眼球的能力指數(shù)，由紅外眼動(dòng)儀測(cè)量吸引時(shí)間、吸引時(shí)長等計(jì)算得出。網(wǎng)絡(luò)千人成本指某一視頻在網(wǎng)絡(luò)上每曝光1000名目標(biāo)受眾所花成本。互動(dòng)數(shù)是指參與互動(dòng)如訪問內(nèi)容頁、上傳下載、評(píng)論、分享、游戲等活動(dòng)網(wǎng)站互動(dòng)的人數(shù)。蹦失率是訪問頁面人中沒有作任何點(diǎn)擊就離開頁面的人占總?cè)藬?shù)的比率為多少。

（五）中國網(wǎng)絡(luò)視頻用戶的人群特征。由IP庫或者手機(jī)定位技術(shù)可分析節(jié)目源受眾人群的地理分布，結(jié)合網(wǎng)站行為數(shù)據(jù)還可了解不同地區(qū)觀眾對(duì)節(jié)目的滿意程度。按照用戶對(duì)網(wǎng)絡(luò)視頻的依賴程度由低到高，用戶可以分為初級(jí)用戶、中級(jí)用戶、高度依賴用戶和最深度用戶。初級(jí)用戶相對(duì)保守，很少移動(dòng)上網(wǎng)，在信息接收上以被動(dòng)為主。最深度用戶則經(jīng)常接觸App類媒體，頻繁移動(dòng)上網(wǎng)，網(wǎng)絡(luò)社交行為頻繁，依賴生活化和本地化的移動(dòng)服務(wù)。

（六）視頻網(wǎng)站的訪問路徑分析與用戶追蹤。通過記錄不同來源的訪客瀏覽時(shí)的訪問順序，掌握活動(dòng)網(wǎng)站的關(guān)鍵路徑和結(jié)構(gòu)上的漏洞，之后針對(duì)結(jié)構(gòu)的不合理之處進(jìn)行優(yōu)化提高。同時(shí)利用用戶的Cookie記錄的瀏覽者不同行為，可以將人群進(jìn)行分類，并在未來通過分類標(biāo)志找到他們，以達(dá)到被視頻影響過的人群不管到哪里都可以找回來的目標(biāo)。通過重定向?qū)N上標(biāo)簽的人群進(jìn)行精準(zhǔn)追蹤，可以獲得很好的效果。

（七）網(wǎng)絡(luò)視頻用戶行為分析的數(shù)據(jù)挖掘技術(shù)。

1.網(wǎng)絡(luò)數(shù)據(jù)流挖掘。如何對(duì)視頻用戶產(chǎn)生的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析，并從中得到有效信息是當(dāng)下業(yè)界研究的熱點(diǎn)。當(dāng)然對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析的前提是網(wǎng)絡(luò)數(shù)據(jù)流的挖掘。

網(wǎng)絡(luò)數(shù)據(jù)流挖掘指的是通過互聯(lián)網(wǎng)爬蟲實(shí)時(shí)了解網(wǎng)絡(luò)信息，包括互聯(lián)網(wǎng)上有哪些突發(fā)主題，主題的來源、傳播與分布，主題的影響力等等。這種技術(shù)的挑戰(zhàn)之一在于時(shí)間對(duì)信息的影響，在準(zhǔn)確性上，多個(gè)流上發(fā)生在同時(shí)間段的不同主題可能被混淆為一個(gè)，也可能找到多個(gè)時(shí)間分布不同但語義相同的重復(fù)主題。正因?yàn)榭赡軙?huì)找到重復(fù)主題，在主題數(shù)目一定的情況下，勢(shì)必會(huì)丟失某些其他重要主題。挑戰(zhàn)之二在于針對(duì)突發(fā)或新興事件的資源不足，在突發(fā)事件上，人們總是選擇基于歷史數(shù)據(jù)進(jìn)行分析挖掘，但這樣往往效果不好，不僅成本高，而且在時(shí)效上也難以滿足需求，如何更有效地借助不同但相關(guān)的資源是需要考慮的一大問題。

2.短文本挖掘。短文本是一種早已廣泛存在并且得到越來越多關(guān)注的一種信息形式，鍵入搜索引擎的詞條、聊天室對(duì)話、新聞標(biāo)題、狀態(tài)信息等都是短文本的存在地。通過短文本分析將信息分類為“垃圾信息”和“非垃圾信息”，并識(shí)別出用戶屬于哪個(gè)用戶群類別，針對(duì)不同的類別還可以進(jìn)行廣告精準(zhǔn)投放。短文本挖掘的主要挑戰(zhàn)是信息稀疏，給分析帶來一定的挑戰(zhàn)。

3.可視數(shù)據(jù)挖掘。如今數(shù)據(jù)的表達(dá)方式越來越多，各種媒體數(shù)據(jù)混雜出現(xiàn)。在挖掘分析數(shù)據(jù)時(shí)，往往對(duì)圖像進(jìn)行關(guān)鍵詞標(biāo)注處理，根據(jù)圖像的底層特征，自動(dòng)找出能夠有效描述其語義內(nèi)容的文本標(biāo)簽。而對(duì)文本則進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，自動(dòng)找出能夠有效描述其內(nèi)容的圖像。這種方法的宗旨在于盡可能等價(jià)地將圖像與文本互相轉(zhuǎn)化，便于統(tǒng)一索引、存儲(chǔ)、管理和檢索，可以有效提高數(shù)據(jù)挖掘結(jié)果的可信度、可理解性和可用性。

綜上所述，大數(shù)據(jù)技術(shù)已經(jīng)和視聽媒介產(chǎn)業(yè)密不可分，并且將日漸改變中國視聽產(chǎn)業(yè)的理念、業(yè)態(tài)、調(diào)查方式和經(jīng)營管理方式。當(dāng)然，大數(shù)據(jù)縱然可以改變一切，但不能代替一切，更不可能任何事情、任何場(chǎng)合、任何時(shí)候都能用得上大數(shù)據(jù)。因此，在認(rèn)識(shí)和運(yùn)用大數(shù)據(jù)的時(shí)候，視聽產(chǎn)業(yè)或企業(yè)也必須充分認(rèn)識(shí)到其局限性，用長棄短，切忌跟風(fēng)炒作，更不要迷信神化。

參考文獻(xiàn)：

[1]圖解大數(shù)據(jù)：特點(diǎn)有“4V”大量多樣高速價(jià)值[EB/OL].新華網(wǎng)，[2014-02-25].http：//news.xinhuanet.com/info/2014-02/25/c_133141357.htm.

（呂佳寧為北京大學(xué)視聽傳播研究中心助理研究員；魏芳為中國移動(dòng)研究院教授級(jí)高工）

編校：董方曉