大數(shù)據(jù)技術(shù)在新媒體產(chǎn)業(yè)中的應(yīng)用

孟肖虎

（中國電力傳媒集團(tuán)有限公司，中國 北京 100070）

0 概述

近些年部分傳媒企業(yè)本著為目標(biāo)受眾提供權(quán)威信息資訊的目標(biāo)，并進(jìn)一步推進(jìn)媒體融合，著手建設(shè)大數(shù)據(jù)采集與分析系統(tǒng)，本文根據(jù)筆者在中國電力傳媒集團(tuán)從事相關(guān)工作多年的經(jīng)驗(yàn)，對大數(shù)據(jù)技術(shù)在新媒體產(chǎn)業(yè)中的應(yīng)用進(jìn)行簡要討論。

媒體的大數(shù)據(jù)系統(tǒng)要具有信息采集的功能，根據(jù)用途的不同，設(shè)計(jì)系統(tǒng)的日信息處理量，以及爬蟲的采集列表，系統(tǒng)需要具備中文信息處理功能，對信息進(jìn)行過濾、去重、相似性聚類、情感分析、文摘、自動分類等處理。

系統(tǒng)基于云計(jì)算架構(gòu)進(jìn)行設(shè)計(jì)，硬件以多臺服務(wù)器虛擬成一個(gè)集群，以集群為單位進(jìn)行無限擴(kuò)容。軟件總體設(shè)計(jì)模塊化，以功能模塊為單位進(jìn)行程序編碼。編碼過程采用主程序、子程序等框架將系統(tǒng)的主要結(jié)構(gòu)和流程進(jìn)行描述，并定義和調(diào)試各個(gè)框架之間的輸入、輸出鏈接關(guān)系，形成一系列以功能模塊為單位的算法描述。模塊化設(shè)計(jì)使系統(tǒng)的部署、調(diào)試和維護(hù)等操作規(guī)范化。即使某一個(gè)模塊發(fā)生故障，也不影響到其他模塊的正常工作，不會造成整個(gè)系統(tǒng)的癱瘓，確保在多種情況下系統(tǒng)的正常運(yùn)行。

系統(tǒng)可以為企業(yè)信息收集、報(bào)紙內(nèi)容、研究類刊物以及手機(jī)APP、微博、微信等移動終端提供大數(shù)據(jù)服務(wù)，成為媒體融合的底層平臺基礎(chǔ)。同時(shí)，客觀上也是主動推進(jìn)傳媒企業(yè)在內(nèi)容、平臺、渠道、經(jīng)營、管理上進(jìn)行融合發(fā)展的催化劑，為新媒體工作的創(chuàng)新發(fā)展提供了有力保障。

1 系統(tǒng)設(shè)計(jì)

系統(tǒng)由多個(gè)服務(wù)器集群構(gòu)成，每個(gè)集群功能配置完全一致，單一集群由數(shù)據(jù)采集服務(wù)器群以及數(shù)據(jù)分析服務(wù)器組成，其中，數(shù)據(jù)采集服務(wù)器群由多臺服務(wù)器組成，由一臺調(diào)度服務(wù)器進(jìn)行任務(wù)分配，整個(gè)系統(tǒng)實(shí)現(xiàn)了云采集功能。根據(jù)數(shù)據(jù)采集量可增減采集服務(wù)器的數(shù)量以及相應(yīng)的帶寬。系統(tǒng)在設(shè)計(jì)之初，為了避免原文被刪除的情況，增加了快照功能，更好的協(xié)助用戶還原信息原貌，但是隨之而來的是需要大量的存儲設(shè)備予以支持。

數(shù)據(jù)采集服務(wù)器群中，安裝了多個(gè)不同性質(zhì)的爬蟲，對于大多數(shù)新聞網(wǎng)站，采集爬蟲遵循廣度優(yōu)先原則，這樣的采集策略需要較長時(shí)間與更多資源，為了合理的控制爬蟲資源，采集系統(tǒng)將不同網(wǎng)站付以權(quán)重，權(quán)重高的相應(yīng)采集頻率會隨之增高。針對貼吧以及BBS則需要選擇高效率的采集策略，以免多次頻繁的采集行為被目標(biāo)網(wǎng)站視為攻擊行為，而被禁止訪問，所以采用定向抓取以及聚焦抓取的策略，通過URL分析，可以判斷出網(wǎng)頁是否屬于特的特定的BBS論壇或者貼吧，在針對單個(gè)BBS論壇或貼吧的采集過程中，爬蟲只采集與目標(biāo)有關(guān)的鏈接，舍棄不相關(guān)的鏈接，只有符合采集條件的URL才進(jìn)行保留。

微博信息由于數(shù)據(jù)量大，API數(shù)據(jù)接口需要申請，采集難度大。通過對系統(tǒng)爬蟲的召回率以及虛擬賬號數(shù)量等指標(biāo)進(jìn)行調(diào)整，比較有效的規(guī)避了數(shù)據(jù)讀取量限制的天花板，在關(guān)鍵詞配置合理的情況下，采集效果良好。由于微博有140字的字?jǐn)?shù)限制，而且多是口語或者流行語，利用向量空間模型（Vector Space Model，簡稱VSM），計(jì)算文本的空間向量夾角余弦，試驗(yàn)性的獲取熱點(diǎn)信息，但準(zhǔn)確率并不高。因此，系統(tǒng)利用 TF-IDF（Term Frequency-Inverse Document Frequency）權(quán)重計(jì)算相結(jié)合的方法。在通過關(guān)鍵詞采集得到微博信息后，微博信息分析模塊中的情感判斷模塊，負(fù)面信息過濾出來。

對于BBS的信息采集與網(wǎng)頁采集有所不同，網(wǎng)頁采集的爬蟲遵循廣度優(yōu)先的原則，抓取范圍廣，采集時(shí)間長。BBS采集爬蟲選擇高效率的抓取策略，收錄各大論壇的網(wǎng)頁內(nèi)容，采用定向抓取以及聚焦抓取的策略。

采用以上介紹的方式進(jìn)行數(shù)據(jù)采集，對沒有收錄入列表的信息，利用關(guān)鍵詞法進(jìn)行搜索引擎補(bǔ)充，目前補(bǔ)充的搜索引擎有百度、谷歌、搜狗、搜搜等國內(nèi)外各大知名搜索引擎。采集下來的數(shù)據(jù)進(jìn)行分詞、聚類、分類以及情感判斷等處理，最終系統(tǒng)以文字以配合統(tǒng)計(jì)圖形的形式進(jìn)行呈現(xiàn)。

2 媒體融合新思路

基于媒體融合的理念，建議采取系統(tǒng)應(yīng)用逐步升級的三步走戰(zhàn)略。

第一步，單一集群，小范圍采集。這一階段只建設(shè)一個(gè)計(jì)算機(jī)集群，系統(tǒng)收錄少量站點(diǎn)，初步滿足了信息采集以及數(shù)據(jù)處理的工作需要。

第二步，數(shù)據(jù)積累，系統(tǒng)升級。在積累了一定的數(shù)據(jù)之后，系統(tǒng)可以利用大數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進(jìn)行分類、聚類等一系列分析處理，形成長期趨勢，可以作為數(shù)據(jù)分析的樣本進(jìn)行二次加工，形成具有價(jià)值的獨(dú)家數(shù)據(jù)源。通過一段時(shí)間的使用，針對系統(tǒng)進(jìn)行二次升級以及維護(hù)，增加一個(gè)計(jì)算機(jī)集群，將收錄站點(diǎn)進(jìn)行擴(kuò)容。

第三步，全面升級，實(shí)現(xiàn)媒體融合。在這一階段，系統(tǒng)需要達(dá)到對全產(chǎn)業(yè)鏈進(jìn)行服務(wù)的要求，實(shí)現(xiàn)媒體融合，對系統(tǒng)進(jìn)行全面升級，重點(diǎn)對視頻網(wǎng)站，外文網(wǎng)站數(shù)據(jù)的采集進(jìn)行攻關(guān)，采集站點(diǎn)二次擴(kuò)容。為報(bào)紙、期刊等多個(gè)產(chǎn)品提供數(shù)據(jù)支持，并且為網(wǎng)絡(luò)電視臺以及手機(jī)APP提供數(shù)據(jù)源以及信息反饋，在內(nèi)容、渠道、平臺等方面初步實(shí)現(xiàn)媒體融合。

3 結(jié)束語

大數(shù)據(jù)技術(shù)的應(yīng)用在媒體融合發(fā)展過程中取得了良好的成效，同時(shí)新媒體事業(yè)的快速發(fā)展，以及衍生而來的研究咨詢、輿情監(jiān)測、新媒體矩陣等產(chǎn)品是新媒體業(yè)務(wù)的重要創(chuàng)新。作為媒體融合的核心組成部分，利用大數(shù)據(jù)、云計(jì)算、移動互聯(lián)網(wǎng)等前沿技術(shù)，有效促進(jìn)了官方媒體輿論場、網(wǎng)民輿論場的橫向溝通，為實(shí)現(xiàn)媒體可持續(xù)健康發(fā)展?fàn)I造良好的輿論環(huán)境并提供權(quán)威的信息資訊支持。以大數(shù)據(jù)技術(shù)為基礎(chǔ)，以媒體融合為藍(lán)圖，創(chuàng)新而來的系列產(chǎn)品與服務(wù)受到了廣大受眾的廣泛認(rèn)可與好評，已經(jīng)成為傳媒行業(yè)業(yè)務(wù)新的增長點(diǎn)，未來伴隨互聯(lián)網(wǎng)產(chǎn)業(yè)持續(xù)發(fā)展，媒體融合還會不斷深化，相關(guān)產(chǎn)品與服務(wù)將進(jìn)入新一輪的高速發(fā)展。

[1]李彪.輿情之山雨欲來[M].人民日報(bào)出版社,2010.

[2]陸小華.再造傳媒[M].中信出版社,2012.