大數(shù)據(jù)背景下通信運(yùn)營商內(nèi)容產(chǎn)品運(yùn)營系統(tǒng)的設(shè)計(jì)

賈利娟，張耀民

（陜西工商職業(yè)學(xué)院 陜西 西安 710119）

1 引言

據(jù)IDC預(yù)測(cè)，未來5年全球數(shù)據(jù)量將達(dá)到35ZB，電信運(yùn)營商是這些數(shù)據(jù)的傳送者，處于數(shù)據(jù)交換的中心，具有天然的優(yōu)勢(shì)[1]。同時(shí)移動(dòng)通信運(yùn)營商積累了全網(wǎng)用戶的基本信息、位置信息、上網(wǎng)信息等數(shù)據(jù)資源，而這些數(shù)據(jù)來源于通信網(wǎng)絡(luò)系統(tǒng)以及傳統(tǒng)的運(yùn)營支撐系統(tǒng)[2]，電信運(yùn)營商的系統(tǒng)本質(zhì)是為用戶與用戶、設(shè)備與設(shè)備、用戶與設(shè)備之間提供通信信道，該系統(tǒng)每天承載著海量信息，是互聯(lián)網(wǎng)大數(shù)據(jù)的源頭[3]。并且Informa Telecoms&Media公司對(duì)全球移動(dòng)通信運(yùn)營商進(jìn)行了抽樣調(diào)查，結(jié)果顯示48%的運(yùn)營商已經(jīng)開始實(shí)施大數(shù)據(jù)業(yè)務(wù)[4]。所以在大數(shù)據(jù)背景下移動(dòng)運(yùn)營商的業(yè)務(wù)已由語音業(yè)務(wù)向數(shù)據(jù)業(yè)務(wù)轉(zhuǎn)型，即時(shí)通信、支付、多媒體內(nèi)容等數(shù)據(jù)業(yè)務(wù)的產(chǎn)品被相繼推出，而這些數(shù)據(jù)業(yè)務(wù)中最重要的產(chǎn)品類型要屬閱讀、音樂、視頻、動(dòng)漫等內(nèi)容型的產(chǎn)品。如何利用好移動(dòng)運(yùn)營商特有的全網(wǎng)用戶的大數(shù)據(jù)資源為內(nèi)容性產(chǎn)品運(yùn)營提供支撐是一個(gè)非常重要的并且急需解決的問題，因此基于運(yùn)營商的大數(shù)據(jù)資源設(shè)計(jì)一個(gè)內(nèi)容型產(chǎn)品的運(yùn)營系統(tǒng)實(shí)現(xiàn)內(nèi)容產(chǎn)品的營銷、個(gè)性化推薦、產(chǎn)品指標(biāo)的監(jiān)控等功能就成為比較迫切的工作了。

2 系統(tǒng)基本架構(gòu)設(shè)計(jì)

運(yùn)營商內(nèi)容產(chǎn)品運(yùn)營系統(tǒng)包括指標(biāo)監(jiān)控子系統(tǒng)、產(chǎn)品推薦子系統(tǒng)、內(nèi)容個(gè)性化推薦子系統(tǒng)。指標(biāo)監(jiān)控子系統(tǒng)實(shí)現(xiàn)產(chǎn)品運(yùn)營指標(biāo)監(jiān)控的功能，為產(chǎn)品經(jīng)理與運(yùn)營人員提供產(chǎn)品相關(guān)指標(biāo)的運(yùn)營報(bào)表。產(chǎn)品推薦子系統(tǒng)對(duì)現(xiàn)有的用戶行為進(jìn)行數(shù)據(jù)挖掘分析，通過分析得出現(xiàn)有用戶的特征，然后通過特征去全網(wǎng)查詢符合特定特征的目標(biāo)用戶，最后通過接觸渠道面向用戶進(jìn)行產(chǎn)品營銷，發(fā)展更多的用戶。內(nèi)容個(gè)性化推薦子系統(tǒng)，根據(jù)用戶的偏好以及內(nèi)容關(guān)聯(lián)關(guān)系為用戶推薦個(gè)性化的內(nèi)容，促進(jìn)用戶的活躍度。與內(nèi)容產(chǎn)品運(yùn)營系統(tǒng)交互的外圍系統(tǒng)包括：CRM（客戶關(guān)系管理系統(tǒng)）、BI（商業(yè)智能系統(tǒng)）、門戶網(wǎng)站、掌上營業(yè)廳客戶端、短信網(wǎng)關(guān)、內(nèi)容產(chǎn)品業(yè)務(wù)平臺(tái)、內(nèi)容產(chǎn)品客戶端等。其中CRM、BI是整個(gè)內(nèi)容產(chǎn)品運(yùn)營系統(tǒng)的全網(wǎng)數(shù)據(jù)的來源，為系統(tǒng)提供全網(wǎng)用戶的數(shù)據(jù)，包括實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)。門戶網(wǎng)站、掌上營業(yè)廳客戶端、短信網(wǎng)關(guān)是觸及目標(biāo)用戶的渠道，內(nèi)容產(chǎn)品業(yè)務(wù)平臺(tái)、內(nèi)容產(chǎn)品客戶端的主要功能是給客戶展示相關(guān)的內(nèi)容。

大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析、大數(shù)據(jù)管理是一個(gè)大數(shù)據(jù)系統(tǒng)面臨的三個(gè)問題[5]，本系統(tǒng)的核心是數(shù)據(jù)分析處理，我們使用Hadoop技術(shù)在數(shù)據(jù)預(yù)處理階段和數(shù)據(jù)挖掘階段都需要對(duì)海量的數(shù)據(jù)進(jìn)行存儲(chǔ)與計(jì)算，通過MapReduce模型把任務(wù)分配到分布式的計(jì)算機(jī)集群中，這樣既降低了成本又提供了可伸縮性， 在模型的下層使用“可插拔”的HDFS的分布式文件系統(tǒng)。對(duì)于產(chǎn)品推薦子系統(tǒng)、內(nèi)容個(gè)性化推薦子系統(tǒng)因?yàn)樵谝?guī)則挖掘的過程中對(duì)于查詢時(shí)常要求不高，使用Hadoop架構(gòu)技術(shù)是可以解決系統(tǒng)的需求，如果對(duì)挖掘周期和規(guī)則識(shí)別周期都要求比較短的時(shí)候就要考慮使用Spark技術(shù)。Spark技術(shù)同樣可以實(shí)現(xiàn)Hadoop的基于MapReduce模型的并行計(jì)算，并且任務(wù)運(yùn)行中間產(chǎn)生的結(jié)果都保存在內(nèi)存中，不需要讀寫HDFS，這樣節(jié)省了時(shí)間提高了速度，所以Spark更適合用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

3 內(nèi)容個(gè)性化推薦子系統(tǒng)

內(nèi)容個(gè)性化推薦系統(tǒng)是內(nèi)容產(chǎn)品平臺(tái)的一部分，內(nèi)容個(gè)性化推薦子系統(tǒng)包括的主要功能模塊有：數(shù)據(jù)接入與預(yù)處理模塊、偏好分析模塊、雙層關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘模塊、內(nèi)容推薦模塊、渠道管理模塊。

數(shù)據(jù)接入模塊的數(shù)據(jù)來自于BI系統(tǒng)的Gn口DPI解析數(shù)據(jù)以及來自于內(nèi)容型產(chǎn)品平臺(tái)的用戶內(nèi)容訪問歷史數(shù)據(jù)。DPI解析系統(tǒng)通過分光器從Gn口復(fù)制出一份數(shù)據(jù)，然后通過深度包解析獲取用戶與服務(wù)器交互的數(shù)據(jù)包中的有用信息[6]。DPI解析后得到用戶DPI數(shù)據(jù)表字段包括：用戶手機(jī)號(hào)碼、訪問內(nèi)容名稱、訪問內(nèi)容類型、次數(shù)、流量、活躍天數(shù)等。然后對(duì)數(shù)據(jù)進(jìn)行解析，解析結(jié)果就是用戶訪問某個(gè)網(wǎng)站或者使用某個(gè)APP的行為數(shù)據(jù)，主要包括用戶標(biāo)識(shí)、訪問目標(biāo)名稱、類型標(biāo)簽、訪問次數(shù)、流量等字段。偏好分析模塊是內(nèi)容個(gè)性化推薦系統(tǒng)的核心，此系統(tǒng)是基于用戶偏好分析為用戶提供個(gè)性化內(nèi)容，促進(jìn)用戶的活躍度。所謂用戶的偏好就是指用戶相對(duì)來說更喜歡哪個(gè)類型的內(nèi)容。在DPI數(shù)據(jù)表中記錄了用戶上網(wǎng)訪問內(nèi)容行為的信息，我們基于DPI數(shù)據(jù)表從訪問次數(shù)、訪問流量、活躍天數(shù)三個(gè)維度計(jì)算用戶的偏好分析。偏好分析中我們使用的數(shù)據(jù)是DPI解析系統(tǒng)通過分光器從Gn口復(fù)制出一份數(shù)據(jù)，除此以外通信網(wǎng)絡(luò)中的數(shù)據(jù)在產(chǎn)品運(yùn)營平臺(tái)中也收集了用戶對(duì)內(nèi)容的訪問日志，這些數(shù)據(jù)我們作為雙層關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘輸入，使用雙層關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘獲取內(nèi)容關(guān)聯(lián)關(guān)系。

內(nèi)容推薦模塊是按照內(nèi)容匹配規(guī)則對(duì)用戶偏好和內(nèi)容資源進(jìn)行匹配，為每個(gè)具有偏好的用戶匹配相應(yīng)的內(nèi)容資源。因?yàn)閮?nèi)容資源是一個(gè)動(dòng)態(tài)變化的，所以匹配過程是一個(gè)事實(shí)調(diào)用的過程。在內(nèi)容個(gè)性化推薦子系統(tǒng)中，系統(tǒng)的數(shù)據(jù)來自于CRM、BI、內(nèi)容產(chǎn)品業(yè)務(wù)平臺(tái)等系統(tǒng)，推薦的結(jié)果通過內(nèi)容產(chǎn)品客戶端、門戶網(wǎng)站、短信網(wǎng)關(guān)、掌上營業(yè)廳客戶端等渠道送達(dá)到用戶。

4 產(chǎn)品推薦子系統(tǒng)

產(chǎn)品推薦子系統(tǒng)包括的主要功能模塊有：數(shù)據(jù)接入與預(yù)處理模塊、目標(biāo)特征與序列關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘模塊、產(chǎn)品推薦列表計(jì)算算法模塊、規(guī)則管理模塊、渠道管理模塊。該系統(tǒng)充分使用了運(yùn)營商積累的大數(shù)據(jù)資源，結(jié)合兩步聚類特征分析與用戶訂購行為時(shí)序關(guān)聯(lián)預(yù)測(cè)分析，對(duì)現(xiàn)有的用戶進(jìn)行數(shù)據(jù)挖掘分析，分析出現(xiàn)有用戶的特征，然后通過特征去全網(wǎng)查詢符合特征的目標(biāo)用戶，通過接觸渠道面向用戶進(jìn)行產(chǎn)品營銷，發(fā)展更多的用戶。

數(shù)據(jù)接入與預(yù)處理模塊從外圍系統(tǒng)中接入數(shù)據(jù)并處理成數(shù)據(jù)挖掘程序與其他模塊所需的格式。目標(biāo)特征與序列關(guān)聯(lián)數(shù)據(jù)挖掘模塊使用兩步聚類特征分析和序列關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘算法得到產(chǎn)品存量用戶的特征規(guī)則及序列關(guān)聯(lián)規(guī)則，從而可以使用這些特征規(guī)則在全網(wǎng)中找到潛在用戶，序列關(guān)聯(lián)用戶行為預(yù)測(cè)分析基于產(chǎn)品關(guān)聯(lián)規(guī)則預(yù)測(cè)用戶訂購行為。產(chǎn)品推薦列表計(jì)算算法模塊依據(jù)規(guī)則庫中的特征規(guī)則及序列關(guān)聯(lián)規(guī)則根據(jù)算法計(jì)算出推薦列表，它為每個(gè)用戶計(jì)算出推薦列表。規(guī)則管理模塊存儲(chǔ)并管理由數(shù)據(jù)挖掘模塊產(chǎn)生的規(guī)則。產(chǎn)品推薦子系統(tǒng)結(jié)合了產(chǎn)品角度的特征分析與用戶角度的訂購行為預(yù)測(cè)為用戶推薦合適的產(chǎn)品，提高了產(chǎn)品運(yùn)營效率以及產(chǎn)品推薦的效果。在此系統(tǒng)中CRM、BI、內(nèi)容產(chǎn)品業(yè)務(wù)平臺(tái)是推薦系統(tǒng)的數(shù)據(jù)來源，其中CRM系統(tǒng)中存放用戶的基本信息，BI中收集了用戶上網(wǎng)行為和位置數(shù)據(jù)，業(yè)務(wù)平臺(tái)中收集了用戶在內(nèi)容型產(chǎn)品上使用的行為數(shù)據(jù)。掌上營業(yè)廳客戶端、門戶網(wǎng)站、短信網(wǎng)關(guān)是接觸客戶的渠道，推薦信息通過這些渠道、媒介接觸到客戶。當(dāng)用戶通過這些渠道訪問的時(shí)候，在相應(yīng)的渠道上就給客戶展示產(chǎn)品的推薦信息。

5 指標(biāo)監(jiān)控子系統(tǒng)

指標(biāo)監(jiān)控子系統(tǒng)監(jiān)控業(yè)務(wù)各項(xiàng)指標(biāo)，主要包括常規(guī)指標(biāo)監(jiān)控模塊、用戶畫像模塊、用戶選擇模塊。常規(guī)指標(biāo)監(jiān)控是對(duì)內(nèi)容型產(chǎn)品的用戶發(fā)展以及用戶行為的各項(xiàng)常規(guī)指標(biāo)進(jìn)行監(jiān)控。用戶畫像模塊主要是對(duì)特定的用戶群體進(jìn)行畫像分析，例如活躍用戶、沉默用戶等。用戶選擇模塊根據(jù)用戶畫像特征在全網(wǎng)范圍內(nèi)圈定符合特征的用戶、可以對(duì)這些用戶進(jìn)行相應(yīng)的預(yù)測(cè)。常規(guī)指標(biāo)監(jiān)控子系統(tǒng)所監(jiān)控的報(bào)表是由查詢維度體系與指標(biāo)體系兩部分組成。查詢維度體系是指進(jìn)行查詢時(shí)可以選擇的條件字段，這里設(shè)計(jì)的查詢維度字段包括時(shí)間（日、周、月、自定義）、操作系統(tǒng)、用戶品牌等維度。指標(biāo)體系主要包括用戶發(fā)展與用戶行為兩個(gè)方面。用戶發(fā)展指標(biāo)包括總用戶數(shù)、新增用戶數(shù)等等。用戶行為指標(biāo)包括啟動(dòng)次數(shù)、啟動(dòng)時(shí)間、登錄次數(shù)、登錄時(shí)間、模塊點(diǎn)擊數(shù)、點(diǎn)擊時(shí)間、使用時(shí)長(zhǎng)等。用戶畫像功能主要是對(duì)特定的用戶群體進(jìn)行畫像分析，典型的用戶群體主要包括付費(fèi)用戶群、活躍用戶群、沉默用戶群、流失用戶群等。從用戶性別、年齡、身份證戶籍地、ARPU、流量、訂購自有業(yè)務(wù)數(shù)等幾個(gè)方面對(duì)用戶群體進(jìn)行特征畫像。用戶群體基于業(yè)務(wù)平臺(tái)的數(shù)據(jù)進(jìn)行劃分，而畫像所選擇的特征則是從BI和CRM系統(tǒng)獲取的用戶的基本信息、通信行為、業(yè)務(wù)訂購等數(shù)據(jù)。用戶選擇模塊通過特征維度的選擇圈定用戶群體，圈定用戶所使用的特征維度體系與用戶畫像特征維度體系一致。通過選擇特征維度的組合篩選出符合特征組合的用戶明細(xì)，并對(duì)這些用戶進(jìn)行相應(yīng)的預(yù)測(cè)。這里所選出的用戶明細(xì)來自于全網(wǎng)用戶。

6 總結(jié)

本文依據(jù)電信運(yùn)營商積累的全網(wǎng)用戶的大數(shù)據(jù)資源，設(shè)計(jì)了一個(gè)運(yùn)營商內(nèi)容產(chǎn)品的運(yùn)營系統(tǒng)。使用此系統(tǒng)為運(yùn)行商的內(nèi)容產(chǎn)品提供了更加全面精準(zhǔn)的用戶分析與監(jiān)控、用戶產(chǎn)品的推薦、內(nèi)容個(gè)性化推薦，從而提升了內(nèi)容性產(chǎn)品的運(yùn)營效率。