大數(shù)據(jù)時代下的流量經(jīng)營系統(tǒng)建設(shè)

文/吳敏

1 項目概述

1.1 項目背景

隨著移動通信技術(shù)的不斷演進(jìn)，中國移動已從話音經(jīng)營時代進(jìn)入流量經(jīng)營時代，大數(shù)據(jù)時代下運(yùn)營商確立了以智能管道（物理網(wǎng)絡(luò)）和聚合平臺（商業(yè)網(wǎng)絡(luò)）為基礎(chǔ)，以擴(kuò)大流量規(guī)模、提升流量層次、豐富流量內(nèi)涵為經(jīng)營方向，以釋放流量價值為目的的一系列理念、策略和行動的集合。流量經(jīng)營的最終目的是順應(yīng)移動互聯(lián)網(wǎng)的發(fā)展，轉(zhuǎn)變運(yùn)營商的收入結(jié)構(gòu)，達(dá)到利潤最大化。為了避免“被管道化”，流量運(yùn)營分析系統(tǒng)當(dāng)之無愧地成為了運(yùn)營商大數(shù)據(jù)時代的煉金術(shù)。

中國移動在2012年流量經(jīng)營工作上的主要方向上提出：要把握移動互聯(lián)網(wǎng)時代特征，努力加強(qiáng)流量經(jīng)營。提出了五點要求：

（1）要提供好用易用的管道，不斷提高核心網(wǎng)質(zhì)量；

（2）要將終端補(bǔ)貼重點向中低端智能手機(jī)傾斜；

（3）要做好手機(jī)上網(wǎng)客戶培訓(xùn)和主動關(guān)懷工作；

（4）要提升手機(jī)上網(wǎng)使用感知；

（5）要加強(qiáng)流量的精細(xì)化經(jīng)營。

如何通過業(yè)務(wù)支撐系統(tǒng)更好的助力互聯(lián)網(wǎng)時代的電信運(yùn)營商的流量經(jīng)營，實現(xiàn)加強(qiáng)流量經(jīng)營的工作要求是本項目課題主要研究的方向。

1.2 項目建設(shè)方向

1.2.1 把握流量特點

存在問題：用戶上網(wǎng)行為千差萬別，特征差異大，有待深度掌握。

工作方向：建設(shè)流量經(jīng)營分析支撐系統(tǒng)，精準(zhǔn)把握用戶互聯(lián)網(wǎng)行為特點，實現(xiàn)移動互聯(lián)網(wǎng)領(lǐng)域的精準(zhǔn)營銷，提升流量經(jīng)營工作效果和效率。

1.2.2 落實四網(wǎng)協(xié)同

存在問題：流量結(jié)構(gòu)不合理，2G承載過高，訪問感知差。

工作方向：加強(qiáng)TD網(wǎng)絡(luò)建設(shè)，加大TD智能終端、MIFI的營銷力度，加快WLAN熱點補(bǔ)盲，有效分流2G網(wǎng)絡(luò)壓力。

1.2.3 釋放流量價值

存在問題：套餐內(nèi)外差價大，用戶需求受到抑制。

工作方向：做好流量定價策略，豐富流量套餐資費(fèi)，通過GPRS疊加包、閑時流量優(yōu)惠包等資費(fèi)手段，釋放用戶流量需求。

1.2.4 擴(kuò)大流量規(guī)模

存在問題：普及率和人均流量有待進(jìn)一步提升。

工作方向：降低用戶上網(wǎng)門檻，創(chuàng)造便利上網(wǎng)條件，培養(yǎng)用戶流量使用習(xí)慣，擴(kuò)大流量用戶規(guī)模。

2 流量經(jīng)營系統(tǒng)的建設(shè)思路

建設(shè)流量運(yùn)營平臺，支撐解決流量供給、提升流量價值、個性化流量營銷等流量經(jīng)營工作建設(shè)流量運(yùn)營平臺，支撐解決流量供給、提升流量價值、個性化流量營銷等流量經(jīng)營工作上海公司緊跟流量運(yùn)營四大工作方向，核心解決流量供給、提升流量價值、個性化流量營銷三方面問題，建設(shè)省級流量運(yùn)營平臺，整合用戶級流量信息數(shù)據(jù)，強(qiáng)化平臺與各網(wǎng)絡(luò)條線資源的融合互通，實現(xiàn)全能力流量運(yùn)營工作。

目標(biāo)一：提升引流能力，用更低的成本獲得更多的有效流量，獲得更多的客戶接觸機(jī)會。

目標(biāo)二：提升流量轉(zhuǎn)化成收入的能力，提升向客戶成功推銷產(chǎn)品的概率。

2.1 流量經(jīng)營系統(tǒng)建設(shè)的思考

面對海量的和非結(jié)構(gòu)化的互聯(lián)網(wǎng)流量信息數(shù)據(jù)，我們該如何“烹飪”它？

面對高實時性要求的應(yīng)用功能，我們該如何“滿足”它？

網(wǎng)絡(luò)側(cè)數(shù)據(jù)和計費(fèi)側(cè)數(shù)據(jù)都接入了，怎么“呵護(hù)我們的系統(tǒng)生命線”？

對于互聯(lián)網(wǎng)流量信息中含有大量的敏感信息數(shù)據(jù)，在項目實施中，如何保證信息安全無差錯？

系統(tǒng)功能的方向，最全面的？最需要的？

系統(tǒng)能力的互通，需要？不需要？

2.2 關(guān)鍵技術(shù)的實現(xiàn)：海量非結(jié)構(gòu)化互聯(lián)網(wǎng)流量信息數(shù)據(jù)精準(zhǔn)處理

上海日均網(wǎng)絡(luò)流量達(dá)4萬G(2012年數(shù)據(jù))，日均流量信息接口數(shù)據(jù)為1T。隨著移動互聯(lián)網(wǎng)的發(fā)展，此數(shù)據(jù)量還會逐步增長，預(yù)計到2013年底，日均流量信息接口數(shù)據(jù)量至少在1.5T以上。互聯(lián)網(wǎng)信息數(shù)據(jù)中包含了大量的非結(jié)構(gòu)化信息數(shù)據(jù)：如內(nèi)容文本數(shù)據(jù)、XML和HTML網(wǎng)頁數(shù)據(jù)等。面對海量的和非結(jié)構(gòu)化的互聯(lián)網(wǎng)流量信息數(shù)據(jù)，引入多項創(chuàng)新技術(shù)進(jìn)行精準(zhǔn)處理。

2.2.1 引入新技術(shù)-“分布式處理”

搭建Hadoop分布式環(huán)境：利用低成本的PC服務(wù)器和存儲，構(gòu)建Hadoop分布式環(huán)境。

使用MapReduce模型進(jìn)行編程：基于MapReduce 編程模型，開發(fā)數(shù)據(jù)處理程序。最終消化掉互聯(lián)網(wǎng)的海量數(shù)據(jù)。

2.2.2 精進(jìn)老技術(shù)-“數(shù)據(jù)倉庫”

數(shù)據(jù)的處理必須依賴數(shù)據(jù)倉庫，因此必須充分運(yùn)用。

壓縮大數(shù)據(jù)量表，提供訪問速度：對大數(shù)據(jù)量表，進(jìn)行壓縮處理，以提高該表的訪問速度。

分區(qū)表和多維集群的應(yīng)用：按照業(yè)務(wù)創(chuàng)建分區(qū)表，更加均勻分布大數(shù)量表；按照常用維度，創(chuàng)建多維集群應(yīng)用層表，提供查詢性能。

2.2.3 流量報文數(shù)據(jù)處理利器-“協(xié)議分析”

原始流量信息數(shù)據(jù)解析：利用“協(xié)議分析”技術(shù)，深度檢查和解析互聯(lián)網(wǎng)數(shù)據(jù)報文，從中獲取原始的流量信息數(shù)據(jù)：例如“應(yīng)用協(xié)議”信息、URL信息、UA信息。最終為后續(xù)流量的分析運(yùn)營，提供海量、精準(zhǔn)信息。

2.2.4 “爬蟲、分詞”-非結(jié)構(gòu)化內(nèi)容文本數(shù)據(jù)處理

爬蟲技術(shù)：通過URL自動的抓取互聯(lián)網(wǎng)上信息數(shù)據(jù)，包括用戶訪問的原始內(nèi)容文本數(shù)據(jù)。

分詞技術(shù)：將獲取的內(nèi)容文本，進(jìn)行合理、正確的切割，使文本計算機(jī)化，為后續(xù)內(nèi)容分析和挖掘提供輸入。

2.3 流量數(shù)據(jù)的智能處理和實時聯(lián)動

2.3.1 智能感、智能知分析功能

智能感：主要包含應(yīng)用分析、終端分析、內(nèi)容分析以及位置分析。精確定位終端用戶需求，全面分析終端用戶上網(wǎng)偏好，通過對數(shù)據(jù)的深度分析和結(jié)果固化、沉淀，掌握客戶習(xí)慣偏好、行為等信息，識別個性化需求。

智能知：支持實時營銷、快速挖掘用戶的行為偏好，并及時將數(shù)據(jù)傳輸?shù)綘I銷平臺，為用戶進(jìn)行快速準(zhǔn)確的營銷提供及時的數(shù)據(jù)。

2.3.2 實時營銷平臺功能

實時營銷引入了多種大數(shù)據(jù)接口，能處理傳統(tǒng)數(shù)據(jù)庫和應(yīng)用無法分析的數(shù)據(jù)：從C3智能感知平臺的大數(shù)據(jù)流；從小區(qū)短信輸出的A口信令數(shù)據(jù)、互聯(lián)互通信令數(shù)據(jù)；IVR的12580按鍵數(shù)據(jù)。

（1）實時營銷使用的是NoSql技術(shù)的數(shù)據(jù)內(nèi)存數(shù)據(jù)庫，能應(yīng)對大量的事物頻繁的更新等實時性較高的操作

（2）結(jié)合了經(jīng)分的常規(guī)數(shù)據(jù)，對用戶做更細(xì)致的分群，過濾，提高營銷的效率

（3）多渠道統(tǒng)一管控，設(shè)置優(yōu)先策略，各營銷之間的并行關(guān)系，依賴關(guān)系等配置

2.4 數(shù)據(jù)完整性維護(hù)保障

（1）消除單點故障保障方式，通過多進(jìn)程部署，增加管理進(jìn)程控制，在進(jìn)程異常時保證數(shù)據(jù)不丟失。

1）增加管理模塊實時監(jiān)控各個進(jìn)程的活動狀態(tài)、控制數(shù)據(jù)流、收集進(jìn)程狀態(tài)。

2）所有模塊與管理模塊定時心跳。

3）當(dāng)進(jìn)程異常，管理模塊主動檢測，將數(shù)據(jù)分流到其他進(jìn)程。

（2）文件方式保障方式，在系統(tǒng)異?；蛑鲃舆\(yùn)維時，可以以保存文件的方式，保障數(shù)據(jù)完整性。

系統(tǒng)異常情況如下：

1）增加管理模塊實時監(jiān)控各個進(jìn)程的活動狀態(tài)、控制數(shù)據(jù)流、收集進(jìn)程狀態(tài)。

2）所有模塊與管理模塊定時心跳。

3）當(dāng)進(jìn)程異常，管理模塊主動檢測，將流數(shù)據(jù)先保存成文件，再由其他進(jìn)程補(bǔ)充處理文件。

（3）互聯(lián)網(wǎng)全量分析應(yīng)用平臺采用“DFI+DPI”兩種技術(shù)相結(jié)合分析數(shù)據(jù)業(yè)務(wù)。

監(jiān)測會話連接或數(shù)據(jù)流的狀態(tài)等流量行為初步分析判斷數(shù)據(jù)應(yīng)用并監(jiān)測應(yīng)用層協(xié)議特征、業(yè)務(wù)流和控制流關(guān)聯(lián)，協(xié)議行為判斷具體數(shù)據(jù)應(yīng)用。新增近50款應(yīng)用：如http 下載、http 瀏覽、微信、微博、BT、迅雷、PPStream、QQ、飛信、魔獸、PPLive、Skype…等。

2.5 實時精確AP推薦功能的實現(xiàn)

通過算法進(jìn)行基站和熱點匹配，預(yù)先配置區(qū)域規(guī)則。通過基站實時捕獲用戶GPRS上網(wǎng)行為，實時匹配目標(biāo)用戶屬性字段，實時推送目標(biāo)用戶到營銷管理平臺。

實時捕獲、實時匹配、實時推送基于實時消息接口：與網(wǎng)絡(luò)側(cè)的處理模塊銜接，采用MQ消息接口；與營銷管理平臺處理模塊的銜接采用WebService接口；內(nèi)部處理模塊銜接采用Socket接口。

對于用戶GPRS上網(wǎng)行為的實時捕獲，與網(wǎng)絡(luò)側(cè)協(xié)同，則直接復(fù)用了網(wǎng)絡(luò)側(cè)實時捕獲GPRS上網(wǎng)的能力，并實現(xiàn)實時對接到流量運(yùn)營平臺。

采用內(nèi)存實時匹配。業(yè)務(wù)應(yīng)用場景實時性要求高，且基本都是小批量用戶匹配。因此無法采用傳統(tǒng)的手段，即在數(shù)據(jù)庫中匹配、判斷用戶屬性字段，而采用在內(nèi)存中完成了這些處理，以保證處理的實時性。

2.6 人員、設(shè)備、數(shù)據(jù)，信息安全三維保證

信息安全永遠(yuǎn)的高壓線。復(fù)雜的項目實施和大量的敏感信息，使得信息安全有很多隱患。流量數(shù)據(jù)敏感信息較多，如用戶賬號信息、用戶位置信息、終端信息、訪問內(nèi)容信息、使用應(yīng)用信息。同時，項目實施過程復(fù)雜，項目實施人員多、廠商非PSO的人員參與多、實施工期長、涉及多個服務(wù)器環(huán)境。項目實施又繞不開數(shù)據(jù)，如何保障信息安全？

首先，從項目實施環(huán)境上物理分離。項目實施環(huán)境：分別搭建正式環(huán)境、測試環(huán)境、開發(fā)環(huán)境，三境分離。其中正式環(huán)境存放正式數(shù)據(jù)，測試環(huán)境的數(shù)據(jù)由正式環(huán)境分發(fā)生成，開發(fā)環(huán)境的數(shù)據(jù)由測試環(huán)境抽樣生成。

其次，從項目人員角色上明確權(quán)限。明確項目實施人員的角色，嚴(yán)格區(qū)分測試人員、開發(fā)人員。測試人員有人數(shù)限定。開發(fā)人員只能訪問開發(fā)環(huán)境，測試人員只能訪問測試環(huán)境。

第三，數(shù)據(jù)加密、歷史數(shù)據(jù)加強(qiáng)保障。測試環(huán)境中的敏感信息數(shù)據(jù)，事先準(zhǔn)備好加密程序或者算法，在數(shù)據(jù)分發(fā)時，進(jìn)行統(tǒng)一加密；測試環(huán)境的數(shù)據(jù)周期只能存在歷史數(shù)據(jù)，比如上個月或上個星期的。

2.7 功能架構(gòu)設(shè)計聚焦關(guān)鍵業(yè)務(wù)需求

如果建設(shè)全體系的監(jiān)控指標(biāo)、全方位的分析維度、全流程的系統(tǒng)功能？面對著系統(tǒng)提供的各式各樣的全面的系統(tǒng)功能，不僅增加了使用上的不便，也讓很多功能出現(xiàn)了局部重復(fù)，并失去了針對性。為了支撐系統(tǒng)大而全的應(yīng)用功能，系統(tǒng)處理的數(shù)據(jù)量往往增大了很多，這將直接增加系統(tǒng)運(yùn)行負(fù)荷，影響系統(tǒng)性能。建設(shè)大而全的系統(tǒng)，系統(tǒng)的建設(shè)周期會加長。這將可能會影響系統(tǒng)支撐業(yè)務(wù)發(fā)展的時效性。

流量運(yùn)營，目前尚處于剛起步階段，因此無法實現(xiàn)最全面的功能。且系統(tǒng)隨著業(yè)務(wù)的發(fā)展不斷有新需求，業(yè)務(wù)一直在發(fā)展，探索階段無法做最全面的系統(tǒng)。指標(biāo)是無窮盡的，換個單位，也許就變成另外一個指標(biāo)了。因此需要聚焦業(yè)務(wù)人員最為關(guān)心的指標(biāo)，然后努力實現(xiàn)它們。維度只是分析的角度，并非所有的角度都是正確的，因此需要聚焦業(yè)務(wù)人員最為需要的分析視角。系統(tǒng)功能是為業(yè)務(wù)發(fā)展服務(wù)的。而業(yè)務(wù)發(fā)展是有時間要求的。我們需要盡可能快的完成業(yè)務(wù)人員最為需要的系統(tǒng)功能支撐，這樣才是對業(yè)務(wù)最有效的支撐。

綜上，我們確定了系統(tǒng)的定位：不是純分析型系統(tǒng)，必須是支撐業(yè)務(wù)發(fā)展的系統(tǒng)。

裝備“長矛”-營銷能力互通：實現(xiàn)流量運(yùn)營平臺和營銷管理平臺對接，可以直接將流量運(yùn)營平臺的分析成果，如用戶群、熱門內(nèi)容和應(yīng)用等，直接作為營銷資源，用于營銷。例如：新入網(wǎng)用戶推薦功能，就是在流量運(yùn)營平臺監(jiān)控新入網(wǎng)用戶的終端型號和流量情況，捕捉適合推薦流量套餐的用戶后，推送至營銷平臺進(jìn)行營銷推薦。

裝備“盾牌”-服務(wù)能力互通：對于流量運(yùn)營平臺中生成的、可用于服務(wù)維系支撐的分析結(jié)果和資源，形成管理功能，在系統(tǒng)具備與外圍服務(wù)維系類系統(tǒng)能力互通后，即可使用。例如：終端配置指導(dǎo)功能，就是定期分析GPRS上網(wǎng)失敗和彩信發(fā)送失敗的清單數(shù)據(jù)，獲取失敗用戶終端型號。在與OTA平臺對接后，自動化向用戶推送終端彩信上網(wǎng)配置信息。

3 流量運(yùn)營平臺的應(yīng)用

開展基于流量運(yùn)營平臺開展自動化換機(jī)用戶營銷活動，實時發(fā)現(xiàn)用戶換機(jī)行為，通過服務(wù)新機(jī)用戶的關(guān)懷行動挖掘二次營銷機(jī)會。

根據(jù)終端換機(jī)應(yīng)用模型，平臺根據(jù)不同的用戶情況進(jìn)行分析，推送不同的換機(jī)服務(wù)營銷場景。可以查詢每款機(jī)型每天用戶數(shù)的變動情況，為設(shè)置具體的終端換機(jī)營銷場景提供支撐；

（1）可以根據(jù)操作系統(tǒng)、屏幕、雙卡等參數(shù)設(shè)置場景，進(jìn)行靈活配置；

（2）可通過“終端換機(jī)場景管理”新增所需的換機(jī)場景，從而實時抓取符合條件的換機(jī)用戶；

（3）可查看已設(shè)置的換機(jī)場景及具體配置信息；

（4）可直接點擊“營銷”按鈕，實現(xiàn)營銷方案的配置和生成，針對換機(jī)用戶發(fā)起實時營銷。

將有換機(jī)行為的，在活動中有套餐升級的用戶與未升級用戶進(jìn)行對比，觀察其流量變化。

（5）從數(shù)據(jù)中可以看出，有套餐升級的用戶5月提升量明顯高于未升級的用戶，提升比例大于未升級用戶的2倍以上。

（6）5元升10元的用戶提升比例最高，達(dá)205%；10元升20元相對較低，提升比例為88%。

（7）5元升20元的用戶人均流量低于10元升20元的用戶，但提升比例高于10元升20元用戶。

（8）觀察換機(jī)用戶在換機(jī)前后，套餐升級前后的流量變化，以期找出最合適的換機(jī)營銷時間。

4 項目總結(jié)及展望

作為運(yùn)營商流量經(jīng)營時代的主要分析平臺，上海移動流量運(yùn)營分析系統(tǒng)自2012年建設(shè)以來，逐步實現(xiàn)了流量偏好分析、沉默與低使用量客戶促進(jìn)、流量促進(jìn)提升、網(wǎng)絡(luò)協(xié)同分析、終端運(yùn)營應(yīng)用、高價值用戶流失預(yù)警、新業(yè)務(wù)營銷、運(yùn)營效果評估這八大類流量分析模型，以及四大類關(guān)鍵時刻場景運(yùn)營、八類屬地化深度分析報表，并在實際生產(chǎn)中取得了較好應(yīng)用效果，有力的支撐了大數(shù)據(jù)時代的流量經(jīng)營戰(zhàn)略落地。

此外，對于互聯(lián)網(wǎng)流量信息數(shù)據(jù)的研究結(jié)果，如用戶偏好模型、終端信息庫、應(yīng)用特征庫、內(nèi)容分詞分類等，我們該如何“共享”？這也是項目組不斷思考的，對于共性化結(jié)果，建議建立共享信息庫；個性化結(jié)果，建立交流平臺。對于共性化的的研究結(jié)果，建立共享信息庫：如終端信息庫：終端信息，全國通用；應(yīng)用特征庫：互聯(lián)網(wǎng)應(yīng)用特征，無地域差別。對于個性化的的研究結(jié)果，則可建立交流平臺，便于借鑒好的算法、模型，交流研究經(jīng)驗。如用戶偏好模型：通過交流平臺借鑒思路、算法，交流建模經(jīng)驗；內(nèi)容分詞分類：通過交流平臺借鑒分類體系，交流內(nèi)容分類標(biāo)簽經(jīng)驗。

高速的4G時代下，流量運(yùn)營也將不斷的支撐新業(yè)務(wù)新技術(shù)的發(fā)展，結(jié)合營銷和服務(wù)不斷為用戶提供更便利的服務(wù)感知，順應(yīng)移動互聯(lián)網(wǎng)的發(fā)展，向擴(kuò)大流量規(guī)模、提升流量層次、豐富流量內(nèi)涵為經(jīng)營方向發(fā)展，助力轉(zhuǎn)變運(yùn)營商的收入結(jié)構(gòu)，實現(xiàn)和用戶的雙贏。