運營商網(wǎng)絡運營大數(shù)據(jù)應用實踐研究

宮云平 向勇 嚴宇

【摘 要】基于電信運營商的大數(shù)據(jù)資源，提出了網(wǎng)絡運營大數(shù)據(jù)平臺匯聚的數(shù)據(jù)范圍、系統(tǒng)定位及功能架構，并結合4G網(wǎng)絡的建設推廣，闡述了如何利用網(wǎng)絡運營大數(shù)據(jù)平臺的海量數(shù)據(jù)資源來全面評估移動互聯(lián)網(wǎng)業(yè)務感知，挖掘網(wǎng)絡運營大數(shù)據(jù)平臺在網(wǎng)絡精細化運營方面的價值，為運營數(shù)據(jù)資源的內部應用提供參考。

大數(shù)據(jù) 網(wǎng)絡運營 用戶感知 關鍵質量指標 關鍵績效指標

【關鍵詞】doi：10.3969/j.issn.1006-1010.2016.04.017 中圖分類號：TN91 文獻標識碼：A 文章編號：1006-1010（2016）04-0087-05

引用格式：宮云平，向勇，嚴宇. 運營商網(wǎng)絡運營大數(shù)據(jù)應用實踐研究[J]. 移動通信， 2016，40（4）： 87-91.

1 網(wǎng)絡運營大數(shù)據(jù)概述

“大數(shù)據(jù)是金礦，蘊藏著巨大的價值”。毋庸置疑，電信運營商擁有大數(shù)據(jù)，那么電信運營商的大數(shù)據(jù)有哪些呢？主要包括如下：

（1）客戶信息：包括客戶真實的注冊信息、業(yè)務訂購情況、消費情況、繳費情況、投訴情況等靜態(tài)信息，這部分信息主要存在于CRM（Customer Relationship Management，客戶關系管理）、客服系統(tǒng)中，信息圍繞“客戶/人”這個“主KEY”來關聯(lián)聚集，反映一個用戶在使用電信業(yè)務的基本情況。

（2）用戶實時業(yè)務信息：包括用戶的實時位置信息、正在使用的業(yè)務類型、業(yè)務內容、APP名稱、終端型號版本、業(yè)務使用感知（時延、成功率、速率）等，主要是刻畫用戶行為，反映用戶使用業(yè)務時實時體驗的動態(tài)信息，一般運營商采用部署探針、鏡像抓包等方式捕獲存儲后再進行分析。

（3）網(wǎng)絡/設備運行信息：包括反映各設備/各端口/各鏈路的速率、帶寬、抖動、延時等硬件運行情況的信息以及反映網(wǎng)絡情況的業(yè)務統(tǒng)計信息（如無線信號強度/覆蓋/干擾等一系列指標、各端口消息收發(fā)成功率及處理時延、各協(xié)議定義的計數(shù)器情況、性能指標等）等，這類信息一般通過網(wǎng)管系統(tǒng)監(jiān)控和采集。

其中，用戶實時業(yè)務信息和網(wǎng)絡/設備運行信息都是由現(xiàn)網(wǎng)實時產(chǎn)生、實時采集的動態(tài)信息，這類信息除了包含用戶使用電信業(yè)務及互聯(lián)網(wǎng)業(yè)務的行為特征外，更重要的是反映了用戶使用業(yè)務時的網(wǎng)絡實時情況，對運營商提高網(wǎng)絡質量和用戶使用業(yè)務時的感知具有非常重要的意義。本文即圍繞闡述網(wǎng)絡/設備運行信息，輔以用戶實時業(yè)務信息，探索網(wǎng)絡運營大數(shù)據(jù)在內部精細化運營方面應用實踐。

2 網(wǎng)絡運營大數(shù)據(jù)平臺架構

與其他海量數(shù)據(jù)相比，網(wǎng)絡運營大數(shù)據(jù)具備以下特點：

（1）實時性

通信網(wǎng)絡無時無刻不在處理各類業(yè)務，網(wǎng)絡的運行情況也是實時變化的，網(wǎng)絡精細化運營要求根據(jù)網(wǎng)絡實時情況，及時獲得用戶的實時業(yè)務感知，動態(tài)調配資源，提高資源的利用率，以保障用戶良好的實時業(yè)務體驗。

（2）關聯(lián)性

用戶使用一次業(yè)務會有多次交互過程，涉及到運營商網(wǎng)絡的多個專業(yè)、多個設備，如何將分散在各設備上的海量實時的業(yè)務信息關聯(lián)起來，還原用戶使用業(yè)務時的真實場景一直都是網(wǎng)絡運營中的一個難題。

（3）清單數(shù)據(jù)快捷查詢

網(wǎng)絡運營數(shù)據(jù)的另外一個應用場景就是要處理用戶的網(wǎng)絡投訴，找出故障點及時修復，故需要對各類信令/消息/日志等原始清單數(shù)據(jù)進行查詢，以便定位用戶故障發(fā)生的具體原因。因此，網(wǎng)絡運營大數(shù)據(jù)在利用海量信息分析趨勢、整體規(guī)律等的同時，要能夠滿足對清單數(shù)據(jù)的直接獲取使用。

根據(jù)網(wǎng)絡運營數(shù)據(jù)的特點，網(wǎng)絡運營大數(shù)據(jù)處理平臺應滿足實時業(yè)務流處理、海量數(shù)據(jù)多維關聯(lián)、清單數(shù)據(jù)快捷查詢的需要，因此運營商網(wǎng)絡運營大數(shù)據(jù)處理平臺系統(tǒng)架構（見圖1）和功能架構（見圖2）設計如下：

如圖1所示，網(wǎng)絡運營大數(shù)據(jù)處理平臺系統(tǒng)架構包括各專業(yè)數(shù)據(jù)源、數(shù)據(jù)匯聚層、數(shù)據(jù)清洗框架、數(shù)據(jù)共享平臺、數(shù)據(jù)探索平臺、各應用平臺。其中，各專業(yè)數(shù)據(jù)源包括目前各專業(yè)網(wǎng)管/支撐系統(tǒng)、信令監(jiān)測采集系統(tǒng)、自動測試系統(tǒng)、電子運維系統(tǒng)、資源系統(tǒng)、企業(yè)GIS（Geographic Information System，地理信息系統(tǒng)）系統(tǒng)等，網(wǎng)絡運營大數(shù)據(jù)處理平臺將分散在各專業(yè)的運營數(shù)據(jù)統(tǒng)一匯聚，實現(xiàn)數(shù)據(jù)的集約統(tǒng)一，為后續(xù)的關聯(lián)挖掘分析提供了基礎。數(shù)據(jù)清洗框架主要是對原始數(shù)據(jù)進行脫敏加密、剔除異常數(shù)據(jù)、輸出數(shù)據(jù)源的統(tǒng)計信息等，數(shù)據(jù)清洗規(guī)則可以根據(jù)需求和數(shù)據(jù)源的情況靈活配置輸入。經(jīng)過清洗后的數(shù)據(jù)進入網(wǎng)絡運營數(shù)據(jù)共享平臺，數(shù)據(jù)共享平臺為基于運營商運營數(shù)據(jù)的各應用實踐提供數(shù)據(jù)資源，同時與數(shù)據(jù)探索平臺互聯(lián)。數(shù)據(jù)探索平臺主要是針對大數(shù)據(jù)進行挖掘分析和模型開發(fā)，找出數(shù)據(jù)價值和應用方向。

圖1 網(wǎng)絡運營大數(shù)據(jù)處理平臺系統(tǒng)架構

如圖2所示，網(wǎng)絡運營大數(shù)據(jù)處理平臺功能架構從下向上分為數(shù)據(jù)采集層、平臺能力層、服務接入層。其中，平臺能力層作為核心能力層，包括計算框架、算法服務、數(shù)據(jù)加速、能力提供等功能模塊，且系統(tǒng)還提供基礎服務、數(shù)據(jù)管理、運營管理等通用功能?；诖斯δ芸蚣?，網(wǎng)絡運營大數(shù)據(jù)處理平臺可以支持離線大數(shù)據(jù)挖掘計算和實時數(shù)據(jù)流的處理分析，實現(xiàn)在線數(shù)據(jù)探索、即席查詢/智能取數(shù)、過程可視化、模型和標簽管理、數(shù)據(jù)血緣分析等數(shù)據(jù)處理能力，以及海量數(shù)據(jù)匯聚和雙向遷移、大規(guī)模作業(yè)調度、一站式集中監(jiān)控和集中配置等平臺運營能力。

圖2 網(wǎng)絡運營大數(shù)據(jù)處理平臺功能架構

網(wǎng)絡運營大數(shù)據(jù)處理平臺將運營商現(xiàn)網(wǎng)運營中實時產(chǎn)生的各類生產(chǎn)數(shù)據(jù)統(tǒng)一匯聚起來，進行基礎的清洗去噪、脫敏加密、跨專業(yè)業(yè)務流關聯(lián)和安全隔離等處理后，供各類數(shù)據(jù)應用實踐進行挖掘、分析、探索和呈現(xiàn)。

3 基于網(wǎng)絡運營大數(shù)據(jù)的應用實踐

網(wǎng)絡運營大數(shù)據(jù)蘊含著大量的用戶使用業(yè)務時的感知體驗信息以及運營商各設備的實時運行信息，有多種應用方向可以挖掘實踐。2015年是中國電信的4G用戶的爆發(fā)之年，將4G網(wǎng)絡下移動互聯(lián)網(wǎng)業(yè)務感知評估及優(yōu)化這一課題作為電信網(wǎng)絡運營大數(shù)據(jù)應用實踐的切入點，可全面評估在4G網(wǎng)絡快速推進建設時用戶感知的變化情況，以便及時調整資源布放，不斷提升4G網(wǎng)絡下的數(shù)據(jù)業(yè)務感知，支撐中國電信4G品牌運營。

3.1 移動互聯(lián)網(wǎng)業(yè)務感知評估方法

移動互聯(lián)網(wǎng)業(yè)務屬于典型的“20/80效應”，典型的業(yè)務場景覆蓋了大部分用戶：統(tǒng)計分析表明，用戶使用新聞/門戶網(wǎng)頁瀏覽、視頻、即時通信等應用的流量和時長占比超過80%；而每種類型的業(yè)務也呈現(xiàn)較明顯的拖尾效應，采用TOP n的方式能夠涵蓋大部分情形。因此，可以通過分析用戶在網(wǎng)頁瀏覽、視頻、即時通信這3種典型業(yè)務場景下用戶感知的影響因素，來代表移動互聯(lián)網(wǎng)業(yè)務感知的總體情況。具體分析如下：

（1）新聞/門戶網(wǎng)頁瀏覽類

DNS（Domain Name System，域名系統(tǒng)）延時：用戶不易感知。

TCP（Transmission Control Protocol，傳輸控制協(xié)議）延時：用戶不易感知。

頁面訪問成功率：用戶比較容易感知，但用戶能夠愿意等待的時間也是有限的，如果等待時間超長，即使網(wǎng)頁能夠打開，時間上用戶可能提前關閉。

首包延時：用戶能夠在瀏覽器中看到有響應，用戶容易感知。

頁面打開延時：從訪問頁面開始到頁面打開所需要的等待時間，用戶最容易感知。

（2）視頻類

播放延時：用戶容易感知，與下載速率、播放軟件緩沖大小等有關系。在終端的客戶端上容易檢測，同下載速率有很大關系。

視頻卡頓：用戶容易感知，與下載速率、播放軟件緩沖大小、視頻節(jié)目源碼流速率等有關。

視頻下載速率：容易測量，能夠很大程度上反映視頻播放的感知情況。

（3）即時通信類

消息發(fā)送/接收延時：用戶容易感知，但即時通信類應用定位的準實時特性決定了用戶對消息發(fā)送/接收的延時不敏感。

消息上傳/下載速率：用戶不易感知，即時通信以小流量應用為主，對速率不是非常敏感。

消息發(fā)送/接收成功率：用戶容易感知，體現(xiàn)核心需求。

綜上所述，對于網(wǎng)頁瀏覽類可以使用首包延時和頁面打開延時，視頻類可以使用視頻下載速率，即時通信類可以使用消息發(fā)送/接收成功率作為移動互聯(lián)網(wǎng)業(yè)務感知的KQI（Key Quality Indicator，關鍵質量指標），根據(jù)不同用戶使用這3類業(yè)務的時長占比，通過一定的加權算法來綜合評估4G網(wǎng)絡下移動互聯(lián)網(wǎng)用戶使用業(yè)務時的感知情況。

3.2 移動互聯(lián)網(wǎng)業(yè)務感知指標采集及建模分析

為了獲取3類典型移動互聯(lián)網(wǎng)業(yè)務（網(wǎng)頁、視頻、即時通信）的4個KQI，采用在4G核心網(wǎng)的SGW側部署DPI（Deep Packet Inspection，深度包檢測）監(jiān)測系統(tǒng)，抓取全網(wǎng)移動用戶使用業(yè)務時的KQI，實時掌握全網(wǎng)用戶的感知體驗情況，建立全網(wǎng)用戶業(yè)務感知綜合評估模型。同時，采集安裝在終端上的APP測試數(shù)據(jù)，獲取友好測試用戶的端到端KQI指標，通過友好用戶端到端的KQI指標進一步回歸驗證全網(wǎng)用戶業(yè)務感知綜合評估模型，從而獲得移動互聯(lián)網(wǎng)業(yè)務感知的穩(wěn)定、客觀的評估模型。

以網(wǎng)頁瀏覽業(yè)務為例，KQI指標的采集示意圖如圖3所示。

如圖3所示，APP測量點部署在用戶終端上，可以采集到最能反映真實用戶感知的KQI指標，但由于數(shù)量有限，屬于少量抽樣數(shù)據(jù)；DPI檢測點部署在網(wǎng)絡側，能夠采集到全網(wǎng)用戶使用所有業(yè)務時的KQI指標，通過兩者結合搭建全網(wǎng)用戶業(yè)務感知綜合評估模型。

3.3 移動互聯(lián)網(wǎng)業(yè)務感知評估實施及

效果評估

根據(jù)全網(wǎng)用戶業(yè)務感知綜合評估模型的計算分析，可以隨時掌握全網(wǎng)用戶感知。對于用戶感知差的區(qū)域及時間段進行端到端關聯(lián)、逐層鉆取分析，找出導致用戶感知差的因素，有針對性地開展優(yōu)化整改工作。

根據(jù)組網(wǎng)拓撲和業(yè)務流程，將KQI逐層映射分解到網(wǎng)絡設備的運行指標：無線網(wǎng)KPI（Key Performance Indicator，關鍵績效指標）指標、信令監(jiān)測計算生成的KQI/KPI指標、承載網(wǎng)的KPI指標、EPC（核心網(wǎng)）網(wǎng)管KPI指標以及DPI系統(tǒng)計算生成的KQI/KPI指標等，如圖4所示。

如圖4所示，將KQI指標最終映射成各網(wǎng)絡上的運行指標KPI，從而達到監(jiān)測網(wǎng)絡和優(yōu)化網(wǎng)絡運行指標來提升移動互聯(lián)網(wǎng)業(yè)務感知的目的。該映射模型通過“指標采集→KQI評估→KPI指標優(yōu)化→再采集評估”閉環(huán)流程的不斷反饋優(yōu)化，最終完成從用戶感知到網(wǎng)絡運行指標的建模關聯(lián)，將用戶感知的提升落實到日常的網(wǎng)絡運行維護工作上，使得網(wǎng)絡維護和優(yōu)化工作有的放矢，資源投放和利用更加高效。

移動互聯(lián)網(wǎng)業(yè)務感知評估應用從用戶感知指標的采集提取建模到KQI指標向KPI指標的映射分析，充分利用了網(wǎng)絡運營大數(shù)據(jù)平臺的跨專業(yè)海量數(shù)據(jù)，并采用Hadoop架構下的Hive、Spark等組件進行海量數(shù)據(jù)的存儲、處理和建模分析，驗證了網(wǎng)絡運營大數(shù)據(jù)平臺對各數(shù)據(jù)應用的支撐能力。

4 結束語

大數(shù)據(jù)技術研究及應用是近年來業(yè)界熱炒的概念，無論是傳統(tǒng)行業(yè)還是新型行業(yè)，都希望通過海量數(shù)據(jù)分析挖掘數(shù)據(jù)價值，從而發(fā)現(xiàn)應用商機，產(chǎn)生新的盈利點。本文在研究分析電信運營商網(wǎng)絡運營大數(shù)據(jù)的基礎上，提出了網(wǎng)絡運營大數(shù)據(jù)的系統(tǒng)架構及構建建議，并進行了基于現(xiàn)網(wǎng)實時運行數(shù)據(jù)的內部應用實踐探索，為運營商內部精細化運營提供參考。

參考文獻：

[1] 孟小峰，慈祥. 大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J]. 計算機研究與發(fā)展， 2013（1）： 146-169.

[2] 李建中，劉顯敏. 大數(shù)據(jù)的一個重要方面：數(shù)據(jù)可用性[J]. 計算機研究與發(fā)展， 2013（6）： 1147-1162.

[3] 王元卓，靳小龍，程學旗. 網(wǎng)絡大數(shù)據(jù)：現(xiàn)狀與展望[J]. 計算機學報， 2013（6）： 1125-1138.

[4] 韓晶. 大數(shù)據(jù)服務若干關鍵技術研究[D]. 北京： 北京郵電大學， 2013.

[5] 李學龍，龔海剛. 大數(shù)據(jù)系統(tǒng)綜述[J]. 中國科學： 信息科學， 2015（1）： 1-44.

[6] 李文蓮，夏健明. 基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J]. 中國工業(yè)經(jīng)濟， 2013（5）： 83-95.

[7] 馮登國，張敏，李昊. 大數(shù)據(jù)安全與隱私保護[J]. 計算機學報， 2014（1）： 246-258.

[8] 孫大為，張廣艷，鄭緯民. 大數(shù)據(jù)流式計算：關鍵技術及系統(tǒng)實例[J]. 軟件學報， 2014（4）： 839-862.

[9] 張引，陳敏，廖小飛. 大數(shù)據(jù)應用的現(xiàn)狀與展望[J]. 計算機研究與發(fā)展， 2013（S2）： 216-233.

[10] 盧輝. 數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)：思路、方法、技巧與應用[M]. 北京： 機械工業(yè)出版社， 2013.

[11] 中國電信客戶感知項目組. 中國電信移動網(wǎng)業(yè)務感知分析系統(tǒng)功能規(guī)范、技術規(guī)范[S]. 2015.