上海移動用戶滿意度評分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析系統(tǒng)介紹

黃建華 中國移動通信集團上海有限公司網(wǎng)絡(luò)部工程師

邵四清 北京中創(chuàng)信測信息技術(shù)有限公司監(jiān)測系統(tǒng)產(chǎn)品部工程師

中創(chuàng)信測技術(shù)專欄

上海移動用戶滿意度評分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析系統(tǒng)介紹

黃建華 中國移動通信集團上海有限公司網(wǎng)絡(luò)部工程師

邵四清 北京中創(chuàng)信測信息技術(shù)有限公司監(jiān)測系統(tǒng)產(chǎn)品部工程師

編者按：為了促進我國手機市場更好更快地發(fā)展，移動集團和第三方評估機構(gòu)有必要定期進行手機用戶滿意度抽樣評分。由中國移動通信集團上海有限公司黃建華和北京中創(chuàng)信測信息技術(shù)有限公司邵四清所撰《上海移動用戶滿意度評分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析系統(tǒng)介紹》一文通過中創(chuàng)信測信令監(jiān)測系統(tǒng)對上海用戶的滿意度評分進行了跟蹤分析和評估，了解了上海具體用戶的真實網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，可供相關(guān)網(wǎng)絡(luò)維護人員參考、借鑒。

移動集團和第三方評估機構(gòu)需定期進行手機用戶滿意度抽樣評分，內(nèi)容包含網(wǎng)絡(luò)整體質(zhì)量、語音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務(wù)質(zhì)量等。本文基于上海移動用戶滿意度調(diào)查抽樣用戶的評分，通過中創(chuàng)信測信令監(jiān)測系統(tǒng)對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，實現(xiàn)針對指定抽樣用戶號碼進行業(yè)務(wù)記錄詳盡質(zhì)量評估分析和對網(wǎng)絡(luò)質(zhì)量的問題定位分析。作為信令監(jiān)測系統(tǒng)數(shù)據(jù)記錄的增值應(yīng)用，本文值得維護人員學(xué)習(xí)參考。

用戶滿意度評分 信令監(jiān)測系統(tǒng) 網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量 指標(biāo)相關(guān)度分析

1 用戶滿意度分析需求描述

移動集團和第三方評估機構(gòu)需定期進行手機用戶滿意度抽樣評分，內(nèi)容包含網(wǎng)絡(luò)整體質(zhì)量、語音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務(wù)質(zhì)量等項?；谏虾Ｒ苿佑脩魸M意度調(diào)查抽樣用戶的評分，上海移動希望通過信令監(jiān)測系統(tǒng)對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)，實現(xiàn)針對指定抽樣用戶號碼進行業(yè)務(wù)記錄詳盡質(zhì)量評估分析和對網(wǎng)絡(luò)質(zhì)量的問題定位分析。具體需求如下：

（1）根據(jù)提供的用戶滿意度調(diào)查表，對調(diào)查的分類項目及評分進行跟蹤評估。調(diào)查表用戶號碼必須保密，不能對外透露任何信息，否則要承擔(dān)相應(yīng)責(zé)任。

（2）針對調(diào)查表的相關(guān)號碼提取信令監(jiān)測系統(tǒng)最近一個月涉及網(wǎng)絡(luò)覆蓋和語音質(zhì)量、短信/彩信、上網(wǎng)質(zhì)量的記錄，進行用戶本地移動軌跡和用戶業(yè)務(wù)質(zhì)量評估分析。

（3）針對用戶業(yè)務(wù)記錄進行用戶業(yè)務(wù)質(zhì)量的時間、小區(qū)（區(qū)分住宅、辦公、地鐵、商務(wù)等）、終端類型、操作系統(tǒng)、業(yè)務(wù)類型等多維度分析，定位用戶質(zhì)量問題是終端故障、網(wǎng)絡(luò)覆蓋問題、網(wǎng)絡(luò)運營故障等。

2 針對用戶滿意度專項分析需求的專用系統(tǒng)

（1）中創(chuàng)信測在一臺服務(wù)器中安裝相應(yīng)軟件和數(shù)據(jù)庫，并完成用戶網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量指標(biāo)綜合統(tǒng)計功能開發(fā)：

●用戶滿意度CS域客戶感知指標(biāo)統(tǒng)計，可以進行多天統(tǒng)計分析，具體參見圖1；針對用戶滿意度調(diào)查評分表增加中高端標(biāo)志等維度關(guān)聯(lián)統(tǒng)計，如圖2所示。

●用戶滿意度PS域客戶感知指標(biāo)統(tǒng)計，可以進行多天、小區(qū)、終端類型等統(tǒng)計分析，具體參見圖3；針對用戶滿意度調(diào)查評分表增加手機上網(wǎng)整體質(zhì)量評分等維度關(guān)聯(lián)統(tǒng)計，具體指標(biāo)如圖4所示。

●CSFB業(yè)務(wù)專項統(tǒng)計分析模塊如圖5所示。

（2）由于上海移動用戶數(shù)據(jù)涉及2G/3G/4G業(yè)務(wù)，因此涉及的數(shù)據(jù)庫表特別多，按滿意度跟蹤用戶表過濾提取一天的用戶數(shù)據(jù)，在系統(tǒng)負(fù)荷較低的情況下，至少需要4h。針對滿意度分析用戶的數(shù)據(jù)倒表程序，在夜間定時啟動。

圖1 用戶滿意度CS域客戶感知指標(biāo)統(tǒng)計功能

3 系統(tǒng)分析指標(biāo)改進完善

3.1 用戶滿意度網(wǎng)絡(luò)質(zhì)量分析指標(biāo)說明

在系統(tǒng)中增加了“主叫時被叫號碼重復(fù)次數(shù)”和“被叫時主叫號碼重復(fù)次數(shù)”等指標(biāo)，以便輔助分析用戶撥打和接聽電話的感受?？傮w分析指標(biāo)參見表1（含相關(guān)算法的說明）。

對于已經(jīng)收集的數(shù)據(jù)再次重新分析生成每個用戶的按天統(tǒng)計表。

KPI指標(biāo)算法說明如下：

位置更新成功率=（位置成功次數(shù)/位置更新總次數(shù)）%

位置更新失敗率=（位置失敗次數(shù)/位置更新總次數(shù)）%

總掉話次數(shù)=主叫掉話次數(shù)+被叫掉話次數(shù)

總掉話率=總掉話次數(shù)/（主叫應(yīng)答次數(shù)+被叫尋呼次數(shù)-尋呼失敗次數(shù)）

尋呼成功率=（用戶被叫尋呼總次數(shù)-尋呼失敗次數(shù)）/用戶被叫尋呼總次數(shù)

SMS總失敗次數(shù)=MOSM次數(shù)-MOSM成功次數(shù)+（MTSM次數(shù)-MTSM成功次數(shù)）

圖2 用戶滿意度CS域客戶感知指標(biāo)

SMS總失敗率=（總失敗次數(shù)/（MTSM次數(shù)+ MOSM次數(shù)））%

后續(xù)對相關(guān)指標(biāo)與用戶滿意度評分進行相關(guān)性分析。

圖3 用戶滿意度PS域客戶感知指標(biāo)統(tǒng)計功能

圖4 用戶滿意度PS域客戶感知指標(biāo)

3.2 分析周期及樣本量說明

在2014年12月10日，現(xiàn)場分析、統(tǒng)計2014年11月24日—12月7日CS和PS域兩周數(shù)據(jù)，按用戶的IMSI號碼合并統(tǒng)計項。對于評分為空的用戶，進行去除處理。因此，獲得的有效樣本數(shù)據(jù)量為：CS域790用戶；PS域上網(wǎng)分析用戶612個。

對于每個IMSI再區(qū)分中高端標(biāo)志、KPI指標(biāo)與網(wǎng)絡(luò)整體質(zhì)量評分進行相關(guān)性分析。經(jīng)過單項指標(biāo)分析后，再決定增加平均值相關(guān)性分析，因為用戶單項指標(biāo)與評分相關(guān)性弱。下面是詳細(xì)的指標(biāo)和用戶評分相關(guān)性分析圖表說明。

圖5 用戶滿意度CSDB業(yè)務(wù)專項指標(biāo)

表1 用戶滿意度網(wǎng)絡(luò)質(zhì)量分析維度和指標(biāo)

4 用戶滿意度CS域業(yè)務(wù)記錄相關(guān)性分析

4.1 按指標(biāo)均值相關(guān)性分析

針對不同評分值，計算獲取相關(guān)用戶的多項指標(biāo)平均值（見表2）。

（1）從圖6可以看出，用戶評分與尋呼成功率、位置更新成功率、SMS失敗率指標(biāo)之間沒有強相關(guān)性指示。

表2 滿意度用戶質(zhì)量CS域業(yè)務(wù)質(zhì)量指標(biāo)平均值

圖6 網(wǎng)絡(luò)整體質(zhì)量與業(yè)務(wù)指標(biāo)的相關(guān)性分析

（2）從圖7、8可以看出，用戶評分與平均掉話次數(shù)、掉話率之間有一定的相關(guān)性指示。即評分高的用戶平均掉話次數(shù)低，與掉話率也有弱相關(guān)性。

（3）從圖9可以看出，用戶評分與尋呼失敗次數(shù)、位置更新失敗次數(shù)、SMS失敗次數(shù)、重復(fù)呼叫次數(shù)等指標(biāo)之間沒有強相關(guān)性指示。

4.2 按單項指標(biāo)相關(guān)性分析

針對所有有效評分用戶的單項指標(biāo)與其所給的評分值進行全部排序及關(guān)聯(lián)分析，可見下面各個指標(biāo)的相關(guān)性分析圖示：

（1）用戶評分與位置更新失敗次數(shù)沒有明顯的相關(guān)性。即使評分高的用戶也存在較高的失敗次數(shù)，而且非中高端用戶即使失敗次數(shù)高，也有評分高的用戶存在。位置更新成功率和失敗率也類似，具體參見圖10、11所示，以區(qū)分中高端用戶和非中高端用戶。

（2）用戶評分與總掉話次數(shù)沒有強的相關(guān)性。即使評分高的用戶也都存在較高的掉話次數(shù)，也有掉話次數(shù)目前是0的用戶，而且非中高端用戶即使掉話次數(shù)高，也有評分高的用戶存在，只是比例有所不同，具體可參見平均值分析說明，掉話率也類似。

圖7 網(wǎng)路整體質(zhì)量與總掉話次數(shù)指標(biāo)的相關(guān)性分析

圖8 網(wǎng)路整體質(zhì)量與總掉話率指標(biāo)的相關(guān)性分析

圖9 網(wǎng)路整體質(zhì)量與業(yè)務(wù)次數(shù)指標(biāo)的相關(guān)性分析

圖10 中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標(biāo)的相關(guān)性分析

（3）用戶評分與尋呼成功率和尋呼成功次數(shù)沒有強的相關(guān)性。即使評分低的用戶也都存在較高的成功率和成功次數(shù)，指示評分高的用戶尋呼成功率較高，即所占比例較高。另外，8～10高分用戶的100%尋呼成功率占比高或人數(shù)多。

（4）用戶評分與主叫次數(shù)沒有強的相關(guān)性。用戶評分高8～10且主叫次數(shù)高的所占比例明顯高，也即高話務(wù)用戶對于網(wǎng)絡(luò)質(zhì)量的整體評分都是高的。

（5）用戶評分與短信發(fā)送和接收失敗次數(shù)、總失敗率沒有強的相關(guān)性，但對于低評分用戶確實存在高失敗次數(shù)，無論是中高端還是非中高端。

5 用戶滿意度PS域上網(wǎng)業(yè)務(wù)記錄相關(guān)性分析

5.1 按PS業(yè)務(wù)指標(biāo)均值相關(guān)性分析

針對PS域相關(guān)全部用戶，按照網(wǎng)絡(luò)整體質(zhì)量評分取平均值，然后進行各項指標(biāo)的相關(guān)性分析（見表3）。

用戶網(wǎng)絡(luò)質(zhì)量整體評分與相關(guān)成功率、響應(yīng)時延、下載速率等指標(biāo)沒有相關(guān)性；與HTTP下載平均流量有弱相關(guān)性，即流量高的用戶對于網(wǎng)絡(luò)質(zhì)量評分高。

圖11 非中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標(biāo)的相關(guān)性分析

5.2 按PS域單項指標(biāo)用戶相關(guān)性分析

通過對PS域每個用戶的上網(wǎng)業(yè)務(wù)質(zhì)量指標(biāo)進行排序，然后按照網(wǎng)絡(luò)整體質(zhì)量評分進行有效用戶的相關(guān)分析，初步分析與各項指標(biāo)的相關(guān)性較弱。

6 用戶滿意度評分與網(wǎng)絡(luò)質(zhì)量相關(guān)性分析初步結(jié)論

（1）經(jīng)過多個指標(biāo)相關(guān)性分析，用戶整體網(wǎng)絡(luò)質(zhì)量評分與網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量多項指標(biāo)相關(guān)性程度較低。

（2）用戶整體網(wǎng)絡(luò)質(zhì)量評分與用戶的平均掉話次數(shù)有弱相關(guān)性?？舍槍Φ粼捫^(qū)類型居住區(qū)、地鐵、商務(wù)區(qū)等進行用戶歸類跟蹤分析。

（3）用戶整體網(wǎng)絡(luò)質(zhì)量評分與用戶的總話務(wù)量趨勢基本一致，即高話務(wù)量用戶的評分相對較高，無論中高端還是非中高端。另外，PS業(yè)務(wù)平均流量高的用戶滿意度評分相對較高。

（4）網(wǎng)絡(luò)質(zhì)量滿意度評分是用戶對網(wǎng)絡(luò)質(zhì)量一個相對比較主觀的評價，切入點除從網(wǎng)絡(luò)質(zhì)量入手外，還可從用戶心理、外部因素（例如運營商資費、服務(wù)）等多方面維度進行進一步深入研究。

表3 滿意度用戶質(zhì)量PS域上網(wǎng)業(yè)務(wù)質(zhì)量指標(biāo)平均值