面向用戶體驗的IT指標(biāo)管理研究與應(yīng)用

林文鋒，黃國文

（中國移動通信集團(tuán)廣東有限公司 廣州 510623）

1 引言

電信運營企業(yè)為了企業(yè)運營管理的需要，構(gòu)建了數(shù)量龐大的運營支撐系統(tǒng)，而這些系統(tǒng)主機(jī)數(shù)量多、網(wǎng)絡(luò)分布廣、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜；網(wǎng)絡(luò)設(shè)備由不同廠商供應(yīng)，多種系統(tǒng)及網(wǎng)絡(luò)協(xié)議并存。另一方面，系統(tǒng)和網(wǎng)絡(luò)維護(hù)人員數(shù)量有限，系統(tǒng)的日常管理和維護(hù)相當(dāng)困難。由于缺乏統(tǒng)一的IT監(jiān)控管理支撐手段，IT系統(tǒng)的運營能力不足，同時也影響業(yè)務(wù)的支撐與響應(yīng)。為此，電信運營商需要引入以流程為導(dǎo)向、以用戶滿意度和服務(wù)品質(zhì)為核心的IT服務(wù)管理（ITSM）理念，對其網(wǎng)絡(luò)、主機(jī)和數(shù)據(jù)庫系統(tǒng)等進(jìn)行全面、集中、有效的監(jiān)控和管理。通過實施ITSM使IT系統(tǒng)具有高效性、實用性和可擴(kuò)展性，并從根本上轉(zhuǎn)變管理手段，提高管理水平，規(guī)范管理流程，從而提高整個計算機(jī)系統(tǒng)的穩(wěn)定性和可靠性，降低設(shè)備故障率，保障各業(yè)務(wù)系統(tǒng)平穩(wěn)、健康地運行。

IT服務(wù)管理系統(tǒng)一般由IT服務(wù)管理和IT監(jiān)控兩部分組成，IT服務(wù)管理平臺主要實現(xiàn)IT運行過程中的日常工作支撐，包括服務(wù)臺、IT業(yè)務(wù)數(shù)據(jù)分析和展現(xiàn)、信息公告模塊、IT資產(chǎn)、IT人員等IT運營的管理功能，同時提供服務(wù)支持、服務(wù)交付、需求管理、運營維護(hù)等IT管理流程的支撐。IT監(jiān)控一般包括以下3部分。

·IT基礎(chǔ)設(shè)施監(jiān)測平臺，實現(xiàn)對IT基礎(chǔ)設(shè)施的告警、性能數(shù)據(jù)的采集和關(guān)聯(lián)分析，監(jiān)測對象包括IT網(wǎng)絡(luò)、主機(jī)、存儲備份、數(shù)據(jù)庫、中間件、桌面、機(jī)房環(huán)境等。

·IT應(yīng)用軟件監(jiān)測平臺，實現(xiàn)對應(yīng)用軟件系統(tǒng)的告警、性能數(shù)據(jù)的采集和關(guān)聯(lián)分析，監(jiān)測對象包括各類OSS，如服務(wù)開通、資源管理、綜合網(wǎng)管等業(yè)務(wù)系統(tǒng)。

·業(yè)務(wù)可用性監(jiān)測平臺是從系統(tǒng)使用用戶角度檢測相關(guān)業(yè)務(wù)系統(tǒng)的可用性，實現(xiàn)對業(yè)務(wù)平臺可用性的集中化、可視化管理。系統(tǒng)監(jiān)測的業(yè)務(wù)范圍包括業(yè)務(wù)開通、服務(wù)投訴等用戶直接使用的業(yè)務(wù)。

在構(gòu)建IT監(jiān)控管理的3個層次中，存在逐層依賴的關(guān)系，如何將IT基礎(chǔ)設(shè)施監(jiān)控指標(biāo)、IT應(yīng)用軟件指標(biāo)與業(yè)務(wù)可用性指標(biāo)進(jìn)行關(guān)聯(lián)，是電信運營企業(yè)面臨的一個難題，也是本文重點研究的課題。本文將首先闡述如何構(gòu)建面向用戶體驗的IT指標(biāo)管理體系，并給出在應(yīng)用效能監(jiān)測平臺建設(shè)與運營中的實際成效。

2 面向用戶體驗的IT指標(biāo)體系研究

構(gòu)建結(jié)構(gòu)化、面向內(nèi)外部用戶的感知指標(biāo)體系，逐步建設(shè)基于監(jiān)控指標(biāo)體系的系統(tǒng)健康度監(jiān)測平臺，實現(xiàn)系統(tǒng)運行狀態(tài)、業(yè)務(wù)感知、性能瓶頸等的統(tǒng)一監(jiān)測，并根據(jù)關(guān)鍵業(yè)務(wù)指標(biāo)提出系統(tǒng)優(yōu)化及改進(jìn)建議，將IT對業(yè)務(wù)支撐的價值最大化和顯性化。

2.1 面向用戶體驗的指標(biāo)體系架構(gòu)

用戶體驗指標(biāo)體系的主要目標(biāo)是:建設(shè)以用戶感知為驅(qū)動的指標(biāo)體系，構(gòu)建面向內(nèi)外部用戶的感知指標(biāo)體系，結(jié)合對系統(tǒng)產(chǎn)品指標(biāo)（productivity indicator，PI）、關(guān)鍵性能指標(biāo) （key-performance indicator，KPI）、關(guān)鍵質(zhì)量指標(biāo)（key quality indicator，KQI）以及用戶感知指標(biāo) （customer key experience indicator，CEI）的采集及計算，形成 CEI-KQIKPI-PI的4層指標(biāo)模型，如圖1所示，具體介紹如下。

·CEI:CEI是主觀的體驗，由KQI監(jiān)測結(jié)果與用戶的主觀反饋結(jié)合，根據(jù)相應(yīng)的權(quán)重關(guān)系復(fù)合運算得出，綜合考慮渠道、地域、角色等因素，根據(jù)采集數(shù)據(jù)不斷完善。

·KQI:KQI是以用戶為中心，體現(xiàn)業(yè)務(wù)層面的關(guān)鍵指標(biāo)，可以是多個KPI的聚合，也可以是單個KPI。

·KPI:KPI是以業(yè)務(wù)為對象，體現(xiàn)業(yè)務(wù)在端到端實現(xiàn)中的各項關(guān)鍵指標(biāo)，整體反映系統(tǒng)的運行狀態(tài)、業(yè)務(wù)效率等。

·PI:PI是衡量組成系統(tǒng)的各類基礎(chǔ)設(shè)施、模塊及相關(guān)系統(tǒng)資源指標(biāo)。

CEI-KQI-KPI-PI的聚合模型涵蓋業(yè)務(wù)域中所有可能影響用戶感知的要素，從多個維度建立起每個業(yè)務(wù)的用戶感知拓?fù)浣Y(jié)構(gòu)，并通過各要素指標(biāo)聚合至用戶的主觀感知。

2.2 標(biāo)準(zhǔn)指標(biāo)池及健康度模型

2.2.1 指標(biāo)模型

指標(biāo)模型的建立是為了反映業(yè)務(wù)整體健康度，在傳統(tǒng)IT系統(tǒng)資源監(jiān)控的基礎(chǔ)上，結(jié)合業(yè)務(wù)服務(wù)的管理，全面反映系統(tǒng)支撐能力和用戶實際使用業(yè)務(wù)的整體情況，并通過時間、位置、用戶等維度進(jìn)行觀察，從而有效分析出業(yè)務(wù)的使用狀況和系統(tǒng)支撐的現(xiàn)狀和趨勢。

圖1 面向用戶體驗的指標(biāo)體系架構(gòu)示意

2.2.2 標(biāo)準(zhǔn)指標(biāo)池KPI/PI

4層逐步向上聚合的指標(biāo)結(jié)構(gòu)決定了指標(biāo)從底層指標(biāo)開始，根據(jù)用戶的實際需求選取相應(yīng)的底層指標(biāo)聚合形成上層指標(biāo)，同樣，底層指標(biāo)在衡量不同的資源或系統(tǒng)對象時也會有不同的輸出，這里定義出基于體系結(jié)構(gòu)按層級分類的標(biāo)準(zhǔn)類指標(biāo)集合、各層級指標(biāo)的標(biāo)準(zhǔn)指標(biāo)集合，作為最終呈現(xiàn)的各類指標(biāo)的基礎(chǔ)指標(biāo)集合。

KPI標(biāo)準(zhǔn)指標(biāo)池包括系統(tǒng)資源指標(biāo)和系統(tǒng)能力指標(biāo)兩大類，如圖2所示。

圖2 KPI標(biāo)準(zhǔn)指標(biāo)池

表1為系統(tǒng)資源指標(biāo)及其說明。表2為系統(tǒng)能力指標(biāo)及其說明。

表1 標(biāo)準(zhǔn)指標(biāo)池:系統(tǒng)資源指標(biāo)

2.2.3 區(qū)域?qū)ο蠼】刀戎笜?biāo)KQI1

區(qū)域?qū)ο蠼】刀戎笜?biāo)用于反映一個區(qū)域的系統(tǒng)運行狀況，展示被監(jiān)測系統(tǒng)的總體健康度、可用性，系統(tǒng)業(yè)務(wù)/性能變化趨勢等指標(biāo)見表3。

表2 標(biāo)準(zhǔn)指標(biāo)池:系統(tǒng)能力指標(biāo)

2.2.4 用戶對象健康度指標(biāo)匯總KQI2

用戶對象健康度指標(biāo)用于反映用戶在使用系統(tǒng)過程中所產(chǎn)生的系統(tǒng)響應(yīng)指標(biāo)，具體見表4。

2.2.5 業(yè)務(wù)服務(wù)的健康度指標(biāo)匯總KQI3

業(yè)務(wù)服務(wù)健康度指標(biāo)用于反映業(yè)務(wù)的可用性指標(biāo)，具體見表5。

2.2.6 按用戶感知的指標(biāo)CEI

用戶感知指標(biāo)受上述指標(biāo)的綜合影響，其相互關(guān)系如下所示:CEI=f(KQI1，KQI2，KQI3，…，用戶主觀 KQI)。

表3 按區(qū)域?qū)ο蠼y(tǒng)計指標(biāo)集

表4 按用戶對象統(tǒng)計指標(biāo)集

表5 按業(yè)務(wù)服務(wù)對象統(tǒng)計指標(biāo)集

具體說明如下:

·KQI1為區(qū)域?qū)ο蠼】刀戎笜?biāo)，KQI2為用戶對象健康度指標(biāo)，KQI3為業(yè)務(wù)服務(wù)健康度指標(biāo)；

·用戶主觀類KQI是用戶的主觀使用感知，如操作靈活、界面美觀、系統(tǒng)一致等，此類信息可以通過問卷調(diào)研、日常工作反饋等方式進(jìn)行采集；

·KQI為CEI的必要非充分條件。

2.3 指標(biāo)閾值設(shè)計

指標(biāo)閾值的產(chǎn)生原理是將采集到的指標(biāo)數(shù)據(jù)與基于歷史數(shù)據(jù)所計算出來的預(yù)警容忍線進(jìn)行比較，超過容忍線時觸發(fā)告警產(chǎn)生機(jī)制。

根據(jù)系統(tǒng)運行時指標(biāo)按時間分布的特性以及指標(biāo)在監(jiān)控時間段內(nèi)的最大值及最小值分布情況，針對不同時段設(shè)定不同的指標(biāo)告警門限，按照指標(biāo)歷史數(shù)據(jù)的實際分布情況，設(shè)定當(dāng)前時段內(nèi)的合理分布，并基于當(dāng)前時段區(qū)域觸發(fā)異常值告警，動態(tài)基線與動態(tài)告警線之間的波動告警范圍可以調(diào)整，超出上下告警線將觸發(fā)告警產(chǎn)生機(jī)制。動態(tài)閾值的計算將通過以下兩步計算實現(xiàn):

（1）基線的確定，基于歷史數(shù)據(jù)的樣本選取及預(yù)處理實現(xiàn)；

（2）計算動態(tài)基線，利用預(yù)處理后的有效歷史數(shù)據(jù)計算波動范圍的上下限。

2.3.1 指標(biāo)歷史數(shù)據(jù)的樣本選取及預(yù)處理

（1）樣本的選取

對于過往一個月的歷史數(shù)據(jù)，原則上樣本數(shù)據(jù)選取的時間空間越大，數(shù)據(jù)準(zhǔn)確度越高，但實時數(shù)據(jù)選取及預(yù)處理需要耗費大量的比對空間及計算資源，以一個月數(shù)據(jù)為基準(zhǔn)樣本，在每個月末進(jìn)行當(dāng)月數(shù)據(jù)的采集工作。

（2）樣本數(shù)據(jù)的預(yù)處理

樣本數(shù)據(jù)確定后，剔除節(jié)假日、重大事件及類似時間點異常數(shù)據(jù)，確保數(shù)據(jù)的一般性及日?；?。

步驟1 歷史數(shù)據(jù)的歸一化處理

提取各指標(biāo)粒度24 h的歷史數(shù)據(jù)，記為X（x1，x2，…，x24），將指標(biāo)特征量歸一，分布在[0,1]上，以體現(xiàn)不同指標(biāo)的時間特征。

以單筆業(yè)務(wù)耗時為例，取全天24 h耗時數(shù)據(jù)，將每小時數(shù)據(jù)與全天耗時綜合的比例作為業(yè)務(wù)耗時特征量，全天24個特征量的和為1，經(jīng)過歸一化處理，每個特征量可以描述當(dāng)前時段占全天業(yè)務(wù)耗時的比例。

步驟2 計算數(shù)據(jù)相關(guān)度

判斷兩個數(shù)據(jù)是否相關(guān)，計算兩個數(shù)據(jù)的差值比，差值比越小，則相關(guān)度越高，反之則相關(guān)度越低。

步驟3 數(shù)據(jù)有效性校驗

通過設(shè)定數(shù)據(jù)相關(guān)度門限值對采樣數(shù)據(jù)進(jìn)行有效性校驗，當(dāng)采樣數(shù)據(jù)滿足設(shè)定的門限值要求時，則認(rèn)為數(shù)據(jù)有效，反之則為異常數(shù)據(jù)，予以剔除。

2.3.2 計算動態(tài)基線

（1）樣本數(shù)據(jù)的選取及計算

利用預(yù)處理后的有效歷史數(shù)據(jù)計算每小時指標(biāo)波動的合理范圍，最終描繪0～24 h內(nèi)指標(biāo)的波動曲線和波動范圍，監(jiān)控到任何在波動范圍之外的數(shù)據(jù)都將觸發(fā)告警。

（2）指標(biāo)數(shù)據(jù)分布計算及驗證

通過分析系統(tǒng)運行中的各項指標(biāo)分布，根據(jù)正態(tài)分布定義計算基線的指標(biāo)數(shù)據(jù)分布曲線:

其中，標(biāo)準(zhǔn)差根據(jù)式（2）計算得出各個指標(biāo)數(shù)據(jù)的門限區(qū)域:

按照分級定制告警級別，并設(shè)定級別門限區(qū)域:一般告警，告警門限設(shè)為[μ-σ,μ+σ]；嚴(yán)重告警，告警門限設(shè)為[μ-2σ,μ+2σ]。

隨著網(wǎng)絡(luò)擴(kuò)容、系統(tǒng)優(yōu)化及業(yè)務(wù)量、市場策略等的不斷變化，指標(biāo)正常的波動區(qū)間也會發(fā)生變化，為了適應(yīng)這種變化，準(zhǔn)確發(fā)現(xiàn)系統(tǒng)的異常，需要對原先的基線進(jìn)行調(diào)整，通常調(diào)整方式有如下兩種:

·一般情況下，每月初重新選定上一個月內(nèi)的數(shù)據(jù)為新的樣本數(shù)據(jù)，重新進(jìn)行基線計算，以切合系統(tǒng)實際情況的變化；

·手工方式修正，根據(jù)網(wǎng)絡(luò)擴(kuò)容、系統(tǒng)優(yōu)化或業(yè)務(wù)量及市場策略帶來的變化，設(shè)定相應(yīng)的系數(shù)，與相應(yīng)的指標(biāo)數(shù)據(jù)基線相乘，得到新的基線及門限區(qū)域，調(diào)整時需要考慮對應(yīng)指標(biāo)的相關(guān)特性。

3 應(yīng)用效能監(jiān)測平臺建設(shè)及運營成效

3.1 應(yīng)用效能監(jiān)測平臺總體架構(gòu)

綜合資源系統(tǒng)承載著全省資源的集中管理、與網(wǎng)管系統(tǒng)接口提供資源數(shù)據(jù)和資源服務(wù)等任務(wù)，包含多個子系統(tǒng)以及各個區(qū)域系統(tǒng)的連接，因此端到端的用戶體驗存在一些問題。建設(shè)OSS應(yīng)用效能監(jiān)測平臺的目的就在于構(gòu)建端到端的業(yè)務(wù)監(jiān)控平臺，形成完善的業(yè)務(wù)監(jiān)控指標(biāo)、系統(tǒng)能力及健康度的實時監(jiān)控。OSS應(yīng)用效能管理平臺功能框架如圖3所示。

圖3 OSS應(yīng)用效能管理平臺功能框架

OSS應(yīng)用效能管理平臺主要功能包括以下幾方面。

（1）實時監(jiān)控

·實時采集OSS運行時的狀態(tài)信息，包括應(yīng)用和服務(wù)的性能、可用性數(shù)據(jù)、基礎(chǔ)設(shè)施的狀態(tài)數(shù)據(jù)；

·面向OSS構(gòu)建從業(yè)務(wù)效能到用戶體驗、系統(tǒng)服務(wù)性能和基礎(chǔ)設(shè)施性能的端到端效能指標(biāo)體系；

·提供OSS端到端效能指標(biāo)的實時監(jiān)控；

·提供按區(qū)域、用戶、業(yè)務(wù)等不同維度的實時監(jiān)控功能。

（2）統(tǒng)計分析

·提供系統(tǒng)資源類、系統(tǒng)區(qū)域訪問、業(yè)務(wù)可用性、功能使用等多維度的統(tǒng)計分析；

·提供基于業(yè)務(wù)/工單處理的性能統(tǒng)計報表；

·提供各類KPI統(tǒng)計報表；

·提供告警統(tǒng)計分析。

（3）系統(tǒng)優(yōu)化及效能評估

·進(jìn)行功能使用頻率分析、功能整合及優(yōu)化；

·進(jìn)行應(yīng)用架構(gòu)分析，提供優(yōu)化方向與建議；

·進(jìn)行業(yè)務(wù)流程整合與優(yōu)化、接口流程整合與優(yōu)化；

·支持對受到OSS影響的業(yè)務(wù)效能問題的分析和原因定位，協(xié)助制定優(yōu)化方案，支持對優(yōu)化效果的分析和確認(rèn)。

3.2 應(yīng)用效能監(jiān)控指標(biāo)應(yīng)用示例

以GPON寬帶業(yè)務(wù)開通為例，通過采集系統(tǒng)能力類指標(biāo)，基于所構(gòu)建的IT指標(biāo)模型，計算用戶可感知的業(yè)務(wù)指標(biāo)，從而提升IT監(jiān)控對業(yè)務(wù)快速支撐的需求，如圖4所示。

業(yè)務(wù)類指標(biāo)主要面向業(yè)務(wù)（集團(tuán)用戶、家庭用戶）和網(wǎng)絡(luò)（核心網(wǎng)、數(shù)據(jù)網(wǎng)等），針對不同運維場景（開通、投訴、故障等）進(jìn)行劃分，這類指標(biāo)的計算需要采集運維場景的全過程信息和結(jié)果信息（含人工處理和系統(tǒng)處理信息）。

系統(tǒng)能力類指標(biāo)主要面向OSS，針對不同的運維場景、不同業(yè)務(wù)的自動化支撐，這類指標(biāo)的計算需要采集OSS運行態(tài)的外部響應(yīng)指標(biāo)（可用性、響應(yīng)時間）和內(nèi)部運行指標(biāo)（性能、資源占用率）。

應(yīng)用效能指標(biāo)體系重點關(guān)注業(yè)務(wù)運營中涉及系統(tǒng)自動化支撐的相關(guān)動作，人工處理指標(biāo)不納入監(jiān)控范圍。

3.3 應(yīng)用成效

面向用戶體驗的IT指標(biāo)管理體系及OSS應(yīng)用效能監(jiān)測平臺已成功應(yīng)用于廣東移動綜合資源管理系統(tǒng)監(jiān)控維護(hù)與運營，具體包括以下幾方面成效。

（1）實現(xiàn)系統(tǒng)效能實時監(jiān)測

·建立綜合資源指標(biāo)監(jiān)控體系，形成4層指標(biāo)監(jiān)控模式，自下而上實現(xiàn)對系統(tǒng)資源、系統(tǒng)能力、業(yè)務(wù)能力、用戶感知的監(jiān)控，對系統(tǒng)中出現(xiàn)的問題能夠?qū)崟r發(fā)現(xiàn)、快速定位，通過問題管理推動問題解決。

·建立基于歷史數(shù)據(jù)的動態(tài)閾值基線，準(zhǔn)確捕獲系統(tǒng)異常波動，實時推送告警信息，提高監(jiān)控效率，降低運營成本。

（2）建立常態(tài)化優(yōu)化體系

根據(jù)性能指標(biāo)體系及監(jiān)控結(jié)果，系統(tǒng)組從“云、管、端”3個方面開展對系統(tǒng)性能的全面優(yōu)化。例如，通過在用戶終端安裝探針，及時還原并檢測用戶側(cè)的性能問題；通過網(wǎng)絡(luò)探測、路由分析等進(jìn)行網(wǎng)絡(luò)問題的挖掘、分析、定位并制定優(yōu)化方案。

圖4 應(yīng)用能效監(jiān)控指標(biāo)應(yīng)用示例

系統(tǒng)自上線以來，共實施了236個性能優(yōu)化方案，系統(tǒng)宕機(jī)數(shù)量從2012年底的月均5次降低到現(xiàn)在的0次；系統(tǒng)響應(yīng)速度超過5 s的功能模塊從213個減少到32個，優(yōu)化后系統(tǒng)的應(yīng)用效率平均提升5倍以上。

（3）提升用戶滿意度

·系統(tǒng)能夠?qū)崟r監(jiān)控分析出用戶常用功能的使用情況、不同用戶端瀏覽器對使用性能的差異以及各區(qū)域網(wǎng)絡(luò)環(huán)境對用戶使用的影響等，根據(jù)用戶體驗，找出系統(tǒng)功能或性能方面的不足，并加以優(yōu)化；

·通過分析用戶的使用行為、使用習(xí)慣，簡化操作流程，提高維護(hù)效率。

4 結(jié)束語

構(gòu)建面向用戶體驗的IT指標(biāo)管理體系是實現(xiàn)IT監(jiān)控管理從基礎(chǔ)設(shè)施監(jiān)控向業(yè)務(wù)監(jiān)控的基礎(chǔ)和關(guān)鍵。本文從IT監(jiān)控需求入手，研究了面向用戶體驗的IT指標(biāo)體系，提出并構(gòu)建了應(yīng)用效能監(jiān)測平臺，并在實際運營中加以應(yīng)用。通過上述方法能夠提升IT監(jiān)控維護(hù)效率，尤其是對業(yè)務(wù)的快速支撐能力，為IT運營創(chuàng)造更大的價值。

1 中國移動通信集團(tuán)廣東有限公司綜合資源系統(tǒng)用戶體驗指標(biāo)方案，2013

2 中國移動綜合網(wǎng)絡(luò)資源管理系統(tǒng)技術(shù)規(guī)范 系統(tǒng)架構(gòu)和接口分冊 V1.0.1，2009

3 中國移動綜合網(wǎng)絡(luò)資源管理系統(tǒng)技術(shù)規(guī)范 資源編碼方法V1.0.1，2011