一種基于AHP的QoE客戶感知云服務質量評價方法研究

付 平，肖 偉（.中國聯(lián)通網絡技術研究院，北京 00048；.中訊郵電咨詢設計院有限公司鄭州分公司，河南鄭州 450007）

1 概述

1.1 背景

隨著云計算技術的成熟，IT 資源服務化的思想日益普及，服務已成為云計算的核心概念。各領域云服務的需求正快速增長，大量多樣性服務不斷涌現(xiàn)，因此對云服務進行指標體系建設、構建指標權重和評價方法變得迫在眉睫。為服務商提供優(yōu)質的云服務質量評價及管理手段，具有重要現(xiàn)實意義。

當前云服務質量評價模型中存在如下不足。

a）云服務評價指標不合理，不能滿足度量服務質量的需求。

b）評價指標權重分配不合理，缺乏科學理論依據(jù)。

c）各類云服務評價依據(jù)標準不統(tǒng)一，當前云服務種類多樣，包含計算、存儲、網絡、容器、組件等一系列云服務產品類型，如何統(tǒng)一標準針對不同類型云服務進行打分及排序成為難點。

針對這些問題，提出一種基于層次分析法（Analytic Hierarchy Process）的QoE 感知模型來計算云服務指標權重，同時得出云服務質量評價模型。

1.2 行業(yè)調研

首先，調研業(yè)界主要云服務質量評價指標，業(yè)界的云服務指標選取有5E 模型、QoS 模型、QoE 模型等。QoS 是當前普遍采用的一種服務度量標準，但其評估指標更多側重于對網絡性能方面，同時也沒有考慮用戶的主觀因素，無法充分體現(xiàn)云服務評價質量。因此提出QoE 服務度量標準，在功能評價因素和非功能評價因素屬性基礎上，對云服務做出更加貼近用戶體驗的云服務質量評價。其次，調研指標權重分配方法，各行業(yè)普遍采用統(tǒng)計學的層次分析法（AHP）、模糊綜合評估法等，選取更適合本場景的AHP 方法計算指標權重，該方法自1982 年被介紹到我國以來，以其定性與定量相結合的處理各種決策因素的特點，迅速在我國社會經濟各領域內得到廣泛重視，其中就包括性能評價方面的應用。最后，針對不同類型的云服務進行統(tǒng)一標準的評判，根據(jù)國家頒布的云服務質量評價標準和云計算綜合標準化體系建設指南，業(yè)界可采用與云服務商的服務標準進行比對，通過比對結果進行質量管控。

2 云服務質量評價模型

云服務質量評價模型主要包含以下幾個基本步驟。

a）QoE 指標選?。焊鶕?jù)國家云服務質量標準及企業(yè)云服務用戶訴求，對服務質量做定性分析，即選取可反映云服務質量及用戶體驗的指標。

b）指標權重計算：采集專家指標偏好信息，通過層次分析法（AHP）把定性指標分析轉換為定量指標權重分析，采用統(tǒng)計學方法計算各項指標權重。

c）質量評價：對云服務評價所需的主觀反饋、客觀質量評估等信息進行采集，并根據(jù)服務規(guī)范及評價依據(jù)對云服務每項指標進行打分，根據(jù)每項云服務的每個指標的打分和權重，得出該云服務的總得分，從而得到所有云服務質量的打分及排名。

本文提出的基于AHP 的QoE 客戶感知云服務質量評價方法評價模型如圖1所示。

2.1 QoE指標

云服務的質量評價，需要從多個方面進行考察，依據(jù)中華人民共和國國家標準《信息技術云計算服務質量評價指標》（GB/T 27728-2019），云服務質量可從安全性、可用性、可靠性、響應性和滿意度多方面進行表征，同時結合企業(yè)云服務用戶對IT 云服務指標選取側重點，基于QoE 將指標選取分為功能評價和非功能評價因素2 類。功能評價因素主要是從服務可用性、可靠性、響應性這3個方面體現(xiàn)云服務的優(yōu)劣，每個方面還有具體指標來反映云服務質量；而非功能評價因素主要是用戶對于云服務的滿意度的主觀評價，即通過自服務滿意度、服務響應滿意度、服務定制化滿意度、計量機制完備性4個方面體現(xiàn)云服務質量。

圖1 云服務評價模型

2.1.1 功能評價因素

功能評價因素主要是針對云服務本身客觀的質量所選取的指標。指標選取依據(jù)國家標準及QoE指標選擇方法，最終從可用性、可靠性、響應性3 個方面給出相應指標，指標細化如下。

2.1.1.1 可用性

可用性指標用于描述云服務在服務協(xié)議規(guī)定的條件下處于可執(zhí)行規(guī)定狀態(tài)的能力，這里主要包含服務可用率指標。服務可利用率指在預定義時間段中，服務可用時間之和與預定義時間段之和的比例，可排除允許的服務不可用時間。

式中：

N——預定義時段數(shù)量

Ti——預定義時間段

2.1.1.2 可靠性

可靠性指標用于描述云服務商在預定義時間內履行服務規(guī)范的能力，如關鍵業(yè)務的容災能力、服務中斷次數(shù)及服務的連續(xù)性保障能力，具體分為如下3 個指標。

a）關鍵業(yè)務容災能力：云服務商是否建立完善的容災制度及措施，是否提供關鍵業(yè)務的容災能力。

b）服務中斷次數(shù)：預定義時間段內服務中斷的次數(shù)。

c）業(yè)務連續(xù)性保障能力：云服務商具備有效的業(yè)務連續(xù)性能力，確保業(yè)務的可持續(xù)性。業(yè)務連續(xù)性保障能力=預定義時間內無中斷業(yè)務數(shù)/業(yè)務總數(shù)×100%。

2.1.1.3 響應性

響應性指標用于描述云服務商為用戶提供有效、及時的彈性擴展性服務能力，具體分為如下4個指標。

a）服務請求響應及時性：云服務商響應客戶需求的及時性程度。

b）資源彈性可擴展性：云服務商具備資源彈性擴展機制以保證客戶在資源擴展時的需求、規(guī)模要求的及時性。

c）響應處理制度：云服務商是否建立響應機制，并且執(zhí)行記錄是否完整。

d）關單率：在云服務過程中，預定義時間內對客戶服務是否做出及時響應，并結束客戶訴求工單。關單率=已關閉工單/所有工單×100%。

2.1.2 非功能評價因素

非功能評價因素主要是通過對用戶的調研反饋，可反映用戶對云服務質量主觀評價的指標，指標選取依據(jù)國家標準及QoE指標選擇方法，指標細化如下：

a）自服務滿意度：自服務滿意度主要是用戶對于自助服務的滿意度，自服務滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

b）服務響應滿意度：服務響應滿意度指用戶在服務運維、服務申請、服務咨詢等方面響應的體驗的滿意程度，服務滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

c）服務定制化滿意度：服務定制化滿意度指可及時響應定制化用戶的需求，是否得到用戶認可的滿意程度。服務定制化滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

d）計量機制完備性：計量機制完備性指云服務商是否提供計量機制，計量機制是否完整，是否包含服務定制化的計量模板。

2.2 指標權重計算

層次分析法（AHP）是美國統(tǒng)計學家匹茲堡大學的T.L.Saaty 教授于20 世紀70 年代提出的一種定性分析和定量分析相結合的多目標系統(tǒng)分析方法。它根據(jù)問題的性質和要求達到的總目標，將問題分解成不同的子目標，通過兩兩比較的方式確定層次中諸目標的相對重要性，即不把所有因素放在一起比較，而是兩兩相互比較，采用相對尺度，以盡可能減少性質不同的諸因素相互比較的困難，從而提高了指標權重確定的信度和效度。此數(shù)學模型對多因素的復雜問題評判效果顯著，根據(jù)AHP，對于各指標權重判定的基本步驟如圖2所示。

圖2 云服務指標權重獲得基本步驟

a）主觀排序：需根據(jù)專家組建議，定性分析各指標重要程度，并對其進行主觀排序。

b）建立層次模型：將決策的目標、考慮的因素按它們之間的相互關系分為目標層、權重層及決策層，由于目標層云服務數(shù)量不確定，因此本文只考慮用層次分析法解決指標權重問題。

c）構造判斷矩陣：為實現(xiàn)定性向定量轉化需要有定量的標度，即需兩兩比較指標的權重，此過程需要結合專家建議，得到判斷矩陣。例如云服務質量評價各因素P1，P2，P3，…，P12，使用兩兩比較法可以得到權重判斷矩陣，A=（aij）n×n其中aij的取值可以參考表1。

表1 權重因素

各個等級之間也可以用2，4，6，8 或者它們的倒數(shù)將其量化，判斷矩陣需滿足：aij=1，aij=1/aij（i，j=1，2，…，n），最終得出矩陣A。

d）計算權重向量：因素權重W 可以通過矩陣A的特征方程AW=λmaxW，優(yōu)先解出λmax，其次根據(jù)λmax解出特征向量W=a1，a2，a3，…，a12。

e）計算調整判斷矩陣：由于客觀事物的復雜性，人們的評價和認識總是帶有比較強的主觀性甚至是片面的，這就需要做一致性檢查。本文將一致性指標用CI表示，其中CI=（λmax-n）/（n-1），當CI越大時，矩陣不一致越嚴重，為了保證龐大矩陣的一致性，通過計算CR=CI/RI，需要CR≤0.1，否則需要重新調整矩陣。

本文依據(jù)python實現(xiàn)d）、e）步驟計算，最終得出各指標計算權重（見圖3）。

圖3 云服務權重計算結果

2.3 質量評價

根據(jù)工信部頒布的《云計算綜合標準化體系建設指南》，要求云服務商提出云服務標準用于規(guī)范云服務質量及服務能力。在確定好各指標權重后，給各云服務打分。針對每個云服務的每個指標進行評價，最終得出加權合計分值。本環(huán)節(jié)有圖4所示的4個步驟。

圖4 云服務質量評價步驟

a）數(shù)據(jù)采集：數(shù)據(jù)采集需明確數(shù)據(jù)的來源，評價的數(shù)據(jù)來源主要來自服務規(guī)范、服務實施結果和用戶調研三方面。服務規(guī)范是云服務質量保證的前提，包括云服務商對自身提供云服務能力說明和實施要求等；服務實施結果包括云服務商的日常服務報告、自查報告、內審報告等；用戶調研主要是用戶的服務評價報告等。對于功能性指標進行評價可采用日常服務報告等進行數(shù)據(jù)采集，對于非功能性指標數(shù)據(jù)采集可采用問卷調查、人員訪談等多種形式并借助工具進行自動數(shù)據(jù)收集。

b）指標評分依據(jù)：針對云服務的各指標進行評分，評分依據(jù)如表2所示。指標評分確認，采取的主要方式是將服務實施結果與服務規(guī)范及協(xié)議進行對比，當服務協(xié)議及服務規(guī)范與服務實施結果存在差異時，需對服務實施結果的數(shù)據(jù)真實性、正確性進行確認，并以確認后的服務實施結果作為服務質量評價基準。

c）計算總分：根據(jù)2.2 節(jié)得出的各項指標權重ai，評價指標的得分與相應指標的權重進行加權計算，得出合計得分，即每個云服務的合計得分，評價指標計算公式為：

式中：

S——該云服務在期限內測試總得分

Si——指標項i的測試得分

ai——指標項i的權重

n——指標個數(shù)

d）橫縱排名：該合計分值可用于對不同云服務的服務質量進行橫向比較，即最終云服務的質量排名；也可對同一個云服務不同時期的服務質量進行縱向比較。云服務質量評價根據(jù)各指標數(shù)據(jù)采集的時段，可按月、年分別得出質量報告，進行橫向縱向質量比較。

3 結論

首先，根據(jù)最新發(fā)布的云服務質量國家評價標準并結合企業(yè)現(xiàn)狀確定了符合企業(yè)本身的云服務質量QoE指標體系，充分考慮了云服務用戶的主觀感受；其次，運用統(tǒng)計學中層次分析法（AHP）對指標進行從定性到定量分析，采用python工具對指標進行權重試算，科學地分配了指標權重；最后，對云服務中各類指標打分給出判斷依據(jù)，在企業(yè)制定云服務規(guī)范的基礎上，對每項云服務進行打分，該得分可以對公司同一時間內各云服務質量進行排名，也可對同一云服務不同時期的服務質量進行比較。使用該評價體系與試算權重方法，可以科學有效公平地督促云服務商努力對云服務提質增效，提高用戶感知體驗。

表2 指標來源及打分依據(jù)