在線計費系統(tǒng)綜合性能評估體系研究

張金娟，陳 娜，胡 虹，徐歆壹

（中國電信股份有限公司廣東研究院 廣州 510630）

1 概述

OCS[1]（online charging system，在線計費系統(tǒng)）是 3GPP（TS32.296）于2003年制定的。隨著移動互聯(lián)網(wǎng)應(yīng)用內(nèi)容的日益豐富，業(yè)務(wù)種類的進(jìn)一步完善，用戶的需求越來越個性化。傳統(tǒng)的計費系統(tǒng)采用后付費或者準(zhǔn)實時計費方式。用戶在完成使用業(yè)務(wù)和對計費詳單的處理之間存在時間差，存在較大的欠費風(fēng)險。3GPP在關(guān)注后臺各類型新業(yè)務(wù)支撐方案的基礎(chǔ)上，提出OCS的參考架構(gòu)。在線計費系統(tǒng)提供實時計費模式，即業(yè)務(wù)使用之前，網(wǎng)元進(jìn)行OCS消息鑒權(quán)，通過計費系統(tǒng)對賬戶、余額以及對應(yīng)的資費信息進(jìn)行批價處理。網(wǎng)元獲得對應(yīng)的使用量后，用戶可以使用對應(yīng)的業(yè)務(wù)。

隨著我國電信業(yè)重組的完成，電信市場進(jìn)入一個全新的全業(yè)務(wù)運營競爭格局，國內(nèi)OCS也迎來快速發(fā)展時期。以中國電信為例，其OCS經(jīng)過了技術(shù)研發(fā)階段、試點階段、部分商用階段，2009年開始步入現(xiàn)網(wǎng)部署階段[2]。然而日益劇增的互聯(lián)網(wǎng)應(yīng)用，對計費模式和計費處理過程提出了更加復(fù)雜的要求，如實時快速的響應(yīng)、準(zhǔn)確無誤的計費、區(qū)分不同應(yīng)用的內(nèi)容計費、支持靈活多變的資費配置、不間斷運營等，這些都對OCS的功能和性能提出了更高的要求。在運營商進(jìn)行OCS部署之前以及在部署上線后的運行過程中，都需要對OCS的性能進(jìn)行選型、評估、優(yōu)化等，因此制定一套全面可行的性能評估方案和完備的性能評估體系，對OCS的綜合性能進(jìn)行全面評價，是OCS實現(xiàn)高效運營的必備前提。

本文通過在實際評估工作中的研究和探索，設(shè)計出了一套可供全面檢測的OCS性能評估方案，提供了各種主要性能指標(biāo)參考值的估算方法；同時對不同測試場景的測試目的進(jìn)行分析，得出每種測試場景所關(guān)注的評估因子，并據(jù)此提出了不同測試場景下的性能指標(biāo)評估算法，形成了一套完整的性能指標(biāo)評估體系。在工程招標(biāo)中往往要對不同供應(yīng)商的系統(tǒng)進(jìn)行選型對比，本文選擇中國電信股份有限公司（以下簡稱中國電信）在某省的OCS選型性能評估工程為例，對提出的綜合性能評估體系進(jìn)行驗證。

2 OCS性能評估方案

2.1 性能評估需求

一般而言，用戶對IT系統(tǒng)的性能需求主要集中在并發(fā)處理能力、資源利用率、運行穩(wěn)定性等方面[3]，性能評估測試首先必須根據(jù)用戶需求確定評估指標(biāo)和相應(yīng)的測試場景。在線計費系統(tǒng)是一個業(yè)務(wù)復(fù)雜、應(yīng)用場景多的系統(tǒng)，相比其他離線業(yè)務(wù)處理系統(tǒng)，除常規(guī)IT系統(tǒng)具備的性能需求之外，OCS對計費處理的時效性和準(zhǔn)確性有著更高的要求。結(jié)合運營商對計費類系統(tǒng)的性能需求，對OCS的業(yè)務(wù)特點進(jìn)行分析，不難得出，對OCS進(jìn)行性能評估主要關(guān)注表1所列內(nèi)容。

運營商在制定IT系統(tǒng)技術(shù)規(guī)范時，會根據(jù)實際運營中的業(yè)務(wù)容量制定對某系統(tǒng)的性能指標(biāo)要求，在測試執(zhí)行和結(jié)果評估過程中，應(yīng)實際運營的需求及服務(wù)器硬件配置，為上述指標(biāo)制定參考值，如業(yè)界常用的CPU使用率預(yù)期值一般要求在系統(tǒng)達(dá)到最大處理能力時不得少于80%，否則認(rèn)為系統(tǒng)設(shè)計沒有最大程度地利用資源；對于OCS而言，其事務(wù)處理錯誤率要求一般定義為≤0.01‰。

表1 OCS綜合性能評估需求

在上述指標(biāo)中，并發(fā)處理能力參考值的制定最復(fù)雜，需要結(jié)合各種因子進(jìn)行估算。由于目前各運營商都開展多種融合業(yè)務(wù)，因此要求OCS處理的話務(wù)類型應(yīng)包含話音類、短信類和數(shù)據(jù)類業(yè)務(wù)，也即OCS的業(yè)務(wù)模型由話音類、短信類和數(shù)據(jù)類業(yè)務(wù)組成。設(shè)某省OCS承載用戶數(shù)為M，每秒最大并發(fā)處理能力應(yīng)大于等于3大類業(yè)務(wù)忙時每秒建立的呼叫次數(shù)（CAPS）的總和。CAPS定義為：

式（1）中，忙時呼叫量（BHCA）的國際單位是 Erl（愛爾蘭，次/小時），由此可推導(dǎo)出OCS話音業(yè)務(wù)每秒的呼叫次數(shù)為：

話音業(yè)務(wù)忙時話務(wù)平均數(shù)可從OCS的日常運營統(tǒng)計數(shù)據(jù)中提取得出。

同理可推導(dǎo)出OCS點對點短信類業(yè)務(wù)每秒的呼叫次數(shù)為：

數(shù)據(jù)業(yè)務(wù)分為事件類數(shù)據(jù)業(yè)務(wù)和會話類數(shù)據(jù)業(yè)務(wù)，其種類繁多，會話計費的主要業(yè)務(wù)類型包括：Internet上網(wǎng)業(yè)務(wù)、WAP業(yè)務(wù)（pull瀏覽）、流媒體業(yè)務(wù)（事件計費）及其他業(yè)務(wù)；基于事件計費的主要業(yè)務(wù)類型包括：應(yīng)用短信、WAP（短信方式 push）、流媒體（事件計費）彩信、彩鈴、定位、KJava及其他業(yè)務(wù)。因此數(shù)據(jù)類的CAPS指標(biāo)參考值為各類數(shù)據(jù)業(yè)務(wù)的求和：

式（2）～式（4）求和即為OCS最大并發(fā)處理總數(shù)的預(yù)期值：

2.2 業(yè)務(wù)場景設(shè)計

為了獲取表1所述的性能表現(xiàn)，充分驗證OCS的各方面性能，在性能測試執(zhí)行過程中，需要設(shè)計合理的測試場景，并利用測試工具模擬不同場景下的業(yè)務(wù)請求，對被測系統(tǒng)施壓，運行完畢之后根據(jù)一定的評估算法對OCS的整體性能進(jìn)行分析。根據(jù)OCS在實際生產(chǎn)中的需求，可選取以下常見的、有代表性的業(yè)務(wù)場景作為其性能測試場景。

（1）極限測試

極限測試是在較短時間內(nèi)，通過虛擬一定數(shù)量的用戶，向被測系統(tǒng)并行發(fā)起各類業(yè)務(wù)請求，在這一過程中不斷增加并發(fā)請求數(shù)，直至觀察到被測系統(tǒng)單位時間內(nèi)的并發(fā)處理數(shù)不再增加。在極限測試中可獲取OCS的平均事務(wù)響應(yīng)時間、最大事務(wù)響應(yīng)時間、最小事務(wù)響應(yīng)時間、最大并發(fā)處理數(shù)、服務(wù)器主機資源（CPU、內(nèi)存）利用率、事務(wù)處理的成功率等性能指標(biāo)。

（2）過載測試

在節(jié)假日期間，OCS的話務(wù)量劇增，OCS將會有短時間內(nèi)處在超負(fù)荷的運行狀態(tài)，因此過載測試是驗證系統(tǒng)頑健性必不可少的一個環(huán)節(jié)。過載測試是在極限測試的基礎(chǔ)上，繼續(xù)增加并發(fā)請求數(shù)，直至并發(fā)請求數(shù)達(dá)到極限測試的120%，并保持在該壓力下運行一段時間。通過過載測試可獲取OCS在高負(fù)荷運行下的穩(wěn)定性和頑健性。

（3）疲勞測試

過載測試的并發(fā)請求數(shù)以極限測試的80%向被測系統(tǒng)發(fā)起請求，并且在一段較長時間內(nèi)保持該壓力持續(xù)運行，根據(jù)用戶需求，施壓時間可為8～72 h。通過疲勞測試，可考察系統(tǒng)長時間無故障運行的穩(wěn)定性，驗證系統(tǒng)能否承受長時間運行，保證業(yè)務(wù)成功率以及執(zhí)行效率。

（4）水平擴展能力

近年來，由于系統(tǒng)承載用戶數(shù)劇增，OCS的擴容和性能提升亟待實施，水平擴展能力測試通過增加服務(wù)器進(jìn)行橫向擴展，測試OCS在不同數(shù)量機器集群情況下并發(fā)處理數(shù)（TPS）的增長情況，以驗證其水平擴展是否呈線性增長。

2.3 性能測試部署框架

確定了測試場景，在測試執(zhí)行之前，需要部署性能測試架構(gòu)，按照一定的業(yè)務(wù)比例，模擬出不同的測試場景，以獲取用戶所關(guān)心的性能指標(biāo)。通過分析測試執(zhí)行的各個環(huán)節(jié)，OCS的性能測試部署需要話務(wù)模擬器、外圍系統(tǒng)模擬器、監(jiān)控平臺和結(jié)果收集平臺協(xié)作完成，其框架設(shè)計如圖1所示。

話務(wù)模擬器按照一定的比例模擬用戶使用不同的業(yè)務(wù)（包括話音、短信、數(shù)據(jù)類等），向OCS發(fā)起請求，并接收OCS的響應(yīng)；外圍系統(tǒng)模擬器是OCS完成一筆話務(wù)處理所關(guān)聯(lián)到的其他業(yè)務(wù)系統(tǒng)，如余額管理系統(tǒng)、資料管理系統(tǒng)等，外圍模擬器根據(jù)OCS發(fā)起的不同業(yè)務(wù)請求返回應(yīng)答；監(jiān)控平臺對測試過程中各系統(tǒng)的狀態(tài)進(jìn)行實時監(jiān)控，測試人員根據(jù)監(jiān)控結(jié)果、控制測試的啟停和動態(tài)調(diào)整話務(wù)模擬器向OCS發(fā)送請求的速率、并發(fā)數(shù)等，以達(dá)到測試場景預(yù)期的并發(fā)壓力；結(jié)果收集平臺收集用戶所關(guān)心的各項性能評估指標(biāo)，并形成相應(yīng)的分析報表，供后續(xù)評估和比對。

圖1 OCS綜合性能評估測試部署框架

3 性能指標(biāo)評估體系

為了有效驗證不同供應(yīng)商的OCS性能，需要制定合理的、切實可行的測試評估方法，通過評估結(jié)果界定參測OCS是否達(dá)標(biāo)，并對參測系統(tǒng)進(jìn)行有效排名。常規(guī)的性能結(jié)果評估方法一般是在獲取了最大并發(fā)處理數(shù)、響應(yīng)時間和資源利用率等評估因子的結(jié)果之后，根據(jù)客戶對系統(tǒng)的需求值取一個預(yù)期結(jié)果值，將各指標(biāo)值與預(yù)期結(jié)果進(jìn)行比較，評定某個系統(tǒng)的性能優(yōu)劣。

然而在實際的選型測試中，通常需要設(shè)計多種業(yè)務(wù)場景來驗證系統(tǒng)在不同狀態(tài)下的性能表現(xiàn)，而根據(jù)各種測試場景測試目的的不同，其關(guān)注的性能表現(xiàn)因素也不同。單一的評價模式既沒有考慮到系統(tǒng)在不同應(yīng)用場景中對性能評估因子的需求變化，也沒有考慮到在同一應(yīng)用場景中不同性能評估因子對系統(tǒng)性能的影響程度，對于業(yè)務(wù)復(fù)雜、應(yīng)用場景多、對性能具有高要求的系統(tǒng)（如OCS），單一的評價方法無法體現(xiàn)系統(tǒng)綜合性能的優(yōu)勢和瓶頸，因而無法全面有效地驗證不同供應(yīng)商的系統(tǒng)性能。本文對不同業(yè)務(wù)場景的測試目的進(jìn)行分析，從而得出每類場景關(guān)注的性能評估因子，并根據(jù)實際運營需求或經(jīng)驗值為不同評估因子給出評估分?jǐn)?shù)分段建議取值，從而形成一套綜合指標(biāo)評估體系，應(yīng)用本評估體系可全面地評估OCS的綜合性能，有效地對不同供應(yīng)商的OCS進(jìn)行橫向評比工作。

3.1 極限測試

極限測試需要采用負(fù)載測試工具進(jìn)行，通過虛擬一定數(shù)量的用戶，向OCS并行發(fā)起各類業(yè)務(wù)請求。根據(jù)極限測試的定義[3]，可知極限測試的目的是探測系統(tǒng)極限的處理能力以及系統(tǒng)達(dá)到極限時的各種性能表現(xiàn)。

其中，對于系統(tǒng)極限的處理能力，可由測試得到的CAPS體現(xiàn)，它反映了OCS在單位時間內(nèi)的并發(fā)處理能力。設(shè)為整個場景運行時間(或某段時間內(nèi))的平均值（各指標(biāo)的平均值一般取平穩(wěn)運行后20 min的區(qū)間進(jìn)行計算，下同）性能評估需求分析中估算所得的對OCS最大并發(fā)處理能力的預(yù)期值越接近預(yù)期值，則越符合用戶的需求，設(shè)該項評估分值滿分為1分（下同），因此該項評估分值

對于達(dá)到極限時的各種性能表現(xiàn)，可由以下3個指標(biāo)來體現(xiàn)。

·事務(wù)處理的錯誤率E：不同的業(yè)務(wù)系統(tǒng)的容錯程度不同，因此對錯誤率的要求各有不同（中國電信計費類業(yè)務(wù)系統(tǒng)規(guī)定錯誤率Er低于0.01‰），錯誤率越小越好，因此該項評估分值

上述4項評估因子全面體現(xiàn)了用戶所關(guān)心的“系統(tǒng)極限的處理能力”以及“系統(tǒng)達(dá)到極限時的各種性能表現(xiàn)”，因此極限測試場景的評估結(jié)果應(yīng)由上述4個指標(biāo)的得分加權(quán)得出。不同用戶對于各項指標(biāo)的關(guān)注程度有所不同，可為每項指標(biāo)設(shè)置權(quán)重系數(shù) （設(shè)k1、k2、k3、k4為權(quán)重系數(shù)，下同），由此可推導(dǎo)出極限測試場景性能表現(xiàn)評估算法計算式如下：

3.2 過載測試

過載測試是在極限測試的基礎(chǔ)上，虛擬一定的用戶數(shù)，按極限測試并發(fā)請求數(shù)的120%向OCS發(fā)起請求，其目的是考核OCS在短時間超負(fù)荷情況下的穩(wěn)定度和頑健性。因此，過載測試結(jié)果評估算法主要關(guān)注在達(dá)到120%的并發(fā)壓力之后，穩(wěn)定運行20 min，這個區(qū)間內(nèi)響應(yīng)時間的波動情況以及事務(wù)處理的錯誤率。由于只關(guān)注此兩項評估因子，因此只需將式（6）略做調(diào)整，即可推導(dǎo)出過載測試場景的評估算法計算式如下：

3.3 疲勞測試

由疲勞測試的定義可知，該場景的測試目的是有效檢驗OCS的續(xù)航能力。因此，在疲勞測試中，不再關(guān)注某一指標(biāo)的瞬間值，而應(yīng)關(guān)注整個運行過程中各種指標(biāo)的變化，這些變化包括：并發(fā)處理能力的衰減性與波動性、響應(yīng)時間的波動性、資源使用率的波動性以及長時間運行過程中的處理錯誤率等關(guān)鍵的考核因素。假設(shè)疲勞測試持續(xù)t h，下面對這些因子逐一進(jìn)行分析。

并發(fā)處理能力衰減性V1：在t h內(nèi)，每小時進(jìn)行數(shù)據(jù)采樣，可獲取每小時OCS的并發(fā)處理能力CAPSi，如果CAPSi+1≥CAPSi，則說明并發(fā)處理能力上升；如果CAPSi+1

并發(fā)處理能力峰谷差V2：峰谷差值越小，則說明長時間運行并發(fā)處理能力的波動性越小，因此該項的評估分值

上述5項因子，綜合體現(xiàn)了長時間運行過程中系統(tǒng)的性能變化，因此，疲勞測試場景的評估結(jié)果應(yīng)由上述5個因子的得分加權(quán)得出，由此可推導(dǎo)出疲勞測試場景的評估算法計算式如下：

3.4 服務(wù)器資源擴展測試

隨著業(yè)務(wù)發(fā)展和承載用戶數(shù)的增加，OCS亟需進(jìn)行性能優(yōu)化，增加集群服務(wù)器個數(shù)，對服務(wù)器進(jìn)行橫向擴展是系統(tǒng)性能提升的必備手段之一。擴展性良好的系統(tǒng)，其并發(fā)處理能力應(yīng)在水平擴展之后具有明顯的提升，同時，對于集群中服務(wù)器的資源使用，必須做到均衡利用，以避免單點癱瘓造成的系統(tǒng)運行間斷。因此，以單機服務(wù)器擴展為雙機服務(wù)器為例，服務(wù)器資源擴展測試的評估算法應(yīng)體現(xiàn)出上述兩點原則。

·擴展后處理能力提升：CAPSe為擴展后測得的最大并發(fā)處理數(shù)，CAPSs為擴展前的值，則處理能力提升的比例為

·擴展后資源均衡利用：可由兩臺服務(wù)器的資源使用率差值的絕對值體現(xiàn)，差值越小，說明對擴展后的資源利用越均衡，則越能避免單點癱瘓現(xiàn)象，因此該項得分為1-|R2-R1|。

上述因子能夠綜合體現(xiàn)被測的OCS是否能對擴展的資源進(jìn)行充分和合理的利用，因此水平擴展測試的性能指標(biāo)評估算法應(yīng)由其加權(quán)得出，具體如下：

為獲取不同場景評估算法中各項評估因子的統(tǒng)計結(jié)果，可設(shè)計相應(yīng)的測試程序或使用通用的性能測試軟件和監(jiān)控工具（如 LoadRunner、TeamQuest等）進(jìn)行自動統(tǒng)計，在測試結(jié)束后將統(tǒng)計結(jié)果代入式（6）～式（10）中進(jìn)行計算，得出不同參測系統(tǒng)在各個測試場景下的評估分?jǐn)?shù)，根據(jù)各項評估因子的得分和總分，即可對不同供應(yīng)商參測系統(tǒng)的性能表現(xiàn)進(jìn)行橫行的綜合對比。

4 OCS綜合性能評估實例

中國電信OCS通過實時計費協(xié)議與SCP、CCG與ISMP等網(wǎng)絡(luò)設(shè)備相連，通過在線計費協(xié)議對基本話音業(yè)務(wù)、基本數(shù)據(jù)承載業(yè)務(wù)、增值業(yè)務(wù)等進(jìn)行在線計費控制。在線計費系統(tǒng)中統(tǒng)一實現(xiàn)了各種業(yè)務(wù)的交叉捆綁計費與優(yōu)惠，從而實現(xiàn)了多業(yè)務(wù)多網(wǎng)絡(luò)融合的在線計費。下面以中國電信某省OCS選型測試工程為例，驗證本文提出的綜合性能評估體系。

4.1 性能評估方案設(shè)計

某省電信公司擬對供應(yīng)商A和B的OCS進(jìn)行選型比對，該省承載的移動用戶數(shù)為100萬，根據(jù)OCS所承載的計費業(yè)務(wù)類型，OCS性能評估的業(yè)務(wù)模型應(yīng)包含話音、點對點短信、會話類分組數(shù)據(jù)業(yè)務(wù)及事件類分組數(shù)據(jù)業(yè)務(wù)。由現(xiàn)網(wǎng)運營的統(tǒng)計數(shù)據(jù)可獲取4類業(yè)務(wù)的忙時平均話務(wù)數(shù)統(tǒng)計值，根據(jù)式（2）～式（5）進(jìn)行計算，可得出對該省不同業(yè)務(wù)的話務(wù)數(shù)需求的總數(shù)，見表2。

表2 OCS綜合性能評估業(yè)務(wù)模型及話務(wù)量需求

OCS的選型評估注重不同承建廠商系統(tǒng)之間的橫向比對，為了獲取各廠商OCS的綜合性能，共設(shè)計極限運行、過載運行、8 h疲勞運行、應(yīng)用服務(wù)器雙機水平擴展4個測試場景進(jìn)行測試。根據(jù)表2的計算結(jié)果及2.1節(jié)的分析結(jié)果可知，對OCS的最大處理能力要求應(yīng)不小于1 071。同時根據(jù)該省實際運營的需求，對資源使用率和錯誤率的預(yù)期值進(jìn)行定義，見表3。

表3 某省OCS性能指標(biāo)預(yù)期值

按表2所列的4類業(yè)務(wù)組合設(shè)計本次測試的業(yè)務(wù)模型，利用測試軟件LoadRunner模擬極限運行、過載運行、8 h疲勞運行、應(yīng)用服務(wù)器雙機水平擴展4個測試場景，使用監(jiān)控工具TeamQuest監(jiān)控系統(tǒng)的資源使用率，對式（6）～式（10）中涉及的各項評估因子的統(tǒng)計值進(jìn)行自動記錄。

4.2 綜合性能評估結(jié)果

測試結(jié)束后，從測試軟件和監(jiān)控工具中提取出各項評估因子的統(tǒng)計值，結(jié)合表5定義的預(yù)期值進(jìn)行計算（動態(tài)系數(shù)k取均值，即假設(shè)該省對每種場景各項評估因子的關(guān)注度均等），可得出本次選型測試的評估分?jǐn)?shù)，見表4～表7。

由上述4種場景的綜合性能評估結(jié)果，可對供應(yīng)商A和B的OCS的性能優(yōu)劣得出表8所列的評估結(jié)論。

在極限及過載運行狀態(tài)下穩(wěn)定性較差，響應(yīng)時間波動較大，同時個別業(yè)務(wù)的錯誤率較高，在節(jié)假日的繁忙時期可能出現(xiàn)系統(tǒng)響應(yīng)超時從而影響業(yè)務(wù)運營。

表4 極限運行測試結(jié)果及評估得分

表5 過載運行測試結(jié)果及評估得分

表6 疲勞運行測試結(jié)果及評估得分

表7 水平資源擴展測試結(jié)果及評估得分

表8 供應(yīng)商A和B綜合性能優(yōu)劣對比

由表8可見，依據(jù)本文提出的綜合性能評估方法，A供應(yīng)商和B供應(yīng)商的系統(tǒng)各有優(yōu)劣，而傳統(tǒng)的評估模式僅關(guān)注并發(fā)處理能力、響應(yīng)時間或者資源利用率等單項指標(biāo)的離散結(jié)果，容易得出A優(yōu)于B的片面定論，失去了性能評估的全面性和客觀性。通過本文提出的綜合性能評估方法，能夠發(fā)現(xiàn)系統(tǒng)的優(yōu)缺點，同時，運營單位可以根據(jù)自身需求調(diào)整不同評估因子的權(quán)重，進(jìn)行供應(yīng)商選型，選擇符合本省實際業(yè)務(wù)需求的OCS。結(jié)合本方法中不同場景的具體結(jié)果，還可以定位到系統(tǒng)的瓶頸，為選型確定之后的調(diào)優(yōu)上線等工作提供指導(dǎo)。

5 結(jié)束語

本文通過對OCS的性能評估需求分析，設(shè)計了一套可供全面檢測的性能評估方案，提供了各種主要性能指標(biāo)參考值的估算方法；同時針對不同的測試場景，提出了不同的性能指標(biāo)評估算法，形成了一套完整的性能指標(biāo)評估體系。本方法已成功應(yīng)用于中國電信OCS選型測試中，經(jīng)過實際的工程驗證，本文所提出的評估方案和指標(biāo)評估體系，能夠全面地評估OCS的綜合性能，有效地指導(dǎo)OCS的性能評估和選型對比。本文提出的評估算法也具備一定的通用性，根據(jù)不同系統(tǒng)對各項指標(biāo)的需求對評估算法進(jìn)行適當(dāng)調(diào)整，可應(yīng)用于其他IT系統(tǒng)性能評估，在實際生產(chǎn)中，本方法已多次應(yīng)用于中國電信計費業(yè)務(wù)網(wǎng)關(guān)系統(tǒng)、中國電信合作伙伴結(jié)算系統(tǒng)等多個系統(tǒng)的選型測試。同時，利用本評估方法能夠初步定位OCS的性能瓶頸，為性能調(diào)優(yōu)提供一定的參考價值。

1 3GPP TS 32.296-2009.The 3rd Generation Partnership Project，Online Charging System (OCS):Application and Interfaces,2009

2 王超.從OCS的發(fā)展探討下一代計費系統(tǒng)的特點.電信科學(xué),2011(10A)

3 于涌.軟件性能測試與Loadrunner實戰(zhàn).北京:人民郵電出版社,2008

4 淺談中國電信OCS的引入.資源決策網(wǎng),2007

5 陳能技,郭柏雅.性能測試診斷分析與優(yōu)化.北京:電子工業(yè)出版社,2012