面向數(shù)據(jù)庫云化的企業(yè)級高性能一體機(jī)性能評價(jià)模型

莊 嶺 趙新建 李 維 王 召 籍天明*

1(國網(wǎng)江蘇省電力公司 江蘇 南京 210000)2(南京供電公司 江蘇 南京 210000)3(南京南瑞集團(tuán)公司 江蘇 南京 210000)

0 引 言

近年來，隨著信息化技術(shù)的飛速發(fā)展，云計(jì)算和大數(shù)據(jù)技術(shù)正在興起，“企業(yè)業(yè)務(wù)云化”[1-2]這一課題正日益受到關(guān)注。云不僅僅帶來技術(shù)和應(yīng)用模式上的創(chuàng)新，還可以為商業(yè)模式的創(chuàng)新以及為企業(yè)自身的業(yè)務(wù)轉(zhuǎn)型帶來契機(jī)[3]。在此形勢的驅(qū)動下，以數(shù)據(jù)庫云化為目標(biāo)而推出的軟硬件一體化融合設(shè)備應(yīng)運(yùn)而生[4-7]。數(shù)據(jù)庫一體機(jī)將數(shù)據(jù)庫軟件和標(biāo)準(zhǔn)硬件結(jié)合[8-10]，作為企業(yè)級大數(shù)據(jù)處理平臺使用，具有較好的橫向擴(kuò)展能力,適合海量數(shù)據(jù)處理場景[11-12]。數(shù)據(jù)庫一體機(jī)可以縮短用戶系統(tǒng)的上線時(shí)間，可滿足海量數(shù)據(jù)的高性能、高可用性以及復(fù)雜查詢快速響應(yīng)需求[13-15]，對于企業(yè)的重要性與日俱增。因此，有必要對不同型號的數(shù)據(jù)庫一體機(jī)性能進(jìn)行研究。本次針對不同型號的數(shù)據(jù)庫一體機(jī)分別進(jìn)行OLAP[16-18]、即席測試、功能性測試等場景測試，并分析其執(zhí)行各場景需要的時(shí)間與系統(tǒng)資源消耗情況。根據(jù)不同場景下的測試數(shù)據(jù)，構(gòu)建了一體機(jī)的性能評價(jià)模型。

1 對比測試研究

1.1 被測設(shè)備信息本文選取T2750、Green Plum DCA、FusionCube HANA、Isp和XData等5種代表性型號(為尊重廠商和產(chǎn)品，本文所涉及的型號均為代稱，但各型號產(chǎn)品的參數(shù)和數(shù)據(jù)都是真實(shí)測得的)的數(shù)據(jù)庫一體機(jī)進(jìn)行性能測試，各型號產(chǎn)品的參數(shù)如表1所示。

本文的測試統(tǒng)一使用Loadrunner工具錄制標(biāo)準(zhǔn)Java腳本, 模擬并發(fā)用戶對各型號數(shù)據(jù)倉庫一體機(jī)進(jìn)行壓力測試。

1.2 測試指標(biāo)對于數(shù)據(jù)庫一體機(jī)性能的關(guān)注指標(biāo)主要是：CPU、內(nèi)存和IO。因此本文測試的主要指標(biāo)是：測試各型號產(chǎn)品在執(zhí)行OLAP、混合負(fù)載和功能等各場景不同并發(fā)用戶壓力下的運(yùn)行時(shí)間，及CPU、內(nèi)存和IO等系統(tǒng)資源開銷情況。本文測試以某大型公司營銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)作為ODS數(shù)據(jù)源，各被測設(shè)備首先從ODS數(shù)據(jù)源進(jìn)行測試數(shù)據(jù)的初始化裝載。1.3 測試步驟測試步驟為：Step1 測試前期準(zhǔn)備，各測試組(每組對應(yīng)一個(gè)型號的產(chǎn)品)可對測試數(shù)據(jù)和測試腳本進(jìn)行優(yōu)化調(diào)試。Step2 采用多臺統(tǒng)一使用Loadrunner錄制的標(biāo)準(zhǔn)JAVA腳本的壓力機(jī)，對各型號產(chǎn)品調(diào)用優(yōu)化后的SQL語句，通過JDBC方式連接各數(shù)據(jù)庫一體機(jī)。Step3 進(jìn)行各測試場景的測試，記錄各場景在不同并發(fā)用戶下的執(zhí)行時(shí)間和被測的CPU、內(nèi)存和IO等系統(tǒng)開銷數(shù)據(jù)。1.4 測試環(huán)境整體測試環(huán)境主要分為配套環(huán)境和被測設(shè)備兩大部分，其中配套環(huán)境使用Loadrunner模擬并發(fā)用戶對被測設(shè)備發(fā)起壓力請求。在測試過程中，除被測設(shè)備外，將使用統(tǒng)一的配套環(huán)境。拓?fù)鋱D如圖1所示。

2 測試結(jié)果分析

2.1 OLAP場景測試結(jié)果聯(lián)機(jī)分析處理OLAP是在聯(lián)機(jī)事務(wù)處理過程OLTP(On-Line Transaction Processing)已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要以及SQL對大數(shù)據(jù)庫的簡單查詢也不能滿足用戶分析的需求下出現(xiàn)的新技術(shù)。OLAP的目的是決策支持或多維環(huán)境特定的查詢和報(bào)表需求。可以將OLAP理解成多維數(shù)據(jù)分析工具的集合，對于支撐OLAP的硬件架構(gòu)，必須滿足海量數(shù)據(jù)的實(shí)時(shí)計(jì)算，高吞吐量以及用戶的并發(fā)訪問。本文共選取15個(gè)OLAP測試場景，由于篇幅所限，僅列舉復(fù)雜查詢和大數(shù)據(jù)輸出場景中具有代表性的測試結(jié)果，如表2-表3所示。

表2 OLAP復(fù)雜場景測試結(jié)果

表3 OLAP大數(shù)據(jù)輸出場景測試結(jié)果

2.2 即席場景測試結(jié)果即席測試場景基于即席查詢，用戶可以根據(jù)自己的需求靈活地選擇查詢條件，系統(tǒng)則根據(jù)用戶的選擇生成相應(yīng)的統(tǒng)計(jì)結(jié)果。即席測試場景的測試結(jié)果(選取T2750，GREEN PLUM DCA為例)如表4所示。

表4 即席測試場景的測試結(jié)果

2.3 功能性測試場景測試結(jié)果功能性測試場景測試結(jié)果如表5所示。

表5 功能性測試場景測試結(jié)果(以GREEN PLUM DCA為例)

續(xù)表5

3 評價(jià)模型建模

3.1 定性評價(jià)分析(1) 在OLAP性能測試場景中，T2750完成了所有的性能測試場景，在15個(gè)性能測試場景中，有13個(gè)場景測試結(jié)果優(yōu)于其他型號；SAP—HANA基本完成所有測試場景，其中有7個(gè)場景優(yōu)于其他型號；GREEN PLUM DCA完成了14個(gè)性能測試場景，其中有6個(gè)場景優(yōu)于其他型號產(chǎn)品；XData大數(shù)據(jù)一體機(jī)完成了13個(gè)性能測試場景，其中有2個(gè)場景優(yōu)于其他型號產(chǎn)品；Isp大數(shù)據(jù)一體機(jī)在本次測試中共完成7個(gè)性能測試場景, 且各場景結(jié)果與其他型號產(chǎn)品存在一定差距。(2) 在2個(gè)即席查詢場景中，T2750完成了全部即席查詢測試場景，且性能優(yōu)于其他型號產(chǎn)品；GREEN PLUM DCA完成其中一個(gè)即席查詢；其他型號產(chǎn)品均未完成。(3) 在功能測試場景中，T2750和GREEN PLUM DCA完成了大部分功能測試；XData有2個(gè)場景未測試；Isp和HANA大部分功能未進(jìn)行測試。

3.2 定量評價(jià)分析

3.2.1 指標(biāo)體系及權(quán)重針對本次測試，測試結(jié)果的評價(jià)綜合考慮了性能測試、功能性測試和即席測試3個(gè)部分。(1) 性能指標(biāo)：簡單查詢、復(fù)雜查詢、全表掃描、大數(shù)據(jù)量輸出等功能共計(jì)15項(xiàng)。(2) 功能指標(biāo)：數(shù)據(jù)裝載、擴(kuò)展性、高可用、系統(tǒng)管理等功能共計(jì)8項(xiàng)。(3) 即席查詢：即席查詢功能共計(jì)2項(xiàng)。測試評價(jià)指標(biāo)體系及其權(quán)重如表6所示。

表6 測試評價(jià)指標(biāo)體系及其權(quán)重

3.2.2 評價(jià)方法及細(xì)則(1) 評價(jià)方法如下：各型號產(chǎn)品每類參測產(chǎn)品的滿分為100分，性能部分占60%、功能部分占32%，即席查詢占8%，總得分計(jì)算公式為：

W總分=W性能+W功能+W即席

(1)

式中:W性能=∑Ci×Xii=1,2,…,15

W功能=∑Cj×Xjj=1,2,…,8

(2)

圖2 幾種型號數(shù)據(jù)庫一體機(jī)設(shè)備綜合得分

(3)

式中：Xk為該型號產(chǎn)品在第k項(xiàng)指標(biāo)的得分值，Mk為該型號產(chǎn)品在該項(xiàng)指標(biāo)上的實(shí)際測試值，Mmin為所有型號產(chǎn)品在該項(xiàng)指標(biāo)上的最小測試值，Kk為該項(xiàng)的權(quán)重分，Pε為所有型號產(chǎn)品在該項(xiàng)指標(biāo)上的并發(fā)測試數(shù)。根據(jù)上述數(shù)據(jù)，得出各型號數(shù)據(jù)庫一體機(jī)設(shè)備綜合得分，如圖2所示。從圖2可看出，T2750的綜合性能表現(xiàn)最佳，Green Plum DCA次之。

4 結(jié) 語

本文對5種不同型號的數(shù)據(jù)庫一體機(jī)產(chǎn)品進(jìn)行OLAP、即席測試、功能性測試等場景進(jìn)行測試，對執(zhí)行各場景需要的時(shí)間與系統(tǒng)資源消耗情況進(jìn)行了分析。綜合考慮各測試場景下的各個(gè)測試指標(biāo)，構(gòu)建了數(shù)據(jù)庫一體機(jī)的性能評價(jià)模型。測試和計(jì)算結(jié)果表明，T2750數(shù)據(jù)庫一體機(jī)在本文評價(jià)體系下的綜合得分最高，綜合性能表現(xiàn)最佳。本文測試結(jié)果及評價(jià)模型為企業(yè)數(shù)據(jù)庫一體機(jī)的選型工作提供了科學(xué)依據(jù)。

參考文獻(xiàn)

[1] 陳春凱. 云計(jì)算環(huán)境下基于拓?fù)涓兄奶摂M網(wǎng)絡(luò)映射研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2014,31(12):156-160.

[2] 王德政, 申山宏, 周寧寧. 云計(jì)算環(huán)境下的數(shù)據(jù)存儲[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2011, 21(4):81-84.

[3] 戴炳榮, 宋俊典, 錢俊玲. 云計(jì)算環(huán)境下海量分布式數(shù)據(jù)處理協(xié)同機(jī)制的研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(1):107-110.

[4] 吳正學(xué), 戴牡紅. 云計(jì)算中基于否定規(guī)則的訪問控制技術(shù)的研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2014,31(1):30-33.

[5] 王玲, 宋斌, 王平立,等. 基于數(shù)據(jù)倉庫三層架構(gòu)的決策支持系統(tǒng)應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2007, 24(2):69-71.

[6] 劉宇. 虛擬化環(huán)境下的數(shù)據(jù)庫集群系統(tǒng)構(gòu)建與性能分析[J]. 計(jì)算機(jī)與現(xiàn)代化, 2011, 1(8):153-156.

[7] 喬宏明, 姚文勝, 高儒振,等. 電信行業(yè)數(shù)據(jù)庫云化部署思路探討[J]. 移動通信, 2012, 36(20):82-87.

[8] 隋合軾. 基于一體機(jī)架構(gòu)的海量數(shù)據(jù)集中與處理[J]. 東北電力技術(shù), 2015, 36(9):12-15.

[9] 徐建民, 劉進(jìn)坡. 基于數(shù)據(jù)庫技術(shù)的遠(yuǎn)程監(jiān)控系統(tǒng)的開發(fā)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)與現(xiàn)代化, 2005(1):80-83.

[10] 儲浩, 呂萬里. 云橋數(shù)據(jù)庫一體機(jī)在移動業(yè)務(wù)系統(tǒng)中的應(yīng)用[J]. 移動通信, 2014, 38(13) :33-37.

[11] 張光亞. 云計(jì)算中的數(shù)據(jù)庫關(guān)鍵性技術(shù)分析[J]. 信息通信, 2015(5):109-109.

[12] 賀超波, 陳啟買, 劉海. 數(shù)據(jù)倉庫與OLAP在高校教學(xué)決策中的應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2009, 26(6):93-95.

[13] 楊彬彬, 鄭曉薇. 基于MS Analysis Services 的OLAP分析系統(tǒng)模型設(shè)計(jì)及應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2007, 24(8):216-218.

[14] 蔡亞杰, 趙政文, 白松,等. 并行數(shù)據(jù)庫基于多連接的查詢優(yōu)化算法的研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2012, 29(12):182-185.

[15] 壽志勤, 劉波. 數(shù)據(jù)倉庫和OLAP技術(shù)在政府網(wǎng)站評估中的應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2011, 21(10):133-136.

[16] 曹曉靜, 張航. 決策支持系統(tǒng)的發(fā)展及其關(guān)鍵技術(shù)分析[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2006, 16(11):94-96.

[17] 彭璐. 基于數(shù)據(jù)倉庫的OLAP中的索引技術(shù)研究[J]. 計(jì)算機(jī)與數(shù)字工程, 2014,42(12):2325-2330.

[18] 劉宇. 虛擬化環(huán)境下的數(shù)據(jù)庫集群系統(tǒng)構(gòu)建與性能分析[J]. 計(jì)算機(jī)與現(xiàn)代化, 2011(8):153-156.