數(shù)據(jù)處理中心云服務綜合架構(gòu)的研究與應用

方 志

（中國電子科技集團公司第五十四研究所 河北 石家莊 050081）

數(shù)據(jù)處理中心云服務綜合架構(gòu)的研究與應用

方 志

（中國電子科技集團公司第五十四研究所 河北 石家莊 050081）

分析云計算研究和應用的現(xiàn)狀，闡述了綜合型項目中基于云服務架構(gòu)建設數(shù)據(jù)處理中心的典型模式，采用了理論分析和實踐設計的方法，重點研究并提出了數(shù)據(jù)處理中心的云服務綜合架構(gòu)，包括云計算平臺、資源管理、架構(gòu)管理、計算資源部署和云存儲數(shù)據(jù)倉庫，在建設成本、移植風險和業(yè)務性能方面分析了云架構(gòu)的基礎優(yōu)勢，并展望了云架構(gòu)發(fā)展前景。

云計算 數(shù)據(jù)服務中心 服務架構(gòu)

1 引言

采用云計算技術，設計統(tǒng)一的服務綜合架構(gòu)，是建設數(shù)據(jù)綜合處理中心的最佳途徑，是解決軟件危機的重要手段，可為涵蓋多型信息系統(tǒng)的大型項目綜合集成提供有效支撐，能夠有效地解決海量信息的采集與接入壓力大、分發(fā)邏輯復雜、存儲資源緊張、處理效率低下及數(shù)據(jù)產(chǎn)出受限等問題。

在介紹傳統(tǒng)云計算的概念和發(fā)展進程的基礎上，結(jié)合相關領域的研究與發(fā)展現(xiàn)狀，給出了建設基于云計算技術和服務綜合架構(gòu)的數(shù)據(jù)處理中心的設計模式，包括應用形式、架構(gòu)設計及技術措施，并分析了可獲得的基礎優(yōu)勢和發(fā)展前景。

2 云計算及現(xiàn)狀分析

2.1 云計算

常規(guī)意義上的“云計算”，是一種基于綜合網(wǎng)絡的計算服務模型[1]，是網(wǎng)格計算、分布式計算、并行計算、效用計算、網(wǎng)絡存儲、虛擬化和負載均衡等傳統(tǒng)計算機技術和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。近年來，由于迅猛增長的計算資源性能和基礎設施組成規(guī)模，傳統(tǒng)計算模型的局限日益顯著，表現(xiàn)在設備利用率低下、軟硬件運維成本劇增、處理機制大量冗余和信息服務可用性差等方面，上述誘因?qū)е略朴嬎愀拍畹玫綐O度重視和大規(guī)模應用。云計算模型總是面向服務設計的，通常包括3個要素院①平臺構(gòu)建者，完成服務資源的整合和管理；②內(nèi)容提供者，產(chǎn)出高效可靠的特色服務；③服務使用者，可自由使用資源和獲取信息。

2.2 現(xiàn)狀分析

大型信息化項目的數(shù)據(jù)中心由于其復雜特性，不能簡單地通過獨立設備提供商或軟件系統(tǒng)提供商提供產(chǎn)品，必須基于綜合解決方案實施，以滿足其項目規(guī)模不斷擴大、組成體制更加復雜、協(xié)作單位更多和應用需求更加多樣的現(xiàn)狀；相比于傳統(tǒng)單一設備指標或技術功能，用戶更加重視綜合性系統(tǒng)指標，對數(shù)據(jù)二次生產(chǎn)和綜合應用能力提出了更高的要求。

近年來，以面向服務模式加強互通互聯(lián)，采用云計算概念解決體系建設問題，已經(jīng)成為國家重點部門和業(yè)界的共識。在可以預見的時期內(nèi)，大型綜合項目數(shù)據(jù)中心建設中，系統(tǒng)技術總體工作、基礎設施建設、服務架構(gòu)實現(xiàn)以及對第三方系統(tǒng)集成接入等工作將是重中之重。在保持設備高指標和功能專業(yè)化等傳統(tǒng)優(yōu)勢的同時，必須立足長遠，提前規(guī)劃，將更多的眼光放在總體能力的技術儲備上，解決大型綜合項目跨平臺、跨體制、跨協(xié)議、組網(wǎng)復雜和業(yè)務多樣的問題。

3 應用形式

3.1 基礎設施建設統(tǒng)一規(guī)劃

傳統(tǒng)的分期分批按系統(tǒng)獨立建設基礎設施的模式具有越來越顯著的缺陷，表現(xiàn)在建設復雜度高、建設周期長、適應能力差、重復投資大和成長性不足等方面，同時要占用大量的人力資源和能源消耗。

為了解決上述問題，同時滿足性能指標彈性可控、綜合協(xié)同及規(guī)?？勺兊南到y(tǒng)運行條件，根據(jù)項目集成規(guī)模與特點，采用集群計算和虛擬化等云計算技術對項目基礎設施的建設進行預先規(guī)劃，實現(xiàn)硬件設備的統(tǒng)一管理、彈性拓展、可靠運行和安全容災的需要，為不同系統(tǒng)的運行提供集群化的硬件資源保障，包括綜合網(wǎng)絡資源、海量安全云存儲資源、高性能計算資源與業(yè)務呈現(xiàn)終端等。

3.2 基于面向服務體系運行

以往構(gòu)建的業(yè)務系統(tǒng)一般采用自主模式執(zhí)行業(yè)務，處理流程封閉，跨系統(tǒng)甚至跨模塊的交互也只能采用握手方式解決。這種模式已經(jīng)不能適應系統(tǒng)規(guī)模劇增帶來的信息流程復雜度，而采用面向服務的信息處理手段已經(jīng)成為大型綜合項目建設的必要條件。

在接入和匯集跨體制海量信息的基礎上，通過服務虛擬化技術手段，將業(yè)務提請與發(fā)布分離，建立原始數(shù)據(jù)、計算能力與業(yè)務服務的依托關系，定義松耦合的服務規(guī)則，以保證資源的共用、效率和靈活，滿足跨地域、跨系統(tǒng)、跨業(yè)務和跨平臺的有效服務整合，實現(xiàn)自主訂閱、自動推送、在線更新、集中審核與統(tǒng)一處理，進而形成一個面向服務的標準體系。

系統(tǒng)數(shù)據(jù)以服務的方式在該體系內(nèi)流轉(zhuǎn)，按需定制以減少冗余處理，在高效運行的前提下支撐成果共用，減低終端數(shù)據(jù)處理壓力，同時擴大應用功能的范圍和效率；可支持軟件利舊，對現(xiàn)有成果只需要增加服務接口即可完成改造應用；大型綜合項目的所有應用節(jié)點在此體系下都可以互聯(lián)互通，由于業(yè)務性質(zhì)的差異，系統(tǒng)各項能力可分布在不同服務節(jié)點，無需為獲取某項系統(tǒng)服務而擴大業(yè)務資源的部署規(guī)模，即可最大效益的發(fā)揮資源綜合能力。

此面向服務體系可解決數(shù)據(jù)基礎生產(chǎn)和處理的瓶頸問題，簡化業(yè)務關系模型，減少傳輸環(huán)節(jié)，同時使得應用節(jié)點能夠獲得范圍更廣、指向性更強和價值更高的服務，進而推動高級數(shù)據(jù)產(chǎn)出。

3.3 構(gòu)建分層化的計算服務

系統(tǒng)服務有時需要高性能計算的支撐，以滿足大流量、高靈敏、多批次和緊急處理的應用需要，這種服務通常具有特性化處理方式和專用算法。傳統(tǒng)解決辦法需要在計算平臺上投入大量資金，卻只能獲得很低的設備利用率，同時計算資源應用范圍狹窄，應用方式靈活性不足，不利于維護和優(yōu)化，彈性適應與安全保障能力基本沒有。

在復合云架構(gòu)中，采用分層化[2]計算能力部署來支撐此需求?；诟咝阅苡嬎阗Y源集群，為此類服務的實現(xiàn)提供硬件平臺，滿足計算能力的基礎需要，可支持動態(tài)擴展、作業(yè)遷移以及按需定制；部署支撐項目各業(yè)務實現(xiàn)的基礎計算單元，提供一系列標準化、分布式、可共用和可替換的通用計算服務支撐，采用作業(yè)調(diào)度的形式自動管理計算資源的使用；通過配置虛擬化專用處理節(jié)點，部署完成項目業(yè)務功能實現(xiàn)的高級計算單元，依托于基礎計算單元的作業(yè)提交，實現(xiàn)特定業(yè)務的按需優(yōu)化與并行處理，并為不同的上層應用節(jié)點提供統(tǒng)一調(diào)用服務。

3.4 引入業(yè)務構(gòu)件服務化模型

在業(yè)務處理與應用終端，軟件構(gòu)件化技術的應用使得終端自身的靈活性大幅度提升。在此基礎上，需引入并運用構(gòu)件服務化應用模型。以往在不同的終端上，當業(yè)務要求一致時，需要部署多套處理構(gòu)件，經(jīng)常出現(xiàn)處理能力的瓶頸；在復合云架構(gòu)下，核心處理構(gòu)件組以服務的模式集中運行，按需創(chuàng)建實例，業(yè)務呈現(xiàn)終端的壓力直接得到緩解，而顯控能力理論上可提升到系統(tǒng)總體資源的上限。

4 架構(gòu)設計及技術措施

4.1 云計算平臺架構(gòu)設計

基于復合云計算技術[3,4]，構(gòu)建大型綜合項目運行的平臺架構(gòu)，簡稱云架構(gòu)。云架構(gòu)主要完成硬件資源、數(shù)據(jù)倉庫、公共服務以及軟件應用的部署與整合，為上層應用提供靈活統(tǒng)一的資源保障和可定制數(shù)據(jù)服務管理，如圖1所示。在此架構(gòu)中，底層處理集中部署高效運行，上層應用無需處理通信、接入、分發(fā)和適配等問題。

圖1 云服務綜合架構(gòu)示意圖

4.2 資源管理設計

資源管理設計的功能有如下幾個：

①完成高性能運算服務器群組[5]、數(shù)據(jù)存儲服務器群組和通信資源等硬件設備的虛擬化控制，將分布式和異構(gòu)的硬件資源集群分類虛擬化為統(tǒng)一的資源，按系統(tǒng)業(yè)務需求進行分區(qū)；

②基于資源調(diào)配與擴充的需要動態(tài)部署資源，包括應用軟件部署、操作系統(tǒng)部署、文件分區(qū)部署、網(wǎng)絡節(jié)點、桌面節(jié)點部署等，可支持鏡像、備份壓縮、動態(tài)遷移與還原等方式；

③完成系統(tǒng)連續(xù)穩(wěn)定運行的保障支持，可在線部署和在線擴容，而不中斷上層應用的運行；

④監(jiān)控集群資源及其附屬設備的技術與工作狀態(tài)，包括負載、限額和硬件信息等；

⑤建立管理資源調(diào)配策略，可根據(jù)資源負載和異常情況自動調(diào)用，同時輔助以自動報警手段；

⑥自動統(tǒng)計資源使用情況，完成統(tǒng)計、評估、取證和場景再現(xiàn)，并可與資源調(diào)配策略進行關聯(lián)。

4.3 云架構(gòu)管理設計

云架構(gòu)管理設計的功能有：

①標準的系統(tǒng)服務應用通知接口，用于業(yè)務上層節(jié)點報告希望獲取及能夠發(fā)布的系統(tǒng)服務；

②服務定義模塊[6]，與系統(tǒng)服務應用通知接口關聯(lián)，參照數(shù)據(jù)訂閱分發(fā)服務反饋的審核結(jié)果，對系統(tǒng)服務進行統(tǒng)一化描述，定義系統(tǒng)服務所包含的具體數(shù)據(jù)集合與計算動作集合，子模塊可靈活定制和動態(tài)調(diào)整；

③可用服務顯示，根據(jù)系統(tǒng)服務提供節(jié)點分發(fā)的實際可用數(shù)據(jù)集合，確定實時的可用系統(tǒng)服務列表，作為應用節(jié)點選擇并提請可用服務的依據(jù)；

④服務提請配件，分布式部署系統(tǒng)服務應用節(jié)點，發(fā)送系統(tǒng)服務提請通知，內(nèi)建數(shù)據(jù)訂閱模塊；

⑤服務發(fā)布配件，分布式部署系統(tǒng)服務提供節(jié)點，發(fā)送系統(tǒng)服務發(fā)布通知，內(nèi)建動態(tài)數(shù)據(jù)發(fā)布模塊；

⑥接入控制配件，提供異構(gòu)網(wǎng)絡融合的支撐能力；

⑦信息分發(fā)配件，將信息以動態(tài)組網(wǎng)的方式發(fā)布到定制的節(jié)點，降低信息流轉(zhuǎn)冗余，提升效率，并提供更加靈活的業(yè)務協(xié)同模型構(gòu)建基礎支撐；

⑧協(xié)議適配配件，提供不同信息格式之間的轉(zhuǎn)譯、封裝和解析。

4.4 計算資源部署設計

計算資源部署設計的功能有如下幾個：

①完成計算資源的平臺級應用部署：安裝不同類型、分組化、規(guī)?？勺兊挠嬎銌卧騿卧?，可根據(jù)系統(tǒng)體系擴充、規(guī)模放大、數(shù)據(jù)資源積累、業(yè)務范圍變更以等因素進行適應性管理與調(diào)整，提高單元部署規(guī)模，如種類和群組數(shù)量、計算指標和處理優(yōu)先級等；

②計算單元群組提供標準的上級應用調(diào)用接口，結(jié)合系統(tǒng)需求分布式部署，獨立化后臺運行，可實現(xiàn)異態(tài)計算與數(shù)據(jù)訪問任務的并發(fā)控制、支持上級調(diào)整服務參數(shù)；所有計算單元構(gòu)件化設計，可靈活配置，支持API級跨平臺；

③計算單元包括標準數(shù)學庫計算單元、行業(yè)專用分析單元以及項目專用計算單元等由低向高的級別。其中標準數(shù)學庫計算單元和行業(yè)專用分析單元采用對既有資源進行標準封裝的方式完成；項目專用計算單元通過標準接口獲取上述計算單元的支持；

④為計算資源提供作業(yè)管理，實現(xiàn)多用戶環(huán)境下系統(tǒng)作業(yè)的調(diào)配及結(jié)果匯總，支持交互式作業(yè)與批次作業(yè)，可自動采用分布和并行等方式處理；可實時對作業(yè)執(zhí)行情況如優(yōu)先級隊列、資源占用情況和處理進度等進行監(jiān)視，必要時干預；完成作業(yè)限額管理、現(xiàn)場清理和異常檢測；支持快速系統(tǒng)修復、過程數(shù)據(jù)的自動遷移和數(shù)據(jù)資源重新分配，在異常時將任務恢復到最近有效節(jié)點，保證作業(yè)連續(xù)性與完整性。

4.5 基于云存儲的數(shù)據(jù)倉庫構(gòu)建

主要功能有：①實現(xiàn)海量數(shù)據(jù)分布式存儲[7]，數(shù)據(jù)庫不再約束于單一的固定設備；支持高負荷數(shù)據(jù)吞吐條件下的并行存儲，提高數(shù)據(jù)交換效率，減少響應時間和互斥等待，并可隨著硬件資源的擴充而提高；其他優(yōu)化訪問模式；

②可自動進行容災處理，對核心數(shù)據(jù)建立實時鏡像備份或冗余備份，必要時可自動回溯到指定記錄節(jié)點狀態(tài)，支持策略化存儲與數(shù)據(jù)同步。

5 基礎優(yōu)勢分析

5.1 節(jié)約基礎設施建設成本

通過資源整合，將不同系統(tǒng)運行依托的硬件資源集中部署，提高設備利用率，減少閑置狀態(tài)和冗余配置，節(jié)能減耗。通過業(yè)務呈現(xiàn)與交互的云桌面化，降低了業(yè)務節(jié)點部署的復雜程度和場地占用限制性，人員分工與維護安排更加靈活；通過核心處理設備的集中化部署，在性能得到大幅度提升的前提下，設備量有效減少和結(jié)構(gòu)復雜度降低；由于虛擬化技術的應用，即可保證舊有設備的再利用，也便于增配性能更強的資源設備。

5.2 降低軟件系統(tǒng)移植風險

可為現(xiàn)有、改造和新增的各類軟件系統(tǒng)提供無縫的過渡支持，其實施過程周期短，且影響范圍微小；對于有性能特殊要求的軟件系統(tǒng)，提供可定制的高性能計算資源，將核心計算部分遷移到架構(gòu)底層，減少軟件開發(fā)的工作量和復雜度；可加快軟件系統(tǒng)的部署與調(diào)試速度，可集中式管理與遠程監(jiān)控，節(jié)約運行維護成本。

5.3 提升系統(tǒng)業(yè)務性能

通過共用化和可調(diào)整的資源控制，能夠動態(tài)提升指定系統(tǒng)應用的處理能力，相比傳統(tǒng)獨立式部署，對于性能的提升理論上是沒有上限的。上述的處理能力包括運行與傳輸速度、密集IO要求、并發(fā)事務處理能力和數(shù)據(jù)訪問容量等方面。通過局部提升資源指標即可提升系統(tǒng)整體的特定業(yè)務應用能力，提高數(shù)據(jù)生產(chǎn)性價比；通過系統(tǒng)服務定制，可減少無效數(shù)據(jù)傳遞，提高資源利用的實效性與處理效率。相比傳統(tǒng)模型，可以百乃至萬倍的提升核心計算的運行與數(shù)據(jù)訪問速度。

5.4 提升運行能力

可有效減少計劃停機時間，常規(guī)維護不會影響系統(tǒng)運行，新設備可即插即用；能夠保證業(yè)務連續(xù)性，局部設備故障時，業(yè)務可不受影響地連續(xù)運行或自動恢復，減少故障影響。

6 發(fā)展前景

復合云計算技術具有如下的發(fā)展趨勢：

①應用集中化和規(guī)?；捍笮驮朴嬎銛?shù)據(jù)中心將更多的完成上述任務，布設基礎設施集群、數(shù)據(jù)倉庫及多樣化專業(yè)處理系統(tǒng)；

②服務提供專業(yè)化：孤立的應用逐漸式微，面向整體的服務日益占據(jù)主流地位，大規(guī)模集中部署不同的處理能力以滿足專業(yè)性的需求是必然方向；

③萬物皆服務：計算能力、專用設備、數(shù)據(jù)倉庫和大型系統(tǒng)等都可被定義為服務；

④架構(gòu)標準化：先期建立的架構(gòu)必然經(jīng)過一個標準完善和補充的過程，這將隨著系統(tǒng)載體的增加與部署持續(xù)較長一段過程，但又是必不可少的。

7 結(jié)束語

常規(guī)云計算正在蓬勃發(fā)展，專用領域的云計算方興未艾，深入研究大型綜合項目中云計算技術的應用方式具有重要意義。緊密結(jié)合工程實踐，基于業(yè)務流程的服務化設計思路，設計了標準的云平臺架構(gòu)，提供彈性可控和復合集群的資源，有效解決了大型綜合項目的集成問題，具有一定的前瞻性和實用價值；同時提出的一些思路還在摸索階段，需要更長時間的驗證和完善，以期更加貼近工程化要求。

[1]修長虹,梁建坤,董鴻曄.云計算技術綜述[J].網(wǎng)絡安全技術與應用,2012(3):10-11.

[2]王放.解析分布式計算的應用[J].電腦編程技巧與維護, 2011(18):8-11.

[3]高巍.云計算帶來的數(shù)據(jù)中心變革[J].電信網(wǎng)技術,2011(9): 69-73.

[4]江務學,張璟,王志明.云計算及其架構(gòu)模式[J].遼寧工程技術大學學報:自然科學版,2011(4):575-579.

[5]劉曉茜.云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D].北京:中國科學技術大學,2011.

[6]陳輝.基于虛擬化環(huán)境的數(shù)據(jù)中心節(jié)能管理技術研究[D].北京:北京郵電大學,2012.

[7]孫鑫.面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機制研究[D].北京:北京郵電大學,2012.

Research and Application of Cloud Services Comprehensive Architecture in Data Processing Center

FANG Zhi
(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper analyzes the present situation of cloud computing research and application,and discusses the typical construction mode of data processing center based on cloud services architecture in comprehensive item.Particularly it uses theoretical analysis and practical design method to study and design cloud services comprehensive architecture in data processing center,including cloud computing platform,resources management,infrastructure management,computing resources deployment and data warehouse based on cloud storage.This paper also analyzes the foundation advantage of cloud architecture in such aspects as construction cost,transplantation risk and business function,and looks forward the development of cloud architecture.

cloud computing;data processing center;services architecture

TP311.5

A

1008-1739（2014）02-54-4

定稿日期：2013-12-26