面向超級計算中心的運營管理支撐平臺的設計與實現(xiàn)

楊 敏， 關偉豪， 朱 敏

(1. 中山大學 網(wǎng)絡與信息技術中心, 廣東 廣州 510275; 2. 國防科技大學 計算機學院, 湖南 長沙 410073)

面向超級計算中心的運營管理支撐平臺的設計與實現(xiàn)

楊 敏1， 關偉豪1， 朱 敏2

(1. 中山大學 網(wǎng)絡與信息技術中心, 廣東 廣州 510275; 2. 國防科技大學 計算機學院, 湖南 長沙 410073)

超級計算能力和應用水平關乎一個國家或地區(qū)在信息技術領域國際競爭的成敗,要著力突破制約中心運營和發(fā)展的內(nèi)外部技術瓶頸,建立支撐超級計算中心良性循環(huán)、可持續(xù)發(fā)展的創(chuàng)新運營模式和智能運營環(huán)境,存在著嚴峻的挑戰(zhàn)。針對實現(xiàn)這個目標,探討建立支持多租戶運營模式、用戶服務相互隔離、資源可動態(tài)靈活配置、用戶數(shù)據(jù)相互隔離、支持隱私保護、支持用戶任務的高可用性的面向超級計算中心的運營管理支撐平臺。

超級計算中心； 運營管理； 多租戶

建設廣州超級計算中心是國家十二五“863”重大科技項目、廣州市科技一號工程,由廣東省政府、廣州市政府、國防科學技術大學和中山大學4方共建,建設峰值計算速度每秒11億億次的“天河二號”超級計算機系統(tǒng),全系統(tǒng)計劃2015年投入運行。超級計算中心大樓選址在廣州大學城的中山大學東校區(qū)內(nèi),目前已完成一期工程建設[1-3]。

為了做好廣州超級計算中心的運維管理工作,先行搭建先導系統(tǒng),并通過先導系統(tǒng)的運行,探索超級計算中心運營模式創(chuàng)新思路,為下一步建立和運營國家級超級計算中心奠定堅實的硬實力工作基礎。在超級計算先導系統(tǒng)上建設實施面向超級計算中心的運營管理支撐平臺,既是推進先導運營的科技計劃,也是先期建設超級計算中心軟實力的技術實施方案[4-5]。

1 系統(tǒng)總體架構

超級計算中心從建成開始面臨最大的問題就是如何提升用戶服務質(zhì)量和水平。作為超級計算中心運營管理部分的核心內(nèi)容,多租戶資源分配管理需要考慮3個關鍵問題:資源共享機制,減少每個租戶的硬件、軟件和管理成本;隔離機制,防止租戶之間的非法訪問、沖突和干擾;定制機制,通過配置方法支持與租戶相關的UI、訪問控制、數(shù)據(jù)模型[6]。

面向超級計算中心的運營管理支撐平臺作為支持多租戶并發(fā)使用超級計算機資源的基礎性設施,包括支撐平臺、個性化增強模塊、高可用增強模塊、運維管理模塊以及應用服務模塊,構成一個智慧計算支撐環(huán)境,支持多用戶同時使用超算資源時的靈活性、安全性和高可用性。主要開發(fā)實現(xiàn)的內(nèi)容包括:支持多租戶運營模式的智慧計算支撐環(huán)境,包括支撐平臺的個性化支撐技術、支撐平臺的高可用增強、運維管理機制與面向超級計算關鍵應用負載特性研究;研究超級計算中心的運營機制。運營管理支撐平臺總體架構見圖1。

圖1 運營管理支撐平臺總體架構圖

2 系統(tǒng)分析與設計

2.1 智慧計算支撐平臺

2.1.1 高性能隔離域子系統(tǒng)

高性能隔離域技術向用戶提供了構筑獨立運行環(huán)境的支持。通過該運行環(huán)境,操作系統(tǒng)支持用戶可以按照自己的意愿靈活配置。高性能隔離域技術采用操作系統(tǒng)層虛擬化技術,通過在一個操作系統(tǒng)上構建出多個獨立的用戶運行環(huán)境,實現(xiàn)了在一個操作系統(tǒng)內(nèi)核上同時運行多個相互獨立的高性能虛擬機的目標,同時保證了系統(tǒng)性能基本無損。系統(tǒng)提供通用的虛擬計算環(huán)境,支持專用虛擬計算環(huán)境定制。為了減小性能損耗,為用戶提供性能無損的計算服務,采用了環(huán)境提取和基于路徑轉(zhuǎn)換的快速計算環(huán)境構建技術,通過文件目錄樹的切換在計算結(jié)點上快速構建與前端一致的用戶運行環(huán)境。

2.1.2 資源管理與調(diào)度子系統(tǒng)

資源管理與調(diào)度子系統(tǒng)的基本功能是接受來自用戶的資源請求,并且把特定的資源分配給資源請求者。合理地調(diào)度相應的資源,使請求資源的作業(yè)得以運行。該系統(tǒng)應提供4種基本的服務，即資源發(fā)現(xiàn)、資源分發(fā)、資源存儲和資源的調(diào)度。資源發(fā)現(xiàn)和資源分發(fā)提供相互補充的功能,資源分發(fā)由資源啟動且提供有關機器資源的信息或一個源信息資源的指針并試圖去發(fā)現(xiàn)能夠利用該資源的合適的應用。而資源發(fā)現(xiàn)由網(wǎng)絡應用啟動并在云計算中發(fā)現(xiàn)適于本應用的資源。資源分發(fā)和資源發(fā)現(xiàn)以及資源存儲是資源調(diào)度的前提條件,資源調(diào)度實施把所需資源分配到相應的請求上去,包括通過不同結(jié)點資源的協(xié)作分配。

2.2 個性化增強機制

2.2.1 云平臺虛擬鏡像管理技術

虛擬機鏡像在云平臺上是統(tǒng)一管理的,云平臺鏡像管理技術涉及到幾個方面的關鍵問題。

(1) 虛擬機鏡像模板化。為了管理需要,云平臺虛擬機應采用模板化的方法,這是指虛擬系統(tǒng)須預先完成系統(tǒng)安裝和制作,保存為可用的鏡像模板。

(2) 虛擬機運行實例化。云平臺對虛擬機的管理采用了不同于一般虛擬化軟件的方法,即在每次啟動虛擬系統(tǒng)時,使用的虛擬機鏡像只是虛擬機鏡像模板的一個副本,它是模板化的虛擬機鏡像的一份拷貝。運行中的虛擬機作為一個實例,具有臨時性,當虛擬機任務結(jié)束后,實例對應的鏡像隨之銷毀。

(3) 虛擬機實例IP動態(tài)綁定。因為虛擬機鏡像模板化和實例化的原因,虛擬機系統(tǒng)IP并不能夠在啟動虛擬機前動態(tài)決定,而是在虛擬系統(tǒng)實例啟動的過程中動態(tài)決定并分配。

2.2.2 支持應用快速部署的應用虛擬化

當計算中心向外提供虛擬主機服務時,面臨的一個重要問題是海量應用以及來自不同用戶對于應用需求的多樣化的問題,應用軟件的數(shù)量是海量的。系統(tǒng)深入分析應用軟件的封裝技術,支持應用的自洽打包成可自由移動的軟件部署包;實現(xiàn)軟件的按需加載策略,使無需通地冗余的方式加載資源,有效提高資源利用;對應用軟件將其作為資源在后臺進行統(tǒng)一管理,在需求改變的情形下只需在后臺進行重新配置,提高了管理能力和軟件的部署效率。實現(xiàn)將研究應用軟件在實際物理地址的映射關系到邏輯服務名字空間的映射策略,支持服務的全局命名。實例之間只知道對方的邏輯地址,相互連接前都要詢問該中心獲得真實的IP地址,然后才能進行連接通訊。當通訊失敗后,需要再重新去命名中心詢問該邏輯名對應的新物理地址,再重新連接。

2.2.3 桌面虛擬化

在私有云條件下,計算中心對用戶提供遠程的以虛擬化為基礎的主機系統(tǒng)服務。遠程操作具體有2種方式:一是用戶通過命令終端進行操作,二是通過遠程桌面進行圖形化的操作。一般情況下,在類Linux系統(tǒng)環(huán)境下普遍使用命令終端的操作,在Windows系統(tǒng)則采用Windows遠程桌面連接的方式。

從最終用戶體驗出發(fā),以圖形化為特點的桌面操作方式具有人性化的特點,使用戶獲得更好的人機交互體驗。在私有云條件下構建遠程桌面系統(tǒng)能夠有效提升用戶體驗,從而提升計算中心的服務水平。

2.3 高可用增強機制

2.3.1 系統(tǒng)監(jiān)控技術

超級計算機系統(tǒng)規(guī)模大,軟硬件部件多、結(jié)構復雜;同時根據(jù)單個部件的故障概率計算,全系統(tǒng)發(fā)生故障的概率相對提高,在這種復雜系統(tǒng)環(huán)境下,定位、恢復系統(tǒng)故障對系統(tǒng)管理員的工作量和工作難度都是很大的挑戰(zhàn),因此有效的監(jiān)控管理軟件是確保系統(tǒng)正常運行和提高維護保障的重要軟件系統(tǒng)。

超級計算中心監(jiān)控基礎架構包括3個層次的組件:應用服務運行狀態(tài)監(jiān)控、系統(tǒng)性能監(jiān)控與調(diào)優(yōu)工具以及硬件平臺監(jiān)控。一方面該系統(tǒng)負責監(jiān)控系統(tǒng)潛在的錯誤并及時通報給運維工程師,另一方面該系統(tǒng)負責收集系統(tǒng)運行參數(shù),為進一步的系統(tǒng)調(diào)優(yōu)提供真實可靠的數(shù)據(jù)。

2.3.2 應用服務的高可用技術

超級計算機系統(tǒng)的高可用性可以通過檢測節(jié)點或服務進程故障和正確地重置系統(tǒng)來實現(xiàn),使系統(tǒng)收到的請求能被存活的結(jié)點處理。通常,我們在調(diào)度器上有資源監(jiān)測進程來時刻監(jiān)視各個服務器結(jié)點的健康狀況。當服務器對ICMP ping不可達時或者探測其網(wǎng)絡服務在指定的時間沒有響應時,資源監(jiān)測進程通知操作系統(tǒng)內(nèi)核將該服務器從調(diào)度列表中刪除或者失效。這樣,新的服務請求就不會被調(diào)度到故障結(jié)點。資源監(jiān)測進程能通過電子郵件或傳呼機向管理員報告故障。一旦監(jiān)測進程到服務器恢復工作時,即通知調(diào)度器將其加入調(diào)度列表進行調(diào)度。另外,通過系統(tǒng)提供的管理程序,管理員可發(fā)命令隨時將新機器加入服務來提高系統(tǒng)的處理性能,也可以將已有的服務器切出服務,以便對服務器進行系統(tǒng)維護。

2.4 應用服務技術

2.4.1 高性能計算門戶

高性能計算門戶是用戶使用高性能計算資源的統(tǒng)一訪問接口,基于portlet技術,以服務方式為用戶提供安全方便的訪問各類高性能計算資源的途徑。門戶框架主要由安全服務、遠程應用管理、個性化用戶界面定制等[7]。

(1) 安全服務?；诎踩Ｗo平臺提供的認證機制,門戶將建立單一登錄功能,用戶通過Web瀏覽器使用用戶名/密碼登錄高性能計算門戶后,門戶將在用戶的整個會話期內(nèi)為用戶管理證書,基于證書映射的角色為用戶提供細粒度的高性能計算資源和高性能計算服務訪問控制。

(2) 個性化用戶界面定制。給行使不同角色的用戶賦予不同的資源和服務視圖,保證資源和服務的安全運行,同時也給不同用戶提供特定的應用體驗。

(3) 遠程應用管理?；赪eb的遠程應用管理功能是對高性能計算作業(yè)進行在線管理,方便用戶監(jiān)控自己的應用作業(yè)。用戶使用發(fā)布出來的在線高性能應用服務提交高性能計算作業(yè),對于在線的應用管理分為3個部分:作業(yè)提交管理、作業(yè)詳細信息管理、作業(yè)列表管理。

2.4.2 應用服務封裝與管理

通過深入分析主流的開源和商用大型科學與工程計算軟件的應用模式,提取出軟件的應用服務封裝的一般化方法,在此基礎上實現(xiàn)部分軟件的基于Web技術的應用服務封裝,為用戶提供更加直觀、易用的基于Web的應用使用方式。具體包括應用界面與應用核心的分離、應用界面的Web服務封裝和封裝模板管理、應用Web服務發(fā)布[8]。

2.4.3 數(shù)據(jù)管理服務

計算數(shù)據(jù)是用戶開展高性能計算的基礎,也是用戶的核心知識產(chǎn)權所在,因此提高數(shù)據(jù)的管理和應用效率具有非常重要的意義。傳統(tǒng)的高性能計算機提供大量命令行操作進行數(shù)據(jù)管理,需要掌握較為復雜的操作系統(tǒng)命令和文件系統(tǒng)應用知識,而且隨著應用數(shù)量的不斷增長,數(shù)據(jù)存儲量快速增長、目錄結(jié)構更加龐大和復雜,對用戶而言其數(shù)據(jù)管理的難度越來越大。因此本項目將首先深入分析廣州超級計算中心超級計算機的文件系統(tǒng)的管理和應用模式,采用Web服務技術封裝文件和目錄操作,形成一套基本的基于Web的常用數(shù)據(jù)操作工具;然后設計一套用戶作業(yè)與計算數(shù)據(jù)之間的生產(chǎn)和消費管理機制和方法,建立面向應用項目的數(shù)據(jù)管理模式;最后參考Windows資源管理器的風格,基于Web的數(shù)據(jù)操作工具,采用面向應用項目的數(shù)據(jù)管理模式,設計實現(xiàn)基于Web的計算數(shù)據(jù)管理服務,對不同用戶、不同應用的作業(yè)數(shù)據(jù)進行高效的管理。

2.5 運營管理機制

2.5.1 運維管理平臺

高性能計算服務管理平臺的IT服務管理組織架構分為2部分:服務管理(IT前臺)與服務支持(IT后臺)。IT前臺直接面向用戶,通過服務目錄向用戶提供服務功能列表,通過服務需求管理、關系管理、服務發(fā)布管理等,能夠為用戶提供更加體貼的服務。IT 后臺在服務臺、事件管理和問題管理的基礎上,基于ITIL建立變更管理、發(fā)布管理、可用性管理、能力管理等等服務流程,能夠進一步完善IT服務管理流程,提高服務支持的風險防范能力。

2.5.2 資源審計與服務計費系統(tǒng)

資源審計與服務計費子系統(tǒng)能夠精確和可靠地采集服務資源的各種指標數(shù)據(jù),并根據(jù)一定的計費算法計算出所提供服務資源的費用,或者預測服務可能收費,并將這些信息展示給用戶和云服務的提供商。同時,結(jié)合第三方平臺提供便捷的支付手段。此外,安全和保密措施也是云服務計費平臺的重要內(nèi)容。其主要內(nèi)容包括[9]:

(1) 計費系統(tǒng)基礎架構。計費系統(tǒng)基礎架構主要包括賬號管理、安全審計、鑒權認證、費用查詢功能以及第三方的支付平臺接口。

(2) 硬件服務計費。硬件資源采集的數(shù)據(jù)主要有CPU占用率、存儲空間大小、存儲訪問次數(shù)、網(wǎng)絡帶寬、網(wǎng)絡訪問出入流量。這些數(shù)據(jù)的組合,可以形成多種形式的收費算法,如服務器費用按需后付費、帶寬費用按流量后付費;服務器費用包時預付費等。計費平臺除了支持上述基本的計費算法以外,還能夠支持各種靈活的優(yōu)惠措施算法。

(3) 軟件服務計費。針對超級計算關鍵業(yè)務軟件應用部分,計算相關費用。其中包括按組件的固定收費,以及跟用戶數(shù)、在線用戶數(shù)相關的浮動收費等傳統(tǒng)軟件的計費方式。此外,還有根據(jù)用戶交易次數(shù)進行計費、根據(jù)云計算特有的計費方式,這就要求軟件服務計費同樣需要數(shù)據(jù)采集的功能。因為云計算的特點,要求軟件資源的計費同樣具有彈性,可以按照用戶的需要隨時調(diào)整軟件資源的數(shù)量。

2.5.3 數(shù)據(jù)分析統(tǒng)計系統(tǒng)

數(shù)據(jù)分析系統(tǒng)能夠?qū)合到y(tǒng)的使用情況進行系統(tǒng)的分析,主要包括系統(tǒng)數(shù)據(jù)分析統(tǒng)計系統(tǒng)和用戶數(shù)據(jù)分析統(tǒng)計系統(tǒng)。該系統(tǒng)將從系統(tǒng)的CPU、內(nèi)存、節(jié)點隊列、用戶作業(yè)的規(guī)模、用戶的機時統(tǒng)計及其他定制分析等方面入手,實現(xiàn)對大規(guī)模的高性能計算機的整體應用及性能的分析。

(1) 系統(tǒng)分析統(tǒng)計系統(tǒng)。系統(tǒng)分析統(tǒng)計系統(tǒng)將分為實時分析和歷史分析2個部分,主要是通過對系統(tǒng)各項指標(主要包括CPU、內(nèi)存、節(jié)點隊列等)在指定的一段時間內(nèi)的使用情況進行分析,通過實時使用率和歷史平均使用率來了解系統(tǒng)在不同時段的使用狀況,以此來對系統(tǒng)中的資源分配及節(jié)點隊列進行調(diào)整,保證資源的合理利用。

(2) 用戶數(shù)據(jù)分析統(tǒng)計系統(tǒng)。用戶數(shù)據(jù)分析統(tǒng)計系統(tǒng)主要是通過多角度的數(shù)據(jù)挖掘,對用戶使用系統(tǒng)的情況進行統(tǒng)計,同時為用戶提供查詢各項指標的功能。該系統(tǒng)主要分為用戶機時統(tǒng)計、用戶作業(yè)規(guī)模的機時統(tǒng)計、商業(yè)軟件機時統(tǒng)計3個部分,分析不同用戶的作業(yè)規(guī)模機時使用情況及各種商業(yè)軟件機時使用情況,為后期資源分配調(diào)整、軟件升級更新提供了全面的數(shù)據(jù)依據(jù)。

3 特色與創(chuàng)新點

本系統(tǒng)平臺將作為廣州超級計算中心十億億次超級計算機系統(tǒng)的配套項目,實際支撐廣州超級計算中心的運營,并具有以下特色和創(chuàng)新點[10-12]:

(1) 支持多租戶對超級計算資源的隔離使用。支持多個用戶同時透明使用超級計算資源,超級計算中心為用戶構建相互隔離的運行環(huán)境,實現(xiàn)資源隔離、性能隔離、故障隔離,并支持用戶數(shù)據(jù)的隱私保護。

(2) 基于虛擬化技術的多租戶的個性環(huán)境構建技術?；谔摂M化技術,支持用戶對私有智慧計算環(huán)境的個性化部署需求。依據(jù)用戶需求加載特定軟件,動態(tài)部署用戶的個性環(huán)境,配置靈活。

(3) 支持運營策略靈活配置的資源審計機制。支撐平臺具有帶內(nèi)和帶外監(jiān)控功能,支持對節(jié)點、CPU、內(nèi)存、網(wǎng)絡帶寬、存儲容量等多屬性的監(jiān)控,實現(xiàn)對用戶所用資源的豐富審計,支持管理員對運營策略的靈活配置,從而支持超級計算中心的運營需求。

References)

[1] 鄭寧,王冰,黨崗.廣州超級計算中心應用發(fā)展與研究[J].計算機工程與科學,2013,35(11):187-190.

[2] 孫家昶,袁國興，張林波，等.2013年中國高性能計算機TOP100排行榜[EB/OL].[2013-10-21].http://www.samass.org.cn.

[3] Meuer H,Simon H,Strohmaier E,et al.TOP500 super-computer sites [EB/OL].[2013-10-21].http://www.top500.org.

[4] 黨崗,程志全.超級計算中心核心應用的淺析[J].計算機科學,2013,40(3):133-135,166.

[5] 遲學斌,胡永宏.我國超級計算發(fā)展狀況研究[J].調(diào)研世界,2013(8):56-60.

[6] 關偉豪,吳汝明,郭清順.中山大學高性能計算服務平臺的建設[J].實驗技術與管理,2011,28(4):303-306.

[7] 楊敏.廣東省教育科研網(wǎng)格門戶系統(tǒng)構建[J].武漢大學學報:理學版,2012,58(10):371-375.

[8] 莫則堯.千萬億次并行計算研究與應用[C]//全國高性能計算學術年會論文集.2011.

[9] 牛鐵,朱鵬,趙毅,等.超級計算環(huán)境配額系統(tǒng)設計與實現(xiàn)[J].計算機應用,2010,30(12):8-9,39.

[10] 國家超級計算天津中心[EB/OL].http://www.nscc-tj.gov.cn,2012.

[11] 國家超級計算深圳中心[EB/OL].http://www.nsccsz.gov.cn,2012.

[12] 國家超級計算廣州中心[EB/OL].http://www.nscc-gz.cn,2014.

Design and implementation of operation and management support platform for supercomputing center

Yang Min1, Guan Weihao1, Zhu Min2

(1. School of Network and Information Technology Center,Sun Yat-sen University,Guangzhou 510275, China;2. School of Computer Science,National University of Defense Technology,Changsha 410073, China)

Supercomputing capability and application level are related to a country or region to participate in international competition,the success or failure in the field of information technology. This paper focuses on internal and external technical bottleneck restricting the operation and development,establishes innovative operation mode and intelligent operating environment support supercomputing center virtuous cycle and sustainable development which are serious challenges.Based on these goals,this paper discusses the implementation of the operation and management support platform for supercomputing center.This platform supports the multi-tenant operation mode,customer service isolated,resources which can be dynamic and flexible configuration,user data isolated from each other,privacy protection and high availability of user tasks.

supercomputing center; operation and management; multitenant

2014- 12- 21 修改日期：2015- 01- 08

廣州市科技項目(2012Y2-00041；2013Y2-00044)

楊敏(1979—)，女，浙江海寧，碩士，工程師，研究方向為高性能計算系統(tǒng)架構，大數(shù)據(jù)系統(tǒng)架構.

E-mail：yangmin@mail.sysu.edu.cn

TP308

A

1002-4956(2015)6- 0243- 04