高性能計算資源聚合服務(wù)在中國科技云門戶的快速集成研究與實現(xiàn)

和榮,2，王小寧，肖海力

1.中國科學(xué)院計算機網(wǎng)絡(luò)信息中心,北京 100190

2.中國科學(xué)院大學(xué),北京 100190

引言

高性能計算環(huán)境是現(xiàn)代社會科學(xué)研究、社會服務(wù)、經(jīng)濟活動中一種極為重要的戰(zhàn)略工具。目前，高性能計算環(huán)境包括底層核心軟件 SCE[1]，實現(xiàn)了資源聚合和統(tǒng)一調(diào)度為用戶提供了新型的服務(wù)模式；環(huán)境通用計算平臺為用戶提供方便的Portal[2]，同時提供個性化服務(wù)；服務(wù)化開發(fā)平臺提供 SCEAPI[3]，支持跨平臺和語言開發(fā)，應(yīng)用平臺可通過調(diào)用接口快速訪問環(huán)境中資源。

中國科技云是《中國科學(xué)院“十三五”信息化發(fā)展規(guī)劃》重點建設(shè)任務(wù)之一，目標是熱情服務(wù)中國科技工作者，匯聚融合先進網(wǎng)絡(luò)、高性能計算、科學(xué)數(shù)據(jù)、軟件社區(qū)、信息資源，支撐信息化時代的科技創(chuàng)新，讓計算與戶數(shù)驅(qū)動科學(xué)發(fā)現(xiàn)。用戶通過實名注冊中國科技云通行證即可進入中國科技云門戶[4]使用其提供的個性服務(wù)。

目前，高性能計算資源聚合服務(wù)的通用Portal采用網(wǎng)格賬號登錄使用而中國科技云門戶通過通行證賬號登錄使用。另外，網(wǎng)站設(shè)計風(fēng)格、規(guī)范各不相同。為快速在中國科技云門戶中集成高性能計算服務(wù)，在賬號認證和權(quán)限管理、頁面對接、接口對接三方面進行了研究和實現(xiàn)。

1 高性能計算資源聚合服務(wù)

高性能計算資源聚合服務(wù)主要是聚合國內(nèi)優(yōu)秀的高性能計算資源，為用戶提供優(yōu)質(zhì)的高性能計算服務(wù)。

1.1 系統(tǒng)核心軟件

系統(tǒng)核心軟件 SCE 是由中國科學(xué)院計算網(wǎng)絡(luò)信息中心環(huán)境建設(shè)與運行業(yè)務(wù)室開發(fā)團隊自主開發(fā)一套系統(tǒng)中間件，是中國科學(xué)院超級計算環(huán)境[5]的核心調(diào)度器和服務(wù)提供者。SCE 聚合了國內(nèi)多個超級計算資源，屏蔽底層異構(gòu)性，實現(xiàn)了資源的統(tǒng)一管理和調(diào)度，為用戶提供便捷的計算服務(wù)。

圖1 是 SCE的結(jié)構(gòu)圖。FS 是 SCE的前端服務(wù)，主要用于資源的接入與監(jiān)控。通過定義 HPC的各種驅(qū)動，有效的屏蔽底層系統(tǒng)的差異；系統(tǒng)服務(wù)層 CS 是SCE 最核心的模塊，提供了用戶使用超級計算環(huán)境所必需的最基本的功能以及若干擴展功能；面向用戶提供名命令行、Web Portal、GUI 等多種使用方式。

1.2 環(huán)境通用計算平臺

為更好的滿足用戶計算需求，方便快捷的提交作業(yè)任務(wù)并獲取計算結(jié)果，我們設(shè)計開發(fā)了環(huán)境通用計算平臺。針對用戶提供個性化的高性能計算服務(wù)，以達到應(yīng)用軟件按需動態(tài)發(fā)布，支持用戶定制計算軟件和計算資源等個性化服務(wù)目標。圖2 是通用計算平臺的首頁，用戶可以直接點擊查看應(yīng)用或集群了解高性能計算環(huán)境，也可以通過搜索資源查找自己需要的信息。用戶如果沒有平臺的賬號可以通過掃描二維碼申請賬號，然后通過賬號登錄平臺進而提交作業(yè)，使用環(huán)境中的資源。

作業(yè)提交頁面如圖3所示。頭部導(dǎo)航欄列出所有可通過平臺提交的計算軟件，包括化學(xué)、生物等各種軟件，如 VASP、Gaussian 等。

用戶通過簡單的操作即可提交一個作業(yè)。首先輸入 CPU 核數(shù)和作業(yè)運行時間，然后上傳輸入文件，最后選擇所需的資源，點擊提交即可把作業(yè)交到環(huán)境中。作業(yè)提交之后可以通過點擊歷史作業(yè)查看作業(yè)的狀態(tài)。

1.3 服務(wù)化應(yīng)用開發(fā)平臺

圖1 SCE 結(jié)構(gòu)圖Fig.1 Structure of SCE

圖2 通用計算平臺首頁Fig.2 Index of Computing Platform

服務(wù)化通用開發(fā)平臺提供了訪問科學(xué)計算環(huán)境的跨平臺和語言的通用接口 SCEAPI，有效解決了應(yīng)用程序訪問計算環(huán)境的難題。SCEAPI 于2013年上線提供服務(wù)，目前已經(jīng)有化學(xué)、材料、生物、地理等學(xué)科領(lǐng)域基于SCEAPI 開發(fā)了不同形式的應(yīng)用程序，包括基于Web的專業(yè)社區(qū)和移動 APP 等。

SCEAPI 采用模塊化、多層次的松耦合結(jié)構(gòu)，提供簡單易用的Web 服務(wù) API。如圖4所示，客戶端為調(diào)用 API 開發(fā)接口的外部應(yīng)用程序。開發(fā)人員可以根據(jù)自己的喜好選擇開發(fā)語言，從而方便地開發(fā)自己的程序；服務(wù)端為客戶端提供訪問計算環(huán)境的簡單易用的接口，包括用戶管理、資源查詢、作業(yè)操作和文件查詢等功能。通過參數(shù)檢查、安全檢查保證用戶的數(shù)據(jù)安全；基礎(chǔ)服務(wù)提供服務(wù)端的運行環(huán)境，包括日志管理、緩存和容器組件。

2 中國科技云

中國科技云是基于云計算的國家信息化基礎(chǔ)設(shè)施，是國內(nèi)第一個服務(wù)科研人員的“云”。它把科學(xué)家要在各個網(wǎng)站上尋找的數(shù)據(jù)和計算工具整合在一個網(wǎng)站上，分門別類地提供給科學(xué)家，給科學(xué)家按需使用。

圖3 應(yīng)用提交頁面Fig。3 Page of Submitting an Application

圖4 SCEAPI 功能結(jié)構(gòu)圖Fig.4 Structure of SCEAPI

中國科技云門戶于2018年4月正式上線，它以科技工作者為中心，以科研信息化資源統(tǒng)一調(diào)度和用戶自服務(wù)為特色，通過技術(shù)創(chuàng)新和集成創(chuàng)新，將努力實現(xiàn)各類資源融合、智能運管和動態(tài)調(diào)度，以全新的模式為科技工作者提供安全、按需、智能化的云服務(wù)。如圖5所示，用戶通過實名注冊中國科技云通行證，即可享受到全新的云服務(wù)包括獲取網(wǎng)絡(luò)傳輸、云計算、云存儲等多項基礎(chǔ)設(shè)施服務(wù)；上傳共享在線運行科研軟件；關(guān)聯(lián)搜索科研信息資源等。

隨著各大資源池建設(shè)的推進，中國科技云將不斷豐富科技資源和信息服務(wù)，創(chuàng)新服務(wù)模式，及時響應(yīng)科研工作者需求變化，全面踐行為全國科技工作者服務(wù)的宗旨。

圖5 中國科技云門戶首頁Fig.5 Index of CSTCloud Portal

3 快速集成研究

前面介紹了高性能計算資源聚合服務(wù)和中國科技云，可以清晰的了解到高性能計算資源聚合服務(wù)采用網(wǎng)格賬號登錄使用而中國科技云門戶通過通行證賬號登錄使用。另外，網(wǎng)站設(shè)計風(fēng)格、規(guī)范各不相同。為快速在中國科技云門戶中集成高性能計算服務(wù)，在賬號認證和權(quán)限管理、頁面對接、接口對接三方面進行了研究和實現(xiàn)。

3.1 賬號認證與權(quán)限管理

為使得通行證賬號登錄后可直接進入高性能計算環(huán)境通用計算平臺，主要考慮賬號能夠?qū)拥骄W(wǎng)格賬號并賦予相應(yīng)的權(quán)限獲取環(huán)境中的資源。

3.1.1 賬號認證

賬號認證模塊需要實現(xiàn)以下功能：

(1)有效判斷用戶是否通過通行證登錄并可獲取用戶身份

(2)通行證與網(wǎng)格賬號綁定，記錄映射關(guān)系

圖6 是通行證訪問 Portal 頁面的具體流程。用戶訪問頁面時首次判斷是否登錄，若未登錄跳轉(zhuǎn)到登錄頁面讓用戶登錄；若已登錄，判斷是否與網(wǎng)格賬號已綁定，綁定直接返回網(wǎng)格賬號，否則判斷是否具有網(wǎng)格賬號，沒有則創(chuàng)建新賬號并實現(xiàn)綁定；已有網(wǎng)格賬號則驗證賬號的有效性并實現(xiàn)綁定。賬號綁定之后映射關(guān)系記錄到數(shù)據(jù)庫中，下次訪問時可直接讀取數(shù)據(jù)庫判斷用戶信息，簡化訪問頁面的流程。

3.1.1 權(quán)限管理

高性能計算環(huán)境通用計算平臺中各個頁面的顯示數(shù)據(jù)都是通過調(diào)用后臺 API 獲取，訪問不同的API 需要具有不同的權(quán)限，所以對通行證用戶需要設(shè)置相應(yīng)的權(quán)限并進行管理。

圖6 通行證訪問 Portal 頁面流程Fig.6 Workflow of CSTCloud Passport to access Portal

根據(jù)目前通行證用戶需要訪問的接口，用戶需要具有基本的查詢、作業(yè)提交的功能，跟我們現(xiàn)在API權(quán)限的分組基本一致，所以管理功能采用目前 API的管理機制實現(xiàn)，對訪問網(wǎng)址、訪問具體接口都進行授權(quán)處理，保證數(shù)據(jù)的安全。

3.2 頁面對接

根據(jù)中國科技云工程制定的資源與服務(wù)網(wǎng)站的制作規(guī)范，對高性能計算資源聚合服務(wù)中的網(wǎng)頁進行了修改，使其滿足相應(yīng)的規(guī)范。

具體修改工作如下：

1)修改域名，采用 cstcloud.cn的三級域名

2)修改網(wǎng)站頭部，添加中國科技云 LOGO，并設(shè)置超鏈接

3)網(wǎng)站底部設(shè)置版權(quán)信息，備案號以及服務(wù)支持信息

4)網(wǎng)站色調(diào)，采用與科技云門戶一直的色調(diào)進行設(shè)計

高性能計算環(huán)境通用計算平臺采用 CAS[6]單點登錄實現(xiàn)，根據(jù) CAS的特點可方便地支持用戶從任意頁面點擊登錄即可進入之前瀏覽的頁面?？萍荚崎T戶也需要支持通行證用戶登錄后可直達平臺中各個頁面。

接入科技云通行證初期只實現(xiàn)了通行證用戶登錄后可以進入平臺首頁的功能，但無法直達其中的某一具體頁面。為增加這一功能，在原有接入系統(tǒng)的基礎(chǔ)上增加回調(diào)處理模塊，記錄用戶點擊登錄的頁面，在通行證登錄完成后添加回調(diào)地址處理，保證用戶登錄之后回到原來的訪問頁面。

3.1 接口對接

科技云門戶會展示各類資源的統(tǒng)計信息，所以需要接入的各項服務(wù)以接口的形式給門戶提供數(shù)據(jù)。目前，高性能計算資源聚合服務(wù)提供的接口并不能完全滿足科技云的需求，需要開發(fā)新的接口，實現(xiàn)通行證登錄下即可獲取數(shù)據(jù)的功能。

按照目前科技云門戶需要展示的信息，我們設(shè)計并實現(xiàn)了兩個接口，面向用戶的歷史資源使用統(tǒng)計信息接口和面向特定權(quán)限賬號的用戶機時按月統(tǒng)計接口。接口采用 Jersey[7]框架實現(xiàn)，延續(xù)SCEAPI的風(fēng)格，返回 JSON 格式數(shù)據(jù)。其中，包括接口的返回碼和數(shù)據(jù)。返回碼代表此次訪問是否正確。

4 實現(xiàn)及效果

為實現(xiàn)快速集成，把賬號認證和權(quán)限管理模塊進一步通用化并開發(fā)了一個資源接入系統(tǒng)，方便第三方平臺快速的接入到高性能計算環(huán)境并使用其中的資源。頁面和接口模塊根據(jù)科技云的需求修改或新增接口實現(xiàn)相應(yīng)功能。

4.1 實現(xiàn)

圖7 是資源接入系統(tǒng)的結(jié)構(gòu)圖。

圖7 接入系統(tǒng)結(jié)構(gòu)圖Fig.7 Structure of Access System

4.2 效果

圖8 是高性能計算資源聚合服務(wù)集成在中國科技云門戶中的效果圖。用戶通過中國科技云通行證登錄科技云后，點擊高性能計算服務(wù)即可進入到相關(guān)頁面提交或者查詢作業(yè)。頁面按照科技云工程的規(guī)范進行了修改，在整體風(fēng)格上保持與科技云同步一致。圖9是新增的接口的示例圖。由圖可以看出接口返回JSON格式數(shù)據(jù)，方便易讀。

圖8 高性能計算服務(wù)集成于科技云門戶效果圖Fig.8 High Performance Computing Service integrated to CSTCloud Portal

圖9 新增接口示例Fig.9 Interface

5 結(jié)語

高性能計算環(huán)境是現(xiàn)代社會科學(xué)研究、社會服務(wù)、經(jīng)濟活動中一種極為重要的戰(zhàn)略工具。高性能計算環(huán)境包括底層核心軟件 SCE、環(huán)境通用計算平臺和服務(wù)化開發(fā)平臺。中國科技云通過匯聚融合先進網(wǎng)絡(luò)、高性能計算、科學(xué)數(shù)據(jù)、軟件社區(qū)、信息資源，支撐信息化時代的科技創(chuàng)新，讓計算與戶數(shù)驅(qū)動科學(xué)發(fā)現(xiàn)。用戶通過實名注冊中國科技云通行證即可進入中國科技云門戶使用其提供的個性服務(wù)。

目前，高性能計算資源聚合服務(wù)的通用 Portal和中國科技云門戶登錄方式、網(wǎng)站設(shè)計風(fēng)格、規(guī)范各不相同。為快速在中國科技云門戶中集成高性能計算服務(wù)，在賬號認證和權(quán)限管理、頁面對接和接口對接三方面進行了研究和實現(xiàn)。通過實現(xiàn)賬號、頁面和接口三個模塊，用戶只要注冊中國科技云通行證即可登錄科技云門戶從而使用高性能計算服務(wù)。