地震預(yù)測重點實驗室高性能計算平臺計費服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)

劉桂平 李閩峰 李圣強(qiáng) 王 斌

（中國地震局地震預(yù)測研究所，地震預(yù)測重點實驗室，北京 100036）

引言

高性能計算與科學(xué)研究的發(fā)展密不可分，科學(xué)研究永無止境的計算需求和高性能計算能力既相互制約又相互促進(jìn)。在我國地震研究領(lǐng)域中，高性能計算也有廣泛應(yīng)用，并取得了比較好的效果。如在地震預(yù)報（趙毅等，2007；郭婷婷等，2011）、抗震救災(zāi)（呂弋培等，2009）、地震勘探（張軍華等，2010；龍桂華等，2011）、地震工程（王洪濤等，2009；馬新生等，2010；陸新征等，2014，2015；占昌寶等，2016）以及地震動力學(xué)研究（廖凱寧等，2015）等方面，高性能計算均提供了重要的技術(shù)支撐。

中國地震局地震預(yù)測研究所結(jié)合自身科研需要，于2009年建成了1套高性能集群計算系統(tǒng)（李閩峰等，2009；李圣強(qiáng)等，2012），其理論最高運算能力可達(dá)17.38TFLOPS，實測最大運算能力達(dá)到14.1TFLOPS。該系統(tǒng)于2009年10月正式投入使用，2012年成為中國地震局地震預(yù)測重點實驗室的高性能計算平臺，并持續(xù)運行至今。作為動力地震預(yù)測方法研究的重要技術(shù)支撐平臺之一，該系統(tǒng)以震源環(huán)境、地震過程和震源破裂機(jī)理等地震科學(xué)基礎(chǔ)研究為理論依據(jù)，在技術(shù)上已可以為地震行業(yè)用戶提供計算服務(wù)。

高性能計算平臺屬于高投入、高消耗的綜合性軟硬件系統(tǒng)，運行成本較高，電費成本是其主要組成，研制高性能計算平臺計費系統(tǒng)是平臺建設(shè)和管理的重要內(nèi)容之一（林皎等，2012）。此外，統(tǒng)計高性能計算平臺的使用效率、考評用戶的績效量化指標(biāo)數(shù)據(jù)等都需要獲取較為詳細(xì)的系統(tǒng)使用資源。盡管作業(yè)管理軟件本身包含作業(yè)統(tǒng)計模塊功能，但因其統(tǒng)計資源不盡合理，不能真實反映系統(tǒng)使用情況，無法滿足作業(yè)計費需求。因此，考慮到地震預(yù)測重點實驗室高性能計算平臺的良好應(yīng)用前景和用戶計量統(tǒng)計需求，同時也方便平臺應(yīng)用評價參考，開發(fā)1套簡單、實用的高性能計算平臺計費服務(wù)系統(tǒng)尤為必要。

1 高性能計算平臺概況

中國地震局地震預(yù)測重點實驗室的高性能計算平臺硬件主要由192個計算節(jié)點、9個I/O節(jié)點、1個登錄節(jié)點、1個管理節(jié)點、4組盤陣、1組計算與I/O網(wǎng)絡(luò)和1組管理網(wǎng)絡(luò)組成。該平臺不僅提供了Linux操作系統(tǒng)自帶的GNU C/C++、GNU Fortran免費編譯器，還配置了豐富的商業(yè)編譯器和數(shù)學(xué)庫資源，如NAG Fortran、Intel C++，F(xiàn)ortran 77/90、Intel MPI、Platform MPI、Intel MKL等，同時配置了TotalView并行調(diào)試器協(xié)助用戶更好地調(diào)試并行程序；此外，還配置了GMT、MATLAB及與地震應(yīng)用密切相關(guān)的專業(yè)模塊。經(jīng)過幾年的穩(wěn)定運行，該平臺集成了豐富的專業(yè)應(yīng)用程序，主要包括三維譜有限單元法軟件SPECFEM3D，并行有限元程序生成系統(tǒng)pFEPG，全波三維Fréchet核反演程序，GPS專業(yè)解算軟件GAMIT/GLOBK、QOCA，分子動力學(xué)模擬軟件VASP、PWSCF、Materials Studio等。

經(jīng)統(tǒng)計，地震預(yù)測重點實驗室高性能計算平臺運行作業(yè)數(shù)量超過38萬個，消耗CPU資源超過1700萬CPU機(jī)時，表明系統(tǒng)的應(yīng)用現(xiàn)狀良好。此外，通過對歷史作業(yè)消耗資源的分析發(fā)現(xiàn)，計算應(yīng)用從高性能并行應(yīng)用為主轉(zhuǎn)向大量可分解的串行應(yīng)用為主的普惠計算。目前，該平臺的主要應(yīng)用如下：

（1）川滇地區(qū)和高分示范區(qū)三維模型構(gòu)建與計算以及區(qū)域走滑斷層模型構(gòu)建與計算。

（2）解析GPS原始觀測數(shù)據(jù)，進(jìn)行地殼形變分析，并進(jìn)行地震斷層破裂模型的反演；重力數(shù)據(jù)處理及地下構(gòu)造反演；利用彈性和粘彈性球體位錯理論計算大地震導(dǎo)致的同震和震后變形。

（3）利用高性能計算平臺融合地震波形數(shù)據(jù)系統(tǒng)進(jìn)行地震波形處理、圍陷波的正反演、強(qiáng)震動模擬以及觸發(fā)地震和微震的模板掃描檢查等。

（4）利用從微觀到宏觀（量子力學(xué)、第一性原理、分子動力學(xué)、耗散粒子動力學(xué)和有限元方法）的跨尺度模擬方法，研究地球內(nèi)部高溫高壓條件下高壓礦物（長石、方鎂鐵礦）、含水礦物（橄欖石、蛇紋石、角閃石、云母等）的物理化學(xué)性質(zhì)；探討孕震介質(zhì)的演化及其動力學(xué)環(huán)境，探索地震預(yù)測理論方法。

2 計費服務(wù)系統(tǒng)設(shè)計

2.1 問題分析

目前主流的高性能計算平臺計費系統(tǒng)包括基于PBS或TORQUE作業(yè)管理軟件設(shè)計的計費或記賬系統(tǒng)（王偉等，2008；陳振婭等，2009；李惠歡等，2016）和基于LSF作業(yè)管理軟件設(shè)計的計費配額系統(tǒng)計時統(tǒng)計系統(tǒng)（牛鐵等，2010；盛樂標(biāo)等，2014）。此外，還有基于校園網(wǎng)格計費研究（劉明良，2008）和基于神威4000A系統(tǒng)及IBM系統(tǒng)設(shè)計的統(tǒng)一資源管理系統(tǒng)（沈瑜等，2014）。

地震預(yù)測重點實驗室高性能計算平臺因集群管理軟件升級改造，運行期分為2個階段，增加了研制開發(fā)計費服務(wù)系統(tǒng)的難度。第1階段從2009年6月至2012年10月，該平臺的集群管理軟件為CHESS2，作業(yè)管理系統(tǒng)為TORQUE/MAUI。此階段存在2個問題，一是部分成熟的商業(yè)應(yīng)用軟件和免費應(yīng)用軟件對GCC、INTEL、HP等MPI并行程序的編譯運行環(huán)境要求較高，TORQUE作業(yè)管理系統(tǒng)無法記錄完整準(zhǔn)確的CPU時間信息，需要人工校正；二是雖然具備多個開源命令行作業(yè)日志信息分析工具，如PBSACCT、MYPBS、PERL-PBS-LOGS、PBSACCOUTING，但不具備友好的作業(yè)信息查詢、統(tǒng)計、計費等功能。第2階段從2012年11月完成升級改造至今，該平臺的作業(yè)管理系統(tǒng)由TORQUE更換為LSF 8.3 Express Edition，但缺乏相應(yīng)的用戶交流平臺和合理準(zhǔn)確的作業(yè)信息查詢、統(tǒng)計以及計費功能。

2.2 設(shè)計思路

以作業(yè)管理系統(tǒng)日志為數(shù)據(jù)基礎(chǔ)，實現(xiàn)作業(yè)信息的提取、分析和校正，建立完整準(zhǔn)確的作業(yè)信息庫，存入MYSQL數(shù)據(jù)庫，通過B/S架構(gòu)滿足用戶準(zhǔn)實時作業(yè)查詢和歷史作業(yè)查詢、統(tǒng)計、計費功能以及作業(yè)預(yù)約服務(wù)，并融合Ganglia集群監(jiān)控功能、留言板功能和信息發(fā)布功能，整合成1套高性能計算平臺計費服務(wù)系統(tǒng)。

2.3 關(guān)鍵技術(shù)

實現(xiàn)計費服務(wù)系統(tǒng)需要重點解決2方面技術(shù)問題，即采取何種方式計費和作業(yè)日志信息如何提取。

2.3.1 計費方式

在高性能計算平臺作業(yè)計費服務(wù)系統(tǒng)中，作業(yè)計費核心要解決的是如何計費（何戈等，2003）。準(zhǔn)確的作業(yè)計費信息不僅可以為高性能計算用戶提供可靠的計算量數(shù)據(jù)，也可為制定計算服務(wù)價格提供參考。

高性能計算平臺提供給用戶CPU時、內(nèi)存、虛擬內(nèi)存、硬盤空間、網(wǎng)絡(luò)帶寬等資源。與作業(yè)CPU time（CPU執(zhí)行程序指令累計所用的脈沖時間）相比，Wall time（墻上時間，即作業(yè)開始執(zhí)行和作業(yè)結(jié)束的時間差）更符合作業(yè)對計算資源的實際占用，因此，用戶使用集群完成計算任務(wù)后，采用Wall time為基礎(chǔ)計算CPU消耗量（盛樂標(biāo)等，2014），考慮到作業(yè)有串行和并行情況，可表示為：

而內(nèi)存和虛擬內(nèi)存資源的使用是動態(tài)的，因此采用了作業(yè)日志信息中的最大物理內(nèi)存和虛擬內(nèi)存作為計算參考。另外，網(wǎng)絡(luò)帶寬屬于集群系統(tǒng)環(huán)境和性能指標(biāo)，不單獨在作業(yè)計費中體現(xiàn)；硬盤空間通常是分配給用戶的固定存儲空間，不屬于單獨作業(yè)，該部分可以通過按年或按月的方式收取存儲空間費。

考慮到CPU、內(nèi)存、虛擬內(nèi)存在作業(yè)計算中的需求重要性有所差別，因此為不同種類的資源賦予不同的權(quán)重因子以體現(xiàn)其計費的差異性。

綜上所述，作業(yè)資源使用計費公式可表示為：

2.3.2 作業(yè)日志信息提取

（1）TORQUE歷史作業(yè)信息提取

PBS是目前歷史最久、支持最廣、功能較為豐富的集群作業(yè)管理軟件包之一，其包括3個主要分支：OpenPBS、PBS Pro和TORQUE。TORQUE是Adaptive Computing公司基于OpenPBS后續(xù)支持的開源版本，通過和Maui調(diào)度器相結(jié)合，成為當(dāng)前分布式集群最流行的資源調(diào)度和作業(yè)管理開源系統(tǒng)。TORQUE作業(yè)日志信息一般存放在/var/torque/server_priv/accounting目錄下，每天的日志信息存放在以日期命名（文件格式：YYYYMMDD）的文件中，日志記錄8種不同的標(biāo)記事件，包括作業(yè)開始（S）、作業(yè)設(shè)置檢查點（C）、作業(yè)放棄（A）、作業(yè)排隊（Q）、作業(yè)返回（R）、作業(yè)刪除（D）、作業(yè)檢查點重啟（T）和作業(yè)退出（E）（李惠歡等，2016）。采用Linux shell和Perl腳本程序分別完成歷史作業(yè)信息收集、作業(yè)信息入庫和數(shù)據(jù)的匯總。

通過Perl語言編寫腳本程序提取數(shù)據(jù)到數(shù)據(jù)庫computing表torque_job。作業(yè)數(shù)據(jù)表包含用戶名（user）、作業(yè)名稱（jobname）、作業(yè)提交節(jié)點（jobsubmithost）、作業(yè)編號（jobid）、作業(yè)核數(shù)（cores）、作業(yè)隊列（queue）、作業(yè)創(chuàng)建時間（jobcreatetime）、作業(yè)進(jìn)入排隊時間（jobqueuetime）、作業(yè)可執(zhí)行時間（jobexcutabletime）、作業(yè)開始時間（jobstarttime）、作業(yè)結(jié)束時間（jobendtime）、作業(yè)退出狀態(tài)（exitstatus，0為正常退出，其它為異常退出）、作業(yè)CPU時間（cputime）、作業(yè)消耗物理內(nèi)存（mem）、作業(yè)消耗虛擬內(nèi)存（vmem）、作業(yè)運行時間（walltime）、校正系數(shù)（correctfactor）、作業(yè)CPU校正時間（correctcputime）、作業(yè)CPU時間轉(zhuǎn)化為秒（cputimesec）、作業(yè)運行時間轉(zhuǎn)化為秒（walltimesec）、作業(yè)完成記錄時間（eventtime）。

（2）LSF作業(yè)信息提取

LSF是加拿大Platform公司研制的分布式管理和調(diào)度集群管理軟件，在系統(tǒng)容錯、負(fù)載平衡、進(jìn)程遷移、檢查點操作上具備更好的實用性，已成為集群管理軟件領(lǐng)域中的國際工業(yè)標(biāo)準(zhǔn)。

LSF日志信息通常存放在以“l(fā)sb.acct”或“l(fā)sb.acct.X”格式命名的文件（其中X是阿拉伯?dāng)?shù)字）中，文件的每行存儲1個作業(yè)日志，包含作業(yè)ID、作業(yè)完成時間、提交時間、調(diào)度時間、開始時間、結(jié)束時間、使用CPU核數(shù)、作業(yè)屬主、執(zhí)行節(jié)點列表、隊列名、執(zhí)行文件名等50多個字段，這些文件保存在LSF系統(tǒng)的管理節(jié)點logdir目錄下。

目前，主要有2種方式獲取LSF作業(yè)信息：①使用腳本語言處理，如基于Python的Python LSF collection開源軟件包，通過引用該包提供的類編寫相應(yīng)的腳本提取作業(yè)信息，這種方法比較簡單；②基于LSF API和LSB API的底層接口，通過C語言提取結(jié)構(gòu)化數(shù)據(jù)方式獲取作業(yè)的詳細(xì)信息（盛樂標(biāo)等，2014）。本文采用第1種方式，通過Python腳本acctfile.py實現(xiàn)歷史作業(yè)信息的提取和入庫功能，利用Crontab定時器結(jié)合Shell腳本定時更新（每5分鐘）MYSQL數(shù)據(jù)庫lsf_job表中的歷史作業(yè)信息，以供查詢。

此外，為了方便用戶查詢運行作業(yè)（running）、即將運行作業(yè)（pending）、掛起作業(yè)（suspended）、隊列（queue）和主機(jī)（host）信息，本文采用shell腳本提取bjobs、bqueues、bhosts命令輸出信息和存儲入庫，并利用Crontab定時更新（每5分鐘），實現(xiàn)準(zhǔn)實時的作業(yè)信息查詢和隊列、節(jié)點信息查詢。

3 系統(tǒng)實現(xiàn)

3.1 開發(fā)環(huán)境

系統(tǒng)采用開源的免費框架結(jié)構(gòu)（Linux、Apache、PHP和MySQL），具備功能強(qiáng)大、運行穩(wěn)定、技術(shù)成熟等特點。WEB開發(fā)語言PHP具有以下優(yōu)勢：

（1）安全性好。PHP是開源軟件，可以看到所有PHP的源代碼，同時PHP具有公認(rèn)的安全性能，它與Apache編譯相結(jié)合的方式也可以使其具有靈活的安全設(shè)定。

（2）移植性強(qiáng)。PHP幾乎支持所有的操作系統(tǒng)平臺及數(shù)據(jù)庫系統(tǒng)，并廣為流行。

（3）執(zhí)行效率高。PHP是1種強(qiáng)大的CGI腳本語言，語法混合了C、Java、Perl和PHP式的新語法，執(zhí)行網(wǎng)頁速度比CGI、Perl和ASP更快，且內(nèi)嵌Zend加速引擎，性能穩(wěn)定，占用系統(tǒng)資源少，代碼執(zhí)行速度快。

（4）擴(kuò)展性好。PHP具有很好的開放性和擴(kuò)展性，其源代碼完全公開，便于擴(kuò)展附加功能。

3.2 系統(tǒng)功能

系統(tǒng)具備如下功能：①用戶可查詢、統(tǒng)計、計算已消耗資源的費用和正在運行的作業(yè)情況、隊列情況、節(jié)點情況、集群概覽；②用戶可提交作業(yè)預(yù)約申請，管理員審核通過后線下處理預(yù)約作業(yè)；③用戶通過留言和在線服務(wù)功能，較好地實現(xiàn)交流；④用戶可以通過平臺資源下載文檔資料和查詢相關(guān)平臺制度，促進(jìn)了信息化和制度規(guī)范化；⑤采用分級用戶管理模式，根據(jù)用戶權(quán)限的不同進(jìn)行不同的功能操作；⑥可根據(jù)實際需要進(jìn)行調(diào)整和擴(kuò)展。

系統(tǒng)前臺和后臺功能模塊如圖1、2所示，后臺計費功能管理如圖3所示。

圖1 前臺功能模塊Fig.1 Front function models

圖2 后臺功能模塊Fig.2 Back function models

3.3 計費統(tǒng)計

綜合考慮作業(yè)實際消耗資源和運維電費，并依據(jù)前文提出的計算公式，本研究提出了一種可操作的資源價格計算方法及相應(yīng)的權(quán)重賦值，見表1。此外，選取了5個實際用戶2009—2017年的年度歷史作業(yè)進(jìn)行計費統(tǒng)計，如圖4所示。

圖3 后臺計費功能管理界面Fig.3 Back accounting function models

表1 計算資源價格及權(quán)重賦值Table 1 The price and weight value of computing resoureces

圖4 用戶年度計費統(tǒng)計Fig.4 Annual accounting statistics of users

4 結(jié)語

基于中國地震局地震預(yù)測重點實驗室高性能計算平臺良好的應(yīng)用前景和計費需求，本文在高性能計算平臺作業(yè)計費系統(tǒng)的基礎(chǔ)上，提出了利用作業(yè)管理系統(tǒng)TORQUE和LSF日志文件提取作業(yè)信息的方法，建立了可滿足復(fù)雜高性能計算平臺下作業(yè)計費需求的簡單、實用系統(tǒng)。該系統(tǒng)不僅可以準(zhǔn)實時查詢和顯示作業(yè)完成信息，還可以對消耗資源記錄信息進(jìn)行自動校正并完成作業(yè)的正確計費，與簡單的命令行工具以及商業(yè)軟件相比，具有更廣泛的兼容性和普適性；另外，該系統(tǒng)還實現(xiàn)了對未完成作業(yè)、隊列、節(jié)點等集群系統(tǒng)查詢顯示功能、集群計費參數(shù)配置管理功能以及欄目信息發(fā)布、在線交流等功能，這有利于促進(jìn)高性能計算平臺向管理公開透明化和信息化方向發(fā)展，同時可充分發(fā)揮高性能計算平臺的科研輔助作用，并提高用戶使用高性能計算平臺的效率和便捷性。

隨著高性能計算技術(shù)的快速發(fā)展，云計算技術(shù)也日臻成熟，利用云計算技術(shù)實現(xiàn)地震行業(yè)的高性能計算資源整合并服務(wù)于地震研究領(lǐng)域?qū)⑹谴髣菟??；诟咝阅苡嬎闫脚_作業(yè)日志的計費服務(wù)系統(tǒng)只要稍加修改和完善，即可移植到云計算平臺應(yīng)用，具有較好的可擴(kuò)展性和應(yīng)用前景。