基于核反應(yīng)堆數(shù)值軟件運(yùn)行特性的并行調(diào)度技術(shù)研究

曹國(guó)海 蘆 韡 張堯毅 張思原 龐 勃 王雅峰

（中國(guó)核動(dòng)力研究設(shè)計(jì)院核反應(yīng)堆系統(tǒng)設(shè)計(jì)技術(shù)重點(diǎn)實(shí)驗(yàn)室，四川 成都610213）

0 引言

近年來，國(guó)際上針對(duì)高分辨、高精度的數(shù)值反應(yīng)堆數(shù)值計(jì)算技術(shù)開展了大規(guī)模研究。通過精細(xì)的建模、先進(jìn)的理論模型，顯著提升了反應(yīng)堆數(shù)值計(jì)算的精度水平，以期為提高反應(yīng)堆安全性和經(jīng)濟(jì)性提供先進(jìn)的技術(shù)支持，隨著我國(guó)超級(jí)計(jì)算機(jī)的快速發(fā)展，目前已達(dá)到億億次水平，為我國(guó)反應(yīng)堆的高分辨率數(shù)值計(jì)算提供了硬件支持，為核能領(lǐng)域大規(guī)模數(shù)值計(jì)算與HPC相互結(jié)合奠定了基礎(chǔ)。而不同的計(jì)算軟件運(yùn)行特點(diǎn)不同，對(duì)各類計(jì)算資源的需求也各異。高性能計(jì)算服務(wù)器為眾多的計(jì)算軟件提供了共享的運(yùn)行環(huán)境，如果對(duì)計(jì)算任務(wù)不進(jìn)行有針對(duì)性地執(zhí)行調(diào)度，一方面不能充分發(fā)揮計(jì)算軟件的并行計(jì)算效率；另一方面也會(huì)因?yàn)檐浖g不合理的搶占資源沖突而大大降低高性能計(jì)算資源的利用率，從而進(jìn)一步降低計(jì)算軟件的計(jì)算效率。

本文針對(duì)反應(yīng)堆一回路系統(tǒng)研發(fā)所涉及的物理、熱工、燃料、屏蔽等專業(yè)典型計(jì)算軟件從并行執(zhí)行情況、執(zhí)行所需CPU以及內(nèi)存資源、作業(yè)類型、耗時(shí)情況等運(yùn)行特征進(jìn)行了分析；研究了核反應(yīng)堆計(jì)算軟件并行計(jì)算特征提取及表達(dá)方法，根據(jù)軟件運(yùn)行特性建立了計(jì)算資源全局統(tǒng)籌的并行執(zhí)行調(diào)度方法，該方法包括資源監(jiān)控器、調(diào)度策略庫(kù)及并行執(zhí)行調(diào)度模塊；資源監(jiān)控器用于實(shí)時(shí)獲取當(dāng)前集群系統(tǒng)的各類計(jì)算節(jié)點(diǎn)、核數(shù)、內(nèi)存資源利用情況；調(diào)度策略庫(kù)對(duì)各種差異化的執(zhí)行調(diào)度策略集合及規(guī)則進(jìn)行集中管理，需預(yù)先設(shè)置完成；調(diào)度策略庫(kù)采用基于“IFTHEN”的規(guī)則描述方面，每條調(diào)度策略包括了IF部分、THEN部分兩個(gè)元素，其中IF部分是前項(xiàng)（前提或條件），常對(duì)專業(yè)軟件類型、資源大小、計(jì)算耗時(shí)長(zhǎng)短等信息進(jìn)行描述，THEN部分是后項(xiàng)結(jié)論或行為，常對(duì)計(jì)算任務(wù)的分區(qū)、計(jì)算優(yōu)先級(jí)、是否獨(dú)占計(jì)算節(jié)點(diǎn)等內(nèi)容進(jìn)行描述；自適應(yīng)并行執(zhí)行調(diào)度模塊根據(jù)軟件的并行特征，實(shí)施并行計(jì)算。通過并行執(zhí)行調(diào)度方法，使得超算下計(jì)算任務(wù)能有序合理地調(diào)度，能極大地提升核反應(yīng)堆計(jì)算軟件并行運(yùn)行效率與高性能計(jì)算資源的利用率，一定限度上提高反應(yīng)堆設(shè)計(jì)研發(fā)效率。

1 典型核反應(yīng)堆設(shè)計(jì)分析軟件運(yùn)行特點(diǎn)研究

針對(duì)核反應(yīng)堆一回路研發(fā)中涉及的物理、熱工、燃料、屏蔽這4個(gè)專業(yè)中的典型軟件對(duì)其具體運(yùn)行特征進(jìn)行了分析，下文將針對(duì)運(yùn)行環(huán)境、并行執(zhí)行情況、執(zhí)行所需資源、作業(yè)類型幾方面對(duì)進(jìn)行對(duì)比，內(nèi)容見表1。

通過表1可知，軟件分為支持并行和不支持并行兩類。作業(yè)類型分為CPU密集型和I/O密級(jí)型，對(duì)執(zhí)行資源的需求主要是核數(shù)和內(nèi)存上，調(diào)度系統(tǒng)應(yīng)針對(duì)軟件支持并行和不支持并行，結(jié)合CPU核數(shù)和內(nèi)存需求，適應(yīng)性地分配計(jì)算節(jié)點(diǎn)和核數(shù)，針對(duì)I/O密級(jí)型和CPU密集型，綜合考慮，建立高效的調(diào)度策略，合理設(shè)定任務(wù)執(zhí)行優(yōu)先級(jí)，使得不同的任務(wù)運(yùn)行時(shí)間都能滿足用戶的需求?；诂F(xiàn)有超算資源，研究先進(jìn)的調(diào)度系統(tǒng)，優(yōu)化現(xiàn)有軟件運(yùn)行效率，能為工作效率的提高提供相應(yīng)的技術(shù)支持。

表1 典型軟件運(yùn)行特點(diǎn)對(duì)比

2 策略庫(kù)的設(shè)計(jì)

數(shù)值計(jì)算協(xié)同設(shè)計(jì)需要集成多個(gè)學(xué)科的計(jì)算設(shè)計(jì)軟件，不同的計(jì)算軟件運(yùn)行特點(diǎn)不同，所需的計(jì)算資源也不同，為了更好地利用計(jì)算資源，讓各個(gè)軟件的計(jì)算效率得到充分發(fā)揮，需要根據(jù)軟件運(yùn)行特征和高性能計(jì)算資源建立并行調(diào)度策略，實(shí)現(xiàn)高性能集群系統(tǒng)的計(jì)算任務(wù)負(fù)載均衡，下文將從作業(yè)類型、支持并行情況、運(yùn)行耗時(shí)情況、內(nèi)存需求等方面綜合考慮建立策略庫(kù)，具體敘述如下。

在策略庫(kù)設(shè)計(jì)時(shí)，首先根據(jù)作業(yè)運(yùn)行時(shí)內(nèi)存需求和耗時(shí)情況進(jìn)行分類，然后建立隊(duì)列，將不同類作業(yè)存放到不同隊(duì)列中，詳細(xì)情況如圖1所示。

圖1 作業(yè)的初步分類

從圖1可知，首先將作業(yè)根據(jù)耗時(shí)情況分為兩類：一類主是運(yùn)行耗時(shí)達(dá)月級(jí)及以上的作業(yè)，存放到隊(duì)列L中；另一類是運(yùn)行耗時(shí)在月級(jí)以下的作業(yè)，存放到隊(duì)列M，同時(shí)分別在隊(duì)列M和隊(duì)列L中針對(duì)作業(yè)運(yùn)行時(shí)內(nèi)存占用情況，進(jìn)一步細(xì)分，G1、G2隊(duì)列主要運(yùn)行內(nèi)存占用G級(jí)及以上的作業(yè)，G1’、G2’隊(duì)列運(yùn)行內(nèi)存占用G級(jí)以下的作業(yè)。

根據(jù)作業(yè)耗時(shí)和運(yùn)行時(shí)內(nèi)存占用情況將作業(yè)進(jìn)行分類后，還需考慮作業(yè)的類型，針對(duì)CPU密集型和I/O密級(jí)型設(shè)定不同的優(yōu)先級(jí)，本文考慮I/O密集型需要頻繁I/O，對(duì)CPU利用率不高的問題，在CPU密級(jí)型和I/O密集型同時(shí)競(jìng)爭(zhēng)調(diào)度資源時(shí)，采用改進(jìn)型時(shí)間片輪轉(zhuǎn)法，具體描述如圖2所示。

圖2 作業(yè)運(yùn)行優(yōu)先級(jí)的確定

從圖2所知，當(dāng)遍歷圖1中隊(duì)列中任務(wù)，確定優(yōu)先級(jí)時(shí)，首先判斷隊(duì)列中作業(yè)類型，如果只有一種類型，則采用先來先服務(wù)算法，判斷隊(duì)列中作業(yè)到來時(shí)間，將最早到來的作業(yè)C1優(yōu)先級(jí)設(shè)定為最高；如果隊(duì)列中作業(yè)同時(shí)包含CPU密集型和I/O密集型，則執(zhí)行改進(jìn)型時(shí)間片輪轉(zhuǎn)算法，將到來的I/O密集型作業(yè)的時(shí)間片加1，CPU密集型作業(yè)的時(shí)間片不變，判斷I/O密集型作業(yè)時(shí)間片數(shù)量大于2時(shí)，將此作業(yè)的優(yōu)先級(jí)設(shè)定為最高，如隊(duì)列中沒有時(shí)間片數(shù)量大于2的I/O密集型作業(yè)，則采用先來先服務(wù)遍歷CPU密集型作業(yè)，將最先到來的CPU密級(jí)型作業(yè)的優(yōu)先級(jí)設(shè)定為最高。

根據(jù)圖2所示確定最高優(yōu)先級(jí)作業(yè)后，需判斷作業(yè)支持并行的情況，針對(duì)支持并行的作業(yè)可按實(shí)際情況分配多個(gè)節(jié)點(diǎn)，多個(gè)核供作業(yè)計(jì)算使用。

3 執(zhí)行調(diào)度的設(shè)計(jì)

數(shù)值計(jì)算協(xié)同設(shè)計(jì)并行調(diào)度功能模塊的總體技術(shù)方案如圖3所示。

圖3 數(shù)值計(jì)算協(xié)同設(shè)計(jì)系統(tǒng)并行調(diào)度總體技術(shù)方案

設(shè)計(jì)用戶基于集成平臺(tái)構(gòu)建計(jì)算流程，對(duì)流程中的每個(gè)計(jì)算任務(wù)可進(jìn)行建模、計(jì)算、等操作；上述的執(zhí)行操作會(huì)被構(gòu)建成一個(gè)個(gè)的計(jì)算任務(wù)包，計(jì)算任務(wù)包主要是將任務(wù)的計(jì)算程序信息、所需資源等計(jì)算信息進(jìn)行封包，投遞到高性能計(jì)算服務(wù)器上進(jìn)行計(jì)算。

并行調(diào)度功能模塊中的“任務(wù)隊(duì)列”是一個(gè)分布式的消息隊(duì)列的實(shí)現(xiàn)，它主要用于存放任務(wù)包，以排隊(duì)的方式等待獲取資源進(jìn)行執(zhí)行，而不是全部任務(wù)同時(shí)進(jìn)行爭(zhēng)搶資源，任務(wù)隊(duì)列根據(jù)上文策略庫(kù)中調(diào)整策略進(jìn)行調(diào)度；“任務(wù)監(jiān)控”是建立在任務(wù)隊(duì)列基礎(chǔ)上的一個(gè)界面系統(tǒng)，可以通過它查看隊(duì)列里的任務(wù)數(shù)量、等待狀況、執(zhí)行情況，并且可以取消任務(wù)和查看任務(wù)輸出日志，支持命令行和界面操作，同時(shí)，對(duì)任務(wù)執(zhí)行的關(guān)鍵環(huán)節(jié)（如完成或取消終止）可以發(fā)出事件響應(yīng)；“任務(wù)調(diào)度器”需要與“調(diào)度策略庫(kù)”配合使用，其中，調(diào)度器是一個(gè)一直運(yùn)行并輪詢檢測(cè)是否執(zhí)行任務(wù)并有足夠的資源運(yùn)行。它會(huì)判斷任務(wù)隊(duì)列和資源信息兩個(gè)條件都滿足的情況下，獲取任務(wù)隊(duì)列中的任務(wù)包發(fā)送到HPC節(jié)點(diǎn)上進(jìn)行運(yùn)行。

為了自動(dòng)化實(shí)現(xiàn)上述過程，根據(jù)任務(wù)不同狀態(tài)設(shè)計(jì)了6個(gè)符合計(jì)算任務(wù)隊(duì)列，分別對(duì)應(yīng)等待隊(duì)列、就緒隊(duì)列、調(diào)度隊(duì)列、運(yùn)行隊(duì)列、錯(cuò)誤退出隊(duì)列、正常完成隊(duì)列；此外，每個(gè)隊(duì)列都對(duì)應(yīng)著一個(gè)監(jiān)控工作線程，監(jiān)控工作線程的主要職責(zé)是負(fù)責(zé)根據(jù)計(jì)算實(shí)例狀態(tài)的變化，實(shí)時(shí)地完成計(jì)算實(shí)例在不同隊(duì)列之間進(jìn)行轉(zhuǎn)移。

4 調(diào)度技術(shù)的實(shí)現(xiàn)及效果

執(zhí)行調(diào)度功能模塊包括了計(jì)算執(zhí)行管理、計(jì)算實(shí)例并行管理、計(jì)算組并行管理3個(gè)功能子模塊，詳見表2；提供了計(jì)算、計(jì)算組、項(xiàng)目3種不同粒度的并行執(zhí)行，粒度最小的計(jì)算執(zhí)行管理模塊是實(shí)現(xiàn)執(zhí)行調(diào)度的基礎(chǔ)與核心。

表2 執(zhí)行調(diào)度功能模塊子模塊

其核心算法主要實(shí)現(xiàn)了調(diào)度隊(duì)列監(jiān)控線程、運(yùn)行隊(duì)列監(jiān)控線程、等待隊(duì)列監(jiān)控線程、完成隊(duì)列監(jiān)控線程等，設(shè)計(jì)人員提交執(zhí)行任務(wù)后，系統(tǒng)自動(dòng)地分析用戶提交的計(jì)算節(jié)點(diǎn)運(yùn)行狀態(tài)，并將其保存到不同調(diào)度隊(duì)列中，執(zhí)行調(diào)度器獲取各隊(duì)列的任務(wù)，按照相應(yīng)流程調(diào)度執(zhí)行，設(shè)計(jì)人員不用關(guān)注任務(wù)調(diào)度的細(xì)節(jié)，執(zhí)行調(diào)度器算法實(shí)現(xiàn)流程如圖4所示。

圖4 執(zhí)行調(diào)度器算法

5 結(jié)語(yǔ)

本文研究了核反應(yīng)堆一回路研發(fā)所涉及的物理、熱工、燃料、屏蔽專業(yè)典型計(jì)算軟件運(yùn)行特點(diǎn)，針對(duì)不同軟件運(yùn)行特點(diǎn)完成了策略庫(kù)的設(shè)計(jì)，并研制了數(shù)值計(jì)算協(xié)同設(shè)計(jì)系統(tǒng)執(zhí)行調(diào)度模塊，通過該模塊實(shí)現(xiàn)了超算下計(jì)算任務(wù)有序合理的調(diào)度，能極大地提升核反應(yīng)堆計(jì)算軟件并行運(yùn)行效率與高性能計(jì)算資源的利用率。