氧碘化學(xué)激光器數(shù)值模擬中的多塊并行通信算法

郭　紅　李　艷　安恒斌

1(北京應(yīng)用物理與計算數(shù)學(xué)研究所　北京　100094)2(計算物理重點(diǎn)實(shí)驗(yàn)室(北京應(yīng)用物理與計算數(shù)學(xué)研究所)　北京　100094)(guo_hong@iapcm.ac.cn)

氧碘化學(xué)激光器數(shù)值模擬中的多塊并行通信算法

郭紅1,2李艷1安恒斌1,2

1(北京應(yīng)用物理與計算數(shù)學(xué)研究所北京100094)2(計算物理重點(diǎn)實(shí)驗(yàn)室(北京應(yīng)用物理與計算數(shù)學(xué)研究所)北京100094)(guo_hong@iapcm.ac.cn)

摘要為實(shí)現(xiàn)氧碘化學(xué)激光器大規(guī)模數(shù)值模擬，基于JASMIN(J parallel adaptive structured mesh applications infrastructure)框架設(shè)計實(shí)現(xiàn)了氧碘化學(xué)激光器數(shù)值模擬的多塊并行通信算法.該算法針對模擬中構(gòu)造多塊結(jié)構(gòu)網(wǎng)格間通信關(guān)系困難、氧碘化學(xué)激光器數(shù)值模擬填充物理邊界復(fù)雜以及網(wǎng)格塊內(nèi)塊間通信調(diào)度策略不統(tǒng)一等通信問題，實(shí)現(xiàn)了塊間關(guān)系自動識別算法用以自動識別多塊結(jié)構(gòu)網(wǎng)格間通信關(guān)系，構(gòu)造了特殊物理邊界數(shù)據(jù)結(jié)構(gòu)幫助實(shí)現(xiàn)物理邊界的填充，并采用了統(tǒng)一的通信調(diào)度策略以降低通信時間.數(shù)值結(jié)果表明：該算法解決了氧碘化學(xué)激光器大規(guī)模數(shù)值模擬中的通信問題，并很好地模擬了氧碘化學(xué)激光器裝置，使用簡單，可以擴(kuò)展到上千個處理器核.

關(guān)鍵詞氧碘化學(xué)激光器；大規(guī)模計算；多塊結(jié)構(gòu)網(wǎng)格；并行通信算法；JASMIN

激光器被廣泛地應(yīng)用于工業(yè)、醫(yī)療、科研等領(lǐng)域.氧碘化學(xué)激光是目前波長最短的化學(xué)激光，適合大氣傳輸，原理上和實(shí)驗(yàn)上均已證明它發(fā)展到高功率和高光束質(zhì)量是可行的.氧碘化學(xué)激光器(chemical oxygen iodine laser, COIL)成為最接近實(shí)際應(yīng)用的激光器之一，其在工業(yè)應(yīng)用方面越來越受到關(guān)注，應(yīng)用范圍涉及汽車制造業(yè)、造船業(yè)、石油及礦業(yè)開采業(yè)、水下切割和焊接作業(yè)等.

隨著計算機(jī)技術(shù)和模擬方法的發(fā)展，數(shù)值模擬在氧碘化學(xué)激光器的研究過程中起了重要作用[1]，與改進(jìn)硬件和發(fā)展新的診斷技術(shù)一起被看成改進(jìn)COIL性能的重要研究手段[2-5].要準(zhǔn)確模擬COIL，需要三維Navier-Stokes方程組和詳細(xì)擴(kuò)散模型[6].許多國家開展了COIL的三維數(shù)值模擬工作，包括俄羅斯[7-8]、日本[9]、美國[10-11]等，美國代表最高水平，其模擬程序COBALT60還在校驗(yàn)中.

氧碘化學(xué)激光器模擬是一種三維粘性可壓縮化學(xué)反應(yīng)流問題[12-13]，通常具有復(fù)雜的幾何外形.為適應(yīng)氧碘化學(xué)激光器的復(fù)雜幾何外形、反映真實(shí)流動特征，我國利用多塊結(jié)構(gòu)網(wǎng)格(塊與塊之間交界面上的網(wǎng)格結(jié)點(diǎn)一一對應(yīng))來離散計算區(qū)域，用VICON程序(由俄羅斯激光器件公司開發(fā)的計算流體力學(xué)程序)對COIL噴管冷流場進(jìn)行了三維模擬，得出的結(jié)果較準(zhǔn)確地反映了模擬裝置的幾何變化[13].然而，要準(zhǔn)確模擬氧碘混合噴管內(nèi)流場，模擬區(qū)域需要取得足夠大，這就需要大規(guī)模并行計算.在氧碘化學(xué)激光器的大規(guī)模多塊并行數(shù)值模擬中，將面臨3個困難：

1) 構(gòu)造多塊結(jié)構(gòu)網(wǎng)格間通信關(guān)系困難.在多塊結(jié)構(gòu)網(wǎng)格應(yīng)用程序中，由于各塊網(wǎng)格可采用任意的拓?fù)浣Y(jié)構(gòu)，這就有可能導(dǎo)致網(wǎng)格塊與塊間的索引空間不統(tǒng)一，使得相鄰面的消息傳遞異常困難.目前國際上先進(jìn)的支撐多塊結(jié)構(gòu)網(wǎng)格拼接的并行軟件，包括SAMRAI[14]，CHOMBO[15]等，根據(jù)網(wǎng)格塊間旋轉(zhuǎn)平移關(guān)系來描述網(wǎng)格塊間拼接關(guān)系，計算塊間拼接索引范圍.這種方法擴(kuò)展性強(qiáng)，適合大規(guī)模并行計算.然而，其實(shí)現(xiàn)需要用戶自行輸入每對網(wǎng)格塊間旋轉(zhuǎn)平移關(guān)系，輸入數(shù)據(jù)通常超過上百行，使用非常困難.尤其對于多塊結(jié)構(gòu)網(wǎng)格中出現(xiàn)的非結(jié)構(gòu)拼接，即奇異拼接，實(shí)現(xiàn)其通信關(guān)系描述更加困難.

2) 填充物理邊界復(fù)雜.在氧碘化學(xué)激光器數(shù)值模擬中，由于物理邊界的填充與計算方向、流體方向相關(guān)，其通信方式與網(wǎng)格內(nèi)部不同，數(shù)據(jù)通信需要進(jìn)行單獨(dú)處理.因此，物理邊界的處理也增加了實(shí)現(xiàn)多塊結(jié)構(gòu)網(wǎng)格拼接并行程序的復(fù)雜性，并且容易影響程序通信性能.

3) 通信調(diào)度策略不統(tǒng)一.通信調(diào)度策略不統(tǒng)一包括網(wǎng)格塊內(nèi)、塊間通信調(diào)度策略不統(tǒng)一，以及結(jié)構(gòu)拼接與奇異拼接通信調(diào)度策略不統(tǒng)一.對于前者，并行軟件中通常采用的通信調(diào)度策略局限于單塊結(jié)構(gòu)網(wǎng)格，沒有對多塊情形形成統(tǒng)一模板，即每塊網(wǎng)格先各自實(shí)現(xiàn)塊內(nèi)通信，然后再進(jìn)行塊間通信.如此一來，通信次數(shù)正比于相鄰網(wǎng)格塊對的個數(shù)，影響通信性能.對于后者，由于結(jié)構(gòu)拼接與奇異拼接的通信關(guān)系描述不統(tǒng)一，導(dǎo)致2種通信分別實(shí)現(xiàn)，同樣會增加處理器核等待的時間.

針對上述問題，本文將面向氧碘化學(xué)激光器大規(guī)模數(shù)值模擬，基于JASMIN(J parallel adaptive structured mesh applications infrastructure)框架[16-17]設(shè)計多塊并行通信算法，基于該算法自動計算多塊結(jié)構(gòu)網(wǎng)格塊間通信關(guān)系，并支撐氧碘化學(xué)激光器大規(guī)模數(shù)值模擬并行程序擴(kuò)展到上千核.

1控制方程及數(shù)值算法

1.1控制方程

控制方程包括質(zhì)量方程、動量方程、能量方程、組分方程和湍流方程.基于笛卡兒坐標(biāo)系N種組分控制方程的積分守恒形式為

(1)

其中t為時間.

U=(ρ,ρux,ρuy,ρuz,ρe,ρf1,ρf2,…,ρfN-1)T

(2)

為列守恒變量，ρ為密度，ux,uy,uz為速度分量，fi(i=1,2,…,N-1)為組分i的質(zhì)量分?jǐn)?shù)，e為單位質(zhì)量的總能，V為任意氣體體積，dS為垂直于包圍體積V的邊界的外法線向量，F(xiàn)為對流項(xiàng)通量，G為粘性項(xiàng)通量，

H=(0,0,0,0,Q,S1,S2,…,SN-1)

(3)

為源項(xiàng).Q為能量源項(xiàng)，Si(i=1,2,…,N-1)為組分質(zhì)量源項(xiàng).

對流項(xiàng)通量F的具體表達(dá)式如下：

F=Fxi+Fyj+Fzk,

(4)

其中：

(ρe+p)ux,ρuxf1,ρuxf2,…,ρuxfN-1)；

(ρe+p)uy,ρuyf1,ρuyf2,…,ρuyfN-1)；

(ρe+p)uz,ρuzf1,ρuzf2,…,ρuzfN-1).

粘性項(xiàng)通量G的表達(dá)式為

G=Gxi+Gyj+Gzk,

(5)

其中：

Gx=(0,-σxx,-τxy,-τxz,-uxσxx-

uyτxy-uzτxz+qx,J1x,J2x,…,J(N-1)x)；

Gy=(0,-τxy,-σyy,-τyz,-uxτxy-

uyσyy-uzτyz+qy,J1y,J2y,…,J(N-1)y)；

Gz=(0,-τxz,-τyz,-σzz,-uxτxz-

uyτyz-uzσzz+qz,J1z,J2z,…,J(N-1)z).

其中，σxx,σyy,σzz,τyz,τxy,τxz為應(yīng)力分量，q為熱通量，J為組分?jǐn)U散通量.

1.2數(shù)值算法

氧碘化學(xué)激光器數(shù)值模擬采用的計算方法是歐拉方法與物理過程分裂[13].在時間步[t,t+Δt]內(nèi)，整個問題分為3個相繼的問題：

(6)

其中,U*(t)=U(t)；

(7)

其中,U**(t)=U*(t+Δt)；

(8)

其中,U***(t)=U**(t+Δt).

U(t+Δt)=U***(t+Δt).

(9)

對于式(6)描述的非粘性問題，采用二階Roe-ENO顯格式[18]或隱式格式逼近.對于式(7)描述的粘性問題，采用二階加權(quán)隱式差分格式逼近.式(8)為化學(xué)反應(yīng)問題，采用顯式六階龍格——庫塔方法求解.

物理邊界條件采用無滑固壁，即高密度條件(低Knudsen數(shù))下的固體不滲透表面.由于在計算方法中采用物理過程分裂后整個問題分解為3個獨(dú)立的問題，相應(yīng)的邊界條件也分別給定.

粘性部分給定的物理邊界條件是：速度為0，溫度為用戶給定的壁面溫度.

ux=uy=uz=0，

T=TW，

fi=(fi)n,i=1,2,…,N-1，

(10)

其中，下標(biāo)n指內(nèi)網(wǎng)格，TW是用戶給定的壁面溫度，若TW≤0.0，是絕熱壁，則T=Tn.

非粘性部分給定的物理邊界條件是：速度的法向分量為0，切向分量等于最近的內(nèi)網(wǎng)格的值.

化學(xué)反應(yīng)過程是在每個網(wǎng)格內(nèi)各組分之間的反應(yīng)過程，不涉及物理邊界條件.

2多塊并行通信算法

本文基于JASMIN框架設(shè)計實(shí)現(xiàn)了氧碘化學(xué)激光器數(shù)值模擬的多塊并行算法.為了幫助提高Cache命中率，進(jìn)而提升訪存性能，每塊網(wǎng)格都被劃分為若干獨(dú)立的小計算區(qū)域，這些小計算區(qū)域被稱為網(wǎng)格片.網(wǎng)格片是數(shù)值計算的基本單位，數(shù)據(jù)通信也是基于網(wǎng)格片實(shí)現(xiàn).

在氧碘化學(xué)激光器數(shù)值模擬所采用的計算方法中，除化學(xué)反應(yīng)過程是單點(diǎn)計算，非粘性和粘性氣流問題均需借助網(wǎng)格片周圍網(wǎng)格單元完成數(shù)值計算.這需要填充網(wǎng)格片的影像區(qū).根據(jù)幾何位置的不同，影像區(qū)分為3種：網(wǎng)格塊內(nèi)影像區(qū)、網(wǎng)格塊間影像區(qū)以及物理邊界影像區(qū).

網(wǎng)格片的塊內(nèi)影像區(qū)由同一網(wǎng)格塊中相鄰網(wǎng)格片進(jìn)行填充，此時該網(wǎng)格片與相鄰網(wǎng)格片的索引空間相同，影像區(qū)填充算法同單塊結(jié)構(gòu)網(wǎng)格算法，容易實(shí)現(xiàn).而網(wǎng)格塊間影像區(qū)和物理邊界影像區(qū)的填充則相對復(fù)雜，下面將分別討論.

2.1網(wǎng)格塊間影像區(qū)填充方法

本文基于JASMIN框架中用于多塊結(jié)構(gòu)網(wǎng)格拼接的塊間關(guān)系描述方法[19]對網(wǎng)格塊間拼接關(guān)系進(jìn)行描述.該方法通過塊間索引空間的旋轉(zhuǎn)關(guān)系、平移關(guān)系來計算網(wǎng)格塊間拼接索引范圍.塊間索引空間的旋轉(zhuǎn)關(guān)系是一對鄰居網(wǎng)格中索引空間相互關(guān)系.圖1列出了二維4種右手系索引空間的16種鄰居組合，三維則包括24種右手系索引空間的576種組合.平移關(guān)系則是由2塊網(wǎng)格中空間坐標(biāo)相同的2個網(wǎng)格結(jié)點(diǎn)索引計算得到.

Fig. 1　Translations of two blocks in 2-dimensional space.圖1　二維空間旋轉(zhuǎn)關(guān)系

通過塊間關(guān)系描述方法可以計算出2塊網(wǎng)格的相交索引范圍，進(jìn)而將通信數(shù)據(jù)的索引空間由源網(wǎng)格塊轉(zhuǎn)換至目的網(wǎng)格塊，再填充到相應(yīng)的索引位置上，實(shí)現(xiàn)網(wǎng)格塊間拼接.這種方法避免了傳統(tǒng)算法中記錄塊間拼接索引范圍的過程，并且可以直接用于描述任意2個網(wǎng)格片的拼接關(guān)系，擴(kuò)展性強(qiáng)，適合大規(guī)模并行計算.然而，基于塊間關(guān)系描述方法直接進(jìn)行計算，依靠手工輸入鄰居信息非常復(fù)雜，耗時耗力且不易查找錯誤，離實(shí)際應(yīng)用還有一定差距.采用JASMIN框架中的塊間關(guān)系自動識別工具可以解決上述問題.塊間關(guān)系自動識別工具根據(jù)結(jié)構(gòu)拼接計算算法實(shí)現(xiàn)，利用網(wǎng)格幾何坐標(biāo)計算網(wǎng)格結(jié)構(gòu)拼接的塊對之間的旋轉(zhuǎn)關(guān)系、平移關(guān)系，而對于圖2所示的奇異拼接卻不適用.

Fig.2　Singularity.圖2　奇異拼接

由于在奇異拼接處的數(shù)值計算的特殊性，多數(shù)并行軟件采用了對奇異拼接專門描述的方法，順序記錄奇異拼接所涉及的所有網(wǎng)格塊塊號，并統(tǒng)一描述其通信關(guān)系.奇異拼接的通信關(guān)系描述同樣非常復(fù)雜，依靠手工輸入非常困難.針對氧碘化學(xué)激光器數(shù)值模擬中出現(xiàn)的奇異拼接，在結(jié)構(gòu)拼接計算算法的基礎(chǔ)上，設(shè)計和實(shí)現(xiàn)了塊間奇異拼接計算算法.塊間奇異拼接計算算法與塊間結(jié)構(gòu)拼接計算算法一起組成完備的塊間關(guān)系自動識別算法.下面以三維算法為例闡述塊間關(guān)系自動識別算法(算法1).

算法1. 塊間關(guān)系自動識別算法.

輸入: 存儲網(wǎng)格結(jié)點(diǎn)坐標(biāo)的文件cfile；

輸出: 網(wǎng)格塊間旋轉(zhuǎn)、平移關(guān)系及奇異拼接關(guān)系.

Step1. 讀取網(wǎng)格結(jié)點(diǎn)坐標(biāo)并存儲到數(shù)組

coords中；

if (blocki∩blockj≠?)

將blocki,blockj的ID插入到

neighbor_list中；

其中，i,j∈{1,2,…,block_num},i≠j；

end if

forneighbor_list{

沿3個坐標(biāo)軸方向{I,J,K}分別計算blocki與blockj的拼接范圍；

if (沿某個坐標(biāo)軸方向拼接點(diǎn)數(shù)量≥2) 記為Xc,其中X∈{I,J,K}；

if (Xc_num==2) {

blocki與blockj面拼接；

任意選取3個不在同一直線的交點(diǎn)計算旋轉(zhuǎn)關(guān)系；

} else if (Xc_num==1) {

blocki與blockj棱拼接；

任意選取2個交點(diǎn)計算拼接軸方向的旋轉(zhuǎn)關(guān)系；

根據(jù)拼接棱所處的坐標(biāo)面計算另外2個方向的旋轉(zhuǎn)關(guān)系；

}else if (Xc_num==0) {

blocki與blockj點(diǎn)拼接；

尋找blocki與blockj共同的鄰居blockk,且blockk與blocki,blockj至少1個面拼接；

通過blockk與blocki,blockj的旋轉(zhuǎn)關(guān)系計算blocki與blockj的旋轉(zhuǎn)關(guān)系；

} end if

選取一個交點(diǎn)計算blocki與blockj的平移關(guān)系；

} end for

forneighbor_list{

獲取包含同一拼接棱的所有鄰居對blocki與blockj的ID，將ID插入到block_list；

清除block_list中相同block的ID；

ifblock_list中網(wǎng)格塊數(shù)量≠4

奇異拼接；

根據(jù)拼接順序?qū)lock_list中ID排序，同時計算拼接范圍.

} end for

基于塊間關(guān)系自動識別算法，用戶只需輸入存儲網(wǎng)格結(jié)點(diǎn)坐標(biāo)的文件名，即可自動生成塊間關(guān)系，并直接應(yīng)用于多塊結(jié)構(gòu)網(wǎng)格拼接的計算中.存儲網(wǎng)格結(jié)點(diǎn)坐標(biāo)的文件，可由大多數(shù)網(wǎng)格生成軟件得到，例如GRIDGEN[20].

2.2物理邊界影像區(qū)填充方法

Fig. 3　The description of physical boundaries.圖3物理邊界描述

Fig. 4　The management of physical boundary conditions.圖4物理邊界處理方法

物理邊界影像區(qū)填充方法可以滿足氧碘化學(xué)激光器多塊結(jié)構(gòu)網(wǎng)格數(shù)值模擬中物理邊界填充的多樣化需求.

2.3統(tǒng)一的通信調(diào)度策略

由于數(shù)據(jù)通信基于網(wǎng)格片實(shí)現(xiàn)，網(wǎng)格片間通信是并行應(yīng)用程序的主要時間開銷.在氧碘化學(xué)激光器多塊并行數(shù)值模擬中，網(wǎng)格片間通信包括塊內(nèi)網(wǎng)格片間通信、塊間網(wǎng)格片間通信以及物理邊界網(wǎng)格片間通信.其中，塊間網(wǎng)格片間通信又包括結(jié)構(gòu)拼接和奇異拼接通信.

網(wǎng)格片間通信調(diào)度策略是實(shí)現(xiàn)多塊結(jié)構(gòu)網(wǎng)格拼接所面臨的主要問題.通信調(diào)度不統(tǒng)一，會增加處理器核同步等待時間，從而導(dǎo)致通信性能差.JASMIN框架中的基于網(wǎng)格片的統(tǒng)一模板的通信調(diào)度策略[19]，通過將塊間旋轉(zhuǎn)關(guān)系、平移關(guān)系引入通信調(diào)度策略，創(chuàng)建塊內(nèi)網(wǎng)格片間及結(jié)構(gòu)拼接塊間網(wǎng)格片間統(tǒng)一模板的通信調(diào)度；通過構(gòu)造臨時數(shù)據(jù)結(jié)構(gòu)，使得塊間奇異拼接及物理邊界填充可以間接利用上述通信調(diào)度，從而構(gòu)造出4種網(wǎng)格片間通信模式的統(tǒng)一通信調(diào)度策略.基于該通信調(diào)度策略，可以統(tǒng)一實(shí)現(xiàn)網(wǎng)格塊內(nèi)塊間通信，有效地減少通信中核同步等待時間.

3數(shù)值實(shí)驗(yàn)

本文模擬了向碘蒸氣注入氦氣作為稀釋氣體的COIL混合噴管的流動問題.其中，網(wǎng)格塊總數(shù)為66，如圖5所示，網(wǎng)格單元總數(shù)450萬.在該算例中，共包括221組結(jié)構(gòu)拼接網(wǎng)格塊鄰居以及12組奇異拼接鄰居.通過塊間關(guān)系自動識別算法在單個處理器核上計算網(wǎng)格塊間通信關(guān)系僅需要不到10 min.

Fig. 5　The blocks’ distribution.圖5　網(wǎng)格塊分布圖

圖6所示為增益分布圖,由圖6可以看出，增益最大值出現(xiàn)在中心位置，形成了合適的增益區(qū)，延長了氣流方向的增益區(qū)，為光腔內(nèi)激光提取做好了準(zhǔn)備.

Fig. 6　The distribution of gain of secondary flow.圖6　副氣流增益分布圖

表1所示為固定問題規(guī)模450萬網(wǎng)格單元，處理器核數(shù)在1～2 048范圍內(nèi)變化，運(yùn)行氧碘化學(xué)激光器數(shù)值模擬程序10個時間步的數(shù)值計算與通信時間總和及加速比.從表1可知，相對于單處理器核，在2 048個處理器核上模擬程序可以得到420倍多的加速.

Table 1　Parallel Speedup

4結(jié)論

針對傳統(tǒng)的多塊并行算法在氧碘化學(xué)激光器數(shù)值模擬中構(gòu)造多塊結(jié)構(gòu)網(wǎng)格間通信關(guān)系困難、網(wǎng)格塊內(nèi)塊間通信調(diào)度策略不統(tǒng)一以及填充物理邊界的特殊性等問題，基于JASMIN框架設(shè)計實(shí)現(xiàn)了氧碘化學(xué)激光器數(shù)值模擬的多塊并行通信算法.該算法有效地解決了傳統(tǒng)多塊并行算法中的使用困難及通信性能瓶頸問題.數(shù)值實(shí)驗(yàn)表明，該算法解決了多塊結(jié)構(gòu)網(wǎng)格并行程序?qū)崿F(xiàn)困難的問題，很好地模擬了氧碘化學(xué)激光器裝置，在2 048處理器核上的加速比超過420，可以擴(kuò)展到上千個處理器核.

參考文獻(xiàn)

[1]Koop G, Hartlove J, Clendening C, et al. Airborne laser flight-weighted laser module (FLM) and coil moduling support[C]Proc of the 31st AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 2000: Article 2421

[2]Truesdell K A, Helms C A, Hager G D. Coil development in the USA[C]Proc of the 25th AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 1994: Article 2421

[3]Duff E A, Truesdell K A. Chemical oxygen iodine laser (COIL) technology and development[C]Proc of SPIE 5414. Bellingham, WA: SPIE, 2004: 52-68

[4]Deng Liezheng, Shi Wenbo, Du Shuyan, et al. Removal of water vapor content in singlet oxygen flow using cold-jet method[J]. High Power Laser and Particle Beams, 2012, 24(7): 1539-1543 (in Chinese)(鄧列征, 石文波, 杜姝彥, 等. 冷射流方法脫除單重態(tài)氧氣流中的水汽[J]. 強(qiáng)激光與粒子束, 2012, 24(7): 1539-1543)

[5]Zhang Lin, Xian Yuqiang. Design and simulation of supporting stabilizing system for separated COIL resonator cavity[J]. High Power Laser and Particle Beams, 2013, 25(S0): 29-32 (in Chinese)(張林, 鮮玉強(qiáng). 分體型COIL諧振腔支撐致穩(wěn)系統(tǒng)設(shè)計與仿真分析[J]. 強(qiáng)激光與粒子束, 2013, 25(S0): 29-32)

[6]Madden T J, Solomon W C. A detailed comparison of a computational fluid dynanic simulation and a laboratory experiment for a COIL laser[C]Proc of the 28th AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 1997: Article 2387

[7]Boreysho A S. Integration of COIL in high-power laser systems[C]Proc of SPIE 5777. Bellingham, WA: SPIE, 2005: 16-31

[8]Boreysho A S, Savin A V, Malkov V M. Problems and solutions in COIL gas dynamics[C]Proc of SPIE 5777. Bellingham, WA: SPIE, 2005: 142-148

[9]Sugimoto D, Tei K, Ito T, et al. CFD based optimization of iodine mixing for supersonic COIL[C]Proc of SPIE 5120. Bellingham, WA: SPIE, 2003: 446-451

[10]Madden T J, Miller J H. An analysis of mechanisms of flow unsteadiness in chemical oxygen-iodine laser flowfields[C]Proc of the 35th AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 2004: Article 2728

[11]Miller J H, Shang J S. Validation of parallel Navier-Stokes codes for chemical oxygeniodine laser flowfields[C]Proc of the 33rd AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 2002: Article 1090

[12]Buggeln R C, Shamroth S, Lampson A I, et al. Three-dimensional (3-D) Navier-Stokes analysis of the mixing and power extraction in a supersonic chemical oxygen iodine laser (COIL) with transverseI2injection[C]Proc of the 25th AIAA Plasmadynamics and Lasers Conf. Reston, VA: AIAA, 1994: Article 2435

[13]Li Yan, Li Shouxian, Yu Zhen. Feasibility of numerical simulation of flow through COIL 3-D nozzle with VICON code[J]. High Power Laser and Particle Beams, 2006, 18(5): 736-740 (in Chinese)(李艷, 李守先, 余真. VICON程序模擬氧碘化學(xué)激光器3維噴管流場的可行性探討[J]. 強(qiáng)激光與粒子束, 2006, 18(5): 736-740)

[14]Hornung R D, Wissink A M, Kohn S R. Managing complex data and geometry in parallel structured AMR applications[J]. Engineering with Computers, 2006, 22: 181-195

[15]Colella P, Graves D T, Ligocki T J, et al. Chombo software package for AMR applications design document, LBNL-6616E[R]. Berkeley, CA: Lawrence Berkeley National Labotatory, 2014

[16]Mo Zeyao, Zhang Aiqing, Cao Xiaolin, et al. JASMIN: A parallel software infrasture for scientific computing[J]. Frontiers of Computer Science in China, 2010, 4(4): 480-488

[17]Mo Zeyao, Zhang Aiqing, Cao Xiaolin, et al. User’s guide for JASMIN (2.0 version), T09-JMJL-01[R]. Beijing: Institute of Applied Physics and Computational Mathematics, 2011 (in Chinese)(莫則堯, 張愛清, 曹小林, 等. 并行自適應(yīng)結(jié)構(gòu)網(wǎng)格應(yīng)用支撐軟件框架(JASMIN 2.0版)用戶指南, T09-JMJL-01[R]. 北京: 北京應(yīng)用物理與計算數(shù)學(xué)研究所, 2011)

[18]Yang J Y, Hsu C A. High-resolution, nonoscillatory schemes for unsteady compressible flows[J]. AIAA Journal, 1992, 30(6): 1570-1575

[19]Guo Hong, Mo Zeyao, Zhang Aiqing. A parallel module for multiblock structured mesh in JASMIN and its applications. Computer Engineering & Science, 2012, 34(8): 69-74 (in Chinese)(郭紅, 莫則堯, 張愛清. JASMIN框架中多塊結(jié)構(gòu)網(wǎng)格拼接并行計算及其應(yīng)用[J]. 計算機(jī)工程與科學(xué), 2012, 34(8): 69-74)

[20]Steinbrenner J P, Chawner J R, Fouts C L. The gridgen 3D multiple block grid generation system, WRDC-TR-90-3022[R]. Dayton, OH: Wright Patterson Air Force Base, 1990

Guo Hong, born in 1978. PhD. Member of China Computer Federation. Associate professor in Institute of Applied Physics and Computational Mathematics, Beijing, China. Her research interests include parallel numerical algorithms, large scale communi-cation algorithms, and parallel software infrastures.

Li Yan, born in 1975. Master. Associate professor. Her main research interests include numerical simulation of chemical oxygen-iodine laser and domain decom-position methods.

An Hengbin, born in 1974. PhD. Professor in Institute of Applied Physics and Com-putational Mathematics, Beijing, China. His main research interests include parallel algorithms and applications, domain specific parallel software infrastures.

A Parallel Communication Algorithm in Supersonic COIL’s Calculations Using Multiblock Mesh

Guo Hong1,2, Li Yan1, and An Hengbin1,2

1(InstituteofAppliedPhysicsandComputationalMathematics,Beijing100094)2(LaboratoryofComputationalPhysics(InstituteofAppliedPhysicsandComputationalMathematics),Beijing100094)

AbstractIn this paper, a parallel communication algorithm of supersonic chemical oxygen iodine laser (COIL)’s calculation using multiblock structured mesh has been designed and implemented. This communication algorithm that is designed for large scale supersonic chemical oxygen iodine laser’s simulation is based on JASMIN(J parallel adaptive structured mesh applications infrastructure) infrastructure. There are several communication problems in the large scale supersonic chemical oxygen iodine laser’s simulation such as the complexity of blocks’ connecting relationship description, the complexity of management of boundary conditions and the nonuniform of communication schedule. The communication algorithm in this paper includes a blocks’ relationship recognition algorithm to compute blocks’ connecting relationship automatically, a special data structure to help managing boundary conditions and a unified communication schedule which can reduce communication time. According to our calculation results, the communication problems can be resolved by the communication algorithm in this paper and supersonic chemical oxygen iodine laser based on this communication algorithm can be realized easily and simulated regularly. The simulation with 4.5 million mesh cells in this paper can run efficiently on thousands of processor cores.

Key wordschemical oxygen iodine laser; large scale calculation; multiblock structured mesh; parallel communication algorithm; J parallel adaptive structured mesh applications infrastructure (JASMIN)

收稿日期：2014-12-30；修回日期：2015-06-09

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(61370066,11171039)；國家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展計劃基金項(xiàng)目(2011CB309702)；國家“八六三”高技術(shù)研究發(fā)展計劃基金項(xiàng)目(2012AA01A309)

中圖法分類號TP301

This work was supported by the National Natural Science Foundation of China (61370066,11171039), the National Basic Research Program of China (973 Program) (2011CB309702), and the National High Technology Research and Development Program of China (863 Program) (2012AA01A309).