分布式多處理機(jī)的并行模擬測試

劉 輝，黃海生

(1.上海電力學(xué)院計算機(jī)與信息工程學(xué)院，上海 200090;2.華能太倉電廠，江蘇太倉 215424)

在高性能計算機(jī)的設(shè)計過程中，需要對各個功能部件分別進(jìn)行測試和評估，以改進(jìn)性能，但是對各個已經(jīng)生產(chǎn)出來的功能部件進(jìn)行測試的成本太大，故需要進(jìn)行模擬測試.本文主要介紹參與多處理器的全系統(tǒng)模擬的組成部件，即互聯(lián)網(wǎng)絡(luò)模擬和評估環(huán)境，以及兩個模擬器之間的接口方法，分析了全系統(tǒng)模擬時遇到的問題以及在模擬精度和模擬時間之間找到平衡的方法.

1 模擬環(huán)境

1.1 IN接口和計算單元

本文是在并行系統(tǒng)分布式內(nèi)存的內(nèi)部互聯(lián)網(wǎng)絡(luò)中進(jìn)行模擬的，該網(wǎng)絡(luò)允許計算結(jié)點(diǎn)以高吞吐量、低延遲的方式互換信息，這種方式可以高效運(yùn)行并行應(yīng)用程序.

本文的模擬環(huán)境是基于分布式內(nèi)存并行機(jī)制，并且用模擬環(huán)境來評估互聯(lián)網(wǎng)絡(luò)模擬和評估環(huán)境(InterconnectionNetworkSimulationand Evaluation Environment，INSEE)結(jié)構(gòu)下網(wǎng)絡(luò)互聯(lián)(Interconnection Network，IN)的功能.模擬環(huán)境包括FSIN和TRGEN.FSIN是一個時間驅(qū)動的、權(quán)重小的，功能靈活齊全的IN模擬器［1］，該模擬器可以模擬幾千個由不同的拓?fù)浣Y(jié)構(gòu)構(gòu)成的、分布式內(nèi)存的并行計算機(jī)節(jié)點(diǎn);TRGEN模塊可以使用人工合成的消息流量來進(jìn)行全系統(tǒng)模擬，可以在集群上利用MPP技術(shù)實(shí)現(xiàn)模擬結(jié)果.

IN模擬器的一個實(shí)例可以模擬通過網(wǎng)絡(luò)的信息包流量，而全系統(tǒng)模擬的多個實(shí)例可以模擬計算單元的操作細(xì)節(jié).具體操作包括硬件設(shè)備的模擬、操作系統(tǒng)、支持庫，以及并行應(yīng)用等.

(1)NIC(NetworkInterface Card，網(wǎng)絡(luò)接口卡)組件，負(fù)責(zé)與IN設(shè)備通信，這是個軟件層次上的模塊;

(2)驅(qū)動器，這是NIC的驅(qū)動程序，是模擬器的核心部分;

(3)堆棧協(xié)議，提供對IN部件的高層次訪問，在模擬器的核心部分;

(4)支持庫，提供并行計算的MPIAP接口和必需的運(yùn)行時間支持，位于堆棧協(xié)議的頂部;

(5)并行應(yīng)用進(jìn)程.

此外，模擬環(huán)境還包括一個同步模塊——使所有的模塊提前同步，一個信息流量管理模塊——允許信息在結(jié)點(diǎn)和IN模擬器之間互換信息，如果需要還要完成信息的翻譯.

1.2 網(wǎng)絡(luò)阻塞控制機(jī)制

當(dāng)IN系統(tǒng)中資源的使用情況達(dá)到其極限時，就會發(fā)生網(wǎng)絡(luò)阻塞，阻塞會引起網(wǎng)絡(luò)吞吐量的下降和延遲的增加.阻塞控制機(jī)制通常在網(wǎng)絡(luò)剛出現(xiàn)阻塞信號時就立即限制信息包的發(fā)送.通常探測阻塞信號和避免阻塞的方法有多種，基于全局知識的如RECN，基于本地路由緩沖信息的如LBR.IBM的原環(huán)形網(wǎng)絡(luò)使用的機(jī)制是傳送中的消息優(yōu)先［2］，我們稱之為IPR.

本文使用的兩種阻塞控制機(jī)制為IPR和LBR，兩者都基于本地可用的信息，具有良好的執(zhí)行性能和最小的實(shí)現(xiàn)代價.在使用IPR時，優(yōu)先權(quán)賦予正在傳送中的消息，以數(shù)字P表示優(yōu)先權(quán)的大小.在這些周期中，一個新的消息包只有在確認(rèn)不會與當(dāng)前網(wǎng)絡(luò)中已有的消息發(fā)生競爭時才發(fā)送新的信息，P的值可以從零變化到1，取零值表示沒有限制，取1表示正在傳送的流量有絕對的優(yōu)先權(quán).當(dāng)?shù)鼐彌_限制LBR機(jī)制主要用于特定的自適應(yīng)路由來避免逃逸網(wǎng)絡(luò)中死鎖的發(fā)生，LBR將冒泡規(guī)則擴(kuò)充到所有新產(chǎn)生的到達(dá)網(wǎng)絡(luò)的信息包［1］.因此，一個消息包只有在發(fā)送操作可以確保與虛擬通道相關(guān)的傳送緩沖區(qū)有B個消息包空間的情況下，才能發(fā)送到自適應(yīng)虛擬通道.參數(shù)B是預(yù)留給傳送中的流量的緩沖區(qū)數(shù)目，換言之，處理阻塞的效果是通過緩沖區(qū)利用率來評價的.

1.3 同步機(jī)制

模擬器的各個不同的模擬部件有不同的模擬時鐘，有不同的時間單元，并且有可能有不同的機(jī)制來使用這些時鐘.例如，Simics是事件驅(qū)動的，并且在每一個CPU時鐘周期內(nèi)都要探測時間;INSEE是周期驅(qū)動的，而且時間單元是循環(huán)的［3］.因此，需要制定一套機(jī)制來協(xié)調(diào)和同步不同部件的時鐘，這套機(jī)制可以協(xié)調(diào)模擬器在同一個空間中的計算部件和IN部件，就像使用同一個全局時鐘一樣.模擬環(huán)境中的同步模塊就用來實(shí)現(xiàn)該功能.

同步模塊的第一種工作模式是串行地進(jìn)行模擬操作.計算單元的模擬器在給定的時間片內(nèi)提前執(zhí)行，然后停下，而IN模擬器開始操作，然后模擬相同的時間，再停下，然后計算單元模擬器重新開始模擬操作.該模擬器不會并行工作，若計算單元上產(chǎn)生了一個消息，它會加上時間戳后存儲在接口隊(duì)列上.然后IN模擬器會在相同的時間片內(nèi)開始模擬，先對接口隊(duì)列進(jìn)行處理，當(dāng)IN模擬器探測到有消息傳送到計算單元時，它就會將這個時間存儲在接口隊(duì)列中［2］.計算單元不會對過時的消息進(jìn)行處理，因此所有在給定時間片內(nèi)接收的消息只在下一個時間片的起始時刻進(jìn)行處理.換言之，消息的處理需要等待，等待時間從零到一個時間片的間隔不等.

同步模式的第二種工作模式是計算單元和IN模塊并行工作.在一個時間片內(nèi)，兩個單元同時處理各自的任務(wù)，處理完成后兩個模擬器互換事件隊(duì)列，計算單元模擬器將在一個時間片內(nèi)產(chǎn)生的消息傳送給IN模擬器，IN模擬器把到達(dá)目的計算單元的消息傳送給計算單元［4］.該模式達(dá)到了并行的目的，但引進(jìn)了兩個人為的延遲:信息的進(jìn)入要延遲到下一個時間片的開始;消息傳送延遲的影響依賴于時間片的長短.此外，消息進(jìn)入IN模擬器的方式是以突發(fā)的形式在下一個時間片的開始時刻進(jìn)入的，這可能會引起不必要的資源競爭.

在這兩種模式中，時間片越短小，精確性越高，但在執(zhí)行的過程中要不斷地暫停模擬器的操作.時段較長的時間片可以提高實(shí)驗(yàn)速度，但會引入人為的延遲，這些延遲將影響實(shí)驗(yàn)結(jié)果.

1.4 實(shí)驗(yàn)環(huán)境

測試系統(tǒng)由64個計算節(jié)點(diǎn)通過環(huán)形網(wǎng)絡(luò)連接起來.所有的同步時間片是10 000∶200，即200個INSEE周期與10 000個simics周期相等，這個同步時間片可以產(chǎn)生128 Mb/s的帶寬，大致與快速以太網(wǎng)的速度相當(dāng).

在實(shí)驗(yàn)中，假定P=1(最大權(quán)限的優(yōu)先權(quán))，B=3(這表示只有在隊(duì)列是空或者基本為空的情況下才向自適應(yīng)通道發(fā)送消息).本實(shí)驗(yàn)使用的應(yīng)用程序是NAS并行標(biāo)準(zhǔn)A類的一個子集，該子集經(jīng)常用來作為對多處理器性能進(jìn)行評估的并行應(yīng)用程序.為了便于描述，我們只集中討論BT，CG，IS 3個基準(zhǔn).BT是偏向于計算性的基準(zhǔn)，它可以演示網(wǎng)絡(luò)層次是如何不會影響執(zhí)行時間的，而CG和IS是專供通信的基準(zhǔn)，利用它們很容易看到網(wǎng)絡(luò)的變化對實(shí)驗(yàn)結(jié)果的影響.

2 多處理器的全系統(tǒng)模擬的實(shí)現(xiàn)

本文利用simics來模擬計算節(jié)點(diǎn)的工作，而計算結(jié)點(diǎn)是通過網(wǎng)絡(luò)來交換信息包的.交換信息包的方式采用重用協(xié)議堆棧和NIC驅(qū)動程序.這種方式可以增加與流管理模塊的交互能力［5］.同步機(jī)制采用網(wǎng)絡(luò)模擬器和simics，以鎖定步驟的模式并行工作.模擬環(huán)境使用8個simics實(shí)例，每個實(shí)例模擬8個節(jié)點(diǎn)，共有64個模擬節(jié)點(diǎn).每個節(jié)點(diǎn)運(yùn)行的操作系統(tǒng)是red hat 7.3，系統(tǒng)配置MPI并行接口函數(shù)，由于我們使用的是類以太網(wǎng)的NIC，故可以在低端協(xié)議堆棧上使用TCPI/IP或UDP/IP協(xié)議.

在多處理器上將一個消息傳送到另一個進(jìn)程需要幾個步驟.首先，消息被分割成網(wǎng)絡(luò)幀，這些幀根據(jù)使用的協(xié)議堆棧來封裝不同的消息頭部.接著，這些幀被傳送到NIC驅(qū)動器上，然后送往IN模擬器，不是送到真正的IN模擬器，流量產(chǎn)生器把幀從模擬的硬件NIC分離開來，然后送往INSEE.流量產(chǎn)生器負(fù)責(zé)發(fā)送和接收從INSEE的TrGen模塊來的幀.就像我們使用集群來模擬多處理器一樣，流量產(chǎn)生器將消息幀發(fā)送至計算機(jī)來執(zhí)行［6］.

TrGen負(fù)責(zé)分配FSIN的工作負(fù)載，F(xiàn)SIN是INSEE的IN模擬器核心［7］.TrGen接收的消息幀進(jìn)一步被分割成消息包，然后送到FSIN路由器的接收隊(duì)列中.當(dāng)同步服務(wù)器發(fā)送消息告訴FSIN開始工作時，TrGen就開始模擬消息包是如何在網(wǎng)絡(luò)之間傳送的，以及如何把它們送到目的地的.一旦一個幀的所有消息包都到達(dá)目的地后，TrGen就將消息包組合成一個消息幀，然后再將這個消息幀送至對應(yīng)的目的結(jié)點(diǎn)的流量產(chǎn)生器中.

流量產(chǎn)生器將到達(dá)的消息幀送往模擬硬件NIC，同步消息使simics重新啟動，到達(dá)的消息幀會使模擬硬件發(fā)生中斷.然后，對消息幀進(jìn)行處理，即去掉協(xié)議堆棧的頭部，重組消息，并將其送至應(yīng)用程序進(jìn)程.

若要在每個simics中運(yùn)行幾個計算結(jié)點(diǎn)，則要求有兩個不同的同步機(jī)制，第一個同步機(jī)制用來協(xié)調(diào)所有的simics內(nèi)的計算結(jié)點(diǎn)［8］，即每個節(jié)點(diǎn)運(yùn)行一定數(shù)目的周期，然后下一個結(jié)點(diǎn)開始運(yùn)行，如此以時間片輪轉(zhuǎn)的形式循環(huán)執(zhí)行;第二個同步機(jī)制用來協(xié)調(diào)計算節(jié)點(diǎn)和INSEE，在INSEE中有一個同步服務(wù)器，在simics實(shí)例中有一個同步客戶機(jī).當(dāng)所有的simics實(shí)例中的節(jié)點(diǎn)有一個完整的時間片時，不同客戶機(jī)就停止那個實(shí)例，然后發(fā)送一個時間戳信號到同步服務(wù)器，請求運(yùn)行下一個時間片.在一個運(yùn)行時間片內(nèi)，所有已經(jīng)產(chǎn)生的網(wǎng)絡(luò)流量信息就在接收隊(duì)列中等待.

當(dāng)同步服務(wù)器接收到來自所有的simics實(shí)例的時間戳信號后，INSEE就同意FSIN來運(yùn)行一個時間片，并把接收到的信息包路由到目的FSIN路由器［9］.當(dāng)FSIN結(jié)束自己的時間片后，就發(fā)送一個多點(diǎn)傳送的時間戳信號至所有的同步客戶機(jī)，允許它們重新開始一個新的計算節(jié)點(diǎn)的運(yùn)行.

3 實(shí)驗(yàn)和結(jié)果的討論

本實(shí)驗(yàn)共重復(fù)了10次，表中只顯示10次的平均值.

3.1 網(wǎng)絡(luò)層次的阻塞控制機(jī)制的效果評估

在MPICH環(huán)境中，在使用沒有任何網(wǎng)絡(luò)阻塞控制的實(shí)驗(yàn)情況下，應(yīng)用程序的執(zhí)行時間受到TCP誤估時間間隔的負(fù)面影響，因?yàn)樗|發(fā)了重新傳送協(xié)議并持續(xù)觸發(fā)了慢啟動協(xié)議，這就使得飽和網(wǎng)絡(luò)中的整個執(zhí)行時間被延長.而在執(zhí)行IPR或LBR時，TCP可以自行決定時間間隔，這有助于減少重新傳送的次數(shù)，可以減少慢啟動的發(fā)生.因此，IPR和LBR有兩個相近的效果:一是在多數(shù)應(yīng)用程序中，通過網(wǎng)絡(luò)的消息包的流量可以加速進(jìn)行;二是在所有的情況下，IPR和LBR可以幫助TCP讓應(yīng)用程序達(dá)到更高的吞吐量.實(shí)驗(yàn)的結(jié)果如表1所示.

表1 使用阻塞控制機(jī)制LBR和IPR時的模擬執(zhí)行時間 ms

3.2 阻塞協(xié)議和網(wǎng)絡(luò)速度

一旦端到端節(jié)點(diǎn)與網(wǎng)絡(luò)阻塞控制機(jī)制之間的接口建立起來后，就可以用實(shí)驗(yàn)來評估這些阻塞控制機(jī)制對不同的網(wǎng)絡(luò)速度的影響.我們模擬了網(wǎng)速分別是128 Mb/s和1 280 Mb/s的實(shí)驗(yàn)，結(jié)果如表2所示.

表2 不同網(wǎng)速下的模擬執(zhí)行時間

若無阻塞控制機(jī)制，則提高網(wǎng)速可使TCP平臺性能下降;若網(wǎng)上信息的流量不是很大而網(wǎng)速很快，則TCP可以正確地計算其計時器，并以高吞吐量傳送流量.然而在這個階段，若出現(xiàn)爭奪網(wǎng)絡(luò)資源的情況，則消息包的傳送就會變慢，甚至有些消息包會丟失，但這并不是真正的丟失，僅是從TCP的角度來看，消息到達(dá)得太晚了.延遲到達(dá)的消息會觸發(fā)TCP的流量控制和錯誤恢復(fù)機(jī)制.而這種觸發(fā)機(jī)制會降低網(wǎng)絡(luò)性能.

3.3 模擬速度和精度之間的折中選擇

在連接兩個不同的模擬器時，必須選擇合適的同步機(jī)制，而時間片間隔不僅影響精度，還影響模擬的性能.時間片越長，延遲就越大，導(dǎo)致精度降低.此外，每當(dāng)模擬器進(jìn)行同步時，就會引起延遲.因此，時間片間隔長，啟動模擬器的實(shí)際時間減少，模擬性能就好;時間片間隔越短，模擬性能越差，但可以提高模擬精度.

4 結(jié)語

全系統(tǒng)模擬是一個非常復(fù)雜的工作，若模擬的不是一臺電腦而是網(wǎng)絡(luò)中的多個計算機(jī)時，復(fù)雜性會增加，尤其在模擬的網(wǎng)絡(luò)和接口與傳統(tǒng)的LAN網(wǎng)絡(luò)設(shè)備不同時更加復(fù)雜.

本文對IN進(jìn)行了全系統(tǒng)模擬，該模擬需要很多的部件，有時需要重用模擬環(huán)境.重用機(jī)制可以減少工作量和錯誤的發(fā)生，但是也會帶來一些風(fēng)險，如精度的降低和模擬結(jié)果的無效等.模擬環(huán)境的各個部件之間的同步也需要認(rèn)真設(shè)計，這樣可以找出模擬精度和運(yùn)行時間之間的折中點(diǎn).通過實(shí)驗(yàn)結(jié)果可知，協(xié)議堆棧、MPI的實(shí)現(xiàn)、驅(qū)動程序和同步模型等因素都會影響實(shí)驗(yàn)結(jié)果.

［1］RIDRUEJO Fco Javier，JOSE Miguel-Alonso，JAVIER Navaridas.Full-system simulation of distributed memory multicomputers［J］.Cluster Compute，2009，12(1):309-322.

［2］PFISTER G F.Aspects of the Infini Band(tm)architecture［C］//Third IEEE InternationalConference on ClusterComputing(CLUSTER’01)，2001:369-377.

［3］BINKERT N L Dreslinski.The M5 simulator:modeling networked systems［J］.IEEE Micro，2006，26(4):52-60.

［4］BODEN N J Cohen.A gigabit per second local area network［J］.IEEE Micro，1995，15(1):29-36.

［5］GARCíA P J Quile.Scalable congestion management for interconnection networks［J］.IEEE Micro 2006，26(5):52-66.

［6］IBM.IBM full-system simulator for the cell broadband engine processor［CP/OL］.［2011-12-1］http://alphaworks.ibm.com/tech/cellsystemsim.

［7］SKLAVOS N，KOUFOPAVLOU O.Architectures and VLSI implementations of the AES-Proposal rijndael［J］.WEEE Transactions on Computers，2002，51(12):1 454-1 459.

［8］SMITH T F，WATERMAN M S.Identification of common molecular subsequences［J］.J.Molecular Biology，1981，2(1):195-197.

［9］AMZA C，COX A，DWARKADAS S.Shared memory computing on networks of workstation［J］.IEEE Computer，1996，29(2):18-28.