南京大學(xué)大型高性能計算集群平臺建設(shè)研究

游偉倩 盛樂標(biāo) 張予倩

摘 要：2016年，南京大學(xué)高性能計算中心新建了一套大規(guī)模高性能計算集群系統(tǒng)。本文詳細(xì)闡述了該套大型高性能計算集群系統(tǒng)的搭建過程。該套集群的各項存儲以及Linpack測試結(jié)果，皆表明南京大學(xué)高性能集群系統(tǒng)的優(yōu)良性能。

關(guān)鍵詞：高性能計算 集群建設(shè) Linpack測試 系統(tǒng)測試

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2018）02（a）-0126-02

高性能計算（High Performance Computing， HPC）主要致力于開發(fā)超級計算機(jī)，提高并行計算效率。高性能計算集群主要用于處理復(fù)雜的科學(xué)計算問題。近些年，高性能計算發(fā)展非常迅速[1-6]，高性能計算涉及的領(lǐng)域越來越寬廣，由此各地的高性能計算機(jī)群也應(yīng)運(yùn)而生[7-10]。南京大學(xué)高性能計算中心[11]自2010年成立以來，先后搭建兩套高性能計算機(jī)群。第一套IBM刀片集群于2009年建成，集群總的計算節(jié)點(diǎn)有402個，總計3216個核。由于這套設(shè)備不足以滿足校內(nèi)科研用戶的計算需求。

1 Flex集群硬件配置

由南京大學(xué)Flex集群系統(tǒng)拓?fù)鋱D見圖1，該系統(tǒng)包含：

（1）管理節(jié)點(diǎn)配置：1臺管理節(jié)點(diǎn)，負(fù)責(zé)系統(tǒng)的軟硬件管理和系統(tǒng)部署，所配的型號為x3650 M5。

（2）作業(yè)調(diào)度節(jié)點(diǎn)配置：三臺x3650 M5的作業(yè)調(diào)度節(jié)點(diǎn)，作業(yè)調(diào)度節(jié)點(diǎn)運(yùn)行Platform LSF作業(yè)調(diào)度系統(tǒng)，其中一個節(jié)點(diǎn)運(yùn)行Platform LSF的主調(diào)度程序，另外兩個節(jié)點(diǎn)運(yùn)行LSF從調(diào)度進(jìn)程，三個節(jié)點(diǎn)組合保證了調(diào)度系統(tǒng)的高可用。

（3）登陸節(jié)點(diǎn)配置：4個聯(lián)想Flex x240 M5登錄節(jié)點(diǎn)，負(fù)責(zé)所有用戶登錄集群，進(jìn)行源文件的編輯、編譯以及提交作業(yè)使用。

（4）計算節(jié)點(diǎn)配置：總計910臺Lenovo System Flex X240 M5刀片節(jié)點(diǎn)，共21840個CPU核，總CPU計算能力達(dá)873Tflops?？梢詽M足大規(guī)?？茖W(xué)計算需求。

（5）其他硬件配置：KVM系統(tǒng)，本系統(tǒng)通過一套LCM8 KVM系統(tǒng)作為系統(tǒng)安裝調(diào)試的顯示。因?yàn)樗泄?jié)點(diǎn)IMM管理接口都接入到硬件管理網(wǎng)絡(luò)，所有刀片節(jié)點(diǎn)和機(jī)架節(jié)點(diǎn)通過IP管理和訪問。顯示系統(tǒng)，本系統(tǒng)配置1臺筆記本電腦，作為系統(tǒng)管理的顯示端。還配置大屏幕顯示器2臺，型號為于Sony KDL-75W850C，壁掛安裝。機(jī)柜，本系統(tǒng)配置滿足系統(tǒng)使用的42U機(jī)柜和相對應(yīng)的PDU模塊及相關(guān)線纜。

2 Flex集群軟件配置

本中心接入校園萬兆光纖至交換機(jī)，2條萬兆線路接入登錄刀片中心交換機(jī)。通過登錄節(jié)點(diǎn)登錄集群，集群軟件配置如下。

（1）操作系統(tǒng)：本系統(tǒng)操作系統(tǒng)為Red Hat V6.7 。

（2）并行文件系統(tǒng)：本系統(tǒng)配置的并行文件系統(tǒng)為GPFS，GPFS是一種專門為群集環(huán)境設(shè)計的高性能、可擴(kuò)展的并行文件系統(tǒng)。GPFS可以在群集中的多個節(jié)點(diǎn)間實(shí)現(xiàn)快速存取，為HPC系統(tǒng)在多節(jié)點(diǎn)實(shí)現(xiàn)單一的文件名空間和文件系統(tǒng)之間實(shí)現(xiàn)性能擴(kuò)展和故障恢復(fù)。

（3）作業(yè)管理系統(tǒng)：IBM Spectrum LSF作業(yè)調(diào)度軟件10.1.0.0。采用LSF作業(yè)調(diào)度系統(tǒng)進(jìn)行調(diào)度管理，可以合理分布資源，除了一般的作業(yè)管理特性外，它還在負(fù)載平衡、系統(tǒng)容錯、系統(tǒng)監(jiān)視等方面發(fā)揮重要的作用。

（4）編譯軟件：目前Flex集群系統(tǒng)上已經(jīng)安裝的編譯軟件有Intel C version 17.0.1.132、Intel Fortran version 17.0.1.132、gcc version 4.4.7、gcc version 4.9.4、gcc version 5.4.0、openmpi version 1.10.1、openmpi version 2.0.1（intel編譯器編譯）。

（5）IBM Spectrum LSF RTM系統(tǒng)，該系統(tǒng)是面向IBM Spectrum LSF的一個管理系統(tǒng)，可以全面監(jiān)控、報告和管理工作負(fù)載。

（6）LICO集群管理監(jiān)控軟件：可以利LICO 監(jiān)控界面查看整個集群的狀態(tài)顯示。

（7）LDAP用戶管理軟件：可以通過ldap admin圖形化工具及openldap命令兩種方式進(jìn)行管理。

3 Flex集群性能測試結(jié)果

3.1 ESS存儲iozone性能測試

iozone是一個文件系統(tǒng)的benchmark工具，可以測試不同的操作系統(tǒng)中文件系統(tǒng)的讀寫性能。Flex集群ESS存儲聚合帶寬性能測試結(jié)果如表1：單位：（GB/s）

3.2 SSD存儲iozone性能測試

同SSD性能測試一樣，ssd存儲存儲聚合帶寬性能測試結(jié)果如表2，15臺IO server測試結(jié)果如下：單位：（GB/s）

3.3 Flex集群系統(tǒng)Linpack測試報告

硬件環(huán)境：計算節(jié)點(diǎn)，共有910臺IBM Flex System x240服務(wù)器，每臺服務(wù)器配置兩路E5 2680v3 2.5GHz 12核處理器，128GB內(nèi)存，使用FDR Infiniband互連。測試時采用899臺節(jié)點(diǎn)測試結(jié)果最優(yōu)。

軟件環(huán)境：Intel Parallel Studio 2017。

測試結(jié)果：集群理論浮點(diǎn)計算峰值為

2.5×16×24×899=863040GFlops。

實(shí)測結(jié)果：687147GFlops。

效率：687147/863040*100%=79.62%。

由上述測試結(jié)果可見：ESS存儲系統(tǒng)IO讀寫速度大于等于18GB/s，SSD并行存儲IO讀寫速度大于等于80GB/s，Linpack測試結(jié)果為79.62%。眾所周知，由于在超大規(guī)模集群系統(tǒng)中，存儲的IO性能是整個計算系統(tǒng)的最大瓶頸， 而我們這兩套存儲系統(tǒng)不論在存儲容量上和IO讀寫帶寬上都達(dá)到了很高的標(biāo)準(zhǔn)，為整個系統(tǒng)安全、可靠、高效的運(yùn)行提供了強(qiáng)有力的保障。

4 結(jié)語

南京大學(xué)高性能計算中心一直走在高校高性能計算的前沿，本文以“中心”新建的Flex集群系統(tǒng)為對象，詳細(xì)闡述了整個系統(tǒng)的構(gòu)架以及各個硬件系統(tǒng)配置。最后給出該套系統(tǒng)的測試結(jié)果，這些測試指標(biāo)證明該套系統(tǒng)的性能優(yōu)越性。Flex集群系統(tǒng)共計包括兩萬多個核數(shù)，目前規(guī)模在國內(nèi)高校位列第一，由于其規(guī)模巨大且性能高，勢必將為南京大學(xué)乃至全國的從事高性能計算的科研人員或企事業(yè)單位作出更好的計算服務(wù)，也為國內(nèi)的高性能計算發(fā)展起到一個良好的帶頭作用。

參考文獻(xiàn)

[1] 黃建忠，張滬寅，程媛.開放式高性能計算平臺的建設(shè)與研究[J].計算機(jī)教育，2012（22）：55-59.

[2] 遲學(xué)斌，趙毅.高性能計算技術(shù)及其應(yīng)用[J].學(xué)科發(fā)展，2007，22（4）：306-313.

[3] 周興銘.高性能計算技術(shù)發(fā)展[J].自然雜志，2011，33（5）：249-254.

[4] 李紅梅.Linux高性能計算集群的設(shè)計與實(shí)現(xiàn)[J].計算機(jī)工程應(yīng)用技術(shù)，2008（14）：971-973.

[5] 李波，曹福毅，王祥鳳.高性能計算機(jī)技術(shù)發(fā)展概述[J].沈陽工程學(xué)院學(xué)報，2012，8（3）：252-254.