分布式獨立內(nèi)存簡易高性能計算集群搭建測試與應(yīng)用

◆韓 菲 李 煒

?

分布式獨立內(nèi)存簡易高性能計算集群搭建測試與應(yīng)用

◆韓 菲1李 煒2

（1.聯(lián)想（北京）有限公司 北京 100094；2.聯(lián)想（北京）信息技術(shù)有限公司 北京 100094）

高性能計算技術(shù)對地震勘探的影響非常巨大，高性能計算集群為地震數(shù)據(jù)處理提供了越來越高的硬件保障。本文提出一種基于Linux系統(tǒng)的小型高性能計算集群的構(gòu)建方案，并結(jié)合三維地震數(shù)據(jù)進行疊前偏移計算，對集群浮點運算性能進行分析測試。結(jié)果表明，此架構(gòu)能夠有效解決大規(guī)模并行計算問題，提高計算速度并且降低計算成本。

高性能計算；計算效率；集群搭建

0 引言

隨著計算機的廣泛應(yīng)用和性能的大幅度提高，計算機處理問題的規(guī)模也越來越大。尤其在地震勘探領(lǐng)域中，快速處理大規(guī)模地震數(shù)據(jù)的要求與日俱增[1]。地震勘探方法是目前使用最為廣泛、解決油氣勘探問題最為有效的地球物理方法。該原理是利用人工方法引起地殼震動，再用精密儀器按一定的觀測方式記錄爆炸后地面上各接收點的振動信息，通過分析和處理這些大量數(shù)據(jù)推斷地下的地質(zhì)構(gòu)造。該方法收集到的數(shù)據(jù)都達到TB級別，海洋探測的數(shù)據(jù)量更是以PB級別為單位。高性能計算機若在短時間內(nèi)完成對這種數(shù)據(jù)的分析，需要具有驚人的計算能力[2]。因此，計算機的高性能計算能力在地震勘探領(lǐng)域中的地位舉足輕重，提高計算機的并行處理能力和浮點運算能力勢在必行。目前，單個處理器的計算性能可提升的空間有限。將一組高性能計算機連接起來組成具有并行結(jié)構(gòu)的高性能集群，實現(xiàn)高效并行計算，是滿足科學(xué)和工程計算問題中高性能數(shù)據(jù)處理要求的一種有效途徑。

計算機集群是指多臺同構(gòu)或異構(gòu)的計算機用某種方式連接起來，協(xié)同完成特定的任務(wù)計算機系統(tǒng)。目前計算機集群技術(shù)按照使用目的可分為三類：高可用集群(High Availability Cluster)、負(fù)載均衡集群(Load Balance Cluster)、科學(xué)計算集群(High Performance Computing Cluster)。高可用集群，利用集群管理軟件，當(dāng)主服務(wù)器出現(xiàn)故障時，備份服務(wù)器能夠自動接管主服務(wù)器的工作，并及時切換過去，以實現(xiàn)對用戶的不間斷服務(wù)；負(fù)載均衡集群，負(fù)載壓力根據(jù)某種算法合理分配到集群中的每一臺計算機上，以減輕主服務(wù)器的壓力，降低對主服務(wù)器的硬件和軟件要求[3]?？茖W(xué)計算集群，即充分利用集群中的每一臺計算機的資源，實現(xiàn)復(fù)雜運算的并行處理，通常用于科學(xué)計算領(lǐng)域。集群所用計算機可以是工作站或者普通PC機。針對地震資料處理的高吞吐量、高計算量等特點，本文提出了使用linux PC機構(gòu)建小型高性能計算集群，用來解決大型地震數(shù)據(jù)處理問題的解決方案。

1 基于Linux簡易集群搭建

集群是由一組獨立的計算機系統(tǒng)構(gòu)成的一個松耦合的多處理器系統(tǒng)，通過網(wǎng)絡(luò)技術(shù)將一組工作站或PC機連接起來，計算機之間高度緊密地協(xié)同工作，像一個單獨集成的計算資源運行一組共用的應(yīng)用程序，為用戶和應(yīng)用程序提供類似單機系統(tǒng)的功能。

1.1 集群基本概念

（1）節(jié)點

在高性能計算集群中，主要功能節(jié)點有管理節(jié)點、計算節(jié)點、存儲節(jié)點。集群中的每臺計算機都是集群節(jié)點(node)。管理節(jié)點一般兼具登錄節(jié)點的功能，成為高性能集群的入口，作為集群中心的“核心”領(lǐng)導(dǎo)者，控制其他計算機，管理和監(jiān)控各個節(jié)點的系統(tǒng)狀態(tài)和網(wǎng)絡(luò)狀態(tài)，為其他計算機分配計算任務(wù)，調(diào)度負(fù)載，安裝計算節(jié)點所需軟件，一般稱為集群的主節(jié)點[4]。

計算節(jié)點是整個集群系統(tǒng)的重要組成部分，執(zhí)行并行計算任務(wù)。單個計算節(jié)點CPU主頻越高，內(nèi)存越大，總線帶寬越高，對計算效率的提高越有利。因此在選擇硬件的架構(gòu)方式時，硬件的參數(shù)也考慮到其中。

存儲節(jié)點一般也兼具I/O節(jié)點功能，連接到外部磁盤陣列,形成網(wǎng)絡(luò)存儲，存儲大量地震數(shù)據(jù)。存儲基本模式分有NAS(Network Attached Storage)，SAN(Storage Area Network and SAN Protocols)。NAS被定義為一種專用數(shù)據(jù)存儲服務(wù)器，磁盤陣列，和內(nèi)嵌系統(tǒng)軟件，可提供跨平臺文件共享功能，并且方便配置，有效降低總擁有成本，保護不必要的存儲投資。架構(gòu)方式如圖1。

圖1 NAS網(wǎng)絡(luò)存儲基本架構(gòu)

SAN存儲區(qū)域網(wǎng)絡(luò)，是一種高速網(wǎng)絡(luò)。提供在計算機與存儲系統(tǒng)之間的數(shù)據(jù)傳輸。當(dāng)前常見的可使用SAN技術(shù)，如Lenovo的光纖存儲，或者說是一種更新的光纖信道技術(shù)[5]。SCSI和ISCSI在存儲區(qū)域網(wǎng)絡(luò)中也運用高速以太網(wǎng)協(xié)議，目前是兩種廣泛的存儲區(qū)域網(wǎng)絡(luò)協(xié)議。架構(gòu)方式如圖2，圖2中藍(lán)色線表示存儲使用光纖網(wǎng)絡(luò)技術(shù)連接。

圖2 SAN網(wǎng)絡(luò)存儲基本架構(gòu)

（2）節(jié)點間通信

集群中計算節(jié)點需要通過遠(yuǎn)程通信協(xié)議來完成任務(wù)的接受和執(zhí)行，ssh和rsh是目前最為流行的兩種遠(yuǎn)程通信協(xié)議。本集群建立節(jié)點無密碼ssh訪問實現(xiàn)節(jié)點間通信技術(shù)，為的是讓節(jié)點與節(jié)點之間是更高效的更快速緊密的進行通訊。ssh是secure shell的縮寫，是建立在應(yīng)用層和傳輸層基礎(chǔ)上的安全協(xié)議，起作用是提供安全快捷的遠(yuǎn)程管理服務(wù)[6]。在計算機集群中，每個節(jié)點都需要分擔(dān)一定的任務(wù)，而這些任務(wù)都是有執(zhí)行任務(wù)的主節(jié)點發(fā)起的。集群網(wǎng)絡(luò)中MPICH的通信，其余節(jié)點通過遠(yuǎn)程通信協(xié)議來完成任務(wù)的接收和執(zhí)行。

（3）文件共享

集群系統(tǒng)需要共享各種數(shù)據(jù)文件，并行編程環(huán)境，處理地震數(shù)據(jù)，使用常用軟件和地球物理軟件。選用NFS，將這些文件在同一個路徑下共享，其他所有計算機可以對這些共享文件運行和讀寫。NFS(Network File System)即網(wǎng)絡(luò)文件系統(tǒng)，是一種在網(wǎng)絡(luò)上的機器間共享文件的方法[7]，文件如同客戶的本地磁盤驅(qū)動器上一樣。NFS構(gòu)建一個單一映像系統(tǒng)，如采用NFS將管理節(jié)點的文件系統(tǒng)掛載到本地文件系統(tǒng)中，只需在管理節(jié)點/etc/export文件中加入需要共享的目錄，目錄下安裝一次所需軟件，其他計算機都可共享使用。

（4）并行編程環(huán)境

本集群并行編程環(huán)境采用消息傳遞接口MPI(message passing interface)。不同編程模型對應(yīng)不同的編程環(huán)境。MPI是一個庫，一種規(guī)范，是目前最流行的分布存儲并行編程環(huán)境。MPI已經(jīng)和fortran語言、C語言、C++語言綁定，它有較高的通信性能，很好的可移植性和強大的功能。目前MPICH已經(jīng)發(fā)展到2.0版本，它包括200多個函數(shù)，功能強大。

（5）作業(yè)管理系統(tǒng)

作業(yè)管理系統(tǒng)提供對批量作業(yè)的定義、提交、調(diào)度、執(zhí)行、監(jiān)控機制，有軟件管理機制和系統(tǒng)管理機制。系統(tǒng)管理機制使用Linux操作系統(tǒng)的top、netstat等系統(tǒng)監(jiān)測命令，如地震數(shù)據(jù)處理軟件cgg軟件中的scp模塊功能，它能反映出系統(tǒng)使用狀態(tài)、使用率、I/O等待情況、用戶使用情況。從而更加有效地利用系統(tǒng)資源，平衡網(wǎng)絡(luò)負(fù)載和提高系統(tǒng)整體性能，最終應(yīng)用在大型高性能集群系統(tǒng)上[8]。使系統(tǒng)或用戶提交的作業(yè)以批處理的方式進行地震數(shù)據(jù)的計算處理。

1.2 集群硬件環(huán)境搭建

硬件是整個集群系統(tǒng)的物理基礎(chǔ)，硬件的選擇主要取決于用戶對集群的功能、性能以及價格等因素要求。在開始搭建Linux高性能計算集群之前，先了解一下硬件環(huán)境，硬件與操作系統(tǒng)的關(guān)系也很大。

集群由多臺同構(gòu)或異構(gòu)的計算機通過某種方式連接起來。Message Passing Interface，MPI，消息傳遞接口，可以實現(xiàn)節(jié)點與節(jié)點之間的通信，但會帶來沒有必要的額外資源開銷。分布式內(nèi)存系統(tǒng)會迫使您考慮數(shù)據(jù)分割問題，因為每一個獲取遠(yuǎn)程數(shù)據(jù)的消息都會產(chǎn)生一個嚴(yán)重的延遲。通過增加節(jié)點的方式增加CPU的數(shù)量，分布式內(nèi)存的系統(tǒng)提供了很好的可擴展性。本文搭建的分布式獨立內(nèi)存集群，含一個管理節(jié)點與一組同構(gòu)計算節(jié)點，通過網(wǎng)絡(luò)相連的構(gòu)建集群。每個節(jié)點具有獨立的內(nèi)存，并且互補占用資源。

在該集群方案中，設(shè)置1個管理節(jié)點，6個計算節(jié)點，1個I/O節(jié)點，其中管理節(jié)點和計算節(jié)點及I/O節(jié)點都是同一個性能。使用的是HP 920cn機器，CPU選用Intel 處理器 2.6GHz，內(nèi)存4GB，600GB硬盤空間。I/O節(jié)點連接一個NAS盤陣，一套千兆交換機，因為只有一塊網(wǎng)卡，所以直接從訪問層到計算層，如圖3所示。

1.3 集群軟件系統(tǒng)配置

（1）操作系統(tǒng)的選擇

常見的操作系統(tǒng)有Windows、Linux、Unix以及Mac OS。Linux系統(tǒng)是由全世界各地成千上萬的程序員設(shè)計和實現(xiàn)的，其目的是建立不受任何商業(yè)化軟件的版權(quán)制約的操作系統(tǒng)，全世界都能自由使用UNIX兼容產(chǎn)品。在性能上與商業(yè)產(chǎn)品相比毫不遜色，且價格低廉，源碼開放。Linux的版本目前有RedHat linux、Debian linux、Suse linux等，很多地球物理軟件在Linux環(huán)境下開發(fā)和運行。同時，Linux操作系統(tǒng)集群具有擴展性，高可用性，非常適用于程序開發(fā)與批量處理，并且對不同的硬件架構(gòu)具有很好的兼容性，無論是同構(gòu)還是異構(gòu)系統(tǒng)都可以用來構(gòu)造集群。本集群選用Linux操作系統(tǒng)(Redhat Enterprise 5.4 X86_64 64)，

圖3 計算機集群系統(tǒng)結(jié)構(gòu)圖

（2）系統(tǒng)服務(wù)的構(gòu)建

在構(gòu)建服務(wù)上本文采用較為原始簡易的方法來構(gòu)建：

帳戶構(gòu)建：將所有節(jié)點的帳戶共享，將/etc目錄下的passwd、group、shadow都與主節(jié)點同步，將home目錄在主節(jié)點上掛載，從主節(jié)點收集所有計算節(jié)點的公鑰。

網(wǎng)絡(luò)傳輸：將ssh、rsh、dsh等做好無密碼之間傳輸服務(wù)，如/etc下的hosts、hosts.deny等文件。

文件共享：NFS (network file system) 配置從/etc目錄的export文件共享。設(shè)置的時候注意格式以及權(quán)限設(shè)置，都可以在export文件里寫清楚。

文件掛載：這個過程關(guān)鍵重要(file system mount)，可以將其寫入到開啟自動啟動，否則每次開機啟動的時候會非常繁瑣。

Yum配置：在Linux操作系統(tǒng)上，如果需要安裝軟件，就需要解決系統(tǒng)和軟件之間的軟件包的依賴關(guān)系，yum是Linux系統(tǒng)里面的一個快速安裝的管理命令。功能強大，效率高，系統(tǒng)缺少安裝包一步到位。

防火墻配置：防火墻關(guān)系到主機與訪問端的連接問題，以及數(shù)據(jù)遠(yuǎn)程拷貝問題。本文中最終涉及到的技術(shù)問題的一部分系統(tǒng)配置也將是在這里。

2 簡易集群性能測試及其應(yīng)用

2.1 MPI軟件的安裝及應(yīng)用

MPI是一種消息傳遞編程模型，并成為這種編程模型的代表。事實上，標(biāo)準(zhǔn)版MPI雖然很龐大，但是它的最終目的是服務(wù)于進程間通信這一目的。MPI適用于Windows、Linux等不同操作系統(tǒng)，同時也適用于工作站、服務(wù)器、PC機。

（1）并行軟件安裝：

軟件安裝版本：mpich2-1.2.1p1.tar.gz

軟件安裝路徑：/opt/mpi

解壓軟件路徑：

tar zxvf mpich2-1.2.1p1.tar.gz –C/opt (壓縮包解壓到/opt)

cd /opt/mpich2-1.2.1p1 (進入壓縮包)

./config --prefix=/opt/mpi (設(shè)置安裝路徑：/opt/mpi)

make

make install

(2)設(shè)置mpi環(huán)境變量：

環(huán)境變量以csh為例：setenv PATH /opt/mpi/bin:$PATH (添加到.cshrc)

環(huán)境變量以bash為例：PATH=/opt/mpi/bin:$PATH (添加到.bashrc)

(3)測試命令

which mpd

which mpiexec

which mpirun

(4)添加.mpd.conf

添加完成后用vi 編輯器打開加入內(nèi)容：secretword=

修改.mpd.conf權(quán)限 chmod 600 .mpd.conf

2.2 簡易集群MPI并行環(huán)境測試

（1）MPI測試

簡易集群并行MPI程序在linuxhp01-linuxhp07都已經(jīng)安裝。管理節(jié)點確定為linuxhp02，所有的軟件配置文件都在該主機上。

進行測試機器有：linuxhp02 用戶：user01 和linuxhp01 用戶：user01

在程序目錄下創(chuàng)建mpd.hosts文件。啟動mpd & (在linuxhp01與linuxhp02分別啟動)；啟動后在任意機器上執(zhí)行：mpdboot –n 2 (參數(shù)n,與參數(shù)2表示用2臺主機)。如圖4所示：仔細(xì)觀察這臺機器是linuxhp02 啟動mpd & 后使用pseaf | grep mpd 可以查看到進程ID 30147 mpd啟動成功。從linuxhp02節(jié)點登陸到linuxhp01節(jié)點。

圖4 mpd加節(jié)點進程啟動

在linuxhp01下執(zhí)行ps –eaf | grep mpd 可以看到linuxhp02的進程ID36435 在linuxhp01下啟動成功，如圖5所示。

圖5 所示linuxhp01進程ID36435

（2）程序測試

在程序目錄里面建立：mpd.hosts文件，啟用的兩個節(jié)點主機名寫入：

linuxhp01

linuxhp02

啟動mpd后,執(zhí)行mpdbootn 2 執(zhí)行完后主機不會給我們?nèi)魏翁崾?，但我們可以查到它的進程。

運行程序：mpirunnp 2 ./3D_QMIG_NEW 運行狀態(tài)如圖9所示，兩臺主機正在運算，如圖6所示。

圖6 MPI作業(yè)執(zhí)行和運行

用Linux操作系統(tǒng)的top命令查看兩臺主機消耗的CPU狀態(tài)、內(nèi)存狀態(tài)及其他系統(tǒng)資源狀態(tài)，如圖7所示。

圖7 主機狀態(tài)

(a) linuxhp01主機狀態(tài)；(b)linuxhp02主機狀態(tài)

（3）測試結(jié)果

在整個測試的過程中系統(tǒng)運行狀態(tài)良好，目前運行的是三維地震數(shù)據(jù)疊前偏移算法，并行效率與集群的軟硬件搭建情況和并行算法的設(shè)計都有很大關(guān)系。如圖8所示，使用四個節(jié)點計算圓周率得出來的結(jié)果。使用1個節(jié)點的計算時間約21s，使用6個節(jié)點并行計算，約為4.6s。節(jié)點數(shù)越多，并行效率越高，計算時間越短，大大的提高了計算的速度和提高效率。

圖8 測試圓周率所有時間與節(jié)點個數(shù)之間的關(guān)系

3 總結(jié)與展望

本文通過搭建小型計算機集群來展示高性能計算集群的搭建方法和過程，高性能計算不僅能夠節(jié)省計算時間，提高計算精度，而且能夠解決超大規(guī)模并行計算問題，目前使用簡易型小集群在處理工作量小的數(shù)據(jù)很有幫助，處理較大量級的地震數(shù)據(jù)量表現(xiàn)為較為吃力。目前商業(yè)化的高性能計算集群技術(shù)非常成熟，硬件如LENOVO FlexSystem刀片節(jié)點、NextScale高密度節(jié)點。本文未來向商業(yè)化集群技術(shù)學(xué)習(xí)、模仿與實踐，將計算資源最大化利用。

[1]李根國，桂亞東，劉欣. 淺談高性能計算的地位及應(yīng)用[J].計算機應(yīng)用與軟件，2006.

[2]姚益平，劉剛.面向大規(guī)模體系仿真的高性能仿真計算機系統(tǒng)[J].系統(tǒng)仿真學(xué)報，2011.

[3]黃訸，易曉東，李妍妍等.面向高性能計算機的海量數(shù)據(jù)處理平臺實現(xiàn)與評測[J].計算機研究與發(fā)展，2012.

[4]孫立華，胡牧，孟慶強等.配網(wǎng)線損大數(shù)據(jù)高性能計算解決方案[J].計算機與現(xiàn)代化，2016.

[5]陳新宇，劉倩，張寶花等.基于高性能計算環(huán)境的科學(xué)計算應(yīng)用平臺設(shè)計與實現(xiàn)[J].科研信息化技術(shù)與應(yīng)用，2016.

[6]張軼凡，盧正興，王芙蓉.Linux下高性能網(wǎng)絡(luò)I/O解決方案分析[J].現(xiàn)代計算機，2006.

[7]顧夢非，徐煒民.一個基于Linux的集群部署方案[J].計算機應(yīng)用與軟件，2008.

[8]徐成俊，馮婕，李繼宏等.一種高性能計算網(wǎng)絡(luò)安全解決方案[J].福建電腦，2008.