高性能計算集群云化部署

張琦

[摘? ? 要] 隨著云計算與虛擬化技術的不斷發(fā)展，虛擬化層對資源的耗用越來越低，而云化資源池對各種軟硬件資源利用率的提升優(yōu)勢越來越明顯。在云計算環(huán)境下進行高性能計算已成為可能。文章重點介紹如何在集群系統(tǒng)快速搭建高性能計算私有云環(huán)境。

[關鍵詞] 高性能計算;云計算;虛擬化;集群系統(tǒng);地震資料處理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 03. 058

[中圖分類號] TP311? ? [文獻標識碼]? A? ? ? [文章編號]? 1673 - 0194（2019）03- 0144- 03

1? ? ? 引? ? 言

多年來，地震資料處理在高性能計算領域一直是典型應用之一，生產(chǎn)應用過程中的不同時期，對各種地震處理軟件的使用需求量不同，經(jīng)常需要在高性能計算集群系統(tǒng)的節(jié)點上對不同軟件進行切換。然而由于幾大軟件寡頭壟斷廠商的豎井式全系列開發(fā)模式，導致不同地震處理高性能計算軟件對操作系統(tǒng)版本及軟件運行環(huán)境要求各異，難以在一臺高性能計算節(jié)點同時安裝多套不同廠商的地震處理軟件，這就需要通過以重新安裝操作系統(tǒng)和處理軟件的方式進行軟件切換。由于高性能計算系統(tǒng)節(jié)點眾多，這個過程如果人工操作，必然耗時巨大。而云計算技術恰恰提供了將集群系統(tǒng)資源池化，并根據(jù)應用需求進行動態(tài)調(diào)整部署的方法。隨著近些年云計算與虛擬化技術的不斷發(fā)展，虛擬化層對資源的耗用越來越低，而云化資源池對各種軟硬件資源利用率的提升優(yōu)勢越來越明顯，在云計算環(huán)境下進行高性能計算已成為可能。

2? ? ? 高性能計算集群云化部署的三層架構

高性能計算集群云化部署的層次有三個，最下面的是虛擬化平臺層，可以部署CentOS、ESXi等。中間層是云服務層，可以使用Opennebula、OpenStack等。最上層是虛擬機層，可以部署KVM、Vmware等。

3? ? ? 高性能計算集群云化部署方式

整個高性能計算集群云化部署以DHCP+TFTP+PXE+Kickstart方式為主，中間配置使用開源易用的Ansible軟件，也可以使用更簡便的pdsh并發(fā)軟件。虛擬化平臺層使用CentOS（部署ESXi方法與CentOS相同）。中間層因為私有云環(huán)境虛擬機數(shù)量在2 000臺以下，所以選用輕量級的開源云服務軟件Opennebula。虛擬機層使用的是開源的KVM虛擬機，虛擬機操作系統(tǒng)使用的是RHEL，安裝的軟件是斯倫貝謝公司的Omega地震處理系統(tǒng)。

3.1? ?虛擬化平臺層部署

3.1.1? ?管理服務器配置

管理服務器選用CentOS或RHEL操作系統(tǒng)均可，管理服務器需要配置DHCP、TFTP、FTP服務（FTP服務可以使用NFS、HTTP服務替代）。具體配置方法十分簡單，可參照相關官方文檔，下面主要介紹注意事項。

3.1.2? ?虛擬化平臺層自動部署

通過使用pdsh并發(fā)軟件對集群節(jié)點發(fā)送IPMI重新啟動命令，重啟各個節(jié)點，節(jié)點就開始按照ks.cfg中的配置開始自動安裝操作系統(tǒng)及額外安裝的軟件了。

3.2? ?云服務層部署

云服務層管理服務器及客戶端節(jié)點選用CentOS或RHEL操作系統(tǒng)均可，安裝Opennebula軟件使用yum方式即可，具體安裝方法十分簡單，可參照相關官方文檔。常見錯誤是管理服務器和客戶端節(jié)點的ssh、scp需要口令或確認信息。客戶端配置可以寫成腳本，放在虛擬化平臺層自動部署中的ks.cfg文件中，這樣當節(jié)點操作系統(tǒng)安裝好后客戶端就自動配置完畢了。

管理服務器配置界面有中文Web界面，根據(jù)界面提示操作十分簡單。首先創(chuàng)建集群、主機，將自動部署好的虛擬化平臺層節(jié)點加入集群即可。然后創(chuàng)建網(wǎng)絡，規(guī)劃虛擬機層的網(wǎng)址范圍，包括MAC地址和IP地址。之后就可以制作裸機鏡像，鏡像可以采用qcow2格式（一種較省空間的可壓縮格式）。鏡像注冊好后，就可以根據(jù)需求的配置制作虛擬機模板。

3.3? ?虛擬機層部署

虛擬機層采用KVM虛擬機，部署方式同虛擬化平臺層部署方式一樣，可以直接使用虛擬化平臺層部署使用的管理服務器，只需修改相應配置即可。利用Opennebula管理界面將制作好的虛擬機模板，根據(jù)所需求的數(shù)量在集群中創(chuàng)建實例即可，虛擬機在啟動后就可以根據(jù)ks.cfg配置，自動安裝操作系統(tǒng)及額外安裝的軟件了。

4? ? ? 總? ? 結

高性能計算集群從裸機到提供虛擬化高性能計算應用的整個三層云化部署過程，用時在一小時左右。通過云化資源池，對整個集群系統(tǒng)軟硬件資源利用率具有非常大的提升作用，尤其是對于CPU核數(shù)的虛擬化，可以節(jié)約某些軟件的許可耗用。在未來隨著技術發(fā)展，虛擬化層對資源的耗用必將進一步降低，這就使得高性能計算集群云化部署方法有了更大的推廣應用前景。

主要參考文獻

[1]孟相武，程勁，羅克露，等.基于Linux的高可用集群系統(tǒng)的設計及實現(xiàn)[J].電子科技大學學報，2005（4）.

[2]李林昊.大規(guī)模Linux集群部署系統(tǒng)的研究及實現(xiàn)[D].焦作：河南理工大學，2009.

[3]許兆新，周長林.Linux集群節(jié)點自動化部署方法與實現(xiàn)[J].應用科技，2009（10）.

[4]么羅野.大規(guī)?？焖俨渴餖inux的實現(xiàn)方法[J].計算機與現(xiàn)代化，2011（5）.

[5]顧夢非，徐煒民.一個基于Linux的集群部署方案[J].計算機應用與軟件，2008（1）.