基于超融合技術(shù)的地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施設(shè)計(jì)與實(shí)現(xiàn)

黃家凱， 趙逸君， 樊旭東， 吳恩政

(湖北省地質(zhì)調(diào)查院，湖北 武漢 430034)

1 地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施建設(shè)的模式

從部署和應(yīng)用模式來(lái)看，地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施可采用公有云、私有云和混合云這3種主要的建設(shè)模式。不同的模式對(duì)一次性投入成本、運(yùn)行維護(hù)成本產(chǎn)生根本性的影響。設(shè)計(jì)地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施方案，首先必須根據(jù)數(shù)據(jù)安全性需求、可擴(kuò)展性、便捷性及投入規(guī)模合理選擇建設(shè)模式。

1.1 基于公有云的建設(shè)模式

公有云主要由第三方云計(jì)算服務(wù)商(如阿里云、騰訊云、華為云、AWS、azure等)提供，湖北省“楚天云”可視為政務(wù)數(shù)字化領(lǐng)域內(nèi)的公有云。公有云按照云主機(jī)的性能、存儲(chǔ)容量、網(wǎng)絡(luò)接入能力、安全資源需求按需使用并付費(fèi)，多數(shù)公有云服務(wù)商還能提供網(wǎng)站備案、安全防護(hù)等增值服務(wù)。成熟的公有云企業(yè)基本屬于IT領(lǐng)域的頭部企業(yè)，在其強(qiáng)大技術(shù)實(shí)力的支持下，公有云具有安全、便捷、共享、可擴(kuò)展等諸多優(yōu)點(diǎn)。與此同時(shí)，公有云用戶也要考慮數(shù)據(jù)產(chǎn)權(quán)、數(shù)據(jù)敏感性，以及極端情況下的數(shù)據(jù)安全性和一致性問(wèn)題，一旦發(fā)生災(zāi)難性故障，數(shù)據(jù)丟失后極難恢復(fù)。

1.2 基于私有云的建設(shè)模式

私有云是由用戶基于開(kāi)源虛擬化及云管理技術(shù)(如KVM、Xen、Openstack等)或采購(gòu)商業(yè)云計(jì)算軟件(如VMware、Nutanix、深信服云平臺(tái)等)，通過(guò)整合服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)資源后搭建的一種云計(jì)算基礎(chǔ)設(shè)施。私有云作為一種完全自主可控的云計(jì)算基礎(chǔ)設(shè)施，兼具安全性、可擴(kuò)展性、維護(hù)便捷性等特點(diǎn)，其缺點(diǎn)是建設(shè)期一次性投入成本較大，運(yùn)行維護(hù)需要投入較大的人力成本，但當(dāng)企業(yè)內(nèi)部有較多上云應(yīng)用時(shí)可有效降低單位成本。

1.3 基于混合云的建設(shè)模式

混合云融合了公有云和私有云，是近年來(lái)云計(jì)算的主要模式和發(fā)展方向。私有云主要是面向企業(yè)用戶，出于安全考慮，企業(yè)更愿意將數(shù)據(jù)存放在私有云中，但同時(shí)又希望可以獲得公有云的計(jì)算資源，在這種情況下混合云被越來(lái)越多地采用，它將公有云和私有云進(jìn)行混合和匹配，以獲得最佳的效果[3]。雖然混合云具有很多優(yōu)點(diǎn)，但因?yàn)槠湓朴?jì)算的落地位置及架構(gòu)各異，通常也會(huì)帶來(lái)數(shù)據(jù)安全、法律法規(guī)和信息安全管理等風(fēng)險(xiǎn)。

1.4 分析對(duì)比與小結(jié)

在分析公有云、私有云及混合云技術(shù)特點(diǎn)的基礎(chǔ)上，對(duì)地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施建設(shè)的數(shù)據(jù)所有權(quán)可控性、可擴(kuò)展性、安全性、便捷性、經(jīng)濟(jì)性作綜合分析，如表1所示。

表1 地質(zhì)大數(shù)據(jù)云計(jì)算基礎(chǔ)設(shè)施建設(shè)模式綜合分析表Table 1 Comprehensive analysis table of geological big data cloud computing infrastructure construction mode selection

2)私有云承載的應(yīng)用越多，其經(jīng)濟(jì)性越好，若上云應(yīng)用較少，經(jīng)濟(jì)性可能不及公有云。

地質(zhì)大數(shù)據(jù)平臺(tái)屬于數(shù)據(jù)密集型信息系統(tǒng)，其主要數(shù)據(jù)(如地質(zhì)圖件、地質(zhì)資料等)具有較高的潛在價(jià)值，同時(shí)部分?jǐn)?shù)據(jù)具有一定的敏感性，因此數(shù)據(jù)所有權(quán)可控性需要優(yōu)先考慮。此外，地質(zhì)大數(shù)據(jù)平臺(tái)上云后需長(zhǎng)期運(yùn)行維護(hù)，其費(fèi)用支出也是重要的考量因素。公有云按量計(jì)費(fèi)，上云應(yīng)用越多，支出總額越高；私有云則是一次性投入，后期使用中上云應(yīng)用越多，每個(gè)應(yīng)用攤薄后的單價(jià)越低。

在后續(xù)可維護(hù)性上，電機(jī)廠運(yùn)行維護(hù)人員對(duì)于機(jī)組的電動(dòng)機(jī)和發(fā)電機(jī)均非常了解。我廠現(xiàn)有機(jī)組電源的電動(dòng)機(jī)/發(fā)電機(jī)均為本廠產(chǎn)品，備件獲得很容易，檢修人員對(duì)裝備也熟悉，相對(duì)維護(hù)比較方便。而靜態(tài)變頻電源采用的核心部件為變頻器，對(duì)于電機(jī)制造工廠技術(shù)人員來(lái)說(shuō)相對(duì)比較陌生，維護(hù)技術(shù)難度較大。實(shí)際運(yùn)行狀況證明一套有著良好的維修保養(yǎng)的機(jī)組電源，使用壽命高達(dá)40～50年，而變頻電源即使有著良好的運(yùn)行維護(hù)，其壽命一般不超過(guò)20年。

綜上所述，當(dāng)前地質(zhì)大數(shù)據(jù)平臺(tái)云計(jì)算基礎(chǔ)設(shè)施應(yīng)優(yōu)先考慮私有云的模式?；旌显谱鳛橐环N公有云與私有云的中間模式，在今后平臺(tái)應(yīng)用范圍擴(kuò)展得非常廣、用戶數(shù)量及應(yīng)用并發(fā)量非常高的情形下，可作為并發(fā)密集型應(yīng)用的部署首選。

2 私有云基礎(chǔ)設(shè)施建設(shè)技術(shù)路線

2.1 關(guān)鍵技術(shù)指標(biāo)

開(kāi)展地質(zhì)大數(shù)據(jù)平臺(tái)私有云基礎(chǔ)設(shè)施建設(shè)，應(yīng)重點(diǎn)關(guān)注4項(xiàng)技術(shù)指標(biāo)[4-5]。

(1) 可擴(kuò)展性。集成電路的發(fā)展遵循“摩爾定律”：集成電路芯片上所集成電路的數(shù)目，每隔18個(gè)月就翻一番，而價(jià)格下降一半。為了有效降低一次性投入成本，避免投入的資源閑置浪費(fèi)，私有云基礎(chǔ)設(shè)施必須具有良好的擴(kuò)展性，從而支持當(dāng)期建成符合核心集群，后期可根據(jù)需要橫向擴(kuò)展。

(2) 通用性。私有云應(yīng)該滿足軟件和硬件解耦的原則，硬件需要支持基于復(fù)雜指令集的通用×86服務(wù)器，也需要能支持ARM架構(gòu)的服務(wù)器。

(3) 安全性。私有云基礎(chǔ)設(shè)施應(yīng)具有冗余容錯(cuò)機(jī)制，包括網(wǎng)絡(luò)、數(shù)據(jù)和應(yīng)用的高可用性(HA)保障，以及支持云內(nèi)的網(wǎng)絡(luò)信息安全防護(hù)。

(4) 便捷性。私有云面向大批信息化建設(shè)的用戶，需要有良好的后臺(tái)管理維護(hù)功能和前端租戶功能。

2.2 基于分離式架構(gòu)的技術(shù)方案

早期的私有云采取分離式架構(gòu)，即計(jì)算、存儲(chǔ)能力通過(guò)不同的設(shè)備或服務(wù)器集群來(lái)提供。按照技術(shù)架構(gòu)的不同，它又分為開(kāi)源和閉源兩類(lèi)。

(1) 開(kāi)源分離式架構(gòu)私有云。OpenStack是當(dāng)下最為流行的開(kāi)源云計(jì)算管理平臺(tái)，具備較強(qiáng)的定制化能力，因此通過(guò)OpenStack對(duì)接KVM、VMware vSphere、XenServer等計(jì)算虛擬化平臺(tái)以及Ceph等開(kāi)源分布式存儲(chǔ)平臺(tái)，在過(guò)去一段時(shí)間曾是個(gè)性化需求較多的大中型企業(yè)客戶構(gòu)建私有云的一種流行方式[6]。由于OpenStack的復(fù)雜性問(wèn)題，近些年在產(chǎn)品化、標(biāo)準(zhǔn)化、商用化等方面開(kāi)始面臨大量痛點(diǎn)，因此開(kāi)源云廠商基于OpenStack進(jìn)行閉源深度自主研發(fā)，從而提高產(chǎn)品的標(biāo)準(zhǔn)化程度，實(shí)現(xiàn)產(chǎn)品無(wú)縫升級(jí)已經(jīng)成為大勢(shì)所趨。

(2) 閉源分離式架構(gòu)私有云。VMware等成熟廠商在商用虛擬化技術(shù)方面一直占據(jù)主導(dǎo)地位，其閉源分離式架構(gòu)私有云主體由VMware vSphere對(duì)接SAN商用存儲(chǔ)設(shè)備構(gòu)建而成，而云管的部分可以選擇VMware vRealize Automation或獨(dú)立的云管理軟件(CMP)，前者僅支持VMware自身產(chǎn)品，后者更加開(kāi)放。閉源私有云的優(yōu)勢(shì)在于其長(zhǎng)期實(shí)踐經(jīng)驗(yàn)和產(chǎn)品迭代帶來(lái)的高度穩(wěn)定性，但由于其核心技術(shù)往往由國(guó)外虛擬化廠商、商用存儲(chǔ)設(shè)備廠商所控制，會(huì)使得企業(yè)面臨自主可控性差、廠商綁定等因素的困擾。此外，商用存儲(chǔ)擴(kuò)展性不足也成為困擾企業(yè)的一大痛點(diǎn)。

總體來(lái)看，無(wú)論是開(kāi)源技術(shù)還是閉源技術(shù)，計(jì)算、存儲(chǔ)分離部署模式由于采用了單獨(dú)的存儲(chǔ)集群，在面向具備龐大數(shù)據(jù)中心資源的超大規(guī)?？蛻魰r(shí)存在三點(diǎn)優(yōu)勢(shì)：①能夠?qū)崿F(xiàn)存儲(chǔ)性能的大規(guī)模獨(dú)立擴(kuò)展，保證以往計(jì)算和存儲(chǔ)分離的IT管理模式的可延續(xù)性;②充分兼容異構(gòu)化的計(jì)算資源，支持裸機(jī)等非虛擬化的計(jì)算平臺(tái);③提供完全獨(dú)立的存儲(chǔ)空間，不至于因?yàn)橛?jì)算工作負(fù)載的提升而使得存儲(chǔ)性能出現(xiàn)瓶頸。但是，分離式私有云架構(gòu)同樣存在兩點(diǎn)劣勢(shì)：①需要采用單獨(dú)的存儲(chǔ)集群，對(duì)數(shù)據(jù)中心規(guī)模一般的中等規(guī)模企業(yè)來(lái)說(shuō)性價(jià)比偏低，如果采用商用存儲(chǔ)設(shè)備，成本就更加高昂;②計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)拓?fù)漭^為復(fù)雜，對(duì)部分缺乏運(yùn)維能力的企業(yè)和分支機(jī)構(gòu)造成大量運(yùn)維管理難題。

2.3 基于超融合的技術(shù)方案

超融合基礎(chǔ)架構(gòu)(Hyper-Converged Infrastructure，簡(jiǎn)稱HCI)是一種以軟件為中心的體系結(jié)構(gòu)，它通過(guò)虛擬化技術(shù)，將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和應(yīng)用高度融合到一套標(biāo)準(zhǔn)設(shè)備單元中，實(shí)現(xiàn)模塊化的無(wú)縫橫向/縱向擴(kuò)展(Scale-out/Scale-up)，形成統(tǒng)一的云化資源池，并通過(guò)統(tǒng)一管理平臺(tái)實(shí)現(xiàn)可視化集中運(yùn)維管理[7]。相比于分離式架構(gòu)的私有云，超融合架構(gòu)的私有云真正實(shí)現(xiàn)了完全的軟件定義、虛擬化和分布式，目前如深信服私有云已支持×86架構(gòu)與ARM架構(gòu)的“雙棧云”。當(dāng)用戶追求私有云的易于管理、高性價(jià)比等特性時(shí)，計(jì)算、存儲(chǔ)融合部署的超融合架構(gòu)成為最合適選擇，目前這種方案已經(jīng)開(kāi)始在中型乃至大型企業(yè)中出現(xiàn)。

與分離式架構(gòu)私有云類(lèi)似，超融合架構(gòu)私有云同樣存在開(kāi)源、商用兩類(lèi)生態(tài)。

(1) 開(kāi)源超融合架構(gòu)私有云?；贠penStack、KVM、Ceph等開(kāi)源產(chǎn)品整合的超融合方案，優(yōu)勢(shì)是可以快速?gòu)纳鐓^(qū)獲得最新的功能，但同時(shí)存在著諸多問(wèn)題，比如OpenStack架構(gòu)復(fù)雜，大量模塊在超融合中并不需要，商用程度差，且計(jì)算資源要求高；基于開(kāi)源的Ceph模塊代碼復(fù)雜，服務(wù)商對(duì)產(chǎn)品核心問(wèn)題無(wú)法有效支持，且計(jì)算資源消耗較高，I/O密集型場(chǎng)景性能也表現(xiàn)欠佳；一般無(wú)法有效支持VMware等商用虛擬化平臺(tái)。

(2) 閉源超融合架構(gòu)私有云。該種模式最典型的廠商案例是VMware的vSphere+vSAN+vCenter超融合架構(gòu)配合vRealize Automation，以及國(guó)內(nèi)超融合廠商深信服、SmartX等云計(jì)算企業(yè)的超融合架構(gòu)產(chǎn)品。這些超融合架構(gòu)可對(duì)接典型的商用多云管理平臺(tái)，實(shí)現(xiàn)計(jì)算存儲(chǔ)的資源池化、分布式化、軟件定義化和自服務(wù)化。超融合架構(gòu)除了包括自有的虛擬機(jī)服務(wù)和分布式塊存儲(chǔ)，還可兼容其他廠商的虛擬機(jī)服務(wù)。

相比于分離式架構(gòu)私有云，超融合架構(gòu)私有云有兩點(diǎn)明顯的優(yōu)勢(shì)：①易于管理,超融合技術(shù)可幫助私有云非常簡(jiǎn)單地完成基礎(chǔ)架構(gòu)的虛擬化，包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的虛擬化，無(wú)須為不同的設(shè)備考慮虛擬化的方案，降低了方案的復(fù)雜性；支持集成VMware vSphere和KVM等主流虛擬化軟件，用戶端幾乎沒(méi)有學(xué)習(xí)成本；②高性價(jià)比，超融合技術(shù)實(shí)現(xiàn)了完全的軟件定義架構(gòu)，支持普通商用服務(wù)器硬件以及使用以太網(wǎng)進(jìn)行傳輸，避免使用價(jià)格高昂的專用硬件，有效降低了私有云中的硬件采購(gòu)成本；超融合技術(shù)的特性是每個(gè)服務(wù)器節(jié)點(diǎn)都能同時(shí)提供計(jì)算與存儲(chǔ)能力，架構(gòu)精簡(jiǎn)，資源占用更低。

2.4 分析對(duì)比與小結(jié)

通過(guò)對(duì)兩種主要私有云的架構(gòu)分析可知，基于超融合的私有云架構(gòu)較好地滿足了可擴(kuò)展性、通用性的要求。同時(shí)，在超融合廠家長(zhǎng)期研發(fā)積累和專業(yè)的技術(shù)支持下，閉源超融合私有云的解決方案能滿足安全性和便捷性的要求，是構(gòu)建局地質(zhì)大數(shù)據(jù)平臺(tái)穩(wěn)定數(shù)字底座的首選。

3 基于超融合技術(shù)的私有云基礎(chǔ)設(shè)施建設(shè)實(shí)踐

按照集約型建設(shè)的原則，湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)平臺(tái)云基礎(chǔ)設(shè)施面向全局提供服務(wù)，需承載大數(shù)據(jù)平臺(tái)及局屬單位各類(lèi)應(yīng)用系統(tǒng)近100臺(tái)云主機(jī)，因此采用私有云的經(jīng)濟(jì)性已超過(guò)其他的類(lèi)型。2018—2020年，湖北省地質(zhì)調(diào)查院依托地質(zhì)大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目，對(duì)業(yè)務(wù)資源的使用情況進(jìn)行了采集與分析，結(jié)合業(yè)務(wù)增長(zhǎng)趨勢(shì)和冗余要求，確定了CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等組件的要求[5]。在充分利用已有機(jī)房環(huán)境、網(wǎng)絡(luò)接入設(shè)施及安全防護(hù)設(shè)施的基礎(chǔ)上，采購(gòu)了相關(guān)計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)交換機(jī)和超融合軟件，建成了湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)私有云。

3.1 軟硬件配置

硬件主要包括：華為×86服務(wù)器云計(jì)算節(jié)點(diǎn)(含存儲(chǔ)盤(pán))、華為數(shù)據(jù)中心交換機(jī)。支撐私有云所需的機(jī)房環(huán)境、網(wǎng)絡(luò)接入帶寬、IP資源、網(wǎng)絡(luò)設(shè)施、安全防護(hù)設(shè)備，統(tǒng)籌利用湖北省地調(diào)院現(xiàn)有設(shè)備資源。

已搭建完成的湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)私有云的軟硬件設(shè)備情況見(jiàn)表2。該地質(zhì)大數(shù)據(jù)私有云部署的超融合軟件包括：云管理平臺(tái)(26CPU)、超融合服務(wù)器虛擬化授權(quán)(26CPU)、超融合網(wǎng)絡(luò)虛擬化授權(quán)(26CPU)、超融合存儲(chǔ)虛擬化授權(quán)(26CPU)。

3.2 網(wǎng)絡(luò)拓?fù)浼芭渲?/h3>

湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)私有云基礎(chǔ)設(shè)施的拓?fù)浣Y(jié)構(gòu)如圖1所示?！?6服務(wù)器節(jié)點(diǎn)、各網(wǎng)絡(luò)平面交換機(jī)以堆疊的方式部署。業(yè)務(wù)網(wǎng)、管理網(wǎng)通過(guò)鏈路聚合提高帶寬，保障高可用性，向上連接到核心交換機(jī)；存儲(chǔ)網(wǎng)采用光纖鏈路聚合，保障I/O性能和讀寫(xiě)速度，同時(shí)保障高可用性。

表2 湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)私有云軟硬件設(shè)備一覽表Table 2 List of private cloud software and hardware equipment for geological big data of Hubei Geological Bureau

在×86服務(wù)器節(jié)點(diǎn)上逐一安裝超融合虛擬化管理平臺(tái)，該平臺(tái)是私有云基礎(chǔ)架構(gòu)的底層支撐環(huán)境，用于創(chuàng)建和運(yùn)行虛擬機(jī)，其本身是一個(gè)基于Linux內(nèi)核的操作系統(tǒng)。之后通過(guò)該管理平臺(tái)，設(shè)置各節(jié)點(diǎn)的網(wǎng)絡(luò)參數(shù)，組建超融合集群，配置存儲(chǔ)資源池并初始化后，即可上線提供私有云服務(wù)。

圖1 湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)私有云基礎(chǔ)設(shè)施拓?fù)浣Y(jié)構(gòu)示意圖Fig.1 Topological structure diagram of geological big data private cloud infrastructure of Hubei Geological Bureau

3.3 應(yīng)用效果分析

2018年7月中旬，湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)平臺(tái)私有云基礎(chǔ)設(shè)施部署完成并上線運(yùn)行?；诔诤霞夹g(shù)，地質(zhì)大數(shù)據(jù)私有云形成了1.29 THz CPU(1070核心)、4.94 TB內(nèi)存、108.84 TB存儲(chǔ)(二副本卷)的資源池，向地質(zhì)大數(shù)據(jù)平臺(tái)業(yè)務(wù)應(yīng)用提供了穩(wěn)定可靠的計(jì)算存儲(chǔ)資源服務(wù)。目前該私有云承載了82個(gè)云主機(jī)，CPU計(jì)算核心占用率約56%、性能使用率約20%，內(nèi)存占用率約28%，存儲(chǔ)使用率約26%，運(yùn)行近2年半未發(fā)生資源服務(wù)故障，較好地保障了地質(zhì)大數(shù)據(jù)平臺(tái)的IT資源需求。

4 結(jié)論

基于超融合技術(shù)的私有云具有高度的可擴(kuò)展性和通用性，同時(shí)可以有效保障網(wǎng)絡(luò)、數(shù)據(jù)和業(yè)務(wù)應(yīng)用的安全性，通過(guò)定制開(kāi)發(fā)或者采用商用產(chǎn)品能實(shí)現(xiàn)良好的兼容性和用戶便利性，是開(kāi)展地質(zhì)大數(shù)據(jù)建設(shè)工作的首選。應(yīng)用過(guò)程中，可根據(jù)當(dāng)期建設(shè)規(guī)模需求構(gòu)建一個(gè)較小的核心集群，今后根據(jù)業(yè)務(wù)規(guī)模的增長(zhǎng)采用“堆疊”的方式橫向擴(kuò)充交換機(jī)等網(wǎng)絡(luò)部件、計(jì)算節(jié)點(diǎn)等服務(wù)器部件，實(shí)現(xiàn)私有云基礎(chǔ)設(shè)施的擴(kuò)容。與此同時(shí)，可充分發(fā)揮超融合“軟件定義”的特性，結(jié)合需要在云內(nèi)部署防火墻、負(fù)載均衡、持續(xù)數(shù)據(jù)保護(hù)等安全防護(hù)組件，為地質(zhì)大數(shù)據(jù)網(wǎng)絡(luò)信息安全保駕護(hù)航。