云數(shù)據(jù)中心超融合架構技術及測試評估方法研究

賴培源 吳家隱

【摘要】隨著云計算服務規(guī)?；瘧?，云端的處理能力和靈活性有了革命性的提升，而5G網(wǎng)絡的應用推廣也大幅提升了“最后一公里”的整體性能，如何進一步發(fā)揮新ICT基礎設施帶來的效應，以“云邊協(xié)同”為代表的云、管、端融合技術受到了行業(yè)的熱切關注。超融合架構（HCI，Hyper-converged Infrastructure）將計算、存儲、網(wǎng)絡及軟件服務融合為一體，在邊緣計算節(jié)點、私有云、彈性部署的云數(shù)據(jù)中心等領域成為新的研究和應用熱點，本文從超融合架構的技術特征出發(fā)，構建了超融合產(chǎn)品性能評估方案，通過實際測試數(shù)據(jù)分析，為超融合架構在核心應用場景的選型實施和技術研究，提供了具有實際指導意義的評估模型，從而為IT系統(tǒng)設計及優(yōu)化提供技術選型參考。

【關鍵詞】 ?超融合架構;新基建;邊緣計算;性能評估;

【作者簡介】賴培源：碩士，現(xiàn)任職于廣東省華南技術轉移中心有限公司，研究方向：測控技術、云計算、SDN/NFV、服務器、車聯(lián)網(wǎng)、成果轉化;吳家隱：工程師，碩士，現(xiàn)任職于廣東郵電職業(yè)技術學院，研究方向：云計算、物聯(lián)網(wǎng)及光電技術。

【基金項目】廣東省科技計劃項目“華南技術轉移中心建設（第二期）項目”（2018B040401001）;2018廣東省普通高校青年創(chuàng)新人才類項目（項目編號：2018GkQNCX140）;2020年廣東郵電職業(yè)技術學院科研項目（項目編號：201938）

中圖分類號：TN92 ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? 文章編號：1673-0348（2020）014-040-04

Abstract： With the large-scale application of cloud computing services， the processing capacity and flexibility of the cloud have been revolutionized， and the application and promotion of 5G network has greatly improved the overall performance of the "last mile". How to further exert the effect brought by the new ICT infrastructure， the cloud， management and end convergence technology represented by "cloud edge collaboration" has attracted the industry's keen attention. Hyper-converged Infrastructure （HCI） integrates computing， storage， network and software services， and has become a new research and application hotspot in the fields of edge computing nodes， private clouds， flexibly deployed cloud data centers， etc. Based on the technical characteristics of hyper-converged architecture， this paper constructs a hyper-converged product performance evaluation scheme， IT provides an evaluation model with practical guiding significance for the selection and implementation of hyper-converged architecture in core application scenarios and technical research， thus providing technical selection reference for IT system design and optimization.

Keywords： Hyper-converged architecture; New infrastructure; Edge calculation; Performance evaluation;

1. 引言

以“新基建”為代表的新時代已經(jīng)來臨，列入構架戰(zhàn)略的新ICT技術集群作為數(shù)字化轉型的賦能、賦智抓手，具有超強的產(chǎn)業(yè)穿透力，推動著新一代信息通信基礎設施的廣泛應用。超融合架構技術是將計算、存儲、網(wǎng)絡及基礎軟件進行有效集成，以“軟件定義”為主要特征，構建一個“五臟俱全”的ICT基礎設施的基本單元。超融合系統(tǒng)是一種新興的集成系統(tǒng)，其本身將核心存儲、計算和存儲網(wǎng)絡功能整合到單一的軟件解決方案或設備中。根據(jù)IDC及其調(diào)查結果顯示，超融合架構會帶來三個主要好處：第一個是降低資本支出;第二個是顯著提高IT生產(chǎn)力;第三個是優(yōu)化長期運營成本。

傳統(tǒng)的數(shù)據(jù)中心架構，通常以業(yè)務為出發(fā)點，分別采購相應的計算服務器、存儲設備、網(wǎng)絡設備、安全設備和軟件系統(tǒng)，由集成服務提供商進行現(xiàn)場集成實施，具有相對獨立、簡單方便等特點。但傳統(tǒng)數(shù)據(jù)中心的架構也面臨建設周期長、使用不靈活、運營維護復雜等問題，且由于IT、網(wǎng)絡設備等兼容問題，在具體的集成實施中也經(jīng)常導致項目進度嚴重延期交付，影響業(yè)務發(fā)展的情況。隨著云數(shù)據(jù)中心的建設，通過虛擬化軟件實現(xiàn)了計算資源的池化，以軟件定義存儲、服務器存儲（Server SAN）為代表的存儲技術逐步探索存儲資源池化共享;軟件定義網(wǎng)絡（SDN，Software Defined Network）和網(wǎng)絡虛擬化（NFV，Network Functions Virtualization）也在致力于提升網(wǎng)絡基礎設施的靈活性和池化共享。類似的，數(shù)據(jù)中心安全領域也有池化共享、虛擬化的研究探索和實踐，也一定程度上解決了傳統(tǒng)IT架構的各種問題。

然而，按照業(yè)務需要實現(xiàn)資源的動態(tài)、快速擴容需求，在實際運營中日漸突出。按照云數(shù)據(jù)中心的建設模式，如果一次性部署很大的資源池，則容易導致資源的浪費，從機房空間、制冷成本，到設備的壽命、維保等，仍占據(jù)了很大的一部分運營成本。而每次業(yè)務需求的擴容，往往還是需要分別擴容計算、存儲、網(wǎng)絡、安全等資源，從“需要什么補什么”的運營設想，到實際應用中的“補東墻缺西墻”的現(xiàn)象，引發(fā)了業(yè)界對“基礎資源單元”的建設和技術研究。

超融合架構自2015年在國內(nèi)外開始啟動各類研究和實踐，目前主要有兩大類，一類是以Vmware的Vsphere、浪潮inMerge1000超融合一體機等為代表的綜合解決方案，包括計算、存儲、網(wǎng)絡、安全的超融合架構。另一類是以Nutanix、聯(lián)想AIO超融合軟件等為代表的存儲融合解決方案，將傳統(tǒng)的Server SAN分布式存儲架構在通用的x86服務器上實現(xiàn)，主要滿足存儲資源的超融合。

超融合架構是未來云計算基礎設施部署的主要趨勢，包括公有云，尤其是有GPU、FPGA、虛擬化軟件環(huán)境等特殊軟硬件需求的業(yè)務場景，以及私有云、邊緣計算節(jié)點等。作為一個新興的架構級技術，涉及多行業(yè)、多專業(yè)，在實際應用選型中，需進一步掌握架構的具體適用場景和性能，理清存在的問題和性能、架構等瓶頸，因此，本文在對超融合技術的分析基礎上，提出一種測試評估方法，給出相關的應用建議。

2. 技術架構

超融合架構是為了實現(xiàn)某種特定的系統(tǒng)目標，將相關的技術、功能組件進行有機繼承組合，能夠建立良好產(chǎn)業(yè)生態(tài)的一種開放式解決方案，其核心理念是指在同一套硬件設備系統(tǒng)中不僅具備計算、存儲、網(wǎng)絡、安全、虛擬化軟件等資源和技術，還包括備份、快照等功能，且通過將多套單元設備基于網(wǎng)絡聚合，能實現(xiàn)模塊化的橫向擴展特性。相對于傳統(tǒng)的融合架構，超融合架構更加突出功能組件之間的解耦性和架構的開放性，以及具有良好的產(chǎn)業(yè)生態(tài)，其融合包括但不限于不同架構芯片設備的融合、不同功能組件的融合、不同軟件系統(tǒng)和硬件管理接口的融合。相對于傳統(tǒng)的一體機，超融合架構更加強調(diào)開放性和兼容性。

云數(shù)據(jù)中心超融合架構通常是融合計算、存儲、網(wǎng)絡、安全及虛擬化軟件、管理系統(tǒng)，基于軟件定義數(shù)據(jù)中心理念，采用軟件定義一切的方式，實現(xiàn)IT基礎設施資源的彈性靈活供給;建設在通用的服務器和交換機網(wǎng)絡設備上，可實現(xiàn)跨資源池之間的資源分配，系統(tǒng)架構如圖1所示。

2.1 計算資源池

云數(shù)據(jù)中心超融合架構中的計算資源池，主要是指將部分通用服務器，通過高速網(wǎng)絡連接和虛擬化軟件，構建成為服務器虛擬化集群，通過將服務器的資源進行虛擬化，對外提供以虛擬機、容器為主要形態(tài)的計算資源。計算資源池是整個超融合架構中的核心組件，基于服務器虛擬化軟件，實現(xiàn)對物理資源的抽象，將服務器CPU、內(nèi)存、硬盤等資源轉化為可統(tǒng)一管理的虛擬邏輯資源，實現(xiàn)更高的資源利用率，降低系統(tǒng)管理的復雜度。

2.2 存儲資源池

存儲資源池是超融合架構的典型應用，它具有豐富的數(shù)據(jù)特性，支持為業(yè)務提供數(shù)據(jù)的優(yōu)化布局，確保數(shù)據(jù)完整性、多副本高可用、高可擴展、高IO，為用戶提供較高性價比的解決方案。此外，超融合存儲基于通用服務器，利用機械硬盤（HDD，Hard Disk Drive）和閃存（SSD，Solid State Drives）的組合，以較低成本為業(yè)務的存儲需求提供大容量的存儲資源。此外，基于超融合架構，由于計算節(jié)點和存儲節(jié)點的深度融合，計算節(jié)點會優(yōu)先使用同一臺服務器上的存儲資源，本地讀取提升IO性能的同時也降低了網(wǎng)絡成本，尤其是云數(shù)據(jù)中心傳統(tǒng)架構下的光纖存儲交換機的成本。

2.3 網(wǎng)絡資源池

網(wǎng)絡資源池包括了連接服務器的交換機、路由器等網(wǎng)絡設備，服務器上運行的虛擬交換機、虛擬負載均衡等虛擬網(wǎng)元設備，以及網(wǎng)絡控制器、負載均衡等物理設備。軟件定義網(wǎng)絡（SDN，Software Defined Network）也是當前的研究熱點，基于物理網(wǎng)絡設備接口開放管理平臺的改革派和全面使用白板機的革命派，為網(wǎng)絡資源池提供了多種實現(xiàn)方式。網(wǎng)絡資源池通過實現(xiàn)超融合系統(tǒng)中各個單元的鏈接，解決了傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡管理和運維的諸多難題，可較好滿足業(yè)務應用對網(wǎng)絡快速、靈活自動化部署的需求。

2.4 安全資源池

安全資源池在超融合架構中和網(wǎng)絡設備高度融合，既包括物理防火墻、堡壘機，也包括虛擬防火墻、虛擬機安全代理等虛擬化模塊，在SDN網(wǎng)絡中，目前也有講安全設備進行融合管理的做法，但出于安全的專業(yè)性和維護難度考慮，本文講安全資源池獨立為一個架構板塊，主要考慮維護管理。

2.5 超融合管理系統(tǒng)

超融合管理系統(tǒng)是該架構的核心模塊，管理系統(tǒng)綜合管理著計算、存儲、網(wǎng)絡和安全等資源，部分超融合管理系統(tǒng)將虛擬化管理平臺中的物理機管理功能全部承接，目的是為了更好地分配計算和存儲資源。類似的，也有部分超融合管理系統(tǒng)包括了存儲管理功能、SDN控制器功能和安全管理功能。通常超融合管理系統(tǒng)運行在系統(tǒng)的兩臺或更多臺虛擬機上，為了實現(xiàn)管理系統(tǒng)的高可用，部署的虛擬機一般分布在不同的物理服務器上。

3. 超融合評估方法

作為一個新興的架構級技術，涉及IT、CT、軟硬件、多行業(yè)、多專業(yè)，在實際應用選型中，需進一步掌握架構的具體適用場景和性能，理清存在的問題和性能、架構等瓶頸，因此，本文以超融合存儲資源池為例，提出了相應的超融合評估方法。

3.1 性能測試方法

超融合存儲資源池通常是基于通用低成本的x86服務器，搭配相應的SSD作為數(shù)據(jù)緩存，通過控制SSD和HDD的容量和盤數(shù)比例來滿足不同的業(yè)務需求。根據(jù)通用的業(yè)務場景，按照測試虛機使用的工作集總大小，以及超融合集群中SSD層的總容量，通?？煞譃槿N測試場景：

第一，熱數(shù)據(jù)完全在SSD中;第二，只有小部分熱數(shù)據(jù)超出SSD;第三，大部分熱數(shù)據(jù)位于SSD之外的容量層上。

這里需要注意的是，在根據(jù)緩存大小計算測試工作負載大小時，需要把由于多副本產(chǎn)生的冗余數(shù)據(jù)計算進去。基于以上三種不同容量負載的測試場景下，再按照典型IO業(yè)務特征進行具體的測試，結合公有云環(huán)境下大部分負載的統(tǒng)計情況，本文設計了以下IO特征場景：

第一，4KB 100%隨機 100%讀，極限值;第二，4KB 100%隨機 100%寫，極限值;第三，8KB 100%隨機 70%讀30%寫，適用于OLTP交易場景;第四，2KB 100%順序 100%讀，適用于視頻流讀取場景;第五，32KB 100%順序 100%寫，適用于數(shù)據(jù)復制、記錄日志等場景;第六，8KB 80%隨機/20%順序 80%讀20%寫。

此外，還可以根據(jù)具體的業(yè)務需求，通過變更虛擬機的數(shù)量、磁盤的組數(shù)、物理服務器的數(shù)量、虛擬機的承載特征、隊列深度等，從以下維度進行多組數(shù)據(jù)的測試評估：

第一，系統(tǒng)IO性能與虛擬機數(shù)量的關系;第二，系統(tǒng)IO性能與物理服務器磁盤組數(shù)量間的關系;第三，系統(tǒng)IO性能與物理服務器節(jié)點數(shù)的關系;第四，虛擬機在物理服務器上的分布傾斜與系統(tǒng)IO性能的關系;第五，隊列深度與IOPS 延遲的關系等。

3.2 測試工具

HCIBench是存儲性能測試自動化工具，可以極大降低測試工程師的工作量;HCIBench使部署測試虛擬機的端到端流程實現(xiàn)自動化，協(xié)調(diào)工作負載運行，聚合測試結果，并收集故障排除所需的數(shù)據(jù)。通過配置文件的選擇，可以快速地完成各種場景下的性能測試數(shù)據(jù)。

HCIBench是超融合架構或分布式存儲的基準測試工具，適合vSphere和支持它的分布式存儲的測試;由于超融合架構的測試模式應該是調(diào)用多個測試虛擬機，同時訪問多個VMDK，以此模擬群集的實際業(yè)務工作。由于主流的存儲性能測試工具不直接支持這種測試模式，可通過創(chuàng)建多個測試虛擬機，并在創(chuàng)建的虛擬機上配置VMDK、安裝配置傳統(tǒng)測試工具的方式，生成工作負載、監(jiān)控采集相關數(shù)據(jù)，實現(xiàn)較為精準的性能測試。

此外，還可以使用HCIBench中集成的VDBench，它是Oracle推出的工具，用于驗證存儲性能和存儲數(shù)據(jù)完整性，只需調(diào)度在自動創(chuàng)建的虛擬機上，按照計劃進行自動安裝。

3.3 管理功能測試

超融合產(chǎn)品的開放性，主要體現(xiàn)在管理工具的功能體系和接口方面，因為超融合測試，還需對常見的功能和相應的接口進行功能性測試，可基于超融合的產(chǎn)品功能列表，對照業(yè)務場景需求，進行比對和相應的測試。由于功能點的定義并沒有在行業(yè)內(nèi)達成一致，通常還需要對每個功能點進行具體的操作，對具體的管理接口進行細致的參數(shù)和功能分析。目前主流支持的接口測試工具主要包括：powershell，REST API，Python，命令行等。

4. 結束語

至此，本文從當前云數(shù)據(jù)中心的發(fā)展趨勢出發(fā)，闡述了云服務規(guī)模部署和5G應用的新環(huán)境下，超融合架構在私有云、邊緣計算，以及公有云的建設基本單位等應用技術特征，并根據(jù)超融合架構的技術特征出發(fā)，綜合分析了超融合的關鍵技術和架構特征，提出了超融合產(chǎn)品性能評估方案，為超融合架構在核心應用場景的選型實施和技術研究，提供了具有實際指導意義的評估模型，從而為IT系統(tǒng)設計及優(yōu)化提供技術選型參考。

參考文獻：

[1]艾如鵬.基于Openstack的超融合平臺的研究與實現(xiàn)[D].廣州：華南理工大學，2017.

[2]吳家隱，李先緒，邱紅飛，等.面向NFVi時代存儲技術該何去何從[J].通信世界，2018（03）：55-56.

[3]唐恒武，王珍.超融合架構在數(shù)據(jù)中心應用探究[J].金融電子化，2018（02）：89-90.

[4]黃永燊.基于OpenStack的高可用超融合基礎架構優(yōu)化的研究[D].廣州：華南理工大學，2018.