高校數(shù)據(jù)中心虛擬化的建設(shè)與實踐—以東北財經(jīng)大學(xué)實驗教學(xué)中心為例

◆宮宇 婁道凱

高校數(shù)據(jù)中心虛擬化的建設(shè)與實踐—以東北財經(jīng)大學(xué)實驗教學(xué)中心為例

◆宮宇 婁道凱

（東北財經(jīng)大學(xué)創(chuàng)新創(chuàng)業(yè)與實驗教學(xué)中心 遼寧 116025）

本文以東北財經(jīng)大學(xué)實驗教學(xué)中心為例，分析傳統(tǒng)物理服務(wù)器架構(gòu)的數(shù)據(jù)中心在運維管理以及對實驗教學(xué)支撐的不足，通過虛擬化技術(shù)完成傳統(tǒng)物理數(shù)據(jù)中心到虛擬化數(shù)據(jù)中心的改造，實踐證明虛擬化數(shù)據(jù)中心的建立，在實現(xiàn)綠色、高效、便捷、統(tǒng)一管理的同時，為學(xué)校雙創(chuàng)教育、實驗教學(xué)的發(fā)展提供了有力支撐。

服務(wù)器；虛擬化；數(shù)據(jù)中心；實驗教學(xué)

1 傳統(tǒng)物理服務(wù)器架構(gòu)的數(shù)據(jù)中心的劣勢分析

我校實驗教學(xué)中心自2008年陸續(xù)購置了20余臺聯(lián)想萬全物理服務(wù)器，用于支撐全校30多個實驗教學(xué)系統(tǒng)的運行。中心目前承擔(dān)運行的各類業(yè)務(wù)主要包括：創(chuàng)新創(chuàng)業(yè)、實驗教學(xué)、國家級虛擬仿真項目建設(shè)、創(chuàng)業(yè)大賽、上機考試等。隨著實驗、實踐、創(chuàng)新創(chuàng)業(yè)等各類系統(tǒng)對算力需求的逐年攀升，原有的服務(wù)器資源在保證舊有業(yè)務(wù)系統(tǒng)的運行之外，已無法支撐新的業(yè)務(wù)系統(tǒng)的部署和運行，主要存在如下幾個方面問題。

1.1 服務(wù)器算力資源分配不均及硬件故障

中心的20多臺物理服務(wù)器運行至今已有十余年，raid卡故障、硬盤故障、電源故障、網(wǎng)卡故障等時有發(fā)生。一臺物理服務(wù)器的硬件故障有可能導(dǎo)致若干業(yè)務(wù)系統(tǒng)無法運行，無法實現(xiàn)業(yè)務(wù)系統(tǒng)運行的快速恢復(fù)。由于算力資源受限，多個業(yè)務(wù)系統(tǒng)同時運行會導(dǎo)致CPU、內(nèi)存資源急劇攀升，而處于空閑的服務(wù)器資源則沒有充分利用。

1.2 服務(wù)器算力資源分配不均及硬件故障

服務(wù)器資源的分配原則是一臺物理服務(wù)器對應(yīng)一個應(yīng)用，但隨著各類業(yè)務(wù)系統(tǒng)的不斷增加，在物理服務(wù)器資源有限的情況下，導(dǎo)致一臺服務(wù)器通常需要運行兩個甚至多個應(yīng)用系統(tǒng)。由于各個業(yè)務(wù)系統(tǒng)運行所需的庫文件、中間件、數(shù)據(jù)庫的不同，即使能夠在同一操作系統(tǒng)運行，不同的軟件彼此在運行過程中也會有沖突的情況產(chǎn)生（進程、端口占用），不同廠商的技術(shù)人員在對本公司開發(fā)的系統(tǒng)進行運維時，有可能導(dǎo)致另一個業(yè)務(wù)系統(tǒng)無法正常使用。

1.3 運維及部署周期成本高

由于服務(wù)器的物理隔離，運維管理人員無法實現(xiàn)物理服務(wù)器的批量、集中、統(tǒng)一管理，無法實現(xiàn)算力資源的統(tǒng)一調(diào)度。一個新應(yīng)用的上線運行之前，一般需要經(jīng)過預(yù)算、采購、系統(tǒng)安裝、調(diào)試、測試和上線等幾個階段。在服務(wù)器上架之后系統(tǒng)部署之前，需要部署raid陣列、安裝操作系統(tǒng)、配置相應(yīng)的安全防護策略等若干步驟。由于數(shù)據(jù)中心本身物理空間、電力的限制，實現(xiàn)一個應(yīng)用對應(yīng)一個物理服務(wù)器勢必造成空間、能源、人力的巨大損耗。

2 數(shù)據(jù)中心虛擬化的優(yōu)勢分析

服務(wù)器虛擬化是將服務(wù)器物理資源抽象成邏輯資源，讓一臺服務(wù)器變成幾臺甚至上百臺物理隔離的虛擬服務(wù)器，不再受物理結(jié)構(gòu)限制，讓CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等硬件變成動態(tài)可管理的“資源池”，從而提高資源利用率，簡化系統(tǒng)管理，實現(xiàn)服務(wù)器的資源整合[1]。結(jié)合我校實驗教學(xué)中心物理服務(wù)器數(shù)據(jù)中心的現(xiàn)狀，通過服務(wù)器虛擬化帶來如下優(yōu)勢。

2.1 降低能耗、節(jié)省空間

利用虛擬化將三臺計算服務(wù)器、三臺存儲服務(wù)器及相關(guān)網(wǎng)絡(luò)互聯(lián)設(shè)備構(gòu)建虛擬化集群，替代25臺物理服務(wù)器的計算及存儲資源。

2.2 降低能耗、節(jié)省空間

每個虛擬主機可以根據(jù)業(yè)務(wù)系統(tǒng)的配置要求，配置相應(yīng)的CPU、內(nèi)存、硬盤、操作系統(tǒng)、設(shè)置獨立的IP及應(yīng)用端口，實現(xiàn)虛擬主機與業(yè)務(wù)系統(tǒng)的一對一關(guān)系，各虛擬主機之間彼此互不影響，結(jié)合安全審計堡壘機，將各業(yè)務(wù)系統(tǒng)的虛擬主機與廠商技術(shù)人員實現(xiàn)業(yè)務(wù)綁定，實現(xiàn)遠(yuǎn)程部署和運維，對業(yè)務(wù)系統(tǒng)的任何操作都能有據(jù)可查。

2.3 服務(wù)器資源的統(tǒng)一分配、調(diào)度

合理利用CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)資源，實現(xiàn)服務(wù)器資源的按需分配，提高服務(wù)器資源的利用率，當(dāng)某臺主機服務(wù)器的計算、存儲資源不足時，利用虛擬化特有的HA、VMotion、FT等高級功能，可以隨時將虛機資源遷移到另外一臺資源充足的服務(wù)器上運行，遷移方式可以實現(xiàn)計算、存儲及整機遷移。

2.4 利用P2V（物理機遷移虛擬機）實現(xiàn)系統(tǒng)遷移

實驗系統(tǒng)的運行環(huán)境存在數(shù)據(jù)庫、操作系統(tǒng)版本老舊，無法升級且只能在固定服務(wù)器上運行，部分實驗系統(tǒng)已經(jīng)脫保，但依舊在使用的情況存在。為保證實驗系統(tǒng)的可靠運行，提升實驗系統(tǒng)對算力資源的需求，保證實驗系統(tǒng)的穩(wěn)定運行和統(tǒng)一管理，采用P2V技術(shù)將實驗系統(tǒng)遷移到虛擬機上，使之能夠運行于虛擬化平臺之上。由于部分實驗系統(tǒng)采用USB硬加密的方式，導(dǎo)致虛擬機無法識別USB硬加密的問題，通過將USB over Network軟件解決。

3 數(shù)據(jù)中心虛擬化的優(yōu)勢分析

實驗教學(xué)中心為全校師生提供IaSS基礎(chǔ)架構(gòu)服務(wù)，具體包括兩大服務(wù)方向：計算終端服務(wù)、數(shù)據(jù)中心服務(wù)。計算終端服務(wù)：1200余臺終端承擔(dān)全校實驗、實訓(xùn)、考試、創(chuàng)新創(chuàng)業(yè)大賽的上機任務(wù)。數(shù)據(jù)中心服務(wù)：25臺物理服務(wù)器為各類實驗教學(xué)平臺提供基礎(chǔ)運行環(huán)境。

中心31個實驗室共計1200余臺計算終端（包括物理PC、桌面云服務(wù)），目前已完成VDI、VOI、IDV三種桌面云虛擬化技術(shù)解決方案的設(shè)計、部署、測試和運行，能夠滿足實驗、實訓(xùn)、創(chuàng)新創(chuàng)業(yè)大賽等多場景使用需求。其中VDI解決方案40點位實現(xiàn)實驗室開放共享、教學(xué)資源的遠(yuǎn)程訪問，VOI解決方案部署40點位充分發(fā)揮現(xiàn)有實驗室硬件資源、為虛擬仿真、科研、高性能計算提供服務(wù)。其中IDV架構(gòu)解決方案262點位部署從2019年至今，已保證各類日常教學(xué)、和各類考試的高效穩(wěn)定運行[2]。

中心具備功能完備的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。31個實驗室通過劃分獨立的VLAN和IP子網(wǎng)，實現(xiàn)可靠的安全性、帶寬利用率以及便捷的管理。每個實驗室通過接入層交換機光纖匯聚到核心交換機S7606，數(shù)據(jù)中心區(qū)域通過千兆電口上聯(lián)核心交換機S7606實現(xiàn)不同實驗室之間、實驗室與數(shù)據(jù)中心區(qū)域的高速互訪，核心交換機上聯(lián)出口網(wǎng)關(guān)NPE60E千兆光纖鏈路至校園網(wǎng)。

因此通過服務(wù)器虛擬化技術(shù)完成從傳統(tǒng)物理架構(gòu)向虛擬化數(shù)據(jù)中心的改造是完全可行的，將25臺物理服務(wù)器的實驗平臺全部遷移到虛擬化集群，具體網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

圖1 實驗教學(xué)中心網(wǎng)絡(luò)拓?fù)?/p>

4 基于vsphere構(gòu)建數(shù)據(jù)中心虛擬化的建設(shè)實踐

圖2 數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?/p>

針對上述傳統(tǒng)物理架構(gòu)的數(shù)據(jù)中心運行中存在的問題，結(jié)合中心現(xiàn)有網(wǎng)絡(luò)拓?fù)?、統(tǒng)計現(xiàn)有實驗平臺所需計算及相關(guān)存儲資源以及未來的可擴展性。采用vsphere的兩大組件ESXI及vCenter[3]，實現(xiàn)計算、網(wǎng)絡(luò)、存儲資源的集中統(tǒng)一管理，實現(xiàn)虛擬服務(wù)器的動態(tài)分配，將三臺高性能DELL服務(wù)器進行vmware虛擬化作為計算節(jié)點，同時利舊兩臺聯(lián)想服務(wù)器用于數(shù)據(jù)備份及共享存儲[4]，一臺QNAP文件存儲服務(wù)器用于存儲虛機模板及鏡像模板等服務(wù)。

六臺服務(wù)器通過萬兆光纖交換機萬兆雙鏈路互聯(lián)，數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

4.1 計算及存儲資源規(guī)劃

采用三臺配置相同的DELL高性能服務(wù)器作為計算節(jié)點，允許一個計算節(jié)點器宕機后，虛機資源可以遷移到另外兩臺服務(wù)器繼續(xù)工作，同時為避免共享存儲的單點故障，充分利用計算節(jié)點的本身的存儲資源。非生產(chǎn)NAS存儲用于虛擬機的備份，生產(chǎn)數(shù)據(jù)共享存儲用于計算節(jié)點及本地存儲資源不夠時，將虛機存儲資源遷移到共享存儲，具體配置如表1所示。

表1 計算及存儲資源配置表

服務(wù)器名稱配置用途 DELL PowerEdge R740 服務(wù)器1CPU：英特爾至強銀牌 4210 2.2G，內(nèi)存128G，3.8T本地存儲運行Web服務(wù) DELL PowerEdge R740 服務(wù)器2CPU：英特爾至強銀牌 4210 2.2G，內(nèi)存128G，無本地存儲連接共享存儲，計算節(jié)點資源補充 DELL PowerEdge R740 服務(wù)器3CPU：英特爾至強銀牌 4210 2.2G，內(nèi)存128G，7.6T本地存儲運行舊實驗平臺、虛擬仿真等 非生產(chǎn)數(shù)據(jù)NAS存儲服務(wù)器15.7T 存儲虛擬機備份 生產(chǎn)數(shù)據(jù)共享存儲服務(wù)器3.8T 存儲虛擬機存儲 文件備份服務(wù)器12T 存儲系統(tǒng)鏡像及文件存儲服務(wù)

4.2 降低能耗、節(jié)省空間

每個DELL服務(wù)器總共有四塊千兆網(wǎng)卡用于跑業(yè)務(wù)流量，兩塊萬兆網(wǎng)卡用于互聯(lián)共享存儲和數(shù)據(jù)備份服務(wù)器。

數(shù)據(jù)中心的內(nèi)部網(wǎng)絡(luò)流量涉及的業(yè)務(wù)主要包括：舊實驗教學(xué)平臺、虛擬仿真項目、Web服務(wù)。根據(jù)各類業(yè)務(wù)的屬性特點，按照VLAN屬性對網(wǎng)絡(luò)流量邏輯隔離，方便后續(xù)IP地址統(tǒng)一規(guī)劃，安全策略統(tǒng)一防護，同時管理流量及共享存儲及備份流量需要通過上行鏈路網(wǎng)卡物理隔離。

為保證虛機遷移，要求三臺計算節(jié)點服務(wù)器配置相同的四臺虛擬標(biāo)準(zhǔn)交換機用于上聯(lián)計算節(jié)點網(wǎng)卡。

實驗平臺及虛擬仿真項目的特點是用戶訪問量大，對I/O速度要求較多，占用空間多，將此類業(yè)務(wù)綁定兩塊千兆物理網(wǎng)卡，實現(xiàn)流量的負(fù)載均衡及鏈路帶寬擴充。

Web業(yè)務(wù)流量由于涉及對外信息發(fā)布功能，對I/O速度要求不多，且占用存儲資源不多，此類業(yè)務(wù)單獨綁定一個千兆物理網(wǎng)卡。

管理流量涉及虛機遷移、ESXI主機管理、以及vCenter服務(wù)，將此類流量單獨上聯(lián)一個千兆物理網(wǎng)卡。

三臺計算機點的共享存儲流量及數(shù)據(jù)備份流量，只是內(nèi)部數(shù)據(jù)交換，不涉及用戶訪問，因此分別綁定一個萬兆網(wǎng)卡與萬兆交換互聯(lián)。

計算節(jié)點主機網(wǎng)絡(luò)規(guī)劃如下表2所示。

表2 計算主機節(jié)點網(wǎng)絡(luò)規(guī)劃

業(yè)務(wù)類型IP網(wǎng)段VLAN端口組ID虛擬標(biāo)準(zhǔn)交換機上行鏈路網(wǎng)卡 管理流量192.168.99.0/2499vSwitch0vmnic01000M 生產(chǎn)數(shù)據(jù)共享存儲172.16.60.0/24無vSwitch1vmnic410000M 非生產(chǎn)數(shù)據(jù)備份存儲172.16.61.0/24無vSwitch2vmnic510000M 虛擬仿真項目192.168.96.0/24VLAN96vSwitch3Vmnic1，vmnic2雙網(wǎng)卡2000M Web流量192.168.97.0/24VLAN97vSwitch4vmnic3 1000M

4.3 計算及存儲資源規(guī)劃

中心技術(shù)運維人員負(fù)責(zé)虛擬化服務(wù)器CPU、內(nèi)存、硬盤的分配和創(chuàng)建，部署操作系統(tǒng)基礎(chǔ)環(huán)境、IP地址規(guī)劃、網(wǎng)絡(luò)連通性。

通過技術(shù)和制度兩個層面保證信息系統(tǒng)的網(wǎng)絡(luò)安全。技術(shù)上在操作系統(tǒng)防火墻、WAF、出口網(wǎng)關(guān)配置控制策略實現(xiàn)各類系統(tǒng)的精細(xì)化管理，部署堡壘機滿足運維管理的安全審計需求。在制度方面通過信息系統(tǒng)開發(fā)與部署安全承諾書、堡壘機使用申請表、虛擬機使用申請表、密碼使用制度、用戶身份制度，規(guī)范各類系統(tǒng)的安全責(zé)任要求。

5 結(jié)束語

通過服務(wù)器虛擬化技術(shù)實現(xiàn)數(shù)據(jù)中心從傳統(tǒng)物理架構(gòu)向虛擬化數(shù)據(jù)中心的改造，幫助運維技術(shù)人員能夠進行理論和實踐的技術(shù)積累的同時，有力支撐了創(chuàng)新創(chuàng)業(yè)與實驗教學(xué)的業(yè)務(wù)開展，中心的本科教育教學(xué)改革成果《“大平臺+”支持下的新商科“課賽訓(xùn)創(chuàng)”創(chuàng)新創(chuàng)業(yè)教育體系的構(gòu)建》，榮獲2020年度遼寧省本科教學(xué)成果二等獎。隨著國內(nèi)超融合、私有云等技術(shù)的逐步成熟，未來將計算、網(wǎng)絡(luò)、存儲、安全資源納入統(tǒng)一管理和擴建，并將數(shù)據(jù)中心現(xiàn)有基礎(chǔ)設(shè)施淘汰、利舊和新建，規(guī)劃構(gòu)建一個靈活高效、生態(tài)豐富、可持續(xù)運營的校園實驗和實踐云服務(wù)平臺全面支撐全校實驗教學(xué)、科研、創(chuàng)業(yè)實踐。

[1]劉金豐.企業(yè)桌面云規(guī)劃、部署與運維[M].北京：機械工業(yè)出版，2018：48-49.

[2]宮宇.基于IDV架構(gòu)的云桌面實驗室運維管理實踐[J].中國管理信息化，2020，23（17）：191-192.

[3]王春海.深入學(xué)習(xí)VMware vSphere 6[M].北京：人民郵電出版社，2018：105-112.

[4]何坤源.VMware vSphere6.7虛擬化架構(gòu)實戰(zhàn)指南 [M].2019：160-175.