虛擬化技術(shù)在12306雙活數(shù)據(jù)中心中的應(yīng)用

劉相坤，李 琪，徐東平，李聚寶

（中國鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081）

虛擬化技術(shù)在12306雙活數(shù)據(jù)中心中的應(yīng)用

劉相坤，李 琪，徐東平，李聚寶

（中國鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081）

介紹12306互聯(lián)網(wǎng)售票系統(tǒng)如何使用虛擬化技術(shù)從單數(shù)據(jù)中心發(fā)展為雙數(shù)據(jù)中心高可用方面的實(shí)踐經(jīng)驗(yàn)。通過實(shí)踐證明，采用虛擬化技術(shù)解決雙活數(shù)據(jù)中心高可用問題，無論是從前期投入還是從后期維護(hù)角度看，都具有良好的經(jīng)濟(jì)效益和社會效益。

客票系統(tǒng)；12306網(wǎng)站；虛擬化；數(shù)據(jù)中心；高可用

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，通過網(wǎng)絡(luò)進(jìn)行鐵路客票的發(fā)售和預(yù)定的呼聲越來越高。12306作為中國鐵路客戶服務(wù)中心唯一運(yùn)營網(wǎng)站，承擔(dān)著為全社會和鐵路客戶提供客貨運(yùn)輸業(yè)務(wù)和公共信息查詢服務(wù)的重任。網(wǎng)站數(shù)據(jù)中心龐大，軟硬件資源眾多，出于管理和安全性考慮，針對基礎(chǔ)架構(gòu)的虛擬化整合以及實(shí)現(xiàn)雙活數(shù)據(jù)中心已經(jīng)勢在必行。

1 鐵路互聯(lián)網(wǎng)售票系統(tǒng)面臨的挑戰(zhàn)

12306 作為一個(gè)萬眾矚目的網(wǎng)站，停頓1 min都會給全國人民的出行造成影響。因此12306互聯(lián)網(wǎng)售票系統(tǒng)（簡稱：12306）的高可用非常重要。

高可用解決方案很多，概括起來分為2類：（1）狹義高可用，僅僅用于避免系統(tǒng)級故障，使用冗余的硬件資源，去接管失效的資源。（2）廣義高可用，指整個(gè)系統(tǒng)的高可用，不僅可以避免系統(tǒng)級故障，還能避免天災(zāi)人禍造成的故障。

狹義高可用是在單數(shù)據(jù)中心內(nèi)實(shí)現(xiàn)硬件資源的冗余，保證在系統(tǒng)失效的情況下可以有資源接管應(yīng)用。在傳統(tǒng)的 IT 環(huán)境中高可用涉及系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫、業(yè)務(wù)等方方面面，實(shí)現(xiàn)方式也是多種多樣，因此實(shí)施、配置和后期運(yùn)行維護(hù)都非常的麻煩。比如要實(shí)現(xiàn)高可用一般需要配置心跳、寫 HA 的觸發(fā)腳本等，這些工作在各個(gè)系統(tǒng)都不盡相同不具有通用性；HA解決方案涉及的環(huán)節(jié)多，部署時(shí)間長；上線后的維護(hù)工作點(diǎn)多、面廣，出現(xiàn)故障后操作步驟也不統(tǒng)一，勢必要求維護(hù)人員熟悉IT環(huán)境的各種產(chǎn)品，給運(yùn)行維護(hù)帶來很大的壓力。

初期的12306就是運(yùn)行在由單數(shù)據(jù)中心使用小型機(jī)組建的高可用環(huán)境中，隨著業(yè)務(wù)量的增加，這種架構(gòu)不能方便地進(jìn)行橫向擴(kuò)展，更不能避免天災(zāi)人禍，這與12306的重要地位不相匹配。為此經(jīng)多次研究決定建立雙活數(shù)據(jù)中心，讓12306運(yùn)行在2個(gè)數(shù)據(jù)中心組成的高可用環(huán)境中，最大限度地避免各種故障對系統(tǒng)造成的影響。

鐵路客票互聯(lián)網(wǎng)發(fā)售比例逐年提高，12306承載的壓力越來越大。因此改造方向是：（1）能夠隨著業(yè)務(wù)量增加更加便利地?cái)U(kuò)能；（2）實(shí)現(xiàn)在2個(gè)數(shù)據(jù)中心的高可用。

2 解決面臨問題的思路選擇

根據(jù)面臨的問題，對當(dāng)前業(yè)內(nèi)主流技術(shù)進(jìn)行了論證分析和實(shí)測，最終選定使用VMware 軟件定義數(shù)據(jù)中心解決方案的設(shè)計(jì)思想，解決橫向擴(kuò)展和雙活數(shù)據(jù)中心的問題。

軟件定義數(shù)據(jù)中心的解決方案是基于虛擬化技術(shù)的整體解決方案，其中包含了計(jì)算資源虛擬化、網(wǎng)路資源虛擬化和存儲資源虛擬化產(chǎn)品。系統(tǒng)的改造借用其設(shè)計(jì)思路和虛擬化產(chǎn)品（vSphere）并結(jié)合12306的實(shí)際情況進(jìn)行方案設(shè)計(jì)，為將來建立云數(shù)據(jù)中心打好基礎(chǔ)。

橫向擴(kuò)展能力一直是 IT 界的夢想，希望如果一臺服務(wù)器的性能不夠，再增加一臺服務(wù)器性能就可以提升一倍。一直以來，縱向擴(kuò)展（如在計(jì)算機(jī)內(nèi)增加內(nèi)存、磁盤）比較容易，但是縱向擴(kuò)展有限度，不能無限擴(kuò)展。而橫向擴(kuò)展是無限的，虛擬化技術(shù)產(chǎn)生后，使擴(kuò)展更加簡便，成本也更低。

虛擬化技術(shù)除了可以幫助12306快捷地?cái)U(kuò)能，還能幫助12306實(shí)現(xiàn)雙活數(shù)據(jù)中心。單數(shù)據(jù)中心高可用就相當(dāng)復(fù)雜，雙數(shù)據(jù)中心的高可用復(fù)雜度更是陡然增加。除了在單數(shù)據(jù)中心高可用面臨的問題以外，同時(shí)還會有2個(gè)中心網(wǎng)絡(luò)高可用、存儲高可用等眾多問題。為此希望找到一種能夠屏蔽眾多底層技術(shù)細(xì)節(jié)，極大減輕部署和運(yùn)行維護(hù)強(qiáng)度的方案。虛擬化技術(shù)可以幫助實(shí)現(xiàn)這個(gè)目標(biāo)。虛擬機(jī)在2個(gè)數(shù)據(jù)中心進(jìn)行遷移，不修改現(xiàn)有應(yīng)用，也不用重新配置。這樣就能屏蔽眾多配置細(xì)節(jié)從而實(shí)現(xiàn)高可用，這種解決方案無論是實(shí)施和后期運(yùn)行維護(hù)都比較方便。經(jīng)過慎重評估最終選擇以虛擬化技術(shù)為基礎(chǔ)建立跨數(shù)據(jù)中心的高可用集群。

X86虛擬化技術(shù)近年來發(fā)展迅速，幾乎成了IT系統(tǒng)的基本配置。利用虛擬化技術(shù)，可以在一個(gè)物理服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)實(shí)例，可以有效提升硬件的利用率。同時(shí)虛擬機(jī)都是以文件形式存在的，可以實(shí)現(xiàn)高可用，假如運(yùn)行虛擬機(jī)的物理機(jī)出現(xiàn)意外宕機(jī)，則集群中的另外物理機(jī)就會自動(dòng)啟動(dòng)這臺虛擬機(jī)，繼續(xù)對外提供服務(wù)。這種功能無論是在單數(shù)據(jù)中心還是在跨數(shù)據(jù)中心都是可以實(shí)現(xiàn)的。

在虛擬化平臺上部署中間件。因?yàn)橹虚g件是無狀態(tài)的，且同一業(yè)務(wù)系統(tǒng)配置相同，因此容易形成模板。使用模板克隆出虛擬機(jī)，只需簡單配置一下網(wǎng)絡(luò)即可上線工作，省去了中間件安裝、配置、測試的時(shí)間，真正實(shí)現(xiàn)了快速部署，同時(shí)也減輕了運(yùn)行維護(hù)壓力。

因此虛擬化對于我們最大的吸引力在于：

（1）無需安裝軟件。新的物理服務(wù)器，必須安裝平臺軟件；而虛擬化服務(wù)器采用模板克隆技術(shù)生成，模板中已經(jīng)包含了需要的軟件，不用再次安裝，省時(shí)省力。

（2）實(shí)現(xiàn)高可用更加簡單。物理機(jī)的高可用必須手工配置，而虛擬機(jī)可以依靠虛擬化平臺的 HA功能保證高可用，不用在操作系統(tǒng)內(nèi)進(jìn)行特殊配置。當(dāng)虛擬化集群中的一臺物理機(jī)發(fā)生故障，虛擬機(jī)可以在另外一臺物理機(jī)上重啟，繼續(xù)對外提供服務(wù)。

3 虛擬化技術(shù)發(fā)展及應(yīng)用情況

虛擬化（Virtualization）技術(shù)最早出現(xiàn)在 20 世紀(jì) 60 年代的 IBM 大型機(jī)系統(tǒng)，在70年代的 System 370 系列中逐漸流行起來，這些機(jī)器通過一種叫虛擬機(jī)監(jiān)控器（VMM ，Virtual Machine Monitor）的程序在物理硬件之上生成許多可以運(yùn)行獨(dú)立操作系統(tǒng)軟件的虛擬機(jī)（Virtual Machine）實(shí)例。隨著近年多核系統(tǒng)、集群、網(wǎng)格甚至云計(jì)算的廣泛部署，虛擬化技術(shù)在商業(yè)應(yīng)用上的優(yōu)勢日益體現(xiàn)，不僅降低了IT 成本，而且還增強(qiáng)了系統(tǒng)安全性和可靠性，虛擬化的概念也逐漸深入到人們?nèi)粘５墓ぷ髋c生活中。

虛擬化是一個(gè)廣義的術(shù)語，對于不同的人來說可能意味著不同的東西，這要取決他們所處的環(huán)境。在計(jì)算機(jī)科學(xué)領(lǐng)域中，虛擬化代表著對計(jì)算資源的抽象，而不僅僅局限于虛擬機(jī)的概念。從早期的例如對物理內(nèi)存的抽象，產(chǎn)生了虛擬內(nèi)存技術(shù)，使得應(yīng)用程序認(rèn)為其自身擁有連續(xù)可用的地址空間（Address Space），而實(shí)際上，應(yīng)用程序的代碼和數(shù)據(jù)可能是被分隔成多個(gè)碎片頁或段），甚至被交換到磁盤、閃存等外部存儲器上，即使物理內(nèi)存不足，應(yīng)用程序也能順利執(zhí)行。到近期的對網(wǎng)絡(luò)、存儲的抽象，產(chǎn)生了網(wǎng)絡(luò)虛擬化和存儲虛擬化。

當(dāng)前虛擬化技術(shù)已經(jīng)被廣泛應(yīng)用到 IT 基礎(chǔ)設(shè)施的建設(shè)中 ，已經(jīng)形成了豐富的產(chǎn)品和解決方案。2012年又提出了軟件定義的數(shù)據(jù)中心的概念。也就是說未來的數(shù)據(jù)中心要虛擬化、池化一切資源（包括計(jì)算資源、網(wǎng)絡(luò)資源和存儲資源等），完全用軟件控制數(shù)據(jù)中心的運(yùn)行。

圖1 12306雙活數(shù)據(jù)中心虛擬化體系結(jié)構(gòu)圖

4 虛擬化在12306雙活數(shù)據(jù)中心的實(shí)踐

4.1 方案設(shè)計(jì)

2012年 開 始 使 用VMware vSphere虛擬化平臺后，虛擬化的優(yōu)勢日益明顯。2013年開始測試將數(shù)據(jù)庫運(yùn)行在虛擬化平臺上，以保證數(shù)據(jù)庫高可用。測試效果比較理想，于是在2013年底開始規(guī)劃使用VMware vSphere 作為雙活數(shù)據(jù)中心核心數(shù)據(jù)庫的基礎(chǔ)平臺。

方案的設(shè)計(jì)理念基于“軟件定義數(shù)據(jù)中心”的思想。架構(gòu)設(shè)計(jì)結(jié)合并汲取了各項(xiàng)相關(guān)建議和需求，參考VMware虛擬化架構(gòu)最佳實(shí)踐，針對VMware vSphere虛擬化基礎(chǔ)架構(gòu)、網(wǎng)絡(luò)規(guī)劃、存儲規(guī)劃、ESXi服務(wù)器和vCenter管理服務(wù)器的配置等方面，進(jìn)行了深入地分析和探討。

針對業(yè)務(wù)系統(tǒng)的特點(diǎn)，利用虛擬化技術(shù)可以將標(biāo)準(zhǔn)的X86服務(wù)器資源進(jìn)行池化并分配給多臺虛擬機(jī)，以此實(shí)現(xiàn)在1臺物理服務(wù)器上運(yùn)行多臺獨(dú)立的虛擬機(jī)。在虛擬化主機(jī)層面選用若干臺PC SERVER作為ESXi主機(jī)，HDS VSP G1000 作為虛擬化架構(gòu)數(shù)據(jù)存儲存放虛擬機(jī)及其數(shù)據(jù)。體系結(jié)構(gòu)如圖1所示。

設(shè)計(jì)5個(gè)群集，其中關(guān)鍵應(yīng)用分為4個(gè)群集，另外1個(gè)群集為管理群集；每個(gè)群集跨2個(gè)數(shù)據(jù)中心；2個(gè)中心均為每組機(jī)器配置2臺冗余主機(jī)用于本地群集內(nèi)故障轉(zhuǎn)移或者接管另一中心故障轉(zhuǎn)移；所有管理主機(jī)配置一個(gè)專有群集，共4臺主機(jī)，2個(gè)中心各2臺，主要運(yùn)行管理虛擬機(jī)。

4.2 環(huán)境及典型場景說明

雙活數(shù)據(jù)中心，應(yīng)包括計(jì)算環(huán)境雙活、網(wǎng)絡(luò)環(huán)境雙活和存儲環(huán)境的雙活。

4.2.1 計(jì)算環(huán)境

計(jì)算資源雙活也就是實(shí)現(xiàn)虛擬機(jī)可以在2個(gè)數(shù)據(jù)中心自由遷移，為此2個(gè)數(shù)據(jù)中心應(yīng)保持相同的計(jì)算資源。每個(gè)中心配置m臺物理服務(wù)器，共使用2m臺物理服務(wù)器。每個(gè)中心Sybase數(shù)據(jù)庫虛擬機(jī)n臺，分別運(yùn)行在n臺主機(jī)上；vCenter server虛擬機(jī)2臺，主備域控制器2臺，vCops vApp中共有2臺虛擬機(jī)，以及其他管理用的虛擬機(jī)共6臺左右，運(yùn)行在4臺管理主機(jī)上；2（m-n）臺主機(jī)作為應(yīng)用虛擬機(jī)的備用資源，其中，m＞n；每7臺一個(gè)業(yè)務(wù)群集，5臺運(yùn)行2臺備份的模式。

4.2.2 網(wǎng)絡(luò)環(huán)境

如果實(shí)現(xiàn)雙活數(shù)據(jù)中心，網(wǎng)絡(luò)作為重要的IT資源必須做到2個(gè)數(shù)據(jù)中心的高可用，也就是要將2個(gè)數(shù)據(jù)中心的客票網(wǎng)組成1個(gè)大的局域網(wǎng)，無論虛擬機(jī)在哪個(gè)數(shù)據(jù)中心運(yùn)行都無須更改網(wǎng)絡(luò)設(shè)置。根據(jù)雙活數(shù)據(jù)中心的總體架構(gòu)，網(wǎng)絡(luò)需要滿足要求：物理鏈路層實(shí)現(xiàn)2個(gè)數(shù)據(jù)中心2層網(wǎng)絡(luò)互通；群集跨數(shù)據(jù)中心存在，同一個(gè)群集中的主機(jī)之間均采用同樣的vMotion網(wǎng)絡(luò)，實(shí)現(xiàn)跨數(shù)據(jù)中心的vMotion。

系統(tǒng)中通過 OTN 技術(shù)進(jìn)行2層打通；2層打通后，2個(gè)數(shù)據(jù)中心的 vMontion VLAN 進(jìn)行合并，實(shí)現(xiàn)跨數(shù)據(jù)中心的vMotion。

同時(shí)為了保證整個(gè)方案沒有單點(diǎn)故障，在每個(gè)物理機(jī)上的網(wǎng)卡均為冗余配置，也就是無論是存儲網(wǎng)、業(yè)務(wù)網(wǎng)、管理網(wǎng)還是 vMotion 網(wǎng)絡(luò)都是雙網(wǎng)卡。這樣無論是數(shù)據(jù)中心的網(wǎng)絡(luò)還是服務(wù)器的網(wǎng)絡(luò)都是冗余網(wǎng)絡(luò)，真正實(shí)現(xiàn)了沒有單點(diǎn)故障，增強(qiáng)了整個(gè)系統(tǒng)的抗風(fēng)險(xiǎn)能力。

4.2.3 存儲環(huán)境

采用HDS VSP G1000存儲，2個(gè)數(shù)據(jù)中心各1臺,按照不同業(yè)務(wù)劃分為5個(gè)資源池，分別給5個(gè)相對獨(dú)立應(yīng)用的虛擬機(jī)使用。通過劃分資源池進(jìn)行各個(gè)業(yè)務(wù)之間的存儲I/O隔離，以減小業(yè)務(wù)I/O之間的相互影響。

規(guī)劃每個(gè)虛擬機(jī)對應(yīng)單獨(dú)的1個(gè)LUN。在設(shè)置空間時(shí)需要合理分配LUN大小、虛擬機(jī)空間的大小、虛擬機(jī)內(nèi)存的大小，每個(gè)機(jī)器的空間余量應(yīng)能承擔(dān)內(nèi)存的swap文件所需的空間，使虛擬機(jī)能夠正常啟動(dòng)，一般要求：LUN空間-虛擬機(jī)空間≥虛擬機(jī)內(nèi)存。陣列規(guī)劃參考如圖2所示。

圖2 12306雙活數(shù)據(jù)中心陣列規(guī)劃

4.3 方案特點(diǎn)

4.3.1 第1次將數(shù)據(jù)庫運(yùn)行在虛擬化平臺上

以往因?yàn)閾?dān)心虛擬化的性能問題，不敢將數(shù)據(jù)庫運(yùn)行在虛擬機(jī)中。這次通過前期的充分論證和測試，證明數(shù)據(jù)庫運(yùn)行在 VMware 虛擬化環(huán)境中是完全可行的，性能和純物理環(huán)境相比不會有太多的下 降，而帶來整個(gè)系統(tǒng)的高可用和管理上的簡便性與傳統(tǒng)物理環(huán)境比較優(yōu)勢是明顯的。

4.3.2 實(shí)現(xiàn)了基于虛擬化技術(shù)的雙活數(shù)據(jù)中心

傳統(tǒng)的雙活數(shù)據(jù)中心環(huán)節(jié)多，實(shí)施和后續(xù)管理都極其復(fù)雜；而基于虛擬化的雙活數(shù)據(jù)中心，虛擬化層可以幫助用戶屏蔽眾多的底層技術(shù)細(xì)節(jié)，實(shí)施和管理都比傳統(tǒng)方式更加簡便。

4.3.3 資源充分利用

通過虛擬化技術(shù)將2個(gè)數(shù)據(jù)中心的資源整合到1個(gè)資源池中，2個(gè)中心同時(shí)對外提供服務(wù)。不像主備數(shù)據(jù)中心，災(zāi)備數(shù)據(jù)中心的資源平時(shí)不使用，只有在主中心失效的時(shí)候才啟用，資源浪費(fèi)嚴(yán)重；而雙活數(shù)據(jù)中心可以同時(shí)利用2個(gè)中心的資源對外提供服務(wù)，資源利用率更高。

5 結(jié)束語

虛擬化技術(shù)在12306雙活數(shù)據(jù)中心中的應(yīng)用說明，以虛擬化技術(shù)為基礎(chǔ)建設(shè)雙活數(shù)據(jù)中心是可行的。軟件定義數(shù)據(jù)中心的思想可以指導(dǎo)雙活數(shù)據(jù)中心的建設(shè)，虛擬機(jī)可以支持?jǐn)?shù)據(jù)庫系統(tǒng)的穩(wěn)定運(yùn)行。X86虛擬化集群方便橫向擴(kuò)展，這種能夠隨著業(yè)務(wù)量進(jìn)行彈性擴(kuò)展的能力是小型機(jī)所不具備的。虛擬化集群的整體性能比較好，且要達(dá)到同樣的性能，小型機(jī)的成本要高于 X86 虛擬化集群，因此虛擬化運(yùn)行的成本更低，經(jīng)濟(jì)效益更為突出。

[1]黃怡君.銀行業(yè)的存儲虛擬化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 上海：上海交通大學(xué)，2012.

[2]曹巍巍.數(shù)據(jù)中心虛擬化技術(shù)研究與實(shí)現(xiàn)[D].上海：華東理工大學(xué)，2011.

[3]施 慶.基于VMware vSphere的高校數(shù)據(jù)中心虛擬化建設(shè)研究[D].上海：復(fù)旦大學(xué)，2012.

[4]李 聰. 服務(wù)器、網(wǎng)絡(luò)、存儲虛擬化技術(shù)在數(shù)據(jù)中心的應(yīng)用研究[D].天津：天津大學(xué)， 2009.

[5]王 欣.VMware軟件虛擬化研究及應(yīng)用[J].數(shù)據(jù)通信，2013（6）.

責(zé)任編輯 方 圓

Virtualization technology in dual active data center of 12306 Internet Ticketing and Reservation System

LIU Xiangkun, LI Qi, XU Dongping, LI Jubao
( Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China )

Virtualization technology was used in 12306 Internet Ticketing and Reservation System to develop the date center from single data center to dual active data center. Practice had proved, solving the problem of high availability was totally feasible through this technology. It had good economic and social benefits whether from the initial investment or from the late maintenance.

Ticketing and Reservation System(TRS); 12306 Website; virtualization; data center; high availability

U293.22∶TP39

A

1005-8451（2015）11-0017-04

2015-04-10

劉相坤，副研究員；李 琪，副研究員。