重慶地稅：虛擬化探路金稅三期省級(jí)集中

洪蕾

金稅三期系統(tǒng)采取全國(guó)應(yīng)用大集中和數(shù)據(jù)大集中模式建設(shè)，首次實(shí)現(xiàn)國(guó)、地稅軟件版本統(tǒng)一，是中國(guó)最大的電子政務(wù)系統(tǒng)，也是政府行業(yè)最大的交易類(lèi)生產(chǎn)系統(tǒng)，采取總局、省局兩級(jí)部署，其中省級(jí)主要承擔(dān)金稅三期大廳、前置、地方特色和省級(jí)管理決策等系統(tǒng)與功能部署。

作為國(guó)家金稅三期工程全國(guó)首家上線試點(diǎn)單位，重慶地稅需在2013年2月22日完成金稅三期單軌試運(yùn)行切換。面對(duì)金稅三期生產(chǎn)環(huán)境部署所需硬件設(shè)備嚴(yán)重滯后，上線時(shí)間緊迫與地方設(shè)備采購(gòu)不到位的困難，重慶地稅結(jié)合自身實(shí)際情況，發(fā)揮過(guò)去省級(jí)大集中積累的實(shí)戰(zhàn)經(jīng)驗(yàn)，大膽探索，勇于創(chuàng)新，在總局金稅三期工程辦領(lǐng)導(dǎo)下，用軟實(shí)力彌補(bǔ)硬缺位，經(jīng)過(guò)科學(xué)論證與反復(fù)試驗(yàn)，成功采用高端PC服務(wù)器整體虛擬化完成金稅三期省級(jí)大廳前置系統(tǒng)部署并經(jīng)過(guò)連續(xù)運(yùn)行，生產(chǎn)環(huán)境系統(tǒng)穩(wěn)定可靠，性能滿足金稅三期設(shè)計(jì)要求。

數(shù)據(jù)庫(kù)計(jì)算設(shè)備

虛擬化部署

金稅三期數(shù)據(jù)總局大集中后，省級(jí)數(shù)據(jù)庫(kù)壓力適當(dāng)降低，從架構(gòu)設(shè)計(jì)上為了提高處理效率和避免總局出現(xiàn)性能壓力瓶頸現(xiàn)象，省局需求部署前置數(shù)據(jù)庫(kù)，因前期應(yīng)用開(kāi)發(fā)公司多，為避免數(shù)據(jù)庫(kù)應(yīng)用相互干擾，部署時(shí)出現(xiàn)了數(shù)據(jù)庫(kù)系統(tǒng)需求數(shù)量較多，短期內(nèi)又難以整合的現(xiàn)象，其中省級(jí)前置數(shù)據(jù)庫(kù)和地方特色數(shù)據(jù)庫(kù)RAC部署就多達(dá)11套，這些數(shù)據(jù)庫(kù)系統(tǒng)中有個(gè)別處理性能要求較高，例如省級(jí)清分庫(kù)、查詢庫(kù)等，其它數(shù)據(jù)庫(kù)系統(tǒng)則是要求可靠性高、處理性能卻相對(duì)適中。重慶地稅作為第一個(gè)上線試點(diǎn)省份，還存在各數(shù)據(jù)庫(kù)應(yīng)用性能需求難以準(zhǔn)確預(yù)測(cè)的難點(diǎn)，鑒于過(guò)去采用小機(jī)部署數(shù)據(jù)庫(kù)存在運(yùn)行環(huán)境要求高、運(yùn)維難度大、采購(gòu)和運(yùn)維成本高、小機(jī)技術(shù)人才匱乏等不利因素，重慶地稅結(jié)合實(shí)際情況，提出采用高檔PC服務(wù)器做數(shù)據(jù)庫(kù)整體虛擬化部署方案，方案經(jīng)過(guò)專(zhuān)家論證，技術(shù)經(jīng)過(guò)反復(fù)測(cè)試，最后采購(gòu)了16臺(tái)高檔PC服務(wù)器實(shí)現(xiàn)數(shù)據(jù)庫(kù)計(jì)算設(shè)備整體虛擬化部署。

當(dāng)時(shí)，采用虛擬化部署生產(chǎn)級(jí)RAC數(shù)據(jù)庫(kù)應(yīng)用案例還比較少，在全國(guó)稅務(wù)系統(tǒng)內(nèi)更無(wú)可借鑒經(jīng)驗(yàn)，重慶地稅經(jīng)過(guò)反復(fù)摸索，最后總結(jié)出RAC數(shù)據(jù)庫(kù)虛擬化連接存儲(chǔ)系統(tǒng)時(shí)采用掛載存儲(chǔ)裸設(shè)備工作方式更加穩(wěn)定和高效的經(jīng)驗(yàn)，金稅三期省級(jí)前置數(shù)據(jù)庫(kù)性能需求差異較大，通過(guò)虛擬化可動(dòng)態(tài)調(diào)節(jié)數(shù)據(jù)庫(kù)硬件資源分配需求，甚至在極端情況下可將一臺(tái)硬件主機(jī)全部資源只分配給一個(gè)虛擬機(jī)，以運(yùn)行性能要求較高的RAC節(jié)點(diǎn)，多數(shù)情況下可將一臺(tái)物理主機(jī)規(guī)劃為2至5個(gè)RAC節(jié)點(diǎn)虛擬機(jī)。因2月22日金稅三期單軌試運(yùn)行時(shí)間緊迫，正式生產(chǎn)環(huán)境所需設(shè)備采購(gòu)又尚未到位，重慶地稅緊急調(diào)配5臺(tái)曙光服務(wù)器（配置為64核、512G）通過(guò)虛擬化臨時(shí)承載了金稅三期省級(jí)前置11套數(shù)據(jù)庫(kù)共22個(gè)RAC節(jié)點(diǎn)虛擬機(jī)，實(shí)踐證明，數(shù)據(jù)庫(kù)計(jì)算設(shè)備虛擬化運(yùn)行至今尚未出現(xiàn)任何穩(wěn)定性和安全性問(wèn)題。

數(shù)據(jù)庫(kù)計(jì)算設(shè)備采用虛擬化部署后，還可實(shí)現(xiàn)當(dāng)數(shù)據(jù)庫(kù)性能需求增大時(shí)，待性能更高的硬件設(shè)備到位后，通過(guò)虛擬化遷移技術(shù)對(duì)RAC數(shù)據(jù)庫(kù)節(jié)點(diǎn)逐個(gè)離線遷移，確保數(shù)據(jù)庫(kù)服務(wù)不中斷；當(dāng)主機(jī)硬件出現(xiàn)異常宕機(jī)時(shí)或需要維護(hù)升級(jí)時(shí)，可將其承載的虛擬機(jī)離線遷移到其它備用計(jì)算設(shè)備上運(yùn)行，滿足數(shù)據(jù)庫(kù)安全運(yùn)行需要。

數(shù)據(jù)庫(kù)整體虛擬化對(duì)計(jì)算設(shè)備的配置也有適當(dāng)變化，配置更加注重CPU處理能力，包括主頻、線程、數(shù)量等；虛擬化部署數(shù)據(jù)庫(kù)的主機(jī)內(nèi)存原則上越大越好，現(xiàn)有的虛擬化軟件已可支持到至少1T主機(jī)內(nèi)存，每個(gè)虛擬機(jī)也能支持64核及1T內(nèi)存（VMware vsphere 5.1版本）；從性能和安全上考慮，HBA卡至少要2塊獨(dú)立8GB HBA卡，網(wǎng)卡一般也要求配置1G或10G網(wǎng)卡六塊以上。

負(fù)載均衡連接復(fù)用

發(fā)揮出色

為避免出現(xiàn)應(yīng)用瓶頸現(xiàn)象，金稅三期架構(gòu)規(guī)劃需要部署省級(jí)大廳前置系統(tǒng)，將常用的Web頁(yè)面和簡(jiǎn)單邏輯校驗(yàn)處理等功能前移到省級(jí)作為大廳系統(tǒng)部署，這樣既避免了Web頁(yè)面遠(yuǎn)距離重復(fù)加載，又避免了全國(guó)上班時(shí)間集中訪問(wèn)總局出現(xiàn)的后臺(tái)服務(wù)器瓶頸壓力。

重慶地稅借鑒過(guò)去省級(jí)大集中經(jīng)驗(yàn)，發(fā)現(xiàn)基層同時(shí)訪問(wèn)省級(jí)相同Web頁(yè)面概率比較高，例如征期訪問(wèn)申報(bào)頁(yè)面，重慶地稅果斷啟用F5負(fù)載均衡會(huì)話連接復(fù)用（One Connect）功能，大大降低了省級(jí)前置服務(wù)器會(huì)話并發(fā)壓力，將基層的3000多個(gè)并發(fā)會(huì)話（Session）請(qǐng)求降低至20～40個(gè)左右，大大提高了金稅三期省級(jí)大廳系統(tǒng)處理性能，總局組織的多次機(jī)器模擬和人海壓力測(cè)試均獲通過(guò)。

應(yīng)用計(jì)算節(jié)點(diǎn)整合部署

重慶地稅作為金稅三期首個(gè)上線省份，對(duì)省級(jí)大廳、前置、地方特色等系統(tǒng)應(yīng)用節(jié)點(diǎn)計(jì)算資源無(wú)實(shí)戰(zhàn)經(jīng)驗(yàn)參考，前期應(yīng)用開(kāi)發(fā)公司較多，每個(gè)公司都提出了獨(dú)立的應(yīng)用計(jì)算資源需求計(jì)劃，合計(jì)起來(lái)需求數(shù)量較大。

重慶地稅按照總局架構(gòu)要求，提出應(yīng)用計(jì)算資源Weblogic應(yīng)用性能可通過(guò)節(jié)點(diǎn)大規(guī)模部署負(fù)載均衡解決，每個(gè)Weblogic計(jì)算節(jié)點(diǎn)對(duì)硬件資源要求不太高，一般為4CPU/4G內(nèi)存，為節(jié)省建設(shè)資金，提高采購(gòu)效率，重慶地稅提出跟標(biāo)總局64片刀片服務(wù)器的采購(gòu)需求，采用整體虛化化部署方式來(lái)推進(jìn)省級(jí)大廳、前置、地方特色等系統(tǒng)應(yīng)用部署，此方案具有性價(jià)比高、運(yùn)行相對(duì)穩(wěn)定的特點(diǎn)，刀片服務(wù)器與數(shù)據(jù)庫(kù)計(jì)算設(shè)備一樣，統(tǒng)一部署VMware虛擬化軟件，實(shí)現(xiàn)幾百乃至上千個(gè)Weblogic應(yīng)用計(jì)算節(jié)點(diǎn)資源池的調(diào)度能力。

經(jīng)驗(yàn)分享

數(shù)據(jù)庫(kù)計(jì)算設(shè)備掛載存儲(chǔ)系統(tǒng)時(shí)，推薦采用掛載存儲(chǔ)裸設(shè)備方式。如采用VMDK虛擬磁盤(pán)部署數(shù)據(jù)庫(kù)，在VMware軟件實(shí)施時(shí)需要多項(xiàng)復(fù)雜操作，不但磁盤(pán)I/O性能較低，且長(zhǎng)期高負(fù)荷運(yùn)行時(shí)的穩(wěn)定性也存在疑問(wèn)。

虛擬化分區(qū)部署，金稅三期要求建設(shè)若干安全區(qū)域，重慶地稅主要建立了核心安全區(qū)、公眾服務(wù)區(qū)、橫向交換區(qū)三個(gè)虛擬化管理區(qū)，其中核心安全區(qū)需求數(shù)量最大，數(shù)據(jù)庫(kù)計(jì)算設(shè)備和應(yīng)用計(jì)算設(shè)備主要分布在該區(qū)域；公眾服務(wù)區(qū)基于安全考慮，原則上只部署應(yīng)用計(jì)算設(shè)備，用于發(fā)布Web應(yīng)用節(jié)點(diǎn)；橫向交換區(qū)計(jì)算設(shè)備需求數(shù)量最少，可適當(dāng)部署數(shù)據(jù)庫(kù)和應(yīng)用計(jì)算設(shè)備。

系統(tǒng)存儲(chǔ)問(wèn)題，過(guò)去存儲(chǔ)系統(tǒng)主要規(guī)劃用于數(shù)據(jù)庫(kù)，虛擬化部署方案基于安全遷移等考慮，規(guī)劃上還需要考慮虛擬化系統(tǒng)本身的存儲(chǔ)需要，其容量與數(shù)據(jù)庫(kù)大小相當(dāng)，性能適中，安全適中，一般采用Raid 5+熱備盤(pán)的配置。

虛擬化部署對(duì)硬件設(shè)備資源的變化，采用整體虛擬化部署后，硬件資源配置重點(diǎn)也發(fā)生變化，主要是四項(xiàng)指標(biāo)：CPU處理能力、內(nèi)存容量、網(wǎng)卡能力和存儲(chǔ)卡能力，而對(duì)服務(wù)器本機(jī)硬盤(pán)配置要求大大降低，一般配置VMware啟動(dòng)盤(pán)即可。