以公有云搞定“不合理”需求環(huán)境

邱燕娜

欄目寄語：

為了強化云技術(shù)，落地云應(yīng)用，彰顯云價值，微軟（中國）攜手中國計算機報舉辦了“微軟Cloud OS第二屆云創(chuàng)益大賽”。本屆大賽歷時111天，共吸引了6647位個人組選手回答了70，078道題，59支參賽團隊參賽，共計30多萬次官網(wǎng)訪問量，29，000多條官方微博互動。大賽為參賽者提供了一個了解、體驗和應(yīng)用微軟“全云”的平臺，同時也涌現(xiàn)出一批優(yōu)秀的團隊和作品。為了樹立“全云”時代的標(biāo)桿、表彰優(yōu)秀參賽團隊，本欄目將持續(xù)報道10支進入決賽圈的參賽團隊及其優(yōu)秀作品。

易維清借助微軟Windows Azure公有云服務(wù)構(gòu)建環(huán)境信息系統(tǒng)，可以根據(jù)計算需求租用資源，不但快速滿足了看似不合理的復(fù)雜的環(huán)境信息系統(tǒng)的應(yīng)用需求，還有效降低了成本。

“不合理”需求

作為我國環(huán)境信息系統(tǒng)之一，中國重點流域水文預(yù)測預(yù)報系統(tǒng)隸屬于環(huán)保部的重點流域環(huán)境保護監(jiān)管項目，是北京易維清信息技術(shù)股份有限公司（簡稱易維清）與北京大學(xué)環(huán)境學(xué)院共同完成。當(dāng)前，水污染問題備受關(guān)注，只有清晰地劃分排污權(quán)責(zé)，才能真正做到有據(jù)可依、有效管理，減少水污染。為此，自2012年起，環(huán)保部不斷加大投資，持續(xù)推進中國重點流域水文預(yù)測預(yù)報系統(tǒng)的建設(shè)。

中國重點流域水文預(yù)測預(yù)報系統(tǒng)具有探索性、公益性、示范性等特征，系統(tǒng)的建設(shè)不但難度很大，而且面臨很多限制。其建設(shè)難度主要體現(xiàn)在：

首先，環(huán)境領(lǐng)域很多科學(xué)研究工作具有前沿性，需求變動往往非常頻繁。有時候在研究過程中，相關(guān)研究人員經(jīng)常會推翻之前的所有做法，改變整體技術(shù)路線，導(dǎo)致需求發(fā)生顛覆性的變動。其次，環(huán)境信息系統(tǒng)的負(fù)載普遍波動很大，因為很多系統(tǒng)都涉及科學(xué)模型計算，而科學(xué)模型運算對磁盤、內(nèi)存和CPU有極高的要求。而在運算完成之后，系統(tǒng)僅執(zhí)行查詢、報表輸出等對負(fù)載要求不高的操作，負(fù)載馬上會回落至較低水平。中國重點流域水文預(yù)測預(yù)報系統(tǒng)還有一些特殊的情況。如果系統(tǒng)只是用來預(yù)測每月或每日的平均流量，計算時間超過30分鐘即可接受。但系統(tǒng)還肩負(fù)著應(yīng)急處置輔助決策的任務(wù)。當(dāng)出現(xiàn)環(huán)境突發(fā)事件的時候，需要在短時間內(nèi)模擬計算大量情景給決策者提供真正的幫助。這給計算資源提出很高要求。另外，我國環(huán)境信息系統(tǒng)的投資通常是多年滾動進行的，不會一次釋放，因此項目組需要嚴(yán)格控制成本，充分利用已有資源和已建成的大量系統(tǒng)，同時還要避免重復(fù)性勞動。投資不大，而對計算資源的需求卻很高，需求還頻繁變動，環(huán)境信息系統(tǒng)往往會提出這樣看起來根本“不合理”的需求。

同時解決技術(shù)和成本問題

“用戶的所有要求一定是合理的！”易維清的項目負(fù)責(zé)人李楠介紹，易維清希望改變傳統(tǒng)的本地部署模式，而嘗試采用公有云服務(wù)來滿足中國重點流域水文預(yù)測預(yù)報系統(tǒng)運行的需求。為此，易維清項目組從系統(tǒng)的需求出發(fā)，比較了當(dāng)前主流公有云服務(wù)，綜合考慮開發(fā)效率、部署難度和價格等因素后選擇了Windows Azure，其中包括Virtual Machines、Web Sites、SQL Azure、Virtual Network、ArcGIS Server 10.2 （地理信息服務(wù)平臺）和Microsoft Visual Studio （編程開發(fā)平臺）。

為了更好地了解采用公有云的優(yōu)劣勢，易維清的項目組采用一臺服務(wù)器這種傳統(tǒng)模式與WindowsAzure托管模式進行簡單的成本效益分析。李楠告訴記者，在傳統(tǒng)模式下，針對系統(tǒng)的需求，他們最起碼要購置一臺4核服務(wù)器進行托管。而在通常情況下，項目初期經(jīng)費很難到位，項目組難免要先墊付資金。而采用WindowsAzure服務(wù)，他們不用再采購服務(wù)器等硬件，這可以大幅降低項目初期的開發(fā)成本，還可避免資金墊付。而且，借助WindowsAzure便捷的技術(shù)與服務(wù)選擇、搭配和配置，項目組可以方便地按需租用資源，在大部分時間（99%的時間）內(nèi)系統(tǒng)在單核模式下運行即可，而只有極少數(shù)時間（1%的時間），也就是說進行模型計算時，才需要租用8核服務(wù)器的資源。易維清選擇WindowsAzure VM的伸縮技術(shù)，可以同時解決技術(shù)和成本兩個棘手的問題，只有在有應(yīng)急需求時他們才需要增加CPU數(shù)量，平時系統(tǒng)則一直運行在低負(fù)載狀態(tài)。

采用WindowsAzure服務(wù)還可以從操作系統(tǒng)、SQL Server和日常運維等方面顯著降低成本。分析結(jié)果表明，采用Windows Azure，首年的系統(tǒng)運行成本可以降低94%。李楠認(rèn)為，從中長期來看，一方面要考慮到如果采用傳統(tǒng)模式，每年有10%的折舊；另一方面要考慮到如果采用WindowsAzure服務(wù)，由于存儲負(fù)載等需求的增長，費用每年增長約10%，以5年來計算，使用WindowsAzure可以節(jié)省近80%。

搭建混合云優(yōu)化資源配置

基于數(shù)據(jù)安全的考慮，易維清采用的是混合云模式。易維清的做法是，將系統(tǒng)所涉及的所有數(shù)據(jù)保存在與公網(wǎng)隔離的內(nèi)網(wǎng)中，模型運算所需原始數(shù)據(jù)經(jīng)過處理后，通過ETL（數(shù)據(jù)抽取、轉(zhuǎn)換和加載）導(dǎo)入公網(wǎng)數(shù)據(jù)庫服務(wù)器。這套公網(wǎng)數(shù)據(jù)庫服務(wù)器和ETL方案正是之前其他項目的成果。模型馴化與參數(shù)率定工作，則由工作站推送至天河一號超級計算機平臺進行運算。

通過WindowsAzure的VPN功能將公網(wǎng)數(shù)據(jù)服務(wù)器引入WindowsAzure中組成混合云。通過轉(zhuǎn)換，降低參數(shù)率定后模型的算法復(fù)雜度，將新的算法從天河一號超級計算機平臺送入WindowsAzure中的模型運算虛擬機。使用Windows Azure虛擬機功能將用于模型計算的虛擬機和提供地理信息服務(wù)的ArcGIS Server部署在其中。使用Windows Azure Web Sites進行Web應(yīng)用程序的部署，形成用戶最終訪問的網(wǎng)站。模型計算虛擬機和ArcGIS Server虛擬機為網(wǎng)站提供服務(wù)調(diào)用。用戶通過網(wǎng)站進行數(shù)據(jù)的輸入、計算參數(shù)的設(shè)置和多種方式的數(shù)據(jù)查詢，模型計算和地理信息的處理都是由虛擬機在后臺完成。采用SQL Azure和通過VPN引入的SQL Server滿足數(shù)據(jù)庫需求。值得一提的是，系統(tǒng)的核心功能是計算，而無需大文件存儲功能，傳統(tǒng)關(guān)系型數(shù)據(jù)庫即可滿足數(shù)據(jù)更新要求。

李楠介紹，易維清的項目團隊還通過自主研發(fā)的系統(tǒng)開發(fā)中間件——易維清源代碼生成軟件形成了敏捷開發(fā)模式，以滿足需求的頻繁變動。項目組首先要在SQL management studio上搭建數(shù)據(jù)結(jié)構(gòu)模型；然后在中間件中完成功能設(shè)計，一鍵生成整個Visual Studio解決方案的源代碼；最后，通過Visual Studio進行二次開發(fā)，完成測試和部署。通過這種開發(fā)模式，項目團隊可以較好地應(yīng)對突如其來的需求變動，同時又與WindowsAzure緊密結(jié)合起來提高生產(chǎn)和測試的效率。endprint