SKA數(shù)據(jù)中心云平臺(tái)方案的概念性研究

王玲玲，勞保強(qiáng)，陸揚(yáng)，伍筱聰，郭紹光

中國(guó)科學(xué)院上海天文臺(tái)，上海 200030

SKA數(shù)據(jù)中心云平臺(tái)方案的概念性研究

王玲玲，勞保強(qiáng)，陸揚(yáng)，伍筱聰，郭紹光

中國(guó)科學(xué)院上海天文臺(tái)，上海 200030

針對(duì)平方公里陣列（SKA）望遠(yuǎn)鏡數(shù)據(jù)中心海量數(shù)據(jù)存儲(chǔ)和管理的要求，結(jié)合當(dāng)前云計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)，對(duì)SKA數(shù)據(jù)中心的云平臺(tái)方案進(jìn)行了研究。調(diào)研了有關(guān)業(yè)界的發(fā)展?fàn)顩r，對(duì)建設(shè)數(shù)據(jù)中心“私有云”進(jìn)行了前期的一系列嘗試，將具體的天文處理軟件部署到云平臺(tái)并進(jìn)行初步測(cè)試。

平方公里陣列；云計(jì)算；數(shù)據(jù)中心；私有云

1 引言

平方公里陣列（square kilometer array，SKA）望遠(yuǎn)鏡項(xiàng)目是國(guó)際天文界自20世紀(jì)90年代就開(kāi)始計(jì)劃建造的超級(jí)望遠(yuǎn)鏡，平方公里是指望遠(yuǎn)鏡陣列的綜合接收面積可達(dá)一平方公里，整個(gè)望遠(yuǎn)鏡最終將由近3 000個(gè)拋物面天線和上百萬(wàn)個(gè)螺旋陣子天線組成①http://www. skatelescope.org/[1，2]。

SKA項(xiàng)目涉及除了天文之外的眾多領(lǐng)域，集成了各領(lǐng)域的最高科技成果，這需要非常廣泛的國(guó)際合作才能實(shí)現(xiàn)，歷經(jīng)多年的多番論證和談判，目前確定的主要參加國(guó)包括英國(guó)、澳大利亞、南非、中國(guó)、意大利、荷蘭、新西蘭、瑞典、加拿大等，還有更多國(guó)家和地區(qū)在關(guān)注或洽談中。項(xiàng)目計(jì)劃從2018年開(kāi)始建設(shè)，到2030年結(jié)束，共分兩個(gè)階段進(jìn)行，即所謂的SKA1（2018—2023年）和SKA2（2024—2030年）②http://china. skatelescope.org/，屆時(shí)將分別在南非和澳大利亞兩個(gè)站址國(guó)建設(shè)數(shù)據(jù)處理中心。

2 面臨的挑戰(zhàn)

2.1 大數(shù)據(jù)量

SKA的數(shù)據(jù)量可以說(shuō)是驚人的，僅在SKA1階段，需要長(zhǎng)期存檔的科學(xué)數(shù)據(jù)就將每年增加50～300 PB，到了SKA2階段，這個(gè)數(shù)字將提高100倍，龐大的數(shù)據(jù)量和預(yù)算的限制決定了所有數(shù)據(jù)都由站址國(guó)數(shù)據(jù)處理中心分析處理是不可能的，還需要在其他國(guó)家或地區(qū)建設(shè)區(qū)域數(shù)據(jù)中心來(lái)進(jìn)行相應(yīng)的數(shù)據(jù)處理，并更好地為區(qū)域內(nèi)科學(xué)家開(kāi)展科學(xué)研究提供必要的計(jì)算和存儲(chǔ)資源，為此，SKA總部已明確提出了建設(shè)區(qū)域中心的要求，并組建了協(xié)調(diào)小組負(fù)責(zé)區(qū)域中心的頂層設(shè)計(jì)。區(qū)域數(shù)據(jù)中心的數(shù)據(jù)處理量或許會(huì)少于站址國(guó)數(shù)據(jù)處理中心，但在量級(jí)上是相當(dāng)?shù)模唧w的規(guī)模和設(shè)計(jì)取決于各承建國(guó)的預(yù)算、需求和能力。

SKA數(shù)據(jù)中心是一個(gè)共享的平臺(tái)，需要承擔(dān)科學(xué)分析、數(shù)據(jù)存儲(chǔ)和備份的任務(wù)，需要為科學(xué)家提供便捷、高效的數(shù)據(jù)處理和分析的服務(wù)，按照SKA的數(shù)據(jù)量和實(shí)時(shí)處理要求，這勢(shì)必要依賴超級(jí)計(jì)算機(jī)的支持，但若是按照現(xiàn)有架構(gòu)設(shè)計(jì)，不僅投資巨大，光是設(shè)備運(yùn)轉(zhuǎn)的電費(fèi)成本都將是一個(gè)天文數(shù)字。因此，設(shè)計(jì)低能耗、低成本、更先進(jìn)的計(jì)算架構(gòu)是SKA數(shù)據(jù)中心建設(shè)迫切需要解決的一大難題。

2.2 高性能計(jì)算和云計(jì)算

高性能計(jì)算向來(lái)是密集型科學(xué)計(jì)算的首選，多采用昂貴的服務(wù)器和頂尖的硬件配置來(lái)實(shí)現(xiàn)，這其中最著名的當(dāng)屬連續(xù)6年位居世界第一的“天河二號(hào)”③http://www. nscc-gz.cn。然而，如前所述，這些超級(jí)計(jì)算機(jī)的建設(shè)和運(yùn)營(yíng)成本太高，若要達(dá)到SKA的數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)處理要求，需要的造價(jià)要遠(yuǎn)遠(yuǎn)超出預(yù)算。

近幾年來(lái)，云計(jì)算已經(jīng)越來(lái)越得到業(yè)界青睞，以“亞馬遜云”為代表的一大批云服務(wù)已向公眾開(kāi)放，企業(yè)用戶紛紛向各種“云”靠攏，各種云計(jì)算技術(shù)層出不窮，可以說(shuō)云計(jì)算正以一種“不可替代”“不可阻擋”的趨勢(shì)發(fā)展。云計(jì)算的本質(zhì)就是將眾多普通計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)連接，共同解決大數(shù)據(jù)量的計(jì)算問(wèn)題，是一種較低成本的、可擴(kuò)展的計(jì)算架構(gòu)。

事實(shí)上，國(guó)際同行已經(jīng)分別對(duì)云、超算和集群3種平臺(tái)下的軟件運(yùn)行進(jìn)行了性能測(cè)試，結(jié)果表明云計(jì)算的表現(xiàn)還是很樂(lè)觀的，尤其在針對(duì)不同的計(jì)算實(shí)現(xiàn)靈活調(diào)配硬件資源方面具有明顯的領(lǐng)先優(yōu)勢(shì)[3]。

針對(duì)SKA的實(shí)際情況和高性能計(jì)算、云計(jì)算的各自優(yōu)勢(shì)，筆者認(rèn)為高性能計(jì)算和云計(jì)算兩者的融合將很可能是一種值得探討的方案。在本文中，筆者將對(duì)若干云平臺(tái)進(jìn)行一些嘗試，包括將天文數(shù)據(jù)處理軟件部署在云平臺(tái)上運(yùn)行。

2.3 天文數(shù)據(jù)處理軟件的瓶頸

幾十年的天文科學(xué)發(fā)展，產(chǎn)生了眾多的天文數(shù)據(jù)處理軟件，甚至針對(duì)某些同一類的科學(xué)觀測(cè)內(nèi)容，也會(huì)有多種軟件可供科學(xué)家選擇，鑒于SKA項(xiàng)目的復(fù)雜性和長(zhǎng)期性，將考慮采用現(xiàn)有的主流射電天文數(shù)據(jù)處理軟件，繼承其主要架構(gòu)和庫(kù)并針對(duì)SKA的數(shù)據(jù)特點(diǎn)進(jìn)行修改更新。其中，大型天文數(shù)據(jù)處理軟件普通天文軟件應(yīng)用（common astronomy software applications，CASA）是目前SKA采用的數(shù)據(jù)分析軟件，它是以美國(guó)國(guó)家射電天文臺(tái)（national radio astronomical observatory，NRAO）為首的眾多國(guó)際天文界的科學(xué)家共同開(kāi)發(fā)完成，CASA不但可以處理干涉陣的數(shù)據(jù)，也可以進(jìn)行單天線數(shù)據(jù)的處理，目前已廣泛應(yīng)用于射電天文界④http://casa.nrao. edu/。然而，CASA的原初設(shè)計(jì)并沒(méi)有考慮到PB量級(jí)的大數(shù)據(jù)，因此它是基于單點(diǎn)串行的，并不能很好地支持并行，這一點(diǎn)局限了CASA在未來(lái)大規(guī)模天文數(shù)據(jù)處理中的使用。為了解決這一難題，國(guó)際同行已在其數(shù)據(jù)I/O接口的改造方面做了很重要的工作，在一定程度上提升了數(shù)據(jù)讀寫速度[4]。

筆者以CASA為例，將其部署到云平臺(tái)上運(yùn)行，研究在云平臺(tái)上提高CASA性能的方法。

3 云平臺(tái)的選擇

云計(jì)算的種類很多，根據(jù)數(shù)據(jù)公開(kāi)的程度可以分為公有云、私有云、混合云；而從技術(shù)角度或者服務(wù)層面又可以分為基礎(chǔ)設(shè)施即服務(wù)（infrastructure as a service，IaaS）、平臺(tái)即服務(wù)（platform as a service，PaaS）和軟件即服務(wù)（software as a service，SaaS）。用戶有兩種選擇：使用成熟的公有云服務(wù)或是自己搭建私有云。筆者選取了其中有代表性的產(chǎn)品逐一進(jìn)行了嘗試。

3.1 公有云

在公有云領(lǐng)域，亞馬遜云、Microsoft Azure、阿里云等都是業(yè)內(nèi)著名產(chǎn)品，廠商提供服務(wù)，用戶租用所需資源或部署應(yīng)用、開(kāi)發(fā)產(chǎn)品，用戶不需關(guān)心底層運(yùn)維的一切事務(wù)，可大大節(jié)省精力去關(guān)注產(chǎn)品或應(yīng)用本身。這種云都具有復(fù)雜的計(jì)費(fèi)系統(tǒng)，根據(jù)用戶使用資源的大小、數(shù)量、時(shí)長(zhǎng)等進(jìn)行收費(fèi)，或者有若干免費(fèi)項(xiàng)目可供用戶試用。筆者在亞馬遜云上進(jìn)行了嘗試，注冊(cè)后登錄，選擇區(qū)域（需要注意的是每個(gè)區(qū)域能夠提供的服務(wù)會(huì)有些許差別），在控制頁(yè)面可以直觀地看到眾多服務(wù)，可以看出，亞馬遜云雖然是國(guó)際上IaaS市場(chǎng)用戶占有率最大的廠商，但是它的服務(wù)范圍并不限于IaaS的資源，還提供了很多PaaS及SaaS的服務(wù)和工具可供選擇，這些大大提升了用戶體驗(yàn)⑤http://aws. amazon.com/。

這里主要關(guān)注其中的亞馬遜彈性計(jì)算云（Amazon elastic compute cloud，EC2）服務(wù)，該服務(wù)提供在云中可調(diào)整大小的計(jì)算容量，即可以提供任意大小的虛擬服務(wù)器。使用時(shí)，首先，啟動(dòng)一個(gè)實(shí)例，也就是啟動(dòng)一個(gè)虛擬服務(wù)器，選擇一個(gè)鏡像，按照提示一步步配置，創(chuàng)建密鑰對(duì)并下載，完成。點(diǎn)擊查看實(shí)例可以看到新啟動(dòng)的實(shí)例的詳細(xì)信息，使用安全外殼協(xié)議（secure shell protocol, SSH）連接實(shí)例（連接需要驗(yàn)證之前創(chuàng)建的密鑰對(duì)）進(jìn)行操作。

由于亞馬遜云并沒(méi)有在中國(guó)建立數(shù)據(jù)中心，筆者測(cè)試時(shí)使用的區(qū)域是美國(guó)東部（美國(guó)弗吉尼亞州北部），所以連接實(shí)例時(shí)有時(shí)會(huì)產(chǎn)生命令延遲的感覺(jué)，即使嘗試亞太區(qū)域（日本東京）也沒(méi)有明顯提高。

3.2 私有云

“私有云”顧名思義就是可供一定范圍內(nèi)的用戶使用的專有云，用戶自己擁有基礎(chǔ)設(shè)施，自行安裝專用的軟件，同時(shí)也需自行控制網(wǎng)絡(luò)和數(shù)據(jù)的安全性?；A(chǔ)設(shè)施架構(gòu)的選擇有VMware和OpenStack等，其中后者是開(kāi)源的，鑒于研究經(jīng)費(fèi)限制，這里重點(diǎn)關(guān)注后者。

OpenStack由美國(guó)國(guó)家航空航天局（National Aeronautics and Space Administration，NASA）和Rackspace（全球三大云計(jì)算中心之一）共同發(fā)起，是如今最流行的大型開(kāi)源項(xiàng)目，是全球開(kāi)發(fā)人員的合作成果，旨在提供標(biāo)準(zhǔn)的公有云和私有云的云計(jì)算平臺(tái)，背后有著活躍的開(kāi)發(fā)者社區(qū)和一些業(yè)界最大企業(yè)的支持，其社區(qū)是全世界增長(zhǎng)最快的開(kāi)源社區(qū)之一，目前已有59 583人，涉及612個(gè)企業(yè)、184個(gè)國(guó)家和地區(qū)，共產(chǎn)生了超過(guò)2 000萬(wàn)行代碼⑥http://www. openstack.org/。

OpenStack本質(zhì)是一個(gè)云操作系統(tǒng)，控制整個(gè)數(shù)據(jù)中心的大量計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，所有這些都通過(guò)儀表盤管理，管理員授權(quán)用戶通過(guò)Web界面或者應(yīng)用程序編程接口（application programming interface，API）訪問(wèn)資源，在這一點(diǎn)上，所有的基礎(chǔ)設(shè)施架構(gòu)都差不多。

再進(jìn)一步細(xì)分，OpenStack由多個(gè)針對(duì)不同用途的項(xiàng)目組成，比如針對(duì)計(jì)算、塊存儲(chǔ)、對(duì)象存儲(chǔ)、鏡像、網(wǎng)絡(luò)、認(rèn)證等服務(wù)，分別稱為NOVA、CINDER、SWIFT、GLANCE、NEUTRON、KEYSTONE等，這些稱之為核心服務(wù)，用戶可以根據(jù)需求選擇安裝與否。

4 測(cè)試

本節(jié)重點(diǎn)介紹OpenStack私有云的搭建和CASA軟件在其中運(yùn)行的體驗(yàn)過(guò)程。

4.1 安裝OpenStack

OpenStack的安裝方法有多種，第一種是直接下載源代碼安裝。按照文檔介紹一步步配置網(wǎng)絡(luò)，安裝各組件，這是最直接的一種安裝方式，但是這對(duì)于初學(xué)者來(lái)說(shuō)太過(guò)復(fù)雜，門檻較高。尤其是OpenStack的網(wǎng)絡(luò)很復(fù)雜，標(biāo)準(zhǔn)的配置有4個(gè)不同的網(wǎng)絡(luò)層：管理網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、外部公共網(wǎng)絡(luò)和API網(wǎng)絡(luò)，安裝人員必須對(duì)網(wǎng)絡(luò)尤其是虛擬網(wǎng)絡(luò)技術(shù)有很深刻的理解，并且需在進(jìn)行一定的規(guī)劃和設(shè)計(jì)之后才能進(jìn)行，否則就需要全部重新開(kāi)始。

第二種方法是官網(wǎng)推薦的使用DevStack快速安裝。DevStack是一系列腳本，可以幫助用戶在單機(jī)上很快速地安裝完整的OpenStack實(shí)驗(yàn)環(huán)境，整個(gè)安裝過(guò)程非常簡(jiǎn)單，筆者測(cè)試用的計(jì)算機(jī)的操作系統(tǒng)是Ubuntu14.04，按照說(shuō)明逐步進(jìn)行操作，具體如圖1所示。

第三種安裝方法是利用業(yè)內(nèi)廠商集成的軟件來(lái)安裝。眾多專注于OpenStack的企業(yè)提供了各具特色的集成服務(wù)，比如IBM、CISCO、RedHat、Mirantis、九州云、海云捷迅、EasyStack、UnitedStack等。這幾家廠商的產(chǎn)品各有側(cè)重，最終，筆者選用了業(yè)內(nèi)普遍好評(píng)的Mirantis公司的Fuel工具來(lái)試用。

Fuel是專門用于部署和管理OpenStack的實(shí)用工具，部署過(guò)程中可以任意選擇OpenStack版本或是其他第三方插件，并實(shí)時(shí)查看部署狀態(tài)，部署完成后可以隨時(shí)進(jìn)行維護(hù)或擴(kuò)展自己的云。另外，F(xiàn)uel還可以輕松實(shí)現(xiàn)部署并管理多個(gè)云，所有這些操作均通過(guò)Web界面進(jìn)行，用戶體驗(yàn)好⑦h(yuǎn)ttps://www. mirantis.com/。

筆者的測(cè)試在一臺(tái)運(yùn)行Windows7系統(tǒng)的筆記本上進(jìn)行，使用VirtualBox工具生成多個(gè)虛擬機(jī)進(jìn)行安裝。詳細(xì)過(guò)程如圖2所示，過(guò)程中全部選用默認(rèn)設(shè)置。

圖1 DevStack安裝示意

4.2 安裝CASA軟件并測(cè)試運(yùn)行

目前CASA的最新版本是v4.7.0，筆者測(cè)試時(shí)用的版本是v4.5.3，因?yàn)閯?chuàng)建的實(shí)例是Ubuntu系統(tǒng)，所以按照推薦，選擇了其中的Red Hat 6版本，安裝過(guò)程跟本地安裝完全相同。

CASA軟件的數(shù)據(jù)處理過(guò)程由很多任務(wù)和工具組成，用戶可根據(jù)數(shù)據(jù)情況選擇使用，主要的任務(wù)包括Manipulation、Calibration及Imaging等⑧https://casa. nrao.edu/docs/ UserMan/index. html。

實(shí)際測(cè)試過(guò)程選用了一段大小為596 MB的數(shù)據(jù)，數(shù)據(jù)來(lái)自坐落于智利的阿塔卡瑪毫米/亞毫米波陣列(atacama large millimeter/submillimeter array，ALMA)望遠(yuǎn)鏡，觀測(cè)時(shí)間近2 h，已經(jīng)過(guò)校準(zhǔn)。創(chuàng)建存儲(chǔ)卷并掛載到該實(shí)例，運(yùn)行CASA執(zhí)行clean（清除）任務(wù)，運(yùn)行過(guò)程跟在本地執(zhí)行任務(wù)相同。

然后，將此實(shí)例制作映像，以此為準(zhǔn)再次創(chuàng)建并啟動(dòng)5個(gè)實(shí)例，分別運(yùn)行split（拆分）及clean任務(wù)，其中split任務(wù)以數(shù)據(jù)的每個(gè)field（區(qū)域）為范圍進(jìn)行，中間數(shù)據(jù)及結(jié)果數(shù)據(jù)復(fù)制到存儲(chǔ)卷備用。具體測(cè)試流程如圖3所示。

圖2 使用Fuel安裝OpenStack示意

測(cè)試過(guò)程中各實(shí)例各任務(wù)執(zhí)行所花費(fèi)的時(shí)間統(tǒng)計(jì)如圖4所示，因?yàn)?個(gè)實(shí)例同時(shí)運(yùn)行，所以其中耗時(shí)最多的實(shí)例所用時(shí)間可視為整個(gè)任務(wù)的執(zhí)行時(shí)間，顯而易見(jiàn)，其中實(shí)例4總用時(shí)最多，達(dá)79.38 s，而同樣的數(shù)據(jù)若由一臺(tái)主機(jī)來(lái)處理，各任務(wù)加起來(lái)則需用時(shí)180.5 s，所以，云平臺(tái)的處理速度優(yōu)勢(shì)很明顯。

仔細(xì)分析可發(fā)現(xiàn)，在各個(gè)實(shí)例的任務(wù)執(zhí)行過(guò)程中，耗時(shí)最多的任務(wù)是數(shù)據(jù)復(fù)制，即數(shù)據(jù)從實(shí)例復(fù)制到公用存儲(chǔ)卷所花費(fèi)的時(shí)間最多。不過(guò)，隨著數(shù)據(jù)的增長(zhǎng)，數(shù)據(jù)I/O口對(duì)整個(gè)數(shù)據(jù)處理時(shí)間的影響會(huì)大大削弱（如圖5、圖6所示）。

圖3 啟動(dòng)5個(gè)實(shí)例同時(shí)開(kāi)始處理數(shù)據(jù)

圖4 執(zhí)行各個(gè)任務(wù)所花費(fèi)的時(shí)間

圖5 數(shù)據(jù)容量與復(fù)制時(shí)間示意

4.3 討論

上述測(cè)試中，創(chuàng)建和運(yùn)行的實(shí)例是通過(guò)儀表盤Web 應(yīng)用程序來(lái)手動(dòng)執(zhí)行的，如果希望實(shí)現(xiàn)自動(dòng)化運(yùn)行應(yīng)用，則需要編寫自動(dòng)化腳本，而由于所有 OpenStack 服務(wù)都公開(kāi)了原生的Python API綁定，所以用戶只要安裝OpenStack客戶端就可以進(jìn)行自動(dòng)化配置及操作⑨http://docs. openstack.org/ developer/ languagebindings.html。具體使用方法是先安裝相應(yīng)服務(wù)的工具，比如若要使用計(jì)算服務(wù)，則先安裝novaclient，若要啟動(dòng)一個(gè)實(shí)例，則只需一條指令。

上述只是一個(gè)演示性測(cè)試，若真正用于天文數(shù)據(jù)處理，還有很多細(xì)節(jié)問(wèn)題需要考慮，以目前的結(jié)果來(lái)看，效果已經(jīng)很顯著，可以說(shuō)，云平臺(tái)方案對(duì)于天文數(shù)據(jù)中心的應(yīng)用前景是樂(lè)觀的。同時(shí)，云平臺(tái)的建設(shè)并不需要特別昂貴的基礎(chǔ)設(shè)施成本投入，這對(duì)于一個(gè)數(shù)據(jù)中心的建設(shè)來(lái)說(shuō)無(wú)疑是個(gè)很大的優(yōu)勢(shì)。

另外，值得注意的是，由于將來(lái)要處理的數(shù)據(jù)是海量的，所以在實(shí)際運(yùn)行中需將數(shù)據(jù)盡量小地分割，盡量降低單個(gè)實(shí)例上運(yùn)行的數(shù)據(jù)量，最后再將數(shù)據(jù)整合。根據(jù)天文數(shù)據(jù)的特點(diǎn)，可以按照頻率、通道或時(shí)間來(lái)切分。具體實(shí)施需要繼續(xù)測(cè)試，如圖7所示。

分割的過(guò)程中，需注意數(shù)據(jù)分割的粒度問(wèn)題，即仔細(xì)分析每種實(shí)例一次處理多大的數(shù)據(jù)是最優(yōu)化的，依此來(lái)確定在開(kāi)始時(shí)需將數(shù)據(jù)分割成多大。另一個(gè)很重要的問(wèn)題是資源調(diào)度，實(shí)際運(yùn)行中每個(gè)實(shí)例的處理速度不完全相同，如何給實(shí)例分配資源、創(chuàng)建啟動(dòng)的順序從而實(shí)現(xiàn)協(xié)同處理，也是需要仔細(xì)研究的課題。

5 結(jié)束語(yǔ)

由于資源的限制，本次原理性驗(yàn)證實(shí)驗(yàn)只是構(gòu)建了一個(gè)最基本配置的測(cè)試平臺(tái)，節(jié)點(diǎn)少，配置低，使用的測(cè)試數(shù)據(jù)量也不太大，目前的工作只是萬(wàn)里長(zhǎng)征的第一步，進(jìn)一步的大規(guī)模性能測(cè)試需要擴(kuò)展云平臺(tái)的資源后進(jìn)行。在后續(xù)研究中，將綜合比較云平臺(tái)與超算平臺(tái)下軟件的執(zhí)行效率等性能，詳細(xì)研究SKA數(shù)據(jù)中心的建設(shè)方案。

圖6 數(shù)據(jù)容量與復(fù)制時(shí)間示意（與原始數(shù)據(jù)比較）

圖7 啟動(dòng)批量實(shí)例協(xié)同處理數(shù)據(jù)示意

[1] DEWDNEY P E, HALL P J, SCHILLIZZI R T, et al. The square kilometre array[J]. Proceedings of the IEEE, 2009(97): 1482-1496.

[2] 彭勃, 金乘進(jìn), 杜彪, 等. 持續(xù)參與世界最大綜合孔徑望遠(yuǎn)鏡SKA國(guó)際合作[J]. 中國(guó)科學(xué): 物理學(xué)力學(xué)天文學(xué), 2012, 42(12): 1292-1307. PENG B, JIN C J, DU B, et al. China's participation in the SKA-the world's largest synthesis radio telescope[J]. Scientia Sinica: Physica, Mechanica & Astronmica, 2012, 42(12): 1292-1307.

[3] DODSON R, VINSEN K, WU C, et al. Imaging SKA-scale data in three different computing environments[J]. Physics, 2015(14): 8-22.

[4] WANG R, HARRIS C, WICENEC A. AdiosStMan: parallelizing casacore table data system using adaptive IO system[J]. Astronomy and Computing, 2016(16): 146-154.

作者簡(jiǎn)介

王玲玲（1978-），女，中國(guó)科學(xué)院上海天文臺(tái)高級(jí)工程師，主要研究方向?yàn)樯潆娡h(yuǎn)鏡臺(tái)站監(jiān)控、臺(tái)站時(shí)頻系統(tǒng)、天文大數(shù)據(jù)存儲(chǔ)和云計(jì)算等。

勞保強(qiáng)（1989-），男，中國(guó)科學(xué)院上海天文臺(tái)助理工程師，主要研究方向?yàn)榇鎯?chǔ)底層I/O并行技術(shù)和數(shù)字波束形成技術(shù)。

陸揚(yáng)（1985-），女，中國(guó)科學(xué)院上海天文臺(tái)助理工程師，主要研究方向?yàn)樘煳呐c統(tǒng)計(jì)。

伍筱聰（1989-），女，中國(guó)科學(xué)院上海天文臺(tái)助理工程師，主要研究方向?yàn)镾KA數(shù)據(jù)處理。

郭紹光（1985-），男，中國(guó)科學(xué)院上海天文臺(tái)工程師，主要研究方向?yàn)閂LBI技術(shù)、相關(guān)處理及終端存儲(chǔ)。

Conceptual research of the cloud platform scheme for SKA data centres

WANG Lingling, LAO Baoqiang, LU Yang, WU Xiaocong, GUO Shaoguang
Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China

The cloud platform concept of the data center of the square kilometre array (SKA) was investigated, aiming at the big data storage and management requirements of the data centres of SKA. Based on some research of the industry development, the preliminary tests of the construction of data center "private cloud" were presented here, including a specific astronomical processing software deployment and operation in the cloud platform.

square kilometre array, cloud computing, data center, private cloud

TP391

A

10.11959/j.issn.2096-0271.2016068

2016-10-08

中國(guó)科學(xué)院天文財(cái)政專項(xiàng)“SKA1科學(xué)與數(shù)據(jù)中心概念性研究”基金資助項(xiàng)目

Foundation Item:Conceptual Studies of the SKA-1 Science and Data Centre, Special Funding for Astronomy of the Chinese Academy of Sciences