十萬億計(jì)算 提升性能——助力深圳先進(jìn)技術(shù)研究院成功升級(jí)

曙光信息產(chǎn)業(yè)(北京)有限公司 寧雷

隨著信息化技術(shù)的發(fā)展，各行業(yè)都在馬不停蹄的進(jìn)行著各自的信息化步伐。曙光5000A的出世，對(duì)于在我國(guó)計(jì)算機(jī)領(lǐng)域的發(fā)展來說可謂是歷史性的進(jìn)展。百萬億次超級(jí)計(jì)算機(jī)的誕生不僅證明我國(guó)擁有自主研發(fā)超級(jí)計(jì)算機(jī)的能力，而且對(duì)于挑戰(zhàn)美國(guó)壟斷終于有了實(shí)際性的突破，有機(jī)會(huì)成為世界上密度最高的超級(jí)計(jì)算機(jī)。有力的推動(dòng)了我國(guó)信息化時(shí)代的發(fā)展步伐。

一、用戶背景

深圳先進(jìn)技術(shù)研究院是隸屬中國(guó)科學(xué)院的國(guó)家級(jí)研究所，研究院試圖通過信息領(lǐng)域核心技術(shù)的集成創(chuàng)新和學(xué)科交叉，提升我國(guó)現(xiàn)代制造業(yè)、現(xiàn)代服務(wù)業(yè)的自主創(chuàng)新能力。研究院以汽車電子、智能儀器儀表、先進(jìn)制造裝備、電子設(shè)備、醫(yī)療儀器設(shè)備、家用電器等為重點(diǎn)應(yīng)用領(lǐng)域，以計(jì)算機(jī)、集成電路、軟件為學(xué)科基礎(chǔ)，以人機(jī)交互集成技術(shù)、智能仿生集成技術(shù)為基礎(chǔ)性戰(zhàn)略性技術(shù)研究領(lǐng)域，以汽車電子集成技術(shù)、儀器儀表集成技術(shù)、先進(jìn)制造設(shè)備集成技術(shù)、電子設(shè)備集成技術(shù)作為面向應(yīng)用的技術(shù)研發(fā)領(lǐng)域，集成智能控制、先進(jìn)材料、光電子及微系統(tǒng)、基于超級(jí)計(jì)算的虛擬設(shè)計(jì)與模擬、工業(yè)設(shè)計(jì)等技術(shù)，形成原始科學(xué)創(chuàng)新、關(guān)鍵技術(shù)創(chuàng)新、系統(tǒng)集成創(chuàng)新緊密結(jié)合的研發(fā)體系，促進(jìn)我國(guó)以現(xiàn)代信息技術(shù)為核心的新興產(chǎn)業(yè)的發(fā)展。

二、用戶需求

隨著現(xiàn)代信息技術(shù)的發(fā)展，深圳先進(jìn)技術(shù)研究院作為一家促進(jìn)我國(guó)新興產(chǎn)業(yè)發(fā)展的機(jī)構(gòu)?；诟呒夹g(shù)和高密度的需求，因此對(duì)于計(jì)算機(jī)系統(tǒng)、存儲(chǔ)系統(tǒng)、以及操作系統(tǒng)有著極大的要求，而對(duì)于計(jì)算機(jī)系統(tǒng)的長(zhǎng)時(shí)間持續(xù)服務(wù)能力的要求更是迫切。

該系統(tǒng)的建設(shè)要求具備高性能、可擴(kuò)展、高可靠、易管理等特點(diǎn)，不僅要滿足現(xiàn)狀，還要擁有支持今后不斷更新和升級(jí)需要的伸縮性。

該系統(tǒng)須是一個(gè)具備先進(jìn)性和成熟性、互聯(lián)性和開放性、高可靠性、高可用性、高可維護(hù)性、高節(jié)能性以及伸縮性和擴(kuò)展性特點(diǎn)的集群系統(tǒng)。同時(shí)，要具備完善的管理措施和功能，以便于設(shè)備的安裝、配置和維護(hù)，以及對(duì)各種軟硬件資源的分配、調(diào)度和管理，已達(dá)到提高資源和資產(chǎn)利用率，減輕系統(tǒng)管理人員的工作負(fù)擔(dān)的目的。

三、用戶現(xiàn)狀

深圳先進(jìn)技術(shù)研究院之前已經(jīng)配置了一套 1.5Tflops曙光天潮 4000L集群系統(tǒng)，包括數(shù)十個(gè)節(jié)點(diǎn)，運(yùn)行了 CAE、CFD、計(jì)算物理化學(xué)等多個(gè)學(xué)科的應(yīng)用軟件。

此次采用曙光方案，曙光公司擁有得天獨(dú)厚的優(yōu)勢(shì)，可以根據(jù)用戶的要求整合深圳分院現(xiàn)有的曙光及其他超級(jí)計(jì)算資源，構(gòu)建本地區(qū)的綜合計(jì)算平臺(tái)，不存在任何兼容性問題和技術(shù)障礙。

四、針對(duì)性的解決方案

曙光在對(duì)深圳先進(jìn)技術(shù)研究院進(jìn)行分析之后，為研究院量身定做了一套用于大規(guī)模高性能計(jì)算的本套集群系統(tǒng)——曙光天潮5000系列超級(jí)計(jì)算機(jī)高效能計(jì)算集群系統(tǒng)。

本方案從計(jì)算子系統(tǒng)、網(wǎng)絡(luò)通信子系統(tǒng)以及存儲(chǔ)子系統(tǒng)三個(gè)方面都進(jìn)行了優(yōu)化設(shè)計(jì)，基于通用的集群架構(gòu)，通過高速網(wǎng)絡(luò)將上百個(gè)節(jié)點(diǎn)的計(jì)算能力匯聚到一起，可以支持大規(guī)模并行計(jì)算任務(wù)，充分適合多種類型應(yīng)用需求。

1、硬件方案：曙光公司為用戶提供的天潮5000高效能計(jì)算集群硬件系統(tǒng)包括計(jì)算子系統(tǒng)、存儲(chǔ)子系統(tǒng)、網(wǎng)絡(luò)子系統(tǒng)、管理診斷子系統(tǒng)、接入子系統(tǒng)以及基礎(chǔ)架構(gòu)子系統(tǒng)五個(gè)部分，系統(tǒng)整體架構(gòu)如下圖所示。

2、軟件系統(tǒng)：曙光5000高效能能計(jì)算機(jī)提供豐富的軟件系統(tǒng)，包括操作系統(tǒng)、編譯器、調(diào)試器、函數(shù)庫、并行通信庫、全局共享并行文件系統(tǒng)等基礎(chǔ)軟件，以及曙光公司專門為業(yè)內(nèi)高級(jí)用戶開發(fā)的 Gridview2.0綜合監(jiān)控管理系統(tǒng)、PowerConf智能功耗控制系統(tǒng)軟件和業(yè)界領(lǐng)先的Platform作業(yè)管理軟件。

曙光 5000高效能計(jì)算機(jī)為用戶提供了一個(gè)具有海量存儲(chǔ)能力和超級(jí)計(jì)算能力的高性能計(jì)算環(huán)境，包括登錄節(jié)點(diǎn)池、計(jì)算資源池以及存儲(chǔ)資源池等。高性能計(jì)算用戶還可以利用WEB、應(yīng)用集成GUI以及Scripts三種方式連接到集群登錄節(jié)點(diǎn)提交作業(yè)，并通過全局共享的并行存儲(chǔ)資源池存儲(chǔ)應(yīng)用程序的輸入文件和輸出結(jié)果。

此外，為了能完全滿足客戶的需求，該解決方案還配用了一套強(qiáng)大的制冷系統(tǒng)——水冷機(jī)柜系統(tǒng)。該水冷機(jī)柜系統(tǒng)是通過采用水冷制冷技術(shù)、機(jī)柜封閉式設(shè)計(jì)、機(jī)柜底部?jī)?nèi)置熱交換盤管、風(fēng)扇系統(tǒng)N＋1冗余設(shè)計(jì)等多項(xiàng)業(yè)界領(lǐng)先技術(shù)，來達(dá)到保障機(jī)組的可靠性和可用性。它由 40余臺(tái)水冷機(jī)柜及 10余臺(tái)冷水分配單元組成，無論是在技術(shù)先進(jìn)性還是節(jié)能等方面，均能完全滿足深圳先進(jìn)技術(shù)研究院的需求，而且還大幅度的提高了系統(tǒng)制冷效率。與傳統(tǒng)的機(jī)房冷卻系統(tǒng)相比，該系統(tǒng)的制冷效率提高了30%，與冷卻系統(tǒng)構(gòu)成了業(yè)界最完整的高熱密度解決方案，有效實(shí)現(xiàn)了客戶建設(shè)可靠、節(jié)能、環(huán)保的冷卻系統(tǒng)的目標(biāo)。

五、方案特點(diǎn)

針對(duì)深圳研究院高技術(shù)和高密度的需求，該方案除了具備高性能、可擴(kuò)展、高可靠、易管理等特點(diǎn)要求，滿足今后不斷更新和升級(jí)的需要。還具備以下的優(yōu)勢(shì)特點(diǎn)：

1、先進(jìn)性和成熟性

充分采用符合國(guó)際標(biāo)準(zhǔn)的、先進(jìn)并且成熟的計(jì)算機(jī)系統(tǒng)、存儲(chǔ)系統(tǒng)、以及操作系統(tǒng)等先進(jìn)技術(shù)和產(chǎn)品。

2、互聯(lián)性和開放性

計(jì)算機(jī)系統(tǒng)選用開放式系統(tǒng)，具有多平臺(tái)多系統(tǒng)的互聯(lián)支持能力，以滿足用戶開發(fā)和使用的要求。

3、高可靠性、高可用性、高可維護(hù)性

高效能計(jì)算系統(tǒng)要求 7×24小時(shí)的持續(xù)服務(wù)能力，因此在方案設(shè)計(jì)時(shí)，首先應(yīng)考慮選用穩(wěn)定可靠的產(chǎn)品和技術(shù)，使其具有優(yōu)秀的RAS特性和必要的冗余容錯(cuò)能力，為用戶提供高可用服務(wù)。要求系統(tǒng)在硬件配置、操作系統(tǒng)、以及系統(tǒng)管理等環(huán)節(jié)采取嚴(yán)格的安全可靠性措施，保證系統(tǒng)的正常運(yùn)轉(zhuǎn)。

4、高節(jié)能性

此次選用的網(wǎng)絡(luò)能源的水冷機(jī)柜系統(tǒng)，曾榮獲德國(guó)工業(yè)設(shè)計(jì)界“諾貝爾”獎(jiǎng)——紅點(diǎn)大獎(jiǎng)(reddot)，在歐洲各國(guó)享有極高的聲譽(yù)并獲得了廣泛的應(yīng)用。其擁有的節(jié)能技術(shù)可有效實(shí)現(xiàn)客戶建設(shè)可靠、節(jié)能、環(huán)保的冷卻系統(tǒng)目標(biāo)。

5、可縮放性和可擴(kuò)展性

系統(tǒng)不但要能滿足現(xiàn)階段的業(yè)務(wù)要求，而且要能滿足將來業(yè)務(wù)的增長(zhǎng)和新技術(shù)發(fā)展的要求，要在原有設(shè)備繼續(xù)發(fā)揮作用的基礎(chǔ)上，保證用戶能方便地增加或調(diào)整設(shè)備，改善系統(tǒng)功能和性能，支持將來系統(tǒng)不斷更新和便于升級(jí)。系統(tǒng)結(jié)構(gòu)應(yīng)能支持主要的協(xié)議、標(biāo)準(zhǔn)和規(guī)范，應(yīng)能運(yùn)行當(dāng)今流行的軟件環(huán)境下開發(fā)的各種應(yīng)用系統(tǒng)并可以在線軟件升級(jí)、調(diào)配；同時(shí)應(yīng)留有充分的擴(kuò)展余地，并保證系統(tǒng)的完整性不受影響，保證系統(tǒng)可以平滑升級(jí)、擴(kuò)容。

6、可管理性

系統(tǒng)具有完善的管理措施和功能，便于設(shè)備的安裝、配置和維護(hù)，以及對(duì)各種軟硬件資源的分配、調(diào)度和管理，提高資源和資產(chǎn)利用率，減輕系統(tǒng)管理人員的工作負(fù)擔(dān)。

六、小結(jié)

曙光針對(duì)深圳先進(jìn)技術(shù)研究院量身定制的大規(guī)模高性能計(jì)算的集群系統(tǒng)已經(jīng)部署完畢并投入實(shí)際運(yùn)營(yíng)中。此種大規(guī)模高性能計(jì)算的集群系統(tǒng)，完全滿足了深圳研究院目前對(duì)于計(jì)算機(jī)超強(qiáng)計(jì)算能力的需求，甚至在性能上已經(jīng)超越了以往的預(yù)期，真正實(shí)現(xiàn)了高長(zhǎng)時(shí)間的持續(xù)服務(wù)能力，有效的促進(jìn)了深圳先進(jìn)技術(shù)研究院并行算法設(shè)計(jì)、自動(dòng)并行工具研制、數(shù)據(jù)模擬與仿真、應(yīng)用領(lǐng)域并行算法等方面的研究。

曙光為深圳先進(jìn)技術(shù)研究院設(shè)計(jì)實(shí)施的解決方案經(jīng)過實(shí)際運(yùn)營(yíng)檢驗(yàn)已經(jīng)獲得了用戶的高度肯定和一致認(rèn)可，十萬億級(jí)別的計(jì)算能力將有效地助力深圳研究院實(shí)現(xiàn)設(shè)備升級(jí)，達(dá)到了提升項(xiàng)目研究效率的目的。曙光高性能計(jì)算產(chǎn)品在深圳先進(jìn)技術(shù)研究院的成功應(yīng)用對(duì)于我國(guó)以現(xiàn)代信息技術(shù)為核心的新興產(chǎn)業(yè)的發(fā)展有著重要的意義。

關(guān)于曙光：

公司是一家在科技部、信息產(chǎn)業(yè)部、中科院大力推動(dòng)下，以國(guó)家“863”計(jì)劃重大科研成果為基礎(chǔ)組建的高新技術(shù)企業(yè)。它以中科院計(jì)算所、國(guó)家智能計(jì)算機(jī)研究開發(fā)中心和國(guó)家高性能計(jì)算機(jī)工程中心為技術(shù)依托，擁有強(qiáng)大的技術(shù)實(shí)力。曙光系列產(chǎn)品的問世，為推動(dòng)我國(guó)高性能計(jì)算機(jī)的發(fā)展做出了不可磨滅的貢獻(xiàn)。2008年6月，每秒運(yùn)算233萬億次的超級(jí)計(jì)算機(jī)曙光5000A研制成功，于同年進(jìn)入全球超級(jí)計(jì)算機(jī)TOP500排行榜前十名，成為美國(guó)之外速度最快的計(jì)算機(jī)，從而使中國(guó)成為繼美國(guó)之后，第二個(gè)能研制百萬億次高性能計(jì)算機(jī)的國(guó)家。

2006年7月，占地面積60余畝的曙光天津產(chǎn)業(yè)基地落成投產(chǎn)，實(shí)現(xiàn)民族高性能計(jì)算機(jī)產(chǎn)業(yè)的歷史跨越。曙光高性能計(jì)算機(jī)連續(xù) 13年穩(wěn)居國(guó)產(chǎn)高性能計(jì)算機(jī)市場(chǎng)第一，擁有國(guó)產(chǎn)高性能70%以上的份額，并在高性能集群領(lǐng)域?qū)崿F(xiàn)了國(guó)產(chǎn)機(jī)對(duì)進(jìn)口產(chǎn)品的超越。曙光公司生產(chǎn)的系列服務(wù)器以技術(shù)先進(jìn)、性能卓越、服務(wù)優(yōu)良見長(zhǎng)，曾獲“國(guó)家科技進(jìn)步一等獎(jiǎng)、二等獎(jiǎng)”、“中科院科技創(chuàng)新特等獎(jiǎng)”、“2001、2003、2004中國(guó)十大科技進(jìn)展”等多項(xiàng)國(guó)家級(jí)殊榮。

長(zhǎng)期以來，曙光始終專注于服務(wù)器領(lǐng)域的研發(fā)、生產(chǎn)與應(yīng)用，依托超級(jí)計(jì)算機(jī)的扎實(shí)功底，立足自主研發(fā)，通過不斷技術(shù)創(chuàng)新，構(gòu)建出擁有完全自主知識(shí)產(chǎn)權(quán)的全系列精品服務(wù)器，能全面滿足用戶從超級(jí)計(jì)算機(jī)到普通PC服務(wù)器的各項(xiàng)應(yīng)用需求，在互聯(lián)網(wǎng)、金融、電信、生物、氣象、石油、科研、電力等多個(gè)行業(yè)有著大量成功應(yīng)用。