高性能計(jì)算及其相關(guān)新興技術(shù)

陳國(guó)良，毛 睿，蔡 曄

深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院，廣東省普及型高性能計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室，深圳市服務(wù)計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，深圳 518060

?

【電子與信息科學(xué) / Electronic and Information Engineering】

高性能計(jì)算及其相關(guān)新興技術(shù)

陳國(guó)良，毛 睿，蔡 曄

深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院，廣東省普及型高性能計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室，深圳市服務(wù)計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，深圳 518060

回顧高性能計(jì)算的發(fā)展歷史，評(píng)述網(wǎng)格計(jì)算、云計(jì)算及其與高性能計(jì)算之間的關(guān)系，闡釋新興技術(shù)大數(shù)據(jù)和物聯(lián)網(wǎng)，比較大數(shù)據(jù)、云計(jì)算與高性能計(jì)算的性能并分析其彼此間的關(guān)系．介紹代表國(guó)際高性能計(jì)算領(lǐng)域發(fā)展趨勢(shì)的普適高性能計(jì)算以及作者在普及型高性能計(jì)算機(jī)研制方面的最新進(jìn)展．指出高性能計(jì)算存在的一些難題，以及研制千萬億次以上的高性能計(jì)算機(jī)所面臨的挑戰(zhàn)．

計(jì)算機(jī)工程；高性能計(jì)算；網(wǎng)格計(jì)算；云計(jì)算；大數(shù)據(jù)；物聯(lián)網(wǎng)

1 高性能計(jì)算回顧

高性能計(jì)算(high performance computing，HPC)原指求解問題速度很快的一類計(jì)算[1-2]．在計(jì)算歷史演變過程中，很多新興計(jì)算，如網(wǎng)格計(jì)算、效用計(jì)算、服務(wù)計(jì)算和云計(jì)算等均由HPC演變而來．

1.1 HPC的含義和戰(zhàn)略地位

1.1.1 HPC的含義

從直觀上講，HPC泛指快速、量大和性能高的一類計(jì)算，諸如向量計(jì)算、并行與分布式計(jì)算、網(wǎng)格計(jì)算等．它需要大量計(jì)算能力(power)和強(qiáng)大的計(jì)算設(shè)施在很短的時(shí)間周期內(nèi)完成給定的計(jì)算任務(wù)．所以在并行系統(tǒng)中，常通過增加處理器數(shù)目來提升計(jì)算能力(capability)，即計(jì)算速度．

1.1.2 HPC的戰(zhàn)略地位

從戰(zhàn)略高度上講，HPC技術(shù)是一個(gè)國(guó)家綜合國(guó)力的表現(xiàn)，是支撐國(guó)家實(shí)力持續(xù)發(fā)展的關(guān)鍵技術(shù)之一，在國(guó)防安全、高科技發(fā)展和國(guó)民經(jīng)濟(jì)建設(shè)中均占重要戰(zhàn)略地位，在飛機(jī)設(shè)計(jì)、藥物設(shè)計(jì)、全球氣候預(yù)測(cè)、人類基因、油藏?cái)?shù)值模擬以及生物分子結(jié)構(gòu)等重大挑戰(zhàn)領(lǐng)域中都是必不可少的．

1.2 HPC的發(fā)展戰(zhàn)略計(jì)劃

1.2.1 美歐日發(fā)展高性能計(jì)算的行動(dòng)計(jì)劃

美國(guó)在高性能計(jì)算技術(shù)的發(fā)展方面一直處于世界領(lǐng)先地位．歷年來，美國(guó)國(guó)防部、能源部、國(guó)家科學(xué)院和國(guó)家科學(xué)基金委等部門和組織不斷向美國(guó)政府提出有關(guān)信息技術(shù)的建議報(bào)告，其中大部分都涉及了高性能計(jì)算與高性能計(jì)算機(jī)的內(nèi)容．例如，① 1993年，美國(guó)科學(xué)工程技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)提出《HPCC (High performance computing & communication) grand challenge》計(jì)劃[3]，目的是平衡發(fā)展下一代高性能計(jì)算機(jī)和網(wǎng)絡(luò)，以滿足一些重大挑戰(zhàn)問題的應(yīng)用需求．該計(jì)劃中提出了發(fā)展萬億次(tera=1012)計(jì)算機(jī)的目標(biāo)．② 1996年，美國(guó)能源部聯(lián)合美方3大核武器國(guó)家實(shí)驗(yàn)室提出了《ASIC(Accelerated strategic computing initiative)》[4]計(jì)劃，目的是通過數(shù)值模擬評(píng)估核武器的性能和安全等．該項(xiàng)目提出了發(fā)展千萬億次(peta=1015)計(jì)算機(jī)計(jì)劃，包括Option Red、Blue Mountain、ASCI White和ASCI Blue-Pacific等．③ 2002年，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency，DARPA)啟動(dòng)了高生產(chǎn)率計(jì)算機(jī)系統(tǒng)(High productivity computing systems，HPCS)計(jì)劃[5]，希望確定未來10～20 a高生產(chǎn)率、低成本的HPC體系架構(gòu)．④ 2010年，美國(guó)DARPA又啟動(dòng)了Ubiquitous high performance computing(UHPC)計(jì)劃[6]，旨在重塑(reinvent)計(jì)算，以新的形象展示給人們，尋求空氣冷卻、易編程使用的單機(jī)箱的普適高性能計(jì)算機(jī)系統(tǒng)．

歐洲的高性能計(jì)算發(fā)展一直處于世界一流水平，其優(yōu)勢(shì)主要體現(xiàn)在軟件開發(fā)和系統(tǒng)應(yīng)用方面．歐洲研究與技術(shù)開發(fā)第7框架計(jì)劃(Framework program 7，F(xiàn)P7)的e基礎(chǔ)設(shè)施項(xiàng)目被列入了“超級(jí)計(jì)算機(jī)系統(tǒng)部署”項(xiàng)目．在這個(gè)項(xiàng)目框架內(nèi)，來自歐洲多個(gè)國(guó)家的高性能計(jì)算領(lǐng)域?qū)＜医M成了歐洲高性能計(jì)算任務(wù)小組(High Performance Computing in Europe Taskforce，HET)．在HET的努力下，“歐洲高性能計(jì)算服務(wù)”被列入歐洲研究基礎(chǔ)設(shè)施戰(zhàn)略論壇制訂的歐洲科學(xué)發(fā)展藍(lán)圖中．此外，HET還制定了2010—2020年 “歐洲千萬億次計(jì)算”發(fā)展建議方案．

日本的高性能計(jì)算發(fā)展同樣處于世界一流水平．2002年，日本NEC公司研制出地球模擬器(earth simulator)，一度在超級(jí)計(jì)算機(jī)世界500強(qiáng)排行榜(HPCTop 500 list)[7]中占據(jù)首位．2011年6月，日本富士通研制的“京”超級(jí)計(jì)算機(jī)(K computer)再次占據(jù)Top500榜首．在2014年11月Top500排行榜中，日本的超級(jí)計(jì)算機(jī)占據(jù)了30個(gè)席位．

1.2.2 HPC在中國(guó)的戰(zhàn)略地位

在中國(guó)發(fā)布的《國(guó)家中長(zhǎng)期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006—2020年)》中，提出要全面提升我國(guó)的自主創(chuàng)新能力，明確指出要加速發(fā)展高性能計(jì)算．近年來，我國(guó)高性能計(jì)算機(jī)的發(fā)展世界矚目，其中代表性的國(guó)產(chǎn)高性能計(jì)算機(jī)有神威藍(lán)光、天河1號(hào)、天河2號(hào)、聯(lián)想6800和曙光星云等．在世界500強(qiáng)(Top500)排行榜[8]中，我國(guó)自主研制的高性能計(jì)算機(jī)也屢居榜首．例如，天河1A在第36屆HPC Top500排行榜中排名第1，曙光星云排名第3；天河2A實(shí)現(xiàn)了從第42—44屆HPC Top500排行榜的3連冠．

1.3 HPC的發(fā)展

1.3.1 HPC發(fā)展中的主流技術(shù)

HPC的主流技術(shù)在其發(fā)展進(jìn)程中不斷演變：早在20世紀(jì)60年代，巨型機(jī)處于萌芽階段，代表機(jī)型是CDC6600；到了70年代，向量機(jī)處于鼎盛時(shí)期，代表機(jī)型是CRAY-1等；至90年代，大規(guī)模并行處理(massive parallel processing，MPP)蓬勃發(fā)展，代表機(jī)型是Option Red等；進(jìn)入21世紀(jì)，機(jī)群系統(tǒng)迅速發(fā)展，代表機(jī)型是IBM SP2等．

1.3.2 PC機(jī)群帶給HPC計(jì)算架構(gòu)的轉(zhuǎn)變

2003年11月的Top500排行榜中，美國(guó)弗吉尼亞工學(xué)院一群師生采用商用部件，歷時(shí)4個(gè)月，自主研制了世界排名第3的PC機(jī)群系統(tǒng)X，導(dǎo)致高性能計(jì)算機(jī)實(shí)現(xiàn)了平民化(popular)，并促使高性能計(jì)算機(jī)的研制從高墻深院的科研殿堂飛入尋常百姓家．PC機(jī)群給高性能計(jì)算的計(jì)算架構(gòu)帶來轉(zhuǎn)變，也開啟了高性能計(jì)算的平民化和個(gè)人化運(yùn)動(dòng)．

1.3.3 圖形處理單元(graphic processing unit，GPU)帶給了HPC計(jì)算能力的轉(zhuǎn)變

從歷屆Top500排名可見，位于前列的機(jī)器中不少采用了GPU異構(gòu)加速體系架構(gòu)，這說明采用CPU+GPU混合異構(gòu)架構(gòu)對(duì)整機(jī)計(jì)算能力的貢獻(xiàn)很大，從而使其逐步進(jìn)入了主流．

1.3.4 云計(jì)算帶給了HPC運(yùn)營(yíng)模式的轉(zhuǎn)變

HPC服務(wù)方式采用事先預(yù)約、獨(dú)占資源、分時(shí)使用、統(tǒng)一付費(fèi)的傳統(tǒng)的科學(xué)與工程計(jì)算模式；而云計(jì)算的出現(xiàn)為HPC的服務(wù)方式提供了新的選擇，包括即用即約、租用資源、虛擬占用和按量付費(fèi)的商業(yè)運(yùn)營(yíng)模式等．

2 網(wǎng)格計(jì)算與云計(jì)算

按照計(jì)算演變的主線：最先是順序(串行)計(jì)算，隨后逐漸出現(xiàn)了并行計(jì)算與分布式計(jì)算、網(wǎng)格計(jì)算、效用計(jì)算、服務(wù)計(jì)算和云計(jì)算等．其中，網(wǎng)格計(jì)算和云計(jì)算都是分布式計(jì)算的具體實(shí)現(xiàn)．網(wǎng)格計(jì)算是利用并行計(jì)算解決大型問題，而云計(jì)算是從網(wǎng)格計(jì)算演化而來，其初衷是用最小代價(jià)為用戶提供服務(wù)．

2.1 網(wǎng)格計(jì)算(grid computing，GC)

2.1.1 網(wǎng)格計(jì)算的定義

網(wǎng)格計(jì)算[9]是一種以集中方式匯聚眾多的高性能計(jì)算資源，以完成高度復(fù)雜計(jì)算任務(wù)的計(jì)算模式．它面向社會(huì)或一定的用戶群，將由網(wǎng)絡(luò)連接的一些分散的硬件、軟件和信息資源匯聚成單一映像的易用系統(tǒng)，向群體用戶提供分布協(xié)同的計(jì)算服務(wù)．

2.1.2 網(wǎng)格計(jì)算與分布式計(jì)算和集群計(jì)算的區(qū)別

網(wǎng)格計(jì)算通過利用大量異構(gòu)計(jì)算機(jī)未使用的資源，解決大規(guī)模計(jì)算問題．這些資源(有時(shí)稱為虛擬化計(jì)算資源)位于不同的地理位置，所以網(wǎng)絡(luò)計(jì)算具有支持跨管理域計(jì)算的能力，這是它與傳統(tǒng)的分布式計(jì)算不同之處．網(wǎng)格計(jì)算與集群計(jì)算的主要區(qū)別是前者是異構(gòu)的，而后者是同構(gòu)的．網(wǎng)格可擴(kuò)展到用戶桌面機(jī)，而集群一般局限于數(shù)據(jù)中心．

2.2 云計(jì)算(cloud computing，CC)

2.2.1 云計(jì)算的定義

云計(jì)算[10]是通過將計(jì)算和服務(wù)部署在以互連網(wǎng)形式連接起來的大量分布式計(jì)算機(jī)上來實(shí)現(xiàn)的一種計(jì)算服務(wù)．云計(jì)算的核心概念是通過互連網(wǎng)將分散的計(jì)算資源整合成共享資源池，向用戶提供以租用方式按量付費(fèi)的計(jì)算服務(wù)．

2.2.2 云計(jì)算的關(guān)鍵技術(shù)

云計(jì)算的主要核心技術(shù)包括：①硬件支撐技術(shù)，主要有高性能技術(shù)、高通量計(jì)算、高可靠和高可擴(kuò)展技術(shù)等；②軟件支撐技術(shù)，主要有類似于Map-Reduce編程模式、分布冗余和列存儲(chǔ)方式等；③虛擬化技術(shù)，主要有所有硬件設(shè)備的全虛擬化和選擇性的半虛擬化運(yùn)行模式等；④安全技術(shù)，主要有網(wǎng)絡(luò)層次安全保護(hù)、服務(wù)器層次安全保護(hù)以及數(shù)據(jù)層次安全保護(hù)等；⑤數(shù)據(jù)中心技術(shù)，主要有分布式動(dòng)態(tài)部署與服務(wù)組合、數(shù)據(jù)與計(jì)算綜合管理、可靠和可擴(kuò)展自主體系架構(gòu)等．

2.3 網(wǎng)格計(jì)算與云計(jì)算的綜合比較

網(wǎng)格計(jì)算和云計(jì)算雖然都是分布式計(jì)算的具體實(shí)現(xiàn)，但它們?cè)诤芏喾矫嬉泊嬖诓煌? 表1從多個(gè)方面對(duì)兩者進(jìn)行了比較.

2.4 云計(jì)算與高性能并行計(jì)算

2.4.1 云計(jì)算與高性能計(jì)算的起源

微軟公司Dan Reed認(rèn)為，云計(jì)算和高性能計(jì)算是一對(duì)出生時(shí)被分開的雙胞胎(twins separated at birth)[11]．事實(shí)上，高性能并行計(jì)算技術(shù)是藏在云計(jì)算背后的核心技術(shù)．李國(guó)杰院士曾說，云計(jì)算系統(tǒng)的本質(zhì)是“資源虛擬化+并行計(jì)算”；并行計(jì)算的一些成熟技術(shù)，例如Map-Reduce編程技術(shù)、BigTable并行數(shù)據(jù)庫(kù)技術(shù)以及GFS并行文件系統(tǒng)等都是云計(jì)算中具有核心競(jìng)爭(zhēng)力的關(guān)鍵技術(shù)．

在技術(shù)發(fā)展的過程中，云計(jì)算只是高性能計(jì)算的新發(fā)展，對(duì)高性能計(jì)算而言，云計(jì)算并非新概念．已經(jīng)發(fā)展近30年的各超級(jí)計(jì)算中心，在早期也是將昂貴的計(jì)算資源集中部署，多領(lǐng)域用戶通過互連網(wǎng)遠(yuǎn)程使用計(jì)算服務(wù)，并依據(jù)使用量支付費(fèi)用，只不過近代云計(jì)算擴(kuò)大了高性能計(jì)算的服務(wù)范圍．

2.4.2 高性能云計(jì)算

沿用Dan Reed的理念，云計(jì)算與高性能計(jì)算的結(jié)合，尤如兄弟重逢，變成超強(qiáng)雙人(twins reunited：the super double). 而且，目前的云計(jì)算尚不能有效支持高端的HPC服務(wù)．有人戲稱，讓HPC用戶使用云計(jì)算就像讓一級(jí)方程式賽車手坐公共汽車．但若將云計(jì)算和高性能計(jì)算結(jié)合在一起，形成“高性能云計(jì)算(high performance cloud computing，HPCC)”，則可彌補(bǔ)目前云計(jì)算所呈現(xiàn)的一些不足，滿足大規(guī)模數(shù)據(jù)密集型計(jì)算所需的大容量、低延遲和高帶寬等HPC類型的能力．

表1 網(wǎng)格計(jì)算和云計(jì)算的比較Table 1 Comparison of grid computing and cloud computing

2.4.3 云計(jì)算和高性能計(jì)算的綜合比較

綜上有關(guān)高性能計(jì)算和云計(jì)算關(guān)系的討論，在表2給出多個(gè)方面對(duì)兩者的比較.

3 大數(shù)據(jù)與物聯(lián)網(wǎng)

大數(shù)據(jù)(big data，BD)是指用目前的軟件工具無法在容許的時(shí)間內(nèi)進(jìn)行獲取、傳輸、存儲(chǔ)、管理和分析的數(shù)據(jù)集；而物聯(lián)網(wǎng)(internet of things，IOT)所采集和捕獲的各種數(shù)據(jù)組成了大數(shù)據(jù)，同時(shí)大數(shù)據(jù)技術(shù)使物聯(lián)網(wǎng)采集的數(shù)據(jù)產(chǎn)生了價(jià)值，兩者相輔相成地發(fā)展著．

表2 高性能計(jì)算和云計(jì)算的比較Table 2 Comparison of high performance computing and cloud computing

3.1 大數(shù)據(jù)

3.1.1 大數(shù)據(jù)定義

目前大數(shù)據(jù)普遍使用的是大容量(volume)、快速率(velocity)、多樣性(variety)和高價(jià)值(value)的4V定義[12]．究竟多大才算是“大”？目前大數(shù)據(jù)一般典型范圍為幾十TB(T=1012)到PB(P=1015)，將來會(huì)更大．

3.1.2 大數(shù)據(jù)的作用

大數(shù)據(jù)引領(lǐng)了社會(huì)、經(jīng)濟(jì)和科技的發(fā)展：① 大數(shù)據(jù)對(duì)國(guó)家和社會(huì)的作用體現(xiàn)在能增強(qiáng)國(guó)家安全，促進(jìn)政府開放和提高政策預(yù)見性與響應(yīng)性；② 大數(shù)據(jù)推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展體現(xiàn)在，人類社會(huì)的3次浪潮極大地推動(dòng)了人類社會(huì)經(jīng)濟(jì)的發(fā)展，而大數(shù)據(jù)是第3次浪潮的華彩樂章，大數(shù)據(jù)產(chǎn)生了社會(huì)的大價(jià)值；③ 大數(shù)據(jù)促進(jìn)科技發(fā)展體現(xiàn)在它是繼實(shí)驗(yàn)科學(xué)、理論科學(xué)和計(jì)算科學(xué)之后，科學(xué)發(fā)現(xiàn)的“第四范型”，即數(shù)據(jù)密集型科學(xué)．

3.1.3 大數(shù)據(jù)的處理流程和主要技術(shù)

大數(shù)據(jù)的整個(gè)生命周期內(nèi)所采用的主要技術(shù)包括：① 在數(shù)據(jù)采集階段使用數(shù)據(jù)提取、轉(zhuǎn)換和加載(extraction transformation loading，ETL)技術(shù)；② 在數(shù)據(jù)存儲(chǔ)階段采用了直接連接存儲(chǔ)(direct-attached storage，DAS)技術(shù)和存儲(chǔ)級(jí)內(nèi)存(storage class memory，SCM)存儲(chǔ)技術(shù)；③ 在數(shù)據(jù)處理階段，使用各種數(shù)據(jù)挖掘分析技術(shù)，以及流計(jì)算、增量計(jì)算、近似計(jì)算和壓縮計(jì)算等等計(jì)算技術(shù)；④ 在數(shù)據(jù)展示階段，使用時(shí)間趨勢(shì)的可視化和空間趨勢(shì)的可視化技術(shù)，并輔以各種有效的數(shù)據(jù)可視化工具等．

3.2 物聯(lián)網(wǎng)

3.2.1 物聯(lián)網(wǎng)的定義

物聯(lián)網(wǎng)[13]是通過裝置在物體上的各種信息傳感設(shè)備賦予物體智能，并通過接口與互連網(wǎng)相連而形成的一個(gè)物品與物品相連的巨大分布式協(xié)同網(wǎng)絡(luò)．由此可知，物聯(lián)網(wǎng)具有普遍對(duì)象設(shè)備化、自治終端互聯(lián)化和普適服務(wù)智能化的3大特征．

3.2.2 物聯(lián)網(wǎng)的發(fā)展歷程

物聯(lián)網(wǎng)技術(shù)的基礎(chǔ)包括：① 物聯(lián)網(wǎng)的發(fā)展得益于傳感器和射頻識(shí)別(radio frequency identification，RFID)技術(shù)；② 物聯(lián)網(wǎng)的核心網(wǎng)絡(luò)是互連網(wǎng)和電信網(wǎng)；③ 物聯(lián)網(wǎng)的智能性得益于網(wǎng)絡(luò)終端從“機(jī)”到“物”，這些物品賦予了終端設(shè)備智能．物聯(lián)網(wǎng)的發(fā)展歷程是：① 互連網(wǎng)的應(yīng)用擴(kuò)展；從早期的“機(jī)-機(jī)”相連，到近期的“人-人”交互，一直到現(xiàn)今的“物-物”相連；② 無線寬帶網(wǎng)使物聯(lián)網(wǎng)消除了接入設(shè)備位置限制；③ 移動(dòng)通信網(wǎng)使物聯(lián)網(wǎng)實(shí)現(xiàn)了無所不在的感知；④ 低速網(wǎng)絡(luò)協(xié)議更適合于物聯(lián)網(wǎng)場(chǎng)景．

4 大數(shù)據(jù)、云計(jì)算和高性能計(jì)算

大數(shù)據(jù)與云計(jì)算和高性能計(jì)算之間的關(guān)系是：一方面云計(jì)算和高性能計(jì)算是大數(shù)據(jù)進(jìn)行存儲(chǔ)和處理的基礎(chǔ)計(jì)算平臺(tái)，同時(shí)大數(shù)據(jù)也為云計(jì)算和高性能計(jì)算找到了具體應(yīng)用，改變了傳統(tǒng)高性能計(jì)算的應(yīng)用模式．

4.1 大數(shù)據(jù)與云計(jì)算

大數(shù)據(jù)和云計(jì)算的關(guān)系可以從兩個(gè)方面來看，一方面，兩者側(cè)重點(diǎn)不同，大數(shù)據(jù)側(cè)重于數(shù)據(jù)采集、分析挖掘和存儲(chǔ)能力等；而云計(jì)算則關(guān)注信息技術(shù)(information technology，IT)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理計(jì)算能力．另一方面，兩者優(yōu)勢(shì)互補(bǔ)，云計(jì)算為大數(shù)據(jù)提供彈性可擴(kuò)展的存儲(chǔ)和高效的數(shù)據(jù)并行處理能力；而通過大數(shù)據(jù)的業(yè)務(wù)需求，則可為云計(jì)算落地找到更多的實(shí)際應(yīng)用．

表3從多方面對(duì)大數(shù)據(jù)和云計(jì)算進(jìn)行了綜合對(duì)比.

表3 大數(shù)據(jù)和云計(jì)算的比較Table 3 Comparison of big data and cloud computing

4.2 大數(shù)據(jù)與HPC

4.2.1 大數(shù)據(jù)與HPC的關(guān)系

大數(shù)據(jù)與高性能計(jì)算的關(guān)系表現(xiàn)為：① HPC是大數(shù)據(jù)處理的基礎(chǔ)計(jì)算平臺(tái)；② 大數(shù)據(jù)使HPC從追求提升計(jì)算速度變成著重提高系統(tǒng)的吞吐率；③ 大數(shù)據(jù)改變了HPC應(yīng)用群體，從科學(xué)家、工程師變成了大數(shù)據(jù)分析從業(yè)人員；④ 大數(shù)據(jù)使HPC的應(yīng)用模式從獨(dú)占資源、統(tǒng)一付費(fèi)變?yōu)樘摂M占用、按量付費(fèi)的方式．

4.2.2 大數(shù)據(jù)給HPC帶來新挑戰(zhàn)

大數(shù)據(jù)的出現(xiàn)，給傳統(tǒng)的高性能計(jì)算所帶來的新挑戰(zhàn)主要包括：

1)計(jì)算模式的轉(zhuǎn)變，使HPC以提升系統(tǒng)計(jì)算速度的所謂scale-up轉(zhuǎn)變?yōu)樵龃笙到y(tǒng)吞吐量的所謂scale-out．

2)系統(tǒng)結(jié)構(gòu)的轉(zhuǎn)變，使HPC從大規(guī)模并行處理(massively parallel processing，MPP)結(jié)構(gòu)轉(zhuǎn)變?yōu)楣ぷ髡緳C(jī)群(cluster of workstations，COW)．

3)編程模式的轉(zhuǎn)變，使HPC從整體大同步的企業(yè)解決方案(business solution providers，BSP)模式轉(zhuǎn)變?yōu)橛成?歸約(map-reduce)模式．

4)應(yīng)用方式的轉(zhuǎn)變，使HPC從需事先預(yù)約、統(tǒng)一付費(fèi)轉(zhuǎn)變到即用即約、按量計(jì)價(jià)．

此外，傳統(tǒng)的高性能計(jì)算也要從以“計(jì)算為中心”轉(zhuǎn)變?yōu)橐浴皵?shù)據(jù)為中心”；要從離線批處理逐漸轉(zhuǎn)變?yōu)閷?shí)時(shí)流計(jì)算；相應(yīng)的數(shù)據(jù)存儲(chǔ)模式亦要從集中式的行存儲(chǔ)逐漸轉(zhuǎn)向以分布式的列存儲(chǔ)為主．

5 高性能計(jì)算發(fā)展的新趨勢(shì)

筆者于2005年首先提出了具有3高(高效率、高能效、高可靠)、3低(低功耗、低成本、低噪音)和3易(易編程、易管理、易應(yīng)用)特點(diǎn)，介于高端高性能計(jì)算機(jī)和低端PC服務(wù)器之間的中檔國(guó)產(chǎn)普及型個(gè)人高性能計(jì)算機(jī)(popular/personal high performance computer，PHPC)理念，并在文獻(xiàn)[14-15]詳細(xì)闡述．深圳大學(xué)和中國(guó)科學(xué)技術(shù)大學(xué)團(tuán)隊(duì)采用國(guó)產(chǎn)龍芯系列CPU，先后研制了KD系列國(guó)產(chǎn)萬億次個(gè)人高性能計(jì)算機(jī)KD-50、KD-60和KD-90[16]，以及SD系列國(guó)產(chǎn)普及型高性能計(jì)算機(jī)SD-1、SD-2、SD-3和SD-30(在研)，如圖1．

圖1 國(guó)產(chǎn)KD/SD系列普及型個(gè)人 高性能計(jì)算機(jī)研制路線圖Fig.1 (Color online) Roadmap of China-made KD/SD series popular/personal high performance computers

國(guó)產(chǎn)普及型高性能計(jì)算機(jī)的研究以單一機(jī)箱為基本單元，采用“產(chǎn)普形發(fā)展戰(zhàn)略開展國(guó)產(chǎn)自主普及型高性能計(jì)算機(jī)的研制，第1階段是一個(gè)體積從大到小的過程，第2階段是一個(gè)計(jì)算能力從小到大的過程．第1階段中，保證機(jī)器的峰值速度在萬億次，重點(diǎn)進(jìn)行硬件平臺(tái)和系統(tǒng)軟件的協(xié)同優(yōu)化，做到低功耗、小型化和高安全性．在第1階段結(jié)束時(shí)，做到硬件平臺(tái)和軟件系統(tǒng)技術(shù)基本成熟，穩(wěn)定性和安全性得到基本保證．第2階段在前面技術(shù)積累的基礎(chǔ)上，針對(duì)特定重大應(yīng)用需求進(jìn)行定制化研制，基于已有通用機(jī)型設(shè)計(jì)并制造專用機(jī)型．同時(shí)以萬億次機(jī)為基本計(jì)算單元，搭建十萬億次、百萬億次及至更快的自主信息技術(shù)平臺(tái)，主要服務(wù)于大規(guī)?？茖W(xué)工程計(jì)算、云計(jì)算等基礎(chǔ)設(shè)施．

在國(guó)際上，2010年3月，美國(guó)DAPAR啟動(dòng)的UHPC項(xiàng)目，總投資超過1億美元，研究具有高能效、高易用和高可信特征的下一代普及型高性能計(jì)算機(jī)．該項(xiàng)目代表了高性能計(jì)算機(jī)的研究方向．

值得指出的是，UHPC理念的顯著特點(diǎn)是著眼于小型機(jī)箱(cabinet)，強(qiáng)調(diào)其高計(jì)算密度、低能耗、易用性和軟硬件協(xié)同設(shè)計(jì)．這與筆者提出的3高3低3易理念一致．筆者創(chuàng)立了這一研究理念，并以KD和SD系列普及型個(gè)人高性能計(jì)算機(jī)的研制成功實(shí)踐了這一理念．

結(jié) 語

本文回顧了高性能計(jì)算的發(fā)展歷史，并對(duì)比分析了網(wǎng)格計(jì)算、云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)等新技術(shù)的特點(diǎn)及其與高性能計(jì)算的關(guān)系．指出高性能計(jì)算和云計(jì)算結(jié)合而產(chǎn)生的高性能云計(jì)算是解決大數(shù)據(jù)問題的技術(shù)途徑之一．

高性能計(jì)算在過去60多年的發(fā)展歷程中一直存在著一些自身固有的研究難題：包括存儲(chǔ)墻(訪存速度遠(yuǎn)跟不上處理器速度)、 通信墻(互連網(wǎng)性能制約著高性能計(jì)算的發(fā)展)、 可靠墻(系統(tǒng)平均故障間隔時(shí)間很短)、 編程墻(編寫高度并行程序極度困難)和功耗墻(數(shù)十兆瓦的功耗，冷卻設(shè)施昂貴)等[17-18]． 這些難題嚴(yán)重地影響著高性能計(jì)算技術(shù)的順利發(fā)展． 不但如此， 研制P級(jí)(peta=1015)和E級(jí)(exa=1018)高性能計(jì)算機(jī)還面臨著3低(低功耗、低占地和低成本)、 兩高(高并行度和高效能)和一普及(市場(chǎng)平民化)的挑戰(zhàn)問題[19]．

/ References：

[1] Chen Guoliang．Design and analysis of parallel algorithms[M]．3th edit．Beijing：Higher Education Press，2011．(in Chinese) 陳國(guó)良．并行計(jì)算[M]．3版．北京：高等教育出版社，2011．

[2] Chen Guoliang, Sun Guangzhong, Xu Yun, et al．Integrated research of parallel computing: status and future[J]．Chinese Science Bulletin, 2009, 54(8)：1043-1049．(in Chinese) 陳國(guó)良, 孫廣中, 徐 云, 等．并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢(shì)[J]．科學(xué)通報(bào), 2009, 54(8)：1043-1049.

[3] Federal Coordinating Council for Science, Engineering, and Technology．Grand challenges：high performance computing and communication[EB/OL]．[2014-12-09]．Washington D C：Computer and Information Science and Engineering．http://www.nitrd.gov/pubs/bluebooks/1992/pdf/bluebook92.pdf．

[4] U.S. Department of Energy Defense Programs, Lawrence Livemore National Laboratory, Los Alamos National Laboratory, et al．Accelerated strategic computing initiative[EB/OL].[1996-09-01]．https://asc.llnl.gov/alliances/alliances_archive/pdf/asci-plan.pdf．

[5] Graybill R．High productivity computing systems[EB/OL]. [2003-03-13]． [S.l.]： DARPA/IPTO． http://science.energy.gov/～/media/ascr/ascac/pdf/meetings/mar03/graybill.pdf．

[6] Defense Advanced Research Projects Agency’s News Release. DARPA developing extreme scale supercomputer system[EB/OL]．[2010-08-06]http://www.darpa.mil/WorkArea/DownloadAsset.aspx?id=1795．

[7] Top500.org. Top 500 supercomputer sites[EB/OL].[2014-12-09]．http://www.top500.org/．

[8] Hai Jin, Zou Deqing, Chen Hanhua, et al．Fault-tolerant grid architecture and practice[J]. Journal of Computer Science and Technology, 2003, 18(4)：423-433．

[9] Liu Peng．Cloud computing[M]．2nd edit．Beijing：Publishing House of Electronics Industry, 2011．(in Chinese) 劉 鵬．云計(jì)算[M]．2版．北京：電子工業(yè)出版社, 2011．

[10] Dan Reed．Twins separated at birth: cloud computing and HPC[EB/OL]. http://www.hpcwire.com/features/Twins-Separated-at-Birth-41173917.html．

[11] Tu Zipei． The big data revolution[M].Guilin：Guangxi Normal University Press ,2012．(in Chinese) 涂子沛．大數(shù)據(jù)[M]．桂林：廣西師范大學(xué)出版社, 2012．

[12] Liu Yunhao．Introduction to internet of things[M]．Beijing：Science Press, 2013．(in Chinese) 劉云浩．物聯(lián)網(wǎng)導(dǎo)論[M]．北京：科學(xué)出版社, 2013．

[13] Yang Xuejun．Sixty years of parallel computing[J]．Computer Engineering and Science, 2012, 34(8)：1-10．(in Chinese) 楊學(xué)軍．并行計(jì)算六十年[J]．計(jì)算機(jī)工程與科學(xué), 2012, 34(8)：1-10．

[14] Sun Ninghui, Chen Guoliang．PHPC: a spreading kind of high performance computer[J]Journal of University of Science and Technology of China, 2008, 38(7)：745-752.(in Chinese) 孫凝暉, 陳國(guó)良．PHPC：一種普及型高性能計(jì)算機(jī)[J]．中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2008, 38(7)：745-752．

[15] Chen Guoliang，Cai Ye，Luo Qiuming．Optimization of BLAS based on Loongson 2F architecture[J]．Journal of Shenzhen University Science and Engineering，2011，28(6)：471-477．(in Chinese) 陳國(guó)良，蔡 曄，羅秋明．國(guó)產(chǎn)個(gè)人高性能計(jì)算機(jī)系統(tǒng)研制[J]．深圳大學(xué)學(xué)報(bào)理工版，2011，28(6)：471-477．

[16] Cai Ye, Liu Gang, Mao Rui, et al. Design and perfor-mance optimization of a popular high performance computing system KD-90[J]. Journal of Shenzhen University Science and Engineering, 2013, 30(2): 138-143.(in Chinese) 蔡 曄，劉 剛，毛 睿，等．KD-90普及型個(gè)人高性能計(jì)算機(jī)系統(tǒng)設(shè)計(jì)與性能優(yōu)化[J]. 深圳大學(xué)學(xué)報(bào)理工版，2013，30(2)：138-143.

[17] Sun Ninghui, Li Kai, Chen Mingyu．HPP：an architecture for high performance and utility computing[J]．Chinese Journal of Computers, 2008, 31(9)：1503-1508．(in Chinese) 孫凝暉, 李 凱, 陳明宇．HPP：一種支持高性能和效用計(jì)算的體系結(jié)構(gòu)[J]．計(jì)算機(jī)學(xué)報(bào), 2008, 31(9)：1503-1508．

[18] Zhang Ping, Cui Qimei. Big data-driven resource management for green communication network[J]. Journal of Shenzhen University Science and Engineering, 2013, 30(6): 557-564.(in Chinese) 張 平，崔琪楣．大數(shù)據(jù)驅(qū)動(dòng)的綠色通信網(wǎng)絡(luò)[J]. 深圳大學(xué)學(xué)報(bào)理工版，2013，30(6)：557-564.

[19] Wu Jingxi, Fan Fan．Trend of European peta-flops computing[J]．High Performance Computing Technology, 2011, 4(4)：18-22．(in Chinese) 吳靜溪, 樊 帆．歐洲千萬億次級(jí)計(jì)算趨勢(shì)[J]．高性能計(jì)算發(fā)展與應(yīng)用, 2011, 4(4)：18-22．

【中文責(zé)編：英 子；英文責(zé)編：雨 辰】

High performance computing and related new technologies

Chen Guoliang?, Mao Rui?, and Cai Ye

College of Computer Science and Software Engineering, Shenzhen Key Laboratory of Service Computing and Applications,Guangdong Province Key Laboratory of Popular High Performance Computers, Shenzhen University, Shenzhen 518060, P.R.China

High performance computing (HPC) has been an important force in the evolution of computing since its early stages. Various emerging technologies, such as grid computing, utility computing, service computing and cloud computing, have evolved from HPC. Firstly, we briefly review the history of HPC, compare and discusse the relationship among grid computing, cloud computing and high performance computing. Subsequently, we introduce big data and the Internet of things as two emerging technologies; the relationship and comparison among big data, cloud computing and high performance computing; and the concept of Ubiquitous high performance computing. Finally, we summarize the development of popular high performance computer, and present several challenging issues in HPC and the development of peta-flops high performance computers.

computer engineering; high performance computing; grid computing; cloud computing; big data; internet of things

：Chen Guoliang，Mao Rui，Cai Ye．High performance computing and related new technologies[J]. Journal of Shenzhen University Science and Engineering, 2015, 32(1): 25-31.(in Chinese)

TP 301

A

10.3724/SP.J.1249.2015.01025

國(guó)家自然科學(xué)基金委-廣東聯(lián)合項(xiàng)目(U1301252，61170076)；深圳市基礎(chǔ)研究項(xiàng)目(JCYJ20140418095 735561)

陳國(guó)良(1938—)，男(漢族)，安徽省潁上縣人，中國(guó)科學(xué)院院士，深圳大學(xué)教授．E-mail: glchen@szu.edu.cn

Received：2014-09-29；Accepted：2014-12-11

Foundation：National Natural Science Foundation of China-Guangdong (U1301252，61170076)；Shenzhen Foundational Research Project (JCYJ20140418095735561)

? Corresponding author：Associate professor Mao Rui．E-mail：mao@szu.edu.cn; Academican Chen Guoliang．E-mail：glchen@szu.edu.cn

引 文：陳國(guó)良，毛 睿，蔡 曄．高性能計(jì)算及其相關(guān)新興技術(shù)[J]. 深圳大學(xué)學(xué)報(bào)理工版，2015，32(1)：25-31.