云計(jì)算技術(shù)概述

王競(jìng)爭(zhēng)

摘要：云計(jì)算是當(dāng)今計(jì)算機(jī)領(lǐng)域的熱門(mén)領(lǐng)域，它包括的技術(shù)種類(lèi)豐富，大到云計(jì)算數(shù)據(jù)中心架構(gòu)設(shè)計(jì)，小到虛擬機(jī)網(wǎng)絡(luò)模式設(shè)置，而且云計(jì)算開(kāi)源社區(qū)發(fā)展活躍，它不斷融合新的技術(shù)，創(chuàng)新出新的應(yīng)用。該文首先介紹了云計(jì)算的概念，然后從云計(jì)算服務(wù)模式（基礎(chǔ)架構(gòu)即服務(wù)、平臺(tái)即服務(wù)、軟件即服務(wù)）方面入手，介紹了虛擬化、分布式計(jì)算等不同服務(wù)模式下的關(guān)鍵技術(shù)，最后概述了云計(jì)算技術(shù)在超融合、容器方面的最新發(fā)展趨勢(shì)。

關(guān)鍵詞：云計(jì)算；虛擬化；分布式計(jì)算；超融合；容器

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）20-0052-03

1 云計(jì)算概述

從2006年亞馬遜推出云計(jì)算服務(wù)以來(lái)，云計(jì)算概念從萌芽到發(fā)展，云計(jì)算技術(shù)經(jīng)歷著一個(gè)逐漸成熟的過(guò)程。云計(jì)算技術(shù)不僅僅是一種技術(shù)，而是大量計(jì)算機(jī)領(lǐng)域的技術(shù)互相融合發(fā)展而來(lái)的。OpenStack是云計(jì)算的開(kāi)源項(xiàng)目，從OpenStack的技術(shù)發(fā)展來(lái)看，最初的云計(jì)算技術(shù)僅有服務(wù)器虛擬化、Flat和Vlan虛擬化網(wǎng)絡(luò)、虛擬機(jī)管理技術(shù)，接著又有了Gre和Vxlan虛擬化網(wǎng)絡(luò)、分布式存儲(chǔ)、大數(shù)據(jù)處理技術(shù)，后來(lái)又加入了裸機(jī)管理技術(shù)、微服務(wù)技術(shù)、自動(dòng)部署技術(shù)、NFV等。新一代互聯(lián)網(wǎng)公司是云計(jì)算的理念孕育、技術(shù)發(fā)展與業(yè)務(wù)部署的助推者與實(shí)踐者，很多大型的互聯(lián)網(wǎng)公司已經(jīng)把所有的生產(chǎn)業(yè)務(wù)放在云上，證明云計(jì)算是一項(xiàng)成熟的并且經(jīng)過(guò)驗(yàn)證的技術(shù)。與此同時(shí)，傳統(tǒng)企業(yè)也在對(duì)云計(jì)算探索、嘗試，擁抱新一代的技術(shù)。

1.1 云計(jì)算定義

云計(jì)算是一種IT服務(wù)交付模式，云計(jì)算安全聯(lián)盟（CSA， Cloud Security Alliance）給出的定義是[5]：

“云計(jì)算是一種能夠?qū)膳渲玫墓蚕碛?jì)算資源池進(jìn)行普遍存在的、方便的、按需的網(wǎng)絡(luò)訪(fǎng)問(wèn)的服務(wù)供模型，這些資源包括計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源等。云計(jì)算是一種顛覆性的技術(shù)，它有增強(qiáng)合作、敏捷性、擴(kuò)展性和可用性的潛力， 并且可能通過(guò)優(yōu)化和效率計(jì)算減少費(fèi)用?！?/p>

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)學(xué)院（U.S. National Institute of Standards and Technology）在“NIST Working Definition of Cloud Computing/NIST 800-145”中的定義得到廣泛接受。它定義了五個(gè)基本元素，三種云服務(wù)模型和四種云部署方式，如圖1所示。云服務(wù)的五個(gè)基本元素是：通過(guò)網(wǎng)絡(luò)分發(fā)服務(wù)、自助服務(wù)、可衡量的服務(wù)、資源的靈活調(diào)度，以及資源池化。三個(gè)云服務(wù)模型分別是SaaS（Software as a Service—軟件即服務(wù)）、PaaS（Platform as a Service—平臺(tái)即服務(wù)）和IaaS（Infrastructure as a Service—基礎(chǔ)架構(gòu)即服務(wù)）三類(lèi)，PaaS基于IaaS實(shí)現(xiàn)，SaaS的服務(wù)層次又在PaaS之上，三者分別面對(duì)不同的需求。IaaS是基礎(chǔ)設(shè)施即服務(wù)層，提供給用戶(hù)所需的計(jì)算資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源；PaaS是平臺(tái)即服務(wù)層，提供給用戶(hù)的是應(yīng)用的平臺(tái)環(huán)境，比如大數(shù)據(jù)平臺(tái)、Tomcat平臺(tái)、集成開(kāi)發(fā)平臺(tái)；SaaS是軟件即服務(wù)層，提供給用戶(hù)的是最終的軟件服務(wù)，例如OA、電子郵箱等。四種部署模式分別是公有云、私有云、混合云和社區(qū)云四種，公有云是指能夠通過(guò)互聯(lián)網(wǎng)訪(fǎng)問(wèn)、提供給公眾（包括企業(yè)和個(gè)人）使用的、按使用量收費(fèi)的云計(jì)算服務(wù)；私有云是指企業(yè)私有的、不提供給外部使用的云服務(wù)；社區(qū)云一般是行業(yè)云，只面向相關(guān)行業(yè)的少數(shù)企業(yè)或組織使用的云計(jì)算服務(wù)；混合云是指能夠混合使用公有云和私有云的云服務(wù)，打通企業(yè)私有云和公有云的云服務(wù)。

1.2 云計(jì)算優(yōu)勢(shì)

云計(jì)算有傳統(tǒng)IT架構(gòu)所不具備的優(yōu)勢(shì)。首先，云計(jì)算能夠提高資源利用率，云計(jì)算按需獲取的特點(diǎn)保證了資源的有效分配使用，而彈性伸縮模式則保證了資源的回收與再利用，所以說(shuō)，資源的利用率得到了有效的提高。其次，擴(kuò)展性是云計(jì)算的另一特點(diǎn)，云計(jì)算平臺(tái)能夠容易地橫向擴(kuò)展，隨著業(yè)務(wù)量的增大逐漸增加云計(jì)算環(huán)境的集群大小。再次，云計(jì)算具有高可靠性的特點(diǎn)，通過(guò)云服務(wù)的高可用配置，服務(wù)質(zhì)量能夠保證較高的水平，當(dāng)一部分服務(wù)出現(xiàn)故障，后臺(tái)會(huì)自動(dòng)維護(hù)遷移，保證業(yè)務(wù)的不中斷。第四，云計(jì)算服務(wù)具有便捷性的優(yōu)勢(shì)，它通過(guò)網(wǎng)絡(luò)獲取，即插即用，用戶(hù)通過(guò)網(wǎng)絡(luò)訪(fǎng)問(wèn)到云服務(wù)即可在任何時(shí)間任何地點(diǎn)使用云服務(wù)。第五，云計(jì)算通常以模塊化的方式提供服務(wù)，例如用戶(hù)可以在郵件、CRM、OFFICE等多種服務(wù)類(lèi)型之間自由組合，根據(jù)用戶(hù)自身的情況在適當(dāng)?shù)臅r(shí)間選擇適當(dāng)?shù)姆N類(lèi)和適當(dāng)容量的云服務(wù)內(nèi)容。

2 云計(jì)算技術(shù)

2.1 虛擬化技術(shù)

IaaS層是基礎(chǔ)設(shè)施即服務(wù)層，主要提供計(jì)算資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源。通過(guò)虛擬化技術(shù)，IaaS層能夠定量提供所需的資源。虛擬化技術(shù)主要包括三個(gè)方面，分別是計(jì)算資源虛擬化、網(wǎng)絡(luò)資源虛擬化和存儲(chǔ)資源虛擬化。

計(jì)算資源虛擬化指的是把服務(wù)器中物理的CPU和內(nèi)存通過(guò)資源隔離技術(shù)劃分成虛擬計(jì)算資源的過(guò)程。通過(guò)把計(jì)算資源虛擬化，單個(gè)服務(wù)器上可以同時(shí)運(yùn)行多個(gè)虛擬機(jī)，每個(gè)虛擬機(jī)與其他虛擬機(jī)完全隔離，實(shí)現(xiàn)服務(wù)器的計(jì)算資源劃分和資源的靈活運(yùn)用。計(jì)算資源虛擬化技術(shù)包括全虛擬化（Full Virtualization）和半虛擬化（Para-virtualization）。全虛擬化技術(shù)是虛擬機(jī)內(nèi)部所有的指令都是通過(guò)虛擬化過(guò)程實(shí)現(xiàn)的。虛擬機(jī)與宿主機(jī)中間架設(shè)了一層Hypervisor，Hypervisor完全模擬底層硬件，虛擬機(jī)的底層硬件指令通過(guò)Hypervisor執(zhí)行，Hypervisor再調(diào)用宿主機(jī)硬件執(zhí)行。全虛擬化技術(shù)的好處是不需要修改客戶(hù)機(jī)操作系統(tǒng)，在使用性上較為方便，但是相比于在底層硬件上通過(guò)模擬的硬件執(zhí)行指令會(huì)對(duì)虛擬機(jī)運(yùn)行性能有一定的損失。全虛擬化業(yè)界成熟的產(chǎn)品主要是VMware、KVM。半虛擬化是使用事先修改過(guò)的客戶(hù)機(jī)操作系統(tǒng)內(nèi)核共同分享宿主機(jī)硬件來(lái)實(shí)現(xiàn)的，它比全虛擬化技術(shù)的性能更強(qiáng)，但是客戶(hù)機(jī)的操作系統(tǒng)需要修改導(dǎo)致使用便利性和兼容性不足。半虛擬化比較成熟的產(chǎn)品是Xen。

網(wǎng)絡(luò)資源虛擬化是通過(guò)虛擬的網(wǎng)絡(luò)設(shè)備共享物理網(wǎng)絡(luò)基礎(chǔ)實(shí)施來(lái)實(shí)現(xiàn)的。具體來(lái)說(shuō)，這些虛擬網(wǎng)絡(luò)設(shè)備包括虛擬網(wǎng)橋、虛擬路由、虛擬網(wǎng)絡(luò)命名空間以及虛擬網(wǎng)卡。在OpenStack領(lǐng)域內(nèi)普遍使用的網(wǎng)絡(luò)模式為Flat、Vlan、Gre、Vxlan。Flat網(wǎng)絡(luò)模式是一個(gè)平面網(wǎng)絡(luò)，所有的虛擬機(jī)連接到一個(gè)Linux網(wǎng)橋上，并且都在同一個(gè)網(wǎng)絡(luò)中。Vlan是虛擬局域網(wǎng)，這種網(wǎng)絡(luò)模式下可以實(shí)現(xiàn)多個(gè)虛擬子網(wǎng)，每個(gè)虛擬子網(wǎng)之間互相隔離，能夠?qū)崿F(xiàn)每個(gè)租戶(hù)擁有私有虛擬網(wǎng)絡(luò)。由于Vlan只能有4096個(gè)的限制產(chǎn)生了基于隧道和封裝的技術(shù)。Gre是L3層的點(diǎn)對(duì)點(diǎn)隧道技術(shù)，本質(zhì)是在隧道的兩端的L4層建立UDP連接傳輸重新包裝的L3層包頭，在目的地再取出包裝后的包頭進(jìn)行解析。Gre的缺點(diǎn)是L2層的操作移到了L3層上造成了網(wǎng)絡(luò)的性能下降，另外如果有很大的集群規(guī)模，點(diǎn)對(duì)點(diǎn)的隧道形式將會(huì)增加使用大量的資源。Vxlan與Gre使用相同的隧道技術(shù)，與Gre不同之處在于通過(guò)重新包裝L2層包頭，在目的地的L4層隧道重新解析。

存儲(chǔ)資源虛擬化是建立虛擬邏輯存儲(chǔ)層，將應(yīng)用系統(tǒng)與物理存儲(chǔ)設(shè)備隔離的虛擬化技術(shù)。應(yīng)用系統(tǒng)只需關(guān)心自己需要什么樣的資源，邏輯存儲(chǔ)層一方面提供應(yīng)用系統(tǒng)存儲(chǔ)資源，一方面管理物理存儲(chǔ)設(shè)備和負(fù)責(zé)數(shù)據(jù)的管理與維護(hù)。存儲(chǔ)虛擬化一般分為基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化和基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化。分布式存儲(chǔ)是云計(jì)算中越來(lái)越廣泛使用的存儲(chǔ)虛擬化技術(shù)?；诖鎯?chǔ)設(shè)備的存儲(chǔ)虛擬化是通過(guò)硬件設(shè)備把多個(gè)物理磁盤(pán)組合到一起，形成一個(gè)統(tǒng)一的存儲(chǔ)空間，例如磁盤(pán)陣列技術(shù)（Redundant Array of Inexpensive Disks，RAID）?；诰W(wǎng)絡(luò)的存儲(chǔ)虛擬化是指通過(guò)網(wǎng)絡(luò)遠(yuǎn)程訪(fǎng)問(wèn)存儲(chǔ)資源，一般可通過(guò)網(wǎng)絡(luò)附加存儲(chǔ)（Network Attached Storage，NAS）和存儲(chǔ)區(qū)域網(wǎng)（Storage Area Network，SAN）實(shí)現(xiàn)。分布式存儲(chǔ)技術(shù)是通過(guò)使用計(jì)算集群中的每臺(tái)服務(wù)器上的空余磁盤(pán)空間，通過(guò)軟件定義的方式將這些磁盤(pán)空間加入到一個(gè)統(tǒng)一的資源池，能夠?qū)ν馓峁K存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)等功能。分布式存儲(chǔ)中最常見(jiàn)的產(chǎn)品是GlusterFs和Ceph，其中Ceph是越來(lái)越流行的分布式存儲(chǔ)軟件。

2.2 分布式計(jì)算

分布式計(jì)算是指在大規(guī)模計(jì)算任務(wù)中，數(shù)據(jù)分散在不同的計(jì)算節(jié)點(diǎn)，把計(jì)算任務(wù)運(yùn)行在各個(gè)不同的數(shù)據(jù)塊上，最后把計(jì)算結(jié)果匯總的計(jì)算方式。

Pass層上最著名的平臺(tái)是Hadoop，其中最關(guān)鍵的組件為MapReduce，采用分布式計(jì)算技術(shù)來(lái)對(duì)大數(shù)據(jù)任務(wù)進(jìn)行處理。MapReduce源自于Google2004年發(fā)表的論文，屬于并行計(jì)算算法，它通過(guò)Map和Reduce兩個(gè)過(guò)程來(lái)實(shí)現(xiàn)。在Map階段，算法遍歷所有的數(shù)據(jù)塊，對(duì)所有的元素進(jìn)行統(tǒng)計(jì)。當(dāng)Map階段完成后，在Reduce之前會(huì)進(jìn)行一個(gè)Shuffle操作，主要對(duì)統(tǒng)計(jì)元素的列表進(jìn)行簡(jiǎn)單的清理和排序。在Reduce階段，算法會(huì)對(duì)所有的統(tǒng)計(jì)結(jié)果進(jìn)行匯總，形成最終的key/value列表。

HDFS源自于Google2003年發(fā)表的論文，它是一個(gè)分布式文件系統(tǒng)，它被設(shè)計(jì)為運(yùn)行在廉價(jià)的物理服務(wù)器上，具有高容錯(cuò)性的文件系統(tǒng)。作為Hadoop的底層文件系統(tǒng)，它支持?jǐn)?shù)據(jù)的高吞吐量，能夠存儲(chǔ)GB到TB級(jí)的數(shù)據(jù)。HDFS集群有三種節(jié)點(diǎn)類(lèi)型，分別為NameNode、SecondaryNameNode和DataNode。NameNode是控制節(jié)點(diǎn)，主要管理數(shù)據(jù)塊的映射，響應(yīng)客戶(hù)端的讀寫(xiě)請(qǐng)求和管理HDFS的文件命名空間。SecondaryNameNode是NameNode的冷備份，當(dāng)NameNode出現(xiàn)故障的時(shí)候，SecondaryNameNode能夠啟動(dòng)以保障HDFS集群的正常運(yùn)行。DataNode是數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)數(shù)據(jù)塊并執(zhí)行讀寫(xiě)功能。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的TCP/IP 協(xié)議。

由于Hadoop1.0的設(shè)計(jì)缺陷（擴(kuò)展性差、可靠性差、資源利用率低、無(wú)法支持多種計(jì)算框架），Hadoop2.0中引入了Yarn。Yarn實(shí)際上是一個(gè)資源管理框架，它的目標(biāo)已經(jīng)不再局限于支持MapReduce一種計(jì)算框架，而是朝著對(duì)多種框架進(jìn)行統(tǒng)一管理的方向發(fā)展，比如Spark、Storm都可以運(yùn)行在Yarn上。

2.3 SaaS層技術(shù)

SaaS軟件即服務(wù)是指通過(guò)網(wǎng)絡(luò)提供按需的軟件服務(wù)，而購(gòu)買(mǎi)軟件產(chǎn)品本身。SaaS軟件服務(wù)豐富多樣，例如郵箱服務(wù)、Google Docs、CRM、團(tuán)隊(duì)OA，主要是為企業(yè)提供垂直化的解決方案，SaaS層技術(shù)多種多樣，主要是Web2.0技術(shù)?，F(xiàn)有的SaaS產(chǎn)品一般是服務(wù)運(yùn)營(yíng)商設(shè)計(jì)完成全套應(yīng)用服務(wù)和流程，能夠滿(mǎn)足通用的行業(yè)應(yīng)用需求，但是隨著不同行業(yè)和企業(yè)的個(gè)性化需求，逐漸發(fā)展了SaaS2.0概念。SaaS2.0要求企業(yè)用戶(hù)能夠使用運(yùn)營(yíng)商平臺(tái)提供的通用API，定制個(gè)性化的企業(yè)應(yīng)用，并能夠與運(yùn)營(yíng)商平臺(tái)的其他SaaS服務(wù)無(wú)縫對(duì)接。

SaaS2.0模式要求SaaS運(yùn)營(yíng)商平臺(tái)有一個(gè)強(qiáng)大的云計(jì)算平臺(tái)，它能夠提供多種多樣的API服務(wù)以滿(mǎn)足用戶(hù)的個(gè)性化需求，它具有強(qiáng)大的集成能力以實(shí)現(xiàn)各種API的快速集成，它具有快速的應(yīng)用部署能力和應(yīng)用運(yùn)維能力以對(duì)用戶(hù)定制的SaaS服務(wù)進(jìn)行部署和維護(hù)。用戶(hù)的業(yè)務(wù)知識(shí)將與運(yùn)營(yíng)平臺(tái)的計(jì)算能力相結(jié)合，用戶(hù)只需關(guān)注業(yè)務(wù)方面的需求，而運(yùn)營(yíng)平臺(tái)主要精力則專(zhuān)注于A(yíng)PI資源的提供和平臺(tái)本身的維護(hù)，可以預(yù)見(jiàn)這種模式可以大大提高生產(chǎn)效率。

3 云計(jì)算技術(shù)的發(fā)展趨勢(shì)

云計(jì)算技術(shù)領(lǐng)域發(fā)展迅速，每年都會(huì)出現(xiàn)新的技術(shù)融合與應(yīng)用創(chuàng)新。最新的技術(shù)趨勢(shì)有超融合架構(gòu)、容器、SDN/NFV、IaaS和PaaS的融合等方面的發(fā)展。超融合架構(gòu)是指將服務(wù)器的計(jì)算資源和存儲(chǔ)資源結(jié)合在一起，通過(guò)虛擬化技術(shù)和分布式存儲(chǔ)技術(shù)將服務(wù)器集群中的計(jì)算資源和存儲(chǔ)資源同時(shí)利用起來(lái)，形成統(tǒng)一的資源池。在開(kāi)源云計(jì)算社區(qū)中，Docker是最流行的容器技術(shù)，同時(shí)應(yīng)用Docker構(gòu)建微服務(wù)架構(gòu)也成為一個(gè)熱門(mén)的話(huà)題。Docker與云計(jì)算平臺(tái)的結(jié)合，計(jì)算資源提供的方式可以不再是虛擬機(jī)而是容器，容器的輕量性和便捷性一方面提高了物理資源的利用率，另一方面在業(yè)務(wù)部署效率上也有很大的提升，未來(lái)有可能改變開(kāi)發(fā)、運(yùn)維以及業(yè)務(wù)交付的方式。SDN指的是軟件定義網(wǎng)絡(luò)，NFV指的是網(wǎng)絡(luò)功能虛擬化，隨著電信運(yùn)營(yíng)商對(duì)云計(jì)算數(shù)據(jù)中心在復(fù)雜網(wǎng)絡(luò)上的需求，云計(jì)算社區(qū)希望通過(guò)行業(yè)標(biāo)準(zhǔn)的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備來(lái)取代私有專(zhuān)用的網(wǎng)元設(shè)備，因此引入了SDN/NFV技術(shù)的融合。另外，IaaS層的技術(shù)逐漸成熟，IaaS提供商逐漸把目光轉(zhuǎn)向PaaS層，IaaS平臺(tái)與PaaS平臺(tái)有了融合的趨勢(shì)，大數(shù)據(jù)處理平臺(tái)是常見(jiàn)的PaaS層平臺(tái)，架構(gòu)在IaaS層的虛擬化平臺(tái)上，將使得大數(shù)據(jù)平臺(tái)擁有彈性伸縮能力，對(duì)數(shù)據(jù)中心的資源使用率將得到很大的提升。

4 結(jié)束語(yǔ)

云計(jì)算領(lǐng)域技術(shù)涵蓋廣泛，本文僅對(duì)云計(jì)算IaaS、PaaS、SaaS各個(gè)層面的關(guān)鍵技術(shù)進(jìn)行簡(jiǎn)單介紹，大致梳理了云計(jì)算大框架內(nèi)的技術(shù)脈絡(luò)，并且展望了云計(jì)算的新技術(shù)趨勢(shì)。云計(jì)算領(lǐng)域發(fā)展迅速，新的技術(shù)和應(yīng)用模式不斷涌現(xiàn)，開(kāi)源社區(qū)對(duì)云計(jì)算的發(fā)展貢獻(xiàn)較大，OpenStack成為云計(jì)算領(lǐng)域的事實(shí)標(biāo)準(zhǔn)。隨著OpenStack的版本成熟度提高、自動(dòng)部署工具的成熟以及IaaS與PaaS的融合，云計(jì)算將會(huì)普及到更多的企業(yè)中去。

參考文獻(xiàn)：

[1] 李天目， 韓進(jìn). 云計(jì)算技術(shù)架構(gòu)與實(shí)踐[M]. 北京：清華大學(xué)出版社， 2013.

[2] 吳朱華. 云計(jì)算核心技術(shù)剖析[M]. 北京：人民郵電出版社， 2011.

[3] 徐立冰. 云計(jì)算和大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)技術(shù)揭秘[M]. 北京：人民郵電出版社， 2013.

[4] 董西成. Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理[M]. 北京：機(jī)械工業(yè)出版社， 2013.

[5] Cloud Security Alliance， Security Guidance for Critical Areas of Focus in Cloud Computing[M]. V3.0， 2011.