企業(yè)級(jí)PaaS容器私有云平臺(tái)構(gòu)建

新國(guó)脈文旅科技有限公司 朱振武

隨著IT技術(shù)的不斷發(fā)展，新興的基于容器的PaaS云計(jì)算技術(shù)憑借自身啟動(dòng)快、資源損耗小、輕量級(jí)的、容器中運(yùn)行的服務(wù)功能相對(duì)單一等優(yōu)點(diǎn)迅速被各大企業(yè)接受，越來(lái)越多的公司開始部署基于容器的PaaS云平臺(tái)并將之應(yīng)用于生產(chǎn)中，本文著重論述大中型企業(yè)如何建設(shè)企業(yè)自己的基于容器的PaaS私有云系統(tǒng)。

1 企業(yè)IT架構(gòu)升級(jí)的動(dòng)力

私有云計(jì)算是一種將企業(yè)的計(jì)算資源統(tǒng)一管理、統(tǒng)一分配、按需分配的IT服務(wù)模式。目前，多數(shù)大中型企業(yè)在數(shù)字化轉(zhuǎn)型中已實(shí)現(xiàn)基于IaaS的云計(jì)算，IaaS云技術(shù)在一定程度上提升了計(jì)算資源的使用率和運(yùn)維效率。但隨著企業(yè)的發(fā)展，企業(yè)在IT運(yùn)營(yíng)和管理上遇到了眾多新挑戰(zhàn)，主要是IT系統(tǒng)越來(lái)越龐雜、IT資源越來(lái)越多、應(yīng)用微服務(wù)化后，IaaS云技術(shù)存在對(duì)算力的管理和分配不夠輕便靈活、難于管理海量微服務(wù)、自身較重等諸多問(wèn)題。

為了解決上述問(wèn)題，大中企業(yè)紛紛采用最新IT技術(shù)，將企業(yè)IT基礎(chǔ)架構(gòu)從IaaS云逐步升級(jí)到PaaS容器云或兩者并存的時(shí)代，利用容器云的輕量級(jí)、容器化等特點(diǎn)來(lái)管理海量微服務(wù)、提高資源的利用率、增強(qiáng)系統(tǒng)可靠性、降低IT運(yùn)營(yíng)成本。

2 PaaS容器云涉及核心技術(shù)

2.1 LXC內(nèi)核級(jí)虛擬化技術(shù)

LXC(Linux Container)是Linux的內(nèi)核虛擬化技術(shù)，LXC通過(guò)Namespace實(shí)現(xiàn)了進(jìn)程資源的隔離，通過(guò)Cgroups（Control Groups）控制每個(gè)Namespace中的資源分配。與傳統(tǒng)虛擬化技術(shù)（KVM）相比，LXC與宿主機(jī)使用同一個(gè)內(nèi)核，不需要指令級(jí)模擬，容器與宿主機(jī)的資源可以共享，具有輕量、性能損耗小等優(yōu)點(diǎn)。

2.2 Docker容器引擎技術(shù)

要構(gòu)建容器云，我們需要選擇一個(gè)合適的容器技術(shù)。目前，容器技術(shù)中具有代表性的有Docker技術(shù)和Mesos技術(shù)。從當(dāng)前的容器技術(shù)發(fā)展分析，Docker技術(shù)是業(yè)界容器技術(shù)的主流和事實(shí)標(biāo)準(zhǔn)，是容器云的未來(lái)。

Docker是一個(gè)基于LXC內(nèi)核容器技術(shù)實(shí)現(xiàn)的開源應(yīng)用容器引擎[1]，通過(guò)對(duì)LXC進(jìn)行進(jìn)一步封裝，實(shí)現(xiàn)應(yīng)用程序級(jí)別的隔離,它的分層結(jié)構(gòu)設(shè)計(jì)極大實(shí)現(xiàn)了共享資源，降低了系統(tǒng)的資源使用率，啟動(dòng)非?？欤瑩碛蟹浅８叩男阅?。

2.3 Kubernetes容器編排技術(shù)

容器云架構(gòu)下，一個(gè)業(yè)務(wù)較復(fù)雜的應(yīng)用將被拆分成若干功能單一的微服務(wù)并在容器中運(yùn)行，為了滿足IT系統(tǒng)的高可用和高并發(fā)等需求，一個(gè)微服務(wù)會(huì)有若干副本并行運(yùn)行。故而容器云中將會(huì)有成千上萬(wàn)的微服務(wù)實(shí)例，實(shí)例之間還進(jìn)行著紛繁復(fù)雜的交互通信，為了高效管理這些微服務(wù)，業(yè)界一般采用容器編排技術(shù)實(shí)現(xiàn)海量容器的自動(dòng)化的管理、監(jiān)控、故障發(fā)現(xiàn)和隔離、故障遷移等工作。

目前成熟的容器編排技術(shù)有Swarm和Kubernetes（以下簡(jiǎn)稱K8S）等技術(shù)。其中，K8S提供了豐富的容器編排和管理功能[2]，諸如：服務(wù)注冊(cè)與發(fā)現(xiàn)、服務(wù)網(wǎng)關(guān)、服務(wù)自動(dòng)遷移、灰度部署、服務(wù)治理等，功能涵蓋廣泛，能夠滿足絕大多數(shù)企業(yè)的IT需求。

3 企業(yè)級(jí)PaaS容器私有云平臺(tái)構(gòu)建

我們以K8S和Docker為核心技術(shù)，探討如何構(gòu)建企業(yè)級(jí)PaaS容器云，并從企業(yè)的IT治理等方面進(jìn)一步闡述如何高效的管理和使用容器云。容器云平臺(tái)自底向上共分為IT資源層、服務(wù)調(diào)度層、云服務(wù)層、控制層、云接入層等五層。在IT資源層，使用K8S+Docker技術(shù)構(gòu)建容器云基礎(chǔ)環(huán)境，實(shí)現(xiàn)對(duì)算力的統(tǒng)一管理、按需分配；在服務(wù)調(diào)度層，借助K8S強(qiáng)大的服務(wù)編排能力，實(shí)現(xiàn)對(duì)服務(wù)的注冊(cè)與發(fā)現(xiàn)、服務(wù)所需資源的彈性伸縮、服務(wù)生命周期管理等能力；在云服務(wù)層，通過(guò)對(duì)開源軟件進(jìn)行集成結(jié)合自研方式，建設(shè)容器云主要支撐系統(tǒng)；在控制層，依托K8S的Ingress網(wǎng)關(guān)服務(wù)，構(gòu)建訪問(wèn)容器云的云網(wǎng)關(guān)；在云接入層，構(gòu)建云服務(wù)治理系統(tǒng)及用于外部用戶統(tǒng)一接入容器云的能力開放系統(tǒng)。平臺(tái)的系統(tǒng)架構(gòu)如圖1所示。

圖1 容器云平臺(tái)的系統(tǒng)架構(gòu)Fig.1 System architecture of container cloud platform

容器云采用Master-Slave架構(gòu)來(lái)統(tǒng)籌管理算力，管理節(jié)點(diǎn)（Master）及云核心服務(wù)軟件（代碼倉(cāng)庫(kù)、鏡像倉(cāng)庫(kù)等）可采用獨(dú)立服務(wù)器或容器部署，計(jì)算（Slave）節(jié)點(diǎn)可采用物理機(jī)或虛擬機(jī)部署（推薦使用物理機(jī)）。本文采用管理節(jié)點(diǎn)（Master）及云核心服務(wù)軟件獨(dú)立服務(wù)器部署方式，網(wǎng)絡(luò)拓?fù)鋱D如圖2所示。

圖2 容器云平臺(tái)的網(wǎng)絡(luò)拓?fù)銯ig.2 Network topology of container cloud platform

4 容器云基礎(chǔ)環(huán)境搭建

容器云基礎(chǔ)環(huán)境搭建主要是部署K8S、Docker等容器云核心服務(wù)，搭建容器云平臺(tái)對(duì)系統(tǒng)的軟硬件環(huán)境有一定的要求和建議，主要有以下幾個(gè)方面：(1)宿主機(jī)CPU要支持虛擬化技術(shù)并在BIOS中開啟；(2)宿主機(jī)操作系統(tǒng)基于X86_64架構(gòu)的各種Linux發(fā)行版，Kernel在4.X以上；(3)Master節(jié)點(diǎn)的CPU、內(nèi)存、存儲(chǔ)建議要高于2core、4G、20G；(4)Node節(jié)點(diǎn)的CPU、內(nèi)存、存儲(chǔ)建議要高于4core 8G 40G；(5)核心軟件版本建議：K8S v1.15以上、Docker v1.15以上、Etcd v2.0以上。

4.1 Master節(jié)點(diǎn)部署

生產(chǎn)環(huán)境下，選擇若干臺(tái)（一般3臺(tái)以上、奇數(shù)臺(tái)）高性能服務(wù)器作為Master節(jié)點(diǎn)集群，部署ETCD（有條件的情況下ETCD可以使用獨(dú)立服務(wù)器部署）、API-Server、Controller-Manager、Scheduler等服務(wù)。其中，ETCD作為K8S的運(yùn)行時(shí)數(shù)據(jù)庫(kù)，存儲(chǔ)K8S集群運(yùn)行時(shí)關(guān)鍵數(shù)據(jù)。API-Server負(fù)責(zé)和ETCD交互，并對(duì)外提供統(tǒng)一的API調(diào)用入口。Controller-Manager作為K8S集群的管理控制中心，負(fù)責(zé)集群內(nèi)Node、Service、Replication等資源的管理。Scheduler負(fù)責(zé)Node節(jié)點(diǎn)資源管理，將Pod合理分配到相應(yīng)的Node節(jié)點(diǎn)。

為了容器云能夠7×24h的高可用性運(yùn)行，需對(duì)ETCD、API-Server等服務(wù)進(jìn)行高可用配置?？刹捎肊TCD和API-Server的原生集群能力，結(jié)合Keepalived、HA-Proxy實(shí)現(xiàn)Master節(jié)點(diǎn)的高可用。

4.2 Node節(jié)點(diǎn)部署

Node（Slave）節(jié)點(diǎn)是容器云的算力節(jié)點(diǎn)，眾多的算力節(jié)點(diǎn)形成算力池，在Master統(tǒng)一調(diào)度下對(duì)外提供云服務(wù)。Node節(jié)點(diǎn)上需部署Docker、Kubelet、Kuberoute等服務(wù)。其中，Docker提供容器服務(wù)。Kubelet負(fù)責(zé)接收Scheduler的指令，維護(hù)Pod和上報(bào)Pod狀態(tài)。Kube-route作為容器云的網(wǎng)絡(luò)服務(wù)，是K8S Service的訪問(wèn)代理和Pod的負(fù)載均衡器。

在容器云虛擬網(wǎng)絡(luò)選型上，我們選擇使用支持CNI網(wǎng)絡(luò)的Kube-router組件替代了Kube-proxy組件。相比業(yè)界常用的Overlay方式的Flannel網(wǎng)絡(luò)，CNI網(wǎng)絡(luò)的優(yōu)點(diǎn)是網(wǎng)絡(luò)速度相對(duì)較快、帶寬損耗小等優(yōu)點(diǎn)。如果企業(yè)對(duì)網(wǎng)絡(luò)穩(wěn)定性有非常高的需求，也可以選擇最為穩(wěn)定的Flannel網(wǎng)絡(luò)。

4.3 云核心服務(wù)部署

要使用容器云平臺(tái)能夠?qū)ν馓峁┓?wù)，我們還需要部署代碼倉(cāng)庫(kù)、Docker鏡像倉(cāng)庫(kù)、云DNS服務(wù)、接入網(wǎng)關(guān)等容器云配套服務(wù)軟件，主要包括如下軟件服務(wù)：(1)代碼倉(cāng)庫(kù)：采用開源GitLib作為云平臺(tái)的代碼倉(cāng)庫(kù)；(2)鏡像倉(cāng)庫(kù)：選擇一臺(tái)服務(wù)器并安裝Docker，下載Registry鏡像并配置啟動(dòng)；(3)容器云DNS：選用Kube-DNS作為云平臺(tái)內(nèi)部DNS服務(wù)；(4)服務(wù)網(wǎng)關(guān)：選用Nginx-Ingress組件實(shí)現(xiàn)外部系統(tǒng)通過(guò)ClusterIP方式對(duì)容器云的訪問(wèn)。

5 云存儲(chǔ)建設(shè)

可利舊現(xiàn)網(wǎng)存儲(chǔ)系統(tǒng)（如：企業(yè)現(xiàn)有IaaS云存儲(chǔ)），如果條件允許，也可通使用NFS或GlusterFS等建設(shè)容器云專用存儲(chǔ)系統(tǒng)。

容器云基礎(chǔ)環(huán)境搭建完成后，平臺(tái)的各組件、各模塊的架構(gòu)和調(diào)用關(guān)系如圖3所示。

圖3 容器云主要組件調(diào)用關(guān)系Fig.3 Container cloud's component invocation relationship

6 服務(wù)治理系統(tǒng)建設(shè)

為了進(jìn)一步提升容器云的可用性和自動(dòng)化程度，還需為容器云配套建設(shè)一系列服務(wù)治理系統(tǒng)，主要包括基于DevOps的CI/CD自動(dòng)化流水線子系統(tǒng)、云數(shù)據(jù)總線服務(wù)子系統(tǒng)、微服務(wù)日志中心子系統(tǒng)、微服務(wù)配置中心子系統(tǒng)等。

7 容器云下企業(yè)的IT管理和研發(fā)建議

企業(yè)的容器云構(gòu)建完成后，并不代表企業(yè)就此可以高效的使用容器云，為了更好發(fā)揮容器云的優(yōu)勢(shì)，企業(yè)需從人力資源管理、IT管理流程和IT研發(fā)等方面制定適合自身的工作標(biāo)準(zhǔn)和制度，并在生產(chǎn)活動(dòng)中持續(xù)完善和提升IT管理水平和容器云資源利用水平，為企業(yè)生產(chǎn)助力。