大規(guī)模數(shù)據(jù)中心內云計算網絡演變的研究及分析

李猛

中通服咨詢設計研究院有限公司

0 引言

云計算采用虛擬化、分布式計算、分布式存儲、資源管理等技術，將彈性、可共享、可伸縮性的軟硬件資源池池化，再通過網絡等方式向客戶提供按需自助、可計量的服務。云計算作為一種IT 基礎設施交付和使用模式，具有靈活、按需自服務、高擴展性、低成本等特點，能有效降低企業(yè)的運營成本，節(jié)省投資。

1 大規(guī)模數(shù)據(jù)中心內云計算的傳統(tǒng)三層網絡

三層網絡架構起源于園區(qū)網絡，傳統(tǒng)的大型數(shù)據(jù)中心網絡將其沿用了下來。這個模型包含以下三層。在以往的數(shù)據(jù)中心網絡建設時，關注的重點都是指接口層服務器前的網絡，這個網絡模型包含以下三層

傳統(tǒng)的三層網絡結構如圖1 所示，其中的匯聚層作為服務器網關，可以增加防火墻、負載均衡和應用加速等應用優(yōu)化設備。

圖1 傳統(tǒng)三層網絡架構

通常情況下，匯聚交換機是二層（L2）和三層（L3）網絡的分界點，匯聚交換機以下的是二層網絡，以上是三層網絡。每組匯聚交換機管理一個PoD，每個PoD 內都是獨立的VLAN。服務器在PoD 內遷移不必修改IP 地址和默認網關，因為一個PoD 對應一個二層廣播域。

三層網絡架構以其實現(xiàn)簡單、配置工作量低、廣播控制能力較強等優(yōu)勢在傳統(tǒng)數(shù)據(jù)中心網絡中大量應用，但是在當前云計算背景下，傳統(tǒng)的三層網絡架構已經無法滿足云數(shù)據(jù)中心對網絡的訴求，無法支撐大二層網絡構建和流量的無阻塞轉發(fā)。

三層網絡架構的一個優(yōu)勢是對廣播的有效控制，其可以在匯聚層設備上通過VLAN 技術將廣播域控制在一個PoD 內，但是在云計算背景下，計算資源被資源池化，根據(jù)計算資源虛擬化的要求，VM（虛擬機）需要在任意地點創(chuàng)建、遷移，而不需要對IP 地址或者默認網關進行修改，這從根本上改變了數(shù)據(jù)中心的網絡架構。為了滿足計算資源虛擬化的要求，必須構建一個大二層網絡來滿足VM 的遷移訴求。針對傳統(tǒng)的三層網絡架構，必須將二三層網絡的分界點設置在核心交換機，核心交換機以下均為二層網絡，這樣一來，匯聚層作為網關的作用就不復存在，網絡架構逐漸向沒有匯聚層的二層架構演進。

在云數(shù)據(jù)中心，業(yè)務的架構逐漸從單體模式轉變?yōu)椤癢eb-App-DB”模式，分布式技術開始在企業(yè)應用中流行。一個業(yè)務的多個組件通常分布在多個虛擬機/容器中。業(yè)務的運行不再由單臺或幾臺物理服務器來完成，而是多臺服務器協(xié)同完成，這就導致了東西向流量規(guī)模的快速增長。在為南北向流量設計的三層網絡架構中，某些類型的東西向流量（如跨PoD 的二層流量及三層流量）必須經過匯聚層和核心層進行轉發(fā)，數(shù)據(jù)經過了許多不必要的節(jié)點，也會因為收斂比導致網絡性能下降。同時，東西向流量經過的設備層級變多可能會導致流量的來回路徑不一致，不同路徑的時延不同，使得整體流量的時延難以預測，這對于大數(shù)據(jù)這類對時延非常敏感的業(yè)務來說是不可接受的。

可見，在云計算數(shù)據(jù)中心里面Ethernet（以太網）網絡規(guī)模擴大，流量帶寬需求增加，因此不會在網絡中間位置再插入安全和優(yōu)化設備了，轉發(fā)性能低。再加上帶寬收斂比的問題，短期內大型云計算數(shù)據(jù)中心網絡里面不會出現(xiàn)匯聚層的概念。

2 云計算對大數(shù)據(jù)中心網絡的核心訴求

隨著云計算的蓬勃發(fā)展，云計算基礎設施IaaS 越發(fā)重要，其可用性和可靠性備受關注。隨著數(shù)據(jù)中心規(guī)?；逃靡约靶录夹g的迅猛發(fā)展，云計算對大數(shù)據(jù)中心網絡的主要需求如下

（1）流量增大，流量變化需要網絡改變。隨著互聯(lián)網技術的不斷發(fā)展，應用軟件的數(shù)量呈現(xiàn)爆發(fā)式增長，數(shù)據(jù)中心的業(yè)務量激增，大數(shù)據(jù)需要大管道。隨著大量應用遷入數(shù)據(jù)中心，數(shù)據(jù)中心流量模型也在發(fā)生變化。數(shù)據(jù)中心的東西向流量（內部服務器之間的流量）已占總流量的90%以上。傳統(tǒng)數(shù)據(jù)中心的樹狀網絡架構已難以滿足業(yè)務訴求，需要構建新的分布式網絡架構，將三層網關下沉，以求最大限度地優(yōu)化流量路徑，滿足業(yè)務對帶寬及時延的要求。

（2）業(yè)務快速上線，網絡需要池化與自動化。傳統(tǒng)數(shù)據(jù)中心網絡割裂，無法滿足云數(shù)據(jù)中心構建大規(guī)模資源池的訴求網絡呈現(xiàn)“煙囪式”，計算資源被限定在模塊內部，無法統(tǒng)一調度，導致冷熱不均。同時，網絡間采用分布式路由決策，路由難以優(yōu)化，網絡利用率低。傳統(tǒng)數(shù)據(jù)中心的自動化程度較低，無法滿足業(yè)務快速彈性上線的訴求；應用部署按月粒度開通，無法支撐新業(yè)務的發(fā)展；應用擴容困難。

（3）安全、穩(wěn)定、智能化要求增高。云計算中心安全服務化層級低，營運資本高。威脅不斷升級，人工分析效率低，調查處置難。安全威脅可視化分析差，無法指導安全運維。網絡配置變化頻繁，流量激增，云計算中心內應用策略及互訪關系日益復雜，傳統(tǒng)的網絡運維手段已無法適應數(shù)據(jù)中心網絡的發(fā)展。

3 大規(guī)模數(shù)據(jù)中心內云計算的Spine-Leaf 網絡架構

基于Clos 架構的兩層Spine-Leaf 架構中每個Leaf 交換機的上行鏈路數(shù)等于Spine 交換機的數(shù)量，每個Spine 交換機的下行鏈路數(shù)等于Leaf 交換機的數(shù)量?？梢哉f，Spine 交換機和Leaf 交換機之間是以full-mesh（全網狀）方式連接的。具體網絡拓撲示意圖如圖2 所示。

圖2 Spine-Leaf 架構

Spine-Leaf 在架構上是可以輕松實現(xiàn)無阻塞。在所有端口速率一致的情況下，如果能夠使用一半的端口作為上行端口，則理論上帶寬的收斂比可以做到11。但是實際上，即使是在云數(shù)據(jù)中心，服務器的利用率也不可能達到100%，即不可能所有的服務器均隨時保持滿速發(fā)送流量。實際情況中，設備的上行帶寬和下行帶寬之間的比例會設計為13 左右，這個比例的設計被認為大體上可以支撐無阻塞轉發(fā)。

在Spine-Leaf 架構中，Leaf 交換機相當于傳統(tǒng)三層架構中的接入交換機，直接連接物理服務器，并通常作為網關設備。Spine 交換機相當于核心交換機，是整個網絡的轉發(fā)核心。Spine 和Leaf 交換機之間通過ECMP（Equal Cost Multi Path，等價多路徑）實現(xiàn)多路徑轉發(fā)。和傳統(tǒng)三層網絡中的核心交換機不同的是，Spine 交換機是整個網絡流量的轉發(fā)核心，相當于Clos 架構中的中間級。由Clos 架構可以看出，南北向流量可以不再通過Spine 發(fā)送至網絡外部，而是可以通過Leaf 交換機完成這一任務，這樣Spine 交換機可以專注于流量的轉發(fā)而不再需要關注其他一些輔助功能。

4 Spine-Leaf 架構與傳統(tǒng)的三層網絡架構比較

Spine-Leaf架構相對于傳統(tǒng)的三層網絡架構的優(yōu)勢如下（見圖3）

圖3 多級別的Spine-Leaf 架構

第一，支持無阻塞轉發(fā)。Spine-Leaf 架構對于東西向和南北向流量的處理模式是完全一致的，在設計合理的情況下，可以實現(xiàn)流量的無阻塞轉發(fā)。無論何種類型的流量都只需要經過Leaf-Spine-Leaf 3 個節(jié)點即可完成轉發(fā)。

第二，彈性和可擴展性好。Spine-Leaf 擁有很好的橫向擴展能力，只需要保證Spine 和Leaf 在一個比例范圍內，不需要重新設計，將原有的結構復制一份即可。一般來說，基于3 級Clos 的Spine-Leaf 架構可以滿足當前大部分數(shù)據(jù)中心網絡的帶寬訴求。針對超大型的數(shù)據(jù)中心，可采用5級的SpineLeaf架構，即每個PoD 部署一個3 級Clos 的Spine-Leaf 網絡，不同PoD之間再增加一層Core 交換機進行互聯(lián)，跨PoD 流量可以通過Leaf-Spine-Core-Spine-Leaf，5 跳可達。Spine 和Core 之間進行full-mesh 連接。另外，網絡設計可以非常靈活，在數(shù)據(jù)中心運行初期網絡流量較少時，可以適當減少Spine 交換機的數(shù)量，后續(xù)流量增長后再靈活地增加Spine 交換機即可。

第三，網絡可靠性高。傳統(tǒng)三層網絡架構中，盡管匯聚層和核心層都做了高可用設計，但是匯聚層的高可用由于是基于STP（Spanning Tree Protocol，生成樹協(xié)議）的，并不能充分利用多個交換機的性能，并且，如果所有的匯聚交換機（一般是兩個）都出現(xiàn)故障，那么整個匯聚層PoD 網絡就會癱瘓。但是在Spine-Leaf 架構中，跨PoD 的兩個服務器之間有多條通道，不考慮極端情況時，該架構的可靠性比傳統(tǒng)三層網絡架構高。

5 大規(guī)模數(shù)據(jù)中心內云計算網絡的設計方案

大規(guī)模數(shù)據(jù)中心內云計算網絡的物理組網架構建議采用Spine-Leaf 架構，該網絡結構可以提供接入節(jié)點間的無差異互訪，具有高帶寬、大容量和低網絡時延等特點。由于采用了Spine-Leaf 的扁平結構，整體網絡東西向流量轉發(fā)路徑較短，轉發(fā)效率較高。擴展性上，當服務器數(shù)量增加時，增加Leaf數(shù)量即可實現(xiàn)彈性擴縮。當Leaf 數(shù)量增加導致Spine 轉發(fā)帶寬不足時，可相應增加Spine 節(jié)點的個數(shù)。

Spine 節(jié)點主要負責Leaf 節(jié)點之間流量的高速轉發(fā)。推薦多臺單機部署，數(shù)量根據(jù)Leaf 到Spine 的收斂比（Leaf 的下行總帶寬和Leaf 的上行總帶寬的比值，不同的行業(yè)及不同的客戶有各自的要求）來決定。一般來說，收斂比為1∶9～1∶2。

Leaf 節(jié)點主要負責Server 的接入（業(yè)務服務器和VAS 服務器）和作為南北向網關。Leaf 可使用多種靈活的組網方式，推薦使用M-LAG 雙活方式部署，如果對可靠性或升級丟包時間等要求不高，也可以使用虛擬機框類技術。每個Leaf 節(jié)點與所有Spine 節(jié)點相連，構建全連接拓撲形態(tài)。

Leaf 和Spine 之間建議通過三層路由接口互聯(lián)，通過配置動態(tài)路由協(xié)議實現(xiàn)三層互聯(lián)。路由協(xié)議推薦OSPF 或BGP，采用ECMP 實現(xiàn)等價多路徑負載分擔和鏈路備份。從Leaf 通過多條等價路徑轉發(fā)數(shù)據(jù)流量到Spine，在保證可靠性的同時也能提升網絡的帶寬。如圖4 所示。

圖4 Spine-Leaf 架構物理組網

根據(jù)服務器接入帶寬和Leaf 到Spine 的收斂比選定Server Leaf 硬件設備。硬件形態(tài)主要考慮接入帶寬、收斂比和特殊業(yè)務訴求。服務器接入帶寬一般來說為10GE 或者25GE。收斂比則是Leaf 下行帶寬和上行帶寬的比例情況，可以根據(jù)客戶要求來進行設計，一般為1 ∶9～1 ∶2。

除了一般的服務器接入的Server leaf 之外，還有Border Leaf 和Service Leaf。Border Leaf 主要用作數(shù)據(jù)中心網絡的南北向網關，負責將南北向流量發(fā)送給對端的PE及從PE接收發(fā)往數(shù)據(jù)中心內部的流量。Service Leaf 主要用作接入防火墻、負載均衡器等VAS 設備。Service Leaf 和Border Leaf 可以合設也可以分設。

6 結束語

隨著云計算技術的快速發(fā)展和數(shù)據(jù)中心內業(yè)務激增，傳統(tǒng)三層網絡架構無法支撐大二層網絡構建和流量的無阻塞轉發(fā)，Spine-Leaf 架構網絡逐漸開始出現(xiàn)，其擁有高可靠、高智能、低延時的特性，可以很好地滿足大規(guī)模數(shù)據(jù)中心內云計算的組網需求，不過對于規(guī)模較的數(shù)據(jù)中心，傳統(tǒng)的三層網絡架構擁有實現(xiàn)簡單、配置工作量低、廣播控制能力較強的特點，所以也仍然適用。