MLAG技術(shù)在數(shù)據(jù)中心雙歸屬中的原理及應(yīng)用

文/石瑞華

1 引言

隨著網(wǎng)絡(luò)規(guī)模的不斷擴大，對網(wǎng)絡(luò)設(shè)備可靠性的要求也在不斷提高。尤其是在數(shù)據(jù)中心的應(yīng)用場景中，幾乎所有的數(shù)據(jù)中心服務(wù)器都需要實現(xiàn)雙歸屬，通過雙網(wǎng)卡形成鏈路聚合，再分別雙上聯(lián)交換設(shè)備，以增強其可靠性。當(dāng)任何一臺上聯(lián)交換機出問題，或者任何一個上聯(lián)端口出問題，都能實現(xiàn)快速切換，業(yè)務(wù)上切換時間實現(xiàn)小于50ms，丟包達到最小化。

要實現(xiàn)雙歸屬，最常用的技術(shù)手段包括堆疊技術(shù)和MLAG技術(shù)。

2 堆疊技術(shù)

堆疊技術(shù)，即Stacking技術(shù)，主要是將兩臺或者多臺設(shè)備通過堆疊口按照一定的形式進行互聯(lián)互通。比如最常用的就是總線型組網(wǎng)和環(huán)型組網(wǎng)，復(fù)雜的還有星型組網(wǎng)等。這些設(shè)備對外呈現(xiàn)出的是一臺設(shè)備。也就是說，這些設(shè)備互聯(lián)之后，就組合成了一臺大型設(shè)備，每臺設(shè)備只相當(dāng)于這一臺大設(shè)備中的一塊子線卡。

所有的設(shè)備都可以實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)功能。在這些設(shè)備中有一臺主設(shè)備，主要負責(zé)控制層面的運算。另外還有一臺備設(shè)備，主要負責(zé)控制層面的備份，以應(yīng)對主設(shè)備的意外故障。除了上述主備兩臺設(shè)備之外，其他的設(shè)備都稱為從設(shè)備，只負責(zé)數(shù)據(jù)轉(zhuǎn)發(fā)，不負責(zé)任何控制層面的運算。所有的配置信息都需要從主設(shè)備進行下發(fā)，下發(fā)到包括主設(shè)備、備設(shè)備和眾多從設(shè)備在內(nèi)的所有設(shè)備上?？偟膩碚f，堆疊系統(tǒng)就是一主一備多從的設(shè)備，通過一定的互聯(lián)互通方式，實現(xiàn)的設(shè)備虛擬化技術(shù)。

對于大部分數(shù)據(jù)中心的應(yīng)用來說，高可靠性固然重要，但并不需要太多的設(shè)備來實現(xiàn)這樣的可靠性。一般來說，數(shù)據(jù)中心服務(wù)器只需要通過雙網(wǎng)卡來實現(xiàn)聚合口雙歸屬即可，并不需要能支持多臺設(shè)備的堆疊技術(shù)。而且，一般支持堆疊系統(tǒng)的設(shè)備實現(xiàn)復(fù)雜。除了堆疊系統(tǒng)本身之外，所有模塊還都需要支持HA（High Available，高可用性集群），需要實現(xiàn)實時備份、批量備份和數(shù)據(jù)平滑。這樣復(fù)雜的系統(tǒng)一般價格昂貴，性價比低，不是一般小型數(shù)據(jù)中心能夠承擔(dān)的。是否有一種輕量化的技術(shù)能用來替代堆疊系統(tǒng)呢，這就引出了本文要重點介紹的MLAG技術(shù)。

圖1：MLAG技術(shù)示意圖

3 MLAG技術(shù)

MLAG全稱是Multi-Chassis Link-Aggregation，即跨設(shè)備鏈路聚合。MLAG通過把兩臺設(shè)備的相關(guān)端口配置到同一個MLAG組中，來實現(xiàn)跨設(shè)備的鏈路聚合。這是一種端口虛擬化技術(shù)。兩臺設(shè)備并未像堆疊一樣合成一臺設(shè)備，兩臺設(shè)備還是分別獨立的設(shè)備，無需進行復(fù)雜的控制面?zhèn)浞?，實現(xiàn)相對簡單，目前已被廣泛使用。

3.1 MLAG技術(shù)的基本原理

如圖1所示，下面兩臺雙網(wǎng)卡服務(wù)器分別通過兩條鏈路直接連接到上面的兩臺交換設(shè)備，這兩條鏈路之間通過靜態(tài)聚合或者LACP（Link Aggregation Control Protocol，鏈路匯聚控制協(xié)議）形成鏈路聚合組，以實現(xiàn)增大帶寬和鏈路備份的功能。這兩臺服務(wù)器完全不需要感知到上行鏈路是兩臺設(shè)備還是一臺設(shè)備。

對于上面的兩臺MLAG交換設(shè)備來說，和下行設(shè)備連接的兩個端口需要綁定到同一個MLAG組內(nèi)，對外表現(xiàn)成同一個聚合端口。當(dāng)然連接的端口也可以是多個端口，比如一邊3個端口，一共6個端口形成一個MLAG組，對外表現(xiàn)成一個有6個成員端口的聚合組。

對于上面兩臺MLAG設(shè)備來說，還需要通過中間的一條設(shè)備間聚合鏈路連接在一起，這條鏈路一般稱作Peer-link。Peer-link可以讓兩臺設(shè)備互相感知對方的存在，互相發(fā)送一些控制面信息。例如之前提到的如果要配置成同一個MLAG組的不同端口，彼此需要感知到對方的存在，這就要通過中間這條Peer-link鏈路發(fā)送信息來實現(xiàn)。另外，在下行MLAG口DOWN掉的時候，Peer-link還需要負責(zé)一部分數(shù)據(jù)流量的轉(zhuǎn)發(fā)。

MLAG兩臺設(shè)備之間通過TCP連接，可以通過系統(tǒng)MAC地址選舉出一臺主設(shè)備和一臺備設(shè)備。這里的主備僅就控制層面進行區(qū)分，在數(shù)據(jù)層面兩臺設(shè)備是對等的，并無主備的區(qū)別。

3.2 MLAG對于單播數(shù)據(jù)報文的轉(zhuǎn)發(fā)原理

MLAG對于單播數(shù)據(jù)報文轉(zhuǎn)發(fā)的核心實現(xiàn)原理是，下聯(lián)口無論從哪個方向?qū)W習(xí)到FDB（Forwarding DataBase，MAC地址轉(zhuǎn)發(fā)表），均會通過Peer-link同步到對端設(shè)備，并且將出口填成在本設(shè)備上對應(yīng)的MLAG口。這樣來自上聯(lián)口（或者其他下聯(lián)口）的數(shù)據(jù)報文無論從哪臺設(shè)備過來，都能查找到FDB表項進行二層轉(zhuǎn)發(fā)，而且是本地轉(zhuǎn)發(fā)，無需通過Peer-link。

當(dāng)下行端口中的任何一個端口DOWN掉，系統(tǒng)需要把在這個口上學(xué)習(xí)到的FDB的出口全部切換成Peer-link，讓對應(yīng)的數(shù)據(jù)報文收到之后可以通過Peer-link轉(zhuǎn)發(fā)到對端設(shè)備，以實現(xiàn)下行聚合口的不間斷數(shù)據(jù)轉(zhuǎn)發(fā)。當(dāng)DOWN掉的端口恢復(fù)時，系統(tǒng)再把指向Peer-link的出口再次切換回正常的下行聚合口，報文又可以恢復(fù)本地轉(zhuǎn)發(fā)。

值得注意的是，F(xiàn)DB的老化只能在學(xué)習(xí)到的設(shè)備上完成，另一臺設(shè)備不能在同步來的表項上做老化處理，否則會引起兩臺設(shè)備表項的不一致。

另外，系統(tǒng)配置的MLAG聚合組可以和AGG(Aggregation，聚合）聚合組一一對應(yīng)，每個AGG聚合組只能綁定到一個MLAG組中，一個MLAG組也只能被一個AGG綁定。

最后，如果交換設(shè)備上除了MLAG口之外，還存在其他的非MLAG口（一般稱之為Orphan Port），那么系統(tǒng)也可以進行處理。處理方法是，將Orphan Port上學(xué)到的FDB通過Peer-link同步到鄰居設(shè)備，在該鄰居設(shè)備上將此FDB出口指向Peer-link。收到數(shù)據(jù)報文的時候，通過Peer-link將報文轉(zhuǎn)發(fā)到擁有這個Orphan Port的設(shè)備上，進行正常轉(zhuǎn)發(fā)。

3.3 MLAG對于廣播數(shù)據(jù)報文的轉(zhuǎn)發(fā)原理

對于MAC地址全F（全1）的廣播報文以及未知單播報文，系統(tǒng)需要做VLAN內(nèi)廣播處理。由于兩臺設(shè)備上均存在VLAN成員端口，以及上面提到的Orphan Port的存在，所以廣播報文需要通過Peer-link轉(zhuǎn)發(fā)到鄰居設(shè)備。

最關(guān)鍵的問題在于，如何避免兩臺設(shè)備上同一個MLAG組內(nèi)的端口同時轉(zhuǎn)發(fā)這個廣播流量，造成下行設(shè)備上收到雙份數(shù)據(jù)流。處理此問題的核心原則是，設(shè)備對于來自Peer-link的流量往下行MLAG成員口做端口隔離，即不允許來自Peer-link的流量走下行MLAG成員口。但隔離有個前提，就是這個被隔離的成員口所對應(yīng)的在鄰居設(shè)備上的成員口是UP的。這樣就能有效的避免雙分流的產(chǎn)生。

當(dāng)MLAG成員口發(fā)生DOWN的時候，系統(tǒng)需要將鄰居設(shè)備上的對應(yīng)口上的隔離打開，這樣廣播報文就能順利的通過Peer-link從對應(yīng)的MLAG成員口上被轉(zhuǎn)發(fā)出來。等DOWN掉的口恢復(fù)時，系統(tǒng)再將鄰居設(shè)備上對應(yīng)的MLAG成員口上的隔離關(guān)閉，以免雙份流量的產(chǎn)生。

此隔離主要用于廣播流量。對于單播流量，只要處理好FDB成員口的切換，讓其在MLAG口沒有DOWN的時候進行本地轉(zhuǎn)發(fā)，而不要轉(zhuǎn)到Peer-link上，就不會存在雙份流的問題。

3.4 MLAG其他需要考慮的問題

在二層網(wǎng)絡(luò)中，為了避免廣播風(fēng)暴，一般會使用STP（Spanning Tree Protocol,生成樹協(xié)議）。STP協(xié)議通過BPDU（Bridge Protocol Data Unit，網(wǎng)橋協(xié)議數(shù)據(jù)單元）報文進行協(xié)議處理。MLAG環(huán)境下兩臺設(shè)備是獨立的設(shè)備，互相之間不做協(xié)議同步，所以不能讓兩臺設(shè)備分別計算。否則一旦兩臺設(shè)備計算結(jié)果不一致，會造成兩臺設(shè)備上的MLAG成員口一邊被阻塞而另一邊被打開，從而引起故障。此時一般的做法是不論哪臺設(shè)備上收到BPDU報文，均送給主設(shè)備進行STP協(xié)議運算，由主設(shè)備算出結(jié)果，再將結(jié)果分發(fā)到備設(shè)備上。

細節(jié)上還有其他需要討論的內(nèi)容，限于篇幅本文就不做展開了。

4 小結(jié)

本文基于數(shù)據(jù)中心服務(wù)器雙歸屬的實際應(yīng)用場景，介紹了一種輕量化的端口虛擬化的MLAG技術(shù)，通過該技術(shù)可以很方便的做到跨設(shè)備的鏈路聚合，以解決數(shù)據(jù)中心服務(wù)器對于高可靠性的要求。