棱錐復(fù)合體結(jié)構(gòu)：一種新型的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

滕建，陳虹州，周詩瑩，周逸清，王如斌，楊慧

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都 611756）

棱錐復(fù)合體結(jié)構(gòu)：一種新型的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

滕建，陳虹州，周詩瑩，周逸清，王如斌，楊慧

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都 611756）

隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)作為核心基礎(chǔ)設(shè)施，發(fā)揮著越來越重要的作用。針對傳統(tǒng)樹形網(wǎng)絡(luò)的缺點，提出一個具有高容錯性和強擴展性的數(shù)據(jù)中心網(wǎng)絡(luò)——棱錐復(fù)合體結(jié)構(gòu)。OPNET仿真表明，與傳統(tǒng)樹形網(wǎng)絡(luò)結(jié)構(gòu)相比，棱錐復(fù)合體結(jié)構(gòu)能更好地滿足數(shù)據(jù)中心對容錯性和負(fù)載均衡的要求。

數(shù)據(jù)中心網(wǎng)絡(luò)；容錯性；負(fù)載均衡

0 引言

伴隨著云計算、物聯(lián)網(wǎng)和其他新興互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，目前全球已進入了數(shù)據(jù)爆炸時代。根據(jù)國際數(shù)據(jù)公司（International Data Corporation,IDC）發(fā)布的數(shù)字宇宙報告，預(yù)計到2020年全球數(shù)據(jù)總量將達到驚人的40ZB（Zettabytes）。思科在《物聯(lián)網(wǎng)產(chǎn)品和應(yīng)用案例介紹及創(chuàng)新產(chǎn)品發(fā)布》中也提出，到2020年全球?qū)⒃黾?00億臺連接設(shè)備，這些連接設(shè)備將會產(chǎn)生大量的數(shù)據(jù)。作為云計算等新型應(yīng)用服務(wù)的核心基礎(chǔ)設(shè)施，數(shù)據(jù)中心近年來成為了學(xué)術(shù)界和工業(yè)界的關(guān)注焦點。數(shù)據(jù)容量和業(yè)務(wù)用戶的激增使得數(shù)據(jù)中心規(guī)模急劇增加?？梢韵胂?，成千上萬臺服務(wù)器之間頻繁的高速交互通信對于數(shù)據(jù)中心網(wǎng)絡(luò)的容量和能耗要求絕對是技術(shù)上的重大挑戰(zhàn)。數(shù)據(jù)中心網(wǎng)絡(luò)是數(shù)據(jù)中心的核心組件，它通過高速鏈路和交換機支持?jǐn)?shù)萬至數(shù)十萬臺服務(wù)器間的互聯(lián)，為上層計算服務(wù)提供高效的網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸保障，其互聯(lián)方式和組網(wǎng)架構(gòu)對于數(shù)據(jù)中心的傳輸性能、能效和成本具有非常重要的作用。

傳統(tǒng)的基于樹形結(jié)構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)由于電纜帶寬受限、傳輸能耗大、占用空間大等問題，隨著信息流的不斷增長，在吞吐量、能效和成本等方面存在嚴(yán)重的發(fā)展瓶頸。經(jīng)典的Fat-Tree網(wǎng)絡(luò)結(jié)構(gòu)消除了傳統(tǒng)樹形結(jié)構(gòu)上層鏈路對吞吐量的限制，但其處理交換機能力不足，對底層交換設(shè)備故障敏感，使其在容錯性方面仍有限制。目前存在的引入光交換的拓?fù)浞桨福鏥L2，OSA，Helios等都是依靠光交換網(wǎng)絡(luò)為上層應(yīng)用設(shè)備提供高寬帶及網(wǎng)絡(luò)資源動態(tài)配置而有效降低組網(wǎng)的復(fù)雜度，但是不可避免地出現(xiàn)了時延問題并且限制了突發(fā)流量，因而降低其容錯性。

本文針對當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)在容錯性和負(fù)載均衡方面的挑戰(zhàn)，提出一種新的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)——棱錐復(fù)合體結(jié)構(gòu)。該結(jié)構(gòu)引入軟件定義技術(shù)，采用概率化機制，靈活調(diào)控網(wǎng)絡(luò)資源分配，提高鏈路利用率。通過OPNET仿真分析，該結(jié)構(gòu)在負(fù)載均衡和容錯性方面相比傳統(tǒng)的數(shù)據(jù)中心樹形網(wǎng)絡(luò)結(jié)構(gòu)都有較大的提升。

1 棱錐復(fù)合體架構(gòu)設(shè)計

1.1 設(shè)計目標(biāo)

（1）容錯性

在數(shù)據(jù)中心網(wǎng)絡(luò)中，解決容錯性問題的主要手段是通過增加冗余設(shè)備和冗余鏈路來改善網(wǎng)絡(luò)的可靠性，在故障發(fā)生時進行相關(guān)的遷移和災(zāi)備處理。由于數(shù)據(jù)中心組成設(shè)備多、鏈路連接復(fù)雜、網(wǎng)絡(luò)規(guī)模較大，因此單設(shè)備或單條鏈路故障發(fā)生的頻次比普通的網(wǎng)絡(luò)要多，是否具有較好的容錯性是評價數(shù)據(jù)中心很重要的標(biāo)準(zhǔn)。

對于樹形結(jié)構(gòu)，任一子樹根節(jié)點網(wǎng)絡(luò)設(shè)備出現(xiàn)故障，都將導(dǎo)致失效設(shè)備的下層結(jié)點與其他結(jié)點失去連接，尤其當(dāng)匯聚層結(jié)點失效時，更可能導(dǎo)致整個網(wǎng)絡(luò)的癱瘓。這種結(jié)構(gòu)存在明顯的單點失效問題，網(wǎng)絡(luò)容錯性較差。棱錐復(fù)合體架構(gòu)中，冗余設(shè)備的引入提高了網(wǎng)絡(luò)帶寬，解決了瓶頸問題，由于設(shè)備冗余而產(chǎn)生了冗余路徑且數(shù)據(jù)都是在盡可能短的路徑上傳輸，使得整個架構(gòu)具有較高的容錯性。

（2）負(fù)載均衡

負(fù)載均衡是由多臺服務(wù)器以對稱的方式組成一個服務(wù)器集合，每臺服務(wù)器都具有等價的地位，都可以單獨對外提供服務(wù)而無須其他服務(wù)器的輔助。通過某種負(fù)載分擔(dān)技術(shù)，將外部發(fā)送來的請求均勻分配到對稱結(jié)構(gòu)中的某一臺服務(wù)器上，而接收到請求的服務(wù)器獨立地回應(yīng)客戶的請求。

均衡負(fù)載能夠平均分配客戶請求到服務(wù)器，以此提供快速獲取重要數(shù)據(jù)，解決大量并發(fā)訪問服務(wù)問題。在棱錐復(fù)合體架構(gòu)中，每個客戶端交換機都與至少四個服務(wù)器端交換機直接相連，每個服務(wù)器具有等價的地位，可為客戶獨立地提供各種服務(wù)，滿足客戶的并發(fā)訪問需求。

（3）可擴展性

數(shù)據(jù)中心規(guī)模不斷增大，良好的可擴展性對于網(wǎng)絡(luò)升級的成本有著至關(guān)重要的作用。本結(jié)構(gòu)主要針對物理結(jié)構(gòu)和通信協(xié)議可擴展兩個層面。其中物理結(jié)構(gòu)可擴展又包括低成本和增量擴展兩個評價標(biāo)準(zhǔn)，要求擴展后新增加的鏈路或節(jié)點對原有結(jié)構(gòu)的工作支持沒有影響。

雖然樹形結(jié)構(gòu)的擴展方式便捷，但自下而上流量對網(wǎng)絡(luò)設(shè)備的處理能力要求不斷增強，并且維持1:1的過載率所需的硬件設(shè)備升級代價過大，只能提供有限的可擴展性；棱錐復(fù)合體架構(gòu)可基于橫向和縱向進行雙向擴展，這種結(jié)構(gòu)可以支持更大規(guī)模的節(jié)點互聯(lián)，整個網(wǎng)絡(luò)中的交換機都是等價的，且網(wǎng)絡(luò)規(guī)模越大，與客戶端交換機直接相連的服務(wù)器端交換機數(shù)量就越多，有效解決了帶寬瓶頸帶來的擴展限制問題。

1.2 棱錐復(fù)合體架構(gòu)具體參數(shù)

（1）互連規(guī)則

圖1為一級棱錐復(fù)合體架構(gòu)，它是由三層結(jié)構(gòu)相互連接構(gòu)成，其中每一層結(jié)構(gòu)如圖2所示。通過圖2可以看出，在網(wǎng)絡(luò)的同一層，四個交換機正好是三棱錐的四個頂點，它們在邏輯連接上是等價的，每個交換機都與其他三個交換機直接相連，且任意兩個交換機之間存在5條路徑如圖3所示。

圖1 棱錐復(fù)合體架構(gòu)

圖2 一級棱錐層架構(gòu)

圖3 一級棱錐層結(jié)構(gòu)點對之間的有效路徑

在層與層之間，對應(yīng)交換機之間直接相連，可根據(jù)具體的需求確定網(wǎng)絡(luò)中的層數(shù)，最終搭建完整的網(wǎng)絡(luò)架構(gòu)。當(dāng)完成層間連接后，交換機不僅與同一層的另外三個交換機直接相連，還與相鄰層的一個或兩個交換機直接相連，因此在整個網(wǎng)絡(luò)中某一交換機都可以4個或5個交換機直接相連。

棱錐復(fù)合體架構(gòu)具有良好的擴展性，其中最主要的是橫向擴展，如圖4為一級結(jié)構(gòu)經(jīng)過橫向擴展后的二級和三級結(jié)構(gòu)的層內(nèi)的連接方式，層與層之間的連接方式與一級結(jié)構(gòu)一樣，各級層擴展結(jié)構(gòu)中服務(wù)器的數(shù)量如表1所示。

圖4 二、三級棱錐層結(jié)構(gòu)

表1 各級棱錐層結(jié)構(gòu)所包含交換機數(shù)量

（2）終端結(jié)點接入規(guī)則

在棱錐復(fù)合體架構(gòu)中每個交換機都與終端節(jié)點相連，或者是與客戶端相連，或者是與服務(wù)器相連，因此整個網(wǎng)絡(luò)中的交換機可以分為兩類，即與客戶端相連的客戶端交換機和與服務(wù)器相連的服務(wù)器端交換機。

數(shù)據(jù)中心網(wǎng)絡(luò)就是為服務(wù)器與客戶之間的數(shù)據(jù)交換提供服務(wù)的，在一個數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)中采用何種策略接入客戶和服務(wù)器這兩種終端節(jié)點關(guān)系著網(wǎng)絡(luò)的服務(wù)能力和整體性能，是設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的很關(guān)鍵一步。

棱錐復(fù)合體架構(gòu)是在每一層選擇三個交換機與服務(wù)器相連，另外一個交換機與客戶節(jié)點相連，并且不同層上的客戶端不在同一列。這樣，每一個客戶端交換機就能與至少4個服務(wù)器端交換機直接相連，客戶端就可以并發(fā)地訪問多個服務(wù)器的應(yīng)用，不僅大大提高了網(wǎng)絡(luò)的服務(wù)能力，還減短了網(wǎng)絡(luò)中數(shù)據(jù)傳輸所經(jīng)過的路徑，降低網(wǎng)絡(luò)負(fù)荷，使得網(wǎng)絡(luò)的性能更加穩(wěn)定，容錯性更好。

2 仿真分析

2.1 參數(shù)設(shè)置

胖樹結(jié)構(gòu)是在數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中占據(jù)重要地位的一款功能強大的經(jīng)典架構(gòu)。由于本次設(shè)計的棱錐復(fù)合體架構(gòu)主要是針對胖樹架構(gòu)在負(fù)載均衡和容錯性方面存在的一些不足提出來的，所以采取與胖樹對比的方式進行參數(shù)分析，從而體現(xiàn)出棱錐復(fù)合體架構(gòu)的優(yōu)勢，進而論證本次設(shè)計的有效性。在宏觀上對胖樹和棱錐復(fù)合體結(jié)構(gòu)的網(wǎng)絡(luò)硬件設(shè)備進行對比分析，主要對比參數(shù)有交換機數(shù)量、鏈路數(shù)量、服務(wù)器數(shù)量、客戶端數(shù)量、平均路徑長度。其中，平均途經(jīng)長度是指各客戶端交換機到各個服務(wù)器端交換機的最短路徑的平均值。由表2可清晰地看到，胖樹的交換機數(shù)量和平均路徑長度是棱錐復(fù)合體架構(gòu)的兩倍左右，鏈路數(shù)量也高于棱錐復(fù)合體架構(gòu)的鏈路數(shù)量，服務(wù)器數(shù)量比棱錐復(fù)合體架構(gòu)的少一個。但是胖樹的客戶端數(shù)量要比棱錐復(fù)合體架構(gòu)的多一個?？傊忮F復(fù)合體架構(gòu)對網(wǎng)絡(luò)資源量相對較少，對每一種網(wǎng)絡(luò)資源的利用都比較充分。

表2 胖樹與棱錐復(fù)合體各參數(shù)對比

用OPNET網(wǎng)絡(luò)仿真軟件對棱錐復(fù)合體架構(gòu)和胖樹架構(gòu)進行性能仿真，在仿真中用控制變量法，因此要對兩種架構(gòu)配置相同的應(yīng)用和概要，然后比較分析仿真結(jié)果，具體配置內(nèi)容和仿真結(jié)果如下：

（1）架構(gòu)搭建：分別用OPNET軟件自帶的模型庫中的交換機、鏈路和工作站搭建胖樹架構(gòu)（圖5）和棱錐復(fù)合體架構(gòu)（圖6）。

（2）應(yīng)用配置：由于胖樹架構(gòu)有8個服務(wù)器而棱錐復(fù)合體架構(gòu)有9個服務(wù)器，為了統(tǒng)一變量，選擇棱錐復(fù)合體架構(gòu)中的8個服務(wù)器和胖樹架構(gòu)中的8個服務(wù)器建立一一對應(yīng)關(guān)系，并且分別為8對服務(wù)器配置8種應(yīng)用。

（3）概要配置：由于胖樹架構(gòu)有4個客戶端而棱錐復(fù)合體架構(gòu)有3個客戶端，為了統(tǒng)一變量，選擇胖樹中的3個客戶端和棱錐復(fù)合體架構(gòu)中的3個客戶端建立一一對應(yīng)關(guān)系，并且分別為3對客戶配置3個概要，3個概要是分別獨立地在8個應(yīng)用中選擇了4種進行并發(fā)訪問。

圖5 OPNET胖樹架構(gòu)

圖6 OPNET棱錐復(fù)合體架構(gòu)

（4）仿真分析：設(shè)定仿真時間為10分鐘，對兩個網(wǎng)絡(luò)的時延和客戶終端吞吐量的結(jié)果進行對比。

2.2 結(jié)果分析

（1）無故障性能分析

圖7 時延對比

①時延對比：由圖7可知，棱錐復(fù)合體架構(gòu)的時延要小于胖樹的時延，充分體現(xiàn)了棱錐復(fù)合體架構(gòu)平均路徑短的優(yōu)勢。

②吞吐量對比：分別對兩個架構(gòu)中的三組客戶終端的發(fā)送和接收速率進行對比，反映出客戶終端的吞吐量，從而體現(xiàn)出兩個網(wǎng)絡(luò)架構(gòu)提供數(shù)據(jù)交換的能力。由圖8可以看出，第一組客戶終端中棱錐復(fù)合體架構(gòu)的吞吐量明顯高于胖樹架構(gòu)的吞吐量。第二組客戶終端中，棱錐復(fù)合體架構(gòu)的吞吐量略高于胖樹架構(gòu)的吞吐量。第三組客戶終端中，兩種架構(gòu)的吞吐量十分接近。整體看來，棱錐復(fù)合體架構(gòu)的吞吐量要高于胖樹架構(gòu)的吞吐量。

圖8 吞吐量對比

（2）容錯性驗證

本次設(shè)計的目標(biāo)之一是提高數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的容錯性，如圖9所示，在保證整個網(wǎng)絡(luò)連通的情況下，使棱錐復(fù)合體架構(gòu)的12條路徑失效，然后進行仿真并和完整架構(gòu)進行仿真結(jié)果的對比，論證棱錐復(fù)合體架構(gòu)在容錯性方面的獨特優(yōu)勢。

圖9 部分鏈路失效后的棱錐復(fù)合體架構(gòu)

圖10 時延對比

①時延對比：如圖10所示，部分鏈路失效的網(wǎng)絡(luò)架構(gòu)的時延要低于完整絡(luò)架構(gòu)的時延。

②吞吐量對比：分別對完整網(wǎng)絡(luò)架構(gòu)和部分鏈路失效網(wǎng)絡(luò)架構(gòu)的三組客戶終端的發(fā)送和接收速率進行對比，從而反映客戶終端的吞吐量的差異，對比結(jié)果如圖10所示。三組客戶終端的吞吐量的差距很小，甚至沒有差距，說明部分鏈路的失效對于整個網(wǎng)絡(luò)的性能的影響很小或者沒有影響。

圖11 吞吐量對比

3 結(jié)語

數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的容錯性和負(fù)載均衡對當(dāng)今處理龐大數(shù)據(jù)有著至關(guān)重要的意義，本文針對現(xiàn)如今存在架構(gòu)在這兩方面的不足，提出了棱錐復(fù)合體架構(gòu)方案。此方案中引用概率的思想來分配數(shù)據(jù)中心的網(wǎng)絡(luò)資源，引入冗余設(shè)備提高網(wǎng)絡(luò)帶寬，增加網(wǎng)絡(luò)的冗余路徑，進而提高了網(wǎng)絡(luò)的容錯性。棱錐復(fù)合體架構(gòu)可基于橫向和縱向進行雙向擴展，明顯提高了網(wǎng)絡(luò)的可擴展性。經(jīng)過OPNET網(wǎng)絡(luò)仿真軟件對棱錐復(fù)合體架構(gòu)和胖樹架構(gòu)進行性能仿真對比，棱錐復(fù)合體新型架構(gòu)在容錯性和負(fù)載均衡方面都表現(xiàn)出一定的優(yōu)勢，使得對網(wǎng)絡(luò)資源的利用更加合理化，網(wǎng)絡(luò)的性能也更加穩(wěn)定、可靠、強大。

[1]J.Gantz,D.Reinsel,The Digital Universe IN 2020:Big Data,Bigger Digital Shadows,and Biggest Growth in the Far East.Framingham:IDC Analyze the Future,2012.

[2]程靜著.新一代數(shù)據(jù)中心網(wǎng)絡(luò)新型架構(gòu)研究.[學(xué)位論文]北京交通大學(xué)碩士，2014.3.

[3]Adarshpal S.Sethi,Vasil Y.Hnatyshin著，王芳玲，母景琴譯.計算機網(wǎng)絡(luò)仿真OPNET實用指南.北京：機械工業(yè)出版社，2014.8.

[4]陳敏著.OPNET網(wǎng)絡(luò)仿真．北京：清華大學(xué)出版社，2004.

[5]冷飛，徐進華，欒仕喜著.DCNS：一種高可用性的數(shù)據(jù)中心網(wǎng)絡(luò).計算機科學(xué)報，2013.12.

[6]費鈺江著.淺談數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的發(fā)展.[期刊論文]-網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014.7.

[7]李徐艷著.數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載均衡與容錯研究.[學(xué)位論文]浙江大學(xué)碩士，2014.

[8]謝佩傅著.數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的研究.[學(xué)位論文]西安電子科技大學(xué)碩士，2012.3.

Abstract：With the rapid development of information technology,data center network plays an increasingly important role as the core infrastructure.Aiming at the disadvantages of traditional tree network,presents a data center network,pyramid complex structure with high fault tolerance and strong expansibility.And the OPNET software is used to build the platform.Compared with the traditional tree network structure,the simulation results show that the pyramid complex structure can better meet the requirement of fault tolerance and load balancing in data center.

Keywords：Data Center Network;Fault Tolerance;Load Balancing

Pyramid Complex Structure:a New Type of Data Center Network Structure

TENG Jian，CHEN Hong-zhou，ZHOU Shi-ying，ZHOU Yi-qing，WANG Ru-bin，YANG Hui

（School of Information Science and Technology,Southwest Jiaotong University,Chengdu 611756）

國家自然科學(xué)基金（No.61505168）

1007-1423（2017）26-0003-06

10.3969/j.issn.1007-1423.2017.26.001

滕建（1996-），男，四川南充人，在讀本科

陳虹州（1993-），男，安微合肥人，碩士研究生，研究方向為彈性光網(wǎng)絡(luò)和數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計

周詩瑩（1996-），女，江蘇揚州人，在讀本科

周逸清（1997-），女，江西撫州人，在讀本科

王如斌（1994-），男，甘肅定西人，在讀本科

楊慧（1986-），女，四川眉山人，教師，博士，研究方向為無源光網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)等

2017-04-14

2017-08-02