日本互聯(lián)網(wǎng)公司為企業(yè)大數(shù)據(jù)計(jì)劃部署博科VCS矩陣

■何鈺潔

日本互聯(lián)網(wǎng)公司為企業(yè)大數(shù)據(jù)計(jì)劃部署博科VCS矩陣

■何鈺潔

博科近日宣布，日本最大的互聯(lián)網(wǎng)公司以及全球數(shù)字市場(chǎng)領(lǐng)導(dǎo)者——雅虎（日本）公司已完成博科以太網(wǎng)矩陣解決方案的部署，將其作為整個(gè)企業(yè)大數(shù)據(jù)項(xiàng)目的網(wǎng)絡(luò)基礎(chǔ)。新的博科以太網(wǎng)矩陣現(xiàn)在為Apache Hadoop提供高性能數(shù)據(jù)吞吐量，同時(shí)較之前基礎(chǔ)架構(gòu)削減了一半運(yùn)營(yíng)成本。

大數(shù)據(jù)是雅虎（日本）的關(guān)鍵戰(zhàn)略計(jì)劃。部署該項(xiàng)目是為了幫助公司保持其“向用戶(hù)提供互聯(lián)網(wǎng)服務(wù)”方面的創(chuàng)新領(lǐng)導(dǎo)地位。Hadoop用來(lái)分析從其門(mén)戶(hù)網(wǎng)站獲取的大量信息，并充分利用這些數(shù)據(jù)來(lái)改進(jìn)雅虎（日本）的服務(wù)質(zhì)量，并且創(chuàng)建新服務(wù)。Hadoop還用來(lái)支持電子商務(wù)，并能夠?yàn)楣镜挠脩?hù)群每天

提供數(shù)百萬(wàn)個(gè)性化的相關(guān)內(nèi)容推薦。

在雅虎（日本），博科VDX以太網(wǎng)矩陣模塊和固定端口網(wǎng)絡(luò)交換機(jī)替代了傳統(tǒng)基于生成樹(shù)協(xié)議的網(wǎng)絡(luò)。新的自動(dòng)化網(wǎng)絡(luò)基礎(chǔ)架構(gòu)連接了數(shù)百個(gè)服務(wù)器，這些服務(wù)器又支持?jǐn)?shù)千個(gè)節(jié)點(diǎn)，專(zhuān)門(mén)用來(lái)支持整個(gè)企業(yè)的Hadoop分析。

隨著企業(yè)機(jī)構(gòu)內(nèi)部大數(shù)據(jù)分析要求和感知價(jià)值的顯著增長(zhǎng)，雅虎（日本）迅速意識(shí)到必須構(gòu)建一個(gè)可在整個(gè)企業(yè)共享的更大的新Hadoop基礎(chǔ)架構(gòu)。顯而易見(jiàn)的是，由于數(shù)據(jù)吞吐量限制、無(wú)法輕松增加容量，以及與日俱增的運(yùn)營(yíng)復(fù)雜性使得應(yīng)用程序性能和可用性面臨風(fēng)險(xiǎn)，傳統(tǒng)網(wǎng)絡(luò)并不適合新的Hadoop設(shè)計(jì)。

為大數(shù)據(jù)提供堅(jiān)實(shí)基礎(chǔ)

在雅虎支持新Hadoop環(huán)境的網(wǎng)絡(luò)要求包括：能夠擴(kuò)展環(huán)境，以高成本效益迅速增加更多節(jié)點(diǎn)，需要支持節(jié)點(diǎn)間的突發(fā)、高速通信等方面。在對(duì)備選方案進(jìn)行分析之后，雅虎決定，以太網(wǎng)矩陣架構(gòu)最適合其新的Hadoop環(huán)境——能夠輕松靈活地進(jìn)行擴(kuò)展，并且具有高性能數(shù)據(jù)吞吐量。

在確定最適合Hadoop的網(wǎng)絡(luò)要求之后，雅虎（日本）認(rèn)真對(duì)比并測(cè)試了幾種以太網(wǎng)矩陣解決方案，評(píng)估其性能、功能、成本和運(yùn)營(yíng)管理。評(píng)估一結(jié)束，公司就因?yàn)楦咝阅?、低延遲、深緩沖以及自動(dòng)化部署和運(yùn)營(yíng)簡(jiǎn)潔性而敲定使用博科? VCS矩陣技術(shù)和博科VDX交換機(jī)，由于不再需要手動(dòng)配置，從而節(jié)約了時(shí)間。

現(xiàn)在，這一新開(kāi)發(fā)的、用于整個(gè)企業(yè)的共享Hadoop網(wǎng)絡(luò)基礎(chǔ)架構(gòu)包含多個(gè)帶有數(shù)千個(gè)節(jié)點(diǎn)的集群。高密度博科VDX 8770模塊化機(jī)箱作為匯聚交換機(jī)來(lái)使用，它集成了一系列機(jī)架，以便在交換機(jī)之間創(chuàng)建矩陣。VDX機(jī)箱利用交換機(jī)的高帶寬多機(jī)箱中繼（MCT）功能而連接至博科MLXe核心路由器。公司還部署了固定端口博科VDX交換機(jī)，以便為雅虎（日本）集團(tuán)公司其它項(xiàng)目所使用的較小的Hadoop基礎(chǔ)架構(gòu)來(lái)構(gòu)建矩陣。

分析師觀點(diǎn)：大數(shù)據(jù)的以太網(wǎng)矩陣

據(jù)Gartner的數(shù)據(jù)1顯示，“大數(shù)據(jù)服務(wù)器產(chǎn)生大量網(wǎng)絡(luò)要求、放量和突發(fā)服務(wù)器-到-服務(wù)器（例如：東/西）流量。要想應(yīng)對(duì)這些特征，網(wǎng)絡(luò)設(shè)計(jì)師必須確保其網(wǎng)絡(luò)交換基礎(chǔ)架構(gòu)滿(mǎn)足關(guān)鍵要求?！?/p>

在同一份報(bào)告中，Gartner表示，大數(shù)據(jù)部署中的交換機(jī)應(yīng)通過(guò)“高帶寬接入和上行鏈路接口”來(lái)解決“服務(wù)器之間的高流量”，以及“低延遲”問(wèn)題。交換基礎(chǔ)架構(gòu)必須要通過(guò)“具有低超利用率的線速功能，深層數(shù)據(jù)包緩沖功能以及低延遲”來(lái)解決“突發(fā)流量模式和不同數(shù)據(jù)采集模式”的大數(shù)據(jù)特點(diǎn)。已經(jīng)部署現(xiàn)代“以太網(wǎng)矩陣”（例如一層或兩層物理網(wǎng)狀或部分網(wǎng)狀拓?fù)洌┑钠髽I(yè)機(jī)構(gòu)將有可能滿(mǎn)足上述網(wǎng)絡(luò)要求。

雅虎（日本）網(wǎng)站運(yùn)營(yíng)部門(mén)基礎(chǔ)架構(gòu)工程部數(shù)據(jù)中心網(wǎng)絡(luò)經(jīng)理Kenya Murakoshi表示：“除了提供支持大量流量來(lái)處理我們新Hadoop環(huán)境所需的高性能以外，博科VCS矩陣還讓我們能夠?qū)⒕W(wǎng)絡(luò)部署和運(yùn)營(yíng)所花的時(shí)間減少一半以上，這將顯著降低運(yùn)營(yíng)成本。與其他矩陣技術(shù)相比，博科VCS矩陣的簡(jiǎn)潔性是不可思議的，從而讓我們能夠以巨大的靈活性快速擴(kuò)展網(wǎng)絡(luò)?！?/p>

博科數(shù)據(jù)中心與校園網(wǎng)絡(luò)副總裁Jason Nolet表示：“雅虎（日本）是越來(lái)越多采用我們以太網(wǎng)矩陣交換機(jī)來(lái)支持企業(yè)大數(shù)據(jù)計(jì)劃的一個(gè)典型代表。我們非常高興能夠成為雅虎（日本）Hadoop解決方案的關(guān)鍵組成部分，并且很自豪能夠提供同類(lèi)最佳的網(wǎng)絡(luò)自動(dòng)化和性能，幫助雅虎（日本）顯著降低其運(yùn)營(yíng)成本，同時(shí)確保關(guān)鍵應(yīng)用程序以最佳水平運(yùn)行?！?/p>