存儲(chǔ)虛擬化在無(wú)錫廣電新媒體中的應(yīng)用

張殷希

(無(wú)錫廣播電視集團(tuán)，江蘇 無(wú)錫 214061)

?

存儲(chǔ)虛擬化在無(wú)錫廣電新媒體中的應(yīng)用

張殷希

(無(wú)錫廣播電視集團(tuán)，江蘇 無(wú)錫 214061)

無(wú)錫廣電兩大新媒體應(yīng)用系統(tǒng)太湖明珠網(wǎng)站和智慧無(wú)錫客戶(hù)端的存儲(chǔ)升級(jí)在統(tǒng)籌考慮、充分利舊的前提下，規(guī)劃建設(shè)存儲(chǔ)虛擬化平臺(tái)，提高存儲(chǔ)資源的利用率。在應(yīng)用系統(tǒng)遷移過(guò)程中，通過(guò)合理制定數(shù)據(jù)遷移步驟，確保業(yè)務(wù)不中斷的情況下完成所有遷移工作，并經(jīng)過(guò)測(cè)試驗(yàn)證虛擬化平臺(tái)的高性能和高可用性。存儲(chǔ)虛擬化在新媒體中的成功應(yīng)用為傳統(tǒng)媒體的存儲(chǔ)建設(shè)提供參考。

存儲(chǔ)虛擬化；新媒體；數(shù)據(jù)遷移

1 項(xiàng)目實(shí)施背景

太湖明珠網(wǎng)站和智慧無(wú)錫民生服務(wù)平臺(tái)[1]是無(wú)錫廣播電視臺(tái)旗下的兩大新媒體業(yè)務(wù)系統(tǒng)，其中太湖明珠網(wǎng)站為無(wú)錫第一門(mén)戶(hù)網(wǎng)站，日均訪問(wèn)量超過(guò)200萬(wàn)人次；智慧無(wú)錫民生服務(wù)平臺(tái)是移動(dòng)互聯(lián)網(wǎng)應(yīng)用，提供視音頻直播點(diǎn)播、公交、互助、搖搖樂(lè)、商城等30多個(gè)功能模塊，客戶(hù)端下載總量超過(guò)300萬(wàn)，注冊(cè)用戶(hù)35萬(wàn)。這兩個(gè)系統(tǒng)均采用服務(wù)器虛擬化架構(gòu)搭建硬件平臺(tái)[2]，分別使用各自獨(dú)立的存儲(chǔ)設(shè)備存放虛擬機(jī)、視音頻圖片、數(shù)據(jù)庫(kù)等業(yè)務(wù)系統(tǒng)運(yùn)行文件，服務(wù)器僅提供計(jì)算資源，系統(tǒng)架構(gòu)示意圖如圖1所示。

經(jīng)過(guò)多年發(fā)展，太湖明珠網(wǎng)站和智慧無(wú)錫兩大系統(tǒng)的業(yè)務(wù)發(fā)展迅猛、用戶(hù)數(shù)不斷攀升，使得其業(yè)務(wù)系統(tǒng)虛擬機(jī)的數(shù)量持續(xù)增加，且數(shù)據(jù)庫(kù)、視音頻圖片的并發(fā)讀寫(xiě)量也逐步上升，導(dǎo)致對(duì)存儲(chǔ)的帶寬、IOPS(每秒進(jìn)行讀寫(xiě)操作的次數(shù))、吞吐量以及容量等各方面提出了更高的要求。此外，隨著使用年限的增加，存儲(chǔ)設(shè)備，尤其是在2003年建立的太湖明珠網(wǎng)站的存儲(chǔ)設(shè)備日漸老化，可靠性、穩(wěn)定性存在隱患。因此，為了徹底解決存儲(chǔ)系統(tǒng)的瓶頸，消除安全隱患，著手規(guī)劃實(shí)施兩大新媒體系統(tǒng)的存儲(chǔ)升級(jí)[3]。

2 總體規(guī)劃

2.1 設(shè)計(jì)方案

根據(jù)太湖明珠網(wǎng)站和智慧無(wú)錫的整體技術(shù)架構(gòu)情況，考慮存儲(chǔ)系統(tǒng)升級(jí)有兩種方案，一是采用傳統(tǒng)方式，即對(duì)使用年限較久的太湖明珠網(wǎng)站存儲(chǔ)進(jìn)行重建、對(duì)部署較晚的智慧無(wú)錫存儲(chǔ)進(jìn)行擴(kuò)容，兩個(gè)系統(tǒng)分別單獨(dú)升級(jí)；另一種方案是考慮到兩個(gè)應(yīng)用系統(tǒng)均為虛擬化硬件平臺(tái)，采用存儲(chǔ)虛擬化方式[4]，充分利用智慧無(wú)錫現(xiàn)有存儲(chǔ)設(shè)備，與新購(gòu)存儲(chǔ)共同構(gòu)建存儲(chǔ)資源池，以平臺(tái)化服務(wù)的方式統(tǒng)一提供給太湖明珠網(wǎng)站與智慧無(wú)錫。分析這兩種方案，兩者的優(yōu)劣比較[5]如表1所示。

表1 兩種升級(jí)方案比較

考慮到第二種方案不僅滿(mǎn)足系統(tǒng)升級(jí)要求，也能實(shí)現(xiàn)存儲(chǔ)資源的集約化應(yīng)用與管理，因此決定采用存儲(chǔ)虛擬化架構(gòu)[6]。

2.2 系統(tǒng)架構(gòu)

存儲(chǔ)虛擬化平臺(tái)由存儲(chǔ)網(wǎng)關(guān)、新存儲(chǔ)、智慧無(wú)錫舊存儲(chǔ)等設(shè)備構(gòu)成，系統(tǒng)技術(shù)架構(gòu)示意圖如圖2所示。

圖2 存儲(chǔ)虛擬化平臺(tái)架構(gòu)示意圖

存儲(chǔ)虛擬化平臺(tái)中的存儲(chǔ)網(wǎng)關(guān)[7]下聯(lián)各存儲(chǔ)設(shè)備、上聯(lián)太湖明珠網(wǎng)站與智慧無(wú)錫業(yè)務(wù)系統(tǒng)的虛擬化服務(wù)器集群，將下層存儲(chǔ)設(shè)備中的物理卷轉(zhuǎn)化為虛擬卷之后，提供給上層虛擬化服務(wù)器集群應(yīng)用，是關(guān)鍵核心設(shè)備。

采用統(tǒng)一的存儲(chǔ)虛擬化系統(tǒng)，其優(yōu)勢(shì)有以下3方面：

1)跨系統(tǒng)、跨平臺(tái)的存儲(chǔ)池化，提升I/O(讀寫(xiě))性能，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的高可用性。

存儲(chǔ)虛擬化是通過(guò)對(duì)下層物理存儲(chǔ)硬件的接管，實(shí)現(xiàn)物理存儲(chǔ)對(duì)業(yè)務(wù)系統(tǒng)的透明化，并且利用多鏈路聚合、負(fù)載均衡、數(shù)據(jù)分區(qū)等技術(shù)，消除數(shù)據(jù)訪問(wèn)沖突，使得不同業(yè)務(wù)、不同系統(tǒng)的應(yīng)用能夠在一個(gè)存儲(chǔ)池中進(jìn)行統(tǒng)一管理調(diào)配。同時(shí)，可根據(jù)系統(tǒng)需要，將關(guān)鍵業(yè)務(wù)的數(shù)據(jù)卷分布在不同的物理存儲(chǔ)設(shè)備上，利用存儲(chǔ)網(wǎng)關(guān)的大容量緩存和同時(shí)寫(xiě)入功能(一份數(shù)據(jù)同時(shí)寫(xiě)入不同存儲(chǔ)中)，既能實(shí)現(xiàn)I/O負(fù)載均衡，提升I/O整體性能，又能保證業(yè)務(wù)連續(xù)在線。

2)統(tǒng)一的存儲(chǔ)平臺(tái)，實(shí)現(xiàn)靈活平滑擴(kuò)展。

單一的物理存儲(chǔ)設(shè)備在實(shí)現(xiàn)縱向或者橫向擴(kuò)展時(shí)，為了保證原有數(shù)據(jù)的準(zhǔn)確性，需要中斷業(yè)務(wù)系統(tǒng)，且根據(jù)擴(kuò)展操作的復(fù)雜程度，系統(tǒng)中斷時(shí)間通常需要數(shù)小時(shí)甚至數(shù)天，嚴(yán)重影響了業(yè)務(wù)系統(tǒng)的正常運(yùn)行。而存儲(chǔ)虛擬化平臺(tái)的搭建，是通過(guò)存儲(chǔ)網(wǎng)關(guān)實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)與存儲(chǔ)設(shè)備的關(guān)聯(lián)，在隱藏了存儲(chǔ)設(shè)備物理細(xì)節(jié)的情況下，可以適應(yīng)不同廠商、不同類(lèi)別的異構(gòu)存儲(chǔ)平臺(tái)，方便了存儲(chǔ)設(shè)備的縱向與橫向擴(kuò)展，并且確保業(yè)務(wù)系統(tǒng)的連續(xù)可靠運(yùn)行[8]。

3)充分利用舊有設(shè)備，節(jié)省開(kāi)支。

存儲(chǔ)虛擬化平臺(tái)中的存儲(chǔ)網(wǎng)關(guān)具有通用的接口，可容納不同類(lèi)型的存儲(chǔ)設(shè)備。存儲(chǔ)系統(tǒng)一旦需要升級(jí)，可根據(jù)實(shí)際應(yīng)用情況，將舊有設(shè)備納入到新存儲(chǔ)平臺(tái)中繼續(xù)使用，從而達(dá)到保護(hù)投資、降本節(jié)支的目的。

3 項(xiàng)目實(shí)施

3.1 實(shí)施內(nèi)容

根據(jù)總體規(guī)劃制定詳細(xì)的實(shí)施方案，涉及的主要內(nèi)容如表2所示。

在項(xiàng)目實(shí)施過(guò)程中，要求業(yè)務(wù)不中斷，并且利用現(xiàn)有資源盡可能提高存儲(chǔ)系統(tǒng)性能。

表2 云存儲(chǔ)平臺(tái)建設(shè)的實(shí)施內(nèi)容

3.2 不中斷業(yè)務(wù)的數(shù)據(jù)遷移

太湖明珠網(wǎng)站與智慧無(wú)錫業(yè)務(wù)面向互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)用戶(hù)提供服務(wù)，需要24小時(shí)在線應(yīng)用，因此在完成新存儲(chǔ)搭建之后，實(shí)施系統(tǒng)數(shù)據(jù)遷移沒(méi)有任何停機(jī)時(shí)間，必須在線完成。為此，規(guī)劃制定“擺渡”方式來(lái)實(shí)現(xiàn)操作系統(tǒng)層面的虛擬機(jī)和存儲(chǔ)數(shù)據(jù)的遷移，確保整個(gè)系統(tǒng)不中斷，這也是整個(gè)項(xiàng)目中的重點(diǎn)和難點(diǎn)所在。以智慧無(wú)錫的數(shù)據(jù)遷移為例，詳細(xì)描述整個(gè)過(guò)程。

1)部署環(huán)境

智慧無(wú)錫的服務(wù)器虛擬化集群中有7臺(tái)物理服務(wù)器，通過(guò)策略拆分出部分無(wú)任何虛擬機(jī)應(yīng)用的服務(wù)器，其中1臺(tái)服務(wù)器作為“擺渡”服務(wù)器，同時(shí)連接智慧無(wú)錫舊存儲(chǔ)和云存儲(chǔ)平臺(tái)；其他剩余服務(wù)器連接到云存儲(chǔ)平臺(tái)中，作為“對(duì)岸”服務(wù)器。在此環(huán)境下，利用服務(wù)器虛擬化集群的在線數(shù)據(jù)遷移功能，將業(yè)務(wù)數(shù)據(jù)通過(guò)“擺渡”服務(wù)器分批分次遷移到云存儲(chǔ)平臺(tái)上。

2)遷移流程

智慧無(wú)錫業(yè)務(wù)數(shù)據(jù)遷移包括操作系統(tǒng)層面的虛擬機(jī)遷移和存儲(chǔ)數(shù)據(jù)遷移兩個(gè)方面，整個(gè)流程如圖3所示。

第一步，將智慧無(wú)錫舊存儲(chǔ)中某臺(tái)服務(wù)器上的虛擬機(jī)遷移到“擺渡”服務(wù)器上，如圖中紅色箭頭指示(原圖為彩圖，灰度圖像中為顏色最深的箭頭)。

第二步，通過(guò)“擺渡”服務(wù)器，將該虛擬機(jī)的數(shù)據(jù)從智慧無(wú)錫舊存儲(chǔ)遷移到云存儲(chǔ)平臺(tái)上，如圖中黃色箭頭指示(即顏色次深的箭頭)。

圖3 業(yè)務(wù)數(shù)據(jù)遷移的流程示意圖

第三步，將已完成數(shù)據(jù)遷移的、仍然在“擺渡”服務(wù)器上的該虛擬機(jī)遷移到“對(duì)岸”服務(wù)器虛擬化集群中，以空出“擺渡”服務(wù)器，等待下一個(gè)虛擬機(jī)進(jìn)行遷移，如圖中綠色箭頭指示(即顏色最淺的箭頭)。

重復(fù)以上三步，直到該臺(tái)服務(wù)器上的所有虛擬機(jī)和所有數(shù)據(jù)全部遷移到云存儲(chǔ)平臺(tái)之后，再將該臺(tái)服務(wù)器合并入服務(wù)器虛擬化集群，并連接到云存儲(chǔ)平臺(tái)中。針對(duì)舊存儲(chǔ)網(wǎng)絡(luò)中剩余服務(wù)器，同樣完成以上操作之后，即完成了所有虛擬機(jī)和存儲(chǔ)數(shù)據(jù)遷移的全部工作。智慧無(wú)錫的整個(gè)遷移過(guò)程歷時(shí)8個(gè)小時(shí)，在業(yè)務(wù)不中斷的情況下完成了7臺(tái)服務(wù)器包含78臺(tái)虛擬機(jī)的遷移。

在數(shù)據(jù)遷移過(guò)程中，為防止數(shù)據(jù)丟失等意外情況，事先將所有虛擬機(jī)數(shù)據(jù)進(jìn)行備份，一旦發(fā)生任何問(wèn)題，都可以從備份數(shù)據(jù)中恢復(fù)，以確保數(shù)據(jù)遷移實(shí)施的安全可靠。

4 性能測(cè)試

太湖明珠網(wǎng)站和智慧無(wú)錫兩個(gè)新媒體應(yīng)用系統(tǒng)在零停機(jī)前提下，圓滿(mǎn)完成存儲(chǔ)虛擬化平臺(tái)的搭建。針對(duì)存儲(chǔ)IOPS、帶寬、業(yè)務(wù)系統(tǒng)模塊響應(yīng)時(shí)間等方面進(jìn)行了全面測(cè)試。

4.1 IOPS測(cè)試

升級(jí)前后數(shù)據(jù)卷IOPS測(cè)試對(duì)比圖如圖4所示，升級(jí)后IOPS性能提升了33.3%。

圖4 升級(jí)前后數(shù)據(jù)卷IOPS測(cè)試對(duì)比圖

4.2 帶寬測(cè)試

升級(jí)前后帶寬測(cè)試對(duì)比圖如圖5所示，升級(jí)后存儲(chǔ)帶寬提升25%。

圖5 升級(jí)前后帶寬測(cè)試對(duì)比圖

4.3 業(yè)務(wù)系統(tǒng)模塊響應(yīng)時(shí)間測(cè)試

1)太湖明珠網(wǎng)站

太湖明珠網(wǎng)站日訪問(wèn)量超過(guò)200萬(wàn)人次，在遷移至存儲(chǔ)虛擬化平臺(tái)之后，頁(yè)面打開(kāi)的響應(yīng)時(shí)間平均縮短27.5%，得到了顯著改善。升級(jí)前后太湖明珠網(wǎng)站平均訪問(wèn)延遲測(cè)試對(duì)比如圖6所示。

圖6 升級(jí)前后太湖明珠網(wǎng)站平均訪問(wèn)延遲測(cè)試對(duì)比圖

2)智慧無(wú)錫公交模塊

作為智慧無(wú)錫客戶(hù)端最活躍的應(yīng)用模塊，公交模塊的日訪問(wèn)量超過(guò)150多萬(wàn)次，在遷移至存儲(chǔ)虛擬化平臺(tái)之后，模塊響應(yīng)時(shí)間平均縮短30%，得到了顯著改善。升級(jí)前后智慧無(wú)錫APP公交模塊平均響應(yīng)時(shí)間測(cè)試對(duì)比圖如圖7所示。

圖7 升級(jí)前后智慧無(wú)錫APP公交模塊平均響應(yīng)時(shí)間測(cè)試對(duì)比圖

以上測(cè)試結(jié)果表明，太湖明珠網(wǎng)站與智慧無(wú)錫兩大業(yè)務(wù)系統(tǒng)遷移至存儲(chǔ)虛擬化平臺(tái)之后，在增強(qiáng)了存儲(chǔ)系統(tǒng)自身的性能與可靠性的基礎(chǔ)之上，更提升了整個(gè)業(yè)務(wù)系統(tǒng)的效率，使得用戶(hù)體驗(yàn)大幅提升，達(dá)到了預(yù)期目標(biāo)。

4 結(jié)束語(yǔ)

無(wú)錫廣播電視臺(tái)在臺(tái)內(nèi)太湖明珠網(wǎng)站和智慧無(wú)錫兩個(gè)新媒體業(yè)務(wù)系統(tǒng)中統(tǒng)籌考慮存儲(chǔ)系統(tǒng)升級(jí)，充分利用舊有設(shè)備，搭建統(tǒng)一的存儲(chǔ)虛擬化平臺(tái)，不僅提升了存儲(chǔ)系統(tǒng)性能和靈活性，更為業(yè)務(wù)系統(tǒng)提供了平臺(tái)化的存儲(chǔ)服務(wù)。

在項(xiàng)目實(shí)施過(guò)程中，充分發(fā)揮服務(wù)器虛擬化與云存儲(chǔ)平臺(tái)相結(jié)合的巨大優(yōu)勢(shì)，合理制定數(shù)據(jù)遷移方案，圓滿(mǎn)完成包含200多個(gè)應(yīng)用、共計(jì)150多臺(tái)虛擬機(jī)的兩大業(yè)務(wù)系統(tǒng)零中斷的平穩(wěn)遷移，確保了所有業(yè)務(wù)的正常運(yùn)行。本項(xiàng)目的實(shí)施，為傳統(tǒng)媒體的業(yè)務(wù)系統(tǒng)建設(shè)提供參考，也為全臺(tái)建設(shè)私有云積累了寶貴的經(jīng)驗(yàn)。

[1] 何清，陳宏. 城市廣電媒體融合探索[J].電視技術(shù)，2015，39(6)：101-103.

[2] 徐旭. 虛擬化技術(shù)在制播系統(tǒng)應(yīng)用的研究[J].電視技術(shù)，2015，39(22)：58-60.

[3] 徐春楊.云計(jì)算技術(shù)在電視臺(tái)全臺(tái)網(wǎng)系統(tǒng)中的應(yīng)用探討[J].廣播與電視技術(shù)，2015，42(10)：38-42.

[4] 張光. 存儲(chǔ)虛擬化技術(shù)的研究[D].北京：北京交通大學(xué)，2013.

[5] 楊勇. 基于云存儲(chǔ)的數(shù)據(jù)全臺(tái)網(wǎng)方案考慮[J].電視技術(shù)，2015，39(22)：69-71.

[6] 朱承華.探索虛擬化技術(shù)構(gòu)建電視臺(tái)數(shù)據(jù)中心[J]. 世界廣播電視，2014，28(12)：89-91.

[7] 楊麗麗. 云存儲(chǔ)網(wǎng)關(guān)的研究與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2013.

[8] 張海濤，孫業(yè)志，張立強(qiáng)，等.“云存儲(chǔ)”在廣電行業(yè)的應(yīng)用探討[J].廣播與電視技術(shù)，2011，38(11)：41-42.

責(zé)任編輯：許 盈

Application of storage virtualization in new media of Wuxi Broadcasting Television

ZHANG Yinxi

(WuxiBroadcastingTelevisionGroup,JiangsuWuxi214061,China)

Storage virtualization platform is planned and constructed which takes into full account both Taihumingzhu portal site and Smart Wuxi APP for new media of Wuxi broadcasting and TV station. In the process of business migration, the work is completed successfully without interruption by making rational step. It provides reference to storage construction for traditional media.

storage virtualization; new media; data migration

張殷希. 存儲(chǔ)虛擬化在無(wú)錫廣電新媒體中的應(yīng)用[J].電視技術(shù)，2016，40(12)：73-76. ZHANG Y X. Application of storage virtualization in new media of Wuxi Broadcasting Television [J].Video engineering，2016，40(12)：73-76.

TN949

A

10.16280/j.videoe.2016.12.014

2016-04-27