佛山電視臺存儲系統(tǒng)的應用與維護

譚景賢

佛山電視臺存儲系統(tǒng)的應用與維護

譚景賢

（作者單位：佛山電視臺）

佛山電視臺播出領域正在使用的GV Proflie視頻服務器與EMC CX700存儲架構(gòu)，其光纖通道具有封閉性。本文以佛山電視臺播出線上搭建SAN網(wǎng)絡存儲系統(tǒng)的案例，詳細闡述視頻服務器與網(wǎng)絡存儲系統(tǒng)之間的管理應用與備份檢測手段，最終實現(xiàn)硬盤節(jié)目素材在播出系統(tǒng)中的素材交換。

Profile；CX700；MDC；FC-SAN；FCIP；ZONE

1　存儲系統(tǒng)設備的簡述

1.1Profile PVS1108視頻服務器

rofile PVS1108視頻服務器主機配備1塊1 GB以太網(wǎng)網(wǎng)卡和1塊2 GB的對外連接的光纖模塊，該模塊采用的是FCIP通訊控制協(xié)議。以太網(wǎng)傳輸?shù)氖窃O備物理地址和基本的數(shù)據(jù)信息，光纖網(wǎng)絡則負責硬盤素材在存儲網(wǎng)絡系統(tǒng)中的傳輸工作。

通過雙FC-AL（光纖通道仲裁環(huán)路）分別連接PFR700磁盤陣列（配置RAID3）的盤塔上作為該服務器的存儲區(qū)，PFR700磁盤陣列上的2個光纖環(huán)路互為熱備份，與服務器之間采用的是FC-SCSI通訊控制協(xié)議進行數(shù)據(jù)的傳輸，速率最高可達到2 GB/s，固定在兩塊互相獨立、而且支持熱插拔的板卡模塊上，這種冗余設計有效地提高了視頻服務器的安全性和容錯能力，確保播出的安全。

1.2EMC第六代CLARiiON全光纖通道存儲系統(tǒng)—CX700

CX700二級存儲具有4個3 GHz的CPU處理器，8 G緩存，內(nèi)部配備兩臺存儲控制器（SPA、SPB），分別有4個2 GB的光纖通道，采用的是FCP-SCSI-3通訊控制協(xié)議對外進行數(shù)據(jù)的傳輸，提供了強大的計算處理能力；同時配備兩塊UPS電池，在遇到電力中斷的情況時，能把Cache里的數(shù)據(jù)完整寫入磁盤中，有效地防止數(shù)據(jù)的丟失。從而構(gòu)成一個具有領先競爭能力的網(wǎng)絡存儲環(huán)境，與千兆以太網(wǎng)絡相比，傳輸速度更快，效率更高，更安全。

佛山電視臺目前播出的視頻服務器設置播出的視頻帶寬為12 MB/s，采用Mpeg2編碼格式，1小時的視音頻素材文件大小約為6 G。配備45塊SCSI 300G/10000轉(zhuǎn)SCSI硬盤，總存儲容量為12 T，可以存儲2 000小時的節(jié)目量，按6+1頻道，每天12小時的增播量來計算，因此完全具備了近1個月的節(jié)目存儲能力。

由于使用的遷移服務器（MDC）操作系統(tǒng)是Win2000 Server，受文件系統(tǒng)的限制，

最大的邏輯卷也只能分配2 TB的存儲容量，因此把12 T的總存儲量劃分成了6個卷組，每個卷組由7塊300 G硬盤組成，采用RAID5冗余技術，實際有效容量為1.56 T。在整個二級存儲體內(nèi)還配備3塊熱備盤，冗余度較高，即使不同卷組內(nèi)的4塊盤同時損壞，也能夠確保存儲數(shù)據(jù)不會丟失。

2　存儲網(wǎng)絡系統(tǒng)的管理與應用

存儲網(wǎng)絡系統(tǒng)設計以遷移服務器作為MDC。MDC（Metadata Controller）是指元數(shù)據(jù)控制器，它是通過光纖網(wǎng)絡訪問存儲設備磁盤陣列中數(shù)據(jù)文件最為重要的核心服務器。

2.1運行環(huán)境

Win2000 Server SP4。FC-SCSI協(xié) 議的光纖卡、Emulex LP1050和FCIP協(xié)議的光纖卡、QLoglc 2340。EMC PowerPath通過FC網(wǎng)絡能識別出CX700所存在的6個LUN，但不能訪問，因此未分配權(quán)限。且該軟件能實時監(jiān)測MDC與CX700兩臺處理機之間的FC光纖通道是否正常，一旦其中一臺處理機的光纖通道發(fā)生異常時，該軟件能提供自動故障切換，6個LUN的數(shù)據(jù)處理會自動分配到另外一臺處理機進行處理，這一冗余的設計確保數(shù)據(jù)的高可用性和數(shù)據(jù)訪問的高性能。

EMC Navisphere Agent注冊軟件，把MDC計算機名（MOVE）和FC-SCSI協(xié)議的光纖卡物理地址向CX700發(fā)送注冊請求，直接獲取CX700中6個LUN的訪問權(quán)限。

SANergy管理軟件，配置MDC作為CX700二級存儲的唯一管理者，通過FC網(wǎng)絡使CX700

6個LUN成為MDC的本地硬盤，負責對6個LUN的磁盤進行管理，實現(xiàn)數(shù)據(jù)讀寫操作。

2.2FCIP隧道傳輸技術的應用

FCIP（Fibre Channel Over IP），它是基于IP協(xié)議的光纖通道。在MDC上安裝一塊FCIP協(xié)議的光纖卡和一塊FC-SCSI協(xié)議的光纖卡，（如圖1所示）FCIP協(xié)議利用IP網(wǎng)絡創(chuàng)建隧道在PROFILE視頻服務器和CX700二級存儲兩個FC-SAN網(wǎng)絡之間實現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，從而建立IP-SAN存儲網(wǎng)絡架構(gòu)，使數(shù)據(jù)的傳輸變得更加靈活，使數(shù)據(jù)的管理更加方便。

圖1　FCIP隧道傳輸網(wǎng)絡架構(gòu)

需要注意的是：FCIP構(gòu)建的IP-SAN存儲并不是指整個SAN存儲系統(tǒng)都是采用IP技術構(gòu)建，而是指不不同的SAN之間的數(shù)據(jù)相互傳輸是采用IP通道進行的；PROFILE視頻服務器和CX700網(wǎng)絡存儲系統(tǒng)內(nèi)部仍然采用FC-SCSI協(xié)議進行數(shù)據(jù)的傳輸，也就是說IP-SAN并不是一個純IP網(wǎng)絡，而是FC與IP技術的一種融合；FCIP協(xié)議實際上就是一種隧道傳輸協(xié)議，它是通過FCIP網(wǎng)關來實現(xiàn)的，存儲系統(tǒng)的數(shù)據(jù)均必須通過公用的隧道進行數(shù)據(jù)的傳輸，但不能為PROFILE視頻服務器和CX700存儲系統(tǒng)提供IP連接，即FCIP不能利用IP做FC存儲設備的點到點連接。

2.3ZONE在存儲網(wǎng)絡系統(tǒng)的應用

佛山電視臺采用FCIP隧道技術的IP-SAN方案來解決兩個FC-SAN之間的數(shù)據(jù)傳輸，F(xiàn)C_SAN發(fā)送端的數(shù)據(jù)必須通過遷移服務器（MDC）作為公用隧道進行傳輸，接收端則通過QLogic光纖交換機把數(shù)據(jù)往適當?shù)墓饫w通道端點設備進行引導。因此，需要對QLogic光纖交換機的光纖端口進行邏輯劃分出不同區(qū)域。配備3臺QLogic光纖交換機，利用存儲設備光纖卡的物理地址具有唯一性的特點，通過SANbox Manager軟件，對其接入的光纖端口以及存儲設備的光纖卡物理地址進行捆綁做ZONE。

遷移服務器（主）FC-SCSI協(xié)議的光纖卡和CX700存儲系統(tǒng)處理機SPA、SPB的FCP-SCSI協(xié)議的A0、B0光纖通道做ZONE1。

遷移服務器（備）FC-SCSI協(xié)議的光纖卡和CX700存儲系統(tǒng)處理機SPA、SPB的FCP-SCSI協(xié)議的A2、B2光纖通道做ZONE2。

遷移服務器（主）FCIP協(xié)議的光纖卡和播出服務器（主、備）、上載服務器（主、備）的4臺PROFILE視頻服務器FCIP協(xié)議的光纖模塊做ZONE3。

遷移服務器（備）FCIP協(xié)議的光纖卡和播出服務器（主、備）、上載服務器（主、備）的4臺PROFILE視頻服務器FCIP協(xié)議的光纖模塊做ZONE4。

ZONE1與ZONE3配 置 為MAIN ZONE，ZONE2與 ZONE4配置為BACKUP ZONE。

2.4存儲網(wǎng)絡系統(tǒng)的應用

佛山電視臺的整個制播網(wǎng)絡是由非編網(wǎng)與播出網(wǎng)組成，通過TCP/IP千兆以太網(wǎng)交換機相連接，因此非編提交工作站是通過TCP/IP網(wǎng)絡映射到遷移服務器（MDC）的本地磁盤，該磁盤為CX700二級存儲的1個LUN，并采用網(wǎng)絡文件傳輸協(xié)議FTP將節(jié)目硬盤素材傳輸?shù)紺X700二級存儲，再傳輸?shù)讲コ龇掌鞯拇疟P陣列盤塔中，用于播出。簡單地說，這就是一個復制、粘貼的過程。

3　存儲網(wǎng)絡系統(tǒng)的備份與檢測

3.1備份手段

佛山電視臺配備多一臺遷移服務器作為熱備份，正常情況下，該遷移服務器（備）的網(wǎng)線與光纖都處于斷開狀態(tài)，確保與遷移服務器（主）的存儲網(wǎng)絡系統(tǒng)分離。充分利用到CX700二級存儲具有主備冗余的設計，確保整個存儲網(wǎng)絡系統(tǒng)沒有單一崩潰點，一旦遷移服務器（主）出現(xiàn)故障或ZONE1中的存儲設備和光纖交換機發(fā)生故障時，會導致存儲網(wǎng)絡系統(tǒng)無法正常工作時，采用簡單的手動倒換方法就能在短時間內(nèi)實現(xiàn)對存儲網(wǎng)絡系統(tǒng)的恢復。

關閉遷移服務器（主），待完全關閉后，手動地把遷移服務器（備）的網(wǎng)線與光纖接上；進入SANbox Manager軟件激活BACKUP ZONE；利用IE瀏覽器進入CX700的監(jiān)控界面，重新對存儲系統(tǒng)進行Update操作（如圖2所示）；查看光纖通道工作情況。

圖2　CX700中SPA、SPB對外連接的工作狀態(tài)

3.2光纖通道的檢測手段

當播出服務器、上載服務器與遷移服務器三者之間的光纖通道出現(xiàn)異常時，會導致硬盤

節(jié)目素材同步、回遷、遷移發(fā)生任務錯誤。此時對照（如表1所示）的光纖IP表

表1　IP協(xié)議光纖卡的IP列表

打開操作界面對存儲設備的IP協(xié)議光纖通道網(wǎng)絡進行檢測。

當硬盤節(jié)目素材回遷、遷移任務或非編提交素材的處理時間相對較長時，會影響硬盤節(jié)目傳輸?shù)墓ぷ餍?，導致任務大塞車。通過SANergy測試遷移服務器對CX700二級存儲各個LUN的數(shù)據(jù)讀寫速度是否正常，正常情況下，速度可以達到150 MB/s以上。

4　結(jié)語

佛山電視臺存儲網(wǎng)絡系統(tǒng)自投入使用以來，系統(tǒng)運行安全、穩(wěn)定。CX700二級存儲具有較高的安全性和冗余技術，為節(jié)目硬盤素材的傳輸安全提供了技術保障，采用FCIP隧道技術的IP-SAN方案，在Profile視頻服務器和CX700二級存儲兩個FC-SAN網(wǎng)絡之間實現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，傳輸速度可以達到150 MB/s以上，與千兆以太網(wǎng)絡相比，傳輸速度更快，效率更高，更安全，大大提高了工作效率。

[1]楊勇.FC SAN與IP SAN全面比較[J].廣播與電視技術,2007(120).

[2]王寧.硬盤播控系統(tǒng)與二級存儲系統(tǒng)設計[J].廣播與電視技術,2007(7).

[3]譚釗.非線性網(wǎng)絡存儲系統(tǒng)高可用性的解決之道:雙存儲架構(gòu)[J].廣播與電視技術,2013(1).

譚景賢（1972-），男，廣東東莞人，本科，工程師，在佛山電視臺從事廣播電視工作20年，研究方向：廣播電視技術。