分布式存儲(chǔ)在高清制作網(wǎng)應(yīng)用

張勉文

【摘要】隨著社會(huì)不斷進(jìn)步，觀眾對(duì)電視等視頻節(jié)目畫面質(zhì)量提出了更高要求。隨著節(jié)目制作高清，超高清化日益普及，我臺(tái)原有的節(jié)目制作網(wǎng)帶寬以及存儲(chǔ)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足時(shí)代的發(fā)展。根據(jù)臺(tái)實(shí)際;1.大幅度提高節(jié)目制作質(zhì)量的基本目標(biāo)，2.安全.快速.穩(wěn)定.高效 .易升級(jí)的基本原則。逐步對(duì)原有的兩個(gè)制作中心，存儲(chǔ)容量及帶寬瓶頸問(wèn)題重新規(guī)劃設(shè)計(jì)。

【關(guān)鍵詞】分布式存儲(chǔ);高清;制作網(wǎng)

中圖分類號(hào)：TN94? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2021.13.003

根據(jù)我臺(tái)情況這次改造的是節(jié)目中心和創(chuàng)意制作中心，在非編網(wǎng)絡(luò)中，存儲(chǔ)是最重要的組成部分，由于未來(lái)使用的高清乃至4K視頻分辨率至少1920*1080之上，用于剪輯視頻素材碼最少100Mbps，大大高于標(biāo)清碼率，存儲(chǔ)節(jié)目素材所需要的空間更大。所需帶寬更高。原兩中心由于使用的是集中式網(wǎng)絡(luò)存儲(chǔ)，跨數(shù)據(jù)安全機(jī)制受限于已有的RAID架構(gòu)，很難擴(kuò)展為較低成本設(shè)備集群安全存儲(chǔ)解決方案，而且原網(wǎng)絡(luò)千兆帶寬也是日后高清超清視頻創(chuàng)作瓶頸?？紤]到兩中心大多素材需共享，為了日后使用安全高效方便，兩中心共用一套存儲(chǔ)系統(tǒng)。這里我們選用分布式存儲(chǔ)系統(tǒng);

1. 分布式網(wǎng)絡(luò)存儲(chǔ)

支持單節(jié)點(diǎn)部署，可以無(wú)縫擴(kuò)容到集群。

彈性擴(kuò)展（橫向擴(kuò)容），可在線增加或減少節(jié)點(diǎn)或磁盤，無(wú)需任何停機(jī)時(shí)間。

自動(dòng)化的負(fù)載均衡，系統(tǒng)自動(dòng)完成數(shù)據(jù)的重新平衡分布。

副本或糾刪碼修復(fù)機(jī)制，可保證跨設(shè)備節(jié)點(diǎn)的數(shù)據(jù)安全和修復(fù)機(jī)制，修復(fù)過(guò)程不中斷前端業(yè)務(wù)訪問(wèn)。

多節(jié)點(diǎn)自動(dòng)化的容錯(cuò)實(shí)現(xiàn)，分布式系統(tǒng)先天支持多節(jié)點(diǎn)多活，無(wú)需增加任何第三方容錯(cuò)或雙活網(wǎng)關(guān)。

優(yōu)勢(shì)：

滿足當(dāng)前和未來(lái)工作容量和性能擴(kuò)容的彈性存儲(chǔ)。

多設(shè)備保證7*24小時(shí)業(yè)務(wù)流程的連續(xù)性。

基于以太網(wǎng)架構(gòu)，支持iscsi/posix/nfs/cifs/s3等訪問(wèn)協(xié)議，可滿足多種業(yè)務(wù)平臺(tái)的訪問(wèn)。

自動(dòng)均衡多點(diǎn)并發(fā)的高安全、高性能存儲(chǔ)系統(tǒng)。

節(jié)點(diǎn)以上可單節(jié)點(diǎn)無(wú)縫擴(kuò)容到集群。增加節(jié)點(diǎn)原存儲(chǔ)節(jié)點(diǎn)上的數(shù)據(jù)將根據(jù)系統(tǒng)算法自動(dòng)在各節(jié)點(diǎn)間均衡布置。

原單節(jié)點(diǎn)裸存儲(chǔ)容量24*8T，增加到3個(gè)存儲(chǔ)節(jié)點(diǎn)采用雙副本模式，裸容量約為576TB左右，可用存儲(chǔ)容量約288TB左右。

1.1 分布式系統(tǒng)安全性

支持1～8副本的部署方式。

支持跨節(jié)點(diǎn)的N+M糾刪碼數(shù)據(jù)保護(hù)（支持N+1，N+2，

N+3，N+4保護(hù)技術(shù)）。

提供磁盤使用中的巡檢技術(shù)，及時(shí)報(bào)警。

支持系統(tǒng)存儲(chǔ)節(jié)損壞時(shí)，數(shù)據(jù)不丟失;3個(gè)設(shè)備節(jié)點(diǎn)雙

副本模式下，損壞1個(gè)設(shè)備節(jié)點(diǎn)業(yè)務(wù)不會(huì)停止。

雙副本模式下，最多支持50%硬盤損壞，數(shù)據(jù)不丟失。

異常掉電后不丟失數(shù)據(jù)，系統(tǒng)不損壞，供電恢復(fù)后重

新啟動(dòng)并自動(dòng)恢復(fù)正常連接。系統(tǒng)支持7×24小時(shí)連續(xù)長(zhǎng)時(shí)間大壓力下工作。

1.2 分布式存儲(chǔ)性能

單節(jié)點(diǎn)：讀吞吐量≥900MB/s，寫吞吐量≥800MB/s，混合讀寫吞吐量≥1000MB/s

3個(gè)節(jié)點(diǎn)可提供2.2GB/s的訪問(wèn)帶寬，滿足20臺(tái)以上高清非編5層100Mbps碼率視頻文件+5層字幕（含動(dòng)畫、圖片、滾屏、唱詞等）編輯和轉(zhuǎn)碼、打包合成工作等并發(fā)讀寫的需求。

多節(jié)點(diǎn)多副本并發(fā)，節(jié)點(diǎn)越多速度越快

分布式提供了方便快捷WEB方式節(jié)目制作系統(tǒng)管理功能

用戶、角色權(quán)限管理功能

采取用戶、角色存儲(chǔ)權(quán)限的分級(jí)管理機(jī)制，建立的用戶賬號(hào)可進(jìn)行精確到每天每小時(shí)的登錄時(shí)間限制，也可對(duì)某些臨時(shí)不用的賬號(hào)進(jìn)行臨時(shí)屏蔽

磁盤配額管理及權(quán)限管理功能

提供了用戶（私有空間）、存儲(chǔ)目錄（公有存儲(chǔ)空間）的配額管理功能，提供目錄權(quán)限管理，設(shè)置無(wú)、只讀、完全控制權(quán)限

素材分享功能

支持檢索到的素材可以通過(guò)WEB界面創(chuàng)建分享鏈接發(fā)給無(wú)權(quán)限用戶進(jìn)行下載使用

統(tǒng)計(jì)分析功能

可查看磁盤詳情：序號(hào)、品牌、磁盤容量及SN號(hào)，當(dāng)磁盤出現(xiàn)問(wèn)題時(shí)右側(cè)會(huì)出現(xiàn)預(yù)警信息提示?？蓪?shí)時(shí)查看NAS空間使用容量及剩余容量，陣列讀取速度、寫入速度及CPU使用率及內(nèi)存使用率。在統(tǒng)計(jì)分析模塊下可查看每個(gè)區(qū)的使用空間及文件種類數(shù)量占比。網(wǎng)絡(luò)存儲(chǔ)設(shè)備進(jìn)行統(tǒng)一的狀態(tài)監(jiān)控和管理。

我臺(tái)現(xiàn)采購(gòu)的是3節(jié)點(diǎn)分布式存儲(chǔ)，雙副本模式，可用實(shí)際容量大概是244T，最多支持50%硬盤損壞，數(shù)據(jù)不丟失，3個(gè)節(jié)點(diǎn)大約2.2G/S帶寬。

解決了存儲(chǔ)問(wèn)題，下來(lái)我們要解決傳輸帶寬問(wèn)題，隨著萬(wàn)兆以太網(wǎng)的高速發(fā)展，我們兩中心距離大約30KM，節(jié)目創(chuàng)意中心在電視臺(tái)外辦公，通過(guò)預(yù)留的城際光纖專線我們兩地選用了華為S6720系列萬(wàn)兆以太網(wǎng)交換機(jī)用于兩地?cái)?shù)據(jù)鏈接，它提供了24個(gè)10GE SFP+端口，2個(gè)40GE QSFP+端口?？紤]到一些舊非編電腦性能和成本問(wèn)題，我們?cè)黾恿艘慌_(tái)華為S1720S系列千兆交換機(jī)，帶光電口，舊非編使用RJ45千兆接存儲(chǔ)交換機(jī)。兩中心共20臺(tái)新舊非編，通過(guò)AJA System Test讀寫測(cè)試，新非編單機(jī)接入10GB光纖網(wǎng)卡寫大約118Mb/S，讀大約565Mb/S（圖1），舊非編接入千兆交換機(jī)讀寫大約100M/S（圖2）。三臺(tái)新非編10GB光纖接入讀大約114Mb/S，寫大約340Mb/s（圖3）。考慮到視頻制作主要看重的是讀帶寬，用Premiere制作節(jié)目如果按5層100Mbps碼率視頻文件+5層字幕（含動(dòng)畫、圖片、滾屏、唱詞等）編輯和轉(zhuǎn)碼、打包合成工作，滿足了我臺(tái)現(xiàn)有高清制作（我臺(tái)平時(shí)實(shí)際片子一般碼率50Mbps+3層左右）。考慮到臺(tái)現(xiàn)階段4K制作比較少，在沒(méi)滿負(fù)荷狀態(tài)下，可滿足3-5臺(tái)機(jī)同時(shí)制作4K片子（SONY XAVC 4K文件1軌大約需要70M/S）。

在使用中我為兩中心劃分節(jié)目中心和經(jīng)營(yíng)中心兩個(gè)角色，各中心獨(dú)立使用各自素材，有個(gè)公有素材目錄可兩中心共享。通過(guò)一年左右使用中，遇到目錄權(quán)限管理問(wèn)題，在同一個(gè)中心因人員不多，完全私有素材可以存放私有空間中別人是不可使用。在公共區(qū)放可以公開(kāi)使用素材;我們?yōu)槊總€(gè)編輯建一個(gè)以編輯本人名字目錄，但通過(guò)使用中發(fā)現(xiàn)公共區(qū)默認(rèn)的權(quán)限，在公共區(qū)A編輯能使用B編輯素材，但不能更改或存儲(chǔ)在B編輯區(qū)域，實(shí)際使用中編輯會(huì)交叉使用不同編輯目錄中素材，存儲(chǔ)工程文件位置可能根據(jù)素材位置定，PR自動(dòng)保存文件也是根據(jù)素材位置定的。這樣就可能造成系統(tǒng)跳出沒(méi)有權(quán)限警告，通過(guò)對(duì)存儲(chǔ)管理WEB對(duì)每個(gè)人全權(quán)（各中心獨(dú)立管理各中心權(quán)限），就可以解決此問(wèn)題。但如果新建文件夾，也需重新放開(kāi)權(quán)限一次，不然也會(huì)遇到同樣問(wèn)題。

在視頻質(zhì)量高速發(fā)展的今天，電視臺(tái)節(jié)目制作存儲(chǔ)性能，安全已成為建設(shè)非編制作網(wǎng)考慮的重點(diǎn)。一個(gè)完善的存儲(chǔ)方案是網(wǎng)絡(luò)建設(shè)的重要組成，它可以有效降低用戶的TCO成本?；谲浖x存儲(chǔ)的設(shè)計(jì)理念，其靈活的超融合部署模式可極大降低在采購(gòu)、部署、運(yùn)維、能耗等多方面的綜合成本。隨著萬(wàn)兆以太網(wǎng)的高速發(fā)展，以太網(wǎng)架構(gòu)為高清視頻制作和節(jié)目交換提供了更加廣闊的平臺(tái)。