廣播電視無線發(fā)射臺站大數(shù)據(jù)中心建設(shè)思路

黃青逢

（廣西廣播電視技術(shù)中心，廣西 南寧 530000）

0 引言

在信息化時代，民眾對廣播電視提出更高的要求。無線發(fā)射臺站作為信息傳播的關(guān)鍵環(huán)節(jié)，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)難以滿足其快速發(fā)展的需求。大數(shù)據(jù)中心的建設(shè)能夠?qū)崿F(xiàn)對海量數(shù)據(jù)的高效處理、存儲和分析，從而為節(jié)目傳輸、播出及監(jiān)測等環(huán)節(jié)提供有力支持。因此，建設(shè)適用于廣播電視無線發(fā)射臺站的大數(shù)據(jù)中心至關(guān)重要。通過高效處理、存儲和分析海量數(shù)據(jù)，能夠深入挖掘潛在有用信息和廣播電視行業(yè)發(fā)展趨勢，為決策提供科學(xué)依據(jù)。

1 系統(tǒng)設(shè)計

大數(shù)據(jù)是指規(guī)模龐大、類型多樣、處理速度快的數(shù)據(jù)集合[1]。這些數(shù)據(jù)集合通常難以由傳統(tǒng)數(shù)據(jù)庫工具捕捉、存儲、管理和處理，是需要新處理模式才具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。業(yè)界通常用5 個V——Volume（大量）、Variety（多樣）、Value（價值）、Velocity（高速）和Veracity（真實性）來概括大數(shù)據(jù)的特征[2]，即數(shù)據(jù)體量巨大、數(shù)據(jù)類型繁多、價值密度低、處理速度快、真實性和準(zhǔn)確性。

廣播電視行業(yè)包含的設(shè)備監(jiān)控數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、文本、音頻、視頻、碼流、設(shè)備告警信息及監(jiān)控視頻等各類數(shù)據(jù)符合大數(shù)據(jù)的特征。因此，有必要建設(shè)一個數(shù)據(jù)中心，數(shù)據(jù)中心的系統(tǒng)結(jié)構(gòu)應(yīng)包含數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理和分析以及數(shù)據(jù)展示，系統(tǒng)結(jié)構(gòu)如圖1 所示。

圖1 數(shù)據(jù)中心系統(tǒng)結(jié)構(gòu)

2 詳細(xì)設(shè)計

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集應(yīng)全面、準(zhǔn)確收集節(jié)目傳輸、播出、監(jiān)測和設(shè)備運行狀態(tài)等各個環(huán)節(jié)的數(shù)據(jù)。數(shù)據(jù)中心可以利用各種傳感器、智能設(shè)備和網(wǎng)絡(luò)爬蟲等技術(shù)手段進(jìn)行數(shù)據(jù)采集。首先根據(jù)臺站的業(yè)務(wù)和數(shù)據(jù)處理需求，確定需要采集的數(shù)據(jù)范圍和目標(biāo)。目前，數(shù)據(jù)中心要處理的數(shù)據(jù)主要包括臺站的基礎(chǔ)信息、設(shè)備信息、播出信息、監(jiān)控信息及監(jiān)測信息等，除臺站相關(guān)數(shù)據(jù)外，還包括人員、機(jī)構(gòu)、文件、網(wǎng)絡(luò)及信息系統(tǒng)等等。這些數(shù)據(jù)可以采集自遠(yuǎn)程監(jiān)控平臺、臺站數(shù)據(jù)管理系統(tǒng)、監(jiān)測系統(tǒng)、辦公自動化（Office Automation，OA）軟件、人力資源管理系統(tǒng)、通信設(shè)備、網(wǎng)絡(luò)及文件系統(tǒng)等[3]。其次，根據(jù)數(shù)據(jù)類型和采集需求，選擇適合的數(shù)據(jù)采集方法和技術(shù)。通?？梢允褂门老x程序采集應(yīng)用程序編程接口（Application Programming Interface，API）、Web頁面數(shù)據(jù)，使用數(shù)據(jù)采集卡、傳感器、Kafka 等采集設(shè)備實時數(shù)據(jù)，使用數(shù)據(jù)集采集關(guān)系型數(shù)據(jù)里的數(shù)據(jù)。

2.2 數(shù)據(jù)存儲

為支持大規(guī)模數(shù)據(jù)存儲和處理，實現(xiàn)數(shù)據(jù)的分布式存儲和高效訪問，可采用Hadoop 架構(gòu)，部署分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS），并使用高性能、可擴(kuò)展的存儲設(shè)備和存儲區(qū)域網(wǎng)絡(luò)（Storage Area Network，SAN）。

2.3 數(shù)據(jù)處理和分析

數(shù)據(jù)處理和分析需要對采集后的數(shù)據(jù)進(jìn)行格式化和規(guī)范化處理，從海量數(shù)據(jù)中提取出對決策有潛在價值的數(shù)據(jù)、關(guān)系、模式和趨勢，并在此基礎(chǔ)上建立決策支持模型?？梢允褂肕apReduce 進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和加載，使用Microsoft Excel 軟件進(jìn)行簡單的篩選、排序、計算等操作，使用Python 進(jìn)行缺失異常值處理、重復(fù)值刪除、數(shù)據(jù)變換等操作[4]，使用潤乾報表的集算器進(jìn)行多源結(jié)構(gòu)化查詢語言（Structured Query Language，SQL）查詢。數(shù)據(jù)經(jīng)過以上復(fù)雜的處理后，才能更加準(zhǔn)確、可靠地供給業(yè)務(wù)分析和應(yīng)用系統(tǒng)調(diào)用。

處理后的數(shù)據(jù)存儲在分布式存儲系統(tǒng)中，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和訪問?？梢圆捎肕ySQL、MongoDB、Redis 等數(shù)據(jù)庫構(gòu)建靈活、高效的數(shù)據(jù)存儲和管理架構(gòu)，實現(xiàn)大量分布式數(shù)據(jù)的快速處理、讀寫訪問。

采用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等數(shù)據(jù)分析工具和方法對數(shù)據(jù)進(jìn)行深入分析。通過數(shù)據(jù)分析發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律和趨勢，為決策提供支持。數(shù)據(jù)分析主要關(guān)注影響安全播出的主要因素、事故類型，關(guān)注臺站規(guī)劃建設(shè)的合理性、關(guān)注無線廣播電視相關(guān)業(yè)務(wù)的發(fā)展趨勢以及關(guān)注隱含的、潛在的、未知的安全隱患等。

2.4 數(shù)據(jù)展示

數(shù)據(jù)展示方面，可以使用潤乾報表工具實現(xiàn)數(shù)據(jù)可視化。該工具支持切片、切塊、鉆取、上卷及旋轉(zhuǎn)等多維分析常見操作，支持復(fù)雜報表，集成ECharts 大屏，百萬數(shù)據(jù)秒級展現(xiàn)。展現(xiàn)內(nèi)容包括節(jié)目播出時間、機(jī)器維護(hù)時間、各級臺站節(jié)目停播率統(tǒng)計，各類設(shè)備故障統(tǒng)計和分析、臺站斷聯(lián)統(tǒng)計分析、播出情況統(tǒng)計分析、歷年數(shù)據(jù)對比、監(jiān)控系統(tǒng)設(shè)備通信情況、實時告警查詢、工單統(tǒng)計、無音頻告警分析以及實時故障統(tǒng)計分析等。這些數(shù)據(jù)分析的可視化展現(xiàn)，為決策制定、業(yè)務(wù)優(yōu)化和創(chuàng)新提供更準(zhǔn)確、更全面的數(shù)據(jù)支持。

3 主要建設(shè)措施

3.1 基礎(chǔ)設(shè)施建設(shè)

基礎(chǔ)設(shè)施建設(shè)是實現(xiàn)數(shù)據(jù)中心的前提條件，需要綜合考慮硬件、軟件、網(wǎng)絡(luò)及安全等多個方面，確保高性能、高可用性和安全性?？梢赃x擇適用于大數(shù)據(jù)處理的高性能服務(wù)器，部署HDFS 分布式文件系統(tǒng)，采用高帶寬、低延遲的網(wǎng)絡(luò)設(shè)備，并進(jìn)行合理的配置。合理規(guī)劃數(shù)據(jù)中心的基礎(chǔ)架構(gòu)，包括計算、存儲和網(wǎng)絡(luò)的布局和配置，實現(xiàn)計算、存儲和網(wǎng)絡(luò)的有機(jī)整合和高效協(xié)作，提高整體性能。加強(qiáng)數(shù)據(jù)中心的安全建設(shè)，包括物理安全、網(wǎng)絡(luò)安全和數(shù)據(jù)安全等方面。建立完善的安全防護(hù)體系，采取SD-WAN網(wǎng)關(guān)安全組件、日志審計系統(tǒng)和身份認(rèn)證、數(shù)據(jù)加密等技術(shù)，防止未經(jīng)授權(quán)的訪問和攻擊，確保數(shù)據(jù)在傳輸和存儲過程中的安全性。設(shè)計并實施完善的災(zāi)備和容災(zāi)計劃，采用定期全量備份結(jié)合增量備份和異地備份，確保數(shù)據(jù)的安全性和可恢復(fù)性。

3.2 數(shù)據(jù)治理和標(biāo)準(zhǔn)化

建立完善的數(shù)據(jù)治理和標(biāo)準(zhǔn)化體系，可以更好地管理和利用數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量、可靠性和一致性[5]，確保大數(shù)據(jù)中心的高效運行，具體包括以下內(nèi)容。一是制定明確的數(shù)據(jù)管理制度和規(guī)范，包括數(shù)據(jù)的目錄、分類、編碼、存儲及備份等方面；二是制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，包括數(shù)據(jù)命名、格式、數(shù)據(jù)交換及處理流程標(biāo)準(zhǔn)等，提高數(shù)據(jù)的可讀性和可用性，降低數(shù)據(jù)處理和分析的難度，提高工作效率；三是制定數(shù)據(jù)的訪問和授權(quán)管理制度，通過訪問控制和身份認(rèn)證，規(guī)定數(shù)據(jù)處理和分析的職責(zé)和權(quán)限范圍，防止數(shù)據(jù)濫用和泄露風(fēng)險，確保數(shù)據(jù)使用的合規(guī)性和安全性。

3.3 監(jiān)控和管理系統(tǒng)

監(jiān)控和管理系統(tǒng)是大數(shù)據(jù)中心運維中的重要組成部分，可實時監(jiān)測、分析和管理計算機(jī)系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用程序和服務(wù)，確保系統(tǒng)的穩(wěn)定性、性能和安全性?？梢圆渴饝B(tài)勢感知系統(tǒng)，對整個系統(tǒng)的關(guān)鍵信息進(jìn)行實時監(jiān)測、分析和理解，包括網(wǎng)絡(luò)流量、服務(wù)器性能及應(yīng)用程序運行狀態(tài)等，幫助及時發(fā)現(xiàn)異常和潛在問題，并實時告警。

3.4 運維管理和優(yōu)化

運維管理方面，應(yīng)建立健全的運維管理體系，制定完善的管理制度和工作流程，規(guī)范操作流程，監(jiān)控運維過程，及時發(fā)現(xiàn)并解決問題，確保大數(shù)據(jù)中心的穩(wěn)定運行。可以采用自動化工具進(jìn)行運維管理，配置管理監(jiān)控預(yù)警等功能，降低人為錯誤提高運維質(zhì)量，提高運維質(zhì)量和效率。同時，要定期進(jìn)行性能分析和優(yōu)化，評估現(xiàn)有資源配置情況，調(diào)整資源分配方案，優(yōu)化系統(tǒng)性能。另外，需密切關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢和行業(yè)最佳實踐，及時進(jìn)行升級改造，擴(kuò)展其功能，適應(yīng)業(yè)務(wù)發(fā)展需求。

3.5 人才隊伍建設(shè)

人才隊伍建設(shè)是實現(xiàn)大數(shù)據(jù)中心的重要保障。盡管數(shù)據(jù)挖掘大都依靠自動化工具，但人的參與和干預(yù)仍然必不可少，必須建設(shè)一支高效、專業(yè)、具備創(chuàng)新能力的大數(shù)據(jù)人才隊伍。一是加強(qiáng)對職工的培訓(xùn)和教育，提供專業(yè)的大數(shù)據(jù)技術(shù)培訓(xùn)，包括數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、人工智能等領(lǐng)域的知識和技能，確保團(tuán)隊成員具備應(yīng)對復(fù)雜數(shù)據(jù)環(huán)境的能力；二是建立完善的人才激勵機(jī)制，包括薪酬、晉升機(jī)會等，鼓勵員工積極創(chuàng)新和實踐；三是積極引進(jìn)外部優(yōu)秀人才，充實人才隊伍實力，提升整體競爭力；四是鼓勵職工自我學(xué)習(xí)和提升，提供必要的學(xué)習(xí)資源和支持，創(chuàng)造良好的學(xué)習(xí)氛圍，激發(fā)員工的學(xué)習(xí)熱情和創(chuàng)新精神。

4 結(jié)語

本文對廣播電視無線發(fā)射臺站大數(shù)據(jù)中心的建設(shè)進(jìn)行了初步探討。通過合理設(shè)計數(shù)據(jù)采集、存儲、處理、分析和可視化展現(xiàn)等環(huán)節(jié)，以及加強(qiáng)基礎(chǔ)設(shè)施建設(shè)、數(shù)據(jù)治理、監(jiān)控和管理、運維管理和優(yōu)化、人才隊伍建設(shè)等措施，以提高臺站的數(shù)據(jù)處理能力、優(yōu)化資源配置、提升運營效率和質(zhì)量、為決策提供支持為目標(biāo)，為建設(shè)廣播電視領(lǐng)域大數(shù)據(jù)中心提供具體思路。