論基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)視頻處理系統(tǒng)

韓永亮

摘 要：結(jié)合當(dāng)前大數(shù)據(jù)信息化時代背景的發(fā)展，在分析了MapReduce 計算模型的基礎(chǔ)上，提出了基于大數(shù)據(jù)技術(shù)的海量網(wǎng)絡(luò)視頻處理系統(tǒng)結(jié)構(gòu)，希望能有效結(jié)合新時代的網(wǎng)絡(luò)發(fā)展特點來有效處理網(wǎng)絡(luò)視頻，符合新時代背景下的視頻處理要求。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)視頻;視頻處理;關(guān)鍵技術(shù)

1 引言

在信息化時代背景下，多媒體信息則是互聯(lián)網(wǎng)信息中不可或缺的重要內(nèi)容。隨著人們越來越關(guān)注網(wǎng)絡(luò)直播商業(yè)化的發(fā)展，移動視頻直播平臺則是網(wǎng)絡(luò)技術(shù)發(fā)展的重點方向，這也給傳統(tǒng)的網(wǎng)絡(luò)視頻采集以及識別處理帶來一定的問題[1]。這里結(jié)合實際的情況，從多方面論述了如何借助于新型互聯(lián)網(wǎng)技術(shù)來滿足視頻數(shù)據(jù)的處理需求。這里結(jié)合基于大數(shù)據(jù)技術(shù)，提供了如何有效進(jìn)行海量網(wǎng)絡(luò)視頻處理的方案，在此系統(tǒng)中，應(yīng)該采用多機集群并行方式來開展有效處理相應(yīng)的視頻數(shù)據(jù)，以便高效處理網(wǎng)絡(luò)視頻問題。

2 ?MapReduce 計算模型

這里選擇的MapReduce算法則是能有效進(jìn)行大規(guī)模數(shù)據(jù)集處理的模型，能有效實現(xiàn)自動化的實現(xiàn)并行性的要求，能符合普通商用計算機的集群組成運行的要求。針對MapReduce算法的過程，主要算法思想為：通過客戶機所提出的計算任務(wù)則是結(jié)合Master 管理要求，能夠進(jìn)行往下分配處理到多臺機器進(jìn)行相應(yīng)的處理以及執(zhí)行，在此基礎(chǔ)上，通過Master進(jìn)行結(jié)果收集者能夠?qū)⒍嗯_機器的收集結(jié)果來實現(xiàn)將其發(fā)送給提出請求的客戶機，這就基本完成了Map 階段的任務(wù)分配以及Reduce階段中的收集執(zhí)行結(jié)果的基本流程。

3 海量網(wǎng)絡(luò)視頻處理系統(tǒng)結(jié)構(gòu)

結(jié)合實際的需求，系統(tǒng)主要涉及到客戶機集合以及分布式計算機集群兩部分。前者的數(shù)量不固定，且主要是進(jìn)行視頻數(shù)據(jù)的采集工作;后者則是進(jìn)行視頻數(shù)據(jù)處理以及分析，具有上述的MapReduce 算法模型。其中，數(shù)據(jù)輸入以及視頻數(shù)據(jù)處理界面都在每個客戶機上進(jìn)行配置，Master節(jié)點主要是能實現(xiàn)客戶機的交互活動，全力保障能滿足Worker節(jié)點的資源分配任務(wù)要求;而Worker節(jié)點則是負(fù)責(zé)進(jìn)行視頻數(shù)據(jù)的相應(yīng)處理內(nèi)容。

3.1 系統(tǒng)功能

系統(tǒng)能滿足通過關(guān)鍵詞的形式來進(jìn)行海量視頻內(nèi)容的檢索功能，在此過程中，能結(jié)合實際情況來進(jìn)行人物以及事物的特征提取、特征設(shè)定以及相應(yīng)的對比位置追蹤等工作。相比傳統(tǒng)的工作來看，這種方式能夠有效提升處理速度，滿足新時代背景下的互聯(lián)網(wǎng)上呈現(xiàn)出幾何式增長速度的視頻數(shù)據(jù)的要求，同時表現(xiàn)出較強的可擴展性的要求[2]。

3.2 系統(tǒng)處理內(nèi)容

（1）視頻輸入

結(jié)合相關(guān)的網(wǎng)絡(luò)多媒體數(shù)據(jù)來源情況，可以具體涉及到Ftp Server、Web Server和Media Server等模塊中，并能結(jié)合相關(guān)的輸入視頻的類型，保障滿足多種格式的支持要求。在進(jìn)行視頻數(shù)據(jù)系統(tǒng)中，這里選擇分布式的存儲管理結(jié)構(gòu)，并進(jìn)行相應(yīng)的Worker節(jié)點存儲。

（2）視頻片段幀提取

在此模塊中，能夠?qū)崿F(xiàn)特定的幀提取的操作，這樣能為后續(xù)的目標(biāo)識別奠定良好的基礎(chǔ)工作。在此環(huán)節(jié)中，結(jié)合實際需求來預(yù)先指定相應(yīng)的特定位置。

（3）目標(biāo)特征識別和提取

相關(guān)內(nèi)容在Worker 節(jié)點滿足實現(xiàn)，則是通過自定義的Map函數(shù)來實現(xiàn)，能夠有效進(jìn)行特征信息的識別提取，則是檢測中的重要內(nèi)容。具體來說，涉及到對于數(shù)據(jù)時間、來源、地域等方面的外部特征提取;以及數(shù)據(jù)文件大小、固定圖幀、偏移數(shù)據(jù)片等內(nèi)部特征的提取情況;以及信息指紋、特征向量方面的工作，這樣有利于提升視頻檢索效率。

（4）視頻內(nèi)容重復(fù)性檢測

結(jié)合實際需求來看，還應(yīng)該重視視頻內(nèi)容的重復(fù)性檢測工作，避免出現(xiàn)重復(fù)的視頻情況。這里主要是采用視頻特征向量的重復(fù)檢測算法，并結(jié)合實際確定相關(guān)的相似度，給予重復(fù)內(nèi)容進(jìn)行必要的標(biāo)注處理。

（5）視頻片段信息量計算

結(jié)合系統(tǒng)的整體要求，選擇視頻數(shù)據(jù)信息量的計算方式，有效能夠搜索預(yù)期的目標(biāo)視頻。這種算法中，能夠把視頻中的事件、地點、時間以及人物等關(guān)鍵屬性進(jìn)行作為描述視頻的一個維，在此過程中，結(jié)合實際進(jìn)行相應(yīng)的權(quán)重賦值，利用相關(guān)的數(shù)據(jù)庫中的視頻各維的屬性與該維上預(yù)設(shè)屬性的相似程度進(jìn)行判斷，并給定相關(guān)的數(shù)值，并通過合理的計算判定得到這個視頻的信息量。通過信息量的計算以及比較，能夠體現(xiàn)出視頻的重要程度，如果其數(shù)值越高則說明前越符合目標(biāo)視頻的要求[3，4]。

3.3 內(nèi)容識別

（1）文字識別

通過文字識別技術(shù)，能將視頻中文字進(jìn)行有效的提取處理，這部分主要涉及到字幕以及圖上文字等部分，一般來說，處理的方法主要為：針對字幕情況來說，采用分離于視頻文件的情況進(jìn)行處理;如果難以進(jìn)行分離處理，則可以開展相應(yīng)的方法提取;當(dāng)存在難以識別的情況，則應(yīng)該開展圖片的截取處理。

（2）人識別

針對視頻中的人部分內(nèi)容來說，先識別出在進(jìn)行處理。在具體的識別環(huán)節(jié)中，主要是通過人臉識別以及人身體姿態(tài)的識別。這里系統(tǒng)僅對于視頻中的人進(jìn)行識別，并沒有能夠分清楚識別者的身份，所以，選擇基于人臉特征點的識別算法，同時，進(jìn)行人身體識別的過程中，則融入相應(yīng)的特定算法內(nèi)容。整體系統(tǒng)中則是通過人臉識別為主，且身體識別為輔的方式。

4 結(jié)束語

綜上所述，這里結(jié)合大數(shù)據(jù)技術(shù)而提出了有效的海量網(wǎng)絡(luò)視頻處理方案，結(jié)合MapReduce模式的視頻處理并行算法的優(yōu)勢，能保證系統(tǒng)符合實際的項目需求，能實現(xiàn)一定的容錯性以及可擴展性要求，能更加符合時代發(fā)展的特點，性能優(yōu)于集中式的處理系統(tǒng)，具有一定的推廣應(yīng)用的前景。

參考文獻(xiàn)：

[1] 韓麗杰， 邢偉華， 蘇志恒. 基于無線網(wǎng)絡(luò)設(shè)計視頻監(jiān)控系統(tǒng)[J]. 數(shù)碼世界， 2019年9期.

[2] 李強. 基于Blackfin處理器的網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)實現(xiàn)[J]. 電子技術(shù)與軟件工程，2016年013期.

[3] 劉鴻雁， 楊超， 崔旭. 網(wǎng)絡(luò)軟視頻系統(tǒng)常見故障分析與處理[J]. 電力信息與通信技術(shù)，2015年10期.

[4] 李輝， 吳強， 凌志祥，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的視頻會議內(nèi)容與質(zhì)量檢測系統(tǒng)[J]. 福建電腦， 2018年5期.