基于云存儲(chǔ)的高考視頻監(jiān)控?cái)?shù)據(jù)管理技術(shù)

徐步東， 田曉艷

(1.山東師范大學(xué) 信息技術(shù)管理處， 山東 濟(jì)南250014； 2.山東師范大學(xué) 信息科學(xué)與工程學(xué)院， 山東 濟(jì)南 250014)

近年來，互聯(lián)網(wǎng)上數(shù)據(jù)呈現(xiàn)爆炸式增長，其中非結(jié)構(gòu)化數(shù)據(jù)的比重迅速增加.非結(jié)構(gòu)化數(shù)據(jù)把信息存儲(chǔ)在文件系統(tǒng)中，而不是數(shù)據(jù)庫中，這使得很多數(shù)據(jù)庫技術(shù)無法應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)管理，因此非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、檢索、挖掘等有很多問題亟待解決.云計(jì)算技術(shù)(Cloud Computing)正是在這種背景下提出的.云計(jì)算是一種商業(yè)計(jì)算模型，它將計(jì)算任務(wù)分布在大量計(jì)算設(shè)備構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)[1].云存儲(chǔ)并不是某一個(gè)存儲(chǔ)設(shè)備，而是云計(jì)算系統(tǒng)中的一種數(shù)據(jù)訪問服務(wù).云存儲(chǔ)服務(wù)模型是以云計(jì)算為基礎(chǔ)架構(gòu)，通過集群、網(wǎng)格或分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集成起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)，如微軟的云計(jì)算平臺(tái)Azure、Amazon的EC2、IBM的blue cloud等[2].

1 云存儲(chǔ)技術(shù)

云存儲(chǔ)是配置了大容量存儲(chǔ)空間并以數(shù)據(jù)存儲(chǔ)和管理為核心的一個(gè)云計(jì)算系統(tǒng)[3]，云存儲(chǔ)技術(shù)比其他存儲(chǔ)方式有更多優(yōu)勢(shì)，云數(shù)據(jù)中心能夠整合移動(dòng)數(shù)據(jù)、降低存儲(chǔ)成本和復(fù)雜性，備份及災(zāi)難恢復(fù)更為容易，數(shù)據(jù)遷移更方便，數(shù)據(jù)安全性高.

云存儲(chǔ)系統(tǒng)結(jié)構(gòu)從下到上依次是存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層.如圖1所示，其中存儲(chǔ)層是云存儲(chǔ)的基礎(chǔ)部分，基礎(chǔ)管理層是云存儲(chǔ)的核心部分，應(yīng)用接口層負(fù)責(zé)云存儲(chǔ)的擴(kuò)展功能，訪問層針對(duì)不同需求的用戶提供不同的訪問類型.

目前云存儲(chǔ)數(shù)據(jù)存儲(chǔ)技術(shù)主要有谷歌的GFS(Google File System)和Hadoop的HDFS(Hadoop Distributed File System). GFS是一種高效集群存儲(chǔ)技術(shù)，可以實(shí)現(xiàn)性能與容量的線性擴(kuò)展。目前雅虎、英特爾的“云”計(jì)劃等都采用HDFS數(shù)據(jù)存儲(chǔ)技術(shù)[4].

2 網(wǎng)絡(luò)視頻技術(shù)

計(jì)算機(jī)網(wǎng)絡(luò)正在改變著傳統(tǒng)的監(jiān)控方式，視頻監(jiān)控技術(shù)的網(wǎng)絡(luò)化發(fā)展已經(jīng)成為趨勢(shì).網(wǎng)絡(luò)視頻技術(shù)的核心問題是海量視頻流的傳輸以及存儲(chǔ)問題.目前的絡(luò)視頻技術(shù)中， P2P技術(shù)、流媒體技術(shù)和分布式技術(shù)應(yīng)用在視頻點(diǎn)播和實(shí)時(shí)監(jiān)控等方面，有效改善了傳輸視頻流時(shí)的網(wǎng)絡(luò)擁塞等問題；DVR存儲(chǔ)等存儲(chǔ)技術(shù)從不同側(cè)重點(diǎn)解決了視頻存儲(chǔ)問題.

2.1 基于P2P的流媒體技術(shù)

基于多播的P2P流媒體技術(shù)與可擴(kuò)展性視頻編碼技術(shù)結(jié)合能極大地提高每個(gè)用戶所接收的視頻質(zhì)量.由于可擴(kuò)展性編碼流具有可加性，媒體數(shù)據(jù)可以分塊傳輸給不同用戶，通過用戶間的連接就可以得到合在一起的媒體數(shù)據(jù).即使每個(gè)用戶與服務(wù)器的連接帶寬是有限的，應(yīng)用P2P技術(shù)用戶依然可以通過流媒體系統(tǒng)享受高質(zhì)量的多媒體服務(wù)[5].

基于多播的P2P流媒體技術(shù)會(huì)對(duì)網(wǎng)絡(luò)擁塞和視頻質(zhì)量帶來很大改進(jìn).而視頻監(jiān)控與普通視頻需求有很大不同，它需要多個(gè)點(diǎn)同時(shí)向一個(gè)點(diǎn)傳輸數(shù)據(jù)，機(jī)器性能和網(wǎng)絡(luò)帶寬限制給監(jiān)控?cái)?shù)據(jù)的流暢穩(wěn)定傳輸帶來很大的挑戰(zhàn)，因此需要考慮服務(wù)器及緩存副本等機(jī)制來協(xié)助解決這些問題.

2.2 分布式網(wǎng)絡(luò)視頻監(jiān)控

分布式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)[6]中監(jiān)控信號(hào)經(jīng)過前端編碼后由網(wǎng)絡(luò)傳輸?shù)娇刂贫私獯a.前端編碼采用了軟件編碼方式，編碼技術(shù)主要采用了ISO的MPEG系列和ITU的H系列；控制端解碼則采取了硬件解碼器.利用軟件編碼硬件解碼的思路，提出了一個(gè)分布式網(wǎng)絡(luò)視頻系統(tǒng)架構(gòu)，符合目前視頻監(jiān)控的網(wǎng)絡(luò)化趨勢(shì).但是，海量視頻數(shù)據(jù)在網(wǎng)絡(luò)環(huán)境下進(jìn)行多路信號(hào)同時(shí)傳輸會(huì)造成嚴(yán)重的擁塞.

視頻監(jiān)控存儲(chǔ)主要有以下幾種技術(shù)：

1)DVR存儲(chǔ).采用編解碼器設(shè)備直接掛接硬盤的方式，但性能局限性影響了圖像數(shù)據(jù)的共享及分析.

2)編碼器外掛存儲(chǔ)設(shè)備直連存儲(chǔ).通過編解碼器的外部存儲(chǔ)接口連接，主要采用SATA、USB、iSCSI和NAS等存儲(chǔ)協(xié)定進(jìn)行容量擴(kuò)展，在轉(zhuǎn)發(fā)環(huán)節(jié)易出現(xiàn)瓶頸，且多節(jié)點(diǎn)并發(fā)寫入數(shù)據(jù)時(shí)效率不高.

3)集中管理存儲(chǔ).服務(wù)器連接前端編解碼器，通過流媒體協(xié)議下載數(shù)據(jù)，然后存放到存儲(chǔ)設(shè)備上.在節(jié)點(diǎn)較多的監(jiān)控環(huán)境和中小型應(yīng)用中較為合適.

4)NVR存儲(chǔ).NVR系統(tǒng)將傳統(tǒng)的視頻、音頻及控制信號(hào)數(shù)字化，通過NVR設(shè)備上的網(wǎng)絡(luò)接口，以IP包的形式在網(wǎng)絡(luò)上傳輸，在DVR的基礎(chǔ)上，實(shí)現(xiàn)系統(tǒng)網(wǎng)絡(luò)化.但高清監(jiān)控視頻文件，對(duì)存儲(chǔ)設(shè)備容量、讀寫性能、可靠性提出了更高要求.

以上存儲(chǔ)方式都無法有效滿足目前高清信號(hào)的監(jiān)控存儲(chǔ)需求.而視頻監(jiān)控云存儲(chǔ)，可以突破傳統(tǒng)存儲(chǔ)方式的性能和容量瓶頸，在網(wǎng)絡(luò)中聯(lián)接大量各種不同類型的存儲(chǔ)設(shè)備形成強(qiáng)大的存儲(chǔ)能力，實(shí)現(xiàn)視頻監(jiān)控?cái)?shù)據(jù)的海量存儲(chǔ)管理.

3 基于云存儲(chǔ)的高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng)

3.1 高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng)

作為網(wǎng)絡(luò)視頻監(jiān)控的一個(gè)應(yīng)用方面，高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng)的目標(biāo)是建設(shè)一個(gè)遍布全省甚至是全國的系統(tǒng)，并提供遠(yuǎn)程的實(shí)時(shí)視頻監(jiān)控和視頻回放功能.由于網(wǎng)絡(luò)帶寬因素、監(jiān)控存儲(chǔ)設(shè)備規(guī)模及性能上的限制等因素，一般都只能在一個(gè)城市內(nèi)，甚至某一個(gè)區(qū)縣內(nèi)來建設(shè)，很難跨城來建設(shè).目前網(wǎng)絡(luò)帶寬和路由瓶頸等問題很難實(shí)時(shí)傳輸.海量視頻數(shù)據(jù)基于云存儲(chǔ)服務(wù)模型的工作原理提出高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng)來解決上述問題.

高考視頻監(jiān)控?cái)?shù)據(jù)一般采用考后人工報(bào)盤方式向上集中存儲(chǔ)，這種方式效率低且耗費(fèi)人力物力.本文提出高考視頻監(jiān)控管理系統(tǒng)采用分布式存儲(chǔ)管理方式，利用網(wǎng)絡(luò)和視頻傳輸技術(shù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控及安全存儲(chǔ).系統(tǒng)中多級(jí)監(jiān)控點(diǎn)與底層各個(gè)考點(diǎn)之間有明確的控制關(guān)系，上一級(jí)監(jiān)控點(diǎn)可以監(jiān)看并控制下一級(jí)監(jiān)控點(diǎn)，所有視頻數(shù)據(jù)均存儲(chǔ)于底層考點(diǎn)服務(wù)器上.

如圖2所示，以某省為例建設(shè)的高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng).省市縣為自上而下為層次結(jié)構(gòu)，每層監(jiān)控點(diǎn)在邏輯上連成環(huán)狀，將市級(jí)監(jiān)控點(diǎn)T_M連成的環(huán)上增加一個(gè)省/市控制點(diǎn)P/T_C，將縣級(jí)監(jiān)控點(diǎn)C_M連成環(huán)狀并根據(jù)距離范圍遠(yuǎn)近和考點(diǎn)分布密度在環(huán)上增加一個(gè)或多個(gè)市/縣控制點(diǎn)T/C_C.各級(jí)監(jiān)控點(diǎn)和控制點(diǎn)邏輯上連成環(huán)狀，分別負(fù)責(zé)視頻數(shù)據(jù)的上傳、數(shù)據(jù)備份并整理存儲(chǔ)數(shù)據(jù)的目錄信息等.

3.2 系統(tǒng)體系結(jié)構(gòu)

系統(tǒng)采用分層結(jié)構(gòu)，最頂層為省級(jí)監(jiān)控點(diǎn)，省級(jí)監(jiān)控點(diǎn)P_M與下一層省/市控制點(diǎn)P/T_C及各個(gè)市級(jí)監(jiān)控點(diǎn)T_M連接，并將市級(jí)監(jiān)控點(diǎn)T_M與同層上的省/市控制點(diǎn)P/T_C連成環(huán)狀；每個(gè)市級(jí)監(jiān)控點(diǎn)T_M與下一層各個(gè)從屬的縣級(jí)監(jiān)控點(diǎn)C_M及市/縣控制點(diǎn)T/C_C連接，省/市控制點(diǎn)P/T_C與下一級(jí)的所有市/縣控制點(diǎn)T/C_C連接，并將每個(gè)市的縣級(jí)監(jiān)控點(diǎn)C_M與其同市級(jí)轄區(qū)內(nèi)的市/縣控制點(diǎn)T/C_C連成環(huán)狀；每個(gè)縣級(jí)監(jiān)控點(diǎn)C_M與從屬各個(gè)考點(diǎn)服務(wù)器連接，所有市/縣控制點(diǎn)T/C_C與所在市級(jí)考點(diǎn)按地理位置和考點(diǎn)密度就近連接.

縣級(jí)監(jiān)控點(diǎn)C_M及市/縣控制點(diǎn)T/C_C.管理和維護(hù)其轄域內(nèi)各個(gè)考點(diǎn)存儲(chǔ)的視頻監(jiān)控?cái)?shù)據(jù)，分別存儲(chǔ)底層考點(diǎn)服務(wù)器送來的復(fù)制編碼數(shù)據(jù).T/C_C還負(fù)責(zé)存儲(chǔ)維護(hù)一張目錄信息表記錄復(fù)制編碼數(shù)據(jù)的存儲(chǔ)位置，在一定時(shí)間內(nèi)交換環(huán)上各個(gè)T/C_C的信息，保證每個(gè)T/C_C內(nèi)都完整存儲(chǔ)這一個(gè)市級(jí)單位的實(shí)時(shí)考點(diǎn)信息，并將整理合并好的目錄數(shù)據(jù)向P/T_C傳輸，保證整個(gè)系統(tǒng)穩(wěn)定.

市級(jí)監(jiān)控點(diǎn)T_M及省/市控制點(diǎn)P/T_C.功能上近似縣級(jí)監(jiān)控點(diǎn)C_M和市/縣控制點(diǎn)T/C_C.而結(jié)構(gòu)上，只有一個(gè)P/T_C，是為了便于省級(jí)監(jiān)控點(diǎn)P_M對(duì)整個(gè)系統(tǒng)的控制.T_M和P/T_C分別存儲(chǔ)底層考點(diǎn)服務(wù)器送來的復(fù)制編碼數(shù)據(jù)(與C_M、T/C_C存儲(chǔ)的復(fù)制編碼數(shù)據(jù)不同，四者存儲(chǔ)的分別為某個(gè)視頻文件的不同部分)，P/T_C也負(fù)責(zé)維護(hù)一張目錄信息表記錄復(fù)制的編碼數(shù)據(jù)的存儲(chǔ)位置，并將下層各個(gè)控制點(diǎn)合并好的目錄數(shù)據(jù)備份保存.

省級(jí)監(jiān)控點(diǎn)P_M. 主要有兩個(gè)功能：一是為各級(jí)監(jiān)控點(diǎn)和控制點(diǎn)各自產(chǎn)生一個(gè)全局標(biāo)識(shí)，另一個(gè)是記錄各級(jí)監(jiān)控點(diǎn)和控制點(diǎn)的信息.

上層調(diào)看視頻監(jiān)控?cái)?shù)據(jù)時(shí)，根據(jù)可擴(kuò)展編碼技術(shù)的可加性，控制點(diǎn)同時(shí)向上層監(jiān)控點(diǎn)以及控制點(diǎn)傳輸視頻數(shù)據(jù)的不同部分，上層監(jiān)控點(diǎn)將接收到的視頻數(shù)據(jù)合并起來，避免了多點(diǎn)同時(shí)向一個(gè)點(diǎn)傳輸視頻數(shù)據(jù)時(shí)出現(xiàn)網(wǎng)絡(luò)擁塞等問題.監(jiān)控點(diǎn)還可以依據(jù)副本創(chuàng)建策略以及緩存技術(shù)，減少由于網(wǎng)絡(luò)不穩(wěn)定對(duì)視頻實(shí)時(shí)性傳輸?shù)挠绊?為了提高安全性，管理節(jié)點(diǎn)在邏輯上構(gòu)成一個(gè)環(huán)狀，避免了單點(diǎn)失效等故障引起的其從屬考點(diǎn)無法連接到問題，提高了系統(tǒng)魯棒性.

3.3 分布式存儲(chǔ)策略

在高考視頻監(jiān)控?cái)?shù)據(jù)管理系統(tǒng)中，分布式存儲(chǔ)是其中最基礎(chǔ)的應(yīng)用實(shí)現(xiàn).目前的分布式存儲(chǔ)解決方案中，文獻(xiàn)[7]采用SAN作為視頻監(jiān)控應(yīng)用的存儲(chǔ)系統(tǒng)、文獻(xiàn)[8]提出了高碼率監(jiān)控視頻存儲(chǔ)系統(tǒng)THNVR(Tsinghua Network Video Recorder)、文獻(xiàn)[9]基于信息散列算法提出了一種分布式存儲(chǔ)策略等.

借鑒已有分布式存儲(chǔ)策略，在滿足系統(tǒng)的存儲(chǔ)要求下，提出了一種適用于高考視頻監(jiān)控?cái)?shù)據(jù)管理的分布式存儲(chǔ)策略——多點(diǎn)備份.在底層各個(gè)考點(diǎn)服務(wù)器上采取定長存儲(chǔ)和加大緩存的方法實(shí)時(shí)存儲(chǔ)各個(gè)考場(chǎng)的視頻數(shù)據(jù)；考試過程中底層考點(diǎn)服務(wù)器實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)并編碼復(fù)制上傳到上層控制服務(wù)器中，這樣一方面可以保證底層服務(wù)器受到攻擊篡改時(shí)，可以將上層監(jiān)控點(diǎn)服務(wù)器存儲(chǔ)的數(shù)據(jù)與其對(duì)比；另一方面在上層監(jiān)控點(diǎn)服務(wù)器調(diào)看某一考點(diǎn)視頻數(shù)據(jù)時(shí)只需上傳復(fù)制之外的部分，減少數(shù)據(jù)傳輸量.

3.3.1 數(shù)據(jù)存儲(chǔ)與檢索

在底層考點(diǎn)服務(wù)器上創(chuàng)建定長文件存儲(chǔ)高考視頻數(shù)據(jù)，采用了輕量級(jí)數(shù)據(jù)庫SQLite來存儲(chǔ)考場(chǎng)監(jiān)控文件記錄表(見表1).在數(shù)據(jù)表中記錄每個(gè)視頻文件的場(chǎng)次科目信息、起止學(xué)號(hào)戳、復(fù)制編碼數(shù)據(jù)存儲(chǔ)位置，以便檢索.

表1最后一欄數(shù)字表示視頻文件編碼數(shù)據(jù)的順序，符號(hào)代表其復(fù)制后的存儲(chǔ)位置，若存儲(chǔ)于上層監(jiān)控點(diǎn)，則是考點(diǎn)所屬的縣級(jí)或者市級(jí)監(jiān)控點(diǎn)，分號(hào)間隔開不同部分的存儲(chǔ)信息.同時(shí)在每個(gè)T/C_C中也會(huì)維護(hù)一張記錄表，將多個(gè)控制點(diǎn)記錄表的信息合并后上傳至P/T_C.在P_M需要調(diào)看某一考場(chǎng)的監(jiān)控視頻時(shí)，首先從P/T_C維護(hù)的記錄表中獲得某場(chǎng)考試的存儲(chǔ)位置，并控制監(jiān)控視頻的不同部分從不同存儲(chǔ)位置向上同時(shí)傳遞，按照可擴(kuò)展編碼的可加性將視頻合并復(fù)原.T_M要求監(jiān)看數(shù)據(jù)時(shí)，其過程與P_M類似.

3.3.2 磁盤存儲(chǔ)優(yōu)化

高考視頻監(jiān)控中每個(gè)考點(diǎn)全部考場(chǎng)的視頻數(shù)據(jù)同時(shí)集中存儲(chǔ)到本地磁盤，存在著多路視頻流同時(shí)寫盤沖突的問題.為解決這一問題，系統(tǒng)采用緩沖存儲(chǔ)法，為每一路視頻數(shù)據(jù)分配較大的緩沖區(qū)，當(dāng)緩沖區(qū)滿時(shí)一并寫入磁盤，即“大寫”.這樣并行操作保證了對(duì)磁盤的訪問是順序的、連續(xù)的、大量的，從而更有效地利用了磁盤寫入帶寬，實(shí)現(xiàn)高效訪問，同時(shí)因?yàn)槊總€(gè)文件是定長存儲(chǔ)，所以方便了檢索定位.

4 結(jié)束語

云存儲(chǔ)已經(jīng)成為未來存儲(chǔ)的一種發(fā)展趨勢(shì)，未來云存儲(chǔ)的發(fā)展主要在安全性、便攜性、有效性和可用性及數(shù)據(jù)訪問等方面.

本文將云存儲(chǔ)技術(shù)應(yīng)用于高考視頻監(jiān)控?cái)?shù)據(jù)管理，實(shí)現(xiàn)了視頻監(jiān)控?cái)?shù)據(jù)的分布式存儲(chǔ).該系統(tǒng)采用層次架構(gòu)和同層節(jié)點(diǎn)邏輯上的環(huán)連接機(jī)制，避免了單點(diǎn)失效等故障引起的其從屬考點(diǎn)無法連接到的問題，提高了系統(tǒng)的魯棒性；采用底層考點(diǎn)定長存儲(chǔ)視頻數(shù)據(jù)并維護(hù)記錄表的方式，方便了視頻數(shù)據(jù)檢索；多點(diǎn)備份策略有效改善了上層監(jiān)控點(diǎn)在同時(shí)讀取多路考點(diǎn)視頻信息時(shí)的網(wǎng)絡(luò)擁塞問題.

[1]劉鵬.云計(jì)算[M].第2版.北京:電子工業(yè)出版社,2011:1-2

[2]Microsoft. Cloud computing platform: Azure service platform overview[R].INSIGHT (Microsoft), 2008

[3]Dejun J，Pierre G，Chi C H．EC2 performance analysis for resource provisioning of service-oriented applications[C]//Proc of Workshop on Non-Functional Properties and SLA Management in Service-Oriented Computing，2009．

[4]網(wǎng)佳雋，呂智慧，吳杰，等.云計(jì)算技術(shù)發(fā)展分析及其應(yīng)用探討[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(20):4 405-4 407.

[5]竇凌云.P2P技術(shù)在視頻流媒體網(wǎng)絡(luò)中的研究和應(yīng)用[D].成都: 電子科技大學(xué)，2006.

[6]王永利.分布式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的架構(gòu)[J].自動(dòng)化儀表, 2010(7):42-44.

[7]雷凌.視頻監(jiān)控系統(tǒng)中最佳存儲(chǔ)方案的實(shí)踐[J].中國安防，2009(1)：122-125.

[8]鄔建元，顧瑜，鞠大鵬，等，分布式大規(guī)模監(jiān)控視頻存儲(chǔ)系統(tǒng)THNVR[J].計(jì)算機(jī)工程與應(yīng)用, 2009,45(31):56-59

[9]呂衛(wèi)忠，康紅勛，周園春，等.數(shù)據(jù)網(wǎng)格中高效的分布式存儲(chǔ)策略[J].計(jì)算機(jī)工程,2011,37(5):38-40.