基于大數(shù)據(jù)平臺的智能監(jiān)控技術(shù)應(yīng)用

高冠東

（1.中央司法警官學(xué)院信息管理系，河北 保定 071000；2.北京工業(yè)大學(xué)電子信息與控制工程學(xué)院，中國 北京 100124）

1 大數(shù)據(jù)

近幾年，大數(shù)據(jù)一詞被人們越來越多提及。大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命[1]。大數(shù)據(jù)這三個字組合在一起所表達的語義信息是有限的，“大”和“數(shù)據(jù)”都是極其常用的詞，將其組合在一起，從字面上看不出其表達的確切含義。其實,這正是大數(shù)據(jù)這個詞語的奇妙之處，這樣不同領(lǐng)域、不同背景、不同身份的人可以用其來表達自己的思想。換句話說，不同的人可以從不同的角度有自己不同的注解。但總的來說，它至少給人們傳遞了一個重要的信息，那就是，信息技術(shù)的發(fā)展由“計算”轉(zhuǎn)向了“數(shù)據(jù)”[2]。

對于大數(shù)據(jù)的概念，目前還沒有統(tǒng)一的定義。維基百科的定義為:“大數(shù)據(jù)”是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識服務(wù)能力[3]。大數(shù)據(jù)或稱巨量資料，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)，通過對大量數(shù)據(jù)的存儲、分析和數(shù)據(jù)挖掘，能夠為政府及企業(yè)的決策提供更為科學(xué)的數(shù)據(jù)支持。

大數(shù)據(jù)具有4個關(guān)鍵特征，分別是：（1）海量化（volume）：數(shù)據(jù)量巨大；（2）多樣化（variety）：數(shù)據(jù)類別多，數(shù)據(jù)來自多種數(shù)據(jù)源，由結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)組成；（3）快速化（velocity）：數(shù)據(jù)處理速度快；（4）價值化（value）：價值密度低，有用的數(shù)據(jù)持續(xù)時間短。大數(shù)據(jù)的這四個關(guān)鍵特征也稱4V特征[4]。

2012年發(fā)布的名為《大數(shù)據(jù)促發(fā)展:挑戰(zhàn)與機遇》的聯(lián)合國白皮書全面分析了各國特別是發(fā)展中國家在運用大數(shù)據(jù)促進社會發(fā)展方面所面臨的歷史機遇和挑戰(zhàn)，并系統(tǒng)給出了在應(yīng)用過程中正確運用大數(shù)據(jù)的策略建議[5]。2012年3月，奧巴馬政府將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策，認為大數(shù)據(jù)是“未來的新石油”，將對數(shù)據(jù)的占有和控制作為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心能力[6]。

大數(shù)據(jù)給人們帶來了巨大的社會價值。在大數(shù)據(jù)業(yè)務(wù)的協(xié)助下，科研機構(gòu)可以進行科學(xué)探索，如：農(nóng)業(yè)、資源、環(huán)境、氣象、生命等領(lǐng)域；在司法行政機構(gòu)，大數(shù)據(jù)的使用，促進了數(shù)據(jù)信息的交互、共享和分析，提升了警務(wù)信息工作效率，并在行政管理、輔助決策、安全防范和應(yīng)急響應(yīng)等方面發(fā)揮了巨大的作用。企業(yè)方面，數(shù)據(jù)成為關(guān)注重點，計算機行業(yè)正在轉(zhuǎn)變?yōu)檎嬲男畔⑿袠I(yè)，關(guān)注重點從計算速度轉(zhuǎn)變?yōu)榇髷?shù)據(jù)處理能力，軟件也將從編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心[7]。

2 大數(shù)據(jù)時代下的智能監(jiān)控技術(shù)

智能監(jiān)控技術(shù)與大數(shù)據(jù)的結(jié)合必須要考慮以下幾個關(guān)鍵要素：

2.1 平臺的規(guī)模性

所謂規(guī)模，我們應(yīng)該有如下的認識：首先，應(yīng)該是一個可以管理無限增長接入需求的真正有應(yīng)用彈性的平臺；再次，要看這個平臺是否能夠同時從多個存儲管理設(shè)備進行查看或者管理不同的攝像機，并具備同時通過一個平臺實現(xiàn)對所有NVR和客戶端的監(jiān)控和維護能力，即平臺的規(guī)模擴展能力。

2.2 如何存儲大數(shù)據(jù)

海量視頻、音頻以及相關(guān)的報警信息等大數(shù)據(jù)的存儲需要在高清視頻監(jiān)控下完成，這將影響現(xiàn)有傳統(tǒng)的存儲方式。現(xiàn)有的數(shù)據(jù)庫存儲方式多采用單一文件存儲方式，或者采用多個分割的系列文件存儲方式。當(dāng)高清攝像機的規(guī)模急劇擴大，若繼續(xù)采用這種方式存儲高幀率、全高清的數(shù)據(jù)，快速讀寫、快速檢索等操作會造成數(shù)據(jù)庫崩潰。原因是不能對非結(jié)構(gòu)性數(shù)據(jù)進行，不能在讀寫數(shù)據(jù)過程中的對數(shù)據(jù)進行保護以及恢復(fù)。當(dāng)數(shù)據(jù)庫崩潰恢復(fù)時平臺需要在極短的時間內(nèi)同時對原始數(shù)據(jù)、丟失的數(shù)據(jù)以及新數(shù)據(jù)進行操作，此外，還需要對錯誤數(shù)據(jù)進行刪選等，這樣會占用大量的時間和存儲空間，降低讀寫速度。如此以來恢復(fù)過程可能會花費很長的時間，還可能造成新數(shù)據(jù)的存儲失敗。

我們可以形成結(jié)構(gòu)化文件以減少存儲空間，提高讀寫效率，及Flat File方式。通過視頻片段實現(xiàn)對大數(shù)據(jù)的連接關(guān)系型數(shù)據(jù)庫，以提高數(shù)據(jù)的組織效率[8]。而將視頻分成多個小的片段方式進行存儲和檢索，大大降低了某個視頻片段操作失敗對整個視頻造成的巨大影響。

2.3 數(shù)據(jù)的安全性

具體方案是可以通過對流媒體數(shù)據(jù)實現(xiàn)到了國家密碼管理局認證的加密和解密；在前端實現(xiàn)硬件加密，完成對網(wǎng)絡(luò)高清流媒體的加密；在后端解密時采用混合應(yīng)用方式，及雙重密鑰，除了軟件解密還必須通過硬件才能實現(xiàn)解密，防止單一軟件加密方式可能被破解的風(fēng)險。既給用戶帶來了方便，也提高了監(jiān)控的安全性。

2.4 數(shù)據(jù)的處理

大型監(jiān)控系統(tǒng)的重要指標(biāo)之一就是視頻數(shù)據(jù)的智能分析的有效性，即如何對視頻數(shù)據(jù)進行分析處理、提取及信息挖掘。

2.5 監(jiān)控系統(tǒng)的冗余問題

傳統(tǒng)的監(jiān)控系統(tǒng)中對視頻數(shù)據(jù)的存儲結(jié)構(gòu)較復(fù)雜，利用效率低。利用虛擬化計算及分布式存儲，可以提高系統(tǒng)的可靠性，減少系統(tǒng)的冗余度。

3 大數(shù)據(jù)與智能監(jiān)控技術(shù)相結(jié)合的優(yōu)勢

基于大數(shù)據(jù)平臺，能給大中型的高清智能視頻監(jiān)控系統(tǒng)帶來很多益處。

3.1 提高了系統(tǒng)的擴展性

以Hadoop為主的大數(shù)據(jù)技術(shù)，核心特點是分布式存儲架構(gòu)。根據(jù)這一特點，可以在系統(tǒng)后期根據(jù)需求添加和刪除節(jié)點，靈活轉(zhuǎn)移節(jié)點任務(wù)。

3.2 降低投資成本

大數(shù)據(jù)技術(shù)的架構(gòu)對底層硬件設(shè)備的要求并不高，所以可以采用價格低廉的通用硬件，這樣可以大大降低了投資成本。而系統(tǒng)的可靠性由軟件技術(shù)提供保障。

3.3 高效分析視頻

視頻數(shù)據(jù)存儲于多個節(jié)點，大數(shù)據(jù)技術(shù)的架構(gòu)是采用節(jié)點分布式，這樣可以并行進行大量視頻數(shù)據(jù)的分析和處理，實現(xiàn)了海量視頻數(shù)據(jù)分析及關(guān)聯(lián)挖掘，提高了有效性。

4 大數(shù)據(jù)平臺整合方案研究

以信息資源庫為基礎(chǔ)，以中間件技術(shù)、云存儲和數(shù)據(jù)倉庫技術(shù)為核心技術(shù)，研究了大數(shù)據(jù)平臺整合設(shè)計方案和構(gòu)建方法，提出了一套適合大數(shù)據(jù)特點的低成本、最優(yōu)化平臺構(gòu)建方案。擬研究的系統(tǒng)虛擬架構(gòu)如圖1。

基于大數(shù)據(jù)平臺的智能視頻監(jiān)控系統(tǒng)主要包括主節(jié)點和數(shù)據(jù)節(jié)點。其中主節(jié)點為所有數(shù)據(jù)節(jié)點提供統(tǒng)一資源管理與分配、視頻存儲、處理分析及控制策略；數(shù)據(jù)節(jié)點負責(zé)接收并處理本地輸入視頻流，并提供計算、存儲、轉(zhuǎn)發(fā)、轉(zhuǎn)碼資源。

虛擬化資源池：采用虛擬化技術(shù)將監(jiān)控節(jié)點的物理資源統(tǒng)一組成資源池，形成模塊化、可擴展的資源，還可以根據(jù)實際使用情況進行動態(tài)分配，從而形成了智能視頻監(jiān)控系統(tǒng)的基礎(chǔ)設(shè)施。

HDFS系統(tǒng)：該系統(tǒng)將海量視頻數(shù)據(jù)分布存儲在所有數(shù)據(jù)節(jié)點中，并對數(shù)據(jù)進行備份。

轉(zhuǎn)發(fā)模塊：對視頻進行轉(zhuǎn)發(fā)，實現(xiàn)網(wǎng)絡(luò)資源共享。

智能分析模塊：MapReduce為并行處理架構(gòu)，可以對海量視頻數(shù)據(jù)高效實時視頻分析，直接產(chǎn)生結(jié)果，備份原數(shù)據(jù)。MapReduce還可以對錄像視頻數(shù)據(jù)進行二次分析，既可以對元數(shù)據(jù)直接進行分析，又可以按具體要求重新進行分析。視頻分析模式主要包括圖像識別、人臉表情識別、移動跟蹤檢測、動作目標(biāo)檢測等。

轉(zhuǎn)碼模塊：由于終端用戶所支持的視頻格式不同，并且傳輸帶寬會限制圖像顯示分辨率，需要對視頻數(shù)據(jù)進行轉(zhuǎn)碼。可以采用開源軟件FFmpeg，完成監(jiān)控視頻的格式轉(zhuǎn)換和分辨率轉(zhuǎn)碼。

5 結(jié)論

《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》指出，物聯(lián)網(wǎng)已成為當(dāng)前世界新一輪經(jīng)濟和科技發(fā)展的戰(zhàn)略制高點之一，發(fā)展物聯(lián)網(wǎng)對于促進經(jīng)濟發(fā)展和社會進步具有重要的現(xiàn)實意義，而且在安防領(lǐng)域，視頻監(jiān)控、周界防入侵等應(yīng)用已取得良好效果，物聯(lián)網(wǎng)是我國新一代信息技術(shù)自主創(chuàng)新突破的重點方向，蘊含著巨大的創(chuàng)新空間，在芯片、傳感器、近距離傳輸、海量數(shù)據(jù)處理以及綜合集成、應(yīng)用等領(lǐng)域，創(chuàng)新活動日趨活躍，創(chuàng)新要素不斷積聚。物聯(lián)網(wǎng)在各行各業(yè)的應(yīng)用不斷深化，將催生大量的新技術(shù)、新產(chǎn)品、新應(yīng)用、新模式。

智能監(jiān)控技術(shù)作為物聯(lián)網(wǎng)技術(shù)的重要組成部分，在社會治安監(jiān)控、平安城市建設(shè)、?；愤\輸監(jiān)控、食品安全監(jiān)控，交通運輸、水利設(shè)施、市政管理等基礎(chǔ)設(shè)施安全監(jiān)控、預(yù)警和應(yīng)急聯(lián)動等方面發(fā)揮積極作用。隨著平安城市、智慧城市等工程的建設(shè)，監(jiān)控攝像機已遍布大街小巷。智能監(jiān)控技術(shù)會得到越來越廣泛得應(yīng)用。

隨著視頻監(jiān)控中高清攝像機的大量出現(xiàn)，需要存儲的視頻文件日益增多。作為視頻監(jiān)控采集到的海量數(shù)據(jù)，和其他種類的大數(shù)據(jù)一樣，必須進行了智能、高效處理才更具有價值。

智能監(jiān)控技術(shù)的發(fā)展勢不可擋，智能監(jiān)控技術(shù)的應(yīng)用應(yīng)被大數(shù)據(jù)所應(yīng)用，也決定了智能監(jiān)控技術(shù)需要得到大數(shù)據(jù)的技術(shù)支撐。大數(shù)據(jù)時代的智能監(jiān)控技術(shù)使市場對云存儲的需求越來越高。云存儲不僅能夠?qū)⒁曨l文件存儲在云端，節(jié)省存儲空間，而且可以對跨區(qū)域的視頻文件進行集中存儲，使搜索更加方便，真正地實現(xiàn)了海量數(shù)據(jù)的秒級數(shù)據(jù)檢索。

不僅是云存儲，目前大數(shù)據(jù)相關(guān)技術(shù)也能對智能監(jiān)控技術(shù)應(yīng)用行業(yè)的海量視頻數(shù)據(jù)進行智能分析，提供必要的技術(shù)支持。云計算、大數(shù)據(jù)這些高新技術(shù)，將會引領(lǐng)著智能監(jiān)控技術(shù)及相關(guān)行業(yè)企業(yè)再一次轉(zhuǎn)型升級，基于云計算和大數(shù)據(jù)技術(shù)的解決方案能夠更好地滿足用戶的實際需求，對我國司法行政系統(tǒng)的建設(shè)和發(fā)展具有重大的理論研究和實際應(yīng)用價值，產(chǎn)生了很好的經(jīng)濟效益和社會效益。

［1］孫利民,李建中,陳渝,等.無線傳感器網(wǎng)絡(luò)[M].北京:清華大學(xué)出版社,2005.

［2］李戰(zhàn)懷,王國仁,周傲英.從數(shù)據(jù)庫視角解讀大數(shù)據(jù)的研究進展與趨勢[J].計算機工程與科學(xué),2013,35(10):1-11.

［3］維基百科[OL].http://zh.Wikipedia.org/zh/%E5%A4%A7%E6%95%B8%E 6%93%9A.

［4］李芬,朱志祥,劉盛輝.大數(shù)據(jù)發(fā)展現(xiàn)狀及面臨的問題[J].西安郵電大學(xué)學(xué)報,2013,18(5):100-103.

［5］李國杰,程學(xué)旗.大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域:大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國科學(xué)院院刊,2012(06):647－657.

［6］趙科.大數(shù)據(jù)時代的警務(wù)信息工作探討[J].武警學(xué)院學(xué)報,2013,29(9):88-90.

［7］何清.大數(shù)據(jù)與云計算[J].科技促進發(fā)展,2014,10(1):35-40.

［8］林青.云領(lǐng)安防大數(shù)據(jù)時代:安防大數(shù)據(jù)時代下的視頻監(jiān)控解決之道[J].中國安防,2013,9:39-42.