基于大數(shù)據(jù)的智慧安全應(yīng)用服務(wù)系統(tǒng)設(shè)計與研究

任子暉 王雨晴 張兆義 時明 陳誠

摘 要：近年來，伴隨著國內(nèi)平安城市、無線城市的快速普及與發(fā)展，平安城市運行中產(chǎn)生了海量的城市視頻數(shù)據(jù)，并呈快速增長趨勢，另外，無線城市在日常運營中，前端AP設(shè)備采集了大量以終端MAC為主的探針數(shù)據(jù)。如何有效融合及利用沉淀的海量數(shù)據(jù)資源，為城市公共安全管理提供強有力的信息化手段引起了重點關(guān)注，是目前研究的熱點問題。文章通過對前端AP采集的數(shù)據(jù)、城市視頻大數(shù)據(jù)進行分布式存儲、融合、計算及分析，搭建基于大數(shù)據(jù)的智慧安全應(yīng)用服務(wù)系統(tǒng)，可達到人群計數(shù)、擁堵預警、人車同蹤等功能。

關(guān)鍵詞：平安城市；無線城市；手機MAC；公共安全

中圖分類號：F49 文獻標志碼：A 文章編號：2095-2945（2018）36-0088-02

Abstract： In recent years， with the rapid popularization and development of domestic safe city and wireless city， the operation of safe city has produced a mass of urban video data， and showed a rapid growth trend. In addition， the wireless city in daily operation， the front-end AP equipment collects a large number of probe data mainly from terminal MAC. How to effectively integrate and use the precipitation of massive data resources for urban public security management so as to provide a strong means of information technology has attracted attention. This is a hot issue in the current research. Through the distributed storage， fusion， calculation and analysis of the data collected by the front-end AP and the city video big data， the intelligent security application service system based on big data is built can achieve the crowd count， congestion warning， people and vehicles with the track and other functions.

Keywords： safe city； wireless city； Mobile MAC； public security

1 概述

近年來，隨著國家對平安城市、無線城市、智慧城市投資力度的不斷加大，國內(nèi)“平安城市”、“無線城市”建設(shè)正如火如荼的展開，據(jù)統(tǒng)計，臺灣、香港、上海、北京、廣東、湖北、江蘇、山東、安徽等30余省的超300個城市已建設(shè)成無線城市。截至目前，全國基本上所有地市和重點區(qū)縣都已經(jīng)完成第一期的平安城市建設(shè)，使城市大多數(shù)公共區(qū)域均實現(xiàn)了視頻監(jiān)控?！捌桨渤鞘小?、“無線城市”在日常運行中，產(chǎn)生了海量的視頻數(shù)據(jù)、以手機MAC數(shù)據(jù)為主的無線數(shù)據(jù)資源，并呈快速增長的趨勢。

目前城市各大公共場所的信息化安全管理以視頻監(jiān)控+人工巡邏為主。在發(fā)生群眾聚集或犯罪行為時，依靠辦案民警或管理部門對監(jiān)控畫面進行肉眼識別，或在案發(fā)后調(diào)閱存儲視頻進行排查，難以起到預防作用。在公安機關(guān)進行案件偵破過程中，調(diào)閱視頻監(jiān)控的人工檢索方式耗時長，耗費工作人員精力大。隨著大數(shù)據(jù)、云計算技術(shù)的不斷成熟，如何利用無線網(wǎng)絡(luò)所沉淀的大數(shù)據(jù)資源，結(jié)合視頻監(jiān)控大數(shù)據(jù)資源進行智能化分析處理，打造新型智慧化城市，構(gòu)建信息化環(huán)境下的安全社會，成為城市相關(guān)管理者亟待解決的問題。

綜上所述，城市管理者急需一個智能化的，能有效結(jié)合海量視頻大數(shù)據(jù)和網(wǎng)絡(luò)大數(shù)據(jù)資源的分析應(yīng)用系統(tǒng)。本系統(tǒng)以公安、城市安全管理等部門需求為導向，研發(fā)基于大數(shù)據(jù)的智慧安全服務(wù)系統(tǒng)，探究整合“無線城市”、“平安城市”及社會網(wǎng)絡(luò)視頻資源的技術(shù)實現(xiàn)途徑，形成統(tǒng)一標準的網(wǎng)絡(luò)及視頻數(shù)據(jù)接口。實現(xiàn)高效的資源存儲管理及分析應(yīng)用，創(chuàng)新“無線+視頻監(jiān)控”的智慧應(yīng)用，為公安、城市管理部門的治安管理、應(yīng)急處置、打擊犯罪等提供有力的支撐手段。

2 系統(tǒng)整體設(shè)計

基于MAC地址+活動時間兩個維度，可以確定具體軌跡的活動地點與時間，可以通過AP所在的經(jīng)緯度查詢與之最近的監(jiān)控視頻，再通過時間維度調(diào)出當時發(fā)生的監(jiān)控錄像，進行智能研判。基于大數(shù)據(jù)的智慧安全服務(wù)系統(tǒng)整體框架如圖1所示。整體架構(gòu)包含四層，各層作用如下：（1）前端采集：通過用戶接入的采集攝像機和MAC采集設(shè)備（AP），獲取視頻數(shù)據(jù)及移動終端的MAC地址、終端品牌等信息。（2）傳輸網(wǎng)絡(luò)：通過網(wǎng)絡(luò)將前端采集的數(shù)據(jù)上傳到大數(shù)據(jù)處理平臺。（3）大數(shù)據(jù)處理平臺：對前端采集的數(shù)據(jù)進行清洗、轉(zhuǎn)換、融合、存儲和管理。（4）業(yè)務(wù)應(yīng)用系統(tǒng)：與視頻監(jiān)控數(shù)據(jù)相結(jié)合，利用大數(shù)據(jù)分析算法，對前端采集的海量數(shù)據(jù)進行挖掘分析，針對不同的應(yīng)用要求，快速找到相關(guān)信息。

3 技術(shù)路線

（1）數(shù)據(jù)采集。本項目中所需數(shù)據(jù)資源涉及無線網(wǎng)絡(luò)大數(shù)據(jù)和視頻監(jiān)控大數(shù)據(jù)兩部分，其中視頻監(jiān)控大數(shù)據(jù)可將用戶的視頻流媒體服務(wù)器或存儲服務(wù)器引入系統(tǒng)接口；無線網(wǎng)絡(luò)大數(shù)據(jù)可利用城市無線局域網(wǎng)和后續(xù)增補點位采集的信息、單位個體自建的無線信息。

（2）數(shù)據(jù)整合。本文通過研究GB/T28181-2011（國家標準聯(lián)網(wǎng)接口協(xié)議）、ONVIF、PISA等網(wǎng)絡(luò)傳輸協(xié)議和H.264、MPEG-4等系列視頻編解碼算法，形成統(tǒng)一標準的視頻流媒體服務(wù)器接口；采用基于不同廠商AP探針模塊的UDP包接收解析技術(shù)，實現(xiàn)對不同廠商AP設(shè)備探針模塊發(fā)送數(shù)據(jù)的解析，匯入系統(tǒng)統(tǒng)一數(shù)據(jù)庫，將不同廠商的設(shè)備數(shù)據(jù)統(tǒng)一出口標準，納入大數(shù)據(jù)處理平臺，實現(xiàn)海量異構(gòu)無線大數(shù)據(jù)與視頻大數(shù)據(jù)的融合。

（3）海量數(shù)據(jù)存儲。本系統(tǒng)采用HDFS、HBase、ElasticSearch三種系統(tǒng)進行數(shù)據(jù)的統(tǒng)一存儲。HDFS作為本系統(tǒng)數(shù)據(jù)的基礎(chǔ)存儲平臺。針對視頻數(shù)據(jù)，本文通過hadoop提供的API接口，實現(xiàn)將接收到的視頻流文件從本地上傳到HDFS中。面對海量數(shù)據(jù)查詢與檢索，必須要求系統(tǒng)具備很高的數(shù)據(jù)結(jié)構(gòu)設(shè)計與性能，傳統(tǒng)數(shù)據(jù)庫幾乎無法完成多條件的查詢。為了實現(xiàn)海量數(shù)據(jù)秒回查詢，本系統(tǒng)對需要實時讀寫、隨機訪問的數(shù)據(jù)存入HBase中，HBase是一個高可靠性、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，并基于Elasticsearch建立分布式海量數(shù)據(jù)檢索服務(wù)，Elasticsearch的性能是solr的50倍，作為HBase數(shù)據(jù)倉庫的查詢?nèi)肟?，實現(xiàn)實時檢索，穩(wěn)定，可靠，快速。另外，HBase技術(shù)在廉價PC Server上可搭建起大規(guī)模結(jié)構(gòu)化存儲集群，在實現(xiàn)系統(tǒng)PB級數(shù)據(jù)存儲能力的同時又節(jié)省了系統(tǒng)硬件投入。在本系統(tǒng)中，由于采集的數(shù)據(jù)量巨大，對分布式服務(wù)器節(jié)點的性能和存儲空間要求較大，本文通過采用LZO（Lempel-Ziv-Oberhumer）壓縮技術(shù)，將原始數(shù)據(jù)壓縮到12%左右，減少了78%的存儲資源，使集群能保存更多的數(shù)據(jù)，延長集群的使用壽命。

（4）數(shù)據(jù)計算及分析。本系統(tǒng)采用基于Hive進行標準SQL化分布式數(shù)據(jù)計算與挖掘，對存儲在HDFS中的海量數(shù)據(jù)，特別是MAC數(shù)據(jù)，采用類SQL的查詢語言（HiveQL），對數(shù)據(jù)進行離線管理和分析。實時計算適用于對歷史數(shù)據(jù)依賴不強，短時間內(nèi)變化較大的數(shù)據(jù)。如人車同蹤、尋找犯罪同伙等隨環(huán)境和時間實時變化的數(shù)據(jù)都可能用到實時計算。離線式的批處理框架MapReduce已經(jīng)不能滿足業(yè)務(wù)，大量的場景需要實時的數(shù)據(jù)處理結(jié)果來進行分析，決策。本系統(tǒng)采用SparkStreaming進行實時數(shù)據(jù)流并行分析與計算，SparkStreaming是Spark提供的分布式的大數(shù)據(jù)實時計算框架，是基于SparkCore的擴展，它提供了動態(tài)的，高吞吐量的，可容錯的流式數(shù)據(jù)處理，可從多個數(shù)據(jù)庫中獲取數(shù)據(jù)，然后使用復雜的算法和高級的函數(shù)算子進行數(shù)據(jù)處理加工。最后可以將處理后的數(shù)據(jù)輸出到文件系統(tǒng)，數(shù)據(jù)庫和可視化界面，實現(xiàn)本系統(tǒng)高復雜、高強度的業(yè)務(wù)場景需求。

4 系統(tǒng)測試

完成系統(tǒng)的開發(fā)之后，采用了黑盒和白盒的測試方法對系統(tǒng)進行測試，經(jīng)測試，系統(tǒng)的功能、性能和兼容性等滿足預期要求。

5 系統(tǒng)應(yīng)用

構(gòu)建信息采集熱點，結(jié)合網(wǎng)格化管理等技術(shù)手段，形成一個基于MAC信息的人員定位網(wǎng)絡(luò)，同時與視頻監(jiān)控、網(wǎng)格化管理結(jié)合，可廣泛用于集體事件人員批量鎖定、社區(qū)網(wǎng)格化管理、景區(qū)管理等領(lǐng)域。

（1）人群計數(shù)及擁擠預警。利用采集的MAC地址數(shù)據(jù)，描繪系統(tǒng)應(yīng)用區(qū)域內(nèi)的人群密度信息，結(jié)合視頻監(jiān)控資源，實時監(jiān)測預警，避免群體性突發(fā)事件。（2）MAC地址碰撞。運用大數(shù)據(jù)技術(shù)對MAC地址等數(shù)據(jù)進行挖掘分析，初步確定可疑人員信息，并結(jié)合視頻監(jiān)控進一步確認，輔助社區(qū)景區(qū)管理及公安人員破案。（3）人車同蹤。MAC地址數(shù)據(jù)和視頻監(jiān)控數(shù)據(jù)相結(jié)合，以MAC地址和車牌號為定位特征，可將同一時間、同一地點的人車進行同步軌跡回放。（4）尋找犯罪團伙和目擊證人。尋找犯罪同伙：不同案發(fā)地點采集到多個相同的MAC地址，可以排查是否是團伙作案。尋找目擊證人：從案發(fā)地點采集到的MAC地址信息，找到該MAC地址對應(yīng)的人的真實身份，快速的定位現(xiàn)場目擊證人。（5）可視化布控告警。MAC地址精確布控：支持通過設(shè)定MAC地址、布控時間、布控地點等完成布控單。布控實時預警：滿足管理人員在線實時查看布控信息的需求，在出現(xiàn)符合布控條件的MAC時，支持彈出視頻及聲音警報。布控審批：滿足對使用者提交的布控單進行審批的功能，根據(jù)布控單的審批階段及時在對應(yīng)人員的賬號下顯示。告警閉環(huán)處理：當被布控的MAC地址出現(xiàn)時，可以有下面三種提示方式：大屏展示、短信通知和彈出客戶端，同時關(guān)聯(lián)現(xiàn)場視頻，并讓街面警員協(xié)助盤查。

6 結(jié)束語

利用平安城市、無線城市發(fā)展契機，通過對城市視頻數(shù)據(jù)、前端AP設(shè)備采集的手機MAC數(shù)據(jù)的采集、傳輸、存儲、融合、計算分析等，搭建基于大數(shù)據(jù)的智慧安全應(yīng)用服務(wù)系統(tǒng)，并提出該系統(tǒng)的五大應(yīng)用場景：人群計數(shù)及擁堵預警、MAC地址碰撞、人車同蹤、尋找犯罪團伙和目擊證人、可視化布控告警，為城市公共安全管理供強有力的信息化支撐和保障。

參考文獻：

[1]高見，袁得崳.基于WIFI探針的預警系統(tǒng)設(shè)計與研究[J].中國人民公安大學學報，2016，3（1）：89-93.

[2]楊揚，郝明磊，張璇.基于WiFi探針技術(shù)的無線安防系統(tǒng)設(shè)計[J].電子測量技術(shù)，2018，41（15）：128-132.