淺析警務(wù)信息化系統(tǒng)中云存儲(chǔ)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)

吳 堅(jiān)

?

淺析警務(wù)信息化系統(tǒng)中云存儲(chǔ)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)

吳 堅(jiān)

蘇州市公安局科技信息化處，江蘇 蘇州 215000

為順應(yīng)時(shí)代發(fā)展的需要，提升警務(wù)系統(tǒng)的性能，人們嘗試對(duì)傳統(tǒng)警務(wù)系統(tǒng)進(jìn)行信息化改造，使警務(wù)信息的登錄、存儲(chǔ)、統(tǒng)計(jì)、查詢等各方面均可以在計(jì)算機(jī)系統(tǒng)中完成，但隨著警務(wù)信息數(shù)量的快速增多，警務(wù)信息存儲(chǔ)的隔離性和擴(kuò)張性較差，分析、存儲(chǔ)的能力較弱等問題逐漸暴露，在警務(wù)信息化系統(tǒng)中應(yīng)用云存儲(chǔ)平臺(tái)已經(jīng)成為必然選擇。在此背景下，針對(duì)警務(wù)信息化系統(tǒng)中云存儲(chǔ)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)展開研究。

警務(wù)信息化系統(tǒng)；云存儲(chǔ)平臺(tái)；設(shè)計(jì)和實(shí)現(xiàn)

云存儲(chǔ)即將存儲(chǔ)硬件通過分布式文件系統(tǒng)、虛擬化技術(shù)、網(wǎng)絡(luò)計(jì)算、并行處理等技術(shù)進(jìn)行整合，共同提供數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)訪問等服務(wù)的系統(tǒng)，現(xiàn)階段存在直接附加存儲(chǔ)、網(wǎng)絡(luò)接入存儲(chǔ)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)等三種主要的形式，其均由訪問層、應(yīng)用接口層、基礎(chǔ)管理層和存儲(chǔ)層構(gòu)成，在警務(wù)信息化系統(tǒng)中應(yīng)用云存儲(chǔ)平臺(tái)，對(duì)提升警務(wù)信息的處理效率具有積極作用。

1 警務(wù)信息化系統(tǒng)云存儲(chǔ)平臺(tái)的分析

要滿足警務(wù)信息化系統(tǒng)的實(shí)際需要，云存儲(chǔ)平臺(tái)設(shè)計(jì)中首先要具有可靠性、可用性、擴(kuò)展性均較理想的存儲(chǔ)應(yīng)用平臺(tái)，保證系統(tǒng)的容災(zāi)能力，這主要靠OLTP存儲(chǔ)服務(wù)平臺(tái)實(shí)現(xiàn)，其可以對(duì)系統(tǒng)底層硬件資源完成虛擬化處理，形成新的服務(wù)平臺(tái)；其次要具備對(duì)大量數(shù)據(jù)可靠的存儲(chǔ)、準(zhǔn)確的分析服務(wù)能力，提升系統(tǒng)對(duì)單機(jī)節(jié)點(diǎn)失效的容忍能力，這主要靠OLAP分析平臺(tái)實(shí)現(xiàn)；再次，應(yīng)可實(shí)現(xiàn)對(duì)系統(tǒng)數(shù)據(jù)的全面、準(zhǔn)確遷移，保證系統(tǒng)的實(shí)施，目前主要靠數(shù)據(jù)遷移系統(tǒng)實(shí)現(xiàn)[1]。

2 警務(wù)信息化系統(tǒng)云存儲(chǔ)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

結(jié)合運(yùn)存儲(chǔ)平臺(tái)的功能，針對(duì)警務(wù)信息化系統(tǒng)云存儲(chǔ)平臺(tái)的設(shè)計(jì)，可以通過設(shè)計(jì)三個(gè)系統(tǒng)實(shí)現(xiàn)：

（1）OLTP存儲(chǔ)服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)。考慮到現(xiàn)階段VMware和Hyper-v虛擬化技術(shù)仍處于收費(fèi)階段，而不收費(fèi)的KVM相比Xen與Linux兼容效果更理想，而且可操作性更強(qiáng)，所以在設(shè)計(jì)的過程中筆者使用KVM虛擬化技術(shù)；在使用的過程中要將CentOS和KVM安裝在計(jì)算機(jī)中，并保證CPU對(duì)其支持，在此基礎(chǔ)上在http：//jenkins.cloudstack.org/網(wǎng)站中下載CloudStack的agent、Management Server和NFS，這種設(shè)計(jì)一方面保證平臺(tái)中虛擬機(jī)創(chuàng)建鏡像、快照功能的實(shí)現(xiàn)，對(duì)停止運(yùn)行的虛擬機(jī)及其數(shù)據(jù)盤進(jìn)行復(fù)制和存儲(chǔ)；這既提升了解決宕機(jī)的效率，也降低了數(shù)據(jù)丟失的可能。

另一方面實(shí)現(xiàn)資源的隔離狀態(tài)下的按需分配，可以結(jié)合數(shù)據(jù)庫負(fù)載的實(shí)際變化，對(duì)Service Offer進(jìn)行調(diào)整[2]。

在以上基礎(chǔ)上，可以利用API進(jìn)行云平臺(tái)管理系統(tǒng)的設(shè)計(jì)，在其管理和監(jiān)控下，可以結(jié)合資源負(fù)載的變化對(duì)Service Offerring的狀態(tài)進(jìn)行調(diào)整。即開機(jī)后，直接對(duì)SQL Sever虛擬機(jī)進(jìn)行監(jiān)控，在發(fā)現(xiàn)虛擬機(jī)或者數(shù)據(jù)庫出現(xiàn)故障后，對(duì)虛擬機(jī)進(jìn)行重啟并重新監(jiān)控，如果負(fù)載發(fā)生變化，則對(duì)虛擬機(jī)的Service Offerring進(jìn)行修改，停止監(jiān)控。在此系統(tǒng)實(shí)現(xiàn)的過程中要保證此系統(tǒng)的網(wǎng)絡(luò)安全，現(xiàn)階段其基本上均受到平臺(tái)防火墻的保護(hù)，在提升安全性方面具有一定的作用，但外部訪問受到限制，這要求該系統(tǒng)在應(yīng)用的過程中要對(duì)平臺(tái)的1433默認(rèn)端口進(jìn)行開放設(shè)置，或網(wǎng)絡(luò)內(nèi)主動(dòng)將外網(wǎng)IP視為VPN啟動(dòng)，否則外部訪問將難以實(shí)現(xiàn)。

（2）OLAP分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)。此平臺(tái)的設(shè)計(jì)主要針對(duì)數(shù)據(jù)庫數(shù)據(jù)、日志、非結(jié)構(gòu)化數(shù)據(jù)的分析三個(gè)方面進(jìn)行，在數(shù)據(jù)庫數(shù)據(jù)分析中，要針對(duì)警務(wù)事件的事件編號(hào)、人員身份證、時(shí)間、地點(diǎn)編號(hào)、事件描述、相關(guān)警員編號(hào)、警務(wù)事件類型等信息進(jìn)行，考慮到數(shù)據(jù)數(shù)量的龐大，利用Map Reduce完成警務(wù)數(shù)據(jù)處理，并利用Sqoop使相應(yīng)的數(shù)據(jù)在HDFS中存儲(chǔ)，例如“1，J3208047009060000064，a320804010000200906 0099, 320821197705XXXXXX,2015-06-09 08：30：00. 000，012，江蘇省淮安市淮陰區(qū)王營(yíng)鎮(zhèn)長(zhǎng)江東路銀河灣，盜竊事件，警000078，案件”為分析中統(tǒng)一的記錄格式，這對(duì)提升數(shù)據(jù)價(jià)值挖掘的能力效果顯著?，F(xiàn)階段警務(wù)信息化系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)主要包括人員案件和交通事故案件的信息，在具體分析的過程中應(yīng)針對(duì)案件的特點(diǎn)進(jìn)行分析，例如在人員案件中為提升辦案效率，也針對(duì)警務(wù)事件、進(jìn)行Map篩選，然后Reduce聚合每人的犯罪數(shù)量，獲得每人的犯罪數(shù)目，Map要以案件數(shù)量為Key，人員身份證號(hào)為value，然后獲得按照案件數(shù)量順序排列的案件信息。在日志分析的過程中主要針對(duì)Log4j打印獲取的日志、 服務(wù)器tomcat和Mysql的日志進(jìn)行，在分析tomcat的過程中應(yīng)利用Map Reduce按照TextInputFormat格式對(duì)日志的訪問和訪問頻率進(jìn)行分析；Log4j打印日志分析的過程中要針對(duì)Map抽取錯(cuò)誤日志和Reduce整體每類錯(cuò)誤信息進(jìn)行分析；針對(duì)數(shù)據(jù)庫日志的分析要結(jié)合Map劃分的時(shí)間段，Reduce統(tǒng)計(jì)時(shí)間段的訪問數(shù)量，然后輸出排序后的結(jié)果。而在分結(jié)構(gòu)化分析中，要首先在信息、博客中利用Map查找關(guān)鍵詞的詞頻，然后Reduce統(tǒng)計(jì)文章對(duì)應(yīng)的詞頻；Map以詞頻作為key，Reduce整合所有同詞頻文章，最后進(jìn)行排序輸出。

除上述兩個(gè)系統(tǒng)外，還需要數(shù)據(jù)遷移系統(tǒng)，其主要通過支出關(guān)系型數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)被傳遞到Hadoop中的Sqoop實(shí)現(xiàn)，其可支持日志的自動(dòng)導(dǎo)入和數(shù)據(jù)的自動(dòng)遷移。

3 結(jié)語

通過上述分析可以發(fā)現(xiàn)，現(xiàn)階段人們已經(jīng)認(rèn)識(shí)到警務(wù)信息化系統(tǒng)中應(yīng)用云存儲(chǔ)平臺(tái)對(duì)提升信息處理效率、增大存儲(chǔ)空間等方面的重要性，并有意識(shí)地結(jié)合警務(wù)信息化系統(tǒng)的實(shí)際需要和云存儲(chǔ)平臺(tái)的特點(diǎn)進(jìn)行設(shè)計(jì)，這是警務(wù)系統(tǒng)順應(yīng)時(shí)代發(fā)展的具體體現(xiàn)。

[1]田靜.警務(wù)信息化云存儲(chǔ)服務(wù)的需求分析[J].遼寧警察學(xué)院學(xué)報(bào)，2015（5）：51-54.

[2]劉衍.“警務(wù)云”中心模型的應(yīng)用研究[J].四川警察學(xué)院學(xué)報(bào)，2012（3）：98-101.

Design and Implementation of Police Information System of Cloud Storage Patform

Wu Jian

Suzhou Municipal Public Security Bureau of Science and Technology Information Office,Jiangsu Suzhou 215000

To meet the needs of the development of era, improve the performance of the system of police, people have tried to the traditional system of police information technology innovation, make the police information login, storage, statistics, inquiry and so on various aspects all can be done in a computer system, but with the fast increase in number of police information, police information storage of isolation, and expansionary is poorer, analysis, storage ability gradually exposed problems such as weak, cloud storage platform used in the system of police informationization has become the inevitable choice. In this background, this article in view of the police information system in cloud storage platform design and implementation of the study.

police informationization system; cloud storage platform; design and implementation

TP333

A

1009-6434（2016）08-0011-02

吳堅(jiān)（1974—），男，漢族，籍貫為江蘇省蘇州市，當(dāng)前職務(wù)為科長(zhǎng)，學(xué)歷為大學(xué)，研究方向?yàn)樾畔⒒诠补ぷ髦械膶?shí)踐應(yīng)用，大數(shù)據(jù)在公安行業(yè)中的實(shí)踐,作者單位為蘇州市公安局科技信息化處。