陸 兵
(江蘇省公安邊防總隊(duì)信息化處,江蘇 南京 210036)
基于云計(jì)算的邊防信息資源管理服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)
陸 兵
(江蘇省公安邊防總隊(duì)信息化處,江蘇 南京 210036)
針對(duì)邊防信息資源的匯聚、整合、管理和挖掘應(yīng)用需求,設(shè)計(jì)了基于云計(jì)算的邊防信息資源管理服務(wù)平臺(tái)架構(gòu)。引入新型分布式文件系統(tǒng)、并行計(jì)算框架等云計(jì)算技術(shù),以支持對(duì)TB、PB級(jí)數(shù)據(jù)的實(shí)時(shí)、近實(shí)時(shí)處理和快速并行存儲(chǔ);整合異構(gòu)數(shù)據(jù)源,構(gòu)建支持非(半)結(jié)構(gòu)化數(shù)據(jù)的邊防海量信息資源共享庫(kù);建立各類數(shù)據(jù)分析模型,提供數(shù)據(jù)挖掘、檢索、統(tǒng)計(jì)和對(duì)比等服務(wù),為各類應(yīng)用開(kāi)發(fā)提供信息資源服務(wù)支撐。
云計(jì)算;信息資源;云架構(gòu);邊防
近年來(lái),公安邊防部門先后開(kāi)展了出入境邊防檢查系統(tǒng)、出海漁船民管理系統(tǒng)、視頻監(jiān)控聯(lián)網(wǎng)平臺(tái)、邊防應(yīng)用軟件一體化平臺(tái)等應(yīng)用系統(tǒng)建設(shè),積累了大量的數(shù)據(jù)信息資源。文本、地理空間、視頻圖像等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速擴(kuò)展和急速增長(zhǎng),傳統(tǒng)的關(guān)系型數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)結(jié)構(gòu)一定程度上已成為制約海量數(shù)據(jù)集成整合和關(guān)聯(lián)應(yīng)用的瓶頸,現(xiàn)有的以單項(xiàng)業(yè)務(wù)為主導(dǎo)的建設(shè)發(fā)展模式也不能適應(yīng)以共享服務(wù)為特征的新的應(yīng)用需求。因此,有必要采用云計(jì)算、大數(shù)據(jù)等新技術(shù),以應(yīng)對(duì)數(shù)據(jù)資源海量化、異構(gòu)化,以及應(yīng)用需求多樣化、復(fù)雜化等帶來(lái)的挑戰(zhàn),需要建設(shè)新型邊防云數(shù)據(jù)中心,構(gòu)建邊防海量信息資源庫(kù)及其管理服務(wù)平臺(tái),實(shí)現(xiàn)對(duì)各類信息資源的匯聚、整合、共享、管理、挖掘和應(yīng)用。
云計(jì)算[1]是一種商業(yè)計(jì)算模型,它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使用戶能夠按需獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算具有“按需自服務(wù)、廣泛的網(wǎng)絡(luò)接入、資源池化、快速伸縮、可計(jì)量”五大特征[1],以及“基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺(tái)即服務(wù)(PaaS)、軟件即服務(wù)(SaaS)”[1]三大典型服務(wù)模式,在數(shù)據(jù)整合、節(jié)約運(yùn)行成本、降低運(yùn)維難度等方面,存在很多優(yōu)勢(shì)。目前,該項(xiàng)技術(shù)已在多個(gè)行業(yè)中得到很好的應(yīng)用,也取得了很好的實(shí)際應(yīng)用效果。
云計(jì)算的關(guān)鍵技術(shù)包括虛擬化技術(shù)、分布式存儲(chǔ)、并行計(jì)算等,其分布式存儲(chǔ)和并行計(jì)算技術(shù)成功解決了海量數(shù)據(jù)的存儲(chǔ)、檢索和分析挖掘等難題。
對(duì)于大數(shù)據(jù)處理問(wèn)題,分布式存儲(chǔ)和并行處理是有效手段。當(dāng)前有效的做法是采用分布式文件系統(tǒng)/分布式數(shù)據(jù)庫(kù)結(jié)合作分布式并行處理。
目前基于開(kāi)源的Hadoop平臺(tái)[2-3]是業(yè)界采用較為廣泛的一個(gè)實(shí)現(xiàn)方案。Hadoop的核心思想是基于Hadoop分布式文件系統(tǒng)(HDFS)存儲(chǔ)文件或者基于HBase數(shù)據(jù)庫(kù)(也是基于HDFS),使用分布式并行計(jì)算框架MapReduce來(lái)執(zhí)行分發(fā)Map操作以及Reduce歸約操作。在Hadoop的計(jì)算模型中,計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)合一,在存儲(chǔ)數(shù)據(jù)的普通PC服務(wù)器上也可以執(zhí)行MapReduce的任務(wù),大大地降低了設(shè)備成本。
各類信息資源的共享管理是實(shí)現(xiàn)邊防信息化管理應(yīng)用的基礎(chǔ)。目前,邊防一體化平臺(tái)全域數(shù)據(jù)庫(kù)主要基于關(guān)系型數(shù)據(jù)庫(kù),難以存取半結(jié)構(gòu)、非結(jié)構(gòu)數(shù)據(jù)。此外,全域數(shù)據(jù)庫(kù)中沒(méi)有建立專門的統(tǒng)計(jì)分析庫(kù),在大數(shù)據(jù)量的情況下,如果過(guò)多地直接對(duì)各業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行查詢、統(tǒng)計(jì)分析,會(huì)嚴(yán)重影響業(yè)務(wù)數(shù)據(jù)庫(kù)的性能,同時(shí)也不方便開(kāi)展數(shù)據(jù)關(guān)聯(lián)整合、分析挖掘等高端應(yīng)用。因此,有必要對(duì)邊防全域數(shù)據(jù)庫(kù)進(jìn)行改造,構(gòu)建一個(gè)基于云計(jì)算架構(gòu)的、支持非(半)結(jié)構(gòu)化數(shù)據(jù)的邊防海量信息資源共享庫(kù),匯聚、整合邊防內(nèi)部、公安機(jī)關(guān)及相關(guān)部門的各類數(shù)據(jù)信息資源,進(jìn)行數(shù)據(jù)深度挖掘應(yīng)用。
基于云架構(gòu)的邊防信息資源管理服務(wù)平臺(tái)總體框架模型[4-5]如圖1所示。
圖1 邊防信息資源管理服務(wù)平臺(tái)總體架構(gòu)
總體框架模型分為基礎(chǔ)支撐環(huán)境、數(shù)據(jù)資源整合、數(shù)據(jù)資源庫(kù)、資源服務(wù)、資源應(yīng)用等五層,以及各項(xiàng)標(biāo)準(zhǔn)規(guī)范、安全與運(yùn)維保障支撐體系?;A(chǔ)支撐環(huán)境依托邊防云數(shù)據(jù)中心的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源等基礎(chǔ)設(shè)施,為平臺(tái)提供基礎(chǔ)的軟硬件運(yùn)行環(huán)境;數(shù)據(jù)資源整合匯集邊防內(nèi)、外部共享數(shù)據(jù);數(shù)據(jù)資源庫(kù)包括基礎(chǔ)信息庫(kù)、服務(wù)應(yīng)用的專題庫(kù)和進(jìn)行數(shù)據(jù)獲取、加工、資源管理、數(shù)據(jù)編目和數(shù)據(jù)質(zhì)量管理的系列工具;資源服務(wù)包括資源服務(wù)總線、各類服務(wù)接口和資源服務(wù)引擎;資源應(yīng)用層提供授權(quán)訪問(wèn)的查詢比對(duì)、專題應(yīng)用和數(shù)據(jù)分析專業(yè)工具。
基礎(chǔ)支撐環(huán)境為上層資源整合、資源庫(kù)、資源服務(wù)及應(yīng)用提供軟、硬件支撐。在傳統(tǒng)的Web服務(wù)、中間件服務(wù)、關(guān)系型數(shù)據(jù)庫(kù)服務(wù)等技術(shù)架構(gòu)基礎(chǔ)之上,應(yīng)重點(diǎn)引入基于云計(jì)算技術(shù)的新型分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫(kù)、NewSQL數(shù)據(jù)庫(kù)、并行計(jì)算框架等新型系統(tǒng)軟件,提供超強(qiáng)計(jì)算與存儲(chǔ)能力以支持對(duì)TB、PB級(jí)數(shù)據(jù)的實(shí)時(shí)、近實(shí)時(shí)處理和快速并行存儲(chǔ)。
⑴ 采用新型分布式文件系統(tǒng),實(shí)現(xiàn)海量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)。
分布式系統(tǒng)底層采用分布式文件系統(tǒng)(如Hadoop的HDFS),以支持上層分布式數(shù)據(jù)庫(kù)、并行計(jì)算框架等并行處理需求,在此基礎(chǔ)上實(shí)現(xiàn)面向用戶隨機(jī)訪問(wèn)的新型分布式文件系統(tǒng)并提供基于文件存儲(chǔ)、讀取的服務(wù)接口,滿足用戶對(duì)邊防信息資源的實(shí)時(shí)獲取需求(如對(duì)視頻監(jiān)控、圖片信息等數(shù)據(jù)的訪問(wèn))。
分布式文件系統(tǒng)由兩臺(tái)管理節(jié)點(diǎn)服務(wù)器、若干網(wǎng)絡(luò)交換機(jī)以及大量存儲(chǔ)服務(wù)器構(gòu)成,存儲(chǔ)服務(wù)器可用普通PC服務(wù)器配置多塊SAS/SATA磁盤組成。其中管理節(jié)點(diǎn)服務(wù)器采用熱備份技術(shù)保障系統(tǒng)穩(wěn)定運(yùn)行,存儲(chǔ)節(jié)點(diǎn)并發(fā)實(shí)現(xiàn)視頻、圖片、網(wǎng)頁(yè)等非結(jié)構(gòu)化、半結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)的快速存儲(chǔ)和讀取。
⑵ 采用NoSQL分布式數(shù)據(jù)庫(kù),支持海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的分布式組織和管理。
采用Hadoop的HBase等NoSQL數(shù)據(jù)庫(kù),實(shí)現(xiàn)對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)、視頻監(jiān)控平臺(tái)、數(shù)據(jù)交換平臺(tái)等途徑獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)以及分析處理中產(chǎn)生的各類中間結(jié)果數(shù)據(jù)的存儲(chǔ)和管理,在此基礎(chǔ)上依托并行計(jì)算框架分析各類數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。
⑶ 采用NewSQL數(shù)據(jù)庫(kù),支持海量高度結(jié)構(gòu)化(關(guān)系型)數(shù)據(jù)分布式存儲(chǔ)和傳統(tǒng)的聯(lián)機(jī)事務(wù)處理。
目前,邊防業(yè)務(wù)應(yīng)用系統(tǒng)多采用DB2、Oracle數(shù)據(jù)庫(kù)存儲(chǔ)各類關(guān)系型數(shù)據(jù),以提供事務(wù)處理、檢索與基礎(chǔ)分析功能。然而,隨著數(shù)據(jù)量和處理事務(wù)量的極速增長(zhǎng),基于傳統(tǒng)架構(gòu)的關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法滿足針對(duì)海量高度結(jié)構(gòu)化數(shù)據(jù)(關(guān)系型數(shù)據(jù))的處理要求,需要采用對(duì)等、分布式架構(gòu)的NewSQL數(shù)據(jù)庫(kù),實(shí)現(xiàn)高速事務(wù)處理、海量數(shù)據(jù)快速檢索統(tǒng)計(jì)、架構(gòu)靈活擴(kuò)展的平臺(tái)功能,并支持關(guān)系型數(shù)據(jù)SQL事務(wù)處理。
⑷ 采用MapReduce并行計(jì)算框架,支持海量數(shù)據(jù)復(fù)雜分析和處理。
通過(guò)在NoSQL數(shù)據(jù)庫(kù)之上部署MapReduce并行處理框架,以迭代執(zhí)行模式實(shí)現(xiàn)對(duì)多元數(shù)據(jù)的快速訪問(wèn)和并行處理,實(shí)現(xiàn)關(guān)聯(lián)分析、挖掘分析等復(fù)雜處理。結(jié)合底層的持久化分布式文件系統(tǒng)以及MapReduce并行處理框架,實(shí)現(xiàn)對(duì)邊防信息資源的多元化應(yīng)用和深度挖掘,可提供高效研判、軌跡搜索、智能預(yù)警等應(yīng)用功能。
主要實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)整合,采用ETL等主流的數(shù)據(jù)集成系統(tǒng)工具,對(duì)大量分散異構(gòu)的信息資源進(jìn)行分類抽取、清洗、轉(zhuǎn)換,從各個(gè)數(shù)據(jù)源抽取數(shù)據(jù),裝載到基礎(chǔ)數(shù)據(jù)資源庫(kù)中,實(shí)現(xiàn)數(shù)據(jù)匯聚集成。為此需要設(shè)計(jì)并建立一套面向異構(gòu)數(shù)據(jù)源的數(shù)據(jù)預(yù)處理接口,實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)的分類預(yù)處理,以保證入庫(kù)數(shù)據(jù)的有效性、可用性與真實(shí)性。
依托MapReduce并行處理框架,實(shí)現(xiàn)海量數(shù)據(jù)的高效預(yù)處理。首先整合異構(gòu)數(shù)據(jù)源,對(duì)公安網(wǎng)以及各個(gè)業(yè)務(wù)專網(wǎng)的各類多樣化數(shù)據(jù)進(jìn)行匯總交換,形成最終的待入庫(kù)數(shù)據(jù);其次依據(jù)接入數(shù)據(jù)源的保密級(jí)別、總量大小等相關(guān)因素設(shè)計(jì)相應(yīng)的數(shù)據(jù)接入模式;最后根據(jù)待入庫(kù)數(shù)據(jù)的數(shù)據(jù)規(guī)模、重復(fù)程度、數(shù)據(jù)分散程度等因素設(shè)計(jì)相應(yīng)的數(shù)據(jù)提取、清洗、關(guān)聯(lián)以及標(biāo)識(shí)等方法,進(jìn)行統(tǒng)一的數(shù)據(jù)預(yù)處理操作,實(shí)現(xiàn)對(duì)重復(fù)數(shù)據(jù)的刪除、無(wú)關(guān)數(shù)據(jù)的過(guò)濾、數(shù)據(jù)格式的統(tǒng)一、相關(guān)信息的關(guān)聯(lián)、涉密信息的標(biāo)識(shí)等基本數(shù)據(jù)組織功能。
數(shù)據(jù)資源庫(kù)匯集整合各類邊防業(yè)務(wù)應(yīng)用系統(tǒng)產(chǎn)生的業(yè)務(wù)數(shù)據(jù),以及公安警綜平臺(tái)、其他部門交換過(guò)來(lái)的與邊防工作相關(guān)各類數(shù)據(jù)。數(shù)據(jù)資源庫(kù)包括基礎(chǔ)數(shù)據(jù)資源庫(kù)、應(yīng)用服務(wù)資源庫(kù)、數(shù)據(jù)元資源庫(kù)、數(shù)據(jù)資源目錄、數(shù)據(jù)資源管理工具等五部分。
⑴ 基礎(chǔ)數(shù)據(jù)資源庫(kù)
基礎(chǔ)數(shù)據(jù)資源庫(kù)通過(guò)抽取整合邊防內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)、多媒體數(shù)據(jù)等實(shí)體數(shù)據(jù),經(jīng)規(guī)范化清洗、轉(zhuǎn)換后形成,并根據(jù)源數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)和存儲(chǔ)方式確定數(shù)據(jù)同步方式,以確?;A(chǔ)數(shù)據(jù)資源庫(kù)數(shù)據(jù)與源頭數(shù)據(jù)一致。
⑵ 應(yīng)用服務(wù)資源庫(kù)
以基礎(chǔ)數(shù)據(jù)資源庫(kù)為基礎(chǔ),通過(guò)二次抽取、索引化整合、邏輯關(guān)聯(lián)等方式形成應(yīng)用服務(wù)資源庫(kù),包括關(guān)聯(lián)庫(kù)、專題庫(kù)、全文庫(kù)等。
在基礎(chǔ)數(shù)據(jù)資源庫(kù)和應(yīng)用服務(wù)資源庫(kù)建庫(kù)過(guò)程中,應(yīng)根據(jù)數(shù)據(jù)類型、數(shù)據(jù)規(guī)模、使用頻率等關(guān)鍵要素,分類研究制定不同的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)策略。對(duì)當(dāng)前在用的結(jié)構(gòu)化基礎(chǔ)業(yè)務(wù)數(shù)據(jù),應(yīng)保持現(xiàn)有關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)管理模式;對(duì)視頻、圖像、文本等海量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)和車(船)輛軌跡等總量巨大的結(jié)構(gòu)化數(shù)據(jù),應(yīng)使用基于分布式計(jì)算技術(shù)的非關(guān)系型數(shù)據(jù)庫(kù)。
⑶ 數(shù)據(jù)元資源庫(kù)
數(shù)據(jù)標(biāo)準(zhǔn)化是解決信息共享的關(guān)鍵,在邊防資源庫(kù)建設(shè)過(guò)程中,要注重構(gòu)建以數(shù)據(jù)元標(biāo)準(zhǔn)為核心,數(shù)據(jù)項(xiàng)、數(shù)據(jù)代碼、限定詞、數(shù)據(jù)交換格式為輔助的數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)體系,建設(shè)邊防數(shù)據(jù)元資源庫(kù),以保證資源的規(guī)范性。
⑷ 數(shù)據(jù)資源目錄
建立數(shù)據(jù)資源目錄,對(duì)數(shù)據(jù)資源名稱、數(shù)據(jù)資源摘要、數(shù)據(jù)資源提供方、數(shù)據(jù)資源分類、數(shù)據(jù)資源共享屬性、數(shù)據(jù)資源公開(kāi)屬性、數(shù)據(jù)資源標(biāo)識(shí)符、元數(shù)據(jù)標(biāo)識(shí)符、數(shù)據(jù)項(xiàng)描述等元數(shù)據(jù)信息進(jìn)行明確,對(duì)已注冊(cè)的基礎(chǔ)數(shù)據(jù)按照業(yè)務(wù)、層級(jí)等進(jìn)行編目、發(fā)布,形成數(shù)據(jù)資源目錄。
⑸ 數(shù)據(jù)資源管理工具
主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)整合管理、數(shù)據(jù)質(zhì)量檢測(cè)、數(shù)據(jù)資源監(jiān)測(cè)等功能。數(shù)據(jù)標(biāo)準(zhǔn)管理匯集整理數(shù)據(jù)資源管理所需的標(biāo)準(zhǔn)規(guī)范信息,建立數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)、字典代碼實(shí)體數(shù)據(jù)庫(kù)。數(shù)據(jù)整合管理可采用數(shù)據(jù)同步工具或ETL工具完成數(shù)據(jù)抽取、同步等整合工作,通過(guò)任務(wù)調(diào)度管理實(shí)現(xiàn)對(duì)整合工具的集中管理和執(zhí)行。數(shù)據(jù)質(zhì)量檢測(cè)利用技術(shù)監(jiān)測(cè)和業(yè)務(wù)邏輯校驗(yàn),進(jìn)行數(shù)據(jù)源頭采集、傳輸、應(yīng)用全流程的規(guī)范性、一致性、準(zhǔn)確性檢查,實(shí)現(xiàn)基于不同來(lái)源數(shù)據(jù)的邏輯校驗(yàn)和監(jiān)測(cè)管理。數(shù)據(jù)資源監(jiān)測(cè)建設(shè)數(shù)據(jù)資源監(jiān)測(cè)功能,實(shí)現(xiàn)平臺(tái)數(shù)據(jù)變化、數(shù)據(jù)庫(kù)系統(tǒng)狀態(tài)和數(shù)據(jù)整合及質(zhì)量檢測(cè)工具運(yùn)行狀態(tài)等方面的集中監(jiān)測(cè)。
建立數(shù)據(jù)服務(wù)引擎,依托SOA服務(wù)總線,提供相應(yīng)的挖掘、檢索、統(tǒng)計(jì)和對(duì)比等服務(wù),為上層應(yīng)用提供簡(jiǎn)單易用的統(tǒng)一調(diào)用接口。包括數(shù)據(jù)服務(wù)接口和應(yīng)用服務(wù)接口,數(shù)據(jù)服務(wù)接口主要包含數(shù)據(jù)查詢、數(shù)據(jù)比對(duì)和數(shù)據(jù)統(tǒng)計(jì)等服務(wù)接口。應(yīng)用服務(wù)接口主要包含模型服務(wù)、搜索、PGIS服務(wù)等多種接口,為各類應(yīng)用開(kāi)發(fā)提供應(yīng)用服務(wù)支撐,通過(guò)接口調(diào)用實(shí)現(xiàn)對(duì)應(yīng)用資源庫(kù)的訪問(wèn)。
在做好數(shù)據(jù)資源匯聚整合的同時(shí),逐步建立深度分析挖掘應(yīng)用工作機(jī)制,形成一系列公安邊防研判、分析應(yīng)用體系,通過(guò)公安網(wǎng)絡(luò)向邊防用戶提供基礎(chǔ)應(yīng)用、綜合應(yīng)用、個(gè)性化應(yīng)用及移動(dòng)應(yīng)用。
按照不同的數(shù)據(jù)應(yīng)用需求,提供不同的數(shù)據(jù)服務(wù)方式:對(duì)數(shù)據(jù)查詢類的應(yīng)用需求,以查詢服務(wù)接口的方式,統(tǒng)一對(duì)外提供訪問(wèn)接口;對(duì)數(shù)據(jù)分析挖掘類應(yīng)用需求,由業(yè)務(wù)部門推送具體分析模型,數(shù)據(jù)資源庫(kù)中按照模型完成數(shù)據(jù)分析挖掘后再以服務(wù)的方式向業(yè)務(wù)部門推送具體分析結(jié)果。引入基于MapReduce等并行算法設(shè)計(jì)的大數(shù)據(jù)分析工具,建設(shè)圖像、視頻比對(duì)分析、地理空間分析工具,為開(kāi)展數(shù)據(jù)分析服務(wù)提供基礎(chǔ)工具支撐,在提高數(shù)據(jù)分析效率和準(zhǔn)確率的同時(shí),方便分析模型的積累固化。
數(shù)據(jù)資源應(yīng)用主要包括:綜合查詢、搜索引擎、數(shù)據(jù)比對(duì)、布控預(yù)警、分類統(tǒng)計(jì)等常用功能以及趨勢(shì)分析、異常分析、相關(guān)性分析等挖掘功能。
本文基于云計(jì)算的理念和技術(shù)方法,設(shè)計(jì)了基于云架構(gòu)的邊防信息資源管理服務(wù)平臺(tái)的架構(gòu)模型。引入分布式文件系統(tǒng)、并行計(jì)算框架等云計(jì)算技術(shù),實(shí)現(xiàn)對(duì)邊防海量數(shù)據(jù)的匯聚整合、快速訪問(wèn)和并行處理,解決數(shù)據(jù)資源海量化、異構(gòu)化及應(yīng)用需求多樣化、復(fù)雜化等問(wèn)題,探索了一條“云計(jì)算架構(gòu)”模式應(yīng)用的建設(shè)路徑,為邊防大數(shù)據(jù)、邊境防控等平臺(tái)建設(shè)提供了借鑒經(jīng)驗(yàn)。
[1]顧炯炯.云計(jì)算架構(gòu)技術(shù)與實(shí)踐[M].清華大學(xué)出版社,2016
[2]洪沙,楊深遠(yuǎn).云計(jì)算關(guān)鍵技術(shù)及基于Hadoop的云計(jì)算模型研究[J].軟件導(dǎo)刊,2010.9:9-11
[3]丁巖,楊慶平,錢煜明.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù),2013.19(1):53-56
[4]陸兵.基于云架構(gòu)的邊防視頻監(jiān)控?cái)?shù)據(jù)整合與智能化應(yīng)用平臺(tái)研究[J].軟件導(dǎo)刊,2016.15(7):149-151
[5]汪清,蔣平.城市大數(shù)據(jù)警務(wù)云計(jì)算平臺(tái)設(shè)計(jì)與建設(shè)——以南京公安大數(shù)據(jù)警務(wù)云計(jì)算平臺(tái)為例[J].警察技術(shù),2016.5:12-15
Architecture design of frontier defense information resource management service platform based on cloud computing
Lu Bing
(Jiangsu Province Public Security Frontier Corps,Nanjing,Jiangsu 210036,China)
Aiming atthe convergence,integration,managementand application requirementsoffrontierdefense information resources,the architecture of frontier defense information resource management service platform based on cloud computing is designed. New distributed file systems and parallel computing frameworks of cloud computing technology are introduced to support real-time,near real-time processing and fast parallel storage of TB and PB level data;Integrating heterogeneous data sources,constructing a large database of frontier defense information resources supporting non(semi)structured data; Establish various data analysis models,provide data mining,retrieval,statistics and comparison services,and provide information resources service support for various application development.
cloud computing;information resources;cloud architecture;frontier defense
TP319
A
1006-8228(2017)10-40-04
2017-09-04
陸兵(1968-),男,江蘇宿遷人,碩士,高級(jí)工程師,主要研究方向:計(jì)算機(jī)應(yīng)用。
10.16644/j.cnki.cn33-1094/tp.2017.10.012