安全管理平臺(tái)中基于云計(jì)算的日志分析系統(tǒng)設(shè)計(jì)

陳 潔,于永剛,劉明恒,潘盛合,徐克付

(1.中國(guó)移動(dòng)(深圳)有限公司,廣東深圳518048;2.中國(guó)科學(xué)院信息工程研究所,北京100093)

安全管理平臺(tái)中基于云計(jì)算的日志分析系統(tǒng)設(shè)計(jì)

陳 潔1,于永剛1,劉明恒1,潘盛合1,徐克付2

(1.中國(guó)移動(dòng)(深圳)有限公司,廣東深圳518048;2.中國(guó)科學(xué)院信息工程研究所,北京100093)

安全管理平臺(tái)(SMP)是實(shí)現(xiàn)安全管理工作常態(tài)化運(yùn)行的技術(shù)支撐平臺(tái),在實(shí)際應(yīng)用中需要實(shí)時(shí)處理來(lái)自安全設(shè)備所產(chǎn)生的海量日志信息。為解決現(xiàn)有SMP中海量日志查詢效率低下的問(wèn)題,設(shè)計(jì)基于云計(jì)算的SMP日志存儲(chǔ)分析系統(tǒng)?；贖ive的任務(wù)轉(zhuǎn)化模式,利用Hadoop架構(gòu)的分布式文件系統(tǒng)和MapReduce并行編程模型,實(shí)現(xiàn)海量SMP日志的有效存儲(chǔ)與查詢。實(shí)驗(yàn)結(jié)果表明,與基于關(guān)系數(shù)據(jù)的多表關(guān)聯(lián)查詢方法相比,該系統(tǒng)使得SMP日志的平均查詢效率提高約90%,并能加快SMP集中管控的整體響應(yīng)速度。

安全管理平臺(tái);云計(jì)算;Hadoop架構(gòu);海量日志;并行處理

1 概述

安全管理平臺(tái)(Security Management Platform, SMP)是企業(yè)內(nèi)部為了實(shí)現(xiàn)安全資產(chǎn)的全網(wǎng)管控,而開發(fā)的集中式安全管理與控制平臺(tái)。集中管控的設(shè)備包括網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機(jī)等多種設(shè)備類型,通過(guò)對(duì)這些設(shè)備資產(chǎn)所產(chǎn)生的日志信息進(jìn)行分析,進(jìn)而保障企業(yè)信息安全。傳統(tǒng)的SMP日志收集分析平臺(tái)一般是基于關(guān)系數(shù)據(jù)的多表關(guān)聯(lián)查詢數(shù)據(jù)庫(kù),海量數(shù)據(jù)分析工作在單個(gè)服務(wù)器上串行處理,查詢效率很低。隨著SMP所管控設(shè)備資產(chǎn)以及日志內(nèi)容的增加,每天產(chǎn)生的日志量呈指數(shù)級(jí)增長(zhǎng)。在如此大規(guī)模日志數(shù)據(jù)存儲(chǔ)條件下,如何實(shí)現(xiàn)高效的數(shù)據(jù)存儲(chǔ)、查詢都面臨著新的挑戰(zhàn)。

云計(jì)算是處理海量數(shù)據(jù)的一種有效手段[1],在很多領(lǐng)域都得到了廣泛應(yīng)用[2]。為解決SMP海量日志查詢性能低下的問(wèn)題,本文設(shè)計(jì)云計(jì)算環(huán)境下的SMP日志存儲(chǔ)分析系統(tǒng),在研究云計(jì)算理論基礎(chǔ)上[3],引入Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu),構(gòu)建基于Hadoop并行處理的海量日志分析系統(tǒng)。云計(jì)算環(huán)境下的Hadoop架構(gòu)具有強(qiáng)大的數(shù)據(jù)處理能力,其特有的分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)以及并行編程模型MapReduce為海量數(shù)據(jù)的有效存儲(chǔ)提供了技術(shù)支持[4],并為SMP海量日志分析平臺(tái)提供了解決方案。

2 云計(jì)算環(huán)境下的SMP日志分析系統(tǒng)

云計(jì)算[5]是IT技術(shù)發(fā)展的新趨勢(shì),目前受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[6]。云計(jì)算基本原理是利用非本地或遠(yuǎn)程服務(wù)集群為互聯(lián)網(wǎng)用戶提供服務(wù)[7],使得用戶可以將資源切換到需要的應(yīng)用上,根據(jù)需要訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)[8]。相比傳統(tǒng)的單機(jī)計(jì)算環(huán)境,云環(huán)境可以有效地利用分布式集群的龐大計(jì)算資源滿足海量數(shù)據(jù)管理對(duì)計(jì)算資源和存儲(chǔ)資源的需求[9],具有易于維護(hù)、易于擴(kuò)展和易于管理等特性[10]。面對(duì)快速增長(zhǎng)的數(shù)據(jù)規(guī)模,云計(jì)算技術(shù)能夠快速調(diào)整并分配所需資源以適應(yīng)數(shù)據(jù)的快速膨脹[11];同時(shí)能夠提供具有彈性的、組織松散的存儲(chǔ)模式以及建立在這種存儲(chǔ)模式之上的可配置分布式并行計(jì)算資源[12]。云計(jì)算技術(shù)的應(yīng)用正逐漸成為海量數(shù)據(jù)管理任務(wù)的新趨勢(shì)[13]。

2.1 Hadoop云計(jì)算架構(gòu)

Hadoop[14]是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金開發(fā),它提供了在分布式計(jì)算環(huán)境下所需要的可靠性、可擴(kuò)展軟件,是目前實(shí)現(xiàn)并行化云計(jì)算的一個(gè)主流方式。Hadoop框架主要由HDFS和MapReduce[15]兩部分構(gòu)成,其固有的特定結(jié)構(gòu)可以將分布式應(yīng)用部署到大型廉價(jià)集群上,非常適合海量數(shù)據(jù)的高效存儲(chǔ)與管理。

HDFS是一個(gè)高度容錯(cuò)的分布式文件系統(tǒng),在實(shí)際運(yùn)用中可以提供高吞吐量的數(shù)據(jù)訪問(wèn),適合超大數(shù)據(jù)集的應(yīng)用程序。

HDFS架構(gòu)如圖1所示,HDFS內(nèi)部機(jī)制是將一個(gè)文件分割成一個(gè)或多個(gè)Block,這些Block被存儲(chǔ)在一組Dadanode中,Datanode在Namenode的指揮下進(jìn)行Block的創(chuàng)建、刪除和復(fù)制,同時(shí)確定Block與數(shù)據(jù)節(jié)點(diǎn)的映射。典型的部署方式是由一臺(tái)專門的機(jī)器來(lái)運(yùn)行一個(gè)Namenode,集群中的其他機(jī)器各運(yùn)行一個(gè)Datanode實(shí)例。

圖1 HDFS架構(gòu)

MapReduce作為并行處理海量數(shù)據(jù)集的軟件框架,其概念和處理框架在很多領(lǐng)域都得到了廣泛應(yīng)用[16]。MapReduce由多個(gè)Map和Reduce操作組成,其基本思想可以描述為按一定映射規(guī)則將輸入的＜key,value＞對(duì)轉(zhuǎn)換成另一個(gè)＜key,value＞對(duì)輸出[17]。圖2說(shuō)明了用MapReduce處理大數(shù)據(jù)的過(guò)程,其核心計(jì)算過(guò)程是將大數(shù)據(jù)集分解為成百上千的小數(shù)據(jù)集,每個(gè)數(shù)據(jù)集分別由集群中的一個(gè)節(jié)點(diǎn)進(jìn)行處理并生成中間結(jié)果,然后這些中間結(jié)果又由大量節(jié)點(diǎn)進(jìn)行合并,形成最終結(jié)果。輸入數(shù)據(jù)使用并行處理中的計(jì)算機(jī)集群分區(qū)方法,這也是處理海量數(shù)據(jù)的理想方法。

圖2 基于MapReduce的數(shù)據(jù)簡(jiǎn)化

2.2 基于Hadoop的SMP日志分析系統(tǒng)

為加強(qiáng)企業(yè)全網(wǎng)安全集中管理,提升企業(yè)全網(wǎng)安全時(shí)間響應(yīng)能力,建設(shè)響應(yīng)迅速的高性能信息安全管理平臺(tái)已成為企業(yè)一項(xiàng)非常重要而緊迫的任務(wù)。在這種背景需求下,將云計(jì)算引入到企業(yè)安全管理平臺(tái)(SMP)中是企業(yè)信息化安全管理建設(shè)的重要內(nèi)容。

根據(jù)預(yù)算,SMP接入57臺(tái)設(shè)備,每天產(chǎn)生的日志量最多可達(dá)到一億條,這個(gè)數(shù)字將隨著SMP所納入的安全設(shè)備的增加以及日志量的聚集,呈現(xiàn)急速增長(zhǎng)的趨勢(shì)。隨著分析功能需求的擴(kuò)展,日志形式會(huì)逐漸呈現(xiàn)多樣化,例如有些日志數(shù)據(jù)將會(huì)呈現(xiàn)半結(jié)構(gòu)化的特性。這些半結(jié)構(gòu)化數(shù)據(jù)與關(guān)系型數(shù)據(jù)庫(kù)并不能很好地匹配,而且由于其海量性,在單一機(jī)器上處理需要很長(zhǎng)時(shí)間,因此對(duì)SMP海量日志數(shù)據(jù)進(jìn)行有效處理非常困難。

Hadoop的HDFS是具有高可靠性和高擴(kuò)展性的分布式文件系統(tǒng),可以提供海量的文件存儲(chǔ)能力,而Hadoop所包含的另一個(gè)核心框架MapReduce實(shí)現(xiàn)了并行處理的編程框架,使得程序分布到集群上并發(fā)執(zhí)行。因此,Hadoop的2個(gè)核心模塊能夠方便地實(shí)現(xiàn)數(shù)據(jù)分發(fā)、負(fù)載均衡以及以容錯(cuò)的方式并行處理大量數(shù)據(jù),在實(shí)際應(yīng)用中非常適合SMP海量數(shù)據(jù)的有效存儲(chǔ)與管理。雖然Hbase高性能數(shù)據(jù)庫(kù)也適合分布式處理的應(yīng)用,但目前本文系統(tǒng)只考慮海量日志高效的查詢分析功能,暫時(shí)不需要更復(fù)雜的操作場(chǎng)景,選擇Hadoop的HDFS+MapReduce架構(gòu)更適合系統(tǒng)應(yīng)用的個(gè)性化需求。

SMP系統(tǒng)的主要設(shè)備類型包括主機(jī)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、數(shù)據(jù)庫(kù)、中間件等11種類型,涵蓋設(shè)備336臺(tái),日志記錄包括所有用戶的操作行為及操作結(jié)果,每天產(chǎn)生的日志可達(dá)到6億條。為了快速進(jìn)行海量日志的存儲(chǔ)與查詢,設(shè)計(jì)基于Hadoop的SMP日志分析系統(tǒng)框架如圖3所示。其中,Hive將任務(wù)轉(zhuǎn)化為MapReduce可以處理的形式,便于Map-Reduce的應(yīng)用。

圖3 基于Hadoop的SMP日志分析系統(tǒng)框架

SMP日志分析系統(tǒng)主要包括4個(gè)模塊:日志采集模塊,查詢分析模塊,存儲(chǔ)處理模塊,結(jié)果輸出模塊。

SMP所管控的設(shè)備每天都會(huì)產(chǎn)生大量日志,而系統(tǒng)所設(shè)計(jì)的采集模塊可以將所有的日志傳送到日志接收節(jié)點(diǎn)上,接收節(jié)點(diǎn)將日志導(dǎo)入到Hive中方便進(jìn)行后續(xù)日志分發(fā)及分布式處理。將Hive模塊部署在Hadoop集群中的Master節(jié)點(diǎn)上。

日志采集模塊收集海量日志后,當(dāng)執(zhí)行日志分析查詢時(shí),查詢分析模塊可以將日志數(shù)據(jù)進(jìn)行結(jié)構(gòu)映射,接收用戶發(fā)出的查詢請(qǐng)求來(lái)提供大規(guī)模的查詢分析功能。

利用Hadoop典型的HDFS+MapReduce處理模型,存儲(chǔ)處理模塊負(fù)責(zé)將日志傳輸進(jìn)入HDFS,進(jìn)行日志分布式存儲(chǔ),同時(shí)執(zhí)行由Hive提交的MapReduce任務(wù),這時(shí)Namenode開始初始化創(chuàng)建任務(wù)對(duì)象,根據(jù)劃分信息分別創(chuàng)建Map和Reduce任務(wù)。初始化完成后,Namenode采用調(diào)度算法為每個(gè)Datanode分配計(jì)算任務(wù),當(dāng)所有任務(wù)完成后, Namenode標(biāo)記任務(wù)為成功狀態(tài),將報(bào)告發(fā)給Hive,這時(shí)完成所有日志的分布式存儲(chǔ)與分發(fā)處理。

最后查詢用戶可以通過(guò)結(jié)果輸出模塊將查詢請(qǐng)求提交到Hive,Hive返回所有的日志查詢結(jié)果,Hive與結(jié)果輸出模塊為一個(gè)相互交互的過(guò)程。

通過(guò)4個(gè)模塊的交互過(guò)程,完成SMP所有日志的分布式存儲(chǔ)與分發(fā)過(guò)程。基于Hadoop的SMP日志分析系統(tǒng)框架可以并發(fā)處理SMP所產(chǎn)生的海量日志,加快整體的SMP海量日志的查詢速度,提高SMP在企業(yè)中的運(yùn)行性能。

3 實(shí)驗(yàn)結(jié)果與性能分析

在云環(huán)境中,測(cè)試?yán)肏adoop并行計(jì)算思想處理SMP安全設(shè)備海量日志的查詢性能,選擇基于傳統(tǒng)關(guān)系數(shù)據(jù)的Oracle多表關(guān)聯(lián)查詢方法作為結(jié)果對(duì)比的基準(zhǔn)方法,驗(yàn)證本文系統(tǒng)的有效性。

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

實(shí)驗(yàn)環(huán)境配置如下:基于CDH4構(gòu)建一個(gè)集群云環(huán)境,全部機(jī)器配置為CentOS6.2,內(nèi)存16 GB,磁盤空間200 GB。Vmhdmaster和Vmhdmaster-sec分別為一主一備Master節(jié)點(diǎn),Vmhbasemaster和Vmhdmanager分別為2個(gè)不同功能的管理節(jié)點(diǎn), Vmhdzkp01為Zookeeper節(jié)點(diǎn),剩下10個(gè)為數(shù)據(jù)節(jié)點(diǎn)。各計(jì)算節(jié)點(diǎn)的配置及其在集群中的角色如表1所示。

實(shí)驗(yàn)數(shù)據(jù)集來(lái)源于SMP所產(chǎn)生的海量日志,主要包括主機(jī)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、數(shù)據(jù)庫(kù)、中間件等11種設(shè)備類型所產(chǎn)生的所有操作記錄日志,日志記錄字段包括操作時(shí)間、操作用戶名、客戶端IP、操作內(nèi)容、操作結(jié)果,每條日志大小分別3 KB左右。在實(shí)驗(yàn)中,分別設(shè)置在查詢?nèi)罩緮?shù)目為1×106～10× 106條的條件下,本文Hadoop方法與Oracle方法所需查詢時(shí)間作為實(shí)驗(yàn)結(jié)果進(jìn)行性能對(duì)比。

表1 實(shí)驗(yàn)所使用的集群環(huán)境

3.2 實(shí)驗(yàn)結(jié)果

將查詢數(shù)設(shè)置為1×106條開始進(jìn)行實(shí)驗(yàn),在多組實(shí)驗(yàn)中,逐漸增加查詢數(shù)目,直到查詢數(shù)為10×106條,設(shè)置查詢數(shù)增長(zhǎng)步長(zhǎng)為1×106條,以此測(cè)試在不同查詢數(shù)條件下,2種方法所需查詢時(shí)間,如圖4所示,可以看出,隨著查詢數(shù)的增加,基準(zhǔn)方法所需要的查詢時(shí)間趨于指數(shù)級(jí)增長(zhǎng),其數(shù)據(jù)量的急劇增長(zhǎng)給整個(gè)查詢性能帶來(lái)很大影響,表現(xiàn)為圖4中較大斜率曲線的變化趨勢(shì);基于Hadoop方法的查詢性能隨著查詢數(shù)據(jù)量的急劇增加,所需的查詢時(shí)間變化趨于直線,性能穩(wěn)定。

圖4 查詢時(shí)間與查詢數(shù)的關(guān)系

在不同查詢數(shù)目下,2種方法所需的查詢時(shí)間如表2所示,可以看出,基于Oracle方法的查詢時(shí)間遠(yuǎn)大于基于Hadoop的方法。當(dāng)查詢數(shù)(n)為1×106條時(shí),測(cè)試時(shí)間達(dá)到90 s,而Hadoop方法卻只需8 s,性能提升率為91%;當(dāng)查詢數(shù)增加至10×106條時(shí), Oracle方法查詢時(shí)間急速增加到1000 s,而Hadoop方法只需30 s,性能提升率達(dá)到98%。

表2 查詢時(shí)間測(cè)試結(jié)果s

比較數(shù)據(jù)量的增長(zhǎng)幅度對(duì)查詢性能的影響,選擇查詢數(shù)分別為1×106,2×106,10×106的測(cè)試數(shù)據(jù), 2種方法在不同數(shù)據(jù)增長(zhǎng)比例的情況下,查詢時(shí)間變化情況如表3所示。當(dāng)查詢數(shù)從1×106～2×106的數(shù)據(jù)量變化時(shí),這時(shí)數(shù)據(jù)量的增長(zhǎng)率為50%,Oracle方法與Hadoop方法查詢時(shí)間分別提高25%和20%,性能差異度為5%;而當(dāng)數(shù)據(jù)量增長(zhǎng)率達(dá)到90%時(shí),也即查詢數(shù)從1×106急劇變化到10×106條的情況下, Oracle方法與Hadoop方法查詢時(shí)間分別提升了95%和73%,性能差異度達(dá)到20%,結(jié)果說(shuō)明在數(shù)據(jù)量急劇增長(zhǎng)的情況下,基于Hadoop的方法相比Oracle方法查詢時(shí)間性能提升幅度更大,在這種情況下,說(shuō)明基本Hadoop的方法更適合海量數(shù)據(jù)處理。

表3 不同數(shù)據(jù)增長(zhǎng)比例下查詢時(shí)間的提升率比較

圖5描述了分別在1×106和2×106查詢數(shù)情況下的查詢時(shí)間比較,可以得出,在2種不同查詢數(shù)的條件下,基于Hadoop的查詢性能遠(yuǎn)優(yōu)于Oracle方法。查詢數(shù)從1×106～2×106的增長(zhǎng)過(guò)程中, Hadoop方法查詢時(shí)間增加幅度較小,而Oracle方法的查詢時(shí)間增加幅度較大,說(shuō)明Hadoop方法在查詢數(shù)目急劇增長(zhǎng)的情況下,查詢時(shí)間增長(zhǎng)幅度卻不大,基于Hadoop方法的日志分析系統(tǒng)在查詢時(shí)具有更強(qiáng)的魯棒性和穩(wěn)定性。

圖5 不同查詢數(shù)下的查詢時(shí)間對(duì)比

4 結(jié)束語(yǔ)

本文在研究云計(jì)算理論的基礎(chǔ)上,基于Hadoop并行處理框架設(shè)計(jì)一種新的SMP海量日志分析系統(tǒng),有效解決了SMP海量日志查詢效率不高的問(wèn)題。實(shí)驗(yàn)結(jié)果表明,在云計(jì)算環(huán)境下,基于Hadoop框架的查詢性能相比基準(zhǔn)方法提升90%以上,在提高查詢性能的基礎(chǔ)上,進(jìn)一步提高了SMP平臺(tái)在實(shí)際應(yīng)用中系統(tǒng)整體響應(yīng)速度?？紤]到云計(jì)算的產(chǎn)生背景和技術(shù)特點(diǎn),其面臨的安全問(wèn)題會(huì)越來(lái)越突出,因此,下一步將研究海量日志分析在云計(jì)算應(yīng)用環(huán)境下的信息安全問(wèn)題。

[1] 孟必平,王騰蛟,李紅燕.分片位圖索引:一種適用于云數(shù)據(jù)管理的輔助索引機(jī)制[J].計(jì)算機(jī)學(xué)報(bào),2012, 35(11):2307-2313.

[2] 賈興華,張?jiān)朴?陳清金.基于云計(jì)算的上網(wǎng)記錄查詢分析系統(tǒng)[J].電信技術(shù),2011,(10):27-30.

[3] 羅軍舟,金嘉暉,送愛(ài)波.云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào),2011,32(7):3-21.

[4] Hayes B.Cloud Computing[J].Communications of the ACM,2008,51(7):9-11.

[5] Popa L,Yu M.Cloud Police:Taking Access Control Out of the Network[C]//Proceedings of the 9th ACM SIGCOMM Workshop on Hot Topics in Networks. New York,USA:ACM Press,2010:1-6.

[6] 俞能海,郝 卓,徐甲甲.云安全研究進(jìn)展綜述[J].電子學(xué)報(bào),2013,41(2):371-381.

[7] 劉振鵬,張 寧,卞昭玲.云計(jì)算技術(shù)在檔案館中的應(yīng)用探討[J].蘭臺(tái)世界,2010,(16):17-19.

[8] 蔣鴻玲,邵秀麗,李耀芳.基于MapReduce的僵尸網(wǎng)絡(luò)在線監(jiān)測(cè)算法[J].電子與信息學(xué)報(bào),2013,35(7): 1732-1738.

[9] Dash D,Kantere V,Ailamaki A.An Economic Model for Self-tuned Cloud Caching[C]//Proceedings of the 25th International Conference on Data Engineering. New York,USA:IEEE Computer Society,2009:1687-1693.

[10] 馮登國(guó),張 敏,張 妍.云計(jì)算安全研究[J].軟件學(xué)報(bào),2011,22(1):71-83.

[11] 張大朋,蔡 克,張 敏.云計(jì)算數(shù)據(jù)安全支撐平臺(tái)架構(gòu)研究[J].計(jì)算機(jī)研究與發(fā)展,2011,48(增刊): 261-267.

[12] Michael A,Armando F,Rean G,et al.A View of Cloud Computing[J].Communications of the ACM,2010, 53(4):50-58.

[13] Borthakur D.TheHadoopDistributedFileSystem: Architecture and Design[C]//Proceedings of the 26th Symposium on Mass Storage Systems and Technologies. Washington D.C.,USA:IEEE Computer Society,2010: 1-10.

[14] Ghemawat D J.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):137-149.

[15] 黎建輝,劉 勇,王衛(wèi)華.MapReduce計(jì)算模型下的化合物L(fēng)C-MS鑒定[J].計(jì)算機(jī)科學(xué)與探索,2011, 5(12):1094-1104.

[16] 蔣鴻玲,邵秀麗,李耀芳.基于MapReduce的僵尸網(wǎng)絡(luò)在線監(jiān)測(cè)算法[J].電子與信息學(xué)報(bào),2013,35(7): 1732-1738.

[17] 張桂剛,李 超,張 勇.一種基于海量信息處理的云存儲(chǔ)模型研究[J].計(jì)算機(jī)研究與發(fā)展,2012,49(增刊): 32-36.

編輯 陸燕菲

Design of Log Analysis System Based on Cloud Computing in Security Management Platform

CHEN Jie1,YU Yonggang1,LIU Mingheng1,PAN Shenghe1,XU Kefu2
(1.China Mobile(Shenzhen)Co.,Ltd.,Shenzhen 518048,China;2.Institute of Information Engineering, Chinese Academy of Sciences,Beijing100093,China)

With the development of cloud computing,massive data can be very easy to be stored and managed.Security Management Platform(SMP)is a support platform which realizes security management normalized operation.In a real application,this platform needs to process the massive information which generates from security device in real time. Considering the problem of low query efficiency,an efficient log analysis system based on the cloud computing for SMP is presented.It introduces the Hadoop distributed system infrastructure,and in the meantime,based on the study of transformation mission of the Hive,Hadoop Distributed File System(HDFS)and MapReduce are applied to effective storage and query of massive log.Experimental results show that,using proposed system can obtain a general increase in the query performance by about 90%compared with the existing Oracle storage method,and it can also further improve response speed of the SMP.

SecurityManagementPlatform(SMP);cloudcomputing;Hadooparchitecture;massivelog; parallel processing

陳 潔,于永剛,劉明恒,等.安全管理平臺(tái)中基于云計(jì)算的日志分析系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程, 2015,41(2):21-25.

英文引用格式:Chen Jie,Yu Yonggang,Liu Mingheng,et al.Design of Log Analysis System Based on Cloud Computing in Security Management Platform[J].Computer Engineering,2015,41(2):21-25.

1000-3428(2015)02-0021-05

:A

:TP311

10.3969/j.issn.1000-3428.2015.02.005

國(guó)家自然科學(xué)基金資助項(xiàng)目(61003295)。

陳 潔(1982-),女,工程師、博士,主研方向:信息安全,大數(shù)據(jù)分析,云計(jì)算;于永剛、劉明恒、潘盛合,工程師;徐克付,副研究員。

2014-03-05

:2014-07-18E-mail:chenxg58@126.com