基于Spark大數(shù)據(jù)平臺日志審計系統(tǒng)的設(shè)計與實現(xiàn)

孔慶春

摘要：審計是通過跟蹤客戶訪問內(nèi)容和訪問方式來定位系統(tǒng)的安全問題，以便制定相應(yīng)的安全措施，以彌補(bǔ)現(xiàn)有出現(xiàn)的漏洞問題。系統(tǒng)架構(gòu)的基礎(chǔ)上，系統(tǒng)需求分析結(jié)果表明，設(shè)計的目標(biāo)和原則，同時也進(jìn)一步提出了物理架構(gòu)和系統(tǒng)的總體架構(gòu)。通常來說位置的物理架構(gòu)系統(tǒng)物理環(huán)境條件下，一般來說系統(tǒng)的體系結(jié)構(gòu)，包括完成整個系統(tǒng)的這些功能模塊。本課題探究的是日志審計系統(tǒng)基于Spar大數(shù)據(jù)平臺，這里有著比較高速度以及較為良好的可擴(kuò)展性和處理大量的數(shù)據(jù)，處理結(jié)果比較好，對目前日志審計系統(tǒng)的分析和研究做出了有益的嘗試。

關(guān)鍵詞：信息安全；大數(shù)據(jù)；日志審計；云計算

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）15-0010-02

1基于Spark大數(shù)據(jù)平臺日志審計系統(tǒng)架構(gòu)設(shè)計

1.1系統(tǒng)設(shè)計目標(biāo)和原則

本課題中日志審計系統(tǒng)通過對雜志收集監(jiān)測設(shè)備采集模塊，并且日志記錄用戶訪問記錄，系統(tǒng)運(yùn)行日志以及整個系統(tǒng)運(yùn)行狀態(tài)信息。這里實現(xiàn)的是基于火花大數(shù)據(jù)平臺日志審計系統(tǒng)的設(shè)計目標(biāo)和原則主要表現(xiàn)在傳統(tǒng)日志審計系統(tǒng)的基本功能和依賴大數(shù)據(jù)技術(shù)為整個擴(kuò)展傳統(tǒng)的日志審計系統(tǒng)。這里我們知道日志信息收集后解析XML日志將大量的數(shù)據(jù)和格式變量復(fù)雜源日志信息標(biāo)準(zhǔn)化偽日志信息的規(guī)范，一般來說在合并后單位時間函數(shù)在同一IP和報警分析等處理，同時這個日志集中管理存儲在我們的一個存儲系統(tǒng)中，能夠有比較豐富的日志數(shù)據(jù)，實現(xiàn)我們的一整個全面的IT環(huán)境的審計日志。

本文探究的集中管理平臺，能夠較好地提供視圖顯示和操作更為方便的實現(xiàn)原理。通常來說對于集中管理平臺通過圖表清晰直觀地顯示實時分析的結(jié)果分析模塊。我們能夠?qū)@份報告總結(jié)了歷史時期的安全狀況。同時，具體來說集中管理平臺提供的管理系統(tǒng)，如日志收集管理或者是我們的安全管理，還有整個用戶管理等等，在利用維持整個系統(tǒng)的管理功能。一般來說在對大數(shù)據(jù)技術(shù)來完成一些基本的日志審計系統(tǒng)的這樣一個要求。并且在對我們的日志進(jìn)行一個采集系統(tǒng)來取代傳統(tǒng)的模塊。一般來說我們的日志采集系統(tǒng)高可用性、同時還有比較好的一個可伸縮性和可以接受各種優(yōu)秀的源格式；使用大數(shù)據(jù)平臺的分析引擎日志審計系統(tǒng)，能夠完成我們的這個上游的日志收集日志信息標(biāo)準(zhǔn)化。

1.2系統(tǒng)技術(shù)架構(gòu)設(shè)計

本課題中我們知道對于審計系統(tǒng)，一般來說關(guān)鍵就是探究由大數(shù)據(jù)平臺，同時集中管理平臺，作為一個Mysql服務(wù)器主機(jī)。具體來看大數(shù)據(jù)平臺上運(yùn)行的一組服務(wù)器。另外在利用我們的大數(shù)據(jù)平臺上運(yùn)行的服務(wù)器日志信息標(biāo)準(zhǔn)化以及完成我們的分析，同時能夠?qū)⒄麄€結(jié)果存儲在數(shù)據(jù)庫中。通常來看我們數(shù)據(jù)庫只保留一天的日志信息，同時這些所有的日志信息存儲在分布式文件系統(tǒng)的大數(shù)據(jù)平臺。其中一些數(shù)據(jù)在數(shù)據(jù)庫中為方便安全管理人員查詢?nèi)罩拘畔?，并且我們的這個報告信息和設(shè)置。具體來看我們大數(shù)據(jù)平臺本身包含了分布式文件系統(tǒng)可以用作持久性存儲。倘若我們在這個查詢太古代歷史日志信息或者需要探索分析報告圖表的信息，一般來說也是需要完成的Spark大數(shù)據(jù)平臺。

安全管理審計系統(tǒng)通過個人電腦連接，通?？纯串?dāng)前操作系統(tǒng)的日志信息，分析，同時還有具體報告只需要查詢的數(shù)據(jù)可以保存在一個Mysql數(shù)據(jù)庫。通常來說這樣不僅有利于保護(hù)數(shù)據(jù)持久性，同時已經(jīng)被證明是更長一段時間所有的數(shù)據(jù)挖掘，并防止頻繁的影響信息查詢?nèi)罩痉治龅拇髷?shù)據(jù)平臺。并且我們在集中管理平臺提供了一個WEB服務(wù)，能夠利用我們的網(wǎng)絡(luò)查詢系統(tǒng)分析結(jié)果，最后完成整個的操作和管理系統(tǒng)等基本信息。

2系統(tǒng)功能架構(gòu)

2.1 系統(tǒng)功能組成

2.1.1日志采集

本課題探究的基于Spark大數(shù)據(jù)平臺日志收集日志審計系統(tǒng)關(guān)鍵就在于這個可伸縮性和可用性。同時因為我們IT的現(xiàn)實工作環(huán)境會改變的可能性，并且一般來說不是改變更復(fù)雜的也可能是流線型的，通常來說這個具體日志收集應(yīng)該根據(jù)實際監(jiān)測網(wǎng)絡(luò)的大小，從而來以確保你占用物理資源的大小，同時利用具體增加的方便和靈活的采集能力或釋放多余的資源。一般來看我們的日志標(biāo)準(zhǔn)化基于標(biāo)準(zhǔn)化規(guī)范匹配所有的日志文件和日志信息是唯一可識別的格式。另外整個的日志標(biāo)準(zhǔn)化后的分析工作的前提下，僅僅是在實現(xiàn)了所有的標(biāo)準(zhǔn)化可以有效分析日志的日志格式。通常來說我們的可用性是反映在日志收集能夠接收各種各樣的方式，而不是說處理現(xiàn)在常見的發(fā)展云計算的企業(yè)環(huán)境。收購后的日志需要標(biāo)準(zhǔn)化日志。

2.1.2集中管理平臺

集中管理平臺提供了一個有效的訪問接口，也就是說被視為視覺層，這里也得到了最后的整個分析結(jié)果。通常來說我們的安全管理員是能夠?qū)崿F(xiàn)審計日志的基本信息查詢，同時還可以完成我們的查詢統(tǒng)計查詢等功能。另外，我們是可以利用整個基本的配置，來完成終端管理，完成整個系統(tǒng)的某些配置信息的管理。

2.1.3日志分析

日志分析是在大數(shù)據(jù)平臺上來實現(xiàn)的。通常來說我們的這個日志分析主要有三種方法的分析：第一部分，也就是一個具體日志信息信息匹配分析；其次，我們的這個單位時間日志頻率分析；第三，有關(guān)于多個日志的這樣一個關(guān)聯(lián)分析。

3集中管理平臺

集中管理平臺作為日志審計系統(tǒng)的外部接口，課題中是對本身需要的安全保證。一般來說，我們的這個集中管理平臺安全部分作為一個關(guān)鍵在這一節(jié)中描述。使每個角色，從而能夠更好確保其業(yè)務(wù)案例系統(tǒng)中最小權(quán)限的功能。另外課題系統(tǒng)分別建立了三個角色，分別是這個安全管理員還有我們的審計管理員，以及我們的系統(tǒng)管理員。一般來看，對于這個傳統(tǒng)的雙因素登錄作為保證，能夠較好集中管理平臺使用SparkSecurity安全框架，以確保他們的安全。而且還能較好根據(jù)三權(quán)分立的思想設(shè)計的不同的角色不同的權(quán)限。并且我們的系統(tǒng)管理員負(fù)責(zé)系統(tǒng)配置相關(guān)業(yè)務(wù)，審計經(jīng)理負(fù)責(zé)審計系統(tǒng)操作日志用戶的內(nèi)部審計制度。

本課題中探究了集中管理平臺系統(tǒng)中非常關(guān)鍵的這樣一個作用，并且我們的集中管理平臺負(fù)責(zé)顯示整個系統(tǒng)的運(yùn)行結(jié)果，通常情況下配置管理系統(tǒng)，同時在與其他功能，并且可以再具體外部系統(tǒng)的性能。一般來說集中管理平臺的主要部分資產(chǎn)管理、用戶管理、規(guī)則、管理、安全中心，日志語句。報道的集合可以配置配置文件，檢查報告已經(jīng)操作日志。通常具體在安全中心是環(huán)境安全審計結(jié)果的監(jiān)測系統(tǒng)的總體性能，并實時審計結(jié)果顯示日志審計系統(tǒng)。一般情況下，對于管理這些資產(chǎn)可以輸入或刪除日志審計系統(tǒng)來管理資產(chǎn)信息，同時具體的資產(chǎn)配置日志文件標(biāo)準(zhǔn)化；以及在我們用戶管理的操作用戶管理平臺，同時還需要能夠保證平臺的安全；一組規(guī)則，課題中對于規(guī)則管理是一個管理系統(tǒng)；同時多模塊用于實現(xiàn)Spring框架，Spring框架是其中一個最流行的Web框架，；另外具體相關(guān)論文不再是一些信息，因此我們這里不將集中管理平臺的實現(xiàn)模塊被描述為主要內(nèi)容之一。

后設(shè)置不同角色的權(quán)限需要限制用戶的這樣一個集中管理平臺能夠訪問的內(nèi)容是不同的，同時還不可以完成這個訪問超出他們能力的內(nèi)容，一般來說是使用直接訪問URL。同時還有里利用這個Springsecurity框架，以確保我們的這個授權(quán)。通常情況下我們的Springsecurity除了授權(quán)和身份驗證功能，主要就是我們的這個身份驗證是識別用戶和角色信息。能夠較好地完成整個訪問控制也可以稱為資源訪問控制，并且還可以較為直觀是控制的表達(dá)一個URL訪問請求權(quán)限。Springsecurity當(dāng)一個URL請求許可的URL和用戶身份驗證的作用之下，倘若說能夠較好符合要求離開，另外如果不符合攔截請求。通常情況下Springsecurity身份驗證和訪問控制需要通過XML配置信息。另外在這個身份驗證是指用戶身份認(rèn)證，具體是驗證用戶登錄時的用戶名和密碼，驗證后的用戶名、密碼，角色和狀態(tài)的信息，如認(rèn)證信息，用戶會話的認(rèn)證信息已經(jīng)被Sparksecurity保存存在。挺且我們的使用者在進(jìn)行這個身份驗證、會話管理，除了登錄可用于訪問控制。

訪問控制的主要功能和主要步驟有：Springsecurity負(fù)荷數(shù)據(jù)庫中的數(shù)據(jù)資源，一般來看是相應(yīng)的資源數(shù)據(jù)和角色關(guān)系，同時這里的這個具體操作在以下loadResourceDefine（）原來來達(dá)到目的，通常情況下我們的系統(tǒng)第一次運(yùn)行時調(diào)用這個方法需要URL和角色的鍵-值對的形式存儲記憶。另外當(dāng)這個具體訪問請求送達(dá)是，這里的URL和用戶角色和資源數(shù)據(jù)對應(yīng)關(guān)系能不能符合我們的角色。

4結(jié)語

網(wǎng)絡(luò)安全已成為全球性的這樣一個問題，目前已經(jīng)是全世界各界都在關(guān)注。對于這個隱藏的安全威脅，一般來說消除系統(tǒng)通常采用加密、安全措施，如這個身份驗證、授權(quán)和審計，同時來達(dá)到我們的這個網(wǎng)絡(luò)的安全性。并且通常來看是在詳細(xì)設(shè)計的基礎(chǔ)上，另外我們在描述了具體的實現(xiàn)和測試工作內(nèi)容的一部分。對于我們的水槽的采集模塊配置文件，一般這里的分析主要功能模塊的代碼和我們整個系統(tǒng)運(yùn)行情況等。同時基于火花大數(shù)據(jù)平臺，我們的具體日志審計系統(tǒng)的應(yīng)用做了簡單的介紹，并進(jìn)行了最后的這個總結(jié)，課題中完成大數(shù)據(jù)平臺日志審計系統(tǒng)的發(fā)展進(jìn)行了探討。另外對于詳細(xì)設(shè)計包括總體結(jié)構(gòu)設(shè)計、模塊設(shè)計和數(shù)據(jù)庫設(shè)計。這里完成了整個設(shè)計的結(jié)構(gòu)分為橫向和縱向兩個方面的設(shè)計。同時對于數(shù)據(jù)庫設(shè)計了數(shù)據(jù)庫的總體結(jié)構(gòu)設(shè)計。

參考文獻(xiàn)：

[1] 朱宏.安全日志統(tǒng)一收集平臺的數(shù)據(jù)架構(gòu)設(shè)計與實現(xiàn)[J].計算機(jī)安全，2010（10）.

[2] 郝漩.基于Apache Flume的分布式日志收集系統(tǒng)設(shè)計與實現(xiàn)[J].軟件導(dǎo)刊，2014（7）.

[3] 王倩，陸展，龔儉.一種基于規(guī)則的安全日志范式分析模型[J].計算機(jī)工程，1999（S1）：53-55

[4] 陳世強(qiáng)，蔡超.審計系統(tǒng)中基于數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則自動發(fā)現(xiàn)技術(shù)研究[J].計算機(jī)應(yīng)用與軟件，2007（1）.

[5] 劉芳，肖鐵軍.XML應(yīng)用的基石：XML解析技術(shù)[J].計算機(jī)工程與設(shè)計，2005（10）.

[6] 韋成府，吳旭，張華.網(wǎng)絡(luò)行為安全審計系統(tǒng)Web應(yīng)用的設(shè)計與實現(xiàn)[J].現(xiàn)代圖書情報技術(shù)，2009（2）.

[7] 王偉釗，李承，李家濱.網(wǎng)絡(luò)安全審計系統(tǒng)的實現(xiàn)方法田[J].計算機(jī)應(yīng)用與軟件，2002（11）.

[8] 陳瑋.網(wǎng)絡(luò)信息安全審計系統(tǒng)關(guān)鍵技術(shù)研究[J].計算機(jī)與現(xiàn)代化，2009（3）.