芻議網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

王東方 李崢 郭偉

摘要：隨著社會(huì)經(jīng)濟(jì)的發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)也在不斷進(jìn)步并且越來(lái)越廣泛的應(yīng)用到人們生活及企業(yè)的運(yùn)營(yíng)中，網(wǎng)絡(luò)安全在計(jì)算機(jī)應(yīng)用中是十分重要的，企業(yè)和個(gè)人也越來(lái)越關(guān)注網(wǎng)絡(luò)安全的問(wèn)題，它不僅僅關(guān)系到個(gè)人信息的安全，也關(guān)乎著國(guó)家信息的安全?，F(xiàn)今，大數(shù)據(jù)技術(shù)不斷應(yīng)用到網(wǎng)絡(luò)信息中，網(wǎng)絡(luò)安全進(jìn)入了一個(gè)全新的發(fā)展階段。網(wǎng)絡(luò)信息數(shù)據(jù)朝著多樣化、分散化和復(fù)雜化的方向發(fā)展，網(wǎng)絡(luò)信息的管理難度逐漸增大，影響網(wǎng)絡(luò)安全的因素在不斷增加，相關(guān)部門(mén)需要大規(guī)模引進(jìn)和使用大數(shù)據(jù)技術(shù)，滿(mǎn)足人們對(duì)網(wǎng)絡(luò)安全的需求，保障網(wǎng)絡(luò)運(yùn)行的穩(wěn)定性和可靠性。

關(guān)鍵詞：網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；分析；應(yīng)用

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）24-0024-02

網(wǎng)絡(luò)技術(shù)的應(yīng)用具有普遍性，網(wǎng)絡(luò)數(shù)據(jù)的來(lái)源變得越來(lái)越廣泛，內(nèi)容也變?cè)絹?lái)越細(xì)致，這使網(wǎng)絡(luò)安全技術(shù)的結(jié)構(gòu)具有復(fù)雜性。在信息化時(shí)代，數(shù)據(jù)更新的速度不斷加快，人們接收和發(fā)送信息的速度也越來(lái)越快，但是數(shù)據(jù)分析的速度卻遠(yuǎn)遠(yuǎn)落后于網(wǎng)絡(luò)安全漏洞增加的速度，急需引進(jìn)先進(jìn)的技術(shù)。創(chuàng)新和探索新的系統(tǒng)軟件，增強(qiáng)網(wǎng)絡(luò)的防御能力，及時(shí)預(yù)測(cè)數(shù)據(jù)泄露問(wèn)題，彌補(bǔ)系統(tǒng)安全漏洞，使用效率高具有可持續(xù)性的工具，為個(gè)人和企業(yè)提供一個(gè)安全的網(wǎng)絡(luò)環(huán)境。

1 網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)的意義

在信息化背景下，互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，網(wǎng)絡(luò)流動(dòng)數(shù)據(jù)的數(shù)量大幅速度增加，互聯(lián)網(wǎng)服務(wù)于大眾的性能越來(lái)越高，網(wǎng)絡(luò)安全分析工作的難度也越來(lái)越大，它主要表現(xiàn)在以下兩個(gè)方面。第一，網(wǎng)絡(luò)安全分析工作需要處理的數(shù)據(jù)變得越來(lái)越多，而且這些數(shù)據(jù)的種類(lèi)繁多，具有較高的復(fù)雜性，需要多角度的進(jìn)行處理。第二，網(wǎng)絡(luò)數(shù)據(jù)量增加的同時(shí)信息的傳遞速度也在不斷加快，為了更好地分析和處理數(shù)據(jù)，相關(guān)工作人員必須提高網(wǎng)絡(luò)數(shù)據(jù)的采集和處理速度，保證信息安全分析的可靠性和有效性，這大大增加可網(wǎng)絡(luò)安全分析的工作難度[1]。網(wǎng)絡(luò)安全分析工作在傳統(tǒng)的模式下，利用結(jié)構(gòu)化數(shù)據(jù)庫(kù)來(lái)進(jìn)行數(shù)據(jù)的存儲(chǔ)，這大大增加了數(shù)據(jù)存儲(chǔ)的成本支出。為了進(jìn)一步降低成本，提高經(jīng)濟(jì)效益，工作人員在對(duì)數(shù)據(jù)進(jìn)行處理后，再進(jìn)行數(shù)據(jù)的存儲(chǔ)，大大降低了數(shù)據(jù)的大小，提高了存儲(chǔ)量。但是在網(wǎng)絡(luò)數(shù)據(jù)處理的過(guò)程中，常常會(huì)出現(xiàn)遺漏信息的現(xiàn)象，除此之外，如果信息存儲(chǔ)的時(shí)間較長(zhǎng)，也容易丟失信息。對(duì)于一些非結(jié)構(gòu)化、內(nèi)容十分復(fù)雜的數(shù)據(jù)集，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)并不能夠進(jìn)行有效的處理，且作用不明顯，查詢(xún)效率低，分析速度緩慢。在科技迅速發(fā)展的今天，以上問(wèn)題急需處理和解決。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 信息的儲(chǔ)存

數(shù)據(jù)信息的存儲(chǔ)是網(wǎng)絡(luò)安全分析的重要組成部分，在引入大數(shù)據(jù)技術(shù)時(shí)，工作人員首先要了解數(shù)據(jù)信息的種類(lèi)，然后根據(jù)數(shù)據(jù)的實(shí)際情況來(lái)選用存儲(chǔ)方式，進(jìn)一步的提升信息存儲(chǔ)和查詢(xún)的速度。例如，在存儲(chǔ)日志信息和流量歷史數(shù)據(jù)等信息時(shí)，工作人員可以利用大數(shù)據(jù)技術(shù)，盡可能在較短的時(shí)間里檢索和響應(yīng)數(shù)據(jù)，然后再?lài)?yán)格按照安全實(shí)施的標(biāo)準(zhǔn)來(lái)計(jì)算和處理網(wǎng)絡(luò)組織和構(gòu)架，并且把Hshoop分布式作為重要的依據(jù)[3]。在計(jì)算節(jié)點(diǎn)時(shí)，要對(duì)認(rèn)真分析和深入研究數(shù)據(jù)的設(shè)置，再使用腳本去分析和挖掘網(wǎng)絡(luò)安全，在數(shù)據(jù)的儲(chǔ)存方面，采用列式的方式把數(shù)據(jù)規(guī)整到數(shù)據(jù)庫(kù)中，然后使用適當(dāng)?shù)臄?shù)據(jù)計(jì)算方式，在各個(gè)節(jié)點(diǎn)的計(jì)算中放入分析數(shù)據(jù)。各個(gè)計(jì)算節(jié)點(diǎn)的各項(xiàng)數(shù)據(jù)如果通過(guò)了各個(gè)計(jì)算節(jié)點(diǎn)，系統(tǒng)就會(huì)自行對(duì)數(shù)據(jù)進(jìn)行分析，精準(zhǔn)和完整的分析和統(tǒng)計(jì)數(shù)據(jù)信息，及時(shí)做到安全警告，最后一步使用流式的方式，把分析出的結(jié)構(gòu)和數(shù)據(jù)存數(shù)到相對(duì)應(yīng)的數(shù)據(jù)庫(kù)里。

2.2 信息的采集

Flume、Kafka與Storm三者融為一體是信息采集的重要部分，它對(duì)數(shù)據(jù)進(jìn)行收集和規(guī)整，選用高效是數(shù)據(jù)和信息，制定信息報(bào)告，建立數(shù)據(jù)系統(tǒng)，然后使用相應(yīng)的方法將數(shù)據(jù)展現(xiàn)出來(lái)，最后要確保同一個(gè)源頭的數(shù)據(jù)不會(huì)傳送到同一個(gè)接受者手中，在所有數(shù)據(jù)中有一小部分?jǐn)?shù)據(jù)是要進(jìn)行再次處理的，然后才可以將數(shù)據(jù)傳遞給接收方[4]。需要注意的是，在對(duì)流式數(shù)據(jù)進(jìn)行加工時(shí)，工作人員應(yīng)該使用Kafka來(lái)采集數(shù)據(jù)，一其作為流式數(shù)據(jù)的緩存格式，讓它成為分布式發(fā)布的訂閱系統(tǒng)，服務(wù)于生產(chǎn)者、消費(fèi)者和代理商，并且為它們提供基礎(chǔ)數(shù)據(jù)。

2.3 信息的檢索

大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析時(shí)，主要的檢索依據(jù)為MapReduce，采用分布式的并行計(jì)算方法對(duì)各個(gè)數(shù)據(jù)進(jìn)行二次計(jì)算，并且對(duì)各個(gè)分析節(jié)點(diǎn)的數(shù)據(jù)查詢(xún)請(qǐng)求進(jìn)行分析和處理，增強(qiáng)了檢索數(shù)據(jù)和信息的能力，快速地檢測(cè)出網(wǎng)絡(luò)異常的現(xiàn)象，查找和追尋具有安全隱患和問(wèn)題的數(shù)據(jù)信息，準(zhǔn)確度定位數(shù)據(jù)信息，再利用網(wǎng)絡(luò)安全分析進(jìn)行處理，保證網(wǎng)絡(luò)安全系統(tǒng)能夠順利有效進(jìn)行。

2.4 數(shù)據(jù)信息的分析

在使用大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，主要依據(jù)為Strom和Spark的流式計(jì)算架構(gòu)，工作人員通過(guò)處理復(fù)雜事件和計(jì)算定制的電聯(lián)對(duì)數(shù)據(jù)的內(nèi)存進(jìn)行深入研究和認(rèn)真分析，從而察覺(jué)遠(yuǎn)距離監(jiān)控、安全信息、捕捉等相關(guān)的不正常行為。除此之外，在對(duì)非實(shí)時(shí)性的數(shù)據(jù)進(jìn)行分析時(shí)，應(yīng)該以 Hadoop架構(gòu)為基礎(chǔ)，然后使用數(shù)據(jù)聚合、分析事態(tài)、數(shù)據(jù)挖掘和數(shù)據(jù)抽取等技術(shù)，采用HDFS分布式存儲(chǔ)和MapReduce分布式計(jì)算的方式，對(duì)攻擊源進(jìn)行排查，進(jìn)一步促進(jìn)了網(wǎng)絡(luò)安全分析工作。

2.5 多源數(shù)據(jù)和多階段組合的關(guān)聯(lián)分析

相關(guān)行業(yè)和部門(mén)使用大數(shù)據(jù)技術(shù)來(lái)增加數(shù)據(jù)存儲(chǔ)的空間和數(shù)據(jù)分?jǐn)?shù)的速度，在一定的時(shí)間內(nèi)，網(wǎng)絡(luò)安全分析系統(tǒng)可以對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行分析和采集，準(zhǔn)確找出安全分析系統(tǒng)中存在的安全隱患以及不同攻擊行為在不同關(guān)聯(lián)階段的表現(xiàn)[5]。例如，在對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行分析時(shí)，使用大數(shù)據(jù)技術(shù)，考慮流量和DNS的訪問(wèn)特點(diǎn)，對(duì)僵尸網(wǎng)絡(luò)進(jìn)行分析，拓展數(shù)據(jù)查詢(xún)的范圍，及時(shí)采集莫管數(shù)據(jù)、采集全分組數(shù)據(jù)以及溯源數(shù)據(jù)等信息，對(duì)外界情報(bào)進(jìn)行深度關(guān)聯(lián)分析，找出安全漏洞和主機(jī)被攻擊留下的痕跡，做好防范準(zhǔn)備工作，真正做到及時(shí)發(fā)現(xiàn)、及時(shí)處理。

3 基數(shù)大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)建設(shè)

3.1 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺(tái)架構(gòu)

從上到下的網(wǎng)絡(luò)安全平臺(tái)是數(shù)據(jù)的采集層，大數(shù)據(jù)的存儲(chǔ)層，數(shù)據(jù)挖掘的分析層也是數(shù)據(jù)的呈現(xiàn)層。數(shù)據(jù)采集層采用分布式并且以用戶(hù)身份信息、事件、威脅和情報(bào)等異構(gòu)信息為基礎(chǔ)，數(shù)據(jù)的存儲(chǔ)層使用分布式文件系統(tǒng)對(duì)信息進(jìn)行長(zhǎng)期全量的存儲(chǔ)，并且有利于將結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化統(tǒng)一并存儲(chǔ)。采用均衡算法，將現(xiàn)實(shí)中的數(shù)據(jù)均勻分布在分布式文件系統(tǒng)上，有利于提高將來(lái)數(shù)據(jù)檢索的速度[6]。大數(shù)據(jù)技術(shù)在數(shù)據(jù)挖掘?qū)拥膽?yīng)用有利于分析相關(guān)聯(lián)的數(shù)據(jù)，分析情境，提取特征，挖掘安全事件并且快速發(fā)現(xiàn)網(wǎng)絡(luò)異常行為，找到問(wèn)題出現(xiàn)的源頭。及時(shí)對(duì)信息數(shù)據(jù)進(jìn)行查詢(xún)和定位，將大數(shù)據(jù)分析結(jié)構(gòu)變得更加可視化，從多個(gè)角度展現(xiàn)網(wǎng)絡(luò)安全的狀態(tài)。

3.2 平臺(tái)實(shí)現(xiàn)的技術(shù)支持

我們的平臺(tái)在對(duì)數(shù)據(jù)進(jìn)行采集時(shí)，將Flume、Kafka、Storm結(jié)合在一起對(duì)數(shù)據(jù)進(jìn)行采集。然后再使用Flume采集、傳遞和整理大量的安全數(shù)據(jù)，具有可靠性、實(shí)用性的特征。使用定制的數(shù)據(jù)保證信息發(fā)送方能夠手機(jī)到源自不同數(shù)據(jù)源的數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，發(fā)送給各個(gè)數(shù)據(jù)的定制方。

在對(duì)流式數(shù)據(jù)進(jìn)行分析和處理時(shí)，將Kafka作為數(shù)據(jù)采集和流式數(shù)據(jù)處理中的緩存，其中包含多個(gè)消費(fèi)者、代理商和生產(chǎn)者[7]。數(shù)據(jù)存儲(chǔ)技術(shù)將采集后的數(shù)據(jù)存儲(chǔ)到分布式文件系統(tǒng)中，具有高容錯(cuò)性和高吞吐量的特征。命名空間使用的是元數(shù)據(jù)管理節(jié)點(diǎn)文件系統(tǒng)，而且數(shù)據(jù)的節(jié)點(diǎn)被用來(lái)存數(shù)數(shù)據(jù)文件，以64兆字節(jié)的數(shù)據(jù)作為最基本的存儲(chǔ)單位。如果在同一時(shí)間訪問(wèn)的文件量過(guò)多，會(huì)降低系統(tǒng)的性能。為了更好地保障數(shù)據(jù)處理和分析的工作效率，要把采集來(lái)的數(shù)據(jù)進(jìn)行整理和歸納，滿(mǎn)足每個(gè)文件的存儲(chǔ)。

4 行動(dòng)

在維護(hù)網(wǎng)絡(luò)信息安全的工作中，工作人員應(yīng)該充分掌握實(shí)際情況，并且結(jié)合實(shí)際情況對(duì)一下幾個(gè)方面進(jìn)行整頓和改進(jìn)，做好“三大安全”的排查工作。首先，要保障硬件安全，檢查防火、防盜、防雷等硬件的安全并做好電源的連接工作。其次，維護(hù)網(wǎng)絡(luò)的安全，調(diào)整好網(wǎng)絡(luò)結(jié)構(gòu)，做好安全日志管理和密碼管理等工作。最后，保障應(yīng)用安全，做好資源庫(kù)、網(wǎng)站和軟件等管理工作。

為了更進(jìn)一步的增強(qiáng)網(wǎng)絡(luò)信息安全意識(shí)，相關(guān)部門(mén)要加強(qiáng)對(duì)工作人員的安全知識(shí)培訓(xùn)，設(shè)立講座等，提升工作人員安全工作的自覺(jué)性和主動(dòng)性。在對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行維護(hù)和更新時(shí)，要加強(qiáng)對(duì)設(shè)備線路的保養(yǎng)，加強(qiáng)對(duì)系統(tǒng)的維護(hù)，充分考慮信息技術(shù)發(fā)展迅速的特點(diǎn)，加大更新力度[8]。在工作制度的建設(shè)方面，工作人員工作時(shí)要嚴(yán)格按照規(guī)章制度進(jìn)行，不斷完善工作機(jī)制，設(shè)立單獨(dú)部門(mén)和專(zhuān)業(yè)人員對(duì)設(shè)備進(jìn)行完善和密切監(jiān)督，完善懲罰機(jī)制，及時(shí)發(fā)現(xiàn)和解決信息系統(tǒng)中出現(xiàn)的安全事故，保證網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定運(yùn)行。

5 結(jié)語(yǔ)

現(xiàn)今，互聯(lián)網(wǎng)的數(shù)量在不斷增加，網(wǎng)絡(luò)安全分析工作的壓力也越來(lái)越大，難度升高，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全中的應(yīng)用有效提高了系統(tǒng)在數(shù)據(jù)采集、存儲(chǔ)、分析處理等方面的性能，不僅可以減少網(wǎng)絡(luò)信息數(shù)據(jù)的存儲(chǔ)成本，而且增加了數(shù)據(jù)庫(kù)的存儲(chǔ)容量，為數(shù)據(jù)的檢索和追溯提供了重要的安全保障。所以，相關(guān)部門(mén)要大力推廣和深入研究大數(shù)據(jù)技術(shù)，充分發(fā)揮大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全中的作用。

參考文獻(xiàn)：

[1] 陳小波.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（04）：45+64.

[2] 修健.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（03）：67+115.

[3] 林幼文.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（02）：71+78.

[4] 王穎.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探究[J].電腦知識(shí)與技術(shù)，2017，13（33）：20-21.

[5] 孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（04）：102+106.

[6] 賈衛(wèi).網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016（11）：96+98.

[7] 崔玉禮，黃麗君.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)空間安全，2016，7（06）：75-77.

[8] 王帥，汪來(lái)富，金華敏，沈軍.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2017，31（07）：145-150.

【通聯(lián)編輯：光文玲】