大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用研究

摘? 要：隨著網(wǎng)絡(luò)時代和數(shù)字經(jīng)濟(jì)時代的到來，互聯(lián)網(wǎng)已經(jīng)深入各行各業(yè)和普通人的日常生活中，給人民生活、工作帶來了很多便利，也保證了企業(yè)各項(xiàng)工作的高效進(jìn)行，促進(jìn)了企業(yè)的進(jìn)步與發(fā)展。但是，網(wǎng)絡(luò)的安全性是我們必須要面對的一個問題。目前，網(wǎng)絡(luò)安全越來越受到國家和人民的重視，其不僅關(guān)系到人民的隱私安全，更關(guān)系到國家安全，所以為了避免發(fā)生網(wǎng)絡(luò)安全事故，做好網(wǎng)絡(luò)安全分析工作顯得非常重要。過去我們在網(wǎng)絡(luò)安全方面做了很多工作，但效果不理想。而將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中就能很好地解決網(wǎng)絡(luò)安全問題，該技術(shù)主要是依據(jù)大量數(shù)據(jù)信息來進(jìn)行云計算，從而為網(wǎng)絡(luò)安全分析工作提供準(zhǔn)確、全面的資料，以促進(jìn)網(wǎng)絡(luò)安全分析工作的進(jìn)一步發(fā)展。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)安全;應(yīng)用研究

中圖分類號：TP393.08? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）23-0158-03

Application of Big Data Technology in Network Security Analysis

ZHENG Yujuan

（Shandong Huayu University of Technology，Dezhou? 253034，China）

Abstract：With the advent of the network era and the digital economy era，the internet has penetrated into the daily life of all walks of life and ordinary people，bringing a lot of convenience to people’s life and work，also ensuring the efficient progress of all work of the enterprise，and promoting the progress and development of the enterprise. However，network security is a problem we must face. At present，network security has been paid more and more attention by the state and the people. It is not only related to the privacy security of the people，but also related to the national security. So in order to avoid network security accidents，it is very important to do a good job in network security analysis. In the past， we have done a lot of work in network security，but the effect is not ideal. The application of big data technology in network security analysis can solve the problem of network security well. This technology is mainly based on a large number of data information to carry out cloud computing，so as to provide accurate and comprehensive information for network security analysis，so as to promote the further development of network security analysis.

Keywords：big data technology;network security;application research

0? 引? 言

當(dāng)前，我國的網(wǎng)絡(luò)安全狀況非常嚴(yán)峻，經(jīng)常發(fā)生安全攻擊、信息泄露、木馬侵害等現(xiàn)象，對國家的發(fā)展產(chǎn)生非常不利的影響。在這一背景下，只依靠防范措施并不能很好地應(yīng)對網(wǎng)絡(luò)安全攻擊，因此，準(zhǔn)確、全面的安全分析成為關(guān)鍵。將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中，就能夠有效地提升其分析能力，降低分析成本，擴(kuò)大信息容量，從而使網(wǎng)絡(luò)安全分析工作更加快速、更加穩(wěn)定地發(fā)展下去。本文先是從數(shù)據(jù)采集、查詢、存儲、分析以及復(fù)雜數(shù)據(jù)處理等方面具體分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的具體應(yīng)用，后又具體闡述了基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺構(gòu)建內(nèi)容，希望本文的言論能夠幫助提升大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析工作中的應(yīng)用效率和質(zhì)量，同時也能提升網(wǎng)絡(luò)安全分析工作的準(zhǔn)確性，更好地保障我國的網(wǎng)絡(luò)信息安全。

1? 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1.1? 數(shù)據(jù)采集方面

網(wǎng)絡(luò)安全分析工作主要針對流量、日志這兩種數(shù)據(jù)類型進(jìn)行分析，大數(shù)據(jù)技術(shù)主要運(yùn)用Chukwa等工具進(jìn)行數(shù)據(jù)采集，依據(jù)流量、日志數(shù)據(jù)的特點(diǎn)、容量等，通過分布采集的方式來對數(shù)據(jù)信息進(jìn)行每秒百兆的采集，使得數(shù)據(jù)采集工作能夠高效、準(zhǔn)確地進(jìn)行。并且大數(shù)據(jù)技術(shù)的應(yīng)用也可以使網(wǎng)絡(luò)安全分析工作擺脫掉傳統(tǒng)技術(shù)的限制，對于所采集到的數(shù)據(jù)信息的準(zhǔn)確性、全面性起到了保障作用，從而為之后的數(shù)據(jù)存儲、分析等工作打好基礎(chǔ)，有利于網(wǎng)絡(luò)安全分析工作的進(jìn)一步發(fā)展。

1.2? 數(shù)據(jù)查詢方面

大數(shù)據(jù)技術(shù)的引入可以使網(wǎng)絡(luò)安全分析中的數(shù)據(jù)查詢工作更加高效地運(yùn)行。首先，大數(shù)據(jù)技術(shù)可以對數(shù)據(jù)檢索的結(jié)構(gòu)進(jìn)行更新，然后將所需要查詢的數(shù)據(jù)發(fā)送到分節(jié)點(diǎn)。其次，分節(jié)點(diǎn)會根據(jù)數(shù)據(jù)類型、特點(diǎn)等來進(jìn)行計算，從而判斷出需求數(shù)據(jù)信息是否存在于自身。當(dāng)數(shù)據(jù)信息存在時，分節(jié)點(diǎn)就會將所查詢到的數(shù)據(jù)顯示出來，從而很好地滿足查詢?nèi)藛T的需求。這就可以看出，大數(shù)據(jù)技術(shù)的應(yīng)用可以保證數(shù)據(jù)查詢的速度、準(zhǔn)確性、全面性，給網(wǎng)絡(luò)安全分析工作人員帶來了極大的便利，很好地減輕了他們的壓力，并能夠使數(shù)據(jù)查詢效果達(dá)到理想目標(biāo)。

1.3? 數(shù)據(jù)存儲方面

由于數(shù)據(jù)的高速傳輸和種類的多樣性，使得數(shù)據(jù)存儲工作的難度加大，不利于網(wǎng)絡(luò)安全分析工作的正常進(jìn)行。而大數(shù)據(jù)技術(shù)的引入便可以降低數(shù)據(jù)存儲工作的難度，主要是提供不同的存儲方式，使得網(wǎng)絡(luò)安全分析工作能夠高效地開展下去。大數(shù)據(jù)技術(shù)主要是通過發(fā)揮HBase列式儲存方法的快速檢索優(yōu)勢而滿足數(shù)據(jù)查詢需求，從而進(jìn)行流量、日志等數(shù)據(jù)的分類存儲。分類存儲的主要流程是：大數(shù)據(jù)技術(shù)首先要對數(shù)據(jù)按照數(shù)據(jù)類型、特點(diǎn)等進(jìn)行分析處理，利用Hadoop分布式方法進(jìn)行計算，其次會根據(jù)每個節(jié)點(diǎn)的特征來對數(shù)據(jù)進(jìn)行分類、分析，最后通過對數(shù)據(jù)的處理而制成統(tǒng)計分析報告。大數(shù)據(jù)技術(shù)應(yīng)用在網(wǎng)絡(luò)安全實(shí)際分析工作中后，當(dāng)節(jié)點(diǎn)獲取到數(shù)據(jù)信息時，該節(jié)點(diǎn)就會自動對數(shù)據(jù)進(jìn)行計算、數(shù)據(jù)分析等工作，同時將分析結(jié)果存放于日志、流量等的數(shù)據(jù)存儲內(nèi)部。

1.4? 數(shù)據(jù)分析方面

當(dāng)大數(shù)據(jù)技術(shù)在對數(shù)據(jù)信息進(jìn)行分析時，要根據(jù)數(shù)據(jù)信息的特征、類型等來選擇合適的分析方法，這樣才能使得網(wǎng)絡(luò)安全分析工作正常有序地開展下去。當(dāng)進(jìn)行實(shí)時數(shù)據(jù)的分析處理時，主要運(yùn)用流式計算方式、CEP技術(shù)等來開展分析工作，從而及時發(fā)現(xiàn)數(shù)據(jù)信息中存在的問題及隱患，并及時解決，這樣就能保證數(shù)據(jù)信息的全面性、安全性、準(zhǔn)確性。當(dāng)進(jìn)行歷史安全數(shù)據(jù)的分析處理工作時，可以采取離線處理的方式，分析處理方法為分布式存儲和計算，從而對歷史數(shù)據(jù)進(jìn)行全面、精準(zhǔn)的分析，這不僅能夠及時發(fā)現(xiàn)其中存在的問題，找到原因，并提出應(yīng)對措施，還能夠節(jié)省很多成本，使網(wǎng)絡(luò)安全分析工作獲得更多的經(jīng)濟(jì)效益和社會效益。

1.5? 復(fù)雜數(shù)據(jù)處理

面對數(shù)據(jù)類型的多樣化、復(fù)雜化，將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析工作中，便可以高效、全面地對這些數(shù)據(jù)進(jìn)行深入處理，如對多源異構(gòu)數(shù)據(jù)進(jìn)行的處理。當(dāng)出現(xiàn)僵尸網(wǎng)絡(luò)時，會大大影響到網(wǎng)絡(luò)信息的安全，而將大數(shù)據(jù)技術(shù)應(yīng)用于其中就能很好地解決這一問題，該技術(shù)從流量數(shù)據(jù)的特點(diǎn)出發(fā)，通過結(jié)合多方面的數(shù)據(jù)信息，進(jìn)行發(fā)散性關(guān)聯(lián)分析，從而對數(shù)據(jù)開展更加全面的分析，以保證復(fù)雜數(shù)據(jù)能夠得到正確、深入的處理，有利于網(wǎng)絡(luò)安全分析工作的高效、快速進(jìn)行。

2? 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺構(gòu)建

2.1? 網(wǎng)絡(luò)安全平臺的架構(gòu)實(shí)現(xiàn)

如圖1所示，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺架構(gòu)主要通過以下四個要素實(shí)現(xiàn)：第一，數(shù)據(jù)采集層。該層的主要任務(wù)是對網(wǎng)絡(luò)中用戶行為產(chǎn)生的交互數(shù)據(jù)、日志數(shù)據(jù)等開展信息采集工作，基于大數(shù)據(jù)技術(shù)的采集工作效率更高。第二，數(shù)據(jù)存儲層。該主要是對網(wǎng)絡(luò)中各種類型的數(shù)據(jù)進(jìn)行有效儲存，為后面的數(shù)據(jù)分析提供數(shù)據(jù)源，從而大大提升了網(wǎng)絡(luò)安全分析工作的效率和質(zhì)量。第三，數(shù)據(jù)分析層。該層的主要功能是需要對原始數(shù)據(jù)進(jìn)行分類分析、關(guān)聯(lián)分析等處理，以此挖掘出網(wǎng)絡(luò)中的數(shù)據(jù)特征、攻擊來源等，為后面的網(wǎng)絡(luò)安全分析工作提供準(zhǔn)確、有效的參考數(shù)據(jù)。第四，數(shù)據(jù)表現(xiàn)層。它的主要功能是將數(shù)據(jù)信息更加直觀地表現(xiàn)出來，其使用的技術(shù)主要有安全度量技術(shù)、預(yù)警技術(shù)和可視化引擎等，使得歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)能夠得到正確的分析處理。

2.2? 平臺實(shí)現(xiàn)的技術(shù)支持

2.2.1? 數(shù)據(jù)采集技術(shù)

針對不同類型的數(shù)據(jù)信息，應(yīng)采取不同的數(shù)據(jù)采集方式。當(dāng)采集實(shí)時數(shù)據(jù)時，可以采取在線統(tǒng)計的方式，通過Storm技術(shù)來進(jìn)行采集;當(dāng)采集原始安全數(shù)據(jù)時，可以采取離線分析的方式，通過Hive技術(shù)進(jìn)行采集。而Flume技術(shù)可以將在線統(tǒng)計、離線分析方法結(jié)合起來，實(shí)現(xiàn)數(shù)據(jù)采集的系統(tǒng)化、規(guī)范化。Flume技術(shù)主要是由采集、存儲等模塊組成，工作效率和質(zhì)量比較高，從而能為網(wǎng)絡(luò)安全平臺提供技術(shù)支持，如圖2所示。

2.2.2? 數(shù)據(jù)存儲技術(shù)

當(dāng)數(shù)據(jù)采集完成后，其需要存儲于HDFS系統(tǒng)中，該系統(tǒng)具有大容量和高吞吐量數(shù)據(jù)訪問的特點(diǎn)，它的數(shù)據(jù)節(jié)點(diǎn)用來存儲文件，存儲單位一般為64MB。數(shù)據(jù)文件越小，節(jié)點(diǎn)的數(shù)據(jù)記錄塊位置越多，從而對系統(tǒng)的運(yùn)行產(chǎn)生不利的影響，所以本系統(tǒng)的存儲單位為64MB。HBase作為運(yùn)行于HDFS上的分布式非結(jié)構(gòu)化數(shù)據(jù)庫，主要采取的是列式存儲的方式，將處理后的數(shù)據(jù)結(jié)果或者報告成果存儲于該數(shù)據(jù)庫中，就能夠保證其安全性，有利于網(wǎng)絡(luò)安全分析工作的正常進(jìn)行。

2.2.3? 數(shù)據(jù)分析技術(shù)

本平臺的數(shù)據(jù)分析工作主要是依靠MapReduce技術(shù)來支持，該技術(shù)能夠?qū)?shù)據(jù)進(jìn)行分類、計算，從而完成數(shù)據(jù)的分析和處理工作，并整合數(shù)據(jù)信息，使其能夠?yàn)榫W(wǎng)絡(luò)安全分析工作提供依據(jù)。平臺也可以采用CPE技術(shù)來進(jìn)行事件流分析，通過聚合、關(guān)聯(lián)等環(huán)節(jié)，將簡單事件加工為高級事件，從而能夠在大量信息中挖掘出有用的信息，以推進(jìn)網(wǎng)絡(luò)安全平臺的正常運(yùn)行。

2.3? 實(shí)施安全分析

2.3.1? DDoS攻擊路徑準(zhǔn)實(shí)時監(jiān)測

DDoS攻擊路徑準(zhǔn)實(shí)時監(jiān)測過程一般分為四個步驟：首先，新建一個隊(duì)列A，隊(duì)列中各節(jié)點(diǎn)為空，同時也創(chuàng)建一個空的攻擊路徑鏈表B;其次，圍繞攻擊點(diǎn)展開有針對性的分析，提取攻擊源的相關(guān)位置信息，以此來進(jìn)行查詢，以獲取準(zhǔn)確的攻擊信息;再次，根據(jù)所獲取的攻擊信息進(jìn)行安全處理、分析;最后，以攻擊對象路由器C為起點(diǎn)開展訪問工作，每個節(jié)點(diǎn)訪問完成后要對該節(jié)點(diǎn)進(jìn)行拓展，將與其相連的節(jié)點(diǎn)都一一訪問到，從而完成對所有節(jié)點(diǎn)的訪問和分析。

2.3.2? 主機(jī)入侵檢測

主機(jī)入侵的檢測流程一般為：首先深入挖掘DDoS攻擊歷史數(shù)據(jù)，識別攻擊源的相關(guān)位置信息，同時將其列入疑似被入侵主機(jī)名單中。然后從已有的日志數(shù)據(jù)庫中查詢相關(guān)的被入侵主機(jī)的信息，將查詢到的結(jié)果與惡意URL庫進(jìn)行比對，若信息庫中沒有可比對信息，則將該主機(jī)認(rèn)為是新的攻擊源。

3? 結(jié)? 論

綜上所述，大數(shù)據(jù)技術(shù)具有高效、精準(zhǔn)、低成本的網(wǎng)絡(luò)安全分析能力，能夠滿足大容量數(shù)據(jù)的處理和存儲需求，并為網(wǎng)絡(luò)安全分析工作提供科學(xué)、準(zhǔn)確、全面的數(shù)據(jù)資料，從而使得網(wǎng)絡(luò)安全分析工作更快更好地進(jìn)行下去。目前，網(wǎng)絡(luò)安全分析工作如何更加有效、更加成熟地應(yīng)用大數(shù)據(jù)技術(shù)成為國家和社會關(guān)注的熱點(diǎn)。大數(shù)據(jù)技術(shù)主要應(yīng)用于網(wǎng)絡(luò)安全中的數(shù)據(jù)查詢、存儲、分析、處理等工作中，它能夠有效地提升數(shù)據(jù)處理的準(zhǔn)確性，并保證這些工作的高效進(jìn)行。并且為了使數(shù)據(jù)傳輸、存儲工作能夠安全進(jìn)行下去，還應(yīng)該將大數(shù)據(jù)技術(shù)作為基礎(chǔ)，構(gòu)建完善的網(wǎng)絡(luò)安全平臺，利用平臺的綜合分析和關(guān)聯(lián)分析能力來有效監(jiān)測攻擊情況，以保證數(shù)據(jù)信息傳輸工作的順利進(jìn)行。

參考文獻(xiàn)：

[1] 張萌.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用 [J].電子技術(shù)與軟件工程，2019（14）：201-202.

[2] 潘巍.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)研究 [J].黑龍江科學(xué)，2018，9（24）：92-93.

[3] 唐四化.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用與實(shí)踐 [J].電腦知識與技術(shù)，2018，14（26）：20-21+25.

[4] 林幼文.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（2）：71+78.

[5] 佟瑤.試論網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（12）：74+87.

作者簡介：鄭玉娟（1979-），女，漢族，山東德州人，副教授，碩士，研究方向：網(wǎng)絡(luò)技術(shù)。