網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用

文/張萌

互聯(lián)網(wǎng)高速發(fā)展的今天，各行各業(yè)發(fā)展變化較大，面臨新的機(jī)遇和挑戰(zhàn)，在應(yīng)用現(xiàn)代化的網(wǎng)絡(luò)數(shù)據(jù)技術(shù)中出現(xiàn)一定技術(shù)問題。在網(wǎng)絡(luò)安全上，保障信息安全是重中之重，政府高度重視網(wǎng)絡(luò)數(shù)據(jù)安群問題，將網(wǎng)絡(luò)信息安全列為國家戰(zhàn)略，在數(shù)據(jù)安全分析技術(shù)背景下，注重對大數(shù)據(jù)技術(shù)的合理應(yīng)用。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用意義

在信息化時代，互聯(lián)網(wǎng)技術(shù)的創(chuàng)新發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)的大幅度增加，越來越多人傾向于西選擇互聯(lián)網(wǎng)，互聯(lián)網(wǎng)的性能也越來越高，服務(wù)于大中眾，網(wǎng)絡(luò)安全分析的工作難度也逐漸加大，主要體現(xiàn)在以下幾個方面：

（1）網(wǎng)絡(luò)數(shù)據(jù)搜索數(shù)量增加信息的傳播速度越來越快，加大了工作的難度，為了更加高效的處理數(shù)據(jù)信息，工作人員必須提高數(shù)據(jù)的采集與處理速度。

（2）網(wǎng)絡(luò)分析處理的數(shù)據(jù)數(shù)量、種類越來越多，工作性質(zhì)相對于之前也較為復(fù)雜，需用從多個維度進(jìn)行處理。在科技發(fā)展的今天，復(fù)雜的信息處理，降低成本支出，提高經(jīng)濟(jì)效益，這些問題都是需要得到解決的。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的作用

網(wǎng)絡(luò)環(huán)境是復(fù)雜的，網(wǎng)絡(luò)是現(xiàn)代化技術(shù)發(fā)展的必然趨勢，在數(shù)據(jù)信息越來越多的背景下，TB級別的信息已經(jīng)無法滿足時代發(fā)展需求，信息向PB級別不斷演進(jìn)，數(shù)據(jù)分析越來越頻繁、廣泛。此外，網(wǎng)絡(luò)硬件設(shè)備不斷完善更新，數(shù)據(jù)處理速度和效率逐漸提高，對數(shù)據(jù)安全提出新的要求，需及時檢測系統(tǒng)中存在的安全隱患，合理應(yīng)對安全隱患及網(wǎng)絡(luò)攻擊。此外，網(wǎng)絡(luò) 攻擊方式五花八門，目的性和潛伏性更強(qiáng)，對網(wǎng)絡(luò)威脅大，需采用大數(shù)據(jù)技術(shù)，高效處理網(wǎng)絡(luò)信息，以模型提煉檢測方式，完成技術(shù)整合，實現(xiàn)網(wǎng)絡(luò)安全升級。

傳統(tǒng)技術(shù)中，主要以數(shù)據(jù)庫保障數(shù)據(jù)安全，具有一定功能性水平，但是收儲存成本影響，信息丟失現(xiàn)象常有發(fā)生，且歷史信息儲存并不準(zhǔn)確。此外，在此技術(shù)影響下，大量數(shù)據(jù)無法及時處理，時效性較差。

以此，需加強(qiáng)對大數(shù)據(jù)技術(shù)的開發(fā)，技術(shù)針對數(shù)據(jù)處理量、處理速率、類型、領(lǐng)域方面出發(fā)，發(fā)揮大數(shù)據(jù)技術(shù)明顯優(yōu)勢，適應(yīng)網(wǎng)絡(luò)化數(shù)據(jù)技術(shù)持續(xù)發(fā)展需求，在原信息處理分析的基礎(chǔ)上，確保對信息多維度、高精度的處理。

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用是必然的，大數(shù)據(jù)技術(shù)的突出優(yōu)勢是可以依據(jù)采集到的海量數(shù)據(jù)，通過云計算，依托互聯(lián)網(wǎng)，獲取準(zhǔn)確信息，大數(shù)據(jù)技術(shù)的應(yīng)用，使網(wǎng)絡(luò)安全分析也獲得了較為直接、豐富的資料。相對于傳統(tǒng)的互聯(lián)網(wǎng)模式，大數(shù)據(jù)技術(shù)擁有超高的分析效率和超廣的服務(wù)范圍，大數(shù)據(jù)技術(shù)的應(yīng)用，利用云計算技術(shù)快速分析完數(shù)據(jù)，在網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用也是優(yōu)勢所在。另一方面，大數(shù)據(jù)的數(shù)據(jù)來源是整個網(wǎng)絡(luò)，依據(jù)互聯(lián)網(wǎng)這個龐大的平臺，達(dá)成資源共享，這也使大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中在更廣的范圍內(nèi)有效的應(yīng)用。

3 以大數(shù)據(jù)為支持的網(wǎng)絡(luò)安全分析平臺建設(shè)分析

3.1 數(shù)據(jù)平臺框架確立

需在網(wǎng)絡(luò)安全分析平臺發(fā)揮大數(shù)據(jù)技術(shù)優(yōu)勢，明確整體技術(shù)落實結(jié)構(gòu)框架，設(shè)計中，建立系統(tǒng)化信息平臺，包含數(shù)據(jù)采集、儲存、分析、呈現(xiàn)等多個模塊，在使用中發(fā)揮大數(shù)據(jù)技術(shù)功能性優(yōu)勢，為網(wǎng)絡(luò)安全分析提供海量信息支持，提供精準(zhǔn)的服務(wù)內(nèi)容，發(fā)揮自身功能價值。

（1）信息儲存，數(shù)據(jù)信息存儲在網(wǎng)絡(luò)安全中的重要組成部分，在引入大數(shù)據(jù)技術(shù)的時候，依據(jù)實際情況選擇儲存方式，提升信息的儲存和搜索查詢速度。比如，在儲存歷史流量時，工作人員通過利用大數(shù)據(jù)技術(shù)，較快的搜索數(shù)據(jù)信息，相對與傳統(tǒng)的網(wǎng)絡(luò)技術(shù)非常高效。

（2）數(shù)據(jù)采集中，主要從流量數(shù)據(jù)、事件內(nèi)容、用戶信息等方面找到多種渠道，采用多元異構(gòu)技術(shù)模型，建立分布式采集關(guān)系，對不同流量信息及用戶行為科學(xué)管理，以實現(xiàn)多角度數(shù)據(jù)采集。

（3）數(shù)據(jù)儲存上，云計算技術(shù)解決了現(xiàn)代實際情況中的信息猛增，同步更新數(shù)據(jù)，平臺交互使用。結(jié)構(gòu)設(shè)計上考慮對文件分別管理，整合不同技術(shù)，對信息落實長效管理機(jī)制，保障數(shù)據(jù)信息長久儲存、統(tǒng)一管理。以多層運(yùn)算技術(shù)支持，提高后期歷史信息的檢索速度和數(shù)據(jù)的完整顯示，發(fā)揮數(shù)據(jù)信息更大的功能價值。

（4）數(shù)據(jù)挖掘和分析方面，可引入CEP引擎，結(jié)合MapReduce、Storm流計算框架，將不同數(shù)據(jù)信息關(guān)聯(lián)起來，站在系統(tǒng)性的角度分析，針對信息特征提取相關(guān)聯(lián)信息，追根溯源，根據(jù)檢索系統(tǒng)關(guān)鍵詞顯示大量的有關(guān)內(nèi)容。

3.2 平臺核心技術(shù)

3.2.1 數(shù)據(jù)采集

以大數(shù)據(jù)技術(shù)支持，將其分為在線統(tǒng)計、離線分析。技術(shù)上，在線統(tǒng)計以Storm支持，通過Hive開展離線分析。此外，為確保實現(xiàn)在線和離線的一體管理，也可以Flume技術(shù)支持，整合技術(shù)，實現(xiàn)數(shù)據(jù)系統(tǒng)化收集。

實際應(yīng)用中，F(xiàn)lume技術(shù)效率高、處理量大，可實現(xiàn)多分布信息整合傳輸，在邏輯結(jié)構(gòu)角度分析，F(xiàn)lume技術(shù)為由采集、儲存和總結(jié)三個板塊組成，在不同模塊影響下，形成通用文件，便于網(wǎng)絡(luò)分析。此外，為確保在線和離線數(shù)據(jù)科學(xué)利用，可以將Kafka設(shè)計為數(shù)據(jù)緩存手段，群眾通過消費(fèi)、生產(chǎn)等，以主題發(fā)布、訂閱接受方式，傳遞信息，保證系統(tǒng)負(fù)載均勻。

3.2.2 數(shù)據(jù)儲存

數(shù)據(jù)儲存方面，由HDFS支持，在該系統(tǒng)中，信息容錯率較高，且吞吐量較大，可通過數(shù)據(jù)管理文件功能，將各種數(shù)據(jù)節(jié)點(diǎn)儲存到數(shù)據(jù)空間源中，確保數(shù)據(jù)模塊準(zhǔn)確。數(shù)據(jù)儲存中，文件總量和占用位置快多少呈反比關(guān)系，各節(jié)點(diǎn)存在活躍跳動規(guī)律，影響儲存有效性。為確保數(shù)據(jù)信息價值穩(wěn)定，需在系統(tǒng)中合并小文件，達(dá)到64MB模塊，確保系統(tǒng)整體穩(wěn)定。

3.2.3 數(shù)據(jù)分析

數(shù)據(jù)分析以MapReduce技術(shù)支持，將數(shù)據(jù)分類、計算、使用融為一體，完成數(shù)據(jù)整合管理。此外，在完善功能性建設(shè)的同時，需以HBase功能實現(xiàn) 數(shù)據(jù)并行處理，將HDFS中結(jié)構(gòu)化信息查詢分裂，以系統(tǒng)插件功能，實現(xiàn)大數(shù)據(jù)的網(wǎng)絡(luò)安全分析。

為滿足事件流分析，可采用CPE技術(shù)，找到系統(tǒng)數(shù)據(jù)的差異，通過過濾、聚合、關(guān)聯(lián)等，將簡單事件加工為高級事件，在海量信息中挖掘安全信息以供使用。

3.3 網(wǎng)絡(luò)安全分析的實際應(yīng)用分析

在主機(jī)檢測上，需對網(wǎng)絡(luò)安全分析，重視數(shù)據(jù)科學(xué)管理。在DNS記錄、IP地質(zhì)信息資料上，找到數(shù)據(jù)關(guān)聯(lián)性，定期維護(hù)，找到病毒容易出現(xiàn)的主機(jī)位置，系統(tǒng)化分析，確保落實大數(shù)據(jù)下的網(wǎng)絡(luò)安全分析，完善系統(tǒng)安全檢測。

實際應(yīng)用中，在DDoS供給歷史中，整理IP，了解受威脅的主機(jī)系統(tǒng)；再者，以被威脅主機(jī)為基礎(chǔ)，對DNS訪問查詢這個，聯(lián)系數(shù)據(jù)資料的URL信息，比對后明確哪些主機(jī)設(shè)備存在安全問題；然后，在DPI數(shù)據(jù)中分析受威脅主機(jī)訪問次數(shù)，調(diào)查URL記錄，若和檢測中病毒一致，則完成控制主機(jī)檢測；最后，明確受威脅主機(jī)后，以系統(tǒng)關(guān)聯(lián)性查詢，檢測單次供給細(xì)節(jié)，查詢IP地址，定位和網(wǎng)絡(luò)攻擊對應(yīng)的主機(jī)IP，確認(rèn)惡意攻擊記錄。

通過杉樹系統(tǒng)化大數(shù)據(jù)安全檢測分析，實現(xiàn)對系統(tǒng)安全的分析，以大數(shù)據(jù)技術(shù)為支持，對資料數(shù)據(jù)高效管理，提高檢測完整性，確保檢測自身精確性，完善檢測主機(jī)系統(tǒng)安全性管理。

4 結(jié)束語

綜上所述，數(shù)據(jù)信息化不斷發(fā)展背景下，網(wǎng)絡(luò)應(yīng)用數(shù)據(jù)越來越多，在先進(jìn)科技支持下，短時間爆發(fā)式發(fā)展。應(yīng)在確保網(wǎng)絡(luò)環(huán)境安全基礎(chǔ)上，重視網(wǎng)絡(luò)安全分析技術(shù)的合理應(yīng)用，利用大數(shù)據(jù)技術(shù)，發(fā)揮大數(shù)據(jù)實際價值，擴(kuò)大應(yīng)用范圍，把大數(shù)據(jù)技術(shù)應(yīng)用在網(wǎng)絡(luò)安全中，確保網(wǎng)絡(luò)系統(tǒng)的安全，進(jìn)一步給革新信息技術(shù)的發(fā)展，保障網(wǎng)絡(luò)的安全、高效。