大數(shù)據(jù)環(huán)境下的網絡流量異常檢測研究

農婷

摘 要：檢測異常網絡流量對于維護網絡安全來說是一個很重要的領域，網絡流量異常檢測的目的是實時無誤的檢測在網絡使用過程中發(fā)生的突發(fā)攻擊事件。由于網絡流量較難測量，以及網絡環(huán)境較為復雜，網絡流量的測量具有很多不確定性，這使得網絡流量的異常檢測成為維護網絡安全研究的難點問題。而現(xiàn)有的檢測方法包括數(shù)據(jù)挖掘、小波分析等，以上方法在應用過程中存在弊端，或存在算法過于困難，或者是對于網絡流量異常具有滯后性，因此現(xiàn)有的方法對無法滿足我們的實際需求。在大數(shù)據(jù)的環(huán)境下，數(shù)據(jù)量更加龐大，研究者應開發(fā)設計新的檢測方法，適應時代發(fā)展，優(yōu)化用戶體驗，提升網絡使用效率，減少因網絡擁擠產生的網絡問題。

關鍵詞：網絡安全;流量異常檢測;大數(shù)據(jù)環(huán)境

21世紀以來，網絡的發(fā)展是迅速且多元化的，網絡的應用深入到千家萬戶，隨著網絡應用范圍的不斷擴大，網絡上傳輸?shù)臄?shù)據(jù)也逐漸增多，用戶在使用過程中有時會出現(xiàn)卡頓的現(xiàn)象，不僅如此，用戶數(shù)量的增加使得網絡犯罪的幾率也在逐漸增大，面對現(xiàn)狀，如何保證網絡的安全性及網絡的正常運行是我們亟需考慮及解決的問題。網絡流量作為評價網絡運行情況的重要指標，對其進行檢測有利于我們對網絡情況進行實時檢測，因此，設計高效的網絡流量異常檢測方法是解決網絡運行情況不良的解決方法。

一、網絡異常流量分類

對于網絡流量的異常檢測其實是將網絡流量進行分類，一種是處于正常狀態(tài)下的網絡流量狀態(tài)，另一種則是處于異常狀態(tài)下，我們所設計的方法就是要及時的檢測出處于異常情況下的網絡流量，以及在日常維護過程中提前做出有效的相關防范措施。網絡流量異常實際上是一種網絡流量模式，這種模式會對日常的網絡使用產生不良影響，產生網絡異常的原因包括：無可使用的網絡存儲以及網絡配置錯誤等;網絡的不良使用，如大量頻發(fā)的P2P應用模式對網絡流量所造成的影響。

網絡異常流量大致分為以下幾種類型：Alpha Anomaly、D Dos、Port Scan、Network Scan、Worms 和 Flash Crowd。[1]

二、網絡流量的測量方法

對于網絡流量的檢測其實是為了規(guī)范網絡環(huán)境，優(yōu)化網絡配置，提高用戶的使用效率，目前對于網絡流量的測量方法主要分為兩類，一種為主動測量方式，另外一種則為被動測量方式，二者的區(qū)別在于，主動測量方式會額外增加網絡流量負擔，產生不要的網絡擁堵：

（一）主動測量技術

主動測量實際上是在兩個制定端點之間加入網絡流量從而測試兩端點的性能，因此在測量過程中，兩端點之間會產生新的流量。主動測量的方法存在弊端，因為，增加兩端點之間的流量本身會加重網絡負載，額外的網絡流量可能會產生網絡擁堵，產生額外的問題，對用戶的使用可能會帶來不便。

（二）被動測量技術

被動測量的方法不是向兩個指定端點之間加入流量，而是在一特殊位點來檢測流量，如使用路由器或交換機收集數(shù)據(jù)。[2]被動測量的優(yōu)點在于不會產生附加流量，不會增重網絡負擔，因此，被動測量的技術的開發(fā)也在不斷增加，越來越廣泛的應用到實際生活中。被動測量獲得的數(shù)據(jù)是一些大小不一的分組信息，可以用來進行各種流量分析，被動測量技術的發(fā)展有利于互聯(lián)網的發(fā)展。

三、大數(shù)據(jù)環(huán)境下的網絡流量異常檢測

由于網絡應用的逐漸延申，產生巨大的網絡數(shù)據(jù)，對于海量的數(shù)據(jù)處理，傳統(tǒng)計算平臺已經無法滿足，因此，人們開發(fā)了云計算平臺，云計算平臺整合全網絡全部可利用數(shù)據(jù)，將大問題分解為很多小問題，最后更好的解決問題。Hadoop 是 Apacher 基金會研制的分布式的開源系統(tǒng)，[3]用戶可以根據(jù)需要搭建自己的云平臺，它由 HDFS和 Map Reduce 并行編程模型作為核心，提供了一個用戶不需要了解底層的具體實現(xiàn)，就能使用的分布式平臺。

HDFS 作為 Hadoop 系統(tǒng)的主要核心之一，對數(shù)據(jù)進行分布儲存，且即使是配置相對較低的機器也可以具備強大的存儲能力，在擴展能力和容錯能力方面也具備良好的性能，在計算機復雜的環(huán)境中，局部出現(xiàn)失誤也不會影響整體的性能。HDFS的特點就在于對于復雜且龐大的數(shù)據(jù)，具有超高的存儲能力，HDFS的數(shù)據(jù)處理信息通常為數(shù)百MB、甚至數(shù)百TB。但對于稍小數(shù)據(jù)量的信息，它的處理能力就稍顯薄弱。在數(shù)據(jù)訪問方面，能夠實現(xiàn)頻繁的對一次寫入多次讀寫的任務進行處理，數(shù)據(jù)越大讀取效率越高。

Map Reduce 是在大規(guī)模集群上處理海量數(shù)據(jù)的并行計算模型，Map Reduce具備簡單易擴展的特點，因此，Map Reduce在日志分析、海量數(shù)據(jù)查找排序等領域使用較廣。Map Reduce 基本思想是借助映射（map）和規(guī)約（Reduce），將處理過程分為 Map和 Reduce操作，每個階段的輸入和輸出都以鍵值對的形式表示。

HDOOP平臺的工作原理實際上是將大型網絡流量異常檢測任務分為規(guī)模較小的任務，每一個小任務由不同的處理點完成，最后匯總到總的管理點，統(tǒng)一分析處理，得到最終的檢測結果。大數(shù)據(jù)環(huán)境下的網絡流量異常檢測模型的工作步驟為：

（1）首先采集網絡流量數(shù)據(jù)，通常將處于網絡入侵的時的數(shù)據(jù)作為網絡流量異常測試。

（2）對最初的網絡流量數(shù)據(jù)進行第一步優(yōu)化處理，減少數(shù)據(jù)樣本的量。

（3）由Map Reduce將上步所或許的網絡數(shù)據(jù)信息劃分為規(guī)模較小的樣本，然后由各個處理點進行處理。

（4）異常檢測結果反饋給管理點，得到訓練樣本異常檢測的最終結果。

四、結語

網絡環(huán)境的復雜性給網絡流量的測量帶來困難，但對于網絡流量的測量是有利于網絡環(huán)境的發(fā)展的，在大數(shù)據(jù)環(huán)境下，傳統(tǒng)的網絡流量異常檢測方法已經不適用，順應而生的就是利用云計算技術對大數(shù)據(jù)環(huán)境下的網絡異常流量檢測，本文對云計算平臺進行分析，介紹了云計算平臺的運行原理，提出新的檢測方法。

參考文獻：

[1]楊青.基于大數(shù)據(jù)分析的網絡異常流量檢測[J].機械設計與制造工程，2018，47（11）：79-82.

[2]張震，汪斌強，朱珂.流量測量的關鍵技術分析與研究[J].計算機應用研究，2009，26（9）：3442-3447.

[3]李進文.基于云計算的網絡異常檢測算法研究[D].河南：鄭州大學，2015.

[4]華南理工大學.一種基于大數(shù)據(jù)的實時網絡異常行為檢測系統(tǒng)及方法：中國，CN201810079555.8[P].2018-05-15.