基于動態(tài)閾值的網(wǎng)絡(luò)異常檢測

馮興杰，焦文歡

（中國民航大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，天津300300）

0 引 言

基于網(wǎng)絡(luò)流量的自相似性并根據(jù)Hurst（赫斯特）指數(shù)來檢測異常的方法已經(jīng)被廣泛應(yīng)用于異常檢測模型中［1］，文獻(xiàn) ［2］根據(jù)網(wǎng)絡(luò)流量的自相似性，采用小波分析法求取自相似Hurst指數(shù)并根據(jù)Hurst指數(shù)值的變化情況來檢測異常。然而，由于在進(jìn)行檢測時采用了固定閾值的方法，該模型未考慮網(wǎng)絡(luò)流量自相似的統(tǒng)計特性隨網(wǎng)絡(luò)環(huán)境的變化情況，因而不能有效的適應(yīng)動態(tài)變化的網(wǎng)絡(luò)環(huán)境；文獻(xiàn)［3］設(shè)計了一種異常流量動態(tài)自適應(yīng)檢測方法，其通過設(shè)置動態(tài)置信區(qū)間來判斷閾值變化，改善了固定閾值法適應(yīng)能力差的問題。但是，該方法需要存儲和計算大量的歷史流量數(shù)據(jù)，增加了系統(tǒng)開銷，降低了模型的檢測效率。

針對以上提出的異常檢測方法中存在的不足，本文設(shè)計了一種基于動態(tài)閾值的檢測模型，該模型在采用Hurst指數(shù)分析的基礎(chǔ)上，根據(jù)EWMA和滑動窗口模型計算并動態(tài)調(diào)整自適應(yīng)檢測閾值，最后通過判斷Hurst指數(shù)值的變化是否超過動態(tài)閾值來進(jìn)行異常檢測。實驗驗證了該方法能夠適應(yīng)動態(tài)變化的網(wǎng)絡(luò)環(huán)境，且具有較高的檢測率和較好的運算效率。

1 相關(guān)研究

1.1 自相似指數(shù)Hurst

自相似性是復(fù)雜系統(tǒng)中常見的一種性質(zhì)，具有自相似性的系統(tǒng)在某種測度的不同尺度上表現(xiàn)出相似的性質(zhì)。在網(wǎng)絡(luò)流量異常檢測過程中，研究對象是在時間尺度上表現(xiàn)出自相似性的網(wǎng)絡(luò)流量時間序列，即該時間序列無論在哪個分辨率上都表現(xiàn)出相同的模式，在不同的時間尺度上不規(guī)則的程度保持恒定［4］。

定義1假設(shè)x＝｛xj，j＝1，2，…｝為一協(xié)方差平穩(wěn)隨機序列，即x具有恒定均值μ＝E ［xj］和有限方差σ2＝E ［（xj－μ）2］，其自相關(guān)函數(shù)

僅與k有關(guān)，即r（k）～k－βL1（k），k→∞，其中0＜β＜1；對于（x＞0，L1滿足

H被稱為Hurst指數(shù)，它是描述自相似度的唯一參數(shù)，H的大小是判斷系統(tǒng)是否具有自相似性以及衡量自相似度的重要指標(biāo)。自相似的網(wǎng)絡(luò)流具有長相關(guān)性，表現(xiàn)為長時間的記憶特性。大量研究表明，正常的網(wǎng)絡(luò)流具有較強的自相似性，而異常流量的出現(xiàn)會對網(wǎng)絡(luò)流的自相似性產(chǎn)生明顯的影響［6］。正常流量的 Hurst指數(shù)范圍為（0.5，1），其值越大，自相似特性越強。現(xiàn)有文獻(xiàn)根據(jù)自相似指數(shù)的變化對DDOS攻擊進(jìn)行了檢測，并且取得了一定的效果［7－8］。

常用的Hurst指數(shù)求解方法有：小波分析法、R/S分析法、Variance－time法、殘差方差法等［9］。在小波分析法中，主要有3種利用小波分析求解Hurst指數(shù)值的方法：能量法、譜估計法和小波系數(shù)方差法，它們都是基于能量的方法來分析自相似信號。本文將使用小波系數(shù)方差法求解Hurst指數(shù)，其基本思想是對自相似信號進(jìn)行離散小波變換后的小波系數(shù)求方差，然后根據(jù)該方差與小波分解尺度的關(guān)系求出Hurst指數(shù)值。小波系數(shù)方差法的算法實現(xiàn)過程可參看文獻(xiàn) ［10－12］。

1.2 EWMA模型

指數(shù)權(quán)重移動平均（exponentially weighted moving average）又稱為指數(shù)平滑模型，它是一種由前一時刻的觀測值和前一時刻的預(yù)測值來獲取當(dāng)前預(yù)測值的算法［13］，具有適應(yīng)性較強、樣本需求量少、結(jié)果較穩(wěn)定等特點。假設(shè)ht表示當(dāng)前時刻t的觀測值，表示當(dāng)前時刻t的預(yù)測值，那么t＋1時刻的預(yù)測值的計算公式為

式中：β（0＜β＜1）——平滑系數(shù)，它確定了在預(yù)測過程中歷史數(shù)據(jù)權(quán)重的衰減程度（1－β）。這種預(yù)測方法假設(shè)下一時刻的預(yù)測值與距離它最近的觀測值關(guān)系最大，平滑系數(shù)β調(diào)節(jié)上一時刻的觀測值和預(yù)測值對當(dāng)前時刻預(yù)測值的影響程度，表明當(dāng)前預(yù)測值的大小是上一時刻的觀測值和預(yù)測值共同作用的結(jié)果，這樣可以在一定程度上減小個別異常觀測值引起的偏差。

由于EWMA受序列隨機波動的影響較大，因此模型的合理性在很大程度上依賴于它在建模過程中是否能夠盡可能多的減少隨機波動的影響。為此我們在上一個步驟中通過小波變換來消除隨機波動。小波變換對頻率的自適應(yīng)特性，使其能夠?qū)Σ煌念l率成分采用合適的采樣步長，可以對指定頻域和時段內(nèi)的信號成分進(jìn)行多層次分析，在時頻兩域都能很好的表征信號的局部特征，特別能夠?qū)哂兴矔r性的暫態(tài)信號進(jìn)行準(zhǔn)確的檢測，這也是在求Hurst指數(shù)值時采用小波系數(shù)方差法來提高模型檢測率的原因。

2 基于動態(tài)閾值的異常檢測方法

2.1 檢測原理

由于傳統(tǒng)Hurst指數(shù)模型采用了固定閾值的方法，不能根據(jù)網(wǎng)絡(luò)流量的變化有效的調(diào)整閾值范圍，同時，對大量歷史數(shù)據(jù)的重復(fù)統(tǒng)計計算不僅會降低模型的執(zhí)行效率而且是不必要的。為此，本文設(shè)計了一種基于動態(tài)閾值的異常檢測方法。為了降低序列隨機波動產(chǎn)生的影響，模型采用小波系數(shù)方差法對原始隨機序列進(jìn)行處理，并求出網(wǎng)絡(luò)流量Hurst指數(shù)值；通過滑動窗口模型控制有效Hurst值的個數(shù)，以最小的計算代價掌握最新網(wǎng)絡(luò)流量的波動情況，在最小系統(tǒng)開銷的基礎(chǔ)上準(zhǔn)確的調(diào)整動態(tài)閾值范圍；根據(jù)EWMA模型對經(jīng)過小波處理的Hurst指數(shù)序列進(jìn)行分析，判斷下一時刻的Hurst預(yù)測值和觀測值的差值是否超過閾值，如果超出閾值，則認(rèn)為發(fā)生異常；否則，網(wǎng)絡(luò)流量正常。

通過滑動窗口內(nèi)有效數(shù)據(jù)的變化情況可以準(zhǔn)確掌握當(dāng)前數(shù)據(jù)流的狀態(tài)，這為設(shè)定動態(tài)閾值提供了可靠的依據(jù)，在保證準(zhǔn)確率的同時，改善了以往檢測方法中對所有歷史數(shù)據(jù)都進(jìn)行計算而導(dǎo)致檢測方法效率低的問題。另外，由于異常流量的發(fā)生可能會持續(xù)較長時間，這將產(chǎn)生一個連續(xù)異常的Hurst指數(shù)序列，仍然采用相鄰Hurst值作差值的方法可能會檢測不到異常，而引入EWMA模型做預(yù)測后，可以通過正常歷史流量的Hurst值和當(dāng)前時刻的預(yù)測值準(zhǔn)確把握下一時刻流量的變化趨勢，從而降低誤檢率。

2.2 具體檢測步驟

一般情況下，網(wǎng)絡(luò)流處于穩(wěn)定狀態(tài)中，然而在較長的時間段內(nèi)，網(wǎng)絡(luò)流量是不平穩(wěn)的，這將引起Hurst指數(shù)也發(fā)生較大的波動。因此，有必要對閾值范圍進(jìn)行動態(tài)設(shè)定。本文方法的檢測過程如圖1所示。

具體的檢測步驟如下：

（1）對單位時間內(nèi)的網(wǎng)絡(luò)流量進(jìn)行統(tǒng)計分析，求出數(shù)據(jù)集的原始流量序列；采用小波方差法求取每一個時間窗內(nèi)網(wǎng)絡(luò)流量的Hurst指數(shù)值Ht，為下一步的檢測分析提供數(shù)據(jù)準(zhǔn)備。

（2）預(yù)設(shè)滑動窗口的大小為w，求出動態(tài)滑動窗口內(nèi)有效觀測值的均值avg和均方差Vt。其中

圖1 基于動態(tài)閾值異常檢測模型的檢測過程

（3）通過EWMA模型的計算公式對下一時刻的Hurst指數(shù)值Ht＋1進(jìn)行預(yù)測。為了得到一個較好的預(yù)測初始值，實驗在開始時采用滑動窗口內(nèi)數(shù)據(jù)的均值作為初始時刻Hurst的預(yù)測值H0。

（4）計算下一時刻的觀測值Ht＋1和EWMA模型預(yù)測值的差值（H，并判斷該差值是否大于動態(tài)均方差δVt（δ為均方差系數(shù)）。如果（H 在均方差范圍之內(nèi)，則網(wǎng)絡(luò)正常；否則，可以判斷網(wǎng)絡(luò)出現(xiàn)異常，應(yīng)當(dāng)采取有效措施阻止異常的繼續(xù)發(fā)生。

（5）將滑動窗口前移，跳轉(zhuǎn)到步驟（2），進(jìn)行下一時刻的流量檢測。

3 實驗與分析

3.1 實驗過程

實驗采用MIT林肯實驗室提供的標(biāo)準(zhǔn)數(shù)據(jù)集DARPA 2000LL＿DDoS＿2.0.2，它記錄了2000年4月16日美國空軍基地大約1h45min的網(wǎng)絡(luò)流量數(shù)據(jù)。該實驗數(shù)據(jù)集反映了DDOS攻擊的4個階段：①查詢探測被控終端；②入侵被控終端；③通過FTP上傳攻擊腳本并控制更多攻擊源；④通過Telnet登錄、控制攻擊源并發(fā)動DDOS攻擊。數(shù)據(jù)集的具體介紹請參看文獻(xiàn) ［14］。

實驗平臺為主頻是2.3GHz、內(nèi)存為1G的Windows下的Visual Studio開發(fā)環(huán)境，編寫的檢測工具如圖2所示。

步驟1：為了實現(xiàn)較好的對比效果，實驗根據(jù)文獻(xiàn) ［3］的做法將整個數(shù)據(jù)集劃分成48個時間段，每個時長128s的時間段又被平均劃分為10個小的時間段。將10個統(tǒng)計流量值作為一個時間窗做小波系數(shù)方差分析，采用誤差較小的DB3小波［15］求出各個時間窗內(nèi)統(tǒng)計數(shù)據(jù)的Hurst指數(shù)值。另外，本實驗中，預(yù)設(shè)參數(shù)值如下：

（1）β＝0.6；

圖2 實驗檢測工具界面

（2）w＝5；

（3）δ＝1.6。

實驗數(shù)據(jù)集的原始網(wǎng)絡(luò)流量統(tǒng)計分布圖如圖3所示。

圖3 實驗數(shù)據(jù)集流量分布

從圖3的統(tǒng)計結(jié)果可以粗略的看出網(wǎng)絡(luò)流量的大致分布范圍。對數(shù)據(jù)集進(jìn)行小波分析，按照時間窗劃分?jǐn)?shù)據(jù)集后各個時間段的Ht指數(shù)值序列圖如圖4所示。

圖4 實驗數(shù)據(jù)集Hurst指數(shù)

步驟2：根據(jù)2.2節(jié)所述檢測步驟對實驗數(shù)據(jù)進(jìn)行異常檢測，檢測結(jié)果如圖5所示。

由圖5可以看出，閾值曲線根據(jù)Hurst差值的的變化動態(tài)的進(jìn)行了調(diào)整，符合網(wǎng)絡(luò)流量的變化趨勢。Hurst差值曲線取值越接近于0，表明網(wǎng)絡(luò)流量越趨于正常，而在時間段20、26－29、39－42附近，Hurst差值（H 超過了閾值范圍。通過進(jìn)一步分析發(fā)現(xiàn)，在這些時間段網(wǎng)絡(luò)均出現(xiàn)了異常流量，可以認(rèn)定網(wǎng)絡(luò)遭到了DDOS攻擊。對比文獻(xiàn)［3］中的實驗結(jié)果發(fā)現(xiàn)，本方法也能檢測出文獻(xiàn) ［3］中的異常時間段。

圖5 實驗檢測結(jié)果曲線

另外，實驗結(jié)果還發(fā)現(xiàn)，在時刻10和38兩處也出現(xiàn)了Hurst差值大于動態(tài)閾值的情況。經(jīng)分析，在時刻10處，網(wǎng)絡(luò)出現(xiàn)了大量的ACK報文，很可能是DDOS掃描攻擊時產(chǎn)生的；而在時刻38處，出現(xiàn)了指數(shù)級的標(biāo)記為RST的TCP報文，這些報文全部是由IP為131.84.1.31的攻擊源向其他主機發(fā)起的，可以肯定，它們都屬于異常流量。這也表明了采用本檢測模型可以檢測出較多的異常點，具有更好的檢測率。

我們對預(yù)設(shè)參數(shù)值的取值變化進(jìn)行了分析，進(jìn)一步調(diào)整實驗參數(shù)值進(jìn)行反復(fù)測試，結(jié)果如圖6所示。

圖6 參數(shù)取值變化曲線

測試發(fā)現(xiàn)，在圖6（a）中，當(dāng)w、δ一定時，隨著β的增大，模型的檢測率先增加后減小，誤報率先減小后增加，并同時在β＝0.6附近出現(xiàn)最優(yōu)值；在圖6（b）中，當(dāng)w、β一定時，隨著δ的增大，模型的檢測率先增加后減小，但始終在 ［0.6，0.8］之間徘徊，誤報率先減小后增加，最后穩(wěn)定在0.3，最優(yōu)值出現(xiàn)在δ＝1.5、1.6附近；在圖6（c）中，當(dāng)δ、β一定時，隨著w的增大，模型的檢測率先增加后減小，而誤報率呈起伏變化狀態(tài)，最優(yōu)值出現(xiàn)在w＝5、6附近?？梢钥闯?，在對實驗數(shù)據(jù)進(jìn)行DDOS攻擊檢測時，預(yù)設(shè)參數(shù)值的最優(yōu)值穩(wěn)定在有限的幾個數(shù)之間，由此可以得出實驗開始時預(yù)設(shè)參數(shù)的最優(yōu)值。

3.2 實驗分析

在本部分實驗中，通過反復(fù)測試確定了檢測DDOS攻擊時的預(yù)設(shè)參數(shù)值，且利用滑動窗口模型有效的掌握了各個時間段網(wǎng)絡(luò)流量的變化情況，因此能夠從EWMA預(yù)測值和實際觀測值的差值中有效的判斷出網(wǎng)絡(luò)異常情況。模型的檢測時間穩(wěn)定在 ［3.72s，3.78s］，執(zhí)行效率較好。本實驗檢測模型的執(zhí)行效率如圖7所示。

圖7 實驗?zāi)Ｐ偷臋z測時間

與文獻(xiàn) ［3］的實驗方法相比，本模型應(yīng)用滑動窗口模型，根據(jù)最近的自相似指數(shù)判斷網(wǎng)絡(luò)的波動狀態(tài)并準(zhǔn)確的進(jìn)行了預(yù)測，避免了對所有歷史觀測值都進(jìn)行分析而導(dǎo)致預(yù)測值偏差較大、檢測效率低的問題。另外，我們不是直接用實際的Hurst指數(shù)值來做閾值判斷，而是在EWMA模型的預(yù)測基礎(chǔ)上跟動態(tài)閾值進(jìn)行比較，因而可以在一定程度上降低由于異常觀測值造成的預(yù)測誤差?？梢钥闯?，實驗結(jié)果也進(jìn)一步說明了本方法在通過動態(tài)閾值進(jìn)行DDOS異常檢測時具有更高的準(zhǔn)確性。

4 結(jié)束語

本文提出了一種基于動態(tài)閾值的網(wǎng)絡(luò)異常檢測方法，該方法通過滑動窗口控制了有效Hurst指數(shù)值的個數(shù)，采用EWMA預(yù)測Hurst指數(shù)值并設(shè)定動態(tài)閾值范圍來檢測異常，改善了現(xiàn)有方法中由于設(shè)置固定閾值導(dǎo)致模型彈性較差，無法適應(yīng)動態(tài)網(wǎng)絡(luò)變化的情況。實驗結(jié)果驗證了該方法具有較高的檢測率，并且能夠檢測變化較大的網(wǎng)絡(luò)流量，從而為保證網(wǎng)絡(luò)安全和防止入侵提供了保障。下一步的研究工作將圍繞模型的檢測效率，從網(wǎng)絡(luò)上實時獲取報文并對網(wǎng)絡(luò)狀態(tài)進(jìn)行實時檢測展開。

［1］WANG Xin，F(xiàn)ANG Binxing.An exploratory development on the Hurst parameter variety of network traffic abnormity signal［J］.Journal of Harbin Institute of Technology，2005，37（8）：1046－1049（in Chinese）.［王欣，方濱興.Hurst參數(shù)變化在網(wǎng)絡(luò)流量異常檢測中的應(yīng)用 ［J］.哈爾濱工業(yè)大學(xué)學(xué)報，2005，37（8）：1046－1049.］

［2］REN Xunyi，WANG Ruchuan，WANG Haiyan，et al.Wavelet choice for detection of DDoS attack based on self－similar testing［J］.Journal of Nanjing University of Aeronautics ＆ Astronautics，2007，39（5）：588－592（in Chinese）.［任勛益，王汝傳，王海艷，等.基于自相似檢測DDOS攻擊的小波選擇 ［J］.南京航空航天大學(xué)學(xué)報，2007，39（5）：588－592.］

［3］XIA Zhengmin，LU Songnian，LI Jianhua.Self－adaptive detection method for abnormal traffic based on self－similarity ［J］.Computer Engineering，2010，36（5）：23－25（in Chinese）.［夏正敏，陸松年，李建華.基于自相似的異常流量自適應(yīng)檢測方法 ［J］.計算機工程，2010，36（5）：23－25.］

［4］XIAO Zhenghong，PAN Meisen，YIN Hao.Survey of research on anomaly detection of wavelet analysis based on network traffic ［J］.Application Research of Computers，2007，24（2）：299－301（in Chinese）.［肖政宏，潘梅森，尹浩.基于網(wǎng)絡(luò)流量小波分析的異常檢測研究 ［J］.計算機應(yīng)用研究，2007，24（2）：299－301.］

［5］ZHANG Xiaoming，XU Xiaodong，ZHU Shirui.Detecting method for DDoS attack based on variance analysis of hurst exponent［J］.Computer Engineering，2008，34（14）：149－151（in Chinese）.［張小明，許曉東，朱士瑞.基于 Hurst指數(shù)方差分析的DDOS攻擊檢測方法 ［J］.計算機工程，2008，34（14）：149－151.］

［6］LV Liangfu，ZHANG Jiawan，ZHANG Dan.DDoS attack detection method based on improved wavelet analysis ［J］.Computer Engineering，2010，36（6）：29－31（in Chinese）.［呂良福，張加萬，張丹.基于改進(jìn)小波分析的DDOS攻擊檢測方法［J］.計算機工程，2010，36（6）：29－31.］

［7］REN Xunyi，WANG Ruchuan，ZHANG Dengyin.Study and comparison of R/S and wavelet analysis for DDoS attack detection ［J］.Journal of Nanjing University of Posts and Telecom－munications，2006，26（6）：48－51（in Chinese）.［任勛益，王汝傳，張登銀.R/S和小波分析法檢測DDoS攻擊的研究與比較 ［J］.南京郵電大學(xué)學(xué)報，2006，26（6）：48－51.］

［8］ZHOU Gang，LIU Yuan，CHEN Xiaoguang.Analysis of DDoS traffic based on wavelet［J］.Computer Engineering，2008，34（15）：156－158（in Chinese）.［周剛，劉淵，陳曉光.基于小波的DDoS入侵流分析 ［J］.計算機工程，2008，34（15）：156－158.］

［9］JIN Hongwei，ZHOU Jinglun，LUO Pengcheng，et al.Longrange－dependent traffic parameter estimation using wavelet transform ［J］.Computer Simulation，2010，27（12）：129－132（in Chinese）.［金宏偉，周經(jīng)倫，羅鵬程，等.基于小波變換的網(wǎng)絡(luò)長相關(guān)業(yè)務(wù)Hurst參數(shù)估計 ［J］.計算機仿真，2010，27（12）：129－132.］

［10］Darryl Veitch.Code for the estimation of scaling exponents ［CP］.http：//www.cubinlab.ee.unimelb.edu.au/～darryl/，2007.

［11］LV Jia，TANG Guangming.DDoS attack detection model based on wavelet ［J］.Application Research of Computers，2011，28（4）：1450－1452（in Chinese）.［呂佳，湯光明.一種基于小波求解的DDoS攻擊檢測模型 ［J］.計算機應(yīng)用研究，2011，28（4）：1450－1452.］

［12］LI Yongli，LIU Guizhong，WANG Haijun，et al.On waveletbased methods for hurst index estimation of self－similar traffic［J］.Journal of Electronics ＆Information Technology，2003，25（1）：100－105（in Chinese）.［李永利，劉貴忠，王海軍，等.自相似數(shù)據(jù)流的Hurst指數(shù)小波求解法分析 ［J］.電子與信息學(xué)報，2003，25（1）：100－105.］

［13］LUO Na，LI Aiping，WU Quanyuan，et al.Sketch－based anomalies detection with IP address traceability ［J］.Journal of Software，2009，20（10）：2899－2906（in Chinese）.［羅娜，李愛平，吳泉源，等.基于概要數(shù)據(jù)結(jié)構(gòu)可溯源的異常檢測方法 ［J］.軟件學(xué)報，2009，20（10）：2899－2906.］

［14］ MIT Lincoln Laboratory.LLDOS 2.0.2－Scenario Two［DB］.http：//www.ll.mit.edu/mission/communications/ist/corpora/ideval/data/2000data.html，2000.

［15］CHEN Ning，CHEN Xiaosu，LIU Huiyu，et al.Anomaly detection and location method of network traffic based on wavelet analysis ［J］.Journal of Chinese Computer Systems，2010，31（1）：55－61（in Chinese）.［陳寧，陳曉蘇，劉輝宇，等.一種基于小波分析的網(wǎng)絡(luò)流量異常檢測與定位方法 ［J］.小型微型計算機系統(tǒng)，2010，31（1）：55－61.］