應(yīng)用于入侵檢測的機器學(xué)習(xí)現(xiàn)狀與發(fā)展分析

席海龍 劉海燕 張鈺

摘要：近年來隨著機器學(xué)習(xí)技術(shù)的發(fā)展，將其應(yīng)用于入侵檢測領(lǐng)域的研究不斷涌現(xiàn)，以應(yīng)對日趨龐大的數(shù)據(jù)和復(fù)雜多變的攻擊種類。該文基于機器學(xué)習(xí)對入侵檢測領(lǐng)域內(nèi)最新文獻的研究，從分類算法、檢測效果和驗證結(jié)果等方面概述了其研究進展，分析了其應(yīng)用于網(wǎng)絡(luò)安全目前存在的幾點問題，并指出了該技術(shù)后續(xù)的發(fā)展趨勢和應(yīng)用趨勢，以期為網(wǎng)絡(luò)安全的發(fā)展提供一些新思路。

Abstract： With the development of machine learning technology in recent years， it has been applied to the field of intrusion detection to cope with increasingly large data and complex and changeable types of attacks. Based on the research of the latest literature in the field of intrusion detection by machine learning， this paper summarizes its research progress in classification algorithm， detection effect and verification results， analyzes some problems existing in its application to network security， and points out the development trend and application trend of this technology in the future， in order to provide some new ideas for development of network security.

關(guān)鍵詞：機器學(xué)習(xí);入侵檢測;深度學(xué)習(xí)

Key words： machine learning;intrusion detection;deep learning

中圖分類號：TP393.0? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2018）34-0269-04

0? 引言

面對當前日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境，入侵檢測技術(shù)作為一項主動性防御技術(shù)在網(wǎng)絡(luò)安全中起著愈加重要的作用。然而傳統(tǒng)網(wǎng)絡(luò)入侵檢測技術(shù)在面對新時期復(fù)雜多樣的攻擊形式和海量數(shù)據(jù)的網(wǎng)絡(luò)環(huán)境時顯得乏力不足，存在誤報率和漏報率較高等諸多問題[1]。

為彌補傳統(tǒng)入侵檢測技術(shù)自適應(yīng)性差、漏報率、誤報率過高等不足，業(yè)界引入了機器學(xué)習(xí)方法，如貝葉斯，支持向量機，邏輯回歸等算法，并取得了不錯成績。同時，在面對入侵數(shù)據(jù)日趨復(fù)雜，數(shù)據(jù)特征維度高，非線性特性強等特點，傳統(tǒng)機器學(xué)習(xí)易出現(xiàn)“維度爆炸”問題[2]。隨著計算機硬件技術(shù)的發(fā)展，深度學(xué)習(xí)算法在多媒體處理方面帶來突破性的成果，網(wǎng)絡(luò)空間安全領(lǐng)域的研究者也在嘗試將深度學(xué)習(xí)算法應(yīng)用于惡意軟件檢測和入侵檢測等領(lǐng)域，相對于傳統(tǒng)的機器學(xué)習(xí)算法，深度學(xué)習(xí)提高了檢測效率，降低了誤報率，能夠自動化智能化識別攻擊特征，有助于發(fā)現(xiàn)潛在安全威脅。

1? 機器學(xué)習(xí)算法與入侵檢測

1.1 決策樹

決策樹算法是通過對大量樣本的類別訓(xùn)練，最終得到一棵處理未知數(shù)據(jù)能力足夠強，即泛化能力足夠強的決策樹。它通常包含一個根結(jié)點，若干個內(nèi)部結(jié)點和葉結(jié)點;葉結(jié)點對應(yīng)于算法判定結(jié)果，其它每個結(jié)點對應(yīng)于一種屬性測試;每個結(jié)點根據(jù)自身的樣本集合通過屬性測試分配到不同的子結(jié)點中，根結(jié)點包含所有樣本。決策樹學(xué)習(xí)的關(guān)鍵在于如何選擇出最優(yōu)化的屬性劃分方法，通常劃分的依據(jù)有信息增益、信息熵、基尼指數(shù)等[3]。

當采用信息增益作為樣本屬性劃分的度量時，假定樣本集C中第i類樣本所占比例為，則C的信息熵定義為：

值越小，劃分后的可靠性越高。當采用有N個可能取值（）的離散屬性a對C進行劃分時，產(chǎn)生N個分支結(jié)點，其中第n個分支結(jié)點包含了C中所有屬性a上取值為an的樣本，記為Cn。則信息增益可表示為：

一般情況下，信息增益越大，說明依據(jù)屬性a劃分的結(jié)果可靠性越高，即應(yīng)選擇屬性：

應(yīng)用于入侵檢測的決策樹，每一條從根結(jié)點到子結(jié)點的路徑都對應(yīng)于一條既定的檢測規(guī)則，葉節(jié)點數(shù)據(jù)是對分類的預(yù)測結(jié)果。決策樹對檢測數(shù)據(jù)的分類剔除了正常行為數(shù)據(jù)，只對異常數(shù)據(jù)做簡單對比，同時對于離散型偏多的異常數(shù)據(jù)還可以省去數(shù)據(jù)的離散處理過程，泛化能力強，學(xué)習(xí)速度快，結(jié)果簡單易懂是其最大優(yōu)點;但是這種處理方式對于訓(xùn)練數(shù)據(jù)集依賴性過強，如果數(shù)據(jù)集中存在大量相似數(shù)據(jù)，易出現(xiàn)過擬合現(xiàn)象。文獻[4]結(jié)合數(shù)據(jù)挖掘的思想，采用C4.5算法實現(xiàn)了對KDD99數(shù)據(jù)集的分類，在規(guī)則提取時結(jié)合數(shù)據(jù)結(jié)構(gòu)中的算法查找思想，加快了規(guī)則庫的匹配方法，但是采用的數(shù)據(jù)樣本量較小，不能證明在面對海量數(shù)據(jù)時具有足夠適用性;蒲元芳等人[5]提出了基于不同網(wǎng)絡(luò)協(xié)議構(gòu)建不同決策樹，使檢測模型能更具針對性地并行處理網(wǎng)絡(luò)數(shù)據(jù)，宋明秋等人在文獻[6]中也針對具體網(wǎng)絡(luò)協(xié)議構(gòu)建決策樹算法，解決傳統(tǒng)檢測算法資源消耗大、丟包率高的問題，實驗表明這兩種算法對數(shù)據(jù)分類具有更高的準確率;池靜等人針對ID3算法未充分考慮父節(jié)點已使用屬性集對子節(jié)點劃分的影響與子節(jié)點之間的互信息熵對分裂節(jié)點的影響問題，提出了一種基于混合互信息的決策樹檢測算法[7]，在去除父節(jié)點已使用信息對于子節(jié)點劃分影響的同時，設(shè)定了屬性數(shù)量閾值，一定程度上減小了ID3算法的缺陷，提高了分類精度，但這種調(diào)整也增加了算法復(fù)雜度，新建立的決策樹模型對檢測過程整體優(yōu)化效果不明顯。劉莘等[8]針對傳統(tǒng)NB算法對屬性獨立性要求高和決策樹易發(fā)生過擬合的問題，對C4.5算法做改進，將對數(shù)據(jù)的檢測劃分成為兩個弱分類器，最后通過融合形成最終決策規(guī)則，這種在屬性子集上構(gòu)建局部樸素貝葉斯分類期的算法降低了數(shù)據(jù)獨立性的要求，具有較高參考價值。

決策樹在做剪枝處理時常用方法有預(yù)剪枝和后剪枝。預(yù)剪枝通過對結(jié)點劃分前后的樣本分類精確度的計算，決定是否對該結(jié)點進行劃分，但這種基于“貪心”的判斷算法禁止了某些分支的展開，給決策樹帶來的欠擬合的風(fēng)險。較之于預(yù)剪枝，后剪枝算法是在從訓(xùn)練集生成一棵完整決策樹后進行的修改，這樣保留了更多的分支，因此欠擬合風(fēng)險小，泛化性能往往由于預(yù)剪枝。但這種自底向上進行的結(jié)點測試，數(shù)據(jù)處理量大，用于訓(xùn)練的時間花銷成為其最大缺點。

1.2 樸素貝葉斯分類器

貝葉斯定理是貝葉斯分類器最重要的依據(jù)，它根據(jù)事件發(fā)生的先驗概率求其后驗概率，用公式可表示為：

較之于其它機器學(xué)習(xí)算法，貝葉斯網(wǎng)絡(luò)可直接用有向無環(huán)圖表達因果關(guān)系，不僅擁有較高的概率表達能力和不確定性表達能力，而且其超前的先驗知識學(xué)習(xí)能力也表現(xiàn)突出[9]。在應(yīng)用于入侵檢測系統(tǒng)時，通過其在數(shù)據(jù)統(tǒng)計方面的優(yōu)勢，充分收集網(wǎng)絡(luò)連接數(shù)據(jù)，用以填充固定貝葉斯網(wǎng)絡(luò)各節(jié)點，再利用所有子節(jié)點包含于根節(jié)點的結(jié)構(gòu)關(guān)系計算網(wǎng)絡(luò)參數(shù)。文獻[1]結(jié)合數(shù)據(jù)挖掘技術(shù)，采用貝葉斯分類器從離散化的數(shù)據(jù)中提取出用以描繪入侵檢測模型的數(shù)據(jù)框架，區(qū)分不同網(wǎng)絡(luò)行為，具有較好的實驗結(jié)果;文獻[10]基于互信息的結(jié)構(gòu)學(xué)習(xí)算法，利用貝葉斯網(wǎng)絡(luò)中各節(jié)點的依賴關(guān)系通過訓(xùn)練建立網(wǎng)絡(luò)結(jié)構(gòu)圖對數(shù)據(jù)進行分類，這種相互關(guān)聯(lián)的節(jié)點數(shù)據(jù)保證了最終的網(wǎng)絡(luò)模型具有較高的耦合性，但是在驗證環(huán)節(jié)缺乏有效的全新數(shù)據(jù)，泛化性能沒有得到足夠的保證。曾國斌等人[11]提出一種屬性價值算法NBC，該方法利用未分類節(jié)點可能所屬類別的最大后驗概率MAP來確定網(wǎng)絡(luò)模型中的最后節(jié)點，但是應(yīng)用于實際實驗檢測時，由于過多的干擾因素和不同的特征節(jié)點樣本不同，致使分類準確率不高。

1.3 支持向量機

支持向量機（Support Vector Machines，SVM）是一種二分類模型，其基本模型是在特征空間上定義了間隔最大的線性分類器，從而有別于感知機。它的學(xué)習(xí)策略就是實現(xiàn)間隔最大化，可形式化為求解一個凸二次規(guī)劃的問題，也可等價于正則化的合頁損失函數(shù)的最小化問題。線性支持向量機構(gòu)建的模型由簡單到復(fù)雜可分為線性可分支持向量機、線性支持向量機、非線性支持向量機等。

傳統(tǒng)入侵檢測系統(tǒng)在先驗信息較少的情況下，對未知情況預(yù)測能力較差，而應(yīng)用支持向量機的方法可以有效提高預(yù)測分類能力和檢測性能。但是這種基于結(jié)構(gòu)風(fēng)險最小化的方法也存在一些不足之處，比如其初始化數(shù)據(jù)往往憑借經(jīng)驗獲取，缺乏科學(xué)理論指導(dǎo);SVM一般只能對數(shù)值數(shù)據(jù)進行處理，當需要區(qū)分不同入侵方式時需要多個SVM實現(xiàn)。

雖然SVM的學(xué)習(xí)方法在小樣本下能夠取得較好效果，但實際應(yīng)用于大規(guī)模的入侵檢測系統(tǒng)中時，會受時間和空間復(fù)雜度約束，其本質(zhì)原因是由于輸入特征空間具有高維、非線性的特征，而SVM分類器的時間和空間復(fù)雜度是其輸入向量大小的指數(shù)函數(shù)。SVM算法的時間復(fù)雜度為 O（n3），空間復(fù)雜度為 O（n2），n為訓(xùn)練樣本數(shù)，因此，SVM的計算成本高于其他分類方法。

2? 網(wǎng)絡(luò)安全新趨勢

2.1 技術(shù)趨勢

機器學(xué)習(xí)這一概念很早就已提出，其各算法均有發(fā)展，但近年來神經(jīng)網(wǎng)絡(luò)—深度學(xué)習(xí)這一分支發(fā)展最為迅速，今后更加智能化的網(wǎng)絡(luò)也將更加依賴于這一技術(shù)深層次的縱向發(fā)展。

2.1.1 跨行業(yè)的技術(shù)借鑒

現(xiàn)有的深度學(xué)習(xí)研究大多用于圖像處理，而圖像所處理的是網(wǎng)格數(shù)據(jù)，但安全領(lǐng)域的數(shù)據(jù)主要是序列數(shù)據(jù)，即離散型數(shù)據(jù)。對于深度學(xué)習(xí)的生成型模型而言，離散型數(shù)據(jù)不利于梯度的傳遞，Wang W等人將流量的每個字節(jié)轉(zhuǎn)換成像素[12]，由此來把流量轉(zhuǎn)換為圖片，再將圖片作為 CNN 的輸入，進行訓(xùn)練與分類，得到的二分類和多分類準確率分別是100%和99.17%，由此可見，使用原始特征的效果要優(yōu)于使用NSL-KDD和KDD99數(shù)據(jù)集中人工提取的特征的效果。

在整體神經(jīng)網(wǎng)絡(luò)的設(shè)計和優(yōu)化方面，深度學(xué)習(xí)借鑒遺傳算法取得了顯著成效。例如根據(jù)Kolmogorov定理對BP神經(jīng)元的權(quán)值和閾值的編碼，在設(shè)定初始化值時，為避免局部最優(yōu)問題而引進交叉概率、變異概率和初始化種群等概念，采用隨機多組、模擬退火等方法進行最優(yōu)化設(shè)計，采用交叉變異、染色體適應(yīng)度比較等方法選取最優(yōu)化組合。

2.1.2 行業(yè)內(nèi)技術(shù)新舊融合

深度學(xué)習(xí)技術(shù)作為神經(jīng)網(wǎng)絡(luò)的一項更深層技術(shù)，在應(yīng)用于入侵檢測過程中也出現(xiàn)了重重阻礙。而在解決這些問題時，深度學(xué)習(xí)結(jié)合機器學(xué)習(xí)已有的算法可以有效彌補不足，取得良好成績。Salama等人首次將DBN作為生成模型應(yīng)用于入侵檢測中的數(shù)據(jù)降維[13]，使用SVM對降維之后的數(shù)據(jù)進行分類。他們的結(jié)果顯示，DBN-SVM結(jié)構(gòu)比單獨的DBN或者SVM進行分類得到的準確率更高。同時，當采用SVM進行分類時，相比于主成分分析（principal component analysis，PCA）[14]，卡方檢驗等降維方法，采用 DBN進行降維時的檢測準確率最高。

2.2 應(yīng)用趨勢

2.2.1 應(yīng)用于IOT的入侵檢測技術(shù)

近年來物聯(lián)網(wǎng)（Internet of Things）技術(shù)借助于人工智能的興起而迅速發(fā)展，但是相對應(yīng)的網(wǎng)絡(luò)安全手段卻發(fā)展緩慢，性能提效不明顯。網(wǎng)絡(luò)安全和信息化發(fā)展是一體之雙翼，驅(qū)動之雙輪，缺少任一方面都必將發(fā)展受限。更何況當今時代是以信息技術(shù)為支撐的網(wǎng)絡(luò)環(huán)境下發(fā)展的，不同于其他學(xué)科，網(wǎng)絡(luò)環(huán)境的安全與整個社會行業(yè)的發(fā)展息息相關(guān)[15]。 面對愈加復(fù)雜的網(wǎng)絡(luò)安全隱患，傳統(tǒng)IDS明顯力不從心。一般將IOT分為感知層、網(wǎng)絡(luò)層和應(yīng)用層[15]，其中廣泛應(yīng)用傳感器、自動識別追蹤、無線連接、分布式服務(wù)等技術(shù)，當它們面對不同類型的網(wǎng)絡(luò)攻擊時，傳統(tǒng)IDS檢測范圍不能完全適應(yīng)，因此發(fā)展面向IOT的有針對性的新型入侵檢測技術(shù)是未來IDS發(fā)展的主要趨勢之一。

2.2.2 應(yīng)用于云計算的入侵檢測技術(shù)

云計算自身開放的特性所采用的虛擬化技術(shù)使其所面臨的安全威脅主要來自于DDOS攻擊和非授權(quán)訪問權(quán)限獲取。目前NIDS（Network based Intrusion Detection System）是針對云計算的網(wǎng)絡(luò)入侵檢測系統(tǒng)的代表，但是針對虛擬機之間的逃逸流量和虛擬機遷移攻擊該系統(tǒng)無法檢測[16]，因此下一步針對云計算的網(wǎng)絡(luò)入侵檢測會繼續(xù)向全面高效、低誤報率以及虛擬網(wǎng)絡(luò)方向發(fā)展。

3? 結(jié)束語

在傳統(tǒng)入侵檢測領(lǐng)域引入機器學(xué)習(xí)技術(shù)，不僅提高了檢測速率，而且能有效應(yīng)對當前日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境，是未來網(wǎng)絡(luò)安全技術(shù)的主流趨勢，而這其中又以深度學(xué)習(xí)技術(shù)為主。不同技術(shù)的相互借鑒發(fā)展、基礎(chǔ)理念的創(chuàng)新都將帶動網(wǎng)絡(luò)安全技術(shù)的進步，為以信息技術(shù)為依托的各行各業(yè)發(fā)展提供安全發(fā)展的網(wǎng)絡(luò)環(huán)境。

參考文獻：

[1]高華.基于海量日志的入侵檢測并行化算法研究[J].現(xiàn)代電子技術(shù)，2016，3919：71-75.

[2]華銘軒，張峰軍.大數(shù)據(jù)環(huán)境下的入侵檢測系統(tǒng)框架[J].通信技術(shù)，2015，4811：1300-1304.

[3]張棪，曹健.面向大數(shù)據(jù)分析的決策樹算法[J].計算機科學(xué)，2016，43S1：374-379，383.

[4]張國權(quán)，李文立.基于混合互信息的決策樹入侵檢測[J].遼寧工程技術(shù)大學(xué)學(xué)報（自然科學(xué)版），2009，2802：273-276.

[5]蒲元芳，杜紅樂.決策樹在網(wǎng)絡(luò)入侵檢測中的研究與應(yīng)用[J].電腦知識與技術(shù)，2010，607：1560-1563.

[6]宋明秋，傅韻，鄧貴仕.基于決策樹和協(xié)議分析的入侵檢測研究[J].計算機應(yīng)用研究，2007，12：171-173，176.

[7]池靜，楊振宇，張婷.基于貝葉斯和決策樹的入侵檢測方法[J].工礦自動化，2013，3902，62-65.

[8]劉莘，張永平，萬艷麗.決策樹算法在入侵檢測中的應(yīng)用分析及改進[J].計算機工程與設(shè)計，2006（19）：3641-3643.

[9]張月，柳炳祥，張峰.一種基于樸素貝葉斯網(wǎng)絡(luò)的入侵檢測分析方法[J].信息與電腦（理論版），2018，13：66-67，70.

[10]李健，陳為.基于異構(gòu)條件的NIDS網(wǎng)絡(luò)安全技術(shù)研究[J].計算機技術(shù)與發(fā)展，2017，2709：106-109，115.

[11]曾國斌，冉兆春.基于改進樸素貝葉斯算法入侵檢測系統(tǒng)研究[J].電腦知識與技術(shù)，2017，1328：28-29.

[12]Wang Wei， Zhu Ming， Zeng Xuewen， et al. Malware traffic classification using convolutional neural network for representation learning[C]// Int Conf on Information Networking. NJ： IEEE， 2017： 712-717.

[13]Salama M A， Eid H F， Ramadan R A， et al. Hybrid intelligent intrusion detection scheme[M]//Soft computing in industrial applications. Springer.

[14]戚名鈺，劉銘，傅彥銘.基于PCA的SVM網(wǎng)絡(luò)入侵檢測研究[J].信息網(wǎng)絡(luò)安全，2015（02）：15-18.

[15]武傳坤.物聯(lián)網(wǎng)安全關(guān)鍵技術(shù)與挑戰(zhàn)[J].密碼學(xué)報，2015，2（01）：40-53.

[16]劉增鎖.云計算環(huán)境下海量數(shù)據(jù)中入侵檢測挖掘模型[J]. 計算機仿真，2015，32（06）：289-291，393.