基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)研究

【關(guān)鍵詞】機(jī)器學(xué)習(xí)；網(wǎng)絡(luò)安全威脅；檢測(cè)系統(tǒng)

網(wǎng)絡(luò)安全是信息技術(shù)領(lǐng)域中需要重視的問(wèn)題，特別是在大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)等新技術(shù)普及過(guò)程中，網(wǎng)絡(luò)環(huán)境具有開(kāi)放性與復(fù)雜性特征，安全威脅也變得日益多樣化與智能化。傳統(tǒng)的基于特征的安全防御機(jī)制，如防火墻、入侵檢測(cè)系統(tǒng)和防病毒軟件等，通常依賴預(yù)定義的攻擊特征庫(kù)，很難適應(yīng)快速變化的攻擊模式，研究開(kāi)發(fā)智能化、自適應(yīng)的網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)具有重要意義。機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)中應(yīng)用，能夠提供一種動(dòng)態(tài)學(xué)習(xí)和適應(yīng)新威脅的可能，利用訓(xùn)練模型對(duì)未知攻擊進(jìn)行識(shí)別與預(yù)測(cè)，讓檢測(cè)系統(tǒng)靈活性與準(zhǔn)確性得到提升。

一、網(wǎng)絡(luò)安全威脅概述

（一）常見(jiàn)網(wǎng)絡(luò)安全威脅類(lèi)型

網(wǎng)絡(luò)安全威脅的類(lèi)型比較多，常見(jiàn)的有以下類(lèi)型：第一，病毒和蠕蟲(chóng)。病毒是一種惡意軟件，主要附著在文件上，能夠在用戶之間進(jìn)行傳播，蠕蟲(chóng)可以自我復(fù)制，在網(wǎng)絡(luò)環(huán)境下能夠自行傳播。第二，木馬程序。木馬程序是一種偽裝成合法軟件的惡意軟件，在用戶不知情情況下進(jìn)行安裝，攻擊者能夠?qū)κ芎φ哂?jì)算機(jī)進(jìn)行控制。第三，釣魚(yú)攻擊。釣魚(yú)攻擊主要利用假冒的電子郵件、網(wǎng)站或其他通信手段，誘騙用戶提供敏感信息，如用戶名、密碼和信用卡號(hào)碼。第四，拒絕服務(wù)攻擊。這種攻擊主要利用大量無(wú)效流量讓網(wǎng)站或服務(wù)不可用，為用戶正常訪問(wèn)帶來(lái)不利影響。第五，零日攻擊。零日攻擊利用軟件中未知的安全漏洞進(jìn)行攻擊，這些漏洞在被廣泛知曉之前未被修復(fù)。第六，內(nèi)部威脅。內(nèi)部威脅來(lái)自組織內(nèi)部，如員工誤操作或惡意行為造成信息泄露、系統(tǒng)損壞等現(xiàn)象。第七，高級(jí)持續(xù)性威脅。這種網(wǎng)絡(luò)攻擊形式比較復(fù)雜，一般為高度組織化團(tuán)體發(fā)起，能夠長(zhǎng)時(shí)間在目標(biāo)網(wǎng)絡(luò)中潛伏，竊取信息或監(jiān)控活動(dòng)。

（二）威脅檢測(cè)的重要性

及時(shí)對(duì)網(wǎng)絡(luò)安全威脅進(jìn)行檢測(cè)，能夠?yàn)樾畔⑾到y(tǒng)與數(shù)據(jù)提供保護(hù)。有效的網(wǎng)絡(luò)安全威脅檢測(cè)主要具備以下特征：第一，防止數(shù)據(jù)泄露。通過(guò)檢測(cè)和阻止未授權(quán)的訪問(wèn)，避免敏感數(shù)據(jù)被泄露。第二，減少經(jīng)濟(jì)損失。避免由于網(wǎng)絡(luò)攻擊引起的財(cái)務(wù)損失，如勒索軟件的贖金支付、業(yè)務(wù)中斷的損失以及修復(fù)成本。第三，維護(hù)品牌聲譽(yù)。及時(shí)應(yīng)對(duì)安全事件，能夠減少對(duì)品牌信譽(yù)造成的負(fù)面影響。第四，遵守法律法規(guī)。確保滿足各種數(shù)據(jù)保護(hù)、隱私法規(guī)等要求。

（三）威脅檢測(cè)的技術(shù)難點(diǎn)

雖然加強(qiáng)網(wǎng)絡(luò)安全威脅檢測(cè)尤為關(guān)鍵，但是實(shí)際操作也要面對(duì)很多技術(shù)難點(diǎn)：第一，高速網(wǎng)絡(luò)流量分析。當(dāng)前網(wǎng)絡(luò)帶寬逐步增加，對(duì)大量高速網(wǎng)絡(luò)流量進(jìn)行實(shí)時(shí)分析，會(huì)增加潛在威脅的識(shí)別難度。第二，加密流量的檢測(cè)?，F(xiàn)在很多網(wǎng)絡(luò)流量處于加密狀態(tài)，會(huì)讓傳統(tǒng)基于內(nèi)容的網(wǎng)絡(luò)安全威脅檢測(cè)方法很難取得較好效果[1]。第三，新型和未知威脅。新型攻擊手法與未知威脅的層出不窮，導(dǎo)致現(xiàn)有防御措施應(yīng)對(duì)起來(lái)變得非常困難。第四，誤報(bào)和漏報(bào)。網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)容易出現(xiàn)誤報(bào)或漏洞現(xiàn)象，如錯(cuò)誤將正常行為標(biāo)記為惡意或未能將實(shí)際威脅檢測(cè)出來(lái)，造成系統(tǒng)可靠性與效率降低。第五，資源限制。網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)的性能較高，通常涉及大量計(jì)算資源，這對(duì)于某些組織而言為限制因素。

二、機(jī)器學(xué)習(xí)基礎(chǔ)

（一）機(jī)器學(xué)習(xí)的定義與分類(lèi)

機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要分支，主要讓計(jì)算機(jī)在數(shù)據(jù)中進(jìn)行學(xué)習(xí)，不用明確編程能夠?qū)崿F(xiàn)制定決策或預(yù)測(cè)的目標(biāo)。機(jī)器學(xué)習(xí)算法的基礎(chǔ)是將數(shù)學(xué)和統(tǒng)計(jì)學(xué)同時(shí)引入了計(jì)算機(jī)科學(xué)、優(yōu)化理論、信息論等領(lǐng)域的知識(shí)。在機(jī)器學(xué)習(xí)領(lǐng)域，由于學(xué)習(xí)方式存在差異，因此將機(jī)器學(xué)習(xí)分為以下類(lèi)型：第一，監(jiān)督學(xué)習(xí)。通過(guò)這種學(xué)習(xí)模式，算法能夠在帶有標(biāo)簽的數(shù)據(jù)中進(jìn)行集中學(xué)習(xí)。各訓(xùn)練樣本都有一個(gè)與之對(duì)應(yīng)的輸出標(biāo)簽，算法目標(biāo)主要是學(xué)習(xí)一個(gè)映射函數(shù)，讓輸入映射至正確輸出標(biāo)簽中。典型監(jiān)督學(xué)習(xí)任務(wù)包括分類(lèi)、回歸。第二，無(wú)監(jiān)督學(xué)習(xí)。不同于監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練數(shù)據(jù)無(wú)標(biāo)簽，算法試圖自行發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)或模式，典型無(wú)監(jiān)督學(xué)習(xí)任務(wù)分為聚類(lèi)、密度估計(jì)和降維[2]。第三，半監(jiān)督學(xué)習(xí)。這種學(xué)習(xí)模式具備監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)特征，通過(guò)大量未標(biāo)記數(shù)據(jù)與少量標(biāo)記數(shù)據(jù)完成訓(xùn)練。第四，強(qiáng)化學(xué)習(xí)。與前面幾種方法存在明顯差異，強(qiáng)化學(xué)習(xí)關(guān)注如何通過(guò)與環(huán)境的交互來(lái)采取行動(dòng)，以最大化某種累積獎(jiǎng)勵(lì)。

（二）監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)為機(jī)器學(xué)習(xí)的兩個(gè)主要類(lèi)型，各自適用于不同類(lèi)型的問(wèn)題與數(shù)據(jù)。監(jiān)督學(xué)習(xí)適用于有明確目標(biāo)變量的情況，常見(jiàn)的有預(yù)測(cè)房?jī)r(jià)、郵件分類(lèi)等。在監(jiān)督學(xué)習(xí)中，模型性能一般是比較其預(yù)測(cè)結(jié)果與實(shí)際標(biāo)簽的差異，以此完成評(píng)估，常見(jiàn)性能評(píng)估分為包括準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)等。無(wú)監(jiān)督學(xué)習(xí)主要適用于探索性數(shù)據(jù)分析，或者是對(duì)數(shù)據(jù)底層結(jié)構(gòu)了解較少的情況下。例如，針對(duì)想要發(fā)現(xiàn)顧客群體不同細(xì)分市場(chǎng)的情況，或者降低數(shù)據(jù)維度能夠達(dá)到可視化要求。無(wú)監(jiān)督學(xué)習(xí)評(píng)估與監(jiān)督學(xué)習(xí)不同，一般依賴于內(nèi)在度量，常見(jiàn)的包括聚類(lèi)一致性、緊密度和分離度等。

三、機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)中的應(yīng)用

（一）異常檢測(cè)

應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，能夠在建立自動(dòng)化的異常檢測(cè)系統(tǒng)上發(fā)揮重要作用，達(dá)到保護(hù)網(wǎng)絡(luò)安全的目的。該系統(tǒng)學(xué)習(xí)正常的網(wǎng)絡(luò)流量模式，可以對(duì)偏離正常模式的行為進(jìn)行準(zhǔn)確識(shí)別，將潛在的網(wǎng)絡(luò)安全威脅揭示出來(lái)。以支持向量機(jī)為例，是一種監(jiān)督學(xué)習(xí)算法，能夠通過(guò)對(duì)數(shù)據(jù)完成分類(lèi)的方式，對(duì)異常網(wǎng)絡(luò)流量進(jìn)行識(shí)別。神經(jīng)網(wǎng)絡(luò)，尤其是深度學(xué)習(xí)模型，常見(jiàn)的包括卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)等，能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行處理，準(zhǔn)確識(shí)別復(fù)雜的模式[3]。聚類(lèi)算法，如K-means或DBSCAN，能夠在無(wú)標(biāo)簽數(shù)據(jù)內(nèi)將異常找出來(lái)，由于其能夠讓數(shù)據(jù)分組到不同類(lèi)別之中，因此能夠進(jìn)行異常檢測(cè)。利用上述方法，異常檢測(cè)系統(tǒng)可以對(duì)網(wǎng)絡(luò)活動(dòng)進(jìn)行實(shí)時(shí)監(jiān)控，同時(shí)在檢測(cè)到可疑行為后及時(shí)發(fā)出警報(bào)。

（二）特征提取與選擇

在網(wǎng)絡(luò)安全領(lǐng)域，需要在原始數(shù)據(jù)中將有意義的特征提取出來(lái)，這些特征將用于訓(xùn)練機(jī)器學(xué)習(xí)模型，讓正常與惡意活動(dòng)得到有效區(qū)分。應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，能夠幫助確定哪些特征對(duì)于這種區(qū)分最為關(guān)鍵。自動(dòng)特征選擇方法有很多，如基于信息增益的方法，能夠評(píng)估每個(gè)特征對(duì)于分類(lèi)任務(wù)的重要性，并選擇最有用的特征。關(guān)聯(lián)規(guī)則挖掘可以發(fā)現(xiàn)特征之間的有趣關(guān)系，這些關(guān)系表明潛在的安全問(wèn)題[4]。深度學(xué)習(xí)模型，特別是那些涉及特征學(xué)習(xí)的模型，如自編碼器和深度信念網(wǎng)絡(luò)，能夠自動(dòng)在數(shù)據(jù)中學(xué)習(xí)復(fù)雜的特征表示，有時(shí)甚至比手工設(shè)計(jì)的特征更有效。對(duì)這些高級(jí)特征而言，能夠顯著提高網(wǎng)絡(luò)安全威脅檢測(cè)的準(zhǔn)確性與魯棒性。例如通過(guò)因果關(guān)聯(lián)分析方法完成關(guān)聯(lián)分析，主要將具有相關(guān)性的告警事件聚成一類(lèi)，然后對(duì)同一類(lèi)簇中的告警事件進(jìn)行因果關(guān)聯(lián)分析。其中聚類(lèi)是將抽象的對(duì)象集合，然后結(jié)合類(lèi)似的特征分成多個(gè)類(lèi)的過(guò)程。將原始告警數(shù)據(jù)進(jìn)行預(yù)處理，并對(duì)來(lái)自不同安全設(shè)備的告警事件進(jìn)行統(tǒng)一格式，將不同事件關(guān)鍵的描述字段提取出來(lái)，如表1所示，包括以下12條屬性，用這12條屬性就可以清楚地描述一個(gè)安全事件。結(jié)合告警事件處理原則，從事件嚴(yán)重等級(jí)、攻擊行為強(qiáng)度、攻擊持續(xù)時(shí)間等出發(fā)，再?gòu)?2條屬性中挑選出具有代表性的7個(gè)屬性作為告警事件聚類(lèi)時(shí)的匹配格式：

ai=（attacktime，attacktype，sourceIP，sourcePort，targetIP，targetPort，severity）

其中attacktime是安全事件發(fā)生的時(shí)間；attacktype是安全事件所屬的類(lèi)型；sourceIP是發(fā)起攻擊或安全事件中的源IP地址；sourcePort是發(fā)起安全事件發(fā)生的源端口；targetIP是發(fā)起攻擊或安全事件中的目的IP地址；targetPort是發(fā)起安全事件發(fā)生的目標(biāo)端口；severity是安全事件所屬的威脅等級(jí)。

（三）自適應(yīng)學(xué)習(xí)能力

隨著網(wǎng)絡(luò)環(huán)境不斷變化，新的威脅也不斷出現(xiàn)，對(duì)網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)而言，可以有效適應(yīng)這些變化。機(jī)器學(xué)習(xí)模型具備較強(qiáng)的自我學(xué)習(xí)與適應(yīng)的能力，能夠不斷從新的數(shù)據(jù)中進(jìn)行學(xué)習(xí)，結(jié)合最新的威脅對(duì)檢測(cè)策略進(jìn)行更新。這種自適應(yīng)性是傳統(tǒng)的基于簽名的網(wǎng)絡(luò)安全檢測(cè)系統(tǒng)不具備的功能，因?yàn)楹笳咄ǔＰ枰謩?dòng)更新以識(shí)別新的攻擊類(lèi)型。機(jī)器學(xué)習(xí)模型能夠利用在線學(xué)習(xí)或增量學(xué)習(xí)等方式，達(dá)到實(shí)時(shí)更新的效果，這樣能夠在不中斷服務(wù)基礎(chǔ)上繼續(xù)學(xué)習(xí)與改進(jìn)[5]。此外，一些機(jī)器學(xué)習(xí)算法，如強(qiáng)化學(xué)習(xí)，能夠在實(shí)際環(huán)境中利用與網(wǎng)絡(luò)交互等方式，對(duì)其策略進(jìn)行優(yōu)化，促使網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)的適應(yīng)性與效率得到提升。

（四）大規(guī)模數(shù)據(jù)分析

現(xiàn)代網(wǎng)絡(luò)系統(tǒng)每天都會(huì)生成海量的數(shù)據(jù)，且基本上以網(wǎng)絡(luò)流量、日志文件、用戶活動(dòng)記錄等為主。手動(dòng)分析上述數(shù)據(jù)，很難真正將網(wǎng)絡(luò)中潛在的安全威脅識(shí)別出來(lái)。但是機(jī)器學(xué)習(xí)算法具備處理與分析這些大數(shù)據(jù)集的能力，利用復(fù)雜算法和統(tǒng)計(jì)模型，機(jī)器學(xué)習(xí)系統(tǒng)能夠快速在這些數(shù)據(jù)中將異常模式識(shí)別出來(lái)，從而檢測(cè)到潛在的網(wǎng)絡(luò)安全事件。如分布式拒絕服務(wù)攻擊，主要造成網(wǎng)絡(luò)流量的異常增加，機(jī)器學(xué)習(xí)系統(tǒng)能夠通過(guò)分析這些流量模式，在攻擊發(fā)生之初就將其檢測(cè)出來(lái)。

（五）預(yù)測(cè)性建模

機(jī)器學(xué)習(xí)應(yīng)用過(guò)程中，還要發(fā)揮預(yù)測(cè)性建模的作用。安全專家可以利用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建模型，這些模型可以有效評(píng)估未來(lái)發(fā)生的攻擊類(lèi)型和攻擊概率。通過(guò)分析歷史數(shù)據(jù)和現(xiàn)實(shí)世界的威脅情報(bào)，這些模型能夠?qū)粽咝袨槟Ｊ竭M(jìn)行預(yù)測(cè)，從而提前采取措施，以防止未來(lái)的攻擊、維護(hù)網(wǎng)絡(luò)安全的目的[6]。這種預(yù)測(cè)能力對(duì)于風(fēng)險(xiǎn)管理和資源分配尤為關(guān)鍵，因?yàn)槠湓试S組織集中注意力和資源于常見(jiàn)網(wǎng)絡(luò)威脅向量上。此外，預(yù)測(cè)模型還有利于制定更有效的網(wǎng)絡(luò)安全策略，通過(guò)主動(dòng)防御而非被動(dòng)反應(yīng)來(lái)提高整體的網(wǎng)絡(luò)安全水平。

結(jié)語(yǔ)

總之，雖然機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全威脅檢測(cè)中具備巨大潛力，但仍然面臨很多挑戰(zhàn)。如高質(zhì)量數(shù)據(jù)集缺乏對(duì)模型訓(xùn)練效果造成限制，對(duì)抗性攻擊和新型攻擊手法的不斷涌現(xiàn)對(duì)模型泛化能力、適應(yīng)性等來(lái)說(shuō)也是一項(xiàng)嚴(yán)峻的考驗(yàn)。此外，為了提高網(wǎng)絡(luò)安全威脅檢測(cè)系統(tǒng)的可解釋性和透明度，以及平衡系統(tǒng)性能與用戶隱私之間的關(guān)系，也是未來(lái)研究需要重點(diǎn)關(guān)注的問(wèn)題。對(duì)此，要集中開(kāi)發(fā)更為先進(jìn)的機(jī)器學(xué)習(xí)模型，提升系統(tǒng)對(duì)于復(fù)雜網(wǎng)絡(luò)安全威脅的檢測(cè)能力，讓系統(tǒng)可靠性與魯棒性得到提升。同時(shí)，跨學(xué)科的合作將是推動(dòng)網(wǎng)絡(luò)安全威脅檢測(cè)領(lǐng)域發(fā)展的關(guān)鍵，如計(jì)算機(jī)科學(xué)、網(wǎng)絡(luò)安全、數(shù)據(jù)科學(xué)等多個(gè)領(lǐng)域的專家共同努力，以實(shí)現(xiàn)更安全、更智能的網(wǎng)絡(luò)環(huán)境。