一種基于機(jī)器學(xué)習(xí)的TLS惡意流量檢測(cè)方案

駱子銘 許書(shū)彬

摘 ? 要：隨著互聯(lián)網(wǎng)應(yīng)用加密業(yè)務(wù)流的快速增長(zhǎng)，流量加密在保護(hù)隱私的同時(shí)也給網(wǎng)絡(luò)安全防御帶來(lái)了巨大的挑戰(zhàn)，惡意加密流量檢測(cè)是互聯(lián)網(wǎng)安全領(lǐng)域的一個(gè)重點(diǎn)問(wèn)題。文章首先介紹了TLS協(xié)議特點(diǎn)、流量識(shí)別方法;然后，從TLS特征、數(shù)據(jù)元特征、上下文數(shù)據(jù)三個(gè)方面分析了惡意加密流量的特征，給出了基于機(jī)器學(xué)習(xí)的TLS惡意流量檢測(cè)相關(guān)方法;最后，通過(guò)構(gòu)建基于機(jī)器學(xué)習(xí)的分布式自動(dòng)化的惡意流量檢測(cè)體系，實(shí)現(xiàn)對(duì)惡意流量的動(dòng)態(tài)檢測(cè)，并具備增量式學(xué)習(xí)能力。

關(guān)鍵詞：機(jī)器學(xué)習(xí);流量識(shí)別;安全傳輸層

中圖分類(lèi)號(hào)：TN918 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： As the flow of encrypted network traffic growing rapidly， the encryption of data protects privacy while poses a great threat to cyberthreat defense. Identifying threats contained within encrypted network traffic is a key issue in the network security domain. In this paper， we begin by introduce the characteristics of TLS protocol and the methodology of identifying network traffic. Then， we analyze the characteristics of encrypted malware traffic from TLS data， observable metadata and contextual flow data. This study is used to design the methodology of detecting malicious traffic's use of TLS based on machine learning. Finally， we manage to detect malicious traffic dynamically with incremental learning ability by building a distributed automation malicious traffic detecting system based on machine learning.

Key words： machine learning; encrypted traffic; Transport Layer Security

1 引言

隨著安全傳輸層（Transport Layer Security，TLS）協(xié)議的廣泛使用，網(wǎng)絡(luò)中的加密流量越來(lái)越多，識(shí)別這些加密的流量是否安全可靠，給網(wǎng)絡(luò)安全防御帶來(lái)了巨大挑戰(zhàn)。傳統(tǒng)的流量識(shí)別方法，例如基于深度包檢測(cè)或者模式匹配等方法都對(duì)加密流量束手無(wú)策，因此識(shí)別網(wǎng)絡(luò)加密流量中包含的威脅是一項(xiàng)具有挑戰(zhàn)性的工作[1]。

由于網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全的重要性，其對(duì)檢測(cè)的準(zhǔn)確率和誤報(bào)率有較高的要求。同時(shí)，僵尸網(wǎng)絡(luò)、網(wǎng)絡(luò)入侵、惡意加密流量等網(wǎng)絡(luò)攻擊，具有攻擊量大、形式多樣化的特點(diǎn)，對(duì)于該類(lèi)的攻擊檢測(cè)需要能夠做出快速實(shí)時(shí)的響應(yīng)?；跈C(jī)器學(xué)習(xí)的惡意加密流量檢測(cè)，一直是近年來(lái)網(wǎng)絡(luò)安全領(lǐng)域的研究熱點(diǎn)[2]。

目前，惡意加密流量檢測(cè)研究，主要側(cè)重于加密流量特征分析[3]以及機(jī)器學(xué)習(xí)算法的選擇問(wèn)題[4]。通過(guò)合理的檢測(cè)體系，構(gòu)建具備增量式學(xué)習(xí)能力的樣本數(shù)據(jù)庫(kù)，實(shí)時(shí)動(dòng)態(tài)檢測(cè)分析惡意加密流量攻擊，將能夠快速實(shí)施響應(yīng)并采取防御措施。本文所討論的加密流量限于采用TLS協(xié)議進(jìn)行加密的網(wǎng)絡(luò)流量，故文中提到的“惡意加密流量”和“TLS惡意流量”均代指采用TLS協(xié)議加密的惡意流量。

2 ?TLS協(xié)議

2.1 ?TLS握手協(xié)議

TLS協(xié)議位于傳輸層和應(yīng)用層之間，是一種在兩個(gè)通信應(yīng)用程序之間提供安全通信的協(xié)議，保證了網(wǎng)絡(luò)通信數(shù)據(jù)的完整性和保密性[5]。TLS協(xié)議是由握手協(xié)議、記錄協(xié)議、更改密文協(xié)議和警報(bào)協(xié)議組成。

握手協(xié)議是TLS協(xié)議中十分重要的協(xié)議，客戶(hù)端和服務(wù)端一旦都同意使用TLS協(xié)議，需要通過(guò)握手協(xié)議協(xié)商出一個(gè)有狀態(tài)的連接以傳輸數(shù)據(jù)。通過(guò)握手過(guò)程，通信雙方需要確認(rèn)使用的密鑰和算法。除此之外，還包括數(shù)據(jù)壓縮算法、信息摘要算法等一些數(shù)據(jù)傳輸?shù)倪^(guò)程中需要使用的其他信息。當(dāng)握手協(xié)議完成以后，通信雙方開(kāi)始加密數(shù)據(jù)傳輸。

2.2 ?TLS流量識(shí)別

鑒于TLS握手協(xié)議通過(guò)明文傳輸?shù)奶攸c(diǎn)，可以捕獲PCAP文件并解析數(shù)據(jù)包的頭部信息，通過(guò)比較不同的頭部信息及對(duì)比不同消息的報(bào)文結(jié)構(gòu)，可以判定當(dāng)前的數(shù)據(jù)包是否為T(mén)LS握手協(xié)議的某一特定消息類(lèi)型。一個(gè)完整的TLS會(huì)話(huà)過(guò)程一定包含五種類(lèi)型的消息：ClientHello、Server Hello、Server Hello Done、Client KeyExchange、Change Cipher Spec。如果在某個(gè)數(shù)據(jù)流中沒(méi)有檢測(cè)到以上的消息，那么可以判定其為非TLS流。如果只檢測(cè)到其中的一部分消息，則有兩種可能：一是由于TLS握手過(guò)程不完整而導(dǎo)致了連接建立失敗;二是抓包不完整，此數(shù)據(jù)流是TLS流，但由于抓包過(guò)程中存在網(wǎng)絡(luò)延遲等原因，有可能丟包導(dǎo)致。在判定過(guò)程中，如果數(shù)據(jù)流中沒(méi)有全部包含以上的五種消息，則將該數(shù)據(jù)流判定為非TLS流，否則將其判定為一個(gè)TLS流。

3 ?TLS惡意流量特征分析

在學(xué)術(shù)界，惡意流量特征一般分為三類(lèi)：內(nèi)容特征、數(shù)據(jù)流統(tǒng)計(jì)特征、網(wǎng)絡(luò)連接行為特征[6]。

內(nèi)容特征主要指惡意流量的協(xié)議段中特有的值和協(xié)議負(fù)載中含有的某些特殊的字符序列。數(shù)據(jù)流統(tǒng)計(jì)特征和網(wǎng)絡(luò)連接行為特征，需要采集數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析，從而得到某種規(guī)律，可以統(tǒng)稱(chēng)為統(tǒng)計(jì)特征。從網(wǎng)絡(luò)層、傳輸層、應(yīng)用層提取并計(jì)算流量統(tǒng)計(jì)值，可以得到數(shù)據(jù)流統(tǒng)計(jì)特征，再?gòu)倪@些統(tǒng)計(jì)特征中提取惡意流量特征。而一些惡意軟件同時(shí)也會(huì)產(chǎn)生特定的網(wǎng)絡(luò)連接特征，比如受蠕蟲(chóng)病毒感染的主機(jī)由于隨機(jī)掃描互聯(lián)網(wǎng)IP地址，從而會(huì)產(chǎn)生大量的失敗網(wǎng)絡(luò)連接。針對(duì)采用TLS協(xié)議加密的惡意流量，本文從TLS特征、數(shù)據(jù)元統(tǒng)計(jì)特征、上下文數(shù)據(jù)三個(gè)方面來(lái)分析其特征要素。

3.1 ?TLS特征

惡意流量和良性流量具有非常明顯的TLS特征差異，如表1所示，主要包括提供的密碼組、客戶(hù)端公鑰長(zhǎng)度、TLS擴(kuò)展和服務(wù)器證書(shū)收集所采用的密碼套件。在流量的采集過(guò)程中，可以從客戶(hù)端發(fā)送的請(qǐng)求中獲取TLS版本、密碼套件列表和支持的TLS擴(kuò)展列表。若分別用向量表示客戶(hù)端提供的密碼套件列表和TLS擴(kuò)展列表，可以從服務(wù)器發(fā)送的確認(rèn)包中的信息確定兩組向量的值。同時(shí)，從密鑰交換的數(shù)據(jù)包中，可以得到密鑰的長(zhǎng)度。

3.2 ?數(shù)據(jù)元統(tǒng)計(jì)特征

惡性流量與良性流量的統(tǒng)計(jì)特征差別主要表現(xiàn)在數(shù)據(jù)包的大小、到達(dá)時(shí)間序列和字節(jié)分布。數(shù)據(jù)包的長(zhǎng)度受UDP、TCP或者ICMP協(xié)議中數(shù)據(jù)包的有效載荷大小影響，如果數(shù)據(jù)包不屬于以上協(xié)議，則被設(shè)置為IP數(shù)據(jù)包的大小。因到達(dá)時(shí)間以毫秒分隔，故數(shù)據(jù)包長(zhǎng)度和到達(dá)時(shí)間序列，可以模擬為馬爾科夫鏈，從而構(gòu)成馬爾科夫狀態(tài)轉(zhuǎn)移矩陣。

3.3 ?上下文數(shù)據(jù)

上下文數(shù)據(jù)包括HTTP數(shù)據(jù)和DNS數(shù)據(jù)。過(guò)濾掉TLS流中的加密部分，可以得到HTTP流，具體包括出入站的HTTP字段、Content-type、User-agent、Accept-language、Server、HTTP響應(yīng)碼。DNS數(shù)據(jù)包括DNS響應(yīng)中域名的長(zhǎng)度、數(shù)字以及非數(shù)字字符的長(zhǎng)度、TTL值、DNS響應(yīng)返回的IP地址數(shù)、域名在Alexa中的排名。

4 ?TLS惡意流量識(shí)別

加密網(wǎng)絡(luò)流量給網(wǎng)絡(luò)安全防御帶來(lái)了巨大的挑戰(zhàn)，在不加解密的基礎(chǔ)上識(shí)別加密流量中包含的威脅具有十分重要的意義。通過(guò)對(duì)加密惡意流量的特征進(jìn)行深入的研究，進(jìn)而探索加密惡意流量與正常流量的特征。然后通過(guò)機(jī)器學(xué)習(xí)的方法來(lái)學(xué)習(xí)這些特征，最終能夠?qū)崟r(shí)動(dòng)態(tài)的區(qū)分網(wǎng)絡(luò)中的惡意與良性流量，檢測(cè)到惡意威脅。

惡意流量識(shí)別分為四步：第一步數(shù)據(jù)采集;第二步數(shù)據(jù)預(yù)處理;第三步模型訓(xùn)練;第四步評(píng)價(jià)驗(yàn)證。

4.1 數(shù)據(jù)集

數(shù)據(jù)集可以通過(guò)Wireshark從公共網(wǎng)絡(luò)進(jìn)行采集，過(guò)濾掉黑名單上的惡意IP流量，默認(rèn)采集到的均為良性流量，而惡意流量可以通過(guò)沙箱環(huán)境模擬并采集。很多研究采用手工采集或者公司私有的數(shù)據(jù)集，在一定程度上會(huì)影響檢測(cè)結(jié)果的可信度，所以也可以采用公開(kāi)的數(shù)據(jù)集，例如DARPA1998[7]、ISCX2012[8]、ISCX VPN-non VPN[9]等。

DARPA1998：1998年林肯實(shí)驗(yàn)室在DARPA資助下建立的一個(gè)模擬各類(lèi)入侵行為的流量數(shù)據(jù)集，包含7周訓(xùn)練流量和2周測(cè)試流量，分為正常流量和四類(lèi)攻擊流量（Dos、Probe、U2R、R2L）。

ISCX2012：2012年加拿大新布倫瑞克大學(xué)信息安全中心發(fā)布了一個(gè)入侵檢測(cè)數(shù)據(jù)集，這個(gè)數(shù)據(jù)集包含7天的流量數(shù)據(jù)集，分為正常流量和四種攻擊流量（Brute Force SSH、DDoS、Http DoS、Infiltrating）。

ISCX VPN-non VPN：Draper-gil等（2016）提供了一個(gè)加密流量數(shù)據(jù)集，包含7種常規(guī)的加密流量和7種協(xié)議封裝流量，格式包括時(shí)間流特征數(shù)據(jù)和原始流量數(shù)據(jù)。

4.2 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)預(yù)處理階段，因流量數(shù)據(jù)維度較大，本文采用Relief算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，即將收集到的數(shù)據(jù)包按照網(wǎng)絡(luò)流的定義進(jìn)行特征提取，降低數(shù)據(jù)維度，可減小后續(xù)分類(lèi)器的錯(cuò)誤率。Relief算法是一種特征權(quán)重算法（Feature Weighting Algorithms），可根據(jù)各個(gè)特征和類(lèi)別的相關(guān)性賦予不予權(quán)重，權(quán)重小于某個(gè)閾值的特征將被移除。網(wǎng)絡(luò)流是指在一定的時(shí)間內(nèi)，所有的具有相同五元組（源IP地址、源端口號(hào)、目的IP、目的端口號(hào)、協(xié)議字段）的網(wǎng)絡(luò)數(shù)據(jù)包所攜帶的數(shù)據(jù)特征總和。源IP地址、源端口號(hào)和目的IP地址、目的端口號(hào)可以互換，從而標(biāo)記一個(gè)雙向的網(wǎng)絡(luò)流。

4.3 模型訓(xùn)練

采集完樣本，首先將一個(gè)網(wǎng)絡(luò)流視為一個(gè)樣本并提取相關(guān)流量特征，將TLS特征、數(shù)據(jù)元統(tǒng)計(jì)特征和上下文數(shù)據(jù)特征建模為行向量作為特征取值，列向量不同的TLS流的矩陣。

擬采用隨機(jī)森林算法進(jìn)行訓(xùn)練，基于Bagging方法利用多個(gè)決策樹(shù)對(duì)樣本進(jìn)行訓(xùn)練并預(yù)測(cè)，隨機(jī)森林是一種有監(jiān)督的學(xué)習(xí)算法，Bagging方法是指隨機(jī)有放回的選擇訓(xùn)練數(shù)據(jù)，然后構(gòu)造分類(lèi)器，進(jìn)而通過(guò)組合學(xué)習(xí)到的模型來(lái)提高整體效果。隨機(jī)森林算法具有可高度并行化，能夠處理高維度的數(shù)據(jù)，訓(xùn)練后的模型方差小及泛化能力強(qiáng)等優(yōu)點(diǎn)，如圖1所示。

為了避免測(cè)試的偶然性，采用十折交叉驗(yàn)證法，將數(shù)據(jù)分為10份，輪流將其中的9份作為訓(xùn)練數(shù)據(jù)，1份作為驗(yàn)證數(shù)據(jù)進(jìn)行試驗(yàn)，最后將每次試驗(yàn)得到的正確率取平均值作為最終精度。

4.4 評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于訓(xùn)練產(chǎn)生的分類(lèi)模型，需按照一定的指標(biāo)進(jìn)行評(píng)估測(cè)試，來(lái)評(píng)價(jià)分類(lèi)器的的精準(zhǔn)度。分類(lèi)模型性能的一些主要指標(biāo)，如表2所示。

5 分布式自動(dòng)化惡意流量檢測(cè)體系

傳統(tǒng)的安全產(chǎn)品已無(wú)法滿(mǎn)足現(xiàn)有的安全態(tài)勢(shì)需求，如何利用機(jī)器學(xué)習(xí)快速檢測(cè)未知威脅，并盡快做出響應(yīng)，是網(wǎng)絡(luò)安全態(tài)勢(shì)感知中的關(guān)鍵問(wèn)題。利用上文提出的惡意流量檢測(cè)方法，進(jìn)一步訓(xùn)練并標(biāo)記分類(lèi)惡意流量家族樣本，建立增量式學(xué)習(xí)數(shù)據(jù)庫(kù)，進(jìn)而可以構(gòu)建自動(dòng)化惡意流量檢測(cè)體系，有助于更好的降低未知惡意流量帶來(lái)的危害。

5.1 ?惡意流量家族

惡意軟件雖然層出不窮，但大部分惡意軟件都是某個(gè)惡意家族的變種。在惡意流量檢測(cè)的二分類(lèi)問(wèn)題中，將惡意流量提取出來(lái)并對(duì)所屬的家族進(jìn)行標(biāo)記，然后重新進(jìn)行訓(xùn)練，將惡意流量檢測(cè)轉(zhuǎn)換為通過(guò)流量特征判斷其所屬家族的多分類(lèi)問(wèn)題。獲得訓(xùn)練的數(shù)據(jù)后，需對(duì)分類(lèi)的結(jié)果進(jìn)行分析討論，并盡量減少誤報(bào)率。

如表3所示，選取了在TLS特征中，7種惡意軟件家族的不同表現(xiàn)。除了表中展示的3種特征外，其他的特征還包括TLS客戶(hù)端、證書(shū)主題特征，借助這些不同的特征通過(guò)機(jī)器學(xué)習(xí)算法訓(xùn)練，可以有效幫助區(qū)分惡意軟件的家族種類(lèi)。

5.2 ?增量式學(xué)習(xí)數(shù)據(jù)庫(kù)

在當(dāng)今網(wǎng)絡(luò)環(huán)境下，惡意軟件更新迭代層出不窮，為了保持惡意流量檢測(cè)系統(tǒng)的準(zhǔn)確性，系統(tǒng)應(yīng)具有增量式學(xué)習(xí)的能力。

增量式學(xué)習(xí)是指系統(tǒng)在不斷從新的樣本學(xué)習(xí)新的知識(shí)的同時(shí)，并能保存大部分以前已學(xué)習(xí)的知識(shí)。增量式學(xué)習(xí)類(lèi)似于人類(lèi)自身的學(xué)習(xí)模式，這種學(xué)習(xí)的特性，非常適合用于網(wǎng)絡(luò)安全中的的惡意軟件檢測(cè)。故建立增量式學(xué)習(xí)能力，需具有增量式學(xué)習(xí)能力的機(jī)器學(xué)習(xí)算法，其次建立惡意軟件數(shù)據(jù)庫(kù)，如圖2所示。

建立惡意軟件數(shù)據(jù)庫(kù)，需從客戶(hù)端和服務(wù)端兩個(gè)角度進(jìn)行數(shù)據(jù)庫(kù)的建立研究。服務(wù)端：實(shí)時(shí)收集新生的惡意軟件所產(chǎn)生的流量，并進(jìn)行定期的訓(xùn)練后將特征添加到系統(tǒng)中，實(shí)現(xiàn)增量式學(xué)習(xí)?？蛻?hù)端：當(dāng)檢測(cè)到可疑流量時(shí)，分類(lèi)器判定為其他類(lèi)別后，需將其上傳至服務(wù)器端，同時(shí)在本地進(jìn)行更新。

5.3 ?分布式自動(dòng)化惡意流量檢測(cè)體系

利用上文給出的惡意流量檢測(cè)方法，搭建了分布式自動(dòng)化惡意流量檢測(cè)體系，如圖3所示。

（1）IDS Agent負(fù)責(zé)采集或收集客戶(hù)端和服務(wù)端的需鑒定文件，計(jì)算文件的MD5hash值與FileHash緩存對(duì)比，如果存在則直接判定為惡意軟件流量，并附上家族標(biāo)簽，否則緩存文件并進(jìn)入下一步。

（2）對(duì)象存儲(chǔ)（公有云IAAS組件，OSS）負(fù)責(zé)文件緩存，便于處理海量的鑒定文件，當(dāng)存儲(chǔ)完成后，發(fā)送Kafka Topic消息。

（3）主程序采用多線程方式啟用多個(gè)處理單元，收到Kafka消息后，從消息中獲得OSS文件路徑，下載文件到本地并發(fā)送給各個(gè)類(lèi)型的檢測(cè)引擎，例如惡意流量檢測(cè)、動(dòng)態(tài)/靜態(tài)文件檢測(cè)、Web Shell檢測(cè)等。

（4）惡意流量檢測(cè)引擎接收文件后，從文件中提取網(wǎng)絡(luò)流量相關(guān)數(shù)據(jù)，并根據(jù)TLS特征、數(shù)據(jù)元統(tǒng)計(jì)特征、上下文數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，然后經(jīng)過(guò)分類(lèi)器進(jìn)行分類(lèi)，將分類(lèi)結(jié)果發(fā)往決策中心。

（5）決策中心收到各類(lèi)檢測(cè)結(jié)果后，根據(jù)多類(lèi)決策樹(shù)判斷，并將最終結(jié)果發(fā)往惡意軟件家族分類(lèi)器。

（6）最后形成惡意軟件家族分類(lèi)和未知的惡意分類(lèi)，存儲(chǔ)到Elastic Search以提供給前端用戶(hù)展示。

對(duì)于系統(tǒng)中的機(jī)器學(xué)習(xí)部分，所提交需要保存的樣本均通過(guò)流量的形式發(fā)送到Kafka并存儲(chǔ)到HIVE中，然后導(dǎo)入到Spark Mlib進(jìn)行模型計(jì)算，其他通過(guò)公網(wǎng)添加的黑白樣本也通過(guò)同樣的方式加入系統(tǒng)進(jìn)行循環(huán)。在系統(tǒng)資源有限的情況下，大約一周更新一次分類(lèi)模型。

通過(guò)構(gòu)建分布式自動(dòng)化惡意流量檢測(cè)體系，可以快速、高效地獲取加密網(wǎng)絡(luò)數(shù)據(jù)流量，對(duì)數(shù)據(jù)進(jìn)行科學(xué)分析與存儲(chǔ)，縮短檢測(cè)時(shí)間的同時(shí)獲得更準(zhǔn)確的檢測(cè)結(jié)果，并預(yù)測(cè)未知威脅，實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)感知。

6 ?結(jié)束語(yǔ)

本文基于TLS握手協(xié)議的特點(diǎn)，分析了惡意流量的識(shí)別特征，通過(guò)對(duì)三類(lèi)特征的具體分析，給出了一種基于機(jī)器學(xué)習(xí)的TLS惡意流量檢測(cè)方法，并結(jié)合惡意軟件家族樣本分類(lèi)，構(gòu)建增量式學(xué)習(xí)能力，最終構(gòu)建了一個(gè)分布式自動(dòng)化惡意流量檢測(cè)體系體系，該方案具有多重優(yōu)點(diǎn)，可有效抵御層出不窮惡意流量網(wǎng)絡(luò)威脅。

參考文獻(xiàn)

[1] 張蕾，崔勇，劉靜，等.機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2018（9）：1943-1975.

[2] 王偉.基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)及異常檢測(cè)方法研究[D]. 2018.

[3] Anderson B， McGrew， David. Identifying Encrypted Malware Traffic with Contextual Flow Data[C]// Acm Workshop on Artificial Intelligence & Security. 2016.

[4] Anderson B， Mcgrew D. Machine Learning for Encrypted Malware Traffic Classification： Accounting for Noisy Labels and Non-Stationarity[C]// the 23rd ACM SIGKDD International Conference. 2017.

[5] 王琳，封化民，劉飚，等.基于混合方法的SSL VPN加密流量識(shí)別研究[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（02）：321-328.

[6] 魯剛，郭榮華，周穎，等.惡意流量特征提取綜述[J].信息網(wǎng)絡(luò)安全，2018，213（09）：7-15.

[7] Tavallaee M ， Bagheri E ， Lu W ， etal. A detailed analysis of the KDD CUP 99 data set[C]// IEEE International Conference on Computational Intelligence for Security & Defense Applications. IEEE， 2009.

[8] Shiravi A， Shiravi H， Tavallaee M， etal. Toward developing a systematic approach to generate benchmark datasets for intrusion detection[J]. Computers & Security， 2012， 31（3）：357–374.

[9] Lashkari A H， Draper-Gil G， Mamun M S I， etal. Characterization of Encrypted and VPN Traffic Using Time-Related Features[C]// International Conference on Information Systems Security & Privacy. 2016.