一種基于機器學習的安全威脅分析系統(tǒng)

司德睿，華 程，楊紅光,陳彥偉

(北京啟明星辰信息安全技術(shù)有限公司，北京 100193)

0 引言

隨著IT技術(shù)飛速發(fā)展和網(wǎng)絡(luò)空間環(huán)境的不斷變化，復(fù)雜攻擊快速興起，網(wǎng)絡(luò)安全呈現(xiàn)后果嚴重、影響廣泛化的趨勢，現(xiàn)有網(wǎng)絡(luò)安全體系面臨挑戰(zhàn)，主要有幾個方面。

(1)內(nèi)部威脅危害大、難檢測

內(nèi)部威脅是內(nèi)部人利用合法獲得的訪問權(quán)對組織信息系統(tǒng)中信息的機密性、完整性以及可用性造成負面影響的行為。內(nèi)部威脅攻擊者一般是企業(yè)或組織的員工(在職或離職)、承包商以及商業(yè)伙伴等，具有系統(tǒng)、網(wǎng)絡(luò)以及數(shù)據(jù)的訪問權(quán)。

CERT把內(nèi)部威脅行為模式分為惡意活動、非惡意的失誤活動兩大類。惡意活動包含IT蓄意破壞、知識產(chǎn)權(quán)盜竊、欺詐(無授權(quán)增刪改查組織數(shù)據(jù)、與身份信息相關(guān)的盜取或犯罪)、其他。失誤活動包含被成功釣魚(外部攻擊者獲得內(nèi)部人員憑證、惡意軟件獲得訪問權(quán)限)、敏感信息無意泄漏、通過移動設(shè)備和物理記錄的數(shù)據(jù)泄漏。

通常來說內(nèi)部威脅具有以下特征：

①透明性：攻擊者來自安全邊界內(nèi)部，因此攻擊者可以躲避防火墻等外部安全設(shè)備的檢測，導致多數(shù)內(nèi)部攻擊對于外部安全設(shè)備具有透明性。

②隱蔽性：內(nèi)部攻擊者的惡意行為往往發(fā)生在正常工作的間隙，導致惡意行為嵌入在大量的正常行為數(shù)據(jù)中，提高了數(shù)據(jù)挖掘分析的難度；同時內(nèi)部攻擊者具有組織安全防御的相關(guān)知識，因此可以采取措施逃避安全檢測。所以內(nèi)部攻擊者對于內(nèi)部安全檢測具有一定的隱蔽性。

③高危性：內(nèi)部威脅往往比外部威脅造成更嚴重的后果，主要原因是攻擊者自身具有組織的相關(guān)知識，可以接觸到組織的核心資產(chǎn)(如知識產(chǎn)權(quán)等)，從而對組織的經(jīng)濟資產(chǎn)、業(yè)務(wù)運行以及組織信譽進行破壞，對組織造成巨大損失。如2014年的美國CERT發(fā)布的網(wǎng)絡(luò)安全調(diào)查顯示僅占28%的內(nèi)部攻擊卻造成了46%的損失。

在大數(shù)據(jù)時代，內(nèi)部威脅往往帶來數(shù)據(jù)泄漏等危害，并因其隱蔽性、透明性而難以檢測。

(2)新型攻擊復(fù)雜攻擊難檢測

長期以來，依賴于特征碼樣本庫、已知規(guī)則來做檢測，檢測引擎里內(nèi)置了無數(shù)個專家制定的規(guī)則，規(guī)則閾值是人為設(shè)定的。

隨著網(wǎng)絡(luò)攻防對抗加劇，攻擊者會采用變形、多態(tài)、混淆、加密等方式有效對抗樣本特征碼匹配檢測機制。在網(wǎng)絡(luò)攻擊武器庫源代碼泄漏、黑客分享攻擊源代碼等新形勢下，攻擊者在這些代碼基礎(chǔ)上可快速演化出新變種。而一些復(fù)雜攻擊具有針對高價值目標、長期潛伏、集中爆發(fā)、造成不可逆損失等特點，它的攻擊向量通常不會反復(fù)使用。對這些網(wǎng)絡(luò)攻擊無論事前還是事后，基于樣本或規(guī)則都難以檢測。

針對惡意軟件的行為進行檢測分析成為一種有效方式，但目前沙箱檢測是在選定懷疑對象后再觀察其行為進行檢測，而如何在大量數(shù)據(jù)中篩選出懷疑對象、獲得第一線索是很困難的。

(3)安全設(shè)備告警過多，企業(yè)運維難

當前企業(yè)購買的各種安全設(shè)備每天產(chǎn)生上萬條告警，大量的告警讓人無從下手、無法實際處理，有價值的威脅線索容易被忽略，告警日志中包含大量誤報等?？蛻魧嶋H需要的是能采取行動的告警，即對事件進行關(guān)聯(lián)合并、按風險高低排序，每個事件涉及哪些主機和人員，給出每個事件的證據(jù)和相關(guān)背景信息等。這樣運維人員能較為容易地關(guān)注到重點事件，并快速研判和采取措施。

1 UEBA用戶實體行為分析

用戶實體行為分析(User Entity Behavior Analytics，UEBA)是一種面向用戶和實體的行為，采用高級數(shù)據(jù)分析方法刻畫正常行為、發(fā)現(xiàn)異常行為的技術(shù)。圍繞用戶發(fā)現(xiàn)異常行為、將風險定位到用戶是UEBA區(qū)別于傳統(tǒng)安全設(shè)備的一個特點。用戶實體行為分析圖如圖1所示。

圖1 用戶實體行為分析圖

U為用戶(User)，UEBA以分析用戶為首要任務(wù)和目的；E為實體(Entity)，UEBA不僅僅分析用戶行為，還分析主機、設(shè)備、應(yīng)用等實體對象的行為。

B為行為(Behavior)，UEBA重點聚焦于行為，面向行為分析更易于推測操作或活動的意圖，更貼近真實情況。UEBA收集多種數(shù)據(jù)包括LDAP和Windows域控等用戶信息、設(shè)備資產(chǎn)信息、網(wǎng)絡(luò)流數(shù)據(jù)、主機日志數(shù)據(jù)、應(yīng)用日志、數(shù)據(jù)庫日志等數(shù)據(jù)，從數(shù)據(jù)中提取用戶和實體的各種行為。

A為分析(Analytics)，高級分析能力是UEBA的核心，分析原理是基于統(tǒng)計、機器學習、深度學習等人工智能技術(shù)構(gòu)建用戶和關(guān)聯(lián)實體的畫像和行為正?；€，將偏離了正?；€的可疑活動視為異常，并對異常進行多維度分析來發(fā)現(xiàn)安全威脅。UEBA分析無需特征碼，是另一種分析方法。

2014年Gartner認為UBA用戶行為分析是智能安全分析的突破口，隨后將UBA改為UEBA，增加面向Entity實體(含網(wǎng)絡(luò)、終端、應(yīng)用、數(shù)據(jù)存儲)的行為分析。近年來，國外UEBA技術(shù)發(fā)展迅速，2018年RSA大會上展示的系統(tǒng)也都不謀而合地采用了UEBA技術(shù)。

UEBA與傳統(tǒng)的安全手段區(qū)別在于，傳統(tǒng)的安全手段關(guān)注安全事件(比如病毒和木馬)，而UEBA是面向行為的分析，發(fā)現(xiàn)人和實體的可疑行為尤其是內(nèi)部可疑行為，為安全人員的行動迅速指明方向。UEBA有兩個優(yōu)勢：(1)更容易找到存在異常行為的人或者異常活動的實體。UEBA長時間、持續(xù)性地對用戶和實體的行為進行記錄和分析，通過歷史行為分析來檢測當前的一些操作是否存在異常，這樣就能大大削減告警的數(shù)量，能夠迅速地關(guān)注到存在的風險點。(2)基于“人”的視角判定，可以更直接地讓審計人員、安全人員快速地定位到這個“人”的惡意操作行為。

2 UEBA解決典型問題

UEBA解決典型問題包括以下類型：

(1)發(fā)現(xiàn)員工泄露數(shù)據(jù)等惡意行為

數(shù)據(jù)泄密無小事，根據(jù)調(diào)研機構(gòu)波洛蒙研究所的調(diào)查顯示，可能導致嚴重數(shù)據(jù)泄露的5種內(nèi)部威脅分別為安全要求非響應(yīng)者、內(nèi)部人士疏忽行為、組織員工內(nèi)外串謀、持久的惡意行為、心懷不滿的員工，員工惡意行為等是所有數(shù)據(jù)泄露事件中代價最高昂且最難檢測到的事件。

(2)發(fā)現(xiàn)賬號行為異常

賬號異常包括賬號被盜用、賬號和密碼被其他人獲知，賬號被濫用、人員利用賬號所做的操作與正常業(yè)務(wù)范圍不符。

企業(yè)內(nèi)部賬號通常有相對穩(wěn)定的行為模式，與正常偏離較大時候需監(jiān)測確定賬號是否被盜用、被濫用。

圖2 用戶實體行為智能安全分析系統(tǒng)框架圖

圖3 V-UEBA流程示意圖

(3)發(fā)現(xiàn)APT高級持續(xù)威脅

隱藏在企業(yè)正常運行中的那些已被攻陷、被外部遠程控制的潛伏主機，可接收外部惡意指令，進行內(nèi)網(wǎng)嗅探、橫向移動、數(shù)據(jù)收集、數(shù)據(jù)隱蔽外傳。這種威脅隱蔽性強難發(fā)現(xiàn)，損失難估量。

針對上述網(wǎng)絡(luò)安全威脅和用戶實際需求，啟明星辰自主研發(fā)V-UEBA系統(tǒng)對用戶和實體進行細粒度異常行為檢測和分析，場景涵蓋上述領(lǐng)域。

3 V-UEBA用戶實體行為智能安全分析系統(tǒng)

用戶實體行為智能安全分析系統(tǒng)(簡稱V-UEBA)由流量深度解析引擎和網(wǎng)絡(luò)用戶實體行為智能安全分析平臺組成，其中分析平臺包含數(shù)據(jù)接入、數(shù)據(jù)管理、分析引擎、檢測分析模型、分析與可視化、系統(tǒng)管理六個部分。分析平臺提供高擴展的插裝機制，支持新算法模型快速部署、已有算法模型更新后動態(tài)部署。系統(tǒng)框架如圖2所示。

V-UEBA提供了從識別異常到確認事件的全過程優(yōu)化，包含數(shù)據(jù)采集、數(shù)據(jù)加工、檢測、分析、事件調(diào)查幾個環(huán)節(jié)，每個環(huán)節(jié)主要功能如圖3所示。

3.1 系統(tǒng)功能特點

V-UEBA系統(tǒng)功能特點：

(1)多元異構(gòu)海量安全數(shù)據(jù)處理

基于大數(shù)據(jù)計算和存儲技術(shù)，支持DIKI(D-Data網(wǎng)絡(luò)流數(shù)據(jù)、設(shè)備日志、應(yīng)用服務(wù)器日志等數(shù)據(jù)；I-Information企業(yè)關(guān)聯(lián)信息例如用戶數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、漏洞掃描數(shù)據(jù)；K-Knowledge安全知識；I-Threat Intelligence威脅情報)數(shù)據(jù)采集接入，并基于安全分析需要進行數(shù)據(jù)范式化、歸一化、過濾清洗、豐富化和標簽等加工處理，對部分安全設(shè)備告警數(shù)據(jù)提供語義自動理解識別能力，保證數(shù)據(jù)質(zhì)量。

(2)高效智能發(fā)現(xiàn)能力，準確提供第一線索

V-UEBA利用深度學習等技術(shù)，對用戶和實體對象行為建立正常基線，監(jiān)測對基線的偏離，自動讓異常行為浮出水面。

提供豐富的檢測算法，高級威脅類模型涵蓋攻擊鏈Kill-chain各種場景；異常用戶類模型涵蓋登錄異常、文件資源訪問異常、賬號異常、數(shù)據(jù)泄漏等多種場景。

V-UEBA分析引擎涵蓋基于實時流式批式、機器學習的算法分析引擎、規(guī)則分析與關(guān)聯(lián)分析引擎、全文檢索與統(tǒng)計可視化的交互分析引擎、圖分析引擎等，對告警提供自動合并和關(guān)聯(lián)，并可持續(xù)監(jiān)測，告警少量精準。

(3)更快速的安全事件研判

V-UEBA自動為安全事件提供證據(jù)，這些證據(jù)經(jīng)常是一段時間持續(xù)監(jiān)測結(jié)果匯總，呈現(xiàn)方式能讓分析人員看清隨時間流逝此事件相關(guān)各種異常行為的發(fā)展變化，方便診斷。還提供用戶畫像、實體對象畫像，集成威脅情報數(shù)據(jù)，這些背景和上下文信息加速安全事件研判。

此外，提供面向?qū)ｎ}的自動化分析功能，能自動關(guān)聯(lián)相關(guān)告警和繪制攻擊圖，一目了然地可視化呈現(xiàn)高危人員和設(shè)備、攻擊源、攻擊路徑。

(4)高級安全分析能力

V-UEBA提供高級人機交互分析工具——GQIM模型(Goal目標、Question問題、Indicator指征、Metrics度量)，讓安全分析人員在干凈數(shù)據(jù)上探索數(shù)據(jù)規(guī)律、驗證猜測，直覺和經(jīng)驗得到充分發(fā)揮。

3.2 行為提取

UEBA是面向用戶和實體的行為進行分析，而流數(shù)據(jù)、日志數(shù)據(jù)是基于IP的通常以訪問-應(yīng)答或會話為單位的機器數(shù)據(jù)，而面向IP是無法進行用戶和實體的行為分析。

V-UEBA能從機器數(shù)據(jù)中提取行為特征，為后續(xù)的用戶行為異常建模分析、實體行為異常建模分析提供輸入。

值得注意的是，通常情況下由于人員工位的不固定、會議室等公共區(qū)域的存在，特別是DHCP動態(tài)IP分配的環(huán)境下，IP與用戶、IP與實體的對應(yīng)關(guān)系并不是一成不變的。V-UEBA能為每一條機器數(shù)據(jù)找到當時對應(yīng)的用戶和實體。

3.3 用戶異常分析模型

V-UEBA系統(tǒng)用戶異常分析模型主要針對人員、賬號等行為進行分析，發(fā)現(xiàn)異常登錄和訪問、可疑賬號、數(shù)據(jù)泄漏等風險。

用戶行為分析參考了5W1H(Who人員、When時間、What對象、Where地點、Why原因、How方法)分析法，從多個維度自學習正常行為基線、發(fā)現(xiàn)與正常行為基線的偏離。

異常用戶行為類模型涵蓋多種場景，例如登錄行為異常，文件資源下載、拷貝、訪問等行為異常，賬號被盜用、賬號被濫用等行為異常，離職傾向員工可疑數(shù)據(jù)收集和外傳，點滴式數(shù)據(jù)泄漏、持續(xù)嘗試外傳等數(shù)據(jù)泄露行為。

這些用戶行為異常分析模型利用統(tǒng)計與機器學習技術(shù)，對用戶行為建立正?；€和監(jiān)測對基線的偏離。

基線偏離包含用戶與自身歷史行為基線的偏離檢測、用戶行為與同組人員行為基線的偏離檢測。

人員組包含基于企業(yè)部門、崗位角色而構(gòu)建的靜態(tài)組，以及基于一段時期內(nèi)用戶密切聯(lián)系行為而構(gòu)建的動態(tài)組。

3.4 設(shè)備實體異常分析模型

V-UEBA系統(tǒng)實體異常分析模型主要針對設(shè)備活動進行分析，發(fā)現(xiàn)異常特別是失陷主機類風險。

由于攻擊者行為模式相對而言更不易改變，新一代高級威脅檢測分析方法更多面向攻擊者的技戰(zhàn)術(shù)TTP(Tactics戰(zhàn)術(shù),Techniques技術(shù),Procedures過程)進行檢測分析。非盈利組織MITRE的ATT&CK(Adversarial Tactics,Techniques,and Common Knowledge對抗戰(zhàn)術(shù)、技術(shù)和常識)是一個經(jīng)過專家們精選的面向cybersecurity敵手行為而構(gòu)建的kill-chain攻擊鏈領(lǐng)域知識框架模型。而著名的威脅情報標準STIX也來自MITRE組織，這使得參考了ATT&CK的檢測結(jié)果后續(xù)在威脅情報輸出共享等方面也更方便。

V-UEBA參考MITRE ATT&CK的攻擊鏈框架模型，基于行為模式分析來發(fā)現(xiàn)高級威脅關(guān)鍵環(huán)節(jié)的異常行為和識別攻擊。典型檢測模型包含DGA域名訪問異常發(fā)現(xiàn)、命令和控制類行為檢測(Command & Control，簡稱C&C檢測)、橫向移動類檢測、掃描類檢測、DDoS分布式拒絕服務(wù)攻擊類、反射型DDoS類檢測、0day Webshell檢測等惡意活動類檢測。

上述檢測模型算法也是利用機器學習、深度學習等技術(shù)，對實體對象行為建立正?；€和監(jiān)測對基線的偏離，自動讓異常行為浮出水面。

3.5 異常分析算法

異常分析需構(gòu)建行為基線以及計算某次行為與其基線的偏離，算法有多種，常用算法例如基于密度的算法假設(shè)異常行為的某些特征的取值相對來說其分布是很稀疏的，通過計算其密度來表示偏離。比如最簡單的k近鄰，一個樣本和它第k個近鄰的距離就可以當做其與基線的偏離值，偏離值越大越異常。類似的還有孤立森林iForest算法通過劃分超平面來計算“孤立”一個樣本所需的超平面數(shù)量，此數(shù)量也可作為與基線的偏離值，不過此時偏離值越小表示越異常。

以基于流數(shù)據(jù)的端口掃描檢測為例，對流數(shù)據(jù)做端口掃描行為的特征(feature)提取，然后使用iForest孤立森林算法來進行異常檢測。它是一個基于Ensemble集成學習的快速異常檢測算法，對全局稀疏點敏感，由于每棵樹都是互相獨立生成的，因此可以部署在大規(guī)模分布式系統(tǒng)上并行處理來加速運算，是符合大數(shù)據(jù)處理要求的新式先進異常檢測算法。端口掃描檢測的iForest算法中選擇樹數(shù)量為100，樹高度為10，IP數(shù)量為2 000時，檢測率為96%。

4 結(jié)論

面對大數(shù)據(jù)時代內(nèi)部威脅、隱蔽復(fù)雜攻擊，利用統(tǒng)計與機器學習等技術(shù)面向用戶和實體行為進行異常分析優(yōu)勢明顯。V-UEBA利用這些技術(shù)能清楚分辨出行為異常的用戶與實體，精準迅速找出威脅，對于安全分析的效果和效率都有較大提升。