基于大數(shù)據(jù)的網(wǎng)絡安全態(tài)勢感知及主動防御技術研究與應用

(國網(wǎng)山東省電力公司電力科學研究院，濟南 250003)

0 引言

近年來，針對能源電力行業(yè)的網(wǎng)絡攻擊越來越多，而國家電網(wǎng)公司是全國能源供給核心，電網(wǎng)安全關乎全國經(jīng)濟安全。電力行業(yè)的信息化發(fā)展水平和速度居各行業(yè)前列，并且安全防御體系的建設一直是電力行業(yè)信息化工作的重點。目前電力信息系統(tǒng)網(wǎng)絡內已部署了豐富的安全設備，包括防火墻、WEB應用防火墻、入侵檢測系統(tǒng)(IDS)、入侵防御系統(tǒng)(IPS)、數(shù)據(jù)庫審計設備等，安全監(jiān)測的內容不斷細化，但由于傳統(tǒng)安全設備的相互孤立性，產(chǎn)生的安全情報數(shù)據(jù)呈現(xiàn)出分散和孤立的共性，傳統(tǒng)的分析方法和模型已不能滿足目前的安全現(xiàn)狀需求，究其原因在于傳統(tǒng)安全設備相互孤立，產(chǎn)生的安全日志數(shù)據(jù)的種類和數(shù)量增長迅速，呈現(xiàn)出數(shù)據(jù)量大、異構的特性，而目前缺失數(shù)據(jù)統(tǒng)一收集、處理和分析的系統(tǒng)化技術手段。規(guī)范提升對這部分數(shù)據(jù)的分析、挖掘和有效利用，是改進當前安全威脅防御方式亟待解決的問題。

國家電網(wǎng)公司正在大力推進堅強智能電網(wǎng)和泛在電力物聯(lián)網(wǎng)建設，電網(wǎng)數(shù)字化和智能化程度不斷提高，伴隨著各個信息系統(tǒng)的交互性要求也越來越高，網(wǎng)絡信息安全給電力信息系統(tǒng)及泛在電力物聯(lián)網(wǎng)建設提出了更高的要求。比如相關安全數(shù)據(jù)的采集和存儲能力、信息系統(tǒng)安全威脅的發(fā)現(xiàn)感知能力、立體化縱深防御能力等方面，都面臨著相比過去傳統(tǒng)信息系統(tǒng)的安全防護體系更高的技術和管理規(guī)范化要求。隨著相關安全威脅情報數(shù)據(jù)的數(shù)量及數(shù)據(jù)種類不斷增多，數(shù)據(jù)以指數(shù)級快速增長，大量數(shù)據(jù)的采集、存儲、融合、分析變得越來越困難。當前，網(wǎng)絡攻擊行為呈現(xiàn)出復雜化、分布化等特點，防火墻、入侵檢測等網(wǎng)絡安全設備已經(jīng)不能滿足網(wǎng)絡空間變化的需求。因此，需要研究新技術來感知預警網(wǎng)絡中的攻擊等異常事件，提高網(wǎng)絡安全防護能力。

網(wǎng)絡安全態(tài)勢感知技術能夠全面感知網(wǎng)絡安全威脅態(tài)勢、洞悉網(wǎng)絡及應用運行健康狀態(tài)、通過全流量分析技術實現(xiàn)完整的網(wǎng)絡攻擊溯源取證，幫助安全人員采取針對性響應處置措施。網(wǎng)絡安全態(tài)勢感知技術研究涉及到大數(shù)據(jù)分析、數(shù)據(jù)融合處理等相關技術[1]。通過對采集的網(wǎng)絡安全日志數(shù)據(jù)進行全流量分析處理，可挖掘網(wǎng)絡中的攻擊事件，進而感知公司的網(wǎng)絡安全態(tài)勢。

針對電力信息系統(tǒng)大數(shù)據(jù)環(huán)境下的安全威脅和各類網(wǎng)絡攻擊，研究了基于大數(shù)據(jù)的電力信息系統(tǒng)網(wǎng)絡安全態(tài)勢感知及主動防御技術。通過在公司網(wǎng)絡出口處部署全流量數(shù)據(jù)采集器，對安全日志、網(wǎng)絡流量、APT等多維度異構數(shù)據(jù)源進行全要素的信息采集，并采用高性能的處理器對數(shù)據(jù)進行處理存儲，采用大數(shù)據(jù)相關技術對攻擊數(shù)據(jù)包進行回溯分析，對攻擊態(tài)勢進行圖形化直觀展示，可以提供從攻擊預警、識別和分析取證的全面分析能力。

1 網(wǎng)絡安全態(tài)勢感知相關概念及技術

1.1 網(wǎng)絡安全態(tài)勢感知相關概念

態(tài)勢感知是一種基于環(huán)境的、動態(tài)、整體地洞悉安全風險的能力，是以安全大數(shù)據(jù)為基礎，通過在一定時間和空間內對公司網(wǎng)絡信息系統(tǒng)的全部數(shù)據(jù)流量進行采集獲取，進而匹配攻擊關聯(lián)規(guī)則，并對未來可能發(fā)生的攻擊事件進行預測。整個態(tài)勢感知過程包括態(tài)勢要素獲取、態(tài)勢理解和態(tài)勢預測[2-5]。網(wǎng)絡態(tài)勢是指對各類網(wǎng)絡設備的運行數(shù)據(jù)、網(wǎng)絡中發(fā)生的用戶訪問及攻擊等行為構成的網(wǎng)絡狀態(tài)。網(wǎng)絡態(tài)勢感知是在大規(guī)模網(wǎng)絡環(huán)境中，對網(wǎng)絡運行中的安全要素進行獲取、理解、分析、展示并預測最近的發(fā)展趨勢[6]。

網(wǎng)絡安全態(tài)勢感知通過對網(wǎng)絡中的全部數(shù)據(jù)流量進行實時采集，再運用數(shù)據(jù)融合、數(shù)據(jù)挖掘技術對流量進行分析處理，再采用大數(shù)據(jù)可視化技術進行直觀展示，實時展示網(wǎng)絡的運行安全狀況，為網(wǎng)絡安全提供保障[7-9]。通過實時感知網(wǎng)絡中的安全態(tài)勢，可以及時發(fā)現(xiàn)網(wǎng)絡中的攻擊事件，并及時對公司信息系統(tǒng)存在的漏洞進行加固處理，避免和減少公司網(wǎng)絡被惡意人員攻擊的風險。

1.2 網(wǎng)絡安全態(tài)勢感知相關技術

目前，網(wǎng)絡空間數(shù)據(jù)呈爆發(fā)式增長，各單位都加大了網(wǎng)絡安全設備的投入，網(wǎng)絡拓撲也越來越復雜，隨著業(yè)務的增多，業(yè)務系統(tǒng)平臺也逐漸增多。但是，網(wǎng)絡攻擊的手段和方法卻越來越先進，涌現(xiàn)了很多新型的零日漏洞，同時，隨之出現(xiàn)了很多自動化和智能化的攻擊工具，導致網(wǎng)絡威脅逐漸增多，造成的損失也逐漸增多。為了實時、準確地顯示整個網(wǎng)絡的安全態(tài)勢，需要對網(wǎng)絡數(shù)據(jù)流量進行全流量采集、數(shù)據(jù)預處理、融合分析等環(huán)節(jié)，實時監(jiān)控網(wǎng)絡數(shù)據(jù)流量。網(wǎng)絡安全態(tài)勢感知涉及的技術主要包括數(shù)據(jù)融合技術、數(shù)據(jù)挖掘技術、特征提取技術、態(tài)勢預測技術和可視化技術等[10-11]。

數(shù)據(jù)融合技術是指利用計算機對按時序獲得的若干觀測信息，在一定準則下加以自動分析、綜合，以完成所需的決策和評估任務而進行的信息處理技術。這個處理過程主要是對具有相似特征的數(shù)據(jù)進行整合，按照數(shù)據(jù)的關聯(lián)性進行合并等融合處理，從而得到更為準確、可靠的結論[11-12]。

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，通過統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)和模式識別等諸多方法來挖掘出有用的信息，找出能被大家理解的信息和知識的過程[10,13]。

網(wǎng)絡安全態(tài)勢特征提取技術是通過對網(wǎng)絡數(shù)據(jù)流量進行融合處理后，與攻擊特征庫規(guī)則進行對比分析，找出能體現(xiàn)網(wǎng)絡實時運行狀況的數(shù)據(jù)特征以及攻擊特征，從而能夠判斷出網(wǎng)絡是否安全或者網(wǎng)絡被黑客攻擊面臨的威脅情況[14]。網(wǎng)絡安全態(tài)勢特征提取是評估預測網(wǎng)絡態(tài)勢的前提，目前網(wǎng)絡安全態(tài)勢特征提取方法主要有模糊層次分析法、層次分析法、德爾菲法和綜合分析法[11,15]。網(wǎng)絡安全態(tài)勢預測是網(wǎng)絡安全態(tài)勢感知的重要環(huán)節(jié)，主要通過對網(wǎng)絡數(shù)據(jù)流量分析出網(wǎng)絡的運行狀況，再運用科學的理論方法推測網(wǎng)絡在未來可能發(fā)現(xiàn)的變化。由于網(wǎng)絡態(tài)勢在不同時間段彼此相關，可以根據(jù)安全態(tài)勢的變化預測未來可能受到的網(wǎng)絡攻擊，從而可以有針對性地對網(wǎng)絡設備配置合理的安全策略，采取主動防御的思想，預防大規(guī)模網(wǎng)絡安全事件的發(fā)生[11-12]。

可視化技術是指利用計算機圖形學和圖像處理技術，將數(shù)據(jù)轉換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術[16]。目前已有很多研究將可視化技術和可視化工具應用于網(wǎng)絡安全態(tài)勢感知領域，通過可視化方式實時展現(xiàn)國內外對公司網(wǎng)絡信息系統(tǒng)的攻擊情況，可以準確定位出攻擊源及攻擊目標，從而更方便幫助用戶從安全態(tài)勢圖上快速找出安全威脅，更直觀顯示出網(wǎng)絡安全狀態(tài)。

2 態(tài)勢感知平臺部署架構

基于大數(shù)據(jù)技術的網(wǎng)絡安全態(tài)勢感知預警平臺部署架構如圖1所示，部署架構主要如下：前端服務器主要分為TSA服務器、IDS服務器、防火墻等服務器，每種類型的前端服務器都為大數(shù)據(jù)分析技術的網(wǎng)絡安全態(tài)勢感知預警平臺提供數(shù)據(jù)來源，供態(tài)勢感知預警監(jiān)測系統(tǒng)進行數(shù)據(jù)分析與檢索。

圖1 基于大數(shù)據(jù)的態(tài)勢感知平臺部署架構

采集服務器負責對TSA、IDS、APT、IPS等前端安全服務器數(shù)據(jù)進行集中收集，并對數(shù)據(jù)進行過濾，緩存，簡單范式化等處理操作。

預處理服務器匯總所有采集服務器上報的數(shù)據(jù)，并對上報數(shù)據(jù)進行統(tǒng)一的范式化處理，對采集的數(shù)據(jù)進行數(shù)據(jù)歸并、數(shù)據(jù)清洗等操作，并根據(jù)不同業(yè)務把數(shù)據(jù)存儲到不同的存儲系統(tǒng)上。

預處理完成的數(shù)據(jù)都存放在hadoop服務器上，并利用hadoop的存儲與分析能力，對數(shù)據(jù)進行關聯(lián)統(tǒng)計與數(shù)據(jù)挖掘，形成結果數(shù)據(jù)并導入檢索引擎，供web服務器查詢數(shù)據(jù)。

Es節(jié)點(Elasticsearch)服務器對hadoop服務器形成的結果數(shù)據(jù)，進行海量數(shù)據(jù)的存儲與簡單的二次統(tǒng)計，并提供接口給web服務器檢索數(shù)據(jù)。

客戶端服務器針對整個態(tài)勢感知預警平臺，提供自動化運維與監(jiān)控服務，運維人員通過客戶端服務器提供的接口去配置與管理系統(tǒng)平臺的任務調度與運維監(jiān)控。

Web服務器主要分為Web數(shù)據(jù)庫服務器和Web展示服務器。Web數(shù)據(jù)庫服務器主要是存放態(tài)勢感知預警平臺系統(tǒng)的業(yè)務功能數(shù)據(jù)；Web展示服務器利用業(yè)務服務器的基礎數(shù)據(jù)和態(tài)勢感知預警平臺系統(tǒng)的數(shù)據(jù)按業(yè)務功能管理與威脅數(shù)據(jù)分析兩大功能進行數(shù)據(jù)可視化展現(xiàn)。

3 網(wǎng)絡安全態(tài)勢感知及主動防御模型研究

隨著網(wǎng)絡規(guī)模的擴大以及網(wǎng)絡攻擊復雜度的增加，防火墻、防病毒、IDS、IPS、安全審計等眾多的安全設備應用廣泛，各省電力公司加大了網(wǎng)絡安全建設的投入力度，先后建立并部署了各種類型的安全設備或系統(tǒng)，如APT系統(tǒng)、IDS、IPS、防火墻、殺毒軟件等。但基于特征規(guī)則的傳統(tǒng)安全設備只能檢測已知網(wǎng)絡攻擊，存在較高漏報和誤報。而且以純粹攻防理念為主導的APT類產(chǎn)品僅對惡意代碼樣本進行分析，與業(yè)務結合性差，無法做到攻擊溯源與取證，仍需人工分析在海量數(shù)據(jù)中尋找線索，對信息安全專業(yè)人員的分析幫助有限。同時，雖然安全運營中心(SOC)和安全信息和事件管理(SIEM)對安全系統(tǒng)的大量日志進行了整合，但數(shù)據(jù)源單一，而且缺乏提供精準分析的能力與手段，安全分析人員從這些海量數(shù)據(jù)中分析出有效線索無異于大海撈針。事實上，無論是傳統(tǒng)安全設備與系統(tǒng)，還是SOC等，都是保證網(wǎng)絡安全的重要組成部分。但是，這些部分彼此間相對隔離，信息不能及時共享，針對發(fā)生的網(wǎng)絡安全事件，依靠人工效率極低且時間滯后，無法發(fā)揮各部分最大的安全性能。

為了加強網(wǎng)絡安全管理，我們提出了基于多源日志的網(wǎng)絡安全態(tài)勢感知預警技術，將多維度、多層次的安全數(shù)據(jù)源進行整合，構建基于大數(shù)據(jù)分析技術的態(tài)勢感知預警監(jiān)測平臺，充分利用數(shù)據(jù)之間的內在關系進行深度分析和挖掘，發(fā)展全面的態(tài)勢感知和高效精準的分析技術，可以大大地提升網(wǎng)絡空間態(tài)勢感知與預警監(jiān)測能力。

研究開發(fā)的網(wǎng)絡安全態(tài)勢感知預警平臺通過內建以機器學習和智能分析算法為基礎的多種網(wǎng)絡安全分析模型，采用TEZ，SPARK并行計算框架，并利用數(shù)據(jù)挖掘，文本分析，流量分析，全文搜索引擎，實時處理等方式來對數(shù)據(jù)進行深度的分析與挖掘，結合模型庫內的入侵檢測模型、網(wǎng)絡異常行為模型、設備異常行為模型，實時甄別未知的安全威脅。通過對公司信息系統(tǒng)進行實時監(jiān)控，構建了“事前發(fā)現(xiàn)、事中控制、事后追蹤”的主動防控的信息安全管理體系，變被動防御為主動防控，完善已發(fā)生的信息事件應急處置機制，通過主動防御技術措施的實施和管理體系化的創(chuàng)新，提高對未知安全威脅的發(fā)現(xiàn)和甄別能力。網(wǎng)絡安全態(tài)勢感知平臺主要涉及以下3種分析模型的深度研究。

3.1 關聯(lián)分析模型

網(wǎng)絡安全設備產(chǎn)生的日志描述了安全事件的詳細過程，針對網(wǎng)絡中疑似攻擊事件會產(chǎn)生報警，可對相應的報警日志信息進行關聯(lián)分析，對攻擊數(shù)據(jù)包進行回溯分析，查看相應的TCP會話等過程，最終還原出攻擊事件的整個過程。通過采用基于相似度的報警關聯(lián)分析，可以降低關聯(lián)分析的難度，把報警日志的數(shù)量精確到最小，提高了關聯(lián)分析的準確性?；谙嗨贫鹊膱缶P聯(lián)分析過程如下：

1) 提取報警日志中的主要屬性，主要包括：時間、攻擊源位置、攻擊源IP、攻擊類型、攻擊目標IP、攻擊目標、所屬單位，并將攻擊報警屬性還原成相應的攻擊事件，形成原始報警；

2) 通過對重復報警進行合并，對報警進行分類匹配，聚合有較高相似度的報警，生成聚合報警；

3) 對聚合后的報警的各個屬性定義報警屬性相似度的計算方法，并對每個屬性分配權重；

4) 計算兩個聚合報警的相似度，通過比較相似度閥值，判斷需不需要對聚合報警進行再次報警；

5) 采用基于時間窗口的報警選擇方法來選擇適量的報警進行關聯(lián)比較，并構建關聯(lián)知識庫，挖掘原始報警之間的關聯(lián)關系，繪制報警事件關聯(lián)圖；

6) 根據(jù)聚合報警事件輸出屬于同一類的報警信息，生成相應的安全事件。安全事件按照時間節(jié)點記錄了發(fā)生的攻擊類型、攻擊源IP、攻擊目標IP、攻擊類型、攻擊次數(shù)等詳細信息。

3.2 融合分析模型

由于安全設備采集的日志可能存在冗余性，所以需要對多個設備采集的日志信息進行融合處理，才能生成更準確的安全態(tài)勢。通過對單源日志報警信息進行相似度的報警關聯(lián)分析，可以還原每個攻擊事件的原始過程。針對多源安全事件，采用Dempster/Shafer證據(jù)理論(D-S證據(jù)理論)方法進行日志融合判別[17-20]，對安全事件的可信度進行評估，進一步提高準確率，減少安全設備的誤報率。采用D-S證據(jù)理論對網(wǎng)絡安全攻擊事件進行融合的過程為：

1) 針對安全事件的多維度屬性，包括：時間、攻擊源位置、攻擊源IP、攻擊類型、攻擊目標IP、攻擊目標、所屬單位，采用多維信息的分域、層次融合方式，利用初始信息確定融合所需的概率分布的近似算法對安全事件數(shù)據(jù)進行融合處理；

2) 對安全設備原始報警日志，根據(jù)初始信任分配方法，分配信息度相似函數(shù)；

3) 通過采用D-S的組合規(guī)則，計算安全設備報警日志融合之后的安全事件的可信度。

3.3 攻擊要素分析模型

通過在網(wǎng)絡出口處部署全流量采集設備，可以對全部數(shù)據(jù)流量進行實時采集，但是采集的全流量數(shù)據(jù)信息巨大，需要進一步分析出真實的攻擊事件。攻擊要素分析主要包括如下過程：

1) 通過對大量網(wǎng)絡攻擊實例進行研究，建立攻擊特征庫；

2) 把攻擊特征庫加入大數(shù)據(jù)態(tài)勢感知平臺，自動匹配攻擊事件；

3) 根據(jù)攻擊事件類型分析被攻擊服務器主機上開放的服務端口可能發(fā)生的漏洞；

4) 建立平臺當前網(wǎng)絡環(huán)境的漏洞知識庫；

5) 發(fā)現(xiàn)攻擊異常流量，生成攻擊事件；

6) 通過與漏洞知識庫進行比較，確認攻擊事件。

4 實驗結果分析

目前公司部署的基于大數(shù)據(jù)的網(wǎng)絡安全態(tài)勢感知預警平臺已接入信息外網(wǎng)出口流量及18個重要資產(chǎn)服務器流量、內網(wǎng)出口流量及24個重要資產(chǎn)服務器流量、2臺IPS、2臺防火墻、信息外網(wǎng)APT系統(tǒng)，共部署高性能硬件服務器7臺，其中ES節(jié)點3臺，hadoop節(jié)點3臺，前端展示服務器1臺。截至目前，已獲取威脅事件數(shù)據(jù)8 TG，記錄威脅數(shù)據(jù)條數(shù)6 180兆條，現(xiàn)已加入互聯(lián)網(wǎng)威脅情報32萬余條。通過態(tài)勢感知預警平臺監(jiān)控到前端設備網(wǎng)絡流量如圖2所示。

圖2 監(jiān)控前端設備網(wǎng)絡流量

以2018年6月數(shù)據(jù)為例，共發(fā)現(xiàn)外網(wǎng)威脅事件674 311條，重點資產(chǎn)威脅事件1 870條，其中，觸發(fā)Web攻擊類2650次，DDoS攻擊2300次，瀏覽器掃描類275 500次；從威脅情報命中占比來看，威脅ip占比53%，威脅域名占比32%，威脅URL占比12%；從攻擊方式看，主動攻擊占比63%，被動攻擊占比37%；從攻擊來源看，國內占比66.84%，美國占比33.03%。公司外網(wǎng)重點資產(chǎn)被攻擊態(tài)勢展示結果如圖3所示，威脅事件及占比分析結果如圖4所示，威脅源國家占比數(shù)如圖5所示。2018年10月、11月威脅環(huán)比數(shù)據(jù)如圖6所示，各類攻擊威脅次數(shù)差異Top5如圖7所示，攻擊源ip和目的ip的行為畫像如圖8所示。從態(tài)勢感知預警的分析結果中，我們可以清晰地看到公司信息系統(tǒng)面臨的安全威脅，從而及時制定相應的安全加固措施，保障了公司信息系統(tǒng)的安全穩(wěn)定運行。

圖3 重點資產(chǎn)被攻擊情況

圖4 威脅事件及占比情況

圖5 威脅源國家占比數(shù)

圖6 月威脅環(huán)比情況

圖7 各類攻擊威脅次數(shù)差異Top5

圖8 攻擊IP行為畫像

5 結語

為了解決日益嚴重的網(wǎng)絡安全威脅，通過采用態(tài)勢感知技術實時感知預測網(wǎng)絡安全威脅。通過在介紹網(wǎng)絡安全態(tài)勢相關概念和技術的基礎上，對網(wǎng)絡安全態(tài)勢感知及主動防御技術進行了深入研究，重點研究了利用大數(shù)據(jù)進行多源日志的關聯(lián)分析、融合分析和態(tài)勢要素分析等技術，并將其技術應用于公司網(wǎng)絡信息系統(tǒng)環(huán)境。通過在公司內外網(wǎng)網(wǎng)絡出口部署全流量數(shù)據(jù)采集分析器，對原始網(wǎng)絡流量進行實時采集和存儲，采用大數(shù)據(jù)分析技術對安全威脅進行實時智能分析，對網(wǎng)絡攻擊過程進行回溯分析，并借助大數(shù)據(jù)展示組件，實現(xiàn)對分析結果的多維度圖形化直觀展現(xiàn)。通過構建基于大數(shù)據(jù)的網(wǎng)絡安全態(tài)勢感知預警平臺，實時監(jiān)控公司電力信息系統(tǒng)面臨的安全威脅，及時制定相應的安全加固措施，保障了公司信息系統(tǒng)的安全穩(wěn)定運行。