基于大數(shù)據(jù)分析的態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)

◆遲玉領(lǐng)

基于大數(shù)據(jù)分析的態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)

◆遲玉領(lǐng)

（國(guó)能黃驊港務(wù)有限責(zé)任公司 河北 061113）

針對(duì)傳統(tǒng)的網(wǎng)絡(luò)安全產(chǎn)品難以解決當(dāng)下用戶網(wǎng)絡(luò)安全問(wèn)題的現(xiàn)狀，本文設(shè)計(jì)了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)，包括大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)和網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)功能設(shè)計(jì)?；诖髷?shù)據(jù)平臺(tái)提供的組件功能，為態(tài)勢(shì)感知平臺(tái)提供數(shù)據(jù)獲取、數(shù)據(jù)融合、分析、檢索、存儲(chǔ)以及模型、算法、機(jī)器學(xué)習(xí)、接口等眾多基礎(chǔ)服務(wù)功能，保障態(tài)勢(shì)感知平臺(tái)能夠?qū)Ａ扛婢瘮?shù)據(jù)進(jìn)行提取、響應(yīng)、分析、處理，準(zhǔn)確地識(shí)別出安全事件，真正解決用戶安全問(wèn)題，為今后網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)產(chǎn)品發(fā)展方向提供思路和方法。

大數(shù)據(jù);網(wǎng)絡(luò)安全；態(tài)勢(shì)感知；機(jī)器學(xué)習(xí)；可視化

1 引言

隨著傳統(tǒng)互聯(lián)網(wǎng)、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，信息安全問(wèn)題越來(lái)越突出，不僅引起了企業(yè)領(lǐng)導(dǎo)的重視，更引起了國(guó)家領(lǐng)導(dǎo)人的關(guān)注。習(xí)近平總書記更是提出了要“構(gòu)建關(guān)鍵信息基礎(chǔ)設(shè)施安全保障體系，全天候全方位感知網(wǎng)絡(luò)安全態(tài)勢(shì)”[1]。

同時(shí)，由于攻擊者、黑客技術(shù)水平的不斷提升，攻擊手段已向著更為復(fù)雜的0day漏洞利用和APT攻擊演變，攻擊手段多樣化，這給企業(yè)的安全保障帶來(lái)了極大的困擾[2]。

但是，目前主要的應(yīng)對(duì)措施依然是基于安全產(chǎn)品的簡(jiǎn)單組合，存在較多的不足[3-4]：

1) 安全設(shè)備孤島式分布，無(wú)法關(guān)聯(lián)分析；

2) 安全設(shè)備告警泛濫，運(yùn)維人員處于告警疲勞；

3) 安全告警依賴內(nèi)置規(guī)則，缺乏建模分析；

4) 無(wú)安全回溯能力，無(wú)法對(duì)攻擊者追蹤溯源；

5) 缺失資產(chǎn)、弱點(diǎn)、安全事件的關(guān)聯(lián)對(duì)應(yīng)。

基于這些痛點(diǎn)，目前迫切需要一種能夠?qū)Ａ繑?shù)據(jù)進(jìn)行準(zhǔn)確提取、建模、分析，再結(jié)合威脅情報(bào)，精準(zhǔn)發(fā)現(xiàn)安全事件，提升用戶運(yùn)維效率、協(xié)助用戶解決安全問(wèn)題。

2 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)

2.1 大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)

大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)采用對(duì)開源組件的封裝和增強(qiáng)，提供組件，主要解決多源異構(gòu)數(shù)據(jù)的采集、匯聚、處理、存儲(chǔ)以及為上層應(yīng)用提供各類計(jì)算能力和數(shù)據(jù)服務(wù)能力，大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)如圖1所示[5-6]。

圖1 大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)

系統(tǒng)管理設(shè)計(jì)：主要提供高可靠、安全、容錯(cuò)、易用的集群管理能力，支持集群化的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理、健康檢查、問(wèn)題定位、升級(jí)和補(bǔ)丁等管理功能。

分析展示設(shè)計(jì)：主要提供儀表盤、大屏、告警中心、可視化圖表等多種展示功能。

接口設(shè)計(jì)：主要提供REST API、SDK、JDBC/ODBC等接口，供第三方系統(tǒng)調(diào)用。

數(shù)據(jù)交換設(shè)計(jì)：主要采用NxLog、Beats實(shí)現(xiàn)平臺(tái)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間的數(shù)據(jù)交換功能。

分布式消失隊(duì)列設(shè)計(jì)：主要采用kafka組件實(shí)現(xiàn)實(shí)時(shí)消息發(fā)布，提供可擴(kuò)展、高吞吐、低延遲、高可靠的消息分發(fā)服務(wù)。

任務(wù)調(diào)度系統(tǒng)設(shè)計(jì)：主要采用Scheduler組件，實(shí)現(xiàn)各任務(wù)之間的調(diào)度功能。

資源調(diào)度管理設(shè)計(jì)：主要采用YARN組件，實(shí)現(xiàn)各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。

流計(jì)算框架設(shè)計(jì)：主要采用Flink開源流處理框架，支持批處理和流處理功能。

分布式文件系統(tǒng)設(shè)計(jì)：主要采用Hadoop架構(gòu)，提供高吞吐量的數(shù)據(jù)訪問(wèn)功能。

實(shí)時(shí)分布式數(shù)據(jù)庫(kù)設(shè)計(jì)：主要采用Hbase技術(shù)，實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)的功能。

全文檢索設(shè)計(jì)：主要采用ElasticSearch檢索引擎，實(shí)現(xiàn)快速、穩(wěn)定、可靠的搜索功能；

分布式文件系統(tǒng)設(shè)計(jì)：主要采用HDFS技術(shù)，實(shí)現(xiàn)批量文件的快速存儲(chǔ)與調(diào)取功能。

關(guān)系數(shù)據(jù)庫(kù)設(shè)計(jì)：主要采用MySQL數(shù)據(jù)庫(kù)組件，提供一個(gè)具備高可靠性的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)功能。

2.2 態(tài)勢(shì)感知平臺(tái)功能設(shè)計(jì)

基于大數(shù)據(jù)技術(shù)，建立安全數(shù)據(jù)中心，利用AI模型和可視化技術(shù)，對(duì)企業(yè)網(wǎng)絡(luò)環(huán)境內(nèi)發(fā)生的所有行為進(jìn)行全面分析，實(shí)現(xiàn)對(duì)脆弱性、威脅、事件的深入分析和關(guān)聯(lián)，從業(yè)務(wù)系統(tǒng)、應(yīng)用情境、用戶等維度進(jìn)行關(guān)聯(lián)分析，實(shí)現(xiàn)攻擊路徑還原、攻擊危害評(píng)估、調(diào)查取證、安全態(tài)勢(shì)可視化分析等安全能力。功能架構(gòu)設(shè)計(jì)如圖2所示[7-8]。

圖2 態(tài)勢(shì)感知平臺(tái)功能架構(gòu)設(shè)計(jì)

2.2.1安全數(shù)據(jù)采集系統(tǒng)功能設(shè)計(jì)

1）流量數(shù)據(jù)采集設(shè)計(jì)

基于流量深度檢測(cè)DPI技術(shù)，針對(duì)HTTP、SMTP、POP3、IMAP、SMB、FTP等網(wǎng)絡(luò)協(xié)議進(jìn)行流量采集，并對(duì)二至七層全協(xié)議進(jìn)行深度解析，并對(duì)流量中隱藏的木馬、蠕蟲、病毒等惡意代碼流量進(jìn)行檢測(cè)告警。

2）日志數(shù)據(jù)采集設(shè)計(jì)

通過(guò)采用Syslog、SNMP Trap、Netflow、NMAP、FTP、ODBC、SSH等協(xié)議進(jìn)行日志數(shù)據(jù)采集。包括網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機(jī)、服務(wù)器、中間件等日志。

3）外部威脅情報(bào)采集設(shè)計(jì)

通過(guò)集成第三方威脅情報(bào)源，對(duì)系統(tǒng)中存在的惡意IP、URL、Domain等可疑行為進(jìn)行及時(shí)告警和通知。

4）APT攻擊檢測(cè)設(shè)計(jì)

利用自學(xué)習(xí)白名單分析、病毒特征庫(kù)匹配以及動(dòng)態(tài)沙箱等技術(shù)手段對(duì)APT攻擊進(jìn)行檢測(cè)分析。

2.2.2安全威脅分析預(yù)警系統(tǒng)設(shè)計(jì)

1）攻擊分析設(shè)計(jì)

DDOS攻擊分析：利用機(jī)器自學(xué)習(xí)功能對(duì)DDOS攻擊流量樣本進(jìn)行訓(xùn)練，識(shí)別出Syn-flood、ack-flood、udp-flood、ICMP-flood等攻擊。

CC攻擊分析：通過(guò)分析流量特征和HTTP協(xié)議中的報(bào)文，識(shí)別出CC攻擊；

僵木蠕毒數(shù)據(jù)分析：通過(guò)nmap技術(shù)實(shí)時(shí)掃描網(wǎng)絡(luò)狀態(tài)，識(shí)別出僵尸網(wǎng)絡(luò)；利用病毒庫(kù)特征庫(kù)匹配技術(shù)檢測(cè)出木馬、蠕蟲、病毒等。

APT攻擊分析：利用動(dòng)態(tài)沙箱技術(shù)，識(shí)別出網(wǎng)絡(luò)中存在的APT攻擊威脅。

2）UEBA分析設(shè)計(jì)

資產(chǎn)自動(dòng)發(fā)現(xiàn)：利用識(shí)別指紋庫(kù)，對(duì)流量和日志數(shù)據(jù)進(jìn)行指紋抓取，自動(dòng)識(shí)別出相關(guān)網(wǎng)絡(luò)資產(chǎn)，包括安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機(jī)、數(shù)據(jù)庫(kù)、中間件以及應(yīng)用系統(tǒng)等資產(chǎn)；

主機(jī)失陷檢測(cè)：用機(jī)器學(xué)習(xí)檢測(cè)DGA域名請(qǐng)求、遠(yuǎn)控工具指紋庫(kù)、漏洞庫(kù)，以及多個(gè)隱蔽信道通信檢測(cè)模型，可以全方位發(fā)現(xiàn)主機(jī)被遠(yuǎn)程控制或被掛馬。

端口分析：主要利用nmap技術(shù)，對(duì)存活設(shè)備的端口進(jìn)行監(jiān)測(cè)，密切關(guān)注高危端口的TCP報(bào)文連接情況分析。

賬號(hào)失陷檢測(cè)：檢測(cè)內(nèi)部用戶賬號(hào)被惡意濫用行為，如檢測(cè)不合理的登錄行為和操作行為。

用戶行為畫像分析：利用機(jī)器自學(xué)習(xí)技術(shù)對(duì)用戶日常操作行為進(jìn)行建模，對(duì)用戶操作行為進(jìn)行畫像分析。

攻擊者畫像分析：利用大數(shù)據(jù)分析技術(shù)，對(duì)既有安全日志從事件、時(shí)間、影響、危害等多個(gè)維度分析，從而快速、全面的獲取攻擊畫像。

3）數(shù)據(jù)泄露分析設(shè)計(jì)

可疑的文件監(jiān)測(cè)：通過(guò)判斷用戶文件夾訪問(wèn)行為、移動(dòng)行為等，識(shí)別出可疑的文件操作；

敏感數(shù)據(jù)訪問(wèn)異常檢測(cè)：通過(guò)IP與用戶的映射關(guān)系，實(shí)時(shí)檢測(cè)分析非法用戶是否在訪問(wèn)敏感數(shù)據(jù)；

敏感數(shù)據(jù)訪問(wèn)統(tǒng)計(jì)分析：統(tǒng)計(jì)分析哪些用戶正在使用敏感數(shù)據(jù)、訪問(wèn)時(shí)間、訪問(wèn)頻率；

基于內(nèi)容文件分類：通過(guò)文本內(nèi)容提取出內(nèi)容的主題，根據(jù)主題對(duì)其進(jìn)行分類分析；

機(jī)器學(xué)習(xí)構(gòu)造敏感詞庫(kù)：通過(guò)構(gòu)建敏感關(guān)鍵詞庫(kù)，利用敏感詞識(shí)別器直接識(shí)別出敏感的文件和應(yīng)用內(nèi)容。

4）應(yīng)用安全數(shù)據(jù)分析

基于業(yè)務(wù)健康指數(shù)模型，從業(yè)務(wù)的性能與可用性、業(yè)務(wù)的脆弱性和業(yè)務(wù)的威脅三個(gè)維度綜合計(jì)算出業(yè)務(wù)的健康指數(shù)，以及業(yè)務(wù)健康指數(shù)隨時(shí)間波動(dòng)的曲線，來(lái)分析應(yīng)用數(shù)據(jù)的安全性。

5）關(guān)聯(lián)分析

通過(guò)安全事件找到相關(guān)的資產(chǎn)，關(guān)聯(lián)查找資產(chǎn)的漏洞，從而建立安全事件與漏洞之間的可能關(guān)系。情報(bào)源中的威脅信息可在關(guān)聯(lián)規(guī)則中引用，進(jìn)而對(duì)安全事件、資產(chǎn)、漏洞、威脅等進(jìn)行關(guān)聯(lián)分析。

2.2.3態(tài)勢(shì)感知可視化系統(tǒng)設(shè)計(jì)

主要對(duì)存在的主要安全威脅和攻擊事件進(jìn)行檢測(cè)，利用大數(shù)據(jù)分析方法對(duì)各種安全信息進(jìn)行深層次關(guān)聯(lián)融合，以攻防的視角，從整體安全態(tài)勢(shì)、DDOS攻擊態(tài)勢(shì)、僵木蠕毒攻擊態(tài)勢(shì)、網(wǎng)站安全態(tài)勢(shì)、0days漏洞態(tài)勢(shì)、APT威脅安全態(tài)勢(shì)、資產(chǎn)安全態(tài)勢(shì)、數(shù)據(jù)泄露安全態(tài)勢(shì)、賬號(hào)安全態(tài)勢(shì)、流量態(tài)勢(shì)、業(yè)務(wù)應(yīng)用態(tài)勢(shì)、脆弱性利用態(tài)勢(shì)、內(nèi)外網(wǎng)連接態(tài)勢(shì)等維度進(jìn)行可視化展示。

（1）事件可視化展示

基于事件五元組數(shù)據(jù)（源IP、源端口、目的IP、目的端口、協(xié)議）五個(gè)數(shù)據(jù)組成的平行坐標(biāo)圖；

基于事件源IP、目標(biāo)IP的視網(wǎng)膜圖可視化展示，利用視網(wǎng)膜圖可以清晰地看到源IP到目的IP連接的次數(shù)，當(dāng)連接次數(shù)越多時(shí)，源IP到目的IP的寬度則越寬，方便進(jìn)行數(shù)據(jù)分析。

（2）流量可視化展示

基于外部IP訪問(wèn)流量TOP排名可視化展示；基于資產(chǎn)流量TOP排名可視化展示，通過(guò)計(jì)算一段時(shí)間內(nèi)資產(chǎn)（IP）的流量大小，計(jì)算輸入（下行）、輸出（上行）流量以及總流量，進(jìn)行TOP排名可視化展示。

基于協(xié)議類型進(jìn)行流量TOP排名可視化，通過(guò)計(jì)算一段時(shí)間內(nèi)資產(chǎn)的流量大小和某種協(xié)議的連接次數(shù)，分別按流量和連接次數(shù)進(jìn)行分析；

基于資產(chǎn)流量（基線）畫像可視化，通過(guò)計(jì)算一段時(shí)間內(nèi)資產(chǎn)的流量大小、平均流速、峰值流速和某種協(xié)議的連接次數(shù)，進(jìn)行資產(chǎn)流量可視化展示。

（3）脆弱性可視化展示

基于已發(fā)現(xiàn)的漏洞清單與資產(chǎn)關(guān)聯(lián)可視化，每個(gè)資產(chǎn)的脆弱性（包括病毒、漏洞等）所關(guān)聯(lián)的IP情況，一個(gè)漏洞對(duì)應(yīng)多個(gè)IP，可以從圖標(biāo)上直觀看出資產(chǎn)的脆弱性，清晰的展示效果方便于資產(chǎn)脆弱性的數(shù)據(jù)分析。

基于某一漏洞關(guān)聯(lián)資產(chǎn)的關(guān)聯(lián)可視化，從相關(guān)聯(lián)的資產(chǎn)可直觀看到其資產(chǎn)所關(guān)聯(lián)的脆弱性情況，層層的數(shù)據(jù)關(guān)聯(lián)，通過(guò)一對(duì)多的模式清晰的展示資產(chǎn)脆弱性的關(guān)系，

（4）漏洞利用可視化

基于漏洞利用可視化分析：安全事件-關(guān)聯(lián)資產(chǎn)-關(guān)聯(lián)漏洞、合規(guī)問(wèn)題、弱口令；安全事件-關(guān)聯(lián)威脅情報(bào)。

2.2.4追蹤溯源系統(tǒng)功能設(shè)計(jì)

在確定攻擊事件后，按事件線索匯總所有分析的結(jié)果，按時(shí)間順序、網(wǎng)絡(luò)拓?fù)渎窂?、網(wǎng)絡(luò)連接訪問(wèn)路徑進(jìn)行攻擊路徑還原，進(jìn)入還原黑客整個(gè)攻擊行為。

2.2.5通報(bào)和應(yīng)急處置系統(tǒng)設(shè)計(jì)

通報(bào)管理：接收、匯總各種類型，不同來(lái)源的安全信息通報(bào)，實(shí)現(xiàn)漏洞信息錄入、通報(bào)信息錄入、通報(bào)管理下發(fā)等功能。

安全事件應(yīng)急處置：針對(duì)網(wǎng)絡(luò)安全事件的應(yīng)急響應(yīng)、處理流程進(jìn)行綜合管理，對(duì)各方資源的有效整合、集中管理、集中監(jiān)控、集中維護(hù)，實(shí)現(xiàn)應(yīng)急預(yù)案數(shù)字化管理。

系統(tǒng)內(nèi)置以下知識(shí)庫(kù)：安全事件處理流程、安全知識(shí)庫(kù)管理流程、安全運(yùn)營(yíng)流程、安全問(wèn)題管理流程、漏洞評(píng)估處理流程、安全事件應(yīng)急響應(yīng)流程、通報(bào)流程以及安全作業(yè)計(jì)劃流程等。

2.2.6基礎(chǔ)安全運(yùn)維門戶系統(tǒng)

基礎(chǔ)安全運(yùn)維門戶系統(tǒng)作為態(tài)勢(shì)感知平臺(tái)的基礎(chǔ)管理支撐，負(fù)責(zé)用戶管理、角色管理、權(quán)限控制、門戶定義、資產(chǎn)管理、業(yè)務(wù)管理、日志范式化庫(kù)、事件告警管理、各種策略管理、各種統(tǒng)計(jì)分析報(bào)表以及整個(gè)平臺(tái)組件的監(jiān)控管理等功能。

3 結(jié)束語(yǔ)

本文從傳統(tǒng)安全產(chǎn)品不能解決當(dāng)下用戶安全問(wèn)題的需求為出發(fā)，設(shè)計(jì)了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)，包括大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)設(shè)計(jì)和網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)功能設(shè)計(jì)?；诖髷?shù)據(jù)平臺(tái)提供的組件功能，為態(tài)勢(shì)感知平臺(tái)提供數(shù)據(jù)獲取、數(shù)據(jù)融合、分析、檢索、存儲(chǔ)以及模型、算法、機(jī)器學(xué)習(xí)、接口等眾多基礎(chǔ)服務(wù)功能，保障態(tài)勢(shì)感知平臺(tái)能夠?qū)Ａ扛婢瘮?shù)據(jù)進(jìn)行提取、響應(yīng)、分析、處理，準(zhǔn)確識(shí)別出安全事件，真正解決用戶安全問(wèn)題，為今后網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)產(chǎn)品發(fā)展方向提供思路和方法。

[1]胡志軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)的應(yīng)用思考[J].金融時(shí)代科技.2019，（10）：44-46.

[2]韓曉露，劉云，張振江，呂欣，李陽(yáng).網(wǎng)絡(luò)安全態(tài)勢(shì)感知理論與技術(shù)綜述及難點(diǎn)問(wèn)題研究[J].信息安全與通信保密，2019，23（4）：61-64.

[3]趙夢(mèng).基于大數(shù)據(jù)環(huán)境的網(wǎng)絡(luò)安全態(tài)勢(shì)感知[J].信息網(wǎng)絡(luò)安全，2016（9）：90-93.

[4]陳興蜀，曾雪梅，王文賢，邵國(guó)林.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報(bào)分析[J].工程科學(xué)與技術(shù)，2017，49（3）：1-8.

[5]朱義杰，楊玉龍，李帥，成建宏.面向大數(shù)據(jù)環(huán)境的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018，8（2）：65-69.

[6]琚安康，郭淵博，朱泰銘.基于開源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué)，2017，44（5）：125-131.

[7]管磊，胡光俊，王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2016，32（8）：211-215.

[8]毛軍禮，汲錫林.基于大數(shù)據(jù)的網(wǎng)絡(luò)態(tài)勢(shì)感知體系架構(gòu)[J].通信系統(tǒng)與網(wǎng)絡(luò)技術(shù)，2018，44（3）：217-223.