基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)在企業(yè)網(wǎng)中的應(yīng)用研究

宋文凱，李 帥，孫加萌

（南京電子技術(shù)研究所，江蘇 南京 210039）

隨著數(shù)字化轉(zhuǎn)型進(jìn)程的推進(jìn)，企業(yè)的信息資產(chǎn)數(shù)量增長(zhǎng)迅速，信息系統(tǒng)架構(gòu)漸趨復(fù)雜，同時(shí)面臨更加復(fù)雜多樣的網(wǎng)絡(luò)安全威脅，給網(wǎng)絡(luò)安全防護(hù)工作帶來(lái)巨大壓力。為了及時(shí)發(fā)現(xiàn)和防范安全風(fēng)險(xiǎn)，更好地監(jiān)控和保障信息系統(tǒng)運(yùn)行，亟需建立集預(yù)警、監(jiān)控、分析等功能為一體的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)，提升企業(yè)對(duì)于復(fù)雜網(wǎng)絡(luò)安全威脅的應(yīng)對(duì)能力。

本文提出了一套基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的架構(gòu)。大數(shù)據(jù)技術(shù)具有海量數(shù)據(jù)存儲(chǔ)、高效數(shù)據(jù)查詢等優(yōu)勢(shì)，基于大數(shù)據(jù)技術(shù)構(gòu)建的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)，則具有多源多類型數(shù)據(jù)高效獲取及融合、海量數(shù)據(jù)高速融合、數(shù)據(jù)分析準(zhǔn)確可靠、數(shù)據(jù)展示類型豐富等優(yōu)勢(shì)。

1 網(wǎng)絡(luò)安全監(jiān)控需求

1.1 安全態(tài)勢(shì)感知

在復(fù)雜的企業(yè)網(wǎng)絡(luò)環(huán)境下，構(gòu)建全面的網(wǎng)絡(luò)安全監(jiān)控是一項(xiàng)艱巨的工程，網(wǎng)絡(luò)安全運(yùn)營(yíng)人員難以控制本單位的整體網(wǎng)絡(luò)安全態(tài)勢(shì)。傳統(tǒng)的技術(shù)防護(hù)手段大多是利用現(xiàn)有的攻擊特征庫(kù)對(duì)行為數(shù)據(jù)進(jìn)行簡(jiǎn)單的模式匹配，側(cè)重識(shí)別單次攻擊行為，對(duì)于長(zhǎng)期攻擊行為鏈的還原能力有限。因此，對(duì)于高級(jí)持續(xù)性威脅，傳統(tǒng)防護(hù)手段無(wú)論是在攻擊行為的檢測(cè)、識(shí)別還是響應(yīng)、溯源等方面，都存在嚴(yán)重不足[1]。為提高對(duì)高級(jí)持續(xù)性威脅的監(jiān)測(cè)預(yù)警能力，需要將對(duì)威脅的單點(diǎn)性描述升級(jí)為多維度關(guān)聯(lián)分析，在分析過(guò)程中結(jié)合強(qiáng)關(guān)聯(lián)性、體系完整的威脅情報(bào)，從威脅目標(biāo)、途徑、背景組織、相關(guān)關(guān)系、技術(shù)指標(biāo)、決策依據(jù)等多個(gè)層面從戰(zhàn)略或戰(zhàn)術(shù)上進(jìn)行威脅感知，通過(guò)威脅情報(bào)驅(qū)動(dòng)對(duì)高級(jí)網(wǎng)絡(luò)安全威脅的檢測(cè)識(shí)別，預(yù)警可疑的網(wǎng)絡(luò)攻擊。

1.2 安全事件監(jiān)控

安全事件監(jiān)控是網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的核心需求，精準(zhǔn)全面的監(jiān)控和保護(hù)是安全事件監(jiān)控能力的重點(diǎn)。監(jiān)控平臺(tái)在發(fā)現(xiàn)可疑網(wǎng)絡(luò)攻擊時(shí)應(yīng)及時(shí)進(jìn)行告警，盡可能減小網(wǎng)絡(luò)攻擊帶來(lái)的安全風(fēng)險(xiǎn)和損失，系統(tǒng)在偵測(cè)到可疑攻擊行為或違規(guī)訪問(wèn)時(shí)，除能夠利用遠(yuǎn)程通信方式向安全運(yùn)維人員發(fā)出告警信息外，對(duì)于特征顯著且處置措施明確的安全事件，安全設(shè)備應(yīng)當(dāng)具備主動(dòng)響應(yīng)能力并對(duì)相應(yīng)安全事件進(jìn)行聯(lián)動(dòng)響應(yīng)，如終端發(fā)現(xiàn)病毒木馬后，安全設(shè)備可直接向終端下發(fā)清理病毒指令進(jìn)行殺毒，并對(duì)染毒終端進(jìn)行暫時(shí)斷網(wǎng)以控制事態(tài)擴(kuò)大。

1.3 安全事件分析

在發(fā)現(xiàn)真實(shí)的網(wǎng)絡(luò)攻擊后，安全分析人員通常需要對(duì)安全事件進(jìn)行調(diào)查取證和溯源分析，獲得攻擊者的攻擊意圖、攻擊路徑和攻擊工具等，進(jìn)行攻擊者畫(huà)像，評(píng)估事件的安全風(fēng)險(xiǎn)等級(jí)和影響范圍，以便針對(duì)性地采取加固措施，搜集相關(guān)攻擊日志，為執(zhí)法部門(mén)偵破案件提供更加有效的數(shù)據(jù)支持。但在進(jìn)行調(diào)查取證和溯源分析時(shí)，僅依賴本地的相關(guān)日志往往無(wú)法取得實(shí)質(zhì)性進(jìn)展，應(yīng)充分利用專業(yè)安全廠商提供的云端安全大數(shù)據(jù)（域名信息、IP屬地、代碼樣本庫(kù)、DNS查詢記錄等），提高事件分析的成功率，還原攻擊過(guò)程[2]。

2 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)

2.1 技術(shù)架構(gòu)

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)是一個(gè)完整的數(shù)據(jù)管理平臺(tái)框架，從最初的數(shù)據(jù)采集到最終的數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行全生命周期的管理。按照企業(yè)網(wǎng)的網(wǎng)絡(luò)安全監(jiān)控需求，網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的技術(shù)架構(gòu)分為數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)與分析層、應(yīng)用服務(wù)層，如圖1所示。數(shù)據(jù)采集層通過(guò)多種數(shù)據(jù)采集方式，獲取網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、服務(wù)器等日志信息和告警信息，再將數(shù)據(jù)按照一定的規(guī)則做歸一化處理，進(jìn)行分布式存儲(chǔ)。數(shù)據(jù)分析層利用關(guān)聯(lián)分析規(guī)則對(duì)采集到的海量數(shù)據(jù)進(jìn)行挖掘和分析，將風(fēng)險(xiǎn)分析、脆弱性分析、態(tài)勢(shì)分析、資產(chǎn)分析等分析結(jié)果以事件的形式輸出。應(yīng)用層根據(jù)分析結(jié)果，按需實(shí)現(xiàn)數(shù)據(jù)可視化及交互應(yīng)用。

圖1 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)技術(shù)架構(gòu)

2.2 數(shù)據(jù)采集

數(shù)據(jù)采集層主要功能是對(duì)網(wǎng)絡(luò)內(nèi)各業(yè)務(wù)應(yīng)用系統(tǒng)、安全設(shè)備、服務(wù)器、終端等設(shè)備通過(guò)主動(dòng)采集或被動(dòng)接收等方式對(duì)日志和告警信息進(jìn)行采集并進(jìn)行歸一化預(yù)處理，以便數(shù)據(jù)流后面的關(guān)聯(lián)規(guī)則和數(shù)據(jù)分析能夠快速使用。數(shù)據(jù)采集層獲取數(shù)據(jù)的方式包含

SYSLOG、FTP、SFTP、SNMP Trap、JDBC、ODBC、Net flow等多種日志采集方式。由于各個(gè)數(shù)據(jù)源的數(shù)據(jù)千差萬(wàn)別，需要對(duì)數(shù)據(jù)提供統(tǒng)一的數(shù)據(jù)描述和信息關(guān)聯(lián)，即通過(guò)歸一化處理將所有關(guān)聯(lián)的數(shù)據(jù)置于同一個(gè)數(shù)據(jù)量級(jí)。在對(duì)數(shù)據(jù)進(jìn)行歸一化之后還要對(duì)數(shù)據(jù)做過(guò)濾和歸并處理[3]，包括數(shù)據(jù)一致性檢查、無(wú)效值過(guò)濾、同類型的關(guān)鍵數(shù)據(jù)合并、非關(guān)鍵屬性的剔除等，以降低數(shù)據(jù)存儲(chǔ)與分析的壓力。

2.3 數(shù)據(jù)存儲(chǔ)與分析

數(shù)據(jù)存儲(chǔ)與分析層通過(guò)對(duì)采集到的安全日志、服務(wù)器日志、漏洞數(shù)據(jù)等數(shù)據(jù)進(jìn)行存儲(chǔ)和關(guān)聯(lián)分析，以發(fā)現(xiàn)網(wǎng)絡(luò)攻擊、僵尸網(wǎng)絡(luò)、業(yè)務(wù)違規(guī)事件和遠(yuǎn)控木馬等高級(jí)威脅事件。傳統(tǒng)的技術(shù)架構(gòu)面臨復(fù)雜網(wǎng)絡(luò)和大量數(shù)據(jù)時(shí)，高負(fù)載所帶來(lái)的性能壓力往往是瓶頸所在。為了突破性能瓶頸和擴(kuò)展性問(wèn)題，基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺(tái)采用可靈活水平擴(kuò)展的分布式文件存儲(chǔ)架構(gòu)和分布式數(shù)據(jù)分析架構(gòu)，可根據(jù)實(shí)際計(jì)算資源需求和數(shù)據(jù)量靈活增加節(jié)點(diǎn)，以實(shí)現(xiàn)性能和資源的擴(kuò)展。

基于Hadoop的分布式文件存儲(chǔ)系統(tǒng)（HDFS）是實(shí)現(xiàn)海量安全數(shù)據(jù)存儲(chǔ)管理的有效途徑。HDFS具有高吞吐量、高容錯(cuò)性的技術(shù)優(yōu)勢(shì)。HDFS會(huì)將文件數(shù)據(jù)劃分為若干個(gè)數(shù)據(jù)塊，為每一個(gè)數(shù)據(jù)塊創(chuàng)建、維護(hù)多個(gè)副本，并將這些副本存儲(chǔ)到不同的節(jié)點(diǎn)上，以實(shí)現(xiàn)數(shù)據(jù)的容錯(cuò)或?yàn)?zāi)備[4]。采集完成后的數(shù)據(jù)經(jīng)過(guò)預(yù)處理后，存儲(chǔ)到Hive數(shù)據(jù)庫(kù)中，并通過(guò)HQL解析，將HQL轉(zhuǎn)換為Spark中的RDD操作，然后利用Hive的metadata獲取數(shù)據(jù)庫(kù)中的數(shù)據(jù)表信息，實(shí)現(xiàn)Spark對(duì)數(shù)據(jù)的分析與計(jì)算。

網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的數(shù)據(jù)存儲(chǔ)與分析層所采用的Spark技術(shù)，啟用了內(nèi)存分布數(shù)據(jù)集，在并發(fā)內(nèi)存處理機(jī)制方面的性能可以達(dá)到MapReduce等采用磁盤(pán)訪問(wèn)方式的解決方案的數(shù)倍甚至數(shù)十倍[5]。通過(guò)分布式部署的方式，Spark可實(shí)現(xiàn)每秒數(shù)十萬(wàn)條的日志數(shù)據(jù)分析處理，為大規(guī)模、超大規(guī)模的企業(yè)網(wǎng)提供高性能日志分析處理能力。

數(shù)據(jù)存儲(chǔ)與分析層通過(guò)規(guī)則建模，包括日志關(guān)聯(lián)規(guī)則建模、統(tǒng)計(jì)規(guī)則建模、序列規(guī)則建模、自定義關(guān)聯(lián)規(guī)則建模，針對(duì)不同威脅場(chǎng)景建模分析。日志關(guān)聯(lián)規(guī)則建模，是指在一定的時(shí)間范圍內(nèi)，對(duì)多種日志類型計(jì)算單元進(jìn)行關(guān)聯(lián)，以發(fā)現(xiàn)可信度更高的威脅告警。例如，當(dāng)IPS和防火墻基于相同源IP地址同時(shí)產(chǎn)生一條日志告警記錄，觸發(fā)一條威脅告警。統(tǒng)計(jì)規(guī)則建模，是在指定的時(shí)間范圍內(nèi)，對(duì)符合過(guò)濾條件的日志中數(shù)字類字段進(jìn)行求和、求平均、最大值和最小值計(jì)算，將其與閾值進(jìn)行比較以發(fā)現(xiàn)異常威脅事件。例如，發(fā)現(xiàn)當(dāng)前一小時(shí)內(nèi)的TCP平均流量超過(guò)一周時(shí)間內(nèi)TCP平均流量的40%，觸發(fā)一條威脅告警。序列規(guī)則建模，是在指定的時(shí)間范圍內(nèi)，對(duì)多種日志類型計(jì)算單元輸出事件發(fā)生的順序進(jìn)行判斷，以發(fā)現(xiàn)復(fù)雜場(chǎng)景下的威脅事件。例如，對(duì)“永恒之藍(lán)”勒索病毒攻擊的一系列先后發(fā)生的事件進(jìn)行判斷，觸發(fā)威脅告警。自定義關(guān)聯(lián)規(guī)則建模，是指用戶自定義選擇不同的日志類型計(jì)算單元，定義告警規(guī)則，通常用于特殊威脅場(chǎng)景。

2.4 應(yīng)用服務(wù)

2.4.1 資產(chǎn)及脆弱性管理

為了使運(yùn)維人員隨時(shí)掌握網(wǎng)內(nèi)資產(chǎn)IP、名稱、脆弱性、可用性等參數(shù)信息，監(jiān)控平臺(tái)可展示資產(chǎn)的基本信息、漏洞信息以及漏洞的歷史變更記錄等信息，并可手動(dòng)修改相關(guān)信息。

2.4.2 網(wǎng)絡(luò)安全威脅告警

網(wǎng)絡(luò)安全威脅告警為網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的核心應(yīng)用，旨在對(duì)使用單位、部門(mén)開(kāi)展網(wǎng)絡(luò)安全告警和通報(bào)工作，指導(dǎo)單位、部門(mén)分析、預(yù)測(cè)、總結(jié)實(shí)時(shí)安全態(tài)勢(shì)，做好針對(duì)性威脅防控。

2.4.3 告警響應(yīng)與運(yùn)維處置快速定位、解決問(wèn)題和阻止安全態(tài)勢(shì)惡化，是安全事件發(fā)生后挽回?fù)p失的主要途徑。通過(guò)告警響應(yīng)與運(yùn)維處置，實(shí)現(xiàn)人為阻斷攻擊源、清理木馬及異常程序，修復(fù)已知漏洞等，降低安全事件影響范圍。

2.4.4 數(shù)據(jù)統(tǒng)計(jì)與可視化

數(shù)據(jù)統(tǒng)計(jì)與可視化功能可以通過(guò)自定義統(tǒng)計(jì)規(guī)則查看各個(gè)維度的統(tǒng)計(jì)數(shù)據(jù)，并以圖表的形式呈現(xiàn)，幫助管理者掌控全網(wǎng)絡(luò)的安全狀態(tài)與安全態(tài)勢(shì)。

3 應(yīng)用場(chǎng)景

3.1 多元異構(gòu)的日志管理和審計(jì)

企業(yè)網(wǎng)內(nèi)部部署了大量的交換機(jī)、路由器、安全設(shè)備、服務(wù)器設(shè)備、數(shù)據(jù)庫(kù)、中間件，由于存在各種品牌和廠商，日志格式不能完全統(tǒng)一，可讀性較差，海量日志無(wú)法及時(shí)有效的存儲(chǔ)，日志難于管理，基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)能夠?qū)⒎稚⒃诟鱾€(gè)設(shè)備的日志統(tǒng)一集中管理，便于IT運(yùn)維人員進(jìn)行快速分析和查詢。

3.2 精準(zhǔn)的告警和響應(yīng)

通過(guò)對(duì)平臺(tái)安全規(guī)則的篩選和過(guò)濾，利用大數(shù)據(jù)分析平臺(tái)將采集到的數(shù)據(jù)按照多個(gè)維度進(jìn)行關(guān)聯(lián)分析，達(dá)到類似漏斗的效果，實(shí)現(xiàn)威脅快速感知，保證安全告警的精確性和有效性。通過(guò)對(duì)入侵威脅、僵尸木馬、蠕蟲(chóng)病毒、非正常流量、主機(jī)日志等進(jìn)行多維度分析，通過(guò)量化的評(píng)判指標(biāo)評(píng)估當(dāng)前態(tài)勢(shì)情況，獲取企業(yè)內(nèi)部整體安全信息[6]。

3.3 溯源分析和調(diào)查取證

通過(guò)Hive數(shù)據(jù)庫(kù)記錄與安全事件相關(guān)的數(shù)據(jù)，安全分析人員可以精確定位和查詢攻擊時(shí)間和位置，掌握攻擊者的提權(quán)（提高自己在服務(wù)器中的權(quán)限）等可疑操作行為，從而快速地構(gòu)建惡意攻擊的概要信息，重新還原攻擊鏈條。通過(guò)鏈條式分析將入侵路徑銜接起來(lái)，識(shí)別出感染源和影響范圍，形成分析報(bào)告，并將結(jié)果作為證據(jù)移交至執(zhí)法部門(mén)。

4 結(jié)束語(yǔ)

本文從企業(yè)網(wǎng)安全監(jiān)控的需求出發(fā)，提出了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)安全監(jiān)控平臺(tái)的技術(shù)和功能架構(gòu)，從多個(gè)層面闡述了構(gòu)建集安全數(shù)據(jù)采集、存儲(chǔ)、分析和應(yīng)用于一體的監(jiān)控平臺(tái)所需的技術(shù)、思路和方法。最后，列舉了三個(gè)典型場(chǎng)景作為大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全監(jiān)控平臺(tái)在企業(yè)網(wǎng)中的應(yīng)用，為具備相關(guān)需求的企業(yè)提供一定的參考。