次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知技術應用分析

◎張 琦 丁 慶 陳 瑜

（上海文化廣播影視集團有限公司 上海 200000）

隨著計算機網(wǎng)絡技術的高速發(fā)展，網(wǎng)絡數(shù)據(jù)處理技術和網(wǎng)絡安全態(tài)勢感知技術為網(wǎng)絡環(huán)境提供強有力的保障。我國網(wǎng)絡信息主要存在兩方面的問題：一是外部威脅，信息網(wǎng)絡日益開放，引起不法分子覬覦，以黑客攻擊為首的網(wǎng)絡惡意攻擊，侵入網(wǎng)絡信息內部來獲得重要網(wǎng)絡信息，影響網(wǎng)絡信息安全，網(wǎng)絡環(huán)境面臨巨大威脅；二是系統(tǒng)內部隱患，海量信息數(shù)據(jù)運行，不能有效管控運行數(shù)據(jù)，垃圾文件在網(wǎng)絡系統(tǒng)肆意流轉，勢必影響網(wǎng)絡安全。當前形勢下的安全態(tài)勢感知，將數(shù)據(jù)預處理技術與網(wǎng)絡安全態(tài)勢感知技術結合，處理網(wǎng)絡安全隱患，保障網(wǎng)絡運行環(huán)境穩(wěn)定有序。

一、次數(shù)據(jù)集的技術背景

次數(shù)據(jù)集技術是數(shù)據(jù)預處理技術的前期整合技術方法，數(shù)據(jù)預處理在收集到安全態(tài)勢數(shù)據(jù)之后，本身經過二次矩陣反應可以得出一套數(shù)據(jù)恢復反應總結，根據(jù)實際使用前的數(shù)據(jù)集合與具體反應能力，一般數(shù)據(jù)都會有所反應，經過進行預處理的數(shù)據(jù)都會形成有效的集合。這里主要的預處理工作是將安全態(tài)勢數(shù)據(jù)與安全事件數(shù)據(jù)結合，整合為兩種反應弧射，一種是映射關系，一種是聚合關系。

在安全態(tài)勢數(shù)據(jù)與安全事件數(shù)據(jù)的雙向融合中，安全態(tài)勢感知一般會占據(jù)主機的大部分數(shù)據(jù)內容，基于次數(shù)據(jù)集的前期感知會將主機IP層次中所涉及安全的部分全部改寫，認定安全事件數(shù)據(jù)則是基于組織/企業(yè)層次，根據(jù)認定的具體層次關系以及預測組織/企業(yè)的事件內容進行范圍界定，確定清晰的安全態(tài)勢感知事件內容，根據(jù)方法來看，次數(shù)據(jù)集的主要技術是通過一個Sample IP作為代表IP來確定本次攻擊目標的實際所有者（組織/企業(yè)），再通過查詢公開的RIR數(shù)據(jù)庫獲得與攻擊目標相關的所有IP地址塊，然后這些IP地址塊作為一個聚合單元與安全態(tài)勢數(shù)據(jù)進行結合。

二、次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知技術構成

大數(shù)據(jù)時代的網(wǎng)絡安全態(tài)勢感知體系是從全局出發(fā)，整體把控網(wǎng)絡環(huán)境，又要做到由點到面，全方位監(jiān)管信息，保障每個場景信息都能及時獲取，轉化成計算機文件，從而查驗是否存在安全隱患。大量的網(wǎng)絡信息以計算機代碼形式，承載著不同內容運行在網(wǎng)絡環(huán)境，怎樣收集、匹配、轉化、儲存和修復這些網(wǎng)絡信息，迫切需求強有力先進技術支持。安全感知是實現(xiàn)全網(wǎng)安全檢查和預警的一種新技術，次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知技術構成為：數(shù)據(jù)驅動、場景獲取、態(tài)勢轉化、系統(tǒng)畫像等，以下分別進行詳細分析。

（一）數(shù)據(jù)驅動

建立基于大數(shù)據(jù)的態(tài)勢感知體系可以全面提升發(fā)現(xiàn)識別、理解分析、響應處置威脅的能力。數(shù)據(jù)是態(tài)勢感知的基礎，態(tài)勢感知系統(tǒng)想要充分發(fā)揮作用必須從真實的數(shù)據(jù)做起，即要獲取最真實的底層數(shù)據(jù)。

實現(xiàn)對整個環(huán)境的安全態(tài)勢要素的完整獲取，要有對數(shù)據(jù)理解、獲取和采集的能力，如流量數(shù)據(jù)的還原與監(jiān)控、包括流量數(shù)據(jù)和各類日志數(shù)據(jù)等。把來自不同的源頭、不同類型的數(shù)據(jù)融合在一起、產生關聯(lián)，通過進一步分析去發(fā)現(xiàn)問題。利用大數(shù)據(jù)平臺能實現(xiàn)海量數(shù)據(jù)高效的存儲與計算處理，在此基礎上做深度的安全檢測、事件捕獵、調查分析，發(fā)現(xiàn)、定位、溯源安全事件。以數(shù)據(jù)驅動，就是對內通過全面日志的收集與分析，實現(xiàn)全方位的日志獲取和監(jiān)控，最終達到全面防御的目的。

（二）場景獲取

“態(tài)勢感知”是一個由微觀到宏觀的過程。微觀即數(shù)據(jù)，宏觀即場景。數(shù)據(jù)的集合構成不同的場景，如何從數(shù)據(jù)中通過分析得到場景，就是我們的研究目標。

態(tài)勢感知要得到完全的微觀信息。連接是網(wǎng)絡中信息的最小顆粒，微觀信息就是連接參數(shù)的全部。有了完整的信息才能進行統(tǒng)計和分析，得到可測量的宏觀量。宏觀量隨時間的變化，對網(wǎng)絡安全威脅是在時間上體現(xiàn)出來的，時間維度是我們最重要的一個維度。由微觀信息可以得到各種統(tǒng)計，例如IP地址的分布，端口的分布，協(xié)議的構成等等，也是數(shù)據(jù)之間的關聯(lián)的一種表現(xiàn)，隨著統(tǒng)計涉及越來越多的參數(shù)和維度，就進入了越來越多的層次，獨立出越來越多的場景。

（三）態(tài)勢轉換

態(tài)勢轉換的重點為日志轉換為事件。獨立的日志僅僅只是日志，只有將日志轉換為事件，才能針對事件進行分析、匹配、挖掘、機器學習。

在數(shù)據(jù)獲取階段，利用ETL過程將數(shù)據(jù)進行標準化，包括對數(shù)據(jù)的篩選、過濾、補齊將數(shù)據(jù)形成統(tǒng)一的標準。針對標準化之后的數(shù)據(jù)，利用規(guī)則匹配、關聯(lián)分析、復雜事件處理、黑白名單匹配等操作，將數(shù)據(jù)進行關聯(lián)，形成已知規(guī)則的事件；同時，通過分類、聚類、特征值提取、機器學習等對數(shù)據(jù)進行深度分析，發(fā)現(xiàn)未知事件。這兩類事件互相補充，匹配后的數(shù)據(jù)分析，以確保全面核對數(shù)據(jù)，處理安全隱患，實現(xiàn)全方位監(jiān)控以及告警。

（四）系統(tǒng)畫像

在實現(xiàn)全面日志接入之后，通過對系統(tǒng)各個維度的日志信息的采集，實現(xiàn)全方位系統(tǒng)畫像。在基礎硬件層面，通過獲取基礎設施日志如CPU、內存、磁盤、監(jiān)控當前的系統(tǒng)基礎設施的性能；在安全層面，獲取系統(tǒng)相關安全信息，如頻繁受到過攻擊的類型，有哪些漏洞；在網(wǎng)絡層面，獲取不同時段的流量信息，同時對流量進行還原，監(jiān)控流量文件，發(fā)現(xiàn)未知威脅；對報文進行監(jiān)聽，分析報文中交易是否正常；在業(yè)務層面，獲取用戶行為、交易成功率等，保證業(yè)務系統(tǒng)的連續(xù)性；在應用層面，獲取應用系統(tǒng)狀態(tài)，如并發(fā)是否過高，服務是否健壯。

全方位的系統(tǒng)監(jiān)控與預測，對外可以阻斷、預測外部攻擊，對內可以及時發(fā)現(xiàn)違規(guī)、危險操作。在本次網(wǎng)絡安全態(tài)勢感知的建設過程中，我們主要集中在基礎設施、安全以及網(wǎng)絡層面。在實現(xiàn)日志的全面接入之后，從業(yè)務系統(tǒng)以及應用層面進行分析，補全系統(tǒng)畫像，實現(xiàn)全方位的防護。

三、結語

結合上述分析，可以了解到次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知技術應用在基礎建設與安全結構網(wǎng)絡層面內的認知中都擁有很強的技術指導性，隨著業(yè)務系統(tǒng)與應用的技術不斷豐富，次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知能力也不斷增強，伴隨著數(shù)據(jù)庫的發(fā)展越來越完善，這是一種自我升級與自我優(yōu)化的數(shù)據(jù)矩陣數(shù)列，針對次數(shù)據(jù)集的網(wǎng)絡安全態(tài)勢感知技術持續(xù)發(fā)展具有很好的推動力。在科學技術推動下，基于最新網(wǎng)絡安全感知技術的不斷發(fā)展，勢必使網(wǎng)絡的安全環(huán)境得到更好完善，為用戶提供更加安全的網(wǎng)絡環(huán)境。