網(wǎng)絡(luò)事件的數(shù)據(jù)分析

張文豐 李麒 邱逸軒 狄亞平 焦曉波

摘?要：當(dāng)下社會網(wǎng)絡(luò)和信息化技術(shù)的發(fā)展，越來越多的信息系統(tǒng)也擁有越來越高的普及度。那么作為一個網(wǎng)絡(luò)管理員，如何確保復(fù)雜網(wǎng)絡(luò)高效、安全、可靠地平穩(wěn)運行，是面臨的越來越嚴(yán)峻的問題。面對復(fù)雜多樣的網(wǎng)絡(luò)事件和警報，需要引入數(shù)據(jù)挖掘與事件關(guān)聯(lián)技術(shù)。通過對市、縣國網(wǎng)企業(yè)內(nèi)網(wǎng)等高安全等級網(wǎng)絡(luò)面臨的安全威脅和防御需求進行深入分析，本文把數(shù)據(jù)分析與網(wǎng)絡(luò)事件進行關(guān)聯(lián)應(yīng)用到了網(wǎng)絡(luò)故障管理與分析系統(tǒng)當(dāng)中，主要對復(fù)雜網(wǎng)絡(luò)中的網(wǎng)絡(luò)事件的數(shù)據(jù)進行詳細(xì)的分析。設(shè)計一個完整的網(wǎng)絡(luò)事件告警與數(shù)據(jù)分析系統(tǒng)，將數(shù)據(jù)抓包、解碼、重組與管理員主觀看到的網(wǎng)絡(luò)事件相關(guān)聯(lián)，并且對事件收集、數(shù)據(jù)處理等進行了詳細(xì)描述。

關(guān)鍵詞：事件關(guān)聯(lián);數(shù)據(jù)抓包;數(shù)據(jù)分析

一、選題意義

隨著現(xiàn)代科技的發(fā)展，網(wǎng)絡(luò)辦公已成為日常辦公的模式，信息系統(tǒng)網(wǎng)絡(luò)已成為國網(wǎng)公司工作的重要組成部分。由于其規(guī)模大，部署復(fù)雜，網(wǎng)絡(luò)在運行過程中會不可避免出現(xiàn)一些故障，如網(wǎng)絡(luò)出現(xiàn)丟包、后臺訪問慢或者不可訪問、網(wǎng)絡(luò)環(huán)路、網(wǎng)絡(luò)中內(nèi)外網(wǎng)誤聯(lián)等問題。遭遇過交換機回路事件的網(wǎng)絡(luò)管理員都知道“交換機環(huán)路”如一個人牙痛一樣，讓人無從下手。這些故障如果不及時處理，影響正常工作，甚至造成違規(guī)外聯(lián)事件和泄密事件。

如何快速發(fā)現(xiàn)并定位網(wǎng)絡(luò)故障呢？

企業(yè)網(wǎng)絡(luò)規(guī)模不斷擴大，內(nèi)網(wǎng)、外網(wǎng)、生產(chǎn)網(wǎng)以及個人使用無線網(wǎng)絡(luò)充斥其中，各種網(wǎng)絡(luò)事件、安全事件、安全隱患充斥其中，這對網(wǎng)絡(luò)管理工具和防護工具有了更高要求。

為了能幫助管理人員從容應(yīng)對現(xiàn)在的網(wǎng)絡(luò)事件和威脅，我們研究一套網(wǎng)絡(luò)異常數(shù)據(jù)分析及網(wǎng)絡(luò)事件故障快速定位工具，能提高網(wǎng)絡(luò)事件處理時效性;本次研發(fā)的工具可對網(wǎng)絡(luò)數(shù)據(jù)進行分析，時時呈現(xiàn)網(wǎng)絡(luò)狀態(tài)，發(fā)現(xiàn)異常數(shù)據(jù)，及時發(fā)現(xiàn)網(wǎng)絡(luò)中的環(huán)路、攻擊、惡意域名、內(nèi)外網(wǎng)誤聯(lián)等事件，定位事件源，并記錄相應(yīng)日志，為信息管理人員掌握網(wǎng)絡(luò)情況、發(fā)現(xiàn)并處理網(wǎng)絡(luò)故障提供了可靠依據(jù)，簡化了分析網(wǎng)絡(luò)報文的工作時間，提高工作效率。

二、研究內(nèi)容和解決方法

對于管理員來說網(wǎng)絡(luò)故障告警比較重要性，同時網(wǎng)絡(luò)中故障的發(fā)現(xiàn)與管理也很重要。本文是在復(fù)雜的網(wǎng)絡(luò)環(huán)境中，針對網(wǎng)絡(luò)告警事件進行相關(guān)性研究，分析報警事件發(fā)生時的實時數(shù)據(jù)包。通過告警的網(wǎng)絡(luò)事件與實時數(shù)據(jù)包關(guān)聯(lián)分析以及相關(guān)性分析，可以將所發(fā)生告警事件進行相關(guān)性分析，這樣就有利于將多數(shù)的告警歸類成少量告警，并以此來過濾掉大量誤報的數(shù)據(jù)以及與主要故障不相關(guān)的非必要的告警。這樣不僅可以使得網(wǎng)絡(luò)管理員較為輕松地找到故障發(fā)生的根本原因，及時排除故障，而且還可以根據(jù)相關(guān)性分析，提醒管理員近期可能發(fā)生的故障，從而從根本上保證了網(wǎng)絡(luò)可靠、穩(wěn)定的運行。

（一）研究內(nèi)容

本次研發(fā)的工具主要目的是為了提高網(wǎng)絡(luò)的安全可靠性，及時發(fā)現(xiàn)網(wǎng)絡(luò)中環(huán)路、網(wǎng)絡(luò)攻擊、惡意域名、內(nèi)外網(wǎng)誤聯(lián)等事件，并記錄相應(yīng)日志。為信息管理人員掌握網(wǎng)絡(luò)情況、發(fā)現(xiàn)并處理網(wǎng)絡(luò)事件提供了可靠依據(jù)。研究內(nèi)容體現(xiàn)在以下方面：

（1）研究數(shù)據(jù)包的獲取及數(shù)據(jù)包解碼分析。數(shù)據(jù)包通過交換機的鏡像口或者trunk口獲取。通過trunk口識別交換機劃分的vlan ID。

數(shù)據(jù)包解碼可以把數(shù)據(jù)包深度解析，把數(shù)據(jù)的控制部分和數(shù)據(jù)部分分別存儲，提高數(shù)據(jù)的解碼的速度。自動分析網(wǎng)絡(luò)中的數(shù)據(jù)，發(fā)現(xiàn)網(wǎng)絡(luò)中的威脅事件，定位故障，基于應(yīng)用、IP、端口等圖表展現(xiàn)網(wǎng)絡(luò)情況，方便管理人員掌握整體情況。

研究內(nèi)網(wǎng)異常終端的發(fā)現(xiàn)。在交換機的trunk口，通過數(shù)據(jù)抓包和分析，呈現(xiàn)每個VLAN的在線終端及MAC，發(fā)現(xiàn)內(nèi)網(wǎng)中的異常終端。

（2）研究網(wǎng)絡(luò)威脅事件。例如研究ARP掃描、廣播風(fēng)暴、IP地址沖突、SQL注入攻擊、ARP攻擊等事件，分析相關(guān)事件的原理及特征，歸類整理為事件特征庫。

（3）研究以矩陣顯示網(wǎng)絡(luò)情況。研究以流量矩陣和事件矩陣顯示網(wǎng)絡(luò)情況。事件矩陣可以設(shè)置事件閾值顯示當(dāng)前網(wǎng)絡(luò)中高頻發(fā)生的事件，例如ARP攻擊等事件可快速過濾出來。流量矩陣可基于TCP、udp、arp、單播、多播、廣播、傳輸方向等元素，顯示網(wǎng)絡(luò)狀況。

（4）研究網(wǎng)絡(luò)流量的實時監(jiān)控及異常事件告警方式。

（二）解決方案

本次研發(fā)的工具是在交換機的鏡像口或者trunk口進行數(shù)據(jù)抓包分析的基礎(chǔ)上，發(fā)現(xiàn)及定位網(wǎng)絡(luò)中的故障信息，為信息管理人員提供網(wǎng)絡(luò)的運行情況，提升故障處理時效性。

1.系統(tǒng)架構(gòu)

本工具有遠程管理軟件和數(shù)據(jù)采集分析器構(gòu)成;數(shù)據(jù)采集分析器的數(shù)據(jù)采集口接在交換機的鏡像口或者trunk口獲取數(shù)據(jù)并分析，遠程管理軟件安裝在筆記本電腦上連接到數(shù)據(jù)采集分析器的管理口。如下圖1所示：

ETH0：管理口，接安裝遠程管理軟件的終端。

ETH1：數(shù)據(jù)分析口，接交換機的trunk口和鏡像口獲取數(shù)據(jù)分析。

2.功能研發(fā)

功能研發(fā)分為：數(shù)據(jù)采集模塊、數(shù)據(jù)解碼分析模塊、事件告警模塊、日志記錄模塊。

（1）數(shù)據(jù)采集模塊。把數(shù)據(jù)分析接口設(shè)置為混雜模式，可以在交換機的鏡像口或trunk口獲取數(shù)據(jù)。

（2）數(shù)據(jù)解碼分析模塊。通過研究ARP掃描、廣播風(fēng)暴、IP地址沖突、SQL注入攻擊、ARP攻擊等事件，分析相關(guān)事件的原理及特征，歸類整理為事件特征庫，提高數(shù)據(jù)分析和事件識別的速度;通過數(shù)據(jù)包解碼分析，提取數(shù)據(jù)報文的IP地址信息，實現(xiàn)IP資源統(tǒng)計區(qū)分，自主定義內(nèi)網(wǎng)合法終端IP地址段，實現(xiàn)異常終端和MAC地址的發(fā)現(xiàn)，通過和交換機的配合實現(xiàn)對網(wǎng)絡(luò)事件的定位。

（3）事件告警模塊。通過與事件特征庫進行特征比對，快速發(fā)現(xiàn)網(wǎng)絡(luò)事件，并把網(wǎng)絡(luò)事件及故障源顯示在告警區(qū)域;設(shè)置矩陣的閾值也可以顯示網(wǎng)絡(luò)中的故障事件，通過設(shè)置事件閾值顯示當(dāng)前網(wǎng)絡(luò)中高頻發(fā)生的事件，例如ARP攻擊等事件可快速過濾出來。流量矩陣可基于TCP、udp、arp、單播、多播、廣播、傳輸方向等元素，顯示網(wǎng)絡(luò)狀況。

（4）日志記錄模塊?？梢园岩欢螘r間網(wǎng)絡(luò)的數(shù)據(jù)抓包及分析情況記錄在本地，方便日后的事件溯源。

（三）功能的實現(xiàn)

數(shù)據(jù)包捕獲和解碼、統(tǒng)計分析、智能分析是網(wǎng)絡(luò)數(shù)據(jù)包分析的基本分析方法，它們大致分為實時網(wǎng)絡(luò)流量分析、流量統(tǒng)計分析、協(xié)議統(tǒng)計分析、數(shù)據(jù)包大小分布、主機和流量統(tǒng)計分析、會話統(tǒng)計等方面。

對網(wǎng)絡(luò)流量進行全面數(shù)據(jù)采集和統(tǒng)計分析，包括對每條鏈路進行集中或單獨分析，并能根據(jù)用戶的實際情況提供各種圖形界面對結(jié)果進行展示。實時統(tǒng)計主機的流量、收發(fā)包數(shù)、標(biāo)志位情況、收發(fā)包比例、會話數(shù)等。通過主機的流量統(tǒng)計參數(shù)可以快速找到可疑主機，幫助網(wǎng)絡(luò)管理者定位問題。通過對網(wǎng)絡(luò)中主機的會話情況進行統(tǒng)計，包括物理會話、IP會話等，并能對這些會話提供時間、流量、數(shù)據(jù)包等進行排序，會話分析可以對網(wǎng)絡(luò)情況進行詳細(xì)的展示，并能快速發(fā)現(xiàn)主機的異常情況。

通過數(shù)據(jù)采集模塊抓取流量數(shù)據(jù)，對捕獲到的數(shù)據(jù)包進行實時解碼，解碼的格式包括概要解碼、字段解碼、十六進制解碼等數(shù)據(jù)包解碼信息。正常情況下在網(wǎng)絡(luò)活動中網(wǎng)絡(luò)協(xié)議類型和訪問數(shù)量很多，非專業(yè)的數(shù)據(jù)包抓包工具對數(shù)據(jù)包的解析程度也不相同。通過對比數(shù)據(jù)包解碼信息，我們可以直觀的看到網(wǎng)絡(luò)中傳輸?shù)脑紨?shù)據(jù)包信息，以此能夠明確網(wǎng)絡(luò)中的攻擊現(xiàn)象和故障源頭。

通過鏡像或者trunk口，交換機能夠?qū)⑦x定端口或中傳輸?shù)牧髁繌?fù)制發(fā)送到指定的交換機端口，該端口一般稱為流量監(jiān)控端口，數(shù)據(jù)采集模塊只需接入該端口就可以分析到其他端口的網(wǎng)絡(luò)流量。通過對數(shù)據(jù)包的解析和重組進行數(shù)據(jù)分析，分析網(wǎng)絡(luò)事件的特性，歸類整理為事件特征庫。當(dāng)發(fā)現(xiàn)類似于ARP掃描、廣播風(fēng)暴、IP地址沖突、SQL注入攻擊、ARP攻擊等事件，會以告警形式把網(wǎng)絡(luò)事件及故障源通知給網(wǎng)絡(luò)管理員，同時把一段時間網(wǎng)絡(luò)的數(shù)據(jù)抓包及分析形式以矩陣方式直觀展現(xiàn)出來。

三、創(chuàng)新點

（一）網(wǎng)絡(luò)協(xié)議解碼分析快速呈現(xiàn)事件真相

通過“所見即所得”協(xié)議分析模式對網(wǎng)絡(luò)事件報文進行解碼，歸類、閾值設(shè)定、智能關(guān)聯(lián)分析等策略預(yù)制和自定義規(guī)則，快速呈報事件關(guān)鍵線索。

通過交換機trunk端口將所有VLAN的信息傳過來，系統(tǒng)通過數(shù)據(jù)包解碼實現(xiàn)IP資源統(tǒng)計區(qū)分，定義內(nèi)網(wǎng)終端IP地址段，實現(xiàn)異常終端和MAC地址的發(fā)現(xiàn)，通過和交換機的配合實現(xiàn)網(wǎng)絡(luò)的快速發(fā)現(xiàn)和處理。

（二）網(wǎng)絡(luò)數(shù)據(jù)包VLAN解碼

通過交換機trunk接入對數(shù)據(jù)包報文分析研究，解決抓包工具和交換機網(wǎng)管對各個VLAN無法全局呈現(xiàn)的不足，對通過VLAN號找到網(wǎng)絡(luò)事件的影響者提供了重要保障。

（三）網(wǎng)絡(luò)數(shù)據(jù)端口檢測

工具接在交換機的鏡像口，可對整個網(wǎng)絡(luò)的流量進行監(jiān)控和分析。通過內(nèi)置的安全策略規(guī)則庫，對已知的網(wǎng)絡(luò)端口掃描、后門木馬、TCP、UDP等協(xié)議滲透、攻擊進行識別報警。也可以添加自定義監(jiān)控對象，靈活的設(shè)置策略，對某個IP或者IP地址段、某個端口或者端口群組進行監(jiān)控和告警。

（四）網(wǎng)絡(luò)故障定位

通過系統(tǒng)內(nèi)置的網(wǎng)絡(luò)專家診斷設(shè)置對ARP掃描、ARP廣播風(fēng)暴、IP地址沖突，網(wǎng)絡(luò)回路等網(wǎng)絡(luò)故障進行檢測，通過mac地址和VLAN lD配合交換機進行定位。

結(jié)語

開發(fā)的工具可實現(xiàn)內(nèi)網(wǎng)網(wǎng)絡(luò)環(huán)路、ARP事件告警、網(wǎng)絡(luò)數(shù)據(jù)端口檢測、終端識別及監(jiān)控等功能，這些功能對運維人員的工作提供幫助，快速發(fā)現(xiàn)、定位故障，保障網(wǎng)絡(luò)的安全，提高了管理人員的工作效率。

（一）實現(xiàn)內(nèi)網(wǎng)異常終端發(fā)現(xiàn)

通過交換機trunk端口將所有VLAN的信息透傳過來，系統(tǒng)通過數(shù)據(jù)包解碼實現(xiàn)IP資源統(tǒng)計區(qū)分，定義內(nèi)網(wǎng)合法終端IP地址段，實現(xiàn)異常終端和MAC地址的發(fā)現(xiàn)，通過和交換機的配合實現(xiàn)異常終端的定位。

（二）實現(xiàn)內(nèi)網(wǎng)VLAN ID識別及IP地址統(tǒng)計

通過交換機trunk接入，可識別內(nèi)網(wǎng)的vlan ID，并可統(tǒng)計每個VLAN的在線IP有多少。

（三）實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)端口檢測

工具接在交換機的鏡像口，可對整個網(wǎng)絡(luò)的流量進行監(jiān)控和分析。通過內(nèi)置的安全策略規(guī)則庫，對已知的網(wǎng)絡(luò)端口掃描、后門木馬、TCP、UDP等協(xié)議滲透、攻擊進行識別報警。也可以添加自定義監(jiān)控對象，靈活的設(shè)置策略，對某個IP或者IP地址段、某個端口或者端口群組進行監(jiān)控和告警。

（四）網(wǎng)絡(luò)故障定位

通過系統(tǒng)內(nèi)置的網(wǎng)絡(luò)專家診斷設(shè)置對ARP掃描、ARP廣播風(fēng)暴、IP地址沖突等網(wǎng)絡(luò)故障進行檢測和定位。

該研究的應(yīng)用反饋，在實踐上有著較為重要的意義。可實現(xiàn)實時數(shù)據(jù)包的捕獲和分析，對高速網(wǎng)絡(luò)數(shù)據(jù)包捕獲速度匹配也進行了算法改進，可協(xié)助運維人員快速發(fā)現(xiàn)網(wǎng)絡(luò)攻擊和故障，定位網(wǎng)絡(luò)故障源，明確網(wǎng)絡(luò)通信情況，縮短了運維人員發(fā)現(xiàn)、處理故障的時間，提高了效率。隨著網(wǎng)絡(luò)應(yīng)用軟件和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，其研究和應(yīng)用范圍還要不斷擴大，該工具小巧，部署靈活，在日常的巡查或檢查工作中攜帶，能快速發(fā)現(xiàn)網(wǎng)絡(luò)的故障，有效提高了工作效率，保障了網(wǎng)絡(luò)安全，社會效益顯著。

參考文獻：

[1]張同升.基于P2DR2信息系統(tǒng)安全策略研究[J].信息安全與通信保密，2013（5）：90-92.

[2]付鈺，李洪成，吳曉平，等.基于大數(shù)據(jù)分析的APT攻擊檢測研究綜述[J].通信學(xué)報，2015，36（11）：1-14.

[3]楊英杰，冷強，常德顯，等.基于屬性攻擊圖的網(wǎng)絡(luò)動態(tài)威脅分析技術(shù)研究[J].電子與信息學(xué)報，2019（8）：1838-1846.

[4]李立勛，張斌，董書琴.網(wǎng)絡(luò)動態(tài)防御體系下主機安全威脅分析方法[J].網(wǎng)絡(luò)與信息安全學(xué)報，2018（4）：48-55.

[5]肖海林.網(wǎng)絡(luò)告警關(guān)聯(lián)規(guī)則挖掘系統(tǒng)的研究與設(shè)計[D].成都：電子科技人學(xué)，2007.

[6]王樂鵬，潘華，等.電網(wǎng)企業(yè)信息化原理及應(yīng)用[D]北京：中國電力出版社，2007：5-15.

作者簡介：張文豐（1994—?），女，漢族，河南漯河人，本科，中級職稱，研究方向：信息運維。