基于日志分析的網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)

[摘要]近幾年來(lái)，隨著因特網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)安全問(wèn)題日益突出，在這種情況下，網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)孕育而生，其審計(jì)重點(diǎn)主要在網(wǎng)絡(luò)的訪問(wèn)行為和網(wǎng)絡(luò)中的各種數(shù)據(jù)。對(duì)防火墻日志分析方面進(jìn)行一系列研究，并利用SQL Server數(shù)據(jù)庫(kù)設(shè)計(jì)基于日志分析的網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)，系統(tǒng)的實(shí)驗(yàn)結(jié)果說(shuō)明日志分析技術(shù)的實(shí)用價(jià)值。目前，該系統(tǒng)已經(jīng)應(yīng)用于某廣電網(wǎng)絡(luò)。

[關(guān)鍵詞]日志分析 網(wǎng)絡(luò)管理 安全審計(jì) syslog日志 防火墻日志

中圖分類(lèi)號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671－7597（2009）0720062－01

近年來(lái)，信息技術(shù)迅猛發(fā)展，基于TCP/IP協(xié)議的互聯(lián)網(wǎng)得到廣泛應(yīng)用。這種網(wǎng)絡(luò)體系的成功來(lái)源于開(kāi)放性以及簡(jiǎn)單性，但同時(shí)也帶來(lái)了突出的網(wǎng)絡(luò)信息安全問(wèn)題。例如，某廣電網(wǎng)絡(luò)憑借其寬帶入戶和廣播式傳輸?shù)募夹g(shù)特點(diǎn)，贏得了市場(chǎng)，但隨著業(yè)務(wù)的不斷發(fā)展，網(wǎng)絡(luò)運(yùn)營(yíng)和維護(hù)管理暴露出不少安全隱患。為此，網(wǎng)絡(luò)管理者迫切希望構(gòu)建網(wǎng)絡(luò)監(jiān)視系統(tǒng)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量、資源使用情況的監(jiān)視，達(dá)到加強(qiáng)網(wǎng)絡(luò)管理的目的。在這種情況下，基于日志分析的網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)越來(lái)越受到重視。

一、相關(guān)研究與分析

日志信息是指對(duì)計(jì)算機(jī)設(shè)備運(yùn)行的一切活動(dòng)的完全記錄和描述。通常記錄的信息有時(shí)間戳、基本的IP特征：如源和目標(biāo)地址、源和目標(biāo)端口和IP協(xié)議（TCP、UDP、ICMP）、匹配流量的規(guī)則號(hào)、執(zhí)行的動(dòng)作：如接受、丟棄或者拒絕連接，以及描述性文本解釋。日志記錄由于有各個(gè)不同的數(shù)據(jù)捕捉點(diǎn)獲取，可以分為如系統(tǒng)日志、防火墻日志、入侵檢測(cè)日志、擊鍵紀(jì)錄等[1]。本文主要研究防火墻日志。

日志文件對(duì)于網(wǎng)絡(luò)的正常運(yùn)營(yíng)非常重要，維護(hù)人員可以通過(guò)它來(lái)檢查錯(cuò)誤發(fā)生的原因，快速定位故障，保障網(wǎng)絡(luò)可靠運(yùn)行；監(jiān)控用戶的使用行為，綜合審計(jì)網(wǎng)絡(luò)信息，保障網(wǎng)絡(luò)安全可靠；發(fā)現(xiàn)異常情況或者受到攻擊時(shí)攻擊者留下的痕跡，加強(qiáng)網(wǎng)絡(luò)安全等級(jí)，提高網(wǎng)絡(luò)安全系數(shù)等。

二、系統(tǒng)的總體架構(gòu)設(shè)計(jì)

本系統(tǒng)的目標(biāo)在于對(duì)防火墻設(shè)備的syslog日志信息實(shí)施監(jiān)控、管理和分析，及時(shí)發(fā)現(xiàn)設(shè)備故障，深入挖掘和分析網(wǎng)絡(luò)的流量流向、異常行為，分別從網(wǎng)絡(luò)管理和安全審計(jì)兩方面共同保障網(wǎng)絡(luò)的穩(wěn)定、可靠運(yùn)行?？紤]到系統(tǒng)的靈活性和可擴(kuò)展性，系統(tǒng)總體采用分層架構(gòu)，主要分為采集層面、存儲(chǔ)層、業(yè)務(wù)邏輯層和表示層。

采集層面采用socket來(lái)監(jiān)聽(tīng)特定端口，收集網(wǎng)絡(luò)設(shè)備發(fā)送過(guò)來(lái)的日志，并采用日志對(duì)應(yīng)的協(xié)議解析器生成syslog日志統(tǒng)一通用格式。存儲(chǔ)層以數(shù)據(jù)庫(kù)為中間媒介，隔離底層的日志采集和上層的數(shù)據(jù)表現(xiàn)，同時(shí)提供數(shù)據(jù)庫(kù)入庫(kù)功能。業(yè)務(wù)邏輯層面完成日志監(jiān)測(cè)管理的具體功能，如實(shí)時(shí)告警、日志查詢、日志瀏覽和刪除等。表示層則負(fù)責(zé)將業(yè)務(wù)邏輯層面獲取的信息呈現(xiàn)在web頁(yè)面、告警終端等呈現(xiàn)媒介上。

三、系統(tǒng)關(guān)鍵技術(shù)實(shí)現(xiàn)

本系統(tǒng)依次主要通過(guò)日志采集、日志協(xié)議分析、日志預(yù)處理、日志數(shù)據(jù)庫(kù)設(shè)計(jì)、日志挖掘五個(gè)關(guān)鍵環(huán)節(jié)對(duì)網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行檢測(cè)，準(zhǔn)確定位網(wǎng)絡(luò)質(zhì)量劣化點(diǎn)，實(shí)現(xiàn)網(wǎng)絡(luò)管理與安全審計(jì)功能。

（一）日志采集

日志信息位于網(wǎng)絡(luò)中不同的設(shè)備實(shí)體上，需要采用分布式高速數(shù)據(jù)采集技術(shù)。以防火墻日志采集為例，采用主動(dòng)信息采集方式采集日志，由syslog服務(wù)器采集NS500系列防火墻記錄的syslog格式的網(wǎng)絡(luò)日志，保存在文件中。具體實(shí)現(xiàn)方法為：計(jì)算機(jī)安裝免費(fèi)的日志服務(wù)器程序（如在Linux下可用syslog，在Windows環(huán)境下可用KiwiSysLog），將防火墻傳送過(guò)來(lái)的日志數(shù)據(jù)存放在本地硬盤(pán)，然后本地日志處理程序定期檢查新文件進(jìn)行處理[2]。

（二）日志協(xié)議分析解析

日志標(biāo)準(zhǔn)格式采用syslog格式，由RFC3164定義的，并對(duì)消息頭部進(jìn)行擴(kuò)展，是設(shè)備產(chǎn)生的基于事件的日志，沒(méi)有相應(yīng)的流量信息。具體字段的日志格式舉例如下：Mon dd hr：mm：ss hostname src="srcIP：srePort" dst="dstIP：dstPort" msg="message" note="note" devID="mac addr" devType="ZW70" cat="category"[3]。分析網(wǎng)絡(luò)設(shè)備發(fā)送過(guò)來(lái)的syslog日志數(shù)據(jù)格式，將各項(xiàng)信息提取出來(lái)。對(duì)于日志的處理采用了兩層分析，先通過(guò)cat關(guān)鍵字段將日志分類(lèi)，然后根據(jù)msg和note兩個(gè)字段進(jìn)行詳細(xì)的分析。cat字段反映了日志信息的類(lèi)別，msg和note兩個(gè)字段包含了日志的詳細(xì)信息。安全級(jí)別共有8個(gè)，見(jiàn)下表1所示。

（三）日志預(yù)處理

防火墻設(shè)備產(chǎn)生的原始日志記錄中除了包含系統(tǒng)中需要的關(guān)鍵數(shù)據(jù)信息以外，還含有大量對(duì)審計(jì)意義不大及相似度很大的冗余記錄冗余信息，所以有必要剔除從而節(jié)約存儲(chǔ)空間，以提高系統(tǒng)的效率。

其具體流程是：應(yīng)用程序定時(shí)查詢?nèi)罩疚募４婺夸?，?dāng)發(fā)現(xiàn)有新的日志文件產(chǎn)生時(shí)，應(yīng)用程序打開(kāi)日志文件逐行讀入記錄，經(jīng)數(shù)據(jù)清理、基本分類(lèi)和預(yù)統(tǒng)計(jì)后，將分析的結(jié)果保存到臨時(shí)數(shù)據(jù)庫(kù)中，分析結(jié)束后，將臨時(shí)表經(jīng)綜合以后并入正式數(shù)據(jù)庫(kù)中，并將分析后的日志文件轉(zhuǎn)移到后備文件目錄中[4]。

（四）日志數(shù)據(jù)庫(kù)設(shè)計(jì)

考慮到日志數(shù)據(jù)庫(kù)應(yīng)數(shù)據(jù)處理量大，結(jié)構(gòu)相對(duì)簡(jiǎn)單、更新快、操作相對(duì)固定的特點(diǎn)，以及系統(tǒng)與應(yīng)用程序運(yùn)行環(huán)境的適配性，選擇SQL Server 2000/2005作為日志的數(shù)據(jù)庫(kù)。SQL Server提供了用于建立用戶連接、提供數(shù)據(jù)安全性和查詢請(qǐng)求服務(wù)的全部功能，且在Microsoft Studio.NET下開(kāi)發(fā)，提供了數(shù)據(jù)庫(kù)連接工具ADO.NET[5]。

數(shù)據(jù)庫(kù)的設(shè)計(jì)應(yīng)當(dāng)能提高查詢速度與處理效率。表結(jié)構(gòu)設(shè)計(jì)方面：設(shè)計(jì)八張表分別存儲(chǔ)八種安全級(jí)別的日志數(shù)據(jù)，直接定位到相關(guān)表，同時(shí)盡量縮短數(shù)據(jù)表記錄長(zhǎng)度。表操作設(shè)計(jì)方面：避免整表操作，設(shè)立多個(gè)輔助統(tǒng)計(jì)表，由存儲(chǔ)過(guò)程定時(shí)將統(tǒng)計(jì)結(jié)果寫(xiě)入統(tǒng)計(jì)表，查詢時(shí)只需對(duì)輔助統(tǒng)計(jì)表操作且指定查詢條件；在重要的字段上建立必要索引。數(shù)據(jù)組織設(shè)計(jì)方面：存儲(chǔ)表以天為單位進(jìn)行組織，建立預(yù)處理臨時(shí)表，及時(shí)壓縮庫(kù)日志文件，及時(shí)清除過(guò)時(shí)的數(shù)據(jù)。

（五）日志挖掘

本系統(tǒng)的防火墻日志挖掘功能具體可實(shí)現(xiàn)：1. 網(wǎng)絡(luò)信息安全的統(tǒng)計(jì)功能：統(tǒng)計(jì)各個(gè)日志優(yōu)先級(jí)的發(fā)生比例、日志優(yōu)先級(jí)在各個(gè)設(shè)備上的分布，以及分析需重點(diǎn)防范的防火墻設(shè)備。2. 業(yè)務(wù)統(tǒng)計(jì)分析的統(tǒng)計(jì)功能：分析主要訪問(wèn)目的地址和主要應(yīng)用的協(xié)議類(lèi)型。3. 用戶行為分析的統(tǒng)計(jì)功能：重點(diǎn)分析大用戶訪問(wèn)的目的地址，解析出其網(wǎng)站信息，從而分析出其主要應(yīng)用的業(yè)務(wù)類(lèi)型。

系統(tǒng)采用的實(shí)現(xiàn)方法有：采用SQL的查詢語(yǔ)言進(jìn)行模式查詢；將統(tǒng)計(jì)結(jié)果導(dǎo)入數(shù)據(jù)庫(kù)后進(jìn)行分析；采用可視化技術(shù)將模式直觀地顯示出來(lái)，提供與分析人員交互的友好界面。

四、系統(tǒng)實(shí)驗(yàn)結(jié)果

通過(guò)分析日志文件，本系統(tǒng)主要應(yīng)用于以下幾個(gè)方面：（1）網(wǎng)絡(luò)信息安全分析：通過(guò)分析異常的網(wǎng)絡(luò)日志，找到安全漏洞，及時(shí)制定出安全防范措施。（2）業(yè)務(wù)統(tǒng)計(jì)分析：通過(guò)分析網(wǎng)絡(luò)流量模式，能夠找到網(wǎng)絡(luò)結(jié)構(gòu)中最重要的部分，發(fā)現(xiàn)網(wǎng)絡(luò)系統(tǒng)性能瓶頸。（3）用戶行為分析：發(fā)現(xiàn)用戶的需要和興趣，使得對(duì)網(wǎng)絡(luò)的管理更加有目的、有依據(jù)，從而穩(wěn)步提高網(wǎng)絡(luò)用戶滿意度。

實(shí)驗(yàn)結(jié)果說(shuō)明了日志挖掘技術(shù)在網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)中的實(shí)用價(jià)值，所有的實(shí)驗(yàn)結(jié)果在局域網(wǎng)真實(shí)環(huán)境下通過(guò)了測(cè)試，所開(kāi)發(fā)的系統(tǒng)實(shí)現(xiàn)了相應(yīng)的功能要求，達(dá)到了預(yù)期的效果。

五、結(jié)束語(yǔ)

本文重點(diǎn)研究了防火墻日志文件的網(wǎng)絡(luò)管理與安全審計(jì)系統(tǒng)，該系統(tǒng)可以發(fā)現(xiàn)用戶訪問(wèn)互聯(lián)網(wǎng)的模式，準(zhǔn)確地統(tǒng)計(jì)網(wǎng)絡(luò)主要的使用者、相關(guān)協(xié)議類(lèi)型的使用情況，也能找到部分對(duì)網(wǎng)絡(luò)存在危害的計(jì)算機(jī)，從而提取對(duì)網(wǎng)絡(luò)管理和安全監(jiān)控有用的信息，為網(wǎng)絡(luò)管理員提供各種利于網(wǎng)絡(luò)使用效率改進(jìn)的信息。在今后的學(xué)習(xí)和研究的過(guò)程中，本系統(tǒng)還需逐步的完善，以使其真正成為適應(yīng)于市場(chǎng)的實(shí)用性系統(tǒng)軟件。

參考文獻(xiàn)：

[1]姜傳菊，網(wǎng)絡(luò)日志分析在網(wǎng)絡(luò)安全中的作用，網(wǎng)絡(luò)資源與建設(shè)，2004，18（12）：58-60.

[2]熊艷，基于網(wǎng)絡(luò)日志的安全審計(jì)系統(tǒng)的研究與實(shí)現(xiàn)，上海：上海交通大學(xué)，2002.

[3]IETF RFC3164，The BSD Syslog Protocol.

[4]李承、王偉釗、程立、汪為農(nóng)、李家濱，基于防火墻日志的網(wǎng)絡(luò)安全審計(jì)系統(tǒng)研究與實(shí)現(xiàn)，計(jì)算機(jī)工程，2002，28（6）：17-19.

[5]李循律，基于Firewall日志的數(shù)據(jù)挖掘系統(tǒng)，杭州：浙江大學(xué)，2005.

作者簡(jiǎn)介：

張俊林（1978-），男，漢族，安徽渦陽(yáng)人，碩士學(xué)位，肇慶科技職業(yè)技術(shù)學(xué)院信息系，專(zhuān)任教師，研究方向：網(wǎng)絡(luò)管理與安全、嵌入式系統(tǒng)。