信息采集網(wǎng)絡(luò)支撐系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

潘竹虹，許卓斌

(廈門(mén)大學(xué)信息與網(wǎng)絡(luò)中心，福建廈門(mén)361005)

信息采集網(wǎng)絡(luò)支撐系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

潘竹虹*，許卓斌

(廈門(mén)大學(xué)信息與網(wǎng)絡(luò)中心，福建廈門(mén)361005)

摘要：基于網(wǎng)絡(luò)數(shù)據(jù)幀轉(zhuǎn)發(fā)原理,提出了一種端口鏡像設(shè)計(jì)方法,并實(shí)際部署了一個(gè)獨(dú)立于生產(chǎn)網(wǎng)絡(luò)的、可精確篩選的、多輸出的網(wǎng)絡(luò)流量鏡像系統(tǒng),為廈門(mén)大學(xué)多套網(wǎng)絡(luò)信息采集分析系統(tǒng)提供網(wǎng)絡(luò)支撐．

關(guān)鍵詞：網(wǎng)絡(luò)安全;信息采集;端口鏡像

隨著信息技術(shù)的不斷發(fā)展,校園網(wǎng)內(nèi)網(wǎng)絡(luò)信息采集的需求大量增加．流量監(jiān)控、入侵檢測(cè)、上網(wǎng)行為日志審計(jì)、輿情監(jiān)控等信息安全管理,圖書(shū)館數(shù)據(jù)庫(kù)熱度分析、數(shù)字資源偏好分析等用戶行為分析系統(tǒng),以及內(nèi)容分發(fā)網(wǎng)絡(luò)(content delivery network, CDN)、Cache等網(wǎng)絡(luò)加速系統(tǒng)等,都需要對(duì)相應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)信息采集．

大部分網(wǎng)絡(luò)信息采集系統(tǒng)僅關(guān)心網(wǎng)絡(luò)數(shù)據(jù)流中的部分信息,但當(dāng)前的常見(jiàn)網(wǎng)絡(luò)數(shù)據(jù)輸出技術(shù)往往將包含相關(guān)信息的全部數(shù)據(jù)報(bào)文傳輸至信息采集系統(tǒng),它存在著以下兩方面的矛盾:1) 信息采集系統(tǒng)能夠采集到校園網(wǎng)全部網(wǎng)絡(luò)數(shù)據(jù)報(bào)文,對(duì)校園網(wǎng)管理而言存在嚴(yán)重的數(shù)據(jù)隱私泄露等合法性及安全性問(wèn)題,違背了網(wǎng)絡(luò)安全管理規(guī)范;2) 校園網(wǎng)主干網(wǎng)絡(luò)的流量動(dòng)輒達(dá)到萬(wàn)兆,基于通用處理器以軟件方法實(shí)現(xiàn)包頭解析的信息采集系統(tǒng)通常無(wú)法處理該級(jí)別的流量,信息采集所產(chǎn)生的信息數(shù)據(jù)量巨大,其中僅基礎(chǔ)的網(wǎng)頁(yè)訪問(wèn)日志即可達(dá)傳統(tǒng)本地化資源分析架構(gòu)難以承載的TB數(shù)量級(jí),成為基于傳統(tǒng)架構(gòu)的信息采集與分析系統(tǒng)的部署難題．

另一方面,當(dāng)前國(guó)內(nèi)外園區(qū)網(wǎng)高端交換機(jī)受限于設(shè)備軟硬件能力,往往僅支持少量用于支撐信息采集系統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)輸出鏈路．即使在網(wǎng)絡(luò)設(shè)備的支持?jǐn)?shù)量范圍內(nèi),過(guò)多的數(shù)據(jù)輸出也存在著影響生產(chǎn)網(wǎng)絡(luò)健壯性和穩(wěn)定性的可能,如廈門(mén)大學(xué)校園核心網(wǎng)絡(luò)當(dāng)前部署的多種網(wǎng)絡(luò)數(shù)據(jù)輸出技術(shù)最大可支持8路鏈路,目前已使用7路,無(wú)法滿足未來(lái)的爆發(fā)式的信息采集需求．

為解決以上矛盾,本文致力于研究設(shè)計(jì)一種獨(dú)立于生產(chǎn)網(wǎng)絡(luò)、可精確控制、多輸出的數(shù)據(jù)輸出系統(tǒng)作為信息采集的網(wǎng)絡(luò)支撐,該系統(tǒng)從校園網(wǎng)核心網(wǎng)絡(luò)設(shè)備獲取一份網(wǎng)絡(luò)數(shù)據(jù),再由該系統(tǒng)將網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行過(guò)濾或分流后多路輸出至相應(yīng)安全級(jí)別的信息采集系統(tǒng),以實(shí)現(xiàn)對(duì)輸出數(shù)據(jù)的安全控制以及對(duì)多套信息采集系統(tǒng)的支持．

1技術(shù)背景

2002年7月18日IEEE通過(guò)了萬(wàn)兆以太網(wǎng)標(biāo)準(zhǔn)802.3ae后,萬(wàn)兆以太網(wǎng)憑借其高達(dá)10 Gbit/s的帶寬以及種種技術(shù)優(yōu)勢(shì),逐漸在局域網(wǎng)乃至城域網(wǎng)中普及應(yīng)用．高校校園網(wǎng)是萬(wàn)兆以太網(wǎng)的重要應(yīng)用場(chǎng)合,利用10萬(wàn)兆的高速鏈路構(gòu)建校園網(wǎng)的骨干鏈路以及各個(gè)分校區(qū)和本部之間的連接,實(shí)現(xiàn)端到端的以太網(wǎng)訪問(wèn),提高網(wǎng)絡(luò)傳輸?shù)男?可以有效地保證遠(yuǎn)程多媒體教學(xué)、數(shù)字圖書(shū)館等業(yè)務(wù)的開(kāi)展．同時(shí)也給網(wǎng)絡(luò)測(cè)量及信息采集分析系統(tǒng)帶來(lái)了極大壓力．網(wǎng)絡(luò)數(shù)據(jù)采集可分為基于專(zhuān)用硬件的網(wǎng)絡(luò)數(shù)據(jù)采集和基于通用處理器平臺(tái)的網(wǎng)絡(luò)數(shù)據(jù)采集,其中基于專(zhuān)用硬件的采集方法在高速鏈路的環(huán)境下有巨大的性能優(yōu)勢(shì),但是昂貴的成本讓大多數(shù)系統(tǒng)仍選用基于通用處理器以軟件方法實(shí)現(xiàn)包頭解析的方法,受限于操作系統(tǒng)和硬件性能,目前處理速度僅能達(dá)到1 Gbit/s[1],高速鏈路特別是萬(wàn)兆流量鏈路已成為信息采集分析系統(tǒng)部署的瓶頸．

在數(shù)據(jù)捕獲采集前進(jìn)行數(shù)據(jù)過(guò)濾分流是解決該矛盾的有效手段．該工作由網(wǎng)絡(luò)設(shè)備進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)輸出時(shí)完成．當(dāng)前關(guān)于數(shù)據(jù)輸出有多種技術(shù)方案,但支持?jǐn)?shù)據(jù)過(guò)濾的技術(shù)非常少且沒(méi)有行業(yè)標(biāo)準(zhǔn),相關(guān)研究及成功部署成果也比較少．

在交換網(wǎng)絡(luò)中,有2種有效的數(shù)據(jù)輸出方法:

1) 分路器通過(guò)在通信鏈路中串接插入分路器實(shí)現(xiàn)．對(duì)于光纖鏈路來(lái)說(shuō)分路器即分光器,目前分光器的核心技術(shù)被國(guó)外公司壟斷,為光通信工程的研究方向之一．分光器具有各種應(yīng)用場(chǎng)景,校園網(wǎng)中的分光器主要為各種網(wǎng)絡(luò)偵聽(tīng)系統(tǒng)服務(wù),一般為無(wú)源設(shè)備,按比例分光,分路損耗與插入損耗決定其無(wú)法對(duì)同一鏈路多次分光,因此輸出接口有限并且不能遠(yuǎn)程管理輸出鏈路．分路器為物理層設(shè)備,對(duì)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)保持有天然優(yōu)勢(shì),但因固定串接部署,調(diào)整時(shí)需中斷鏈路,所以調(diào)整靈活度低,更無(wú)法進(jìn)行流量過(guò)濾．

2) 端口鏡像技術(shù),也被稱(chēng)為交換端口分析器(switched port analyzer,SPAN),是網(wǎng)絡(luò)設(shè)備提供的具有管理功能的一種技術(shù).它將指定端口(源端口)或虛擬局域網(wǎng)(virtual local area network,VLAN)(源VLAN)的報(bào)文復(fù)制一份到其他端口(目的端口),由網(wǎng)絡(luò)管理員利用數(shù)據(jù)監(jiān)測(cè)設(shè)備來(lái)分析復(fù)制到目的端口的報(bào)文,進(jìn)行網(wǎng)絡(luò)監(jiān)控和故障排除[2]．

發(fā)展至目前,端口鏡像技術(shù)可細(xì)分為3種:本地鏡像、遠(yuǎn)程鏡像、流鏡像．

1) 本地鏡像(local SPAN):鏡像源端口和目的端口在同一臺(tái)設(shè)備上,是被廣泛支持和使用的鏡像方式．

2) 遠(yuǎn)程鏡像(remote SPAN):將本設(shè)備源端口/源VLAN 上的報(bào)文通過(guò)2層或者3層網(wǎng)絡(luò)復(fù)制到另一臺(tái)設(shè)備的目的端口．

3) 流鏡像:具備鏡像過(guò)濾能力的鏡像技術(shù)在大部分場(chǎng)合被稱(chēng)為流鏡像技術(shù),它是一種基于訪問(wèn)控制列表(access control list,ACL)的鏡像．其優(yōu)勢(shì)在于用戶通過(guò)流分類(lèi)技術(shù)可以靈活地配置匹配條件,從而對(duì)報(bào)文進(jìn)行精細(xì)區(qū)分,并將區(qū)分后的報(bào)文復(fù)制到目的地進(jìn)行分析,從而實(shí)現(xiàn)對(duì)鏡像報(bào)文的精確控制．

端口鏡像技術(shù)不會(huì)改變鏡像報(bào)文的任何信息,也不會(huì)影響原有報(bào)文的正常轉(zhuǎn)發(fā),但需要消耗交換機(jī)的硬件性能,可能會(huì)對(duì)網(wǎng)絡(luò)設(shè)備的工作造成影響,即使是當(dāng)前國(guó)內(nèi)外最高端的網(wǎng)絡(luò)核心交換機(jī),其常見(jiàn)的鏡像輸出能力也局限于4組甚至少于2組鏡像組．鏡像技術(shù)目前沒(méi)有規(guī)范標(biāo)準(zhǔn),在不同設(shè)備上的實(shí)現(xiàn)機(jī)制存在較大差異．流鏡像技術(shù)僅在部分最新設(shè)備的最新軟硬件版本中被支持,功能仍有較多局限,穩(wěn)定性也需驗(yàn)證[3]．對(duì)比可見(jiàn),數(shù)據(jù)輸出方法有多種,但數(shù)據(jù)過(guò)濾輸出的主要手段為流鏡像技術(shù)．發(fā)展至目前,作為唯一具有過(guò)濾功能的鏡像技術(shù),流鏡像的多輸出支持能力仍然較弱,一般僅支持一個(gè)輸出,無(wú)法滿足當(dāng)前爆發(fā)的信息采集需求．

當(dāng)前常見(jiàn)的網(wǎng)絡(luò)信息采集系統(tǒng)數(shù)據(jù)獲取方案為校園網(wǎng)通過(guò)本地端口鏡像技術(shù)將相關(guān)網(wǎng)絡(luò)鏈路的數(shù)據(jù)信息輸出至信息采集系統(tǒng),由采集系統(tǒng)本身的數(shù)據(jù)采集模塊捕獲全部數(shù)據(jù)后再進(jìn)行數(shù)據(jù)過(guò)濾[4],數(shù)字資源利用率分析、數(shù)字資源網(wǎng)絡(luò)加速、網(wǎng)絡(luò)運(yùn)行記錄等應(yīng)用系統(tǒng)一般都采用端口鏡像作為數(shù)據(jù)來(lái)源,如上文所說(shuō),端口鏡像方案存在著違背信息安全管理、流量超過(guò)系統(tǒng)負(fù)荷、網(wǎng)絡(luò)支撐能力不足、影響生產(chǎn)網(wǎng)絡(luò)等多處矛盾;少量信息采集系統(tǒng)利用分路器旁路接入[5],除了以上矛盾外,分路器方案還存在部署不靈活的缺陷;據(jù)了解,目前有少數(shù)高校已部署核心網(wǎng)絡(luò)設(shè)備的流鏡像數(shù)據(jù)輸出來(lái)支撐信息采集系統(tǒng),流鏡像方案可以解決信息安全和萬(wàn)兆流量的矛盾,但其對(duì)網(wǎng)絡(luò)設(shè)備資源消耗高于其他鏡像技術(shù),網(wǎng)絡(luò)支撐能力不足、影響生產(chǎn)網(wǎng)絡(luò)等矛盾更加嚴(yán)重．

本文提出的復(fù)合鏡像技術(shù)可支持經(jīng)過(guò)精確過(guò)濾的多路數(shù)據(jù)輸出,基于復(fù)合鏡像技術(shù)設(shè)計(jì)的網(wǎng)絡(luò)支撐系統(tǒng)適用于不同的網(wǎng)絡(luò)環(huán)境,可以解決目前大多數(shù)網(wǎng)絡(luò)設(shè)備上鏡像過(guò)濾與多輸出難以并存的矛盾,并避免對(duì)生產(chǎn)網(wǎng)絡(luò)造成影響．

2設(shè)計(jì)思路

2.1復(fù)合鏡像技術(shù)

端口鏡像技術(shù)分為多種,圖1為各種鏡像技術(shù)的鏡像數(shù)據(jù)流路徑示意圖．

圖1　鏡像數(shù)據(jù)流路徑示意圖Fig.1Road map of mirrored flow

本地鏡像簡(jiǎn)單地將網(wǎng)絡(luò)設(shè)備的源數(shù)據(jù)在硬件轉(zhuǎn)發(fā)時(shí)進(jìn)行額外復(fù)制,發(fā)往鏡像目的端口，其鏡像數(shù)據(jù)流路徑示意圖如圖1(a)所示．部分網(wǎng)絡(luò)設(shè)備的多輸出鏡像技術(shù)的實(shí)現(xiàn)原理為利用遠(yuǎn)程鏡像技術(shù).將鏡像報(bào)文發(fā)送至遠(yuǎn)程鏡像反射口,通過(guò)鏡像反射口將報(bào)文在遠(yuǎn)程鏡像VLAN內(nèi)通過(guò)廣播方式復(fù)制發(fā)送,所有配置為遠(yuǎn)程鏡像VLAN的端口都會(huì)發(fā)送鏡像報(bào)文,從而支持多端口輸出,數(shù)據(jù)流路徑如圖1(b)所示．流鏡像僅將匹配流分類(lèi)條件(部分設(shè)備為匹配ACL)的報(bào)文復(fù)制到指定目的地,用于報(bào)文的分析和監(jiān)控，如圖1(c)所示．

圖2　網(wǎng)絡(luò)支撐系統(tǒng)設(shè)計(jì)模型Fig.2Network supporting system design model

由上述示意圖對(duì)比可見(jiàn),遠(yuǎn)程鏡像將復(fù)制的報(bào)文發(fā)往反射口后在VLAN內(nèi)廣播來(lái)實(shí)現(xiàn)多輸出,流鏡像將符合條件的流發(fā)往目的端口．我們提出一種技術(shù)設(shè)想:根據(jù)流鏡像和多輸出遠(yuǎn)程鏡像的技術(shù)原理特征,如果能在交換機(jī)轉(zhuǎn)發(fā)平臺(tái)將流鏡像的數(shù)據(jù)流直接發(fā)往遠(yuǎn)程鏡像技術(shù)中的鏡像反射口,再由反射口將報(bào)文廣播發(fā)往所有配置為遠(yuǎn)程VLAN的端口.如圖1(d)所示,即將流鏡像與遠(yuǎn)程鏡像功能深度結(jié)合形成一種復(fù)合鏡像技術(shù),則該復(fù)合鏡像技術(shù)可以在硬件層面整合實(shí)現(xiàn)可精確控制的多路輸出,解決目前大多數(shù)網(wǎng)絡(luò)設(shè)備上鏡像過(guò)濾與多輸出難以并存的矛盾,實(shí)現(xiàn)可精確控制的、多輸出的高帶寬數(shù)據(jù)輸出系統(tǒng)．

2.2系統(tǒng)方案設(shè)計(jì)

現(xiàn)有數(shù)據(jù)輸出技術(shù)的主要矛盾為違背信息安全管理,流量超過(guò)系統(tǒng)負(fù)荷，網(wǎng)絡(luò)支撐能力不足，影響生產(chǎn)網(wǎng)絡(luò).為解決這些矛盾,信息采集網(wǎng)絡(luò)支撐系統(tǒng)的對(duì)應(yīng)設(shè)計(jì)需求為流量可控、支持多輸出、獨(dú)立于生產(chǎn)網(wǎng)絡(luò)．圖2為網(wǎng)絡(luò)支撐系統(tǒng)設(shè)計(jì)模型．

該系統(tǒng)基于支持流鏡像的3層交換機(jī)設(shè)計(jì),具有第1次傳輸和第2次傳輸2個(gè)數(shù)據(jù)傳輸階段：1) 將網(wǎng)絡(luò)流量從生產(chǎn)網(wǎng)絡(luò)傳輸至獨(dú)立的網(wǎng)絡(luò)設(shè)備,以保證獨(dú)立于生產(chǎn)網(wǎng)絡(luò),不對(duì)生產(chǎn)網(wǎng)絡(luò)性能造成影響,2) 由網(wǎng)絡(luò)設(shè)備對(duì)數(shù)據(jù)包進(jìn)行二次過(guò)濾傳輸,以達(dá)到流量可控及多輸出需求．

2.2.1整體技術(shù)選擇

數(shù)據(jù)幀的轉(zhuǎn)發(fā)原理決定了數(shù)據(jù)輸出系統(tǒng)所能選用的輸出方式以及整體設(shè)計(jì)方向．

表1　數(shù)據(jù)幀傳輸改變字段信息

表2　網(wǎng)絡(luò)監(jiān)聽(tīng)系統(tǒng)所需字段信息

以太網(wǎng)數(shù)據(jù)幀有如下多種格式:

1) Ethernet V2幀[6],也被稱(chēng)為DIX幀,是最常見(jiàn)的幀類(lèi)型;

2) Novell Ethernet 非標(biāo)準(zhǔn)IEEE 802.3幀變種;

3) IEEE 802.3 邏輯鏈路控制 (LLC) 幀[7];

4) IEEE SNAP幀．

物理網(wǎng)絡(luò)上可能有多種數(shù)據(jù)幀在同時(shí)傳輸,大多數(shù)TCP/IP應(yīng)用都是用Ethernet V2幀格式,而交換機(jī)之間的橋協(xié)議數(shù)據(jù)單元(BPDU)數(shù)據(jù)包則是IEEE802.3/LLC的幀,VLAN Trunk協(xié)議如802.1Q和Cisco的思科發(fā)現(xiàn)協(xié)議(CDP)等則是采用IEEE802.3 SNAP的幀．

網(wǎng)絡(luò)管理員進(jìn)行故障排查的網(wǎng)絡(luò)嗅探需要監(jiān)聽(tīng)到所有數(shù)據(jù)幀，但針對(duì)圖書(shū)館信息資源傳輸?shù)男畔⒉杉到y(tǒng)僅需求TCP/IP報(bào)文，因此我們以Ethernet V2幀格式來(lái)說(shuō)明數(shù)據(jù)幀傳輸過(guò)程中改變的字段(表1)及網(wǎng)絡(luò)監(jiān)聽(tīng)系統(tǒng)所需字段信息(表2)的對(duì)比關(guān)系.

對(duì)比可見(jiàn),基于物理層的網(wǎng)絡(luò)串接、分路器以及基于數(shù)據(jù)鏈路層的端口鏡像等輸出技術(shù)不會(huì)改變數(shù)據(jù)報(bào)文,是支持網(wǎng)絡(luò)信息采集的最佳輸出方式．2層交換及3層路因?yàn)閭鬏敃?huì)改變數(shù)據(jù)幀中部分內(nèi)容,無(wú)法支撐如故障排查等需要精確偵聽(tīng)網(wǎng)絡(luò)信息的需求,但也能滿足常見(jiàn)的網(wǎng)絡(luò)信息采集分析系統(tǒng)的信息需求,也是設(shè)計(jì)數(shù)據(jù)輸出系統(tǒng)時(shí)可用的輸出方式之一．

2.2.2第1次傳輸技術(shù)選擇

基于物理層的分路器傳輸以及基于數(shù)據(jù)鏈路層的端口鏡像等輸出技術(shù)都可用于從生產(chǎn)網(wǎng)絡(luò)輸出．

分路系統(tǒng)的實(shí)施對(duì)象為通信鏈路,校園網(wǎng)邊界網(wǎng)絡(luò)通常具有多鏈路負(fù)載均衡，分路系統(tǒng)布署成本高，無(wú)法靈活調(diào)整，局限性較大的特點(diǎn)．

端口鏡像技術(shù)不會(huì)改變鏡像報(bào)文的任何信息,也不會(huì)影響原有報(bào)文的正常轉(zhuǎn)發(fā)．從生產(chǎn)網(wǎng)絡(luò)鏡像一份數(shù)據(jù)至獨(dú)立的網(wǎng)絡(luò)設(shè)備之后,該設(shè)備收到的報(bào)文為正常報(bào)文,未被封裝或者改變數(shù)據(jù)幀內(nèi)容,是較為理想的輸出方式．

鑒于分路傳輸在實(shí)際部署環(huán)境中的局限,本文所設(shè)計(jì)的系統(tǒng)第1次數(shù)據(jù)傳輸選用端口鏡像方式．

2.2.3第2次傳輸技術(shù)選擇

對(duì)鏡像報(bào)文的第2次傳輸?shù)男枨鬄榱髁靠煽匾约岸噍敵觯衔囊烟岬椒致菲鞯任锢韺觽鬏敾蛘?層廣播方式傳輸?shù)牧髁繑?shù)據(jù)不可控制,因此本文主要采用3層路由以及再次鏡像方式．

1) 3層路由方式

根據(jù)TCP/IP 參考模型體系,數(shù)據(jù)的收發(fā)是遵循以下過(guò)程:當(dāng)數(shù)據(jù)由應(yīng)用層自上而下傳遞時(shí),在網(wǎng)絡(luò)層形成IP 數(shù)據(jù)報(bào),再向下到達(dá)數(shù)據(jù)鏈路層,由數(shù)據(jù)鏈路層將TCP 數(shù)據(jù)報(bào)文分割為數(shù)據(jù)幀,并增加以太網(wǎng)包頭,再向下一層發(fā)送．鏈路層的數(shù)據(jù)幀傳輸時(shí),是依靠48 位介質(zhì)訪問(wèn)控制地址(media access control,MAC)而非IP 地址來(lái)確認(rèn)的,以太網(wǎng)的網(wǎng)卡設(shè)備并不關(guān)心IP 數(shù)據(jù)報(bào)中的目的IP 地址,它所需要的僅僅是MAC地址．如果接收數(shù)據(jù)報(bào)文設(shè)備的MAC地址與報(bào)文目的MAC一致,則設(shè)備認(rèn)為該數(shù)據(jù)報(bào)文發(fā)往自身,否則進(jìn)行丟棄．因此,識(shí)別鏡像流量需要將設(shè)備MAC改為鏡像報(bào)文的目的MAC,再通過(guò)配置路由策略或者靜態(tài)路由將報(bào)文分別輸出至不同端口,進(jìn)行第2次數(shù)據(jù)傳輸,并可精確控制數(shù)據(jù)報(bào)文的篩選輸出．根據(jù)圖1,該方式會(huì)改變數(shù)據(jù)幀的源MAC及目的MAC,僅適用于各種監(jiān)聽(tīng)分析系統(tǒng),不適用于管理員故障排查等需要嚴(yán)格保證報(bào)文內(nèi)容的需求．

MAC地址被設(shè)計(jì)時(shí),被認(rèn)為每張網(wǎng)卡都會(huì)將擁有全球唯一的物理標(biāo)識(shí)．網(wǎng)絡(luò)上2層可達(dá)的網(wǎng)絡(luò)設(shè)備都應(yīng)有獨(dú)一無(wú)二的MAC地址,相同的MAC地址將對(duì)網(wǎng)絡(luò)造成各種影響,特別是作為網(wǎng)絡(luò)重要組成單元的核心網(wǎng)絡(luò)設(shè)備而言,MAC互相沖突可能會(huì)帶來(lái)極其嚴(yán)重的后果,這種后果遠(yuǎn)超過(guò)終端用戶的ARP欺騙．因此,本方案實(shí)際部署中,必須確認(rèn)生產(chǎn)網(wǎng)絡(luò)設(shè)備鏡像目的端口不再接收數(shù)據(jù)．

2) 再次鏡像方式

鏡像技術(shù)作為網(wǎng)絡(luò)設(shè)備管理功能,其報(bào)文鏡像復(fù)制會(huì)在網(wǎng)絡(luò)設(shè)備識(shí)別轉(zhuǎn)發(fā)該報(bào)文前進(jìn)行,其復(fù)制技術(shù)可以類(lèi)比成集限器[4],即使網(wǎng)絡(luò)設(shè)備因?yàn)閂LAN tag之類(lèi)的傳輸標(biāo)志而不會(huì)轉(zhuǎn)發(fā)某些鏡像報(bào)文,也會(huì)先將報(bào)文先發(fā)往鏡像目的端口,可以保證全部報(bào)文的鏡像輸出,因此,使基于輸出后的數(shù)據(jù)報(bào)文通過(guò)獨(dú)立的網(wǎng)絡(luò)設(shè)備進(jìn)行再次鏡像輸出成為可能．

再次鏡像可以采用多種鏡像方法來(lái)實(shí)現(xiàn)不同的數(shù)據(jù)輸出,本文所設(shè)計(jì)提出的復(fù)合鏡像技術(shù)可以很好地完成第2次傳輸過(guò)程中流量過(guò)濾及多輸出的需求．

2.3系統(tǒng)模型設(shè)計(jì)

如圖2所示,根據(jù)第2次傳輸階段所選擇的技術(shù),網(wǎng)絡(luò)支撐系統(tǒng)可分為3個(gè)功能模塊:路由分流模塊、全流量鏡像模塊、復(fù)合鏡像模塊．不同的功能模塊可以獨(dú)立工作,適應(yīng)不同的網(wǎng)絡(luò)環(huán)境．

1) 全流量鏡像模塊

通過(guò)遠(yuǎn)程鏡像將全部流量輸出至多個(gè)端口．該功能模塊部署技術(shù)難度小,僅需求可支持遠(yuǎn)程鏡像技術(shù)的萬(wàn)兆交換機(jī),缺陷為無(wú)法滿足流量過(guò)濾需求,主要為流量分析監(jiān)控、入侵檢測(cè)防御、網(wǎng)絡(luò)管理員進(jìn)行故障排查的網(wǎng)絡(luò)嗅探等需要全部信息的信息采集系統(tǒng)提供支持．

2) 路由分流模塊

修改交換機(jī)MAC為生產(chǎn)網(wǎng)絡(luò)核心的MAC地址,通過(guò)路由策略或者路由表(視所修改的MAC為本地鏡像流量的源端口MAC或者源端口所接目的端口的MAC而定),將需嚴(yán)格保密的敏感數(shù)據(jù)分流至某一端口進(jìn)行保密過(guò)濾;將部分被關(guān)心的數(shù)據(jù)，例如對(duì)圖書(shū)資源的查詢及關(guān)注行為轉(zhuǎn)發(fā)至相應(yīng)的信息采集系統(tǒng);其余與圖書(shū)館相關(guān)流量通過(guò)發(fā)往某一端口,并對(duì)該端口進(jìn)行遠(yuǎn)程鏡像,分發(fā)至其他端口,以實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)訪問(wèn)熱度分析、圖書(shū)館網(wǎng)絡(luò)加速系統(tǒng)等多個(gè)信息采集系統(tǒng)的擴(kuò)展支持．交換機(jī)作為網(wǎng)絡(luò)設(shè)備本身并不提供修改MAC地址的功能,但有部分產(chǎn)品可以通過(guò)技術(shù)支持獲得修改方案．

該模塊對(duì)設(shè)備硬件要求較低,除去鏡像部分也可在普通終端設(shè)備如多網(wǎng)卡PC上實(shí)現(xiàn),部署成本低,實(shí)現(xiàn)方式更為靈活,但無(wú)法支撐較大的網(wǎng)絡(luò)流量．

3) 復(fù)合鏡像模塊

交換機(jī)設(shè)備作為一個(gè)封閉的功能硬件,并不提供底層硬件轉(zhuǎn)發(fā)的修改接口,為在實(shí)際環(huán)境中驗(yàn)證復(fù)合鏡像技術(shù)的可行性,該模塊按照上文提出的復(fù)合鏡像技術(shù)的思路設(shè)計(jì),通過(guò)流鏡像的流定義ACL對(duì)網(wǎng)絡(luò)流量進(jìn)行篩選過(guò)濾,僅將符合條件的流量送往某個(gè)端口,并對(duì)該端口進(jìn)行再次遠(yuǎn)程鏡像,實(shí)現(xiàn)可控的多路輸出．該模塊與復(fù)合鏡像技術(shù)的差距在于用額外的物理接口轉(zhuǎn)發(fā)了復(fù)合鏡像技術(shù)設(shè)計(jì)中直接發(fā)往遠(yuǎn)程鏡像反射口的流量．實(shí)驗(yàn)證明直接對(duì)流鏡像目的口進(jìn)行遠(yuǎn)程鏡像,遠(yuǎn)程端口目的端口并沒(méi)有預(yù)期的輸出．分析其原因?yàn)殓R像目的口被標(biāo)記為非轉(zhuǎn)發(fā)口,相應(yīng)的數(shù)據(jù)報(bào)文被認(rèn)為非轉(zhuǎn)發(fā)數(shù)據(jù),從而不再觸發(fā)鏡像功能．

為再次觸發(fā)鏡像功能,將流鏡像目的端口與本機(jī)其他端口通過(guò)外部物理線路互聯(lián),將過(guò)濾后的流量重新送回網(wǎng)絡(luò)輸出系統(tǒng),并對(duì)該回接端口進(jìn)行遠(yuǎn)程鏡像輸出至多個(gè)端口,實(shí)現(xiàn)多輸出．

復(fù)合鏡像模塊過(guò)濾條件靈活,可替代路由分流模塊的全部功能,為各種信息采集系統(tǒng)提供輸出支持．

3實(shí)驗(yàn)過(guò)程及結(jié)果

4臺(tái)3層交換機(jī)及3臺(tái)終端被設(shè)計(jì)用于實(shí)驗(yàn)實(shí)現(xiàn)數(shù)據(jù)輸出系統(tǒng),拓?fù)淙鐖D3所示．

Switch A/B/C用于模擬正常路由交換的生產(chǎn)網(wǎng)絡(luò),Switch D為一款中端的數(shù)據(jù)中心3層萬(wàn)兆交換機(jī)．網(wǎng)絡(luò)監(jiān)測(cè)設(shè)備1/2/3分別使用wireshark抓取分析數(shù)據(jù)報(bào)文．Switch B將G0/1端口的數(shù)據(jù)通過(guò)本地鏡像發(fā)往Switch D的G0/20端口．Switch D的MAC改為與Switch B一致．最終實(shí)驗(yàn)為同時(shí)配置全流量鏡像模塊、復(fù)合鏡像模塊及路由分流模塊．

復(fù)合鏡像模塊分流控制信息配置為:

acl number 3 000

rule 0 permit ip destination 10.0.5.0 0.0.0.255

rule 5 permit ip destination 10.0.8.0 0.0.0.255

設(shè)備上路由模塊分流控制信息配置為:

ip route-static 10.0.5.0 255.255.255.0 10.0.4.2

ip route-static 10.0.7.0 255.255.255.0 10.0.4.2

ip route-static 10.0.8.0 255.255.255.0 10.0.4.2

從Switch A(10.0.1.2)順序?qū)?0.0.5.2、10.0.6.2、10.0.7.2、10.0.8.2發(fā)送5個(gè)ping包進(jìn)行數(shù)據(jù)傳輸和數(shù)據(jù)過(guò)濾功能驗(yàn)證,按照預(yù)期,監(jiān)控端收到報(bào)文的結(jié)果符合如下規(guī)則:

1) 負(fù)責(zé)捕獲復(fù)合鏡像模塊輸出報(bào)文的網(wǎng)絡(luò)監(jiān)控1應(yīng)捕獲到發(fā)往10.0.5.2以及10.0.8.2的報(bào)文各5個(gè)，發(fā)往10.0.6.2以及10.0.7.2的報(bào)文被流規(guī)則過(guò)濾.

2) 負(fù)責(zé)捕獲路由鏡像模塊輸出報(bào)文的網(wǎng)絡(luò)監(jiān)控2應(yīng)捕獲到發(fā)往10.0.7.2的報(bào)文5個(gè),發(fā)往10.0.5.2、10.0.8.2的報(bào)文各10個(gè)．發(fā)往10.0.6.2的報(bào)文因沒(méi)有路由被丟棄,發(fā)往10.0.5.2、10.0.8.2的報(bào)文會(huì)出現(xiàn)重復(fù)翻倍,其原因?yàn)橥瑫r(shí)工作的復(fù)合鏡像模塊中流鏡像目的口跳接回本機(jī)端口時(shí),數(shù)據(jù)包再次被系統(tǒng)收取并路由轉(zhuǎn)發(fā).

3) 負(fù)責(zé)捕獲全鏡像模塊輸出報(bào)文的網(wǎng)絡(luò)監(jiān)控3應(yīng)捕獲到所有報(bào)文．

實(shí)驗(yàn)結(jié)果如表3所示,由此成功驗(yàn)證3種功能模塊均可以正常工作并且只輸出了符合預(yù)期的報(bào)文．

表3　實(shí)驗(yàn)結(jié)果

注：10.0.5.2、10.0.6.2、10.0.7.2、10.0.8.2為目的IP.

在復(fù)合鏡像模塊實(shí)驗(yàn)成功的同時(shí)也驗(yàn)證了本文所提出的復(fù)合鏡像技術(shù)的可行性．

4實(shí)際部署示例

廈門(mén)大學(xué)校園網(wǎng)已成功部署獨(dú)立于生產(chǎn)網(wǎng)絡(luò)的可控的多輸出的信息采集網(wǎng)絡(luò)支撐系統(tǒng)．

圖4　網(wǎng)絡(luò)支撐系統(tǒng)部署拓?fù)銯ig.4Deployment topology of network supporting system

系統(tǒng)部署拓?fù)鋱D如圖4所示．系統(tǒng)源流量為校園網(wǎng)4條萬(wàn)兆IPv4出口鏈路及1條千兆IPv6出口鏈路的本地鏡像流量,源高峰流量為5.5 Gbit/s．部署復(fù)合鏡像模塊及全流量鏡像模塊,已有1路全流量鏡像為流量監(jiān)控分析系統(tǒng)提供數(shù)據(jù)來(lái)源,1路復(fù)合鏡像輸出為圖書(shū)館數(shù)字資源利用分析系統(tǒng)提供數(shù)據(jù)來(lái)源,并可支持未來(lái)較多的系統(tǒng)接入需求．

表4　流過(guò)濾規(guī)則

表5　端口速率采樣結(jié)果

復(fù)合鏡像輸出的流過(guò)濾規(guī)則如表4，各端口通信包速率采樣結(jié)果如表5所示．

由表4可見(jiàn),全鏡像流量可傳輸并輸出全部源數(shù)據(jù),復(fù)合鏡像僅傳輸并輸出了部分相關(guān)流量．其中校園網(wǎng)鏡像輸出與支撐系統(tǒng)接收數(shù)據(jù)的微量差異,由不同品牌設(shè)備速率顯示時(shí)間區(qū)間差異造成．

該系統(tǒng)已在線穩(wěn)定運(yùn)行7個(gè)月．

5結(jié)論

本文提出了復(fù)合鏡像技術(shù)并成功驗(yàn)證了其可行性,該技術(shù)可以解決當(dāng)前網(wǎng)絡(luò)環(huán)境中鏡像技術(shù)多輸出與流量過(guò)濾難以并存的問(wèn)題;成功部署了基于校園網(wǎng)的信息采集網(wǎng)絡(luò)支撐系統(tǒng),可在較長(zhǎng)時(shí)間內(nèi)滿足校園網(wǎng)日益增長(zhǎng)的信息感知需求,并有效解決部分核心網(wǎng)絡(luò)設(shè)備無(wú)法對(duì)鏡像流量進(jìn)行過(guò)濾的安全隱患,為信息采集系統(tǒng)提供了良好的網(wǎng)絡(luò)基礎(chǔ)支撐．

參考文獻(xiàn)：

[1]肖寅東,王厚軍,田書(shū)林.高速網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中包頭解析方法[J].儀器儀表學(xué)報(bào),2012(6):1414-1419.

[2]CISCO. Configuring traffic mirroring[EB/OL].[2015-03-16].http:∥www.cisco.com/c/en/us/td/docs/routers/asr9000/software/asr9k_r5-1/interfaces/configuration/guide/hc51xasr9kbook/hc51span.html.

[3]H3C.網(wǎng)絡(luò)管理和監(jiān)控配置[EB/OL].[2015-03-16].http:∥www.h3c.com.cn/Service/Document_Center/Switches/Catalog/S5800/S5800/Configure/Operation_Manual/H3C_S5820X[S5800]_CG-Release_1110-6W103/10/.

[4]唐曉蘭,劉中臨,劉嘉勇.一種基于知識(shí)庫(kù)的行為特征檢測(cè)模型[J].信息安全與通信保密,2012(2):51-53，56.

[5]任富新.高速網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用,2012(1):58-60，63.

[6]CHARLES H.IETF RFC 894:a standard for the transmission of IP datagrams over ethernet networks[S/OL].[2013-03-02].http:∥datatracker.ietf.org/doc/rfc894/.

[7]Postel J.IETF RFC 1042:a standard for the transmission of IP datagrams over IEEE 802 networks[S/OL].[2013-03-02].http:∥datatracker.ietf.org/doc/rfc1042/.

Design and Implementation of Network Supporting System for Information Acquisition

PAN Zhuhong*,XU Zhuobin

(Information and Network Center,Xiamen University,Xiamen 361005,China)

Abstract:Based on principles of network data frame forwarding,a design technique of port mirroring is proposed.An accurate filtering multiple-output network traffic mirrored system,which is independent of production network,is deployed to provide the network support for the Xiamen University network information acquisition and analysis system.

Key words:network security;information acquisition;port mirroring

doi：10.6043/j.issn.0438-0479.2016.03.021

收稿日期：2015-07-03錄用日期：2015-08-23

基金項(xiàng)目：2015年福建省中青年教師教育科研項(xiàng)目(高校教育信息化專(zhuān)項(xiàng))(JA15002)

*通信作者：zhpan@xmu.edu.cn

中圖分類(lèi)號(hào):TP 393

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：0438-0479(2016)03-0426-08

引文格式：潘竹虹，許卓斌.信息采集網(wǎng)絡(luò)支撐系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016,55(3)：426-433.

Citation：PAN Z H,XU Z B． Design and implementation of network supporting system for information acquisition. Journal of Xiamen University(Natural Science)，2016,55(3)：426-433．(in Chinese)