企業(yè)開放網(wǎng)絡(luò)環(huán)境下的IP資產(chǎn)主動(dòng)發(fā)現(xiàn)技術(shù)研究

1 引言

在企業(yè)的網(wǎng)絡(luò)與信息安全管理工作中，資產(chǎn)是安全評(píng)估、安全防護(hù)、安全加固等工作的對(duì)象，因此資產(chǎn)管理工作十分重要，如何快速主動(dòng)發(fā)現(xiàn)新的IP資產(chǎn)，是資產(chǎn)管理中的重點(diǎn)工作。

ICT技術(shù)飛速發(fā)展，基于云計(jì)算等新興技術(shù)，尤其是IaaS（Infrastructure as a Service）技術(shù)，技術(shù)人員可快速獲得完善的計(jì)算基礎(chǔ)設(shè)施服務(wù)。同時(shí)，ICT項(xiàng)目的開發(fā)流程正逐步向敏捷開發(fā)、快速迭代演進(jìn)，可實(shí)現(xiàn)產(chǎn)品的快速發(fā)布上線；在架構(gòu)上逐步由單體式向分布式演進(jìn)，可實(shí)現(xiàn)快速的橫向擴(kuò)展。伴隨上述技術(shù)的發(fā)展，資產(chǎn)管理工作在流程、技術(shù)上也面臨更大的挑戰(zhàn)，傳統(tǒng)的資產(chǎn)管理方法，如臺(tái)賬錄入、CMDB同步、主動(dòng)掃描等，在資產(chǎn)更新頻率、資產(chǎn)信息準(zhǔn)確度等方面存在一定不足。

從海量異構(gòu)的數(shù)據(jù)中主動(dòng)分析出企業(yè)開放網(wǎng)絡(luò)環(huán)境下的IP資產(chǎn)信息，是當(dāng)今網(wǎng)絡(luò)安全領(lǐng)域較為熱門的話題，能夠解決安全管理工作的痛點(diǎn)，大大提升技術(shù)實(shí)用性。

2 相關(guān)技術(shù)研究

2.1 資產(chǎn)發(fā)現(xiàn)技術(shù)

IP資產(chǎn)的主動(dòng)發(fā)現(xiàn)包括不限于遠(yuǎn)程掃描、配置分析、流量分析等技術(shù)，實(shí)現(xiàn)邏輯如下。

遠(yuǎn)程掃描：利用遠(yuǎn)程掃描工具，對(duì)IP地址進(jìn)行存活性探測(cè)，包括不限于ICMP探測(cè)、SYN掃描、UDP掃描等，根據(jù)響應(yīng)信息判斷IP資產(chǎn)的存活性狀態(tài)。該方法是網(wǎng)絡(luò)掃描技術(shù)的應(yīng)用，受限于系統(tǒng)資源、網(wǎng)絡(luò)帶寬等因素，如果掃描并發(fā)會(huì)話數(shù)控制不當(dāng)，極易對(duì)網(wǎng)絡(luò)或信息系統(tǒng)的可用性造成影響。此外，遠(yuǎn)程掃描資產(chǎn)發(fā)現(xiàn)任務(wù)一般是不定期開展，實(shí)時(shí)性不足，無法做到資產(chǎn)的及時(shí)發(fā)現(xiàn)。

配置分析：利用遠(yuǎn)程登錄或日志信息采集方式，收集網(wǎng)絡(luò)設(shè)備的ARP表、路由表、MAC表、接口信息表等信息，進(jìn)一步關(guān)聯(lián)比對(duì)分析，獲取IP資產(chǎn)的存活狀態(tài)。該方法實(shí)時(shí)采集網(wǎng)絡(luò)設(shè)備的配置信息，對(duì)網(wǎng)絡(luò)設(shè)備性能有一定消耗；若網(wǎng)絡(luò)中出現(xiàn)ARP欺騙、MAC防洪等網(wǎng)絡(luò)攻擊，會(huì)影響分析結(jié)果的準(zhǔn)確率。

流量分析：利用網(wǎng)絡(luò)流量進(jìn)行分析，從數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層等層面，根據(jù)傳輸協(xié)議、端口特征、流量通信特征、數(shù)據(jù)包流向等重要參數(shù)，設(shè)定分析模型，獲取IP資產(chǎn)的存活信息。該方法一般通過鏡像網(wǎng)絡(luò)流量或采集NetFlow數(shù)據(jù)做進(jìn)一步分析實(shí)現(xiàn)，對(duì)網(wǎng)絡(luò)、信息系統(tǒng)影響較小。由于資產(chǎn)發(fā)現(xiàn)的及時(shí)率和準(zhǔn)確率取決于流量分析算法的有效性，如何基于流量特征去構(gòu)建資產(chǎn)發(fā)現(xiàn)模型是該技術(shù)的關(guān)鍵。

2.2 大數(shù)據(jù)相關(guān)技術(shù)

Apache Spark：是一個(gè)快速的通用集群計(jì)算系統(tǒng)。它提供Java，Scala，Python和R中的高級(jí)API，以及支持常規(guī)執(zhí)行圖的優(yōu)化引擎。

Spark Streaming：是Spark核心API的一個(gè)擴(kuò)展，可以實(shí)現(xiàn)高吞吐量的、具備容錯(cuò)機(jī)制的實(shí)時(shí)流數(shù)據(jù)處理。支持使用map、reduce、join等高級(jí)函數(shù)對(duì)多種數(shù)據(jù)源的數(shù)據(jù)進(jìn)行復(fù)雜算法的處理。

Kafka：Apache軟件基金會(huì)開發(fā)的開源分布式發(fā)布訂閱消息系統(tǒng)，是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，具備分布式、分區(qū)的、多副本的、多訂閱者等特點(diǎn)，常用做分布式日志系統(tǒng)，如web訪問日志，網(wǎng)頁日志、消息服務(wù)等。

基于以上大數(shù)據(jù)技術(shù)，業(yè)內(nèi)已經(jīng)有成熟的用于安全分析領(lǐng)域的解決方案，可實(shí)現(xiàn)從安全日志采集、存儲(chǔ)、分析的安全檢測(cè)分析流程。其中，基于Kafka和Spark Streaming技術(shù)的日志實(shí)時(shí)處理、分析，是當(dāng)前主流的實(shí)時(shí)大數(shù)據(jù)日志分析框架。

3 IP資產(chǎn)主動(dòng)發(fā)現(xiàn)模型

在企業(yè)的開放網(wǎng)絡(luò)環(huán)境下，本文利用流量日志采集存儲(chǔ)、大數(shù)據(jù)分析等技術(shù)，設(shè)計(jì)了IP資產(chǎn)主動(dòng)發(fā)現(xiàn)模型與方法，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)透明無感知的情況下，對(duì)企業(yè)網(wǎng)絡(luò)IP資產(chǎn)信息的實(shí)時(shí)主動(dòng)發(fā)現(xiàn)，不影響企業(yè)正常生產(chǎn)工作。

IP資產(chǎn)主動(dòng)發(fā)現(xiàn)實(shí)現(xiàn)模型如圖1所示。

圖1 IP資產(chǎn)主動(dòng)發(fā)現(xiàn)模型

3.1 數(shù)據(jù)采集存儲(chǔ)

網(wǎng)絡(luò)設(shè)備如交換機(jī)等，按照1:1比例把NetFlow日志外發(fā)至日志采集模塊。NetFlow日志中至少包括如下信息：源IP、目的IP、源端口、目的端口、通信協(xié)議、上行包數(shù)量、下行包數(shù)量。

數(shù)據(jù)采集模塊包括日志接收和日志存儲(chǔ)兩部分，日志接收可通過Flume組件（Cloudera提供的分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)）實(shí)現(xiàn)，日志存儲(chǔ)可通過Kafka實(shí)現(xiàn)。

依據(jù)Flume和Kafka組件，實(shí)現(xiàn)了NetFlow日志的傳輸、收集、轉(zhuǎn)發(fā)和存儲(chǔ)，同時(shí)給日志數(shù)據(jù)打上對(duì)應(yīng)的Topic標(biāo)簽，提供給大數(shù)據(jù)實(shí)時(shí)處理框架調(diào)用分析。該采集架構(gòu)在具備基礎(chǔ)功能的前提下，同時(shí)具備分布式橫向擴(kuò)展、多副本冗余備份等特點(diǎn)，很好提供高性能、彈性擴(kuò)展、多冗余能力。

3.2 大數(shù)據(jù)流處理分析

按照一定時(shí)間周期通過約定的標(biāo)簽從3.1小節(jié)的數(shù)據(jù)存儲(chǔ)組件中讀取NetFlow日志，基于Spark Streaming流處理框架實(shí)現(xiàn)對(duì)NetFlow日志的通信特征抽取關(guān)聯(lián)，進(jìn)一步研判分析，實(shí)時(shí)輸出分析結(jié)果?；诖髷?shù)據(jù)分析框架的資產(chǎn)發(fā)現(xiàn)分析流程如圖2所示。

圖2 基于大數(shù)據(jù)分析框架的資產(chǎn)發(fā)現(xiàn)流程圖

（1）從NetFlow日志中提取源IP、目的IP、源端口、目的端口、通信協(xié)議、上行包數(shù)量、下行包數(shù)量等字段。

（2）針對(duì)單條NetFlow日志，判斷源IP是否在企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP網(wǎng)段范圍，若處于該網(wǎng)段則執(zhí)行步驟（3）；判斷目的IP是否在企業(yè)開放網(wǎng)絡(luò)環(huán)境，若處于該網(wǎng)段則執(zhí)行步驟（4）。

（3）獲取企業(yè)開放網(wǎng)絡(luò)環(huán)境下的存活I(lǐng)P資產(chǎn)列表信息，判斷該條NetFlow日志的源IP是否在存活I(lǐng)P資產(chǎn)列表中，若不在，則源IP為新的資產(chǎn)IP，并存儲(chǔ)更新待確認(rèn)企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP列表庫。

（4）獲取企業(yè)開放網(wǎng)絡(luò)環(huán)境下的存活I(lǐng)P資產(chǎn)列表信息，判斷該條NetFlow日志的目的IP是否在存活I(lǐng)P資產(chǎn)列表中，若不在則繼續(xù)分析。

（5）判斷通信協(xié)議是否為TCP協(xié)議，且該TCP會(huì)話是否完成三次握手和數(shù)據(jù)交互，若條件均滿足，則目的IP為新的資產(chǎn)IP，并存儲(chǔ)更新待確認(rèn)企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP列表庫。

以上方法可透明、精準(zhǔn)、主動(dòng)地發(fā)現(xiàn)企業(yè)網(wǎng)絡(luò)中的IP資產(chǎn)，具備以下特點(diǎn)。

（1）透明無感知：網(wǎng)絡(luò)流量的日志可通過流量鏡像方式獲取，區(qū)別于主動(dòng)掃描等技術(shù)，對(duì)系統(tǒng)的可用性不會(huì)造成影響，實(shí)現(xiàn)對(duì)企業(yè)生產(chǎn)網(wǎng)絡(luò)和信息系統(tǒng)的透明無感知，適合在大企業(yè)的生產(chǎn)環(huán)境中推廣使用

（2）實(shí)時(shí)精準(zhǔn)識(shí)別：結(jié)合IP網(wǎng)段信息和開放IP資產(chǎn)列表，依據(jù)TCP/IP協(xié)議特征進(jìn)行IP資產(chǎn)主動(dòng)識(shí)別，可實(shí)現(xiàn)精準(zhǔn)的資產(chǎn)發(fā)現(xiàn)。此外，基于大數(shù)據(jù)流處理處理框架的技術(shù)實(shí)現(xiàn)，實(shí)現(xiàn)了實(shí)時(shí)分析和及時(shí)的資產(chǎn)發(fā)現(xiàn)，加強(qiáng)了資產(chǎn)管控工作。

（3）橫向擴(kuò)展：因?yàn)榇髷?shù)據(jù)技術(shù)具有橫向擴(kuò)展的特性，可從海量數(shù)據(jù)中進(jìn)行挖掘分析。具體應(yīng)用中，依據(jù)網(wǎng)絡(luò)拓?fù)浜蛯?shí)際場(chǎng)景，可從多網(wǎng)絡(luò)節(jié)點(diǎn)中采集網(wǎng)絡(luò)流量信息，依據(jù)數(shù)據(jù)量大小，橫向擴(kuò)展大數(shù)據(jù)集群，從海量網(wǎng)絡(luò)流量信主動(dòng)發(fā)現(xiàn)IP資產(chǎn)。

4 應(yīng)用建議

在企業(yè)的開放網(wǎng)絡(luò)環(huán)境中，可考慮從以下幾個(gè)層面應(yīng)用上述的基于大數(shù)據(jù)技術(shù)的IP資產(chǎn)主動(dòng)發(fā)現(xiàn)模型。

數(shù)據(jù)采集：對(duì)于IP資產(chǎn)主動(dòng)發(fā)現(xiàn)技術(shù)的數(shù)據(jù)來源，可采集企業(yè)網(wǎng)絡(luò)的互聯(lián)網(wǎng)出口網(wǎng)絡(luò)設(shè)備的NetFlow日志，若存在多個(gè)互聯(lián)網(wǎng)出口，則需采集各個(gè)互聯(lián)網(wǎng)出口節(jié)點(diǎn)的日志。大多數(shù)企業(yè)的網(wǎng)絡(luò)，會(huì)在防火墻等網(wǎng)絡(luò)設(shè)備中配置內(nèi)外網(wǎng)IP地址轉(zhuǎn)換，需注意的是，此類網(wǎng)絡(luò)環(huán)境下需從可獲取互聯(lián)網(wǎng)IP流量的網(wǎng)絡(luò)節(jié)點(diǎn)中采集日志。

大數(shù)據(jù)分析：對(duì)于具備大數(shù)據(jù)平臺(tái)且共享大數(shù)據(jù)能力的企業(yè)，可考慮在大數(shù)據(jù)平臺(tái)上研發(fā)IP資產(chǎn)主動(dòng)發(fā)現(xiàn)的大數(shù)據(jù)分析應(yīng)用，減少大數(shù)據(jù)平臺(tái)研發(fā)和運(yùn)維的工作量，節(jié)約研發(fā)投入成本。需注意的是，承載資產(chǎn)主動(dòng)發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用的大數(shù)據(jù)支撐平臺(tái)，需具備日志采集和實(shí)時(shí)流處理能力，如部署Spark、Kafka、 flume等組件。

在應(yīng)用以上技術(shù)的同時(shí)，企業(yè)需建立完備的資產(chǎn)管理制度和流程，配備安全運(yùn)營(yíng)人員對(duì)IP資產(chǎn)主動(dòng)發(fā)現(xiàn)的結(jié)果進(jìn)行核驗(yàn)及流程跟蹤，提升資產(chǎn)管理能力。

5 結(jié)束語

通過采集網(wǎng)絡(luò)流量日志，利用大數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)IP資產(chǎn)的主動(dòng)發(fā)現(xiàn)，實(shí)現(xiàn)真正的“摸清家底”，為安全管理者提供資產(chǎn)管理的技術(shù)支持，有效促進(jìn)安全加固、安全評(píng)測(cè)等工作的開展，更好地開展安全風(fēng)險(xiǎn)識(shí)別、分析、處置工作。需要注意的是，該項(xiàng)技術(shù)與企業(yè)的網(wǎng)絡(luò)策略管理工作精密銜接，企業(yè)的網(wǎng)絡(luò)策略管理應(yīng)規(guī)范化，降低對(duì)該技術(shù)應(yīng)用結(jié)果的運(yùn)營(yíng)成本。