基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的研究與設(shè)計(jì)

◆徐文濤 吳中超

（信息工程大學(xué) 河南 450001）

基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的研究與設(shè)計(jì)

◆徐文濤 吳中超

（信息工程大學(xué) 河南 450001）

隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)安全問(wèn)題越來(lái)越突出，其中網(wǎng)絡(luò)安全漏洞信息是網(wǎng)絡(luò)安全的核心內(nèi)容，對(duì)安全漏洞信息的管理和認(rèn)識(shí)，可以促進(jìn)網(wǎng)絡(luò)安全的建設(shè)，進(jìn)一步減少網(wǎng)絡(luò)犯罪。目前漏洞信息發(fā)布平臺(tái)眾多，但描述標(biāo)準(zhǔn)不統(tǒng)一，信息冗余度較大，基于此，本文介紹以當(dāng)前國(guó)際、國(guó)內(nèi)權(quán)威漏洞平臺(tái)數(shù)據(jù)為核心，對(duì)基于scap知識(shí)體系構(gòu)建的網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)進(jìn)行相關(guān)研究與設(shè)計(jì)。

scap；網(wǎng)絡(luò)安全；漏洞平臺(tái)

0 前言

隨著當(dāng)前計(jì)算機(jī)通信技術(shù)的高速發(fā)展，人們的生活越來(lái)越離不開(kāi)計(jì)算機(jī)網(wǎng)絡(luò)，但隨之帶來(lái)的網(wǎng)絡(luò)安全問(wèn)題也愈發(fā)凸顯，如網(wǎng)絡(luò)釣魚(yú)、信息泄露、木馬病毒、DDOS攻擊等。這些網(wǎng)絡(luò)安全問(wèn)題往往是利用特定網(wǎng)絡(luò)設(shè)備的漏洞、存在漏洞缺陷的設(shè)備沒(méi)有及時(shí)更新安全設(shè)置或安全補(bǔ)丁的情況下出現(xiàn)的。目前互聯(lián)網(wǎng)上各平臺(tái)對(duì)于網(wǎng)絡(luò)安全漏洞信息的發(fā)布往往各自為戰(zhàn)，網(wǎng)絡(luò)設(shè)備廠商和互聯(lián)網(wǎng)安全漏洞平臺(tái)發(fā)布的漏洞時(shí)間和描述又不盡一致。安全內(nèi)容自動(dòng)化協(xié)議SCAP提供了一套自動(dòng)化、標(biāo)準(zhǔn)化的方法來(lái)維護(hù)連接到互聯(lián)網(wǎng)設(shè)備的安全，它有一組標(biāo)準(zhǔn)化格式與術(shù)語(yǔ)規(guī)范，并且包含了相關(guān)系統(tǒng)的缺陷與安全配置標(biāo)準(zhǔn)化參考數(shù)據(jù)。本文介紹的基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)就是一個(gè)綜合性漏洞信息處理平臺(tái)，用來(lái)及時(shí)采集和研究相關(guān)網(wǎng)絡(luò)系統(tǒng)或設(shè)備的漏洞信息及安全措施，對(duì)網(wǎng)絡(luò)安全研究具有重要意義。

1 基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的主要研究?jī)?nèi)容

1.1 標(biāo)準(zhǔn)漏洞數(shù)據(jù)庫(kù)建立標(biāo)準(zhǔn)

安全漏洞信息是互聯(lián)網(wǎng)安全技術(shù)的核心信息，描述安全漏洞的SCAP標(biāo)準(zhǔn)在國(guó)際上被越來(lái)越多的組織和機(jī)構(gòu)采用。我們構(gòu)建的基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)，全方位、多角度展示漏洞信息的關(guān)聯(lián)特征和危害分級(jí)特征，采集了國(guó)際、國(guó)內(nèi)主流的安全漏洞數(shù)據(jù)庫(kù)19個(gè)，其中包含了NVD（美國(guó)國(guó)家漏洞庫(kù)）、CVE（標(biāo)準(zhǔn)信息安全漏洞庫(kù)）、USCert（美國(guó)網(wǎng)絡(luò)安全應(yīng)急響應(yīng)中心）、CNNVD（中國(guó)國(guó)家漏洞庫(kù)）、CNVD（中國(guó)國(guó)家信息安全漏洞共享平臺(tái)）、Exploit Database、微軟、Ubuntu等特定操作系統(tǒng)漏洞公告等。并且分析各個(gè)漏洞數(shù)據(jù)庫(kù)的漏洞信息特征、漏洞信息間的關(guān)聯(lián)信息，提出了基于通用漏洞編號(hào)及特定系統(tǒng)漏洞編號(hào)相結(jié)合的漏洞信息關(guān)聯(lián)技術(shù)，并對(duì)漏洞數(shù)據(jù)庫(kù)綜合分析，評(píng)估漏洞信息的全面性和覆蓋范圍、數(shù)據(jù)的引用情況、支持SCAP情況、包含POC情況、受漏洞影響應(yīng)用軟件情況等，根據(jù)評(píng)估結(jié)果建立包含數(shù)據(jù)來(lái)源、字段引用、漏洞信息分析的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。

1.2 漏洞數(shù)據(jù)自動(dòng)化處理分析技術(shù)

該平臺(tái)首先通過(guò)數(shù)據(jù)采集模塊采集各平臺(tái)的漏洞信息，然后基于漏洞數(shù)據(jù)的特征字段和文本分類技術(shù)對(duì)采集的漏洞數(shù)據(jù)自動(dòng)化分類處理，并保留原始漏洞信息庫(kù)，依據(jù)平臺(tái)漏洞數(shù)據(jù)庫(kù)建立標(biāo)準(zhǔn)構(gòu)建三級(jí)漏洞信息數(shù)據(jù)庫(kù)。為加快索引時(shí)間，避免過(guò)大延遲，索引表建立模塊采用二級(jí)索引技術(shù)對(duì)漏洞信息按照標(biāo)準(zhǔn)字段進(jìn)行歸類索引整理。漏洞信息數(shù)據(jù)庫(kù)自動(dòng)化處理平臺(tái)同時(shí)構(gòu)建多個(gè)功能分析模塊，包括補(bǔ)丁統(tǒng)計(jì)分析模塊、受影響軟件信息統(tǒng)計(jì)分析模塊，漏洞可利用級(jí)別分析模塊、POC統(tǒng)計(jì)分析模塊等，該類統(tǒng)計(jì)信息可以按照時(shí)間或系統(tǒng)版本信息進(jìn)行展示或檢索。整個(gè)系統(tǒng)各模塊獨(dú)立運(yùn)作，自動(dòng)化程度高，保證系統(tǒng)運(yùn)行的穩(wěn)定性和健壯性。

2 基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的主要結(jié)構(gòu)

對(duì)于一般漏洞信息處理平臺(tái)而言，所提供服務(wù)的要求：（1）漏洞信息必須準(zhǔn)確；（2）數(shù)據(jù)的完備性，包括所采集漏洞信息整體條目完整，單條漏洞信息完整；（3）漏洞信息的時(shí)效性；（4）漏洞信息發(fā)布平臺(tái)提供服務(wù)的穩(wěn)定性?；趕cap網(wǎng)絡(luò)安全大數(shù)據(jù)處理平臺(tái)除滿足以上要求外，還要有基于scap知識(shí)體系對(duì)漏洞信息的處理，因此該平臺(tái)的設(shè)計(jì)主要包含了五個(gè)模塊：漏洞數(shù)據(jù)采集模塊，數(shù)據(jù)清洗模塊，數(shù)據(jù)自動(dòng)化分類處理模塊，可視化檢索模塊，日志和異常處理模塊。

2.1 數(shù)據(jù)采集模塊

主要利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)從互聯(lián)網(wǎng)權(quán)威網(wǎng)站采集漏洞信息，將采集的原始數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)中，這一過(guò)程需要對(duì)數(shù)據(jù)源的更新作自動(dòng)化識(shí)別處理，保證采集到的漏洞數(shù)據(jù)的完整性。該模塊主要是基于pythonscrapy框架技術(shù)，對(duì)不同漏洞發(fā)布平臺(tái)獨(dú)立分析、采集數(shù)據(jù)，有針對(duì)性地定制數(shù)據(jù)采集計(jì)劃。

2.2 數(shù)據(jù)清洗模塊

基于各個(gè)網(wǎng)站的漏洞數(shù)據(jù)的條目信息、描述信息等將原始漏洞信息依照安全大數(shù)據(jù)庫(kù)建立標(biāo)準(zhǔn)進(jìn)行結(jié)構(gòu)化、格式化的數(shù)據(jù)清洗。目的是統(tǒng)一不同網(wǎng)站發(fā)布的漏洞信息的字段特征，便于后續(xù)的基于scap的漏洞信息知識(shí)化分析處理。其中要涉及xml文檔解析技術(shù)、正則表達(dá)式匹配技術(shù)、自然語(yǔ)言理解技術(shù)等多種技術(shù)。

2.3 數(shù)據(jù)自動(dòng)化處理模塊

基于scap的知識(shí)體系對(duì)清洗過(guò)的漏洞信息按照安全漏洞信息數(shù)據(jù)庫(kù)建立標(biāo)準(zhǔn)重新對(duì)不同網(wǎng)站漏洞信息進(jìn)行關(guān)聯(lián)，并在此基礎(chǔ)上按照用戶需求提取poc、漏洞可利用級(jí)別、有缺陷的應(yīng)用信息等進(jìn)行進(jìn)一步分析處理，將處理結(jié)果及漏洞數(shù)據(jù)關(guān)聯(lián)信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，而且提供可擴(kuò)展功能模塊接口，讓漏洞信息得到最大化的利用。

2.4 可視化檢索模塊

其目的是將平臺(tái)處理過(guò)的漏洞信息高效、便捷、友好地展示給用戶，并且根據(jù)該平臺(tái)的用戶情況，隨時(shí)為用戶定制展示模塊。因此，該模塊的實(shí)現(xiàn)采用基于Flask的輕量級(jí)web框架對(duì)處理過(guò)的漏洞數(shù)據(jù)信息提供可視化檢索。Flask框架配置靈活，不同環(huán)境的配置也非常方便，它的blueprint能夠很方便地進(jìn)行水平擴(kuò)展，更加便捷地增加平臺(tái)展示內(nèi)容。

2.5 日志和異常處理模塊

搜集并分析系統(tǒng)各個(gè)功能模塊運(yùn)行時(shí)記錄的日志，根據(jù)日志分析結(jié)果，判斷該模塊運(yùn)行的狀態(tài)，按照錯(cuò)誤類別及特定信息標(biāo)志進(jìn)入錯(cuò)誤處理階段，錯(cuò)誤處理包括改變對(duì)應(yīng)模塊運(yùn)行方式、重啟特定功能模塊和按級(jí)別報(bào)警等功能，保證整個(gè)系統(tǒng)自動(dòng)、穩(wěn)定地運(yùn)行，幫助系統(tǒng)管理員了解系統(tǒng)運(yùn)行狀態(tài)。

3 基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的主要特點(diǎn)

3.1 擁有高質(zhì)量的漏洞數(shù)據(jù)信息

該平臺(tái)是基于scap標(biāo)準(zhǔn)構(gòu)建的綜合網(wǎng)絡(luò)安全漏洞數(shù)據(jù)平臺(tái)，數(shù)據(jù)來(lái)源于國(guó)際國(guó)內(nèi)權(quán)威漏洞數(shù)據(jù)發(fā)布平臺(tái)。通過(guò)設(shè)計(jì)的一套知識(shí)體系將不同漏洞平臺(tái)數(shù)據(jù)加以整合、分析，構(gòu)建了供科研教學(xué)和安全運(yùn)維所使用的綜合漏洞處理平臺(tái)。

3.2 擁有分布式自動(dòng)化處理機(jī)制

基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)的所有功能模塊中，安全漏洞數(shù)據(jù)的采集模塊是基礎(chǔ)。因此，必須要保證漏洞數(shù)據(jù)的完整性和時(shí)效性。該平臺(tái)在安全漏洞原始數(shù)據(jù)庫(kù)建立階段，擁有一套綜合故障處理機(jī)制，有效地避免漏洞數(shù)據(jù)鏈的缺失，保證了漏洞數(shù)據(jù)的完整性和實(shí)效性。

3.3 擁有詳盡的漏洞關(guān)聯(lián)特征

安全漏洞數(shù)據(jù)庫(kù)采取不同的關(guān)聯(lián)算法會(huì)導(dǎo)致檢索時(shí)有不同的效果，為了保證漏洞數(shù)據(jù)在最終檢索階段的全面性、低冗余性。平臺(tái)依托于通用漏洞編號(hào)和特定漏洞編號(hào)相結(jié)合的方式建立不同網(wǎng)站漏洞信息的關(guān)聯(lián)鏈，將更加詳盡的漏洞信息展示給平臺(tái)使用者。

3.4 擁有良好的擴(kuò)展特性

該漏洞數(shù)據(jù)平臺(tái)采用三級(jí)數(shù)據(jù)庫(kù)構(gòu)建，一級(jí)數(shù)據(jù)庫(kù)是從互聯(lián)網(wǎng)采集的原始漏洞信息庫(kù)，二級(jí)數(shù)據(jù)庫(kù)是通過(guò)文檔解析、正則匹配、文字聚類分析的數(shù)據(jù)清洗庫(kù)，三級(jí)數(shù)據(jù)庫(kù)是以scap為標(biāo)準(zhǔn)的基于平臺(tái)自動(dòng)化分析的知識(shí)數(shù)據(jù)庫(kù)。其中包含了豐富多樣的網(wǎng)絡(luò)安全漏洞分析信息。為不同領(lǐng)域的學(xué)術(shù)研究、網(wǎng)絡(luò)安全運(yùn)維提供多樣性、完備性的數(shù)據(jù)保障。其中poc、漏洞利用代碼信息、受特定漏洞影響的軟件版本等信息可以應(yīng)用于網(wǎng)絡(luò)攻防平臺(tái)的靶機(jī)自動(dòng)化部署。

4 結(jié)論

基于scap網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)采集互聯(lián)網(wǎng)上權(quán)威漏洞平臺(tái)發(fā)布的網(wǎng)絡(luò)安全漏洞信息，采用了自然語(yǔ)言理解、國(guó)內(nèi)外網(wǎng)絡(luò)安全信息庫(kù)的最新檢索等關(guān)聯(lián)技術(shù)，并在基礎(chǔ)數(shù)據(jù)集上進(jìn)行知識(shí)抽取和特定安全分析，構(gòu)建出具有知識(shí)體系分類的網(wǎng)絡(luò)攻防知識(shí)庫(kù)，滿足不同安全人員的從業(yè)要求，為網(wǎng)絡(luò)安全領(lǐng)域的科學(xué)研究和安全運(yùn)維提供了全面、系統(tǒng)的信息支撐。

[1]張玉清, 吳舒平.國(guó)家安全漏洞庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J].通信學(xué)報(bào)，2011.

[2]張力.引入SCAP標(biāo)準(zhǔn)提高系統(tǒng)配置安全[J].信息安全與技術(shù)，2010.

[3]特賽克,張力. SCAP標(biāo)準(zhǔn)簡(jiǎn)介[J].中國(guó)信息安全，2011.

[4]王甜,夏斌偉,徐輝等.信息系統(tǒng)安全等級(jí)測(cè)評(píng)配置檢查工具研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2014.

[5]王謙,潘辰.基于大數(shù)據(jù)時(shí)代下的網(wǎng)絡(luò)安全漏洞與防范措施分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.