大數(shù)據(jù)驅(qū)動(dòng)下的數(shù)據(jù)全生命周期安全監(jiān)測方法

戴榮峰 陶曉英 于 萌 郭 丞 徐文濤

(中國聯(lián)合網(wǎng)絡(luò)通信有限公司上海市分公司 上海 200082)

在當(dāng)前社會(huì)全面數(shù)字化轉(zhuǎn)型的背景下,海量數(shù)據(jù)正以指數(shù)級(jí)增長,但在發(fā)展的同時(shí),信息安全事件頻發(fā),數(shù)據(jù)安全問題愈加突出[1],數(shù)據(jù)隱私安全也受到嚴(yán)重的威脅.根據(jù)IDC發(fā)布的“Data Age 2025”,全球數(shù)據(jù)總和在持續(xù)增長,2025年全球數(shù)據(jù)量綜合將達(dá)到175ZB.另一方面,全球信息安全威脅在持續(xù)增加,例如2018年的WannaCry勒索病毒嚴(yán)重破壞了全球數(shù)據(jù)安全態(tài)勢,影響了150個(gè)國家的20萬臺(tái)計(jì)算機(jī),總損失超過數(shù)十億美元.隨著5G的普及、物聯(lián)網(wǎng)的發(fā)展以及移動(dòng)辦公的興起,企業(yè)內(nèi)部的數(shù)據(jù)也在持續(xù)增長,數(shù)據(jù)資產(chǎn)的安全已經(jīng)與企業(yè)安全深度融合,因此如何保護(hù)數(shù)據(jù)資產(chǎn)的安全成為亟待解決的問題.

由于大部分?jǐn)?shù)據(jù)來源于獨(dú)立的數(shù)據(jù)源,導(dǎo)致個(gè)別數(shù)據(jù)針對(duì)性的處理較為繁瑣[2],傳統(tǒng)的敏感數(shù)據(jù)識(shí)別方法只在數(shù)據(jù)的存儲(chǔ)、加工環(huán)節(jié)進(jìn)行敏感數(shù)據(jù)識(shí)別的操作,對(duì)于數(shù)據(jù)的采集、傳輸、交換[3-5]等步驟缺少覆蓋性.當(dāng)前采集敏感數(shù)據(jù)是通過正則表達(dá)式將目標(biāo)數(shù)據(jù)轉(zhuǎn)換為字符串,再實(shí)現(xiàn)敏感數(shù)據(jù)的提取、處理以及匹配驗(yàn)證.但是該方法只能處理結(jié)構(gòu)化數(shù)據(jù)[6],無法處理半結(jié)構(gòu)化的日志文件以及非結(jié)構(gòu)化的PPT、圖片、視頻等數(shù)據(jù).其次,在應(yīng)用系統(tǒng)共享展現(xiàn)敏感數(shù)據(jù)時(shí),通過模糊信息特征匹配并進(jìn)行網(wǎng)絡(luò)敏感數(shù)據(jù)動(dòng)態(tài)抓取時(shí)[7],無法建立敏感數(shù)據(jù)與相對(duì)應(yīng)的頁面映射關(guān)系,缺少結(jié)構(gòu)化識(shí)別應(yīng)用系統(tǒng)中的敏感數(shù)據(jù).在數(shù)據(jù)實(shí)時(shí)傳輸時(shí),目前通常使用MapReduce[8]進(jìn)行實(shí)時(shí)處理,但是需要從物理存儲(chǔ)分布式文件系統(tǒng)(hadoop distributed file systems, HDFS)中加載數(shù)據(jù),處理后再返回給物理存儲(chǔ),導(dǎo)致實(shí)時(shí)流數(shù)據(jù)的處理能力被降低.

綜上,本文針對(duì)敏感數(shù)據(jù)采集識(shí)別、實(shí)時(shí)傳輸、數(shù)據(jù)共享、數(shù)據(jù)處理等方面,通過集成非結(jié)構(gòu)化識(shí)別、自動(dòng)化嗅探技術(shù)、自然語言處理、無監(jiān)督訓(xùn)練等數(shù)據(jù)安全技術(shù),提出了基于敏感數(shù)據(jù)特征解析識(shí)別、系統(tǒng)敏感內(nèi)容分割、實(shí)時(shí)流敏感數(shù)據(jù)監(jiān)測、文件敏感解析以及用戶異常行為預(yù)測,從而提升了監(jiān)測覆蓋范圍、提高了監(jiān)測準(zhǔn)確率和效率,保障了敏感數(shù)據(jù)的安全流轉(zhuǎn).

1 數(shù)據(jù)全生命周期的安全監(jiān)測方法

1.1 數(shù)據(jù)全生命周期的風(fēng)險(xiǎn)分析

在數(shù)據(jù)的采集、存儲(chǔ)、傳輸?shù)壬芷诃h(huán)節(jié)中,通過數(shù)據(jù)嗅探、分析、關(guān)聯(lián),發(fā)現(xiàn)敏感數(shù)據(jù)的安全風(fēng)險(xiǎn)如下:在不同類型數(shù)據(jù)采集后,若未按敏感數(shù)據(jù)分類分級(jí)存儲(chǔ),會(huì)存在極大泄露風(fēng)險(xiǎn);在數(shù)據(jù)傳輸環(huán)節(jié),當(dāng)源數(shù)據(jù)通過介質(zhì)傳輸時(shí),未脫敏的高風(fēng)險(xiǎn)數(shù)據(jù)會(huì)給業(yè)務(wù)系統(tǒng)帶來潛在風(fēng)險(xiǎn);在數(shù)據(jù)共享環(huán)節(jié),當(dāng)源數(shù)據(jù)通過應(yīng)用系統(tǒng)前端頁面展示時(shí),會(huì)存在未處理的敏感數(shù)據(jù)暴露風(fēng)險(xiǎn);在數(shù)據(jù)處理環(huán)節(jié),當(dāng)用戶處理敏感數(shù)據(jù)時(shí),存在違規(guī)惡意使用風(fēng)險(xiǎn).

1.2 監(jiān)測方法模型介紹

1.2.1 數(shù)據(jù)采集環(huán)節(jié)安全監(jiān)測——基于特征解析的識(shí)別模型

在數(shù)據(jù)采集環(huán)節(jié),針對(duì)網(wǎng)間流轉(zhuǎn)的敏感數(shù)據(jù)無法自動(dòng)發(fā)現(xiàn)、自動(dòng)監(jiān)測敏感數(shù)據(jù)訪問情況等問題,面向數(shù)字資產(chǎn)內(nèi)部所有類型的數(shù)據(jù),基于敏感數(shù)據(jù)特征解析識(shí)別源數(shù)據(jù).該模型實(shí)現(xiàn)流程主要包括抽取數(shù)據(jù)源、導(dǎo)入數(shù)據(jù)樣例、聚類分析樣例、自然語言處理、匹配敏感詞庫、自動(dòng)識(shí)別敏感數(shù)據(jù)等步驟.

數(shù)據(jù)源的選取基于特定數(shù)字資產(chǎn)范圍內(nèi)使用的工具以及協(xié)議,如FTP協(xié)議、MySQL、CSV文件、PDF文件[9]等產(chǎn)生的數(shù)據(jù).通過將數(shù)據(jù)源中提取出的元數(shù)據(jù)以及抽樣數(shù)據(jù)導(dǎo)入聚類引擎,經(jīng)過聚類分析[10]和自然語言處理[11],解析圖片、視頻等元數(shù)據(jù)的特征,最終提取出敏感詞庫.隨后比對(duì)敏感詞庫中特殊字段和關(guān)鍵詞庫,篩選身份證號(hào)、手機(jī)號(hào)、銀行卡號(hào)等數(shù)據(jù),實(shí)現(xiàn)敏感數(shù)據(jù)自動(dòng)識(shí)別.

基于特征解析的識(shí)別模型如算法1所示.首先遍歷所有源數(shù)據(jù)的數(shù)據(jù)維度,抽取數(shù)據(jù)源為元數(shù)據(jù)M,將元數(shù)據(jù)進(jìn)行聚類分析fk(M)和自然語言處理fNLP(M),將結(jié)果加入結(jié)果集Set中;之后遍歷Set,在敏感關(guān)鍵詞N中比對(duì)是否存在于結(jié)果集Set內(nèi),若存在,則加入敏感數(shù)據(jù)庫x(t)中,最后輸出x(t).

算法1.基于特征解析的識(shí)別模型.

輸入:源數(shù)據(jù)S;數(shù)據(jù)維度D;敏感關(guān)鍵詞N;

輸出:敏感數(shù)據(jù)庫x(t).

① fori=1 toDdo

②f(S(i))={S(i),S(i+1),…,S(D)};

/*提取數(shù)據(jù)源S(i)*/

③M=f(S(i));/*提取元數(shù)據(jù)M*/

④Set=fk(M);

/*聚類分析元數(shù)據(jù)輸入詞庫集*/

⑤ addfNLP(M) toSet;

/*自然語言處理輸入詞庫集*/

⑥ end for

⑦ forj=1 tolen(Set) do

⑧ fork=1 tolen(N) do

⑨ ifSet(j) matchN(j)

⑩ addSet(j) tox(t);

1.2.2 數(shù)據(jù)共享環(huán)節(jié)安全監(jiān)測——內(nèi)容分割模型

在數(shù)據(jù)共享環(huán)節(jié),當(dāng)應(yīng)用系統(tǒng)上線后,一些尚未脫敏的數(shù)據(jù)有可能發(fā)布到公共網(wǎng)絡(luò)空間,此時(shí)數(shù)據(jù)會(huì)被各方調(diào)取、使用或存儲(chǔ)到本地,存在共享管理不明確、數(shù)據(jù)超范圍共享、擴(kuò)大數(shù)據(jù)暴露面等安全風(fēng)險(xiǎn)和隱患.因此,針對(duì)應(yīng)用系統(tǒng)中尚未脫敏的頁面,使用內(nèi)容分割模型捕獲其中的敏感數(shù)據(jù).

敏感內(nèi)容分割流程如圖1所示.內(nèi)容分割模型使用頁面爬蟲技術(shù),爬取數(shù)據(jù)資產(chǎn)內(nèi)部所有的應(yīng)用系統(tǒng)頁面,對(duì)獲取的頁面進(jìn)行自動(dòng)化區(qū)域分割,并識(shí)別各個(gè)區(qū)域的內(nèi)容,實(shí)現(xiàn)敏感數(shù)據(jù)的智能解析.

圖1 敏感內(nèi)容分割流程

1.2.3 數(shù)據(jù)傳輸環(huán)節(jié)安全監(jiān)測——實(shí)時(shí)數(shù)據(jù)監(jiān)測模型

在數(shù)據(jù)傳輸環(huán)節(jié),數(shù)據(jù)在互聯(lián)網(wǎng)上進(jìn)行文件傳輸、電子郵件商務(wù)往來存在許多未知風(fēng)險(xiǎn),特別是涉及重要機(jī)密的文件傳輸.為了確保數(shù)據(jù)在公網(wǎng)上傳輸?shù)陌踩?防止有用或私有化信息在網(wǎng)絡(luò)上被攔截和竊取,需要對(duì)數(shù)據(jù)增加保護(hù)措施,因此針對(duì)內(nèi)部網(wǎng)絡(luò)實(shí)時(shí)穿梭的數(shù)據(jù)流資產(chǎn),通過使用Spark和Flink實(shí)時(shí)流組件,高速監(jiān)測實(shí)時(shí)數(shù)據(jù)流.

實(shí)時(shí)數(shù)據(jù)監(jiān)測流程如圖2所示,其通過從Kafka實(shí)時(shí)流、HDFS日志以及API網(wǎng)關(guān)中獲取數(shù)據(jù),API網(wǎng)關(guān)包括json接口、XML接口、HTTP函數(shù)、RESTful接口[12]以及HTML接口等.在獲取數(shù)據(jù)后,使用行為畫像模型、異常模型以及機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析處理.處理后的數(shù)據(jù)需要分發(fā)到各單元進(jìn)行策略評(píng)估,最后發(fā)送告警報(bào)文.

圖2 實(shí)時(shí)數(shù)據(jù)監(jiān)測流程

1.2.4 數(shù)據(jù)存儲(chǔ)環(huán)節(jié)安全監(jiān)測——文件解析檢索模型

隨著業(yè)務(wù)數(shù)據(jù)量的增加,數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫或FTP服務(wù)器上有泄露風(fēng)險(xiǎn),此時(shí)需要對(duì)數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)管控,如圖3所示,首先從源端,如API接口、數(shù)據(jù)庫以及文件傳輸接口等獲取數(shù)據(jù),在數(shù)據(jù)的采集階段完成敏感數(shù)據(jù)識(shí)別;其次,當(dāng)數(shù)據(jù)中臺(tái)進(jìn)行數(shù)據(jù)歸集清洗加工后,在數(shù)據(jù)下發(fā)數(shù)據(jù)租戶和服務(wù)平臺(tái)時(shí)對(duì)數(shù)據(jù)庫表以及文件進(jìn)行敏感識(shí)別;然后當(dāng)數(shù)據(jù)進(jìn)入數(shù)據(jù)租戶和服務(wù)平臺(tái)后,在數(shù)據(jù)交換使用時(shí)進(jìn)行敏感數(shù)據(jù)識(shí)別;最后,在數(shù)據(jù)銷毀時(shí)同樣進(jìn)行敏感數(shù)據(jù)識(shí)別.

在上述環(huán)節(jié)中,通過數(shù)據(jù)監(jiān)測節(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)租戶以及數(shù)據(jù)服務(wù)平臺(tái)調(diào)用的日志流量,并在FTP服務(wù)器中部署文件監(jiān)測引擎,對(duì)輸入接口以及輸出接口進(jìn)行監(jiān)控,實(shí)現(xiàn)存儲(chǔ)環(huán)節(jié)敏感數(shù)據(jù)安全監(jiān)測.

1.2.5 數(shù)據(jù)處理環(huán)節(jié)安全監(jiān)測——用戶異常行為預(yù)測模型

在數(shù)據(jù)處理環(huán)節(jié),用戶系統(tǒng)身份權(quán)限有可能被攻擊者竊取,并在系統(tǒng)內(nèi)部造成諸如數(shù)據(jù)泄露、設(shè)備宕機(jī)、遠(yuǎn)程控制等的安全威脅[13].因此,通過分析用戶的行為模式[14],阻止用戶竊權(quán)訪問并對(duì)安全風(fēng)險(xiǎn)及時(shí)處置.

首先,采集多種數(shù)據(jù)源,如主機(jī)日志、數(shù)據(jù)庫日志以及堡壘機(jī)日志,分析用戶的行為日志,跟蹤用戶行為;其次,進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)歸類等數(shù)據(jù)預(yù)處理,將預(yù)處理后的數(shù)據(jù)傳入密度聚類算法中進(jìn)行聚類,并建立個(gè)體、群體以及場景行為基線,持續(xù)評(píng)估基線風(fēng)險(xiǎn);然后,將基線數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行測試,進(jìn)行異常行為打分,對(duì)用戶、群體以及場景行為預(yù)測,及時(shí)發(fā)現(xiàn)潛在的安全威脅事件;最后,將高分基線行為發(fā)送到安全響應(yīng)小組進(jìn)行處置,人工動(dòng)態(tài)干預(yù)用戶潛在異常行為.

2 實(shí)驗(yàn)測試

2.1 測試環(huán)境

實(shí)驗(yàn)測試基于大數(shù)據(jù)驅(qū)動(dòng)下的數(shù)據(jù)全生命周期安全監(jiān)測方法搭建安全監(jiān)測平臺(tái),所需的配置如下:CPU Intel i9-12900,內(nèi)存64GB,硬盤8TB,操作系統(tǒng)Linux/2.6.32,數(shù)據(jù)庫ElasticSearch/6.2.4.

2.2 測試流程

2.2.1 安全監(jiān)測平臺(tái)測試

首先將攻擊主機(jī)、被攻擊主機(jī)以及安全監(jiān)測平臺(tái)測試機(jī)放入同一網(wǎng)絡(luò)域內(nèi),測試機(jī)用來測試誤報(bào)率、漏報(bào)率等參數(shù).在全雙工的條件下,攻擊主機(jī)從被攻擊主機(jī)中以一定速率獲取敏感數(shù)據(jù).被攻擊主機(jī)分別以64B,128B,512B,1518B大小的TCP,UDP和模擬真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)流量作為背景流量數(shù)據(jù)包,以滿負(fù)荷背景流量的25%,50%,75%,99%作為背景流量強(qiáng)度,向攻擊主機(jī)發(fā)送敏感數(shù)據(jù).測試結(jié)果統(tǒng)計(jì)方法如式(1)所示,統(tǒng)計(jì)監(jiān)測TCP,UDP的誤報(bào)率和漏報(bào)率,其中N為全量數(shù)據(jù)包,P為UDP總流量包.

(1)

2.2.2 模型算法測試

首先將服務(wù)器和安全監(jiān)測平臺(tái)客戶端放入同一網(wǎng)絡(luò)域內(nèi),并部署特征解析識(shí)別算法、內(nèi)容分割模型、實(shí)時(shí)數(shù)據(jù)監(jiān)測算法以及文件解析檢索算法.服務(wù)端使用不同的協(xié)議以及文件流向客戶端發(fā)送數(shù)據(jù),其中:敏感頁面選取50個(gè);每種數(shù)據(jù)源選取1000條高敏感數(shù)據(jù)項(xiàng),包含管理員密碼以及數(shù)據(jù)庫截圖等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);選取1000條中敏感數(shù)據(jù),包含身份證照片、手機(jī)號(hào)等敏感信息;選取1000條低敏感數(shù)據(jù),包含姓名、IP地址等信息;1000條非敏感數(shù)據(jù),向客戶端端口發(fā)送.測試結(jié)果統(tǒng)計(jì)方法如式(2)所示:

(2)

其中TP敏感數(shù)據(jù)為不同協(xié)議文件監(jiān)測的敏感數(shù)據(jù),FP非敏感數(shù)據(jù)為全量樣本下非敏感數(shù)據(jù).

2.2.3 用戶異常行為預(yù)測模型測試

首先,在安全監(jiān)測平臺(tái)部署用戶異常行為預(yù)測模型,并錄入1789名用戶的20萬條日志,其中213名為異常用戶,1576名用戶為正常用戶.日志的類型包括上傳文件、執(zhí)行遠(yuǎn)程系統(tǒng)命令、發(fā)送郵件、登錄系統(tǒng)等.日志數(shù)據(jù)包含日志產(chǎn)生時(shí)間、操作類型、源/目標(biāo)IP、數(shù)據(jù)報(bào)文信息、鏈路層信息以及用戶檔案.其次,將所有數(shù)據(jù)導(dǎo)入MySQL數(shù)據(jù)庫中.最后,用戶異常行為預(yù)測模型對(duì)數(shù)據(jù)庫中的文件進(jìn)行訓(xùn)練.測試結(jié)果統(tǒng)計(jì)方法如式(3)所示:

accuracy=

(3)

TP真正、TN真異、FP假正、FN假異分別為真正常用戶、真異常用戶、假正常用戶、假異常用戶.

2.3 測試結(jié)果分析

2.3.1 安全監(jiān)測平臺(tái)測試結(jié)果

測試結(jié)果如表1所示.實(shí)驗(yàn)結(jié)果表明,本文方法平臺(tái)可以監(jiān)測TCP以及UDP這2種傳輸層協(xié)議報(bào)文.其中:本文方法在各背景流量和數(shù)據(jù)包下監(jiān)測誤報(bào)率為0;在背景流量超過75%時(shí),本文方法的UDP報(bào)文誤報(bào)率低于4.5%.

表1 安全監(jiān)測平臺(tái)測試結(jié)果

2.3.2 模型算法測試結(jié)果

如表2所示,基于本文方法的算法模型面對(duì)敏感頁面內(nèi)容、不同協(xié)議和文件流時(shí),測試結(jié)果如下:對(duì)于50個(gè)包含敏感內(nèi)容的頁面實(shí)現(xiàn)全部解析;對(duì)于FTP協(xié)議數(shù)據(jù)源的4個(gè)安全等級(jí),本文方法的識(shí)別準(zhǔn)確率分別為95.6%,97.4%,96.8%,99.2%;對(duì)于MySQL數(shù)據(jù)源的識(shí)別準(zhǔn)確率分別為96.1%,98.0%,95.2%,98.9%;對(duì)于Oracle數(shù)據(jù)源的識(shí)別準(zhǔn)確率分別為97.1%,96.4%,91.6%,97.1%;對(duì)于CSV文件數(shù)據(jù)源的識(shí)別準(zhǔn)確率分別為96.0%,95.3%,92.7%,99.0%;對(duì)于Kafka數(shù)據(jù)源的識(shí)別準(zhǔn)確率分別為95.5%,94.6%,95.7%,97.6%;對(duì)于PDF文件的識(shí)別準(zhǔn)確率分別為95.3%,94.9%,95.8%,96.6%;對(duì)于Hadoop數(shù)據(jù)的識(shí)別準(zhǔn)確率分別為94.3%,94.7%,98.1%,95.6%;對(duì)于Restful API的識(shí)別準(zhǔn)確率分別為95.3%,94.9%,98.4%,97.2%.

表2 本文方法測試結(jié)果

綜上,特征解析識(shí)別算法、內(nèi)容分割模型、實(shí)時(shí)數(shù)據(jù)監(jiān)測算法以及文件解析檢索算法總體準(zhǔn)確率均高于92%,從而保障了敏感數(shù)據(jù)在各協(xié)議和文件流中的流轉(zhuǎn)識(shí)別.

2.3.3 用戶異常行為預(yù)測模型測試結(jié)果

通過預(yù)測模型檢測出210名異常用戶,其中真異常用戶205名、假異常用戶5名、檢測準(zhǔn)確率為93.2%、誤報(bào)率2%;檢測出1579名正常用戶,其中真正常用戶1571名、假正常用戶8名、檢測準(zhǔn)確率為99.5%、誤報(bào)率為0.5%,從而有效捕獲了用戶訪問敏感數(shù)據(jù)的異常行為.

3 結(jié) 語

本文提出了一種基于數(shù)據(jù)全生命周期的數(shù)據(jù)安全監(jiān)測方法,通過使用敏感數(shù)據(jù)特征解析、敏感內(nèi)容分割、實(shí)時(shí)流敏感數(shù)據(jù)監(jiān)測、文件敏感解析以及用戶異常行為預(yù)測,提取分析敏感數(shù)據(jù)在各環(huán)節(jié)內(nèi)的流轉(zhuǎn)情況.該方法有效解決了監(jiān)測覆蓋范圍小、精度低、自動(dòng)化程度低等問題,有效保障數(shù)據(jù)資產(chǎn)的安全.實(shí)驗(yàn)結(jié)果表明,該方法的算法模型總體準(zhǔn)確率高于92%且綜合誤報(bào)率低于2%,有效提高了對(duì)敏感數(shù)據(jù)的監(jiān)測效率.