基于大數(shù)據(jù)的網(wǎng)絡異常行為檢測平臺的設(shè)計與實現(xiàn)

一、引言

近幾年，隨著大數(shù)據(jù)和人工智能技術(shù)的不斷發(fā)展，全球數(shù)據(jù)的交互活動變得越來越頻繁，計算機已經(jīng)成為人們生活中不可割舍的一部分。在全球網(wǎng)絡信息高速發(fā)展的時代背景下，網(wǎng)絡安全問題得到了廣泛的關(guān)注；國家互聯(lián)網(wǎng)應急中心每周都會發(fā)布國家信息安全流動共享平臺（CNVD）周報，在2024年的第五期報告中，國家互聯(lián)網(wǎng)應急中心收集整理了信息安全漏洞409個，其中高危漏洞177個、中危漏洞225個、低危漏洞7個。漏洞平均分值為6.60，國家信息安全流動共享平臺（CNVD）接到的涉及黨政機關(guān)和企事業(yè)單位的事件型漏洞總數(shù)13040個，與上期（12980個）環(huán)比增加0.5%。可以看出，在網(wǎng)絡環(huán)境中，隨著網(wǎng)絡安全數(shù)據(jù)量越來越大，網(wǎng)絡攻擊的形勢也變得越來越嚴峻，面對這種形勢，如何加強對網(wǎng)絡異常行為的檢測成為控制保護網(wǎng)絡安全的關(guān)鍵措施?；诖?，本文針對網(wǎng)絡異常行為檢測平臺的設(shè)計展開研究，詳細分析如下。

二、大數(shù)據(jù)下網(wǎng)絡異常行為檢測平臺的設(shè)計

大數(shù)據(jù)下網(wǎng)絡異常行為的檢測是一種綜合性的活動內(nèi)容，檢測需要收集安全數(shù)據(jù)、做好數(shù)據(jù)處理、數(shù)據(jù)儲存并挖掘有關(guān)異常數(shù)據(jù)，從而達到檢測的目的。在使用大數(shù)據(jù)工作開展網(wǎng)絡異常行為的檢測過程中，必須明確清楚數(shù)據(jù)集成和數(shù)據(jù)高容量處理的問題，只有完善相關(guān)的問題，才能夠更好地做好平臺的設(shè)計和平臺的應用。

（一）平臺架構(gòu)

1.平臺簡易架構(gòu)

根據(jù)上文的研究分析，在網(wǎng)絡異常行為檢測平臺的設(shè)計中，可以將平臺的總體架構(gòu)分為六個層面，分別為數(shù)據(jù)源層、數(shù)據(jù)收集層、數(shù)據(jù)管道層、實時計算層、數(shù)據(jù)儲存層、數(shù)據(jù)分析層。

2.詳細架構(gòu)分析

（1）數(shù)據(jù)源層：數(shù)據(jù)源層是網(wǎng)絡異常行為檢測平臺的重要層級，是數(shù)據(jù)處理的基礎(chǔ)層級，包含有網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)以及防火墻系統(tǒng)日志數(shù)據(jù)等；在網(wǎng)絡異常行為的檢測平臺中，數(shù)據(jù)源層主要是提供數(shù)據(jù)來源的層級，通過不同的數(shù)據(jù)源層進入系統(tǒng)的數(shù)據(jù)會有不同的作用；其中，網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)是數(shù)據(jù)源層中最為重要的數(shù)據(jù)內(nèi)容。

（2）數(shù)據(jù)收集層：在數(shù)據(jù)收集層中，不同的數(shù)據(jù)應該采用不同的接入收集方案，從而更好地保障數(shù)據(jù)介入的可靠性。比如說，在網(wǎng)絡設(shè)備上，通過網(wǎng)絡數(shù)據(jù)流，可以使用網(wǎng)絡抓包工具，實現(xiàn)對數(shù)據(jù)的收集以及對數(shù)據(jù)的處理。

（3）數(shù)據(jù)管道層：數(shù)據(jù)管道層是連接數(shù)據(jù)收集層和實時計算層的關(guān)鍵，數(shù)據(jù)管道實際的作用就是為在數(shù)據(jù)收集層所收集到的數(shù)據(jù)做一個緩沖，在這些數(shù)據(jù)進入到實時計算層之前，進行緩沖；因為數(shù)據(jù)內(nèi)容一旦過大，就會導致系統(tǒng)平臺出現(xiàn)一定的處理問題，很難確保數(shù)據(jù)的整體處理效果，所以就需要一個緩沖層，緩沖層可以有效地提高數(shù)據(jù)傳輸?shù)目煽啃?，避免由于?shù)據(jù)內(nèi)容過大導致數(shù)據(jù)傳輸過程中丟失數(shù)據(jù)的問題發(fā)生。在系統(tǒng)中，數(shù)據(jù)管道層會應用“Kafka”（分布式消息系統(tǒng)）作為處理數(shù)據(jù)緩沖的工具，在數(shù)據(jù)收集層中收集到的數(shù)據(jù)會經(jīng)過“Kafka”（分布式消息系統(tǒng)），寫入“Kafka集群”中，匯總數(shù)據(jù)以后，就會經(jīng)過“Filnk”（流式處理器）進行處理解讀，更好地確保數(shù)據(jù)的安全與可靠。

（4）實時計算層：實時計算層在網(wǎng)絡異常行為檢測平臺中起到了核心的作用。這一層主要依賴于高性能的流式處理器引擎"——Filnk。它具備高可靠性、高容錯性的特性，確保了數(shù)據(jù)處理的穩(wěn)定性和準確性。實時計算層的功能多樣，涵蓋了數(shù)據(jù)反序列化服務、特征處理服務、TCP會話重組服務、統(tǒng)計分析服務、數(shù)據(jù)入庫服務以及告警服務等多個方面。

（5）數(shù)據(jù)儲存層：數(shù)據(jù)儲存層本質(zhì)上是通過多個數(shù)據(jù)儲存集群所組成的，數(shù)據(jù)儲存層提供了大數(shù)據(jù)網(wǎng)絡異常行為檢測的重要服務功能，分別是：基于HDFS分布式文件系統(tǒng)服務、基于HBase的分布式數(shù)據(jù)庫、基于Elasticsearch全文檢索服務。在數(shù)據(jù)儲存層中，利用這些大數(shù)據(jù)儲存服務，可以構(gòu)建一個高容量、高吞吐的海量數(shù)據(jù)儲存體系，其中基于HDFS的分布式文件系統(tǒng)服務是數(shù)據(jù)儲存層的重要組成部分。HDFS作為Hadoop生態(tài)系統(tǒng)中的核心組件，具有高可靠性、高擴展性和高效能的特點。它通過將數(shù)據(jù)分散存儲在多個節(jié)點上，實現(xiàn)了數(shù)據(jù)的分布式存儲和并行處理。這不僅提高了數(shù)據(jù)的存儲容量和可靠性，還為后續(xù)的數(shù)據(jù)分析和處理提供了高效的數(shù)據(jù)訪問接口。

（6）數(shù)據(jù)分析層：數(shù)據(jù)分析層是分析數(shù)據(jù)的關(guān)鍵層級，對于網(wǎng)絡異常行為平臺的檢測有非常重要的作用。主要任務是構(gòu)建高效的網(wǎng)絡異常行為檢測模型，這個模型能夠?qū)崟r地監(jiān)控網(wǎng)絡流量，識別異常行為，并及時發(fā)出警報，以防止?jié)撛诘木W(wǎng)絡攻擊或數(shù)據(jù)泄露。

（二）平臺系統(tǒng)的硬件設(shè)計

1.Hadoop的運用原理

Hadoop系統(tǒng)是一種廣泛使用的云計算平臺，它采用了map/reduce分布式計算模型，可以將大數(shù)據(jù)問題分解為多個小的任務，并在多個節(jié)點上并行處理，從而大大提高了數(shù)據(jù)處理效率。

本研究將針對Hadoop系統(tǒng)的作業(yè)原理進行優(yōu)化設(shè)計，旨在進一步提高大數(shù)據(jù)處理的效率和精度。通過深入分析map/reduce分布式計算模式的工作原理，我們將探索如何更好地利用云計算資源，優(yōu)化數(shù)據(jù)處理的流程，從而實現(xiàn)對大數(shù)據(jù)的高效、準確處理。

Hadoop系統(tǒng)會將大數(shù)據(jù)網(wǎng)絡中的異常數(shù)據(jù)檢測任務進行分類，分別分成不同的“子任務”，每一種不同的子任務，分別使用一個節(jié)點，最后會將檢測的結(jié)果上傳到數(shù)據(jù)庫管理的節(jié)點中，將所有的子任務的節(jié)點匯集以后，就會最終形成整體的檢測結(jié)果。

2.系統(tǒng)控制模塊的設(shè)計

在本研究中，我們選擇SDN控制器作為網(wǎng)絡異常行為檢測平臺的主要控制設(shè)備。網(wǎng)絡大數(shù)據(jù)平臺則由“計算端”與“控制端”銜接組合形成，計算端與控制端的銜接接口就是網(wǎng)絡大數(shù)據(jù)平臺，在平臺的整體工作中，計算端的主要作用是將系統(tǒng)的控制算法傳遞提供給總控制器，也就是“SDN控制器”，而控制端則可以與SDN控制器一起為網(wǎng)絡大數(shù)據(jù)平臺服務，形成控制點。

3.系統(tǒng)檢測模塊的設(shè)計

在大數(shù)據(jù)網(wǎng)絡平臺異常風險檢測的系統(tǒng)中，檢測模塊的設(shè)計是非常重要的，在本研究設(shè)計中，檢測模塊由儲存端和預處理端構(gòu)成；儲存端的主要功能是負責對大量數(shù)據(jù)進行存儲和管理。它采用了先進的存儲技術(shù)，確保數(shù)據(jù)的安全性和完整性。同時，儲存端還具備強大的數(shù)據(jù)檢索和分析能力，能夠快速定位異常數(shù)據(jù)，為后續(xù)的異常風險檢測提供有力支持。預處理端則負責對原始數(shù)據(jù)進行清洗、篩選和整合。通過這一環(huán)節(jié)，我們可以去除無效和冗余數(shù)據(jù)，提高數(shù)據(jù)的質(zhì)量和準確性。此外，預處理端還具備數(shù)據(jù)分類和標簽化功能，有助于不同類型的數(shù)據(jù)進行有針對性地分析和處理。

（三）網(wǎng)絡異常風險的檢測

1.最小二乘支持向量機

在傳統(tǒng)的網(wǎng)絡大數(shù)據(jù)平臺異常風險檢測活動中，一般采用支持向量機對這些異常風險進行檢測和分析，這種方式的建模時間比較長，同時分析異常風險活動的效率比較低，存在較大的缺陷，因此需要加以優(yōu)化。對此，本研究在相關(guān)理論的研究基礎(chǔ)上，提出了在網(wǎng)絡異常風險檢測中應用“最小二乘支持向量機”的方式進行檢測，并針對傳統(tǒng)的網(wǎng)絡異常風險檢測技術(shù)進行了改進。具體來說，在研究中，我們將傳統(tǒng)的網(wǎng)絡異常檢測向量機中的不等約束轉(zhuǎn)化成為等式約束；通過這一改變，很好地將整個網(wǎng)絡異常風險檢測平臺實現(xiàn)了簡化，并很好地降低了計算中可能會出現(xiàn)的一些復雜情況，并有效的提高了網(wǎng)絡異常風險的檢測效率和質(zhì)量。

2.網(wǎng)絡大數(shù)據(jù)平臺異常風險監(jiān)測模型

本文所研究的平臺是基于最小二乘向量機的平臺模型，具體來說，異常風險檢測的流程如下：

首先，我們實時收集網(wǎng)絡中的大數(shù)據(jù)信息，并特別關(guān)注那些可能表明網(wǎng)絡入侵的數(shù)據(jù)，這些數(shù)據(jù)就是網(wǎng)絡數(shù)據(jù)平臺中，可能會造成風險的相關(guān)標志數(shù)據(jù)。其次，在原始的網(wǎng)絡數(shù)據(jù)中，我們也將一些風險異常的數(shù)據(jù)篩選了出來，縮小了數(shù)據(jù)的范圍，從而可以很好地加快最小二乘支持向量機的學習速度。這一步的作用就是提高模型的效率和精度，使其更能夠快速準確地檢測出異常風險。再者，將異常風險相關(guān)的數(shù)據(jù)集劃分為多個子樣本集。這種分治策略使得我們可以對各個子集進行單獨建模，提高了模型的適應性和泛化能力。繼而，采集子樣本，并利用最小二乘支持向量機建模，建模完成以后，設(shè)定合適的樣本進行檢測以獲得最佳的模型性能。在每個節(jié)點上，我們將訓練樣本輸入到最小二乘支持向量機中進行訓練。

三、實驗分析

上文筆者針對大數(shù)據(jù)網(wǎng)絡異常行為檢測的平臺進行了設(shè)計，從平臺的不同層面以及平臺的硬件、模塊設(shè)計等方面詳細介紹了平臺的設(shè)計思路。下文，筆者將對本文中的平臺與WBT系統(tǒng)和網(wǎng)絡仿真技術(shù)系統(tǒng)進行對比實驗，從而驗證本文研究的平臺在大數(shù)據(jù)網(wǎng)絡背景下檢測異常行為的性能。

在實驗中，筆者在同一網(wǎng)絡的大數(shù)據(jù)庫中實施異常風險的數(shù)據(jù)檢測，檢測到的異常風險數(shù)據(jù)與其系統(tǒng)的檢測性能呈現(xiàn)正比，檢測獲取的三種系統(tǒng)檢測性能對比結(jié)果統(tǒng)計如下圖1所示：

圖1"三種系統(tǒng)檢測性能的對比統(tǒng)計圖

從圖1中，可以看出WBT系統(tǒng)的檢測性能相對比較差，應用性能也比較低下，而網(wǎng)絡仿真技術(shù)系統(tǒng)在檢測時間為120s前的檢測性能都比較優(yōu)越。

四、結(jié)語

綜上所述，本文主要研究提出設(shè)計了一個網(wǎng)絡異常行為檢測的平臺，并詳細介紹了該平臺的架構(gòu)組成，包括安全數(shù)據(jù)的數(shù)據(jù)源層、數(shù)據(jù)管道層、數(shù)據(jù)接入層等等。本研究活動所設(shè)計的平臺提供了一個網(wǎng)絡異常行為的有效檢測和識別的功能，并針對系統(tǒng)的硬件設(shè)計以及網(wǎng)絡異常風險的檢測模型的建立進行了詳細的介紹和分析，最后通過實驗研究發(fā)現(xiàn)本文所研究設(shè)計的平臺具有較好的性能，能夠為安全人員提供一個較好的檢測手段，是一種行之有效的網(wǎng)絡異常行為檢測的平臺。

（作者單位：華能山東石島灣核電有限公司）