基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測(cè)研究

曾文獻(xiàn)，張淑青，孟慶林，李子坤

（河北經(jīng)貿(mào)大學(xué) 信息技術(shù)學(xué)院，河北 石家莊 050061）

0 引言

隨著科技的發(fā)展，互聯(lián)網(wǎng)技術(shù)廣泛應(yīng)用于人類(lèi)生活的方方面面，但用戶(hù)在享受便利的同時(shí)，網(wǎng)絡(luò)攻擊變得越來(lái)越嚴(yán)重，導(dǎo)致用戶(hù)的個(gè)人信息甚至財(cái)產(chǎn)受到嚴(yán)重的威脅.在此環(huán)境的影響下，網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)（IDS）成為最新ICT（Information and Communication Technology）系統(tǒng)中不可或缺的一層，網(wǎng)絡(luò)入侵檢測(cè)技術(shù)根據(jù)信息來(lái)源的不同和檢測(cè)方法的差異進(jìn)行信息分類(lèi)，進(jìn)而確定數(shù)據(jù)是正常還是異常[1].本研究選擇了誤差反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）方法構(gòu)建模型，并采用KDD99數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集.KDD99數(shù)據(jù)集主要涵蓋拒絕服務(wù)攻擊（Dos）、來(lái)自遠(yuǎn)程主機(jī)的未授權(quán)訪問(wèn)（R2L）、未授權(quán)的本地超級(jí)用戶(hù)特權(quán)訪問(wèn)（U2R）、端口監(jiān)視或掃描（Probe）和高級(jí)持續(xù)性威脅（APT）等攻擊類(lèi)型.其中APT攻擊具有高度隱蔽、手段多樣和目標(biāo)明確的特點(diǎn)[2]，具有極大的破壞力，是目前國(guó)內(nèi)外網(wǎng)絡(luò)入侵技術(shù)研究的重點(diǎn)，本研究將APT攻擊作為重點(diǎn)研究對(duì)象之一，APT攻擊的階段圖見(jiàn)圖1.

圖1 APT攻擊階段圖

在傳統(tǒng)的網(wǎng)絡(luò)入侵檢測(cè)方法中，存在著收斂速度慢、資源占用率大、成本高等缺點(diǎn)[3].并且當(dāng)突發(fā)入侵事件發(fā)生時(shí)，部分檢測(cè)方法不能夠識(shí)別該網(wǎng)絡(luò)攻擊行為，進(jìn)而導(dǎo)致信息泄露.為了解決上述問(wèn)題，首先對(duì)不同入侵行為的目的進(jìn)行分析，使用分類(lèi)算法確定原始數(shù)據(jù)的主要特征，進(jìn)行數(shù)據(jù)的預(yù)處理，偏差標(biāo)準(zhǔn)化算法（Z-Core）將連續(xù)數(shù)據(jù)離散化，然后使用相同數(shù)據(jù)集進(jìn)行模擬實(shí)驗(yàn)訓(xùn)練并對(duì)結(jié)果進(jìn)行分析對(duì)比，以提高模型的準(zhǔn)確率和穩(wěn)定性.

1 系統(tǒng)處理流程

系統(tǒng)的處理流程主要包括數(shù)據(jù)提取、數(shù)據(jù)處理、攻擊分析及報(bào)警響應(yīng).具體流程如圖2所示.

圖2 系統(tǒng)處理流程

數(shù)據(jù)提取主要是對(duì)網(wǎng)路攻擊數(shù)據(jù)的采集，根據(jù)不同的攻擊行為，盡可能多地提取不同類(lèi)型的數(shù)據(jù)，以保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性；數(shù)據(jù)處理是對(duì)已提取的數(shù)據(jù)進(jìn)行預(yù)處理的過(guò)程，以減小檢測(cè)誤差；攻擊分析是對(duì)不同的入侵行為的分析，以檢測(cè)攻擊類(lèi)型；報(bào)警響應(yīng)是解決已檢測(cè)出的攻擊的重要措施，可以根據(jù)入侵?jǐn)?shù)據(jù)的危害程度，選擇主動(dòng)或被動(dòng)兩種方案.

BPNN的主要特點(diǎn)是信號(hào)前向傳播，而誤差反向傳播，優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練流程如圖3所示.模型訓(xùn)練結(jié)束后，將測(cè)試數(shù)據(jù)傳入優(yōu)化的BP模型中，分析攻擊類(lèi)型并報(bào)警響應(yīng)，根據(jù)測(cè)試結(jié)果，判斷模型的性能.

圖3 模型訓(xùn)練流程

2 BP算法及其優(yōu)化

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)模型在人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上使用梯度下降優(yōu)化算法進(jìn)行數(shù)據(jù)集訓(xùn)練，是目前使用最廣泛的模型之一[2].相較于其他神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)相對(duì)成熟，結(jié)構(gòu)上分為輸入層、1個(gè)或多個(gè)隱藏層及輸出層3部分[4].

BP神經(jīng)網(wǎng)絡(luò)的過(guò)程主要可分兩階段，第一階段為信號(hào)的前向傳播，信號(hào)從輸入層經(jīng)過(guò)隱藏層再到輸出層；第二階段為誤差的反向傳播，從輸出層到隱含層再到輸入層.在這兩個(gè)階段不停地對(duì)輸入層到隱藏層的權(quán)重wij和偏置aj以及隱藏層到輸出層的權(quán)重wjk和偏置bk進(jìn)行修改.假設(shè)輸入層、輸出層、隱藏層的節(jié)點(diǎn)個(gè)數(shù)分別為n，m，l，學(xué)習(xí)率為η，Yk為輸出期望，具體計(jì)算如公式（1）～（4）所示.

隱藏層的輸出公式：

輸出層的輸出公式：

誤差計(jì)算公式：

在上式中，令 ek=（Yk-Ok），則則權(quán)值的更新公式可記為：

以上公式中，i=1，2，…，n，j=1，2，…，l，k=1，2，…，m.

2.2 BP算法優(yōu)化

盡管傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在非線性映射能力、自學(xué)習(xí)和自適應(yīng)、泛化能力和容錯(cuò)能力等方面相較于其他傳統(tǒng)機(jī)器學(xué)習(xí)方法有一定的優(yōu)勢(shì)[5]，但隨著研究的深入，不足之處也越發(fā)明顯.包括：1）容易導(dǎo)致局部最優(yōu)；2）訓(xùn)練過(guò)程中的收斂速度比較慢；3）檢測(cè)能力和訓(xùn)練能力之間容易出現(xiàn)過(guò)擬合現(xiàn)象.針對(duì)這些問(wèn)題，本研究主要從改進(jìn)BP神經(jīng)網(wǎng)絡(luò)Dropout隨機(jī)丟棄方法和改變激活函數(shù)兩方面進(jìn)行優(yōu)化，將節(jié)點(diǎn)間的相關(guān)性與Dropout正則化方法相結(jié)合，根據(jù)節(jié)點(diǎn)間的相關(guān)程度以不同的概率刪除節(jié)點(diǎn)，進(jìn)而提高檢測(cè)的效率.

2.2.1 Dropout正則化方法

Dropout正則化方法是一種預(yù)防神經(jīng)網(wǎng)絡(luò)過(guò)擬合的方法[6]，Dropout正則化方法是將隱藏層的N個(gè)神經(jīng)元在每次訓(xùn)練的迭代過(guò)程中，以概率P（一般P=0.5）隨機(jī)暫時(shí)刪除部分神經(jīng)元，用余下的（1-P）*N個(gè)神經(jīng)元所構(gòu)成的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如圖4所示.

節(jié)點(diǎn)的隨機(jī)丟棄首先是根據(jù)定義好的概率P進(jìn)行選擇要?jiǎng)h除的節(jié)點(diǎn)，強(qiáng)制將其激活值置為0，根據(jù)概率P生成二項(xiàng)分布的向量q（n）（由0和1構(gòu)成），0表示節(jié)點(diǎn)被暫時(shí)刪除，連接斷開(kāi)，1表示節(jié)點(diǎn)被保留.將向量q（n）與上層的輸出q（n）相乘得到X1（n）作為這層的輸入，用于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，達(dá)到隨機(jī)丟棄的效果.具體計(jì)算如公式（5）～（8）所示：

以上公式中，Binomial（p）為二項(xiàng)分布，X（n）表示上層輸出的節(jié)點(diǎn)，W（n+1）表示權(quán)重矩陣，B（n+1）表示偏置向量，g則表示激活函數(shù)，經(jīng)過(guò)刪除處理后的節(jié)點(diǎn)X1（n）乘以對(duì)應(yīng)的權(quán)重W（n+1）加上偏置B（n+1），再過(guò)激活函數(shù)，得到輸出值 Z（n+1）.

2.2.2 PReLU函數(shù)代替ReLU函數(shù)

在激活函數(shù)選擇的過(guò)程中，雖然ReLU激活函數(shù)在BP神經(jīng)網(wǎng)絡(luò)研究過(guò)程中應(yīng)用較為廣泛，但考慮到入侵檢測(cè)應(yīng)用過(guò)程中需要大量的數(shù)據(jù)，而ReLU激活函數(shù)將矩陣內(nèi)的負(fù)值都設(shè)為0，容易丟失全部負(fù)數(shù)參數(shù)信息，并且在較大梯度流參數(shù)更新后，易發(fā)生鎖死現(xiàn)象.針對(duì)這些問(wèn)題本研究提出了用PReLU函數(shù)代替ReLU函數(shù)作為隱藏層的激活函數(shù)，具體函數(shù)表達(dá)式如下式所示：

圖4 Dropout訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)

式中i表示不同的通道，由公式（6）、（7）可以看出，PReLU在輸入小于0時(shí)，不會(huì)丟失全部負(fù)數(shù)輸入?yún)?shù)信息，因此不易發(fā)生訓(xùn)練鎖死現(xiàn)象[7].當(dāng)a更新時(shí)，采用帶動(dòng)量更新方式，帶動(dòng)量更新公式如下所示：

函數(shù)曲線圖如圖5所示.

圖5PReLU函數(shù)曲線圖

2.2.3 改進(jìn)的Dropout隨機(jī)丟棄方法

在入侵檢測(cè)技術(shù)的設(shè)計(jì)過(guò)程中，考慮到使用Dropout正則化方法丟棄節(jié)點(diǎn)后，剩余節(jié)點(diǎn)的相關(guān)性過(guò)大會(huì)導(dǎo)致大量的數(shù)據(jù)冗余，使神經(jīng)網(wǎng)絡(luò)的稀疏性降低，進(jìn)而影響入侵檢測(cè)算法執(zhí)行的效率，因此本研究將節(jié)點(diǎn)間的相關(guān)性與Dropout正則化方法相結(jié)合，以不同的概率刪除節(jié)點(diǎn).若節(jié)點(diǎn)間的相關(guān)性較大，則以較大的概率刪除節(jié)點(diǎn)，同時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行稀疏性處理；若節(jié)點(diǎn)間的相關(guān)性較小，則以適度小的概率刪除節(jié)點(diǎn)，保留數(shù)據(jù)的特征，進(jìn)而優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，以提高入侵檢測(cè)技術(shù)檢測(cè)結(jié)果的準(zhǔn)確性.

在改進(jìn)過(guò)程中，首先，節(jié)點(diǎn)間相關(guān)性大小是由輸出向量之間的相關(guān)性決定的，對(duì)于節(jié)點(diǎn)vi和vj，如果存在vj=a*vi+b（a，b 為實(shí)數(shù)），則稱(chēng)節(jié)點(diǎn) vj可由 vi線性表示. 節(jié)點(diǎn) vi對(duì)其下層節(jié)點(diǎn) vm的輸出為 yim=g（viwim+bi），所以節(jié)點(diǎn) vi的輸出向量為 Yi=[yj0，yj1，…，yjn]，同理，得到節(jié)點(diǎn) vj的輸出向量為 Yj=[yj0，yj1，…，yjn].

節(jié)點(diǎn)間的相關(guān)性由各個(gè)節(jié)點(diǎn)輸出值的方差決定，節(jié)點(diǎn)輸出值的方差計(jì)算公式為：

式中vin代表的是第i個(gè)節(jié)點(diǎn)的第n批次的輸出，vi是第i個(gè)節(jié)點(diǎn)的所有輸出值的期望.得到所有節(jié)點(diǎn)的輸出，構(gòu)成作用于下一層每個(gè)節(jié)點(diǎn)的向量，節(jié)點(diǎn)相關(guān)性的計(jì)算公式為：

根據(jù)公式（12）計(jì)算這一層中任意兩個(gè)節(jié)點(diǎn)間的相似性Rij，根據(jù)Rij值的大小引入閾值（一般為介于0和1之間的值，根據(jù)網(wǎng)絡(luò)復(fù)雜性和經(jīng)驗(yàn)進(jìn)行調(diào)整），區(qū)分為高度相關(guān)和低度相關(guān).以不同的概率生成一個(gè)二項(xiàng)分布的向量q（n），將q（n）與上層的輸出Y（n）的積Y1（n）作為這層的輸入，最后，通過(guò)公式（15）計(jì)算得到最終輸出值.具體計(jì)算公式如下：

3 模擬實(shí)驗(yàn)與結(jié)果分析

3.1 入侵檢測(cè)研究數(shù)據(jù)集

基于BP神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)在研究過(guò)程中對(duì)數(shù)據(jù)集的要求很高，基于PSO-BP神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)優(yōu)化算法的研究[8]中采用了KDD99入侵測(cè)試數(shù)據(jù)集，因此本研究也選擇了性能優(yōu)異、影響范圍廣的KDD99數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，以檢驗(yàn)入侵算法的好壞，并按照相應(yīng)的算法對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理后進(jìn)入神經(jīng)網(wǎng)絡(luò)模塊中進(jìn)行訓(xùn)練.同時(shí)，為保證實(shí)驗(yàn)過(guò)程的嚴(yán)謹(jǐn)性，本研究對(duì)河北經(jīng)貿(mào)大學(xué)受到的網(wǎng)絡(luò)攻擊進(jìn)行提取分類(lèi)，并將其與KDD99數(shù)據(jù)集混合，共同進(jìn)行模型的訓(xùn)練與測(cè)試.

3.1.1 KDD99數(shù)據(jù)集分析

KDD99數(shù)據(jù)集共包含4類(lèi)異常特征、39種攻擊，其中有22種訓(xùn)練集和17種未知攻擊類(lèi)型的測(cè)試集.數(shù)據(jù)集中的攻擊類(lèi)型及分類(lèi)標(biāo)識(shí)如表1所示.

表1 攻擊類(lèi)型及分類(lèi)標(biāo)識(shí)

3.1.2 數(shù)據(jù)預(yù)處理

通過(guò)對(duì)KDD99數(shù)據(jù)集的分析可以看出，該數(shù)據(jù)集已經(jīng)去噪處理且比較理想，但不同攻擊類(lèi)型的數(shù)據(jù)差異很大，比如U2R攻擊僅占0.01%，R2L占0.23%，Probe占0.83%，Normal占19.69%[9].因此，在研究過(guò)程中將訓(xùn)練集與測(cè)試集的數(shù)據(jù)混合均勻，然后進(jìn)行去重處理并按照訓(xùn)練集測(cè)試集8∶2的比例進(jìn)行數(shù)據(jù)的劃分，生成新的訓(xùn)練集和測(cè)試集.

數(shù)據(jù)預(yù)處理過(guò)程包括標(biāo)記處理和特征處理.本研究用數(shù)字0到n-1來(lái)表示字符特征.對(duì)標(biāo)記處理來(lái)講，按照表1將數(shù)據(jù)集中的樣本的攻擊類(lèi)型轉(zhuǎn)換為Normal，Dos，Probe，U2R，R2L 5個(gè)類(lèi)別.由于檢測(cè)系統(tǒng)不能處理字符串，因此通過(guò)字符轉(zhuǎn)換將5個(gè)類(lèi)別轉(zhuǎn)換為數(shù)字型，分別用0，1，2，3，4來(lái)表示.

特征處理主要包括字符轉(zhuǎn)換和歸一化.在KDD99數(shù)據(jù)集的41個(gè)特征中，有3個(gè)特征屬于字符型特征，分別是service，protocol_type和flag.特征處理就是將它們從字符型轉(zhuǎn)換為數(shù)字型.使用0～69代表service中的70個(gè)特征值，0，1，2代表protocol_type中的3個(gè)特征值，0～10代表flag中的11個(gè)特征值.

數(shù)據(jù)預(yù)處理階段需要將數(shù)據(jù)集中的連續(xù)特征離散并歸一化，主要采用了Z-Core法，它是一種通過(guò)數(shù)據(jù)集均值和標(biāo)準(zhǔn)差的計(jì)算而進(jìn)行的數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程.屬性的均值和標(biāo)準(zhǔn)差E（xi）計(jì)算公式如下：

屬性值標(biāo)準(zhǔn)化公式為：

經(jīng)處理后，屬性值符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1.

3.1.3 數(shù)據(jù)特征選擇

在數(shù)據(jù)集的特征描述中，并不是每一個(gè)特征都對(duì)訓(xùn)練結(jié)果起作用，因此本研究使用棄一法進(jìn)行特征選擇.每次從數(shù)據(jù)集中刪除1個(gè)特征進(jìn)行重新選擇，如果檢測(cè)率下降或誤報(bào)率上升，則認(rèn)為是1個(gè)重要特征；反之則為不重要特征，可將其剔除[1]用選擇出來(lái)的特征進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，可發(fā)現(xiàn)各類(lèi)別的檢測(cè)率均有上升，并且模型訓(xùn)練時(shí)間減少，可提高檢測(cè)系統(tǒng)的檢測(cè)效率.檢測(cè)結(jié)果如表2所示.

表2 檢測(cè)率檢測(cè)結(jié)果

檢測(cè)率對(duì)比如圖6所示，從結(jié)果中可以看出，在Dos攻擊下，優(yōu)化后的算法和傳統(tǒng)的算法檢測(cè)率分別為93.69%和84.64%，各類(lèi)型攻擊的檢測(cè)率均得到了明顯的提高.

3.2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

使用Google開(kāi)源數(shù)據(jù)流引擎TensorFlow驗(yàn)證改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法效果，TensorFlow支持在多種平臺(tái)上運(yùn)行，如CPU，GPU或Android設(shè)備，符合實(shí)驗(yàn)要求.

圖6 優(yōu)化前后算法檢測(cè)率

本研究使用優(yōu)化前的BP神經(jīng)網(wǎng)絡(luò)與優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比仿真實(shí)驗(yàn).每個(gè)BPNN上進(jìn)行兩次實(shí)驗(yàn)，每次實(shí)驗(yàn)進(jìn)行500次迭代，在KDD99測(cè)試數(shù)據(jù)集上評(píng)估每次實(shí)驗(yàn)性能.為了對(duì)比實(shí)驗(yàn)結(jié)果，選用準(zhǔn)確率和誤報(bào)率作為性能度量指標(biāo)，其中TP為真正例，F(xiàn)P為假正例，F(xiàn)N為假反例，TN為真反例[10].準(zhǔn)確率和誤報(bào)率定義如下：

損失函數(shù)變化曲線如圖7所示，從圖中可以看出，當(dāng)?shù)螖?shù)達(dá)到500次以上時(shí)，圖像趨于穩(wěn)定，交叉熵可降低至0.192 5，模型的收斂速度明顯提高.

實(shí)驗(yàn)結(jié)果表明，本研究方法可以比較準(zhǔn)確地檢測(cè)出網(wǎng)絡(luò)入侵信號(hào)，當(dāng)?shù)螖?shù)足夠多時(shí)，模型效果好，準(zhǔn)確率達(dá)到了96.64%，相較于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率上升了6.51%，如圖8所示.

同時(shí)，將文獻(xiàn)[11]的結(jié)果與本研究結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如表3所示.可以看出，與文獻(xiàn)[11]研究模型的性能相比，本算法的準(zhǔn)確率、誤檢率性能均得到優(yōu)化，達(dá)到了預(yù)期實(shí)驗(yàn)效果.

圖7 損失函數(shù)變化曲線

圖8 優(yōu)化BPNN準(zhǔn)確率變化曲線

表3 性能對(duì)照表

4 結(jié)論

神經(jīng)網(wǎng)絡(luò)在IDS中的應(yīng)用前景廣泛，在國(guó)內(nèi)外都獲得了一致好評(píng).實(shí)驗(yàn)結(jié)果表明，通過(guò)對(duì)BP算法的優(yōu)化以及對(duì)數(shù)據(jù)的特征處理，使得模型的準(zhǔn)確率達(dá)到了96.64%，誤檢率降低到3.65%，交叉熵降低至0.192 5.相較于傳統(tǒng)的BP算法，改進(jìn)算法具有良好的表征學(xué)習(xí)和分類(lèi)能力，并且隨著數(shù)據(jù)量的上升，模型的收斂效果和穩(wěn)定性都有了較大的提升.