• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于堆疊極限樹集成算法的信息物理系統(tǒng)入侵檢測方法

    2021-11-15 13:23:48朱子龍張立臣
    計算機應(yīng)用與軟件 2021年11期
    關(guān)鍵詞:攻擊行為特征選擇準(zhǔn)確率

    朱子龍 張立臣

    (廣東工業(yè)大學(xué)計算機學(xué)院 廣東 廣州 510006)

    0 引 言

    信息物理融合系統(tǒng)是一個由現(xiàn)代傳感器、計算設(shè)備和網(wǎng)絡(luò)技術(shù)集成為一體的系統(tǒng)[1]。物理世界的行為通過傳感器網(wǎng)絡(luò)傳輸?shù)叫畔⑹澜?,由信息世界進行計算分析,發(fā)出控制指令,作用于物理世界。整個過程信息計算和物理過程進行了深度融合,其中的計算、控制和通信是以可靠、安全和實時的方式實施,不需要人為干預(yù),形成一個協(xié)作和自治的閉環(huán)系統(tǒng)[2]。

    CPS應(yīng)用的快速增長,導(dǎo)致許多安全性和機密性問題的出現(xiàn)[3]。因為信息計算依賴于物理過程中傳感器收集的數(shù)據(jù),而這些數(shù)據(jù)需要通過網(wǎng)絡(luò)進行傳輸,同時,物理過程中接收的控制指令也需要通過網(wǎng)絡(luò)進行傳輸。因此,CPS設(shè)備的自治性會導(dǎo)致入侵和攻擊的風(fēng)險[4]。CPS的安全問題越來越受到業(yè)界的關(guān)注[5]。

    文獻[6]設(shè)計了在智能電網(wǎng)中使用的分布式入侵系統(tǒng),通過大量的流量分析模塊,結(jié)合人工免疫系統(tǒng)(Artificial Immune System,AIS)和支持向量機(Support Vector Machine,SVM)檢測網(wǎng)絡(luò)流量中的攻擊行為。文獻[7]提出了基于EBP神經(jīng)網(wǎng)絡(luò)的規(guī)則學(xué)習(xí)算法,從實驗數(shù)據(jù)的ICMP分組中提取特征,輸入到EBP神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練,使網(wǎng)絡(luò)學(xué)習(xí)其中的規(guī)則對網(wǎng)絡(luò)異常行為進行識別。文獻[8]提取了DoS(Denial of Service)攻擊下的網(wǎng)絡(luò)流量特征,結(jié)合K-近鄰(K-Nearest Neighbor,KNN)等機器學(xué)習(xí)算法對正常和攻擊行為進行區(qū)分。文獻[9]將PCA與核函數(shù)空間結(jié)合,實現(xiàn)對非線性結(jié)構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)進行異常檢測。文獻[10]運用稀疏自編碼網(wǎng)絡(luò)進行降維,結(jié)合LightGBM算法進行分類,以二叉樹的形式處理網(wǎng)絡(luò)攻擊分類的多分類問題,并在NSL-KDD標(biāo)準(zhǔn)數(shù)據(jù)集上對算法準(zhǔn)確率進行對比實驗。文獻[11]搭建了一個電源系統(tǒng)試驗臺,并輔以網(wǎng)絡(luò)監(jiān)控設(shè)備,采集其中的網(wǎng)絡(luò)流量信息運用Adaboost集成學(xué)習(xí)框架,結(jié)合JRipper規(guī)則學(xué)習(xí)算法,對電力系統(tǒng)中的異常行為進行檢測,并與常見的機器學(xué)習(xí)算法進行對比。文獻[12]提出了兩種適用于CPS環(huán)境的入侵檢測系統(tǒng),一種是基于K均值聚類算法,另一種基于自組織映射網(wǎng)絡(luò)(Self-Organizing Map,SOM)。實驗顯示兩類入侵檢測系統(tǒng)提高了檢測速率和精度,可以便捷地部署在CPS環(huán)境中?;谏鲜龉ぷ鲬?yīng)用于CPS入侵檢測時的缺陷,需要繼續(xù)優(yōu)化算法應(yīng)對高維數(shù)據(jù)的能力,進一步提升算法的速度,使其能滿足CPS入侵檢測對實時性的要求。

    本文貢獻在于:

    (1) 提出一種結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法(CFS-SET)。首先通過基于相關(guān)性的特征選擇算法,結(jié)合最佳優(yōu)先(BestFirst)的搜索策略,對信息物理融合系統(tǒng)的數(shù)據(jù)特征進行篩選,選擇出關(guān)聯(lián)性較高的特征。能夠有效地為后續(xù)的分類算法降低輸入量,減輕計算壓力,以達到信息物理融合系統(tǒng)實時分析的需求。后續(xù)選擇的極限樹算法,會隨機選擇特征,因此剔除掉關(guān)聯(lián)性較低的特征將會進一步提升算法的整體表現(xiàn)。

    (2) 將極限樹算法引入信息物理融合系統(tǒng)入侵檢測,將其作為Stacking集成算法的基學(xué)習(xí)器,雖然其算法復(fù)雜度與一般的樹算法相同,同為NlogN,但是考慮到節(jié)點拆分過程的簡單性,其常數(shù)因子比其他基于局部集成優(yōu)化切點的方法更小。進一步提高分類速度,優(yōu)化信息物理融合系統(tǒng)的運算時間。

    (3) 使用Stacking集成學(xué)習(xí)框架,同時訓(xùn)練若干個極限樹,將其輸出送入邏輯回歸分類器。采用這種堆疊式模型來提高預(yù)測的準(zhǔn)確度,改善分類性能,同時最小化泛化錯誤率,增強算法的魯棒性。本文將使用密西西比州立大學(xué)的電力系統(tǒng)標(biāo)準(zhǔn)數(shù)據(jù)集Power System Dataset進行實驗,驗證本文算法的有效性。

    1 基于CFS的特征選擇算法

    CPS所產(chǎn)生的數(shù)據(jù)往往呈現(xiàn)出數(shù)據(jù)量龐大、特征眾多的特點。一般的機器學(xué)習(xí)算法面對如此龐大的高維數(shù)據(jù),計算所需要的時間將會直線上升,不能滿足CPS對算法實時性的要求。并不是所有的特征都有利于算法的學(xué)習(xí),其中存在著大量的冗余和不相關(guān)特征。面對高維數(shù)據(jù),通常有降維算法和特征選擇兩種方式。降維算法通過挖掘特征深層的信息來達到降維的目的,缺點在于每次進行預(yù)測的時候都要對輸入的特征進行降維,需要額外的時間開銷。特征選擇則可以選出有價值的特征,在對模型進行訓(xùn)練和預(yù)測的時候直接選擇這些特征作為輸入,減少時間開銷。為了滿足CPS實時性的需求,本文用特征選擇算法對高維數(shù)據(jù)進行預(yù)處理。

    1.1 特征選擇算法概述

    特征選擇算法可以分為三個大類:過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。過濾式方法直接對所有特征進行篩選,保留樣本對應(yīng)的特征數(shù)據(jù),送給后續(xù)模型進行訓(xùn)練,對特征進行選擇的過程與后續(xù)模型的性能沒有關(guān)系,僅僅關(guān)注數(shù)據(jù)集的特征本身。包裹式方法則是根據(jù)后續(xù)模型的分類性能作為特征,反過來矯正需要的特征,所以結(jié)果與模型直接相關(guān)。從最終模型的分類性能來看,因為針對所使用的特定學(xué)習(xí)算法對特征選擇進行了優(yōu)化,所以包裹式往往比過濾式的效果更好。包裹式的缺點是在進行特征選擇的時候需要反復(fù)的訓(xùn)練模型,計算開銷往往大于過濾式,尤其是當(dāng)模型本身的計算非常復(fù)雜的時候。同時因為包裹式與后續(xù)模型結(jié)合太過緊密,一旦更換后續(xù)的模型,必須重新運行特征選擇算法。嵌入式與上述兩種特征選擇算法不同,嵌入式方法沒有明顯的特征選擇過程,它的過程是融合在模型訓(xùn)練的過程中,也就是說模型在訓(xùn)練過程中自動地進行了特征選擇。

    本文將特征選擇引入集成算法當(dāng)中,將其作為整個算法改進的一部分,具體是選擇過濾式特征選擇算法。它可以減少學(xué)習(xí)所需的數(shù)據(jù)量,提高預(yù)測準(zhǔn)確性,使學(xué)習(xí)的知識更緊湊,更容易理解以及減少執(zhí)行時間,不需要針對不同的學(xué)習(xí)算法重新執(zhí)行。CPS是一個對實時性要求很高的系統(tǒng),所以過濾式相比于其他兩種特征選擇算法,更符合CPS入侵檢測算法的需求。

    1.2 CFS特征選擇算法

    CFS是一種基于特征之間相關(guān)性的過濾式特征選擇算法,可以快速識別并篩選不相關(guān)、冗余的特征,并在不嚴(yán)格依賴其他特征的情況下識別相關(guān)特征。CFS是一種全自動算法,不需要用戶指定任何閾值或要選擇的特征數(shù)量,同時,CFS是一種過濾式特征選擇算法,因此不會重復(fù)調(diào)用學(xué)習(xí)算法而增加計算成本[13]。

    CFS使用基于相關(guān)性的啟發(fā)式評估函數(shù)對特征子集進行排名。評估函數(shù)偏向于包含特征與類別高度相關(guān),特征與特征之間彼此不相關(guān)的特征的子集。與類別沒有關(guān)系的特征應(yīng)該被忽略,同時冗余特征應(yīng)該被篩選出來,因為它們與一個或多個特征高度相關(guān)。其評估的形式化定義如下:

    (1)

    最佳優(yōu)先搜索策略可以選擇從沒有特征或所有特征開始搜索,如果選擇從沒有特征開始搜索,會通過添加單個特征的方式在搜索空間中進行;如果選擇從所有特征開始搜索,則會通過刪除單個特征的方式在搜索空間中進行。如果有五個連續(xù)完全展開的子集對當(dāng)前的最佳子集沒有提升,則搜索將終止。由于在對特征子集進行相關(guān)性評價的時候,需要使用離散化的變量來進行計算,如果特征屬性是數(shù)值型,則應(yīng)當(dāng)先對數(shù)值型數(shù)據(jù)進行離散化。圖1展示了CFS進行特征選擇時對訓(xùn)練集和測試集的具體流程。

    圖1 CFS特征選擇算法流程

    2 基于堆疊極限樹的集成算法

    2.1 極限樹算法

    極限樹算法使用經(jīng)典的自頂向下的過程構(gòu)建未修剪的決策樹。與其他基于樹的算法的區(qū)別主要有兩點,一是極限樹通過完全隨機的方式選擇切點來分割節(jié)點,二是極限樹在生長的過程中使用整個學(xué)習(xí)樣本。

    對于評分機制,本文使用文獻[14]中的評分機制對需要進行隨機選擇的屬性進行評價,選擇其中評分最高的劃分屬性。在分類問題中,用信息增益來定義評分函數(shù),對于當(dāng)前劃分節(jié)點,式(2)為評分度量。

    (2)

    算法1Single Extra Tree生成算法。

    輸入:訓(xùn)練集D={(x1,y1),(x2,y1),…,(xm,ym)}, 屬性a。

    輸出:極限樹,劃分屬性。

    Step1如果|D|

    Step2將node標(biāo)記為葉節(jié)點并返回。

    Step3從所有候選屬性中隨機選擇K個屬性{a1,a2,…,aK}。

    Step4形成K個劃分{s1,s2,…,sK},式(3)對si計算進行了定義。

    si=Pick_a_random_split(D,ai) ?i=1,2,…,K

    (3)

    Step5由Score(d*,D)選擇出最好的劃分值d,其分?jǐn)?shù)計算如式(4)所示。

    (4)

    Step6依據(jù)d*將樣本集D分割成兩個樣本子集Dl和Dr。

    Step7使用樣本子集Dl構(gòu)造左子樹tl=Build_an_extra_tree(Dl),使用樣本子集Dr構(gòu)造右子樹tr=Build_an_extra_tree(Dr)。

    Step8根據(jù)d*建立節(jié)點,tl和tr分別是它的左子樹和右子樹,形成一棵極限樹并返回。

    Step11劃分屬性[a

    2.2 結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法描述

    單棵極限樹隨機性太強,一般會使用隨機森林的思想,生成眾多極限樹組成極限森林來提高整個算法的穩(wěn)定性。但生成大量的極限樹需要額外的時間和內(nèi)存開銷,不能滿足CPS入侵檢測對實時性的要求。本文提出將極限樹算法和Stacking集成算法進行結(jié)合,使用極限樹作為Stacking集成算法的基學(xué)習(xí)器,由于極限樹的隨機性,符合Stacking集成算法對基學(xué)習(xí)器之間存在差異的需求。堆疊極限樹可以提升算法的穩(wěn)定性,提高泛化精度。

    為了能夠進一步滿足CPS入侵檢測對實時性的要求,本文結(jié)合相關(guān)性特征選擇算法和堆疊極限樹算法,提出CFS-SET算法。在CPS的入侵檢測中,數(shù)據(jù)常常呈現(xiàn)特征眾多、維度高的特點,造成算法運算時間長和性能不佳的效果。采用相關(guān)性特征選擇算法(CFS),結(jié)合最佳優(yōu)先(BestFirst)的啟發(fā)式搜索策略,可以自動地從入侵?jǐn)?shù)據(jù)的眾多特征中選擇出有用的特征,減少后續(xù)分類算法的訓(xùn)練和預(yù)測時間。同時,因為極限樹是隨機地選取特征來生長一棵樹,所以特征選擇有助于提高單棵極限樹的性能。使用選擇出的新特征組成新的訓(xùn)練集和測試集,將其送入后續(xù)的堆疊極限樹(SET)算法中。堆疊極限樹算法是將若干個極限樹模型作為基分類器,向這些分類器中送入相同的訓(xùn)練數(shù)據(jù)進行訓(xùn)練。所有分類器輸出的預(yù)測結(jié)果合并成一個新的特征,輸入下一層的邏輯回歸分類器進行訓(xùn)練。算法中使用的極限樹具有隨機性,改變隨機種子后即可生長出兩棵完全不同的極限樹,所以其堆疊的數(shù)量很重要,過多的堆疊數(shù)量會導(dǎo)致計算時間過長,過少的堆疊數(shù)量無法獲得良好的檢測性能。因此對極限樹的堆疊數(shù)量進行了實驗,綜合計算時間和檢測性能,實驗選擇使用5棵極限樹進行堆疊。算法本質(zhì)是一個二層的結(jié)構(gòu),算法框架如圖2所示,可以看出算法主要包含特征選擇和Stacking兩部分。其中:TrainingData和TestingData為訓(xùn)練集和測試集數(shù)據(jù);CFS為相關(guān)性特征選擇算法,具體流程如圖1;CFSTrainingData和CFSTestingData為經(jīng)過特征選擇算法篩選后訓(xùn)練集和測試集數(shù)據(jù);ExtraTree-1、ExtraTree-2等是5棵不相同的極限樹作為Stacking中的基學(xué)習(xí)器;Pred-1、Pred-2等是各個基學(xué)習(xí)器產(chǎn)生的預(yù)測結(jié)果;MergeData是合并了基學(xué)習(xí)器預(yù)測結(jié)果的數(shù)據(jù)集;logisticsregression是第二層的邏輯回歸模型。

    圖2 CFS-SET算法流程

    具體步驟為:

    (1) 將具有m個特征的訓(xùn)練集TrainingData進行相關(guān)性特征選擇(CFS),選擇出n個特征的訓(xùn)練集CFSTrainingData。

    (2) 從具有m個特征的測試集TestingData中挑選出相同的n個特征,組成測試集CFSTestingData。

    (3) 將5份相同的訓(xùn)練集CFSTrainingData分別送入5個不同的ExtraTree中,使用10折交叉驗證來訓(xùn)練,訓(xùn)練出5個不同的ExtraTree模型,并輸出5份對應(yīng)的預(yù)測結(jié)果。

    (4) 將5份不同的預(yù)測結(jié)果合并成一個全新的數(shù)據(jù)集,作為訓(xùn)練集送入下一層邏輯回歸進行訓(xùn)練。

    (5) 保存整個模型,訓(xùn)練結(jié)束。

    值得注意的是,雖然基學(xué)習(xí)器使用的都是極限樹,但因為設(shè)置了不同的隨機種子,每棵樹在分裂的時候會進行隨機的分裂,生長成不同的樹,所以是互不相同的模型,各自得到的輸出也不同。使用Stacking的目的主要是獲得盡可能高的泛化精度(與學(xué)習(xí)精度相反),其中心思想是,比簡單地列出與訓(xùn)練集一致的父函數(shù)的所有預(yù)測結(jié)果做得更好。它通??梢越Y(jié)合多個基分類器的優(yōu)點,提高泛化性能,并且表現(xiàn)穩(wěn)定。

    3 仿真測試

    為了驗證本文提出的CFS-SET算法的有效性,本文使用密西西比州立大學(xué)關(guān)鍵基礎(chǔ)設(shè)施保護中心2014年建立的電力系統(tǒng)數(shù)據(jù)集(Power System Datasets)[15]對本文算法性能與幾種代表性的機器學(xué)習(xí)和集成學(xué)習(xí)算法進行比較。測試硬件平臺為:Windows 10專業(yè)版64位操作系統(tǒng)、Intel(R)CoreTMi7-4700HQ CPU @ 2.40 GHz處理器、8 GB內(nèi)存。使用Python語言對數(shù)據(jù)進行預(yù)處理,使用Weka[16]作為機器學(xué)習(xí)算法框架進行比較。

    3.1 數(shù)據(jù)預(yù)處理

    Power System Datasets數(shù)據(jù)來源于一個二進線三母線智能電力系統(tǒng)對37種事件的仿真?,F(xiàn)代電力傳輸系統(tǒng)依靠傳感器進行遠(yuǎn)程監(jiān)控。其數(shù)據(jù)包括電壓和電流等測量值以及系統(tǒng)設(shè)備的狀態(tài),如繼電器、斷路器和變壓器等。智能電網(wǎng)作為CPS在現(xiàn)實中應(yīng)用最廣泛的場景,是驗證本文算法的理想環(huán)境。

    本文著重于識別威脅CPS正常運作的入侵事件,所以選擇對事件進行二分類的分類方案。整個數(shù)據(jù)集被分為37個事件場景,其中:28個事件為攻擊行為;9個事件為正常操作。數(shù)據(jù)來自15個數(shù)據(jù)庫,隨機抽取1%的數(shù)據(jù)以減小大小并評估小樣本大小的有效性,組成15個數(shù)據(jù)文件。表1列舉了攻擊行為和正常操作的序號分類。

    表1 二分類事件具體分類表

    Power System Datasets數(shù)據(jù)集共有78 377個樣本,每條樣本數(shù)據(jù)的存儲形式為X=(x1,x2,…,xn,y),每條樣本數(shù)據(jù)具有128個特征屬性(其中116個測量值由4個同步儀產(chǎn)生,余下的12個測量值來自控制面板日志、中繼日志和Snort警報)和1個類標(biāo)簽。由于數(shù)據(jù)量充足,本文剔除了屬性存在缺失值的數(shù)據(jù)。同時由于特征屬性離散和連續(xù)數(shù)值混合,本文對數(shù)據(jù)進行Z-Score標(biāo)準(zhǔn)化處理,根據(jù)式(5)將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布。

    (5)

    式中:x是個體觀測值;μ是總體數(shù)據(jù)的均值;σ是總體數(shù)據(jù)的標(biāo)準(zhǔn)差。

    3.2 分析方法

    本文將采用以下評估指標(biāo)來衡量用于CPS入侵檢測任務(wù)的算法性能。

    準(zhǔn)確率指的是算法正確分類的樣本數(shù)量與總體樣本數(shù)量的比值。雖然準(zhǔn)確率可以判斷總體的準(zhǔn)確率,但是在樣本不平衡的情況下,可能會出現(xiàn)高準(zhǔn)確率但其結(jié)果含有很大水分,不能準(zhǔn)確反映分類性能。比如當(dāng)正常操作的樣本數(shù)量很少的情況下,極端地將所有的類別預(yù)測為攻擊即可獲得很高的準(zhǔn)確率,顯然,這不能準(zhǔn)確地反映算法的性能。準(zhǔn)確率利用式(6)進行計算。

    (6)

    式中:TP(真正例)表示攻擊行為被正確分類的數(shù)量;TN(真反例)表示正常操作行為被正確分類的數(shù)量;FN(假反例)表示攻擊行為被錯誤分類的數(shù)量;FP(假正例)表示正常操作行為被錯誤分類的數(shù)量。

    精確率衡量的是,算法識別出的正例中算法預(yù)測正確的百分比,即算法分類為攻擊行為的樣本中,真正是攻擊行為的比率。精確率越高代表算法的誤報率越低。精確率利用式(7)進行計算。

    (7)

    靈敏度衡量的是正確識別出正例的比率,即算法正確識別出攻擊行為的百分比。靈敏度越高代表算法的漏報率越低。利用式(8)可以計算出靈敏度。

    (8)

    F1分?jǐn)?shù)指的是精確度和召回率的調(diào)和平均值,其值在0到1之間,當(dāng)F1分?jǐn)?shù)較高的時候說明算法分類性能較好。式(9)給出了F1值計算方法。

    (9)

    3.3 實驗結(jié)果分析

    圖3展示了結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法(CFS-SET)和另外6種常見的經(jīng)典機器學(xué)習(xí)算法在15個數(shù)據(jù)集上的分類準(zhǔn)確率。分類準(zhǔn)確率是通過在每個數(shù)據(jù)集上進行10折交叉驗證,取得的分類準(zhǔn)確率計算出的均值??梢钥闯觯?種算法無論應(yīng)用于15個數(shù)據(jù)集的哪個數(shù)據(jù)集,結(jié)果都是一致的,雖然有細(xì)微的變化,但分類表現(xiàn)都是相對穩(wěn)定的。其中表現(xiàn)最好的兩種算法分別是CFS-SET和Random Forests,分類準(zhǔn)確率都在95%以上。作為基學(xué)習(xí)器的Extra Tree和Nearest Neighbor算法分類準(zhǔn)確率能達到90%。

    圖3 15個數(shù)據(jù)集上分類準(zhǔn)確率

    圖4顯示了15個數(shù)據(jù)集上不同算法的平均精確率,其中每個數(shù)據(jù)集使用10折交叉驗證的方法。精確率在本例中的含義是識別出的真正是攻擊行為的數(shù)量與總的攻擊行為數(shù)量之間的比值。精確率越高,代表算法越不會將正常的操作行為誤報為攻擊行為。在7種算法中,CFS-SET和Random Forests的在15個數(shù)據(jù)集上的平均精確率表現(xiàn)最佳。

    圖4 平均精確度

    圖5顯示了15個數(shù)據(jù)集上不同算法的平均漏報率,其值是根據(jù)1-Sensitivity來確定的,其中每個數(shù)據(jù)集使用10折交叉驗證的方法。可以看出SVM在漏報率上表現(xiàn)非常出色,15個數(shù)據(jù)集沒有誤報的情況發(fā)生,但結(jié)合精確率可以發(fā)現(xiàn),SVM在精確率上表現(xiàn)很差,也就是說這種低漏報率的表現(xiàn)是通過高誤報率換來的。在實際環(huán)境中,這種算法對決策者的價值很低,因為其分類表現(xiàn)是不可靠的。AdaBoost、CFS-SET和Random Forests的漏報率在0到0.1之間,表現(xiàn)良好。

    圖5 平均漏報率

    圖6顯示了所有數(shù)據(jù)集的平均F1值,它本質(zhì)上綜合了分類性能的精確率和靈敏度??梢愿玫胤从吵鏊惴ǖ姆诸愋阅堋?梢钥吹紺FS-SET和Random Forests擁有最高的F1值,都達到了0.979。說明CFS-SET算法在分類性能上與Random Forests基本相當(dāng)。

    圖6 平均F1值

    在CPS中進行入侵檢測不僅需要算法的分類性能良好,還需要滿足CPS對算法實時性的要求,即算法的模型建立時間和預(yù)測時間要盡可能的短,否則即使算法的分類性能出眾,也無法應(yīng)用于CPS的入侵檢測中。表2展示了每個算法進行10折交叉驗證時,平均每折的耗時和10折總耗時情況。可以看出上文分類性能相當(dāng)?shù)腃FS-SET和Random Forests算法,在計算時間上,CFS-SET算法只用了Random Forests算法的1/5的時間??梢娫诳傮w性能表現(xiàn)上,本文提出的CFS-SET算法更好地兼顧了分類準(zhǔn)確率和計算時間兩者間的平衡。

    表2 模型運行時間匯總表 單位:s

    4 結(jié) 語

    利用基于特征之間相關(guān)性的特征選擇算法,快速篩選出關(guān)聯(lián)性高的特征,拋棄冗余和不相關(guān)的特征,這樣可以加速后續(xù)的分類算法。使用Stacking的集成算法框架,提升算法的泛化能力,減少單棵極限樹隨機性太強帶來的偏差。實驗結(jié)果表明,本文提出的CFS-SET方法能夠從眾多的入侵?jǐn)?shù)據(jù)特征中過濾出真正有用的特征,進而提升分類效率。對比其他常見的機器學(xué)習(xí)算法對CPS環(huán)境中的攻擊行為檢測,更好地兼顧了誤報率和漏報率,F(xiàn)1值達到了平均0.979。同樣使用集成算法思想的Random Forests算法也達到了與CFS-SET相同的F1值。但在實時性方面,CFS-SET算法只使用了Random Forests算法1/5的計算時間。本文將隨機性很強的極限樹算法進行堆疊,改善其因為隨機性帶來的分類性能不佳的問題,吸收其計算速度快的優(yōu)點,使CFS-SET算法同時兼顧分類性能和分類時間,使得將其應(yīng)用于CPS入侵檢測成為可能。本文進一步的工作將考慮把CFS-SET算法推廣至多分類的CPS入侵檢測中,能夠?qū)Σ煌娜肭謾z測行為進行分類,同時需要考慮多分類情況下,類別不均衡對分類算法的影響。將上采樣和下采樣技術(shù)融合入CFS-SET算法中,保持甚至提升算法在多分類情況下的分類性能和計算時間,能夠繼續(xù)應(yīng)用于CPS入侵檢測的多分類領(lǐng)域。

    猜你喜歡
    攻擊行為特征選擇準(zhǔn)確率
    住院精神病人暴力攻擊行為原因分析及護理干預(yù)
    基于人工蜂群算法的無線網(wǎng)絡(luò)攻擊行為的辨識研究
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報參考產(chǎn)品質(zhì)量檢驗分析
    高速公路車牌識別標(biāo)識站準(zhǔn)確率驗證法
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    基于計劃行為理論的高職學(xué)生攻擊行為探析
    文教資料(2014年1期)2014-11-07 06:54:50
    基于特征選擇和RRVPMCD的滾動軸承故障診斷方法
    激情 狠狠 欧美| 蜜桃久久精品国产亚洲av| 综合色av麻豆| 最近最新中文字幕免费大全7| 国产精品无大码| 深夜a级毛片| 又粗又爽又猛毛片免费看| 精品人妻偷拍中文字幕| av在线蜜桃| 午夜福利网站1000一区二区三区| 国产一级毛片七仙女欲春2| 国产精品.久久久| 三级男女做爰猛烈吃奶摸视频| 不卡视频在线观看欧美| 九草在线视频观看| 在线播放无遮挡| 免费av观看视频| 国产探花在线观看一区二区| 精品久久久噜噜| 天堂网av新在线| 可以在线观看毛片的网站| 国产成人a区在线观看| 日韩视频在线欧美| 精品国内亚洲2022精品成人| 男女那种视频在线观看| 一级爰片在线观看| 午夜精品一区二区三区免费看| 成人一区二区视频在线观看| 国产精品人妻久久久久久| 亚洲色图av天堂| 欧美三级亚洲精品| 永久网站在线| 在线观看av片永久免费下载| 22中文网久久字幕| 一区二区三区高清视频在线| 欧美一区二区精品小视频在线| 欧美日本亚洲视频在线播放| av在线观看视频网站免费| 欧美日韩精品成人综合77777| 国产伦精品一区二区三区视频9| 久久精品久久久久久噜噜老黄 | 日本av手机在线免费观看| 久久久久久大精品| 成人漫画全彩无遮挡| 成人无遮挡网站| 国产亚洲av嫩草精品影院| 男人和女人高潮做爰伦理| 国产亚洲一区二区精品| 国产亚洲一区二区精品| 级片在线观看| 亚洲成av人片在线播放无| 国产黄片美女视频| 国内少妇人妻偷人精品xxx网站| 成人毛片60女人毛片免费| 亚洲乱码一区二区免费版| av播播在线观看一区| 国产精品无大码| 久久精品夜夜夜夜夜久久蜜豆| 日日撸夜夜添| 国产视频首页在线观看| 99国产精品一区二区蜜桃av| 亚洲国产最新在线播放| 亚洲欧美日韩高清专用| 99九九线精品视频在线观看视频| 亚洲av日韩在线播放| 99热这里只有精品一区| 亚洲图色成人| 国产成人精品一,二区| 国产69精品久久久久777片| 51国产日韩欧美| 水蜜桃什么品种好| 亚洲av电影不卡..在线观看| 中文字幕久久专区| 国产成人freesex在线| 全区人妻精品视频| 22中文网久久字幕| 自拍偷自拍亚洲精品老妇| 免费看a级黄色片| 免费看a级黄色片| 国产精品av视频在线免费观看| 亚洲综合色惰| 国产亚洲91精品色在线| 综合色丁香网| 国产在视频线精品| 国产片特级美女逼逼视频| 久久草成人影院| 久久人妻av系列| 中文资源天堂在线| 免费无遮挡裸体视频| 日韩一本色道免费dvd| 久久精品国产自在天天线| 久久99热这里只有精品18| 长腿黑丝高跟| 在线观看美女被高潮喷水网站| 亚洲高清免费不卡视频| 国产精品一区www在线观看| 一级av片app| 国产高清三级在线| 国产伦一二天堂av在线观看| 看十八女毛片水多多多| av.在线天堂| 欧美日本亚洲视频在线播放| 国产精品久久久久久精品电影| 一级毛片电影观看 | 亚洲一区高清亚洲精品| 欧美高清成人免费视频www| 国产大屁股一区二区在线视频| 中文字幕av在线有码专区| av福利片在线观看| 日产精品乱码卡一卡2卡三| av又黄又爽大尺度在线免费看 | 免费在线观看成人毛片| 99热这里只有精品一区| 99久久精品一区二区三区| 一级黄色大片毛片| 久久欧美精品欧美久久欧美| 亚洲怡红院男人天堂| 国产精品一区二区三区四区久久| 日本av手机在线免费观看| 国产精品熟女久久久久浪| 建设人人有责人人尽责人人享有的 | 国产免费福利视频在线观看| 黄片无遮挡物在线观看| 日本wwww免费看| 日韩强制内射视频| 日韩高清综合在线| 韩国高清视频一区二区三区| 亚洲人成网站高清观看| 两性午夜刺激爽爽歪歪视频在线观看| 精品国产一区二区三区久久久樱花 | 国产色爽女视频免费观看| 中国美白少妇内射xxxbb| 精品不卡国产一区二区三区| 免费看a级黄色片| 国产精品一区二区三区四区久久| 午夜亚洲福利在线播放| 午夜精品在线福利| 极品教师在线视频| 国产色婷婷99| 九草在线视频观看| 22中文网久久字幕| 久久久久久伊人网av| 国产高清国产精品国产三级 | 青春草国产在线视频| 精品久久久噜噜| 国产精品国产高清国产av| 亚洲精品乱码久久久久久按摩| 国产成人免费观看mmmm| 一级二级三级毛片免费看| 在现免费观看毛片| 国产91av在线免费观看| 国产精品野战在线观看| 在线观看66精品国产| 亚洲成人中文字幕在线播放| 国产一区二区在线av高清观看| av卡一久久| 桃色一区二区三区在线观看| 亚洲经典国产精华液单| 波多野结衣巨乳人妻| 欧美变态另类bdsm刘玥| 亚洲,欧美,日韩| 少妇熟女aⅴ在线视频| 亚洲中文字幕日韩| 26uuu在线亚洲综合色| 国产精品爽爽va在线观看网站| 午夜老司机福利剧场| 韩国高清视频一区二区三区| 十八禁国产超污无遮挡网站| 成人高潮视频无遮挡免费网站| 男女啪啪激烈高潮av片| 亚洲熟妇中文字幕五十中出| 一级毛片久久久久久久久女| 国产真实乱freesex| 久久久a久久爽久久v久久| 亚洲欧美日韩东京热| ponron亚洲| 色吧在线观看| 日本av手机在线免费观看| 麻豆成人午夜福利视频| 又黄又爽又刺激的免费视频.| 日韩欧美在线乱码| 国产免费福利视频在线观看| 久久婷婷人人爽人人干人人爱| 日韩成人av中文字幕在线观看| 99热全是精品| 看黄色毛片网站| av天堂中文字幕网| eeuss影院久久| 美女xxoo啪啪120秒动态图| 久99久视频精品免费| av在线老鸭窝| 国产精品一区二区在线观看99 | 亚洲,欧美,日韩| 久久久久久九九精品二区国产| 日韩大片免费观看网站 | 亚洲人成网站在线播| 欧美高清成人免费视频www| 永久网站在线| 热99在线观看视频| 一区二区三区四区激情视频| 午夜激情欧美在线| 精品国内亚洲2022精品成人| 在线天堂最新版资源| 男人舔女人下体高潮全视频| 深爱激情五月婷婷| 国内精品宾馆在线| 免费黄网站久久成人精品| 国产成人一区二区在线| 国产爱豆传媒在线观看| 日日啪夜夜撸| 国产亚洲5aaaaa淫片| 国产成人精品婷婷| 精品久久久久久久末码| 特大巨黑吊av在线直播| 一个人看视频在线观看www免费| 91久久精品电影网| 国产亚洲91精品色在线| 欧美成人一区二区免费高清观看| 晚上一个人看的免费电影| 看免费成人av毛片| 人人妻人人澡欧美一区二区| 99在线人妻在线中文字幕| 2021少妇久久久久久久久久久| 99久久成人亚洲精品观看| 看免费成人av毛片| 亚洲欧美精品专区久久| 精品午夜福利在线看| 禁无遮挡网站| 国产又黄又爽又无遮挡在线| 久久久久国产网址| 日韩欧美精品v在线| 久久久精品欧美日韩精品| 麻豆乱淫一区二区| 小蜜桃在线观看免费完整版高清| 日本-黄色视频高清免费观看| 在线免费观看的www视频| 少妇猛男粗大的猛烈进出视频 | 天堂√8在线中文| 国产亚洲精品久久久com| 久久人妻av系列| 精品不卡国产一区二区三区| 亚洲中文字幕一区二区三区有码在线看| 国产 一区精品| 久久久精品欧美日韩精品| 好男人在线观看高清免费视频| 一级爰片在线观看| 九九在线视频观看精品| 亚洲av男天堂| 美女cb高潮喷水在线观看| 十八禁国产超污无遮挡网站| 最近中文字幕2019免费版| 国产精品人妻久久久影院| 日本欧美国产在线视频| 男女那种视频在线观看| 夜夜看夜夜爽夜夜摸| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 欧美成人精品欧美一级黄| 高清视频免费观看一区二区 | 国产精品福利在线免费观看| 青春草亚洲视频在线观看| 国产亚洲一区二区精品| kizo精华| 国产精品无大码| 69人妻影院| 国产精品蜜桃在线观看| 少妇熟女aⅴ在线视频| 五月伊人婷婷丁香| 国产黄片视频在线免费观看| 国产伦精品一区二区三区视频9| 床上黄色一级片| 国语对白做爰xxxⅹ性视频网站| 99热精品在线国产| 男女啪啪激烈高潮av片| 综合色av麻豆| 亚洲一区高清亚洲精品| www.av在线官网国产| 免费播放大片免费观看视频在线观看 | 有码 亚洲区| 偷拍熟女少妇极品色| 国产成人aa在线观看| 精品久久久久久久人妻蜜臀av| 汤姆久久久久久久影院中文字幕 | 午夜福利网站1000一区二区三区| 国产私拍福利视频在线观看| videossex国产| 亚洲精品乱码久久久v下载方式| 亚洲av二区三区四区| 久久久成人免费电影| 精品人妻熟女av久视频| 亚洲性久久影院| 美女大奶头视频| av在线播放精品| 国产高清三级在线| 日韩av在线免费看完整版不卡| 成人特级av手机在线观看| 免费黄色在线免费观看| 亚洲欧美成人精品一区二区| 国产一区二区三区av在线| 男女视频在线观看网站免费| 黄色欧美视频在线观看| 久久精品人妻少妇| 国产精品三级大全| 人妻系列 视频| 高清视频免费观看一区二区 | 久久久久精品久久久久真实原创| 亚洲国产最新在线播放| 天堂网av新在线| 久久久午夜欧美精品| 少妇裸体淫交视频免费看高清| 99热这里只有精品一区| 欧美三级亚洲精品| 男女国产视频网站| 国产69精品久久久久777片| 久久久久国产网址| 久久久成人免费电影| 亚洲av免费高清在线观看| 国产在线男女| 看非洲黑人一级黄片| 亚洲高清免费不卡视频| 一级爰片在线观看| 22中文网久久字幕| 久久久精品94久久精品| 91精品国产九色| 老司机影院毛片| 国产欧美另类精品又又久久亚洲欧美| 成人av在线播放网站| 中文资源天堂在线| 日本wwww免费看| 亚洲成人久久爱视频| 高清视频免费观看一区二区 | 亚洲伊人久久精品综合 | 一级爰片在线观看| 日韩精品青青久久久久久| 午夜亚洲福利在线播放| 精品久久久久久久久久久久久| 成人毛片a级毛片在线播放| 一夜夜www| 黄色欧美视频在线观看| 国产午夜精品久久久久久一区二区三区| 狠狠狠狠99中文字幕| 国产综合懂色| 久久99精品国语久久久| 男女视频在线观看网站免费| 大又大粗又爽又黄少妇毛片口| 欧美日韩在线观看h| 嫩草影院入口| 女的被弄到高潮叫床怎么办| 成人午夜精彩视频在线观看| 国产伦精品一区二区三区四那| 人妻夜夜爽99麻豆av| 九九热线精品视视频播放| 麻豆精品久久久久久蜜桃| 一个人看视频在线观看www免费| 国产私拍福利视频在线观看| 狠狠狠狠99中文字幕| 国产一级毛片在线| 国内精品一区二区在线观看| 亚洲精品乱码久久久久久按摩| 日韩成人av中文字幕在线观看| 国产 一区 欧美 日韩| 麻豆久久精品国产亚洲av| 欧美性猛交黑人性爽| 晚上一个人看的免费电影| 亚洲国产高清在线一区二区三| 少妇的逼好多水| 色视频www国产| av天堂中文字幕网| 国产一区二区亚洲精品在线观看| 午夜福利成人在线免费观看| 国产高清不卡午夜福利| 九九热线精品视视频播放| 蜜桃久久精品国产亚洲av| 亚洲精品aⅴ在线观看| 久久久精品94久久精品| 亚洲四区av| 成人鲁丝片一二三区免费| 欧美日韩国产亚洲二区| 自拍偷自拍亚洲精品老妇| 日韩三级伦理在线观看| 国产精品一区二区三区四区久久| 2021天堂中文幕一二区在线观| 我的老师免费观看完整版| 国产色爽女视频免费观看| 超碰97精品在线观看| 麻豆成人av视频| 午夜a级毛片| 国产美女午夜福利| 精品酒店卫生间| 麻豆国产97在线/欧美| 欧美极品一区二区三区四区| 人妻夜夜爽99麻豆av| 综合色丁香网| 十八禁国产超污无遮挡网站| 成人三级黄色视频| 午夜精品在线福利| 国产成人freesex在线| 久久久久久久久大av| 精品无人区乱码1区二区| 三级经典国产精品| 97在线视频观看| 亚洲久久久久久中文字幕| 三级国产精品欧美在线观看| 久久久精品94久久精品| 亚洲久久久久久中文字幕| 日韩av不卡免费在线播放| 97热精品久久久久久| 成人午夜精彩视频在线观看| 99久久精品热视频| 韩国av在线不卡| 免费观看在线日韩| 国产黄色小视频在线观看| 国产精品电影一区二区三区| 久久婷婷人人爽人人干人人爱| 国产美女午夜福利| 免费av不卡在线播放| 国产精品精品国产色婷婷| 久久精品国产亚洲av天美| 日韩精品青青久久久久久| 午夜老司机福利剧场| 欧美+日韩+精品| 综合色av麻豆| 国产亚洲av片在线观看秒播厂 | 一级av片app| 日韩av在线免费看完整版不卡| 亚洲精品影视一区二区三区av| 日韩欧美在线乱码| 七月丁香在线播放| 婷婷色av中文字幕| 久久精品人妻少妇| 美女cb高潮喷水在线观看| 国产欧美另类精品又又久久亚洲欧美| 国产视频内射| 日本-黄色视频高清免费观看| 一个人免费在线观看电影| 中文字幕久久专区| 99久久精品热视频| 三级国产精品片| 我的老师免费观看完整版| av卡一久久| 国产午夜精品论理片| 国产精品日韩av在线免费观看| 99久国产av精品| 波多野结衣高清无吗| 久久久久网色| 欧美人与善性xxx| 又粗又硬又长又爽又黄的视频| 啦啦啦啦在线视频资源| 国产极品精品免费视频能看的| 卡戴珊不雅视频在线播放| 亚洲精华国产精华液的使用体验| 日韩三级伦理在线观看| 欧美高清性xxxxhd video| 国产精品福利在线免费观看| 亚洲欧美一区二区三区国产| 国产成人精品久久久久久| 少妇猛男粗大的猛烈进出视频 | 日本一二三区视频观看| 一个人看视频在线观看www免费| 久久久精品94久久精品| 国产亚洲av片在线观看秒播厂 | 午夜福利在线在线| 久久久久久大精品| 国产精品麻豆人妻色哟哟久久 | 久久久成人免费电影| 亚洲欧美精品综合久久99| 日产精品乱码卡一卡2卡三| 国产淫片久久久久久久久| 久久精品91蜜桃| 欧美成人一区二区免费高清观看| 人妻制服诱惑在线中文字幕| 中国国产av一级| 97超碰精品成人国产| 欧美一区二区国产精品久久精品| 观看免费一级毛片| 丝袜美腿在线中文| 99热精品在线国产| 99热网站在线观看| 亚洲精品乱码久久久v下载方式| 村上凉子中文字幕在线| 乱系列少妇在线播放| 成人高潮视频无遮挡免费网站| 亚州av有码| 高清在线视频一区二区三区 | 亚洲婷婷狠狠爱综合网| 国产精品乱码一区二三区的特点| 国产精品精品国产色婷婷| 天堂av国产一区二区熟女人妻| 亚洲av福利一区| 国产成人a区在线观看| 亚洲av.av天堂| 国产在线一区二区三区精 | 久久午夜福利片| 两性午夜刺激爽爽歪歪视频在线观看| 美女xxoo啪啪120秒动态图| 看黄色毛片网站| 久久久久久国产a免费观看| 成人综合一区亚洲| 国产欧美另类精品又又久久亚洲欧美| 直男gayav资源| 亚洲怡红院男人天堂| 精品久久久久久成人av| eeuss影院久久| 久久精品国产99精品国产亚洲性色| 久久99蜜桃精品久久| 韩国高清视频一区二区三区| 蜜臀久久99精品久久宅男| 1024手机看黄色片| 插逼视频在线观看| 国语对白做爰xxxⅹ性视频网站| 伦理电影大哥的女人| 日日干狠狠操夜夜爽| 成人高潮视频无遮挡免费网站| 久久6这里有精品| 国产白丝娇喘喷水9色精品| 国产免费视频播放在线视频 | 人人妻人人澡人人爽人人夜夜 | АⅤ资源中文在线天堂| 天堂网av新在线| 亚洲熟妇中文字幕五十中出| 老师上课跳d突然被开到最大视频| 草草在线视频免费看| 国产在线一区二区三区精 | 一区二区三区乱码不卡18| av福利片在线观看| 97热精品久久久久久| 国产高清不卡午夜福利| 午夜老司机福利剧场| av.在线天堂| 久久久色成人| 国产免费福利视频在线观看| 亚洲国产最新在线播放| 国产高清不卡午夜福利| 嫩草影院入口| 夫妻性生交免费视频一级片| 亚洲国产最新在线播放| 老司机影院毛片| 国产在视频线精品| 中文亚洲av片在线观看爽| 男人的好看免费观看在线视频| 国产午夜福利久久久久久| 久久久国产成人免费| 精品人妻偷拍中文字幕| 亚洲国产色片| 久久精品人妻少妇| 在线免费观看不下载黄p国产| 国产极品天堂在线| 少妇熟女欧美另类| 国产 一区精品| 久久久久久久国产电影| 国产精品久久久久久精品电影| 国产 一区 欧美 日韩| 国产成人精品婷婷| 夜夜爽夜夜爽视频| 精品久久久久久久久av| 亚洲av中文字字幕乱码综合| 91久久精品国产一区二区三区| 18+在线观看网站| 日韩成人av中文字幕在线观看| 女人久久www免费人成看片 | 久久久久久久久久久免费av| 日韩高清综合在线| 亚洲国产高清在线一区二区三| 大香蕉97超碰在线| ponron亚洲| 麻豆精品久久久久久蜜桃| 日本午夜av视频| 日本三级黄在线观看| 丰满人妻一区二区三区视频av| 精品国内亚洲2022精品成人| 久久久久久大精品| 内射极品少妇av片p| 91精品伊人久久大香线蕉| 日本免费在线观看一区| 好男人在线观看高清免费视频| 亚洲av中文av极速乱| 男人狂女人下面高潮的视频| 男人舔女人下体高潮全视频| 国产av一区在线观看免费| 国产一区亚洲一区在线观看| 联通29元200g的流量卡| 久久久久久久午夜电影| av在线亚洲专区| 91在线精品国自产拍蜜月| 亚洲成人av在线免费| 日韩亚洲欧美综合| 久久欧美精品欧美久久欧美| 女人被狂操c到高潮| 亚洲美女视频黄频| 观看免费一级毛片| 国产国拍精品亚洲av在线观看| 亚洲国产日韩欧美精品在线观看| 少妇猛男粗大的猛烈进出视频 | 国产精品蜜桃在线观看| 亚洲伊人久久精品综合 | 又粗又爽又猛毛片免费看| 麻豆精品久久久久久蜜桃| 精品国产三级普通话版| 天堂影院成人在线观看| 少妇的逼好多水| 亚洲性久久影院| 亚洲国产最新在线播放| 日韩人妻高清精品专区| 又爽又黄无遮挡网站| 99久久精品热视频| 可以在线观看毛片的网站| 一夜夜www| 全区人妻精品视频| 最近的中文字幕免费完整| 亚洲成人中文字幕在线播放| 级片在线观看| 久久久久久久午夜电影| www.av在线官网国产| 春色校园在线视频观看| 亚洲激情五月婷婷啪啪| 亚洲国产成人一精品久久久|