• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于堆疊極限樹集成算法的信息物理系統(tǒng)入侵檢測方法

    2021-11-15 13:23:48朱子龍張立臣
    計算機應(yīng)用與軟件 2021年11期
    關(guān)鍵詞:攻擊行為特征選擇準(zhǔn)確率

    朱子龍 張立臣

    (廣東工業(yè)大學(xué)計算機學(xué)院 廣東 廣州 510006)

    0 引 言

    信息物理融合系統(tǒng)是一個由現(xiàn)代傳感器、計算設(shè)備和網(wǎng)絡(luò)技術(shù)集成為一體的系統(tǒng)[1]。物理世界的行為通過傳感器網(wǎng)絡(luò)傳輸?shù)叫畔⑹澜?,由信息世界進行計算分析,發(fā)出控制指令,作用于物理世界。整個過程信息計算和物理過程進行了深度融合,其中的計算、控制和通信是以可靠、安全和實時的方式實施,不需要人為干預(yù),形成一個協(xié)作和自治的閉環(huán)系統(tǒng)[2]。

    CPS應(yīng)用的快速增長,導(dǎo)致許多安全性和機密性問題的出現(xiàn)[3]。因為信息計算依賴于物理過程中傳感器收集的數(shù)據(jù),而這些數(shù)據(jù)需要通過網(wǎng)絡(luò)進行傳輸,同時,物理過程中接收的控制指令也需要通過網(wǎng)絡(luò)進行傳輸。因此,CPS設(shè)備的自治性會導(dǎo)致入侵和攻擊的風(fēng)險[4]。CPS的安全問題越來越受到業(yè)界的關(guān)注[5]。

    文獻[6]設(shè)計了在智能電網(wǎng)中使用的分布式入侵系統(tǒng),通過大量的流量分析模塊,結(jié)合人工免疫系統(tǒng)(Artificial Immune System,AIS)和支持向量機(Support Vector Machine,SVM)檢測網(wǎng)絡(luò)流量中的攻擊行為。文獻[7]提出了基于EBP神經(jīng)網(wǎng)絡(luò)的規(guī)則學(xué)習(xí)算法,從實驗數(shù)據(jù)的ICMP分組中提取特征,輸入到EBP神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練,使網(wǎng)絡(luò)學(xué)習(xí)其中的規(guī)則對網(wǎng)絡(luò)異常行為進行識別。文獻[8]提取了DoS(Denial of Service)攻擊下的網(wǎng)絡(luò)流量特征,結(jié)合K-近鄰(K-Nearest Neighbor,KNN)等機器學(xué)習(xí)算法對正常和攻擊行為進行區(qū)分。文獻[9]將PCA與核函數(shù)空間結(jié)合,實現(xiàn)對非線性結(jié)構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)進行異常檢測。文獻[10]運用稀疏自編碼網(wǎng)絡(luò)進行降維,結(jié)合LightGBM算法進行分類,以二叉樹的形式處理網(wǎng)絡(luò)攻擊分類的多分類問題,并在NSL-KDD標(biāo)準(zhǔn)數(shù)據(jù)集上對算法準(zhǔn)確率進行對比實驗。文獻[11]搭建了一個電源系統(tǒng)試驗臺,并輔以網(wǎng)絡(luò)監(jiān)控設(shè)備,采集其中的網(wǎng)絡(luò)流量信息運用Adaboost集成學(xué)習(xí)框架,結(jié)合JRipper規(guī)則學(xué)習(xí)算法,對電力系統(tǒng)中的異常行為進行檢測,并與常見的機器學(xué)習(xí)算法進行對比。文獻[12]提出了兩種適用于CPS環(huán)境的入侵檢測系統(tǒng),一種是基于K均值聚類算法,另一種基于自組織映射網(wǎng)絡(luò)(Self-Organizing Map,SOM)。實驗顯示兩類入侵檢測系統(tǒng)提高了檢測速率和精度,可以便捷地部署在CPS環(huán)境中?;谏鲜龉ぷ鲬?yīng)用于CPS入侵檢測時的缺陷,需要繼續(xù)優(yōu)化算法應(yīng)對高維數(shù)據(jù)的能力,進一步提升算法的速度,使其能滿足CPS入侵檢測對實時性的要求。

    本文貢獻在于:

    (1) 提出一種結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法(CFS-SET)。首先通過基于相關(guān)性的特征選擇算法,結(jié)合最佳優(yōu)先(BestFirst)的搜索策略,對信息物理融合系統(tǒng)的數(shù)據(jù)特征進行篩選,選擇出關(guān)聯(lián)性較高的特征。能夠有效地為后續(xù)的分類算法降低輸入量,減輕計算壓力,以達到信息物理融合系統(tǒng)實時分析的需求。后續(xù)選擇的極限樹算法,會隨機選擇特征,因此剔除掉關(guān)聯(lián)性較低的特征將會進一步提升算法的整體表現(xiàn)。

    (2) 將極限樹算法引入信息物理融合系統(tǒng)入侵檢測,將其作為Stacking集成算法的基學(xué)習(xí)器,雖然其算法復(fù)雜度與一般的樹算法相同,同為NlogN,但是考慮到節(jié)點拆分過程的簡單性,其常數(shù)因子比其他基于局部集成優(yōu)化切點的方法更小。進一步提高分類速度,優(yōu)化信息物理融合系統(tǒng)的運算時間。

    (3) 使用Stacking集成學(xué)習(xí)框架,同時訓(xùn)練若干個極限樹,將其輸出送入邏輯回歸分類器。采用這種堆疊式模型來提高預(yù)測的準(zhǔn)確度,改善分類性能,同時最小化泛化錯誤率,增強算法的魯棒性。本文將使用密西西比州立大學(xué)的電力系統(tǒng)標(biāo)準(zhǔn)數(shù)據(jù)集Power System Dataset進行實驗,驗證本文算法的有效性。

    1 基于CFS的特征選擇算法

    CPS所產(chǎn)生的數(shù)據(jù)往往呈現(xiàn)出數(shù)據(jù)量龐大、特征眾多的特點。一般的機器學(xué)習(xí)算法面對如此龐大的高維數(shù)據(jù),計算所需要的時間將會直線上升,不能滿足CPS對算法實時性的要求。并不是所有的特征都有利于算法的學(xué)習(xí),其中存在著大量的冗余和不相關(guān)特征。面對高維數(shù)據(jù),通常有降維算法和特征選擇兩種方式。降維算法通過挖掘特征深層的信息來達到降維的目的,缺點在于每次進行預(yù)測的時候都要對輸入的特征進行降維,需要額外的時間開銷。特征選擇則可以選出有價值的特征,在對模型進行訓(xùn)練和預(yù)測的時候直接選擇這些特征作為輸入,減少時間開銷。為了滿足CPS實時性的需求,本文用特征選擇算法對高維數(shù)據(jù)進行預(yù)處理。

    1.1 特征選擇算法概述

    特征選擇算法可以分為三個大類:過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。過濾式方法直接對所有特征進行篩選,保留樣本對應(yīng)的特征數(shù)據(jù),送給后續(xù)模型進行訓(xùn)練,對特征進行選擇的過程與后續(xù)模型的性能沒有關(guān)系,僅僅關(guān)注數(shù)據(jù)集的特征本身。包裹式方法則是根據(jù)后續(xù)模型的分類性能作為特征,反過來矯正需要的特征,所以結(jié)果與模型直接相關(guān)。從最終模型的分類性能來看,因為針對所使用的特定學(xué)習(xí)算法對特征選擇進行了優(yōu)化,所以包裹式往往比過濾式的效果更好。包裹式的缺點是在進行特征選擇的時候需要反復(fù)的訓(xùn)練模型,計算開銷往往大于過濾式,尤其是當(dāng)模型本身的計算非常復(fù)雜的時候。同時因為包裹式與后續(xù)模型結(jié)合太過緊密,一旦更換后續(xù)的模型,必須重新運行特征選擇算法。嵌入式與上述兩種特征選擇算法不同,嵌入式方法沒有明顯的特征選擇過程,它的過程是融合在模型訓(xùn)練的過程中,也就是說模型在訓(xùn)練過程中自動地進行了特征選擇。

    本文將特征選擇引入集成算法當(dāng)中,將其作為整個算法改進的一部分,具體是選擇過濾式特征選擇算法。它可以減少學(xué)習(xí)所需的數(shù)據(jù)量,提高預(yù)測準(zhǔn)確性,使學(xué)習(xí)的知識更緊湊,更容易理解以及減少執(zhí)行時間,不需要針對不同的學(xué)習(xí)算法重新執(zhí)行。CPS是一個對實時性要求很高的系統(tǒng),所以過濾式相比于其他兩種特征選擇算法,更符合CPS入侵檢測算法的需求。

    1.2 CFS特征選擇算法

    CFS是一種基于特征之間相關(guān)性的過濾式特征選擇算法,可以快速識別并篩選不相關(guān)、冗余的特征,并在不嚴(yán)格依賴其他特征的情況下識別相關(guān)特征。CFS是一種全自動算法,不需要用戶指定任何閾值或要選擇的特征數(shù)量,同時,CFS是一種過濾式特征選擇算法,因此不會重復(fù)調(diào)用學(xué)習(xí)算法而增加計算成本[13]。

    CFS使用基于相關(guān)性的啟發(fā)式評估函數(shù)對特征子集進行排名。評估函數(shù)偏向于包含特征與類別高度相關(guān),特征與特征之間彼此不相關(guān)的特征的子集。與類別沒有關(guān)系的特征應(yīng)該被忽略,同時冗余特征應(yīng)該被篩選出來,因為它們與一個或多個特征高度相關(guān)。其評估的形式化定義如下:

    (1)

    最佳優(yōu)先搜索策略可以選擇從沒有特征或所有特征開始搜索,如果選擇從沒有特征開始搜索,會通過添加單個特征的方式在搜索空間中進行;如果選擇從所有特征開始搜索,則會通過刪除單個特征的方式在搜索空間中進行。如果有五個連續(xù)完全展開的子集對當(dāng)前的最佳子集沒有提升,則搜索將終止。由于在對特征子集進行相關(guān)性評價的時候,需要使用離散化的變量來進行計算,如果特征屬性是數(shù)值型,則應(yīng)當(dāng)先對數(shù)值型數(shù)據(jù)進行離散化。圖1展示了CFS進行特征選擇時對訓(xùn)練集和測試集的具體流程。

    圖1 CFS特征選擇算法流程

    2 基于堆疊極限樹的集成算法

    2.1 極限樹算法

    極限樹算法使用經(jīng)典的自頂向下的過程構(gòu)建未修剪的決策樹。與其他基于樹的算法的區(qū)別主要有兩點,一是極限樹通過完全隨機的方式選擇切點來分割節(jié)點,二是極限樹在生長的過程中使用整個學(xué)習(xí)樣本。

    對于評分機制,本文使用文獻[14]中的評分機制對需要進行隨機選擇的屬性進行評價,選擇其中評分最高的劃分屬性。在分類問題中,用信息增益來定義評分函數(shù),對于當(dāng)前劃分節(jié)點,式(2)為評分度量。

    (2)

    算法1Single Extra Tree生成算法。

    輸入:訓(xùn)練集D={(x1,y1),(x2,y1),…,(xm,ym)}, 屬性a。

    輸出:極限樹,劃分屬性。

    Step1如果|D|

    Step2將node標(biāo)記為葉節(jié)點并返回。

    Step3從所有候選屬性中隨機選擇K個屬性{a1,a2,…,aK}。

    Step4形成K個劃分{s1,s2,…,sK},式(3)對si計算進行了定義。

    si=Pick_a_random_split(D,ai) ?i=1,2,…,K

    (3)

    Step5由Score(d*,D)選擇出最好的劃分值d,其分?jǐn)?shù)計算如式(4)所示。

    (4)

    Step6依據(jù)d*將樣本集D分割成兩個樣本子集Dl和Dr。

    Step7使用樣本子集Dl構(gòu)造左子樹tl=Build_an_extra_tree(Dl),使用樣本子集Dr構(gòu)造右子樹tr=Build_an_extra_tree(Dr)。

    Step8根據(jù)d*建立節(jié)點,tl和tr分別是它的左子樹和右子樹,形成一棵極限樹并返回。

    Step11劃分屬性[a

    2.2 結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法描述

    單棵極限樹隨機性太強,一般會使用隨機森林的思想,生成眾多極限樹組成極限森林來提高整個算法的穩(wěn)定性。但生成大量的極限樹需要額外的時間和內(nèi)存開銷,不能滿足CPS入侵檢測對實時性的要求。本文提出將極限樹算法和Stacking集成算法進行結(jié)合,使用極限樹作為Stacking集成算法的基學(xué)習(xí)器,由于極限樹的隨機性,符合Stacking集成算法對基學(xué)習(xí)器之間存在差異的需求。堆疊極限樹可以提升算法的穩(wěn)定性,提高泛化精度。

    為了能夠進一步滿足CPS入侵檢測對實時性的要求,本文結(jié)合相關(guān)性特征選擇算法和堆疊極限樹算法,提出CFS-SET算法。在CPS的入侵檢測中,數(shù)據(jù)常常呈現(xiàn)特征眾多、維度高的特點,造成算法運算時間長和性能不佳的效果。采用相關(guān)性特征選擇算法(CFS),結(jié)合最佳優(yōu)先(BestFirst)的啟發(fā)式搜索策略,可以自動地從入侵?jǐn)?shù)據(jù)的眾多特征中選擇出有用的特征,減少后續(xù)分類算法的訓(xùn)練和預(yù)測時間。同時,因為極限樹是隨機地選取特征來生長一棵樹,所以特征選擇有助于提高單棵極限樹的性能。使用選擇出的新特征組成新的訓(xùn)練集和測試集,將其送入后續(xù)的堆疊極限樹(SET)算法中。堆疊極限樹算法是將若干個極限樹模型作為基分類器,向這些分類器中送入相同的訓(xùn)練數(shù)據(jù)進行訓(xùn)練。所有分類器輸出的預(yù)測結(jié)果合并成一個新的特征,輸入下一層的邏輯回歸分類器進行訓(xùn)練。算法中使用的極限樹具有隨機性,改變隨機種子后即可生長出兩棵完全不同的極限樹,所以其堆疊的數(shù)量很重要,過多的堆疊數(shù)量會導(dǎo)致計算時間過長,過少的堆疊數(shù)量無法獲得良好的檢測性能。因此對極限樹的堆疊數(shù)量進行了實驗,綜合計算時間和檢測性能,實驗選擇使用5棵極限樹進行堆疊。算法本質(zhì)是一個二層的結(jié)構(gòu),算法框架如圖2所示,可以看出算法主要包含特征選擇和Stacking兩部分。其中:TrainingData和TestingData為訓(xùn)練集和測試集數(shù)據(jù);CFS為相關(guān)性特征選擇算法,具體流程如圖1;CFSTrainingData和CFSTestingData為經(jīng)過特征選擇算法篩選后訓(xùn)練集和測試集數(shù)據(jù);ExtraTree-1、ExtraTree-2等是5棵不相同的極限樹作為Stacking中的基學(xué)習(xí)器;Pred-1、Pred-2等是各個基學(xué)習(xí)器產(chǎn)生的預(yù)測結(jié)果;MergeData是合并了基學(xué)習(xí)器預(yù)測結(jié)果的數(shù)據(jù)集;logisticsregression是第二層的邏輯回歸模型。

    圖2 CFS-SET算法流程

    具體步驟為:

    (1) 將具有m個特征的訓(xùn)練集TrainingData進行相關(guān)性特征選擇(CFS),選擇出n個特征的訓(xùn)練集CFSTrainingData。

    (2) 從具有m個特征的測試集TestingData中挑選出相同的n個特征,組成測試集CFSTestingData。

    (3) 將5份相同的訓(xùn)練集CFSTrainingData分別送入5個不同的ExtraTree中,使用10折交叉驗證來訓(xùn)練,訓(xùn)練出5個不同的ExtraTree模型,并輸出5份對應(yīng)的預(yù)測結(jié)果。

    (4) 將5份不同的預(yù)測結(jié)果合并成一個全新的數(shù)據(jù)集,作為訓(xùn)練集送入下一層邏輯回歸進行訓(xùn)練。

    (5) 保存整個模型,訓(xùn)練結(jié)束。

    值得注意的是,雖然基學(xué)習(xí)器使用的都是極限樹,但因為設(shè)置了不同的隨機種子,每棵樹在分裂的時候會進行隨機的分裂,生長成不同的樹,所以是互不相同的模型,各自得到的輸出也不同。使用Stacking的目的主要是獲得盡可能高的泛化精度(與學(xué)習(xí)精度相反),其中心思想是,比簡單地列出與訓(xùn)練集一致的父函數(shù)的所有預(yù)測結(jié)果做得更好。它通??梢越Y(jié)合多個基分類器的優(yōu)點,提高泛化性能,并且表現(xiàn)穩(wěn)定。

    3 仿真測試

    為了驗證本文提出的CFS-SET算法的有效性,本文使用密西西比州立大學(xué)關(guān)鍵基礎(chǔ)設(shè)施保護中心2014年建立的電力系統(tǒng)數(shù)據(jù)集(Power System Datasets)[15]對本文算法性能與幾種代表性的機器學(xué)習(xí)和集成學(xué)習(xí)算法進行比較。測試硬件平臺為:Windows 10專業(yè)版64位操作系統(tǒng)、Intel(R)CoreTMi7-4700HQ CPU @ 2.40 GHz處理器、8 GB內(nèi)存。使用Python語言對數(shù)據(jù)進行預(yù)處理,使用Weka[16]作為機器學(xué)習(xí)算法框架進行比較。

    3.1 數(shù)據(jù)預(yù)處理

    Power System Datasets數(shù)據(jù)來源于一個二進線三母線智能電力系統(tǒng)對37種事件的仿真?,F(xiàn)代電力傳輸系統(tǒng)依靠傳感器進行遠(yuǎn)程監(jiān)控。其數(shù)據(jù)包括電壓和電流等測量值以及系統(tǒng)設(shè)備的狀態(tài),如繼電器、斷路器和變壓器等。智能電網(wǎng)作為CPS在現(xiàn)實中應(yīng)用最廣泛的場景,是驗證本文算法的理想環(huán)境。

    本文著重于識別威脅CPS正常運作的入侵事件,所以選擇對事件進行二分類的分類方案。整個數(shù)據(jù)集被分為37個事件場景,其中:28個事件為攻擊行為;9個事件為正常操作。數(shù)據(jù)來自15個數(shù)據(jù)庫,隨機抽取1%的數(shù)據(jù)以減小大小并評估小樣本大小的有效性,組成15個數(shù)據(jù)文件。表1列舉了攻擊行為和正常操作的序號分類。

    表1 二分類事件具體分類表

    Power System Datasets數(shù)據(jù)集共有78 377個樣本,每條樣本數(shù)據(jù)的存儲形式為X=(x1,x2,…,xn,y),每條樣本數(shù)據(jù)具有128個特征屬性(其中116個測量值由4個同步儀產(chǎn)生,余下的12個測量值來自控制面板日志、中繼日志和Snort警報)和1個類標(biāo)簽。由于數(shù)據(jù)量充足,本文剔除了屬性存在缺失值的數(shù)據(jù)。同時由于特征屬性離散和連續(xù)數(shù)值混合,本文對數(shù)據(jù)進行Z-Score標(biāo)準(zhǔn)化處理,根據(jù)式(5)將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布。

    (5)

    式中:x是個體觀測值;μ是總體數(shù)據(jù)的均值;σ是總體數(shù)據(jù)的標(biāo)準(zhǔn)差。

    3.2 分析方法

    本文將采用以下評估指標(biāo)來衡量用于CPS入侵檢測任務(wù)的算法性能。

    準(zhǔn)確率指的是算法正確分類的樣本數(shù)量與總體樣本數(shù)量的比值。雖然準(zhǔn)確率可以判斷總體的準(zhǔn)確率,但是在樣本不平衡的情況下,可能會出現(xiàn)高準(zhǔn)確率但其結(jié)果含有很大水分,不能準(zhǔn)確反映分類性能。比如當(dāng)正常操作的樣本數(shù)量很少的情況下,極端地將所有的類別預(yù)測為攻擊即可獲得很高的準(zhǔn)確率,顯然,這不能準(zhǔn)確地反映算法的性能。準(zhǔn)確率利用式(6)進行計算。

    (6)

    式中:TP(真正例)表示攻擊行為被正確分類的數(shù)量;TN(真反例)表示正常操作行為被正確分類的數(shù)量;FN(假反例)表示攻擊行為被錯誤分類的數(shù)量;FP(假正例)表示正常操作行為被錯誤分類的數(shù)量。

    精確率衡量的是,算法識別出的正例中算法預(yù)測正確的百分比,即算法分類為攻擊行為的樣本中,真正是攻擊行為的比率。精確率越高代表算法的誤報率越低。精確率利用式(7)進行計算。

    (7)

    靈敏度衡量的是正確識別出正例的比率,即算法正確識別出攻擊行為的百分比。靈敏度越高代表算法的漏報率越低。利用式(8)可以計算出靈敏度。

    (8)

    F1分?jǐn)?shù)指的是精確度和召回率的調(diào)和平均值,其值在0到1之間,當(dāng)F1分?jǐn)?shù)較高的時候說明算法分類性能較好。式(9)給出了F1值計算方法。

    (9)

    3.3 實驗結(jié)果分析

    圖3展示了結(jié)合相關(guān)性特征選擇的堆疊極限樹集成算法(CFS-SET)和另外6種常見的經(jīng)典機器學(xué)習(xí)算法在15個數(shù)據(jù)集上的分類準(zhǔn)確率。分類準(zhǔn)確率是通過在每個數(shù)據(jù)集上進行10折交叉驗證,取得的分類準(zhǔn)確率計算出的均值??梢钥闯觯?種算法無論應(yīng)用于15個數(shù)據(jù)集的哪個數(shù)據(jù)集,結(jié)果都是一致的,雖然有細(xì)微的變化,但分類表現(xiàn)都是相對穩(wěn)定的。其中表現(xiàn)最好的兩種算法分別是CFS-SET和Random Forests,分類準(zhǔn)確率都在95%以上。作為基學(xué)習(xí)器的Extra Tree和Nearest Neighbor算法分類準(zhǔn)確率能達到90%。

    圖3 15個數(shù)據(jù)集上分類準(zhǔn)確率

    圖4顯示了15個數(shù)據(jù)集上不同算法的平均精確率,其中每個數(shù)據(jù)集使用10折交叉驗證的方法。精確率在本例中的含義是識別出的真正是攻擊行為的數(shù)量與總的攻擊行為數(shù)量之間的比值。精確率越高,代表算法越不會將正常的操作行為誤報為攻擊行為。在7種算法中,CFS-SET和Random Forests的在15個數(shù)據(jù)集上的平均精確率表現(xiàn)最佳。

    圖4 平均精確度

    圖5顯示了15個數(shù)據(jù)集上不同算法的平均漏報率,其值是根據(jù)1-Sensitivity來確定的,其中每個數(shù)據(jù)集使用10折交叉驗證的方法。可以看出SVM在漏報率上表現(xiàn)非常出色,15個數(shù)據(jù)集沒有誤報的情況發(fā)生,但結(jié)合精確率可以發(fā)現(xiàn),SVM在精確率上表現(xiàn)很差,也就是說這種低漏報率的表現(xiàn)是通過高誤報率換來的。在實際環(huán)境中,這種算法對決策者的價值很低,因為其分類表現(xiàn)是不可靠的。AdaBoost、CFS-SET和Random Forests的漏報率在0到0.1之間,表現(xiàn)良好。

    圖5 平均漏報率

    圖6顯示了所有數(shù)據(jù)集的平均F1值,它本質(zhì)上綜合了分類性能的精確率和靈敏度??梢愿玫胤从吵鏊惴ǖ姆诸愋阅堋?梢钥吹紺FS-SET和Random Forests擁有最高的F1值,都達到了0.979。說明CFS-SET算法在分類性能上與Random Forests基本相當(dāng)。

    圖6 平均F1值

    在CPS中進行入侵檢測不僅需要算法的分類性能良好,還需要滿足CPS對算法實時性的要求,即算法的模型建立時間和預(yù)測時間要盡可能的短,否則即使算法的分類性能出眾,也無法應(yīng)用于CPS的入侵檢測中。表2展示了每個算法進行10折交叉驗證時,平均每折的耗時和10折總耗時情況。可以看出上文分類性能相當(dāng)?shù)腃FS-SET和Random Forests算法,在計算時間上,CFS-SET算法只用了Random Forests算法的1/5的時間??梢娫诳傮w性能表現(xiàn)上,本文提出的CFS-SET算法更好地兼顧了分類準(zhǔn)確率和計算時間兩者間的平衡。

    表2 模型運行時間匯總表 單位:s

    4 結(jié) 語

    利用基于特征之間相關(guān)性的特征選擇算法,快速篩選出關(guān)聯(lián)性高的特征,拋棄冗余和不相關(guān)的特征,這樣可以加速后續(xù)的分類算法。使用Stacking的集成算法框架,提升算法的泛化能力,減少單棵極限樹隨機性太強帶來的偏差。實驗結(jié)果表明,本文提出的CFS-SET方法能夠從眾多的入侵?jǐn)?shù)據(jù)特征中過濾出真正有用的特征,進而提升分類效率。對比其他常見的機器學(xué)習(xí)算法對CPS環(huán)境中的攻擊行為檢測,更好地兼顧了誤報率和漏報率,F(xiàn)1值達到了平均0.979。同樣使用集成算法思想的Random Forests算法也達到了與CFS-SET相同的F1值。但在實時性方面,CFS-SET算法只使用了Random Forests算法1/5的計算時間。本文將隨機性很強的極限樹算法進行堆疊,改善其因為隨機性帶來的分類性能不佳的問題,吸收其計算速度快的優(yōu)點,使CFS-SET算法同時兼顧分類性能和分類時間,使得將其應(yīng)用于CPS入侵檢測成為可能。本文進一步的工作將考慮把CFS-SET算法推廣至多分類的CPS入侵檢測中,能夠?qū)Σ煌娜肭謾z測行為進行分類,同時需要考慮多分類情況下,類別不均衡對分類算法的影響。將上采樣和下采樣技術(shù)融合入CFS-SET算法中,保持甚至提升算法在多分類情況下的分類性能和計算時間,能夠繼續(xù)應(yīng)用于CPS入侵檢測的多分類領(lǐng)域。

    猜你喜歡
    攻擊行為特征選擇準(zhǔn)確率
    住院精神病人暴力攻擊行為原因分析及護理干預(yù)
    基于人工蜂群算法的無線網(wǎng)絡(luò)攻擊行為的辨識研究
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報參考產(chǎn)品質(zhì)量檢驗分析
    高速公路車牌識別標(biāo)識站準(zhǔn)確率驗證法
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    基于計劃行為理論的高職學(xué)生攻擊行為探析
    文教資料(2014年1期)2014-11-07 06:54:50
    基于特征選擇和RRVPMCD的滾動軸承故障診斷方法
    99国产极品粉嫩在线观看| 免费高清在线观看日韩| 欧美激情高清一区二区三区| 一区二区日韩欧美中文字幕| 免费在线观看黄色视频的| 国产精品.久久久| 不卡一级毛片| 手机成人av网站| 亚洲精品中文字幕在线视频| 蜜桃国产av成人99| 亚洲五月色婷婷综合| 精品国产超薄肉色丝袜足j| 我要看黄色一级片免费的| 真人做人爱边吃奶动态| 欧美国产精品一级二级三级| 亚洲综合色网址| 久久人人爽av亚洲精品天堂| 日日夜夜操网爽| 一区二区三区国产精品乱码| 人人澡人人妻人| 成人18禁在线播放| 欧美中文综合在线视频| 操美女的视频在线观看| 男女下面插进去视频免费观看| 国产福利在线免费观看视频| 蜜桃在线观看..| 国产又爽黄色视频| 亚洲少妇的诱惑av| 亚洲美女黄片视频| 亚洲男人天堂网一区| 蜜桃在线观看..| 亚洲熟妇熟女久久| 久久人妻福利社区极品人妻图片| 最新的欧美精品一区二区| 日韩欧美免费精品| 日本黄色日本黄色录像| 成年人免费黄色播放视频| 一进一出好大好爽视频| 国产成人欧美| 亚洲精品久久午夜乱码| xxxhd国产人妻xxx| 男男h啪啪无遮挡| 在线观看舔阴道视频| 免费日韩欧美在线观看| 建设人人有责人人尽责人人享有的| 考比视频在线观看| 男女下面插进去视频免费观看| 亚洲成国产人片在线观看| 黄色怎么调成土黄色| 国产一区二区三区视频了| 免费在线观看完整版高清| 国产精品偷伦视频观看了| 国产单亲对白刺激| 老司机亚洲免费影院| 精品一区二区三卡| 一边摸一边抽搐一进一小说 | 亚洲免费av在线视频| 王馨瑶露胸无遮挡在线观看| 亚洲欧美色中文字幕在线| 99精国产麻豆久久婷婷| 午夜激情久久久久久久| 侵犯人妻中文字幕一二三四区| 少妇粗大呻吟视频| 一区二区三区国产精品乱码| 国产亚洲精品第一综合不卡| 搡老熟女国产l中国老女人| 国产1区2区3区精品| 国产成+人综合+亚洲专区| 曰老女人黄片| 天天躁夜夜躁狠狠躁躁| 99re6热这里在线精品视频| 久久中文字幕一级| 香蕉国产在线看| 十八禁人妻一区二区| 欧美 亚洲 国产 日韩一| 亚洲精品成人av观看孕妇| 日韩免费av在线播放| 国产av一区二区精品久久| 老司机影院毛片| 久久精品国产亚洲av高清一级| 欧美精品一区二区大全| 久9热在线精品视频| 亚洲成国产人片在线观看| 午夜91福利影院| 97在线人人人人妻| 日韩三级视频一区二区三区| av有码第一页| 久久人妻熟女aⅴ| 久久九九热精品免费| 亚洲伊人久久精品综合| 国产精品 国内视频| 久久久久国内视频| 日本wwww免费看| 国产激情久久老熟女| 少妇猛男粗大的猛烈进出视频| 色婷婷久久久亚洲欧美| 国产91精品成人一区二区三区 | 精品久久久精品久久久| av视频免费观看在线观看| 中亚洲国语对白在线视频| 国产高清国产精品国产三级| 欧美亚洲日本最大视频资源| 亚洲人成77777在线视频| 国产成人免费观看mmmm| 9热在线视频观看99| 欧美变态另类bdsm刘玥| 成人手机av| 丁香六月欧美| 国产精品影院久久| 久久中文字幕人妻熟女| 欧美变态另类bdsm刘玥| 国产高清videossex| 国产单亲对白刺激| 看免费av毛片| 又黄又粗又硬又大视频| 国产精品1区2区在线观看. | 一级毛片精品| 亚洲精品国产区一区二| 欧美午夜高清在线| 亚洲欧美一区二区三区黑人| 黄色片一级片一级黄色片| 中文字幕av电影在线播放| 欧美精品亚洲一区二区| 国产野战对白在线观看| 亚洲精品乱久久久久久| 久久国产亚洲av麻豆专区| 亚洲熟女毛片儿| 丁香六月天网| 美女高潮到喷水免费观看| 久久天躁狠狠躁夜夜2o2o| 免费不卡黄色视频| 日日爽夜夜爽网站| 午夜两性在线视频| avwww免费| 久久人妻福利社区极品人妻图片| 国产欧美日韩综合在线一区二区| 久久ye,这里只有精品| 在线 av 中文字幕| 十八禁高潮呻吟视频| 18禁国产床啪视频网站| 精品福利永久在线观看| 国产区一区二久久| 一区二区三区国产精品乱码| 黄色 视频免费看| 国产不卡av网站在线观看| 亚洲一码二码三码区别大吗| 日本vs欧美在线观看视频| 国产1区2区3区精品| 国产精品久久久久久精品古装| 考比视频在线观看| 69av精品久久久久久 | 国产亚洲精品第一综合不卡| videosex国产| 亚洲人成电影免费在线| 午夜免费鲁丝| 动漫黄色视频在线观看| 亚洲成av片中文字幕在线观看| 久久久久国内视频| 淫妇啪啪啪对白视频| av免费在线观看网站| 国产淫语在线视频| 精品国产一区二区三区久久久樱花| 日本撒尿小便嘘嘘汇集6| 真人做人爱边吃奶动态| 黄网站色视频无遮挡免费观看| 国产精品久久久人人做人人爽| 免费观看av网站的网址| 视频区图区小说| 高清在线国产一区| 老熟妇乱子伦视频在线观看| 悠悠久久av| 9191精品国产免费久久| 国产精品免费视频内射| 色在线成人网| 女性生殖器流出的白浆| 久久精品亚洲av国产电影网| 亚洲人成伊人成综合网2020| 丰满迷人的少妇在线观看| 国产精品98久久久久久宅男小说| 亚洲伊人色综图| 一二三四社区在线视频社区8| 日韩大码丰满熟妇| 99九九在线精品视频| 国产av一区二区精品久久| 精品熟女少妇八av免费久了| 国产精品98久久久久久宅男小说| 精品人妻熟女毛片av久久网站| 精品福利永久在线观看| 一个人免费看片子| 亚洲精品成人av观看孕妇| 高清欧美精品videossex| 国产一区二区三区视频了| 日韩成人在线观看一区二区三区| 欧美激情极品国产一区二区三区| 人成视频在线观看免费观看| 人妻久久中文字幕网| 欧美日韩精品网址| 国产精品av久久久久免费| 伦理电影免费视频| 精品人妻1区二区| 一级片免费观看大全| 丁香六月欧美| 日韩 欧美 亚洲 中文字幕| 99精品久久久久人妻精品| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲精华国产精华精| 免费在线观看日本一区| 考比视频在线观看| 老司机午夜福利在线观看视频 | 亚洲精华国产精华精| 在线观看免费高清a一片| 男女无遮挡免费网站观看| 欧美日韩一级在线毛片| 变态另类成人亚洲欧美熟女 | 99久久99久久久精品蜜桃| 国产精品免费视频内射| 精品亚洲成a人片在线观看| 国产三级黄色录像| 桃红色精品国产亚洲av| 亚洲欧洲日产国产| 色播在线永久视频| 在线观看66精品国产| 久热这里只有精品99| 在线观看免费日韩欧美大片| 热99国产精品久久久久久7| 捣出白浆h1v1| 亚洲欧洲日产国产| 黑人巨大精品欧美一区二区蜜桃| 免费看十八禁软件| 在线 av 中文字幕| 丝袜美腿诱惑在线| 久久国产亚洲av麻豆专区| 一区二区三区乱码不卡18| 国产在线观看jvid| 一区二区av电影网| 少妇 在线观看| 亚洲人成77777在线视频| 91大片在线观看| 极品少妇高潮喷水抽搐| 一区在线观看完整版| 五月天丁香电影| 午夜福利,免费看| 中文字幕色久视频| 精品一区二区三区视频在线观看免费 | 王馨瑶露胸无遮挡在线观看| 一二三四社区在线视频社区8| 欧美另类亚洲清纯唯美| 国产野战对白在线观看| 视频区图区小说| 国产日韩欧美视频二区| 亚洲精品中文字幕一二三四区 | 亚洲精品中文字幕一二三四区 | 夜夜爽天天搞| 美国免费a级毛片| 一本一本久久a久久精品综合妖精| 久久精品国产99精品国产亚洲性色 | 亚洲久久久国产精品| 精品欧美一区二区三区在线| 丁香六月天网| 18禁黄网站禁片午夜丰满| 黄色成人免费大全| 亚洲国产精品一区二区三区在线| 国产亚洲精品一区二区www | 99久久国产精品久久久| 日本黄色视频三级网站网址 | 亚洲avbb在线观看| 国产成人系列免费观看| av片东京热男人的天堂| 日韩制服丝袜自拍偷拍| 亚洲人成电影免费在线| 久久婷婷成人综合色麻豆| 啪啪无遮挡十八禁网站| 天天躁日日躁夜夜躁夜夜| 十八禁网站网址无遮挡| 久久国产精品人妻蜜桃| 久久久精品免费免费高清| 亚洲精品乱久久久久久| 在线观看人妻少妇| 国产成人免费观看mmmm| 日本五十路高清| 日本av免费视频播放| 国产精品98久久久久久宅男小说| 国产福利在线免费观看视频| 不卡av一区二区三区| av有码第一页| 国产成人免费无遮挡视频| 亚洲男人天堂网一区| 欧美国产精品一级二级三级| 国产精品麻豆人妻色哟哟久久| 免费在线观看黄色视频的| 又紧又爽又黄一区二区| 一级,二级,三级黄色视频| 欧美性长视频在线观看| 丝袜美腿诱惑在线| 中文字幕高清在线视频| 欧美日本中文国产一区发布| 免费在线观看日本一区| 男女床上黄色一级片免费看| 91大片在线观看| 波多野结衣av一区二区av| 一级,二级,三级黄色视频| 亚洲精品乱久久久久久| 宅男免费午夜| videosex国产| 欧美一级毛片孕妇| 999久久久精品免费观看国产| av在线播放免费不卡| 老鸭窝网址在线观看| 久久毛片免费看一区二区三区| 男女之事视频高清在线观看| 久久久久视频综合| 一边摸一边做爽爽视频免费| 久久人妻福利社区极品人妻图片| 亚洲av片天天在线观看| 老司机影院毛片| 91精品国产国语对白视频| 亚洲久久久国产精品| 国产高清国产精品国产三级| 18禁国产床啪视频网站| 国产一区二区 视频在线| 国产av一区二区精品久久| 欧美成人免费av一区二区三区 | 18禁观看日本| 无人区码免费观看不卡 | 婷婷丁香在线五月| 十八禁高潮呻吟视频| 人人妻人人澡人人看| 国产精品久久久久久精品古装| a在线观看视频网站| 成年版毛片免费区| 天天操日日干夜夜撸| 免费日韩欧美在线观看| 国产成人精品久久二区二区91| 无限看片的www在线观看| 90打野战视频偷拍视频| 国产成人精品久久二区二区免费| 免费高清在线观看日韩| 美国免费a级毛片| 黑丝袜美女国产一区| 亚洲国产欧美网| 亚洲精品美女久久久久99蜜臀| 精品第一国产精品| 精品少妇黑人巨大在线播放| 啦啦啦在线免费观看视频4| 国产在线视频一区二区| 99精品在免费线老司机午夜| 十八禁网站免费在线| 91大片在线观看| 80岁老熟妇乱子伦牲交| 久久午夜综合久久蜜桃| 国产精品二区激情视频| 精品少妇久久久久久888优播| 久久中文看片网| 黑人猛操日本美女一级片| 日韩视频在线欧美| 亚洲avbb在线观看| 在线永久观看黄色视频| 久久午夜综合久久蜜桃| 亚洲久久久国产精品| 久久久久久久久免费视频了| 在线天堂中文资源库| 精品国内亚洲2022精品成人 | 18禁美女被吸乳视频| 搡老熟女国产l中国老女人| 国产在线免费精品| 黑人猛操日本美女一级片| tube8黄色片| 国产福利在线免费观看视频| 亚洲av电影在线进入| 女人精品久久久久毛片| 在线十欧美十亚洲十日本专区| 一区二区日韩欧美中文字幕| 久久精品亚洲av国产电影网| 一级毛片女人18水好多| 乱人伦中国视频| 久久人妻福利社区极品人妻图片| 午夜久久久在线观看| 久久久久久人人人人人| 老司机影院毛片| 欧美国产精品一级二级三级| 免费在线观看视频国产中文字幕亚洲| 新久久久久国产一级毛片| 欧美在线一区亚洲| 一级毛片女人18水好多| 国产又爽黄色视频| e午夜精品久久久久久久| 午夜免费成人在线视频| 欧美国产精品一级二级三级| 国产免费av片在线观看野外av| 亚洲精品国产色婷婷电影| 亚洲精品一二三| 欧美久久黑人一区二区| 国产精品九九99| 免费一级毛片在线播放高清视频 | 国产一区二区 视频在线| 欧美黄色片欧美黄色片| 国产1区2区3区精品| 国产男女超爽视频在线观看| 无限看片的www在线观看| 亚洲七黄色美女视频| 激情在线观看视频在线高清 | 久久ye,这里只有精品| 黄片小视频在线播放| 精品国产乱子伦一区二区三区| 国产欧美日韩精品亚洲av| 看免费av毛片| 99精国产麻豆久久婷婷| a级毛片黄视频| 一级片免费观看大全| 一级黄色大片毛片| 欧美人与性动交α欧美精品济南到| 狠狠精品人妻久久久久久综合| 精品一区二区三区四区五区乱码| 天天影视国产精品| 国产精品欧美亚洲77777| 亚洲视频免费观看视频| 久久热在线av| 欧美日韩中文字幕国产精品一区二区三区 | 国产高清视频在线播放一区| 99热网站在线观看| avwww免费| 国产高清国产精品国产三级| 国产欧美亚洲国产| 91九色精品人成在线观看| 精品免费久久久久久久清纯 | 少妇被粗大的猛进出69影院| 91老司机精品| 90打野战视频偷拍视频| 久久久久网色| 久久性视频一级片| av线在线观看网站| 大码成人一级视频| 在线永久观看黄色视频| 亚洲 欧美一区二区三区| 五月开心婷婷网| 男男h啪啪无遮挡| 捣出白浆h1v1| 可以免费在线观看a视频的电影网站| 高清av免费在线| 日韩一区二区三区影片| 男女无遮挡免费网站观看| 天天操日日干夜夜撸| 午夜日韩欧美国产| 黄色视频不卡| 国产人伦9x9x在线观看| 亚洲av成人不卡在线观看播放网| 嫁个100分男人电影在线观看| 99国产精品一区二区三区| 99re6热这里在线精品视频| 高清av免费在线| 久久人人97超碰香蕉20202| 人成视频在线观看免费观看| 成人永久免费在线观看视频 | 国产麻豆69| 下体分泌物呈黄色| 欧美日韩亚洲综合一区二区三区_| 国产精品一区二区免费欧美| 国产精品98久久久久久宅男小说| 成人手机av| www.自偷自拍.com| 老司机午夜福利在线观看视频 | 日韩中文字幕视频在线看片| 蜜桃在线观看..| 国精品久久久久久国模美| 精品国产乱码久久久久久男人| 黄色视频在线播放观看不卡| 一区在线观看完整版| 涩涩av久久男人的天堂| 男女高潮啪啪啪动态图| 国产三级黄色录像| 在线 av 中文字幕| 亚洲色图 男人天堂 中文字幕| 人人妻,人人澡人人爽秒播| 午夜激情久久久久久久| 天堂动漫精品| 亚洲专区字幕在线| 超色免费av| 久久人人97超碰香蕉20202| 精品欧美一区二区三区在线| 人妻一区二区av| 精品高清国产在线一区| 欧美精品人与动牲交sv欧美| 婷婷成人精品国产| 最新在线观看一区二区三区| 国产av一区二区精品久久| 日日夜夜操网爽| 精品免费久久久久久久清纯 | 高清视频免费观看一区二区| 亚洲午夜理论影院| 母亲3免费完整高清在线观看| 999精品在线视频| 亚洲伊人久久精品综合| 人妻 亚洲 视频| 啦啦啦中文免费视频观看日本| 肉色欧美久久久久久久蜜桃| 欧美成人午夜精品| 日本vs欧美在线观看视频| 精品人妻在线不人妻| 国产av国产精品国产| 亚洲七黄色美女视频| 久久久久久免费高清国产稀缺| e午夜精品久久久久久久| 国产免费av片在线观看野外av| 丁香六月欧美| 国产精品久久久久久人妻精品电影 | 国产有黄有色有爽视频| 亚洲熟女毛片儿| 日本vs欧美在线观看视频| 考比视频在线观看| 色综合婷婷激情| 久久亚洲真实| 伊人久久大香线蕉亚洲五| 成人三级做爰电影| 日韩三级视频一区二区三区| a级毛片黄视频| 欧美人与性动交α欧美精品济南到| 国产精品久久久av美女十八| 亚洲欧美日韩高清在线视频 | 午夜两性在线视频| 亚洲人成伊人成综合网2020| 另类亚洲欧美激情| 在线观看免费高清a一片| 高清黄色对白视频在线免费看| 国产成人欧美| 大片电影免费在线观看免费| 国产欧美亚洲国产| 欧美日韩精品网址| 午夜老司机福利片| 一区二区日韩欧美中文字幕| 热re99久久国产66热| 中亚洲国语对白在线视频| 成人国产一区最新在线观看| 亚洲国产中文字幕在线视频| 亚洲精品国产精品久久久不卡| 大片免费播放器 马上看| 大陆偷拍与自拍| 亚洲va日本ⅴa欧美va伊人久久| 精品国产一区二区三区四区第35| 亚洲av第一区精品v没综合| 免费在线观看视频国产中文字幕亚洲| 俄罗斯特黄特色一大片| 美国免费a级毛片| 肉色欧美久久久久久久蜜桃| 精品久久久精品久久久| 性色av乱码一区二区三区2| 我要看黄色一级片免费的| 亚洲一码二码三码区别大吗| 9热在线视频观看99| 最新的欧美精品一区二区| 一区二区三区激情视频| 免费人妻精品一区二区三区视频| 建设人人有责人人尽责人人享有的| 香蕉国产在线看| 18禁观看日本| 国产区一区二久久| 搡老岳熟女国产| 欧美国产精品一级二级三级| 国产精品久久久人人做人人爽| 中文字幕最新亚洲高清| 午夜福利,免费看| 国产1区2区3区精品| 国产av精品麻豆| 99国产精品一区二区三区| 欧美精品人与动牲交sv欧美| 亚洲中文字幕日韩| 久久人妻福利社区极品人妻图片| 亚洲中文字幕日韩| 亚洲国产欧美在线一区| 久久久水蜜桃国产精品网| 精品福利观看| 亚洲国产av影院在线观看| 他把我摸到了高潮在线观看 | 黄色视频不卡| 又紧又爽又黄一区二区| 欧美黄色淫秽网站| 天堂动漫精品| 成年版毛片免费区| 99久久精品国产亚洲精品| 午夜福利,免费看| 9191精品国产免费久久| 国产色视频综合| 日韩 欧美 亚洲 中文字幕| 一区二区三区国产精品乱码| 十八禁人妻一区二区| 国产在线观看jvid| 中文字幕av电影在线播放| 日韩人妻精品一区2区三区| 国产日韩欧美亚洲二区| 欧美另类亚洲清纯唯美| 免费在线观看完整版高清| 亚洲免费av在线视频| 五月天丁香电影| 天天操日日干夜夜撸| 国产亚洲精品一区二区www | 天天影视国产精品| 熟女少妇亚洲综合色aaa.| 欧美激情 高清一区二区三区| 丁香六月欧美| 51午夜福利影视在线观看| 亚洲五月色婷婷综合| 亚洲人成电影免费在线| 亚洲国产毛片av蜜桃av| 搡老乐熟女国产| 成人免费观看视频高清| 国产成+人综合+亚洲专区| 日韩人妻精品一区2区三区| 999精品在线视频| 国产成人免费观看mmmm| 午夜福利乱码中文字幕| xxxhd国产人妻xxx| 久久中文字幕人妻熟女| 九色亚洲精品在线播放| 制服诱惑二区| 久久久国产欧美日韩av| 法律面前人人平等表现在哪些方面|