• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于釘板分布稀疏變分自編碼器的異常檢測(cè)算法研究

    2023-01-09 04:09:32陳華華陳哲
    電信科學(xué) 2022年12期
    關(guān)鍵詞:編碼器維度深度

    陳華華,陳哲

    基于釘板分布稀疏變分自編碼器的異常檢測(cè)算法研究

    陳華華,陳哲

    (杭州電子科技大學(xué)通信工程學(xué)院,浙江 杭州 310018)

    異常檢測(cè)由于其廣泛的應(yīng)用一直是數(shù)據(jù)挖掘中一個(gè)重要的研究分支,它有助于研究人員獲得重要的信息進(jìn)而對(duì)數(shù)據(jù)做出更好的決策。提出了一種基于釘板分布稀疏變分自編碼器的異常檢測(cè)模型。首先,使用離散?連續(xù)混合模型釘板分布作為變分自編碼器的先驗(yàn),模擬隱變量所在空間的稀疏性,得到數(shù)據(jù)特征的稀疏表示;其次,以所提出的自編碼器構(gòu)建深度支持向量網(wǎng)絡(luò),對(duì)特征空間進(jìn)行壓縮,并采用最優(yōu)超球體區(qū)分正常數(shù)據(jù)和異常數(shù)據(jù);再次,以數(shù)據(jù)特征和超球體中心之間的歐氏距離完成異常檢測(cè);最后,在基準(zhǔn)數(shù)據(jù)集MNIST(modifiednational institute of standards and technology database)和Fashion-MNIST上的實(shí)驗(yàn)評(píng)估表明,與現(xiàn)存的異常檢測(cè)算法相比,本文所提出的算法具有更好的檢測(cè)效果。

    異常檢測(cè);變分自編碼器;釘板分布;深度支持向量網(wǎng)絡(luò)

    0 引言

    異常數(shù)據(jù)在統(tǒng)計(jì)上具有遠(yuǎn)離大多數(shù)數(shù)據(jù)點(diǎn)的特點(diǎn)[1],因此也被稱為離群值。異常檢測(cè)具有廣泛的應(yīng)用領(lǐng)域,如互聯(lián)網(wǎng)金融[2]、網(wǎng)絡(luò)入侵檢測(cè)[3]、醫(yī)療圖像輔助病癥診斷[4]、工業(yè)設(shè)備運(yùn)行監(jiān)控[5]、智能安防[6]、自動(dòng)駕駛[7]等。隨著數(shù)據(jù)規(guī)模和維度的增長(zhǎng),研究有效的異常檢測(cè)算法對(duì)眾多領(lǐng)域而言具有重要的現(xiàn)實(shí)意義,一直是國(guó)內(nèi)外學(xué)者研究的焦點(diǎn)。

    早期異常檢測(cè)方法通常采用基于特征空間中數(shù)據(jù)的局部密度來(lái)確定離群點(diǎn),其中比較經(jīng)典的方法是局部離群因子(local outlier factor,LOF)算法[8],該方法根據(jù)數(shù)據(jù)點(diǎn)與其鄰域內(nèi)數(shù)據(jù)點(diǎn)在可達(dá)距離、局部可達(dá)密度等因素計(jì)算局部離群因子從而判斷數(shù)據(jù)是否異常,這種方法的缺點(diǎn)是算法復(fù)雜度較高。Liu等[9]提出了基于集成學(xué)習(xí)的孤立森林(isolation forest,IF)算法,利用二叉搜索樹結(jié)構(gòu)建立孤立樣本,對(duì)樣本點(diǎn)的孤立計(jì)算異常值,異常點(diǎn)由于數(shù)量少且具有與大部分樣本的疏離性往往會(huì)被更早地孤立出來(lái),但是該方法只能檢測(cè)全局異常的情況,并且不適于特別高維的數(shù)據(jù)。

    近年來(lái),隨著大數(shù)據(jù)技術(shù)的發(fā)展,數(shù)據(jù)的維度越來(lái)越高,而深度神經(jīng)網(wǎng)絡(luò)通過(guò)多層結(jié)構(gòu)提取數(shù)據(jù)的特征表示,在大規(guī)模高維數(shù)據(jù)中越來(lái)越體現(xiàn)出其優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)的良好性能。得益于深度學(xué)習(xí)的廣泛應(yīng)用和快速發(fā)展,越來(lái)越多的研究者利用深度網(wǎng)絡(luò)進(jìn)行異常檢測(cè)。Erfani等[10]提出了一種混合模型,將無(wú)監(jiān)督深度置信網(wǎng)絡(luò)(deep belief network,DBN)訓(xùn)練為降維算法,將數(shù)據(jù)轉(zhuǎn)換為低維特征集,并從DBN學(xué)到的特征中訓(xùn)練出單類支持向量機(jī)(one-class support vector machine,OC-SVM)。但是DBN采用貪婪算法逐層訓(xùn)練參數(shù),可能導(dǎo)致解非全局最優(yōu),于是研究者開始轉(zhuǎn)向采用自編碼器和生成對(duì)抗網(wǎng)絡(luò)等深度網(wǎng)絡(luò)應(yīng)用于異常檢測(cè)。Li等[11]利用膠囊網(wǎng)絡(luò)構(gòu)建自編碼器和分類器網(wǎng)絡(luò),根據(jù)預(yù)測(cè)概率和重建誤差檢測(cè)異常。Zimmerer等[12]提出了一種基于變分自編碼器的異常檢測(cè)方法,并使用模型內(nèi)潛在表示偏差和重建誤差進(jìn)行異常檢測(cè)。Inderjeet將6層自編碼網(wǎng)絡(luò)的第2、3層改用膠囊網(wǎng)絡(luò)結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行編碼,利用重建誤差檢測(cè)異常[13]。編碼器可以將復(fù)雜的高維數(shù)據(jù)映射到低維,但是其潛在空間往往會(huì)產(chǎn)生許多不攜帶任何信息的潛在維度,導(dǎo)致獲取捕捉觀測(cè)數(shù)據(jù)復(fù)雜性的編碼產(chǎn)生問題[14]。Schlegl等[15]提出一種深度卷積生成對(duì)抗網(wǎng)絡(luò)獲取醫(yī)學(xué)圖像的特征,并使用一種基于從圖像空間到潛在空間映射的異常評(píng)分方案檢測(cè)圖像異常。但是,有學(xué)者指出在有較少異常數(shù)量的情況下深度生成模型的表現(xiàn)沒有近鄰等傳統(tǒng)方法表現(xiàn)出色[16]。

    目前大多數(shù)的異常檢測(cè)算法通過(guò)深度神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中提取特征,然后使用重建誤差或概率等啟發(fā)式方法檢測(cè)異常。因此,設(shè)計(jì)從大規(guī)模數(shù)據(jù)中提取判別特征的深度網(wǎng)絡(luò)是至關(guān)重要的。考慮到稀疏編碼可以提高特征表示的質(zhì)量,本文提出了一種基于稀疏變分自編碼器的異常檢測(cè)模型,該模型優(yōu)化了釘板分布(spike and slab distribution)先驗(yàn)。釘板分布可以靈活地模擬[17]稀疏分布陣列,使它們適合于許多類型的數(shù)據(jù),因?yàn)樗梢粋€(gè)二進(jìn)制分量和一個(gè)連續(xù)分量組成,通過(guò)將兩個(gè)分量相乘產(chǎn)生一個(gè)隨機(jī)變量,其值恰好為零或從控制連續(xù)分量的分布中得出。本文提出使用變分自編碼器的釘板分布先驗(yàn)?zāi)M數(shù)據(jù)潛在的存在或缺失,該模型將深度支持向量網(wǎng)絡(luò)與釘板先驗(yàn)相結(jié)合,為異常檢測(cè)提供了一個(gè)框架。

    1 異常檢測(cè)模型

    1.1 釘板分布

    1.2 稀疏變分自編碼器

    變分自編碼器[19]采用變分推理解決模型優(yōu)化問題,通過(guò)將自編碼網(wǎng)絡(luò)與概率統(tǒng)計(jì)結(jié)合,學(xué)習(xí)數(shù)據(jù)的特征分布,是目前深度學(xué)習(xí)領(lǐng)域的一種重要生成模型。變分自編碼器通過(guò)優(yōu)化目標(biāo)函數(shù)的下界來(lái)達(dá)到訓(xùn)練模型的目的,它的目標(biāo)函數(shù)變分下界為:

    式(5)可進(jìn)一步改寫為:

    變分下界由兩項(xiàng)組成:第一項(xiàng)是先驗(yàn)項(xiàng),它鼓勵(lì)最小化編碼分布和先驗(yàn)之間的KL差異;第二項(xiàng)是重建項(xiàng),它在識(shí)別函數(shù)下最大化對(duì)數(shù)據(jù)可能性的期望。

    本文引入釘板分布先驗(yàn)以增加隱變量的稀疏性,可以得到隱變量的先驗(yàn)概率密度:

    與標(biāo)準(zhǔn)VAE(variational auto-encoder)相同,通過(guò)最大化變分下界來(lái)最大化樣本的邊緣概率分布,經(jīng)過(guò)推導(dǎo)得到稀疏變分自編碼器的變分下界為:

    1.3 深度支持向量網(wǎng)絡(luò)

    受支持向量數(shù)據(jù)描述的啟發(fā),本文通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)把網(wǎng)絡(luò)輸出擬合到最優(yōu)超球體中,由于網(wǎng)絡(luò)把輸出緊密地映射到球體中,因此它能提取數(shù)據(jù)特征分布變化的共同因素。本文采用的深度支持向量網(wǎng)絡(luò)目標(biāo)函數(shù)為:

    1.4 網(wǎng)絡(luò)模型

    本文提出的基于釘板分布稀疏變分自編碼器的異常檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

    1.5 異常檢測(cè)

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 實(shí)驗(yàn)配置及數(shù)據(jù)集

    為了驗(yàn)證方法的有效性,對(duì)方法進(jìn)行了驗(yàn)證。采用的計(jì)算機(jī)配置和編程環(huán)境如下:Intel Core i5-7300HQ@2.50GHzCPU,內(nèi)存為8 GB,Windows10系統(tǒng)下的python3.6編譯器,編程環(huán)境為TensorFlow和Keras,編程語(yǔ)言為Python。

    本文使用深度神經(jīng)網(wǎng)絡(luò)的常見參數(shù)[21]搭建稀疏變分自編碼器,由5個(gè)全連接層組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中編碼網(wǎng)絡(luò)的網(wǎng)絡(luò)維度是D-500-500-2000-H,解碼網(wǎng)絡(luò)是編碼網(wǎng)絡(luò)的鏡像,網(wǎng)絡(luò)維度是H-2000-500-500-D,D、H、500、2 000均是全連接層的節(jié)點(diǎn)數(shù),其中是輸入維數(shù),本文中=784。

    圖1 異常檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)

    2.2評(píng)價(jià)標(biāo)準(zhǔn)

    本文使用曲線下面積(area under curve,AUC)評(píng)估異常檢測(cè)模型性能。AUC是受試者工作特征(receiver operating characteristic,ROC)曲線下的面積。ROC由混淆矩陣得到,二分類的混淆矩陣見表1。其中,真陽(yáng)性(true positive,TP)表示真值和預(yù)測(cè)值均為正常的樣例;假陰性(false negative,F(xiàn)N)表示預(yù)測(cè)值為異常的正常樣例;假陽(yáng)性(false positive,F(xiàn)P)表示預(yù)測(cè)值為正常的異常樣例;真陰性(true negative,TN)表示真值與預(yù)測(cè)值均為異常的樣例。

    表1 二分類的混淆矩陣

    根據(jù)混淆矩陣以及式(14)、式(15)計(jì)算出偽陽(yáng)率(false positive rate,F(xiàn)PR)和真陽(yáng)率(true positive rate,TPR)。改變式(13)中的閾值,可以得到模型在不同閾值下的FPR和TPR值,將偽陽(yáng)率作為橫坐標(biāo),真陽(yáng)率作為縱坐標(biāo),即得ROC曲線??紤]到正常、異常樣本數(shù)量存在分布不均的情況,不適宜以準(zhǔn)確率作為指標(biāo)評(píng)估模型,而AUC兼顧了模型對(duì)正常樣本和異常樣本的分類能力,因此本文采用AUC評(píng)估異常檢測(cè)模型。

    2.3 消融實(shí)驗(yàn)

    (1)編碼器編碼和解碼器解碼實(shí)驗(yàn)

    為了驗(yàn)證本文算法所得數(shù)據(jù)特征的稀疏性,本文搭建了稀疏變分自編碼器,并使用MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練。MNIST數(shù)據(jù)集部分結(jié)果如圖2所示,F(xiàn)ashion-MNIST數(shù)據(jù)集部分結(jié)果如圖3所示,可以看出,本文提出的稀疏變分自編碼器能夠?qū)?shù)據(jù)稀疏編碼,實(shí)現(xiàn)了從圖像數(shù)據(jù)到稀疏隱變量的映射;解碼器對(duì)數(shù)據(jù)進(jìn)行較好地重建,實(shí)現(xiàn)從稀疏隱變量到圖像的重建。

    (2)隱變量的維度對(duì)重構(gòu)圖像的影響

    稀疏自編碼器不僅將復(fù)雜的高維數(shù)據(jù)映射到低維,同時(shí)隱變量的稀疏性對(duì)維度是否攜帶信息進(jìn)行了區(qū)分。不為0的維度攜帶了圖像中的特征信息,為0的維度則不攜帶特征信息。改變隱變量中的非零元素,重建圖像表現(xiàn)出不同的特性。例如,隱變量中非零維度值的變化對(duì)重建圖像的影響如圖4所示,圖4(a)重建圖像數(shù)字3的字體粗細(xì)發(fā)生改變,說(shuō)明箭頭標(biāo)記的維度攜帶了字體粗細(xì)這一特性信息;圖4(b)重建圖像從平底鞋逐漸變?yōu)楦吒?,說(shuō)明箭頭標(biāo)記的維度攜帶了鞋底的形狀信息;圖4(c)重建圖像從長(zhǎng)袖逐漸變?yōu)槎绦?,說(shuō)明箭頭標(biāo)記的維度攜帶了袖子的長(zhǎng)度信息。

    圖2 MNIST數(shù)據(jù)集部分結(jié)果

    圖3 Fashion-MNIST數(shù)據(jù)集部分結(jié)果

    圖5 不同實(shí)驗(yàn)參數(shù)組合(H,)下的實(shí)驗(yàn)結(jié)果

    2.4 異常檢測(cè)實(shí)驗(yàn)

    MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比見表2,展示了本文算法與OC-SVM[24]、IF[9]、DCAE(deep convolutional auto-encoder)[25]、ANOGAN(anomaly detection with generative adversarial network)[15]等算法在MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,加粗顯示代表效果優(yōu)于其他算法??梢钥闯?,本文算法的平均AUC值較其他優(yōu)秀的異常檢測(cè)算法有顯著的提高,表明本文算法在MNIST數(shù)據(jù)集中實(shí)現(xiàn)了較好的檢測(cè)效果,能夠進(jìn)行有效的異常檢測(cè)。

    Fashion-MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比見表3。可以看出,本文算法的平均AUC值較其他優(yōu)秀的異常檢測(cè)算法有顯著的提高,這說(shuō)明本文算法在Fashion-MNIST數(shù)據(jù)集中實(shí)現(xiàn)了較好的檢測(cè)效果,能夠進(jìn)行有效的異常檢測(cè)。

    表2和表3的結(jié)果是模型由所有訓(xùn)練集樣本參與訓(xùn)練、所有測(cè)試樣本參與測(cè)試的結(jié)果。本文參照文獻(xiàn)[26]的做法,由訓(xùn)練集中80%的正常樣本作為訓(xùn)練樣本,剩余的20%正常樣本參與測(cè)試,并且從測(cè)試集中隨機(jī)抽取異類測(cè)試樣本,使其構(gòu)成新的測(cè)試集的一半。在MNIST和Fashion-MNIST數(shù)據(jù)集上和GPND(generative probabilistic novelty detection)[26]、ALOCC DR(adversarially learned one-class classifier for discrimination and reconstruction)[27]、ALOCC D(adversarially learned one-class classifier for discrimination)[27]、AEC(auto-encoder)[28]和OCGAN(one-class generative adversarial network)[29]方法進(jìn)行了比較,80%正常樣本作為訓(xùn)練樣本的模型實(shí)驗(yàn)結(jié)果對(duì)比見表4。可以看出,本文算法具有更佳檢測(cè)效果。

    表2 MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比

    表3 Fashion-MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比

    本文還參照文獻(xiàn)[30]的做法,在Fashion- MNIST中,改變異常樣本在測(cè)試集中的不同占比,與GPND和GradCon(gradient constraint)[30]進(jìn)行了性能比較,F(xiàn)ashion-MNIST集中異常樣本在測(cè)試集不同占比下的實(shí)驗(yàn)結(jié)果對(duì)比見表5??梢钥闯觯瑴y(cè)試集在不同異常樣本的占比下,本文方法具有更好的檢測(cè)效果。

    表4 80%正常樣本作為訓(xùn)練的模型實(shí)驗(yàn)結(jié)果對(duì)比

    由表2~表5知,本文算法具有較好的異常檢測(cè)效果,并優(yōu)于當(dāng)前的一些異常檢測(cè)算法。

    表5 Fashion-MNIST集中異常樣本在測(cè)試集不同占比下的實(shí)驗(yàn)結(jié)果對(duì)比

    3 結(jié)束語(yǔ)

    本文提出了一種基于稀疏變分自編碼器和深度支持向量網(wǎng)絡(luò)的異常檢測(cè)算法,使用釘板分布作為變分自編碼器的先驗(yàn),模擬隱變量所在空間的稀疏性,得到數(shù)據(jù)特征的稀疏表示,并利用稀疏變分自編碼器構(gòu)建深度支持向量網(wǎng)絡(luò)對(duì)特征空間進(jìn)行壓縮,以最優(yōu)超球體區(qū)分正常數(shù)據(jù)與異常數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明本文算法優(yōu)于其他優(yōu)秀方法,實(shí)現(xiàn)了較好的異常檢測(cè)效果。未來(lái)的工作可以設(shè)計(jì)更加高效的網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)一步地提升特征提取能力以提高異常檢測(cè)的效果,從而適用于更多復(fù)雜場(chǎng)景下的異常檢測(cè)。

    [1] HAWKINS D M. Identification of outliers[M]. London: Chapman and Hall, 1980.

    [2] SHENH D, KURSUN E. Label augmentation via time-based knowledge distillation for financial anomaly detection[EB]. 2021.

    [3] TUFAN E, TEZCAN C, ACARTüRK C. Anomaly-based intrusion detection by machine learning: acase study on probing attacks to an institutional network[J]. IEEE Access, 9: 50078-50092.

    [4] TSCHUCHNIGM E, GADERMAYR M. Anomaly detection in medical imaging: amini review[EB]. 2021.

    [5] CUI Y J, LIU Z X, LIAN S G. A survey on unsupervised industrial anomaly detection algorithms[EB]. 2022.

    [6] PATRIKARD R, PARATE M. Anomaly detection using edge computing in video surveillance system: review[J]. International Journal of Multimedia Information Retrieval, 2021, 11: 85-110.

    [7] BOGDOLL D, NITSCHE M, Z?LLNERJ M. Anomaly detection in autonomous driving: asurvey[EB]. 2022.

    [8] J?RG SANDER. LOF: identifying density-based local outliers[J]. Acm Sigmod Record, 2000, 29(2):93-104.

    [9] LIU F T, TING K M, ZHOU Z H. Isolation forest[C]//Proceedings of 2008 Eighth IEEE International Conference on Data Mining. Piscataway: IEEE Press, 2008: 413-422.

    [10] ERFANI S M, RAJASEGARAR S, KARUNASEKERA S, et al. High-dimensional and large-scale anomaly detection using a linear one-class SVM with deep learning[J]. Pattern Recognition, 2016, 58: 121-134.

    [11] LI X Y, KIRINGA I, YEAP T, et al. Exploring deep anomaly detection methods based on capsule net[C]//Advances in Artificial Intelligence. Switzerland: Springer, 2020: 375-387.

    [12] ZIMMERER D, KOHL S A A, PETERSEN J, et al. Context-encoding variational autoencoder for unsupervised anomaly detection[EB]. 2018.

    [13] SINGH I, HEMACHANDRA N. Anomaly detection using capsule networks for high-dimensional datasets[EB]. 2021.

    [14] TONOLINI F, JENSEN B S. MURRAY S R. Variational sparse coding[EB]. 2019.

    [15] SCHLEGL T, SEEB?CK P, WALDSTEIN S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery[C]//Information Processing in Medical Imaging. Switzerland: Springer, 2017: 146-157.

    [16] ?KVáRA V, PEVNY T, ?MíDL V. Are generative deep models for novelty detection truly better? [EB]. 2018.

    [17] SHEIKH A S, SHELTON J A, LüCKE J. A truncated EM approach for spike-and-slab sparse coding[J]. Journal of Machine Learning Research, 2012, 15: 2653-2687.

    [18] COURVILLE A , BERGSTRA J , BENGIO Y. Unsupervised models of images by spike-and-slab RBMs[EB]. 2011.

    [19] KINGMA D P, WELLING M. Auto-encoding variational Bayes[EB]. 2013.

    [20] TAX D M J, DUIN R P W. Support vector data description[J]. Machine Learning, 2004, 54(1): 45-66.

    [21] VAN DER MAATEN L. Learning a parametric embedding by preserving local structure[J]. Journal of Machine Learning Research, 2009, 5: 384-391.

    [22] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

    [23] XIAO H, RASUL K, VOLLGRAF R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms[EB]. 2017.

    [24] MANEVITZ L M, YOUSEF M. One-class SVMs for document classification[J]. Journal of Machine Learning Research, 2001, 2(12): 139-154.

    [25] MAKHZANI A, FREY B J. Winner-take-all autoencoders[C]// Proceedings of Advances in Neural Information Processing Systems(NIPS). Montreal: Neural Information Processing Systems Foundation, Inc. 2015: 2791-2799.

    [26] PIDHORSKYI S, ALMOHSEN R, ADJEROH D A, et al. Generative probabilistic novelty detection with adversarial autoencoders[C]//Proceedings of Advances in Neural Information Processing Systems(NIPS). Montreal: Neural Information Processing Systems Foundation, Inc. 2018:6822-6833.

    [27] SABOKROU M, KHALOOEI M, FATHY M, et al. Adversarially learned one-class classifier for novelty detection[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2018: 3379-3388.

    [28] SAKURADA M, YAIRI T. Anomaly detection using autoencoders with nonlinear dimensionality reduction[C]//MLSDA'14: Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis. 2014: 4-11.

    [29] PERERA P, NALLAPATI R, XIANG B. OCGAN: one-class novelty detection using GANs with constrained latent representations[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2019: 2893-2901.

    [30] KWON G, PRABHUSHANKAR M, TEMEL D, et al. Back-propagated gradient representations for anomaly detection[C]//Proceedings of the European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2020: 206-226.

    Research on anomaly detection algorithm based on sparse variational autoencoder using spike and slab prior

    CHEN Huahua, CHEN Zhe

    School of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China

    Anomaly detection remains to be an essential and extensive research branch in data mining due to its widespread use in a wide range of applications. It helps researchers to obtain vital information and make better decisions about data by detecting abnormal data. Considering that sparse coding can get more powerful features and improve the performance of other tasks, an anomaly detection model based on sparse variational autoencoder was proposed. Firstly, the discrete mixed modelspike and slab distribution was used as the prior of variational autoencoder, simulated the sparsity of the space where the hidden variables were located, and obtained the sparse representation of data characteristics. Secondly, combined with the deep support vector network, the feature space was compressed, and the optimal hypersphere was found to discriminate normal data and abnormal data. And then, the abnormal fraction of the data was measured by the Euclidean distance from the data feature to the center of the hypersphere, and then the abnormal detection was carried out. Finally, the algorithm was evaluated on the benchmark datasets MNIST and Fashion-MNIST, and the experimental results show that the proposed algorithm achieves better effects than the state-of-the-art methods.

    anomaly detection, variational autoencoder, spike and slab distribution, deep support vector network

    TP393

    A

    10.11959/j.issn.1000?0801.2022238

    2022?03?10;

    2022?08?11

    陳華華,iseealv@hdu.edu.cn

    浙江省“領(lǐng)雁”研發(fā)攻關(guān)計(jì)劃項(xiàng)目(No.2022C03065)

    陳華華(1975? ),男,博士,杭州電子科技大學(xué)副教授,主要研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)視覺和模式識(shí)別。

    陳哲(1995? ),男,杭州電子科技大學(xué)碩士生,主要研究方向?yàn)楫惓z測(cè)。

    The “Leading Goose” Technologies Research and Development Program of Zhejiang Province (No.2022C03065)

    猜你喜歡
    編碼器維度深度
    深度理解一元一次方程
    淺論詩(shī)中“史”識(shí)的四個(gè)維度
    深度觀察
    深度觀察
    基于FPGA的同步機(jī)軸角編碼器
    深度觀察
    基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)
    光的維度
    燈與照明(2016年4期)2016-06-05 09:01:45
    “五個(gè)維度”解有機(jī)化學(xué)推斷題
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計(jì)
    電子器件(2015年5期)2015-12-29 08:42:24
    亚洲成人手机| 人人澡人人妻人| 天天操日日干夜夜撸| 日本欧美国产在线视频| av播播在线观看一区| 男的添女的下面高潮视频| 2022亚洲国产成人精品| 韩国高清视频一区二区三区| 日韩av免费高清视频| 亚洲熟女精品中文字幕| 国产精品一区二区三区四区免费观看| 亚洲国产精品成人久久小说| 国产高清国产精品国产三级| 免费观看a级毛片全部| 2022亚洲国产成人精品| 大香蕉久久成人网| 免费观看a级毛片全部| 日韩中字成人| 国产av一区二区精品久久| 成年女人在线观看亚洲视频| 建设人人有责人人尽责人人享有的| 日日摸夜夜添夜夜添av毛片| 简卡轻食公司| 国产亚洲精品久久久com| 能在线免费看毛片的网站| 好男人视频免费观看在线| 亚洲国产最新在线播放| 人妻人人澡人人爽人人| 天美传媒精品一区二区| 日韩强制内射视频| 天天操日日干夜夜撸| 人成视频在线观看免费观看| 边亲边吃奶的免费视频| 熟女电影av网| 亚洲av二区三区四区| www.av在线官网国产| 黄色配什么色好看| 五月开心婷婷网| 欧美激情极品国产一区二区三区 | 啦啦啦视频在线资源免费观看| 97超视频在线观看视频| freevideosex欧美| 91午夜精品亚洲一区二区三区| 国产欧美亚洲国产| 日日摸夜夜添夜夜添av毛片| 尾随美女入室| 国产精品国产av在线观看| 国产成人午夜福利电影在线观看| 午夜激情福利司机影院| 久久久久网色| 最近2019中文字幕mv第一页| 国产老妇伦熟女老妇高清| 久久久久网色| 亚洲成人手机| 女性被躁到高潮视频| 中文字幕精品免费在线观看视频 | 久久免费观看电影| 久久久午夜欧美精品| 国产 一区精品| 这个男人来自地球电影免费观看 | 嘟嘟电影网在线观看| 亚洲精品成人av观看孕妇| 亚洲欧美日韩另类电影网站| 99热这里只有是精品在线观看| 大香蕉97超碰在线| 国产亚洲精品久久久com| 午夜老司机福利剧场| 大香蕉97超碰在线| 一级毛片我不卡| 国产精品久久久久久av不卡| 亚洲国产最新在线播放| a级毛片黄视频| 天堂俺去俺来也www色官网| 日本黄色片子视频| 丝袜在线中文字幕| 青春草视频在线免费观看| 十八禁高潮呻吟视频| 成年av动漫网址| 丝袜喷水一区| 亚洲欧美成人精品一区二区| 日韩精品免费视频一区二区三区 | 黑人猛操日本美女一级片| 国产精品人妻久久久影院| www.色视频.com| √禁漫天堂资源中文www| 亚洲av电影在线观看一区二区三区| 男女边吃奶边做爰视频| 成人影院久久| 青青草视频在线视频观看| 午夜免费鲁丝| 亚洲精品国产av成人精品| 亚洲精品日本国产第一区| 另类精品久久| 乱码一卡2卡4卡精品| 日韩电影二区| 国产精品99久久久久久久久| 人体艺术视频欧美日本| 狠狠婷婷综合久久久久久88av| 看十八女毛片水多多多| 国产黄色免费在线视频| 精品久久蜜臀av无| 国产成人免费无遮挡视频| 五月天丁香电影| 啦啦啦啦在线视频资源| 免费黄频网站在线观看国产| 精品一品国产午夜福利视频| 精品人妻熟女毛片av久久网站| 日韩熟女老妇一区二区性免费视频| 看免费成人av毛片| 色哟哟·www| 啦啦啦视频在线资源免费观看| 99久国产av精品国产电影| 国产乱来视频区| 九九爱精品视频在线观看| 免费人成在线观看视频色| 欧美激情国产日韩精品一区| .国产精品久久| 最新的欧美精品一区二区| 最新中文字幕久久久久| 最近最新中文字幕免费大全7| 久久久久久久久大av| 国产精品三级大全| av国产精品久久久久影院| 色婷婷久久久亚洲欧美| 丝袜在线中文字幕| 人妻 亚洲 视频| www.av在线官网国产| 人妻夜夜爽99麻豆av| 免费播放大片免费观看视频在线观看| 九九在线视频观看精品| 国产女主播在线喷水免费视频网站| 成人毛片a级毛片在线播放| 亚洲色图 男人天堂 中文字幕 | 看十八女毛片水多多多| 两个人的视频大全免费| 国产熟女午夜一区二区三区 | 亚洲美女搞黄在线观看| 亚洲av成人精品一区久久| 亚洲精品久久成人aⅴ小说 | 亚洲精品视频女| 日本vs欧美在线观看视频| 成人漫画全彩无遮挡| 午夜久久久在线观看| 青春草亚洲视频在线观看| 欧美精品国产亚洲| 国产亚洲最大av| 黄色毛片三级朝国网站| 亚洲av免费高清在线观看| 欧美丝袜亚洲另类| 涩涩av久久男人的天堂| 久久精品熟女亚洲av麻豆精品| 久久精品国产鲁丝片午夜精品| 免费黄网站久久成人精品| 天天影视国产精品| 国产成人freesex在线| 久久免费观看电影| 亚洲精品自拍成人| 一区二区av电影网| 91久久精品国产一区二区三区| 精品久久国产蜜桃| 91精品国产国语对白视频| 国产片特级美女逼逼视频| 熟妇人妻不卡中文字幕| 人妻一区二区av| 天堂中文最新版在线下载| 国产熟女午夜一区二区三区 | 亚洲av综合色区一区| 国产一区有黄有色的免费视频| av视频免费观看在线观看| 久久久久久久久久人人人人人人| 亚洲av欧美aⅴ国产| 亚洲美女视频黄频| 丰满乱子伦码专区| 黄色怎么调成土黄色| 日日摸夜夜添夜夜爱| 久久久久网色| 狠狠精品人妻久久久久久综合| 亚洲av不卡在线观看| 一级毛片aaaaaa免费看小| 精品少妇黑人巨大在线播放| 伊人亚洲综合成人网| 亚洲av成人精品一二三区| 久久久国产一区二区| 久久 成人 亚洲| 亚洲精品国产av成人精品| 麻豆精品久久久久久蜜桃| 国产精品麻豆人妻色哟哟久久| 亚洲av不卡在线观看| 亚洲丝袜综合中文字幕| 亚洲国产日韩一区二区| 永久免费av网站大全| 国产一区二区在线观看av| 久久久久人妻精品一区果冻| 高清欧美精品videossex| 三级国产精品片| 亚洲第一av免费看| 国产精品.久久久| 国产午夜精品久久久久久一区二区三区| 少妇人妻 视频| 国产精品一区二区在线不卡| 成年人午夜在线观看视频| 极品少妇高潮喷水抽搐| 另类亚洲欧美激情| 母亲3免费完整高清在线观看 | 91精品国产国语对白视频| 少妇熟女欧美另类| 在线观看人妻少妇| 亚洲精品美女久久av网站| 国产成人精品无人区| 亚洲国产av新网站| 成人漫画全彩无遮挡| 国产精品久久久久成人av| 日本黄色片子视频| av在线老鸭窝| 国产在线视频一区二区| 国产精品一区二区在线不卡| 日韩成人av中文字幕在线观看| av国产久精品久网站免费入址| 久久久久网色| 国产乱人偷精品视频| 国产一区二区三区综合在线观看 | 亚洲精品,欧美精品| 国产日韩一区二区三区精品不卡 | 青春草视频在线免费观看| 女人久久www免费人成看片| 亚洲av中文av极速乱| 中国三级夫妇交换| 久久久久久久精品精品| 日韩亚洲欧美综合| 精品亚洲乱码少妇综合久久| 不卡视频在线观看欧美| freevideosex欧美| 狂野欧美激情性xxxx在线观看| 男男h啪啪无遮挡| 99热这里只有是精品在线观看| 国产日韩欧美在线精品| 插逼视频在线观看| 免费播放大片免费观看视频在线观看| 久久ye,这里只有精品| 少妇 在线观看| 美女中出高潮动态图| 日本黄大片高清| 日韩中文字幕视频在线看片| av国产久精品久网站免费入址| 99热6这里只有精品| a级片在线免费高清观看视频| 女性生殖器流出的白浆| 视频在线观看一区二区三区| 亚州av有码| 国产男人的电影天堂91| 欧美日韩国产mv在线观看视频| 久久青草综合色| 日韩 亚洲 欧美在线| 国产精品人妻久久久久久| 精品人妻偷拍中文字幕| 在线观看三级黄色| 中文字幕精品免费在线观看视频 | 自线自在国产av| 女性生殖器流出的白浆| 久久精品久久久久久噜噜老黄| 免费久久久久久久精品成人欧美视频 | 国产精品99久久99久久久不卡 | 国产精品蜜桃在线观看| 熟女av电影| 成人手机av| av天堂久久9| 丰满饥渴人妻一区二区三| 在线播放无遮挡| 亚洲av国产av综合av卡| 日韩强制内射视频| 久久精品久久久久久久性| kizo精华| 欧美日韩在线观看h| 天美传媒精品一区二区| 亚洲精品中文字幕在线视频| 麻豆成人av视频| 日韩av在线免费看完整版不卡| 五月玫瑰六月丁香| 美女cb高潮喷水在线观看| 中文字幕亚洲精品专区| 黄色一级大片看看| 久久精品国产自在天天线| 日日爽夜夜爽网站| 亚洲av不卡在线观看| 欧美激情国产日韩精品一区| 国产精品偷伦视频观看了| 国产黄片视频在线免费观看| 久久久精品区二区三区| 高清视频免费观看一区二区| 亚洲精品久久久久久婷婷小说| 久久久久久久久大av| 午夜91福利影院| 少妇精品久久久久久久| 大香蕉久久网| 久久久久精品久久久久真实原创| 久久99热这里只频精品6学生| 麻豆精品久久久久久蜜桃| 精品视频人人做人人爽| 成人免费观看视频高清| 成人国产麻豆网| 美女内射精品一级片tv| 亚洲精品国产av蜜桃| 久久精品人人爽人人爽视色| 少妇人妻 视频| 成人无遮挡网站| av在线老鸭窝| 国产午夜精品久久久久久一区二区三区| 欧美另类一区| 一边摸一边做爽爽视频免费| 黄色配什么色好看| 国产极品粉嫩免费观看在线 | 国产一级毛片在线| 黄色配什么色好看| 亚洲欧洲国产日韩| 亚洲高清免费不卡视频| 久久久a久久爽久久v久久| 全区人妻精品视频| 我的女老师完整版在线观看| av女优亚洲男人天堂| 少妇被粗大的猛进出69影院 | 午夜福利,免费看| 免费观看a级毛片全部| 亚洲综合精品二区| 大又大粗又爽又黄少妇毛片口| 亚洲成人av在线免费| 日韩中文字幕视频在线看片| 水蜜桃什么品种好| 熟女av电影| 最黄视频免费看| 午夜老司机福利剧场| 一个人免费看片子| 男的添女的下面高潮视频| 在线观看国产h片| 特大巨黑吊av在线直播| 插阴视频在线观看视频| 亚洲av在线观看美女高潮| 国产av精品麻豆| 大片电影免费在线观看免费| 另类精品久久| av有码第一页| 一本色道久久久久久精品综合| 亚洲精品av麻豆狂野| 精品人妻一区二区三区麻豆| 亚洲精品aⅴ在线观看| 亚洲欧洲精品一区二区精品久久久 | 久久国产精品大桥未久av| 五月玫瑰六月丁香| 亚洲人与动物交配视频| 在线精品无人区一区二区三| 国产一区二区三区av在线| 国产免费视频播放在线视频| 在线观看一区二区三区激情| 国产成人精品无人区| 亚洲情色 制服丝袜| 高清在线视频一区二区三区| 天天操日日干夜夜撸| 视频中文字幕在线观看| 中文字幕制服av| 亚洲av二区三区四区| 亚洲精品乱久久久久久| 男人爽女人下面视频在线观看| 午夜免费男女啪啪视频观看| 精品国产乱码久久久久久小说| 丝袜美足系列| 精品久久久噜噜| av在线观看视频网站免费| 热re99久久国产66热| 一级爰片在线观看| 一区二区三区精品91| 精品久久久精品久久久| 中国美白少妇内射xxxbb| 草草在线视频免费看| 亚洲精品日本国产第一区| 色5月婷婷丁香| 日本vs欧美在线观看视频| 九色亚洲精品在线播放| 色5月婷婷丁香| 女人精品久久久久毛片| 欧美xxxx性猛交bbbb| 成人免费观看视频高清| 精品久久国产蜜桃| 99热这里只有精品一区| 国产女主播在线喷水免费视频网站| xxx大片免费视频| 超碰97精品在线观看| 插逼视频在线观看| 99九九线精品视频在线观看视频| 中文字幕免费在线视频6| 亚洲第一区二区三区不卡| 97在线视频观看| av黄色大香蕉| 亚洲精品亚洲一区二区| 啦啦啦视频在线资源免费观看| 精品亚洲成国产av| 欧美日韩在线观看h| 2021少妇久久久久久久久久久| 91精品一卡2卡3卡4卡| 午夜激情久久久久久久| 国产精品蜜桃在线观看| 成人毛片60女人毛片免费| 亚洲精品av麻豆狂野| av视频免费观看在线观看| 国产伦精品一区二区三区视频9| 99久久精品国产国产毛片| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 精品一区在线观看国产| 久久久久久久国产电影| a级毛片在线看网站| 亚洲,一卡二卡三卡| 蜜桃在线观看..| 桃花免费在线播放| 婷婷成人精品国产| 天天躁夜夜躁狠狠久久av| 日韩免费高清中文字幕av| 久久av网站| 一级片'在线观看视频| 香蕉精品网在线| 交换朋友夫妻互换小说| 观看美女的网站| 成人午夜精彩视频在线观看| 菩萨蛮人人尽说江南好唐韦庄| 简卡轻食公司| 亚洲经典国产精华液单| 久久久精品94久久精品| 丁香六月天网| 亚洲美女黄色视频免费看| 99久久精品国产国产毛片| 成人综合一区亚洲| 国产永久视频网站| 精品一区二区免费观看| 精品一区在线观看国产| 在线观看美女被高潮喷水网站| 大片电影免费在线观看免费| 精品久久国产蜜桃| 狂野欧美激情性bbbbbb| 成人亚洲精品一区在线观看| 亚洲激情五月婷婷啪啪| 男人操女人黄网站| 观看美女的网站| 亚洲av成人精品一区久久| 国产极品粉嫩免费观看在线 | 伊人久久国产一区二区| 亚洲精品日韩在线中文字幕| 我要看黄色一级片免费的| 伊人久久精品亚洲午夜| 精品久久国产蜜桃| 新久久久久国产一级毛片| 国产一区二区三区av在线| 国产 精品1| 国产av码专区亚洲av| 91在线精品国自产拍蜜月| 赤兔流量卡办理| 各种免费的搞黄视频| 精品99又大又爽又粗少妇毛片| 日韩在线高清观看一区二区三区| 亚洲欧美一区二区三区黑人 | 女人久久www免费人成看片| 精品一区在线观看国产| 亚洲av成人精品一区久久| 搡女人真爽免费视频火全软件| 男人爽女人下面视频在线观看| 欧美人与善性xxx| 有码 亚洲区| 亚洲国产精品国产精品| av免费观看日本| 午夜激情福利司机影院| 在线精品无人区一区二区三| 久久精品久久久久久噜噜老黄| 成人无遮挡网站| 国产欧美亚洲国产| 丰满迷人的少妇在线观看| 成年女人在线观看亚洲视频| 日本午夜av视频| 少妇熟女欧美另类| 国产免费一级a男人的天堂| 亚洲高清免费不卡视频| 久久精品国产亚洲av涩爱| 国产精品欧美亚洲77777| 精品亚洲乱码少妇综合久久| 国产 一区精品| 水蜜桃什么品种好| 永久网站在线| 午夜福利视频精品| 午夜福利,免费看| 国产男女内射视频| videos熟女内射| 少妇丰满av| 久热久热在线精品观看| 久久99精品国语久久久| 成年人午夜在线观看视频| 在线天堂最新版资源| av卡一久久| 黄色一级大片看看| 久久综合国产亚洲精品| 欧美变态另类bdsm刘玥| 97超视频在线观看视频| 亚洲精品乱码久久久v下载方式| 久久免费观看电影| 国产精品嫩草影院av在线观看| 高清视频免费观看一区二区| 久久久精品94久久精品| 男女无遮挡免费网站观看| 日韩大片免费观看网站| 伊人久久国产一区二区| 少妇被粗大猛烈的视频| 九色亚洲精品在线播放| 人体艺术视频欧美日本| 国产精品久久久久久av不卡| 九草在线视频观看| 亚洲,一卡二卡三卡| 免费大片黄手机在线观看| 国产精品女同一区二区软件| 亚洲欧美成人精品一区二区| 多毛熟女@视频| 一级毛片aaaaaa免费看小| 亚洲精品乱久久久久久| 亚洲精品乱码久久久v下载方式| 18在线观看网站| 久久久久国产精品人妻一区二区| 午夜福利在线观看免费完整高清在| 日韩成人av中文字幕在线观看| 久久久欧美国产精品| 多毛熟女@视频| 赤兔流量卡办理| 久久人人爽人人爽人人片va| 国产成人精品一,二区| 国产一区亚洲一区在线观看| 国产色爽女视频免费观看| 亚洲精品色激情综合| 亚洲国产毛片av蜜桃av| 爱豆传媒免费全集在线观看| 国产一区有黄有色的免费视频| 少妇丰满av| 中文字幕免费在线视频6| 日韩伦理黄色片| 中文字幕免费在线视频6| 草草在线视频免费看| 老熟女久久久| 日韩精品有码人妻一区| 精品99又大又爽又粗少妇毛片| 汤姆久久久久久久影院中文字幕| 简卡轻食公司| 男的添女的下面高潮视频| 国产成人aa在线观看| 亚洲激情五月婷婷啪啪| 一边摸一边做爽爽视频免费| 超色免费av| 婷婷成人精品国产| 日韩中字成人| 亚洲图色成人| 色吧在线观看| 日本欧美视频一区| 少妇的逼好多水| 成人午夜精彩视频在线观看| 国产片内射在线| 人人妻人人爽人人添夜夜欢视频| 成人18禁高潮啪啪吃奶动态图 | 精品国产露脸久久av麻豆| 2021少妇久久久久久久久久久| 久久女婷五月综合色啪小说| 国产免费一区二区三区四区乱码| www.av在线官网国产| 少妇猛男粗大的猛烈进出视频| 九草在线视频观看| 美女福利国产在线| 国产精品一区二区在线观看99| 久久 成人 亚洲| 五月开心婷婷网| videossex国产| 国产熟女欧美一区二区| 老司机亚洲免费影院| av网站免费在线观看视频| 欧美xxxx性猛交bbbb| 久久久午夜欧美精品| 午夜激情av网站| 这个男人来自地球电影免费观看 | 国产深夜福利视频在线观看| 亚洲国产av影院在线观看| 熟妇人妻不卡中文字幕| 日韩制服骚丝袜av| 97在线人人人人妻| 免费不卡的大黄色大毛片视频在线观看| 久久精品国产鲁丝片午夜精品| 国产伦精品一区二区三区视频9| 精品99又大又爽又粗少妇毛片| 美女主播在线视频| 高清在线视频一区二区三区| 免费不卡的大黄色大毛片视频在线观看| 乱码一卡2卡4卡精品| 国产精品国产三级国产av玫瑰| 亚洲精品乱码久久久v下载方式| 国产欧美日韩综合在线一区二区| 国产欧美日韩一区二区三区在线 | 91精品国产九色| 搡女人真爽免费视频火全软件| 蜜桃久久精品国产亚洲av| 日韩制服骚丝袜av| 丁香六月天网| 亚洲av福利一区| 一级毛片aaaaaa免费看小| 国产视频首页在线观看| 免费看光身美女| 国产成人免费无遮挡视频| 99国产综合亚洲精品| 女性被躁到高潮视频| 免费高清在线观看视频在线观看| 人妻系列 视频| 免费观看a级毛片全部| 亚洲av在线观看美女高潮| 自拍欧美九色日韩亚洲蝌蚪91| 大又大粗又爽又黄少妇毛片口| 高清av免费在线| 亚洲性久久影院| 18禁在线无遮挡免费观看视频| 九九在线视频观看精品|