• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    惡意PDF 檢測(cè)中的特征工程研究與改進(jìn)

    2022-10-29 01:57:36何涇沙吳亞飈
    關(guān)鍵詞:結(jié)構(gòu)特征文檔數(shù)量

    黃 娜,何涇沙,吳亞飈

    (1. 北京天融信科技有限公司 北京 海淀區(qū) 100085;2. 北京工業(yè)大學(xué)信息學(xué)部 北京 朝陽(yáng)區(qū) 100124)

    基于文件格式漏洞的攻擊行為是網(wǎng)絡(luò)安全的主要威脅之一。文件格式往往具有跨平臺(tái)的特點(diǎn),一旦漏洞被利用,各類目標(biāo)主機(jī)都可被輕易攻破。文檔類的文件格式,如doc、docx、xls、pdf,在日常工作與生活中傳播廣泛,是藏匿和傳播惡意行為的重要媒介,由此引起的安全事件不勝枚舉。據(jù)Cisco 發(fā)布的《2018 年度網(wǎng)絡(luò)安全報(bào)告》統(tǒng)計(jì),在2017 年間,惡意郵件附件中最普遍的3 種文件格式為Office 文檔(38%)、壓縮文件(37%)以及PDF文件(14%)。

    PDF 文件格式是由Adobe 公司于1993 年制定的一種電子文檔分發(fā)開(kāi)放式標(biāo)準(zhǔn),具有以下優(yōu)點(diǎn):1) 靈活的層次結(jié)構(gòu),可以封裝文字、圖像、字體格式、超鏈接、聲音、影像等眾多信息;2) 跨平臺(tái)的特性,在各類操作系統(tǒng)中通用。正是由于這些突出的特點(diǎn),使得PDF 文件在為我們帶來(lái)便利的同時(shí),也為黑客提供了可乘之機(jī)。從攻擊角度來(lái)看,惡意PDF 文件可分為兩種類型:1) 利用PDF文檔規(guī)范本身存在的漏洞,如字典中相同key 值對(duì)應(yīng)不同value、對(duì)象號(hào)錯(cuò)誤引起誤識(shí)別,以及利用ASCII 編碼隱藏關(guān)鍵節(jié)點(diǎn)等;2) PDF 文件中攜帶惡意內(nèi)容分為4 種具體情況,即嵌入惡意JavaScript代碼、嵌入惡意文檔、嵌入惡意遠(yuǎn)程鏈接以及嵌入惡意軟件。

    PDF 文件數(shù)量十分龐大,且具有統(tǒng)一的文件格式規(guī)范,便于提取出結(jié)構(gòu)化特征,因此機(jī)器學(xué)習(xí)技術(shù)在惡意PDF 檢測(cè)中有良好的應(yīng)用條件及效果。本文首先回顧惡意PDF 檢測(cè)研究現(xiàn)狀,對(duì)其中存在的混淆和逃逸問(wèn)題進(jìn)行闡述;然后針對(duì)混淆和逃逸設(shè)計(jì)完善的特征組合,包括內(nèi)容特征、結(jié)構(gòu)特征以及邏輯樹(shù)的間接結(jié)構(gòu)特征,提高檢測(cè)模型的性能。

    1 研究背景

    1.1 PDF 規(guī)范介紹

    從物理意義上看,PDF 文件由文件頭、對(duì)象集合、交叉引用表以及文件尾組成。文件頭中儲(chǔ)存該P(yáng)DF 遵循的規(guī)范版本。對(duì)象集合包括文檔包含的所有對(duì)象,每個(gè)對(duì)象都以obj 作為開(kāi)頭標(biāo)志,endobj 作為結(jié)尾標(biāo)志,中間為對(duì)象所包含的字段、子對(duì)象、流內(nèi)容等。交叉引用表是PDF 文件內(nèi)部的重要組織方式,用戶可以直接訪問(wèn)某對(duì)象,以xref 作為開(kāi)頭標(biāo)志。文件尾以trailer 為開(kāi)頭標(biāo)志,包含一些鍵值對(duì)形式的文檔描述信息,如所有對(duì)象的數(shù)量、文檔的作者、創(chuàng)建時(shí)間、ID 等。

    從邏輯意義上看,PDF 文件為樹(shù)形結(jié)構(gòu),如圖1 所示,Catalog 為字典類型的根節(jié)點(diǎn),包含Outlines、Pages 等子對(duì)象節(jié)點(diǎn)。其中,Pages 本身為字典型數(shù)據(jù)結(jié)構(gòu),是所有頁(yè)面的集合入口,包括Count、Kids、Parent、Type 等字段,Kids 包含描述頁(yè)面信息的Page 對(duì)象或PagesTree 對(duì)象。除Pages 之 外,Catalog 字 典 中 還 有Type、Version、PageLabels、PageLayout、AA 等對(duì)象節(jié)點(diǎn),表1 描述了部分關(guān)鍵對(duì)象及其意義。

    圖1 邏輯結(jié)構(gòu)示例

    表1 Catalog 字典中常見(jiàn)的對(duì)象

    1.2 相關(guān)研究

    文獻(xiàn)[1]結(jié)合使用動(dòng)態(tài)特征與靜態(tài)特征進(jìn)行惡意PDF 檢測(cè),提取動(dòng)態(tài)API 調(diào)用特征,在選擇靜態(tài)特征時(shí),對(duì)文檔結(jié)構(gòu)中的關(guān)鍵字出現(xiàn)頻次使用KMeans 聚類,選出正常樣本的關(guān)鍵字集合以及惡意樣本的關(guān)鍵字集合[1]。在基于機(jī)器學(xué)習(xí)的檢測(cè)方法中,所用的靜態(tài)特征可分為邏輯結(jié)構(gòu)特征和物理內(nèi)容特征兩類。物理內(nèi)容特征包括元數(shù)據(jù)特征和具體內(nèi)容特征等;邏輯結(jié)構(gòu)特征包括節(jié)點(diǎn)路徑特征、節(jié)點(diǎn)數(shù)量特征等。各類方法的歸納分類如圖2 所示。

    圖2 現(xiàn)有方法分類

    元數(shù)據(jù)包括版本、作者、創(chuàng)建時(shí)間、編碼方式等直接信息,以及文件大小、頁(yè)面數(shù)目等間接信息。文件具體內(nèi)容特征是指根據(jù)PDF 文件中具體內(nèi)容提取的特征,如流內(nèi)容的序列特征、熵、JavaScript 代碼的特征等。PDF 中的JavaScript 代碼容易成為惡意行為的載體,是一種比較廣泛的攻擊方式。文獻(xiàn)[2]通過(guò)分析PDF 文檔中的JavaScript對(duì)象來(lái)檢測(cè)惡意PDF。這種方法雖具有可靠的準(zhǔn)確性,但對(duì)于非嵌入JavaScript 類型的惡意PDF 檢測(cè)無(wú)效。

    目前常用的邏輯結(jié)構(gòu)特征主要包括節(jié)點(diǎn)的路徑特征和數(shù)量。文獻(xiàn)[3-4]提出了Bag-of-Path 方法,即使用節(jié)點(diǎn)路徑作為特征,路徑葉子節(jié)點(diǎn)的值經(jīng)過(guò)數(shù)值化等處理作為相應(yīng)的特征值。該方法直接利用對(duì)象路徑反映PDF 文檔包含的對(duì)象特性及內(nèi)容,不容易受混淆影響,但提取過(guò)程較為復(fù)雜,使得檢測(cè)效率較低,難以適用于實(shí)時(shí)檢測(cè)環(huán)境。文獻(xiàn)[2]提出的PDFMS(PDF malware slayer),將PDF 中存在的對(duì)象節(jié)點(diǎn)的數(shù)量作為特征,提取過(guò)程簡(jiǎn)便,但沒(méi)有將正常PDF 文檔中一些常見(jiàn)的對(duì)象數(shù)量作為判別特征。

    物理內(nèi)容特征和邏輯結(jié)構(gòu)特征能從不同的方面反映惡意PDF 和正常PDF 的區(qū)別,文獻(xiàn)[5-7]將兩者結(jié)合,常用的機(jī)器學(xué)習(xí)算法,如支持向量機(jī)(support vector machine, SVM)、決策樹(shù)(decision tree,DT)以及隨機(jī)森林(random forest, RF)等,都有相應(yīng)的研究及應(yīng)用。文獻(xiàn)[8]從VirusTotal 收集了2008 年?2019 年間的正常及惡意PDF 樣本,直接將原始的PDF 文件輸入卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)進(jìn)行分類檢測(cè),取得了94%的檢測(cè)準(zhǔn)確率。

    隨著機(jī)器學(xué)習(xí)安全問(wèn)題逐漸引起重視,惡意PDF 檢測(cè)領(lǐng)域也出現(xiàn)了關(guān)于防御對(duì)抗的研究[9],旨在增強(qiáng)檢測(cè)模型的魯棒性。文獻(xiàn)[10]為了防御惡意樣本逃逸SVM 模型的檢測(cè),分別提取正常和惡意PDF 樣本集合中的高頻節(jié)點(diǎn)作為特征,通過(guò)增加正常節(jié)點(diǎn)對(duì)惡意PDF 進(jìn)行偽裝,將生成的逃逸樣本加入SVM 分類器的訓(xùn)練,經(jīng)過(guò)3 次迭代后,分類器能夠完全檢測(cè)出這類逃逸樣本。文獻(xiàn)[11]提出了防御特征加法攻擊的集成決策樹(shù)方法,但沒(méi)有給出特征加法攻擊中的具體特征。

    2 方法研究及改進(jìn)

    2.1 惡意PDF 中的混淆和逃逸

    除了增加正常節(jié)點(diǎn)的逃逸方式外,在對(duì)大量惡意PDF 進(jìn)行分析之后,發(fā)現(xiàn)還存在利用PDF 規(guī)范漏洞的混淆和逃逸手段。利用這幾種方式,惡意PDF 文檔中的關(guān)鍵對(duì)象能逃逸現(xiàn)有檢測(cè)方法,但依然能夠在目前計(jì)算機(jī)中正常執(zhí)行。

    1) 對(duì)象號(hào)重寫(xiě)。對(duì)于對(duì)象號(hào)重復(fù)的情況,大部分解析器只讀取對(duì)象號(hào)相同的最后一個(gè)對(duì)象。

    2) 對(duì)象隱藏。對(duì)象隱藏在文件尾(trailer)中,能逃避目前大部分的解析方法,但隱藏在trailer 中的對(duì)象依然能正常執(zhí)行。另外,在PDF 文檔body 內(nèi),ObjStm可以將對(duì)象壓縮或加密為流(stream),若不對(duì)ObjStm進(jìn)行解析,則不能讀取壓縮對(duì)象的內(nèi)容。

    3) 關(guān)鍵節(jié)點(diǎn)混淆?,F(xiàn)有的一種主流靜態(tài)檢測(cè)方法,是以關(guān)鍵節(jié)點(diǎn)數(shù)量作為特征,但關(guān)鍵節(jié)點(diǎn)可以通過(guò)Ascii 編碼混淆,使檢測(cè)器提取出錯(cuò)誤的關(guān)鍵節(jié)點(diǎn)數(shù)量。另外,PDF 嵌入文件有兩種方式:“/Type/EmbeddedFile”與“/EmbeddedFiles”,但現(xiàn)有的相關(guān)方法通常只提取后者的數(shù)量作為關(guān)鍵節(jié)點(diǎn)數(shù)量特征。

    4) 對(duì)象無(wú)結(jié)束標(biāo)志。正常來(lái)說(shuō),PDF 中每一個(gè)對(duì)象都是以“obj”作為開(kāi)始標(biāo)志,以“endobj”作為結(jié)束標(biāo)志。但有些惡意PDF 在關(guān)鍵對(duì)象中刪除結(jié)束標(biāo)志,使得靜態(tài)檢測(cè)方法不能正常讀取該對(duì)象,也就無(wú)法提取該對(duì)象的特征。

    2.2 改進(jìn)的靜態(tài)解析方法

    本文提出了一種改進(jìn)的PDF 靜態(tài)解析方法,能夠更加準(zhǔn)確地提取出靜態(tài)特征,包括預(yù)處理和具體特征提取,對(duì)抗逃逸手段。先對(duì)PDF 文檔預(yù)處理:1) 讀取整個(gè)PDF 文檔的字節(jié)流,搜索ObjStm對(duì)象,其中/filter 節(jié)點(diǎn)中儲(chǔ)存了所采用的編碼算法,如“FlateDecode”,根據(jù)相應(yīng)的算法將對(duì)象解碼并替換原有內(nèi)容;2) 搜索標(biāo)識(shí)對(duì)象類型的節(jié)點(diǎn),檢查是否有Ascii 編碼,若有,對(duì)照Ascii 編碼將其還原;3) 匹配每一個(gè)對(duì)象的開(kāi)始和結(jié)束標(biāo)志,若沒(méi)有結(jié)束標(biāo)志,則將“endobj”添加到該對(duì)象的結(jié)尾處。然后,分別提取PDF 文檔的內(nèi)容特征、結(jié)構(gòu)特征以及邏輯樹(shù)間接結(jié)構(gòu)特征。

    2.2.1 內(nèi)容特征

    本文設(shè)計(jì)及采用的內(nèi)容特征具體見(jiàn)表2。PDF規(guī)范版本號(hào)、文件尾標(biāo)志(“EOF”)數(shù)量、尾部所包含字節(jié)數(shù)是否經(jīng)過(guò)修改,根據(jù)這些特征能夠初步判斷一個(gè)PDF 文檔是否符合規(guī)范、是否為偽造PDF。其中,尾部所包含字節(jié)數(shù)能體現(xiàn)出是否有對(duì)象隱藏在尾部。

    字節(jié)熵E的計(jì)算方法為:

    式中,bi表 示一個(gè)字節(jié), num(bi)表 示字節(jié)bi的數(shù)量;T表示計(jì)算內(nèi)容的字節(jié)總數(shù)。

    采用字節(jié)熵值、字節(jié)比例以及對(duì)象數(shù)與文件大小的比例作為特征,能夠分辨攻擊者向惡意PDF中添加的字節(jié)流、對(duì)象節(jié)點(diǎn)及其他無(wú)意義內(nèi)容,防止對(duì)檢測(cè)器產(chǎn)生誤導(dǎo)。與正常PDF 相比,惡意PDF 的字節(jié)熵值、流與非流字節(jié)比例、對(duì)象數(shù)與文件大小比例往往較低,因此將其作為判別正常PDF 和惡意PDF 的特征。經(jīng)過(guò)實(shí)驗(yàn)證明,關(guān)鍵節(jié)點(diǎn)(如OpenAction、URI 等)數(shù)量在節(jié)點(diǎn)總數(shù)中所占的比例,也是一個(gè)重要的判別特征。

    2.2.2 結(jié)構(gòu)特征

    惡意PDF 的主要攻擊方式是嵌入JavaScript 惡意代碼、嵌入惡意文件、嵌入惡意鏈接或交互式表單,因此,這4 類相關(guān)對(duì)象的數(shù)量能夠反映文檔是否具有潛在的惡意行為?,F(xiàn)有相關(guān)方法通常以JavaScript、OpenAction、URI 等能夠反映出文檔具有潛在惡意屬性的對(duì)象為檢測(cè)重點(diǎn)。正常的PDF文檔通常儲(chǔ)存較多的文字、圖像等,因此包含較多的Encoding、Font、Resources 以及MediaBox 等正常屬性對(duì)象。

    Bag-of-Path 方法是將邏輯結(jié)構(gòu)中所存在的葉子節(jié)點(diǎn)的路徑作為特征,能夠表征更加具體的節(jié)點(diǎn)信息以及節(jié)點(diǎn)嵌套關(guān)系,但是該方法的實(shí)現(xiàn)效率較低,且提取的特征維度高。本文基于該方法,將具有相同葉子節(jié)點(diǎn)的路徑合并,提取高頻次節(jié)點(diǎn)的數(shù)量作為結(jié)構(gòu)特征,實(shí)現(xiàn)更加簡(jiǎn)便,且能夠降低特征維度。

    為了找出對(duì)惡意檢測(cè)意義較大的關(guān)鍵節(jié)點(diǎn),利用Bag-of-Path 方法提取了數(shù)據(jù)集中所有樣本的路徑,將其中的高頻節(jié)點(diǎn)作為候選特征,節(jié)點(diǎn)數(shù)量作為特征值。根據(jù)本文提出的靜態(tài)解析方法提取結(jié)構(gòu)特征,遇到具有重復(fù)對(duì)象號(hào)的對(duì)象、隱藏在trailer中的對(duì)象,它們所包含的節(jié)點(diǎn)數(shù)量也會(huì)被提取,避免逃逸;將“EmbeddedFile”與“EmbeddedFiles”兩類節(jié)點(diǎn)的數(shù)量合并,作為“EmbeddedFile”特征值。

    2.2.3 邏輯樹(shù)間接結(jié)構(gòu)特征

    完成以上預(yù)處理后,再解析PDF 文件的邏輯結(jié)構(gòu),如圖3 示例,通過(guò)解析一個(gè)PDF 文件的邏輯結(jié)構(gòu),生成邏輯結(jié)構(gòu)樹(shù)。從尾部入手,采用遞歸的方法遍歷,生成XML 格式的DOM 樹(shù),算法詳細(xì)描述如下。

    圖3 PDF 邏輯結(jié)構(gòu)示例

    從生成的DOM 樹(shù)提取間接的結(jié)構(gòu)特征,具體包括樹(shù)的深度和廣度、特殊子樹(shù)的深度和廣度、子樹(shù)平均廣度、所有節(jié)點(diǎn)的類型數(shù)以及各類節(jié)點(diǎn)的熵。深度是從根節(jié)點(diǎn)到所有子節(jié)點(diǎn)的路徑中,最長(zhǎng)路徑的節(jié)點(diǎn)數(shù);廣度是在樹(shù)的所有層中,節(jié)點(diǎn)最多的一層所包含的節(jié)點(diǎn)數(shù)。經(jīng)過(guò)對(duì)大量樣本的分析,發(fā)現(xiàn)較多惡意PDF 會(huì)將關(guān)鍵節(jié)點(diǎn)藏匿在一個(gè)較深的分支中,如圖3 所示,因此DOM 樹(shù)的深度和廣度是區(qū)分PDF 文檔是否為惡意的一個(gè)有效特征。特殊子樹(shù)是根據(jù)正常PDF 和惡意PDF 所包含的節(jié)點(diǎn)對(duì)象的區(qū)別,或者節(jié)點(diǎn)對(duì)象梳理的區(qū)別,確定一個(gè)特殊節(jié)點(diǎn),取出DOM 樹(shù)中以該特殊節(jié)點(diǎn)為根節(jié)

    2.3 特征選擇

    使用決策樹(shù)算法中的信息增益率評(píng)價(jià)某個(gè)特征在分類任務(wù)中的重要性。將信息增益率表示為:

    式中,D表示數(shù)據(jù)集;A表示某個(gè)特征;H(D)為數(shù)據(jù)集中樣本類別的信息熵;H(D|A)為加入特征A作為分類依據(jù)后類別的信息熵; InI(D,A)為特征A內(nèi)部的信息熵,其計(jì)算分別為:

    式中,n為數(shù)據(jù)集中的樣本類別數(shù);m為特征A 的取值個(gè)數(shù);pi表 示隨機(jī)取出一個(gè)樣本屬于類別i的概率;p(i|A=a j)則 表示在特征A取值為aj的條件下,隨機(jī)取出一個(gè)樣本屬于類別i的概率。

    2.4 LightGBM 分類器

    集成學(xué)習(xí)是目前常用的一種防御對(duì)抗方法,通過(guò)融合多個(gè)弱學(xué)習(xí)器來(lái)降低攻擊風(fēng)險(xiǎn)。文獻(xiàn)[11]提出使用Adaboost 算法訓(xùn)練集成決策樹(shù),提高惡意PDF 檢測(cè)魯棒性的方法。LightGBM 也是一種采用Boosting 方式的集成學(xué)習(xí)算法,以梯度提升決策樹(shù)(gradient boosting decision tree, GBDT)為核心,通過(guò)改進(jìn)的生長(zhǎng)策略、分割算法以及并行策略,提高GBDT 的訓(xùn)練效率,降低內(nèi)存占用率。與深度學(xué)習(xí)以及其他集成學(xué)習(xí)算法相比,LightGBM 在并行拓展與運(yùn)行效率上具有明顯的優(yōu)勢(shì),成為工業(yè)界主要應(yīng)用的機(jī)器學(xué)習(xí)算法之一[12]。本文使用LightGBM框架訓(xùn)練GBDT 模型,根據(jù)前面所提取的特征區(qū)分正常和惡意的PDF 文檔。

    3 實(shí)驗(yàn)與分析

    3.1 方法驗(yàn)證

    收集了網(wǎng)絡(luò)環(huán)境中近兩年的正常和惡意PDF樣本各6 000 個(gè),作為實(shí)驗(yàn)數(shù)據(jù)集,如表3 所示。在數(shù)據(jù)集上首先使用Bag-of-Path 方法提取至少出現(xiàn)于1 000 個(gè)樣本中的路徑,找出這些路徑的葉子節(jié)點(diǎn)對(duì)象;然后提取對(duì)象數(shù)量作為結(jié)構(gòu)特征。提取本文設(shè)計(jì)的其他特征,形成71 維特征。圖4 給出了正負(fù)樣本其中4 種特征的分布,可看出明顯差異:特征Ratio 表現(xiàn)為黑樣本的特征值較高,白樣本的特征值較低;特征Root_depth 表現(xiàn)為白樣本特征值較高,黑樣本的特征值較低;特征ObjCount_by_size 表現(xiàn)為黑樣本的特征值高于白樣本特征值;特征Stream_by_nonstream 表現(xiàn)為白樣本特征值高于黑樣本特征值。

    圖4 黑白樣本的特征對(duì)比

    表3 實(shí)驗(yàn)數(shù)據(jù)集

    圖5 展示出所提取的71 維具體特征及它們各自的重要性。可以看出,本文提出的內(nèi)容特征以及DOM 樹(shù)結(jié)構(gòu)的間接特征,如關(guān)鍵節(jié)點(diǎn)數(shù)量、節(jié)點(diǎn)總數(shù)比例、根節(jié)點(diǎn)深度、字節(jié)熵、流內(nèi)容字節(jié)數(shù)、字節(jié)比例等的重要性較高;在結(jié)構(gòu)特征中,Resources、ToUnicode、BaseEncoding 等正常屬性的對(duì)象數(shù)量特征,與OpenAction、AA、EmbeddedFile、JavaScript 等具有惡意屬性的對(duì)象數(shù)量特征都具有較高重要性。結(jié)尾標(biāo)志“%EOF”、JBIG2Decode、colors 等13 維特征不具有重要性,因此,在后續(xù)的模型訓(xùn)練中刪除這13 維特征。

    圖5 特征重要性

    3.2 與其他特征的性能對(duì)比

    為了對(duì)比改進(jìn)的特征工程方法,按照文獻(xiàn)[4]和文獻(xiàn)[13]使用的特征工程分別提取實(shí)驗(yàn)數(shù)據(jù)集的特征,同樣使用LightGBM 算法訓(xùn)練模型。測(cè)試性能的對(duì)比如表4 所示,可以看出本方法比PDFMS具有更高的AUC 值,與Bag-of-Path 處于同一水平。對(duì)比表5,本方法仍然顯示出更高的準(zhǔn)確性,而且特征維度較低,有利于簡(jiǎn)化模型,在效率上得到提高。

    表4 不同方法的AUC 值對(duì)比

    表5 不同特征的性能對(duì)比

    3.3 魯棒性驗(yàn)證

    黑客在制造對(duì)抗機(jī)器學(xué)習(xí)檢測(cè)的惡意PDF時(shí),既要保留PDF 中所嵌入的惡意對(duì)象,又要誤導(dǎo)檢測(cè)模型,因此大多數(shù)的做法是向惡意PDF 中插入一些正常的節(jié)點(diǎn)對(duì)象、內(nèi)容流等,試圖使模型將其誤認(rèn)為正常PDF。如惡意PDF 中obj 數(shù)量少于正常PDF,于是黑客通過(guò)增加obj 對(duì)象的方式生成對(duì)抗樣本。在現(xiàn)有惡意樣本的基礎(chǔ)上,統(tǒng)計(jì)惡意PDF 和正常PDF 中各個(gè)對(duì)象的數(shù)量差異,通過(guò)增加正常對(duì)象的數(shù)量,生成對(duì)抗樣本測(cè)試集,用于測(cè)試、評(píng)估模型的魯棒性。表6 對(duì)比了模型檢測(cè)無(wú)對(duì)抗樣本和有對(duì)抗樣本的性能,精確率降低了0.1%,召回率提高了0.1%,整體準(zhǔn)確率無(wú)差別,可以證明該模型防御對(duì)抗手段的魯棒性較為可靠。

    表6 對(duì)抗魯棒性測(cè)試結(jié)果

    4 結(jié) 束 語(yǔ)

    本文改進(jìn)并實(shí)現(xiàn)了PDF 靜態(tài)特征提取方法,能夠提取出更加準(zhǔn)確的靜態(tài)特征,防止混淆和逃逸。實(shí)驗(yàn)驗(yàn)證表明,與現(xiàn)有的其他特征工程相比,本文結(jié)合使用的結(jié)構(gòu)特征、內(nèi)容特征以及邏輯樹(shù)間接結(jié)構(gòu)特征,能夠使機(jī)器學(xué)習(xí)檢測(cè)模型實(shí)現(xiàn)較高的準(zhǔn)確性和魯棒性。

    猜你喜歡
    結(jié)構(gòu)特征文檔數(shù)量
    有人一聲不吭向你扔了個(gè)文檔
    統(tǒng)一數(shù)量再比較
    基于RI碼計(jì)算的Word復(fù)制文檔鑒別
    特殊環(huán)境下雙駝峰的肺組織結(jié)構(gòu)特征
    頭發(fā)的數(shù)量
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    2012年冬季南海西北部營(yíng)養(yǎng)鹽分布及結(jié)構(gòu)特征
    我國(guó)博物館數(shù)量達(dá)4510家
    不讓他人隨意下載Google文檔
    電腦迷(2012年4期)2012-04-29 06:12:13
    C-PRrpp半群的結(jié)構(gòu)特征
    如何舔出高潮| 久久这里有精品视频免费| 亚洲综合色惰| 夜夜爽夜夜爽视频| 淫秽高清视频在线观看| 伦精品一区二区三区| 又爽又黄无遮挡网站| 亚洲欧美成人综合另类久久久| 亚洲色图av天堂| 国产高清有码在线观看视频| 日本wwww免费看| 成人亚洲欧美一区二区av| 精品一区二区三卡| 非洲黑人性xxxx精品又粗又长| 一本一本综合久久| 精品亚洲乱码少妇综合久久| 综合色丁香网| 久久久亚洲精品成人影院| 欧美 日韩 精品 国产| 久久久久久久久大av| 晚上一个人看的免费电影| 噜噜噜噜噜久久久久久91| 日日啪夜夜撸| 大香蕉久久网| 最近最新中文字幕大全电影3| 五月天丁香电影| 中国国产av一级| 国产黄频视频在线观看| 午夜免费观看性视频| 能在线免费观看的黄片| 黄片wwwwww| 久久精品熟女亚洲av麻豆精品 | 国产精品一区www在线观看| 国产精品人妻久久久影院| 国产精品一区二区在线观看99 | a级一级毛片免费在线观看| 国产精品蜜桃在线观看| 日本一二三区视频观看| 麻豆国产97在线/欧美| 日本色播在线视频| 亚洲人与动物交配视频| 久久久成人免费电影| 内射极品少妇av片p| 最近2019中文字幕mv第一页| 热99在线观看视频| 亚洲精华国产精华液的使用体验| 亚洲国产精品成人综合色| 99久久精品热视频| 内地一区二区视频在线| 一区二区三区四区激情视频| 亚洲av成人av| 精华霜和精华液先用哪个| 日韩av不卡免费在线播放| 高清视频免费观看一区二区 | 日韩欧美国产在线观看| 国产精品一区www在线观看| 青青草视频在线视频观看| av又黄又爽大尺度在线免费看| 麻豆久久精品国产亚洲av| 精品国内亚洲2022精品成人| 久久精品久久精品一区二区三区| 亚洲色图av天堂| 女人被狂操c到高潮| 欧美性感艳星| av国产免费在线观看| 色综合色国产| 国产高清三级在线| 一级黄片播放器| 18禁在线无遮挡免费观看视频| 2018国产大陆天天弄谢| 亚洲欧美日韩无卡精品| 色网站视频免费| videos熟女内射| 成人无遮挡网站| 亚洲av免费在线观看| 一个人看视频在线观看www免费| 国产大屁股一区二区在线视频| 中文精品一卡2卡3卡4更新| 国产精品福利在线免费观看| 神马国产精品三级电影在线观看| 色网站视频免费| 久久久精品免费免费高清| 一区二区三区乱码不卡18| 少妇丰满av| 久久久久久九九精品二区国产| 日日摸夜夜添夜夜添av毛片| av线在线观看网站| 国产亚洲精品久久久com| 国产精品女同一区二区软件| 成人国产麻豆网| freevideosex欧美| 你懂的网址亚洲精品在线观看| 国产精品.久久久| 国产亚洲精品av在线| 国产高清三级在线| 精品亚洲乱码少妇综合久久| 内地一区二区视频在线| 丰满乱子伦码专区| 中文乱码字字幕精品一区二区三区 | 在现免费观看毛片| 午夜亚洲福利在线播放| 男人舔奶头视频| 一区二区三区高清视频在线| 亚洲精品一二三| 国产成人精品一,二区| 午夜精品国产一区二区电影 | 久久久久精品久久久久真实原创| 男的添女的下面高潮视频| 精品熟女少妇av免费看| 十八禁网站网址无遮挡 | 国产视频首页在线观看| 在线天堂最新版资源| 老师上课跳d突然被开到最大视频| 久久久久九九精品影院| 国产成人福利小说| 日本与韩国留学比较| 熟女电影av网| 亚洲性久久影院| av专区在线播放| 国产在视频线在精品| 男人狂女人下面高潮的视频| 最近的中文字幕免费完整| 日本欧美国产在线视频| 九色成人免费人妻av| 亚洲精品久久久久久婷婷小说| 精品国产一区二区三区久久久樱花 | 国产亚洲精品av在线| 成年av动漫网址| 非洲黑人性xxxx精品又粗又长| 韩国高清视频一区二区三区| 少妇熟女欧美另类| 国产中年淑女户外野战色| 狂野欧美白嫩少妇大欣赏| 亚洲国产精品成人久久小说| 亚洲欧美日韩无卡精品| www.av在线官网国产| 精品国内亚洲2022精品成人| 内地一区二区视频在线| 99久国产av精品| 乱系列少妇在线播放| 精品久久久久久久末码| 一个人观看的视频www高清免费观看| 日日干狠狠操夜夜爽| 少妇的逼好多水| 国产精品久久久久久精品电影| 成人国产麻豆网| 精品久久久久久电影网| 亚洲怡红院男人天堂| 国产伦精品一区二区三区视频9| 亚洲欧美日韩无卡精品| 高清午夜精品一区二区三区| 精品国内亚洲2022精品成人| 最近2019中文字幕mv第一页| 一个人免费在线观看电影| 亚洲精品国产av蜜桃| 97热精品久久久久久| 在线免费观看不下载黄p国产| 色尼玛亚洲综合影院| 午夜精品一区二区三区免费看| 黄色一级大片看看| 在线观看av片永久免费下载| 草草在线视频免费看| 最近视频中文字幕2019在线8| 大香蕉97超碰在线| 国产在视频线在精品| 看免费成人av毛片| 亚洲精品乱码久久久久久按摩| 精品国产三级普通话版| 最近视频中文字幕2019在线8| 99久国产av精品国产电影| 极品教师在线视频| 国产在线男女| 免费观看在线日韩| 欧美bdsm另类| 男女国产视频网站| 久久久久精品性色| 国产亚洲av片在线观看秒播厂 | 蜜臀久久99精品久久宅男| 亚洲欧美日韩无卡精品| 看黄色毛片网站| 欧美三级亚洲精品| 精品一区二区免费观看| 超碰av人人做人人爽久久| 日本欧美国产在线视频| 国产乱人偷精品视频| 欧美不卡视频在线免费观看| 亚洲欧美日韩无卡精品| 深爱激情五月婷婷| 国产在视频线精品| 女的被弄到高潮叫床怎么办| 国产成人一区二区在线| 国内少妇人妻偷人精品xxx网站| 免费av毛片视频| 一二三四中文在线观看免费高清| 亚洲成人一二三区av| 国产成人freesex在线| 亚洲成人中文字幕在线播放| 青青草视频在线视频观看| 美女高潮的动态| 伦精品一区二区三区| 自拍偷自拍亚洲精品老妇| 国产精品女同一区二区软件| 国产精品伦人一区二区| 精品酒店卫生间| 国产伦精品一区二区三区视频9| 一区二区三区免费毛片| 国产久久久一区二区三区| 久久久久久久久久久免费av| 日韩伦理黄色片| 国产黄片视频在线免费观看| 99久国产av精品| 看十八女毛片水多多多| 国产精品久久久久久精品电影| 午夜福利视频精品| 99久久精品国产国产毛片| 亚洲av成人精品一区久久| 中文天堂在线官网| 亚洲国产精品专区欧美| 国产免费视频播放在线视频 | 老师上课跳d突然被开到最大视频| 亚洲色图av天堂| 少妇被粗大猛烈的视频| 18禁在线无遮挡免费观看视频| 精品久久久久久成人av| 亚洲av二区三区四区| 免费播放大片免费观看视频在线观看| 成人午夜高清在线视频| 久久久久久久大尺度免费视频| 精品酒店卫生间| 日韩精品有码人妻一区| 欧美zozozo另类| 亚洲图色成人| 大陆偷拍与自拍| 美女国产视频在线观看| 男人和女人高潮做爰伦理| 国产高清三级在线| 网址你懂的国产日韩在线| 久久久成人免费电影| 午夜亚洲福利在线播放| 亚洲精品456在线播放app| 亚洲精华国产精华液的使用体验| 国产乱人视频| 一级毛片电影观看| 久久精品夜色国产| 99热这里只有是精品50| 最近中文字幕2019免费版| 日韩伦理黄色片| 一个人免费在线观看电影| 久久久久网色| 国产 一区 欧美 日韩| 一个人看的www免费观看视频| 免费播放大片免费观看视频在线观看| 国产黄片视频在线免费观看| 极品教师在线视频| 天天一区二区日本电影三级| 日产精品乱码卡一卡2卡三| 噜噜噜噜噜久久久久久91| 51国产日韩欧美| 午夜视频国产福利| 午夜日本视频在线| 国产精品爽爽va在线观看网站| 国产成人aa在线观看| 久久久精品免费免费高清| 日本黄大片高清| 国产视频首页在线观看| 欧美一级a爱片免费观看看| 婷婷色综合大香蕉| 麻豆精品久久久久久蜜桃| 在线天堂最新版资源| 少妇裸体淫交视频免费看高清| 久久久久久久亚洲中文字幕| 成人国产麻豆网| 国产中年淑女户外野战色| 色网站视频免费| 深爱激情五月婷婷| 一级爰片在线观看| 日韩制服骚丝袜av| 中文字幕亚洲精品专区| av播播在线观看一区| 国内精品宾馆在线| 精品不卡国产一区二区三区| 国产乱来视频区| 亚洲成人av在线免费| av在线天堂中文字幕| 欧美成人精品欧美一级黄| www.av在线官网国产| 丰满乱子伦码专区| 国产淫语在线视频| 美女黄网站色视频| 欧美高清性xxxxhd video| 国产极品天堂在线| 国产精品熟女久久久久浪| 人妻制服诱惑在线中文字幕| 免费看美女性在线毛片视频| 最近最新中文字幕大全电影3| 国产黄频视频在线观看| 欧美xxxx性猛交bbbb| 99视频精品全部免费 在线| 国产黄色小视频在线观看| 午夜免费观看性视频| 我的女老师完整版在线观看| 亚洲美女搞黄在线观看| 91av网一区二区| 国产精品美女特级片免费视频播放器| 日本黄大片高清| 一个人观看的视频www高清免费观看| 日韩在线高清观看一区二区三区| 久久久久久国产a免费观看| 老女人水多毛片| 国产午夜精品久久久久久一区二区三区| 日本一二三区视频观看| 99视频精品全部免费 在线| av在线播放精品| 97超碰精品成人国产| 亚洲熟妇中文字幕五十中出| 久久久a久久爽久久v久久| 久久精品国产自在天天线| 麻豆精品久久久久久蜜桃| 两个人的视频大全免费| 精品欧美国产一区二区三| 成年版毛片免费区| 91在线精品国自产拍蜜月| kizo精华| 久久精品综合一区二区三区| 啦啦啦韩国在线观看视频| 99久久中文字幕三级久久日本| 99久国产av精品| 神马国产精品三级电影在线观看| 国产黄色视频一区二区在线观看| 国产精品综合久久久久久久免费| 能在线免费看毛片的网站| 国产探花极品一区二区| av在线天堂中文字幕| 午夜免费观看性视频| 亚洲av免费在线观看| 久久精品国产亚洲av天美| 少妇人妻一区二区三区视频| 国产中年淑女户外野战色| 三级国产精品欧美在线观看| 2021少妇久久久久久久久久久| 黄色日韩在线| 欧美成人a在线观看| 日本熟妇午夜| 91在线精品国自产拍蜜月| 中国美白少妇内射xxxbb| 少妇的逼好多水| 男女那种视频在线观看| 久久久久久久久久黄片| 丝袜喷水一区| 久久久久久久久久黄片| 国产高清三级在线| 国产欧美另类精品又又久久亚洲欧美| 男女那种视频在线观看| 亚洲精品视频女| 好男人视频免费观看在线| 色尼玛亚洲综合影院| 最近最新中文字幕大全电影3| 国产成人精品福利久久| 国产视频首页在线观看| 中文字幕人妻熟人妻熟丝袜美| 日本免费在线观看一区| 一级毛片 在线播放| 狂野欧美白嫩少妇大欣赏| 一个人看视频在线观看www免费| 国产精品一及| 99热6这里只有精品| 岛国毛片在线播放| a级毛片免费高清观看在线播放| 天堂影院成人在线观看| 久久精品久久久久久久性| 永久免费av网站大全| 久久午夜福利片| 国产精品99久久久久久久久| 亚洲内射少妇av| 国产久久久一区二区三区| 自拍偷自拍亚洲精品老妇| 99久国产av精品国产电影| 午夜免费观看性视频| 亚洲精品乱久久久久久| 欧美日韩国产mv在线观看视频 | 国产一区二区在线观看日韩| 亚洲四区av| 亚洲性久久影院| 亚州av有码| 久久草成人影院| 亚洲精品视频女| 久久久久九九精品影院| 国产探花极品一区二区| 夫妻午夜视频| 直男gayav资源| 男女边摸边吃奶| 嫩草影院入口| 看黄色毛片网站| 亚洲av男天堂| 狂野欧美白嫩少妇大欣赏| 伦理电影大哥的女人| 国产视频首页在线观看| 中文字幕免费在线视频6| 夜夜看夜夜爽夜夜摸| 搡老乐熟女国产| 亚洲天堂国产精品一区在线| 亚洲精品乱码久久久久久按摩| 一个人观看的视频www高清免费观看| 午夜精品一区二区三区免费看| av国产免费在线观看| 在线 av 中文字幕| .国产精品久久| 国产高清国产精品国产三级 | 网址你懂的国产日韩在线| 少妇丰满av| 免费在线观看成人毛片| 纵有疾风起免费观看全集完整版 | 亚洲图色成人| 看非洲黑人一级黄片| 少妇熟女欧美另类| 中文天堂在线官网| 美女cb高潮喷水在线观看| 免费无遮挡裸体视频| 亚洲av电影在线观看一区二区三区 | 色播亚洲综合网| 麻豆成人av视频| 男女国产视频网站| 日韩电影二区| 亚洲av成人精品一二三区| 91精品国产九色| 久久久午夜欧美精品| 成年人午夜在线观看视频 | 国产精品av视频在线免费观看| 午夜老司机福利剧场| 欧美激情国产日韩精品一区| 丰满人妻一区二区三区视频av| 免费看av在线观看网站| av.在线天堂| 欧美一区二区亚洲| 99热这里只有精品一区| 国产白丝娇喘喷水9色精品| 26uuu在线亚洲综合色| 白带黄色成豆腐渣| 国产成人精品久久久久久| ponron亚洲| 久久久国产一区二区| av女优亚洲男人天堂| 国产精品蜜桃在线观看| 精品亚洲乱码少妇综合久久| 国产在视频线精品| 亚洲怡红院男人天堂| 国产精品嫩草影院av在线观看| 国产伦一二天堂av在线观看| 一级a做视频免费观看| 欧美高清性xxxxhd video| 国产老妇女一区| 亚洲av成人av| 中文在线观看免费www的网站| 免费看a级黄色片| 亚洲四区av| 岛国毛片在线播放| 99九九线精品视频在线观看视频| 亚洲图色成人| 亚洲欧美日韩无卡精品| 简卡轻食公司| 肉色欧美久久久久久久蜜桃 | 国产乱来视频区| 精品不卡国产一区二区三区| 超碰av人人做人人爽久久| 欧美97在线视频| 久久久久久久久大av| 国产单亲对白刺激| 国产乱人视频| 成年人午夜在线观看视频 | 哪个播放器可以免费观看大片| 亚洲自拍偷在线| 在现免费观看毛片| 国产成人精品福利久久| 国产黄a三级三级三级人| 蜜桃久久精品国产亚洲av| 国产黄色免费在线视频| 免费观看的影片在线观看| 黄色配什么色好看| 精品一区在线观看国产| 一级爰片在线观看| 男女下面进入的视频免费午夜| 青春草国产在线视频| 亚洲精品自拍成人| 久久久久网色| 国产精品一区二区性色av| 久久午夜福利片| 国产成人精品福利久久| 最近中文字幕高清免费大全6| 国产又色又爽无遮挡免| 久久久久久久久久黄片| 亚洲不卡免费看| 91av网一区二区| 久久久久性生活片| 肉色欧美久久久久久久蜜桃 | 国产一区二区亚洲精品在线观看| 又黄又爽又刺激的免费视频.| 又大又黄又爽视频免费| 成人二区视频| 蜜臀久久99精品久久宅男| 国产精品美女特级片免费视频播放器| 你懂的网址亚洲精品在线观看| 欧美成人a在线观看| 少妇熟女aⅴ在线视频| 国产综合精华液| 成人一区二区视频在线观看| 免费电影在线观看免费观看| 国产在线一区二区三区精| 国内揄拍国产精品人妻在线| 国产精品伦人一区二区| 亚洲av中文av极速乱| 久久久久网色| 寂寞人妻少妇视频99o| 精品一区二区三区视频在线| 亚洲精品久久久久久婷婷小说| 熟妇人妻不卡中文字幕| 有码 亚洲区| 日韩,欧美,国产一区二区三区| 最近手机中文字幕大全| 国产爱豆传媒在线观看| 国产v大片淫在线免费观看| 亚洲一级一片aⅴ在线观看| 联通29元200g的流量卡| 亚洲精品久久午夜乱码| 一级毛片黄色毛片免费观看视频| 日韩一区二区三区影片| 久久久久久久久大av| 久久久欧美国产精品| av卡一久久| 在线观看av片永久免费下载| 成年av动漫网址| 精品久久久久久久久av| 少妇熟女aⅴ在线视频| 国产精品熟女久久久久浪| 亚洲成人精品中文字幕电影| 中文字幕人妻熟人妻熟丝袜美| 综合色av麻豆| 夫妻性生交免费视频一级片| 在线免费观看不下载黄p国产| 日韩不卡一区二区三区视频在线| 99久久精品一区二区三区| 国产av国产精品国产| 永久免费av网站大全| 国产v大片淫在线免费观看| 亚洲18禁久久av| 一个人看视频在线观看www免费| 国产亚洲精品久久久com| 91aial.com中文字幕在线观看| 老女人水多毛片| 美女xxoo啪啪120秒动态图| 免费av不卡在线播放| 能在线免费观看的黄片| 国产精品国产三级专区第一集| 亚洲国产色片| 看十八女毛片水多多多| 午夜免费激情av| 国产免费一级a男人的天堂| 国产成人aa在线观看| 免费看a级黄色片| 特大巨黑吊av在线直播| 久久久久久久久大av| 成人综合一区亚洲| 丰满乱子伦码专区| 十八禁网站网址无遮挡 | 欧美高清性xxxxhd video| 久久久久久久午夜电影| 欧美日韩综合久久久久久| 国产精品一二三区在线看| 爱豆传媒免费全集在线观看| 一个人看视频在线观看www免费| 五月天丁香电影| 又大又黄又爽视频免费| 免费看不卡的av| 一级毛片我不卡| av播播在线观看一区| 国产免费又黄又爽又色| 色播亚洲综合网| 日日啪夜夜撸| 久久久久久久亚洲中文字幕| 啦啦啦中文免费视频观看日本| 成人毛片a级毛片在线播放| 午夜精品国产一区二区电影 | 男的添女的下面高潮视频| 三级国产精品片| 国产欧美另类精品又又久久亚洲欧美| 天天一区二区日本电影三级| 久99久视频精品免费| 婷婷六月久久综合丁香| 亚洲无线观看免费| 日本欧美国产在线视频| 又大又黄又爽视频免费| 97超碰精品成人国产| 国产亚洲精品久久久com| 黄片wwwwww| 天堂av国产一区二区熟女人妻| 欧美成人a在线观看| 蜜臀久久99精品久久宅男| 久久久久久久亚洲中文字幕| 欧美zozozo另类| 婷婷色麻豆天堂久久| 久久久久久久久久久丰满| 18禁在线播放成人免费| 国产免费一级a男人的天堂| 高清av免费在线| 国产精品一区二区在线观看99 | 国产精品一区二区性色av| 亚洲美女搞黄在线观看| or卡值多少钱| 大话2 男鬼变身卡| 欧美高清性xxxxhd video| 欧美性猛交╳xxx乱大交人| 国产精品一区二区性色av| 国产久久久一区二区三区| 欧美一区二区亚洲| 国产精品综合久久久久久久免费| av黄色大香蕉|