• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    特征選擇算法研究綜述

    2019-12-06 09:48:28梁伍七王榮華劉克禮
    關(guān)鍵詞:特征選擇范數(shù)子集

    梁伍七,王榮華,劉克禮,李 斌

    (安徽廣播電視大學(xué) 信息與工程學(xué)院,合肥 230022)

    一、引言

    特征選擇在文本分類、文本檢索、基因分析和藥物診斷等場(chǎng)合有廣泛應(yīng)用,是模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一。例如,自動(dòng)文本分類是指按照給定的分類體系,依據(jù)文本的內(nèi)容自動(dòng)進(jìn)行文本所屬類別判別的過(guò)程,是一種有監(jiān)督的學(xué)習(xí)過(guò)程。自動(dòng)文本分類在信息過(guò)濾、信息檢索、搜索引擎和數(shù)字圖書館等領(lǐng)域有廣泛應(yīng)用。分類系統(tǒng)主要包括數(shù)據(jù)預(yù)處理、文檔分詞、特征表示、特征選擇、文本表示、分類器選擇和訓(xùn)練以及分類結(jié)果評(píng)價(jià)等過(guò)程。1975年,文獻(xiàn)[1]提出向量空間模型(Vector Space Model,VSM),文檔被表示成特征空間中的一個(gè)向量。文本分類中文本表示方法通常使用向量空間模型,采用詞干抽取和去停用詞處理后,特征詞向量空間的維數(shù)雖有所降低,但特征空間的維數(shù)仍然是不可接受的。對(duì)于分類器來(lái)說(shuō),高維特征空間既增加了分類的時(shí)間復(fù)雜度和空間復(fù)雜度,也影響分類精度。

    文本分類系統(tǒng)中高維特征空間的降維通常有兩種方法,即特征選擇(feature selection)和特征抽取(feature extraction)。二者都是在分類之前,針對(duì)原始特征的不足,降低特征維數(shù),提高分類器的分類性能。特征抽取也稱作特征重參數(shù)化(feature re-parameterization),通過(guò)對(duì)原始特征進(jìn)行組合或者變換,新的低維空間是原來(lái)特征的一個(gè)映射。特征選擇作為文本分類預(yù)處理模塊的關(guān)鍵步驟,任務(wù)是從原始特征空間中選擇最重要的特征組成特征子集,從而實(shí)現(xiàn)特征空間降維。

    二、特征選擇分類

    特征選擇的過(guò)程包括四個(gè)主要環(huán)節(jié)[2-3],包括子集生成(subset generation)、子集評(píng)估(subset evaluation)、停止準(zhǔn)測(cè)(stopping criterion)和結(jié)果驗(yàn)證(result validation),如圖1所示。生成子集的過(guò)程是一個(gè)搜索過(guò)程,根據(jù)特定的搜索策略得到候選特征子集。對(duì)每個(gè)候選子集,根據(jù)評(píng)價(jià)準(zhǔn)則進(jìn)行評(píng)價(jià)。若新子集的評(píng)價(jià)結(jié)果優(yōu)于以前最好的子集,則將其更新為當(dāng)前最優(yōu)子集。子集生成和子集評(píng)價(jià)不斷循環(huán),直至滿足給定的停止準(zhǔn)測(cè),最后對(duì)最優(yōu)特征子集進(jìn)行結(jié)果驗(yàn)證。特征選擇在數(shù)據(jù)挖掘、模式識(shí)別和機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域內(nèi)均得到了廣泛的研究。根據(jù)不同的標(biāo)準(zhǔn),特征選擇分類方法也有所不同,典型的分類標(biāo)準(zhǔn)及其分類方法如下。

    圖1 特征選擇的四個(gè)主要環(huán)節(jié)

    (一)基于搜索策略進(jìn)行分類

    搜索過(guò)程需要考慮兩個(gè)基本問(wèn)題[3-4]:一是確定搜索起點(diǎn)??梢詮囊粋€(gè)空的集合開(kāi)始,然后不斷添加特征,也可以從一個(gè)完整的集合開(kāi)始,然后不斷移除特征,或者從兩端開(kāi)始,然后同時(shí)加入和移除特征;二是確定搜索策略。根據(jù)搜索策略的不同,特征選擇可分為完全搜索(complete search)、隨機(jī)搜索(random search)和啟發(fā)式搜索(heuristic search)等。

    完全搜索方法:完全搜索需要遍歷特征空間中所有可能的特征組合,它能夠找到性能最好的子集。對(duì)于具有n個(gè)特征的數(shù)據(jù)集,存在2n個(gè)候選子集,這個(gè)搜索空間是指數(shù)級(jí)的,可以使用分支定界(branch and bound)算法[5]等啟發(fā)式方法來(lái)縮小搜索空間。

    隨機(jī)搜索方法:該方法首先隨機(jī)選擇特征子集,后續(xù)采用兩種方式進(jìn)行:第一種在傳統(tǒng)的序列搜索中注入隨機(jī)因素,稱為概率隨機(jī)方法,例如,隨機(jī)開(kāi)始爬山算法(random-start-hill-climbing)和模擬退火算法(simulated annealing)[6]等;另一種稱為完全隨機(jī)方法,候選子集的產(chǎn)生方式是完全隨機(jī)的,例如,Las Vegas算法[7]等。這些方法中,隨機(jī)過(guò)程有助于避免在搜索空間中陷入局部最優(yōu),但其能否搜索到最優(yōu)結(jié)果取決于可用的資源。

    啟發(fā)式搜索方法:?jiǎn)l(fā)式搜索可以消除組合爆炸,根據(jù)特定的啟發(fā)式規(guī)則設(shè)計(jì)次優(yōu)搜索策略,利用啟發(fā)信息來(lái)引導(dǎo)搜索,可以得到近似最優(yōu)解。常用的算法包括[3,8]序列前向選擇(SFS,sequential forward selection)、序列后向選擇(SBS,sequential backward selection)和雙向選擇(BDSS,bidirectional selection)等。該方法運(yùn)算速度較快,對(duì)于包含n個(gè)特征的集合,搜索時(shí)間往往低于O(n2)。

    (二)根據(jù)評(píng)價(jià)準(zhǔn)則進(jìn)行分類

    每一個(gè)生成的候選子集都必須使用一個(gè)評(píng)價(jià)準(zhǔn)則來(lái)進(jìn)行評(píng)價(jià)。根據(jù)評(píng)價(jià)準(zhǔn)則是否獨(dú)立于學(xué)習(xí)算法,可以分為過(guò)濾式(Filter)、封裝式(Wrapper)和混合式(Hybrid)三種類型。

    (1)過(guò)濾式[4]:過(guò)濾式特征選擇作為一種數(shù)據(jù)預(yù)處理過(guò)程,評(píng)價(jià)準(zhǔn)則和學(xué)習(xí)算法無(wú)關(guān),可以快速排除不相關(guān)的噪聲特征,計(jì)算效率高?;谶^(guò)濾式的評(píng)價(jià)函數(shù)包括距離度量(distance measure)[9-10]、信息度量(information measure)[11]、相關(guān)性度量(correlation measure)[12]和一致性度量(consistency measure)[8]等,評(píng)價(jià)準(zhǔn)則不同得到的結(jié)果子集也不同。

    (2)封裝式[13]:封裝式和所使用的學(xué)習(xí)算法有關(guān),特征選擇算法作為學(xué)習(xí)算法的組成部分,將學(xué)習(xí)算法的性能作為衡量特征優(yōu)劣的標(biāo)準(zhǔn)。在特征選擇過(guò)程中直接用所選特征來(lái)訓(xùn)練分類器,根據(jù)分類器在驗(yàn)證集上的性能作為特征重要程度的評(píng)價(jià)標(biāo)準(zhǔn),封裝式能選出更適合特定學(xué)習(xí)算法的特征。對(duì)每個(gè)候選子集,分類器都需要重新訓(xùn)練,故該方法在速度上比過(guò)濾式要慢,優(yōu)點(diǎn)是所選的優(yōu)化特征子集的規(guī)模相對(duì)要小很多。基于啟發(fā)式搜索策略的封裝器方法是目前較實(shí)用的特征選擇研究熱點(diǎn)。

    (3)混合式[14]:綜合利用過(guò)濾式與封裝式的優(yōu)勢(shì),提出混合式方法來(lái)處理大規(guī)模的數(shù)據(jù)集。最理想的情況是和過(guò)濾式的時(shí)間復(fù)雜度相近,和封裝式的算法性能相似?;旌鲜椒椒ǖ奶幚磉^(guò)程是,先使用過(guò)濾式基于數(shù)據(jù)集本身固有的特性快速進(jìn)行特征選擇,保留少量特征,減少進(jìn)一步搜索的特征規(guī)模,然后再用封裝式方法進(jìn)一步優(yōu)化,得到分類性能最優(yōu)的特征子集。

    (三)根據(jù)不同的監(jiān)督信息進(jìn)行分類

    監(jiān)督信息是文本內(nèi)容的重要組成部分,文本分類系統(tǒng)中,通常將類別信息作為監(jiān)督信息。特征選擇過(guò)程中,監(jiān)督信息起著重要的指導(dǎo)作用??梢曰诓煌谋O(jiān)督信息,對(duì)特征選擇方法進(jìn)行分類。

    (1)根據(jù)訓(xùn)練集中給定類別標(biāo)簽樣本和未給定類別標(biāo)簽樣本的相對(duì)數(shù)量,可分為有監(jiān)督特征選擇(supervised feature selection)、半監(jiān)督特征選擇(semi-supervised feature selection)和無(wú)監(jiān)督特征選擇(unsupervised feature selection)[3-4],反映了選擇特征過(guò)程中對(duì)類別信息的依賴程度。

    監(jiān)督式特征選擇:利用類別信息進(jìn)行指導(dǎo),通過(guò)計(jì)算特征與類別之間的關(guān)系,選擇最具類別區(qū)分力的特征子集[2]131-156。關(guān)于特征選擇的研究最初大多聚焦于監(jiān)督式特征選擇,通過(guò)度量特征之間和特征與類別之間的相互關(guān)系來(lái)確定特征子集。

    半監(jiān)督式特征選擇:半監(jiān)督式學(xué)習(xí)主要考慮如何利用少量的具有類別信息的樣本和大量的不帶類別信息的樣本進(jìn)行分類學(xué)習(xí)的問(wèn)題。Miller等人提出了一種分類器架構(gòu)和學(xué)習(xí)算法,算法可以有效利用未標(biāo)記數(shù)據(jù)提高學(xué)習(xí)算法的性能[15]。隨著半監(jiān)督學(xué)習(xí)的發(fā)展,半監(jiān)督式特征選擇的研究也越來(lái)越受到重視。

    無(wú)監(jiān)督式特征選擇:沒(méi)有類別信息指導(dǎo),通過(guò)對(duì)特征空間的樣本進(jìn)行聚類或無(wú)監(jiān)督學(xué)習(xí)對(duì)特征進(jìn)行分組,并對(duì)特征重要性進(jìn)行評(píng)估,根據(jù)特征的重要性程度進(jìn)行特征選擇。文獻(xiàn)[16]考慮了無(wú)監(jiān)督學(xué)習(xí)的特征選擇問(wèn)題,提出了一種新的算法,能夠識(shí)別嵌入在高維空間中支持復(fù)雜結(jié)構(gòu)的信息特征,算法通過(guò)一個(gè)目標(biāo)函數(shù)將其表示為一個(gè)優(yōu)化問(wèn)題,并用迭代法求解。

    (2)根據(jù)類別數(shù)目,可分為二元特征選擇(binary feature selection)和多類特征選擇(multi-class feature selection)[3]。當(dāng)某個(gè)樣本數(shù)據(jù)可以同時(shí)屬于多個(gè)類別,稱為多類特征選擇,也稱為多標(biāo)簽特征選擇(multi-label feature selection)。根據(jù)類別的組織方式,多類問(wèn)題可以分為平鋪結(jié)構(gòu)和層次化結(jié)構(gòu)。平鋪結(jié)構(gòu)的各個(gè)類別間關(guān)系是平等的,若類別間的關(guān)系不是獨(dú)立的,而是具有某種復(fù)雜的關(guān)系,可利用層次化特征選擇進(jìn)行處理[17]。

    三、基于SVM的特征選擇

    1963年,文獻(xiàn)[18]在解決模式識(shí)別問(wèn)題時(shí)提出了基于支持向量機(jī)(support vector machine,SVM)方法。1995年,文獻(xiàn)[19]正式提出統(tǒng)計(jì)學(xué)習(xí)理論,并提出用廣義分類面來(lái)解決線性不可分問(wèn)題,據(jù)此構(gòu)成了SVM的理論基礎(chǔ)。SVM已被證明是具有最小化分類誤差和最大化泛化能力的強(qiáng)有力的分類工具,它建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)以及結(jié)構(gòu)風(fēng)險(xiǎn)的線性組合原理基礎(chǔ)上[20-21]。但SVM是作為模式識(shí)別領(lǐng)域中逐步發(fā)展而來(lái)的分類工具,標(biāo)準(zhǔn)的SVM并不能進(jìn)行特征選擇。文獻(xiàn)[22]基于梯度最小化泛化邊界方法來(lái)減少特征,指出當(dāng)存在不相關(guān)的特征時(shí),標(biāo)準(zhǔn)SVM分類的性能會(huì)大大降低。這一結(jié)論導(dǎo)致了眾多學(xué)者對(duì)基于SVM的特征選擇算法進(jìn)行研究。

    根據(jù)評(píng)價(jià)準(zhǔn)則是否和學(xué)習(xí)算法相關(guān),特征選擇可以分為過(guò)濾式(Filter)、封裝式(Wrapper)和混合式(hybrid)三類[3]?;赟VM的特征選擇算法,本質(zhì)就是在特征選擇過(guò)程中融入SVM學(xué)習(xí)算法,因此基于SVM的特征選擇算法也可以劃分成三類:基于SVM的Wrapper特征選擇、基于SVM的Embedded特征選擇和基于SVM的混合特征選擇。

    (一)基于SVM的Wrapper特征選擇

    基于SVM的Wrapper特征選擇利用SVM分類器的性能作為特征選擇的評(píng)價(jià)準(zhǔn)則。文獻(xiàn)[23]提出了一種基于SVM的Wrapper特征選擇算法,即SVM-RFE(SVM recursive feature elimination)特征選擇算法。SVM-RFE的算法流程是[21]:利用當(dāng)前數(shù)據(jù)集訓(xùn)練SVM分類器,得到分類器的參數(shù);計(jì)算權(quán)重向量;根據(jù)特征排序準(zhǔn)則,計(jì)算所有特征的排序準(zhǔn)則得分;移除得分最小的特征;上述過(guò)程多次迭代直至特征集中剩余最后一個(gè)特征。SVM-RFE方法是一個(gè)序列后向選擇的過(guò)程,目標(biāo)是在d個(gè)特征中找出大小為r的特征子集,使得SVM分類的學(xué)習(xí)性能最優(yōu)。該方法首先訓(xùn)練SVM分類器,得到分類器的參數(shù),利用參數(shù)信息對(duì)特征進(jìn)行遞歸移除,在特征選擇的過(guò)程中存在參數(shù)不確定問(wèn)題。

    文獻(xiàn)[24]針對(duì)SVM-RFE方法的不足提出了改進(jìn)算法。在SVM-RFE方法的基礎(chǔ)上,由支持向量機(jī)理論的泛化誤差界推導(dǎo)出評(píng)分準(zhǔn)則,每次迭代過(guò)程中移除最小得分的特征;文獻(xiàn)[25]提出了增強(qiáng)的SVM-RFE特征選擇算法,采用最小冗余和最大相關(guān)MRMR作為評(píng)分準(zhǔn)則。與SVM-RFE算法相比,在多數(shù)基因數(shù)據(jù)集上,算法選擇的特征個(gè)數(shù)較少。針對(duì)SVM-RFE算法中SVM參數(shù)難以確定的問(wèn)題,文獻(xiàn)[26]采用粒子群算法搜索SVM的參數(shù)。

    和SVM算法一樣,SVM-RFE最初設(shè)計(jì)是用來(lái)解決兩類基因選擇問(wèn)題的。文獻(xiàn)[27]針對(duì)不同的多類SVM框架,推廣了SVM-RFE算法,用來(lái)解決多類基因特征選擇問(wèn)題。文獻(xiàn)[28]針對(duì)多類分類問(wèn)題,使用標(biāo)準(zhǔn)兩類SVM-RFE算法來(lái)排序問(wèn)題,該算法能夠較好地解決多類問(wèn)題。

    SVM-RFE是一種簡(jiǎn)單有效的特征選擇算法,已在許多領(lǐng)域得到應(yīng)用,基于SVM-RFE理論框架的特征選擇方法得到眾多研究者的關(guān)注,算法以SVM分類器的性能作為特征重要性的評(píng)價(jià)準(zhǔn)則,優(yōu)點(diǎn)是所選的特征子集的規(guī)模相對(duì)較小,缺點(diǎn)是算法的時(shí)間復(fù)雜度較高。文獻(xiàn)[29]提出了一種基于SVM的Wrapper特征選擇算法,算法采用序列后向選擇,特征排序準(zhǔn)則使用驗(yàn)證子集的錯(cuò)分樣本個(gè)數(shù),每一輪迭代過(guò)程中,將特征所引起的錯(cuò)分樣本個(gè)數(shù)最少的那個(gè)特征移除,最后得到最優(yōu)的特征子集。

    (二)基于SVM的Embedded特征選擇

    與一般的Embedded方法類似,基于SVM的Embedded特征選擇,特征選擇過(guò)程融于學(xué)習(xí)過(guò)程中,但該類方法的學(xué)習(xí)算法依據(jù)SVM理論[21]。

    文獻(xiàn)[30]通過(guò)構(gòu)造非線性SVM,提出了一種新的特征選擇算法RFSVM。該算法的基本思想:在SVM思想的基礎(chǔ)上,通過(guò)一個(gè)正的參數(shù)σ來(lái)加權(quán)特征抑制項(xiàng)eTEe,該問(wèn)題可以轉(zhuǎn)化為一個(gè)混合整數(shù)規(guī)劃求解問(wèn)題。算法的目標(biāo)函數(shù)為:

    (1)

    其中,A表示數(shù)據(jù)集矩陣,K表示核函數(shù),v為正常數(shù),u、s和γ為分類器的待求量,e表示全1的矢量,y表示正的變量,E表示對(duì)角元素為0或1的對(duì)角矩陣。(1)式是一個(gè)混合整數(shù)規(guī)劃問(wèn)題,混合整數(shù)規(guī)劃問(wèn)題是一個(gè)NP難問(wèn)題??梢酝ㄟ^(guò)固定E,將(1)式變?yōu)橐粋€(gè)線性規(guī)劃問(wèn)題,通過(guò)求解得到(u,γ,y,s)的解,計(jì)算目標(biāo)函數(shù),上述過(guò)程多次迭代,直到函數(shù)值小于某一設(shè)定的閾值。該算法收斂于局部最小值,最終選擇的特征個(gè)數(shù)最少。

    針對(duì)多類別分類特征選擇的問(wèn)題,文獻(xiàn)[31]提出了一種基于SVM的Embedded方法L1MSVM,該算法通過(guò)加入l1范數(shù),修改標(biāo)準(zhǔn)SVM的目標(biāo)函數(shù),為自適應(yīng)特征選擇計(jì)算整個(gè)正則化解決方案路徑。該算法的目標(biāo)函數(shù)為:

    (2)

    l1范數(shù)SVM是標(biāo)準(zhǔn)l2范數(shù)SVM的變體,在處理高維問(wèn)題和冗余噪聲特征時(shí),l1范數(shù)SVM比l2范數(shù)SVM有一些優(yōu)勢(shì),但l1范數(shù)SVM不適合處理存在強(qiáng)相關(guān)特征組合的場(chǎng)合。為了較好地解決這一問(wèn)題,文獻(xiàn)[32]提出特征選擇算法DrSVM(doubly regularized support vector machine)。該算法混合了l2范數(shù)和l1范數(shù),在標(biāo)準(zhǔn)SVM的目標(biāo)函數(shù)加人l1范數(shù),算法的優(yōu)點(diǎn)是能夠同時(shí)移除或選擇一組強(qiáng)相關(guān)的重要特征。DrSVM算法等價(jià)于解決下面的問(wèn)題:

    (3)

    其中,λ1和λ2均是調(diào)整參數(shù),[1-z]+=max(1-z,0),(xi,yi)表示訓(xùn)練數(shù)據(jù),yi表示第i個(gè)樣本的類別,yi∈{+1,-1}。l1范數(shù)的作用是來(lái)進(jìn)行特征選擇,而l2范數(shù)的作用是同時(shí)選擇一組強(qiáng)相關(guān)的特征。文獻(xiàn)[32]研究表明,l2范數(shù)傾向于產(chǎn)生強(qiáng)相關(guān)的特征,且這些特征對(duì)應(yīng)的系數(shù)幾乎相等,稱這種現(xiàn)象為分組效應(yīng)。

    DrSVM算法是基于SVM的Embedded特征選擇算法,和基于SVM的Embedded特征選擇算法l1-SVM相比,二者相同點(diǎn)是特征選擇過(guò)程和學(xué)習(xí)過(guò)程融于一體,在學(xué)習(xí)過(guò)程中自動(dòng)地進(jìn)行特征選擇;不同點(diǎn)是DrSVM算法能夠同時(shí)選擇或舍棄一組強(qiáng)相關(guān)的特征,而l1-SVM不考慮特征間的相關(guān)性,只能從強(qiáng)相關(guān)的特征中選擇一個(gè)[21]。DrSVM算法適用于維數(shù)高于訓(xùn)練樣本數(shù)的場(chǎng)合,而l1-SVM選擇的特征數(shù)目不超過(guò)訓(xùn)練樣本數(shù)。

    基于SVM的Embedded特征選擇算法,特征選擇過(guò)程作為組成部分嵌入到學(xué)習(xí)算法里,這類算法效率較高,得到的學(xué)習(xí)算法有較好的性能。但如何基于標(biāo)準(zhǔn)SVM算法,來(lái)構(gòu)造算法的目標(biāo)函數(shù)是目前算法研究的熱點(diǎn)。

    (三)基于SVM的混合特征選擇算法

    基于SVM的混合特征選擇先使用Filter算法快速進(jìn)行特征選擇,然后利用Wrapper特征選擇算法進(jìn)一步細(xì)化,得到更為有效的特征子集。

    文獻(xiàn)[33]提出基于SVM的混合特征選擇算法FS_SFS(Filtered and Supported Sequential forward search),和傳統(tǒng)的采用序列前向選擇的Wrapper方法比較,該算法有兩個(gè)重要的特性來(lái)減少計(jì)算時(shí)間。該算法首先使用Filter算法對(duì)原始特征進(jìn)行預(yù)處理,然后對(duì)預(yù)處理后的特征子集,利用Wrapper算法進(jìn)一步細(xì)化。該算法提出了一種新的評(píng)分準(zhǔn)則,該準(zhǔn)則既考慮了單個(gè)特征的區(qū)分能力,又考慮了特征之間的相關(guān)性,從而有效地過(guò)濾非本質(zhì)特征。

    文獻(xiàn)[34]提出的基于SVM的混合特征選擇算法F_SSFS(F-score and Supported Sequential Forward Search),該算法結(jié)合了F-score和序列前向選擇,結(jié)合了Filter方法和Wrapper方法各自的優(yōu)勢(shì)來(lái)選擇最優(yōu)特征子集,該算法可應(yīng)用于股票市場(chǎng)預(yù)測(cè)??紤]到Filter算法和Wrapper算法各自的優(yōu)缺點(diǎn),即Filter方法的計(jì)算成本低,但分類可靠性不足,而Wrapper方法具有較高的分類精度,但需要很大的計(jì)算能力,文獻(xiàn)[35]將二者整合成一個(gè)序列搜索算法,用以提高所選擇特征對(duì)于分類算法的性能。該算法添加預(yù)選擇步驟,以提高特征選擇的效率,利用ROC(receiver operating characteristic) 曲線作為搜索策略,利用SVM作為分類器,算法在生物數(shù)據(jù)分類上得到了很好的應(yīng)用。

    文獻(xiàn)[36]提出了一種新的基于隊(duì)列智能算法的特征選擇與支持向量機(jī)(SVM)模型選擇混合方法SVM_SACI。方法將自適應(yīng)隊(duì)列智能(SACI)算法與SVM集成,形成了一種新的混合方法,用于同時(shí)進(jìn)行特征選擇和SVM模型選擇,在多個(gè)數(shù)據(jù)集上的檢驗(yàn)結(jié)果表明,SACI在支持向量機(jī)分類精度和降維方面優(yōu)于其他啟發(fā)式方法。針對(duì)樣本量遠(yuǎn)小于數(shù)據(jù)集特征個(gè)數(shù)的小樣本可能帶來(lái)的奇異性問(wèn)題,文獻(xiàn)[37]提出了一種0

    文獻(xiàn)[38]提出了一種基于蝗蟲(chóng)優(yōu)化算法(GOA)和SVM的混合方法,該方法對(duì)支持向量機(jī)模型的參數(shù)進(jìn)行優(yōu)化,同時(shí)找到最佳特征子集。在多個(gè)低維和高維數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果表明,該方法在分類精度上優(yōu)于其他方法,同時(shí)最小化了所選特征的數(shù)目。文獻(xiàn)[39]提出了一種基于SVM方法的特征選擇分類問(wèn)題的MILP模型,利用精確算法和啟發(fā)式算法,分析了該模型的不同求解方法。通過(guò)在多個(gè)數(shù)據(jù)集的檢驗(yàn)和經(jīng)典分類方法的比較,對(duì)模型進(jìn)行了驗(yàn)證。文獻(xiàn)[40]提出了一種新穎的進(jìn)化算法(lion算法)和SVM的混合方法,利用lion算法選擇高維數(shù)據(jù)集的特征子集,解決分類問(wèn)題。特征選擇過(guò)程識(shí)別并刪除無(wú)關(guān)/冗余特征,以減少特征維數(shù),從而提高分類的效率和準(zhǔn)確性。

    四、結(jié)語(yǔ)

    本文闡述了自動(dòng)文本分類中特征選擇的算法框架,探討了特征選擇的分類方法,介紹了SVM用于特征選擇的意義,對(duì)基于SVM的特征選擇算法進(jìn)行了歸納總結(jié),重點(diǎn)總結(jié)了基于SVM的Wrapper特征選擇、Embedded特征選擇以及混合特征選擇算法,分析對(duì)比了基于SVM的三類特征選擇的優(yōu)缺點(diǎn)。SVM算法的效率和性能主要取決于內(nèi)核類型及其參數(shù),在處理高維數(shù)據(jù)集時(shí),用于SVM模型的特征子集選擇是影響分類精度的另一個(gè)重要因素。如何利用已有的算法或提出新穎的算法用于高維數(shù)據(jù)集的特征選擇并訓(xùn)練SVM模型的參數(shù),是基于SVM特征選擇的研究熱點(diǎn)和分類應(yīng)用發(fā)展方向。

    猜你喜歡
    特征選擇范數(shù)子集
    由一道有關(guān)集合的子集個(gè)數(shù)題引發(fā)的思考
    拓?fù)淇臻g中緊致子集的性質(zhì)研究
    關(guān)于奇數(shù)階二元子集的分離序列
    基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析
    矩陣酉不變范數(shù)H?lder不等式及其應(yīng)用
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    每一次愛(ài)情都只是愛(ài)情的子集
    都市麗人(2015年4期)2015-03-20 13:33:22
    一類具有準(zhǔn)齊次核的Hilbert型奇異重積分算子的范數(shù)及應(yīng)用
    基于特征選擇和RRVPMCD的滾動(dòng)軸承故障診斷方法
    日韩电影二区| 国产成+人综合+亚洲专区| 国产av精品麻豆| 女人久久www免费人成看片| 国产精品九九99| 91麻豆精品激情在线观看国产 | 国产精品麻豆人妻色哟哟久久| 伊人久久大香线蕉亚洲五| 女人高潮潮喷娇喘18禁视频| avwww免费| 国产野战对白在线观看| 午夜免费成人在线视频| 欧美精品高潮呻吟av久久| 超碰97精品在线观看| 中国国产av一级| 自拍欧美九色日韩亚洲蝌蚪91| 精品熟女少妇八av免费久了| 国产成人啪精品午夜网站| 午夜日韩欧美国产| 妹子高潮喷水视频| 青春草视频在线免费观看| videosex国产| 91国产中文字幕| 成年女人毛片免费观看观看9 | 老鸭窝网址在线观看| 久久这里只有精品19| 搡老乐熟女国产| 欧美人与性动交α欧美软件| 黑人巨大精品欧美一区二区蜜桃| 亚洲视频免费观看视频| 亚洲国产精品一区二区三区在线| 午夜老司机福利片| 人人澡人人妻人| 国产精品久久久久久精品电影小说| 亚洲 国产 在线| 精品乱码久久久久久99久播| 满18在线观看网站| 亚洲国产av新网站| 亚洲精品久久午夜乱码| 丝袜脚勾引网站| 精品人妻1区二区| 精品少妇黑人巨大在线播放| 国产黄色免费在线视频| 色综合欧美亚洲国产小说| 男男h啪啪无遮挡| 日韩中文字幕欧美一区二区| 亚洲精品久久成人aⅴ小说| 国产av精品麻豆| 日本一区二区免费在线视频| 久久久久久久久免费视频了| 国产精品1区2区在线观看. | 日韩免费高清中文字幕av| 少妇粗大呻吟视频| 99精品欧美一区二区三区四区| 在线看a的网站| 少妇人妻久久综合中文| 精品国内亚洲2022精品成人 | 久久久久精品国产欧美久久久 | 亚洲精品粉嫩美女一区| 久久精品亚洲av国产电影网| 男女国产视频网站| 男人爽女人下面视频在线观看| 精品亚洲乱码少妇综合久久| 视频区欧美日本亚洲| 亚洲av日韩在线播放| 日本wwww免费看| 一级毛片女人18水好多| 超碰97精品在线观看| kizo精华| 成年人午夜在线观看视频| 99热全是精品| 考比视频在线观看| 亚洲av日韩在线播放| 老司机午夜十八禁免费视频| 黄色a级毛片大全视频| 亚洲三区欧美一区| a级片在线免费高清观看视频| 欧美精品一区二区大全| 国产成人欧美在线观看 | 国产99久久九九免费精品| 国产精品国产三级国产专区5o| 久久久精品免费免费高清| 国产福利在线免费观看视频| 一本色道久久久久久精品综合| 丝袜美足系列| 狠狠精品人妻久久久久久综合| 午夜福利,免费看| 麻豆av在线久日| 亚洲avbb在线观看| 久久午夜综合久久蜜桃| 欧美日韩成人在线一区二区| 亚洲欧美色中文字幕在线| 婷婷色av中文字幕| 另类精品久久| 91字幕亚洲| 国产日韩欧美在线精品| 亚洲av电影在线进入| 亚洲熟女精品中文字幕| 婷婷丁香在线五月| 男女国产视频网站| 日日夜夜操网爽| 超碰成人久久| 欧美 亚洲 国产 日韩一| 亚洲欧美日韩另类电影网站| 蜜桃国产av成人99| 在线观看人妻少妇| 欧美激情 高清一区二区三区| 亚洲av欧美aⅴ国产| 久久久久视频综合| av电影中文网址| 日本五十路高清| 国产精品一区二区在线观看99| 99精品久久久久人妻精品| 伦理电影免费视频| 黑人巨大精品欧美一区二区mp4| 日韩电影二区| 亚洲欧美一区二区三区黑人| √禁漫天堂资源中文www| 下体分泌物呈黄色| 国产又色又爽无遮挡免| 国产一区二区三区av在线| 日日夜夜操网爽| av天堂在线播放| 俄罗斯特黄特色一大片| 亚洲精品国产一区二区精华液| av免费在线观看网站| 在线永久观看黄色视频| 亚洲精品自拍成人| av天堂久久9| 国产无遮挡羞羞视频在线观看| 19禁男女啪啪无遮挡网站| 亚洲伊人久久精品综合| 亚洲自偷自拍图片 自拍| 欧美黑人精品巨大| 久久性视频一级片| 久久国产亚洲av麻豆专区| 亚洲 国产 在线| 中文字幕人妻丝袜制服| 高清在线国产一区| 欧美日韩亚洲高清精品| 黑丝袜美女国产一区| 欧美一级毛片孕妇| 一级a爱视频在线免费观看| 国产又色又爽无遮挡免| 精品国产乱码久久久久久小说| 欧美日韩国产mv在线观看视频| 国产成人系列免费观看| 亚洲一区二区三区欧美精品| 午夜激情久久久久久久| 国产精品 欧美亚洲| 日本a在线网址| 9热在线视频观看99| av天堂久久9| 久久99热这里只频精品6学生| 国精品久久久久久国模美| 精品卡一卡二卡四卡免费| 亚洲国产精品一区三区| 搡老乐熟女国产| 午夜久久久在线观看| 国产精品免费大片| 亚洲免费av在线视频| 色精品久久人妻99蜜桃| 欧美xxⅹ黑人| 午夜福利一区二区在线看| 国产精品香港三级国产av潘金莲| 国产真人三级小视频在线观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲全国av大片| 国产不卡av网站在线观看| 国产免费福利视频在线观看| 极品人妻少妇av视频| 黑人猛操日本美女一级片| 欧美 亚洲 国产 日韩一| av天堂在线播放| 19禁男女啪啪无遮挡网站| 国产伦人伦偷精品视频| 久久香蕉激情| 精品第一国产精品| 一级黄色大片毛片| 国产真人三级小视频在线观看| 精品国产一区二区三区久久久樱花| 成人黄色视频免费在线看| 一级毛片电影观看| 国产老妇伦熟女老妇高清| 久久久国产欧美日韩av| 美女脱内裤让男人舔精品视频| 国产欧美日韩综合在线一区二区| 精品一区二区三区av网在线观看 | 国产精品 欧美亚洲| 欧美 亚洲 国产 日韩一| 亚洲少妇的诱惑av| av有码第一页| 操出白浆在线播放| 亚洲欧美日韩高清在线视频 | 国产av一区二区精品久久| 成人黄色视频免费在线看| 久久热在线av| 国产亚洲精品第一综合不卡| 91av网站免费观看| 各种免费的搞黄视频| 两个人看的免费小视频| 不卡一级毛片| 欧美日本中文国产一区发布| 亚洲av男天堂| 女性被躁到高潮视频| 青春草视频在线免费观看| av有码第一页| 成人黄色视频免费在线看| 成年人黄色毛片网站| 精品人妻一区二区三区麻豆| av在线app专区| 亚洲少妇的诱惑av| 日韩 欧美 亚洲 中文字幕| 亚洲av美国av| 成人免费观看视频高清| 俄罗斯特黄特色一大片| 俄罗斯特黄特色一大片| 国产一区二区在线观看av| 亚洲av男天堂| 欧美久久黑人一区二区| 热re99久久国产66热| 99热全是精品| 亚洲 欧美一区二区三区| 一区二区三区乱码不卡18| 亚洲欧美精品综合一区二区三区| 亚洲少妇的诱惑av| 99久久人妻综合| 久久天躁狠狠躁夜夜2o2o| 丰满人妻熟妇乱又伦精品不卡| 男人舔女人的私密视频| 免费女性裸体啪啪无遮挡网站| 在线av久久热| 亚洲精品国产区一区二| 成人免费观看视频高清| 一本—道久久a久久精品蜜桃钙片| 欧美成人午夜精品| 国产精品九九99| 免费观看a级毛片全部| 国产免费视频播放在线视频| 91成人精品电影| 欧美日韩成人在线一区二区| av在线播放精品| 婷婷成人精品国产| 亚洲av欧美aⅴ国产| 丰满迷人的少妇在线观看| 国产一区有黄有色的免费视频| 欧美xxⅹ黑人| 黑人猛操日本美女一级片| 精品人妻1区二区| 日本a在线网址| 亚洲avbb在线观看| 十八禁高潮呻吟视频| 亚洲九九香蕉| 91麻豆av在线| 中文字幕制服av| 一个人免费在线观看的高清视频 | 黑人欧美特级aaaaaa片| 少妇粗大呻吟视频| 91麻豆精品激情在线观看国产 | 我的亚洲天堂| 一二三四在线观看免费中文在| 亚洲专区中文字幕在线| 法律面前人人平等表现在哪些方面 | 欧美国产精品一级二级三级| 色视频在线一区二区三区| 国产成人精品久久二区二区免费| 不卡一级毛片| 午夜影院在线不卡| 岛国毛片在线播放| 亚洲一码二码三码区别大吗| 两性夫妻黄色片| 欧美日韩亚洲国产一区二区在线观看 | 色婷婷av一区二区三区视频| 成年女人毛片免费观看观看9 | 水蜜桃什么品种好| 亚洲av成人不卡在线观看播放网 | 精品一区在线观看国产| 欧美 日韩 精品 国产| 国产精品一区二区在线观看99| 久久热在线av| 亚洲伊人色综图| 久久精品成人免费网站| 亚洲中文日韩欧美视频| 搡老岳熟女国产| 精品国产一区二区久久| 亚洲午夜精品一区,二区,三区| 亚洲全国av大片| 久久精品亚洲av国产电影网| 精品国产国语对白av| 99久久人妻综合| 国产欧美日韩一区二区精品| 免费在线观看视频国产中文字幕亚洲 | 国产成人欧美| 中亚洲国语对白在线视频| 人人澡人人妻人| 久久久精品免费免费高清| 后天国语完整版免费观看| 午夜激情av网站| 精品人妻熟女毛片av久久网站| 久久久国产成人免费| 窝窝影院91人妻| 男女午夜视频在线观看| 母亲3免费完整高清在线观看| av一本久久久久| 欧美在线黄色| 免费人妻精品一区二区三区视频| 色播在线永久视频| 精品国产超薄肉色丝袜足j| 在线天堂中文资源库| 国产成人一区二区三区免费视频网站| 大片免费播放器 马上看| 悠悠久久av| 91成年电影在线观看| 青青草视频在线视频观看| 悠悠久久av| 欧美老熟妇乱子伦牲交| 丁香六月天网| 国产精品久久久av美女十八| 91av网站免费观看| 精品一区二区三区四区五区乱码| 久久综合国产亚洲精品| 啦啦啦啦在线视频资源| 成年人免费黄色播放视频| 久久免费观看电影| 久久午夜综合久久蜜桃| 亚洲午夜精品一区,二区,三区| 欧美老熟妇乱子伦牲交| 啪啪无遮挡十八禁网站| 自拍欧美九色日韩亚洲蝌蚪91| a级毛片黄视频| 久久久久久久大尺度免费视频| 日本欧美视频一区| 男女之事视频高清在线观看| 国产一区二区三区av在线| 9色porny在线观看| 久久久久久久国产电影| 欧美午夜高清在线| 大型av网站在线播放| 一级片'在线观看视频| 色播在线永久视频| 亚洲国产成人一精品久久久| 久久天堂一区二区三区四区| 如日韩欧美国产精品一区二区三区| 制服人妻中文乱码| 啦啦啦视频在线资源免费观看| 久热爱精品视频在线9| 精品国产一区二区三区四区第35| 成年美女黄网站色视频大全免费| 亚洲欧美一区二区三区久久| 在线精品无人区一区二区三| 免费不卡黄色视频| 99久久人妻综合| 麻豆av在线久日| 欧美精品亚洲一区二区| 叶爱在线成人免费视频播放| 一本综合久久免费| 精品人妻熟女毛片av久久网站| 青青草视频在线视频观看| 一个人免费看片子| 久久久久国内视频| 亚洲精品国产av成人精品| 日韩三级视频一区二区三区| 欧美国产精品一级二级三级| 国产主播在线观看一区二区| 女人精品久久久久毛片| 美女国产高潮福利片在线看| 成年美女黄网站色视频大全免费| 久久热在线av| 国产高清视频在线播放一区 | 欧美日韩福利视频一区二区| 午夜免费鲁丝| 黑人巨大精品欧美一区二区蜜桃| 亚洲av国产av综合av卡| 少妇 在线观看| 人妻 亚洲 视频| 精品熟女少妇八av免费久了| 久久精品国产综合久久久| 欧美乱码精品一区二区三区| a级片在线免费高清观看视频| 在线观看免费日韩欧美大片| 亚洲欧美清纯卡通| 亚洲第一av免费看| 成年人黄色毛片网站| 中文字幕av电影在线播放| 国产欧美日韩一区二区三区在线| 久久免费观看电影| 成人18禁高潮啪啪吃奶动态图| 建设人人有责人人尽责人人享有的| 99国产综合亚洲精品| 国产精品亚洲av一区麻豆| 中文字幕高清在线视频| 欧美老熟妇乱子伦牲交| 一区在线观看完整版| 岛国在线观看网站| 亚洲精品一二三| 嫁个100分男人电影在线观看| 午夜福利影视在线免费观看| 久久久国产欧美日韩av| 性色av乱码一区二区三区2| 成人三级做爰电影| 国产av国产精品国产| 老司机亚洲免费影院| 精品福利观看| 久久精品国产a三级三级三级| 国产91精品成人一区二区三区 | 女人爽到高潮嗷嗷叫在线视频| 精品国产超薄肉色丝袜足j| 欧美激情 高清一区二区三区| 1024视频免费在线观看| 多毛熟女@视频| 国产精品1区2区在线观看. | 建设人人有责人人尽责人人享有的| 他把我摸到了高潮在线观看 | 免费在线观看影片大全网站| 欧美精品人与动牲交sv欧美| 亚洲av成人一区二区三| 欧美日韩亚洲综合一区二区三区_| 亚洲情色 制服丝袜| 精品亚洲成a人片在线观看| 免费人妻精品一区二区三区视频| 女人被躁到高潮嗷嗷叫费观| 免费看十八禁软件| 不卡av一区二区三区| 日本欧美视频一区| 中亚洲国语对白在线视频| 久久久精品94久久精品| 丰满饥渴人妻一区二区三| 大陆偷拍与自拍| 日日夜夜操网爽| 久久精品国产亚洲av香蕉五月 | 在线观看免费日韩欧美大片| 两性午夜刺激爽爽歪歪视频在线观看 | 中文字幕制服av| 视频区图区小说| 亚洲精品成人av观看孕妇| 亚洲性夜色夜夜综合| 亚洲情色 制服丝袜| 99国产精品免费福利视频| √禁漫天堂资源中文www| 99久久人妻综合| 爱豆传媒免费全集在线观看| 午夜视频精品福利| 麻豆av在线久日| 午夜日韩欧美国产| 51午夜福利影视在线观看| 亚洲精品国产一区二区精华液| 美女脱内裤让男人舔精品视频| 黄色 视频免费看| 国产av精品麻豆| 久久99热这里只频精品6学生| 国产在线观看jvid| 国产片内射在线| 亚洲国产毛片av蜜桃av| 日韩有码中文字幕| 天堂俺去俺来也www色官网| 最黄视频免费看| 久久国产亚洲av麻豆专区| 久久人人爽人人片av| 99国产精品一区二区蜜桃av | 捣出白浆h1v1| 制服人妻中文乱码| 精品人妻1区二区| 自拍欧美九色日韩亚洲蝌蚪91| 人人妻,人人澡人人爽秒播| 别揉我奶头~嗯~啊~动态视频 | 视频在线观看一区二区三区| 中文字幕精品免费在线观看视频| 性高湖久久久久久久久免费观看| 国产成人免费无遮挡视频| 欧美激情高清一区二区三区| 精品高清国产在线一区| 亚洲久久久国产精品| 欧美国产精品一级二级三级| 日本精品一区二区三区蜜桃| 免费av中文字幕在线| 亚洲欧美色中文字幕在线| 在线观看免费午夜福利视频| 亚洲成人免费av在线播放| 日本一区二区免费在线视频| 国产成人欧美| 99国产精品一区二区蜜桃av | 男女之事视频高清在线观看| 99国产精品99久久久久| 欧美黄色片欧美黄色片| av一本久久久久| 国产精品久久久av美女十八| 亚洲成国产人片在线观看| 97在线人人人人妻| 欧美成狂野欧美在线观看| 五月天丁香电影| 国产伦人伦偷精品视频| 中文字幕av电影在线播放| 久久毛片免费看一区二区三区| 久久ye,这里只有精品| 欧美在线黄色| 操美女的视频在线观看| 国产精品国产av在线观看| 美女扒开内裤让男人捅视频| 国产亚洲av高清不卡| 交换朋友夫妻互换小说| 9热在线视频观看99| 中文字幕人妻丝袜制服| 亚洲成人手机| 免费在线观看完整版高清| 一级毛片女人18水好多| 中文字幕人妻丝袜一区二区| 人人妻人人添人人爽欧美一区卜| 午夜免费成人在线视频| 婷婷丁香在线五月| 久久久国产欧美日韩av| 久久久久视频综合| 亚洲国产欧美日韩在线播放| 亚洲第一欧美日韩一区二区三区 | 正在播放国产对白刺激| 19禁男女啪啪无遮挡网站| 我的亚洲天堂| 久久毛片免费看一区二区三区| 精品国产一区二区久久| 久久 成人 亚洲| 在线观看一区二区三区激情| 天天操日日干夜夜撸| 熟女少妇亚洲综合色aaa.| 欧美 亚洲 国产 日韩一| 久久精品国产亚洲av香蕉五月 | 国产欧美日韩一区二区精品| 色播在线永久视频| avwww免费| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲欧美清纯卡通| 亚洲第一青青草原| 国产精品秋霞免费鲁丝片| 午夜激情av网站| 美女高潮到喷水免费观看| 国产男女内射视频| 狠狠精品人妻久久久久久综合| 老鸭窝网址在线观看| 男人爽女人下面视频在线观看| 男女下面插进去视频免费观看| 亚洲国产欧美日韩在线播放| 亚洲人成电影免费在线| 国产一级毛片在线| tocl精华| 激情视频va一区二区三区| 肉色欧美久久久久久久蜜桃| 久久天躁狠狠躁夜夜2o2o| www.精华液| 国产精品一二三区在线看| av视频免费观看在线观看| 亚洲精品乱久久久久久| 亚洲国产毛片av蜜桃av| 后天国语完整版免费观看| 在线 av 中文字幕| 99国产精品一区二区蜜桃av | 精品高清国产在线一区| 午夜福利乱码中文字幕| 欧美中文综合在线视频| 99久久人妻综合| 久久精品亚洲av国产电影网| 妹子高潮喷水视频| 国产福利在线免费观看视频| 亚洲一码二码三码区别大吗| 黑人猛操日本美女一级片| 亚洲国产看品久久| 中文字幕人妻熟女乱码| 爱豆传媒免费全集在线观看| 亚洲欧美清纯卡通| 19禁男女啪啪无遮挡网站| 久久午夜综合久久蜜桃| 一二三四社区在线视频社区8| 亚洲欧洲日产国产| 老熟妇仑乱视频hdxx| 99久久精品国产亚洲精品| 黄色 视频免费看| 肉色欧美久久久久久久蜜桃| 中文字幕高清在线视频| 久久亚洲国产成人精品v| av又黄又爽大尺度在线免费看| a 毛片基地| 亚洲性夜色夜夜综合| 久久 成人 亚洲| 欧美黄色片欧美黄色片| 亚洲国产欧美在线一区| 99久久人妻综合| 欧美日韩福利视频一区二区| 少妇 在线观看| 狠狠婷婷综合久久久久久88av| 国产1区2区3区精品| av在线老鸭窝| 大香蕉久久成人网| 一级黄色大片毛片| 超色免费av| 精品福利观看| 精品一区二区三区四区五区乱码| 亚洲成人免费av在线播放| 脱女人内裤的视频| 麻豆av在线久日| 国产亚洲一区二区精品| 日韩中文字幕视频在线看片| 日韩,欧美,国产一区二区三区| 午夜福利视频精品| 久久久久国内视频| 飞空精品影院首页| 国产成人av教育| 亚洲成人国产一区在线观看| 国精品久久久久久国模美| 91成年电影在线观看| 97人妻天天添夜夜摸| av超薄肉色丝袜交足视频| 老司机靠b影院| 国产成人啪精品午夜网站| 午夜福利,免费看| 日日夜夜操网爽| 丝袜人妻中文字幕| 国产高清视频在线播放一区 | 超色免费av|