• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    高維小樣本分類問題中特征選擇研究綜述

    2017-11-15 06:12:45胡學(xué)鋼
    計(jì)算機(jī)應(yīng)用 2017年9期
    關(guān)鍵詞:高維特征選擇子集

    王 翔,胡學(xué)鋼

    (1.合肥工業(yè)大學(xué) 計(jì)算機(jī)信息學(xué)院,合肥 230009; 2.安徽省科學(xué)技術(shù)情報(bào)研究所 文獻(xiàn)情報(bào)分析中心,合肥 230011)(*通信作者電子郵箱wangxiang@ahinfo.gov.cn)

    高維小樣本分類問題中特征選擇研究綜述

    王 翔1,2*,胡學(xué)鋼1

    (1.合肥工業(yè)大學(xué) 計(jì)算機(jī)信息學(xué)院,合肥 230009; 2.安徽省科學(xué)技術(shù)情報(bào)研究所 文獻(xiàn)情報(bào)分析中心,合肥 230011)(*通信作者電子郵箱wangxiang@ahinfo.gov.cn)

    隨著生物信息學(xué)、基因表達(dá)譜微陣列、圖像識別等技術(shù)的發(fā)展,高維小樣本分類問題成為數(shù)據(jù)挖掘(包括機(jī)器學(xué)習(xí)、模式識別)中的一項(xiàng)挑戰(zhàn)性任務(wù),容易引發(fā)“維數(shù)災(zāi)難”和過擬合問題。針對這個問題,特征選擇可以有效避免維數(shù)災(zāi)難,提升分類模型泛化能力,成為研究的熱點(diǎn),有必要對國內(nèi)外高維小樣本特征選擇主要研究情況進(jìn)行綜述。首先分析了高維小樣本特征選擇問題的本質(zhì);其次,根據(jù)其算法的本質(zhì)區(qū)別,重點(diǎn)對高維小樣本數(shù)據(jù)的特征選擇方法進(jìn)行分類剖析和比較;最后對高維小樣本特征選擇研究面臨的挑戰(zhàn)以及研究方向作了展望。

    特征選擇;高維數(shù)據(jù);小樣本學(xué)習(xí);信息過濾;支持向量機(jī)

    0 引言

    隨著科學(xué)研究的不斷進(jìn)步,數(shù)據(jù)挖掘領(lǐng)域需處理的對象越來越復(fù)雜,其數(shù)據(jù)維度也在急劇增加,在圖像識別、文本分類、生物信息學(xué)、基因微陣列分析等大規(guī)模數(shù)據(jù)挖掘應(yīng)用中出現(xiàn)了一個被稱為高維小樣本學(xué)習(xí)的研究熱點(diǎn)。

    高維小樣本數(shù)據(jù),是指具備數(shù)據(jù)維數(shù)特別高,樣本絕對數(shù)量很少或樣本數(shù)遠(yuǎn)小于數(shù)據(jù)維數(shù)特征的數(shù)據(jù)(也有文獻(xiàn)稱為”Largepsmalln”數(shù)據(jù)[1],p代表特征數(shù),n代表樣本數(shù))。

    高維小樣本數(shù)據(jù)上的分類問題是機(jī)器學(xué)習(xí)中的難點(diǎn),針對不同的應(yīng)用領(lǐng)域衍生出了高維小樣本、高維稀疏、高維不平衡等多個研究熱點(diǎn)。較高的維數(shù)是獲得問題準(zhǔn)確描述的有力保障,而難以避免地會含有大量冗余、不相關(guān)和噪聲特征,由于高維小樣本數(shù)據(jù)的這些特點(diǎn),容易引發(fā)“維數(shù)災(zāi)難”(Curse of Dimensionality),即隨著維數(shù)增高,計(jì)算復(fù)雜度顯著增高而分類器的性能急劇下降;又因?yàn)槠錁颖緮?shù)量很少,傳統(tǒng)的分類學(xué)習(xí)方法效能嚴(yán)重下降,容易出現(xiàn)過擬合(Over Fitting),無法進(jìn)行有效的分類或識別;近年來,高維小樣本導(dǎo)致的特征選擇模型的不穩(wěn)定性也引起了重視。為了消除或減輕維數(shù)災(zāi)難,同時(shí)提升分類器的泛化能力,降維成為重要途徑。

    在不同應(yīng)用領(lǐng)域的高維小樣本降維研究中,特征抽取與特征選擇是兩類非常重要的技術(shù)。特征抽取主要是是將高維數(shù)據(jù)映射到特定的低維空間,而特征選擇可以看作從初始特征空間搜索出一個最優(yōu)特征子集的過程。

    從算法原理上分析,特征抽取是一種基于變換的方法,原數(shù)據(jù)中的不相關(guān)和冗余的特征均在降維中產(chǎn)生作用,影響了分類性能,且新的低維特征空間中特征失去原有的物理解釋,對某些高維小樣本數(shù)據(jù)分類問題(如癌癥基因分析)而言,很難接受。特征選擇并不改變原特征空間,只是選擇一些分辨力好的特征,組成一個新的低維空間,可以保留原始特征空間大部分性質(zhì),對于高維小樣本而言,特征選擇可以去除不相關(guān)特征和冗余特征,在一定程度上將噪聲數(shù)據(jù)對分類器性能的影響降到最低,且選擇的特征可解釋性較好。

    特征選擇已成為高維小樣本數(shù)據(jù)分類問題中的關(guān)鍵性步驟,一直是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘研究的熱點(diǎn)之一,新的算法也不斷地被提出,本文對當(dāng)前已進(jìn)行的研究進(jìn)行綜述,嘗試從原理上分析這些算法的區(qū)別與聯(lián)系,總結(jié)各自的優(yōu)點(diǎn)與不足,并對未來高維小樣本特征選擇的研究進(jìn)行展望。

    1 高維小樣本中的特征選擇

    為了便于比較和分析,本文按照評價(jià)函數(shù)的不同將高維小樣本特征選擇方法分為Filter(篩選法)、Wrapper(封裝法)、Embedded(嵌入式)以及Ensemble(集成法)四類,在實(shí)際高維小樣本分類應(yīng)用中,Embedded方法因其適合處理小樣本問題而受到了諸多研究人員的關(guān)注,本文也將針對該類方法作重點(diǎn)分析。

    1.1 Filter(篩選法)

    Filter(篩選法)通過分析特征子集內(nèi)部的特點(diǎn)來衡量特征的分類能力,與后面的采用何種分類器無關(guān),這類方法通常需要評價(jià)特征相關(guān)性的評分函數(shù)和閾值判別法來選擇出得分最高的特征子集。通過文獻(xiàn)調(diào)研,根據(jù)選擇特征子集方式的不同,可以繼續(xù)劃分為基于特征排序(Feature Ranking)和基于特征空間搜索(Space Search)兩類。

    基于特征排序的方法,其主要思想[2]是:

    1)使用評分函數(shù)(Scoring Function)對每個特征進(jìn)行評分,并將所有特征按照得分的降序排列;

    2)對每個特征得分進(jìn)行顯著性檢驗(yàn)(如p-value等);

    3)通過預(yù)先設(shè)置的閾值選擇排序前列的具有顯著統(tǒng)計(jì)學(xué)意義的特征;

    4)驗(yàn)證選擇的最優(yōu)特征子集,通常使用ROC(Receiver Operating Characteristic)曲線、分類正確率、組相關(guān)系數(shù)、穩(wěn)定性等。

    基于特征排序方法的核心就是評分函數(shù),表1列舉了高維小樣本分類應(yīng)用中出現(xiàn)的基于度量樣本群分布之間的差異、基于信息論、基于相關(guān)性標(biāo)準(zhǔn)等三類熱門評分函數(shù)。

    表1 按評分函數(shù)分類的基于特征排序方法

    基于特征空間搜索法主要是采用一種優(yōu)化策略從整個特征集合中選出包含最多信息并且達(dá)到最小冗余的特征子集。在特定領(lǐng)域,如致病基因的準(zhǔn)確發(fā)現(xiàn)有一些研究,如基于關(guān)聯(lián)規(guī)則(Correlation-based Feature Selection, CFS)、最大相關(guān)最小冗余(Maximum Relevance Minimum Redundancy, MRMR)等,表2給出了上述基于特征空間搜索法的幾類主流方法。

    表2 基于特征空間搜索方法

    基于特征排序的方法多為單變量方法,每次考慮單個特征的影響,選擇與類標(biāo)簽最相關(guān)的特征,對高維小樣本來說具有較低的計(jì)算復(fù)雜度,但在某些應(yīng)用領(lǐng)域如基因微陣列數(shù)據(jù)中,因忽略了特征間的相互關(guān)系,直接應(yīng)用分類精度較為一般;而基于特征空間搜索為多變量的方法,這類算法不但需要考慮特征子集與類標(biāo)簽的相關(guān)性,還需要考慮特征子集之間的相關(guān)性,通常分類正確率較高,但在高維條件下尋找最優(yōu)子集過程的計(jì)算復(fù)雜度較高。

    1.2 Wrapper(封裝法)

    Wrapper方法是一種與分類模型結(jié)合的特征選擇方法,使用某個分類模型封裝成黑盒,根據(jù)這個分類器在特征子集上的結(jié)果好壞來評價(jià)所選擇的特征,并采取某些優(yōu)化的搜索策略對子集進(jìn)行調(diào)整,最終獲得近似的最優(yōu)子集。N個特征的數(shù)據(jù)集,可能的特征子集數(shù)為2N個,發(fā)現(xiàn)最優(yōu)特征子集已經(jīng)被證明是NP-Hard,因此高維小樣本特征選擇中Wrapper研究熱點(diǎn)并不局限于采用何種分類模型作為評價(jià)準(zhǔn)則(通常使用遺傳算法(Genetic Algorithm, GA)[23]、支持向量機(jī)(Support Vector Machine, SVM)[24]、K最近鄰(K-Nearest Neighbor,KNN)[25]構(gòu)建分類模型),特征子集搜索策略成為研究熱點(diǎn)。

    根據(jù)文獻(xiàn)[26],Wrapper方法可以被粗略劃分為順序搜索與啟發(fā)式搜索兩類(有文獻(xiàn)將其分類為確定性與隨機(jī)性[22]):

    1)順序搜索算法。

    順序搜索算法從一個空的特征子集開始,通過不斷增加(或刪除)特征直到特征子集能使評價(jià)函數(shù)得到最好表現(xiàn),現(xiàn)實(shí)中會引入一些停止搜索的標(biāo)準(zhǔn)加速特征子集的選擇,確保評價(jià)函數(shù)持續(xù)增加并達(dá)到最好表現(xiàn)時(shí),所選擇特征子集具有最少數(shù)目。圖1給出了常規(guī)順序搜索算法的發(fā)展脈絡(luò)。

    圖1 順序搜索算法發(fā)展脈絡(luò)

    順序搜索策略不斷增加(或刪除)單個特征,避免了完全搜索計(jì)算復(fù)雜度過高的問題,但選擇出的特征子集很難避免所選特征之間的高度相關(guān)性[27];自適應(yīng)的順序浮動選擇方法(Adaptive Sequential Floating Forward Selection, ASFFS)[28]引入了參數(shù)r用于指定加入特征的數(shù)量,并使用參數(shù)o去除屬性;同時(shí),為了提升時(shí)間性能,Nakariyakul等[29]提出一種新的特征選擇方法——“增L去R”,每次從候選特征集中添加(或刪除)L個特征,考慮入選(或刪除)的L個特征之間相關(guān)性,然后刪除(或添加)與類標(biāo)簽最不相關(guān)(或最相關(guān))的R個特征,有效提升了算法的時(shí)間性能。

    2)啟發(fā)式搜索算法。

    啟發(fā)式搜索算法所開始搜索的初始特征子集是從完整的特征候選集中隨機(jī)生成,通過啟發(fā)式規(guī)則逐步接近最優(yōu)解,這種方法在搜索時(shí)具有很強(qiáng)的不確定性,但隨著算法的運(yùn)行,使用這種策略獲得的特征子集的質(zhì)量也能滿足需要。在高維小樣本特征選擇中常用的啟發(fā)式搜索方法有GA和粒子群優(yōu)化(Particle Swarm Optimization, PSO)算法[30]等,通過設(shè)定迭代次數(shù)的閾值,從而降低需要搜索的特征子集的數(shù)量,通過調(diào)整GA的參數(shù)和遺傳算子,還可以獲得更多的應(yīng)用。Cordón等[31]使用進(jìn)化遺傳算法的方法對圖像識別領(lǐng)域中的特征選擇問題進(jìn)行了嘗試。

    因?yàn)轫樞蛩阉魉惴ǖ奶攸c(diǎn),無法從已拋棄的特征中進(jìn)行二次選擇,也無法拋棄已選擇的特征,容易陷入被稱為嵌套影響(Nesting Effect)的局部最優(yōu)情況,啟發(fā)式搜索算法可以有效解決這些問題,并且有文獻(xiàn)表明,采用并行設(shè)計(jì)啟發(fā)式搜索算法的計(jì)算復(fù)雜度比順序選擇算法顯著降低[32]。

    1.3 Embedded(嵌入式)

    Embedded(嵌入式)方法的出現(xiàn)主要是為了解決Wrapper(封裝法)在處理不同數(shù)據(jù)集時(shí),分類模型需要重構(gòu)代價(jià)高等問題。如果嚴(yán)格區(qū)分,它與Wrapper的不同在于,Embedded將特征選擇與分類模型的學(xué)習(xí)過程結(jié)合,即在分類器的訓(xùn)練過程中包含了特征選擇功能,由于其高效的時(shí)空性能及較好的分類精度,逐漸成為高維小樣本特征選擇的熱點(diǎn)方向,其中,有兩類方法成為非常熱門的研究對象:一是以SVM為基礎(chǔ)的模型;二是以套索算法Lasso(Least Absolute absolute Shrinkage shrinkage and Selection selection Operator)為代表的正則化組稀疏模型。

    由于SVM可以根據(jù)有限的樣本在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳平衡,弱化了對數(shù)據(jù)正態(tài)分布的要求,同時(shí)對維數(shù)災(zāi)難不敏感,可以有效剔除冗余特征,具有較好的泛化性能,因而被廣泛用于處理高維小樣本特征選擇。

    Guyon等[33]采用基于遞歸特征的后項(xiàng)搜索剔除思想(Recursive Feature Elimination, RFE),提出SVM-RFE方法,該方法將SVM超平面的每個維度對應(yīng)高維小樣本數(shù)據(jù)集里的每個特征,從而每個維度權(quán)重的絕對值可以用來度量對應(yīng)數(shù)據(jù)特征的重要性,即通過權(quán)重對特征進(jìn)行降序排序。從排序后的特征集合開始,每次刪除排名靠后的一個特征,迭代直到該特征集合為空,一般來說最先被刪除的多為噪聲或冗余特征,最后被刪除的特征一般具有較強(qiáng)的區(qū)分能力,由于該方法在處理高維小樣本數(shù)據(jù)方面的優(yōu)勢及貪婪算法帶來的計(jì)算復(fù)雜度,圍繞該方法研究人員提出了許多改良方法,其中有按比例刪除特征的[34-35],采用前向序列思想的[36-37],采用模糊聚類的[38],基于Relief的[39]以及采用了粒子群算法的[40],圖2給出了部分基于SVM-RFE的算法分類。

    圖2 基于SVM-RFE的算法分類

    除基于SVM的方法之外,正則化稀疏模型可以將大量冗余或噪聲特征去除,同時(shí)保留與類標(biāo)變量最相關(guān)的特征,選擇的特征子集具有很好的可解釋性,也獲得了許多研究人員的關(guān)注。其代表算法有1996年Tibshirani[41]提出的Lasso,其基本思想是在最小二乘估計(jì)中加入系數(shù)的絕對值作為懲罰項(xiàng),使系數(shù)的絕對值之和小于等于某一個閾值來最小化殘差平方,能產(chǎn)生趨于0的回歸系數(shù),使得與目標(biāo)關(guān)系弱的預(yù)測變量(特征)系數(shù)被懲罰為0,從而具備特征選擇功能。表3給出了Lasso在高維小樣本數(shù)據(jù)應(yīng)用中的優(yōu)勢和不足。

    表3 Lasso在高維小樣本中的優(yōu)勢與不足

    為了解決Lasso的有偏估計(jì)問題,自適應(yīng)Lasso、松弛Lasso、SCAD(Smoothly Clipped Absolute Deviation )模型、MCP(Minimax Concave Penalty)等模型[42-43]相繼被提出。

    由于缺少高效的求解算法,Lasso在高維小樣本特征選擇研究中沒有廣泛流行, 最小角回歸(Least Angle Regression, LAR)算法[44]的出現(xiàn)有力促進(jìn)了Lasso在高維小樣本數(shù)據(jù)中的應(yīng)用,后續(xù)研究人員從降低計(jì)算復(fù)雜度及避免過擬合等角度對Lasso進(jìn)行了改進(jìn),如采用迭代思想的GSIL(Gene Selection based on Iterative Lasso),采用序貫思想的SLasso(Sequential Lasso)以及采用有監(jiān)督組Lasso(Supervised Group Lasso, SGLasso)等。表4給出了部分針對Lasso缺點(diǎn)的改進(jìn)方法及其基本思想。

    1.4 Ensemble(集成法)

    集成學(xué)習(xí)是使用一系列特征選擇方法進(jìn)行學(xué)習(xí),并使用某種規(guī)則把各個學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個特征選擇方法更好學(xué)習(xí)效果的高維小樣本特征選擇方法。在某些高維小樣本特征選擇問題研究中,學(xué)者多采用這類方法提升特征選擇算法的穩(wěn)定性,如Li等[52]提出一種新的特征選擇方法,采用重抽樣技術(shù)把數(shù)據(jù)擾動,生成幾個不同的訓(xùn)練集和測試集,反復(fù)調(diào)用遞歸決策樹,并把分類錯誤率作為評價(jià)指標(biāo)來選擇特征;Dutkowski等[53]將不同特征選擇算法用于基因選擇,并通過優(yōu)化策略來整合各個算法得到的結(jié)果,形成最終的特征子集;Saeys等[54]、Abeel等[55]將Bagging思想用于集成特征選擇,Saeys采用融合多個特征選擇算法結(jié)果的方式來完成特征子集的集成,而Abeel則通過樣本重取樣技術(shù)生成多個特征子集,并在若干高維小樣本數(shù)據(jù)集上與SVM-RFE方法進(jìn)行對比,取得較好效果。

    表4 針對Lasso的改進(jìn)算法

    1.5 特征選擇方法總結(jié)

    高維小樣本特征選擇難點(diǎn)在于在有限的樣本空間內(nèi)盡量剔除冗余特征及噪聲數(shù)據(jù)、盡量選擇分辨能力更好的特征、保證算法的穩(wěn)定性,同時(shí)還需要避免過擬合及綜合考慮時(shí)空性能。表5給出了四類特征選擇方法在高維小樣本應(yīng)用中的優(yōu)缺點(diǎn)對比。

    表5 四類特征選擇方法優(yōu)缺點(diǎn)對比

    在實(shí)際應(yīng)用中,SVM和以Lasso為代表的正則化方法是比較常見的方法,特別是SVM方法由于其產(chǎn)生的分類器結(jié)構(gòu)簡單,用到的樣本信息很少,受到了更多的關(guān)注,在一些文獻(xiàn)中也有將兩者結(jié)合共同進(jìn)行特征選擇的研究[25]。在近期的文獻(xiàn)中,已較少見到Filter和Wrapper單獨(dú)作為高維小樣本的特征選擇模型,常見的多將其應(yīng)用于兩階段的特征選擇,如使用計(jì)算復(fù)雜度較低的Filter方法去除冗余與噪聲特征,選擇與類標(biāo)簽相關(guān)度較好的特征構(gòu)成新的特征集合,再用Wrapper方法(如 SVM、GA、隨機(jī)森林)在新的特征集合上去選擇分辨力非常強(qiáng)的特征子集,可以實(shí)現(xiàn)很好的降維效果[56-58],而集成法則更多用于需要算法具備較好穩(wěn)定性的應(yīng)用中,對原本就穩(wěn)定的特征選擇方法,集成后效果并不明顯。

    2 挑戰(zhàn)與研究展望

    2.1 面臨的挑戰(zhàn)

    1)數(shù)據(jù)不一致,各算法很難直接比較。

    高維小樣本特征選擇多源自數(shù)據(jù)驅(qū)動,以基因微陣列數(shù)據(jù)為例,各研究人員使用的數(shù)據(jù)來源不盡相同,甚至有同名數(shù)據(jù)集但內(nèi)容不相同的情況[59],這使得后續(xù)研究人員很難在統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)下重現(xiàn)目標(biāo)算法來進(jìn)行結(jié)果的比較。

    2)分類正確率是否仍然是唯一重要指標(biāo)。

    傳統(tǒng)特征選擇方法有很多評價(jià)指標(biāo),在高維小樣本環(huán)境中,有相當(dāng)一部分文獻(xiàn)在作算法對比分析時(shí),僅僅進(jìn)行了分類精度的度量,較少涉及算法穩(wěn)定性、結(jié)果可解釋性等度量。

    除此之外,面對不平衡高維小樣本數(shù)據(jù),特別是在一些代價(jià)敏感學(xué)習(xí)問題中,降低決策風(fēng)險(xiǎn)、減小平均誤分類代價(jià)和提高分類可靠性顯得尤為重要,分類正確率是否依然作為特征選擇唯一的重要的評判標(biāo)準(zhǔn)還應(yīng)具體問題具體對待。

    3)復(fù)雜且超高維數(shù)據(jù)帶來巨大壓力。

    目前主流的特征選擇方法SVM及Lasso等在處理連續(xù)型數(shù)據(jù)時(shí)具有較好的優(yōu)勢,隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,數(shù)十萬維且混合了離散和連續(xù)型數(shù)值的數(shù)據(jù)集將有可能成為高維小樣本領(lǐng)域最常見的對象,個別數(shù)據(jù)甚至可能超過千萬維,復(fù)雜且超高維數(shù)據(jù)的到來給未來特征選擇方法不但在時(shí)間和空間復(fù)雜度方面提出了巨大挑戰(zhàn),更在算法本身的設(shè)計(jì)方面提出了新的要求。

    4)缺少國內(nèi)可信數(shù)據(jù)源。

    目前學(xué)界使用的大多為國外機(jī)構(gòu)提供的分析數(shù)據(jù),缺少國內(nèi)公開的權(quán)威數(shù)據(jù)源,特別是基因微陣列數(shù)據(jù)及人像識別等領(lǐng)域,據(jù)此分析的結(jié)果得出的結(jié)論(如哪些基因?qū)膊≡\斷有幫助)很難在實(shí)踐中得到驗(yàn)證,各算法得出的最終結(jié)果的可解釋性受到一定影響。

    5)缺少對特征選擇結(jié)果的解釋分析。

    大多數(shù)文獻(xiàn)采取與其他文獻(xiàn)中算法進(jìn)行量化的對比分析來說明自己算法的優(yōu)勢,很少有文獻(xiàn)針對特征選擇的最終結(jié)果,即最終選擇的特征集合的物理屬性進(jìn)行深入分析,僅通過文獻(xiàn)的閱讀很難了解這些被選擇出的屬性是否可以用于指導(dǎo)實(shí)踐,特征選擇結(jié)果的可解釋性無從考證。

    2.2 未來研究展望

    隨著大數(shù)據(jù)時(shí)代的不斷演變,高維數(shù)據(jù)的價(jià)值越來越凸顯,高維小樣本特征選擇主要面臨計(jì)算復(fù)雜度、時(shí)間復(fù)雜度和復(fù)雜數(shù)據(jù)類型等問題,結(jié)合文獻(xiàn)調(diào)研及趨勢分析,本文認(rèn)為面向高維小樣本的特征選擇方法還可以在以下幾個方面取得新的進(jìn)展:

    1)增量式學(xué)習(xí)算法(Incremental Learning)。

    在未來超高維小樣本數(shù)據(jù)面前,常規(guī)的集中式特征選擇方法可能很難滿足時(shí)空性能的需求,甚至無法得到令人滿意的特征選擇結(jié)果,增量式學(xué)習(xí)為超高維小樣本數(shù)據(jù)的特征選擇問題提供了一種思路,增量式不僅指數(shù)量的逐漸遞增,更多的是指特征數(shù)量的逐漸遞增。目前,已有工作開展了相關(guān)研究,形成了被稱為“Online Feature Selection”的研究熱點(diǎn)。

    2)非連續(xù)型數(shù)據(jù)的處理。

    當(dāng)前高維小樣本特征選擇所面對的數(shù)據(jù)對象很大一部分是連續(xù)型數(shù)據(jù),特別是基因微陣列數(shù)據(jù)都是細(xì)胞內(nèi)mRNA 的相對或絕對數(shù)量來表示的連續(xù)型數(shù)據(jù),相應(yīng)的,大多數(shù)文獻(xiàn)都選擇了SVM或Lasso等可以直接處理連續(xù)型數(shù)據(jù)的特征選擇方法,就本文所調(diào)研范圍,少有文獻(xiàn)去深入分析高維小樣本連續(xù)型數(shù)據(jù)的離散化問題。因此,對非連續(xù)型數(shù)據(jù)的特征選擇及與連續(xù)型數(shù)據(jù)特征選擇方法進(jìn)行深度對比分析具有一定研究價(jià)值。

    3)算法的穩(wěn)定性(Stability)與可伸縮性(Scalability)。

    Lasso等正則化的稀疏模型存在特征選擇的不一致性,即模型稀疏化后的不穩(wěn)定性,同樣的問題也可能出現(xiàn)在其他幾類主流的特征選擇方法中,由于高維小樣本數(shù)據(jù)的特殊性,今后的研究可能不單純只進(jìn)行分類正確率及時(shí)空性能的比較,還需要考慮算法本身的穩(wěn)定性,這樣選擇的結(jié)果才更加容易被接受;同時(shí),隨著數(shù)據(jù)維數(shù)的急劇增加,算法的可伸縮性也是一個重要的指標(biāo),隨著數(shù)據(jù)量和維數(shù)的增加,算法的性能不可出現(xiàn)顯著下降。

    4)傳統(tǒng)統(tǒng)計(jì)學(xué)算法煥發(fā)新生。

    正則化方法產(chǎn)生于1955年,Lasso也是20年前的方法,這些傳統(tǒng)的方法在高維小樣本等新的應(yīng)用環(huán)境里重新獲得了發(fā)展,這也提示傳統(tǒng)的統(tǒng)計(jì)學(xué)中的變量選擇方法是否值得去重新梳理,特別是一些線性計(jì)算,空間復(fù)雜度低的方法,挖掘和改進(jìn)使之與當(dāng)前高維小樣本應(yīng)用能夠結(jié)合,從而豐富高維小樣本的特征選擇方法。

    5)多階段的混合式特征選擇。

    在高維小樣本的應(yīng)用中,通常伴有高維不平衡、高維稀疏等現(xiàn)象,沒有一種通用的方法可以應(yīng)對所有的高維小樣本分類應(yīng)用問題,采用混合的多階段的特征選擇方法,可以有效去除不相關(guān)及冗余特征,如使用重抽樣技術(shù)擴(kuò)大樣本規(guī)模,使用Filter去除不相關(guān)屬性,再使用Embedded等方法去除冗余屬性等。

    6)可信數(shù)據(jù)源的構(gòu)建。

    隨著政府開放數(shù)據(jù)帶來的利好,國內(nèi)會有更多專業(yè)機(jī)構(gòu)參與國內(nèi)數(shù)據(jù)的采集整理工作,如果能根據(jù)權(quán)威公開數(shù)據(jù)構(gòu)建高維小樣本數(shù)據(jù)開放共享平臺,讓更多研究人員參與其中,可以更好地發(fā)揮數(shù)據(jù)本身的價(jià)值。

    References)

    [1] ESPEZUA S, VILLANUEVA E, MACIEL C D, et al. A projection pursuit framework for supervised dimension reduction of high dimensional small sample datasets [J]. Neurocomputing, 2015, 149(PB): 767-776.

    [2] LAZAR C, TAMINAU J, MEGANCK S, et al. A survey on filter techniques for feature selection in gene expression microarray analysis [J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2012, 9(4): 1106-1119.

    [3] TAO H, BAUSCH C, RICHMOND C, et al. Functional genomics: expression analysis of Escherichia coli growing on minimal and rich media [J]. Journal of Bacteriology, 1999, 181(20): 6425-6440.

    [4] KERR M K, MARTIN M, CHURCHILL G A. Analysis of variance for gene expression microarray data [J]. Journal of Computational Biology, 2000, 7(6): 819-837.

    [5] THOMAS J G, OLSON J M, TAPSCOTT S J, et al. An efficient and robust statistical modeling approach to discover differentially expressed genes using genomic expression profiles [J]. Genome Research, 2001, 11(7): 1227-1236.

    [6] EFRON B, TIBSHIRANI R, STOREY J D, et al. Empirical Bayes analysis of a microarray experiment [J]. Journal of the American Statistical Association, 2001, 96(456): 1151-1160.

    [7] LONG A D, MANGALAM H J, CHAN B Y, et al. Improved statistical inference from DNA microarray data using analysis of variance and a Bayesian statistical framework [J]. Journal of Biological Chemistry, 2001, 276(23): 19937-19944.

    [8] BALDI P, LONG A D. A Bayesian framework for the analysis of microarray expression data: regularized t-test and statistical inferences of gene changes [J]. Bioinformatics, 2001, 17(6): 509-519.

    [9] PARZEN E. On estimation of a probability density function and mode [J]. The Annals of Mathematical Statistics, 1962, 33(3): 1065-1076.

    [10] WILINSKI A, OSOWSKI S, SIWEK K. Gene selection for cancer classification through ensemble of methods [C]// Proceedings of the 9th International Conference on Adaptive and Natural Computing Algorithms. Berlin: Springer, 2009: 507-516.

    [11] STEUER R, KURTHS J, DAUB C O, et al. The mutual information: detecting and evaluating dependencies between variables [J]. Bioinformatics, 2002, 18(Suppl. 2): S231-S240.

    [12] LIU X, KRISHNAN A, MONDRY A. An entropy-based gene selection method for cancer classification using microarray data [J]. BMC Bioinformatics, 2005, 6(1): 1-14.

    [13] CHUANG L Y, KE C H, CHANG H W, et al. A two-stage feature selection method for gene expression data [J]. Omics: a Journal of Integrative Biology, 2009, 13(2): 127-137.

    [14] GOLUB T R, SLONIM D K, TAMAYO P, et al. Molecular classification of cancer: class discovery and class prediction by gene expression monitoring [J]. Brain Research, 1999, 501(2): 205-214.

    [15] 李穎新,李建更,阮曉鋼.腫瘤基因表達(dá)譜分類特征基因選取問題及分析方法研究[J].計(jì)算機(jī)學(xué)報(bào),2006,29(2):324-330.(LI Y X, LI J G, RUAN X G. Study of informative gene selection for tissue classification based on tumor gene expression profiles [J]. Chinese Journal of Computers, 2006, 29(2): 324-330.)

    [16] VAN’T VEER L J, DAI H, VAN DE VIJVER M J, et al. Gene expression profiling predicts clinical outcome of breast cancer [J]. Nature, 2002, 415(6871): 530-536.

    [17] PARK P J, PAGANO M, BONETTI M. A nonparametric scoring algorithm for identifying informative genes from microarray data [EB/OL]. [2016- 12- 17]. http://xueshu.baidu.com/s?wd=paperuri%3A%286c6a741e996db71f799147979ac19d70%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fdx.doi.org%2F10.1142%2F9789814447362_0006&ie=utf-8&sc_us=5571940567161427371.

    [18] CHENG Q, ZHOU H, CHENG J. The Fisher-Markov selector: fast selecting maximally separable feature subset for multiclass classification with applications to high-dimensional data [J]. IEEE Transactions on Pattern Analysis and Machine intelligence, 2011, 33(6): 1217-1233.

    [19] WANG Y, TETKO I V, HALL M A, et al. Gene selection from microarray data for cancer classification—a machine learning approach [J]. Computational Biology & Chemistry, 2005, 29(1):37-46.

    [20] DING C, PENG H. Minimum redundancy feature selection from microarray gene expression data [J]. Journal of Bioinformatics and Computational Biology, 2005, 3(2): 185-205.

    [21] XING E P, JORDAN M I, KARP R M. Feature selection for high-dimensional genomic microarray data [C]// Proceedings of the 18th International Conference on Machine Learning. San Francisco, CA: Morgan Kaufmann, 2001: 601-608.

    [22] HIRA Z M, AGILLIES D F. A review of feature selection and feature extraction methods applied on microarray data [J]. Advances in Bioinformatics, 2015, 2015: Article ID 198363.

    [23] LI L, WEINBERG C R, DARDEN T A, et al. Gene selection for sample classification based on gene expression data: study of sensitivity to choice of parameters of the GA/KNN method [J]. Bioinformatics, 2001, 17(12): 1131-1142.

    [24] CHANDRASHEKAR G, SAHIN F. A survey on feature selection methods [J]. Computers & Electrical Engineering, 2014, 40(1): 16-28.

    [25] XIA X L, XING H, LIU X. Analyzing kernel matrices for the identification of differentially expressed genes [J]. PLOS ONE, 2013, 8(12): e81683.

    [26] OSAREH A, SHADGAR B. Machine learning techniques to diagnose breast cancer [C]// Proceedings of the 2010 5th International Symposium on Health Informatics and Bioinformatics. Piscataway, NJ: IEEE, 2010: 114-120.

    [27] 張靖.面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究[D].合肥:合肥工業(yè)大學(xué),2014:15,35-52.(ZHANG J. Classification and feature selection on high-dimensional and small-sampling data [D]. Hefei: Hefei University of Technology, 2014: 15,35-52.)

    [28] SUN Y, BABBS C F, DELP E J. A comparison of feature selection methods for the detection of breast cancers in mammograms: adaptive sequential floating search vs. genetic algorithm [C]// Proceedings of the 27th Annual International Conference of the Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2006: 6532-6535.

    [29] NAKARIYAKUL S, CASASENT D P. An improvement on floating search algorithms for feature subset selection [J]. Pattern Recognition, 2009, 42(9): 1932-1940.

    [30] CHUANG L Y, YANG C H, LI J C, et al. A hybrid BPSO-CGA approach for gene selection and classification of microarray data [J]. Journal of Computational Biology: A Journal of Computational Molecular Cell Biology, 2012, 19(1): 68-82.

    [32] KAMYAB S, EFTEKHARI M. Feature selection using multimodal optimization techniques [J]. Neurocomputing, 2016, 171(C): 586-597.

    [33] GUYON I, WESTON J, BARNHILL S, et al. Gene selection for caner classification using support vector machines [J]. Machine Learning, 2002, 46(1): 389-422.

    [34] DING Y, WILKINS D. Improving the performance of SVM-RFE to select genes in microarray data [J]. BMC Bioinformatics, 2006, 7(Suppl 2): S12.

    [35] MAO Y, PI D, LIU Y, et al. Accelerated recursive feature elimination based on support vector machine for key variable identification [J]. Chinese Journal of Chemical Engineering, 2006, 14(1): 65-72.

    [36] 謝娟英,謝維信.基于特征子集區(qū)分度與支持向量機(jī)的特征選擇算法 [J].計(jì)算機(jī)學(xué)報(bào),2014,37(8):1704-1718.(XIE J Y, XIE W X. Several feature selection algorithms based on the discernibility of a feature subset and support vector machines [J]. Chinese Journal of Computers, 2014, 37(8): 1704-1718.)

    [37] 游偉,李樹濤,譚明奎.基于SVM-RFE-SFS的基因選擇方法[J].中國生物醫(yī)學(xué)工程學(xué)報(bào),2010,29(1):93-99.(YOU W, LI S T, TAN M K. Gene selection method based on SVM-RFE-SFS [J]. Chinese Journal of Biomedical Engineering, 2010, 29(1): 93-99.)

    [38] TANG Y, ZHANG Y Q, HUANG Z. FCM-SVM-RFE gene feature selection algorithm for leukemia classification from microarray gene expression data [C]// Proceedings of the 14th IEEE International Conference on Fuzzy Systems. Piscataway, NJ: IEEE, 2005: 97-101.

    [39] 吳紅霞,吳悅,劉宗田,等.基于Relief和SVM-RFE的組合式SNP特征選擇[J].計(jì)算機(jī)應(yīng)用研究,2012,29(6):2074-2077.(WU H X, WU Y, LIU Z T, et al. Combined SNP feature selection based on Relief and SVM-RFE [J]. Application Research of Computers, 2012, 29(6): 2074-2077.)

    [40] 林俊,許露,劉龍.基于SVM-RFE-BPSO算法的特征選擇方法[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(8):1865-1868.(LIN J, XU L, LIU L. Feature selection method based on SVM-RFE and particle swarm optimization [J]. Journal of Chinese Computer Systems, 2015, 36(8): 1865-1868.)

    [41] TIBSHIRANI R. Regression shrinkage and selection via the Lasso [J]. Journal of the Royal Statistical Society, 1996, 58(1): 267-288.

    [42] 劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計(jì)算機(jī)學(xué)報(bào),2015, 38(7): 1307-1325. (LIU J W, CUI L P ,LIU Z Y, et al. Survey on the regularized sparse models[J]. Chinese Journal of Computers. 2015, 38(7): 1307-1325.)

    [43] 劉建偉,崔立鵬,羅雄麟. 結(jié)構(gòu)稀疏模型及其算法研究進(jìn)展[J].計(jì)算機(jī)科學(xué),2016,43(S1):1-16.(LIU J W, CUI L P, LUO X L. Research and development on structured sparse models and algorithms [J]. Computer Science, 2016, 43(S1): 1-16.)

    [44] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression [J]. Annals of Statistics, 2004, 32(2): 407-451.

    [45] 張靖,胡學(xué)鋼,張玉紅,等.K-split Lasso:有效的腫瘤特征基因選擇方法[J].計(jì)算機(jī)科學(xué)與探索,2012,6(12):1136-1143.(ZHANG J, HU X G, ZHANG Y H, et al. K-split Lasso: an effective feature selection method for tumor gene expression data [J]. Journal of Frontiers of Computer Science and Technology, 2012, 6(12): 1136-1143.)

    [46] 施萬鋒,胡學(xué)鋼,俞奎.一種面向高維數(shù)據(jù)的均分式Lasso特征選擇方法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(1):157-161.(SHI W F, HU X G, YU K. K-part Lasso based on feature selection algorithm for high-dimensional data [J]. Computer Engineering and Applications, 2012, 48(1): 157-161.)

    [47] 施萬鋒,胡學(xué)鋼,俞奎. 一種面向高維數(shù)據(jù)的迭代式Lasso特征選擇方法[J]. 計(jì)算機(jī)應(yīng)用研究,2011,28(12):4463-4466.(SHI W F, HU X G, YU K. Iterative Lasso based on feature selection for high dimensional data [J]. Application Research of Computers, 2011, 28(12): 4463-4466.)

    [48] ZOU H, HASTIE T. Regularization and variable selection via the elastic net [J]. Journal of the Royal Statistical Society, 2005, 67(2): 301-320.

    [49] LUO S, CHEN Z. Sequential Lasso cum EBIC for feature selection with ultra-high dimensional feature space [J]. Journal of the American Statistical Association, 2014, 109(507): 1229-1240.

    [50] CHEN Z H. Sequential Lasso for feature selection with ultra-high dimensional feature space [EB/OL]. [2016- 11- 25]. http://www.stat.nus.edu.sg/~stachenz/T11-455R1.pdf.

    [51] MA S, SONG X, HUANG J. Supervised group Lasso with applications to microarray data analysis [J]. BMC Bioinformatics, 2007, 8(1):1-17.

    [52] LI X, RAO S, WANG Y, et al. Gene mining: a novel and powerful ensemble decision approach to hunting for disease genes using microarray expression profiling [J]. Nucleic Acids Research, 2004, 32(9): 2685-2694.

    [53] DUTKOWSKI J, GAMBIN A. On consensus biomarker selection [J]. BMC Bioinformatics, 2007, 8(Suppl 5): S5.

    [54] SAEYS Y, ABEEL T, PEER Y V D. Robust feature selection using ensemble feature selection techniques [C]// Proceedings of the European conference on Machine Learning and Knowledge Discovery in Databases, LNCS 5212. Berlin: Springer, 2008: 313-325.

    [55] ABEEL T, HELLEPUTTE T, VAN DE PEER Y, et al. Robust biomarker identification for cancer diagnosis with ensemble feature selection methods [J]. Bioinformatics, 2010, 26(3): 392-398.

    [56] WANG Y, MAKEDON F S, FORD J C, et al. HykGene: a hybrid approach for selecting marker genes for phenotype classification using microarray gene expression data [J]. Bioinformatics, 2005, 21(8): 1530-1537.

    [57] AKADI A E, AMINE A, OUARDIGHI A E, et al. A two-stage gene selection scheme utilizing MRMR filter and GA wrapper [J]. Knowledge and Information Systems, 2011, 26(3): 487-500.

    [58] BERMEJO P, DE LA OSSA L, GMEZ J A, et al. Fast wrapper feature subset selection in high-dimensional datasets by means of filter re-ranking [J]. Knowledge-Based Systems, 2012, 25(1): 35-44.

    [60] 姚唐龍.基因表達(dá)譜數(shù)據(jù)挖掘的特征提取方法研究[D].合肥:安徽大學(xué),2015:13-19.(YAO T L. Research on feature extraction method of gene expression profiles data mining [D] . Hefei: Anhui University, 2015: 13-19.)

    Overviewonfeatureselectioninhigh-dimensionalandsmall-sample-sizeclassification

    WANG Xiang1,2*, HU Xuegang1

    (1.SchoolofComputerandInformation,HefeiUniversityofTechnology,HefeiAnhui230009,China;2.LiteratureInformationAnalysisDepartment,AnhuiInstituteofScientificandTechnicalInformation,HefeiAnhui230011,China)

    With the development of bioinformatics, gene expression microarray and image recognition, classification on high-dimensional and small-sample-size data has become a challenging task in data ming, machine learning and pattern recognition as well. High-dimensional and small-sample-size data may cause the problem of “curse of dimensionality” and overfitting. Feature selection can prevent the “curse of dimensionality” effectively and promote the generalization ability of classification mode, and thus become a hot research topic. Accordingly, some recent development of world-wide research on feature selection in high-dimensional and small-sample-size classification was briefly reviewed. Firstly, the nature of high-dimensional and small-sample feature selection was analyzed. Secondly, according to their essential difference, feature selection algorithms for high-dimensional and small-sample-size classification were divided into four categories and compared to summarize their advantages and disadvantages. Finally, challenges and prospects for future trends of feature selection in high-dimensional small-sample-size data were proposed.

    feature selection; high-dimensional data; small-sample-size learning; information filtering; Support Vector Machine (SVM)

    2017- 03- 27;

    2017- 04- 21。

    國家973計(jì)劃項(xiàng)目(2016YFC0801406);國家自然科學(xué)基金資助項(xiàng)目(61673152);安徽省自然科學(xué)基金資助項(xiàng)目(1408085QF136)。

    王翔(1982—),男,安徽合肥人,博士研究生,主要研究方向:數(shù)據(jù)挖掘、人工智能、情報(bào)分析; 胡學(xué)鋼(1962—),男,安徽合肥人,教授,博士,主要研究方向:數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)分析。

    1001- 9081(2017)09- 2433- 06

    10.11772/j.issn.1001- 9081.2017.09.2433

    TP391.4

    A

    This work is partially supported by the National Basic Research Program (973 Program) of China (2016YFC0801406), the National Natural Science Foundation of China (61673152), the Natural Science Foundation of Anhui Province (1408085QF136).

    WANGXiang, born in 1982, Ph. D. candidate. His research interests include data mining, artificial intelligence, intelligence analysis.

    HUXuegang, born in 1962, Ph. D., professor. His research interests include data mining, artificial intelligence, big data analysis.

    猜你喜歡
    高維特征選擇子集
    由一道有關(guān)集合的子集個數(shù)題引發(fā)的思考
    拓?fù)淇臻g中緊致子集的性質(zhì)研究
    關(guān)于奇數(shù)階二元子集的分離序列
    一種改進(jìn)的GP-CLIQUE自適應(yīng)高維子空間聚類算法
    基于加權(quán)自學(xué)習(xí)散列的高維數(shù)據(jù)最近鄰查詢算法
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    一般非齊次非線性擴(kuò)散方程的等價(jià)變換和高維不變子空間
    每一次愛情都只是愛情的子集
    都市麗人(2015年4期)2015-03-20 13:33:22
    高維Kramers系統(tǒng)離出點(diǎn)的分布問題
    www.999成人在线观看| 嫩草影院新地址| 国内毛片毛片毛片毛片毛片| 在线免费观看不下载黄p国产 | 亚洲av二区三区四区| 欧美+亚洲+日韩+国产| 国产精品一及| 亚洲成av人片免费观看| 又黄又爽又刺激的免费视频.| 激情在线观看视频在线高清| 国产不卡一卡二| 一个人免费在线观看的高清视频| 国产成人aa在线观看| 啦啦啦观看免费观看视频高清| 久久香蕉精品热| 国内揄拍国产精品人妻在线| 欧美黑人巨大hd| 老司机午夜福利在线观看视频| 欧美高清成人免费视频www| 99久久久亚洲精品蜜臀av| 久久99热这里只有精品18| 亚洲av熟女| 免费看日本二区| 91狼人影院| 欧美又色又爽又黄视频| 欧美性猛交╳xxx乱大交人| 18禁黄网站禁片午夜丰满| 国内精品久久久久精免费| 久久香蕉精品热| 久久久久久久久大av| 久久6这里有精品| 国产成人欧美在线观看| 黄色一级大片看看| 男女下面进入的视频免费午夜| 精品免费久久久久久久清纯| 欧美高清性xxxxhd video| 成人高潮视频无遮挡免费网站| av在线观看视频网站免费| 色综合站精品国产| 成人鲁丝片一二三区免费| 欧美日本视频| 精品久久久久久久久亚洲 | 国产精品伦人一区二区| 老熟妇乱子伦视频在线观看| 久久久久久久久大av| 亚洲精品久久国产高清桃花| 亚洲第一电影网av| 成人特级黄色片久久久久久久| 香蕉av资源在线| 亚洲精品久久国产高清桃花| 亚洲三级黄色毛片| 亚洲 国产 在线| 国产亚洲欧美在线一区二区| 国产69精品久久久久777片| 欧美日韩国产亚洲二区| 亚洲精品成人久久久久久| 69人妻影院| 特大巨黑吊av在线直播| 在线a可以看的网站| 久久婷婷人人爽人人干人人爱| 一个人观看的视频www高清免费观看| 校园春色视频在线观看| 国产精品1区2区在线观看.| av欧美777| 99国产精品一区二区蜜桃av| 国产久久久一区二区三区| 亚洲国产精品合色在线| 丰满的人妻完整版| 国产精品精品国产色婷婷| 在线观看av片永久免费下载| 国产综合懂色| 精品人妻一区二区三区麻豆 | 日本免费一区二区三区高清不卡| 少妇人妻一区二区三区视频| 国产高清激情床上av| 国内少妇人妻偷人精品xxx网站| 亚洲国产高清在线一区二区三| 2021天堂中文幕一二区在线观| 免费电影在线观看免费观看| 变态另类丝袜制服| 一级毛片久久久久久久久女| 精品午夜福利视频在线观看一区| 国产黄片美女视频| 亚洲熟妇中文字幕五十中出| 国产成人aa在线观看| 亚洲国产日韩欧美精品在线观看| av欧美777| 欧美成人一区二区免费高清观看| 美女被艹到高潮喷水动态| 亚洲av成人不卡在线观看播放网| 俄罗斯特黄特色一大片| 免费黄网站久久成人精品 | 成人av在线播放网站| 天堂av国产一区二区熟女人妻| 又粗又爽又猛毛片免费看| 嫩草影院精品99| 成人鲁丝片一二三区免费| 欧美精品啪啪一区二区三区| 国产精品免费一区二区三区在线| bbb黄色大片| 搡老熟女国产l中国老女人| 精品人妻视频免费看| 免费人成视频x8x8入口观看| www.熟女人妻精品国产| 午夜福利在线观看免费完整高清在 | 精品一区二区三区视频在线| 欧美+日韩+精品| 欧美在线黄色| 99在线视频只有这里精品首页| 麻豆一二三区av精品| 国产三级在线视频| 国产精品久久视频播放| 久久久久久久久中文| 国产av在哪里看| 亚洲av第一区精品v没综合| 内地一区二区视频在线| 国产高清视频在线播放一区| 一区二区三区四区激情视频 | 国产精品日韩av在线免费观看| 久久久久性生活片| 99视频精品全部免费 在线| 久久久久久久久久黄片| 麻豆av噜噜一区二区三区| 在线观看舔阴道视频| 精品国产亚洲在线| 国产老妇女一区| ponron亚洲| 亚洲国产精品sss在线观看| 精品午夜福利在线看| 国产伦人伦偷精品视频| 欧美色视频一区免费| 国产精品伦人一区二区| 赤兔流量卡办理| 在线a可以看的网站| 亚洲专区中文字幕在线| 高清日韩中文字幕在线| 深爱激情五月婷婷| 三级毛片av免费| 十八禁国产超污无遮挡网站| 亚洲av五月六月丁香网| 国产成人福利小说| 两人在一起打扑克的视频| 亚洲国产精品合色在线| 国产精品三级大全| 亚洲第一欧美日韩一区二区三区| 全区人妻精品视频| 亚洲国产欧美人成| 在线播放国产精品三级| 亚洲av成人不卡在线观看播放网| 久久久久国内视频| netflix在线观看网站| eeuss影院久久| 国产成人影院久久av| 欧美潮喷喷水| 国产三级在线视频| 男人和女人高潮做爰伦理| 中文字幕av在线有码专区| www日本黄色视频网| 高清毛片免费观看视频网站| 小蜜桃在线观看免费完整版高清| 久久婷婷人人爽人人干人人爱| 国产淫片久久久久久久久 | 少妇的逼好多水| 99久久精品国产亚洲精品| 久久久久国产精品人妻aⅴ院| 91麻豆精品激情在线观看国产| 成人性生交大片免费视频hd| 亚洲av二区三区四区| 亚洲熟妇熟女久久| 欧美国产日韩亚洲一区| 亚洲精品一区av在线观看| 性色av乱码一区二区三区2| 国产大屁股一区二区在线视频| 91字幕亚洲| 91在线精品国自产拍蜜月| 观看免费一级毛片| 中文字幕人成人乱码亚洲影| 久久午夜亚洲精品久久| 老熟妇乱子伦视频在线观看| 国产精品日韩av在线免费观看| 亚洲av电影不卡..在线观看| 男人舔奶头视频| 啪啪无遮挡十八禁网站| 国产精品不卡视频一区二区 | 国产精品野战在线观看| 色综合亚洲欧美另类图片| 18禁黄网站禁片午夜丰满| 又黄又爽又免费观看的视频| 亚洲无线在线观看| 久久伊人香网站| 日韩免费av在线播放| 最近中文字幕高清免费大全6 | 国产熟女xx| 久久久成人免费电影| 欧美xxxx性猛交bbbb| 日韩精品中文字幕看吧| 嫩草影院精品99| 国产在视频线在精品| 91午夜精品亚洲一区二区三区 | 级片在线观看| 丁香欧美五月| bbb黄色大片| 国语自产精品视频在线第100页| 亚洲精品粉嫩美女一区| 国内久久婷婷六月综合欲色啪| 老熟妇仑乱视频hdxx| 99国产精品一区二区蜜桃av| 好看av亚洲va欧美ⅴa在| 国产91精品成人一区二区三区| 精品无人区乱码1区二区| 黄色一级大片看看| 亚洲无线观看免费| 老熟妇乱子伦视频在线观看| 精品人妻偷拍中文字幕| 免费av毛片视频| 欧美成人a在线观看| 99久久精品国产亚洲精品| 国产精品人妻久久久久久| 亚洲国产高清在线一区二区三| 精品国产三级普通话版| 午夜亚洲福利在线播放| 国产精品亚洲av一区麻豆| 午夜免费男女啪啪视频观看 | 观看免费一级毛片| 午夜两性在线视频| 国产高清视频在线观看网站| 99热6这里只有精品| .国产精品久久| 最近视频中文字幕2019在线8| 午夜久久久久精精品| 日本五十路高清| 午夜福利视频1000在线观看| 婷婷精品国产亚洲av| 90打野战视频偷拍视频| 啦啦啦韩国在线观看视频| 最新中文字幕久久久久| 免费在线观看成人毛片| 久久热精品热| 好男人在线观看高清免费视频| 搞女人的毛片| 露出奶头的视频| 午夜久久久久精精品| 亚洲国产精品sss在线观看| 午夜精品久久久久久毛片777| 亚洲av五月六月丁香网| 天美传媒精品一区二区| 欧美日本视频| a级毛片免费高清观看在线播放| av黄色大香蕉| 精品国产三级普通话版| 婷婷丁香在线五月| 免费看a级黄色片| 欧美色视频一区免费| 国语自产精品视频在线第100页| 亚洲狠狠婷婷综合久久图片| 99精品在免费线老司机午夜| 男女床上黄色一级片免费看| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 十八禁人妻一区二区| 欧美激情国产日韩精品一区| 亚洲性夜色夜夜综合| 十八禁国产超污无遮挡网站| 最新中文字幕久久久久| 99热这里只有是精品在线观看 | 日本黄色片子视频| 波多野结衣高清无吗| 国产精华一区二区三区| 欧美最新免费一区二区三区 | 成人一区二区视频在线观看| 免费av毛片视频| 蜜桃亚洲精品一区二区三区| 婷婷精品国产亚洲av在线| 欧美乱妇无乱码| 免费无遮挡裸体视频| 最近视频中文字幕2019在线8| 夜夜躁狠狠躁天天躁| 欧美在线黄色| 如何舔出高潮| 欧美+亚洲+日韩+国产| 国产亚洲精品久久久com| 又黄又爽又免费观看的视频| 亚洲av第一区精品v没综合| 亚洲av电影不卡..在线观看| 亚洲成av人片在线播放无| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 欧美激情国产日韩精品一区| 精品久久久久久,| 国产高清有码在线观看视频| 如何舔出高潮| 亚洲精品一卡2卡三卡4卡5卡| 一进一出好大好爽视频| 桃红色精品国产亚洲av| 脱女人内裤的视频| 久久精品人妻少妇| 一个人免费在线观看电影| 成年女人毛片免费观看观看9| 亚洲va日本ⅴa欧美va伊人久久| 亚洲美女视频黄频| 男插女下体视频免费在线播放| 99精品在免费线老司机午夜| 精品人妻视频免费看| 欧美成狂野欧美在线观看| 国语自产精品视频在线第100页| 一个人免费在线观看电影| 久久久久久久久中文| 国产欧美日韩精品亚洲av| 久久久久精品国产欧美久久久| eeuss影院久久| 成人鲁丝片一二三区免费| 97碰自拍视频| 中文字幕精品亚洲无线码一区| 永久网站在线| 亚洲av免费高清在线观看| 在线观看免费视频日本深夜| 一边摸一边抽搐一进一小说| 99视频精品全部免费 在线| 免费人成视频x8x8入口观看| 国产白丝娇喘喷水9色精品| 一个人免费在线观看电影| 国产精品不卡视频一区二区 | 激情在线观看视频在线高清| 色播亚洲综合网| 久久精品国产亚洲av涩爱 | 三级男女做爰猛烈吃奶摸视频| 国产黄色小视频在线观看| 在线观看舔阴道视频| 欧美性猛交黑人性爽| 欧美最黄视频在线播放免费| 亚洲精品粉嫩美女一区| 麻豆一二三区av精品| 亚洲内射少妇av| 国产高清三级在线| 深夜精品福利| 久久久精品大字幕| 久久人人爽人人爽人人片va | 久久亚洲精品不卡| 蜜桃久久精品国产亚洲av| 亚洲精品成人久久久久久| 女人被狂操c到高潮| av在线观看视频网站免费| 午夜激情福利司机影院| 免费看a级黄色片| 国内精品久久久久久久电影| 国产野战对白在线观看| 成年女人毛片免费观看观看9| 无遮挡黄片免费观看| 国产视频内射| 日本与韩国留学比较| 热99re8久久精品国产| 日韩欧美 国产精品| 欧美成狂野欧美在线观看| 欧美三级亚洲精品| 亚洲国产色片| 好男人电影高清在线观看| 国产美女午夜福利| 国产av在哪里看| 欧美色欧美亚洲另类二区| 欧美+亚洲+日韩+国产| 18禁黄网站禁片午夜丰满| 午夜福利高清视频| 老司机午夜十八禁免费视频| av在线观看视频网站免费| 97超级碰碰碰精品色视频在线观看| 亚洲 国产 在线| 51国产日韩欧美| 91久久精品电影网| bbb黄色大片| 又粗又爽又猛毛片免费看| 亚洲人与动物交配视频| 久久欧美精品欧美久久欧美| 成人鲁丝片一二三区免费| 亚洲自拍偷在线| 国产成人欧美在线观看| av欧美777| 亚洲七黄色美女视频| 亚洲无线观看免费| 日本a在线网址| 天天一区二区日本电影三级| 男女视频在线观看网站免费| 亚洲成人免费电影在线观看| 国产精品嫩草影院av在线观看 | 国产真实伦视频高清在线观看 | 老熟妇乱子伦视频在线观看| 久久久久国内视频| 麻豆久久精品国产亚洲av| 成人性生交大片免费视频hd| 日本五十路高清| 亚洲一区高清亚洲精品| 欧美bdsm另类| 国产av一区在线观看免费| 草草在线视频免费看| 国产在视频线在精品| 久久中文看片网| 国产在线精品亚洲第一网站| 亚洲内射少妇av| 成人精品一区二区免费| 我要搜黄色片| 日韩精品中文字幕看吧| 日韩欧美精品免费久久 | 在线看三级毛片| 国产午夜精品久久久久久一区二区三区 | 久久精品久久久久久噜噜老黄 | 国产一级毛片七仙女欲春2| 久9热在线精品视频| 亚洲专区中文字幕在线| 首页视频小说图片口味搜索| 男人舔女人下体高潮全视频| 国产aⅴ精品一区二区三区波| 国产精品,欧美在线| 午夜精品一区二区三区免费看| 99在线人妻在线中文字幕| 少妇的逼水好多| 国产一区二区三区在线臀色熟女| 伊人久久精品亚洲午夜| 成人无遮挡网站| 永久网站在线| 亚洲人成伊人成综合网2020| 精品久久久久久久久亚洲 | 熟女电影av网| 国产淫片久久久久久久久 | 好男人在线观看高清免费视频| 国产爱豆传媒在线观看| 欧美丝袜亚洲另类 | 午夜亚洲福利在线播放| 国产精品1区2区在线观看.| 美女cb高潮喷水在线观看| 国产高潮美女av| 在线看三级毛片| 亚洲成人中文字幕在线播放| 又爽又黄a免费视频| 91麻豆精品激情在线观看国产| 亚洲欧美日韩高清在线视频| 露出奶头的视频| 一个人看视频在线观看www免费| 丝袜美腿在线中文| 亚洲第一区二区三区不卡| 能在线免费观看的黄片| 国产午夜精品久久久久久一区二区三区 | 亚州av有码| 日日摸夜夜添夜夜添小说| 露出奶头的视频| 亚洲va日本ⅴa欧美va伊人久久| 性插视频无遮挡在线免费观看| 亚洲国产高清在线一区二区三| 简卡轻食公司| 精品人妻视频免费看| 久久伊人香网站| 波多野结衣高清作品| 国产欧美日韩一区二区三| 久久精品国产亚洲av天美| 亚洲精品色激情综合| a级一级毛片免费在线观看| 免费看美女性在线毛片视频| 精品福利观看| 国产精品嫩草影院av在线观看 | 日本 av在线| 精品久久久久久久久久免费视频| 色综合站精品国产| 国产精品一区二区三区四区免费观看 | 精品一区二区免费观看| 窝窝影院91人妻| 日韩欧美免费精品| 欧美区成人在线视频| 精品熟女少妇八av免费久了| 亚洲成人精品中文字幕电影| 国产av一区在线观看免费| 变态另类丝袜制服| 两性午夜刺激爽爽歪歪视频在线观看| www.www免费av| 久久久久久九九精品二区国产| 久久99热6这里只有精品| 精品国产三级普通话版| 脱女人内裤的视频| 一夜夜www| 在线观看免费视频日本深夜| 51国产日韩欧美| www日本黄色视频网| 九色国产91popny在线| 欧美日韩中文字幕国产精品一区二区三区| 欧美日韩瑟瑟在线播放| 国产精华一区二区三区| 自拍偷自拍亚洲精品老妇| 欧美日韩亚洲国产一区二区在线观看| 日本精品一区二区三区蜜桃| 在线观看舔阴道视频| 中亚洲国语对白在线视频| 99久久久亚洲精品蜜臀av| 国产成人欧美在线观看| 久久久久久久久大av| 精品久久久久久久人妻蜜臀av| 狠狠狠狠99中文字幕| 精品国产亚洲在线| 日本黄色片子视频| 宅男免费午夜| 国产亚洲精品av在线| 日本 欧美在线| 1000部很黄的大片| 又爽又黄无遮挡网站| www.色视频.com| 成人精品一区二区免费| 老鸭窝网址在线观看| 欧美一区二区精品小视频在线| 免费看日本二区| 在线免费观看的www视频| 国产精品野战在线观看| 亚洲国产精品成人综合色| 欧美日韩黄片免| 亚洲一区高清亚洲精品| 99热只有精品国产| 国产午夜精品论理片| 久久久久国内视频| 国产av在哪里看| 尤物成人国产欧美一区二区三区| a级毛片免费高清观看在线播放| 激情在线观看视频在线高清| 精品熟女少妇八av免费久了| 在线观看一区二区三区| 成人欧美大片| 亚洲欧美日韩卡通动漫| 国产高清视频在线播放一区| 一卡2卡三卡四卡精品乱码亚洲| 日本精品一区二区三区蜜桃| 两性午夜刺激爽爽歪歪视频在线观看| 欧美乱妇无乱码| 成人三级黄色视频| 亚洲av成人精品一区久久| 亚洲av一区综合| 在线天堂最新版资源| 桃色一区二区三区在线观看| 97超视频在线观看视频| 特级一级黄色大片| 国产精品嫩草影院av在线观看 | 亚洲av美国av| 国产熟女xx| 男人的好看免费观看在线视频| 免费看a级黄色片| 观看免费一级毛片| 免费看美女性在线毛片视频| 午夜福利在线观看免费完整高清在 | 成人毛片a级毛片在线播放| 欧美极品一区二区三区四区| 亚洲精品粉嫩美女一区| h日本视频在线播放| 国产成人av教育| 久久这里只有精品中国| 赤兔流量卡办理| 欧美xxxx黑人xx丫x性爽| 国产精品久久久久久亚洲av鲁大| 成人亚洲精品av一区二区| 亚洲综合色惰| 亚洲欧美日韩高清在线视频| av天堂在线播放| 一级毛片久久久久久久久女| 国产午夜精品论理片| 日本免费a在线| 成人永久免费在线观看视频| 制服丝袜大香蕉在线| 欧美精品啪啪一区二区三区| 欧美zozozo另类| 亚洲av五月六月丁香网| 丝袜美腿在线中文| 又紧又爽又黄一区二区| 亚洲最大成人手机在线| 成人毛片a级毛片在线播放| 亚洲第一欧美日韩一区二区三区| 一级a爱片免费观看的视频| 蜜桃久久精品国产亚洲av| 国产91精品成人一区二区三区| 免费观看精品视频网站| 90打野战视频偷拍视频| 日韩国内少妇激情av| 天天躁日日操中文字幕| 国产极品精品免费视频能看的| 日韩 亚洲 欧美在线| 日本五十路高清| 欧美日韩亚洲国产一区二区在线观看| 日韩欧美一区二区三区在线观看| 国产色爽女视频免费观看| 国产一区二区激情短视频| 亚洲一区二区三区不卡视频| 日韩av在线大香蕉| 亚洲电影在线观看av| 狂野欧美白嫩少妇大欣赏| 亚洲真实伦在线观看| 国产精品伦人一区二区| 久久久成人免费电影| 欧美日本视频| 好男人在线观看高清免费视频| av欧美777| 在线观看舔阴道视频| 亚洲欧美日韩高清专用| 久久这里只有精品中国| 欧美日韩国产亚洲二区| 别揉我奶头~嗯~啊~动态视频| 久久久成人免费电影| 搞女人的毛片| 亚洲人与动物交配视频| 精品乱码久久久久久99久播| 人妻制服诱惑在线中文字幕| 一进一出抽搐动态| 色吧在线观看| 亚洲最大成人中文| 非洲黑人性xxxx精品又粗又长| 我的女老师完整版在线观看| 成人高潮视频无遮挡免费网站| 午夜激情欧美在线| 日本精品一区二区三区蜜桃| 国产乱人伦免费视频| 欧美黄色淫秽网站| 色哟哟·www| 久久香蕉精品热| 人妻久久中文字幕网| 亚洲最大成人av| 永久网站在线| 国产精品永久免费网站|