• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    高維小樣本分類問題中特征選擇研究綜述

    2017-11-15 06:12:45胡學(xué)鋼
    計(jì)算機(jī)應(yīng)用 2017年9期
    關(guān)鍵詞:高維特征選擇子集

    王 翔,胡學(xué)鋼

    (1.合肥工業(yè)大學(xué) 計(jì)算機(jī)信息學(xué)院,合肥 230009; 2.安徽省科學(xué)技術(shù)情報(bào)研究所 文獻(xiàn)情報(bào)分析中心,合肥 230011)(*通信作者電子郵箱wangxiang@ahinfo.gov.cn)

    高維小樣本分類問題中特征選擇研究綜述

    王 翔1,2*,胡學(xué)鋼1

    (1.合肥工業(yè)大學(xué) 計(jì)算機(jī)信息學(xué)院,合肥 230009; 2.安徽省科學(xué)技術(shù)情報(bào)研究所 文獻(xiàn)情報(bào)分析中心,合肥 230011)(*通信作者電子郵箱wangxiang@ahinfo.gov.cn)

    隨著生物信息學(xué)、基因表達(dá)譜微陣列、圖像識別等技術(shù)的發(fā)展,高維小樣本分類問題成為數(shù)據(jù)挖掘(包括機(jī)器學(xué)習(xí)、模式識別)中的一項(xiàng)挑戰(zhàn)性任務(wù),容易引發(fā)“維數(shù)災(zāi)難”和過擬合問題。針對這個問題,特征選擇可以有效避免維數(shù)災(zāi)難,提升分類模型泛化能力,成為研究的熱點(diǎn),有必要對國內(nèi)外高維小樣本特征選擇主要研究情況進(jìn)行綜述。首先分析了高維小樣本特征選擇問題的本質(zhì);其次,根據(jù)其算法的本質(zhì)區(qū)別,重點(diǎn)對高維小樣本數(shù)據(jù)的特征選擇方法進(jìn)行分類剖析和比較;最后對高維小樣本特征選擇研究面臨的挑戰(zhàn)以及研究方向作了展望。

    特征選擇;高維數(shù)據(jù);小樣本學(xué)習(xí);信息過濾;支持向量機(jī)

    0 引言

    隨著科學(xué)研究的不斷進(jìn)步,數(shù)據(jù)挖掘領(lǐng)域需處理的對象越來越復(fù)雜,其數(shù)據(jù)維度也在急劇增加,在圖像識別、文本分類、生物信息學(xué)、基因微陣列分析等大規(guī)模數(shù)據(jù)挖掘應(yīng)用中出現(xiàn)了一個被稱為高維小樣本學(xué)習(xí)的研究熱點(diǎn)。

    高維小樣本數(shù)據(jù),是指具備數(shù)據(jù)維數(shù)特別高,樣本絕對數(shù)量很少或樣本數(shù)遠(yuǎn)小于數(shù)據(jù)維數(shù)特征的數(shù)據(jù)(也有文獻(xiàn)稱為”Largepsmalln”數(shù)據(jù)[1],p代表特征數(shù),n代表樣本數(shù))。

    高維小樣本數(shù)據(jù)上的分類問題是機(jī)器學(xué)習(xí)中的難點(diǎn),針對不同的應(yīng)用領(lǐng)域衍生出了高維小樣本、高維稀疏、高維不平衡等多個研究熱點(diǎn)。較高的維數(shù)是獲得問題準(zhǔn)確描述的有力保障,而難以避免地會含有大量冗余、不相關(guān)和噪聲特征,由于高維小樣本數(shù)據(jù)的這些特點(diǎn),容易引發(fā)“維數(shù)災(zāi)難”(Curse of Dimensionality),即隨著維數(shù)增高,計(jì)算復(fù)雜度顯著增高而分類器的性能急劇下降;又因?yàn)槠錁颖緮?shù)量很少,傳統(tǒng)的分類學(xué)習(xí)方法效能嚴(yán)重下降,容易出現(xiàn)過擬合(Over Fitting),無法進(jìn)行有效的分類或識別;近年來,高維小樣本導(dǎo)致的特征選擇模型的不穩(wěn)定性也引起了重視。為了消除或減輕維數(shù)災(zāi)難,同時(shí)提升分類器的泛化能力,降維成為重要途徑。

    在不同應(yīng)用領(lǐng)域的高維小樣本降維研究中,特征抽取與特征選擇是兩類非常重要的技術(shù)。特征抽取主要是是將高維數(shù)據(jù)映射到特定的低維空間,而特征選擇可以看作從初始特征空間搜索出一個最優(yōu)特征子集的過程。

    從算法原理上分析,特征抽取是一種基于變換的方法,原數(shù)據(jù)中的不相關(guān)和冗余的特征均在降維中產(chǎn)生作用,影響了分類性能,且新的低維特征空間中特征失去原有的物理解釋,對某些高維小樣本數(shù)據(jù)分類問題(如癌癥基因分析)而言,很難接受。特征選擇并不改變原特征空間,只是選擇一些分辨力好的特征,組成一個新的低維空間,可以保留原始特征空間大部分性質(zhì),對于高維小樣本而言,特征選擇可以去除不相關(guān)特征和冗余特征,在一定程度上將噪聲數(shù)據(jù)對分類器性能的影響降到最低,且選擇的特征可解釋性較好。

    特征選擇已成為高維小樣本數(shù)據(jù)分類問題中的關(guān)鍵性步驟,一直是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘研究的熱點(diǎn)之一,新的算法也不斷地被提出,本文對當(dāng)前已進(jìn)行的研究進(jìn)行綜述,嘗試從原理上分析這些算法的區(qū)別與聯(lián)系,總結(jié)各自的優(yōu)點(diǎn)與不足,并對未來高維小樣本特征選擇的研究進(jìn)行展望。

    1 高維小樣本中的特征選擇

    為了便于比較和分析,本文按照評價(jià)函數(shù)的不同將高維小樣本特征選擇方法分為Filter(篩選法)、Wrapper(封裝法)、Embedded(嵌入式)以及Ensemble(集成法)四類,在實(shí)際高維小樣本分類應(yīng)用中,Embedded方法因其適合處理小樣本問題而受到了諸多研究人員的關(guān)注,本文也將針對該類方法作重點(diǎn)分析。

    1.1 Filter(篩選法)

    Filter(篩選法)通過分析特征子集內(nèi)部的特點(diǎn)來衡量特征的分類能力,與后面的采用何種分類器無關(guān),這類方法通常需要評價(jià)特征相關(guān)性的評分函數(shù)和閾值判別法來選擇出得分最高的特征子集。通過文獻(xiàn)調(diào)研,根據(jù)選擇特征子集方式的不同,可以繼續(xù)劃分為基于特征排序(Feature Ranking)和基于特征空間搜索(Space Search)兩類。

    基于特征排序的方法,其主要思想[2]是:

    1)使用評分函數(shù)(Scoring Function)對每個特征進(jìn)行評分,并將所有特征按照得分的降序排列;

    2)對每個特征得分進(jìn)行顯著性檢驗(yàn)(如p-value等);

    3)通過預(yù)先設(shè)置的閾值選擇排序前列的具有顯著統(tǒng)計(jì)學(xué)意義的特征;

    4)驗(yàn)證選擇的最優(yōu)特征子集,通常使用ROC(Receiver Operating Characteristic)曲線、分類正確率、組相關(guān)系數(shù)、穩(wěn)定性等。

    基于特征排序方法的核心就是評分函數(shù),表1列舉了高維小樣本分類應(yīng)用中出現(xiàn)的基于度量樣本群分布之間的差異、基于信息論、基于相關(guān)性標(biāo)準(zhǔn)等三類熱門評分函數(shù)。

    表1 按評分函數(shù)分類的基于特征排序方法

    基于特征空間搜索法主要是采用一種優(yōu)化策略從整個特征集合中選出包含最多信息并且達(dá)到最小冗余的特征子集。在特定領(lǐng)域,如致病基因的準(zhǔn)確發(fā)現(xiàn)有一些研究,如基于關(guān)聯(lián)規(guī)則(Correlation-based Feature Selection, CFS)、最大相關(guān)最小冗余(Maximum Relevance Minimum Redundancy, MRMR)等,表2給出了上述基于特征空間搜索法的幾類主流方法。

    表2 基于特征空間搜索方法

    基于特征排序的方法多為單變量方法,每次考慮單個特征的影響,選擇與類標(biāo)簽最相關(guān)的特征,對高維小樣本來說具有較低的計(jì)算復(fù)雜度,但在某些應(yīng)用領(lǐng)域如基因微陣列數(shù)據(jù)中,因忽略了特征間的相互關(guān)系,直接應(yīng)用分類精度較為一般;而基于特征空間搜索為多變量的方法,這類算法不但需要考慮特征子集與類標(biāo)簽的相關(guān)性,還需要考慮特征子集之間的相關(guān)性,通常分類正確率較高,但在高維條件下尋找最優(yōu)子集過程的計(jì)算復(fù)雜度較高。

    1.2 Wrapper(封裝法)

    Wrapper方法是一種與分類模型結(jié)合的特征選擇方法,使用某個分類模型封裝成黑盒,根據(jù)這個分類器在特征子集上的結(jié)果好壞來評價(jià)所選擇的特征,并采取某些優(yōu)化的搜索策略對子集進(jìn)行調(diào)整,最終獲得近似的最優(yōu)子集。N個特征的數(shù)據(jù)集,可能的特征子集數(shù)為2N個,發(fā)現(xiàn)最優(yōu)特征子集已經(jīng)被證明是NP-Hard,因此高維小樣本特征選擇中Wrapper研究熱點(diǎn)并不局限于采用何種分類模型作為評價(jià)準(zhǔn)則(通常使用遺傳算法(Genetic Algorithm, GA)[23]、支持向量機(jī)(Support Vector Machine, SVM)[24]、K最近鄰(K-Nearest Neighbor,KNN)[25]構(gòu)建分類模型),特征子集搜索策略成為研究熱點(diǎn)。

    根據(jù)文獻(xiàn)[26],Wrapper方法可以被粗略劃分為順序搜索與啟發(fā)式搜索兩類(有文獻(xiàn)將其分類為確定性與隨機(jī)性[22]):

    1)順序搜索算法。

    順序搜索算法從一個空的特征子集開始,通過不斷增加(或刪除)特征直到特征子集能使評價(jià)函數(shù)得到最好表現(xiàn),現(xiàn)實(shí)中會引入一些停止搜索的標(biāo)準(zhǔn)加速特征子集的選擇,確保評價(jià)函數(shù)持續(xù)增加并達(dá)到最好表現(xiàn)時(shí),所選擇特征子集具有最少數(shù)目。圖1給出了常規(guī)順序搜索算法的發(fā)展脈絡(luò)。

    圖1 順序搜索算法發(fā)展脈絡(luò)

    順序搜索策略不斷增加(或刪除)單個特征,避免了完全搜索計(jì)算復(fù)雜度過高的問題,但選擇出的特征子集很難避免所選特征之間的高度相關(guān)性[27];自適應(yīng)的順序浮動選擇方法(Adaptive Sequential Floating Forward Selection, ASFFS)[28]引入了參數(shù)r用于指定加入特征的數(shù)量,并使用參數(shù)o去除屬性;同時(shí),為了提升時(shí)間性能,Nakariyakul等[29]提出一種新的特征選擇方法——“增L去R”,每次從候選特征集中添加(或刪除)L個特征,考慮入選(或刪除)的L個特征之間相關(guān)性,然后刪除(或添加)與類標(biāo)簽最不相關(guān)(或最相關(guān))的R個特征,有效提升了算法的時(shí)間性能。

    2)啟發(fā)式搜索算法。

    啟發(fā)式搜索算法所開始搜索的初始特征子集是從完整的特征候選集中隨機(jī)生成,通過啟發(fā)式規(guī)則逐步接近最優(yōu)解,這種方法在搜索時(shí)具有很強(qiáng)的不確定性,但隨著算法的運(yùn)行,使用這種策略獲得的特征子集的質(zhì)量也能滿足需要。在高維小樣本特征選擇中常用的啟發(fā)式搜索方法有GA和粒子群優(yōu)化(Particle Swarm Optimization, PSO)算法[30]等,通過設(shè)定迭代次數(shù)的閾值,從而降低需要搜索的特征子集的數(shù)量,通過調(diào)整GA的參數(shù)和遺傳算子,還可以獲得更多的應(yīng)用。Cordón等[31]使用進(jìn)化遺傳算法的方法對圖像識別領(lǐng)域中的特征選擇問題進(jìn)行了嘗試。

    因?yàn)轫樞蛩阉魉惴ǖ奶攸c(diǎn),無法從已拋棄的特征中進(jìn)行二次選擇,也無法拋棄已選擇的特征,容易陷入被稱為嵌套影響(Nesting Effect)的局部最優(yōu)情況,啟發(fā)式搜索算法可以有效解決這些問題,并且有文獻(xiàn)表明,采用并行設(shè)計(jì)啟發(fā)式搜索算法的計(jì)算復(fù)雜度比順序選擇算法顯著降低[32]。

    1.3 Embedded(嵌入式)

    Embedded(嵌入式)方法的出現(xiàn)主要是為了解決Wrapper(封裝法)在處理不同數(shù)據(jù)集時(shí),分類模型需要重構(gòu)代價(jià)高等問題。如果嚴(yán)格區(qū)分,它與Wrapper的不同在于,Embedded將特征選擇與分類模型的學(xué)習(xí)過程結(jié)合,即在分類器的訓(xùn)練過程中包含了特征選擇功能,由于其高效的時(shí)空性能及較好的分類精度,逐漸成為高維小樣本特征選擇的熱點(diǎn)方向,其中,有兩類方法成為非常熱門的研究對象:一是以SVM為基礎(chǔ)的模型;二是以套索算法Lasso(Least Absolute absolute Shrinkage shrinkage and Selection selection Operator)為代表的正則化組稀疏模型。

    由于SVM可以根據(jù)有限的樣本在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳平衡,弱化了對數(shù)據(jù)正態(tài)分布的要求,同時(shí)對維數(shù)災(zāi)難不敏感,可以有效剔除冗余特征,具有較好的泛化性能,因而被廣泛用于處理高維小樣本特征選擇。

    Guyon等[33]采用基于遞歸特征的后項(xiàng)搜索剔除思想(Recursive Feature Elimination, RFE),提出SVM-RFE方法,該方法將SVM超平面的每個維度對應(yīng)高維小樣本數(shù)據(jù)集里的每個特征,從而每個維度權(quán)重的絕對值可以用來度量對應(yīng)數(shù)據(jù)特征的重要性,即通過權(quán)重對特征進(jìn)行降序排序。從排序后的特征集合開始,每次刪除排名靠后的一個特征,迭代直到該特征集合為空,一般來說最先被刪除的多為噪聲或冗余特征,最后被刪除的特征一般具有較強(qiáng)的區(qū)分能力,由于該方法在處理高維小樣本數(shù)據(jù)方面的優(yōu)勢及貪婪算法帶來的計(jì)算復(fù)雜度,圍繞該方法研究人員提出了許多改良方法,其中有按比例刪除特征的[34-35],采用前向序列思想的[36-37],采用模糊聚類的[38],基于Relief的[39]以及采用了粒子群算法的[40],圖2給出了部分基于SVM-RFE的算法分類。

    圖2 基于SVM-RFE的算法分類

    除基于SVM的方法之外,正則化稀疏模型可以將大量冗余或噪聲特征去除,同時(shí)保留與類標(biāo)變量最相關(guān)的特征,選擇的特征子集具有很好的可解釋性,也獲得了許多研究人員的關(guān)注。其代表算法有1996年Tibshirani[41]提出的Lasso,其基本思想是在最小二乘估計(jì)中加入系數(shù)的絕對值作為懲罰項(xiàng),使系數(shù)的絕對值之和小于等于某一個閾值來最小化殘差平方,能產(chǎn)生趨于0的回歸系數(shù),使得與目標(biāo)關(guān)系弱的預(yù)測變量(特征)系數(shù)被懲罰為0,從而具備特征選擇功能。表3給出了Lasso在高維小樣本數(shù)據(jù)應(yīng)用中的優(yōu)勢和不足。

    表3 Lasso在高維小樣本中的優(yōu)勢與不足

    為了解決Lasso的有偏估計(jì)問題,自適應(yīng)Lasso、松弛Lasso、SCAD(Smoothly Clipped Absolute Deviation )模型、MCP(Minimax Concave Penalty)等模型[42-43]相繼被提出。

    由于缺少高效的求解算法,Lasso在高維小樣本特征選擇研究中沒有廣泛流行, 最小角回歸(Least Angle Regression, LAR)算法[44]的出現(xiàn)有力促進(jìn)了Lasso在高維小樣本數(shù)據(jù)中的應(yīng)用,后續(xù)研究人員從降低計(jì)算復(fù)雜度及避免過擬合等角度對Lasso進(jìn)行了改進(jìn),如采用迭代思想的GSIL(Gene Selection based on Iterative Lasso),采用序貫思想的SLasso(Sequential Lasso)以及采用有監(jiān)督組Lasso(Supervised Group Lasso, SGLasso)等。表4給出了部分針對Lasso缺點(diǎn)的改進(jìn)方法及其基本思想。

    1.4 Ensemble(集成法)

    集成學(xué)習(xí)是使用一系列特征選擇方法進(jìn)行學(xué)習(xí),并使用某種規(guī)則把各個學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個特征選擇方法更好學(xué)習(xí)效果的高維小樣本特征選擇方法。在某些高維小樣本特征選擇問題研究中,學(xué)者多采用這類方法提升特征選擇算法的穩(wěn)定性,如Li等[52]提出一種新的特征選擇方法,采用重抽樣技術(shù)把數(shù)據(jù)擾動,生成幾個不同的訓(xùn)練集和測試集,反復(fù)調(diào)用遞歸決策樹,并把分類錯誤率作為評價(jià)指標(biāo)來選擇特征;Dutkowski等[53]將不同特征選擇算法用于基因選擇,并通過優(yōu)化策略來整合各個算法得到的結(jié)果,形成最終的特征子集;Saeys等[54]、Abeel等[55]將Bagging思想用于集成特征選擇,Saeys采用融合多個特征選擇算法結(jié)果的方式來完成特征子集的集成,而Abeel則通過樣本重取樣技術(shù)生成多個特征子集,并在若干高維小樣本數(shù)據(jù)集上與SVM-RFE方法進(jìn)行對比,取得較好效果。

    表4 針對Lasso的改進(jìn)算法

    1.5 特征選擇方法總結(jié)

    高維小樣本特征選擇難點(diǎn)在于在有限的樣本空間內(nèi)盡量剔除冗余特征及噪聲數(shù)據(jù)、盡量選擇分辨能力更好的特征、保證算法的穩(wěn)定性,同時(shí)還需要避免過擬合及綜合考慮時(shí)空性能。表5給出了四類特征選擇方法在高維小樣本應(yīng)用中的優(yōu)缺點(diǎn)對比。

    表5 四類特征選擇方法優(yōu)缺點(diǎn)對比

    在實(shí)際應(yīng)用中,SVM和以Lasso為代表的正則化方法是比較常見的方法,特別是SVM方法由于其產(chǎn)生的分類器結(jié)構(gòu)簡單,用到的樣本信息很少,受到了更多的關(guān)注,在一些文獻(xiàn)中也有將兩者結(jié)合共同進(jìn)行特征選擇的研究[25]。在近期的文獻(xiàn)中,已較少見到Filter和Wrapper單獨(dú)作為高維小樣本的特征選擇模型,常見的多將其應(yīng)用于兩階段的特征選擇,如使用計(jì)算復(fù)雜度較低的Filter方法去除冗余與噪聲特征,選擇與類標(biāo)簽相關(guān)度較好的特征構(gòu)成新的特征集合,再用Wrapper方法(如 SVM、GA、隨機(jī)森林)在新的特征集合上去選擇分辨力非常強(qiáng)的特征子集,可以實(shí)現(xiàn)很好的降維效果[56-58],而集成法則更多用于需要算法具備較好穩(wěn)定性的應(yīng)用中,對原本就穩(wěn)定的特征選擇方法,集成后效果并不明顯。

    2 挑戰(zhàn)與研究展望

    2.1 面臨的挑戰(zhàn)

    1)數(shù)據(jù)不一致,各算法很難直接比較。

    高維小樣本特征選擇多源自數(shù)據(jù)驅(qū)動,以基因微陣列數(shù)據(jù)為例,各研究人員使用的數(shù)據(jù)來源不盡相同,甚至有同名數(shù)據(jù)集但內(nèi)容不相同的情況[59],這使得后續(xù)研究人員很難在統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)下重現(xiàn)目標(biāo)算法來進(jìn)行結(jié)果的比較。

    2)分類正確率是否仍然是唯一重要指標(biāo)。

    傳統(tǒng)特征選擇方法有很多評價(jià)指標(biāo),在高維小樣本環(huán)境中,有相當(dāng)一部分文獻(xiàn)在作算法對比分析時(shí),僅僅進(jìn)行了分類精度的度量,較少涉及算法穩(wěn)定性、結(jié)果可解釋性等度量。

    除此之外,面對不平衡高維小樣本數(shù)據(jù),特別是在一些代價(jià)敏感學(xué)習(xí)問題中,降低決策風(fēng)險(xiǎn)、減小平均誤分類代價(jià)和提高分類可靠性顯得尤為重要,分類正確率是否依然作為特征選擇唯一的重要的評判標(biāo)準(zhǔn)還應(yīng)具體問題具體對待。

    3)復(fù)雜且超高維數(shù)據(jù)帶來巨大壓力。

    目前主流的特征選擇方法SVM及Lasso等在處理連續(xù)型數(shù)據(jù)時(shí)具有較好的優(yōu)勢,隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,數(shù)十萬維且混合了離散和連續(xù)型數(shù)值的數(shù)據(jù)集將有可能成為高維小樣本領(lǐng)域最常見的對象,個別數(shù)據(jù)甚至可能超過千萬維,復(fù)雜且超高維數(shù)據(jù)的到來給未來特征選擇方法不但在時(shí)間和空間復(fù)雜度方面提出了巨大挑戰(zhàn),更在算法本身的設(shè)計(jì)方面提出了新的要求。

    4)缺少國內(nèi)可信數(shù)據(jù)源。

    目前學(xué)界使用的大多為國外機(jī)構(gòu)提供的分析數(shù)據(jù),缺少國內(nèi)公開的權(quán)威數(shù)據(jù)源,特別是基因微陣列數(shù)據(jù)及人像識別等領(lǐng)域,據(jù)此分析的結(jié)果得出的結(jié)論(如哪些基因?qū)膊≡\斷有幫助)很難在實(shí)踐中得到驗(yàn)證,各算法得出的最終結(jié)果的可解釋性受到一定影響。

    5)缺少對特征選擇結(jié)果的解釋分析。

    大多數(shù)文獻(xiàn)采取與其他文獻(xiàn)中算法進(jìn)行量化的對比分析來說明自己算法的優(yōu)勢,很少有文獻(xiàn)針對特征選擇的最終結(jié)果,即最終選擇的特征集合的物理屬性進(jìn)行深入分析,僅通過文獻(xiàn)的閱讀很難了解這些被選擇出的屬性是否可以用于指導(dǎo)實(shí)踐,特征選擇結(jié)果的可解釋性無從考證。

    2.2 未來研究展望

    隨著大數(shù)據(jù)時(shí)代的不斷演變,高維數(shù)據(jù)的價(jià)值越來越凸顯,高維小樣本特征選擇主要面臨計(jì)算復(fù)雜度、時(shí)間復(fù)雜度和復(fù)雜數(shù)據(jù)類型等問題,結(jié)合文獻(xiàn)調(diào)研及趨勢分析,本文認(rèn)為面向高維小樣本的特征選擇方法還可以在以下幾個方面取得新的進(jìn)展:

    1)增量式學(xué)習(xí)算法(Incremental Learning)。

    在未來超高維小樣本數(shù)據(jù)面前,常規(guī)的集中式特征選擇方法可能很難滿足時(shí)空性能的需求,甚至無法得到令人滿意的特征選擇結(jié)果,增量式學(xué)習(xí)為超高維小樣本數(shù)據(jù)的特征選擇問題提供了一種思路,增量式不僅指數(shù)量的逐漸遞增,更多的是指特征數(shù)量的逐漸遞增。目前,已有工作開展了相關(guān)研究,形成了被稱為“Online Feature Selection”的研究熱點(diǎn)。

    2)非連續(xù)型數(shù)據(jù)的處理。

    當(dāng)前高維小樣本特征選擇所面對的數(shù)據(jù)對象很大一部分是連續(xù)型數(shù)據(jù),特別是基因微陣列數(shù)據(jù)都是細(xì)胞內(nèi)mRNA 的相對或絕對數(shù)量來表示的連續(xù)型數(shù)據(jù),相應(yīng)的,大多數(shù)文獻(xiàn)都選擇了SVM或Lasso等可以直接處理連續(xù)型數(shù)據(jù)的特征選擇方法,就本文所調(diào)研范圍,少有文獻(xiàn)去深入分析高維小樣本連續(xù)型數(shù)據(jù)的離散化問題。因此,對非連續(xù)型數(shù)據(jù)的特征選擇及與連續(xù)型數(shù)據(jù)特征選擇方法進(jìn)行深度對比分析具有一定研究價(jià)值。

    3)算法的穩(wěn)定性(Stability)與可伸縮性(Scalability)。

    Lasso等正則化的稀疏模型存在特征選擇的不一致性,即模型稀疏化后的不穩(wěn)定性,同樣的問題也可能出現(xiàn)在其他幾類主流的特征選擇方法中,由于高維小樣本數(shù)據(jù)的特殊性,今后的研究可能不單純只進(jìn)行分類正確率及時(shí)空性能的比較,還需要考慮算法本身的穩(wěn)定性,這樣選擇的結(jié)果才更加容易被接受;同時(shí),隨著數(shù)據(jù)維數(shù)的急劇增加,算法的可伸縮性也是一個重要的指標(biāo),隨著數(shù)據(jù)量和維數(shù)的增加,算法的性能不可出現(xiàn)顯著下降。

    4)傳統(tǒng)統(tǒng)計(jì)學(xué)算法煥發(fā)新生。

    正則化方法產(chǎn)生于1955年,Lasso也是20年前的方法,這些傳統(tǒng)的方法在高維小樣本等新的應(yīng)用環(huán)境里重新獲得了發(fā)展,這也提示傳統(tǒng)的統(tǒng)計(jì)學(xué)中的變量選擇方法是否值得去重新梳理,特別是一些線性計(jì)算,空間復(fù)雜度低的方法,挖掘和改進(jìn)使之與當(dāng)前高維小樣本應(yīng)用能夠結(jié)合,從而豐富高維小樣本的特征選擇方法。

    5)多階段的混合式特征選擇。

    在高維小樣本的應(yīng)用中,通常伴有高維不平衡、高維稀疏等現(xiàn)象,沒有一種通用的方法可以應(yīng)對所有的高維小樣本分類應(yīng)用問題,采用混合的多階段的特征選擇方法,可以有效去除不相關(guān)及冗余特征,如使用重抽樣技術(shù)擴(kuò)大樣本規(guī)模,使用Filter去除不相關(guān)屬性,再使用Embedded等方法去除冗余屬性等。

    6)可信數(shù)據(jù)源的構(gòu)建。

    隨著政府開放數(shù)據(jù)帶來的利好,國內(nèi)會有更多專業(yè)機(jī)構(gòu)參與國內(nèi)數(shù)據(jù)的采集整理工作,如果能根據(jù)權(quán)威公開數(shù)據(jù)構(gòu)建高維小樣本數(shù)據(jù)開放共享平臺,讓更多研究人員參與其中,可以更好地發(fā)揮數(shù)據(jù)本身的價(jià)值。

    References)

    [1] ESPEZUA S, VILLANUEVA E, MACIEL C D, et al. A projection pursuit framework for supervised dimension reduction of high dimensional small sample datasets [J]. Neurocomputing, 2015, 149(PB): 767-776.

    [2] LAZAR C, TAMINAU J, MEGANCK S, et al. A survey on filter techniques for feature selection in gene expression microarray analysis [J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2012, 9(4): 1106-1119.

    [3] TAO H, BAUSCH C, RICHMOND C, et al. Functional genomics: expression analysis of Escherichia coli growing on minimal and rich media [J]. Journal of Bacteriology, 1999, 181(20): 6425-6440.

    [4] KERR M K, MARTIN M, CHURCHILL G A. Analysis of variance for gene expression microarray data [J]. Journal of Computational Biology, 2000, 7(6): 819-837.

    [5] THOMAS J G, OLSON J M, TAPSCOTT S J, et al. An efficient and robust statistical modeling approach to discover differentially expressed genes using genomic expression profiles [J]. Genome Research, 2001, 11(7): 1227-1236.

    [6] EFRON B, TIBSHIRANI R, STOREY J D, et al. Empirical Bayes analysis of a microarray experiment [J]. Journal of the American Statistical Association, 2001, 96(456): 1151-1160.

    [7] LONG A D, MANGALAM H J, CHAN B Y, et al. Improved statistical inference from DNA microarray data using analysis of variance and a Bayesian statistical framework [J]. Journal of Biological Chemistry, 2001, 276(23): 19937-19944.

    [8] BALDI P, LONG A D. A Bayesian framework for the analysis of microarray expression data: regularized t-test and statistical inferences of gene changes [J]. Bioinformatics, 2001, 17(6): 509-519.

    [9] PARZEN E. On estimation of a probability density function and mode [J]. The Annals of Mathematical Statistics, 1962, 33(3): 1065-1076.

    [10] WILINSKI A, OSOWSKI S, SIWEK K. Gene selection for cancer classification through ensemble of methods [C]// Proceedings of the 9th International Conference on Adaptive and Natural Computing Algorithms. Berlin: Springer, 2009: 507-516.

    [11] STEUER R, KURTHS J, DAUB C O, et al. The mutual information: detecting and evaluating dependencies between variables [J]. Bioinformatics, 2002, 18(Suppl. 2): S231-S240.

    [12] LIU X, KRISHNAN A, MONDRY A. An entropy-based gene selection method for cancer classification using microarray data [J]. BMC Bioinformatics, 2005, 6(1): 1-14.

    [13] CHUANG L Y, KE C H, CHANG H W, et al. A two-stage feature selection method for gene expression data [J]. Omics: a Journal of Integrative Biology, 2009, 13(2): 127-137.

    [14] GOLUB T R, SLONIM D K, TAMAYO P, et al. Molecular classification of cancer: class discovery and class prediction by gene expression monitoring [J]. Brain Research, 1999, 501(2): 205-214.

    [15] 李穎新,李建更,阮曉鋼.腫瘤基因表達(dá)譜分類特征基因選取問題及分析方法研究[J].計(jì)算機(jī)學(xué)報(bào),2006,29(2):324-330.(LI Y X, LI J G, RUAN X G. Study of informative gene selection for tissue classification based on tumor gene expression profiles [J]. Chinese Journal of Computers, 2006, 29(2): 324-330.)

    [16] VAN’T VEER L J, DAI H, VAN DE VIJVER M J, et al. Gene expression profiling predicts clinical outcome of breast cancer [J]. Nature, 2002, 415(6871): 530-536.

    [17] PARK P J, PAGANO M, BONETTI M. A nonparametric scoring algorithm for identifying informative genes from microarray data [EB/OL]. [2016- 12- 17]. http://xueshu.baidu.com/s?wd=paperuri%3A%286c6a741e996db71f799147979ac19d70%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fdx.doi.org%2F10.1142%2F9789814447362_0006&ie=utf-8&sc_us=5571940567161427371.

    [18] CHENG Q, ZHOU H, CHENG J. The Fisher-Markov selector: fast selecting maximally separable feature subset for multiclass classification with applications to high-dimensional data [J]. IEEE Transactions on Pattern Analysis and Machine intelligence, 2011, 33(6): 1217-1233.

    [19] WANG Y, TETKO I V, HALL M A, et al. Gene selection from microarray data for cancer classification—a machine learning approach [J]. Computational Biology & Chemistry, 2005, 29(1):37-46.

    [20] DING C, PENG H. Minimum redundancy feature selection from microarray gene expression data [J]. Journal of Bioinformatics and Computational Biology, 2005, 3(2): 185-205.

    [21] XING E P, JORDAN M I, KARP R M. Feature selection for high-dimensional genomic microarray data [C]// Proceedings of the 18th International Conference on Machine Learning. San Francisco, CA: Morgan Kaufmann, 2001: 601-608.

    [22] HIRA Z M, AGILLIES D F. A review of feature selection and feature extraction methods applied on microarray data [J]. Advances in Bioinformatics, 2015, 2015: Article ID 198363.

    [23] LI L, WEINBERG C R, DARDEN T A, et al. Gene selection for sample classification based on gene expression data: study of sensitivity to choice of parameters of the GA/KNN method [J]. Bioinformatics, 2001, 17(12): 1131-1142.

    [24] CHANDRASHEKAR G, SAHIN F. A survey on feature selection methods [J]. Computers & Electrical Engineering, 2014, 40(1): 16-28.

    [25] XIA X L, XING H, LIU X. Analyzing kernel matrices for the identification of differentially expressed genes [J]. PLOS ONE, 2013, 8(12): e81683.

    [26] OSAREH A, SHADGAR B. Machine learning techniques to diagnose breast cancer [C]// Proceedings of the 2010 5th International Symposium on Health Informatics and Bioinformatics. Piscataway, NJ: IEEE, 2010: 114-120.

    [27] 張靖.面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究[D].合肥:合肥工業(yè)大學(xué),2014:15,35-52.(ZHANG J. Classification and feature selection on high-dimensional and small-sampling data [D]. Hefei: Hefei University of Technology, 2014: 15,35-52.)

    [28] SUN Y, BABBS C F, DELP E J. A comparison of feature selection methods for the detection of breast cancers in mammograms: adaptive sequential floating search vs. genetic algorithm [C]// Proceedings of the 27th Annual International Conference of the Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2006: 6532-6535.

    [29] NAKARIYAKUL S, CASASENT D P. An improvement on floating search algorithms for feature subset selection [J]. Pattern Recognition, 2009, 42(9): 1932-1940.

    [30] CHUANG L Y, YANG C H, LI J C, et al. A hybrid BPSO-CGA approach for gene selection and classification of microarray data [J]. Journal of Computational Biology: A Journal of Computational Molecular Cell Biology, 2012, 19(1): 68-82.

    [32] KAMYAB S, EFTEKHARI M. Feature selection using multimodal optimization techniques [J]. Neurocomputing, 2016, 171(C): 586-597.

    [33] GUYON I, WESTON J, BARNHILL S, et al. Gene selection for caner classification using support vector machines [J]. Machine Learning, 2002, 46(1): 389-422.

    [34] DING Y, WILKINS D. Improving the performance of SVM-RFE to select genes in microarray data [J]. BMC Bioinformatics, 2006, 7(Suppl 2): S12.

    [35] MAO Y, PI D, LIU Y, et al. Accelerated recursive feature elimination based on support vector machine for key variable identification [J]. Chinese Journal of Chemical Engineering, 2006, 14(1): 65-72.

    [36] 謝娟英,謝維信.基于特征子集區(qū)分度與支持向量機(jī)的特征選擇算法 [J].計(jì)算機(jī)學(xué)報(bào),2014,37(8):1704-1718.(XIE J Y, XIE W X. Several feature selection algorithms based on the discernibility of a feature subset and support vector machines [J]. Chinese Journal of Computers, 2014, 37(8): 1704-1718.)

    [37] 游偉,李樹濤,譚明奎.基于SVM-RFE-SFS的基因選擇方法[J].中國生物醫(yī)學(xué)工程學(xué)報(bào),2010,29(1):93-99.(YOU W, LI S T, TAN M K. Gene selection method based on SVM-RFE-SFS [J]. Chinese Journal of Biomedical Engineering, 2010, 29(1): 93-99.)

    [38] TANG Y, ZHANG Y Q, HUANG Z. FCM-SVM-RFE gene feature selection algorithm for leukemia classification from microarray gene expression data [C]// Proceedings of the 14th IEEE International Conference on Fuzzy Systems. Piscataway, NJ: IEEE, 2005: 97-101.

    [39] 吳紅霞,吳悅,劉宗田,等.基于Relief和SVM-RFE的組合式SNP特征選擇[J].計(jì)算機(jī)應(yīng)用研究,2012,29(6):2074-2077.(WU H X, WU Y, LIU Z T, et al. Combined SNP feature selection based on Relief and SVM-RFE [J]. Application Research of Computers, 2012, 29(6): 2074-2077.)

    [40] 林俊,許露,劉龍.基于SVM-RFE-BPSO算法的特征選擇方法[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(8):1865-1868.(LIN J, XU L, LIU L. Feature selection method based on SVM-RFE and particle swarm optimization [J]. Journal of Chinese Computer Systems, 2015, 36(8): 1865-1868.)

    [41] TIBSHIRANI R. Regression shrinkage and selection via the Lasso [J]. Journal of the Royal Statistical Society, 1996, 58(1): 267-288.

    [42] 劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計(jì)算機(jī)學(xué)報(bào),2015, 38(7): 1307-1325. (LIU J W, CUI L P ,LIU Z Y, et al. Survey on the regularized sparse models[J]. Chinese Journal of Computers. 2015, 38(7): 1307-1325.)

    [43] 劉建偉,崔立鵬,羅雄麟. 結(jié)構(gòu)稀疏模型及其算法研究進(jìn)展[J].計(jì)算機(jī)科學(xué),2016,43(S1):1-16.(LIU J W, CUI L P, LUO X L. Research and development on structured sparse models and algorithms [J]. Computer Science, 2016, 43(S1): 1-16.)

    [44] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression [J]. Annals of Statistics, 2004, 32(2): 407-451.

    [45] 張靖,胡學(xué)鋼,張玉紅,等.K-split Lasso:有效的腫瘤特征基因選擇方法[J].計(jì)算機(jī)科學(xué)與探索,2012,6(12):1136-1143.(ZHANG J, HU X G, ZHANG Y H, et al. K-split Lasso: an effective feature selection method for tumor gene expression data [J]. Journal of Frontiers of Computer Science and Technology, 2012, 6(12): 1136-1143.)

    [46] 施萬鋒,胡學(xué)鋼,俞奎.一種面向高維數(shù)據(jù)的均分式Lasso特征選擇方法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(1):157-161.(SHI W F, HU X G, YU K. K-part Lasso based on feature selection algorithm for high-dimensional data [J]. Computer Engineering and Applications, 2012, 48(1): 157-161.)

    [47] 施萬鋒,胡學(xué)鋼,俞奎. 一種面向高維數(shù)據(jù)的迭代式Lasso特征選擇方法[J]. 計(jì)算機(jī)應(yīng)用研究,2011,28(12):4463-4466.(SHI W F, HU X G, YU K. Iterative Lasso based on feature selection for high dimensional data [J]. Application Research of Computers, 2011, 28(12): 4463-4466.)

    [48] ZOU H, HASTIE T. Regularization and variable selection via the elastic net [J]. Journal of the Royal Statistical Society, 2005, 67(2): 301-320.

    [49] LUO S, CHEN Z. Sequential Lasso cum EBIC for feature selection with ultra-high dimensional feature space [J]. Journal of the American Statistical Association, 2014, 109(507): 1229-1240.

    [50] CHEN Z H. Sequential Lasso for feature selection with ultra-high dimensional feature space [EB/OL]. [2016- 11- 25]. http://www.stat.nus.edu.sg/~stachenz/T11-455R1.pdf.

    [51] MA S, SONG X, HUANG J. Supervised group Lasso with applications to microarray data analysis [J]. BMC Bioinformatics, 2007, 8(1):1-17.

    [52] LI X, RAO S, WANG Y, et al. Gene mining: a novel and powerful ensemble decision approach to hunting for disease genes using microarray expression profiling [J]. Nucleic Acids Research, 2004, 32(9): 2685-2694.

    [53] DUTKOWSKI J, GAMBIN A. On consensus biomarker selection [J]. BMC Bioinformatics, 2007, 8(Suppl 5): S5.

    [54] SAEYS Y, ABEEL T, PEER Y V D. Robust feature selection using ensemble feature selection techniques [C]// Proceedings of the European conference on Machine Learning and Knowledge Discovery in Databases, LNCS 5212. Berlin: Springer, 2008: 313-325.

    [55] ABEEL T, HELLEPUTTE T, VAN DE PEER Y, et al. Robust biomarker identification for cancer diagnosis with ensemble feature selection methods [J]. Bioinformatics, 2010, 26(3): 392-398.

    [56] WANG Y, MAKEDON F S, FORD J C, et al. HykGene: a hybrid approach for selecting marker genes for phenotype classification using microarray gene expression data [J]. Bioinformatics, 2005, 21(8): 1530-1537.

    [57] AKADI A E, AMINE A, OUARDIGHI A E, et al. A two-stage gene selection scheme utilizing MRMR filter and GA wrapper [J]. Knowledge and Information Systems, 2011, 26(3): 487-500.

    [58] BERMEJO P, DE LA OSSA L, GMEZ J A, et al. Fast wrapper feature subset selection in high-dimensional datasets by means of filter re-ranking [J]. Knowledge-Based Systems, 2012, 25(1): 35-44.

    [60] 姚唐龍.基因表達(dá)譜數(shù)據(jù)挖掘的特征提取方法研究[D].合肥:安徽大學(xué),2015:13-19.(YAO T L. Research on feature extraction method of gene expression profiles data mining [D] . Hefei: Anhui University, 2015: 13-19.)

    Overviewonfeatureselectioninhigh-dimensionalandsmall-sample-sizeclassification

    WANG Xiang1,2*, HU Xuegang1

    (1.SchoolofComputerandInformation,HefeiUniversityofTechnology,HefeiAnhui230009,China;2.LiteratureInformationAnalysisDepartment,AnhuiInstituteofScientificandTechnicalInformation,HefeiAnhui230011,China)

    With the development of bioinformatics, gene expression microarray and image recognition, classification on high-dimensional and small-sample-size data has become a challenging task in data ming, machine learning and pattern recognition as well. High-dimensional and small-sample-size data may cause the problem of “curse of dimensionality” and overfitting. Feature selection can prevent the “curse of dimensionality” effectively and promote the generalization ability of classification mode, and thus become a hot research topic. Accordingly, some recent development of world-wide research on feature selection in high-dimensional and small-sample-size classification was briefly reviewed. Firstly, the nature of high-dimensional and small-sample feature selection was analyzed. Secondly, according to their essential difference, feature selection algorithms for high-dimensional and small-sample-size classification were divided into four categories and compared to summarize their advantages and disadvantages. Finally, challenges and prospects for future trends of feature selection in high-dimensional small-sample-size data were proposed.

    feature selection; high-dimensional data; small-sample-size learning; information filtering; Support Vector Machine (SVM)

    2017- 03- 27;

    2017- 04- 21。

    國家973計(jì)劃項(xiàng)目(2016YFC0801406);國家自然科學(xué)基金資助項(xiàng)目(61673152);安徽省自然科學(xué)基金資助項(xiàng)目(1408085QF136)。

    王翔(1982—),男,安徽合肥人,博士研究生,主要研究方向:數(shù)據(jù)挖掘、人工智能、情報(bào)分析; 胡學(xué)鋼(1962—),男,安徽合肥人,教授,博士,主要研究方向:數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)分析。

    1001- 9081(2017)09- 2433- 06

    10.11772/j.issn.1001- 9081.2017.09.2433

    TP391.4

    A

    This work is partially supported by the National Basic Research Program (973 Program) of China (2016YFC0801406), the National Natural Science Foundation of China (61673152), the Natural Science Foundation of Anhui Province (1408085QF136).

    WANGXiang, born in 1982, Ph. D. candidate. His research interests include data mining, artificial intelligence, intelligence analysis.

    HUXuegang, born in 1962, Ph. D., professor. His research interests include data mining, artificial intelligence, big data analysis.

    猜你喜歡
    高維特征選擇子集
    由一道有關(guān)集合的子集個數(shù)題引發(fā)的思考
    拓?fù)淇臻g中緊致子集的性質(zhì)研究
    關(guān)于奇數(shù)階二元子集的分離序列
    一種改進(jìn)的GP-CLIQUE自適應(yīng)高維子空間聚類算法
    基于加權(quán)自學(xué)習(xí)散列的高維數(shù)據(jù)最近鄰查詢算法
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    一般非齊次非線性擴(kuò)散方程的等價(jià)變換和高維不變子空間
    每一次愛情都只是愛情的子集
    都市麗人(2015年4期)2015-03-20 13:33:22
    高維Kramers系統(tǒng)離出點(diǎn)的分布問題
    中国美白少妇内射xxxbb| 高清午夜精品一区二区三区| 久久久欧美国产精品| 久久精品国产亚洲av涩爱| 久久精品熟女亚洲av麻豆精品 | 久久亚洲精品不卡| 欧美日韩精品成人综合77777| 亚洲乱码一区二区免费版| 国产免费福利视频在线观看| 白带黄色成豆腐渣| 日本免费在线观看一区| 久久精品91蜜桃| 人妻夜夜爽99麻豆av| 波野结衣二区三区在线| 欧美三级亚洲精品| 亚洲电影在线观看av| 免费观看在线日韩| 亚洲av日韩在线播放| 久久热精品热| 日本黄大片高清| 日韩av在线免费看完整版不卡| 自拍偷自拍亚洲精品老妇| 国产一区二区三区av在线| 久久精品人妻少妇| av播播在线观看一区| 自拍偷自拍亚洲精品老妇| 村上凉子中文字幕在线| 亚洲成人中文字幕在线播放| 91av网一区二区| 成人国产麻豆网| 97超视频在线观看视频| 欧美精品国产亚洲| 国产av不卡久久| 99九九线精品视频在线观看视频| 青春草亚洲视频在线观看| 一级毛片久久久久久久久女| or卡值多少钱| 日韩成人av中文字幕在线观看| 亚洲aⅴ乱码一区二区在线播放| 少妇猛男粗大的猛烈进出视频 | 国产精品久久久久久久电影| 亚洲成人av在线免费| 国产伦在线观看视频一区| 直男gayav资源| 99久国产av精品国产电影| 午夜老司机福利剧场| 99久久精品国产国产毛片| 亚洲欧美清纯卡通| 亚洲国产色片| 国产麻豆成人av免费视频| 在线免费观看不下载黄p国产| 麻豆成人午夜福利视频| 久久久国产成人免费| 成人性生交大片免费视频hd| 亚洲国产色片| 国产视频内射| 直男gayav资源| 啦啦啦韩国在线观看视频| 免费一级毛片在线播放高清视频| 久久综合国产亚洲精品| 亚洲精品乱久久久久久| 国产成人精品婷婷| 噜噜噜噜噜久久久久久91| 免费看美女性在线毛片视频| 久久韩国三级中文字幕| 国产亚洲av嫩草精品影院| 国产老妇伦熟女老妇高清| 成人鲁丝片一二三区免费| av黄色大香蕉| 国产欧美日韩精品一区二区| 搞女人的毛片| 国产精品.久久久| 亚洲国产精品成人久久小说| 最近手机中文字幕大全| 熟女人妻精品中文字幕| 午夜福利成人在线免费观看| 成年免费大片在线观看| 午夜激情福利司机影院| 美女高潮的动态| 中文字幕人妻熟人妻熟丝袜美| 国产淫语在线视频| 亚洲无线观看免费| 国内精品一区二区在线观看| 欧美区成人在线视频| 国产免费福利视频在线观看| 又粗又爽又猛毛片免费看| 日本五十路高清| 搡女人真爽免费视频火全软件| 长腿黑丝高跟| 欧美性感艳星| 美女cb高潮喷水在线观看| 在现免费观看毛片| 久久久久性生活片| 国产91av在线免费观看| 国产 一区 欧美 日韩| 免费观看精品视频网站| av在线亚洲专区| av天堂中文字幕网| 国产高潮美女av| 日本与韩国留学比较| 国产精品,欧美在线| 我要看日韩黄色一级片| 两个人视频免费观看高清| 天天躁日日操中文字幕| 久久久久九九精品影院| 欧美丝袜亚洲另类| 亚洲国产成人一精品久久久| av黄色大香蕉| 亚洲欧美成人精品一区二区| 色综合色国产| 国内少妇人妻偷人精品xxx网站| 亚洲欧美日韩无卡精品| 日韩大片免费观看网站 | 日韩欧美精品免费久久| 欧美xxxx性猛交bbbb| 国产精品久久电影中文字幕| 免费人成在线观看视频色| 日韩,欧美,国产一区二区三区 | 国语对白做爰xxxⅹ性视频网站| 国产黄色视频一区二区在线观看 | 深夜a级毛片| 精品国产三级普通话版| av又黄又爽大尺度在线免费看 | 亚洲av不卡在线观看| 国产亚洲av片在线观看秒播厂 | 国产单亲对白刺激| 一级爰片在线观看| 麻豆成人av视频| 国内精品美女久久久久久| 亚洲精品日韩在线中文字幕| 精华霜和精华液先用哪个| 九色成人免费人妻av| 国产成人a∨麻豆精品| 久久久久网色| 又爽又黄a免费视频| 日日摸夜夜添夜夜添av毛片| 高清午夜精品一区二区三区| 久久精品国产自在天天线| 久久久久久大精品| 亚洲aⅴ乱码一区二区在线播放| 99热这里只有是精品在线观看| 亚洲图色成人| 国产午夜精品论理片| 成年女人看的毛片在线观看| 少妇人妻一区二区三区视频| 亚洲欧洲日产国产| 成人无遮挡网站| 久久久国产成人免费| 久久精品国产鲁丝片午夜精品| 免费av观看视频| 欧美日韩综合久久久久久| 我的老师免费观看完整版| 中文欧美无线码| 日本午夜av视频| 国产视频首页在线观看| 国产淫片久久久久久久久| 国产在视频线在精品| 一个人看的www免费观看视频| 深夜a级毛片| 激情 狠狠 欧美| 国产精品熟女久久久久浪| 99久久人妻综合| 中国美白少妇内射xxxbb| 日本免费一区二区三区高清不卡| 国产精品av视频在线免费观看| 麻豆国产97在线/欧美| 日韩高清综合在线| 久热久热在线精品观看| 大又大粗又爽又黄少妇毛片口| 亚洲性久久影院| 国产精品一区二区性色av| 日韩中字成人| 亚洲欧洲日产国产| 最近手机中文字幕大全| 国产v大片淫在线免费观看| 国产欧美日韩精品一区二区| 国产av码专区亚洲av| 黄片wwwwww| 日本av手机在线免费观看| 少妇熟女欧美另类| 国产一区有黄有色的免费视频 | 成人欧美大片| 熟女电影av网| eeuss影院久久| 国产精品精品国产色婷婷| 国产黄色视频一区二区在线观看 | 九九久久精品国产亚洲av麻豆| 91在线精品国自产拍蜜月| 麻豆精品久久久久久蜜桃| 午夜视频国产福利| 久久久久久九九精品二区国产| 亚洲国产欧美在线一区| 男插女下体视频免费在线播放| av线在线观看网站| 亚洲最大成人中文| 日本色播在线视频| 搡老妇女老女人老熟妇| 午夜福利成人在线免费观看| 婷婷色麻豆天堂久久 | 两个人的视频大全免费| 一二三四中文在线观看免费高清| 日韩欧美在线乱码| 亚洲国产精品专区欧美| 成人鲁丝片一二三区免费| 亚洲成人av在线免费| 日韩强制内射视频| 欧美一级a爱片免费观看看| 亚洲欧美日韩无卡精品| 狂野欧美白嫩少妇大欣赏| h日本视频在线播放| 变态另类丝袜制服| 精品久久久久久久久久久久久| 亚洲激情五月婷婷啪啪| 18禁裸乳无遮挡免费网站照片| 欧美日本视频| 精品久久久久久久久av| 国产亚洲av片在线观看秒播厂 | 国产精品久久久久久精品电影| 免费黄色在线免费观看| 欧美三级亚洲精品| 欧美zozozo另类| 国产伦精品一区二区三区四那| 久久精品久久久久久噜噜老黄 | eeuss影院久久| 精品人妻熟女av久视频| 免费观看在线日韩| 免费观看性生交大片5| 国产免费又黄又爽又色| 99热网站在线观看| 欧美另类亚洲清纯唯美| 亚洲欧美精品专区久久| 三级毛片av免费| 国产老妇女一区| 我要搜黄色片| 亚洲av中文字字幕乱码综合| 亚洲国产欧美在线一区| 国产在线一区二区三区精 | 国产精品嫩草影院av在线观看| 国产精品99久久久久久久久| 亚洲精品国产成人久久av| 午夜久久久久精精品| 黄片无遮挡物在线观看| 国产精品一区www在线观看| 精品酒店卫生间| 久久久精品94久久精品| 亚洲在线观看片| 3wmmmm亚洲av在线观看| 欧美3d第一页| 国产av在哪里看| 毛片女人毛片| 人体艺术视频欧美日本| 91久久精品国产一区二区成人| 国产精品电影一区二区三区| 爱豆传媒免费全集在线观看| 99久久成人亚洲精品观看| 欧美日韩在线观看h| 国产片特级美女逼逼视频| 九草在线视频观看| 亚洲av电影在线观看一区二区三区 | 又粗又爽又猛毛片免费看| 美女内射精品一级片tv| 99久久九九国产精品国产免费| 国产视频首页在线观看| 国产精品野战在线观看| 天堂√8在线中文| 别揉我奶头 嗯啊视频| 国产三级在线视频| 最近2019中文字幕mv第一页| av在线蜜桃| 嫩草影院入口| 国产精品国产高清国产av| 激情 狠狠 欧美| 黄色欧美视频在线观看| 爱豆传媒免费全集在线观看| 亚洲天堂国产精品一区在线| 99久久精品热视频| 内地一区二区视频在线| 少妇丰满av| 麻豆精品久久久久久蜜桃| 麻豆久久精品国产亚洲av| 嫩草影院入口| 一个人看的www免费观看视频| 免费大片18禁| 国产精品不卡视频一区二区| 男女国产视频网站| 精品久久久久久久人妻蜜臀av| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产黄色小视频在线观看| 精品久久久久久久人妻蜜臀av| 亚州av有码| 内地一区二区视频在线| 久久久久精品久久久久真实原创| 欧美成人精品欧美一级黄| 午夜福利在线在线| 99热6这里只有精品| 成年女人看的毛片在线观看| 男人的好看免费观看在线视频| 久久久久国产网址| 两个人视频免费观看高清| 日韩成人伦理影院| 国产精品精品国产色婷婷| 成人欧美大片| 色哟哟·www| 老师上课跳d突然被开到最大视频| eeuss影院久久| 啦啦啦啦在线视频资源| 亚洲自拍偷在线| 午夜激情欧美在线| 又粗又爽又猛毛片免费看| 日韩亚洲欧美综合| 1000部很黄的大片| 国产精品久久久久久精品电影小说 | 国产精品精品国产色婷婷| 可以在线观看毛片的网站| 亚洲精品色激情综合| 别揉我奶头 嗯啊视频| 欧美日韩精品成人综合77777| 建设人人有责人人尽责人人享有的 | 97超视频在线观看视频| 丝袜喷水一区| 免费不卡的大黄色大毛片视频在线观看 | 国产又黄又爽又无遮挡在线| 我的女老师完整版在线观看| 国产大屁股一区二区在线视频| 亚洲av成人精品一二三区| 亚洲欧美精品综合久久99| 2021天堂中文幕一二区在线观| 国产美女午夜福利| 亚洲精品自拍成人| 午夜激情福利司机影院| 国产极品天堂在线| 免费在线观看成人毛片| 亚洲精品久久久久久婷婷小说 | 熟妇人妻久久中文字幕3abv| 99九九线精品视频在线观看视频| 麻豆成人av视频| 中国国产av一级| 国产午夜精品一二区理论片| or卡值多少钱| 亚洲无线观看免费| 天美传媒精品一区二区| 黄色配什么色好看| 男女视频在线观看网站免费| 亚洲色图av天堂| 久久人人爽人人爽人人片va| 亚洲国产成人一精品久久久| ponron亚洲| 国产真实伦视频高清在线观看| 哪个播放器可以免费观看大片| 麻豆成人午夜福利视频| 日韩,欧美,国产一区二区三区 | 插阴视频在线观看视频| 久久亚洲国产成人精品v| 日韩精品有码人妻一区| 久久久色成人| 岛国毛片在线播放| a级毛片免费高清观看在线播放| 久久久久久久久久久丰满| 婷婷色麻豆天堂久久 | 国产免费福利视频在线观看| 岛国在线免费视频观看| 国产激情偷乱视频一区二区| www.色视频.com| 久久久国产成人精品二区| 亚洲av日韩在线播放| 嫩草影院新地址| 亚洲av中文字字幕乱码综合| 亚洲综合色惰| 国产视频内射| 身体一侧抽搐| 亚洲精品影视一区二区三区av| 日韩欧美在线乱码| 国产欧美另类精品又又久久亚洲欧美| 国产v大片淫在线免费观看| 在线观看av片永久免费下载| 亚洲综合精品二区| 内射极品少妇av片p| 长腿黑丝高跟| 免费黄网站久久成人精品| 日韩精品青青久久久久久| 一区二区三区免费毛片| 中国美白少妇内射xxxbb| av又黄又爽大尺度在线免费看 | 国产高清不卡午夜福利| 深爱激情五月婷婷| 国产高清三级在线| 26uuu在线亚洲综合色| 精品无人区乱码1区二区| 你懂的网址亚洲精品在线观看 | 国产成人一区二区在线| 国产成人精品婷婷| 久久精品国产亚洲av天美| 蜜臀久久99精品久久宅男| 国内精品宾馆在线| 免费无遮挡裸体视频| 国产精品精品国产色婷婷| 天堂网av新在线| 一区二区三区高清视频在线| 深爱激情五月婷婷| 国产精品电影一区二区三区| 热99在线观看视频| 啦啦啦啦在线视频资源| 免费看光身美女| 久久精品夜夜夜夜夜久久蜜豆| 少妇人妻精品综合一区二区| 国产成人午夜福利电影在线观看| 国产 一区精品| 最近2019中文字幕mv第一页| 色网站视频免费| 亚洲av一区综合| 波多野结衣巨乳人妻| 免费不卡的大黄色大毛片视频在线观看 | 少妇裸体淫交视频免费看高清| a级一级毛片免费在线观看| 久久久久久久久大av| 免费看av在线观看网站| 成人毛片a级毛片在线播放| 亚洲婷婷狠狠爱综合网| 国产精品不卡视频一区二区| 天堂√8在线中文| 日韩欧美国产在线观看| 精华霜和精华液先用哪个| 少妇熟女欧美另类| 一区二区三区高清视频在线| 日韩欧美精品免费久久| 看免费成人av毛片| 深爱激情五月婷婷| 中文字幕av在线有码专区| 日韩大片免费观看网站 | 熟女电影av网| 久久韩国三级中文字幕| 中文资源天堂在线| 日韩大片免费观看网站 | 免费观看在线日韩| 毛片一级片免费看久久久久| av在线亚洲专区| 九九热线精品视视频播放| 夜夜爽夜夜爽视频| 久久久久久久久大av| 国产在线一区二区三区精 | 国语对白做爰xxxⅹ性视频网站| 看免费成人av毛片| 欧美一区二区亚洲| 啦啦啦观看免费观看视频高清| 日日撸夜夜添| 亚洲精品乱码久久久v下载方式| 边亲边吃奶的免费视频| 午夜免费激情av| 免费无遮挡裸体视频| 69人妻影院| 小蜜桃在线观看免费完整版高清| 国产亚洲91精品色在线| 极品教师在线视频| 黄片无遮挡物在线观看| 免费观看人在逋| 嫩草影院精品99| 久久这里有精品视频免费| 免费不卡的大黄色大毛片视频在线观看 | 18禁裸乳无遮挡免费网站照片| 麻豆成人av视频| 国产视频首页在线观看| 成人一区二区视频在线观看| 免费电影在线观看免费观看| 午夜精品国产一区二区电影 | 人体艺术视频欧美日本| 深爱激情五月婷婷| 联通29元200g的流量卡| 日韩中字成人| 中文乱码字字幕精品一区二区三区 | 国产免费视频播放在线视频 | 欧美潮喷喷水| av又黄又爽大尺度在线免费看 | 国产成人精品久久久久久| av国产久精品久网站免费入址| 搞女人的毛片| av在线天堂中文字幕| 久久久精品大字幕| 久久婷婷人人爽人人干人人爱| 久久草成人影院| 亚洲精品,欧美精品| 最近的中文字幕免费完整| 精品不卡国产一区二区三区| 91精品伊人久久大香线蕉| 不卡视频在线观看欧美| 我要看日韩黄色一级片| 99热精品在线国产| 爱豆传媒免费全集在线观看| av线在线观看网站| 欧美日韩精品成人综合77777| 国产精品伦人一区二区| 国产亚洲5aaaaa淫片| 久久精品夜色国产| 22中文网久久字幕| 日本一二三区视频观看| 小说图片视频综合网站| 美女内射精品一级片tv| 国产毛片a区久久久久| 午夜亚洲福利在线播放| 亚洲,欧美,日韩| 校园人妻丝袜中文字幕| 国产亚洲精品av在线| 中文字幕熟女人妻在线| kizo精华| 欧美性感艳星| 国产精品不卡视频一区二区| 亚洲精品国产成人久久av| 亚洲三级黄色毛片| 爱豆传媒免费全集在线观看| 久久久a久久爽久久v久久| 亚洲伊人久久精品综合 | av.在线天堂| 99久久无色码亚洲精品果冻| 黄色配什么色好看| 国产高清有码在线观看视频| 中国美白少妇内射xxxbb| 舔av片在线| 伦精品一区二区三区| 噜噜噜噜噜久久久久久91| 中文资源天堂在线| or卡值多少钱| 亚洲成av人片在线播放无| 国产精品爽爽va在线观看网站| kizo精华| 超碰av人人做人人爽久久| 国产午夜精品论理片| 一级毛片久久久久久久久女| 国产伦理片在线播放av一区| 成人漫画全彩无遮挡| 国产伦在线观看视频一区| 青青草视频在线视频观看| 欧美日韩国产亚洲二区| 日本免费a在线| 久久精品国产亚洲av涩爱| 听说在线观看完整版免费高清| 久久亚洲国产成人精品v| 免费大片18禁| 国产探花极品一区二区| 免费观看性生交大片5| 少妇高潮的动态图| 免费搜索国产男女视频| 国语自产精品视频在线第100页| 18禁在线无遮挡免费观看视频| .国产精品久久| 成人无遮挡网站| 中文亚洲av片在线观看爽| 亚洲最大成人手机在线| 免费观看在线日韩| 成人av在线播放网站| 久久久亚洲精品成人影院| 国产乱来视频区| 精华霜和精华液先用哪个| 亚洲久久久久久中文字幕| 高清日韩中文字幕在线| 国产 一区 欧美 日韩| 亚洲国产欧美在线一区| 国产伦精品一区二区三区四那| 国产视频首页在线观看| 欧美+日韩+精品| 国产黄色小视频在线观看| 久久久久久久久久久免费av| 一级毛片我不卡| 欧美精品一区二区大全| 国产中年淑女户外野战色| 日本色播在线视频| 欧美极品一区二区三区四区| 亚洲伊人久久精品综合 | 寂寞人妻少妇视频99o| 能在线免费观看的黄片| 国产亚洲5aaaaa淫片| 久久久久久久国产电影| 免费电影在线观看免费观看| 亚洲在线观看片| 国产亚洲最大av| 97超碰精品成人国产| 日本免费a在线| 黄色日韩在线| 久久久色成人| 国产极品天堂在线| 一级av片app| 亚洲怡红院男人天堂| 成人美女网站在线观看视频| 国产精品日韩av在线免费观看| 免费av观看视频| 欧美激情在线99| 国产精品一区二区三区四区免费观看| 18禁裸乳无遮挡免费网站照片| 精品熟女少妇av免费看| 国产精品久久久久久精品电影小说 | 一个人免费在线观看电影| 小蜜桃在线观看免费完整版高清| 国产一区亚洲一区在线观看| 99久久人妻综合| 亚洲欧洲国产日韩| 免费看日本二区| 日本五十路高清| 在线免费观看不下载黄p国产| 国产高潮美女av| 禁无遮挡网站| 大香蕉久久网| 久久99热这里只频精品6学生 | 久久久久久久久久久免费av| 超碰av人人做人人爽久久| 免费av观看视频| 久久久久久国产a免费观看| 久久久a久久爽久久v久久| 久久精品夜夜夜夜夜久久蜜豆| 国产精品蜜桃在线观看| 国产午夜精品久久久久久一区二区三区| 久久精品夜色国产| 日韩av不卡免费在线播放| 最近2019中文字幕mv第一页| 我的老师免费观看完整版| 2021少妇久久久久久久久久久| 看十八女毛片水多多多| 观看美女的网站|