• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于矩陣分解和自適應(yīng)圖的無監(jiān)督特征選擇

    2021-07-27 08:37:34曹浪財林曉昌蘇思行
    關(guān)鍵詞:特征選擇相似性聚類

    曹浪財, 林曉昌, 蘇思行

    (1.廈門大學(xué)航空航天學(xué)院, 福建 廈門 361005;2.廈門大數(shù)據(jù)智能分析與決策重點實驗室, 福建 廈門 361005)

    0 引 言

    特征選擇可以通過某種標(biāo)準(zhǔn)從原始的特征集中選擇出最優(yōu)的特征子集解決維數(shù)災(zāi)難[1]。根據(jù)特征選擇過程中涉及的不同子步驟,這些嵌入式方法可以進一步分為以下4種類型。

    第1種嵌入式方法首先檢測數(shù)據(jù)的結(jié)構(gòu),然后直接選擇能用于最好地保留封閉結(jié)構(gòu)的那些特征。典型的方法有跡比準(zhǔn)則[2]和無監(jiān)督判別性特征選擇(unsupervised discriminant feature selection,UDFS)算法[3]。

    第2種嵌入式特征選擇方法首先通過構(gòu)造各式各樣的拉普拉斯圖捕獲樣本的相似性信息,通過譜分析檢測數(shù)據(jù)的簇結(jié)構(gòu)。然后,通過稀疏譜回歸[4]得到稀疏的特征選擇矩陣。最后,選擇特征選擇矩陣中得分最高的p個特征,也就是和簇結(jié)構(gòu)最契合的p個特征。這些通過圖嵌入或者通過其他聚類方式挖掘數(shù)據(jù)的簇結(jié)構(gòu)都可以看作對真實數(shù)據(jù)標(biāo)簽的近似過程。典型的方法包括多簇特征選擇[5],最小冗余譜特征選擇[6],全局和局部結(jié)構(gòu)保留特征選擇[7]。

    第3種嵌入方法的簇結(jié)構(gòu)是由拉普拉斯圖以及自適應(yīng)判別正則共同決定的,是動態(tài)改變的。通過特征選擇結(jié)果的反饋,這類方法可以得到更好的聚類分析。典型算法包括聯(lián)合嵌入學(xué)習(xí)和譜回歸[8],魯棒無監(jiān)督特征選擇方法[9],非負(fù)判別特征選擇[10],魯棒的譜學(xué)習(xí)特征選擇[11]。

    第4種嵌入式方法為了提高結(jié)構(gòu)學(xué)習(xí)的質(zhì)量,將特征選擇的結(jié)果輸入到結(jié)構(gòu)學(xué)習(xí)中,并使用矯正后的數(shù)據(jù)結(jié)構(gòu)引導(dǎo)選擇特征過程。典型算法包括基于局部學(xué)習(xí)聚類的特征選擇方法[12],自適應(yīng)結(jié)構(gòu)學(xué)習(xí)的無監(jiān)督特征選擇(unsupervised feature selection with adaptive structure learning,FSASL)[13],結(jié)構(gòu)最優(yōu)圖特征選擇(structured optimal graph feature selection, SOGFS)[14]。

    綜合以上特征選擇方法可知,一個好的特征選擇方法需要提取到可靠的數(shù)據(jù)幾何結(jié)構(gòu)以及可靠的簇結(jié)構(gòu)來引導(dǎo)特征選擇過程,但是現(xiàn)有的算法或側(cè)重于理想數(shù)據(jù)幾何結(jié)構(gòu)的提取(FSASL,SOGFS),或側(cè)重于通過魯棒聚類進而引導(dǎo)更好的特征選擇,比如基于矩陣分解的魯棒無監(jiān)督特征選擇[15],很少同時兼顧這兩方面。

    基于以上分析,本文擬建立一個特征選取方法統(tǒng)一的框架,將自適應(yīng)的局部結(jié)構(gòu)學(xué)習(xí)、判別性信息的提取以及特征選擇融合到該框架。在此基礎(chǔ)上提出了一種基于魯棒矩陣分解和自適應(yīng)圖的無監(jiān)督特征選擇(unsupervised feature selection based on robust matrix factorization and adaptive graph, MFAGFS)方法。該方法通過魯棒矩陣分解獲取判別性信息,并通過自適應(yīng)圖嵌入[16],學(xué)習(xí)數(shù)據(jù)集中的局部結(jié)構(gòu)信息,并對學(xué)習(xí)到的相似性矩陣添加先驗約束,而無需預(yù)先構(gòu)建樣本間的相似性矩陣, 降低了噪聲和冗余特征的影響,從而提高了模型的魯棒性,使得學(xué)習(xí)到的局部結(jié)構(gòu)信息更加精確。最后通過對特征選擇矩陣施加行稀疏的范數(shù)實現(xiàn)特征選擇功能。

    1 MFAGFS建模

    傳統(tǒng)的無監(jiān)督特征選擇模型在學(xué)習(xí)數(shù)據(jù)的局部結(jié)構(gòu)的時候,通常在樣本的原始特征空間中通過建立鄰邊和計算權(quán)重得到樣本間的相似矩陣。然而原始樣本空間中往往存在著許多的冗余甚至噪聲,這種信息提取過程是不可靠的。因此,本文選擇從純凈的投影空間中構(gòu)造更加可靠的相似性矩陣,并對相似矩陣添加先驗約束使得其具有c個連接分量(c為簇的個數(shù))得到理想的局部結(jié)構(gòu)信息。在此基礎(chǔ)上通過矩陣分解進一步添加判別性信息防止過擬合。

    為方便本節(jié)首先以矩陣A∈Rm×n介紹本文中所涉及到的各種范數(shù)和矩陣分解。

    1.1 魯棒矩陣分解

    X∈Rm×n,其中m是特征的維數(shù),n是樣本的數(shù)目。每一個樣本點可以表示為xi∈Rm×1。將矩陣X進行分解:

    式中:V∈Rm×c是潛在的特征矩陣(聚類中心);U∈Rn×c是類指示矩陣(c為聚類個數(shù))[17-18]。存在著正交和非負(fù)約束的矩陣U可以看作是一個放縮的聚類索引矩陣。正交約束和非負(fù)約束的同時存在提高矩陣的質(zhì)量,并且非負(fù)約束更符合實際情況。由于用F范數(shù)作為損失函數(shù)容易受到噪聲點和異常點的影響。本文用l2,1范數(shù)來代替常見的F范數(shù)來避免大的損失從而使得所提的模型更加魯棒。表示如下:

    (1)

    通過優(yōu)化式(1)可得到聚類索引矩陣,然后用聚類索引指示矩陣去指導(dǎo)特征選擇。但是這還遠(yuǎn)遠(yuǎn)不夠的,需要增添更多的信息去提升所選擇特征子集的質(zhì)量。由于在無監(jiān)督特征選擇任務(wù)中數(shù)據(jù)的局部幾何結(jié)構(gòu)是十分重要的[19-20]。本文后續(xù)通過自適應(yīng)圖學(xué)習(xí),進行基于數(shù)據(jù)內(nèi)部幾何結(jié)構(gòu)的樣本相似度提取,使得聚類索引矩陣更加接近數(shù)據(jù)的真實類別,獲得理想的聚類效果,最終提升特征選擇的性能。

    1.2 自適應(yīng)圖構(gòu)建

    1.2.1 基于局部結(jié)構(gòu)的自適應(yīng)圖

    (2)

    式中:1n是長度為1的全1列向量;α是正則化參數(shù),正則化參數(shù)是為了避免無效解??紤]兩個極端的例子:①α=0,對于向量si∈Rn×1有且只有一個元素的值為1,其他的都為0;②α=∞,這會讓向量si中的每一個元素都為1/n;顯而易見,正則項α可以用來調(diào)節(jié)鄰居節(jié)點的個數(shù)。最佳的α值應(yīng)該使大部分向量si只包含k個非零元素,其中k是與xi連接的鄰居數(shù)。最優(yōu)α值自動求解將在第2.3節(jié)詳細(xì)給出。在得到相似性矩陣后可以對其進一步添加先驗約束提高其可靠性。下一節(jié)將提出一種基于理想局部結(jié)構(gòu)的自適應(yīng)圖優(yōu)化,來進一步提升自適應(yīng)圖的正確性。

    1.2.2 基于理想局部結(jié)構(gòu)自適應(yīng)圖

    對于相似性矩陣來說最理想的狀態(tài)是只包含c個連通分量,即c個簇。然而通過局部結(jié)構(gòu)學(xué)習(xí)到的相似性矩陣幾乎不可能處于這種狀態(tài)。注意到:

    (3)

    (4)

    因此可以將優(yōu)化問題式(4)改寫為

    (5)

    1.3 MFAGFS算法流程

    根據(jù)流形學(xué)習(xí)理論[25],始終存在可以表達高維數(shù)據(jù)結(jié)構(gòu)的低維流形。WTX表示為此線性組合,其中W∈Rm×d是投影矩陣,m和d分別是原始特征維度和投影特征尺寸。將投影后的數(shù)據(jù)用在相似性矩陣的學(xué)習(xí)中,可以有效降低無關(guān)特征和冗余特征的負(fù)面影響。整理式(1)和式(5)可以得到MFAGFS模型的公式:

    2γtr(UTLU)+η‖W‖2,1

    (6)

    圖1 模型算法流程圖

    圖1中,投影矩陣W用來特征選擇,相似性矩陣S用來獲取局部結(jié)構(gòu)。將自適應(yīng)的局部結(jié)構(gòu)學(xué)習(xí)、判別性信息的提取以及特征選擇融合到一體。

    2 MFAGFS算法優(yōu)化

    2.1 模型優(yōu)化求解

    式(6)需要對S,U,V,W4個未知變量進行求解。為了降低模型求解的復(fù)雜度引入輔助變量E=X-VUT和Z=U。Z的作用是通過約束Z=U將獲得的非負(fù)性傳遞給U,并在此過程中保持U的正交性不變。引入輔助變量后,同時使用增廣拉格朗日法進行處理,式(6)可以改寫為

    ‖E‖2,1+2γtr(ZTLU)+η‖W‖2,1+

    <λ1,X-VUT-E>+<λ2,Z-U>+

    (7)

    式中:λ1,λ2是拉格朗日乘子;μ是懲罰參數(shù),用來控制兩個等式約束的懲罰。由于上面的目標(biāo)函數(shù)包含多個變量,因此采用交替方向乘子法(alternating direction method of multipliers, ADMM)[26]來求解,通過交替迭代的方式將原問題簡化為幾個方便求解的子問題,即當(dāng)更新某一變量的時候,其他變量固定,并由此依次對每個變量進行更新,具體流程如下所示。

    算法1 基于魯棒矩陣分解和自適應(yīng)圖的無監(jiān)督特征選擇的優(yōu)化算法輸入:數(shù)據(jù)集X∈Rm×n,特征選擇個數(shù)h,聚類個數(shù)c,投影維度d。正則化參數(shù)η,β,足夠大的γ,以及參數(shù)α。初始化:k均值聚類初始化U,V=XU,E=X-VUT,W=Id×m。迭代:1更新相似性陣S;2計算拉普拉斯矩陣L=D-ST+S2;3通過算法2更新特征選擇矩陣W;4更新聚類索引矩陣U;5更新聚類中心V;6更新輔助變量E;7更新輔助變量Z;8更新拉格朗日乘子λ1,λ2,μ,直至收斂。輸出:計算所有的‖wi‖2(i=1,2,…,n)并按降序排序,選擇排名靠前p的特征作為最后結(jié)果。

    算法1中相似性矩陣S、特征選擇矩陣W、聚類索引矩陣U、聚類中心V、輔助變量E、輔助變量Z、拉格朗日乘子λ1,λ2,μ等子問題求解公式優(yōu)化如下:

    (1)相似性矩陣S

    移除式(7)中與相似性矩陣S無關(guān)的項,得

    2γtr(ZTLU)

    (8)

    (9)

    (2)特征選擇矩陣W

    W通過求解以下問題更新:

    s.t.WTW=I

    (10)

    (11)

    顯然當(dāng)ε等于0時與原問題等價。式(11)寫成拉格朗日乘子法形式:

    tr(ΛWTW-1)

    (12)

    式中:Λ為拉格朗日乘子。

    對W求導(dǎo)并令其等于0可以得到:

    (13)

    式中:Q∈Rd×d是一個對角矩陣,其中第i個元素定義如下:

    (14)

    矩陣Q是未知的,并且依賴于投影矩陣W。因此,本文采用一個迭代算法來求解式(11)。當(dāng)固定W的時候,Q可以通過式(14)獲得。而當(dāng)固定Q的時候,特征選擇矩陣W可以通過求解下式得到:

    (15)

    特征選擇矩陣W的求解詳細(xì)描述如算法2所示。

    算法2 更新特征選擇矩陣W輸入:數(shù)據(jù)矩陣X∈Rn×d,拉普拉斯矩陣L∈Rn×n,參數(shù)η,參數(shù)β,投影維度d。初始化:Q∈Rn×n,Q=I。迭代:1根據(jù)現(xiàn)有的Q值,通過XTLX+βQ/η最小的d個特征值所對應(yīng)的特征向量,更新特征選擇矩陣W;2根據(jù)現(xiàn)有的W值,更新Q,直至收斂。輸出:特征選擇矩陣W∈Rm×d。

    (3)聚類索引矩U

    U通過求解以下問題更新:

    經(jīng)過進一步的整理可以得到:

    (16)

    式中:

    (17)

    式(16)可以進一步化簡為

    (18)

    最后得到聚類標(biāo)簽U的迭代更新公式:

    (19)

    式中:NU,QU分別對應(yīng)于矩陣H奇異值分解的左奇異矩陣和右奇異矩陣。

    (4)聚類中心V

    聚類中心V子問題如下所示:

    (20)

    考慮到U是正交的,也就是UTU=I,進一步整理可得

    最后得到聚類中心V的更新式:

    (21)

    (5)輔助變量E

    子問題E如下所示:

    (22)

    (23)

    (6)輔助變量Z

    移除式(7)與輔助變量Z無關(guān)的項,得

    (24)

    (25)

    (7)拉格朗日乘子以及w

    參考文獻[27]更新方式如下:

    λ1=λ1+μ(X-VUT-E)

    (26)

    λ2=λ2+μ(Z-U)

    (27)

    μ=min(μmax,pμ)

    (28)

    式中:μmax是常數(shù);p是迭代步長。

    2.2 算法2的收斂性分析

    特征選擇矩陣迭代過程中的收斂性直接影響到算法的可行性,本節(jié)給與證明。首先給出以下引理。

    引理 1對于任意的正實數(shù)u,v,下面的不等式[28]恒成立:

    定理 1算法1中的目標(biāo)函數(shù)將單調(diào)遞減直到收斂。

    (29)

    基于引理1,可知:

    (30)

    通過整理式(29)和式(30),可得到:

    (31)

    證畢

    2.3 正則化參數(shù)α值的求解

    式(9)滿足KKT(Karush-Kuhn-Tuckre)[29]條件的最優(yōu)解為

    (32)

    式中:(·)+表示相似向量si是稀疏并且非負(fù),意味著向量si中有且只有k個數(shù)據(jù)大于0,其他都是等于0。如果將sij從大到小排列,則si,k>0,si,k+1≤0,也就是:

    (33)

    (34)

    (35)

    整理式(33)~式(35),得到:

    (36)

    (37)

    最后對所有的αi加和平均得到:

    (38)

    3 實驗與分析

    本節(jié)將通過對比實驗驗證提出的無監(jiān)督特征選擇算法的有效性。

    3.1 實驗準(zhǔn)備

    3.1.1 數(shù)據(jù)集介紹

    在MFAGFS模型對比實驗中,使用了6個常見的公開數(shù)據(jù)集。這6個公開數(shù)據(jù)集的樣本數(shù),特征維度、類別數(shù)以及實驗中選擇的特征個數(shù)在表1中詳細(xì)給出。這6個數(shù)據(jù)集的類別數(shù)最少的有8類,最多的高達100類。樣本數(shù)目也具有多樣性,最少的有165個,最多的有2 000個。

    表1 數(shù)據(jù)集的簡要信息和特征選擇維度

    3.1.2 實驗設(shè)置

    為了對MFAGFS模型的性能有個客觀的認(rèn)識。實驗中將采用所有特征作為基準(zhǔn),并與其他5個相關(guān)的無監(jiān)督特征選擇算法進行比較。實驗中涉及到的對照模型為Baseline、LapScore[30]、UDFS、NDFS、FSASL、SOGFS。

    為了保證對比實驗的公平性和有效性,實驗中需要提前設(shè)置近鄰參數(shù)時,統(tǒng)一設(shè)置為k=5,高斯熱核函數(shù)中的參數(shù)σ大小設(shè)為1。此外,對于特征選擇矩陣(投影矩陣)的維數(shù)空間和潛在簇的個數(shù)都設(shè)為c(c是數(shù)據(jù)集的真實類別數(shù))。MFAGFS模型還需要調(diào)節(jié)η,β和γ這3個參數(shù)。其中γ用來實現(xiàn)對秩的約束,在具體實驗操作中根據(jù)秩的大小自動調(diào)節(jié)γ的值。對于剩下的參數(shù)η和參數(shù)β采用網(wǎng)格搜索的方式來確定。搜索的范圍為{10-3,10-2,10-1,100,101,102,103}。為了公平起見,其他對比模型的正則參數(shù)統(tǒng)一進行范圍大小為{10-3,10-2,10-1,100,101,102,103}的網(wǎng)格搜索。

    由于k均值聚類的效果與初始化緊密相關(guān),所以在實驗中重復(fù)實驗20次并記錄其平均值。

    3.1.3 實驗評價指標(biāo)

    為了準(zhǔn)確地觀察算法的效果,需要采用相應(yīng)的評價指標(biāo)得到客觀的量化結(jié)果。本文采用準(zhǔn)確率(accuracy, ACC)以及歸一化互信息(normalized mutual information,NMI)這兩個評價準(zhǔn)則來評估特征子集的聚類性能[7]。

    3.2 實驗結(jié)果分析

    3.2.1 特征有效性分析

    本節(jié)通過對比實驗來驗證MFAGFS模型所選擇的特征的有效性??偣膊捎昧?個數(shù)據(jù)集進行聚類分析。實驗結(jié)果中的測試指標(biāo)用粗體表示最好的結(jié)果,下劃線表示次好的結(jié)果。AVERAGE表示各個特征選擇方法在6個數(shù)據(jù)集上的平均表現(xiàn)。

    表2和表3描述的是各個模型在各個數(shù)據(jù)集上的最優(yōu)表現(xiàn)情況。

    從表2以及表3中可以得到如下結(jié)論。

    表2 各算法最優(yōu)識別率比較

    表3 各算法最優(yōu)標(biāo)準(zhǔn)互信息比較

    (1)大部分的無監(jiān)督特征選擇算法都比基線有著更加優(yōu)異的表現(xiàn)。說明原始數(shù)據(jù)中有著大量冗余以及噪聲特征。通過特征選擇可以提高學(xué)習(xí)器的性能。說明了進行特征選擇的重要性。

    (2)LapScore的特征選擇結(jié)果差強人意,這是由于它的特征選擇策略是逐個選取特征的方式。這種特征選擇方式忽略了特征之間的關(guān)系選出來的特征與其他模型相比特征冗余度高。

    (3)在6個數(shù)據(jù)集的平均準(zhǔn)確率上,MFAGFS比次優(yōu)的NDFS模型高出了4.01%。另外值得注意的是,MFAGFS算法在所有數(shù)據(jù)集上的表現(xiàn)比基準(zhǔn)方法提高了1.01%到15.60%。說明MFAGFS能夠選擇出更加具有區(qū)分性的特征子集。

    3.2.2 特征個數(shù)和聚類結(jié)果之間的關(guān)系分析

    從實驗結(jié)果中,可以進一步分析特征個數(shù)和聚類結(jié)果之間的關(guān)系。從圖2和圖3中可以得出如下結(jié)論。

    圖2 ACC隨選擇特征數(shù)量變化曲線

    圖3 NMI隨著選擇特征數(shù)量變化曲線

    (1)基線在PalmData25上的最好結(jié)果稍微好于其他數(shù)據(jù)集,這是由于PalmData25數(shù)據(jù)集的特征維度低,特征冗余度比較低。進行特征選擇的難度比較高。

    (2)ACC和NMI并不是簡單的隨著特征維度的增高而增高,而是處于一種進入一定的特征維數(shù)后就開始穩(wěn)定,甚至波動。這說明了數(shù)據(jù)中真正的有效特征是少數(shù)的,大部分特征是冗余、無效的,過多的特征不僅帶來計算負(fù)擔(dān)還可能帶來負(fù)面效果。這也說明了特征選擇的必要性。

    (3)SOGFS、FSASL以及MFAGFS這3個有自適應(yīng)學(xué)習(xí)數(shù)據(jù)的局部流形結(jié)構(gòu)的模型的表現(xiàn)比其他模型的表現(xiàn)要更加出色。說明了局部幾何信息在無監(jiān)督特征選擇中的重要性。

    (4)MFAGFS的曲線基本處于其他算法的上方(除了PalmData25),這說明了局部幾何結(jié)構(gòu)和判別信息的充分利用有助于選擇出好的特征子集。

    3.3 參數(shù)敏感度分析

    MFAGFS在實驗中需要提前設(shè)置一些參數(shù),本節(jié)主要關(guān)注兩個主要正則參數(shù)η和β對實驗結(jié)果的影響,即用來保證數(shù)據(jù)局部相似性的β,以及用來控制特征選擇矩陣稀疏約束的η。通過重復(fù)使用k均值聚類20次并取其平均值,并取得到最好結(jié)果的維度作三維圖,如圖4和圖5所示。

    圖4 ACC隨η和β的變化情況

    圖5 NMI隨η和β的變化情況

    3.3.1 聚類ACC分析

    圖2和圖4是MFAGFS在6個數(shù)據(jù)集上,不同的β和η值所對應(yīng)的聚類ACC結(jié)果。算法在PalmData25和COIL20上的結(jié)果比較穩(wěn)定。這可能與PalmData25以及COIL20數(shù)據(jù)集樣本數(shù)目多進行特征選擇的難度比較低有關(guān)。

    3.3.2 聚類NMI分析

    圖3和圖5為MFAGFS在6個公開數(shù)據(jù)集上對應(yīng)不同的參數(shù)的聚類NMI的結(jié)果。從數(shù)據(jù)集ECOLI和ISOLET的聚類NMI上來看可以得到對數(shù)據(jù)進行參數(shù)選擇是必要的,不同的參數(shù)組合對結(jié)果的影響可能是巨大的。

    另外從圖2~圖5上可以得出如下結(jié)論:同一參數(shù)組合下的ACC和NMI的表現(xiàn)可能有巨大差異。這是由于ACC和NMI是兩個完全不同的評價指標(biāo),不同的評價指標(biāo)造就不同的評價結(jié)果。

    4 結(jié) 論

    特征選擇是一種成熟的數(shù)據(jù)預(yù)處理方法,可以有效地去除冗余特征以及噪聲,進而達到降低數(shù)據(jù)維度且同時保留數(shù)據(jù)的重要信息的目的。無監(jiān)督的特征選擇算法相比于有監(jiān)督的特征選擇更加富有挑戰(zhàn)性。

    本文提出了一種MFAGFS方法,通過矩陣分解得到的聚類信息以及通過自適應(yīng)圖得到的局部結(jié)構(gòu)信息指導(dǎo)特征選擇過程,為了防止過擬合進一步通過行稀疏的l2,1范數(shù)來去除數(shù)據(jù)中冗余特征提升特征選擇的效果。在6個真實世界的數(shù)據(jù)集上進行了對比試驗以及穩(wěn)定性試驗,試驗結(jié)果表明,提出的MFAGFS模型與相比其他無監(jiān)督特征選擇模型相比,ACC和NMI都有一定程度的提升,模型具有更高的精度,且具有較高的魯棒性,對參數(shù)不敏感。

    MFAGFS與NDFS一樣,都有通過聚類來獲得到判別性信息。但是NDFS進行譜聚類的時候是在原始空間,而數(shù)據(jù)在原始空間中有大量的噪聲和冗余特征,這會影響到所學(xué)習(xí)到的特征準(zhǔn)確性。而MFAGFS通過魯棒的矩陣分解獲得聚類標(biāo)簽可以有效地降低噪聲和異常點對特征選擇的影響。

    MFAGFS和FSASL都考慮了噪聲點和異常點的影響,模型都比較魯棒。但是不同的是MFAGFS有對相似性矩陣進行更加細(xì)致的先驗約束,因此得到的結(jié)構(gòu)信息更加精確。

    采用矩陣分解的模型來進行數(shù)據(jù)點的聚類,這是一個線性的模型。然而數(shù)據(jù)往往是嵌入在一個低維流形上的,數(shù)據(jù)之間存在復(fù)雜的非線性關(guān)系,這是線性的矩陣分解模型所處理不了的。如何應(yīng)用更先進的技術(shù)到特征選擇的過程中來,如張量分析、分解機,是本文后續(xù)重點研究的課題。

    猜你喜歡
    特征選擇相似性聚類
    一類上三角算子矩陣的相似性與酉相似性
    淺析當(dāng)代中西方繪畫的相似性
    河北畫報(2020年8期)2020-10-27 02:54:20
    基于DBSACN聚類算法的XML文檔聚類
    電子測試(2017年15期)2017-12-18 07:19:27
    Kmeans 應(yīng)用與特征選擇
    電子制作(2017年23期)2017-02-02 07:17:06
    低滲透黏土中氯離子彌散作用離心模擬相似性
    聯(lián)合互信息水下目標(biāo)特征選擇算法
    基于改進的遺傳算法的模糊聚類算法
    一種層次初始的聚類個數(shù)自適應(yīng)的聚類方法研究
    基于特征選擇和RRVPMCD的滾動軸承故障診斷方法
    基于二元搭配詞的微博情感特征選擇
    計算機工程(2014年6期)2014-02-28 01:26:36
    日韩av不卡免费在线播放| 婷婷丁香在线五月| 亚洲国产最新在线播放| 丰满饥渴人妻一区二区三| 天天影视国产精品| 亚洲av日韩在线播放| 国产麻豆69| 9色porny在线观看| 热re99久久国产66热| 亚洲精品日本国产第一区| 亚洲精品成人av观看孕妇| 国产精品99久久99久久久不卡| 一级黄色大片毛片| 亚洲熟女毛片儿| 狠狠精品人妻久久久久久综合| 亚洲专区中文字幕在线| 丝瓜视频免费看黄片| 欧美av亚洲av综合av国产av| 精品一品国产午夜福利视频| 热99久久久久精品小说推荐| 国产在线视频一区二区| 成在线人永久免费视频| av网站免费在线观看视频| 又大又爽又粗| 一级毛片我不卡| 在线观看www视频免费| 久久毛片免费看一区二区三区| 国产女主播在线喷水免费视频网站| 最新在线观看一区二区三区 | 国产一区有黄有色的免费视频| 国产一区二区三区综合在线观看| av福利片在线| 大片免费播放器 马上看| 国产欧美日韩一区二区三区在线| 视频区欧美日本亚洲| 一级,二级,三级黄色视频| 久久久久久久久久久久大奶| 国产精品国产三级国产专区5o| 日日夜夜操网爽| 亚洲精品国产av成人精品| 秋霞在线观看毛片| 精品亚洲乱码少妇综合久久| 久久毛片免费看一区二区三区| 久久女婷五月综合色啪小说| 欧美精品人与动牲交sv欧美| av网站免费在线观看视频| 国产成人影院久久av| 婷婷色麻豆天堂久久| 欧美人与性动交α欧美精品济南到| 后天国语完整版免费观看| e午夜精品久久久久久久| 欧美日韩福利视频一区二区| 亚洲国产av新网站| 亚洲国产精品一区三区| av国产精品久久久久影院| 丰满少妇做爰视频| 国产片特级美女逼逼视频| 精品国产超薄肉色丝袜足j| 亚洲成人免费av在线播放| 欧美黄色片欧美黄色片| 91精品三级在线观看| 香蕉丝袜av| 后天国语完整版免费观看| 成人三级做爰电影| 国产成人a∨麻豆精品| 久久久久国产精品人妻一区二区| www.自偷自拍.com| 免费在线观看完整版高清| 免费观看av网站的网址| 亚洲美女黄色视频免费看| 国产一区亚洲一区在线观看| 日本猛色少妇xxxxx猛交久久| 一本综合久久免费| 另类精品久久| 国产亚洲av片在线观看秒播厂| 欧美老熟妇乱子伦牲交| 精品免费久久久久久久清纯 | 久久久精品94久久精品| 青青草视频在线视频观看| 国产精品 欧美亚洲| av国产久精品久网站免费入址| 精品少妇一区二区三区视频日本电影| 国产精品一区二区在线不卡| 亚洲欧美日韩高清在线视频 | 美女脱内裤让男人舔精品视频| 黄频高清免费视频| 欧美人与性动交α欧美精品济南到| 精品欧美一区二区三区在线| www.精华液| 老司机深夜福利视频在线观看 | 在线观看免费视频网站a站| 在线天堂中文资源库| 电影成人av| 久9热在线精品视频| 久久久久久亚洲精品国产蜜桃av| 亚洲综合色网址| 在线观看国产h片| 丝袜美足系列| 精品福利观看| 在线亚洲精品国产二区图片欧美| 国产成人系列免费观看| 国产91精品成人一区二区三区 | 久久人人爽人人片av| 在线亚洲精品国产二区图片欧美| 精品一品国产午夜福利视频| 国产成人精品在线电影| 国产黄频视频在线观看| 免费不卡黄色视频| 9色porny在线观看| 又黄又粗又硬又大视频| 下体分泌物呈黄色| 日韩一区二区三区影片| 亚洲伊人色综图| avwww免费| 国产精品.久久久| 免费看十八禁软件| 午夜老司机福利片| 免费av中文字幕在线| 精品高清国产在线一区| 下体分泌物呈黄色| 新久久久久国产一级毛片| 午夜福利乱码中文字幕| 90打野战视频偷拍视频| 久久久亚洲精品成人影院| 99精品久久久久人妻精品| www.熟女人妻精品国产| 成年人午夜在线观看视频| 成人国产一区最新在线观看 | 国产精品久久久av美女十八| 久久天堂一区二区三区四区| 亚洲av欧美aⅴ国产| 日韩一卡2卡3卡4卡2021年| 久久综合国产亚洲精品| 亚洲av片天天在线观看| 妹子高潮喷水视频| 久久av网站| 你懂的网址亚洲精品在线观看| 久久精品久久久久久噜噜老黄| 亚洲成国产人片在线观看| 国产片内射在线| 真人做人爱边吃奶动态| 欧美精品亚洲一区二区| 亚洲伊人色综图| 国产精品二区激情视频| 男女免费视频国产| 人人妻人人澡人人看| 黑人猛操日本美女一级片| 一级毛片女人18水好多 | 免费女性裸体啪啪无遮挡网站| 亚洲五月婷婷丁香| 亚洲国产av新网站| 亚洲色图综合在线观看| 亚洲欧美一区二区三区国产| 热re99久久精品国产66热6| 亚洲人成网站在线观看播放| 久久精品国产亚洲av高清一级| 亚洲欧洲国产日韩| netflix在线观看网站| 日本五十路高清| videosex国产| 亚洲国产av新网站| 精品少妇内射三级| 黑人巨大精品欧美一区二区蜜桃| 国产在线视频一区二区| 美女主播在线视频| 黑人猛操日本美女一级片| 亚洲欧美日韩另类电影网站| 久热这里只有精品99| 老鸭窝网址在线观看| 精品欧美一区二区三区在线| 精品福利观看| 热99久久久久精品小说推荐| 久久九九热精品免费| 男女边吃奶边做爰视频| 亚洲欧美精品综合一区二区三区| 在线观看免费视频网站a站| 男的添女的下面高潮视频| 最黄视频免费看| 国产成人av激情在线播放| 飞空精品影院首页| 久久国产精品男人的天堂亚洲| 看十八女毛片水多多多| 性色av乱码一区二区三区2| 少妇人妻久久综合中文| 美女扒开内裤让男人捅视频| 最近手机中文字幕大全| 999久久久国产精品视频| 视频区欧美日本亚洲| 国产一区二区三区av在线| 久久久久精品国产欧美久久久 | 欧美精品av麻豆av| 侵犯人妻中文字幕一二三四区| 国产在线观看jvid| 51午夜福利影视在线观看| 欧美亚洲 丝袜 人妻 在线| 免费在线观看日本一区| 久久人人97超碰香蕉20202| 性高湖久久久久久久久免费观看| 日本vs欧美在线观看视频| 免费一级毛片在线播放高清视频 | 久久精品国产亚洲av涩爱| 国产黄频视频在线观看| 欧美少妇被猛烈插入视频| 在现免费观看毛片| 国产日韩欧美在线精品| 亚洲欧美精品自产自拍| 亚洲人成电影观看| 夫妻午夜视频| 9热在线视频观看99| 亚洲成人国产一区在线观看 | 亚洲欧美中文字幕日韩二区| 女人高潮潮喷娇喘18禁视频| 亚洲七黄色美女视频| 一边亲一边摸免费视频| 亚洲精品在线美女| 黄色视频不卡| 菩萨蛮人人尽说江南好唐韦庄| 欧美精品av麻豆av| 少妇 在线观看| 久久狼人影院| 久久久国产精品麻豆| 久久性视频一级片| 国产亚洲午夜精品一区二区久久| 咕卡用的链子| 人人妻,人人澡人人爽秒播 | 日韩伦理黄色片| 免费在线观看日本一区| 亚洲欧美中文字幕日韩二区| 国产精品麻豆人妻色哟哟久久| 国产免费现黄频在线看| 欧美日韩视频精品一区| 亚洲av电影在线观看一区二区三区| 精品福利观看| 赤兔流量卡办理| 日韩一卡2卡3卡4卡2021年| 99热全是精品| 高清黄色对白视频在线免费看| 久久99热这里只频精品6学生| 国产日韩欧美在线精品| 极品人妻少妇av视频| 久久人人爽人人片av| 欧美激情高清一区二区三区| 国产1区2区3区精品| 成人午夜精彩视频在线观看| 国产男人的电影天堂91| 国产亚洲av片在线观看秒播厂| 久久九九热精品免费| 五月天丁香电影| 黑人欧美特级aaaaaa片| h视频一区二区三区| 日本一区二区免费在线视频| 国产视频一区二区在线看| 狠狠婷婷综合久久久久久88av| 久久99热这里只频精品6学生| 在线观看免费视频网站a站| 亚洲国产av新网站| 999久久久国产精品视频| 又大又爽又粗| 97人妻天天添夜夜摸| 久久女婷五月综合色啪小说| 丁香六月欧美| 中文字幕人妻丝袜一区二区| 中国国产av一级| 欧美在线黄色| 各种免费的搞黄视频| 亚洲国产欧美日韩在线播放| 汤姆久久久久久久影院中文字幕| 亚洲午夜精品一区,二区,三区| 女性生殖器流出的白浆| 国产99久久九九免费精品| 精品一品国产午夜福利视频| 中文精品一卡2卡3卡4更新| 久久人人97超碰香蕉20202| 只有这里有精品99| 国产精品免费视频内射| 国产福利在线免费观看视频| 我要看黄色一级片免费的| 看免费成人av毛片| xxxhd国产人妻xxx| av视频免费观看在线观看| 国产97色在线日韩免费| 97在线人人人人妻| 菩萨蛮人人尽说江南好唐韦庄| 蜜桃国产av成人99| 男女边摸边吃奶| 日韩免费高清中文字幕av| 十八禁网站网址无遮挡| 黄片播放在线免费| 欧美变态另类bdsm刘玥| 亚洲精品国产一区二区精华液| 国产日韩欧美亚洲二区| 免费在线观看黄色视频的| 久久人人爽人人片av| 亚洲一码二码三码区别大吗| 又黄又粗又硬又大视频| 中文字幕人妻丝袜制服| 91九色精品人成在线观看| 欧美激情极品国产一区二区三区| 欧美久久黑人一区二区| 亚洲成人国产一区在线观看 | 欧美日本中文国产一区发布| 人人澡人人妻人| 亚洲人成网站在线观看播放| 久久久精品94久久精品| 久久亚洲精品不卡| 一边亲一边摸免费视频| avwww免费| 久久久久视频综合| 亚洲欧美色中文字幕在线| 亚洲伊人久久精品综合| 欧美 日韩 精品 国产| 只有这里有精品99| 韩国高清视频一区二区三区| 18在线观看网站| 欧美国产精品va在线观看不卡| 午夜福利在线免费观看网站| 99久久99久久久精品蜜桃| 国产在线视频一区二区| 色视频在线一区二区三区| 国产不卡av网站在线观看| av网站在线播放免费| 午夜福利视频在线观看免费| 女人精品久久久久毛片| 在线观看人妻少妇| 首页视频小说图片口味搜索 | 久久久精品94久久精品| 少妇被粗大的猛进出69影院| www.熟女人妻精品国产| 1024香蕉在线观看| 国产精品一区二区在线不卡| 国产精品国产av在线观看| 欧美日韩亚洲国产一区二区在线观看 | 国产精品麻豆人妻色哟哟久久| 菩萨蛮人人尽说江南好唐韦庄| 国产欧美日韩一区二区三区在线| 国产欧美日韩综合在线一区二区| 久久人人97超碰香蕉20202| 99香蕉大伊视频| 性色av一级| 嫁个100分男人电影在线观看 | 黄色片一级片一级黄色片| 丝袜在线中文字幕| 国产欧美日韩综合在线一区二区| 成人国产一区最新在线观看 | 青春草视频在线免费观看| 亚洲成国产人片在线观看| 新久久久久国产一级毛片| 老司机午夜十八禁免费视频| 极品少妇高潮喷水抽搐| 成人国语在线视频| 美女午夜性视频免费| 久久久久视频综合| tube8黄色片| 国产97色在线日韩免费| 亚洲第一av免费看| 大片电影免费在线观看免费| 国产av一区二区精品久久| 午夜激情久久久久久久| avwww免费| 午夜久久久在线观看| 成年动漫av网址| 欧美日韩亚洲国产一区二区在线观看 | 中国国产av一级| 97在线人人人人妻| 少妇裸体淫交视频免费看高清 | 亚洲精品成人av观看孕妇| av有码第一页| 高清av免费在线| 丝袜在线中文字幕| 男女免费视频国产| 欧美久久黑人一区二区| 新久久久久国产一级毛片| 男女边摸边吃奶| 亚洲,一卡二卡三卡| 在线观看一区二区三区激情| 18在线观看网站| av国产久精品久网站免费入址| 在线观看免费视频网站a站| 女警被强在线播放| 777久久人妻少妇嫩草av网站| 国产男女超爽视频在线观看| 成人影院久久| 国产在线观看jvid| 国产成人一区二区三区免费视频网站 | 两个人免费观看高清视频| 两性夫妻黄色片| 看免费av毛片| 女性被躁到高潮视频| 欧美变态另类bdsm刘玥| 18禁黄网站禁片午夜丰满| 日本欧美国产在线视频| 一本一本久久a久久精品综合妖精| 日本wwww免费看| 老司机在亚洲福利影院| 美女高潮到喷水免费观看| 日韩中文字幕视频在线看片| 亚洲五月色婷婷综合| 成人免费观看视频高清| 午夜激情久久久久久久| 999久久久国产精品视频| 交换朋友夫妻互换小说| av国产精品久久久久影院| 日韩电影二区| 日本色播在线视频| 国产老妇伦熟女老妇高清| 久久久久久免费高清国产稀缺| 久久人妻福利社区极品人妻图片 | 宅男免费午夜| 女人精品久久久久毛片| 黄网站色视频无遮挡免费观看| 99精国产麻豆久久婷婷| 久久久久久久精品精品| 黄色一级大片看看| 精品国产国语对白av| 欧美日韩亚洲综合一区二区三区_| 国产精品久久久久成人av| 纵有疾风起免费观看全集完整版| 又紧又爽又黄一区二区| 男人操女人黄网站| 亚洲少妇的诱惑av| 91麻豆av在线| 久热这里只有精品99| 久久影院123| 老汉色av国产亚洲站长工具| av国产久精品久网站免费入址| 性色av乱码一区二区三区2| 亚洲欧美中文字幕日韩二区| 亚洲五月婷婷丁香| 嫩草影视91久久| 在线av久久热| 赤兔流量卡办理| 天堂8中文在线网| 美女高潮到喷水免费观看| 丰满少妇做爰视频| 亚洲黑人精品在线| 成年av动漫网址| 男女免费视频国产| 一级毛片我不卡| 久久久久精品人妻al黑| 国产亚洲欧美精品永久| 日本91视频免费播放| 久9热在线精品视频| 久久久久国产精品人妻一区二区| 夫妻性生交免费视频一级片| 免费av中文字幕在线| 国产xxxxx性猛交| 亚洲伊人久久精品综合| 少妇粗大呻吟视频| 免费看十八禁软件| 色婷婷久久久亚洲欧美| 欧美日韩综合久久久久久| 日日夜夜操网爽| 欧美黑人欧美精品刺激| 国产高清国产精品国产三级| 欧美在线黄色| 久久久久久亚洲精品国产蜜桃av| 欧美 日韩 精品 国产| 成年人黄色毛片网站| 亚洲精品成人av观看孕妇| av网站免费在线观看视频| www日本在线高清视频| 你懂的网址亚洲精品在线观看| 好男人视频免费观看在线| av有码第一页| 一本大道久久a久久精品| 精品福利永久在线观看| 婷婷色av中文字幕| 女人精品久久久久毛片| h视频一区二区三区| 人人澡人人妻人| 老司机影院毛片| 99国产精品一区二区三区| 久久久亚洲精品成人影院| 国产一级毛片在线| 国产成人免费观看mmmm| 国产主播在线观看一区二区 | 久久女婷五月综合色啪小说| 亚洲欧美中文字幕日韩二区| 成人黄色视频免费在线看| 国产日韩欧美亚洲二区| 国产片内射在线| 九草在线视频观看| 色婷婷久久久亚洲欧美| 国产一区二区三区av在线| 女人高潮潮喷娇喘18禁视频| 丰满人妻熟妇乱又伦精品不卡| 在线天堂中文资源库| 又黄又粗又硬又大视频| 免费人妻精品一区二区三区视频| 好男人电影高清在线观看| 日韩中文字幕视频在线看片| 亚洲男人天堂网一区| 99九九在线精品视频| 久久免费观看电影| 亚洲精品国产av蜜桃| 亚洲国产欧美在线一区| 尾随美女入室| 王馨瑶露胸无遮挡在线观看| av网站免费在线观看视频| 老司机靠b影院| 久久久久视频综合| 欧美黑人欧美精品刺激| 中文字幕精品免费在线观看视频| 免费人妻精品一区二区三区视频| 亚洲少妇的诱惑av| 国产精品一区二区在线不卡| 国产高清不卡午夜福利| 亚洲精品成人av观看孕妇| 国产成人av教育| 午夜福利乱码中文字幕| 国产成人免费无遮挡视频| 最近最新中文字幕大全免费视频 | 国产97色在线日韩免费| 久久亚洲国产成人精品v| av国产久精品久网站免费入址| a级毛片在线看网站| 天天躁夜夜躁狠狠躁躁| 国产亚洲午夜精品一区二区久久| 美女高潮到喷水免费观看| a级毛片黄视频| 别揉我奶头~嗯~啊~动态视频 | 国产精品久久久久久人妻精品电影 | 久久综合国产亚洲精品| 久久人妻福利社区极品人妻图片 | 国产一区二区在线观看av| 久热这里只有精品99| 真人做人爱边吃奶动态| 久久天躁狠狠躁夜夜2o2o | 日韩av免费高清视频| 老汉色av国产亚洲站长工具| 国产老妇伦熟女老妇高清| 国产熟女午夜一区二区三区| 亚洲第一av免费看| av在线播放精品| 永久免费av网站大全| 久久久久久人人人人人| www.精华液| 国产精品二区激情视频| 精品少妇久久久久久888优播| 十八禁网站网址无遮挡| 高清不卡的av网站| 性高湖久久久久久久久免费观看| 啦啦啦中文免费视频观看日本| 在线精品无人区一区二区三| 亚洲精品久久午夜乱码| 捣出白浆h1v1| 国产av国产精品国产| 五月开心婷婷网| 国产免费一区二区三区四区乱码| 久久久国产精品麻豆| 女人爽到高潮嗷嗷叫在线视频| 中文字幕人妻丝袜制服| 一边摸一边抽搐一进一出视频| 一级片免费观看大全| 国产亚洲一区二区精品| 国产熟女午夜一区二区三区| 黑人巨大精品欧美一区二区蜜桃| 十分钟在线观看高清视频www| 国产又爽黄色视频| 一级毛片电影观看| 午夜免费观看性视频| 亚洲精品国产色婷婷电影| www.999成人在线观看| 日日爽夜夜爽网站| 成在线人永久免费视频| 欧美国产精品va在线观看不卡| 久久久久久久久久久久大奶| 日韩一区二区三区影片| 一区在线观看完整版| 成年av动漫网址| 最新在线观看一区二区三区 | 丝袜美腿诱惑在线| 欧美 亚洲 国产 日韩一| 男女下面插进去视频免费观看| 日韩 亚洲 欧美在线| 欧美精品一区二区免费开放| 欧美成人精品欧美一级黄| 精品国产一区二区久久| 国产一区有黄有色的免费视频| 欧美中文综合在线视频| 久久毛片免费看一区二区三区| 久久综合国产亚洲精品| www.av在线官网国产| 中文字幕高清在线视频| 国产有黄有色有爽视频| 久久久久网色| 日韩一本色道免费dvd| 日韩一区二区三区影片| 日本一区二区免费在线视频| 蜜桃在线观看..| 久久精品亚洲熟妇少妇任你| 视频区图区小说| 亚洲视频免费观看视频| 中文字幕精品免费在线观看视频| av福利片在线| 宅男免费午夜| 国产老妇伦熟女老妇高清| 久久久精品国产亚洲av高清涩受| 亚洲,欧美精品.| 亚洲一区中文字幕在线| 国产成人91sexporn| 欧美另类一区| 色网站视频免费| 黄色 视频免费看| 亚洲精品国产一区二区精华液| 国产男女超爽视频在线观看| 欧美日韩黄片免| 国产男女内射视频| 叶爱在线成人免费视频播放| 晚上一个人看的免费电影| 多毛熟女@视频| 免费女性裸体啪啪无遮挡网站| 999久久久国产精品视频| 久久热在线av| 久久久久久久久久久久大奶|