• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于一致圖學(xué)習(xí)的魯棒多視圖子空間聚類(lèi)

    2022-01-05 02:31:08潘振君張化祥
    計(jì)算機(jī)應(yīng)用 2021年12期
    關(guān)鍵詞:集上視圖聚類(lèi)

    潘振君,梁 成,張化祥

    (山東師范大學(xué)信息科學(xué)與工程學(xué)院,濟(jì)南 250358)

    (?通信作者電子郵箱ALCS417@sdnu.edu.cn)

    0 引言

    聚類(lèi)是機(jī)器學(xué)習(xí)中最熱門(mén)的討論話題之一,廣泛應(yīng)用于數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域。隨著數(shù)據(jù)分析技術(shù)的日益成熟,多視圖聚類(lèi)成為人們關(guān)注的焦點(diǎn)。由于數(shù)據(jù)的異構(gòu)性,傳統(tǒng)的單視圖聚類(lèi)算法難以適用于某些特定場(chǎng)景。多媒體數(shù)據(jù)來(lái)源廣泛且表示形式多樣,例如,在一個(gè)新聞事件的報(bào)道中,報(bào)道的內(nèi)容可能來(lái)自多個(gè)不同的新聞媒體機(jī)構(gòu),對(duì)該新聞的報(bào)道可能采用文字、圖片或視頻等形式[1-4]。不同的信息獲取方式和表示方式構(gòu)成了多視圖數(shù)據(jù)。多視圖數(shù)據(jù)學(xué)習(xí)已經(jīng)成為數(shù)據(jù)挖掘、多媒體計(jì)算等領(lǐng)域中尤為重要的一部分,越來(lái)越多的聚類(lèi)算法被提出。在此之前,處理多視圖數(shù)據(jù)的方式是直接將多個(gè)視圖的特征進(jìn)行拼接來(lái)構(gòu)造一個(gè)新的特征矩陣,再對(duì)其應(yīng)用單視圖聚類(lèi)算法得到聚類(lèi)的結(jié)果;但是這種方法有明顯的缺陷,它沒(méi)有考慮每個(gè)視圖之間的內(nèi)部聯(lián)系,聚類(lèi)性能也難以提高。因此學(xué)者們提出了多視圖聚類(lèi)算法(Multi-View Clustering,MVC)。多視圖數(shù)據(jù)利用不同的視圖來(lái)描述事物的不同特征,但本質(zhì)上是對(duì)同一事物的描述。與單視圖聚類(lèi)算法相比,多視圖聚類(lèi)算法彌補(bǔ)了單視圖聚類(lèi)算法使用單一數(shù)據(jù)類(lèi)型,不能考慮數(shù)據(jù)的多樣性和不同視圖之間的一致性等缺點(diǎn)。不同的視圖不僅包含了所有視圖共享的數(shù)據(jù)信息,還包含了彼此不同的特定信息,這就是多視圖數(shù)據(jù)的多樣性。對(duì)數(shù)據(jù)中的異構(gòu)特征進(jìn)行良好的融合,可以有效提高算法的魯棒性。

    近年來(lái),學(xué)者們提出了很多先進(jìn)的多視圖聚類(lèi)算法,根據(jù)處理和使用多視圖數(shù)據(jù)方式的不同,這些算法可以大致分為以下幾類(lèi):多視圖協(xié)同訓(xùn)練算法、多視圖多核學(xué)習(xí)算法、多視圖圖學(xué)習(xí)聚類(lèi)算法、多視圖子空間聚類(lèi)算法。協(xié)同訓(xùn)練最初是為解決半監(jiān)督學(xué)習(xí)問(wèn)題而提出的。在半監(jiān)督學(xué)習(xí)中,數(shù)據(jù)由有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)組成,算法考慮利用多視圖數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的信息來(lái)輔助傳統(tǒng)的監(jiān)督學(xué)習(xí),協(xié)同訓(xùn)練算法的核心思想是利用多視圖數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的信息來(lái)輔助傳統(tǒng)的監(jiān)督學(xué)習(xí),在多視圖數(shù)據(jù)上利用有標(biāo)簽數(shù)據(jù)分別訓(xùn)練多個(gè)分類(lèi)器。在訓(xùn)練過(guò)程中,每個(gè)分類(lèi)器對(duì)無(wú)標(biāo)簽數(shù)據(jù)中置信度較高的數(shù)據(jù)進(jìn)行標(biāo)記,并將標(biāo)記后的數(shù)據(jù)加入到分類(lèi)器的有標(biāo)簽數(shù)據(jù)中,利用新標(biāo)記不斷進(jìn)行更新。最具代表性的算法為Blum 等[5]提出的協(xié)同訓(xùn)練算法。文獻(xiàn)[6]中提出了一種結(jié)合K-means 聚類(lèi)和線性判別分析的協(xié)同訓(xùn)練算法,該算法利用一個(gè)視圖中的無(wú)監(jiān)督聚類(lèi)結(jié)果來(lái)學(xué)習(xí)另一個(gè)視圖中的判別子空間。多核學(xué)習(xí)(Multiple Kernel Learning,MKL)[7]算法是一類(lèi)比單個(gè)核函數(shù)更具靈活性的基于內(nèi)核的學(xué)習(xí)算法,多核學(xué)習(xí)的內(nèi)核對(duì)應(yīng)不同的視圖,因此多核學(xué)習(xí)在處理多視圖數(shù)據(jù)方面得到了廣泛的應(yīng)用。在多核框架下,樣本在特征空間中的表示問(wèn)題轉(zhuǎn)化為核與權(quán)系數(shù)的選擇問(wèn)題。多核學(xué)習(xí)中的一個(gè)關(guān)鍵步驟是根據(jù)每個(gè)內(nèi)核的重要性為其分配一個(gè)合理的權(quán)重。文獻(xiàn)[8]中提出了一種改進(jìn)的算法,該算法通過(guò)學(xué)習(xí)低秩核矩陣來(lái)獲得相似度,并在核的鄰域內(nèi)找到最優(yōu)核。文獻(xiàn)[9]中提出了聚類(lèi)加權(quán)核K均值算法,為不同視圖的內(nèi)部簇分配權(quán)重,并應(yīng)用核K均值,學(xué)習(xí)不同視圖共同的聚類(lèi)指標(biāo)矩陣。由于圖是表示各種類(lèi)型對(duì)象之間關(guān)系的重要數(shù)據(jù)結(jié)構(gòu),因此基于圖學(xué)習(xí)的聚類(lèi)方法也被廣泛地用于聚類(lèi)任務(wù)。圖中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)對(duì)象,每條邊表示兩個(gè)對(duì)象之間的關(guān)系,用權(quán)重衡量相鄰樣本點(diǎn)之間的相似度。

    權(quán)值越大相似度越高,被劃分到同一類(lèi)的概率越大。文獻(xiàn)[10]中提出了一種基于三階段圖的多視圖聚類(lèi)算法,該算法結(jié)合子空間的圖表示和層次聚類(lèi)方法,但未考慮不同視圖的權(quán)重;文獻(xiàn)[11]中則進(jìn)行了基于加權(quán)多視圖的聚類(lèi)研究。這兩種算法首先為每個(gè)視圖生成一個(gè)相似度圖,然后對(duì)每個(gè)圖進(jìn)行加權(quán)來(lái)構(gòu)建統(tǒng)一表示,從而生成最終的聚類(lèi)結(jié)果。

    本文主要研究多視圖子空間聚類(lèi)算法。子空間分割聚類(lèi)算法是近年來(lái)學(xué)者廣泛研究的重點(diǎn),涉及機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和模式識(shí)別等多個(gè)領(lǐng)域。子空間聚類(lèi)算法是將原始數(shù)據(jù)集映射到其子空間表示,然后構(gòu)造低秩的相似矩陣。該方法保留了原始數(shù)據(jù)集的相關(guān)性,能更好地揭示數(shù)據(jù)的子空間結(jié)構(gòu)。近年來(lái),基于子空間的多視圖聚類(lèi)算法由于其有效性而得到發(fā)展[12-15]。這些算法旨在發(fā)現(xiàn)嵌入在原始數(shù)據(jù)中的底層子空間,從而得到更加準(zhǔn)確的聚類(lèi)結(jié)果。為了有效地整合來(lái)自不同視圖的特征,設(shè)計(jì)了各種多視圖子空間聚類(lèi)算法,并取得了顯著的效果。這些算法的主要區(qū)別在于對(duì)表示系數(shù)矩陣進(jìn)行正則化。如文獻(xiàn)[16]中的稀疏子空間聚類(lèi)(Sparse Subspace Clustering,SSC)算法對(duì)數(shù)據(jù)表示使用?0范數(shù)正則化;但問(wèn)題是非凸的,不能直接求解,因此作者使用相應(yīng)的凸代替?1范數(shù)獲得問(wèn)題的最優(yōu)解。文獻(xiàn)[17]中提出的魯棒低秩表示分割算法通過(guò)最小化數(shù)據(jù)表示的秩得到一個(gè)低秩表示矩陣,并采用交替方向最小化的增廣拉格朗日乘子方法(Augmented Lagrange Multiplier Method with Alternate Direction Minimization,ALM-ADM)求得最優(yōu)解。

    現(xiàn)有的多視圖聚類(lèi)算法已經(jīng)取得了許多優(yōu)異的成果,但目前多視圖下的聚類(lèi)任務(wù)仍存在一些亟待解決的問(wèn)題:

    1)原始數(shù)據(jù)集中通常存在誤差、離群值等噪聲的干擾,直接在原始數(shù)據(jù)集上學(xué)習(xí)相似度矩陣,會(huì)對(duì)聚類(lèi)結(jié)果產(chǎn)生影響;

    2)一些算法中沒(méi)有考慮不同視圖之間差異,不同的視圖對(duì)聚類(lèi)結(jié)果有不同的重要性,一般通過(guò)引入?yún)?shù)來(lái)解決這個(gè)問(wèn)題,但這會(huì)使算法更加復(fù)雜;

    3)許多方法需要引入額外的聚類(lèi)步驟才能得到最終的聚類(lèi)結(jié)果。

    為了解決上述問(wèn)題,本文提出一種基于一致圖學(xué)習(xí)的魯棒多視圖子空間聚類(lèi)(Robust Multi-view subspace clustering based on Consistency Graph Learning,RMCGL)算法。該算法首先學(xué)習(xí)原始數(shù)據(jù)在低秩子空間的潛在魯棒表示,然后根據(jù)該表示學(xué)習(xí)不同視圖下的相似度矩陣。考慮到不同視圖之間的多樣性,根據(jù)相似度矩陣聯(lián)合學(xué)習(xí)一個(gè)一致圖,并通過(guò)自適應(yīng)的方式自動(dòng)調(diào)整不同視圖的權(quán)重。為了有效求解目標(biāo)函數(shù),算法采用交替方向極小化的拉格朗日乘子優(yōu)化算法。與傳統(tǒng)的多視圖子空間聚類(lèi)算法相比,RMCGL 算法在仿真數(shù)據(jù)集及真實(shí)數(shù)據(jù)集上均表現(xiàn)出較好的性能。圖1 給出了RMCGL算法的流程。

    圖1 RMCGL算法流程Fig.1 Flowchart of RMCGL algorithm

    1 相關(guān)工作

    本章將簡(jiǎn)要介紹與本文密切相關(guān)的兩個(gè)已有研究工作:基于低秩表示(Low-Rank Representation,LRR)的魯棒子空間分割[18]和基于多視圖聚類(lèi)與自適應(yīng)鄰居(Multi-view Learning with Adaptive Neighbours,MLAN)的半監(jiān)督分類(lèi)[29]。其中,LRR是單視圖聚類(lèi)算法,MLAN為多視圖聚類(lèi)的算法。

    1.1 LRR

    LRR 是一種基于低秩表示的聚類(lèi)算法,該算法與SSC 非常相似,但其目標(biāo)是在所有候選向量中尋找一種低秩表示而非稀疏表示。給定一組向量X=[x1,x2,…,xn],假設(shè)這些向量來(lái)自k個(gè)獨(dú)立子空間的并集,算法的目標(biāo)是在d維歐氏空間中,將所有數(shù)據(jù)向量分割到它們各自所屬的子空間中。因此,LRR算法通過(guò)求解下面的凸優(yōu)化問(wèn)題找到D:

    1.2 MLAN

    MLAN 是一種基于自適應(yīng)鄰居節(jié)點(diǎn)的多視圖聚類(lèi)算法。該算法從數(shù)據(jù)點(diǎn)的角度將每個(gè)視圖的特征融合,求出一個(gè)統(tǒng)一的相似度圖U。MLAN 是對(duì)基于自適應(yīng)鄰居聚類(lèi)(Clustering with Adaptive Neighbors,CAN)[20]的擴(kuò)展,可以同時(shí)進(jìn)行多視圖聚類(lèi)和局部流形結(jié)構(gòu)學(xué)習(xí)。該算法如下所示:

    2 基于一致圖學(xué)習(xí)的魯棒多視圖子空間聚類(lèi)

    本章將詳細(xì)介紹本文所提出的RMCGL 算法以及其求解和優(yōu)化過(guò)程。首先介紹一些基本符號(hào)的含義。矩陣和向量分別寫(xiě)成加粗斜體大寫(xiě)字母和加粗斜體小寫(xiě)字母;Frobenius 范數(shù)的符號(hào)為‖ ? ‖F(xiàn),?2范數(shù)的符號(hào)為‖ ? ‖2;其他本文常用的符號(hào)定義見(jiàn)表1。

    表1 常用符號(hào)及其定義Tab.1 Common symbols and their definitions

    2.1 RMCGL算法

    給定V個(gè)視圖X1,X2,…,XV為各個(gè)視圖對(duì)應(yīng)的數(shù)據(jù)矩陣,其中第v個(gè)視圖表示為Xv={Xv1,Xv2,…,Xvn}∈Rdv×n。對(duì)于任一視圖Xv中的數(shù)據(jù),其通常是存在于一個(gè)潛在的低維空間中而非均勻分布于整個(gè)空間,因此,所有的數(shù)據(jù)都可在低維子空間中進(jìn)行表示?;诖?,首先將LRR 算法擴(kuò)展到多視圖學(xué)習(xí)中,即有:

    其中:Av和Ev的定義如表1 所示。通過(guò)式(1)可以獲得各視圖下數(shù)據(jù)的子空間表示矩陣,并且能夠有效消除原始數(shù)據(jù)中噪聲或異常值的影響。該過(guò)程對(duì)噪聲具有魯棒性,可得到不同視圖的潛在魯棒表示;但式(1)中沒(méi)有考慮不同視圖間的聯(lián)系,也無(wú)法直接獲得有效的相似度矩陣進(jìn)行聚類(lèi)。一個(gè)可行的解決方法是將Av作為各個(gè)視圖下的相似度矩陣,然后通過(guò)目標(biāo)函數(shù)學(xué)習(xí)一個(gè)統(tǒng)一的相似度矩陣A。然而,盡管該方案可行,但Av作為相似度矩陣所代表的含義與其本質(zhì)的定義并不相同。為了解決該問(wèn)題,本文利用Av作為樣本的潛在特征表示,為各個(gè)視圖學(xué)習(xí)一個(gè)新的相似度矩陣Sv,目標(biāo)函數(shù)如下:

    其中:λA、λS、λE是三個(gè)非負(fù)參數(shù),用來(lái)平衡各項(xiàng);wv={w1,w2,…,wv} 用來(lái)衡量不同視圖之間的權(quán)重。在LLR 算法中表示學(xué)習(xí)和誤差項(xiàng)分別采用核范數(shù)和?2,1范數(shù),但是為了使后續(xù)優(yōu)化問(wèn)題方便求解,本文中表示學(xué)習(xí)和誤差項(xiàng)均采用F范數(shù)。公式中的前兩項(xiàng)用來(lái)學(xué)習(xí)每個(gè)視圖的潛在魯棒表示,即圖1 中①、②過(guò)程,不同于直接在原始數(shù)據(jù)上學(xué)習(xí)相似度矩陣,該過(guò)程考慮了原始數(shù)據(jù)噪聲的干擾。為了獲得更好的聚類(lèi)結(jié)果,三、四兩項(xiàng)(圖1 過(guò)程③)根據(jù)得到的魯棒表示,學(xué)習(xí)不同視圖的相似度矩陣。最后一項(xiàng)的目的是利用多個(gè)相似度圖,學(xué)得一個(gè)一致圖,如圖1 過(guò)程④所示,該過(guò)程充分考慮了視圖間的多樣性。引入權(quán)值參數(shù)w(圖1 過(guò)程⑤)為不同視圖分配合適的權(quán)值。本文RMCGL算法采用自加權(quán)方式,其更新規(guī)則將在下一節(jié)中詳細(xì)介紹。此外,為了直接通過(guò)一致圖G得到最終的聚類(lèi)結(jié)果而不借助于其他的聚類(lèi)算法,本文對(duì)圖G的拉普拉斯矩陣施加一個(gè)秩約束rank(LG)=n -c,使得一致圖G中連通分量的個(gè)數(shù)恰好等于聚類(lèi)的個(gè)數(shù)c,由此得到如下結(jié)果:

    由于秩約束的存在導(dǎo)致上式求解困難,因此,采用秩約束的等價(jià)形式。令σc(LG)為L(zhǎng)G第c小的特征值,LG是半正定的,有σc(LG)≥0。根據(jù)圖拉普拉斯矩陣的性質(zhì),特征值為0 的重?cái)?shù)c等于圖G中連通分量的個(gè)數(shù)。即LG應(yīng)有c個(gè)0 特征值,此時(shí)滿足秩約束條件。根據(jù)Ky Fan’s 定理[21],有

    其中:F為標(biāo)簽矩陣。因此,式(4)中的秩約束可由式(5)表示,將式(4)和(5)結(jié)合得到最終的目標(biāo)函數(shù)如下所示:

    2.2 算法求解

    本節(jié)對(duì)提出的RMCGL算法進(jìn)行詳細(xì)的求解。由式(6)可以看出,該算法在一個(gè)統(tǒng)一的優(yōu)化框架中學(xué)習(xí)與數(shù)據(jù)表示相關(guān)的親和圖。算法中有五個(gè)變量需要求解,考慮到式(6)同時(shí)關(guān)于所有的求解變量是非凸的,但當(dāng)其中一個(gè)變量固定時(shí),對(duì)其他變量的優(yōu)化都是凸的,因此本文采用交替方向最小化(Alternating Direction Minimizing,ADM)策略[22]的增廣拉格朗日乘子(Augmented Lagrangian Multiplier,ALM)對(duì)目標(biāo)函數(shù)進(jìn)行求解。首先引入一個(gè)輔助變量C來(lái)代替目標(biāo)函數(shù)第三項(xiàng)中的A,以分離變量。算法的增廣拉格朗日函數(shù)如下:

    其中:M1和M2是拉格朗日乘子,定義,其中μ>0是懲罰參數(shù)。

    1)更新E。

    當(dāng)固定其他變量時(shí),只保留增廣拉格朗日函數(shù)中包含E的項(xiàng),對(duì)其求偏導(dǎo)后置0,可得如下結(jié)果:

    2)更新A。

    只保留與A相關(guān)的項(xiàng),然后對(duì)A求導(dǎo)并置0,得到如下結(jié)果:

    3)更新C。

    與求E和A的方法類(lèi)似,C的更新規(guī)則如下:

    根據(jù)拉普拉斯矩陣的定義,很容易得到

    因此Cv的解如下:

    4)更新S。

    對(duì)于S的求解,可以將其看作是在求解以下優(yōu)化問(wèn)題:

    該問(wèn)題可同樣根據(jù)約束條件利用拉格朗日函數(shù)進(jìn)行求解,最終求得S的解如下:

    其中si有k個(gè)非零項(xiàng)。

    5)更新G。

    值得注意的是,問(wèn)題(15)對(duì)于每個(gè)不同的i是獨(dú)立的,可單獨(dú)求解。因此可將式(15)進(jìn)一步轉(zhuǎn)化為:

    該步驟的詳細(xì)求解過(guò)程可參考文獻(xiàn)[23]。

    6)更新F。

    F可以通過(guò)最小化以下公式求得:

    F的最優(yōu)解由LG的c個(gè)最小特征值對(duì)應(yīng)的c個(gè)特征向量構(gòu)成。

    7)更新權(quán)重wv。

    8)更新拉格朗日乘子M1和M2。

    除了上述變量的更新外,還有兩個(gè)拉格朗日乘子需要更新,更新規(guī)則如下:

    綜上所述,目標(biāo)函數(shù)(6)的詳細(xì)求解過(guò)程如算法1。

    算法1 RMCGL算法

    2.3 時(shí)間復(fù)雜度分析

    本文提出的RMCGL算法求解時(shí)采用的是迭代求解方式,可將算法分為多個(gè)子問(wèn)題單獨(dú)計(jì)算,因此,該算法的時(shí)間復(fù)雜度可以通過(guò)計(jì)算每個(gè)子問(wèn)題的時(shí)間復(fù)雜度獲得。每個(gè)子問(wèn)題的時(shí)間復(fù)雜度如下:式(14)更新每個(gè)視圖的相似度矩陣Sv,其時(shí)間復(fù)雜度為O(Vnk);此外對(duì)相似度矩陣初始化所用時(shí)間復(fù)雜度為O(Vnkd);式(18)更新學(xué)習(xí)到的一致圖G,其時(shí)間復(fù)雜度為O(cn),其中c是聚類(lèi)的個(gè)數(shù);式(19)更新F,需要計(jì)算拉普拉斯矩陣的特征向量,其時(shí)間復(fù)雜度為O(cn2);式(20)更新自加權(quán)系數(shù)w,其時(shí)間復(fù)雜度為O(Vn2)。假設(shè)該算法迭代次數(shù) 為t,則該算法的時(shí)間復(fù)雜度為O(t(Vnk+cn+cn2+Vn2)+Vnkd)。

    3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

    為了驗(yàn)證RMCGL算法的有效性,利用三個(gè)常用評(píng)價(jià)指標(biāo)在2 個(gè)仿真數(shù)據(jù)集、6 個(gè)真實(shí)數(shù)據(jù)集以及4 個(gè)癌癥數(shù)據(jù)集上與其他算法進(jìn)行了比較。此外,還設(shè)計(jì)了多個(gè)實(shí)驗(yàn)來(lái)進(jìn)一步對(duì)所提出的算法進(jìn)行分析,包括:收斂性實(shí)驗(yàn)、參數(shù)分析實(shí)驗(yàn)、消融實(shí)驗(yàn)和魯棒性實(shí)驗(yàn)。

    3.1 數(shù)據(jù)集描述

    3.1.1 仿真數(shù)據(jù)集

    本文使用兩個(gè)合成的仿真數(shù)據(jù)集來(lái)衡量RMCGL 算法的聚類(lèi)效果。

    synthetic 數(shù)據(jù)集[24]涉及三個(gè)基因組數(shù)據(jù)集,分別為RNA表達(dá)、DNA 甲基化和miRNA 表達(dá)。首先,對(duì)三個(gè)基因組數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理,分別隨機(jī)抽取200 個(gè)缺失率低于20%的樣本,采用k近鄰算法,將200 個(gè)完整樣本的非空鄰居的均值賦值給缺失部分,得到第一種類(lèi)型的數(shù)據(jù)矩陣,對(duì)其進(jìn)行奇異值分解得到。隨后構(gòu)造三個(gè)由多個(gè)簇組成的數(shù)據(jù)矩陣Yi=Bi+θ,其中Bi從{0,2,4,6}中隨機(jī)抽樣得到,代表不同簇的偽生物表達(dá)水平,θ~N(0,1)為隨機(jī)偏差,由此得到第二種類(lèi)型的數(shù)據(jù)矩陣。最后,將這兩種類(lèi)型的數(shù)據(jù)矩陣進(jìn)行重構(gòu),得到最終的仿真數(shù)據(jù)集。

    two Gaussian 數(shù)據(jù)集[25]是一個(gè)隨機(jī)生成的高斯數(shù)據(jù)集,在這個(gè)數(shù)據(jù)集中有兩組服從高斯分布的數(shù)據(jù),共200 個(gè)樣本。第一個(gè)視圖的均值為,協(xié)方差為。第二個(gè)視圖的均值為,協(xié)方差為。

    3.1.2 真實(shí)數(shù)據(jù)集

    6 個(gè)數(shù)據(jù)集分別為100leaves、BBC、NGs、Caltech101-20、COIL-20 和MSRC,詳細(xì)情況如下(總結(jié)見(jiàn)表2,其中v1~v6表示不同視圖的特征數(shù))。

    表2 六個(gè)真實(shí)數(shù)據(jù)集的詳細(xì)描述Tab.2 Detailed description of six real-world datasets

    1)100leaves 數(shù)據(jù)集。該數(shù)據(jù)集由100 種植物的1 600 個(gè)樣本組成,每個(gè)樣本特征包含形狀描述、細(xì)尺度邊緣和紋理直方圖。

    2)BBC 數(shù)據(jù)集。該數(shù)據(jù)集由BBC 新聞網(wǎng)站的685 份文檔組成,這些文檔對(duì)應(yīng)五個(gè)領(lǐng)域,分別為商業(yè)、娛樂(lè)、政治、體育和科技。

    3)新聞組數(shù)據(jù)集(NGs)。該數(shù)據(jù)集包含20個(gè)子集的新聞組數(shù)據(jù)集,由500 個(gè)新聞組文檔組成。每個(gè)原始文檔都用三種不同的方法進(jìn)行預(yù)處理(有監(jiān)督互信息預(yù)處理、無(wú)監(jiān)督互信息預(yù)處理和分區(qū)預(yù)處理),構(gòu)成三個(gè)視圖,并使用五種主題標(biāo)簽中的一種進(jìn)行注釋。每個(gè)新聞組對(duì)應(yīng)一個(gè)不同的主題。

    4)Caltech101-20 數(shù)據(jù)集。該數(shù)據(jù)集包含20 類(lèi)2 386 幅圖像,每幅圖像都有6 個(gè)特征,分別為:Gabor 特征、小波矩(Wavelet moments)特征、統(tǒng)計(jì)轉(zhuǎn)換直方圖(CENsus Transform HISTogram,CENTRIST)特征、方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征、通用搜索樹(shù)(Generalized Search Trees,GiST)特征和局部二值模式(Local Binary Pattern,LBP)特征。

    5)COIL-20 數(shù)據(jù)集。該數(shù)據(jù)集包含20 個(gè)對(duì)象,將每個(gè)對(duì)象水平旋轉(zhuǎn)360°,每隔5°拍攝一張照片。每個(gè)對(duì)象有72張圖像,圖像像素大小為64×64,灰度圖像共計(jì)1 440張圖像。

    6)MSRC 數(shù)據(jù)集。該數(shù)據(jù)集有5 個(gè)視圖,包含7 種類(lèi)別(樹(shù)、建筑、飛機(jī)、牛、臉、汽車(chē)和自行車(chē))的210張圖像。

    3.1.3 癌癥數(shù)據(jù)集

    機(jī)器學(xué)習(xí)算法在生物醫(yī)學(xué)領(lǐng)域應(yīng)用廣泛,為了驗(yàn)證該算法在癌癥亞型分類(lèi)上的效果,從人類(lèi)癌癥數(shù)據(jù)庫(kù)TCGA 中挑選了4個(gè)數(shù)據(jù)集,分別為Breast、Colon、GBM 和Melanoma,每個(gè)數(shù)據(jù)集包含三個(gè)組學(xué)數(shù)據(jù):基因表達(dá)、DNA 甲基化和miRNA表達(dá)數(shù)據(jù)。

    3.2 實(shí)驗(yàn)方案

    參數(shù)設(shè)置:目標(biāo)函數(shù)中有四個(gè)參數(shù)λE、λA、λC、λF,λE、λA、λC的取值范圍為[0.01,0.1,1,10,100]。在聚類(lèi)過(guò)程中對(duì)λF采用自動(dòng)更新的方式,初值設(shè)為1,在每次迭代中,當(dāng)一致圖G的連通分量分別小于或大于聚類(lèi)的簇?cái)?shù)時(shí)增大或減小λF(λF=λF*2,λF=λF/2)。最近鄰個(gè)數(shù)為15,對(duì)于每個(gè)方法和數(shù)據(jù)集,重復(fù)運(yùn)行30次記錄平均結(jié)果。

    為了評(píng)估該算法的性能,本文將該算法與現(xiàn)有的多種聚類(lèi)算法進(jìn)行了對(duì)比。典型的單視圖對(duì)比算法有:非負(fù)矩陣分解(Nonnegative Matrix Factorization,NMF)[26]和自適應(yīng)鄰居節(jié)點(diǎn)聚類(lèi)CAN。多視圖對(duì)比方法包括基于圖的多視圖聚類(lèi)系統(tǒng)GBS(Braph-Based System)[27]、多視圖非負(fù)矩陣分解(Multiview Nonnegative Matrix Factorization,MultiNMF)[28]、共正則化譜聚類(lèi)(Co-regularized multi-view Spectral Clustering,CoregSC)[29]、協(xié)同訓(xùn)練譜聚類(lèi)Co-train[30]、基于一致圖的多視圖聚類(lèi)(Graph-based Multi-View Clustering,GMC)以及自適應(yīng)鄰居多視圖聚類(lèi)(MLAN)。在表3 中對(duì)比了本文算法與上述多視圖聚類(lèi)算法的時(shí)間復(fù)雜度。

    表3 時(shí)間復(fù)雜度對(duì)比Tab.3 Time complexity comparison

    為了評(píng)估該算法的性能,本文采用三個(gè)常見(jiàn)的評(píng)價(jià)指標(biāo):精度(Accuracy,ACC)、歸一化互信息(Normalized Mutual Information,NMI))和純度(Purity)來(lái)衡量實(shí)驗(yàn)效果。此外,為了評(píng)估各個(gè)算法在癌癥數(shù)據(jù)集上的效果,本文采用了經(jīng)驗(yàn)p值衡量癌癥樣本分組后的生存差異[31],p值越低,表示不同組間的生存差異越顯著。

    3.3 實(shí)驗(yàn)結(jié)果分析

    表4~6 分別列出了本文算法與其他聚類(lèi)算法在仿真數(shù)據(jù)集及6 個(gè)真實(shí)數(shù)據(jù)集上的ACC、NMI、Purity 結(jié)果。觀察表4~6可知,對(duì)于評(píng)價(jià)指標(biāo)ACC,本文算法在每個(gè)數(shù)據(jù)集上都取得了最好的結(jié)果。

    表4 不同聚類(lèi)算法在不同數(shù)據(jù)集上的ACC值 單位:%Tab.4 ACC values of different clustering algorithms on different datasets unit:%

    表5 不同聚類(lèi)算法在不同數(shù)據(jù)集上的NMI值 單位:%Tab.5 NMI values of different clustering algorithms on different datasets unit:%

    表6 不同聚類(lèi)算法在不同數(shù)據(jù)集上的Purity值 單位:%Tab.6 Purity values of different clustering algorithms on different datasets unit:%

    表7 給出了各對(duì)比算法在4 個(gè)癌癥數(shù)據(jù)集上經(jīng)驗(yàn)p值的實(shí)驗(yàn)結(jié)果,同時(shí)圖2 給出了RMCGL 算法在GBM 與Melanoma數(shù)據(jù)集上的生存分析曲線。與上述多視圖聚類(lèi)算法相比,RMCGL 算法在所有的癌癥數(shù)據(jù)集上都得到了顯著的p值(p?value<0.05),并且在四組癌癥數(shù)據(jù)集上的結(jié)果都是最顯著的。這些結(jié)果充分驗(yàn)證了本文算法的有效性及良好的泛化能力。

    表7 四個(gè)癌癥數(shù)據(jù)集上經(jīng)驗(yàn)p值比較Tab.7 Comparison of empirical p-values on four cancer datasets

    圖2 RMCGL算法在GBM與Melanoma數(shù)據(jù)集上的生存分析曲線Fig.2 Survival analysis curve of RMCGL algorithm on GBM and Melanoma datasets

    圖3 為RMCGL 在NGs 和two Gaussian 數(shù)據(jù)集上學(xué)習(xí)得到的一致圖G對(duì)應(yīng)的熱圖,從圖中可以清晰地看到一致圖的塊對(duì)角結(jié)構(gòu),這說(shuō)明算法能學(xué)習(xí)一個(gè)高質(zhì)量的相似度圖結(jié)構(gòu)。

    圖3 RMCGL學(xué)習(xí)得到的一致圖G在NGs和two Gaussian 數(shù)據(jù)集上的熱圖Fig.3 Heat maps of the consistency graph G learned by RMCGL on NGs and two Gaussian datasets

    3.4 消融實(shí)驗(yàn)分析

    本文RMCGL 算法中創(chuàng)新性地引入了秩約束和魯棒表示學(xué)習(xí),為了驗(yàn)證算法各部分對(duì)實(shí)驗(yàn)結(jié)果的影響,設(shè)計(jì)了對(duì)應(yīng)步驟的消融實(shí)驗(yàn)。取表4 中4 個(gè)數(shù)據(jù)集的ACC 值所對(duì)應(yīng)的參數(shù)進(jìn)行消融實(shí)驗(yàn)的對(duì)比分析,主要驗(yàn)證秩約束、相似度矩陣學(xué)習(xí)和魯棒表示學(xué)習(xí)對(duì)算法結(jié)果的影響。將去掉秩約束時(shí)的過(guò)程稱(chēng)為RC;直接從不同視圖的魯棒表示學(xué)習(xí)中學(xué)習(xí)一個(gè)一致圖的過(guò)程為RL。此外去掉魯棒表示學(xué)習(xí)時(shí),該算法即為GMC算法,本文算法與前者的區(qū)別在于,前者從原始數(shù)據(jù)集中學(xué)習(xí)不同視圖的相似度矩陣,而RMCGL預(yù)先學(xué)習(xí)原始數(shù)據(jù)的魯棒表示作為相似度學(xué)習(xí)的輸入。結(jié)果如表8 所示,從表中可以看出,在分別去掉秩約束、表示學(xué)習(xí)和相似度學(xué)習(xí)后的實(shí)驗(yàn)結(jié)果明顯差于RMCGL 的結(jié)果,尤其在NGs 數(shù)據(jù)集中,添加秩約束后的結(jié)果提升了超過(guò)30個(gè)百分點(diǎn);在MSRC數(shù)據(jù)集中,根據(jù)表示矩陣學(xué)習(xí)一致圖時(shí)的結(jié)果比該算法結(jié)果低20 個(gè)百分點(diǎn)左右。去掉表示學(xué)習(xí)時(shí)的結(jié)果見(jiàn)表4。由此可見(jiàn),對(duì)學(xué)習(xí)到的一致圖施加秩約束、子空間魯棒表示學(xué)習(xí)以及根據(jù)魯棒表示矩陣學(xué)習(xí)不同視圖的相似度矩陣進(jìn)而得到一致圖的過(guò)程對(duì)實(shí)驗(yàn)結(jié)果都做出了貢獻(xiàn)。

    表8 消融實(shí)驗(yàn)ACC結(jié)果 單位:%Tab.8 ACC results of ablation experiments unit:%

    3.5 魯棒性性能評(píng)估

    為了驗(yàn)證RMCGL算法對(duì)實(shí)驗(yàn)結(jié)果的魯棒性,設(shè)計(jì)了以下實(shí)驗(yàn):將誤差正則化項(xiàng)部分去掉,得到如圖4 所示結(jié)果。從圖4 中可以看出,在固定參數(shù)的情況下,去掉誤差正則化項(xiàng)部分后的4 個(gè)數(shù)據(jù)集的ACC 結(jié)果都有一定程度的下降,但整體下降幅度偏小,這表明RMCGL算法對(duì)數(shù)據(jù)具有較好的魯棒性。

    圖4 去掉誤差正則化項(xiàng)后在固定參數(shù)時(shí)各數(shù)據(jù)集的ACC結(jié)果Fig.4 ACC results of different datasets at fixed parameters after removing error regularization term

    3.6 收斂性分析

    本節(jié)分析了RMCGL 算法的收斂性,如圖5所示,圖中的x軸和y軸分別表示迭代次數(shù)和目標(biāo)函數(shù)的值。從圖5 中可以看出,本文經(jīng)過(guò)少量迭代后就可以達(dá)到穩(wěn)定的收斂狀態(tài)。

    圖5 RMCGL算法在100leaves和BBC數(shù)據(jù)集上的收斂曲線Fig.5 Convergence curves of RMCGL algorithm on 100leaves and BBC datasets

    3.7 參數(shù)敏感性分析

    RMCGL算法中共有三個(gè)參數(shù)λE、λA和λC。為了分析這三個(gè)參數(shù)對(duì)算法性能的影響,將其中一個(gè)參數(shù)固定后分析另外兩個(gè)參數(shù)變化對(duì)NMI 值的影響,見(jiàn)表9~10。三個(gè)參數(shù)在所有數(shù)據(jù)集上的取值范圍均為[0.01,0.1,1,10,100]。

    表9 NGs數(shù)據(jù)集NMI值隨參數(shù)變化分析Tab.9 Analysis of NMI value of NGs dataset with parameter variation

    表10 COIL20數(shù)據(jù)集NMI值隨參數(shù)變化分析Tab.10 Analysis of NMI value of COIL20 dataset with parameter variation

    圖6 展示了λE在兩個(gè)數(shù)據(jù)集上的參數(shù)分析結(jié)果。在NGs數(shù)據(jù)集中,當(dāng)λA和λC的值?。?.01,0.01)時(shí),固定這兩個(gè)參數(shù),得到NMI相對(duì)于λE這個(gè)參數(shù)時(shí)的取值范圍:當(dāng)λE取1時(shí)的效果最好,NMI的值為93.40%;而在取0.01時(shí)最小,NMI的值為86.73%。在COIL20 數(shù)據(jù)集中,λA和λC?。?,1)時(shí)固定,λE為0.01 時(shí)NMI 的最大值93.55%,而隨著參數(shù)值的增大,NMI的取值范圍變化平穩(wěn)。從圖中可以看出,算法對(duì)于參數(shù)的變化相對(duì)較為魯棒。

    圖6 RMCGL算法在NGs和COIL20數(shù)據(jù)集上的參數(shù)分析Fig.6 Parameter analysis of RMCGL algorithm on NGs and COIL20 datasets

    4 結(jié)語(yǔ)

    近年來(lái),多視圖聚類(lèi)在許多領(lǐng)域得到了應(yīng)用。多視圖數(shù)據(jù)比傳統(tǒng)的單視圖數(shù)據(jù)提供了更豐富的信息來(lái)揭示內(nèi)部結(jié)構(gòu),并能獲得更好的聚類(lèi)效果。本文首先簡(jiǎn)要回顧了多視圖聚類(lèi)算法,然后提出了一種新的基于一致圖學(xué)習(xí)的魯棒多視圖子空間聚類(lèi)算法RMCGL。該算法通過(guò)學(xué)習(xí)數(shù)據(jù)的子空間表示來(lái)避免原始數(shù)據(jù)集中噪聲的干擾,并基于該表示構(gòu)建不同視圖下的相似度矩陣;同時(shí)引入自加權(quán)策略,根據(jù)不同視圖的重要性合理分配視圖權(quán)重,并構(gòu)造一個(gè)統(tǒng)一的一致圖;通過(guò)對(duì)一致圖的拉普拉斯矩陣施加秩約束直接獲得聚類(lèi)結(jié)果,而不需要引入額外的聚類(lèi)步驟。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了RMCGL算法的有效性,相比其他多視圖聚類(lèi)算法有明顯優(yōu)勢(shì)。

    猜你喜歡
    集上視圖聚類(lèi)
    Cookie-Cutter集上的Gibbs測(cè)度
    鏈完備偏序集上廣義向量均衡問(wèn)題解映射的保序性
    基于DBSACN聚類(lèi)算法的XML文檔聚類(lèi)
    復(fù)扇形指標(biāo)集上的分布混沌
    5.3 視圖與投影
    視圖
    Y—20重型運(yùn)輸機(jī)多視圖
    SA2型76毫米車(chē)載高炮多視圖
    基于改進(jìn)的遺傳算法的模糊聚類(lèi)算法
    一種層次初始的聚類(lèi)個(gè)數(shù)自適應(yīng)的聚類(lèi)方法研究
    久久99热这里只有精品18| 在线播放国产精品三级| av福利片在线| 国产成人精品无人区| 亚洲精品美女久久av网站| 亚洲精品色激情综合| 国产成人系列免费观看| 美女国产高潮福利片在线看| 亚洲一区二区三区不卡视频| 精品久久蜜臀av无| 久久热在线av| 黄片播放在线免费| 久久久久久久午夜电影| 天天添夜夜摸| 叶爱在线成人免费视频播放| 久久天躁狠狠躁夜夜2o2o| 女人高潮潮喷娇喘18禁视频| 老司机靠b影院| 看免费av毛片| 亚洲人成伊人成综合网2020| 成人三级做爰电影| 观看免费一级毛片| 麻豆av在线久日| 制服丝袜大香蕉在线| 国产精品久久久人人做人人爽| 亚洲熟妇中文字幕五十中出| 无遮挡黄片免费观看| 一区二区日韩欧美中文字幕| 久久精品成人免费网站| 韩国av一区二区三区四区| 日日爽夜夜爽网站| 国产乱人伦免费视频| 精品不卡国产一区二区三区| 国产精品国产高清国产av| 精品电影一区二区在线| 欧美激情高清一区二区三区| 久久精品国产亚洲av高清一级| 午夜亚洲福利在线播放| 丰满的人妻完整版| 国产一区二区三区视频了| 亚洲自拍偷在线| 亚洲国产精品sss在线观看| 成人一区二区视频在线观看| 国产在线精品亚洲第一网站| 国产高清有码在线观看视频 | 女警被强在线播放| 久久这里只有精品19| 亚洲欧美一区二区三区黑人| 黄片大片在线免费观看| 国产极品粉嫩免费观看在线| 性色av乱码一区二区三区2| 久久天堂一区二区三区四区| 琪琪午夜伦伦电影理论片6080| 国语自产精品视频在线第100页| 日本熟妇午夜| 亚洲熟女毛片儿| 精品少妇一区二区三区视频日本电影| 悠悠久久av| 一区二区三区高清视频在线| 日日爽夜夜爽网站| 国产精品电影一区二区三区| 窝窝影院91人妻| 欧美不卡视频在线免费观看 | 婷婷丁香在线五月| 国产亚洲av嫩草精品影院| 国产熟女午夜一区二区三区| 亚洲七黄色美女视频| 禁无遮挡网站| 搡老妇女老女人老熟妇| 丝袜人妻中文字幕| 在线免费观看的www视频| 日韩视频一区二区在线观看| 老鸭窝网址在线观看| 久久人妻福利社区极品人妻图片| 色在线成人网| 在线观看www视频免费| 18禁观看日本| 国产真人三级小视频在线观看| 99热只有精品国产| 黄色成人免费大全| 日韩欧美国产一区二区入口| 国产真人三级小视频在线观看| 久久精品国产亚洲av香蕉五月| 久久亚洲精品不卡| 久久久久国产精品人妻aⅴ院| 黄色成人免费大全| 好男人电影高清在线观看| 欧美不卡视频在线免费观看 | 麻豆久久精品国产亚洲av| 嫩草影视91久久| 国产精品影院久久| 身体一侧抽搐| 国产爱豆传媒在线观看 | 亚洲欧美精品综合一区二区三区| 日本免费一区二区三区高清不卡| 久久国产精品男人的天堂亚洲| 99在线人妻在线中文字幕| 色综合亚洲欧美另类图片| 国产精品自产拍在线观看55亚洲| cao死你这个sao货| www.www免费av| e午夜精品久久久久久久| 国产成人啪精品午夜网站| 在线播放国产精品三级| 一本精品99久久精品77| 国产精品亚洲美女久久久| 欧美乱色亚洲激情| 亚洲人成网站在线播放欧美日韩| 黄色 视频免费看| 亚洲国产精品合色在线| 成人国产一区最新在线观看| 精品第一国产精品| 欧美激情久久久久久爽电影| 制服人妻中文乱码| 日韩大尺度精品在线看网址| 一本综合久久免费| 老司机在亚洲福利影院| 天天躁夜夜躁狠狠躁躁| 欧美亚洲日本最大视频资源| 亚洲真实伦在线观看| 午夜福利一区二区在线看| avwww免费| 少妇裸体淫交视频免费看高清 | 一级毛片高清免费大全| 国产精品亚洲美女久久久| 人人澡人人妻人| 国产亚洲精品av在线| 一本综合久久免费| 久久欧美精品欧美久久欧美| 成人国产综合亚洲| av电影中文网址| 天天躁夜夜躁狠狠躁躁| 久久精品aⅴ一区二区三区四区| 国产精品二区激情视频| 国产av一区二区精品久久| 一夜夜www| av超薄肉色丝袜交足视频| 欧美成狂野欧美在线观看| tocl精华| xxx96com| 国产亚洲精品一区二区www| bbb黄色大片| 欧美大码av| 免费一级毛片在线播放高清视频| 亚洲自偷自拍图片 自拍| 我的亚洲天堂| 黄色成人免费大全| 男人舔奶头视频| 欧洲精品卡2卡3卡4卡5卡区| 在线国产一区二区在线| 91大片在线观看| 精品卡一卡二卡四卡免费| 黄色毛片三级朝国网站| 精品一区二区三区视频在线观看免费| 夜夜看夜夜爽夜夜摸| 欧美不卡视频在线免费观看 | 不卡av一区二区三区| 亚洲全国av大片| 亚洲欧美精品综合一区二区三区| 亚洲专区中文字幕在线| 精品国产亚洲在线| 97人妻精品一区二区三区麻豆 | 国产麻豆成人av免费视频| 成年免费大片在线观看| 熟女少妇亚洲综合色aaa.| 亚洲在线自拍视频| 人妻久久中文字幕网| 看片在线看免费视频| 亚洲av五月六月丁香网| 精品不卡国产一区二区三区| 99re在线观看精品视频| 巨乳人妻的诱惑在线观看| 99热只有精品国产| 波多野结衣高清无吗| 国产亚洲欧美在线一区二区| 淫秽高清视频在线观看| 国产成人精品久久二区二区91| 中文字幕另类日韩欧美亚洲嫩草| 色综合站精品国产| 日韩欧美免费精品| 美女高潮到喷水免费观看| 色精品久久人妻99蜜桃| 人人妻人人澡人人看| 免费看美女性在线毛片视频| 1024视频免费在线观看| 成年免费大片在线观看| 丁香六月欧美| 十分钟在线观看高清视频www| 国产激情偷乱视频一区二区| 亚洲欧洲精品一区二区精品久久久| 成人欧美大片| 女性被躁到高潮视频| 国产伦一二天堂av在线观看| 国产视频一区二区在线看| 国产亚洲欧美精品永久| 搞女人的毛片| 国产精品一区二区精品视频观看| 在线观看一区二区三区| 日本精品一区二区三区蜜桃| 亚洲国产看品久久| 欧美日韩乱码在线| 久久这里只有精品19| 可以免费在线观看a视频的电影网站| 亚洲自偷自拍图片 自拍| 国产一区二区三区视频了| 无遮挡黄片免费观看| 中文字幕人妻丝袜一区二区| 国产精品,欧美在线| 一本久久中文字幕| 校园春色视频在线观看| 亚洲国产中文字幕在线视频| 欧美精品亚洲一区二区| 麻豆一二三区av精品| 动漫黄色视频在线观看| 久热这里只有精品99| 精华霜和精华液先用哪个| a级毛片a级免费在线| 日韩三级视频一区二区三区| 国产成人一区二区三区免费视频网站| 国产精品电影一区二区三区| 国产又黄又爽又无遮挡在线| 黄网站色视频无遮挡免费观看| 日韩欧美 国产精品| 在线天堂中文资源库| 一区二区三区精品91| 日韩大码丰满熟妇| 精品第一国产精品| 日韩欧美在线二视频| 岛国在线观看网站| 国产一区在线观看成人免费| 色综合站精品国产| 女人被狂操c到高潮| 欧美成狂野欧美在线观看| 高潮久久久久久久久久久不卡| 国产精品乱码一区二三区的特点| 亚洲成人免费电影在线观看| av在线播放免费不卡| 日本a在线网址| 国产亚洲欧美精品永久| 岛国在线观看网站| 日韩欧美国产一区二区入口| 国产蜜桃级精品一区二区三区| 欧美黑人欧美精品刺激| 99riav亚洲国产免费| 中文在线观看免费www的网站 | xxx96com| 午夜视频精品福利| 午夜福利免费观看在线| 国产精品综合久久久久久久免费| 他把我摸到了高潮在线观看| 亚洲精品久久国产高清桃花| 黄色a级毛片大全视频| 亚洲精品中文字幕在线视频| 天堂√8在线中文| 午夜老司机福利片| 精品国产国语对白av| 巨乳人妻的诱惑在线观看| 免费人成视频x8x8入口观看| 日本在线视频免费播放| 欧美三级亚洲精品| 国产av不卡久久| 别揉我奶头~嗯~啊~动态视频| 精品卡一卡二卡四卡免费| 久久国产精品男人的天堂亚洲| 亚洲精华国产精华精| 黄片播放在线免费| 久久欧美精品欧美久久欧美| 国内毛片毛片毛片毛片毛片| 色综合欧美亚洲国产小说| 国产精品亚洲一级av第二区| 亚洲av美国av| 99精品久久久久人妻精品| netflix在线观看网站| 男女下面进入的视频免费午夜 | 精品国内亚洲2022精品成人| 天天躁夜夜躁狠狠躁躁| 天天添夜夜摸| 老司机午夜福利在线观看视频| 午夜激情av网站| 免费电影在线观看免费观看| 最近在线观看免费完整版| 国产亚洲精品一区二区www| 一a级毛片在线观看| 亚洲精品久久国产高清桃花| 看免费av毛片| 精品电影一区二区在线| 欧美日韩亚洲综合一区二区三区_| 色av中文字幕| 国产视频一区二区在线看| 国产精品九九99| 在线av久久热| 久热爱精品视频在线9| 宅男免费午夜| 亚洲成人久久爱视频| 中文字幕精品免费在线观看视频| 一a级毛片在线观看| 青草久久国产| 久久 成人 亚洲| 女人高潮潮喷娇喘18禁视频| 亚洲aⅴ乱码一区二区在线播放 | 一本精品99久久精品77| 一区二区三区高清视频在线| 亚洲人成77777在线视频| 精品久久蜜臀av无| 女同久久另类99精品国产91| 88av欧美| 精品一区二区三区四区五区乱码| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲一码二码三码区别大吗| av片东京热男人的天堂| 成人国产综合亚洲| 亚洲,欧美精品.| tocl精华| 91九色精品人成在线观看| 一级a爱片免费观看的视频| 午夜福利在线观看吧| 91老司机精品| 精品国产亚洲在线| 久久久精品欧美日韩精品| 女人被狂操c到高潮| 777久久人妻少妇嫩草av网站| 国产精品二区激情视频| 人人妻人人澡人人看| 天天一区二区日本电影三级| 宅男免费午夜| 99热6这里只有精品| 欧美日韩精品网址| 亚洲精品美女久久av网站| 最新在线观看一区二区三区| 一级黄色大片毛片| 久久香蕉国产精品| 国产v大片淫在线免费观看| 色老头精品视频在线观看| www日本黄色视频网| 这个男人来自地球电影免费观看| 窝窝影院91人妻| www日本黄色视频网| 给我免费播放毛片高清在线观看| 看免费av毛片| 久久久国产欧美日韩av| 一边摸一边抽搐一进一小说| 久久 成人 亚洲| 午夜a级毛片| 国产av又大| 熟妇人妻久久中文字幕3abv| 国产一卡二卡三卡精品| 午夜老司机福利片| 亚洲色图av天堂| 一二三四社区在线视频社区8| 狂野欧美激情性xxxx| 国产成人欧美| 制服丝袜大香蕉在线| 怎么达到女性高潮| 亚洲第一av免费看| 国产av又大| 美女国产高潮福利片在线看| 亚洲中文av在线| 成人亚洲精品av一区二区| 12—13女人毛片做爰片一| 男女之事视频高清在线观看| 亚洲在线自拍视频| 天天躁狠狠躁夜夜躁狠狠躁| 一边摸一边抽搐一进一小说| 国产亚洲精品一区二区www| 18禁国产床啪视频网站| 久久这里只有精品19| 亚洲五月色婷婷综合| 嫩草影院精品99| 中文字幕最新亚洲高清| 最好的美女福利视频网| 亚洲精品久久国产高清桃花| 中文资源天堂在线| 99热只有精品国产| 狂野欧美激情性xxxx| 国产午夜福利久久久久久| 少妇裸体淫交视频免费看高清 | 国产亚洲欧美精品永久| 久久久久久九九精品二区国产 | 午夜激情福利司机影院| 久热爱精品视频在线9| 亚洲九九香蕉| 最新美女视频免费是黄的| 亚洲自拍偷在线| 麻豆成人午夜福利视频| 免费在线观看视频国产中文字幕亚洲| 亚洲,欧美精品.| 欧美中文日本在线观看视频| 丝袜在线中文字幕| 国产成人精品无人区| 在线国产一区二区在线| 给我免费播放毛片高清在线观看| 成人18禁高潮啪啪吃奶动态图| 成人三级黄色视频| 麻豆国产av国片精品| 欧美性长视频在线观看| АⅤ资源中文在线天堂| 国产精品永久免费网站| 日韩精品青青久久久久久| 久久天躁狠狠躁夜夜2o2o| 一区二区三区国产精品乱码| 久热这里只有精品99| 国产欧美日韩一区二区精品| 亚洲国产精品合色在线| 免费观看人在逋| netflix在线观看网站| 国产午夜精品久久久久久| 久久热在线av| 天天躁夜夜躁狠狠躁躁| 高清毛片免费观看视频网站| 激情在线观看视频在线高清| 久久中文字幕人妻熟女| 1024视频免费在线观看| √禁漫天堂资源中文www| 国语自产精品视频在线第100页| 欧美日韩亚洲综合一区二区三区_| 又大又爽又粗| 韩国av一区二区三区四区| 国产野战对白在线观看| 国产精华一区二区三区| 欧美激情久久久久久爽电影| 亚洲精品粉嫩美女一区| 丰满人妻熟妇乱又伦精品不卡| 欧美+亚洲+日韩+国产| 又大又爽又粗| 757午夜福利合集在线观看| 免费高清视频大片| 中文在线观看免费www的网站 | 一区二区日韩欧美中文字幕| 久久久精品国产亚洲av高清涩受| 侵犯人妻中文字幕一二三四区| 免费女性裸体啪啪无遮挡网站| 怎么达到女性高潮| 国产视频一区二区在线看| 国产成人精品无人区| 搡老熟女国产l中国老女人| 99精品欧美一区二区三区四区| 99久久综合精品五月天人人| 久久婷婷成人综合色麻豆| 亚洲精品中文字幕一二三四区| 一级毛片精品| 88av欧美| 一本精品99久久精品77| www日本黄色视频网| 日本撒尿小便嘘嘘汇集6| 99久久久亚洲精品蜜臀av| 这个男人来自地球电影免费观看| 99国产精品一区二区三区| 国产亚洲欧美在线一区二区| 精品国产乱子伦一区二区三区| 91麻豆精品激情在线观看国产| 亚洲av成人一区二区三| 国产精品 欧美亚洲| 夜夜躁狠狠躁天天躁| 国产亚洲精品久久久久久毛片| 日韩欧美一区二区三区在线观看| 免费在线观看亚洲国产| 丝袜在线中文字幕| 亚洲精品久久国产高清桃花| 女性被躁到高潮视频| 国内毛片毛片毛片毛片毛片| 黄色毛片三级朝国网站| 久久久久久久久久黄片| 国产久久久一区二区三区| 亚洲国产精品sss在线观看| 亚洲人成伊人成综合网2020| 亚洲国产欧美日韩在线播放| 中国美女看黄片| 在线十欧美十亚洲十日本专区| 欧美性猛交╳xxx乱大交人| 日日摸夜夜添夜夜添小说| 亚洲成av片中文字幕在线观看| 亚洲第一电影网av| 天天躁狠狠躁夜夜躁狠狠躁| 可以在线观看的亚洲视频| 女性被躁到高潮视频| 久久人妻福利社区极品人妻图片| 精品久久久久久久人妻蜜臀av| 18禁黄网站禁片免费观看直播| 久久久久久久精品吃奶| 天天一区二区日本电影三级| 久久婷婷人人爽人人干人人爱| 老司机午夜福利在线观看视频| 日韩欧美国产在线观看| 日本 av在线| 亚洲人成电影免费在线| 国产激情偷乱视频一区二区| 亚洲 欧美 日韩 在线 免费| 一个人观看的视频www高清免费观看 | 国产av一区在线观看免费| 国产成人av激情在线播放| 欧美日本亚洲视频在线播放| 99久久国产精品久久久| 无限看片的www在线观看| 波多野结衣高清无吗| 99在线视频只有这里精品首页| 色综合欧美亚洲国产小说| 啦啦啦免费观看视频1| tocl精华| 国产成人欧美| 亚洲精品国产精品久久久不卡| 国产aⅴ精品一区二区三区波| 在线永久观看黄色视频| 精品一区二区三区四区五区乱码| 男人舔奶头视频| 国内精品久久久久久久电影| ponron亚洲| 男人的好看免费观看在线视频 | av免费在线观看网站| 88av欧美| 看免费av毛片| 午夜福利在线在线| 国产成人影院久久av| 特大巨黑吊av在线直播 | 亚洲av电影不卡..在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 欧美成人一区二区免费高清观看 | av在线天堂中文字幕| 亚洲av电影在线进入| 在线视频色国产色| 又大又爽又粗| 99热只有精品国产| 亚洲欧洲精品一区二区精品久久久| 久久精品亚洲精品国产色婷小说| 99国产综合亚洲精品| 国产熟女xx| av在线天堂中文字幕| 日韩国内少妇激情av| 亚洲aⅴ乱码一区二区在线播放 | 美女国产高潮福利片在线看| 日本 欧美在线| 国产视频一区二区在线看| 成年人黄色毛片网站| 久久久久久免费高清国产稀缺| 在线免费观看的www视频| 人人澡人人妻人| 19禁男女啪啪无遮挡网站| 亚洲在线自拍视频| 婷婷精品国产亚洲av| 亚洲av日韩精品久久久久久密| 麻豆一二三区av精品| 天堂√8在线中文| 亚洲中文日韩欧美视频| 黄片小视频在线播放| 中文字幕最新亚洲高清| 日韩欧美一区视频在线观看| 中文在线观看免费www的网站 | 亚洲全国av大片| x7x7x7水蜜桃| 国产在线观看jvid| 精品无人区乱码1区二区| 在线视频色国产色| 狂野欧美激情性xxxx| 国产视频一区二区在线看| 男人操女人黄网站| 午夜福利在线在线| 久久精品国产亚洲av高清一级| 久久国产精品影院| 一本一本综合久久| 精品不卡国产一区二区三区| 国产av又大| 99精品在免费线老司机午夜| 一个人免费在线观看的高清视频| 国产精品亚洲美女久久久| 国产精品自产拍在线观看55亚洲| 亚洲在线自拍视频| 午夜影院日韩av| 欧美另类亚洲清纯唯美| 宅男免费午夜| 最近最新中文字幕大全电影3 | 一本一本综合久久| 国产精品综合久久久久久久免费| 国产视频内射| 免费无遮挡裸体视频| 亚洲一码二码三码区别大吗| 熟女电影av网| 日韩大码丰满熟妇| 日韩免费av在线播放| 亚洲成人国产一区在线观看| 性欧美人与动物交配| 日韩欧美一区视频在线观看| 一本一本综合久久| 亚洲专区中文字幕在线| 可以免费在线观看a视频的电影网站| 波多野结衣高清无吗| 麻豆成人午夜福利视频| 白带黄色成豆腐渣| 后天国语完整版免费观看| 男女午夜视频在线观看| 国产成人影院久久av| 欧美+亚洲+日韩+国产| 99在线视频只有这里精品首页| 成人特级黄色片久久久久久久| 人人妻人人澡人人看| 国产又爽黄色视频| 桃色一区二区三区在线观看| avwww免费| 人人澡人人妻人| 久久精品影院6| 国产熟女xx| 亚洲av电影在线进入| 国产成人精品久久二区二区免费| 久久久久久久精品吃奶| 久久久久久免费高清国产稀缺| 亚洲成a人片在线一区二区| 日韩欧美一区视频在线观看| 天堂影院成人在线观看| 欧美又色又爽又黄视频| 法律面前人人平等表现在哪些方面| 中文字幕人妻丝袜一区二区| 午夜成年电影在线免费观看| 日韩三级视频一区二区三区| 国产精品乱码一区二三区的特点| 午夜免费激情av| 国产野战对白在线观看| 亚洲天堂国产精品一区在线|