• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于核非負(fù)矩陣分解的有向圖聚類(lèi)算法

    2022-01-05 02:31:12胡麗瑩林曉煒陳黎飛
    計(jì)算機(jī)應(yīng)用 2021年12期
    關(guān)鍵詞:有向圖相似性聚類(lèi)

    陳 獻(xiàn),胡麗瑩*,林曉煒,陳黎飛,3

    (1.福建師范大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院,福州 350117;2.數(shù)字福建環(huán)境監(jiān)測(cè)物聯(lián)網(wǎng)實(shí)驗(yàn)室(福建師范大學(xué)),福州 350117;3.福建省應(yīng)用數(shù)學(xué)中心(福建師范大學(xué)),福州 350117)

    (?通信作者電子郵箱hlyxyz@fjnu.edu.cn)

    0 引言

    圖結(jié)構(gòu)可以自然地表示網(wǎng)狀結(jié)構(gòu)的數(shù)據(jù),如社交網(wǎng)絡(luò)、電力網(wǎng)絡(luò)、引文網(wǎng)絡(luò)、運(yùn)輸網(wǎng)絡(luò)、蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò)[1]等。隨著各個(gè)領(lǐng)域網(wǎng)絡(luò)數(shù)據(jù)的增長(zhǎng)以及對(duì)網(wǎng)絡(luò)數(shù)據(jù)處理的迫切需求,分析圖結(jié)構(gòu)以及挖掘圖結(jié)構(gòu)中的關(guān)系信息成為了熱點(diǎn)問(wèn)題,圖聚類(lèi)[2]是其中的一項(xiàng)基礎(chǔ)研究課題。圖聚類(lèi)根據(jù)節(jié)點(diǎn)及節(jié)點(diǎn)間連接關(guān)系的相似性將節(jié)點(diǎn)劃分為簇,使得簇內(nèi)節(jié)點(diǎn)相似度較高,簇間的節(jié)點(diǎn)則差異較大。

    目前已提出多種圖聚類(lèi)算法,包括基于圖分割的算法[3]、層次聚類(lèi)算法[4]、譜聚類(lèi)算法[5]等,這些算法大多忽視節(jié)點(diǎn)連邊的方向性,把有向圖轉(zhuǎn)化為有無(wú)向圖進(jìn)行處理。對(duì)于有向網(wǎng)絡(luò)如引文網(wǎng)絡(luò)、基因轉(zhuǎn)移網(wǎng)絡(luò)、運(yùn)輸網(wǎng)絡(luò)等,若以無(wú)向圖方式處理將丟失有用信息甚至引發(fā)歧義。例如,對(duì)于由文獻(xiàn)間引用和被引用關(guān)系構(gòu)成的引文網(wǎng)絡(luò),當(dāng)看作無(wú)向圖時(shí),將出現(xiàn)文獻(xiàn)間僅存在的單方面引用關(guān)系變成同時(shí)包含引用和被引用雙向關(guān)系的錯(cuò)誤情形。為有效建模節(jié)點(diǎn)間連接關(guān)系的方向性,目前典型的方法是將無(wú)向圖聚類(lèi)算法推廣到有向圖,如Satuluri 等[6]提出的轉(zhuǎn)換有向圖為無(wú)向加權(quán)圖的方法,通過(guò)有向圖上非對(duì)稱(chēng)鄰接矩陣隨機(jī)游走對(duì)稱(chēng)化或節(jié)點(diǎn)的入度和出度對(duì)稱(chēng)化手段來(lái)構(gòu)造新的對(duì)稱(chēng)鄰接矩陣,但這種方法可能導(dǎo)致有向圖上某些獨(dú)特的邊方向性信息丟失?;贚aplacian 矩陣的多種譜聚類(lèi)算法[7-9]則將聚類(lèi)目標(biāo)函數(shù)擴(kuò)展到有向圖中,并對(duì)得到的拉普拉斯矩陣做特征值分解;但該矩陣的特征值可能存在負(fù)值,降低了所構(gòu)造模型的可解釋性。

    基于非負(fù)矩陣分解(Nonnegative Matrix Factorization,NMF)[10]的一類(lèi)方法[11-12]則通過(guò)將圖鄰接矩陣的非負(fù)結(jié)構(gòu)分解(structured factorization)實(shí)現(xiàn)圖聚類(lèi)。由于被分解的可以是非對(duì)稱(chēng)矩陣且分解結(jié)果均為非負(fù)矩陣,該類(lèi)方法對(duì)有向圖聚類(lèi)具有良好的適應(yīng)性和可解釋性,近年來(lái)得到廣泛關(guān)注。譬如,Wang 等[11]提出的非對(duì)稱(chēng)非負(fù)矩陣分解(Asymmetric NMF,ANMF)算法將有向圖的非對(duì)稱(chēng)鄰接矩陣分解為分別表示“節(jié)點(diǎn)-簇”隸屬度和簇間相似性的非負(fù)矩陣,進(jìn)而基于隸屬度矩陣對(duì)節(jié)點(diǎn)進(jìn)行簇劃分;在此基礎(chǔ)上,Tosyali等[12]引入節(jié)點(diǎn)間的相似先驗(yàn)信息為正則項(xiàng),構(gòu)造了正則化的非對(duì)稱(chēng)非負(fù)矩陣分解(Regularized Asymmetric NMF,RANMF)算法,提高了有向圖聚類(lèi)的準(zhǔn)確性和魯棒性。

    然而,以上算法忽略了有向圖上潛在的節(jié)點(diǎn)間的非線(xiàn)性關(guān)系。在許多實(shí)際應(yīng)用產(chǎn)生的圖(網(wǎng)絡(luò))中,節(jié)點(diǎn)與節(jié)點(diǎn)之間通常是非線(xiàn)性相關(guān)的。如社交網(wǎng)絡(luò)中,個(gè)體(節(jié)點(diǎn))之間的關(guān)系并不是單一的,有可能是同事、家人甚至更復(fù)雜的人際關(guān)系(有向邊)。顯然,這些關(guān)系不能簡(jiǎn)單地以線(xiàn)性方式來(lái)逼近。當(dāng)前,深度學(xué)習(xí)(deep learning)與核學(xué)習(xí)(kernel learning)是兩種主流的節(jié)點(diǎn)間非線(xiàn)性關(guān)系建模方法。例如,Perozzi 等[13]提出深度游走(DeepWalk)算法,通過(guò)隨機(jī)游走捕捉圖的高階近鄰結(jié)構(gòu),進(jìn)而將深度學(xué)習(xí)技術(shù)運(yùn)用到圖聚類(lèi)問(wèn)題中;但是,該算法并未考慮節(jié)點(diǎn)間連接的方向性。核學(xué)習(xí)方法[14]通過(guò)將低維數(shù)據(jù)嵌入到高維核空間中,使得低維不可分?jǐn)?shù)據(jù)在新空間中線(xiàn)性可分或接近線(xiàn)性可分,從而有效挖掘隱含在數(shù)據(jù)中的非線(xiàn)性關(guān)系。近年,已提出多種核非負(fù)矩陣分解(Kernel NMF,KNMF)算法,利用小樣本條件下核學(xué)習(xí)方法在非線(xiàn)性學(xué)習(xí)中的良好性能進(jìn)行人臉識(shí)別、文本聚類(lèi)等[15-18]。

    本文提出用于非線(xiàn)性有向圖聚類(lèi)的核非負(fù)矩陣分解算法,稱(chēng)為正則化的核非對(duì)稱(chēng)非負(fù)矩陣分解(Regularized Kernel Asymmetric NMF,RKANMF)。首先,基于核化機(jī)制構(gòu)造了有向圖核聚類(lèi)目標(biāo)函數(shù),定義了約束核空間中節(jié)點(diǎn)相似性關(guān)系的正則化項(xiàng),以保持原空間中節(jié)點(diǎn)間相似關(guān)系的同時(shí)強(qiáng)化核空間中同簇節(jié)點(diǎn)間的(非線(xiàn)性)相似性;其次,基于梯度下降法提出了一種聚類(lèi)優(yōu)化算法,證明了算法的收斂性;最后,在8個(gè)有向網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),并與深度學(xué)習(xí)算法等進(jìn)行了對(duì)比,實(shí)驗(yàn)結(jié)果驗(yàn)證了所提算法的有效性。

    1 相關(guān)工作

    1.1 基本定義

    定義1有向圖。在有向圖中G=(V,E),邊(i,j)∈E將節(jié)點(diǎn)i連接到節(jié)點(diǎn)j,|V|表示節(jié)點(diǎn)數(shù),|E|表示邊數(shù)。有向圖可以由鄰接矩陣來(lái)表示。

    構(gòu)建有向圖鄰接矩陣:鄰接矩陣A∈Rn×n+,其中n是節(jié)點(diǎn)數(shù),若從節(jié)點(diǎn)到節(jié)點(diǎn)存在有向邊,[A]ij=1,否則[A]ij=0。特別地,[A]ii=0。本文用[·]ij表示矩陣第i行第j列元素。

    圖聚類(lèi)基于節(jié)點(diǎn)間的相似性:節(jié)點(diǎn)之間越相似,則越可能劃分到同一個(gè)簇。文獻(xiàn)中常用的節(jié)點(diǎn)相似性度量有:

    1)Katz 中心相似性度量[19]。對(duì)于圖中每一條路徑,利用加權(quán)方案計(jì)算其權(quán)重,公式如下:

    其中:I為元素全為1 的矩陣;當(dāng)參數(shù)β<1 時(shí),較長(zhǎng)的路徑將分配到較小的權(quán)重,較短的路徑則獲得更大的權(quán)重,權(quán)重越大,節(jié)點(diǎn)間就越相似。

    2)余弦相似性度量[19]。計(jì)算節(jié)點(diǎn)間公共鄰居的數(shù)量,公共鄰居的數(shù)量越多表示節(jié)點(diǎn)間越相似。計(jì)算公式為:

    其中:cij表示節(jié)點(diǎn)i與節(jié)點(diǎn)j的公共鄰居數(shù)量;為由所有鄰居數(shù)量組成的向量的長(zhǎng)度,取值在0到1之間。余弦相似度為1表示兩個(gè)節(jié)點(diǎn)具有相同的鄰居,0則表示沒(méi)有相同鄰居。

    1.2 基于NMF的聚類(lèi)算法

    其中:r?min{m,n}為分解矩陣的秩;‖?‖F(xiàn)表示矩陣的Frobenious 范數(shù)。對(duì)于聚類(lèi)任務(wù)[20],分解結(jié)果中的W可以視為隸屬度矩陣,根據(jù)規(guī)則將第i個(gè)樣本xi分配到隸屬度最大的簇j*,完成聚類(lèi)。

    下面介紹兩種基于NMF 的代表性有向圖聚類(lèi)算法:ANMF[12]和RANMF[13]算法。ANMF 將式(3)中的B矩陣用HWT代替,其中,,定義其優(yōu)化問(wèn)題如下:

    RANMF 在A(yíng)NMF 算法基礎(chǔ)上添加了圖正則化項(xiàng),對(duì)同簇節(jié)點(diǎn)間的相似性進(jìn)行約束,其定義的優(yōu)化問(wèn)題如下:

    其中:Tr(?)是矩陣的跡;S是節(jié)點(diǎn)間相似性矩陣;D為對(duì)角矩陣,其中每個(gè)對(duì)角元Dii是矩陣S的第i行元素的和。

    1.3 核函數(shù)與KNMF

    核函數(shù)是從低維空間到高維空間中的一種映射函數(shù)。設(shè)R為輸入空間,H為特征空間(希爾伯特空間或核再生空間,以下簡(jiǎn)稱(chēng)核空間),核學(xué)習(xí)方法[14]利用核函數(shù)實(shí)現(xiàn)從R到H的映射:φ(X):R→H。對(duì)于輸入空間的樣本對(duì)(xi,xj),核技巧(kernel trick)通過(guò)替換核空間中樣本對(duì)的內(nèi)積為核函數(shù)κ(xi,xj)的值(核化),解決φ(X)難于計(jì)算的問(wèn)題,即:

    常用的核函數(shù)包括多項(xiàng)式核函數(shù)和徑向基核函數(shù)等,其定義分別如下:

    為捕捉數(shù)據(jù)中的局部結(jié)構(gòu)信息,文獻(xiàn)[21]新近提出了分?jǐn)?shù)階核(Fractional power kernel):

    其中:zd表示任意向量z中每個(gè)元素的d次冪。鑒于圖聚類(lèi)的目的在于根據(jù)圖的局部結(jié)構(gòu)特性進(jìn)行節(jié)點(diǎn)分組,本文采用如式(4)所示的分?jǐn)?shù)階核函數(shù),并用矩陣形式加以表示,如下:

    在傳統(tǒng)NMF 的基礎(chǔ)上,利用上述核化機(jī)制可以對(duì)輸入矩陣進(jìn)行核非負(fù)矩陣分解(KNMF)。例如,基于KNMF 的人臉識(shí)別[17-18]定義其優(yōu)化問(wèn)題為:

    意在優(yōu)化兩個(gè)非負(fù)矩陣W和B,使得映射后的人臉圖像在核空間可以近似地表示為基圖像的線(xiàn)性組合,即:φ(X)≈φ(W)B。相比僅能對(duì)數(shù)據(jù)中線(xiàn)性關(guān)系建模的傳統(tǒng)NMF,KNMF 的優(yōu)勢(shì)在于可以通過(guò)核函數(shù)對(duì)數(shù)據(jù)進(jìn)行高維映射發(fā)掘隱含的非線(xiàn)性特征,并利用核技巧降低算法的時(shí)間復(fù)雜度。

    2 RKANMF有向圖聚類(lèi)算法

    本章討論基于正則化核非對(duì)稱(chēng)非負(fù)矩陣分解(RKANMF)的有向圖聚類(lèi)算法。首先構(gòu)造了新的聚類(lèi)優(yōu)化目標(biāo)函數(shù),給出參數(shù)優(yōu)化方法;接著,提出優(yōu)化該目標(biāo)函數(shù)的聚類(lèi)算法,并嚴(yán)格證明了算法的收斂性。

    2.1 聚類(lèi)目標(biāo)函數(shù)及其優(yōu)化方法

    為在保持原空間中節(jié)點(diǎn)間(線(xiàn)性)相似關(guān)系的同時(shí)強(qiáng)化核空間中同簇節(jié)點(diǎn)間的(非線(xiàn)性)相似性,在構(gòu)造約束核空間中節(jié)點(diǎn)相似性關(guān)系的正則項(xiàng)的基礎(chǔ)上,利用核化機(jī)制定義RKANMF有向圖核聚類(lèi)目標(biāo)函數(shù)如下:

    其中:D是對(duì)角線(xiàn)矩陣,其對(duì)角元Dii是矩陣S的第i行的和。整理聚類(lèi)目標(biāo)函數(shù)式(6)得到:

    從優(yōu)化角度分析,聚類(lèi)是求解聚類(lèi)目標(biāo)函數(shù)最優(yōu)值的過(guò)程,即在矩陣W和H非負(fù)約束條件下最小化式(7)。根據(jù)梯度下降方法,矩陣W和H通過(guò)迭代以下乘法更新規(guī)則求解:

    其中Zd表示矩陣Z中每個(gè)元素的d次冪。

    2.2 聚類(lèi)算法及收斂性分析

    依據(jù)2.1 節(jié)中W和H的更新公式(式(8)和(9)),提出基于RKANMF的有向圖聚類(lèi)算法,具體描述如下:

    算法 基于RKANMF的有向圖聚類(lèi)算法。

    計(jì)算KWAWd和KWWHKWW的時(shí)間復(fù)雜度分別為O(n2r)和O(r2(r+n)),由于r<n,每次迭代更新公式H的時(shí)間復(fù)雜度為O(n2r)。同理,每次迭代更新W的時(shí)間復(fù)雜度為O(n2r),因此,算法在不考慮迭代次數(shù)的情況下,時(shí)間復(fù)雜度為O(n2r)。

    接著對(duì)算法的收斂性進(jìn)行分析,借鑒文獻(xiàn)[11,22]中的輔助函數(shù)法來(lái)證明在所提更新規(guī)則下算法的收斂性。

    定理1式(7)中的目標(biāo)函數(shù)在矩陣W和H的更新規(guī)則式(8)和(9)下是單調(diào)非增的。

    證明 當(dāng)固定H時(shí),令

    可得以下三個(gè)不等式:

    令φ(W)=Wd,即得式(8)中W的更新公式。

    同理,當(dāng)W固定時(shí),正則項(xiàng)部分與H無(wú)關(guān)。此時(shí),令

    則有:

    得出式(8)中H的乘法更新公式。又由于

    3 實(shí)驗(yàn)與分析

    本章通過(guò)在三個(gè)領(lǐng)域有向網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)來(lái)驗(yàn)證所提算法RKANMF 在有向圖聚類(lèi)中的有效性,并與當(dāng)前若干主流算法(ANMF[11]、RANMF[12]及DeepWalk 算法[13])進(jìn)行對(duì)比。實(shí)驗(yàn)平臺(tái)如下:Core i7-9750 2.60 GHz CPU,16.00 GB 內(nèi)存,操作系統(tǒng)為Windows 10。

    3.1 數(shù)據(jù)集

    實(shí)驗(yàn)使用的有向網(wǎng)絡(luò)數(shù)據(jù)集包含專(zhuān)利-引文網(wǎng)絡(luò)(Patent Citation Network,PCN)數(shù)據(jù)集[23]、World Wide Knowledge Base(WebKB)數(shù)據(jù)集[24]和人工合成網(wǎng)絡(luò)LFR(Lancichinetti-Fortunato-Radicchi)數(shù)據(jù)集[25],數(shù)據(jù)集的詳細(xì)信息見(jiàn)表1。

    表1 有向網(wǎng)絡(luò)數(shù)據(jù)集的詳細(xì)信息Tab.1 Details of directed network datasets

    ①PCN 數(shù)據(jù)集。PCN 由4 142 個(gè)節(jié)點(diǎn)和18 385 條邊組成,形成一個(gè)單一的連接樹(shù)結(jié)構(gòu)。本文選擇PCN 中的149個(gè)節(jié)點(diǎn)(專(zhuān)利)和215 個(gè)有向邊(引用)來(lái)檢驗(yàn)聚類(lèi)效果。由于同一簇的專(zhuān)利不一定具有直接公共鄰居,而是具有一個(gè)或多個(gè)中間專(zhuān)利連接的非中間鄰居,因此根據(jù)式(1)計(jì)算相似矩陣。由于PCN數(shù)據(jù)集沒(méi)有提供節(jié)點(diǎn)標(biāo)簽,因此該數(shù)據(jù)集的簇?cái)?shù)目未知,表1用“—”給予了標(biāo)識(shí)。

    ②WebKB 數(shù)據(jù)集。該數(shù)據(jù)集包含從4 所大學(xué)(Cornel、Texas、Washington 和Wisconsin)收集的網(wǎng)頁(yè),網(wǎng)頁(yè)分為學(xué)生、課程、項(xiàng)目、教師和工作人員5 類(lèi)。通常,一個(gè)高質(zhì)量的簇應(yīng)具有較少的簇間連接和更多的簇內(nèi)連接。由于WebKB 數(shù)據(jù)集中的簇與簇之間的連通性較高,選用式(2)計(jì)算節(jié)點(diǎn)間的相似矩陣。

    ③LFR 數(shù)據(jù)集。LFR 是一個(gè)人工合成數(shù)據(jù)集,包含的網(wǎng)絡(luò)是根據(jù)某些參數(shù)控制的機(jī)制產(chǎn)生的。比如,通過(guò)混合參數(shù)μ控制合成網(wǎng)絡(luò)中簇間連通性的強(qiáng)度,其值越大意味著更強(qiáng)的簇間連通性。本文取μ=0.1,0.3,0.5(分別對(duì)應(yīng)表1 中的LFR1、LFR2 和LFR3),并使用Katz 中心相似性度量式(2)計(jì)算節(jié)點(diǎn)間的相似矩陣。

    3.2 評(píng)價(jià)指標(biāo)

    當(dāng)數(shù)據(jù)集沒(méi)有真實(shí)簇劃分時(shí)采用Davies-Bouldin(DB)指標(biāo)[26]和Distance-based Quality Function(DQF)指標(biāo)[27]評(píng)價(jià)多個(gè)算法的聚類(lèi)結(jié)果質(zhì)量;當(dāng)存在真實(shí)簇劃分時(shí)采用聚類(lèi)準(zhǔn)確率(ACcuracy,AC)指標(biāo)、NMI 指標(biāo)及Jaccard 指標(biāo)[28]。各指標(biāo)簡(jiǎn)要介紹如下:

    ①DB指標(biāo)。

    計(jì)算簇內(nèi)散射與簇間分離之比,公式如下:

    其中:N表示簇的個(gè)數(shù);表示第i個(gè)簇中節(jié)點(diǎn)的平均分散程度;Mij為第i類(lèi)與第j類(lèi)簇的距離。當(dāng)DB 指標(biāo)值越小時(shí),算法得到的聚類(lèi)效果越好。

    ②DQF指標(biāo)。

    計(jì)算簇與簇之間的平均距離,公式如下:

    其中:A表示鄰接矩陣;是根據(jù)算法得到節(jié)點(diǎn)簇集合劃分r個(gè)簇后構(gòu)建的新鄰接矩陣,若節(jié)點(diǎn)i與j同簇,則。DQF指標(biāo)越高,則得到的聚類(lèi)結(jié)果越好。

    ③AC指標(biāo)。

    計(jì)算預(yù)測(cè)的節(jié)點(diǎn)簇集合的準(zhǔn)確率,公式如下:

    其中:n表示節(jié)點(diǎn)個(gè)數(shù);ri、si分別為第i個(gè)節(jié)點(diǎn)所對(duì)應(yīng)的獲得的標(biāo)簽和真實(shí)標(biāo)簽;map(ri)是一個(gè)映射函數(shù),表示將ri映射到相應(yīng)的節(jié)點(diǎn)簇類(lèi)上。δ是指示函數(shù),其公式如下:

    AC指標(biāo)越高,聚類(lèi)質(zhì)量越高。

    ④NMI指標(biāo)。

    計(jì)算預(yù)測(cè)的節(jié)點(diǎn)簇集合與真實(shí)節(jié)點(diǎn)簇劃分的相似度,公式如下:

    其中:C1和C2分別是預(yù)測(cè)的節(jié)點(diǎn)簇集合與真實(shí)節(jié)點(diǎn)簇集合;分別表示真實(shí)簇的數(shù)目與預(yù)測(cè)簇的數(shù)目;矩陣R=代表混淆矩陣,rij為真實(shí)簇的節(jié)點(diǎn)i出現(xiàn)在發(fā)現(xiàn)簇j的數(shù)量,ri?和r?j分別是混淆矩陣第i行的和與第j列的和。NMI指標(biāo)越高則聚類(lèi)質(zhì)量越好。

    ⑤Jaccard指標(biāo)。

    計(jì)算預(yù)測(cè)的節(jié)點(diǎn)簇集合與真實(shí)節(jié)點(diǎn)簇集合的交集和并集之比,公式如下:

    其中:C1表示預(yù)測(cè)的節(jié)點(diǎn)簇集合,C2為真實(shí)節(jié)點(diǎn)簇集合。Jaccard指標(biāo)越高,則得到聚類(lèi)結(jié)果與真實(shí)簇劃分越相似。

    3.3 參數(shù)設(shè)置

    為檢驗(yàn)本文RKANMF 算法是否能有效建模節(jié)點(diǎn)間的非線(xiàn)性關(guān)系,將它與ANMF算法[11]、RANMF算法[12]進(jìn)行了比較,并通過(guò)對(duì)比DeepWalk算法[13],檢驗(yàn)了小樣本條件下算法對(duì)有向聚類(lèi)的準(zhǔn)確性。

    在對(duì)不同網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)驗(yàn)中,RANMF 算法與ANMF 算法中Katz 中心相似性度量的β參數(shù)以及懲罰項(xiàng)權(quán)重系數(shù)λ的設(shè)置與文獻(xiàn)[12]中的最佳參數(shù)一致,所有基于NMF 的算法統(tǒng)一設(shè)置迭代停止精度ε=10-6。DeepWalk 算法參照文獻(xiàn)[13]設(shè)置每個(gè)節(jié)點(diǎn)出發(fā)游走10 次,游走長(zhǎng)度為10;skip-gram 模型設(shè)置詞向量的維度為30,窗口大小設(shè)置為7。

    簇的數(shù)目r值是有向圖聚類(lèi)算法的重要問(wèn)題,也是各個(gè)算法需要設(shè)置的先驗(yàn)參數(shù),本文在具有類(lèi)標(biāo)簽的數(shù)據(jù)集上采用真實(shí)簇的數(shù)目作為r值,對(duì)于沒(méi)有類(lèi)標(biāo)簽的PCN 數(shù)據(jù)集,選取不同的r值來(lái)對(duì)算法性能進(jìn)行測(cè)試。

    在真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集中(PCN 和WebKB 數(shù)據(jù)集)重點(diǎn)討論分?jǐn)?shù)階核的次冪d值與懲罰項(xiàng)權(quán)重系數(shù)λ值對(duì)RKANMF 算法的影響。在PCN 數(shù)據(jù)集的實(shí)驗(yàn)中,為了與ANMF 與RANMF算法進(jìn)行對(duì)照實(shí)驗(yàn),RKANMF 算法設(shè)置共同的參數(shù)λ=0.1,β=0.2。當(dāng)參數(shù)d值取得過(guò)小時(shí),計(jì)算過(guò)程中,W的更新公式(8)中的分母可能會(huì)接近于0,因此選擇d值在0.2 到0.9 區(qū)間。圖1與圖2顯示當(dāng)簇?cái)?shù)r=2,d=0.2時(shí),RKANMF 算法在DB與DQF指標(biāo)上均取得最優(yōu)。隨著d值增加,越趨近于1時(shí),算法不再對(duì)節(jié)點(diǎn)間的非線(xiàn)性關(guān)系建模,從而導(dǎo)致聚類(lèi)質(zhì)量下降。為檢驗(yàn)簇?cái)?shù)不同時(shí)對(duì)算法的影響,統(tǒng)一設(shè)置參數(shù)d=0.2。

    圖1 參數(shù)d對(duì)DB指標(biāo)的影響Fig.1 Influence of parameter d on DB index

    圖2 參數(shù)d對(duì)DQF指標(biāo)的影響Fig.2 Influence of parameter d on DQF index

    在具有真實(shí)簇劃分的WebKB 數(shù)據(jù)集實(shí)驗(yàn)中,著重考慮d值在0.2 到0.9 區(qū)間變化時(shí),RKANMF 算法對(duì)AC 指標(biāo)的影響。結(jié)果如圖3所示,在多個(gè)子數(shù)據(jù)集上,當(dāng)d值在0.4到0.5之間時(shí),算法的聚類(lèi)結(jié)果在A(yíng)C 指標(biāo)上更高。當(dāng)d值趨于1 時(shí)AC指標(biāo)呈下降趨勢(shì),算法不再建模節(jié)點(diǎn)間的非線(xiàn)性關(guān)系從而導(dǎo)致聚類(lèi)質(zhì)量下降。根據(jù)圖3,對(duì)四個(gè)子數(shù)據(jù)集(Cornel、Texas、Washington 和Wisconsin)分別取合適的d值為0.4、0.4、0.9和0.5。

    圖3 WebKB數(shù)據(jù)集上d值對(duì)AC指標(biāo)影響Fig.3 Influence of d value on AC index on WebKB dataset

    為考慮λ值對(duì)算法的影響,當(dāng)固定d值后,設(shè)置權(quán)重系數(shù)λ值區(qū)間為0 到500。圖4 顯示,當(dāng)λ值越大時(shí),算法越傾向于考慮節(jié)點(diǎn)間的相似性信息;當(dāng)λ值過(guò)大時(shí),算法過(guò)于依賴(lài)節(jié)點(diǎn)相似性,將原來(lái)屬于不同簇的節(jié)點(diǎn)劃分到同一簇中從而導(dǎo)致聚類(lèi)準(zhǔn)確性下降。根據(jù)圖4,對(duì)四個(gè)子數(shù)據(jù)集(Cornel、Texas、Washington 和Wisconsin)分別取合適的λ值為20、5、50 和20。同理,在LFR 的3個(gè)數(shù)據(jù)集中,所提算法通過(guò)對(duì)比多次得到的AC指標(biāo)值,設(shè)置合適的參數(shù)β=0.1,λ=0.1,d=0.88。

    圖4 WebKB數(shù)據(jù)集中λ值對(duì)AC指標(biāo)影響Fig.4 Influence of λ value on AC index on WebKB dataset

    3.4 PCN數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比分析

    本節(jié)使用PCN 數(shù)據(jù)集[23]來(lái)檢驗(yàn)四種算法的性能表現(xiàn)。表2 是利用DB 和DQF 指標(biāo)上對(duì)不同算法進(jìn)行比較的結(jié)果。方便起見(jiàn),表中均采用“Rnd”對(duì)隨機(jī)初始化策略進(jìn)行標(biāo)識(shí);用“SVD”表示基于SVD策略[12]的初始化,方法與文獻(xiàn)[12]一致;使用隨機(jī)初始化策略的算法運(yùn)行100 次,每一次都按不同的初始化矩陣進(jìn)行迭代,取最終結(jié)果的平均值。

    表2 簇?cái)?shù)(r)不同時(shí)各算法在PCN上的DB和DQF指標(biāo)比較Tab.2 Comparison of DB and DQF indexes on PCN for each algorithm with different number of clusters(r)

    表2 結(jié)果表明,隨著簇?cái)?shù)r的增加,所有算法的聚類(lèi)質(zhì)量均有所下降,說(shuō)明當(dāng)簇的數(shù)目r越來(lái)越多時(shí),本應(yīng)該劃分到相同簇的節(jié)點(diǎn)被分到不同簇,導(dǎo)致聚類(lèi)質(zhì)量降低。對(duì)于DB 指標(biāo),當(dāng)簇?cái)?shù)r=6 時(shí),RANMF 算法與RKANMF 算法的DB 指標(biāo)均低于DeepWalk 算法,這是由于過(guò)多考慮非中間鄰居從而導(dǎo)致聚類(lèi)效果變差。對(duì)于DQF 指標(biāo),在隨機(jī)初始化的情況下,所提算法也能比基于SVD 策略初始化[12]的RANMF 與ANMF算法在DQF 指標(biāo)上取得更好的表現(xiàn)。這說(shuō)明RKANMF 算法有效地對(duì)節(jié)點(diǎn)間的非線(xiàn)性關(guān)系建模得到了更好的特征表示,顯著提高了聚類(lèi)質(zhì)量。對(duì)比三種基于NMF 的算法可知,好的初始化策略及考慮了非線(xiàn)性關(guān)系的NMF 算法均能避免分解過(guò)程陷入較差的局部最優(yōu)值。

    3.5 WebKB數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比分析

    本節(jié)使用WebKB 數(shù)據(jù)集[24]中的四個(gè)子數(shù)據(jù)集來(lái)檢驗(yàn)幾種算法在數(shù)據(jù)集的簇間連通性強(qiáng)時(shí)的性能,結(jié)果如表3??梢钥闯觯?dāng)數(shù)據(jù)集簇間連通性較高時(shí),基于隨機(jī)初始化策略的算法能得到較好的聚類(lèi)結(jié)果,這是由于經(jīng)過(guò)多次隨機(jī)初始化的過(guò)程,算法更容易找到一個(gè)更好的局部極小值。對(duì)比基于NMF 的算法與DeepWalk 算法可知,在大多數(shù)情況下,基于NMF 的算法能得到更好的聚類(lèi)結(jié)果。這說(shuō)明當(dāng)圖的結(jié)構(gòu)變得模糊,DeepWalk 算法無(wú)法準(zhǔn)確獲取有向圖的高階近鄰結(jié)構(gòu),從而導(dǎo)致聚類(lèi)質(zhì)量下降。

    表3 各算法在WebKB數(shù)據(jù)集上的結(jié)果比較Tab.3 Result comparison of different algorithms on WebKB dataset

    在Cornell 子數(shù)據(jù)集中,RKANMF 算法在NMI 指標(biāo)上最高,表明在數(shù)據(jù)集的簇間連通性高的情況下,RKANMF 算法也能有效發(fā)掘節(jié)點(diǎn)間非線(xiàn)性關(guān)系。在Texas 子數(shù)據(jù)集中,RANMF 與RKANMF 算法的NMI 指標(biāo)低于A(yíng)NMF 算法,因?yàn)樵谡齽t項(xiàng)權(quán)重系數(shù)逐漸變大的過(guò)程中,帶正則項(xiàng)的兩個(gè)算法均忽視了鄰接矩陣的結(jié)構(gòu)信息,從而聚類(lèi)質(zhì)量下降。

    3.6 LFR網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比分析

    本節(jié)使用LFR網(wǎng)絡(luò)[25]來(lái)檢驗(yàn)幾種算法檢驗(yàn)在度分布不平衡的復(fù)雜網(wǎng)絡(luò)中的表現(xiàn),結(jié)果如表4。表4顯示了不同算法在LFR 網(wǎng)絡(luò)上的實(shí)驗(yàn)結(jié)果,其中“—”表示基于SVD 策略初始化的ANMF算法得不到聚類(lèi)結(jié)果。由表4可以看出,隨著μ值的增加,算法對(duì)簇的劃分變得愈加困難。當(dāng)簇類(lèi)結(jié)構(gòu)變得模糊時(shí),基于NMF 的算法在NMI 指標(biāo)上低于DeepWalk 算法,這說(shuō)明DeepWalk 更有針對(duì)性地獲取圖的結(jié)構(gòu)來(lái)提高劃分簇的質(zhì)量。RKANMF 算法在A(yíng)C 和Jaccard 指標(biāo)上有更好的表現(xiàn),這是由于RKANMF 算法中正則項(xiàng)發(fā)掘了節(jié)點(diǎn)間的(非線(xiàn)性)相似性關(guān)系。相比其他基于NMF 的算法,RKANMF 不僅在NMI指標(biāo)上與DeepWalk 算法比較接近,且在A(yíng)C 和Jaccard 指標(biāo)上有顯著的提高,這說(shuō)明當(dāng)節(jié)點(diǎn)關(guān)系變得復(fù)雜時(shí),對(duì)節(jié)點(diǎn)間的非線(xiàn)性關(guān)系進(jìn)行建模能更有效地提高聚類(lèi)算法的表現(xiàn)。

    表4 各算法在LFR網(wǎng)絡(luò)數(shù)據(jù)集上的結(jié)果比較Tab.4 Result comparison of different algorithms on LFR network dataset

    4 結(jié)語(yǔ)

    本文提出了一個(gè)用于有向圖聚類(lèi)的圖正則化核非對(duì)稱(chēng)非負(fù)矩陣分解優(yōu)化方法。該方法基于核化機(jī)制構(gòu)造了有向圖聚類(lèi)新目標(biāo)函數(shù),其正則項(xiàng)同時(shí)考慮了原始空間中節(jié)點(diǎn)間的相似性及節(jié)點(diǎn)在核空間中的(非線(xiàn)性)相關(guān)性;基于梯度下降法推導(dǎo)了一個(gè)有向圖聚類(lèi)(RKANMF)算法,給出了算法的詳細(xì)過(guò)程及收斂性分析,并在多個(gè)有向網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,與未結(jié)合核學(xué)習(xí)方法的非負(fù)矩陣分解算法及DeepWalk 等算法相比,新算法在多個(gè)聚類(lèi)有效性指標(biāo)上有更好的表現(xiàn)。今后我們將針對(duì)性地考慮節(jié)點(diǎn)的方向性以及不同核函數(shù)對(duì)有向圖聚類(lèi)的影響等方面做進(jìn)一步研究。

    猜你喜歡
    有向圖相似性聚類(lèi)
    一類(lèi)上三角算子矩陣的相似性與酉相似性
    有向圖的Roman k-控制
    淺析當(dāng)代中西方繪畫(huà)的相似性
    超歐拉和雙有向跡的強(qiáng)積有向圖
    基于DBSACN聚類(lèi)算法的XML文檔聚類(lèi)
    關(guān)于超歐拉的冪有向圖
    低滲透黏土中氯離子彌散作用離心模擬相似性
    基于改進(jìn)的遺傳算法的模糊聚類(lèi)算法
    一種層次初始的聚類(lèi)個(gè)數(shù)自適應(yīng)的聚類(lèi)方法研究
    自適應(yīng)確定K-means算法的聚類(lèi)數(shù):以遙感圖像聚類(lèi)為例
    国产欧美日韩一区二区精品| 亚洲 欧美一区二区三区| 久久人人爽av亚洲精品天堂| 亚洲三区欧美一区| 一进一出好大好爽视频| 色播亚洲综合网| av片东京热男人的天堂| 国产亚洲精品av在线| 妹子高潮喷水视频| 日本精品一区二区三区蜜桃| 成人手机av| 国内久久婷婷六月综合欲色啪| 咕卡用的链子| 亚洲国产精品sss在线观看| 一二三四社区在线视频社区8| a级毛片在线看网站| 国产单亲对白刺激| 免费在线观看视频国产中文字幕亚洲| 天天躁狠狠躁夜夜躁狠狠躁| 丝袜美腿诱惑在线| 国产单亲对白刺激| 欧美激情久久久久久爽电影 | www.www免费av| 精品日产1卡2卡| 又黄又粗又硬又大视频| av中文乱码字幕在线| 亚洲精品美女久久av网站| 桃红色精品国产亚洲av| 夜夜躁狠狠躁天天躁| 国产亚洲av高清不卡| 天天躁狠狠躁夜夜躁狠狠躁| 99国产精品一区二区蜜桃av| 久久伊人香网站| 色婷婷久久久亚洲欧美| avwww免费| 一夜夜www| 十分钟在线观看高清视频www| 男男h啪啪无遮挡| 12—13女人毛片做爰片一| 亚洲男人天堂网一区| 午夜福利在线观看吧| 熟女少妇亚洲综合色aaa.| 亚洲自偷自拍图片 自拍| 国产成人欧美| 亚洲欧美日韩无卡精品| 波多野结衣av一区二区av| 自线自在国产av| 久久精品aⅴ一区二区三区四区| 美女免费视频网站| 日韩 欧美 亚洲 中文字幕| 国产成人系列免费观看| 国产男靠女视频免费网站| 精品人妻1区二区| 日韩欧美一区视频在线观看| 亚洲视频免费观看视频| 天堂动漫精品| 久久中文字幕一级| 色播亚洲综合网| 午夜精品久久久久久毛片777| 亚洲一区高清亚洲精品| 高清在线国产一区| 丁香六月欧美| 日韩免费av在线播放| 久久久水蜜桃国产精品网| 好男人在线观看高清免费视频 | 欧美日韩精品网址| 国产精品免费一区二区三区在线| 久久香蕉激情| 国产1区2区3区精品| 悠悠久久av| 在线天堂中文资源库| 波多野结衣一区麻豆| 精品一区二区三区av网在线观看| 久久精品成人免费网站| 校园春色视频在线观看| 黄片播放在线免费| 午夜免费鲁丝| 亚洲国产精品sss在线观看| 丰满的人妻完整版| 免费观看人在逋| 色精品久久人妻99蜜桃| 久久久久久亚洲精品国产蜜桃av| 国产成人免费无遮挡视频| 成人国产综合亚洲| 日韩免费av在线播放| 一进一出好大好爽视频| 免费人成视频x8x8入口观看| 中出人妻视频一区二区| 在线观看舔阴道视频| 18禁观看日本| av视频免费观看在线观看| 黄频高清免费视频| 午夜精品久久久久久毛片777| 91大片在线观看| 美女国产高潮福利片在线看| 涩涩av久久男人的天堂| 亚洲成人国产一区在线观看| 亚洲av第一区精品v没综合| 色播亚洲综合网| 久99久视频精品免费| 在线av久久热| 91九色精品人成在线观看| 天天躁夜夜躁狠狠躁躁| 亚洲精品粉嫩美女一区| 国产成人精品久久二区二区91| 久久这里只有精品19| 欧美最黄视频在线播放免费| 亚洲色图av天堂| 国产亚洲av高清不卡| 国产亚洲精品第一综合不卡| 国产精品综合久久久久久久免费 | 久久精品亚洲精品国产色婷小说| 中文亚洲av片在线观看爽| 国产精品影院久久| 91精品三级在线观看| 国内毛片毛片毛片毛片毛片| 亚洲成av人片免费观看| 亚洲av电影不卡..在线观看| 在线观看舔阴道视频| 精品国产超薄肉色丝袜足j| 午夜福利18| 国产三级黄色录像| 母亲3免费完整高清在线观看| 国产国语露脸激情在线看| 日韩欧美在线二视频| 9色porny在线观看| 日日夜夜操网爽| 夜夜看夜夜爽夜夜摸| 丁香欧美五月| 少妇裸体淫交视频免费看高清 | 999久久久精品免费观看国产| 日本 av在线| 黄色视频,在线免费观看| 亚洲色图 男人天堂 中文字幕| 亚洲国产精品久久男人天堂| 少妇熟女aⅴ在线视频| 少妇粗大呻吟视频| 少妇被粗大的猛进出69影院| 亚洲av电影在线进入| 一区二区三区精品91| 久久久国产成人精品二区| 看免费av毛片| 黑人巨大精品欧美一区二区mp4| 中文字幕人成人乱码亚洲影| 国内毛片毛片毛片毛片毛片| 成人手机av| 亚洲免费av在线视频| 热re99久久国产66热| 亚洲电影在线观看av| 午夜a级毛片| 女性生殖器流出的白浆| 一本久久中文字幕| 国产区一区二久久| 国产精品永久免费网站| 黄色a级毛片大全视频| 91在线观看av| 亚洲国产日韩欧美精品在线观看 | 免费少妇av软件| 一区二区日韩欧美中文字幕| 在线永久观看黄色视频| 最近最新中文字幕大全免费视频| 日韩有码中文字幕| 国产亚洲欧美精品永久| 欧美成人免费av一区二区三区| 日韩有码中文字幕| 免费人成视频x8x8入口观看| 日韩高清综合在线| 18禁美女被吸乳视频| 女性生殖器流出的白浆| 亚洲激情在线av| av视频在线观看入口| av视频在线观看入口| 免费观看人在逋| 天天添夜夜摸| 19禁男女啪啪无遮挡网站| 国产成人精品在线电影| 欧美日本中文国产一区发布| 亚洲精品久久国产高清桃花| 1024视频免费在线观看| 久久久久久亚洲精品国产蜜桃av| 成人手机av| 两个人视频免费观看高清| 日韩视频一区二区在线观看| 美女大奶头视频| 国产熟女xx| 9热在线视频观看99| 精品国产超薄肉色丝袜足j| 波多野结衣高清无吗| 欧美乱码精品一区二区三区| 伦理电影免费视频| 精品熟女少妇八av免费久了| 免费观看人在逋| 99热只有精品国产| 成人三级黄色视频| 村上凉子中文字幕在线| 日韩欧美一区视频在线观看| 久久香蕉国产精品| 18美女黄网站色大片免费观看| a在线观看视频网站| 国产麻豆成人av免费视频| 国产精品永久免费网站| 成人18禁在线播放| 国产熟女xx| 亚洲精品中文字幕在线视频| 国产三级在线视频| 国产私拍福利视频在线观看| 国产精品爽爽va在线观看网站 | 777久久人妻少妇嫩草av网站| 国产三级在线视频| 国产精品一区二区三区四区久久 | 国产视频一区二区在线看| 国产精品久久久久久亚洲av鲁大| 19禁男女啪啪无遮挡网站| 国产精品 国内视频| 在线av久久热| 日日爽夜夜爽网站| 少妇 在线观看| 日韩成人在线观看一区二区三区| 91麻豆精品激情在线观看国产| 亚洲无线在线观看| 男人操女人黄网站| 欧美另类亚洲清纯唯美| 国产伦一二天堂av在线观看| 999久久久国产精品视频| 香蕉丝袜av| 免费久久久久久久精品成人欧美视频| 大型黄色视频在线免费观看| av视频在线观看入口| 中文字幕最新亚洲高清| 在线观看www视频免费| 欧美激情高清一区二区三区| 午夜成年电影在线免费观看| 日韩精品青青久久久久久| 一级,二级,三级黄色视频| 免费在线观看日本一区| 男女下面进入的视频免费午夜 | 精品熟女少妇八av免费久了| 在线十欧美十亚洲十日本专区| 国产蜜桃级精品一区二区三区| 久久九九热精品免费| 久久精品亚洲精品国产色婷小说| 亚洲男人天堂网一区| x7x7x7水蜜桃| 在线观看www视频免费| 久久香蕉国产精品| 国内久久婷婷六月综合欲色啪| 久久久久亚洲av毛片大全| 国产精品 国内视频| 久久国产精品人妻蜜桃| 亚洲伊人色综图| 国产亚洲av嫩草精品影院| 91精品国产国语对白视频| 少妇粗大呻吟视频| 久久久久久久久久久久大奶| 亚洲精品av麻豆狂野| 亚洲成人久久性| 最近最新中文字幕大全免费视频| 国产在线精品亚洲第一网站| 国产xxxxx性猛交| 久99久视频精品免费| 日韩精品中文字幕看吧| 久久久久久大精品| 欧美大码av| www.自偷自拍.com| 成人手机av| 亚洲中文日韩欧美视频| 久久中文看片网| 国产亚洲欧美精品永久| 韩国精品一区二区三区| 国产成人影院久久av| 国产免费男女视频| 日本精品一区二区三区蜜桃| www国产在线视频色| 男人舔女人的私密视频| 日韩大码丰满熟妇| 欧美性长视频在线观看| 啦啦啦 在线观看视频| 黄色丝袜av网址大全| 亚洲伊人色综图| 中文字幕另类日韩欧美亚洲嫩草| 亚洲 欧美一区二区三区| 国产亚洲精品第一综合不卡| 老鸭窝网址在线观看| 欧美久久黑人一区二区| 亚洲精品一区av在线观看| 日本 欧美在线| 女人爽到高潮嗷嗷叫在线视频| 国产蜜桃级精品一区二区三区| 久久香蕉激情| 亚洲精品中文字幕在线视频| 久久久久久久精品吃奶| 亚洲国产精品合色在线| 日韩三级视频一区二区三区| 亚洲av电影不卡..在线观看| 色在线成人网| 免费在线观看黄色视频的| 亚洲国产高清在线一区二区三 | 两个人免费观看高清视频| 久99久视频精品免费| 黄网站色视频无遮挡免费观看| 亚洲九九香蕉| 91精品国产国语对白视频| 久久精品aⅴ一区二区三区四区| 久久精品成人免费网站| 欧美精品亚洲一区二区| 精品久久久久久久毛片微露脸| 夜夜躁狠狠躁天天躁| 国产又爽黄色视频| 夜夜夜夜夜久久久久| 午夜两性在线视频| 免费高清视频大片| 淫妇啪啪啪对白视频| 欧美国产精品va在线观看不卡| 中文字幕人妻丝袜一区二区| 黄色a级毛片大全视频| 久久精品国产清高在天天线| 亚洲成国产人片在线观看| 一级a爱视频在线免费观看| 亚洲人成77777在线视频| 亚洲天堂国产精品一区在线| 国产蜜桃级精品一区二区三区| 亚洲人成电影免费在线| 久久久久久免费高清国产稀缺| 久久人妻熟女aⅴ| 久久人妻av系列| 在线观看免费视频网站a站| 99久久国产精品久久久| 精品福利观看| 中亚洲国语对白在线视频| 男男h啪啪无遮挡| 亚洲精品在线观看二区| 真人一进一出gif抽搐免费| 高潮久久久久久久久久久不卡| 男女午夜视频在线观看| 国产国语露脸激情在线看| 丝袜在线中文字幕| 亚洲人成电影观看| 色综合婷婷激情| 久久久久久久午夜电影| 黄片播放在线免费| 亚洲熟妇中文字幕五十中出| 欧美大码av| 男女午夜视频在线观看| aaaaa片日本免费| 999久久久精品免费观看国产| a在线观看视频网站| 两性午夜刺激爽爽歪歪视频在线观看 | 久久久久九九精品影院| 国产成+人综合+亚洲专区| 国产精品,欧美在线| 在线播放国产精品三级| 亚洲国产精品sss在线观看| 两人在一起打扑克的视频| 老司机靠b影院| 亚洲一码二码三码区别大吗| 亚洲av片天天在线观看| 亚洲激情在线av| 可以免费在线观看a视频的电影网站| 精品人妻1区二区| 久9热在线精品视频| 在线观看www视频免费| 国产一区二区三区在线臀色熟女| 欧美大码av| 精品国产一区二区三区四区第35| 欧美色欧美亚洲另类二区 | а√天堂www在线а√下载| 99精品在免费线老司机午夜| 国产蜜桃级精品一区二区三区| 日本在线视频免费播放| 午夜福利一区二区在线看| 波多野结衣一区麻豆| 亚洲av五月六月丁香网| 制服丝袜大香蕉在线| 亚洲自偷自拍图片 自拍| videosex国产| 看黄色毛片网站| 日韩欧美三级三区| 大码成人一级视频| 久久狼人影院| www国产在线视频色| 免费少妇av软件| 最新在线观看一区二区三区| 巨乳人妻的诱惑在线观看| 午夜老司机福利片| 久久人人精品亚洲av| 99香蕉大伊视频| 国产精品综合久久久久久久免费 | 精品日产1卡2卡| 99re在线观看精品视频| 大码成人一级视频| 国产蜜桃级精品一区二区三区| 中出人妻视频一区二区| 一a级毛片在线观看| 国产精品美女特级片免费视频播放器 | 国产一级毛片七仙女欲春2 | 麻豆国产av国片精品| 老司机靠b影院| 亚洲精品久久国产高清桃花| 亚洲精品在线美女| 日本 欧美在线| 一边摸一边做爽爽视频免费| 色精品久久人妻99蜜桃| 亚洲熟女毛片儿| 变态另类丝袜制服| 18美女黄网站色大片免费观看| 嫩草影院精品99| 日本 欧美在线| 久久影院123| 一二三四在线观看免费中文在| 日韩三级视频一区二区三区| 免费不卡黄色视频| 色老头精品视频在线观看| 岛国视频午夜一区免费看| 欧美黄色淫秽网站| 国产精品1区2区在线观看.| 亚洲熟妇中文字幕五十中出| 首页视频小说图片口味搜索| 老汉色∧v一级毛片| 久久中文字幕人妻熟女| 成人三级做爰电影| 亚洲精品国产区一区二| 母亲3免费完整高清在线观看| 人妻丰满熟妇av一区二区三区| 欧美一区二区精品小视频在线| 一夜夜www| 亚洲色图av天堂| 久久久久久久精品吃奶| 亚洲五月色婷婷综合| 中亚洲国语对白在线视频| 欧美成人午夜精品| 一区二区三区精品91| 午夜福利影视在线免费观看| 久久精品国产亚洲av高清一级| 午夜日韩欧美国产| 久久精品亚洲熟妇少妇任你| 国产精品一区二区精品视频观看| 18禁裸乳无遮挡免费网站照片 | 亚洲国产欧美网| 搡老妇女老女人老熟妇| 欧美性长视频在线观看| 日韩高清综合在线| 色播亚洲综合网| 亚洲欧美激情在线| bbb黄色大片| 村上凉子中文字幕在线| 国产精品永久免费网站| АⅤ资源中文在线天堂| 国产亚洲精品av在线| 亚洲欧美一区二区三区黑人| 国产视频一区二区在线看| 一区在线观看完整版| 久久人人97超碰香蕉20202| 亚洲成a人片在线一区二区| 亚洲人与动物交配视频| 精品人妻1区二区| 欧美极品一区二区三区四区| 亚洲av免费在线观看| 精品久久久久久久人妻蜜臀av| 听说在线观看完整版免费高清| 久久久久国产精品人妻aⅴ院| www.www免费av| 色哟哟哟哟哟哟| 热99re8久久精品国产| 18禁黄网站禁片免费观看直播| 尤物成人国产欧美一区二区三区| 免费高清视频大片| av在线亚洲专区| 久久亚洲真实| 悠悠久久av| 亚洲一区高清亚洲精品| 精品一区二区免费观看| 欧美潮喷喷水| 校园人妻丝袜中文字幕| 国产高清不卡午夜福利| 成人性生交大片免费视频hd| 美女免费视频网站| 久久国产精品人妻蜜桃| a级毛片a级免费在线| 久久久久国产精品人妻aⅴ院| 春色校园在线视频观看| 亚洲 国产 在线| 欧美成人免费av一区二区三区| 国产91精品成人一区二区三区| 真人做人爱边吃奶动态| 男女之事视频高清在线观看| 国产亚洲精品久久久久久毛片| 一进一出抽搐动态| 日本色播在线视频| 又黄又爽又刺激的免费视频.| 露出奶头的视频| 欧美激情久久久久久爽电影| 1024手机看黄色片| 国产一区二区三区av在线 | 国产v大片淫在线免费观看| 一进一出好大好爽视频| 午夜视频国产福利| 亚洲国产精品成人综合色| 精品一区二区三区人妻视频| 美女高潮的动态| 久久久久久伊人网av| 国产精品电影一区二区三区| 亚洲七黄色美女视频| 国产视频一区二区在线看| 午夜激情福利司机影院| 国内揄拍国产精品人妻在线| 成人欧美大片| 色播亚洲综合网| 国产高潮美女av| 如何舔出高潮| 久久精品影院6| 一个人看视频在线观看www免费| 亚洲五月天丁香| 国产精品综合久久久久久久免费| 色av中文字幕| 国产一区二区在线av高清观看| 不卡视频在线观看欧美| 午夜精品在线福利| 久久人人精品亚洲av| 国产综合懂色| 免费大片18禁| 精品一区二区三区视频在线观看免费| 久久99热6这里只有精品| 亚洲综合色惰| 中文资源天堂在线| 日韩欧美精品免费久久| 日本五十路高清| 亚洲久久久久久中文字幕| 国产精品一区二区三区四区久久| 国产精品电影一区二区三区| 亚洲av第一区精品v没综合| 欧美最新免费一区二区三区| 国产中年淑女户外野战色| 搡女人真爽免费视频火全软件 | 亚洲一区高清亚洲精品| 日韩欧美三级三区| 免费人成在线观看视频色| 亚洲欧美日韩卡通动漫| 1000部很黄的大片| 最新在线观看一区二区三区| 精品乱码久久久久久99久播| 国产精品电影一区二区三区| 免费人成视频x8x8入口观看| 久久精品91蜜桃| 亚洲一区高清亚洲精品| 婷婷色综合大香蕉| 99精品在免费线老司机午夜| 乱人视频在线观看| 99久久成人亚洲精品观看| 国产精品国产三级国产av玫瑰| 啦啦啦观看免费观看视频高清| 一区二区三区四区激情视频 | 午夜视频国产福利| 观看美女的网站| 免费观看在线日韩| 99热6这里只有精品| 国产免费av片在线观看野外av| 老女人水多毛片| 男女边吃奶边做爰视频| 国产高清不卡午夜福利| 国产精品久久久久久av不卡| 亚洲精品在线观看二区| 亚洲国产精品久久男人天堂| 中文字幕熟女人妻在线| 亚洲经典国产精华液单| xxxwww97欧美| 久久亚洲精品不卡| 亚洲午夜理论影院| 免费人成视频x8x8入口观看| 亚洲精品亚洲一区二区| 国产视频内射| 亚洲国产欧洲综合997久久,| 国产伦一二天堂av在线观看| 久9热在线精品视频| 日韩欧美精品v在线| 精品一区二区三区av网在线观看| 99九九线精品视频在线观看视频| 小说图片视频综合网站| 非洲黑人性xxxx精品又粗又长| 草草在线视频免费看| 啦啦啦韩国在线观看视频| 综合色av麻豆| av天堂中文字幕网| 男人和女人高潮做爰伦理| www日本黄色视频网| 亚洲av中文字字幕乱码综合| 中国美女看黄片| 国产女主播在线喷水免费视频网站 | 嫁个100分男人电影在线观看| 久久人人精品亚洲av| 联通29元200g的流量卡| 91在线精品国自产拍蜜月| 国产乱人视频| 国产又黄又爽又无遮挡在线| 日韩强制内射视频| av.在线天堂| 极品教师在线视频| 免费av毛片视频| 国产精品亚洲美女久久久| 别揉我奶头~嗯~啊~动态视频| 午夜影院日韩av| 99精品在免费线老司机午夜| videossex国产| 国产一区二区三区av在线 | 别揉我奶头~嗯~啊~动态视频| 婷婷六月久久综合丁香| 欧美人与善性xxx| 国产精品一区www在线观看 | 国产精品一区二区免费欧美| 亚洲aⅴ乱码一区二区在线播放| 免费观看在线日韩| 亚洲久久久久久中文字幕| 美女xxoo啪啪120秒动态图| 一个人看视频在线观看www免费| 国产精品一区www在线观看 | 中文字幕免费在线视频6|