• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于神經(jīng)正切核的多核學(xué)習(xí)方法

    2022-01-05 02:31:16許傳海
    計(jì)算機(jī)應(yīng)用 2021年12期
    關(guān)鍵詞:度量復(fù)雜度特征值

    王 梅,許傳海,劉 勇

    (1.東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院,黑龍江大慶 163318;2.黑龍江省石油大數(shù)據(jù)與智能分析重點(diǎn)實(shí)驗(yàn)室(東北石油大學(xué)),黑龍江大慶 163318;3.中國(guó)人民大學(xué)高瓴人工智能學(xué)院,北京 100872;4.大數(shù)據(jù)管理與分析方法研究北京市重點(diǎn)實(shí)驗(yàn)室(中國(guó)人民大學(xué)),北京 100872)

    (?通信作者電子郵箱liuyonggsai@ruc.edu.cn)

    0 引言

    核方法,如支持向量機(jī)(Support Vector Machine,SVM)[1]、最小二乘支持向量機(jī)[2]等,是一類重要的機(jī)器學(xué)習(xí)方法。這些方法隱式地將數(shù)據(jù)點(diǎn)從輸入空間映射到一些特征空間,并在特征空間中學(xué)習(xí)線性學(xué)習(xí)器。隱式特征映射是由核函數(shù)誘導(dǎo)生成,因此核函數(shù)選擇的好壞決定核方法的性能。然而,傳統(tǒng)的核函數(shù)如線性核函數(shù)、多項(xiàng)式核函數(shù)和高斯核函數(shù)等只具有淺層結(jié)構(gòu),表示能力較弱。

    雖然核方法能使線性方法這樣簡(jiǎn)單的算法表現(xiàn)出令人印象深刻的性能,但是它們都是基于單個(gè)核函數(shù)的單核方法,它們?cè)谔幚順颖局邪悩?gòu)信息[3-7]、樣本規(guī)模較大[8-9]、數(shù)據(jù)不規(guī)則或者數(shù)據(jù)分布不平坦[10]時(shí)存在很多的不足。為此,人們提出了多核學(xué)習(xí)方法代替單核方法,不僅能增強(qiáng)決策函數(shù)的可解釋性,還能獲得比單核模型更優(yōu)的性能[11]。

    為了提高多核學(xué)習(xí)方法的精度,一些人開始在規(guī)定的一組連續(xù)參數(shù)化的基本核函數(shù)的凸集中學(xué)習(xí)核問題[12],但大多數(shù)的多核學(xué)習(xí)算法所使用的度量通常是基于半徑邊緣或其他相關(guān)的正則化泛函,通常具有較慢的收斂速度。

    為解決上述問題,本文提出了一種基于神經(jīng)正切核(Neural Tangent Kernel,NTK)的多核學(xué)習(xí)方法。首先,用NTK 替代傳統(tǒng)的核函數(shù)如線性核、高斯核和多項(xiàng)式核等作為多核學(xué)習(xí)方法的基核函數(shù);接著,采用主特征值比例的度量方法證明了一種收斂速度較快的泛化誤差界,相比現(xiàn)有的度量方法,該度量定義在核矩陣上,可以很容易通過訓(xùn)練數(shù)據(jù)進(jìn)行估計(jì);然后將主特征值度量求出的特征值比例與核目標(biāo)對(duì)齊方法相結(jié)合,求出每個(gè)基核函數(shù)的最優(yōu)權(quán)重系數(shù),采用線性合成的方法求出多核決策函數(shù)進(jìn)行問題的求解;最后,在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果表明本文提出的方法有著較好的效果。

    1 相關(guān)工作

    1.1 多核學(xué)習(xí)

    與單核只學(xué)習(xí)單個(gè)核函數(shù)不同的是,多核學(xué)習(xí)遵循不同的方式學(xué)習(xí)一組基本核函數(shù)的組合系數(shù)[13]。但是,如何通過學(xué)習(xí)獲得最優(yōu)的組合系數(shù)是一個(gè)需要解決的難題。針對(duì)這一問題,近年來(lái)學(xué)者們通過理論研究和經(jīng)驗(yàn)證明提出了多種多核學(xué)習(xí)方法。如基于Boosting[14]的多核組合方法,基于半無(wú)限線性規(guī)劃[15]的學(xué)習(xí)方法,以及簡(jiǎn)單多核學(xué)習(xí)[16]方法和基于無(wú)限核[17]的學(xué)習(xí)方法等。在這些多核學(xué)習(xí)框架內(nèi),最終的內(nèi)核函數(shù)通常是有限個(gè)基本核函數(shù)的凸組合,且基核函數(shù)需要進(jìn)行提前設(shè)置。

    在過去的幾年中,人們針對(duì)多核學(xué)習(xí)方法展開了大量的研究,提出了許多有效的算法來(lái)提高學(xué)習(xí)效率和預(yù)測(cè)(分類)的精度。如Alioscha-Perez 等[18]采用隨機(jī)方差縮減梯度方法,避免了大量的矩陣運(yùn)算和內(nèi)存分配,解決了多核學(xué)習(xí)方法無(wú)法擴(kuò)展到大規(guī)模樣本的問題;Wang等[19]基于類內(nèi)散布矩陣的跡,提出了一種名為跡約束多核學(xué)習(xí)的方法,該方法可以在學(xué)習(xí)基核權(quán)重的過程中同時(shí)調(diào)整正則化參數(shù)C,節(jié)省訓(xùn)練時(shí)間;Liu等[20]根據(jù)每個(gè)樣本的觀測(cè)通道對(duì)樣本進(jìn)行分類,提出了一種無(wú)需進(jìn)行任何插補(bǔ)的缺失多核學(xué)習(xí)方法,提高了算法的分類性能。針對(duì)基核函數(shù)的組合策略,王梅等[21]通過求解秩空間差異性對(duì)核函數(shù)進(jìn)行組合;賈涵等[22]采用模糊約束理論求解各核函數(shù)的權(quán)重得到組合核函數(shù);He等[23]通過使用核目標(biāo)對(duì)齊的方法計(jì)算單核的權(quán)重,進(jìn)而構(gòu)造最終的合成核。

    1.2 泛化理論

    基核選擇對(duì)于多核學(xué)習(xí)具有重要影響,它與泛化誤差算法密切相關(guān),一般泛化誤差最小的核被認(rèn)為是最優(yōu)核。近年來(lái),人們利用局部拉德馬赫復(fù)雜度推導(dǎo)出了更緊的泛化界。Koltchinskii 等[24]首次提出局部拉德馬赫復(fù)雜度的概念,利用迭代的方法獲得數(shù)據(jù)相關(guān)的上界。Bartlett等[25]基于局部拉德馬赫復(fù)雜度導(dǎo)出了泛化界,并進(jìn)一步提出了凸函數(shù)在分類和預(yù)測(cè)問題中的一些應(yīng)用?;诰植坷埋R赫復(fù)雜度和積分算子尾部特征值的關(guān)系,Kloft 等[26]導(dǎo)出了多核學(xué)習(xí)的泛化界。然而核函數(shù)積分算子的特征值很難計(jì)算,為此Cortes等[27]利用核矩陣的尾特征值設(shè)計(jì)了新的核學(xué)習(xí)算法。但對(duì)于不同類型的核函數(shù),核特征值的差異可能很大,因此核函數(shù)的尾特征值不能很好地反映不同核函數(shù)的優(yōu)度。對(duì)此,Liu等[28]首先考慮了核函數(shù)的特征值的相對(duì)值,并在文獻(xiàn)[29]中將特征值相對(duì)值的另一度量——主特征值比例應(yīng)用到多核學(xué)習(xí)方法中。

    1.3 神經(jīng)網(wǎng)絡(luò)與核方法

    神經(jīng)網(wǎng)絡(luò)和核方法之間的聯(lián)系在二十幾年前就已經(jīng)開始研究。Williams[30]的早期工作已經(jīng)注意到具有無(wú)限寬度的單隱層的神經(jīng)網(wǎng)絡(luò)和高斯過程之間具有等價(jià)性。Lee 等[31]又將該結(jié)果擴(kuò)展到深度完全連接的神經(jīng)網(wǎng)絡(luò)上,只對(duì)最后一層進(jìn)行訓(xùn)練,其余層都保留初始值。最近Jacot等[32]研究表明過參數(shù)化深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可以用一種名為神經(jīng)切線核的核回歸訓(xùn)練動(dòng)力學(xué)來(lái)進(jìn)行表征。NTK在無(wú)限寬極限下趨于一個(gè)確定的核,而且在梯度下降的訓(xùn)練過程中保持不變。雖然上述理論結(jié)果僅在無(wú)限寬度限制下是精確的,但Lee 等[33]通過實(shí)驗(yàn)發(fā)現(xiàn),即使對(duì)于有限寬度的實(shí)際網(wǎng)絡(luò),原始網(wǎng)絡(luò)的預(yù)測(cè)與線性化版本的預(yù)測(cè)之間也具有很好的一致性。除了在全連接網(wǎng)絡(luò)上,NTK 還被應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)[34]、殘差網(wǎng)絡(luò)[35]和圖神經(jīng)網(wǎng)絡(luò)[36]等多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。此外,Li 等[37]從經(jīng)驗(yàn)上表明,使用NTK 進(jìn)行分類可以獲得具有相應(yīng)結(jié)構(gòu)的深層神經(jīng)網(wǎng)絡(luò)的性能。最近的工作還比較了NTK 與普通核函數(shù)的性能,Arora等[38]通過實(shí)驗(yàn)表明NTK優(yōu)于高斯核和低次多項(xiàng)式核。

    2 本文方法

    下面將簡(jiǎn)要介紹NTK、主特征值比例和核對(duì)齊等概念,然后對(duì)本文提出的基于NTK 的多核學(xué)習(xí)方法(Neural Tangent Kernel-Multi-Kernel Learning,NTK-MKL)進(jìn)行闡述。

    2.1 符號(hào)定義

    令k:X×X→R 表示d維輸入空間X∈Rd中的核函數(shù),它對(duì)應(yīng)于再生核希爾伯特空間H中輸入向量的點(diǎn)積。也就是,存在映射函數(shù)φ將輸入數(shù)據(jù)從輸入空間X映射到核空間H中,使得k(xi,xj)=φ(xi)?φ(xj),其中xi,xj∈X。

    泛化誤差(風(fēng)險(xiǎn))R(f)是度量算法性能的常用評(píng)價(jià)準(zhǔn)則:

    其中?(f(x),y):Y×Y→[0,B]為損失函數(shù),B為常數(shù)。在本文中,對(duì)于分類? 是鉸鏈損失:?(t,y)=max(0,1-yt)。由于概率分布P是未知的,那么R(f)就不能被明確地計(jì)算出來(lái),因此使用它的經(jīng)驗(yàn)分布:

    2.2 核方法與多核學(xué)習(xí)

    支持向量機(jī)(SVM)是一種比較常用的核方法。假設(shè)在二分類問題中,SVM 的目的是在特征空間中找到一個(gè)能以最小錯(cuò)誤率將數(shù)據(jù)分開的分類超平面vTφ(x) +b=0,其中v是超平面的法向量,b為偏置。超平面的獲得可通過求解以下優(yōu)化問題解決:

    其中:ξ=(ξ1,ξ2,…,ξn)T是松弛變量的向量形式;C是權(quán)衡訓(xùn)練誤差和泛化之間的正則化參數(shù)。假設(shè)αi是式(3)中第i個(gè)不等式對(duì)應(yīng)的拉格朗日乘子,那么式(3)的對(duì)偶問題可以寫成:

    對(duì)式(4)進(jìn)行求解后,SVM的決策函數(shù)可以寫成:

    其中樣本xi是具有拉格朗日乘子ai>0的支持向量。

    與用一個(gè)固定的核進(jìn)行學(xué)習(xí)不同的是,多核學(xué)習(xí)通常組合不同的基核函數(shù)來(lái)獲得更好的映射性能,其采用φ(?)=的形式進(jìn)行映射,且這些基核可以由不同類型的核函數(shù)或具有不同核參數(shù)的核構(gòu)建。本文采用線性組合合成方法對(duì)多個(gè)基核函數(shù)進(jìn)行凸組合,則最終的組合核函數(shù)Kd可表示為:

    2.3 神經(jīng)正切核

    首先定義一個(gè)含L個(gè)隱層的全連接神經(jīng)網(wǎng)絡(luò),其中第0層為輸入層,第L層為輸出層。讓x∈Rd表示為輸入數(shù)據(jù),則,那么L隱層的全連接神經(jīng)網(wǎng)絡(luò)可以被遞歸定義為:

    其中:h=1,2,…,L;表示為第h層的權(quán)重矩陣,dh為隱層的寬度;σ:R →R 是激活函數(shù);cσ是縮放因子。本文中,對(duì)于全連接神經(jīng)網(wǎng)絡(luò),將σ設(shè)置為ReLU激活函數(shù),對(duì)于NTK 考慮其為具有ReLU 激活函數(shù)的全連接神經(jīng)網(wǎng)絡(luò)所誘導(dǎo)出的核函數(shù)。神經(jīng)網(wǎng)絡(luò)的最后一層被表示為:

    給定n個(gè)數(shù)據(jù)點(diǎn),y′=,則神經(jīng)網(wǎng)絡(luò)的輸出函數(shù)可以表示為:

    在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中,使用無(wú)窮小學(xué)習(xí)速率的梯度下降最小化目標(biāo)的平方損失來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)w。對(duì)于時(shí)間t≥0 時(shí),可以將網(wǎng)絡(luò)參數(shù)w視為在優(yōu)化過程中出現(xiàn)的隨時(shí)間變化的連續(xù)變量wt。

    當(dāng)隱層寬度趨于無(wú)限寬限制時(shí),即d1,d2,…,dL→∞,文獻(xiàn)[32]證明了wt在優(yōu)化過程中保持恒定等于w0,即NTK 核在無(wú)限寬限制下不隨時(shí)間變化。此外,該文獻(xiàn)中還證明了在一定的隨機(jī)初始化和無(wú)限寬限制下,NTK 核概率收斂到一個(gè)確定的極限核,這意味著在某些初始化下對(duì)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)與使用NTK 核進(jìn)行的核回歸之間是等價(jià)的。NTK 核的極限梯度核形式可以寫為:

    由式(11)可知NTK 核相當(dāng)于一個(gè)具有多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),相對(duì)于一般多核學(xué)習(xí)方法使用淺層結(jié)構(gòu)的基核函數(shù),NTK 對(duì)于復(fù)雜數(shù)據(jù)有著更好的表示能力,且最近的實(shí)驗(yàn)工作表明,使用NTK 核的核方法的性能與具有相似網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)性能相似,某些情況下甚至更好,所以本文采用NTK核作為多核學(xué)習(xí)方法的基核函數(shù)。

    2.4 核對(duì)齊

    核對(duì)齊是由Cristianini等[39]引入的一種核度量標(biāo)準(zhǔn),它定義了理想核函數(shù),主要度量目標(biāo)核函數(shù)與理想核函數(shù)之間的相似性,兩者的對(duì)齊值越大,分類器在特征空間中泛化能力越強(qiáng)。

    定義1核對(duì)齊。設(shè)K1和K2是兩個(gè)來(lái)自數(shù)據(jù)集S={(x1,y1),(x2,y2),…,(xm,ym)}上的核k1和k2所導(dǎo)出的核矩陣,那么這兩個(gè)核之間的核對(duì)齊定義為:

    當(dāng)K2為從標(biāo)簽y(x)中導(dǎo)出時(shí),式(12)轉(zhuǎn)換為:

    其中:K為核函數(shù)k對(duì)應(yīng)的Gram 矩陣;y=(y1,y2,…,ym)T,yyT為理想核矩陣。

    從式(13)可知,其值越大,目標(biāo)核矩陣與理想核矩陣之間的距離越小,目標(biāo)核函數(shù)對(duì)樣本數(shù)據(jù)的特征選擇和表示能力就越好,可以很好地度量核函數(shù)k的性能,所以本文采用核對(duì)齊方法對(duì)基核函數(shù)進(jìn)行度量,計(jì)算對(duì)應(yīng)基核函數(shù)的權(quán)重參數(shù)。

    2.5 主特征值比例

    定義2主特征值比例。設(shè)K是一個(gè)核函數(shù),K=是它的核矩陣。那么K的主特征值比例被定義為:

    其中:t∈{1,2,…,n-1};λi(K)是矩陣K降序排列的第i個(gè)特征值;tr(K)是矩陣K的跡。

    定理1假設(shè)?是一個(gè)L-Lipschitz損失函數(shù),?K∈КNTK有:

    其中:ΦK(x)是關(guān)于NTK 核的特征映射函數(shù),КNTK是一組有限的NTK 核函數(shù),概率為1-δ,那么當(dāng)?k≥1 且時(shí),下面的不等式成立,

    其中:c3=40Δ2L2k,c4=。

    證明 該定理是基于前期工作導(dǎo)出的,首先基于局部拉德馬赫復(fù)雜度證明了NTK 核再生希爾伯特空間關(guān)于主特征值的界。然后根據(jù)文獻(xiàn)[40]定理4.1的不等式

    導(dǎo)出了關(guān)于泛化誤差R(f)和經(jīng)驗(yàn)誤差的不等式。上式中f為一類范圍在[-1,1]中的函數(shù),B為常數(shù)為子根函數(shù)(sub-root function)的定點(diǎn)。最后,估計(jì)了,并給出了的范圍,完成了定理的證明。具體的證明過程可以參考文獻(xiàn)[29]的定理2。與之不同的是,本文把以前的傳統(tǒng)核換成了NTK核,當(dāng)令k=log(n)時(shí),的收斂速率為:

    當(dāng)n較大時(shí),可以知道,所以R(f) -??梢钥吹?,對(duì)于任意的t,的值越大,其泛化界就越緊,導(dǎo)出的界也就越好。

    2.6 基于NTK的多核學(xué)習(xí)算法

    其中:λ為正則化參數(shù),分別表示為第i個(gè)基核函數(shù)的主特征值比例和核對(duì)齊值。將上式進(jìn)行歸一化得到:

    式(16)即為最終的基核函數(shù)的權(quán)重系數(shù)。那么式(6)可以改寫為:

    參考式(7),最終基于SVM 的多核學(xué)習(xí)方法求解優(yōu)化問題后,得到的決策函數(shù)可表示為:

    綜上所述,本文基于NTK 核提出了一種名為NTK-MKL的多核學(xué)習(xí)算法,將傳統(tǒng)的單層次的基核函數(shù)改為具有深層結(jié)構(gòu)的NTK 核,將核對(duì)齊方法和主特征值比例結(jié)合來(lái)求取基核函數(shù)的權(quán)重參數(shù),最后以線性加權(quán)組合的方式來(lái)構(gòu)造多核函數(shù)進(jìn)行問題的求解,算法的具體流程如算法1所示。

    算法1 NTK-MKL。

    3)基于步驟1)、2)根據(jù)式(16)求得基核函數(shù)權(quán)重參數(shù)αi;

    4)將αi根據(jù)式(16)進(jìn)行歸一化得到最終的權(quán)重參數(shù);

    6)將Kd代入多核SVM 中求解優(yōu)化問題,求出決策函數(shù)f(x)。

    2.7 時(shí)間復(fù)雜度分析

    假設(shè)數(shù)據(jù)集的規(guī)模為n,基核函數(shù)個(gè)數(shù)為m,特征值個(gè)數(shù)為t,輸入數(shù)據(jù)的維度為d,則計(jì)算基核函數(shù)的主特征值比例的時(shí)間復(fù)雜度為O(tn2),計(jì)算基核函數(shù)的相似性度量的時(shí)間復(fù)雜度為O(n2),計(jì)算具有L個(gè)隱層全連接神經(jīng)網(wǎng)絡(luò)的NTK 的時(shí)間復(fù)雜度為O(n2(d+L)),應(yīng)用梯度下降法求解優(yōu)化問題的時(shí)間復(fù)雜度為O(n2)。由此可知,本文提出的NTK-MKL 算法的時(shí)間復(fù)雜度為O(tmn2)+O(mn2)+O(n2)+O(mn2(d+L))。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 數(shù)據(jù)集

    本文采用6 個(gè)UCI 數(shù)據(jù)集來(lái)驗(yàn)證所提算法的性能,其中包括汽車評(píng)估數(shù)據(jù)集(car)、避孕方法選擇數(shù)據(jù)集(cmc)、紅酒質(zhì)量數(shù)據(jù)集(red-wine)、苗圃數(shù)據(jù)集(nursery)、網(wǎng)上購(gòu)物者購(gòu)買意圖數(shù)據(jù)集(shoppers)和阿維拉(avila)數(shù)據(jù)集,數(shù)據(jù)集的詳細(xì)信息如表1所示。

    表1 UCI數(shù)據(jù)集信息Tab.1 UCI dataset information

    雖然UCI 數(shù)據(jù)集是標(biāo)準(zhǔn)數(shù)據(jù)集,但其官網(wǎng)提供的原始數(shù)據(jù)中還是會(huì)出現(xiàn)一些格式的問題,不能直接用于程序的計(jì)算,需要對(duì)其進(jìn)行相應(yīng)的處理。如avila 數(shù)據(jù)集標(biāo)簽屬性的值為A-I和W-Y 共計(jì)12類,為方便進(jìn)行分類任務(wù),需將連續(xù)數(shù)值離散化,本文根據(jù)不同類別所占的數(shù)據(jù)規(guī)模,將數(shù)據(jù)分為三類,其中A 和B-F各為一類,G-I與W-Y 合成為一類,分別用0、1、2表示。還有一些數(shù)據(jù)集中存在一些字符型離散型數(shù)據(jù),需要將其根據(jù)某種規(guī)則轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。如car 數(shù)據(jù)集中的low、med、high和vhigh等屬性值,本文在[-1,1]區(qū)間內(nèi)平均取n個(gè)實(shí)數(shù)進(jìn)行替換,n為字符型屬性個(gè)數(shù),那么low、med、high和vhigh根據(jù)規(guī)則被轉(zhuǎn)換為-1、-0.5、0.5和1。

    3.2 實(shí)驗(yàn)方法與結(jié)果分析

    本節(jié)將通過2 類實(shí)驗(yàn)來(lái)驗(yàn)證本文提出的多核學(xué)習(xí)方法的有效性和可行性。實(shí)驗(yàn)1 為NTK 與傳統(tǒng)的核函數(shù)的對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)2 為在本文提出的多核學(xué)習(xí)方法上分別使用傳統(tǒng)核和NTK 與其他分類算法的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)采用準(zhǔn)確率(accuracy)、召回率(recall)和精確率(precision)三個(gè)指標(biāo)來(lái)對(duì)多核學(xué)習(xí)算法的性能進(jìn)行評(píng)價(jià),其中召回率和精確率為宏召回率和宏精確率。所有實(shí)驗(yàn)均隨機(jī)選取70%數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),30%作為測(cè)試數(shù)據(jù)。

    3.2.1 單核對(duì)比實(shí)驗(yàn)及結(jié)果

    首先利用Google 開發(fā)的NEURAL TANGENTS 軟件包來(lái)隨機(jī)初始化3 個(gè)NTK 函數(shù),分別用ntk1、ntk2和ntk3表示,隨機(jī)數(shù)的范圍為{0,1,2}。每個(gè)ntk的網(wǎng)絡(luò)結(jié)構(gòu)均為3層,第0層為輸入層,第3 層為輸出層,激活函數(shù)為ReLU,第一層的神經(jīng)元數(shù)均為2 048;第二層的神經(jīng)元數(shù)均為2。然后將3 個(gè)NTK 函數(shù)與高斯核函數(shù)和多項(xiàng)式核函數(shù)應(yīng)用到支持向量模型,在car數(shù)據(jù)集和shoppers 數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),其中高斯核函數(shù)的參數(shù)為0.1,多項(xiàng)式核函數(shù)的參數(shù)為3,car 數(shù)據(jù)集和shoppers 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果如表2。由表2 可以看出,NTK 的準(zhǔn)確率在兩個(gè)數(shù)據(jù)集上均高于傳統(tǒng)的核函數(shù),說(shuō)明NTK 相較于傳統(tǒng)的核函數(shù)有著更好的效果。除此之外,在表2 中傳統(tǒng)核雖然有著不錯(cuò)的準(zhǔn)確率,但精確率和召回率相對(duì)較低,也就是說(shuō)傳統(tǒng)核在進(jìn)行多分類時(shí)對(duì)數(shù)據(jù)規(guī)模較大的類別識(shí)別效果較好,但對(duì)于規(guī)模較小的類識(shí)別效果較差。由此,也可看出NTK 相較于傳統(tǒng)的核函數(shù),在數(shù)據(jù)集較大且數(shù)據(jù)分布不均衡時(shí)有著更好的表示能力。

    表2 car數(shù)據(jù)集和shoppers數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 單位:%Tab.2 Experimental results on car dataset and shoppers dataset unit:%

    3.2.2 分類算法對(duì)比實(shí)驗(yàn)及結(jié)果

    首先采用與上一節(jié)相同的方法來(lái)完成NTK 的初始化,然后對(duì)傳統(tǒng)核和NTK 采用2.6 節(jié)所描述的算法,在cmc、redwine、nursery、shoppers 和avila 數(shù)據(jù)集上與Adaboost 算法和K近鄰(K-Nearest Neighbor,KNN)算法進(jìn)行對(duì)比。其中Adaboost 算法的最大迭代次數(shù)(n_estimators)設(shè)置為50,學(xué)習(xí)率(learning_rate)設(shè)置為1;KNN 算法的k值設(shè)置為5,近鄰樣本的權(quán)重(weights)設(shè)置為uniform。分類算法在數(shù)據(jù)集上的準(zhǔn)確率結(jié)果如表3 所示,其中:MKL(r+p)表示使用高斯核和多項(xiàng)式核采用本文所提算法進(jìn)行組合計(jì)算,NTK-MKL 表示使用ntk2和ntk3使用本文算法組合計(jì)算。由表3 可以看出,MKL(r+p)和NTK-MKL 的效果在所有數(shù)據(jù)集上都比Adaboost和KNN 算法要好,說(shuō)明本文的NTK-MKL 算法是有效且可行的。除此之外,在nursery、shoppers 和avila 等規(guī)模較大的數(shù)據(jù)集上NTK-MKL 效果要好于MKL(r+p),說(shuō)明NTK 核相較于傳統(tǒng)的核函數(shù)在處理較大規(guī)模的數(shù)據(jù)時(shí)具有更好的表示能力。

    表3 分類算法對(duì)比實(shí)驗(yàn)結(jié)果 單位:%Tab.3 Experimental results comparison of classification algorithms unit:%

    4 結(jié)語(yǔ)

    本文基于主特征值比例和目標(biāo)核對(duì)齊度量,提出了一種新的多核學(xué)習(xí)算法NTK-MKL。該算法首先使用NTK 作為多核學(xué)習(xí)的基核函數(shù),然后將主特征值比例和核對(duì)齊相結(jié)合作為基核函數(shù)的度量準(zhǔn)則,求出每個(gè)基核函數(shù)的權(quán)值比例,根據(jù)權(quán)值比例將基核函數(shù)進(jìn)行線性加權(quán)組合,基于SVM 形成多核學(xué)習(xí)分類器,完成分類任務(wù)。相較于傳統(tǒng)的多核學(xué)習(xí)方法,NTK-MKL 擁有更好的表示能力和更快收斂速率的泛化誤差界。實(shí)驗(yàn)結(jié)果表明,本文提出的多核學(xué)習(xí)方法在多個(gè)數(shù)據(jù)集上的學(xué)習(xí)結(jié)果較佳。由于NTK 核具有多層結(jié)構(gòu),在對(duì)其進(jìn)行計(jì)算時(shí)需要消耗較多的時(shí)間,如何減少計(jì)算時(shí)間將是下一步需要解決的問題。

    猜你喜歡
    度量復(fù)雜度特征值
    有趣的度量
    模糊度量空間的強(qiáng)嵌入
    一類帶強(qiáng)制位勢(shì)的p-Laplace特征值問題
    單圈圖關(guān)聯(lián)矩陣的特征值
    迷向表示分為6個(gè)不可約直和的旗流形上不變愛因斯坦度量
    一種低復(fù)雜度的慣性/GNSS矢量深組合方法
    求圖上廣探樹的時(shí)間復(fù)雜度
    地質(zhì)異常的奇異性度量與隱伏源致礦異常識(shí)別
    某雷達(dá)導(dǎo)51 頭中心控制軟件圈復(fù)雜度分析與改進(jìn)
    基于商奇異值分解的一類二次特征值反問題
    av片东京热男人的天堂| 成年av动漫网址| 亚洲精品一二三| 久久人妻熟女aⅴ| 少妇人妻 视频| 美女xxoo啪啪120秒动态图| 大香蕉97超碰在线| 久久久a久久爽久久v久久| 大香蕉久久网| 精品一区二区三区四区五区乱码 | 亚洲成人一二三区av| h视频一区二区三区| 国产男女超爽视频在线观看| 久久久久久伊人网av| 91在线精品国自产拍蜜月| 麻豆精品久久久久久蜜桃| 精品一品国产午夜福利视频| 日韩人妻精品一区2区三区| 各种免费的搞黄视频| av卡一久久| 亚洲国产欧美日韩在线播放| 国产在线视频一区二区| 日韩中字成人| 亚洲欧美日韩卡通动漫| 内地一区二区视频在线| 99视频精品全部免费 在线| 视频区图区小说| av在线播放精品| 亚洲精品中文字幕在线视频| 大香蕉久久网| 日日撸夜夜添| www日本在线高清视频| 97在线人人人人妻| 老司机影院毛片| 日韩精品有码人妻一区| 久久精品国产综合久久久 | 日韩中文字幕视频在线看片| a级毛片黄视频| 日本欧美视频一区| 美女大奶头黄色视频| 久久久国产一区二区| 国产老妇伦熟女老妇高清| 一个人免费看片子| av网站免费在线观看视频| 成人国语在线视频| a级毛片黄视频| 精品视频人人做人人爽| 亚洲av欧美aⅴ国产| 九色成人免费人妻av| 成年人午夜在线观看视频| 国产xxxxx性猛交| 欧美日韩一区二区视频在线观看视频在线| 亚洲综合色惰| 国产精品一区www在线观看| 日韩电影二区| 亚洲av日韩在线播放| 国产成人精品婷婷| 国产精品99久久99久久久不卡 | 男女午夜视频在线观看 | 亚洲人与动物交配视频| 精品一品国产午夜福利视频| 成人手机av| 成人漫画全彩无遮挡| 久久99热6这里只有精品| 欧美激情 高清一区二区三区| 大香蕉久久成人网| 啦啦啦视频在线资源免费观看| 如何舔出高潮| 国产精品久久久久久久电影| 18禁裸乳无遮挡动漫免费视频| 亚洲综合精品二区| 久久精品aⅴ一区二区三区四区 | 捣出白浆h1v1| 亚洲经典国产精华液单| 制服丝袜香蕉在线| 亚洲激情五月婷婷啪啪| 人人澡人人妻人| 亚洲精品中文字幕在线视频| 大陆偷拍与自拍| av片东京热男人的天堂| 亚洲欧美一区二区三区国产| 亚洲精品美女久久久久99蜜臀 | 久久久a久久爽久久v久久| 欧美激情 高清一区二区三区| 一级,二级,三级黄色视频| 激情五月婷婷亚洲| 亚洲国产欧美日韩在线播放| 亚洲人成77777在线视频| 久久久久久伊人网av| 99久久精品国产国产毛片| 国产高清三级在线| 视频在线观看一区二区三区| 久久青草综合色| 亚洲国产成人一精品久久久| 大话2 男鬼变身卡| 亚洲av电影在线观看一区二区三区| 青春草国产在线视频| 久久久久久久久久成人| 极品人妻少妇av视频| av卡一久久| 精品亚洲成国产av| 亚洲精品乱码久久久久久按摩| 制服人妻中文乱码| 欧美亚洲日本最大视频资源| 黑丝袜美女国产一区| 十分钟在线观看高清视频www| 最近手机中文字幕大全| 亚洲人成网站在线观看播放| 欧美bdsm另类| 国产老妇伦熟女老妇高清| 午夜视频国产福利| 成人手机av| 国产1区2区3区精品| 亚洲精品一区蜜桃| 国产精品 国内视频| 亚洲精品国产色婷婷电影| 国产无遮挡羞羞视频在线观看| 大香蕉久久网| 一级a做视频免费观看| 国产精品国产三级国产专区5o| 亚洲性久久影院| 国产一区二区在线观看日韩| 一区二区三区乱码不卡18| 国产xxxxx性猛交| 1024视频免费在线观看| 国产1区2区3区精品| 91成人精品电影| 欧美精品一区二区大全| 免费av中文字幕在线| 久久99热6这里只有精品| 黄色一级大片看看| 亚洲一级一片aⅴ在线观看| www日本在线高清视频| 午夜视频国产福利| 日韩精品有码人妻一区| 亚洲欧美一区二区三区国产| 亚洲中文av在线| 亚洲成国产人片在线观看| 国内精品宾馆在线| 国产在线视频一区二区| 2018国产大陆天天弄谢| 久热久热在线精品观看| 久久国产精品大桥未久av| 精品久久蜜臀av无| 超碰97精品在线观看| 久久精品人人爽人人爽视色| 丰满乱子伦码专区| 老熟女久久久| 精品熟女少妇av免费看| 两个人看的免费小视频| 18禁动态无遮挡网站| 人体艺术视频欧美日本| 国产精品女同一区二区软件| 久久人人97超碰香蕉20202| 亚洲欧美精品自产自拍| 久久久久久久精品精品| 天天影视国产精品| 国产精品一国产av| 国内精品宾馆在线| 欧美日本中文国产一区发布| 欧美精品国产亚洲| 中文字幕免费在线视频6| 一级毛片黄色毛片免费观看视频| 亚洲情色 制服丝袜| 内地一区二区视频在线| 亚洲精品视频女| 日本爱情动作片www.在线观看| 亚洲av在线观看美女高潮| 在线看a的网站| 美女xxoo啪啪120秒动态图| 久久精品国产鲁丝片午夜精品| 国产成人精品无人区| 久久久久人妻精品一区果冻| 老熟女久久久| 国产黄频视频在线观看| 国产亚洲精品久久久com| 久久亚洲国产成人精品v| 99热国产这里只有精品6| 欧美 亚洲 国产 日韩一| 午夜免费男女啪啪视频观看| 亚洲国产精品专区欧美| 青春草国产在线视频| 波野结衣二区三区在线| 国产片内射在线| 免费黄网站久久成人精品| 亚洲一码二码三码区别大吗| 卡戴珊不雅视频在线播放| 久久狼人影院| 日韩制服骚丝袜av| 免费黄色在线免费观看| 免费观看av网站的网址| 免费观看性生交大片5| 菩萨蛮人人尽说江南好唐韦庄| 天美传媒精品一区二区| 午夜福利视频在线观看免费| 交换朋友夫妻互换小说| 亚洲色图综合在线观看| 两个人免费观看高清视频| 波多野结衣一区麻豆| 中文字幕精品免费在线观看视频 | 免费观看无遮挡的男女| 久久这里有精品视频免费| 69精品国产乱码久久久| 国产精品熟女久久久久浪| 欧美激情 高清一区二区三区| 国产成人91sexporn| 久久人人爽人人片av| 波野结衣二区三区在线| 天美传媒精品一区二区| 久久毛片免费看一区二区三区| 搡女人真爽免费视频火全软件| 国产成人aa在线观看| 成人免费观看视频高清| 久久影院123| 十八禁高潮呻吟视频| 亚洲精品自拍成人| 欧美人与性动交α欧美软件 | 最后的刺客免费高清国语| 国产成人午夜福利电影在线观看| 精品久久久久久电影网| 女的被弄到高潮叫床怎么办| 日产精品乱码卡一卡2卡三| 丰满少妇做爰视频| 十八禁网站网址无遮挡| 自拍欧美九色日韩亚洲蝌蚪91| 婷婷色av中文字幕| 亚洲av国产av综合av卡| 美女国产高潮福利片在线看| 老司机影院毛片| 亚洲av电影在线观看一区二区三区| av在线app专区| 免费高清在线观看视频在线观看| 亚洲国产精品成人久久小说| 成人亚洲欧美一区二区av| 成人18禁高潮啪啪吃奶动态图| 久久97久久精品| 国产xxxxx性猛交| av福利片在线| 99热这里只有是精品在线观看| 全区人妻精品视频| 亚洲成人手机| 久久久久精品人妻al黑| 成人18禁高潮啪啪吃奶动态图| 一个人免费看片子| 看非洲黑人一级黄片| 九色亚洲精品在线播放| 亚洲国产精品一区二区三区在线| 一区二区三区乱码不卡18| 欧美+日韩+精品| 五月玫瑰六月丁香| 高清在线视频一区二区三区| 日韩伦理黄色片| 亚洲欧美一区二区三区国产| 久久99一区二区三区| 亚洲精品av麻豆狂野| 秋霞伦理黄片| 日韩中文字幕视频在线看片| 天天躁夜夜躁狠狠躁躁| 国产精品无大码| 下体分泌物呈黄色| 欧美日韩一区二区视频在线观看视频在线| 大片免费播放器 马上看| 日韩成人伦理影院| 男女边吃奶边做爰视频| 国产精品久久久av美女十八| 国产国语露脸激情在线看| 99热全是精品| 日韩av不卡免费在线播放| 国产在视频线精品| 亚洲av电影在线进入| 9色porny在线观看| 国产午夜精品一二区理论片| 大片电影免费在线观看免费| 国产高清三级在线| 我的女老师完整版在线观看| 自线自在国产av| 大香蕉久久成人网| 九色亚洲精品在线播放| 欧美精品一区二区大全| 精品久久久精品久久久| 免费高清在线观看日韩| 高清不卡的av网站| 成年人免费黄色播放视频| 多毛熟女@视频| 国产色爽女视频免费观看| 欧美bdsm另类| 亚洲国产欧美日韩在线播放| 国产精品一国产av| 欧美丝袜亚洲另类| 亚洲精品久久久久久婷婷小说| 亚洲精品日本国产第一区| 久久国产精品大桥未久av| 最近中文字幕高清免费大全6| 国产av一区二区精品久久| 国产精品国产三级国产av玫瑰| 狠狠精品人妻久久久久久综合| 丝袜人妻中文字幕| 亚洲精品成人av观看孕妇| 亚洲欧美精品自产自拍| 大香蕉97超碰在线| 老司机影院毛片| 高清不卡的av网站| 国产欧美亚洲国产| 亚洲,一卡二卡三卡| 亚洲精华国产精华液的使用体验| 免费av中文字幕在线| 日本欧美视频一区| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲少妇的诱惑av| 日韩制服骚丝袜av| 国产乱人偷精品视频| 观看av在线不卡| 亚洲欧美日韩另类电影网站| a级毛片在线看网站| 99久久精品国产国产毛片| 亚洲人成77777在线视频| 亚洲色图综合在线观看| 大香蕉久久网| 男男h啪啪无遮挡| 亚洲国产日韩一区二区| 久久综合国产亚洲精品| 尾随美女入室| 亚洲精品国产色婷婷电影| 免费人成在线观看视频色| 免费不卡的大黄色大毛片视频在线观看| 自线自在国产av| 婷婷色综合大香蕉| 国产一级毛片在线| 久久99蜜桃精品久久| 熟女人妻精品中文字幕| 国产永久视频网站| 欧美xxxx性猛交bbbb| 国产免费一级a男人的天堂| 我要看黄色一级片免费的| 亚洲成色77777| 久久 成人 亚洲| 亚洲久久久国产精品| 亚洲欧洲精品一区二区精品久久久 | 精品国产乱码久久久久久小说| 美女国产高潮福利片在线看| 国产成人一区二区在线| 桃花免费在线播放| 99热全是精品| 日韩一本色道免费dvd| 国产精品久久久久久精品电影小说| 香蕉丝袜av| 欧美日韩国产mv在线观看视频| 黄色一级大片看看| 中文字幕av电影在线播放| 亚洲精品美女久久av网站| 伦理电影免费视频| 久久av网站| 精品第一国产精品| 亚洲精品美女久久久久99蜜臀 | 香蕉丝袜av| 精品国产国语对白av| 成人亚洲精品一区在线观看| 午夜91福利影院| 成人免费观看视频高清| 久久国产亚洲av麻豆专区| 亚洲精品美女久久久久99蜜臀 | 久久人妻熟女aⅴ| 又黄又粗又硬又大视频| 永久网站在线| 欧美日韩av久久| 欧美精品人与动牲交sv欧美| 51国产日韩欧美| 男女啪啪激烈高潮av片| 人妻系列 视频| 欧美日韩成人在线一区二区| 欧美亚洲日本最大视频资源| 久久精品久久久久久噜噜老黄| 在线亚洲精品国产二区图片欧美| 欧美日韩精品成人综合77777| 如何舔出高潮| 亚洲国产av新网站| 国产高清三级在线| 免费久久久久久久精品成人欧美视频 | 大陆偷拍与自拍| 亚洲国产最新在线播放| 永久网站在线| 日韩 亚洲 欧美在线| 亚洲激情五月婷婷啪啪| 在线观看www视频免费| 黄片无遮挡物在线观看| 香蕉精品网在线| 免费观看a级毛片全部| 香蕉精品网在线| 国产一区二区在线观看日韩| 亚洲精品一区蜜桃| 国产一区亚洲一区在线观看| 日韩视频在线欧美| 国产视频首页在线观看| 伦理电影免费视频| 天天影视国产精品| 免费av中文字幕在线| 久久毛片免费看一区二区三区| 丰满乱子伦码专区| 亚洲,欧美精品.| 免费大片18禁| 久久鲁丝午夜福利片| 久久国产亚洲av麻豆专区| 国产成人精品在线电影| 欧美 亚洲 国产 日韩一| 国产免费一级a男人的天堂| 9热在线视频观看99| 母亲3免费完整高清在线观看 | 欧美xxxx性猛交bbbb| 国产黄色免费在线视频| 丝袜在线中文字幕| 亚洲欧美成人综合另类久久久| 精品亚洲乱码少妇综合久久| 日韩三级伦理在线观看| 80岁老熟妇乱子伦牲交| 天堂8中文在线网| 亚洲在久久综合| 久久99热这里只频精品6学生| 五月开心婷婷网| 男男h啪啪无遮挡| 九九在线视频观看精品| 国产精品一区www在线观看| 国产黄色免费在线视频| 欧美 日韩 精品 国产| 看非洲黑人一级黄片| 久久精品国产鲁丝片午夜精品| 亚洲精品乱久久久久久| av视频免费观看在线观看| 黑人欧美特级aaaaaa片| 国产成人精品福利久久| av电影中文网址| 国产成人精品无人区| 亚洲精品第二区| 亚洲色图 男人天堂 中文字幕 | 欧美精品一区二区免费开放| 男人舔女人的私密视频| 日韩三级伦理在线观看| 80岁老熟妇乱子伦牲交| 青青草视频在线视频观看| 亚洲中文av在线| 午夜福利影视在线免费观看| 一级,二级,三级黄色视频| 国产69精品久久久久777片| 亚洲天堂av无毛| 亚洲精品一区蜜桃| 九色成人免费人妻av| 欧美激情 高清一区二区三区| av国产精品久久久久影院| 国产高清不卡午夜福利| 欧美国产精品va在线观看不卡| 久久久亚洲精品成人影院| 另类精品久久| 免费播放大片免费观看视频在线观看| 精品亚洲成a人片在线观看| xxx大片免费视频| av视频免费观看在线观看| 青青草视频在线视频观看| 国产免费现黄频在线看| 成年人午夜在线观看视频| av在线观看视频网站免费| 中文字幕免费在线视频6| 亚洲精品乱久久久久久| 国产精品国产av在线观看| 黄片播放在线免费| 国产高清不卡午夜福利| 秋霞伦理黄片| 制服人妻中文乱码| 90打野战视频偷拍视频| 美女国产高潮福利片在线看| 国产精品国产三级专区第一集| 999精品在线视频| 美女国产视频在线观看| 久久久精品免费免费高清| 校园人妻丝袜中文字幕| 国产免费现黄频在线看| 中文乱码字字幕精品一区二区三区| 欧美日韩成人在线一区二区| av线在线观看网站| 国产亚洲午夜精品一区二区久久| 欧美日本中文国产一区发布| 国产精品久久久久成人av| 国产精品 国内视频| 侵犯人妻中文字幕一二三四区| 黄片无遮挡物在线观看| 精品亚洲成a人片在线观看| av又黄又爽大尺度在线免费看| 人妻 亚洲 视频| 亚洲色图综合在线观看| 国产成人精品久久久久久| 久久99热6这里只有精品| 国产麻豆69| 久久婷婷青草| 国精品久久久久久国模美| 天堂中文最新版在线下载| 人妻系列 视频| 日本wwww免费看| 精品一品国产午夜福利视频| 亚洲色图综合在线观看| 男女免费视频国产| 国产一级毛片在线| 国产一区亚洲一区在线观看| 人人妻人人爽人人添夜夜欢视频| 精品久久久精品久久久| 国产极品天堂在线| 亚洲少妇的诱惑av| 中文字幕最新亚洲高清| 国产男女超爽视频在线观看| 侵犯人妻中文字幕一二三四区| 又大又黄又爽视频免费| 秋霞伦理黄片| 国产免费视频播放在线视频| 美女大奶头黄色视频| 久久久久久人人人人人| 亚洲国产欧美在线一区| 久久精品国产亚洲av涩爱| 又黄又粗又硬又大视频| 中文欧美无线码| 国产亚洲av片在线观看秒播厂| 成人影院久久| 国产av精品麻豆| 在线免费观看不下载黄p国产| 亚洲欧美成人综合另类久久久| 久久婷婷青草| 卡戴珊不雅视频在线播放| 中文天堂在线官网| 18禁观看日本| 多毛熟女@视频| 伦理电影大哥的女人| 亚洲精品日本国产第一区| 亚洲天堂av无毛| 国产日韩欧美在线精品| xxxhd国产人妻xxx| 国产免费一级a男人的天堂| 国产成人欧美| 久久久国产一区二区| 亚洲国产日韩一区二区| 亚洲国产色片| 又大又黄又爽视频免费| 赤兔流量卡办理| 久久午夜福利片| 1024视频免费在线观看| 十八禁高潮呻吟视频| 久久久久人妻精品一区果冻| 国产av码专区亚洲av| 丰满饥渴人妻一区二区三| 成人国产av品久久久| 丝袜在线中文字幕| 一级片'在线观看视频| 国产在线视频一区二区| 曰老女人黄片| 搡女人真爽免费视频火全软件| 欧美变态另类bdsm刘玥| 午夜91福利影院| 只有这里有精品99| 久久久久久久亚洲中文字幕| 人人妻人人添人人爽欧美一区卜| 永久网站在线| 三上悠亚av全集在线观看| 国国产精品蜜臀av免费| 国产白丝娇喘喷水9色精品| 少妇 在线观看| 七月丁香在线播放| 亚洲,欧美,日韩| 五月天丁香电影| 国产熟女午夜一区二区三区| 精品一品国产午夜福利视频| 91精品伊人久久大香线蕉| 成人毛片a级毛片在线播放| 高清毛片免费看| 制服人妻中文乱码| 免费女性裸体啪啪无遮挡网站| 妹子高潮喷水视频| 久久久国产一区二区| 国产在线免费精品| 侵犯人妻中文字幕一二三四区| 女人精品久久久久毛片| 高清视频免费观看一区二区| 亚洲精品日本国产第一区| 国产国语露脸激情在线看| 两个人免费观看高清视频| 欧美日韩国产mv在线观看视频| 国产黄色免费在线视频| 丁香六月天网| 国产成人av激情在线播放| 边亲边吃奶的免费视频| 免费看av在线观看网站| 中文精品一卡2卡3卡4更新| 看十八女毛片水多多多| 韩国av在线不卡| 亚洲精品乱久久久久久| 岛国毛片在线播放| 日韩 亚洲 欧美在线| 精品久久久久久电影网| 人人妻人人爽人人添夜夜欢视频| 色婷婷久久久亚洲欧美| 精品国产一区二区久久| 97超碰精品成人国产| 夜夜骑夜夜射夜夜干| 成人黄色视频免费在线看| 日韩欧美一区视频在线观看| 亚洲高清免费不卡视频| 国产精品偷伦视频观看了| 日韩电影二区| 丰满少妇做爰视频| 69精品国产乱码久久久| 热99久久久久精品小说推荐| av电影中文网址| 精品国产乱码久久久久久小说| 热99久久久久精品小说推荐| 亚洲欧美清纯卡通| 国产欧美日韩综合在线一区二区| 国产精品国产av在线观看| av不卡在线播放| 搡女人真爽免费视频火全软件| 人人妻人人爽人人添夜夜欢视频| 国产精品久久久久久精品电影小说|