• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于池的無監(jiān)督線性回歸主動(dòng)學(xué)習(xí)

    2022-01-13 13:34:38劉子昂伍冬睿
    自動(dòng)化學(xué)報(bào) 2021年12期
    關(guān)鍵詞:信息性代表性集上

    劉子昂 蔣 雪 伍冬睿

    在機(jī)器學(xué)習(xí)任務(wù)中,往往需要大量的有標(biāo)簽訓(xùn)練數(shù)據(jù)以獲得更好的性能.但是,在許多實(shí)際應(yīng)用場(chǎng)景中,獲取未標(biāo)注的數(shù)據(jù)相對(duì)容易,標(biāo)注過程卻很困難,通常需要投入大量的時(shí)間和經(jīng)濟(jì)成本.例如,在語音信號(hào)的情感估計(jì)問題中,可以很容易地記錄大量語音,但是要對(duì)語音進(jìn)行3 個(gè)維度(愉悅度、喚醒度和優(yōu)勢(shì)度)的評(píng)估[1],評(píng)估者必須反復(fù)傾聽,仔細(xì)檢查.此外,由于情感估計(jì)具有主觀性,而且部分?jǐn)?shù)據(jù)可能只存在細(xì)微差異,通常需要多個(gè)評(píng)估者,例如,素材來自于德國(guó)脫口秀節(jié)目Vera am Mittag (VAM)的語料庫[2]用到6~17 個(gè)評(píng)估者,國(guó)際情感數(shù)字化聲音 (第2 版)(International affective digitized sounds V2,IADS-2)[3]用到至少110個(gè)評(píng)估者.在石油和天然氣行業(yè)中,研究油井壓裂后180 天的累計(jì)產(chǎn)油量預(yù)測(cè)問題[4]有利于提高采收率,輸入信息(油井的壓裂參數(shù),例如油井位置、射孔長(zhǎng)度、區(qū)域/孔的數(shù)量、注入的泥漿/水/砂的體積等)可以在壓裂操作期間記錄,但要獲得地面產(chǎn)量(壓裂后180 天累計(jì)產(chǎn)油量),至少需要等待180 天.

    在很多這樣的問題場(chǎng)景中,如何確定最優(yōu)的未標(biāo)注樣本進(jìn)行標(biāo)注是非常重要的.主動(dòng)學(xué)習(xí)(Active learning,AL)[5]可以用于解決此類問題,它通過選擇較少的有價(jià)值樣本進(jìn)行標(biāo)注,從而獲得性能較好的機(jī)器學(xué)習(xí)模型,減少了數(shù)據(jù)標(biāo)注工作.

    主動(dòng)學(xué)習(xí)可用于分類問題和回歸問題.已有許多用于分類的AL 方法[5]相繼提出,但回歸任務(wù)中的AL 方法相對(duì)較少[6-20].這些主動(dòng)學(xué)習(xí)回歸(Active learning for regression,ALR)方法有基于流或基于池[13]的應(yīng)用場(chǎng)景,本文考慮的是后者,即給定一個(gè)未標(biāo)注樣本池,ALR 需要最優(yōu)地選擇一些樣本進(jìn)行標(biāo)注,從中訓(xùn)練出一個(gè)較好的線性回歸模型.

    現(xiàn)有的大多數(shù)基于池的ALR 方法[6-12,14-15,19-20]都考慮的是較簡(jiǎn)單的有監(jiān)督場(chǎng)景,即能夠獲得少量帶標(biāo)簽的樣本,建立初始的回歸模型,然后根據(jù)模型選擇后續(xù)的樣本交給專家進(jìn)行標(biāo)注.經(jīng)過調(diào)研,我們只發(fā)現(xiàn)在4 項(xiàng)研究[13,16-18]中明確考慮了完全無監(jiān)督的基于池的ALR 場(chǎng)景(將在下一節(jié)中詳細(xì)介紹),即在沒有任何標(biāo)簽信息的情況下,選擇最有價(jià)值的初始樣本進(jìn)行標(biāo)注,這也是本文的重點(diǎn).

    具體地說,本文考慮以下問題:在給定大小為N的未標(biāo)注樣本池中,如何最佳地選擇初始的M個(gè)樣本進(jìn)行標(biāo)注,從而構(gòu)建較好的線性回歸模型?這里的M是通過用戶指定(通常,隨著M變大,ALR 的優(yōu)勢(shì)會(huì)逐漸減弱).在本文中,我們僅關(guān)注線性回歸模型.

    針對(duì)上述問題,本文提出了一種基于信息性-代表性-多樣性(Informativeness-representativeness-diversity,IRD)的ALR 方法.通過同時(shí)考慮主動(dòng)學(xué)習(xí)中的3 個(gè)重要標(biāo)準(zhǔn)[17]:信息性、代表性和多樣性,從而確定要查詢的M個(gè)初始樣本.在3 種不同的線性回歸模型和來自不同應(yīng)用領(lǐng)域的12 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明,與3 種已提出的ALR 方法相比,本文提出的IRD 方法所選擇的M個(gè)樣本可以實(shí)現(xiàn)更好的性能.

    本文的主要貢獻(xiàn)是:

    1)提出了一種無監(jiān)督的ALR 方法,同時(shí)考慮要選擇的M個(gè)樣本的信息性、代表性和多樣性(這里M≤d+1,其中d是特征維數(shù)).根據(jù)調(diào)研,目前文獻(xiàn)中ALR 的信息性計(jì)算都必需輸出信息,還沒有無需輸出信息的信息性計(jì)算方法.因此,本文提出的方法是首個(gè)可考慮所選樣本信息性的完全無監(jiān)督ALR 方法,具有重要的理論創(chuàng)新性.

    2)提出了一種迭代式的ALR 方法,同時(shí)考慮代表性和多樣性,在M>d+1 時(shí)選擇另外的M-d-1個(gè)樣本.

    3)在3 種常見的線性回歸模型和12 個(gè)真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn),證明了所提出的IRD 方法的優(yōu)越性能.

    本文的組織架構(gòu)如下:第1 節(jié)介紹3 種現(xiàn)有的無監(jiān)督ALR 方法,并指出了它們的局限性;第2 節(jié)詳細(xì)介紹本文提出的IRD 算法;第3 節(jié)對(duì)在12 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)進(jìn)行了討論和分析;最后,第4 節(jié)給出本文的結(jié)論.

    1 現(xiàn)有的基于池的無監(jiān)督ALR方法

    Wu[17]提出了以下3 個(gè)基于池的有監(jiān)督ALR方法應(yīng)該考慮的標(biāo)準(zhǔn).這些標(biāo)準(zhǔn)也適用于無監(jiān)督的ALR 問題:

    1)信息性.可以通過不確定性(熵、到?jīng)Q策邊界的距離、預(yù)測(cè)的置信度等)、模型改變期望(Expected model change)、誤差縮減期望(Expected error reduction)等來度量.

    2)代表性.可以通過與目標(biāo)樣本相似或接近的樣本數(shù)量來度量.跟目標(biāo)樣本相似或接近的樣本越多,那么該目標(biāo)樣本代表性越強(qiáng).此標(biāo)準(zhǔn)優(yōu)先選擇靠近簇中心的樣本,或者分布稠密處的樣本,可防止選擇離群點(diǎn).例如在圖1 中,需要構(gòu)建一個(gè)回歸模型從輸入x1和x2中預(yù)測(cè)輸出.兩個(gè)實(shí)心的點(diǎn)是已經(jīng)選中的待標(biāo)注樣本,現(xiàn)在需要從空心的點(diǎn)中選出第3 個(gè)待標(biāo)注樣本.很顯然,從包含“A”的簇中選出一個(gè)樣本比選擇樣本“B”更好,因?yàn)椤癆”處樣本稠密,代表性強(qiáng),而樣本“B”遠(yuǎn)離其他樣本,很可能是個(gè)離群點(diǎn),選出后對(duì)構(gòu)建回歸模型有害無利,反而不如只用最初選出的兩個(gè)樣本的效果.

    圖1 基于池的ALR 中樣本的代表性與多樣性[17]Fig.1 Illustration of representativeness and diversity in pool-based ALR[17]

    3)多樣性.所選樣本應(yīng)盡可能分散在整個(gè)輸入空間中,而不是一個(gè)小的局部中,以便學(xué)習(xí)一個(gè)良好的全局模型.例如圖1 中,絕大部分樣本分布在3 個(gè)簇中,那么選擇3 個(gè)樣本時(shí),應(yīng)該從3 個(gè)簇中分別選出一個(gè),讓樣本更加多樣,而不是只從其中一個(gè)或兩個(gè)簇中選.

    多樣性和代表性經(jīng)常會(huì)有一定的沖突,所以應(yīng)該折中平衡考慮.一個(gè)常用的方法是先對(duì)所有待選樣本聚類,然后選取不同簇中靠近簇中心的樣本,如下文中的RD 方法.

    接下來,我們介紹3 種在文獻(xiàn)中已有的基于池的無監(jiān)督ALR 方法,并對(duì)照以上3 個(gè)標(biāo)準(zhǔn)對(duì)其進(jìn)行檢查.假設(shè)數(shù)據(jù)池由N個(gè)d維未標(biāo)注樣本xn=,n=1,2,···,N組成,用戶將從中選擇M個(gè)進(jìn)行標(biāo)注.

    1.1 P-ALICE

    Sugiyama 等[13]提出了一種基于泛化誤差條件期望的重要性加權(quán)最小二乘方法(Pool-based active learning using the importance-weighted leastsquares learning based on conditional expectation of the generalization error,P-ALICE),這是一種無監(jiān)督的ALR 算法,用于選擇要標(biāo)注的初始少量樣本.其主要思想是識(shí)別M個(gè)樣本及其相關(guān)權(quán)重,計(jì)算訓(xùn)練樣本與測(cè)試樣本之間的協(xié)變量偏移,由這M個(gè)樣本構(gòu)建的加權(quán)線性回歸模型可以最小化N個(gè)樣本上的均方損失估計(jì)值.

    設(shè)

    其中,U-1∈Rd×d是U的逆,表示U-1的第(i,j)個(gè)元素.P-ALICE 首先定義關(guān)于λ的重采樣偏差函數(shù)

    其中,λ∈[0,1],對(duì)于每個(gè)不同的λ,從樣本池中選擇M個(gè)未標(biāo)注樣本的概率與bλ(xn)成正比.將所選樣本表示為,那么,在 N 個(gè)樣本上的均方損失可以如下進(jìn)行估計(jì):

    綜上所述,對(duì)照ALR 的3 個(gè)標(biāo)準(zhǔn),P-ALICE只考慮了信息性(均方損失估計(jì)值),沒有考慮代表性和多樣性.

    1.2 GSx

    Yu 等[16]提出了一種基于貪婪采樣(Greedy sampling,GS)的ALR 算法.在給定一個(gè)初始未標(biāo)注樣本的情況下,GS 不需要任何標(biāo)簽信息就可以選擇其他未標(biāo)注的樣本.但是,GS 初始至少需要一個(gè)確定的未標(biāo)注樣本,文中并沒有對(duì)第1 個(gè)樣本的選取進(jìn)行解釋.因此,Wu 等[18]提出了GSx 方法,將第1 個(gè)樣本指定為最接近N個(gè)未標(biāo)注樣本中心的樣本.接下來對(duì)GSx 算法進(jìn)行介紹.

    再選擇具有最大dn的樣本進(jìn)行標(biāo)注.重復(fù)此過程,直到選擇的樣本數(shù)量達(dá)到M.

    綜上所述,對(duì)照ALR 的3 個(gè)標(biāo)準(zhǔn),GSx 僅考慮多樣性,沒有考慮信息性和代表性.

    1.3 RD

    Wu[17]提出了一種基于樣本代表性(Representativeness)和多樣性(Diversity)的方法,簡(jiǎn)稱RD.

    RD 主要由兩部分組成:一部分是初始化(無監(jiān)督過程),另一部分是后續(xù)迭代(有監(jiān)督過程).RD的無監(jiān)督過程首先對(duì)N個(gè)未標(biāo)注樣本進(jìn)行k-means聚類(k=d+1),然后選擇最接近每個(gè)聚類中心的樣本進(jìn)行標(biāo)注.在文獻(xiàn)[15]中也使用過類似的方法.

    顧名思義,RD 在初始化時(shí)僅考慮代表性和多樣性,沒有考慮信息性.

    1.4 小結(jié)

    表1 中總結(jié)了P-ALICE、GSx 和RD 考慮的標(biāo)準(zhǔn).可見,這3 種方法都只考慮了ALR 的3 個(gè)基本標(biāo)準(zhǔn)中的1 個(gè)或2 個(gè).因此,仍有改進(jìn)的空間.

    表1 基于池的無監(jiān)督ALR 方法中考慮的標(biāo)準(zhǔn)Table 1 Criteria considered in the three existing and the proposed unsupervised pool-based ALR approaches

    2 IRD算法

    本節(jié)對(duì)本文提出的基于池的無監(jiān)督ALR 算法--IRD 進(jìn)行介紹.顧名思義,IRD 同時(shí)考慮信息性、代表性和多樣性.

    設(shè)M為要選擇的樣本數(shù)量,d為特征維數(shù).接下來分別討論IRD 算法在3 種情形(M=d+1,M <d+1,以及M>d+1)下的實(shí)現(xiàn).

    2.1 情形1:M=d+1

    對(duì)于d維特征數(shù)據(jù),通常需要選擇至少d+1 個(gè)樣本來構(gòu)造一個(gè)線性回歸模型f(x)=xTw+b,其中w∈Rd×1為回歸系數(shù),b為偏置.接下來從d=2維的特殊樣本開始,對(duì)IRD 的基本思想解釋說明(圖2).

    圖2 當(dāng)d=2 時(shí)IRD 算法圖示Fig.2 Illustration of IRD whend=2

    假設(shè)前兩個(gè)未標(biāo)注樣本x1和x2已確定,現(xiàn)在需要選擇第三個(gè)樣本.為了便于說明,記=[xn;yn]∈R(d+1)×1,n=1,···,N.

    假設(shè)H′為通過和的d維最佳流形,并且能夠最佳地?cái)M合其余的N-2 個(gè)樣本.在無監(jiān)督問題中,H′是未知的,但如果給定所有,并要求H′必須通過和,那么一定會(huì)存在這樣的H′.

    從圖2 中,可以得到:

    因此,基于以上推導(dǎo)和可以在基于池的無監(jiān)督ALR 中使用的所有信息,可以近似得到:

    式(10)從希望H和H′盡可能接近推導(dǎo)而來,因此這考慮了xn的信息性.此外,|xv-xn|也可以看作從xn到已確定樣本(在這里也就是和)之間的距離.要使θ變小,則需要|xv-xn|盡可能大,即式(10)也保證了所選樣本之間的多樣性.綜上所述,使用式(10)選擇第3 個(gè)樣本時(shí)同時(shí)考慮了信息性和多樣性.

    但是,如果僅使用式(10)作為選擇第3 個(gè)樣本的準(zhǔn)則,它將始終選擇距離最遠(yuǎn)的樣本,那很有可能是一個(gè)離群點(diǎn).為了同時(shí)考慮到代表性,可以計(jì)算從xn到N個(gè)樣本的平均距離,結(jié)合到式(10)中,從而選擇最佳的樣本進(jìn)行標(biāo)注2我們還考慮了其他兼顧代表性、信息性和多樣性的方法,例如=,但這種方法會(huì)引入超參數(shù)λ,并且我們的實(shí)驗(yàn)表明,從最佳的λ獲得的性能要比式(11)差.因此,由于其簡(jiǎn)單性和準(zhǔn)確性,我們最終使用式(11)作為選擇準(zhǔn)則.:

    當(dāng)d>2時(shí),同理,可以用 (d-1)維流形C來代替,所有已確定的 d個(gè)樣本都位于這個(gè)流形上.那么,可以將式(11)改寫為

    其中,dist(xn,C)表示從xn到流形C的距離.

    為了計(jì)算 dist(xn,C),首先需要找到一個(gè)垂直于C的向量w∈Rd×1,即滿足

    類似于式(12)的方法尚未出現(xiàn)在ALR 中.在用于分類的AL 方法中,有一些用于選擇最接近當(dāng)前分類邊界的樣本(即具有最大不確定性的樣本)進(jìn)行標(biāo)注的方法[21-23],但是它們與式(12)有3 個(gè)顯著區(qū)別:

    1)式(12)適用于回歸問題,而目前文獻(xiàn)中的選擇最接近當(dāng)前分類邊界樣本的方法[21-23]都是針對(duì)分類問題的.

    2)式(12)是完全無監(jiān)督的,即只需要知道樣本的特征信息而無需知道其輸出.文獻(xiàn)中針對(duì)分類問題的方法[21-23]都是有監(jiān)督的,要求必須提供一些有標(biāo)注的樣本來初始化分類器,從而計(jì)算待選樣本到分類界面的距離.

    3)式(12)同時(shí)考慮了待選樣本的信息性和多樣性,而傳統(tǒng)分類問題中的方法[21-23]只考慮信息性.

    2.2 迭代改進(jìn)

    上述方法是在前d個(gè)樣本確定的情況下,選擇第 (d+1)個(gè)樣本.第 (d+1)個(gè)樣本的最優(yōu)性還取決于前d個(gè)樣本的最優(yōu)性.

    因此,本小節(jié)提出一種交替優(yōu)化方法,以迭代方式優(yōu)化第d+1 樣本:首先通過GSx 或RD 算法確定前d個(gè)樣本,再通過式(12)選擇第 (d+1)個(gè)樣本.然后反復(fù)固定d個(gè)樣本,使用式(12)優(yōu)化每個(gè)樣本xt(t=1,···,d+1).重復(fù)此過程,直到選擇的樣本收斂或者達(dá)到最大迭代次數(shù).

    在M=d+1 情形下,IRD 的偽代碼如算法1所示.

    2.3 情形2:M <d+1

    情形1 中考慮的是M=d+1,即所選樣本數(shù)量剛好等于特征數(shù)加1,這是一種非常特殊的情況.實(shí)際上M可能小于d+1,在這種情況下,式(12)中的d-1 維流形C不能唯一確定,因此不能直接由式(12)得到.

    對(duì)于這種情形,本小節(jié)提出一種新的處理方法:首先,對(duì)N個(gè)樣本xn進(jìn)行主成分分析(Principal component analysis,PCA),并確定前M-1 個(gè)主成分,然后將每個(gè)xn替換為其在M-1 個(gè)主成分方向的投影.則式(12)可以在轉(zhuǎn)換后的xn上進(jìn)行計(jì)算.

    在M<d+1 情形下,IRD 的偽代碼如算法2所示.

    2.4 情形3:M >d+1

    本小節(jié)考慮M>d+1 的情況.

    首先,使用算法1 初始化d+1 個(gè)樣本,然后繼續(xù)確定另外的M-d-1 個(gè)樣本:使用k-means 聚類 (k=M-d-1)在剩余的N-d-1 個(gè)樣本中得到M-d-1 個(gè)簇,然后從每個(gè)簇中選擇一個(gè)樣本.這類似于RD 方法,但本文提出一種改進(jìn)方法:不是直接選擇最接近每個(gè)聚類中心的樣本,而是使用迭代的方法來選擇剩余的M-d-1 個(gè)樣本.

    不失一般性,假設(shè)前d+1 個(gè)樣本已通過算法1 確定,接下來的M-d-2 個(gè)樣本也暫時(shí)確定(例如最接近其簇中心的樣本),要優(yōu)化將從第(Md-1)個(gè)簇中選擇的第M個(gè)樣本.對(duì)于這個(gè)簇中的每個(gè)xn,將其與這個(gè)簇中其他樣本的平均距離的倒數(shù)作為其代表性.記S為第 (M-d-1)個(gè)簇中樣本的索引.則xn的代表性可以表示為

    其中,|S|是S中元素的個(gè)數(shù).

    將xn到M-1 個(gè)已選樣本的最小距離作為其多樣性的度量,即

    再結(jié)合代表性和多樣性:

    選擇樣本

    來代替第M個(gè)樣本.對(duì)每一個(gè)重復(fù)此過程,直到不再更新樣本或達(dá)到最大迭代次數(shù).

    在M>d+1 情形下,IRD 的偽代碼如算法3所示.

    3 實(shí)驗(yàn)結(jié)果與分析

    為了驗(yàn)證文中提出的基于池的無監(jiān)督ALR 算法IRD 的有效性,在12 個(gè)數(shù)據(jù)集和3 種線性回歸模型上進(jìn)行了實(shí)驗(yàn).本節(jié)將對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析討論.

    3.1 數(shù)據(jù)集

    本文使用了12 個(gè)來自不同應(yīng)用領(lǐng)域的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),其基本情況如表2 所示.

    表2 12 個(gè)數(shù)據(jù)集的總結(jié)Table 2 Summary of the 12 regression datasets

    其中9 個(gè)數(shù)據(jù)集來自UCI 機(jī)器學(xué)習(xí)數(shù)據(jù)庫3http://archive.ics.uci.edu/ml/index.php,2個(gè)來自CMU StatLib Datasets Archive4http://lib.stat.cmu.edu/datasets/.這些數(shù)據(jù)集在其他的ALR 實(shí)驗(yàn)[7-8,16-18]中也用過.其中兩個(gè)數(shù)據(jù)集(autoMPG 和CPS)同時(shí)包含數(shù)字型和類別型特征,因此首先使用one-hot 編碼進(jìn)行處理,將類別型特征轉(zhuǎn)換為數(shù)字型特征,再進(jìn)行ALR實(shí)驗(yàn).

    本文還使用了一個(gè)公開的情感計(jì)算數(shù)據(jù)集:VAM (Vera am Mittag)數(shù)據(jù)庫[2],這個(gè)數(shù)據(jù)庫也得到了廣泛應(yīng)用[20,24-27].它包含來自47 位講話者的947條情感語音樣本,從中提取了46 個(gè)聲學(xué)特征[26-27],其中包括9 個(gè)音高特征、5 個(gè)持續(xù)時(shí)間特征、6 個(gè)能量特征和26 個(gè)MFCC 特征,對(duì)情感的3 個(gè)維度(愉悅度、喚醒度和優(yōu)勢(shì)度)進(jìn)行預(yù)測(cè).在本文實(shí)驗(yàn)中,只將喚醒度作為回歸輸出.

    對(duì)于每個(gè)數(shù)據(jù)集,采用z-score 對(duì)輸入的每一維進(jìn)行標(biāo)準(zhǔn)化.

    3.2 對(duì)比算法

    本文將IRD (cmax=5)與以下4 種算法進(jìn)行g(shù)http://archive.ics.uci.edu/ml/datasets/energy+efficiencyhhttps://dblp.uni-trier.de/db/conf/icmcs/icme2008.html

    ihttps://archive.ics.uci.edu/ml/datasets/Concrete+Compressive+Strengthjhttps://archive.ics.uci.edu/ml/datasets/Airfoil+Self-Noisekhttps://archive.ics.uci.edu/ml/datasets/Wine+Quality比較:

    1)隨機(jī)采樣(Random sampling,RS):隨機(jī)選擇M個(gè)樣本進(jìn)行標(biāo)注.

    2)P-ALICE:在第1.1 節(jié)中已經(jīng)介紹.參數(shù)λ從 {0,0.1,0.2,0.3,0.4,0.41,0.42,···,0.59,0.6,0.7,0.8,0.9,1} 中選擇最佳的一個(gè).

    3)GSx:在第1.2 節(jié)中已經(jīng)介紹.

    4)RD:在第1.3 節(jié)中已經(jīng)介紹.

    3.3 評(píng)價(jià)過程

    對(duì)于每個(gè)數(shù)據(jù)集,每一次重復(fù)實(shí)驗(yàn)隨機(jī)選擇50%的樣本作為樣本池,其余50%作為測(cè)試集,每種算法從完全未標(biāo)注的樣本池中選擇M∈[5,15] 個(gè)樣本進(jìn)行標(biāo)注,然后建立線性回歸模型.所有實(shí)驗(yàn)均重復(fù)100 次.

    在測(cè)試集上進(jìn)行預(yù)測(cè),使用均方根誤差(Root mean squared error,RMSE)和相關(guān)系數(shù)(Correlation coefficient,CC)作為性能評(píng)價(jià)指標(biāo).

    對(duì)于每種方法,訓(xùn)練3 個(gè)不同的線性回歸模型5對(duì)普通最小二乘法(Ordinary least squares,OLS)回歸也進(jìn)行了嘗試,IRD 依然取得了最佳表現(xiàn).但當(dāng)訓(xùn)練樣本較少時(shí),OLS 非常不穩(wěn)定,因此在實(shí)際中不是一個(gè)合理的選擇,本文不討論其結(jié)果.:

    1)嶺回歸(Ridge regression,RR),L2 正則化系數(shù)λ=0.5.由于選擇的樣本數(shù)量很少,本文使用較大的λ以減小回歸模型的方差.

    2)LASSO,L1 正則化系數(shù)λ=0.5.

    3)線性支持向量回歸(Support vector regression,SVR),?=0.1×std(y)(std(y)是M個(gè)選擇樣本真實(shí)標(biāo)簽的標(biāo)準(zhǔn)差),box constraintC=1.SVR 包含L2 正則項(xiàng),其等效正則化系數(shù)為,與RR 和LASSO 中的大小相同.

    在后面的小節(jié)中主要給出了RR 模型上的結(jié)果,因?yàn)樗腞MSE 和CC 通常比LASSO 和線性SVR 更穩(wěn)定,尤其對(duì)于RS 方法而言.但是,如第3.5節(jié)所示,當(dāng)使用LASSO 或線性SVR 時(shí),IRD 相對(duì)于其他算法(尤其是RS)的提升效果可能更大.

    3.4 RR上的結(jié)果

    圖3 中展示了使用RR 作為回歸模型,在12 個(gè)數(shù)據(jù)集上5 種采樣方法的平均RMSE 和CC6由于頁面限制,只展示了RR 的詳細(xì)結(jié)果,因?yàn)樗ǔ1憩F(xiàn)更穩(wěn)定.其他兩個(gè)回歸模型上的結(jié)果類似..

    圖3 12 個(gè)數(shù)據(jù)集上的平均RMSE 和CC (mRMSE 和mCC;重復(fù)運(yùn)行100 次)(回歸模型為RR (λ=0.5))Fig.3 Mean of the RMSEs and the CCs on the 12 datasets,averaged over 100 runs (RR (λ=0.5)was used as the regression model)

    通常,隨著M的增加,5 種采樣方法的RMSE和CC 也會(huì)隨之得到改善,因?yàn)橛懈嗟挠?xùn)練樣本加入回歸訓(xùn)練,逐漸提升了回歸性能.但仍然可能會(huì)存在一些波動(dòng),尤其是在樣本數(shù)量較少的情況下.因?yàn)閮H從少量標(biāo)注樣本中訓(xùn)練得到的線性回歸模型可能存在很多隨機(jī)性和不確定性.

    在大多數(shù)數(shù)據(jù)集和大多數(shù)M取值上,RS 和GSx 具有更大的RMSE 和更小的CC,即它們的性能相對(duì)于另外3 種算法較差.IRD 在大多數(shù)數(shù)據(jù)集和大多數(shù)M取值上都取得了最小的RMSE 和最大的CC,表明IRD 是表現(xiàn)最佳的樣本選擇方法.

    為了更全面地進(jìn)行比較,我們還計(jì)算了100 次重復(fù)實(shí)驗(yàn)RMSE 和CC 平均值的曲線下面積(Area under curve,AUC),分別記為AUC-mRMSE 和AUC-mCC,結(jié)果如圖4(a)所示.由于不同數(shù)據(jù)集上AUC 的大小差異很大,不便在一張圖中展示,因此根據(jù)RS 的結(jié)果進(jìn)行了歸一化處理,使圖4(a)中RS 的結(jié)果始終為1.圖4(a)表明:

    圖4 12 個(gè)數(shù)據(jù)集上歸一化AUC-mRMSE 和AUC-mCCFig.4 Normalized AUCs of the mean RMSEs and the mean CCs on the 12 datasets

    1)IRD 在12 個(gè)數(shù)據(jù)集中的10 個(gè)上均獲得了最小的RMSE,在其余兩個(gè)數(shù)據(jù)集中排名第2.平均而言,IRD 取得了最小的RMSE.它在10 個(gè)數(shù)據(jù)集上也取得了最大的CC,在其余2 個(gè)數(shù)據(jù)集上排名第2 和第3.平均而言,IRD 也取得了最大的CC.

    2)平均而言,RD 的性能略優(yōu)于P-ALICE,兩者均優(yōu)于RS.

    3)GSx 在7 個(gè)數(shù)據(jù)集上的RMSE 表現(xiàn)最差,在另外3 個(gè)數(shù)據(jù)集上排名倒數(shù)第二,平均而言,GSx 的RMSE 最差.它在6 個(gè)數(shù)據(jù)集中的CC 也是最低,因此其CC 平均值也最低.

    因此,5 種算法的性能整體排名是:IRD>RD>P-ALICE>RS>GSx.

    表3 中展示了3 個(gè)回歸模型、5 種無監(jiān)督采樣方法在12 個(gè)數(shù)據(jù)集上的平均AUC 情況.當(dāng)M較小時(shí),GSx 表現(xiàn)較差的原因可能是其選擇的樣本大多是離群點(diǎn),而離群點(diǎn)的負(fù)面影響超過了GSx 多樣性的正面影響.IRD 同時(shí)考慮了信息性、代表性和多樣性,因此表現(xiàn)最好.

    除了準(zhǔn)確性,算法的穩(wěn)定性也很重要.實(shí)際情況中,如果多種算法具有相似的性能,通常首選變化較小,也就是更穩(wěn)定的算法.表3 展示了運(yùn)行100次的AUC-mRMSE 和AUC-mCC 在12 個(gè)數(shù)據(jù)集上的平均標(biāo)準(zhǔn)差(Standard deviation,std)提升結(jié)果.可以看到,IRD 在標(biāo)準(zhǔn)差上相對(duì)于RS 的提升最大,即它是最穩(wěn)定的ALR 方法.

    表3 AUC-mRMSE/sRMSE 和AUC-mCC/sCC 的提升百分比Table 3 Percentage improvements of the AUCs of the mean/std RMSEs and the mean/std CCs

    對(duì)于不同的M,我們統(tǒng)計(jì)了P-ALICE、GSx、RD 和IRD 對(duì)應(yīng)的RMSE (CC)相對(duì)于RS 的比率,重復(fù)100 次實(shí)驗(yàn)在12 個(gè)數(shù)據(jù)集上取平均,結(jié)果如圖5 所示.可見,當(dāng)M較小時(shí),IRD 相對(duì)于其他4 種方法的提升很大,因?yàn)镮RD 同時(shí)考慮了信息性、代表性和多樣性.隨著M的增加,IRD 的優(yōu)越性逐漸下降,因?yàn)殡S著標(biāo)注樣本數(shù)量的增加,每個(gè)樣本最優(yōu)性的影響就會(huì)減小.

    圖5 對(duì)于不同的M,4 種ALR 方法的mRMSE 和mCC 相對(duì)于RS 在12 個(gè)數(shù)據(jù)集上的平均比率Fig.5 Ratios of the mean RMSEs and the mean CCs for differentM,averaged across 12 datasets

    3.5 LASSO和線性SVR上的結(jié)果

    當(dāng)使用LASSO 和線性SVR 作為線性回歸模型時(shí),我們也重復(fù)了上述實(shí)驗(yàn).結(jié)果如圖4(b)和圖4(c)所示.可以得到和圖4(a)類似的結(jié)論,例如IRD 始終取得最佳的平均性能,而RD 則優(yōu)于P-ALICE、RS 和GSx.此外,整體看來,相對(duì)于RR,4 種ALR算法(特別是IRD)在這兩個(gè)模型上相對(duì)于RS 的性能提升更為明顯.

    為了量化4 種無監(jiān)督ALR 算法相對(duì)于RS 的改善效果,我們也計(jì)算了其AUC-mRMSE 和AUC-m CC 的提升百分比,如表3 所示.無論使用哪種線性回歸模型或性能指標(biāo),IRD 的平均表現(xiàn)都優(yōu)于其他4 種方法.

    3.6 統(tǒng)計(jì)分析

    為了確定IRD 與其他4 種算法之間的性能差異是否具有統(tǒng)計(jì)意義,我們使用Dunn 檢驗(yàn)[28]對(duì)幾種方法的AUC-mRMSE 和AUC-mCC 在12 個(gè)數(shù)據(jù)集上的平均值進(jìn)行了非參數(shù)多重比較檢驗(yàn),使用錯(cuò)誤發(fā)現(xiàn)率(False discovery rate)方法[29]進(jìn)行p值校正.結(jié)果如表4 所示,其中具有統(tǒng)計(jì)意義的結(jié)果以粗體標(biāo)出.

    表4 非參數(shù)多重檢驗(yàn)的p值(α=0.05 ;如果p <α/2 拒絕H0).Table 4 p-values of non-parametric multiple comparisons (α=0.05 ;rejectH0ifp<α/2)

    結(jié)果表明,無論使用哪種線性回歸模型,IRD的RMSE 和CC 相對(duì)于RS、P-ALICE 和GSx 的提升始終具有統(tǒng)計(jì)學(xué)意義;相對(duì)于RD,CC 的提升具有統(tǒng)計(jì)學(xué)意義;使用線性SVR 時(shí),RMSE 的提升也具有統(tǒng)計(jì)學(xué)意義.

    3.7 選擇樣本的可視化

    為了更直觀地了解不同ALR 算法選擇樣本之間的差異,我們?cè)谝粋€(gè)典型數(shù)據(jù)集(Housing)上使用t-SNE[30]將樣本映射到2 維空間.圖6 展示了3個(gè)不同的M值對(duì)應(yīng)的4 種ALR 算法選擇的樣本.P-ALICE 的樣本權(quán)重在繪圖中沒有顯示.

    圖6 中,GSx 傾向于選擇位于邊界的樣本,這樣的樣本很有可能是離群點(diǎn),且所選樣本的分布情況與池中的樣本不一致.因此,它的平均性能在4種算法中是最差的.與GSx 相比,P-ALICE 和RD選擇的樣本在池中分布更均勻.IRD 選擇的樣本傾向于靠近池的邊界,但不完全位于邊界,這樣的樣本不太可能是異常點(diǎn),并且選擇的樣本的分布情況與池中樣本更一致.這些都可能是IRD 表現(xiàn)較好的原因.

    圖6 在Housing 數(shù)據(jù)集上不同ALR 算法所選樣本(星號(hào))的t-SNE 可視化Fig.6 t-SNE visualization of the selected samples(asterisks)from different ALR approaches on Housing dataset

    3.8 cmax對(duì)IRD的影響

    算法1~3 中有一個(gè)重要參數(shù):cmax,即最大迭代次數(shù).當(dāng)cmax=0 時(shí),IRD 等效于RD.本小節(jié)通過設(shè)置cmax>0 來探究IRD 的性能是否優(yōu)于RD.

    圖7 展示了在3 種線性回歸模型上,cmax∈[0,10]的歸一化AUC (相對(duì)于RS)的變化趨勢(shì),這是在12 個(gè)數(shù)據(jù)集上重復(fù)100 次 實(shí)驗(yàn)的平均結(jié)果.如圖所示,IRD 的性能隨著cmax的增加而迅速提升,并且總是在cmax=5 之前就達(dá)到了最優(yōu),這意味著IRD 是一種既有效又高效的算法.

    圖7 對(duì)于不同的cmax,4 種ALR 算法的AUC-mRMSE和AUC-mCC 相對(duì)于RS 在12 個(gè)數(shù)據(jù)集上的平均比率Fig.7 Ratios of AUCs of the mean RMSEs and the mean CCs for differentcmax,averaged across 12 datasets

    3.9 λ對(duì)IRD的影響

    為了研究5 種無監(jiān)督采樣方法的性能對(duì)3 個(gè)線性回歸模型正則化系數(shù)的敏感性,我們對(duì)λ ∈{0.01,0.05,0.1,0.5,1}進(jìn)行了重復(fù)實(shí)驗(yàn).線性SVR有一個(gè)等價(jià)的L2 正則化系數(shù),等效設(shè)置為C ∈{50,10,5,1,0.5}.將每種采樣方法在不同參數(shù)回歸模型下的AUC 結(jié)果相對(duì)于RS (λ=0.5)進(jìn)行歸一化,如圖8 所示.

    圖8 對(duì)于不同的λ(RR 和LASSO)和C(線性SVR),4 種ALR 算法的AUC-mRMSE 和AUC-mCC 相對(duì)于RS 在12 個(gè)數(shù)據(jù)集上的平均比率Fig.8 Ratios of the AUCs of the mean RMSEs and the mean CCs,averaged across 12 datasets,for differentλ(RR and LASSO)andC(linear SVR)

    整體來看,5 種無監(jiān)督采樣方法的性能首先隨著λ的增大而提高,然后下降.然而,無論λ(C)取值為多少,IRD 的表現(xiàn)通常都是最好的,RD 次優(yōu).當(dāng)λ較小時(shí),IRD 相對(duì)于其他4 種方法的提升更大.此外,可以看出IRD 對(duì)參數(shù)λ不是很敏感,這將有利于實(shí)際應(yīng)用.

    3.10 三個(gè)標(biāo)準(zhǔn)的影響

    為了研究信息性、代表性和多樣性分別對(duì)IRD的影響,我們將IRD 與三個(gè)變體進(jìn)行比較:

    1)IRD (cmax=5):本文提出的方法,在第2節(jié)中已介紹.

    2)ID:當(dāng)M=d+1 時(shí),只考慮式(12)的分母部分;當(dāng)M>d+1 時(shí),只考慮式(17)中的D(xn).即只考慮信息性和代表性.

    3)RD:等同于cmax=0 時(shí)使用RD 進(jìn)行初始化的IRD.即只考慮代表性和多樣性.

    對(duì)于M∈[5,15],每種方法在12 個(gè)數(shù)據(jù)集上運(yùn)行100 次,訓(xùn)練3 種線性回歸模型:RR (λ=0.5)、LASSO (λ=0.5)和線性SVR (C=1).圖9 展示了對(duì)于不同的M取值,IRD 及變體的RMSE 和CC 相對(duì)于RS 的平均比率.3 個(gè)回歸模型上的結(jié)論是類似的.通常,3 種ALR 方法都優(yōu)于RS.IRD 仍然表現(xiàn)最好,這表明同時(shí)考慮信息性、代表性和多樣性至關(guān)重要.

    圖9 對(duì)于不同的M,IRD 及其變體的mRMSE 和mCC相對(duì)于RS 在12 個(gè)數(shù)據(jù)集上的平均比率Fig.9 Ratios of the mean RMSEs and the mean CCs w.r.t.differentM,averaged across 12 datasets

    4 結(jié)論

    主動(dòng)學(xué)習(xí)通過選擇最有價(jià)值的樣本進(jìn)行標(biāo)注,從而利用較少的訓(xùn)練數(shù)據(jù)就可以建立較好的機(jī)器學(xué)習(xí)模型.這在許多實(shí)際應(yīng)用中有著重要的作用,因?yàn)閿?shù)據(jù)的標(biāo)注過程往往需要耗費(fèi)大量的時(shí)間和經(jīng)濟(jì)成本.大多數(shù)現(xiàn)有的主動(dòng)學(xué)習(xí)方法是有監(jiān)督的:能夠從少量的標(biāo)注樣本中建立一個(gè)初始的模型,基于模型查詢新的數(shù)據(jù),然后進(jìn)行迭代更新.本文考慮了線性回歸中完全無監(jiān)督的基于池的主動(dòng)學(xué)習(xí)問題,即在完全不知道任何標(biāo)簽信息的情況下,最優(yōu)地選擇初始的少量樣本進(jìn)行標(biāo)注.文中提出一種新的主動(dòng)學(xué)習(xí)算法IRD,該算法同時(shí)考慮了主動(dòng)學(xué)習(xí)中的3 個(gè)重要標(biāo)準(zhǔn):信息性、代表性和多樣性.在來自于不同應(yīng)用領(lǐng)域的12 個(gè)數(shù)據(jù)集和3 種不同的線性回歸模型(RR、LASSO 和線性SVR)上進(jìn)行了大量實(shí)驗(yàn),充分驗(yàn)證了本文提出方法的有效性.

    猜你喜歡
    信息性代表性集上
    國(guó)家級(jí)非遺項(xiàng)目代表性傳承人簡(jiǎn)介
    Cookie-Cutter集上的Gibbs測(cè)度
    漳州市非物質(zhì)文化遺產(chǎn)代表性項(xiàng)目代表性傳承人名錄
    閩臺(tái)地區(qū)代表性道地藥材
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    非遺代表性傳承人
    ——勉沖·羅布斯達(dá)
    報(bào)紙新聞與廣播新聞信息密度的對(duì)比分析
    幾道導(dǎo)數(shù)題引發(fā)的解題思考
    篇章的信息解讀對(duì)意象派詩歌教學(xué)的啟示
    网址你懂的国产日韩在线| 欧美日韩中文字幕国产精品一区二区三区| 熟妇人妻久久中文字幕3abv| 久久九九热精品免费| 国产精品香港三级国产av潘金莲| 99久久精品一区二区三区| 成年人黄色毛片网站| 天天躁狠狠躁夜夜躁狠狠躁| 国产成人啪精品午夜网站| 日本黄大片高清| 国产精品亚洲av一区麻豆| 久久久精品欧美日韩精品| 成人av一区二区三区在线看| 精品久久久久久久久久免费视频| 99在线视频只有这里精品首页| 国产精品av久久久久免费| 成人av一区二区三区在线看| 免费在线观看日本一区| 99riav亚洲国产免费| 婷婷精品国产亚洲av在线| 亚洲av成人一区二区三| bbb黄色大片| 国产一区二区在线av高清观看| 国产精品1区2区在线观看.| 成年女人毛片免费观看观看9| 九九热线精品视视频播放| 精品不卡国产一区二区三区| 精品久久蜜臀av无| 亚洲九九香蕉| 国产精品久久久久久亚洲av鲁大| 搡老熟女国产l中国老女人| aaaaa片日本免费| 欧美黑人巨大hd| 久久精品国产清高在天天线| 国产亚洲av高清不卡| 精品99又大又爽又粗少妇毛片 | 亚洲在线自拍视频| 99国产精品一区二区蜜桃av| 少妇人妻一区二区三区视频| 亚洲av成人一区二区三| 欧美中文日本在线观看视频| 免费看美女性在线毛片视频| 人人妻人人澡欧美一区二区| 日韩欧美在线乱码| 女人被狂操c到高潮| 99久久无色码亚洲精品果冻| 美女黄网站色视频| 欧美+亚洲+日韩+国产| 欧美日本视频| 少妇的丰满在线观看| 久9热在线精品视频| 一进一出好大好爽视频| 国产精品1区2区在线观看.| 国产成人欧美在线观看| 亚洲熟妇中文字幕五十中出| 亚洲国产精品合色在线| 国内久久婷婷六月综合欲色啪| 俄罗斯特黄特色一大片| 男女下面进入的视频免费午夜| 午夜两性在线视频| 小蜜桃在线观看免费完整版高清| 成年免费大片在线观看| 久久中文字幕一级| 九九久久精品国产亚洲av麻豆 | 特级一级黄色大片| www.精华液| 久久久色成人| 午夜福利免费观看在线| 国产成人系列免费观看| 国内精品一区二区在线观看| 日韩欧美在线二视频| 99riav亚洲国产免费| 国产一区二区激情短视频| 国产精品影院久久| 欧美日韩综合久久久久久 | 国内揄拍国产精品人妻在线| 又紧又爽又黄一区二区| 夜夜躁狠狠躁天天躁| 热99re8久久精品国产| 国产精品久久久久久人妻精品电影| 美女黄网站色视频| 老熟妇仑乱视频hdxx| 91九色精品人成在线观看| x7x7x7水蜜桃| 欧美成人性av电影在线观看| 亚洲熟妇熟女久久| 身体一侧抽搐| 一区二区三区国产精品乱码| 婷婷丁香在线五月| 久久中文字幕人妻熟女| 一个人免费在线观看的高清视频| 亚洲18禁久久av| 久久精品夜夜夜夜夜久久蜜豆| 国产亚洲精品一区二区www| 一卡2卡三卡四卡精品乱码亚洲| 99国产精品一区二区蜜桃av| 啦啦啦免费观看视频1| 白带黄色成豆腐渣| 美女被艹到高潮喷水动态| 成年女人毛片免费观看观看9| 免费观看人在逋| 在线观看一区二区三区| 亚洲专区国产一区二区| 成人欧美大片| 操出白浆在线播放| 少妇裸体淫交视频免费看高清| 久久99热这里只有精品18| 亚洲人成网站在线播放欧美日韩| 成人精品一区二区免费| 午夜精品久久久久久毛片777| 亚洲av美国av| 婷婷精品国产亚洲av在线| 亚洲无线观看免费| 午夜福利成人在线免费观看| 精品一区二区三区视频在线 | 日韩国内少妇激情av| 人妻久久中文字幕网| 黄色片一级片一级黄色片| 午夜福利在线观看吧| 琪琪午夜伦伦电影理论片6080| 国产蜜桃级精品一区二区三区| 久久国产乱子伦精品免费另类| 亚洲专区国产一区二区| 日韩欧美在线乱码| 最新美女视频免费是黄的| 久久久久国产一级毛片高清牌| 国产亚洲av嫩草精品影院| 叶爱在线成人免费视频播放| 老汉色av国产亚洲站长工具| 国产高清激情床上av| 少妇人妻一区二区三区视频| 国产av在哪里看| 国产极品精品免费视频能看的| 亚洲电影在线观看av| 久久香蕉精品热| 手机成人av网站| 国产午夜精品论理片| 成人欧美大片| 中文字幕久久专区| 观看免费一级毛片| www.精华液| 日本在线视频免费播放| svipshipincom国产片| 国产aⅴ精品一区二区三区波| 国产精品永久免费网站| 丰满人妻熟妇乱又伦精品不卡| 欧美黄色淫秽网站| 成年女人毛片免费观看观看9| 中文字幕精品亚洲无线码一区| 99在线视频只有这里精品首页| 18禁裸乳无遮挡免费网站照片| 听说在线观看完整版免费高清| 嫩草影院精品99| 国产一区二区三区在线臀色熟女| 国产亚洲欧美在线一区二区| 丰满人妻一区二区三区视频av | 亚洲国产中文字幕在线视频| 夜夜夜夜夜久久久久| 精品一区二区三区四区五区乱码| 午夜精品久久久久久毛片777| 青草久久国产| 日韩高清综合在线| 日韩av在线大香蕉| 天天添夜夜摸| 欧美性猛交黑人性爽| 色吧在线观看| 香蕉av资源在线| 久久精品aⅴ一区二区三区四区| 97碰自拍视频| 国产一级毛片七仙女欲春2| 一本综合久久免费| 国产高清三级在线| 中文在线观看免费www的网站| 国产精品永久免费网站| 在线看三级毛片| 桃红色精品国产亚洲av| cao死你这个sao货| 综合色av麻豆| 波多野结衣高清作品| 久久久成人免费电影| 精品人妻1区二区| 特级一级黄色大片| 一级毛片精品| 这个男人来自地球电影免费观看| 毛片女人毛片| 精品一区二区三区视频在线观看免费| 色尼玛亚洲综合影院| 久久热在线av| 夜夜夜夜夜久久久久| 久99久视频精品免费| 午夜精品在线福利| 1024手机看黄色片| 黄片大片在线免费观看| 欧美成狂野欧美在线观看| 1024手机看黄色片| 亚洲五月婷婷丁香| 黄片大片在线免费观看| 亚洲欧美日韩高清专用| 亚洲欧美日韩高清专用| 可以在线观看的亚洲视频| 欧美乱妇无乱码| 香蕉国产在线看| 午夜精品在线福利| 免费观看的影片在线观看| 国产成人精品久久二区二区91| 老鸭窝网址在线观看| 99riav亚洲国产免费| 国产成人影院久久av| 久久久久久大精品| 亚洲精品色激情综合| 久久久久久久午夜电影| 岛国在线免费视频观看| 两个人视频免费观看高清| 99国产精品一区二区蜜桃av| 日韩av在线大香蕉| 日本a在线网址| 两个人视频免费观看高清| 精品久久久久久久末码| 午夜亚洲福利在线播放| 69av精品久久久久久| 亚洲精华国产精华精| 最近最新免费中文字幕在线| 又大又爽又粗| www.www免费av| 高清毛片免费观看视频网站| 欧美色视频一区免费| 热99re8久久精品国产| 热99re8久久精品国产| 97超级碰碰碰精品色视频在线观看| 欧洲精品卡2卡3卡4卡5卡区| 99热这里只有是精品50| 韩国av一区二区三区四区| 欧美激情久久久久久爽电影| 国产精品98久久久久久宅男小说| av在线蜜桃| 此物有八面人人有两片| 亚洲美女视频黄频| 国产精品九九99| 亚洲九九香蕉| 亚洲av熟女| 99在线视频只有这里精品首页| 欧美3d第一页| 最近最新中文字幕大全电影3| 一级毛片女人18水好多| 国产午夜精品论理片| 女同久久另类99精品国产91| 国内少妇人妻偷人精品xxx网站 | 最近最新免费中文字幕在线| a在线观看视频网站| 99热6这里只有精品| 99久久成人亚洲精品观看| 亚洲午夜理论影院| 三级男女做爰猛烈吃奶摸视频| 三级国产精品欧美在线观看 | 欧美激情在线99| 国产精华一区二区三区| 女人被狂操c到高潮| 亚洲欧洲精品一区二区精品久久久| 亚洲 欧美一区二区三区| 特级一级黄色大片| 亚洲一区二区三区不卡视频| 亚洲精品在线美女| 午夜影院日韩av| 色综合亚洲欧美另类图片| 色综合站精品国产| 亚洲五月天丁香| 国产麻豆成人av免费视频| 欧美另类亚洲清纯唯美| 精品国产乱子伦一区二区三区| 中文字幕久久专区| 91久久精品国产一区二区成人 | 人妻夜夜爽99麻豆av| 女人高潮潮喷娇喘18禁视频| 国产不卡一卡二| 国产精品九九99| 欧美激情在线99| 成人亚洲精品av一区二区| 国产成人av激情在线播放| 亚洲专区字幕在线| 色哟哟哟哟哟哟| 91av网一区二区| 中文字幕人妻丝袜一区二区| 欧美成人一区二区免费高清观看 | 欧美日本视频| 三级男女做爰猛烈吃奶摸视频| 男人舔奶头视频| 色噜噜av男人的天堂激情| 国产成年人精品一区二区| 两个人视频免费观看高清| 后天国语完整版免费观看| 老司机福利观看| 99国产精品99久久久久| 国产亚洲精品久久久久久毛片| 村上凉子中文字幕在线| 久久久成人免费电影| 久久久水蜜桃国产精品网| 亚洲精华国产精华精| 91麻豆av在线| 国产探花在线观看一区二区| 欧美日韩精品网址| 黄色 视频免费看| 日本 av在线| 欧美性猛交黑人性爽| 日韩高清综合在线| 免费在线观看成人毛片| 精品久久久久久久久久免费视频| 日韩国内少妇激情av| 久久精品人妻少妇| 美女高潮喷水抽搐中文字幕| 黄频高清免费视频| 久99久视频精品免费| 日韩欧美在线二视频| 在线观看舔阴道视频| 成年女人看的毛片在线观看| 伊人久久大香线蕉亚洲五| 黄片小视频在线播放| 国模一区二区三区四区视频 | 国产亚洲精品一区二区www| 亚洲中文字幕日韩| 午夜a级毛片| 国产一区二区在线av高清观看| 亚洲黑人精品在线| 在线免费观看不下载黄p国产 | 国产精华一区二区三区| 欧美黄色淫秽网站| 国内精品久久久久精免费| 久久久久久久久中文| 手机成人av网站| 久久久久亚洲av毛片大全| ponron亚洲| 久久这里只有精品中国| 成年女人永久免费观看视频| 色播亚洲综合网| 桃色一区二区三区在线观看| 两个人看的免费小视频| 国内精品一区二区在线观看| 午夜视频精品福利| 久久精品aⅴ一区二区三区四区| 淫秽高清视频在线观看| 久久久久国内视频| 色综合欧美亚洲国产小说| 波多野结衣巨乳人妻| 久久国产精品影院| 亚洲精品在线观看二区| 国产成年人精品一区二区| 91久久精品国产一区二区成人 | 日韩欧美国产一区二区入口| 久久精品aⅴ一区二区三区四区| 狠狠狠狠99中文字幕| 一级作爱视频免费观看| 亚洲国产精品久久男人天堂| 中文资源天堂在线| 好男人电影高清在线观看| 色综合亚洲欧美另类图片| 91久久精品国产一区二区成人 | 99热只有精品国产| 嫩草影院入口| 亚洲第一欧美日韩一区二区三区| 搡老熟女国产l中国老女人| 欧美日本亚洲视频在线播放| 长腿黑丝高跟| 久久久久九九精品影院| 欧美中文综合在线视频| 国产熟女xx| 国产野战对白在线观看| 亚洲精品国产精品久久久不卡| 久久天躁狠狠躁夜夜2o2o| 亚洲国产中文字幕在线视频| 欧美乱色亚洲激情| 亚洲国产精品999在线| 香蕉丝袜av| 国内精品久久久久久久电影| 人妻丰满熟妇av一区二区三区| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲真实伦在线观看| 久久久久久久午夜电影| 真人一进一出gif抽搐免费| 黑人欧美特级aaaaaa片| 99国产精品一区二区三区| 欧美午夜高清在线| av视频在线观看入口| 国产97色在线日韩免费| 国产熟女xx| 亚洲美女黄片视频| 岛国在线免费视频观看| 成人三级做爰电影| 精品福利观看| 国产主播在线观看一区二区| 久久久久国内视频| 麻豆一二三区av精品| 男人舔女人的私密视频| 成年女人永久免费观看视频| 可以在线观看的亚洲视频| 久久久精品大字幕| 成人特级黄色片久久久久久久| 99热只有精品国产| 成人性生交大片免费视频hd| 9191精品国产免费久久| av国产免费在线观看| 一个人观看的视频www高清免费观看 | 无遮挡黄片免费观看| 日本免费a在线| 国内久久婷婷六月综合欲色啪| 国产精品1区2区在线观看.| 在线免费观看的www视频| 十八禁人妻一区二区| 国产在线精品亚洲第一网站| 国产高潮美女av| 亚洲av电影在线进入| 色综合欧美亚洲国产小说| 一级黄色大片毛片| 中文字幕人妻丝袜一区二区| 亚洲人成电影免费在线| 国产成+人综合+亚洲专区| 精品国产三级普通话版| 两性夫妻黄色片| 真人做人爱边吃奶动态| 亚洲av成人不卡在线观看播放网| 国产精品女同一区二区软件 | 亚洲国产欧美一区二区综合| 91老司机精品| 97碰自拍视频| 亚洲七黄色美女视频| 九色国产91popny在线| 每晚都被弄得嗷嗷叫到高潮| 成在线人永久免费视频| 欧美一级毛片孕妇| 网址你懂的国产日韩在线| 黄片小视频在线播放| 亚洲欧美日韩高清专用| 搡老熟女国产l中国老女人| 午夜a级毛片| 国产精华一区二区三区| 日日夜夜操网爽| 无遮挡黄片免费观看| 精品久久久久久久末码| 男女那种视频在线观看| 日韩人妻高清精品专区| 观看美女的网站| 一本精品99久久精品77| 12—13女人毛片做爰片一| 九九热线精品视视频播放| 国产单亲对白刺激| www日本在线高清视频| 一区福利在线观看| 老鸭窝网址在线观看| 级片在线观看| 12—13女人毛片做爰片一| 亚洲无线在线观看| 99热6这里只有精品| 国产伦一二天堂av在线观看| 黄色女人牲交| 国产欧美日韩一区二区精品| 9191精品国产免费久久| av国产免费在线观看| 久久精品91无色码中文字幕| 99热这里只有是精品50| 国产乱人视频| 搡老妇女老女人老熟妇| 国产高清视频在线观看网站| 亚洲成人中文字幕在线播放| 黄片大片在线免费观看| 国产av麻豆久久久久久久| 日韩欧美精品v在线| 十八禁人妻一区二区| 免费一级毛片在线播放高清视频| 午夜影院日韩av| 高清毛片免费观看视频网站| 国产1区2区3区精品| 日韩 欧美 亚洲 中文字幕| 午夜免费激情av| 韩国av一区二区三区四区| 少妇丰满av| 毛片女人毛片| 无限看片的www在线观看| 宅男免费午夜| 亚洲欧美激情综合另类| 小说图片视频综合网站| 深夜精品福利| 两人在一起打扑克的视频| 日本成人三级电影网站| 女生性感内裤真人,穿戴方法视频| 成人亚洲精品av一区二区| 欧美三级亚洲精品| 色综合站精品国产| 成人18禁在线播放| 欧美又色又爽又黄视频| 一边摸一边抽搐一进一小说| 香蕉久久夜色| 香蕉av资源在线| 在线看三级毛片| 一区二区三区激情视频| 舔av片在线| 两个人看的免费小视频| 午夜福利18| 黄片大片在线免费观看| 亚洲专区字幕在线| 哪里可以看免费的av片| 久久精品国产99精品国产亚洲性色| 国产精品1区2区在线观看.| 视频区欧美日本亚洲| 亚洲天堂国产精品一区在线| 日本免费一区二区三区高清不卡| 国产黄色小视频在线观看| 亚洲在线观看片| 亚洲乱码一区二区免费版| 黄频高清免费视频| 天堂网av新在线| 国产一区在线观看成人免费| 久久九九热精品免费| 曰老女人黄片| 91麻豆精品激情在线观看国产| 18美女黄网站色大片免费观看| 看黄色毛片网站| 中文字幕人妻丝袜一区二区| 丰满人妻熟妇乱又伦精品不卡| 国产精品国产高清国产av| 巨乳人妻的诱惑在线观看| 久久久国产成人免费| 看片在线看免费视频| 一进一出抽搐gif免费好疼| 色播亚洲综合网| 国产1区2区3区精品| 男人舔女人下体高潮全视频| 亚洲成人久久爱视频| 网址你懂的国产日韩在线| 久久久久久国产a免费观看| av黄色大香蕉| 久久人人精品亚洲av| 久久午夜亚洲精品久久| 超碰成人久久| 十八禁网站免费在线| 美女扒开内裤让男人捅视频| 神马国产精品三级电影在线观看| 日韩高清综合在线| 激情在线观看视频在线高清| 舔av片在线| 精品国内亚洲2022精品成人| 国产蜜桃级精品一区二区三区| xxxwww97欧美| 国产高清视频在线播放一区| 日本 欧美在线| 99国产精品一区二区三区| 露出奶头的视频| 一级毛片女人18水好多| 国产蜜桃级精品一区二区三区| 久久久国产成人精品二区| 亚洲 国产 在线| 黄片大片在线免费观看| 亚洲va日本ⅴa欧美va伊人久久| 九九热线精品视视频播放| 精品一区二区三区av网在线观看| 男人舔女人下体高潮全视频| 最新在线观看一区二区三区| 91字幕亚洲| 两性夫妻黄色片| 国产精品99久久99久久久不卡| 免费观看人在逋| 一级毛片女人18水好多| 搡老岳熟女国产| 久久久久性生活片| 国内少妇人妻偷人精品xxx网站 | netflix在线观看网站| АⅤ资源中文在线天堂| 精品久久久久久久久久免费视频| 色综合亚洲欧美另类图片| 亚洲avbb在线观看| 久久久国产欧美日韩av| aaaaa片日本免费| 国产乱人视频| 成年人黄色毛片网站| 小说图片视频综合网站| 亚洲av熟女| 99国产精品一区二区三区| 午夜福利免费观看在线| 淫妇啪啪啪对白视频| 少妇丰满av| 99热6这里只有精品| 国产高潮美女av| 桃红色精品国产亚洲av| 国语自产精品视频在线第100页| 舔av片在线| 中文字幕av在线有码专区| 日韩三级视频一区二区三区| 真实男女啪啪啪动态图| av欧美777| 特大巨黑吊av在线直播| 丁香欧美五月| 午夜激情欧美在线| 久久精品人妻少妇| 亚洲色图 男人天堂 中文字幕| 日本成人三级电影网站| 成在线人永久免费视频| 小蜜桃在线观看免费完整版高清| 久久中文看片网| 国产高清videossex| 亚洲片人在线观看| 久久久国产成人精品二区| 日韩精品青青久久久久久| 午夜福利视频1000在线观看| 日本成人三级电影网站| 午夜福利在线观看吧| 国产乱人伦免费视频| av视频在线观看入口| 搞女人的毛片| 日本a在线网址| 免费看光身美女| 在线观看美女被高潮喷水网站 | 国产毛片a区久久久久| 91在线精品国自产拍蜜月 | 国产人伦9x9x在线观看| 国产免费av片在线观看野外av| 色综合欧美亚洲国产小说| 午夜福利18| 日本黄色片子视频|