• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    連續(xù)語音識別中基于Dropout修正線性深度置信網(wǎng)絡(luò)的聲學模型

    2016-09-07 06:24:32陳雷楊俊安王龍李晉徽
    聲學技術(shù) 2016年2期
    關(guān)鍵詞:結(jié)點聲學修正

    陳雷,楊俊安,王龍,李晉徽

    ?

    連續(xù)語音識別中基于Dropout修正線性深度置信網(wǎng)絡(luò)的聲學模型

    陳雷1,2,楊俊安1,2,王龍1,2,李晉徽1,2

    (1. 電子工程學院,安徽合肥230037;2. 電子制約技術(shù)安徽省重點實驗室,安徽合肥230037)

    大詞匯量連續(xù)語音識別系統(tǒng)中,為了增強現(xiàn)有聲學模型的表征能力、防止模型過擬合,提出一種基于遺失策略(Dropout)修正線性深度置信網(wǎng)絡(luò)的聲學模型構(gòu)建方法。該方法使用修正線性函數(shù)代替?zhèn)鹘y(tǒng)Logistic函數(shù)進行深度置信網(wǎng)絡(luò)訓練,修正線性函數(shù)更接近生物神經(jīng)網(wǎng)絡(luò)的工作方式,增強了模型的表征能力;同時引入Dropout策略對修正線性深度置信網(wǎng)絡(luò)進行調(diào)整,避免節(jié)點之間的協(xié)同作用,防止網(wǎng)絡(luò)出現(xiàn)過擬合。文章利用公開語音數(shù)據(jù)集進行了實驗,實驗結(jié)果證明了所提出的聲學模型構(gòu)建方法相對于傳統(tǒng)方法的優(yōu)越性。

    連續(xù)語音識別;深度置信網(wǎng)絡(luò);修正線性;過擬合;Dropout

    0 引言

    語音識別技術(shù)是指機器通過識別和理解把人類的語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)。大詞匯量連續(xù)語音識別(Large Vocabulary Continuous Speech Recognition,LVCSR)在公共安全、語音控制、可穿戴設(shè)備等領(lǐng)域有著廣泛的應(yīng)用,對連續(xù)語音識別展開深入研究對推動整個語音識別產(chǎn)業(yè)發(fā)展有著非比尋常的意義。相比于孤立詞識別,連續(xù)語音識別系統(tǒng)更多地強調(diào)運用語言學知識,更加注重對上下文的關(guān)聯(lián)信息的分析,能夠有效地挖掘和利用語音數(shù)據(jù)的深層次信息。但是由于連續(xù)語音的發(fā)音更為隨意,更易受協(xié)同發(fā)音、發(fā)音習慣、信道噪聲的影響;訓練過程中還需要考慮到切分(把輸入的語料切分以得到可以處理的較小的部分)和強制對齊(使得每一幀特征嚴格對應(yīng)到模型的各個音素上)等復(fù)雜技術(shù)。這使得連續(xù)語音識別的識別準確率和魯棒性遠不及孤立詞和特定人識別,同時也使連續(xù)語音識別成為語音識別領(lǐng)域極具挑戰(zhàn)性的研究課題[1]。

    目前主流的語音識別系統(tǒng)主要由三部分組成:特征提取、聲學模型以及解碼[2]。特征提取的主要功能是從輸入的原始語音中提取出有利于后續(xù)識別的語音特征。聲學模型的主要作用是匹配輸入的語音特征,進而識別出對應(yīng)的語音單元,作為LVCSR系統(tǒng)中的核心模塊,聲學模型起到了底層支撐的作用,本文主要針對聲學模型模塊展開研究。

    早期語音識別系統(tǒng)大多使用動態(tài)時間規(guī)整方法進行聲學模型構(gòu)建,這種方法消耗大量內(nèi)存,計算量巨大;隨后高斯混合模型(Gaussian Mixture Models,GMM)與隱馬爾科夫模型(Hidden Markov Models, HMM)聯(lián)合構(gòu)成的GMM+HMM[3]在聲學模型中得到了廣泛的應(yīng)用,一度成為LVCSR系統(tǒng)的標準配置。但是GMM+HMM仍然存在一些缺陷,包括表征能力不強、容易陷入局部最優(yōu)、未考慮上下文相關(guān)信息等。

    近年來,深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)的提出為建立更加有效的聲學模型提供了新的思路,它具有諸多優(yōu)點:對語音數(shù)據(jù)的內(nèi)部結(jié)構(gòu)和概率密度函數(shù)要求不嚴格;可對較長時間段的語音數(shù)據(jù)進行處理;對不同說話人的說話方式、口音、噪聲等干擾的魯棒性更強;在處理語音數(shù)據(jù)時,具有更強的建模能力。于是相關(guān)學者將DBN引入聲學模型,構(gòu)建了DBN+HMM聲學模型[4],DBN的深層模型能夠模擬人腦神經(jīng)網(wǎng)絡(luò)的工作機理對語音數(shù)據(jù)進行處理,同時能夠完美地與HMM上下文相關(guān)三音子模型結(jié)合。

    DBN+HMM聲學模型表現(xiàn)出了諸多的優(yōu)越性,但是尋求表征更強的模型構(gòu)建方法始終是我們追尋的目標;同時當前訓練模型中存在著過擬合現(xiàn)象,特別是當訓練數(shù)據(jù)比較充足時過擬合現(xiàn)象尤為突出,這會嚴重影響模型的性能[5]。

    相關(guān)學者已經(jīng)將修正線性函數(shù)和Dropout策略引入深度神經(jīng)網(wǎng)絡(luò)中,并取得了較好的成果。文獻[6]首先提出了Dropout策略,作者將Dropout策略應(yīng)用于前饋神經(jīng)網(wǎng)絡(luò)以防止過擬合,在圖像識別和英語語音數(shù)據(jù)集上的實驗證明了該方法的有效性;文獻[5]在深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks, DNN)的基礎(chǔ)上引入修正線性函數(shù),該方法首先利用受限波爾茲曼機(Restricted Boltzmann Machine, RBM)進行預(yù)訓練,隨后使用貝葉斯方法對網(wǎng)絡(luò)進行優(yōu)化,在此基礎(chǔ)上還結(jié)合了Dropout策略防止過擬合,文章的最后利用所提方法進行圖像識別,取得了較好的識別性能;文獻[7]使用修正線性節(jié)點來改進受限波爾茲曼機,在圖像識別中取得了較好的性能;文獻[8]使用修正線性節(jié)點進行稀疏自動編碼機(Auto-Encoder,AE)的訓練,在英語語音和圖像測試集上取得了較好的識別效果。

    針對DBN+HMM聲學模型中存在的表征能力不強、過擬合的問題,本文提出一種基于Dropout RDBN(Rectified Deep Belief Network,RDBN)+ HMM的聲學模型構(gòu)建方法,該方法首先使用修正線性函數(shù)代替?zhèn)鹘y(tǒng)的Logistic函數(shù)作為激活函數(shù)來進行DBN訓練,提高了模型的表征能力;同時引入Dropout策略避免模型的過擬合。最后利用Dropout RDBN+HMM聲學模型在公開數(shù)據(jù)集上進行了實驗,實驗結(jié)果表明基于Dropout RDBN +HMM的聲學模型構(gòu)建方法相對于傳統(tǒng)方法更有效。

    1 基于Dropout RDBN+HMM的聲學模型

    1.1 DBN基本理論

    一個典型DBN的結(jié)構(gòu)圖如圖1所示。DBN雖然本質(zhì)上仍然是一種多層感知器神經(jīng)網(wǎng)絡(luò)(Multi-Layer Perceptron neural networks, MLP),但是與傳統(tǒng)的MLP構(gòu)建方式不同,它是由一系列受限波爾茲曼機疊加而成的[9-10]。

    一個典型的RBM如圖2所示,它由兩層神經(jīng)元構(gòu)建而成的:一層是顯層神經(jīng)元(一般為伯努利型或高斯型),另一層為隱層神經(jīng)元(一般為伯努利型)。顯層神經(jīng)元和隱層神經(jīng)元相互連接,但是同一層神經(jīng)元相互之間沒有連接。由于伯努利-伯努利RBM采用的是二進制方式,不能很好地對自然界的真實數(shù)據(jù)如語音進行建模,因此在實際應(yīng)用中,一般采用高斯-伯努利RBM對語音進行建模,一個高斯-伯努利RBM的能量函數(shù)可以表示為

    (2)

    (4)

    (6)

    (7)

    1.2 基于DBN+HMM的聲學模型

    基于DBN+HMM的聲學模型能夠?qū)ι舷挛南嚓P(guān)的多元音素進行建模,從而得到對應(yīng)于每一個狀態(tài)的后驗概率,由條件概率公式可以得到HMM狀態(tài)的輸出概率為:

    圖3 DBN+HMM結(jié)構(gòu)示意圖

    Fig.3 Schematic diagram of DBN+HMM

    1.3 基于RDBN+HMM的聲學模型

    傳統(tǒng)的網(wǎng)絡(luò)擁有相似的多重前饋網(wǎng)絡(luò)結(jié)構(gòu),這些隱含層通過Logistic函數(shù)執(zhí)行近似線性操作。Logistic函數(shù)能夠使用BP網(wǎng)絡(luò)對參數(shù)進行較好的優(yōu)化,同時能夠挖掘數(shù)據(jù)的深層次非線性特征,因此一度被認為是深度神經(jīng)網(wǎng)絡(luò)的重要組成部分。但是Logistic函數(shù)的一些問題同樣不容忽視:(1) 當概率較小時,函數(shù)近似一種泊松分布,但是當概率的取值逐漸趨近于1時,方差再次變小,這是我們所不期望看到的;(2) 對于小數(shù)值的概率,總體輸入按概率以指數(shù)形式增長,相對于漸進式單元魯棒性較差;(3) 在使用梯度下降法求取最優(yōu)解時會遇到梯度消失的問題。因此尋求表征能力更強的模型便成為了進一步研究的方向。圖4所示為Logistic 函數(shù)()和修正線性函數(shù)()。

    (a) Logistic函數(shù)

    (b) 修正線性函數(shù)

    圖4 Logistic函數(shù)和修正線性函數(shù)

    Fig.4 Logistic function and rectified function

    由圖4可以看到Logistic函數(shù)更加平滑,同時有一個函數(shù)值上限。相比于傳統(tǒng)的Logistic函數(shù),修正線性函數(shù)能夠擁有更加出色的性能,本文總結(jié)了以下幾點原因:

    (1) 修正線性的這種硬判決的形式更類似于人腦神經(jīng)網(wǎng)絡(luò)中神經(jīng)元信息傳遞方式,更加具有仿生學特性,這帶來了識別速度和準確率的提升[12]。

    從函數(shù)圖形上看,修正線性函數(shù)比Logistic函數(shù)更接近生物學的激活模型,如圖5所示[13]。

    (2) 在使用BP算法對網(wǎng)絡(luò)進行微調(diào)優(yōu)化時,反向傳輸?shù)倪^程中使用簡單的分段函數(shù)(修正線性函數(shù)的反函數(shù))進行權(quán)重更新。

    (3) 修正線性網(wǎng)絡(luò)的另一個優(yōu)勢是它進行硬判決,即對于輸入為負數(shù)時,輸出取值為零。這使得神經(jīng)網(wǎng)絡(luò)僅有一小部分處于激活狀態(tài),便達到了神經(jīng)網(wǎng)絡(luò)所追求的稀疏特性。

    (4) 隨著的逐漸增大,修正線性的神經(jīng)單元輸出并不趨于飽和,這一特性是修正線性函數(shù)在深度結(jié)構(gòu)中取得優(yōu)異表現(xiàn)的重要原因——正是因為線性單元的引入,避免了梯度消失的問題。

    (5) 修正線性函數(shù)的引入使神經(jīng)網(wǎng)絡(luò)成為局部競爭網(wǎng)絡(luò),局部競爭網(wǎng)絡(luò)由許多子網(wǎng)絡(luò)構(gòu)成,而且子網(wǎng)絡(luò)之間的大量權(quán)重共享使網(wǎng)絡(luò)更容易訓練。如果網(wǎng)絡(luò)中不存在子網(wǎng)絡(luò),訓練一個由多個神經(jīng)網(wǎng)絡(luò)來完成簡單任務(wù)將會非常困難:不僅需要全局門限機制,同時要對算法和目標函數(shù)進行修正以引入網(wǎng)絡(luò)之間的競爭。在優(yōu)化的階段,子網(wǎng)絡(luò)在訓練的初始階段使用較短的時間進行組織,使相似的樣本擁有更多相同的參數(shù)。

    圖6所示的Maxout函數(shù)為一種局部競爭網(wǎng)絡(luò),可以想象自動加入一個“隱隱含層”。通過這種同一層節(jié)點之間的競爭作用,Maxout這種淺層神經(jīng)網(wǎng)絡(luò)取得了較好的識別性能,而本文的修正線性網(wǎng)絡(luò)則是通過隱層節(jié)點與0的競爭作用達到了同樣的效果。

    由于以上原因,基于修正線性函數(shù)打破了傳統(tǒng)的Logistic函數(shù)的壟斷,成為了神經(jīng)網(wǎng)絡(luò)訓練的主流方法。相關(guān)學者通過在語音識別、圖像識別等領(lǐng)域的研究發(fā)現(xiàn)修正線性不僅能夠取得識別準確率的提升,而且能夠更方便、快捷地完成訓練和識別。

    修正線性函數(shù)有多種形式,諸如softplus函數(shù)(見圖7)、過濾修正線性函數(shù)(Leaky Rectified Linear,LReL)、噪聲修正線性函數(shù)(Noisy Recti?ed Linear Unit,NReLU)等。本節(jié)首先對softplus函數(shù)進行介紹。

    (a) 修正線性函數(shù)

    (b) Softplus函數(shù)

    圖7 修正線性函數(shù)和Softplus函數(shù)效果對比圖

    Fig.7 Rectified function and Softplus function

    圖7(b)所示為Softplus函數(shù),作為修正線性函數(shù)的平滑版本,Softplus函數(shù)有許多出色性質(zhì),設(shè)同一層的單元有著相同的權(quán)重矩陣,偏置以固定的數(shù)值漸變。如果設(shè)置變化量為-0.5,-1.5,-2.5…那么總體的概率分布有一個很好的近似結(jié)果,如公式(9)所示:

    所有單元的總體活躍度接近于修正線性函數(shù)的一個噪聲、整數(shù)、平滑的版本。盡管并不是指數(shù)函數(shù)族中的成員,但是仍然能夠使用共享的權(quán)重和遞變的偏置來構(gòu)建它的模型,這種方法并沒有引入額外的參數(shù),同時提供了一種更出色的模型訓練方法。

    隨著訓練的深入進行,發(fā)現(xiàn)如下問題:首先,如果經(jīng)過修正線性調(diào)整在原非零位置重構(gòu)了一個零結(jié)點,在進行權(quán)重的反向傳導的過程中重構(gòu)結(jié)點無法進行梯度的傳播,這使識別準確率大打折扣,嚴重影響系統(tǒng)性能;其次,由于修正線性輸出無上限,權(quán)重傳輸不能應(yīng)用常規(guī)BP網(wǎng)絡(luò)所使用的方法進行處理。為解決上述問題,本文在DBN中引入噪聲項,構(gòu)建噪聲修正線性結(jié)點(Noisy Recti?ed Linear Unit,NReLU)。

    由此,訓練過程中的公式(2)和公式(3)相應(yīng)的用公式(10)和公式(11)表示:

    (11)

    使用BP網(wǎng)絡(luò)進行優(yōu)化的過程同樣使用修正線性函數(shù)進行訓練,不引入噪聲項,以修正線性節(jié)點代替?zhèn)鹘y(tǒng)的二元節(jié)點進行訓練,在誤差反向傳導的過程中使用公式(12)進行。

    RDBN的訓練流程如下:

    (1) 參數(shù)初始化;

    預(yù)訓練:

    (2) 使用公式(10)、(11)進行修正線性RBM訓練;

    (3) 采用CD算法利用公式(5)~(7)調(diào)整權(quán)重和偏置;

    (4) 逐層完成RBM訓練,RBM初值調(diào)整完畢;

    微調(diào):

    (5) 將預(yù)訓練的權(quán)值賦給相同網(wǎng)絡(luò)結(jié)構(gòu)的BP網(wǎng)絡(luò);

    (6) 權(quán)重反向傳輸過程使用公式(12)進行。

    1.4 基于Dropout RDBN+HMM的聲學模型

    1.3節(jié)構(gòu)建了RDBN+HMM的聲學模型,識別效果取得了一定提升,但并未達到預(yù)期。深入分析過后發(fā)現(xiàn),模型存在過擬合現(xiàn)象,特別是在RDBN中,修正線性函數(shù)的硬判決使網(wǎng)絡(luò)的過擬合現(xiàn)象更為突出。

    將為了得到一致假設(shè)而使假設(shè)變得過度復(fù)雜這種現(xiàn)象為過擬合。在DBN中,當訓練樣本相對于模型參數(shù)來說比較充裕的時候,可能產(chǎn)生的分類決策面不唯一的情況,需要多個結(jié)點協(xié)同對參數(shù)進行表示,獨立的隱含層節(jié)點無法較好地對模型進行表征。這種協(xié)同作用在訓練集中表現(xiàn)較好、具有較高的分類正確率。但是在測試集中往往表現(xiàn)不佳,因為在訓練集上對網(wǎng)絡(luò)的調(diào)整使參數(shù)具有了協(xié)同作用,在測試集上卻無法進行類似的調(diào)整。同時,復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)不可避免地帶來訓練速度的降低。

    傳統(tǒng)解決過擬合問題的主要方法為權(quán)值衰減,該方法每次迭代過程中加入一個與網(wǎng)絡(luò)權(quán)值總量相應(yīng)的懲罰項,進而保持權(quán)值較小,使學習過程向著復(fù)雜決策面的反方向進行。這種方法對網(wǎng)絡(luò)的優(yōu)化調(diào)整作用效果有限。

    本文考慮從網(wǎng)絡(luò)結(jié)構(gòu)的角度出發(fā)對網(wǎng)絡(luò)模型進行調(diào)整,引入Dropout策略對模型結(jié)構(gòu)進行調(diào)整,進而防止過擬合。具體來說,Dropout中每一個結(jié)點隨機以一定的概率被置零,這樣網(wǎng)絡(luò)結(jié)點不能夠?qū)ζ渌Y(jié)點的即時狀態(tài)做出響應(yīng),權(quán)值的更新不再依賴于有固定關(guān)系的隱含結(jié)點的共同作用,阻止了某些結(jié)點僅僅在其他特定結(jié)點下發(fā)揮作用的情況。

    從另一個角度來看,一個降低測試集上識別錯誤率的方法是對大量不同的網(wǎng)絡(luò)進行訓練,然后對訓練結(jié)果求取均值。標準的方法是訓練很多不同的網(wǎng)絡(luò)結(jié)構(gòu),然后使用這些網(wǎng)絡(luò)結(jié)構(gòu)進行數(shù)據(jù)的測試。但是這種方法無論在訓練還是測試階段計算成本都十分可觀。隨機進行Dropout使得在同一時間對大量的不同的網(wǎng)絡(luò)結(jié)構(gòu)進行訓練成為可能。對于每一次輸入到網(wǎng)絡(luò)中的樣本,對應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)都有差異,但這些網(wǎng)絡(luò)結(jié)構(gòu)同時共享隱含層結(jié)點的權(quán)值,從而達到了求取均值的目的。

    本文將Dropout策略引入RDBN+HMM中,提出了基于Dropout RDBN+HMM的聲學模型構(gòu)建方法。Dropout RDBN+HMM訓練的總體思路是:在每個訓練樣本訓練時,對于每一個隱含層的每一個結(jié)點來說,都按照一個固定的概率決定它是否激活,若某個結(jié)點不幸沒被激活,便視該結(jié)點的輸出值為0。相比于RDBN+HMM,引入Dropout后網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)做如下調(diào)整:

    (1) 訓練階段:前饋網(wǎng)絡(luò)的部分權(quán)值的每一個隱含層結(jié)點的輸出值以一定的百分比隨機置零,這樣便完成了Dropout前饋網(wǎng)絡(luò)的構(gòu)建;

    (2) 訓練階段:由于前饋網(wǎng)絡(luò)中使用Dropout,在微調(diào)部分權(quán)重反向傳輸?shù)倪^程中要進行相應(yīng)的調(diào)整,具體操作為網(wǎng)絡(luò)計算結(jié)點誤差時將誤差以一定的幾率置零;

    (3) 測試階段:前饋網(wǎng)絡(luò)部分對于前饋網(wǎng)絡(luò)的處理與訓練階段相同,以相同的百分比將權(quán)重置零。

    2 實驗結(jié)果與分析

    2.1 數(shù)據(jù)集

    本文采用的數(shù)據(jù)集分為兩部分:第一部分為普通話評測第四題數(shù)據(jù)集。訓練集共包含語音76843句,共64.1小時;測試集含3720句,共2.6小時,兩個集共含2000多個說話人。

    第二部分數(shù)據(jù)集會話主題開放,表達方式較為隨意、信道噪聲復(fù)雜,是中文連續(xù)語音識別難度較大的任務(wù)之一,其訓練集和測試集如表1、2所示。

    表1 訓練集

    表2 測試集

    2.2 實驗系統(tǒng)構(gòu)建

    本文采用的語音識別基線系統(tǒng)為DBN+HMM音素識別系統(tǒng)。首先進行濾波器組特征提取,隨后進行聲道參數(shù)規(guī)整(Vocal Tract Length Normalization,VTLN VTLN),再進行DBN訓練,采用72維的濾波器組特征[14]作為單幀特征(靜態(tài)、一階、二階差分),考慮到4維音調(diào)特征,共79維,每一幀前后各擴展5幀得到11幀的音素作為每一維的輸入。

    濾波器組特征是對梅爾域倒譜系數(shù)特征(Mel Frequency Cepstral Coefficients, MFCC)特征的調(diào)整,圖8為MFCC特征提取流程。

    進行深入分析后發(fā)現(xiàn),從信息的豐富程度來看,MFCC是經(jīng)過了降維處理的,在降維過程中盡管只舍棄掉了離散余弦變換變換后一些不重要的維,但是這些維仍然包含一定的有用信息。因此,本文考慮采用降維之前的特征即經(jīng)過Filter Bank濾波器組以后的輸出替換MFCC用來訓練DBN,F(xiàn)ilter Bank特征提取流程如圖9所示。

    為了與MFCC盡可能相似,本文仍然使用了一階差分、二階差分和靜態(tài)特征拼接在一起,并且拼接上了4維的Pitch特征。最終的特征網(wǎng)絡(luò)變?yōu)?9*11-[2048-2048-2048-43]-3936。

    本文使用文獻[15]給出的參數(shù)設(shè)置方法進行參數(shù)調(diào)節(jié)。權(quán)重以均值為0、方差為0.01的高斯分布取值;預(yù)訓練過程中設(shè)定訓練周期為200;批大小(Batch Size)為1024;迭代次數(shù)為10次。Momentum被用來加速訓練,初始選取為0.5,通過20次迭代線性增長到0.9;L2正則懲罰因子為0.002;聲學模型規(guī)整因子為1.2。

    2.3 實驗結(jié)果及分析

    本文設(shè)計了三組實驗來驗證本文所提出的聲學模型構(gòu)建方法的有效性,實驗1在規(guī)模較小的PSC數(shù)據(jù)集上對RDBN+HMM的學習速率和權(quán)重衰減系數(shù)進行調(diào)整;實驗2對Dropout的置零率進行調(diào)整;實驗3在以上實驗的基礎(chǔ)上對Dropout RDBN+HMM聲學模型性能進行了驗證。

    本文使用詞錯誤率(Word Error Rate, WER)作為評價標準。通過對比不同模型的WER對模型的性能進行評估。

    2.3.1 實驗1

    首先,本文對預(yù)訓練的學習速率進行了調(diào)整。具體實驗結(jié)果如表3所示。

    表3 預(yù)訓練學習速率對詞錯誤率的影響表

    可見,當學習速度較大時,會導致整個訓練過程不收斂,從而出現(xiàn)無法進行訓練的情況,而學習速度為0.0125時就出現(xiàn)了不收斂的現(xiàn)象。從表3結(jié)果來看,學習速度對整個預(yù)訓練過程的影響較小,學習速度取在0.01時能夠取得最優(yōu)性能,在后續(xù)的訓練中將學習速度統(tǒng)一設(shè)置為0.01。

    隨后,本文進行了權(quán)重衰減系數(shù)的調(diào)整,測試不同預(yù)訓練權(quán)重衰減系數(shù)對識別性能的影響,具體實驗結(jié)果如表4所示。

    表4 不同權(quán)重衰減對詞錯誤率的影響

    權(quán)重衰減在每次迭代過程中以小因子降低每個權(quán)值,加入一個與網(wǎng)絡(luò)權(quán)值的總量相應(yīng)的懲罰項,保持權(quán)值較小,從而使學習向著復(fù)雜決策面的反方向進行,有效地防止過擬合。從表4識別結(jié)果可以看出,較小的權(quán)重衰減能夠從一定程度上防止過擬合,提升識別性能,但是當權(quán)重衰減較大時,網(wǎng)絡(luò)反而不能達到所需的精度,識別性能開始下降。權(quán)重衰減系數(shù)為0.0008能夠達到最優(yōu)的性能。因此,本文中采用0.0008的權(quán)重衰減系數(shù)。

    2.3.2 實驗2

    在試驗2中本文重點研究Dropout置零率對系統(tǒng)識別性能的影響,實驗中置零率分別設(shè)置為0、0.1、0.2、0.3、0.4、0.5、0.6、0.7。在測試集2上測試的結(jié)果表5所示。

    表5 不同置零率對詞錯誤率的影響

    通過實驗,Dropout的置零率在0.3時系統(tǒng)取得最優(yōu)效果,過高或過低的置零率都會帶來識別準確率的下降,因此本文在后續(xù)實驗中Dropout置零率統(tǒng)一設(shè)置為0.3。

    2.3.3 實驗3

    在上述實驗的基礎(chǔ)上,本實驗針對本章所提出的基于Dropout RDBN+HMM聲學模型進行實驗驗證,分別建立了傳統(tǒng)基于DBN+HMM的聲學模型、基于RDBN+HMM的聲學模型、基于Dropout DBN+HMM的聲學模型以及基于Dropout RDBN+HMM的聲學模型,在數(shù)據(jù)集2上對上述模型進行驗證,實驗結(jié)果如表6所示。

    表6 不同聲學模型的識別性能對比

    通過實驗發(fā)現(xiàn):①模型(1)和模型(2)實驗結(jié)果表明,在不同的數(shù)據(jù)集上,基于RDBN+HMM的聲學模型相對于傳統(tǒng)的DBN+HMM的聲學模型均取得了效果的提升,符合實驗預(yù)期,表明了基于RDBN+HMM的聲學模型是一種表征能力更強的聲學模型構(gòu)建方法;②模型(1)和模型(3)的實驗結(jié)果表明:Dropout DBN+HMM相對于傳統(tǒng)的DBN+ HMM取得了一定的詞錯誤率提升,Dropout策略能夠防止過擬合;③模型(4)有著最佳的實驗結(jié)果,證明了Dropout策略能夠與修正線性網(wǎng)絡(luò)協(xié)同作用于DBN+HMM,這使得基于Dropout RDBN+HMM的聲學模型在擁有較強表征能力的同時,能夠利用Dropout策略防止模型過擬合。

    修正線性結(jié)點的硬判決有助于識別速度的提升,能夠抵消Dropout策略的引入給模型訓練速度帶來的負面影響??紤]到模型訓練過程中要引入切分、強制對齊等技術(shù)進行分步訓練,難以對模型訓練時間進行準確把握,同時聲學模型訓練過程的耗時對解碼識別過程影響不大,故未對訓練速度做定量分析。

    3 總結(jié)

    本文提出一種基于Dropout RDBN+HMM的聲學模型構(gòu)建方法。該方法使用修正線性函數(shù)代替?zhèn)鹘y(tǒng)的Logistic函數(shù)進行DBN的訓練,使用修正線性函數(shù)的硬判決對網(wǎng)絡(luò)進行優(yōu)化,增強了模型的表征能力;同時引入Dropout策略對網(wǎng)絡(luò)模型進行調(diào)整,防止訓練過程中出現(xiàn)過擬合,促使系統(tǒng)構(gòu)成一個均值網(wǎng)絡(luò),提高了網(wǎng)絡(luò)的泛化能力。本文在聲道環(huán)境復(fù)雜、會話主題多樣的多個數(shù)據(jù)集中進行了測試,新的聲學模型構(gòu)建方法相對于傳統(tǒng)方法取得了2.0%的詞錯誤率提升,表明本文提出的基于Dropout RDBN+HMM的聲學模型構(gòu)建方法相對于傳統(tǒng)方法的優(yōu)越性。

    [1] 鄭鐵然. 基于音節(jié)網(wǎng)格的漢語語音文檔檢索方法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學.2008.

    [2] 韓紀慶, 張磊, 鄭鐵然. 語音信號處理[M]. 北京: 清華大學出版社. 2004.

    [3] Torres-Carrasquillo P A, Singer E, Kohler M A., et al. Approaches to language identification using gaussian mixture models and shifted delta cepstral features [C]//Proc ICSLP. 2002: 33-36.

    [4] Mohamed A, Dahl G, Hinton G. Acoustic modeling using deep belief networks [J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20(1): 14-22.

    [5] Dahl G E, Sainath T N, Hinton G E. Improving deep neural networks for lvcsr using recti?ed linear units and dropout[C]//ICASSP, 2013.

    [6] Hinton G, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. The Computing Research Repository, abs/1207.0580, 2012.

    [7] Vinod Nair, Geo?rey G, Hinton. rectified linear units improve restricted boltzmann machines[C]//ICML-10.2010.

    [8] Zeiler M D, Ranzato M, Monga R., et al. On Recti?ed Linear Units for Speech Processing[C]//ICASSP, 2013.

    [9] Hinton G, Salakhutdinov R.. Reducing the dimensionality of data with neural networks [J]. Science. 2006, 313(5786): 504-507.

    [10] Yu D, Seltzer M. Improved bottleneck features using pre-trained deep neural networks[C]//Proceedings of the International Speech Communication Association, 2011, Florence, Italy: 237-240.

    [11] Yu D, Deng L, Dahl G E. Roles of pre training and fine-tuning in context-dependent dbn-hmms for real-world speech recognition[C]//NIPS 2010 Workshop on Deep Learning for Speech Recognition and Related Applications, 2009.

    [12] Glorot X, Bordes A, Bengio Y. Deep sparse recti?er neural networks[C]//Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, 2011.

    [13] Purves D, George J, Augustine, Fitzpatrick D, et al. Neuroscience [M]. 2nd, Sinauer Associates Inc, 2001. ISBN 087893-741-2.

    [14] Chakroborty S, Roy A, Majumdar S, et al. Capturing complementary information via reversed filter bank and parallel implementation with mfcc for improved text-independent speaker identification[C]//Computing: Theory and Applications, 2007 ICCTA07 International Conference on: IEEE. 2007: 463-467

    [15] Hinton G. A practical guide to training restricted boltzmann machines [R]. Technical Report 2010-003, Machine Learning Group, University of Toronto, Canada, 2010.

    Acoustic model based on Dropout rectified deep belief network in large vocabulary continuous speech recognition system

    CHEN Lei1, 2, YANG Jun-an1,2, WANG Long1, 2, LI Jin-hui1, 2

    (1. Electronic Engineering Institute, Hefei 230037, Anhui, China;2. Key Laboratory of Electronic Restriction, Anhui Province, Hefei 230037, Anhui, China)

    To improve representation ability of acoustic model and prevent over fitting in large vocabulary continuous speech recognition system, this article proposes a method of establishing the acoustic model based on Dropout rectified Deep Belief Network (DBN). This method uses rectified linear function instead of traditional Logistic function as the activation function for DBN training, and the rectified linear function that is closer to the working mode of biological neural network can improve acoustic representation ability of the model, simultaneously Dropout strategy is introduced to avoid the synergy between nodes and to prevent over fitting. The actual test certificate on public speech databases proves the superiority of the proposed method over the conventional one.

    large vocabulary continuous speech recognition; deep belief network; rectified linear function; over fitting; Dropout

    TP391

    A

    1000-3630(2016)-02-0146-09

    10.16300/j.cnki.1000-3630.2016.02.0012

    2015-03-08;

    2015-04-17

    國家自然科學基金資助項目(60872113)

    陳雷(1990-), 男, 遼寧鐵嶺人, 碩士研究生, 研究方向為語音識別和機器學習。

    陳雷, E-mail: plory89@163.com

    猜你喜歡
    結(jié)點聲學修正
    Some new thoughts of definitions of terms of sedimentary facies: Based on Miall's paper(1985)
    修正這一天
    快樂語文(2021年35期)2022-01-18 06:05:30
    愛的就是這股Hi-Fi味 Davis Acoustics(戴維斯聲學)Balthus 70
    合同解釋、合同補充與合同修正
    法律方法(2019年4期)2019-11-16 01:07:28
    Acoustical Treatment Primer:Diffusion談?wù)劼晫W處理中的“擴散”
    Acoustical Treatment Primer:Absorption談?wù)劼晫W處理中的“吸聲”(二)
    Acoustical Treatment Primer:Absorption 談?wù)劼晫W處理中的“吸聲”
    Ladyzhenskaya流體力學方程組的確定模與確定結(jié)點個數(shù)估計
    軟件修正
    基于Raspberry PI為結(jié)點的天氣云測量網(wǎng)絡(luò)實現(xiàn)
    能在线免费观看的黄片| 亚洲黑人精品在线| 国内精品久久久久精免费| 国产视频内射| 亚洲欧美激情综合另类| aaaaa片日本免费| 亚洲欧美激情综合另类| 午夜激情欧美在线| 三级毛片av免费| 亚洲欧美激情综合另类| 亚洲第一欧美日韩一区二区三区| 亚洲成人久久爱视频| 很黄的视频免费| 一本久久中文字幕| 久99久视频精品免费| 成年女人毛片免费观看观看9| 中出人妻视频一区二区| 日韩有码中文字幕| 最近在线观看免费完整版| 亚洲精品久久国产高清桃花| 国模一区二区三区四区视频| a在线观看视频网站| 国内精品久久久久久久电影| 国产人妻一区二区三区在| 国产日本99.免费观看| 99热6这里只有精品| 国产精品久久久久久久久免 | 自拍偷自拍亚洲精品老妇| 欧美bdsm另类| 深夜精品福利| 中文字幕av成人在线电影| 婷婷精品国产亚洲av在线| 亚洲片人在线观看| 99在线人妻在线中文字幕| 亚洲狠狠婷婷综合久久图片| 久久国产乱子伦精品免费另类| 亚洲av二区三区四区| 亚洲va日本ⅴa欧美va伊人久久| 欧美丝袜亚洲另类 | 日本与韩国留学比较| 国内精品美女久久久久久| 国产亚洲精品久久久久久毛片| 成人国产综合亚洲| 亚洲国产精品合色在线| 能在线免费观看的黄片| 欧美性猛交╳xxx乱大交人| 色哟哟·www| 乱人视频在线观看| 一区二区三区四区激情视频 | 久99久视频精品免费| 狂野欧美白嫩少妇大欣赏| 午夜激情欧美在线| 日韩欧美国产在线观看| a级一级毛片免费在线观看| 夜夜躁狠狠躁天天躁| 好看av亚洲va欧美ⅴa在| 亚洲经典国产精华液单 | 成人午夜高清在线视频| 一本久久中文字幕| 亚洲欧美激情综合另类| 老司机福利观看| 欧美最黄视频在线播放免费| 91在线观看av| 亚洲国产日韩欧美精品在线观看| 国产乱人伦免费视频| 美女免费视频网站| 噜噜噜噜噜久久久久久91| www.www免费av| 成人av在线播放网站| 色哟哟·www| av在线天堂中文字幕| 久久性视频一级片| 国产精品久久久久久久久免 | 久久精品国产自在天天线| 欧美性猛交╳xxx乱大交人| 毛片女人毛片| 亚洲成人久久爱视频| 国产精品伦人一区二区| 亚洲不卡免费看| 99热这里只有是精品50| 日韩大尺度精品在线看网址| 熟妇人妻久久中文字幕3abv| 国产老妇女一区| 国产三级中文精品| 美女大奶头视频| 免费电影在线观看免费观看| 哪里可以看免费的av片| 我要看日韩黄色一级片| 日日干狠狠操夜夜爽| 亚洲aⅴ乱码一区二区在线播放| 亚洲五月天丁香| 久久午夜亚洲精品久久| 99热6这里只有精品| 亚洲av不卡在线观看| 亚洲天堂国产精品一区在线| 男女那种视频在线观看| 啦啦啦观看免费观看视频高清| 日日摸夜夜添夜夜添小说| 搞女人的毛片| 少妇熟女aⅴ在线视频| 熟妇人妻久久中文字幕3abv| 国产精品亚洲美女久久久| 精品一区二区三区人妻视频| 国产精品久久久久久精品电影| 免费av毛片视频| 床上黄色一级片| 久久6这里有精品| 啪啪无遮挡十八禁网站| 亚洲人成电影免费在线| 日韩 亚洲 欧美在线| 51国产日韩欧美| 精品无人区乱码1区二区| 精品午夜福利视频在线观看一区| 亚洲男人的天堂狠狠| 欧美一级a爱片免费观看看| 亚洲av二区三区四区| 国产精品1区2区在线观看.| 欧美日韩综合久久久久久 | 国产精品久久久久久人妻精品电影| 欧美成人a在线观看| 久久九九热精品免费| 在线免费观看不下载黄p国产 | 色综合欧美亚洲国产小说| 国产综合懂色| 久久精品国产亚洲av涩爱 | 欧美bdsm另类| 国产成人福利小说| 69人妻影院| 欧美乱妇无乱码| 亚洲成av人片免费观看| 99热6这里只有精品| 别揉我奶头 嗯啊视频| 成人精品一区二区免费| 精品福利观看| 97碰自拍视频| 亚洲av.av天堂| 午夜福利免费观看在线| 十八禁人妻一区二区| 色视频www国产| 人妻丰满熟妇av一区二区三区| 丁香六月欧美| 婷婷精品国产亚洲av| 中文字幕av成人在线电影| 99久久精品热视频| or卡值多少钱| 日韩亚洲欧美综合| 国产精品永久免费网站| 天堂av国产一区二区熟女人妻| 国产老妇女一区| 久久国产乱子伦精品免费另类| 国产成人福利小说| 毛片一级片免费看久久久久 | 内射极品少妇av片p| 窝窝影院91人妻| 99热精品在线国产| av黄色大香蕉| 特大巨黑吊av在线直播| 很黄的视频免费| 非洲黑人性xxxx精品又粗又长| 麻豆国产av国片精品| 十八禁人妻一区二区| 丝袜美腿在线中文| 90打野战视频偷拍视频| 国产成人福利小说| 91麻豆精品激情在线观看国产| 无遮挡黄片免费观看| 国产三级中文精品| 亚洲国产精品999在线| a级毛片a级免费在线| 搡老妇女老女人老熟妇| 青草久久国产| 日韩欧美在线二视频| 日本熟妇午夜| 12—13女人毛片做爰片一| 亚洲美女视频黄频| 亚洲av第一区精品v没综合| 亚洲最大成人手机在线| 高清在线国产一区| 老司机深夜福利视频在线观看| 日本免费一区二区三区高清不卡| 免费av毛片视频| 丝袜美腿在线中文| 99久久精品国产亚洲精品| 欧美一级a爱片免费观看看| av天堂中文字幕网| 亚洲av成人不卡在线观看播放网| 亚洲综合色惰| 免费大片18禁| 国产精品美女特级片免费视频播放器| 国产又黄又爽又无遮挡在线| 在线观看66精品国产| 97碰自拍视频| 久久人人爽人人爽人人片va | 特大巨黑吊av在线直播| 搡老熟女国产l中国老女人| 成人国产一区最新在线观看| 国内揄拍国产精品人妻在线| 久久久久久久午夜电影| www.www免费av| 极品教师在线视频| 亚洲成av人片在线播放无| 91久久精品电影网| 婷婷六月久久综合丁香| 欧美在线一区亚洲| 午夜激情福利司机影院| 精品一区二区三区av网在线观看| 精品不卡国产一区二区三区| 色噜噜av男人的天堂激情| 最近视频中文字幕2019在线8| 亚洲av免费高清在线观看| 亚洲不卡免费看| 免费看光身美女| 色在线成人网| 欧美性感艳星| 欧美xxxx性猛交bbbb| 国产欧美日韩精品一区二区| 国内少妇人妻偷人精品xxx网站| 亚洲美女视频黄频| 日本a在线网址| 欧美色欧美亚洲另类二区| 午夜日韩欧美国产| 大型黄色视频在线免费观看| 天堂√8在线中文| 男插女下体视频免费在线播放| 男人狂女人下面高潮的视频| 免费av观看视频| 国产精品1区2区在线观看.| 亚洲精品成人久久久久久| 一个人观看的视频www高清免费观看| 极品教师在线视频| 成年版毛片免费区| 久久精品久久久久久噜噜老黄 | 大型黄色视频在线免费观看| 成年女人永久免费观看视频| 1024手机看黄色片| 99热精品在线国产| 一区二区三区高清视频在线| 麻豆国产97在线/欧美| 国产美女午夜福利| 国产精品人妻久久久久久| 国产男靠女视频免费网站| 久久人人爽人人爽人人片va | 国产又黄又爽又无遮挡在线| 日韩中文字幕欧美一区二区| 精品国产三级普通话版| av在线天堂中文字幕| 一级黄片播放器| 中文字幕高清在线视频| 久久精品人妻少妇| 色哟哟·www| 精品熟女少妇八av免费久了| 国产综合懂色| 久久精品91蜜桃| 91麻豆精品激情在线观看国产| 真人一进一出gif抽搐免费| 中文字幕av在线有码专区| 99国产极品粉嫩在线观看| a级毛片免费高清观看在线播放| 久99久视频精品免费| 9191精品国产免费久久| 99久久久亚洲精品蜜臀av| 国产国拍精品亚洲av在线观看| 国产美女午夜福利| 亚洲av中文字字幕乱码综合| 好男人电影高清在线观看| 国产精品爽爽va在线观看网站| 日本撒尿小便嘘嘘汇集6| 91在线观看av| 在线观看免费视频日本深夜| 亚洲国产精品sss在线观看| 欧美一区二区国产精品久久精品| 亚洲国产色片| 赤兔流量卡办理| 国产高潮美女av| 国产高清视频在线播放一区| www.色视频.com| 性色avwww在线观看| 欧美丝袜亚洲另类 | 午夜激情福利司机影院| 国产综合懂色| 国内少妇人妻偷人精品xxx网站| 欧美性猛交╳xxx乱大交人| 99久国产av精品| 99视频精品全部免费 在线| 美女高潮喷水抽搐中文字幕| 久久性视频一级片| av专区在线播放| 亚洲精品亚洲一区二区| 欧美性猛交╳xxx乱大交人| 首页视频小说图片口味搜索| 色5月婷婷丁香| 亚洲中文日韩欧美视频| 又粗又爽又猛毛片免费看| 国产亚洲欧美在线一区二区| 99在线视频只有这里精品首页| 欧美潮喷喷水| 亚洲精品一区av在线观看| 亚洲最大成人av| 欧美日韩亚洲国产一区二区在线观看| 国产免费男女视频| 婷婷六月久久综合丁香| 真人一进一出gif抽搐免费| 成人欧美大片| 久久精品人妻少妇| 90打野战视频偷拍视频| 亚洲成人久久爱视频| netflix在线观看网站| 亚洲精品成人久久久久久| 中亚洲国语对白在线视频| 丝袜美腿在线中文| 直男gayav资源| 亚洲国产高清在线一区二区三| 999久久久精品免费观看国产| 女生性感内裤真人,穿戴方法视频| 成人性生交大片免费视频hd| 国产伦一二天堂av在线观看| av欧美777| 亚洲最大成人手机在线| 成人精品一区二区免费| 亚洲乱码一区二区免费版| 我要看日韩黄色一级片| 麻豆av噜噜一区二区三区| 亚洲va日本ⅴa欧美va伊人久久| 国产三级在线视频| 岛国在线免费视频观看| 亚洲人成网站在线播| 中文亚洲av片在线观看爽| 男女做爰动态图高潮gif福利片| 亚洲七黄色美女视频| 免费黄网站久久成人精品 | 一个人免费在线观看电影| 久久草成人影院| 99久久九九国产精品国产免费| 色噜噜av男人的天堂激情| 青草久久国产| 国产激情偷乱视频一区二区| av在线观看视频网站免费| 亚洲欧美日韩卡通动漫| 丰满人妻熟妇乱又伦精品不卡| 中文亚洲av片在线观看爽| 精品久久国产蜜桃| 国产日本99.免费观看| 99久久九九国产精品国产免费| avwww免费| 亚洲最大成人手机在线| 精品久久久久久久人妻蜜臀av| 99国产极品粉嫩在线观看| 亚洲aⅴ乱码一区二区在线播放| 亚洲人成网站高清观看| 91午夜精品亚洲一区二区三区 | 国产精品日韩av在线免费观看| 中文字幕精品亚洲无线码一区| 啦啦啦观看免费观看视频高清| 嫩草影视91久久| 日本免费a在线| 亚洲不卡免费看| 国内精品美女久久久久久| 久久久久久大精品| 色综合欧美亚洲国产小说| 国产精品久久久久久久电影| 国产黄a三级三级三级人| 精品日产1卡2卡| 亚洲中文字幕日韩| 国产精品三级大全| 特大巨黑吊av在线直播| 我的老师免费观看完整版| 午夜亚洲福利在线播放| 99热这里只有是精品50| 国产三级中文精品| 国产精品久久久久久人妻精品电影| 免费观看精品视频网站| 欧美日本亚洲视频在线播放| 欧美成人a在线观看| 中文在线观看免费www的网站| 久久热精品热| 女人十人毛片免费观看3o分钟| 国产探花在线观看一区二区| 久久国产乱子伦精品免费另类| 高清毛片免费观看视频网站| 亚洲成av人片在线播放无| 欧美午夜高清在线| 亚洲欧美激情综合另类| 欧美最新免费一区二区三区 | 日韩有码中文字幕| 老熟妇乱子伦视频在线观看| 久久久久久久午夜电影| 欧洲精品卡2卡3卡4卡5卡区| 悠悠久久av| 久久久久久久精品吃奶| 麻豆一二三区av精品| 亚洲美女视频黄频| 精品无人区乱码1区二区| 国产精品1区2区在线观看.| 国产一区二区激情短视频| 久久草成人影院| 人妻夜夜爽99麻豆av| 欧美一区二区亚洲| 久久久久久久亚洲中文字幕 | 欧美xxxx性猛交bbbb| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产欧美人成| 日本黄色片子视频| 一区二区三区激情视频| 免费大片18禁| 亚洲三级黄色毛片| 亚洲精品日韩av片在线观看| 国产精品嫩草影院av在线观看 | 中出人妻视频一区二区| 久久精品91蜜桃| 欧美激情在线99| 国产精品不卡视频一区二区 | 高清在线国产一区| 少妇人妻一区二区三区视频| 亚洲国产色片| 伊人久久精品亚洲午夜| 国产av不卡久久| 中文字幕免费在线视频6| 国产一区二区三区视频了| 99国产精品一区二区蜜桃av| 国产综合懂色| 国产一区二区在线观看日韩| 欧美日韩福利视频一区二区| 网址你懂的国产日韩在线| a级毛片a级免费在线| 亚洲美女搞黄在线观看 | 成人亚洲精品av一区二区| 国产乱人视频| 日韩高清综合在线| 国产午夜精品论理片| 国产av不卡久久| 日本三级黄在线观看| 免费在线观看影片大全网站| 亚洲av熟女| 国产av麻豆久久久久久久| 国产精品av视频在线免费观看| aaaaa片日本免费| 动漫黄色视频在线观看| 91在线精品国自产拍蜜月| 欧美潮喷喷水| 久久精品国产清高在天天线| 女人被狂操c到高潮| 91午夜精品亚洲一区二区三区 | 狂野欧美白嫩少妇大欣赏| 全区人妻精品视频| 性色av乱码一区二区三区2| 日日夜夜操网爽| 国产蜜桃级精品一区二区三区| 亚洲第一欧美日韩一区二区三区| 好男人电影高清在线观看| 美女cb高潮喷水在线观看| 亚洲精品一卡2卡三卡4卡5卡| 天美传媒精品一区二区| 小蜜桃在线观看免费完整版高清| 婷婷六月久久综合丁香| 美女高潮的动态| 亚洲精品在线美女| 中国美女看黄片| 老熟妇乱子伦视频在线观看| 日日干狠狠操夜夜爽| 国产成+人综合+亚洲专区| 极品教师在线免费播放| 精品国内亚洲2022精品成人| 国产精品av视频在线免费观看| 老司机午夜十八禁免费视频| 人妻夜夜爽99麻豆av| 亚洲av第一区精品v没综合| 看黄色毛片网站| 久久婷婷人人爽人人干人人爱| 国产日本99.免费观看| 亚洲av二区三区四区| 99久国产av精品| 国产视频一区二区在线看| 两个人视频免费观看高清| 国产伦在线观看视频一区| 国产精品日韩av在线免费观看| 中文字幕久久专区| 亚州av有码| 乱码一卡2卡4卡精品| 国产黄a三级三级三级人| 国产午夜精品论理片| 嫩草影院入口| 日韩免费av在线播放| 欧美3d第一页| 国产精品免费一区二区三区在线| 波多野结衣巨乳人妻| 日本a在线网址| 女同久久另类99精品国产91| 国模一区二区三区四区视频| 亚洲精品一卡2卡三卡4卡5卡| 精品免费久久久久久久清纯| 看黄色毛片网站| 亚洲av成人av| 亚洲不卡免费看| av在线观看视频网站免费| 日韩有码中文字幕| 人妻夜夜爽99麻豆av| 久久久色成人| 动漫黄色视频在线观看| 日本一二三区视频观看| 欧美日韩综合久久久久久 | 人人妻,人人澡人人爽秒播| 国产精品嫩草影院av在线观看 | 国产av一区在线观看免费| 亚洲乱码一区二区免费版| 97超级碰碰碰精品色视频在线观看| 国产乱人视频| 国产成人av教育| av在线蜜桃| 亚洲国产色片| 国内精品美女久久久久久| 午夜精品在线福利| 永久网站在线| 一边摸一边抽搐一进一小说| 婷婷精品国产亚洲av| 国产精品女同一区二区软件 | 黄色配什么色好看| 天美传媒精品一区二区| 中文资源天堂在线| 最近视频中文字幕2019在线8| 国产精品人妻久久久久久| a级毛片a级免费在线| 美女被艹到高潮喷水动态| 麻豆国产97在线/欧美| 麻豆一二三区av精品| 国产三级黄色录像| 色综合婷婷激情| or卡值多少钱| 看黄色毛片网站| 乱人视频在线观看| 国产伦一二天堂av在线观看| 欧美性感艳星| 亚洲va日本ⅴa欧美va伊人久久| 最近中文字幕高清免费大全6 | 国产高清三级在线| 精品乱码久久久久久99久播| 国产色爽女视频免费观看| 国产高清视频在线观看网站| 欧美高清性xxxxhd video| 久久精品夜夜夜夜夜久久蜜豆| 欧美另类亚洲清纯唯美| 国产免费av片在线观看野外av| 国产又黄又爽又无遮挡在线| 日本精品一区二区三区蜜桃| 国产探花在线观看一区二区| 麻豆国产97在线/欧美| 人人妻人人看人人澡| 深爱激情五月婷婷| 老司机深夜福利视频在线观看| 日本a在线网址| 欧美不卡视频在线免费观看| 嫩草影院入口| 中文亚洲av片在线观看爽| 亚洲av免费高清在线观看| 12—13女人毛片做爰片一| 亚洲人与动物交配视频| 久久精品人妻少妇| 久久99热6这里只有精品| 97人妻精品一区二区三区麻豆| 91麻豆av在线| 久久精品国产亚洲av香蕉五月| 国产aⅴ精品一区二区三区波| 丰满人妻一区二区三区视频av| 99热这里只有是精品50| 九色成人免费人妻av| 日韩欧美在线乱码| 一个人免费在线观看电影| 免费无遮挡裸体视频| 日韩欧美精品免费久久 | 欧美乱妇无乱码| 日韩欧美 国产精品| 中文字幕精品亚洲无线码一区| 国产三级在线视频| 亚洲av电影不卡..在线观看| 搡女人真爽免费视频火全软件 | 亚洲,欧美,日韩| 最近中文字幕高清免费大全6 | av在线老鸭窝| 精品国产三级普通话版| 欧美3d第一页| 一a级毛片在线观看| 国产精品久久久久久久久免 | 日韩国内少妇激情av| 嫩草影院精品99| 国产探花极品一区二区| 69av精品久久久久久| 亚洲经典国产精华液单 | 在线观看免费视频日本深夜| 麻豆国产av国片精品| 婷婷精品国产亚洲av在线| 桃色一区二区三区在线观看| 中文字幕人成人乱码亚洲影| 别揉我奶头 嗯啊视频| 美女黄网站色视频| 天堂av国产一区二区熟女人妻| 亚洲av电影在线进入| 欧美日本视频| 超碰av人人做人人爽久久| 国产精品一区二区三区四区免费观看 | 麻豆国产97在线/欧美| 中文资源天堂在线| 性色av乱码一区二区三区2| h日本视频在线播放| 国产精品久久视频播放| 不卡一级毛片| 简卡轻食公司| 亚洲精品一区av在线观看| 亚洲第一欧美日韩一区二区三区| 国内揄拍国产精品人妻在线| av黄色大香蕉| 国产一区二区在线av高清观看| 午夜视频国产福利| 亚洲七黄色美女视频| 国产黄片美女视频| 国产亚洲精品久久久com| 99久久久亚洲精品蜜臀av|