• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法

    2020-09-02 08:00:50陳子兆矯文成孫慧賢李月武
    關(guān)鍵詞:置信故障診斷神經(jīng)元

    陳子兆,矯文成,孫慧賢,李月武

    (陸軍工程大學(xué)石家莊校區(qū),河北 石家莊 050003)

    0 引言

    故障診斷[1]是指在系統(tǒng)運(yùn)行過(guò)程中,通過(guò)各種監(jiān)測(cè)手段判別其工作是否正常,分析指出系統(tǒng)當(dāng)前所處的狀態(tài),便于管理人員維修的一種技術(shù)診斷方法分為基于圖論的方法[2]、基于專家系統(tǒng)的方法[3]、基于解析模型的方法[4]、基于數(shù)據(jù)驅(qū)動(dòng)的方法[5]等?;谏疃戎眯啪W(wǎng)絡(luò)的故障診斷方法便是基于數(shù)據(jù)驅(qū)動(dòng)方法中較為常用的一種。

    深度置信網(wǎng)絡(luò)(deep belief network)是一種具有高維數(shù)據(jù)訓(xùn)練能力的多層神經(jīng)網(wǎng)絡(luò)模型[6]。其通過(guò)訓(xùn)練多層限制波爾茨曼機(jī)(restricted boltzmann machine)對(duì)輸入數(shù)據(jù)特征進(jìn)行學(xué)習(xí)和識(shí)別,已成功應(yīng)用于文本檢測(cè)[7]、序列預(yù)測(cè)[8]、情感分析[9]等領(lǐng)域。在故障診斷[10]領(lǐng)域,基于深度置信網(wǎng)絡(luò)的故障診斷方法也已經(jīng)在模擬電路[11]、機(jī)械軸承[12]、風(fēng)力電機(jī)[13]等方向展露風(fēng)采。美中不足的是,該故障診斷方法仍存在著諸多關(guān)鍵問(wèn)題亟待解決,其一是深度置信網(wǎng)絡(luò)(DBN)出現(xiàn)過(guò)擬合后,導(dǎo)致故障診斷的準(zhǔn)確率下降的問(wèn)題,目前較好的解決方法是Hinton教授提出dropout策略[14-15]和添加稀疏正則項(xiàng)[16]策略;其二是訓(xùn)練小樣本數(shù)據(jù)時(shí),網(wǎng)絡(luò)模型訓(xùn)練不充分導(dǎo)致準(zhǔn)確率低的問(wèn)題,現(xiàn)階段主要有遷移學(xué)習(xí)、強(qiáng)化特征提取、重復(fù)訓(xùn)練數(shù)據(jù)集、增加數(shù)據(jù)集數(shù)據(jù)量等解決方案。

    遷移學(xué)習(xí)也稱為歸納學(xué)習(xí),是將某個(gè)領(lǐng)域上學(xué)習(xí)到的知識(shí)應(yīng)用于不同但相關(guān)的領(lǐng)域中的一種學(xué)習(xí)策略,文獻(xiàn)[17—19]中便成功將遷移學(xué)習(xí)應(yīng)用于小樣本數(shù)據(jù)集上。但是由于無(wú)法確定遷移學(xué)習(xí)中原域和目標(biāo)域的界限,所以遷移學(xué)習(xí)在故障診斷中的應(yīng)用也十分有限。在強(qiáng)化特征提取的解決方案中,文獻(xiàn)[20]受神經(jīng)科學(xué)啟發(fā),在深度置信網(wǎng)絡(luò)中添加一層膠質(zhì)細(xì)胞層,強(qiáng)化相鄰的隱藏層神經(jīng)元的激活概率,從而優(yōu)化學(xué)習(xí)過(guò)程中的關(guān)聯(lián)性和特征提取能力。

    針對(duì)深度置信網(wǎng)絡(luò)對(duì)小樣本故障數(shù)據(jù)集故障診斷時(shí)準(zhǔn)確率低的問(wèn)題,本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方案。

    1 原理介紹

    1.1 深度置信網(wǎng)絡(luò)

    受限玻爾茲曼機(jī)(RBM)作為深度置信網(wǎng)絡(luò)模型的基本單位,是由可視層v和隱藏層h構(gòu)成的雙層神經(jīng)網(wǎng)絡(luò)。類似于熱動(dòng)力學(xué),其能量函數(shù)定義為:

    (1)

    式(1)中,θ=[Wij,ai,bj]分別表示可視層與隱藏層之間網(wǎng)絡(luò)權(quán)重、可視層偏置和隱藏層偏置,n為可視層節(jié)點(diǎn)數(shù),m為隱藏層節(jié)點(diǎn)數(shù)。

    限制玻爾茲曼機(jī)的本質(zhì)是一種概率生成模型,可見(jiàn)層與隱藏層的聯(lián)合概率分布和可見(jiàn)層的概率分布可表示為:

    (2)

    由此可以推導(dǎo)出隱藏節(jié)點(diǎn)的激活概率與可視節(jié)點(diǎn)重構(gòu)激活概率分別為:

    (3)

    而傳統(tǒng)的深度置信網(wǎng)絡(luò)模型(圖1)是由多層限制波爾茨曼機(jī)堆疊構(gòu)成的。其在訓(xùn)練過(guò)程中采用了對(duì)比散度(CD)算法、貪婪學(xué)習(xí)算法、梯度下降算法(GD)等方法,訓(xùn)練目標(biāo)是使誤差函數(shù)最小。深度置信網(wǎng)絡(luò)訓(xùn)練的本質(zhì)就是求取最大似然概率的過(guò)程。

    圖1 DBN(3 hidden layer)結(jié)構(gòu)模型圖Fig.1 Structural model of DBN(3 hidden layer)

    1.2 自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)

    自適應(yīng)諧振(adaptive resonance theory)神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)模型,在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有較大的靈活性。自適應(yīng)諧振(ART Ⅰ)神經(jīng)網(wǎng)絡(luò)模型如圖2所示,其中比較層C負(fù)責(zé)對(duì)匹配程度與參考閾值進(jìn)行比較;識(shí)別層R依據(jù)比較層的比較結(jié)果做出對(duì)應(yīng)的操作,復(fù)位信號(hào)Reset、邏輯控制信號(hào)G1和G2作為神經(jīng)網(wǎng)絡(luò)的控制信號(hào)。

    圖2 ART Ⅰ結(jié)構(gòu)模型圖Fig.2 Structural model of ART Ⅰ

    自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟可以分為匹配階段、比較階段、搜索階段和學(xué)習(xí)階段四個(gè)階段,具體訓(xùn)練流程如下:

    1) 匹配階段

    當(dāng)輸入數(shù)據(jù)X通過(guò)比較層C前向傳遞至識(shí)別層R時(shí),與識(shí)別層R神經(jīng)元前向權(quán)值bij進(jìn)行匹配度計(jì)算:

    (4)

    選擇具有最大匹配度的競(jìng)爭(zhēng)獲勝神經(jīng)元:

    (5)

    2) 比較階段

    使得識(shí)別層R中獲勝的神經(jīng)元j激活,將其相連的反向權(quán)值aij與該輸入數(shù)據(jù)X進(jìn)行相似度計(jì)算:

    (6)

    因?yàn)檩斎霐?shù)據(jù)X為二進(jìn)制數(shù)據(jù),N0實(shí)際表示獲勝神經(jīng)元的代表向量與輸入模式向量之間向量同為1的次數(shù)。計(jì)輸入模式向量中的非零個(gè)數(shù)為N1。設(shè)定門(mén)限閾值ρ,如果兩者比值大于ρ則進(jìn)入學(xué)習(xí)階段,否則進(jìn)入搜索階段。

    3) 搜索階段

    網(wǎng)絡(luò)進(jìn)入搜索階段,使得競(jìng)爭(zhēng)獲勝的神經(jīng)元持續(xù)受到抑制,并且重復(fù)匹配階段和比較階段,直至大于門(mén)限閾值ρ。如果所有神經(jīng)元都無(wú)法滿足要求,則在網(wǎng)絡(luò)中增加一個(gè)神經(jīng)元并用該輸入模式向量作為該神經(jīng)元的代表向量,然后進(jìn)入匹配階段。

    4) 學(xué)習(xí)階段

    學(xué)習(xí)階段主要是對(duì)獲勝神經(jīng)元的權(quán)值向量進(jìn)行調(diào)整,使得再次出現(xiàn)該模式相似的輸入數(shù)據(jù)時(shí)獲得更大的共振和相似度。修改反向權(quán)值aij和前向權(quán)值bij公式如下:

    (7)

    1.3 改進(jìn)ART-DBN模型的探討與分析

    自適應(yīng)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有極大的靈活性。其通過(guò)強(qiáng)化特定神經(jīng)元的連接權(quán)值,使得網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中具有相似特征的數(shù)據(jù)聚成一類,達(dá)到對(duì)無(wú)標(biāo)簽數(shù)據(jù)分類的目的。深度置信網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中,通過(guò)逐層激活神經(jīng)元,提取數(shù)據(jù)深層特征,從而對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)和無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行識(shí)別。當(dāng)面對(duì)相同或相似輸入數(shù)據(jù)時(shí),因?yàn)榫哂邢嗨频挠行卣?,各隱藏層層激活的神經(jīng)元應(yīng)當(dāng)大致相同。

    受到兩種模型的啟發(fā),本文嘗試將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)模型與深度置信網(wǎng)絡(luò)模型相結(jié)合,將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程與深度置信網(wǎng)絡(luò)訓(xùn)練過(guò)程相結(jié)合,提出了一種改進(jìn)的網(wǎng)絡(luò)模型ART-DBN,通過(guò)利用自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)對(duì)無(wú)標(biāo)簽數(shù)據(jù)的學(xué)習(xí)和分類優(yōu)勢(shì),強(qiáng)化深度置信網(wǎng)絡(luò)隱藏層中相關(guān)神經(jīng)元節(jié)點(diǎn)的激活概率,進(jìn)一步強(qiáng)化深度置信網(wǎng)絡(luò)的特征提取和分類能力,最終達(dá)到提升深度置信網(wǎng)絡(luò)分類準(zhǔn)確率,改善網(wǎng)絡(luò)訓(xùn)練效果的目的。

    網(wǎng)絡(luò)模型整體設(shè)計(jì)的思路是對(duì)相似度較大且差異度大的隱藏層神經(jīng)元進(jìn)行權(quán)值強(qiáng)化,使得其相似度進(jìn)一步增大而差異度減少,從而強(qiáng)化對(duì)數(shù)據(jù)特征的提取能力;對(duì)相似度較大而差異度較小的隱藏層神經(jīng)元,因?yàn)槠浼せ罡怕瘦^大且模式代表向量與輸入模式向量類型相似,故而跳過(guò)對(duì)其權(quán)值的調(diào)整。

    同時(shí)為了避免特征向量全1或者全0時(shí)出現(xiàn)差異度全局過(guò)小而陷入死循環(huán),首先應(yīng)當(dāng)對(duì)初始化特征代表向量進(jìn)行0或1的隨機(jī)賦值;再者考慮到輸入數(shù)據(jù)與權(quán)值參數(shù)的維度和度量上不一致,在相似度度量指標(biāo)上選取用余弦距離替代歐式距離;最后因?yàn)橐云ヅ涠葹檎{(diào)整指標(biāo)的網(wǎng)絡(luò)模型中,權(quán)值參數(shù)在調(diào)整過(guò)程中會(huì)使得相似程度和匹配程度不斷增大,最終使得多次權(quán)值參數(shù)的更新只是針對(duì)同一個(gè)或幾個(gè)神經(jīng)元,反而導(dǎo)致準(zhǔn)確率極度下降,所以我們拋棄了匹配度而選擇差異度作為調(diào)整指標(biāo),以期對(duì)更多的神經(jīng)元進(jìn)行優(yōu)化。

    綜上所述,改進(jìn)網(wǎng)絡(luò)模型的RBM結(jié)構(gòu)如圖3所示,在每一層RBM中添加了一層由星形表示的ART層,ART層由與隱藏層節(jié)點(diǎn)數(shù)相同的ART神經(jīng)元組成,ART神經(jīng)元分別與對(duì)應(yīng)的隱藏層節(jié)點(diǎn)相連,與可視層神經(jīng)元節(jié)點(diǎn)全連接。對(duì)此,符合要求的隱藏層節(jié)點(diǎn)便可通過(guò)ART層影響整個(gè)RBM,進(jìn)而影響由ART-RBM堆疊構(gòu)成的ART-DBN。

    圖3 ART-RBM結(jié)構(gòu)模型圖Fig.3 Structural model of ART-RBM

    2 基于改進(jìn)模型的故障診斷方法

    2.1 改進(jìn)模型的故障診斷方法

    深度置信網(wǎng)絡(luò)作為一種基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法,能夠自動(dòng)從復(fù)雜的原始故障數(shù)據(jù)分布中提取有效的特征向量,通過(guò)自帶的Softmax分類器對(duì)故障類型進(jìn)行分類診斷?;跀?shù)據(jù)驅(qū)動(dòng)的故障診斷方法需要在龐大的故障數(shù)據(jù)支持下才能較好地完成診斷任務(wù),但是在實(shí)際應(yīng)用中,因?yàn)樵O(shè)備發(fā)生故障的幾率微小,而發(fā)生故障時(shí)因?yàn)樵O(shè)備損壞又難以獲取數(shù)據(jù)等原因,導(dǎo)致能夠采集得到的故障數(shù)據(jù)極其稀少,極大程度地影響著故障診斷結(jié)果的準(zhǔn)確率。因此本文提出了一種基于改進(jìn)深度置信網(wǎng)絡(luò)模型的故障診斷方法,圖4直觀地表示出基于傳統(tǒng)深度置信網(wǎng)絡(luò)的故障診斷方法和基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法的區(qū)別。

    圖4 兩種故障診斷方法的對(duì)比Fig.4 Comparison of two fault diagnosis methods

    與基于傳統(tǒng)模型的故障診斷方法相比,改進(jìn)方法將傳統(tǒng)的DBN模型替換為改進(jìn)的ART-DBN網(wǎng)絡(luò)模型,同時(shí)使用改進(jìn)的訓(xùn)練規(guī)則對(duì)整個(gè)改進(jìn)ART-DBN模型進(jìn)行訓(xùn)練調(diào)優(yōu)。待改進(jìn)模型訓(xùn)練完成后,以優(yōu)化后的權(quán)值參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的原始故障數(shù)據(jù)進(jìn)行特征提取、分類識(shí)別,完成對(duì)故障類型的識(shí)別診斷。

    2.2 ART-RBM訓(xùn)練規(guī)則

    傳統(tǒng)的DBN采用一步對(duì)比散度(CD-1)算法訓(xùn)練RBM模型,在此我們?nèi)宰裱璈inton教授在文獻(xiàn)[21]給出訓(xùn)練RBM的相關(guān)建議,同時(shí)結(jié)合ART神經(jīng)網(wǎng)絡(luò)的訓(xùn)練規(guī)則,提出ART-RBM的訓(xùn)練規(guī)則。

    改進(jìn)的ART-RBM訓(xùn)練規(guī)則如下:

    步驟1 輸入訓(xùn)練數(shù)據(jù)v1,計(jì)算隱藏層激活狀態(tài)h1:

    h1←sigmoid(Wijv1+bj)

    對(duì)隱藏層神經(jīng)元賦值0或1:

    ifh1> 0到1之間隨機(jī)數(shù)

    thenh1= 1

    elseh1= 0

    依據(jù)CD-1算法重構(gòu)可視層神經(jīng)元:

    v2←sigmoid(Wijh1+ai)

    對(duì)隱藏層神經(jīng)元賦值0或1:

    ifv2> 0到1之間隨機(jī)數(shù)

    thenv2= 1

    elsev2= 0

    再次計(jì)算隱藏層激活概率h2:

    h2←sigmoid(Wijv2+bj)

    步驟2 根據(jù)CD-1算法更新網(wǎng)絡(luò)參數(shù):

    Wij←Wij+Wv

    ai←ai+av

    bj←bj+bv

    步驟3 計(jì)算輸入數(shù)據(jù)與隱藏層神經(jīng)元之間的相似度:

    選取相似度最優(yōu)的隱藏層神經(jīng)元:

    Sk←Fmax(Scos(j))

    步驟4 選取最優(yōu)隱藏層神經(jīng)元的特征代表向量與重構(gòu)后的輸入向量v2計(jì)算差異度:

    對(duì)滿足不同條件差異度的神經(jīng)元采取不同的措施:

    ifσ>ρ

    thenWik←Wik+kασWik

    Wi,j≠k←Wi,j≠k-kασWik

    dik←dikv2

    else拋棄最優(yōu)神經(jīng)元,重新搜索

    步驟5 重復(fù)迭代直至達(dá)到最大網(wǎng)路迭代次數(shù)epoch。

    2.3 ART-DBN訓(xùn)練規(guī)則及其故障診斷應(yīng)用

    作為構(gòu)成ART-DBN模型的基礎(chǔ)單元,改進(jìn)的ART-DBN訓(xùn)練規(guī)則與傳統(tǒng)DBN訓(xùn)練規(guī)則的流程相似,ART-DBN也是采用貪婪學(xué)習(xí)算法的方法逐層訓(xùn)練ART-RBM,而后采用反向傳播算法對(duì)ART-DBN模型全局調(diào)優(yōu)。不同的是將傳統(tǒng)的DBN網(wǎng)絡(luò)中針對(duì)RBM預(yù)訓(xùn)練步驟更新為針對(duì)ART-RBM的預(yù)訓(xùn)練步驟。故而基于ART-DBN網(wǎng)絡(luò)模型的故障診斷方法如圖5所示。

    圖5 基于ART-DBN網(wǎng)絡(luò)的故障診斷圖Fig.5 Fault diagnosis based on ART-DBN network

    ART-DBN網(wǎng)絡(luò)模型通過(guò)對(duì)原始故障數(shù)據(jù)的訓(xùn)練和學(xué)習(xí),完成對(duì)已知故障類別的識(shí)別,然后將待診斷的故障數(shù)據(jù)輸入網(wǎng)絡(luò)模型中,由模型提取待診斷故障數(shù)據(jù)的特征向量并進(jìn)行識(shí)別診斷,完成對(duì)待診斷故障數(shù)據(jù)的診斷工作。

    3 實(shí)驗(yàn)分析

    本章首先在三種網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集上,將提出的ART-DBN網(wǎng)絡(luò)模型與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型、文獻(xiàn)[17]所提出的改進(jìn)網(wǎng)絡(luò)模型(以下簡(jiǎn)稱SP-DBN)等進(jìn)行對(duì)比實(shí)驗(yàn),以觀察提出的ART-DBN網(wǎng)絡(luò)模型的性能優(yōu)劣;然后將所提出的網(wǎng)絡(luò)應(yīng)用于實(shí)際的小樣本數(shù)據(jù)集故障診斷以檢驗(yàn)?zāi)P偷膶?shí)時(shí)性和實(shí)用性。

    3.1 參數(shù)選取

    實(shí)驗(yàn)中設(shè)定的各項(xiàng)基本參數(shù)為:學(xué)習(xí)率α為0.01,稀疏正則化參數(shù)λ為0.000 5,沖量p為0,批訓(xùn)練量batchsizes在ORL數(shù)據(jù)集下為30,在MNIST和CIFAR-10數(shù)據(jù)集下為100,網(wǎng)絡(luò)搜索次數(shù)epoch在ORL數(shù)據(jù)集下為1 000次,在MNIST和CIFAR-10數(shù)據(jù)集下為3 000次。實(shí)驗(yàn)開(kāi)發(fā)環(huán)境為Matlab R2015b。

    3.2 特征可視化實(shí)驗(yàn)

    本節(jié)首先對(duì)所提出的ART-DBN網(wǎng)絡(luò)、傳統(tǒng)的DBN網(wǎng)絡(luò)和稀疏DBN網(wǎng)絡(luò)三種模型在ORL數(shù)據(jù)集上進(jìn)行可視化操作,以檢驗(yàn)三種模型的特征提取能力。實(shí)驗(yàn)一中,三種模型均選取可視層節(jié)點(diǎn)數(shù)為784和隱藏層節(jié)點(diǎn)數(shù)為100的RBM網(wǎng)絡(luò)結(jié)構(gòu),模型學(xué)習(xí)得到的可視化圖形如圖6所示。

    圖6 特征可視化圖Fig.6 Feature visualization

    從圖6可以看出,三類網(wǎng)絡(luò)結(jié)構(gòu)與原圖相比,傳統(tǒng)的DBN網(wǎng)絡(luò)模型對(duì)特征提取較差,特征點(diǎn)分布的雜亂無(wú)章,無(wú)法人眼識(shí)別出所提取的內(nèi)容;稀疏的DBN網(wǎng)絡(luò)模型對(duì)特征提取較好,圍繞著原圖形的亮點(diǎn)出現(xiàn)有規(guī)則的分布,人眼對(duì)少數(shù)圖片能識(shí)別出所提取的內(nèi)容;ART-DBN網(wǎng)絡(luò)模型對(duì)特征提取最好,特征點(diǎn)基本與原圖形相吻合,人眼大致能識(shí)別出所提取的內(nèi)容。

    由此可以得出所提出的ART-DBN網(wǎng)絡(luò)模型通過(guò)添加ART層強(qiáng)化某一種類型的神經(jīng)元,使得網(wǎng)絡(luò)模型對(duì)某一類圖形特征提取的能力顯著提高,能夠較好地學(xué)習(xí)輸入圖片中所包含的特征數(shù)據(jù)并且能較完整地還原出原圖形。

    3.3 MNIST數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

    MNIST數(shù)據(jù)集包含10組,每組7 000張,共70 000張手寫(xiě)黑白照片。本文選取其中每組6 000張照片,共60 000張照片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的每組1 000張照片,共10 000張照片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在MNSIT數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)二為雙隱藏層數(shù)200,100條件下,不同差異度取值的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如圖7所示。實(shí)驗(yàn)三為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表1所示。

    表1 MNIST數(shù)據(jù)集上四種模型的準(zhǔn)確度

    圖7 MNIST數(shù)據(jù)集上差異度變化圖Fig.7 Different degrees on MNIST

    從圖7可以看出,本文提出的ART-DBN網(wǎng)絡(luò)模型的準(zhǔn)確率始終高于稀疏的DBN網(wǎng)絡(luò)模型的準(zhǔn)確率,說(shuō)明了MNIST數(shù)據(jù)集下改進(jìn)的DBN較稀疏DBN網(wǎng)絡(luò)更加優(yōu)異,同時(shí)可以看出ART-DBN網(wǎng)絡(luò)模型在200,100雙隱藏層條件下,準(zhǔn)確率處于98%左右。選取差異度σ為0.45,具有一定的代表性。

    表1為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn),其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.45。從表1中可以看出,BP網(wǎng)絡(luò)模型表現(xiàn)最差,稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次,ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。實(shí)驗(yàn)證明了BP神經(jīng)網(wǎng)絡(luò)對(duì)于大數(shù)據(jù)量的學(xué)習(xí)與分類已不相適應(yīng),同時(shí)在MNIST數(shù)據(jù)集上,ART-DBN網(wǎng)絡(luò)模型較傳統(tǒng)的DBN網(wǎng)絡(luò)模型和稀疏的DBN網(wǎng)絡(luò)模型準(zhǔn)確率更高。但是由于傳統(tǒng)的DBN網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率已經(jīng)達(dá)到98%,提升準(zhǔn)確率的幅度不是很大。

    3.4 CIFAR-10數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

    CIFAR-10數(shù)據(jù)集包含10組,每組6 000張,共60 000張彩色圖像。本文提取所有彩色圖像RGB三色作為特征數(shù)據(jù),可視層神經(jīng)元節(jié)點(diǎn)數(shù)為3×1 024個(gè)。本文選取其中每組5 000張圖片,共50 000張圖片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的每組1 000張圖片,共10 000張圖片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在CIFAR-10數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)四為雙隱藏層數(shù)100,100條件下,不同差異度取值的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如圖8所示。實(shí)驗(yàn)五為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表2所示。

    從圖8可以看出,在雙隱藏層數(shù)為100,100的條件下,變化差異度的取值,ART-DBN網(wǎng)絡(luò)模型較稀疏DBN網(wǎng)絡(luò)模型表現(xiàn)略有下降,準(zhǔn)確率略有降低。分析原因可能是由于隱藏層數(shù)較少,網(wǎng)絡(luò)參數(shù)的更新調(diào)整使得網(wǎng)絡(luò)出現(xiàn)的正常范圍內(nèi)波動(dòng)。因?yàn)镃IFAR-10數(shù)據(jù)集的可視層節(jié)點(diǎn)數(shù)為3 072,較一般數(shù)據(jù)集偏多,為此選取差異度為0.35,降低差異度的取值是為了使得ART層更易滿足差異度閾值,從而極大程度對(duì)神經(jīng)元的權(quán)值更新調(diào)整。

    圖8 CIFAR-10數(shù)據(jù)集上差異度變化圖Fig.8 Different degrees on CIFAR-10

    表2為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果,其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.35。從表2中可以看出,BP網(wǎng)絡(luò)模型表現(xiàn)最差,稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次,ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。因?yàn)閷?duì)CIFAR-10數(shù)據(jù)集的學(xué)習(xí),一般的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后準(zhǔn)確率為50%左右,而B(niǎo)P神經(jīng)網(wǎng)絡(luò)屬于淺層神經(jīng)網(wǎng)絡(luò),準(zhǔn)確率有所下降。實(shí)驗(yàn)證明了通過(guò)添加ART層的改進(jìn)神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)DBN和稀疏DBN在準(zhǔn)確率上有所改善。

    表2 CIFAR-10數(shù)據(jù)集上四種模型的準(zhǔn)確度

    3.5 小樣本故障數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)

    小樣本故障數(shù)據(jù)集是對(duì)軍內(nèi)某通信控制裝備的正常狀態(tài)和六種故障狀態(tài)下的時(shí)域波形圖采樣1 000點(diǎn)并均值歸一化后得到的數(shù)據(jù)集,包含7組,每組200~1 000組數(shù)據(jù)不等,共計(jì)4 042組。本文選取每組80%左右數(shù)據(jù),共3 470組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的數(shù)據(jù),共572組數(shù)據(jù)作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在武器裝備故障數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)六為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)七為固定網(wǎng)絡(luò)參數(shù)條件下,各網(wǎng)絡(luò)模型對(duì)故障數(shù)據(jù)集分類準(zhǔn)確率上限的測(cè)試,實(shí)驗(yàn)結(jié)果如表4所示。

    表3 故障數(shù)據(jù)集上四種模型的準(zhǔn)確度

    表4 故障數(shù)據(jù)集上準(zhǔn)確度的上限

    表3為ART-DBN網(wǎng)絡(luò)模型與BP、稀疏DBN、SP-DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果,其中ART-DBN網(wǎng)絡(luò)模型中差異度σ賦值為0.7。從表3中可以看出,本文改進(jìn)的DBN模型對(duì)裝備故障數(shù)據(jù)集的學(xué)習(xí)和分類能力強(qiáng)過(guò)傳統(tǒng)的BP、DBN網(wǎng)絡(luò)模型。但是由于本文未對(duì)時(shí)域波形圖采取如小波變化等方法的特征提取,所以準(zhǔn)確較低。

    表4為裝備故障數(shù)據(jù)集下,五種網(wǎng)絡(luò)模型準(zhǔn)確率上限的測(cè)試實(shí)驗(yàn)結(jié)果。通過(guò)反復(fù)實(shí)驗(yàn)嘗試,得出改進(jìn)DBN網(wǎng)絡(luò)模型的準(zhǔn)確率上限為90%左右,較其他四種網(wǎng)絡(luò)模型有一定改善,在武器裝備故障診斷領(lǐng)域的表現(xiàn)優(yōu)于其他四種網(wǎng)絡(luò)模型。

    3.6 小樣本故障診斷的性能分析

    為了更好地評(píng)價(jià)改進(jìn)的方案,我們引入準(zhǔn)確率、召回率、精確率等指標(biāo)全面衡量其性能優(yōu)劣。如果以P(Positive)和N(Negative)分別代表真實(shí)的正常數(shù)據(jù)和故障數(shù)據(jù)的數(shù)量,以T(Ture)和F(False)代表模型判斷正確和錯(cuò)誤的數(shù)量,那么TP則表示模型判斷為正常數(shù)據(jù),實(shí)際也是正常數(shù)據(jù)的數(shù)量;TN則表示模型判斷為故障數(shù)據(jù),實(shí)際也是故障數(shù)據(jù)的數(shù)量;FP則表示模型判斷為故障數(shù)據(jù),但實(shí)際卻是正常數(shù)據(jù)的數(shù)量;FN則表示模型判斷為正常數(shù)據(jù),但實(shí)際也是故障數(shù)據(jù)的數(shù)量。需要說(shuō)明的是上述三種指標(biāo)適用于基于二分類的機(jī)器學(xué)習(xí)方法,但在此處我們將所有的不同類型的故障數(shù)據(jù)統(tǒng)稱為故障數(shù)據(jù),因此該指標(biāo)參數(shù)同樣適用于本實(shí)驗(yàn)。

    由此即可定義:

    實(shí)驗(yàn)八為對(duì)上述三種模型在隱藏層為100-40條件下各識(shí)別結(jié)果的統(tǒng)計(jì),結(jié)果如表5。

    表5 故障數(shù)據(jù)集上各模型指標(biāo)對(duì)比表

    從表5可以得知:改進(jìn)模型的召回率為45.45%,精確率為75%。分別與其他兩種模型對(duì)比發(fā)現(xiàn),改進(jìn)模型在召回率上表現(xiàn)最好,說(shuō)明對(duì)于正常樣本,改進(jìn)模型能起到很好的識(shí)別作用,同時(shí)計(jì)算得出在所有故障樣本中,改進(jìn)模型識(shí)別為故障樣本的比例為95.73%,漏警概率為54.55%,在三種模型中表現(xiàn)最好。通過(guò)實(shí)驗(yàn)可以證明小樣本數(shù)據(jù)集的故障診斷,改進(jìn)模型性能優(yōu)于其他兩種模型,一定程度上解決了小樣本故障數(shù)據(jù)集下網(wǎng)絡(luò)訓(xùn)練效果差的問(wèn)題。

    3.7 小樣本故障診斷的訓(xùn)練時(shí)間分析

    不可否認(rèn)的是通過(guò)在網(wǎng)絡(luò)中額外加入了一層用于強(qiáng)化特征提取的ART層,會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的時(shí)間額外增加,故此又進(jìn)行了一組實(shí)驗(yàn)以測(cè)算改進(jìn)模型用于故障診斷所耗費(fèi)的時(shí)間。實(shí)驗(yàn)九為在通信控制設(shè)備故障數(shù)據(jù)條件下的網(wǎng)絡(luò)訓(xùn)練耗時(shí)測(cè)算實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表6所示。

    從表6可以看出改進(jìn)網(wǎng)絡(luò)模型較傳統(tǒng)模型訓(xùn)練時(shí)間延長(zhǎng)了2~3倍,但對(duì)于故障診斷領(lǐng)域,適當(dāng)犧牲訓(xùn)練時(shí)長(zhǎng)而換取更好的訓(xùn)練效果和更高的分類準(zhǔn)確率是值得的。

    表6 故障數(shù)據(jù)集上的訓(xùn)練耗時(shí)

    4 結(jié)論

    本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法。該方法通過(guò)將深度置信網(wǎng)絡(luò)與自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)結(jié)合,優(yōu)化網(wǎng)絡(luò)特征提取的能力,提升網(wǎng)絡(luò)學(xué)習(xí)和分類能力以減少網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)的依賴程度,利用ORL,MNIST和CIFAR-10等網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集測(cè)試改進(jìn)的深度置信網(wǎng)絡(luò)模型的性能,并將改進(jìn)網(wǎng)絡(luò)模型應(yīng)用于小樣本故障數(shù)據(jù)集上。實(shí)驗(yàn)驗(yàn)證結(jié)果表明,較基于傳統(tǒng)網(wǎng)絡(luò)模型的故障診斷而言,基于改進(jìn)模型的方法通過(guò)添加新的隱藏層,強(qiáng)化了模型特征提取能力,提高了故障診斷的準(zhǔn)確率。

    猜你喜歡
    置信故障診斷神經(jīng)元
    《從光子到神經(jīng)元》書(shū)評(píng)
    自然雜志(2021年6期)2021-12-23 08:24:46
    急診住院醫(yī)師置信職業(yè)行為指標(biāo)構(gòu)建及應(yīng)用初探
    基于置信職業(yè)行為的兒科住院醫(yī)師形成性評(píng)價(jià)體系的構(gòu)建探索
    基于模糊深度置信網(wǎng)絡(luò)的陶瓷梭式窯PID優(yōu)化控制
    躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
    因果圖定性分析法及其在故障診斷中的應(yīng)用
    基于CUDA和深度置信網(wǎng)絡(luò)的手寫(xiě)字符識(shí)別
    基于二次型單神經(jīng)元PID的MPPT控制
    毫米波導(dǎo)引頭預(yù)定回路改進(jìn)單神經(jīng)元控制
    基于LCD和排列熵的滾動(dòng)軸承故障診斷
    国产一级毛片七仙女欲春2| 联通29元200g的流量卡| 桃色一区二区三区在线观看| 美女cb高潮喷水在线观看| 亚洲欧美清纯卡通| 中文字幕人妻熟人妻熟丝袜美| 欧美+日韩+精品| 亚洲精品亚洲一区二区| 亚洲熟妇中文字幕五十中出| 久久久久九九精品影院| 亚洲av电影不卡..在线观看| 中文字幕av在线有码专区| 国产熟女欧美一区二区| 99久久中文字幕三级久久日本| 美女xxoo啪啪120秒动态图| 亚洲成人久久爱视频| 午夜精品一区二区三区免费看| 亚洲精品一卡2卡三卡4卡5卡| 精华霜和精华液先用哪个| 嫩草影院精品99| 国产美女午夜福利| 亚洲精华国产精华液的使用体验 | 精品人妻一区二区三区麻豆 | 麻豆久久精品国产亚洲av| 亚洲美女视频黄频| 亚洲av日韩精品久久久久久密| 淫秽高清视频在线观看| 在线看三级毛片| 久久久久久久久久久丰满 | 成人av一区二区三区在线看| 一区福利在线观看| 国产成人福利小说| 日本 av在线| 成人特级av手机在线观看| a级毛片a级免费在线| 在现免费观看毛片| 久久久国产成人免费| 亚洲精品乱码久久久v下载方式| 人人妻人人看人人澡| 白带黄色成豆腐渣| 日韩欧美 国产精品| 久久精品久久久久久噜噜老黄 | 日日干狠狠操夜夜爽| 亚洲av熟女| 99久久精品国产国产毛片| 很黄的视频免费| 成人亚洲精品av一区二区| 久久人妻av系列| 男女那种视频在线观看| 色综合婷婷激情| 欧美+日韩+精品| 国产精品久久久久久久电影| 成人av一区二区三区在线看| 村上凉子中文字幕在线| 草草在线视频免费看| 少妇的逼好多水| 男女边吃奶边做爰视频| 人妻少妇偷人精品九色| 真人做人爱边吃奶动态| 成人三级黄色视频| 最近中文字幕高清免费大全6 | 亚洲av中文av极速乱 | 国产黄片美女视频| 色综合亚洲欧美另类图片| 欧美成人一区二区免费高清观看| 午夜精品一区二区三区免费看| 麻豆久久精品国产亚洲av| 久久人人爽人人爽人人片va| aaaaa片日本免费| 尾随美女入室| 18禁黄网站禁片免费观看直播| а√天堂www在线а√下载| 男人狂女人下面高潮的视频| 三级男女做爰猛烈吃奶摸视频| 99热网站在线观看| 免费观看的影片在线观看| 欧美日韩亚洲国产一区二区在线观看| 啦啦啦啦在线视频资源| 久久久午夜欧美精品| 亚洲美女黄片视频| 在线观看一区二区三区| 亚洲av成人av| 亚洲七黄色美女视频| 97热精品久久久久久| 夜夜爽天天搞| 美女cb高潮喷水在线观看| 国内精品久久久久久久电影| 亚洲不卡免费看| 波多野结衣巨乳人妻| 黄色一级大片看看| 1000部很黄的大片| 午夜福利在线在线| 国产蜜桃级精品一区二区三区| 欧美+亚洲+日韩+国产| 在线播放无遮挡| 网址你懂的国产日韩在线| 2021天堂中文幕一二区在线观| 麻豆国产97在线/欧美| 一级毛片久久久久久久久女| 亚洲av免费高清在线观看| 欧美极品一区二区三区四区| 日日摸夜夜添夜夜添小说| 变态另类成人亚洲欧美熟女| 色在线成人网| 亚洲18禁久久av| 欧美一区二区亚洲| 人妻少妇偷人精品九色| 中文字幕人妻熟人妻熟丝袜美| 特级一级黄色大片| 日韩人妻高清精品专区| 国产私拍福利视频在线观看| 嫩草影院新地址| 18禁黄网站禁片午夜丰满| 老师上课跳d突然被开到最大视频| 国产免费男女视频| 日本免费一区二区三区高清不卡| 亚洲av.av天堂| 女人十人毛片免费观看3o分钟| 中文字幕精品亚洲无线码一区| 国产大屁股一区二区在线视频| 免费看光身美女| 欧美+亚洲+日韩+国产| 欧美黑人欧美精品刺激| 性色avwww在线观看| 国产单亲对白刺激| 国产av麻豆久久久久久久| 三级国产精品欧美在线观看| 久久精品夜夜夜夜夜久久蜜豆| 精品午夜福利在线看| 观看美女的网站| 国产淫片久久久久久久久| 色av中文字幕| 午夜视频国产福利| 亚洲电影在线观看av| 热99在线观看视频| 久久久久久国产a免费观看| 夜夜爽天天搞| 国产麻豆成人av免费视频| 久久国产精品人妻蜜桃| 内射极品少妇av片p| 悠悠久久av| 日韩欧美一区二区三区在线观看| 噜噜噜噜噜久久久久久91| 男人的好看免费观看在线视频| 老司机福利观看| 国产亚洲精品久久久久久毛片| 国产成人福利小说| 欧美国产日韩亚洲一区| av天堂在线播放| 丝袜美腿在线中文| 午夜免费男女啪啪视频观看 | 亚洲av美国av| 久久久久性生活片| 夜夜看夜夜爽夜夜摸| 久久久久久国产a免费观看| 国产精品伦人一区二区| 久久香蕉精品热| 国产精品三级大全| 精品久久久久久久久久久久久| 悠悠久久av| 超碰av人人做人人爽久久| 内地一区二区视频在线| 欧美+亚洲+日韩+国产| 岛国在线免费视频观看| a级一级毛片免费在线观看| 美女免费视频网站| 俺也久久电影网| 啦啦啦观看免费观看视频高清| av中文乱码字幕在线| 91久久精品国产一区二区成人| 天堂网av新在线| 午夜影院日韩av| 一边摸一边抽搐一进一小说| 亚洲,欧美,日韩| 精品一区二区免费观看| 国产视频内射| 国产一级毛片七仙女欲春2| 美女xxoo啪啪120秒动态图| 黄色丝袜av网址大全| 国内少妇人妻偷人精品xxx网站| 国产伦人伦偷精品视频| 日日夜夜操网爽| 免费看a级黄色片| videossex国产| 国产精品电影一区二区三区| 成人国产麻豆网| 久9热在线精品视频| 熟妇人妻久久中文字幕3abv| 我的女老师完整版在线观看| 蜜桃亚洲精品一区二区三区| 日本免费一区二区三区高清不卡| 69av精品久久久久久| 欧美一级a爱片免费观看看| 亚洲乱码一区二区免费版| 色播亚洲综合网| 免费观看精品视频网站| 欧美日韩精品成人综合77777| 国产亚洲精品久久久com| 国产精品亚洲美女久久久| 91麻豆精品激情在线观看国产| 韩国av在线不卡| 日本成人三级电影网站| 天美传媒精品一区二区| 亚洲人成网站高清观看| 美女免费视频网站| 国产精品久久视频播放| 国产大屁股一区二区在线视频| 小蜜桃在线观看免费完整版高清| 小说图片视频综合网站| av国产免费在线观看| 久久久久久国产a免费观看| 欧美色视频一区免费| 国产在视频线在精品| 国产亚洲精品久久久久久毛片| 色综合亚洲欧美另类图片| 男女视频在线观看网站免费| 亚洲av电影不卡..在线观看| 内射极品少妇av片p| 国产一区二区三区av在线 | 免费在线观看影片大全网站| 美女高潮喷水抽搐中文字幕| av.在线天堂| 少妇人妻一区二区三区视频| 偷拍熟女少妇极品色| 精品一区二区三区视频在线| 联通29元200g的流量卡| 最新中文字幕久久久久| 在线免费观看不下载黄p国产 | 无人区码免费观看不卡| 国产老妇女一区| 国产精品自产拍在线观看55亚洲| 又黄又爽又刺激的免费视频.| 人人妻,人人澡人人爽秒播| videossex国产| 色5月婷婷丁香| 久久中文看片网| 成人二区视频| 日韩精品青青久久久久久| 中国美女看黄片| 91狼人影院| 亚洲自偷自拍三级| 国内久久婷婷六月综合欲色啪| 亚洲av中文av极速乱 | 国产精品久久久久久亚洲av鲁大| 最后的刺客免费高清国语| 特级一级黄色大片| 嫩草影院精品99| 成人美女网站在线观看视频| 99热网站在线观看| 九九爱精品视频在线观看| 久久欧美精品欧美久久欧美| 别揉我奶头~嗯~啊~动态视频| 婷婷精品国产亚洲av| 国产一区二区三区在线臀色熟女| 日韩一区二区视频免费看| 久久99热这里只有精品18| 国产69精品久久久久777片| 身体一侧抽搐| 亚洲五月天丁香| 国产亚洲精品av在线| 国产男人的电影天堂91| 国产又黄又爽又无遮挡在线| 久久99热这里只有精品18| 欧美3d第一页| 免费看a级黄色片| 国产欧美日韩一区二区精品| 国语自产精品视频在线第100页| 极品教师在线免费播放| 色综合婷婷激情| 欧美黑人欧美精品刺激| 久久国产精品人妻蜜桃| 高清日韩中文字幕在线| 国产av一区在线观看免费| 少妇人妻一区二区三区视频| 日本黄色片子视频| 午夜福利在线在线| 中文字幕精品亚洲无线码一区| 日本-黄色视频高清免费观看| 女人十人毛片免费观看3o分钟| 波多野结衣巨乳人妻| 亚州av有码| 日本三级黄在线观看| 精品人妻视频免费看| 午夜激情欧美在线| 欧美+亚洲+日韩+国产| 成年人黄色毛片网站| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av一区综合| 99久久精品一区二区三区| 91麻豆精品激情在线观看国产| 99久国产av精品| 午夜福利在线在线| 免费在线观看成人毛片| 男女啪啪激烈高潮av片| 国产精品一区www在线观看 | 亚洲精品456在线播放app | 亚洲第一电影网av| 日本色播在线视频| 欧美3d第一页| 国产精品无大码| 国产精品美女特级片免费视频播放器| 一进一出抽搐gif免费好疼| 最后的刺客免费高清国语| 国产精品亚洲美女久久久| 九九久久精品国产亚洲av麻豆| 欧美性猛交黑人性爽| www.色视频.com| 一边摸一边抽搐一进一小说| 天堂网av新在线| 国产女主播在线喷水免费视频网站 | 久久久久国内视频| 亚洲av不卡在线观看| 亚洲一区二区三区色噜噜| 亚洲成人久久性| 校园人妻丝袜中文字幕| 久久久久久久久久久丰满 | 九色成人免费人妻av| 午夜激情福利司机影院| 精品福利观看| 99在线人妻在线中文字幕| 美女高潮的动态| 中文亚洲av片在线观看爽| 露出奶头的视频| 99久久成人亚洲精品观看| 国产乱人视频| 两个人视频免费观看高清| 啦啦啦韩国在线观看视频| 国产一区二区在线观看日韩| 欧美色视频一区免费| 国产激情偷乱视频一区二区| 97碰自拍视频| 99久久无色码亚洲精品果冻| 国产大屁股一区二区在线视频| 久久人人精品亚洲av| 一边摸一边抽搐一进一小说| 小蜜桃在线观看免费完整版高清| 国产高清激情床上av| 麻豆成人午夜福利视频| 国产精品亚洲美女久久久| 欧美黑人欧美精品刺激| xxxwww97欧美| 三级男女做爰猛烈吃奶摸视频| 欧美日韩中文字幕国产精品一区二区三区| 国产精品久久电影中文字幕| 麻豆久久精品国产亚洲av| 久久精品影院6| 色av中文字幕| 日韩欧美 国产精品| 国内毛片毛片毛片毛片毛片| 久久精品国产亚洲av天美| 日本免费一区二区三区高清不卡| 嫩草影院新地址| 成人美女网站在线观看视频| av在线观看视频网站免费| 啪啪无遮挡十八禁网站| 人妻丰满熟妇av一区二区三区| 日韩欧美精品v在线| 最近最新免费中文字幕在线| 欧美潮喷喷水| 色噜噜av男人的天堂激情| 麻豆国产av国片精品| 欧美人与善性xxx| 国产蜜桃级精品一区二区三区| 一进一出抽搐动态| 成人国产综合亚洲| 亚洲内射少妇av| 亚洲综合色惰| 日本一二三区视频观看| 午夜日韩欧美国产| avwww免费| 三级毛片av免费| 99久久九九国产精品国产免费| 国产黄a三级三级三级人| 91精品国产九色| 三级国产精品欧美在线观看| 亚洲熟妇中文字幕五十中出| 国产成人aa在线观看| 亚洲欧美日韩东京热| 亚洲熟妇中文字幕五十中出| 亚洲欧美精品综合久久99| 午夜福利在线观看免费完整高清在 | 可以在线观看的亚洲视频| 小说图片视频综合网站| 国产一区二区在线av高清观看| 亚洲av电影不卡..在线观看| 久久这里只有精品中国| 久久国产精品人妻蜜桃| 国产真实伦视频高清在线观看 | 亚洲乱码一区二区免费版| 美女 人体艺术 gogo| 99视频精品全部免费 在线| 欧美成人性av电影在线观看| 一级黄色大片毛片| 国产精品嫩草影院av在线观看 | 一本久久中文字幕| 日韩欧美 国产精品| 国产成人aa在线观看| 久久久午夜欧美精品| 麻豆av噜噜一区二区三区| 成人三级黄色视频| 直男gayav资源| 国产私拍福利视频在线观看| 99热精品在线国产| 91久久精品国产一区二区三区| 亚洲午夜理论影院| 69人妻影院| 久久久久国产精品人妻aⅴ院| 男女视频在线观看网站免费| 免费观看在线日韩| 少妇人妻精品综合一区二区 | 国产精品乱码一区二三区的特点| 最近最新免费中文字幕在线| 欧美日韩黄片免| 成年人黄色毛片网站| 91久久精品电影网| 两人在一起打扑克的视频| 亚洲欧美日韩无卡精品| 精品午夜福利视频在线观看一区| 日日撸夜夜添| 免费人成在线观看视频色| a级毛片a级免费在线| 久久久久久久久久成人| 毛片一级片免费看久久久久 | 欧美在线一区亚洲| 中文亚洲av片在线观看爽| 最近在线观看免费完整版| 国产乱人视频| 91精品国产九色| 久久精品国产亚洲av香蕉五月| 国产 一区 欧美 日韩| 国产男人的电影天堂91| 中文资源天堂在线| 亚洲国产精品成人综合色| netflix在线观看网站| 国产精品爽爽va在线观看网站| 国产精品亚洲美女久久久| 久久久久久久精品吃奶| 国产精品亚洲一级av第二区| 熟女人妻精品中文字幕| av中文乱码字幕在线| 特大巨黑吊av在线直播| 99热网站在线观看| 成人一区二区视频在线观看| 在线观看美女被高潮喷水网站| 少妇高潮的动态图| 高清毛片免费观看视频网站| 日本免费一区二区三区高清不卡| 一级av片app| 国产精品久久久久久精品电影| 淫妇啪啪啪对白视频| 欧美一区二区国产精品久久精品| 不卡视频在线观看欧美| 亚洲精华国产精华精| 身体一侧抽搐| 麻豆av噜噜一区二区三区| 精品国产三级普通话版| 国产在线精品亚洲第一网站| 国产精品爽爽va在线观看网站| 亚洲最大成人中文| 亚洲va在线va天堂va国产| 国产高潮美女av| 亚洲一区高清亚洲精品| 草草在线视频免费看| 日韩大尺度精品在线看网址| 欧美一区二区亚洲| 亚洲专区国产一区二区| 成人性生交大片免费视频hd| 国产 一区精品| 久久久久精品国产欧美久久久| 国产国拍精品亚洲av在线观看| 色5月婷婷丁香| 精品久久久久久久末码| 99久久久亚洲精品蜜臀av| 日本黄色片子视频| 色综合亚洲欧美另类图片| 99精品在免费线老司机午夜| 嫩草影院新地址| 在线天堂最新版资源| 无人区码免费观看不卡| 少妇丰满av| 欧美一级a爱片免费观看看| 国产精品精品国产色婷婷| 国产精品一区二区三区四区免费观看 | 好男人在线观看高清免费视频| 日本五十路高清| 日本三级黄在线观看| 99在线人妻在线中文字幕| 国产精品99久久久久久久久| 久久久久九九精品影院| 久久久午夜欧美精品| 欧洲精品卡2卡3卡4卡5卡区| 波多野结衣高清作品| 亚洲性久久影院| 亚洲精品久久国产高清桃花| 国产精品久久久久久亚洲av鲁大| 亚洲精品乱码久久久v下载方式| 长腿黑丝高跟| 人妻制服诱惑在线中文字幕| 在现免费观看毛片| 日韩欧美精品v在线| 老女人水多毛片| a级毛片a级免费在线| 亚洲经典国产精华液单| 精品人妻熟女av久视频| 男女下面进入的视频免费午夜| 国内精品久久久久精免费| 免费观看人在逋| 成人特级黄色片久久久久久久| 久久久久性生活片| 色综合亚洲欧美另类图片| 精品久久久久久久人妻蜜臀av| 丝袜美腿在线中文| 久久久久久九九精品二区国产| 人妻久久中文字幕网| 亚洲精品色激情综合| 成人永久免费在线观看视频| 99久久精品国产国产毛片| 欧美日本亚洲视频在线播放| 真实男女啪啪啪动态图| 深爱激情五月婷婷| 日韩中文字幕欧美一区二区| 最新在线观看一区二区三区| 免费电影在线观看免费观看| 国产伦一二天堂av在线观看| 国产亚洲精品久久久com| 亚洲成人精品中文字幕电影| 国产成人a区在线观看| 18禁在线播放成人免费| 亚洲国产高清在线一区二区三| 色视频www国产| 色吧在线观看| 国产伦一二天堂av在线观看| 亚洲最大成人手机在线| 国产真实伦视频高清在线观看 | 一级毛片久久久久久久久女| 欧美三级亚洲精品| 国产单亲对白刺激| 欧美精品国产亚洲| 少妇熟女aⅴ在线视频| 午夜精品久久久久久毛片777| 亚洲精品成人久久久久久| av在线老鸭窝| 亚洲性夜色夜夜综合| 两性午夜刺激爽爽歪歪视频在线观看| 岛国在线免费视频观看| 亚洲经典国产精华液单| 亚洲黑人精品在线| 一个人看的www免费观看视频| 99久久无色码亚洲精品果冻| 亚洲精品一卡2卡三卡4卡5卡| 中亚洲国语对白在线视频| 一级黄色大片毛片| 毛片女人毛片| 中文字幕av成人在线电影| xxxwww97欧美| 亚洲精品成人久久久久久| 亚洲国产精品久久男人天堂| 国产私拍福利视频在线观看| 免费观看精品视频网站| 丰满乱子伦码专区| 老司机深夜福利视频在线观看| 少妇猛男粗大的猛烈进出视频 | 天美传媒精品一区二区| 国产精品98久久久久久宅男小说| 春色校园在线视频观看| 日韩欧美 国产精品| 又爽又黄无遮挡网站| 亚洲在线观看片| 亚洲精品粉嫩美女一区| 波野结衣二区三区在线| 日本撒尿小便嘘嘘汇集6| 99热只有精品国产| 国产探花极品一区二区| av女优亚洲男人天堂| 久久精品国产亚洲av香蕉五月| 国产亚洲精品综合一区在线观看| 美女cb高潮喷水在线观看| 一级a爱片免费观看的视频| 啦啦啦韩国在线观看视频| 最近最新免费中文字幕在线| 日本与韩国留学比较| 精品久久久噜噜| 一个人观看的视频www高清免费观看| 久久欧美精品欧美久久欧美| 国产高清三级在线| 99国产精品一区二区蜜桃av| 久久欧美精品欧美久久欧美| 日本一本二区三区精品| 久久久久久久精品吃奶| 人人妻,人人澡人人爽秒播| 99热这里只有是精品50| 成人午夜高清在线视频| 神马国产精品三级电影在线观看| 久久人妻av系列| 亚洲欧美日韩卡通动漫| 日韩精品青青久久久久久| 国产色爽女视频免费观看| 久久久久久久精品吃奶| 精品人妻1区二区| 黄色欧美视频在线观看| 毛片一级片免费看久久久久 | 国产成人aa在线观看| 99久久中文字幕三级久久日本| 人妻制服诱惑在线中文字幕| 精品无人区乱码1区二区| 国产精品人妻久久久影院| 国产黄片美女视频| 亚洲一区高清亚洲精品| 国产一区二区在线av高清观看| 女同久久另类99精品国产91| 99久国产av精品| or卡值多少钱| 国产精品一区二区性色av| 黄色丝袜av网址大全| а√天堂www在线а√下载|