• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法

    2020-09-02 08:00:50陳子兆矯文成孫慧賢李月武
    關(guān)鍵詞:置信故障診斷神經(jīng)元

    陳子兆,矯文成,孫慧賢,李月武

    (陸軍工程大學(xué)石家莊校區(qū),河北 石家莊 050003)

    0 引言

    故障診斷[1]是指在系統(tǒng)運(yùn)行過(guò)程中,通過(guò)各種監(jiān)測(cè)手段判別其工作是否正常,分析指出系統(tǒng)當(dāng)前所處的狀態(tài),便于管理人員維修的一種技術(shù)診斷方法分為基于圖論的方法[2]、基于專家系統(tǒng)的方法[3]、基于解析模型的方法[4]、基于數(shù)據(jù)驅(qū)動(dòng)的方法[5]等?;谏疃戎眯啪W(wǎng)絡(luò)的故障診斷方法便是基于數(shù)據(jù)驅(qū)動(dòng)方法中較為常用的一種。

    深度置信網(wǎng)絡(luò)(deep belief network)是一種具有高維數(shù)據(jù)訓(xùn)練能力的多層神經(jīng)網(wǎng)絡(luò)模型[6]。其通過(guò)訓(xùn)練多層限制波爾茨曼機(jī)(restricted boltzmann machine)對(duì)輸入數(shù)據(jù)特征進(jìn)行學(xué)習(xí)和識(shí)別,已成功應(yīng)用于文本檢測(cè)[7]、序列預(yù)測(cè)[8]、情感分析[9]等領(lǐng)域。在故障診斷[10]領(lǐng)域,基于深度置信網(wǎng)絡(luò)的故障診斷方法也已經(jīng)在模擬電路[11]、機(jī)械軸承[12]、風(fēng)力電機(jī)[13]等方向展露風(fēng)采。美中不足的是,該故障診斷方法仍存在著諸多關(guān)鍵問(wèn)題亟待解決,其一是深度置信網(wǎng)絡(luò)(DBN)出現(xiàn)過(guò)擬合后,導(dǎo)致故障診斷的準(zhǔn)確率下降的問(wèn)題,目前較好的解決方法是Hinton教授提出dropout策略[14-15]和添加稀疏正則項(xiàng)[16]策略;其二是訓(xùn)練小樣本數(shù)據(jù)時(shí),網(wǎng)絡(luò)模型訓(xùn)練不充分導(dǎo)致準(zhǔn)確率低的問(wèn)題,現(xiàn)階段主要有遷移學(xué)習(xí)、強(qiáng)化特征提取、重復(fù)訓(xùn)練數(shù)據(jù)集、增加數(shù)據(jù)集數(shù)據(jù)量等解決方案。

    遷移學(xué)習(xí)也稱為歸納學(xué)習(xí),是將某個(gè)領(lǐng)域上學(xué)習(xí)到的知識(shí)應(yīng)用于不同但相關(guān)的領(lǐng)域中的一種學(xué)習(xí)策略,文獻(xiàn)[17—19]中便成功將遷移學(xué)習(xí)應(yīng)用于小樣本數(shù)據(jù)集上。但是由于無(wú)法確定遷移學(xué)習(xí)中原域和目標(biāo)域的界限,所以遷移學(xué)習(xí)在故障診斷中的應(yīng)用也十分有限。在強(qiáng)化特征提取的解決方案中,文獻(xiàn)[20]受神經(jīng)科學(xué)啟發(fā),在深度置信網(wǎng)絡(luò)中添加一層膠質(zhì)細(xì)胞層,強(qiáng)化相鄰的隱藏層神經(jīng)元的激活概率,從而優(yōu)化學(xué)習(xí)過(guò)程中的關(guān)聯(lián)性和特征提取能力。

    針對(duì)深度置信網(wǎng)絡(luò)對(duì)小樣本故障數(shù)據(jù)集故障診斷時(shí)準(zhǔn)確率低的問(wèn)題,本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方案。

    1 原理介紹

    1.1 深度置信網(wǎng)絡(luò)

    受限玻爾茲曼機(jī)(RBM)作為深度置信網(wǎng)絡(luò)模型的基本單位,是由可視層v和隱藏層h構(gòu)成的雙層神經(jīng)網(wǎng)絡(luò)。類似于熱動(dòng)力學(xué),其能量函數(shù)定義為:

    (1)

    式(1)中,θ=[Wij,ai,bj]分別表示可視層與隱藏層之間網(wǎng)絡(luò)權(quán)重、可視層偏置和隱藏層偏置,n為可視層節(jié)點(diǎn)數(shù),m為隱藏層節(jié)點(diǎn)數(shù)。

    限制玻爾茲曼機(jī)的本質(zhì)是一種概率生成模型,可見(jiàn)層與隱藏層的聯(lián)合概率分布和可見(jiàn)層的概率分布可表示為:

    (2)

    由此可以推導(dǎo)出隱藏節(jié)點(diǎn)的激活概率與可視節(jié)點(diǎn)重構(gòu)激活概率分別為:

    (3)

    而傳統(tǒng)的深度置信網(wǎng)絡(luò)模型(圖1)是由多層限制波爾茨曼機(jī)堆疊構(gòu)成的。其在訓(xùn)練過(guò)程中采用了對(duì)比散度(CD)算法、貪婪學(xué)習(xí)算法、梯度下降算法(GD)等方法,訓(xùn)練目標(biāo)是使誤差函數(shù)最小。深度置信網(wǎng)絡(luò)訓(xùn)練的本質(zhì)就是求取最大似然概率的過(guò)程。

    圖1 DBN(3 hidden layer)結(jié)構(gòu)模型圖Fig.1 Structural model of DBN(3 hidden layer)

    1.2 自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)

    自適應(yīng)諧振(adaptive resonance theory)神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)模型,在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有較大的靈活性。自適應(yīng)諧振(ART Ⅰ)神經(jīng)網(wǎng)絡(luò)模型如圖2所示,其中比較層C負(fù)責(zé)對(duì)匹配程度與參考閾值進(jìn)行比較;識(shí)別層R依據(jù)比較層的比較結(jié)果做出對(duì)應(yīng)的操作,復(fù)位信號(hào)Reset、邏輯控制信號(hào)G1和G2作為神經(jīng)網(wǎng)絡(luò)的控制信號(hào)。

    圖2 ART Ⅰ結(jié)構(gòu)模型圖Fig.2 Structural model of ART Ⅰ

    自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟可以分為匹配階段、比較階段、搜索階段和學(xué)習(xí)階段四個(gè)階段,具體訓(xùn)練流程如下:

    1) 匹配階段

    當(dāng)輸入數(shù)據(jù)X通過(guò)比較層C前向傳遞至識(shí)別層R時(shí),與識(shí)別層R神經(jīng)元前向權(quán)值bij進(jìn)行匹配度計(jì)算:

    (4)

    選擇具有最大匹配度的競(jìng)爭(zhēng)獲勝神經(jīng)元:

    (5)

    2) 比較階段

    使得識(shí)別層R中獲勝的神經(jīng)元j激活,將其相連的反向權(quán)值aij與該輸入數(shù)據(jù)X進(jìn)行相似度計(jì)算:

    (6)

    因?yàn)檩斎霐?shù)據(jù)X為二進(jìn)制數(shù)據(jù),N0實(shí)際表示獲勝神經(jīng)元的代表向量與輸入模式向量之間向量同為1的次數(shù)。計(jì)輸入模式向量中的非零個(gè)數(shù)為N1。設(shè)定門(mén)限閾值ρ,如果兩者比值大于ρ則進(jìn)入學(xué)習(xí)階段,否則進(jìn)入搜索階段。

    3) 搜索階段

    網(wǎng)絡(luò)進(jìn)入搜索階段,使得競(jìng)爭(zhēng)獲勝的神經(jīng)元持續(xù)受到抑制,并且重復(fù)匹配階段和比較階段,直至大于門(mén)限閾值ρ。如果所有神經(jīng)元都無(wú)法滿足要求,則在網(wǎng)絡(luò)中增加一個(gè)神經(jīng)元并用該輸入模式向量作為該神經(jīng)元的代表向量,然后進(jìn)入匹配階段。

    4) 學(xué)習(xí)階段

    學(xué)習(xí)階段主要是對(duì)獲勝神經(jīng)元的權(quán)值向量進(jìn)行調(diào)整,使得再次出現(xiàn)該模式相似的輸入數(shù)據(jù)時(shí)獲得更大的共振和相似度。修改反向權(quán)值aij和前向權(quán)值bij公式如下:

    (7)

    1.3 改進(jìn)ART-DBN模型的探討與分析

    自適應(yīng)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)方面具有極大的靈活性。其通過(guò)強(qiáng)化特定神經(jīng)元的連接權(quán)值,使得網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中具有相似特征的數(shù)據(jù)聚成一類,達(dá)到對(duì)無(wú)標(biāo)簽數(shù)據(jù)分類的目的。深度置信網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中,通過(guò)逐層激活神經(jīng)元,提取數(shù)據(jù)深層特征,從而對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)和無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行識(shí)別。當(dāng)面對(duì)相同或相似輸入數(shù)據(jù)時(shí),因?yàn)榫哂邢嗨频挠行卣?,各隱藏層層激活的神經(jīng)元應(yīng)當(dāng)大致相同。

    受到兩種模型的啟發(fā),本文嘗試將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)模型與深度置信網(wǎng)絡(luò)模型相結(jié)合,將自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程與深度置信網(wǎng)絡(luò)訓(xùn)練過(guò)程相結(jié)合,提出了一種改進(jìn)的網(wǎng)絡(luò)模型ART-DBN,通過(guò)利用自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)對(duì)無(wú)標(biāo)簽數(shù)據(jù)的學(xué)習(xí)和分類優(yōu)勢(shì),強(qiáng)化深度置信網(wǎng)絡(luò)隱藏層中相關(guān)神經(jīng)元節(jié)點(diǎn)的激活概率,進(jìn)一步強(qiáng)化深度置信網(wǎng)絡(luò)的特征提取和分類能力,最終達(dá)到提升深度置信網(wǎng)絡(luò)分類準(zhǔn)確率,改善網(wǎng)絡(luò)訓(xùn)練效果的目的。

    網(wǎng)絡(luò)模型整體設(shè)計(jì)的思路是對(duì)相似度較大且差異度大的隱藏層神經(jīng)元進(jìn)行權(quán)值強(qiáng)化,使得其相似度進(jìn)一步增大而差異度減少,從而強(qiáng)化對(duì)數(shù)據(jù)特征的提取能力;對(duì)相似度較大而差異度較小的隱藏層神經(jīng)元,因?yàn)槠浼せ罡怕瘦^大且模式代表向量與輸入模式向量類型相似,故而跳過(guò)對(duì)其權(quán)值的調(diào)整。

    同時(shí)為了避免特征向量全1或者全0時(shí)出現(xiàn)差異度全局過(guò)小而陷入死循環(huán),首先應(yīng)當(dāng)對(duì)初始化特征代表向量進(jìn)行0或1的隨機(jī)賦值;再者考慮到輸入數(shù)據(jù)與權(quán)值參數(shù)的維度和度量上不一致,在相似度度量指標(biāo)上選取用余弦距離替代歐式距離;最后因?yàn)橐云ヅ涠葹檎{(diào)整指標(biāo)的網(wǎng)絡(luò)模型中,權(quán)值參數(shù)在調(diào)整過(guò)程中會(huì)使得相似程度和匹配程度不斷增大,最終使得多次權(quán)值參數(shù)的更新只是針對(duì)同一個(gè)或幾個(gè)神經(jīng)元,反而導(dǎo)致準(zhǔn)確率極度下降,所以我們拋棄了匹配度而選擇差異度作為調(diào)整指標(biāo),以期對(duì)更多的神經(jīng)元進(jìn)行優(yōu)化。

    綜上所述,改進(jìn)網(wǎng)絡(luò)模型的RBM結(jié)構(gòu)如圖3所示,在每一層RBM中添加了一層由星形表示的ART層,ART層由與隱藏層節(jié)點(diǎn)數(shù)相同的ART神經(jīng)元組成,ART神經(jīng)元分別與對(duì)應(yīng)的隱藏層節(jié)點(diǎn)相連,與可視層神經(jīng)元節(jié)點(diǎn)全連接。對(duì)此,符合要求的隱藏層節(jié)點(diǎn)便可通過(guò)ART層影響整個(gè)RBM,進(jìn)而影響由ART-RBM堆疊構(gòu)成的ART-DBN。

    圖3 ART-RBM結(jié)構(gòu)模型圖Fig.3 Structural model of ART-RBM

    2 基于改進(jìn)模型的故障診斷方法

    2.1 改進(jìn)模型的故障診斷方法

    深度置信網(wǎng)絡(luò)作為一種基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法,能夠自動(dòng)從復(fù)雜的原始故障數(shù)據(jù)分布中提取有效的特征向量,通過(guò)自帶的Softmax分類器對(duì)故障類型進(jìn)行分類診斷?;跀?shù)據(jù)驅(qū)動(dòng)的故障診斷方法需要在龐大的故障數(shù)據(jù)支持下才能較好地完成診斷任務(wù),但是在實(shí)際應(yīng)用中,因?yàn)樵O(shè)備發(fā)生故障的幾率微小,而發(fā)生故障時(shí)因?yàn)樵O(shè)備損壞又難以獲取數(shù)據(jù)等原因,導(dǎo)致能夠采集得到的故障數(shù)據(jù)極其稀少,極大程度地影響著故障診斷結(jié)果的準(zhǔn)確率。因此本文提出了一種基于改進(jìn)深度置信網(wǎng)絡(luò)模型的故障診斷方法,圖4直觀地表示出基于傳統(tǒng)深度置信網(wǎng)絡(luò)的故障診斷方法和基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法的區(qū)別。

    圖4 兩種故障診斷方法的對(duì)比Fig.4 Comparison of two fault diagnosis methods

    與基于傳統(tǒng)模型的故障診斷方法相比,改進(jìn)方法將傳統(tǒng)的DBN模型替換為改進(jìn)的ART-DBN網(wǎng)絡(luò)模型,同時(shí)使用改進(jìn)的訓(xùn)練規(guī)則對(duì)整個(gè)改進(jìn)ART-DBN模型進(jìn)行訓(xùn)練調(diào)優(yōu)。待改進(jìn)模型訓(xùn)練完成后,以優(yōu)化后的權(quán)值參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的原始故障數(shù)據(jù)進(jìn)行特征提取、分類識(shí)別,完成對(duì)故障類型的識(shí)別診斷。

    2.2 ART-RBM訓(xùn)練規(guī)則

    傳統(tǒng)的DBN采用一步對(duì)比散度(CD-1)算法訓(xùn)練RBM模型,在此我們?nèi)宰裱璈inton教授在文獻(xiàn)[21]給出訓(xùn)練RBM的相關(guān)建議,同時(shí)結(jié)合ART神經(jīng)網(wǎng)絡(luò)的訓(xùn)練規(guī)則,提出ART-RBM的訓(xùn)練規(guī)則。

    改進(jìn)的ART-RBM訓(xùn)練規(guī)則如下:

    步驟1 輸入訓(xùn)練數(shù)據(jù)v1,計(jì)算隱藏層激活狀態(tài)h1:

    h1←sigmoid(Wijv1+bj)

    對(duì)隱藏層神經(jīng)元賦值0或1:

    ifh1> 0到1之間隨機(jī)數(shù)

    thenh1= 1

    elseh1= 0

    依據(jù)CD-1算法重構(gòu)可視層神經(jīng)元:

    v2←sigmoid(Wijh1+ai)

    對(duì)隱藏層神經(jīng)元賦值0或1:

    ifv2> 0到1之間隨機(jī)數(shù)

    thenv2= 1

    elsev2= 0

    再次計(jì)算隱藏層激活概率h2:

    h2←sigmoid(Wijv2+bj)

    步驟2 根據(jù)CD-1算法更新網(wǎng)絡(luò)參數(shù):

    Wij←Wij+Wv

    ai←ai+av

    bj←bj+bv

    步驟3 計(jì)算輸入數(shù)據(jù)與隱藏層神經(jīng)元之間的相似度:

    選取相似度最優(yōu)的隱藏層神經(jīng)元:

    Sk←Fmax(Scos(j))

    步驟4 選取最優(yōu)隱藏層神經(jīng)元的特征代表向量與重構(gòu)后的輸入向量v2計(jì)算差異度:

    對(duì)滿足不同條件差異度的神經(jīng)元采取不同的措施:

    ifσ>ρ

    thenWik←Wik+kασWik

    Wi,j≠k←Wi,j≠k-kασWik

    dik←dikv2

    else拋棄最優(yōu)神經(jīng)元,重新搜索

    步驟5 重復(fù)迭代直至達(dá)到最大網(wǎng)路迭代次數(shù)epoch。

    2.3 ART-DBN訓(xùn)練規(guī)則及其故障診斷應(yīng)用

    作為構(gòu)成ART-DBN模型的基礎(chǔ)單元,改進(jìn)的ART-DBN訓(xùn)練規(guī)則與傳統(tǒng)DBN訓(xùn)練規(guī)則的流程相似,ART-DBN也是采用貪婪學(xué)習(xí)算法的方法逐層訓(xùn)練ART-RBM,而后采用反向傳播算法對(duì)ART-DBN模型全局調(diào)優(yōu)。不同的是將傳統(tǒng)的DBN網(wǎng)絡(luò)中針對(duì)RBM預(yù)訓(xùn)練步驟更新為針對(duì)ART-RBM的預(yù)訓(xùn)練步驟。故而基于ART-DBN網(wǎng)絡(luò)模型的故障診斷方法如圖5所示。

    圖5 基于ART-DBN網(wǎng)絡(luò)的故障診斷圖Fig.5 Fault diagnosis based on ART-DBN network

    ART-DBN網(wǎng)絡(luò)模型通過(guò)對(duì)原始故障數(shù)據(jù)的訓(xùn)練和學(xué)習(xí),完成對(duì)已知故障類別的識(shí)別,然后將待診斷的故障數(shù)據(jù)輸入網(wǎng)絡(luò)模型中,由模型提取待診斷故障數(shù)據(jù)的特征向量并進(jìn)行識(shí)別診斷,完成對(duì)待診斷故障數(shù)據(jù)的診斷工作。

    3 實(shí)驗(yàn)分析

    本章首先在三種網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集上,將提出的ART-DBN網(wǎng)絡(luò)模型與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型、文獻(xiàn)[17]所提出的改進(jìn)網(wǎng)絡(luò)模型(以下簡(jiǎn)稱SP-DBN)等進(jìn)行對(duì)比實(shí)驗(yàn),以觀察提出的ART-DBN網(wǎng)絡(luò)模型的性能優(yōu)劣;然后將所提出的網(wǎng)絡(luò)應(yīng)用于實(shí)際的小樣本數(shù)據(jù)集故障診斷以檢驗(yàn)?zāi)P偷膶?shí)時(shí)性和實(shí)用性。

    3.1 參數(shù)選取

    實(shí)驗(yàn)中設(shè)定的各項(xiàng)基本參數(shù)為:學(xué)習(xí)率α為0.01,稀疏正則化參數(shù)λ為0.000 5,沖量p為0,批訓(xùn)練量batchsizes在ORL數(shù)據(jù)集下為30,在MNIST和CIFAR-10數(shù)據(jù)集下為100,網(wǎng)絡(luò)搜索次數(shù)epoch在ORL數(shù)據(jù)集下為1 000次,在MNIST和CIFAR-10數(shù)據(jù)集下為3 000次。實(shí)驗(yàn)開(kāi)發(fā)環(huán)境為Matlab R2015b。

    3.2 特征可視化實(shí)驗(yàn)

    本節(jié)首先對(duì)所提出的ART-DBN網(wǎng)絡(luò)、傳統(tǒng)的DBN網(wǎng)絡(luò)和稀疏DBN網(wǎng)絡(luò)三種模型在ORL數(shù)據(jù)集上進(jìn)行可視化操作,以檢驗(yàn)三種模型的特征提取能力。實(shí)驗(yàn)一中,三種模型均選取可視層節(jié)點(diǎn)數(shù)為784和隱藏層節(jié)點(diǎn)數(shù)為100的RBM網(wǎng)絡(luò)結(jié)構(gòu),模型學(xué)習(xí)得到的可視化圖形如圖6所示。

    圖6 特征可視化圖Fig.6 Feature visualization

    從圖6可以看出,三類網(wǎng)絡(luò)結(jié)構(gòu)與原圖相比,傳統(tǒng)的DBN網(wǎng)絡(luò)模型對(duì)特征提取較差,特征點(diǎn)分布的雜亂無(wú)章,無(wú)法人眼識(shí)別出所提取的內(nèi)容;稀疏的DBN網(wǎng)絡(luò)模型對(duì)特征提取較好,圍繞著原圖形的亮點(diǎn)出現(xiàn)有規(guī)則的分布,人眼對(duì)少數(shù)圖片能識(shí)別出所提取的內(nèi)容;ART-DBN網(wǎng)絡(luò)模型對(duì)特征提取最好,特征點(diǎn)基本與原圖形相吻合,人眼大致能識(shí)別出所提取的內(nèi)容。

    由此可以得出所提出的ART-DBN網(wǎng)絡(luò)模型通過(guò)添加ART層強(qiáng)化某一種類型的神經(jīng)元,使得網(wǎng)絡(luò)模型對(duì)某一類圖形特征提取的能力顯著提高,能夠較好地學(xué)習(xí)輸入圖片中所包含的特征數(shù)據(jù)并且能較完整地還原出原圖形。

    3.3 MNIST數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

    MNIST數(shù)據(jù)集包含10組,每組7 000張,共70 000張手寫(xiě)黑白照片。本文選取其中每組6 000張照片,共60 000張照片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的每組1 000張照片,共10 000張照片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在MNSIT數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)二為雙隱藏層數(shù)200,100條件下,不同差異度取值的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如圖7所示。實(shí)驗(yàn)三為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表1所示。

    表1 MNIST數(shù)據(jù)集上四種模型的準(zhǔn)確度

    圖7 MNIST數(shù)據(jù)集上差異度變化圖Fig.7 Different degrees on MNIST

    從圖7可以看出,本文提出的ART-DBN網(wǎng)絡(luò)模型的準(zhǔn)確率始終高于稀疏的DBN網(wǎng)絡(luò)模型的準(zhǔn)確率,說(shuō)明了MNIST數(shù)據(jù)集下改進(jìn)的DBN較稀疏DBN網(wǎng)絡(luò)更加優(yōu)異,同時(shí)可以看出ART-DBN網(wǎng)絡(luò)模型在200,100雙隱藏層條件下,準(zhǔn)確率處于98%左右。選取差異度σ為0.45,具有一定的代表性。

    表1為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn),其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.45。從表1中可以看出,BP網(wǎng)絡(luò)模型表現(xiàn)最差,稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次,ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。實(shí)驗(yàn)證明了BP神經(jīng)網(wǎng)絡(luò)對(duì)于大數(shù)據(jù)量的學(xué)習(xí)與分類已不相適應(yīng),同時(shí)在MNIST數(shù)據(jù)集上,ART-DBN網(wǎng)絡(luò)模型較傳統(tǒng)的DBN網(wǎng)絡(luò)模型和稀疏的DBN網(wǎng)絡(luò)模型準(zhǔn)確率更高。但是由于傳統(tǒng)的DBN網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率已經(jīng)達(dá)到98%,提升準(zhǔn)確率的幅度不是很大。

    3.4 CIFAR-10數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)

    CIFAR-10數(shù)據(jù)集包含10組,每組6 000張,共60 000張彩色圖像。本文提取所有彩色圖像RGB三色作為特征數(shù)據(jù),可視層神經(jīng)元節(jié)點(diǎn)數(shù)為3×1 024個(gè)。本文選取其中每組5 000張圖片,共50 000張圖片作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的每組1 000張圖片,共10 000張圖片作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在CIFAR-10數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)四為雙隱藏層數(shù)100,100條件下,不同差異度取值的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如圖8所示。實(shí)驗(yàn)五為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表2所示。

    從圖8可以看出,在雙隱藏層數(shù)為100,100的條件下,變化差異度的取值,ART-DBN網(wǎng)絡(luò)模型較稀疏DBN網(wǎng)絡(luò)模型表現(xiàn)略有下降,準(zhǔn)確率略有降低。分析原因可能是由于隱藏層數(shù)較少,網(wǎng)絡(luò)參數(shù)的更新調(diào)整使得網(wǎng)絡(luò)出現(xiàn)的正常范圍內(nèi)波動(dòng)。因?yàn)镃IFAR-10數(shù)據(jù)集的可視層節(jié)點(diǎn)數(shù)為3 072,較一般數(shù)據(jù)集偏多,為此選取差異度為0.35,降低差異度的取值是為了使得ART層更易滿足差異度閾值,從而極大程度對(duì)神經(jīng)元的權(quán)值更新調(diào)整。

    圖8 CIFAR-10數(shù)據(jù)集上差異度變化圖Fig.8 Different degrees on CIFAR-10

    表2為ART-DBN網(wǎng)絡(luò)模型與BP、傳統(tǒng)DBN、稀疏DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果,其中ART-DBN網(wǎng)絡(luò)模型中的差異度σ根據(jù)實(shí)驗(yàn)四賦值為0.35。從表2中可以看出,BP網(wǎng)絡(luò)模型表現(xiàn)最差,稀疏DBN與傳統(tǒng)DBN網(wǎng)絡(luò)模型其次,ART-DBN網(wǎng)絡(luò)模型表現(xiàn)更為優(yōu)異。因?yàn)閷?duì)CIFAR-10數(shù)據(jù)集的學(xué)習(xí),一般的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后準(zhǔn)確率為50%左右,而B(niǎo)P神經(jīng)網(wǎng)絡(luò)屬于淺層神經(jīng)網(wǎng)絡(luò),準(zhǔn)確率有所下降。實(shí)驗(yàn)證明了通過(guò)添加ART層的改進(jìn)神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)DBN和稀疏DBN在準(zhǔn)確率上有所改善。

    表2 CIFAR-10數(shù)據(jù)集上四種模型的準(zhǔn)確度

    3.5 小樣本故障數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)

    小樣本故障數(shù)據(jù)集是對(duì)軍內(nèi)某通信控制裝備的正常狀態(tài)和六種故障狀態(tài)下的時(shí)域波形圖采樣1 000點(diǎn)并均值歸一化后得到的數(shù)據(jù)集,包含7組,每組200~1 000組數(shù)據(jù)不等,共計(jì)4 042組。本文選取每組80%左右數(shù)據(jù),共3 470組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集用以訓(xùn)練網(wǎng)絡(luò),選取余下的數(shù)據(jù),共572組數(shù)據(jù)作為測(cè)試數(shù)據(jù)集用以測(cè)試網(wǎng)絡(luò)性能。

    在武器裝備故障數(shù)據(jù)集下,本小節(jié)進(jìn)行了兩組實(shí)驗(yàn)以驗(yàn)證ART-DBN網(wǎng)絡(luò)模型的優(yōu)越性。實(shí)驗(yàn)六為固定差異度條件下,不同雙隱藏層節(jié)點(diǎn)數(shù)的準(zhǔn)確率比較,實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)七為固定網(wǎng)絡(luò)參數(shù)條件下,各網(wǎng)絡(luò)模型對(duì)故障數(shù)據(jù)集分類準(zhǔn)確率上限的測(cè)試,實(shí)驗(yàn)結(jié)果如表4所示。

    表3 故障數(shù)據(jù)集上四種模型的準(zhǔn)確度

    表4 故障數(shù)據(jù)集上準(zhǔn)確度的上限

    表3為ART-DBN網(wǎng)絡(luò)模型與BP、稀疏DBN、SP-DBN三種網(wǎng)絡(luò)模型不同隱藏層數(shù)條件下的對(duì)比實(shí)驗(yàn)結(jié)果,其中ART-DBN網(wǎng)絡(luò)模型中差異度σ賦值為0.7。從表3中可以看出,本文改進(jìn)的DBN模型對(duì)裝備故障數(shù)據(jù)集的學(xué)習(xí)和分類能力強(qiáng)過(guò)傳統(tǒng)的BP、DBN網(wǎng)絡(luò)模型。但是由于本文未對(duì)時(shí)域波形圖采取如小波變化等方法的特征提取,所以準(zhǔn)確較低。

    表4為裝備故障數(shù)據(jù)集下,五種網(wǎng)絡(luò)模型準(zhǔn)確率上限的測(cè)試實(shí)驗(yàn)結(jié)果。通過(guò)反復(fù)實(shí)驗(yàn)嘗試,得出改進(jìn)DBN網(wǎng)絡(luò)模型的準(zhǔn)確率上限為90%左右,較其他四種網(wǎng)絡(luò)模型有一定改善,在武器裝備故障診斷領(lǐng)域的表現(xiàn)優(yōu)于其他四種網(wǎng)絡(luò)模型。

    3.6 小樣本故障診斷的性能分析

    為了更好地評(píng)價(jià)改進(jìn)的方案,我們引入準(zhǔn)確率、召回率、精確率等指標(biāo)全面衡量其性能優(yōu)劣。如果以P(Positive)和N(Negative)分別代表真實(shí)的正常數(shù)據(jù)和故障數(shù)據(jù)的數(shù)量,以T(Ture)和F(False)代表模型判斷正確和錯(cuò)誤的數(shù)量,那么TP則表示模型判斷為正常數(shù)據(jù),實(shí)際也是正常數(shù)據(jù)的數(shù)量;TN則表示模型判斷為故障數(shù)據(jù),實(shí)際也是故障數(shù)據(jù)的數(shù)量;FP則表示模型判斷為故障數(shù)據(jù),但實(shí)際卻是正常數(shù)據(jù)的數(shù)量;FN則表示模型判斷為正常數(shù)據(jù),但實(shí)際也是故障數(shù)據(jù)的數(shù)量。需要說(shuō)明的是上述三種指標(biāo)適用于基于二分類的機(jī)器學(xué)習(xí)方法,但在此處我們將所有的不同類型的故障數(shù)據(jù)統(tǒng)稱為故障數(shù)據(jù),因此該指標(biāo)參數(shù)同樣適用于本實(shí)驗(yàn)。

    由此即可定義:

    實(shí)驗(yàn)八為對(duì)上述三種模型在隱藏層為100-40條件下各識(shí)別結(jié)果的統(tǒng)計(jì),結(jié)果如表5。

    表5 故障數(shù)據(jù)集上各模型指標(biāo)對(duì)比表

    從表5可以得知:改進(jìn)模型的召回率為45.45%,精確率為75%。分別與其他兩種模型對(duì)比發(fā)現(xiàn),改進(jìn)模型在召回率上表現(xiàn)最好,說(shuō)明對(duì)于正常樣本,改進(jìn)模型能起到很好的識(shí)別作用,同時(shí)計(jì)算得出在所有故障樣本中,改進(jìn)模型識(shí)別為故障樣本的比例為95.73%,漏警概率為54.55%,在三種模型中表現(xiàn)最好。通過(guò)實(shí)驗(yàn)可以證明小樣本數(shù)據(jù)集的故障診斷,改進(jìn)模型性能優(yōu)于其他兩種模型,一定程度上解決了小樣本故障數(shù)據(jù)集下網(wǎng)絡(luò)訓(xùn)練效果差的問(wèn)題。

    3.7 小樣本故障診斷的訓(xùn)練時(shí)間分析

    不可否認(rèn)的是通過(guò)在網(wǎng)絡(luò)中額外加入了一層用于強(qiáng)化特征提取的ART層,會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練的時(shí)間額外增加,故此又進(jìn)行了一組實(shí)驗(yàn)以測(cè)算改進(jìn)模型用于故障診斷所耗費(fèi)的時(shí)間。實(shí)驗(yàn)九為在通信控制設(shè)備故障數(shù)據(jù)條件下的網(wǎng)絡(luò)訓(xùn)練耗時(shí)測(cè)算實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表6所示。

    從表6可以看出改進(jìn)網(wǎng)絡(luò)模型較傳統(tǒng)模型訓(xùn)練時(shí)間延長(zhǎng)了2~3倍,但對(duì)于故障診斷領(lǐng)域,適當(dāng)犧牲訓(xùn)練時(shí)長(zhǎng)而換取更好的訓(xùn)練效果和更高的分類準(zhǔn)確率是值得的。

    表6 故障數(shù)據(jù)集上的訓(xùn)練耗時(shí)

    4 結(jié)論

    本文提出了基于改進(jìn)深度置信網(wǎng)絡(luò)的故障診斷方法。該方法通過(guò)將深度置信網(wǎng)絡(luò)與自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)結(jié)合,優(yōu)化網(wǎng)絡(luò)特征提取的能力,提升網(wǎng)絡(luò)學(xué)習(xí)和分類能力以減少網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)的依賴程度,利用ORL,MNIST和CIFAR-10等網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集測(cè)試改進(jìn)的深度置信網(wǎng)絡(luò)模型的性能,并將改進(jìn)網(wǎng)絡(luò)模型應(yīng)用于小樣本故障數(shù)據(jù)集上。實(shí)驗(yàn)驗(yàn)證結(jié)果表明,較基于傳統(tǒng)網(wǎng)絡(luò)模型的故障診斷而言,基于改進(jìn)模型的方法通過(guò)添加新的隱藏層,強(qiáng)化了模型特征提取能力,提高了故障診斷的準(zhǔn)確率。

    猜你喜歡
    置信故障診斷神經(jīng)元
    《從光子到神經(jīng)元》書(shū)評(píng)
    自然雜志(2021年6期)2021-12-23 08:24:46
    急診住院醫(yī)師置信職業(yè)行為指標(biāo)構(gòu)建及應(yīng)用初探
    基于置信職業(yè)行為的兒科住院醫(yī)師形成性評(píng)價(jià)體系的構(gòu)建探索
    基于模糊深度置信網(wǎng)絡(luò)的陶瓷梭式窯PID優(yōu)化控制
    躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
    因果圖定性分析法及其在故障診斷中的應(yīng)用
    基于CUDA和深度置信網(wǎng)絡(luò)的手寫(xiě)字符識(shí)別
    基于二次型單神經(jīng)元PID的MPPT控制
    毫米波導(dǎo)引頭預(yù)定回路改進(jìn)單神經(jīng)元控制
    基于LCD和排列熵的滾動(dòng)軸承故障診斷
    天天躁狠狠躁夜夜躁狠狠躁| 亚洲美女黄片视频| 国产精品秋霞免费鲁丝片| 国产欧美日韩精品亚洲av| 黄色 视频免费看| 久久人人爽av亚洲精品天堂| 久久久久久久久久久久大奶| 欧美午夜高清在线| 在线十欧美十亚洲十日本专区| 琪琪午夜伦伦电影理论片6080| 国产欧美日韩一区二区三区在线| 久久国产精品人妻蜜桃| 久久久久国内视频| 亚洲第一av免费看| 亚洲成人久久性| 国产精品一区二区三区四区久久 | 琪琪午夜伦伦电影理论片6080| 在线av久久热| 亚洲成人免费电影在线观看| 啦啦啦 在线观看视频| 亚洲男人的天堂狠狠| 两性夫妻黄色片| 成人av一区二区三区在线看| 国产极品粉嫩免费观看在线| 欧美在线黄色| 国产精品电影一区二区三区| 国产精品精品国产色婷婷| 黑人巨大精品欧美一区二区mp4| 久久午夜综合久久蜜桃| 搡老妇女老女人老熟妇| 亚洲电影在线观看av| 最新美女视频免费是黄的| www.www免费av| 日本 av在线| 韩国av一区二区三区四区| 精品国产乱子伦一区二区三区| 久久久久久国产a免费观看| 麻豆成人av在线观看| 99久久精品国产亚洲精品| 久久香蕉国产精品| 久久精品91蜜桃| 精品久久蜜臀av无| 两个人免费观看高清视频| 91精品国产国语对白视频| 18美女黄网站色大片免费观看| 久久精品国产亚洲av高清一级| 日韩精品免费视频一区二区三区| 亚洲国产中文字幕在线视频| 午夜福利18| av超薄肉色丝袜交足视频| 国产一卡二卡三卡精品| 曰老女人黄片| 50天的宝宝边吃奶边哭怎么回事| 日韩欧美三级三区| 丰满的人妻完整版| 天堂影院成人在线观看| 成人三级黄色视频| 亚洲人成电影免费在线| 亚洲视频免费观看视频| 国产精品免费视频内射| 亚洲男人的天堂狠狠| 一级a爱片免费观看的视频| 好男人在线观看高清免费视频 | 淫秽高清视频在线观看| 淫妇啪啪啪对白视频| 此物有八面人人有两片| 如日韩欧美国产精品一区二区三区| 色哟哟哟哟哟哟| 在线观看免费午夜福利视频| 伊人久久大香线蕉亚洲五| 欧美日韩福利视频一区二区| 国产精品综合久久久久久久免费 | 精品国产乱子伦一区二区三区| 精品无人区乱码1区二区| 电影成人av| 午夜亚洲福利在线播放| 欧美日韩乱码在线| 狠狠狠狠99中文字幕| 亚洲人成电影免费在线| 高清在线国产一区| av电影中文网址| 久久久久国产精品人妻aⅴ院| 久久久久久免费高清国产稀缺| 97碰自拍视频| 神马国产精品三级电影在线观看 | 中文字幕人妻丝袜一区二区| 亚洲精品在线观看二区| 一区二区三区激情视频| 欧美精品亚洲一区二区| 黄片播放在线免费| 熟女少妇亚洲综合色aaa.| 老司机午夜十八禁免费视频| 91国产中文字幕| 男女下面插进去视频免费观看| 国产午夜精品久久久久久| 亚洲第一av免费看| 日本免费一区二区三区高清不卡 | 免费看美女性在线毛片视频| 琪琪午夜伦伦电影理论片6080| 亚洲第一青青草原| 欧美在线黄色| 欧美av亚洲av综合av国产av| 午夜激情av网站| 欧美 亚洲 国产 日韩一| 两个人看的免费小视频| 色尼玛亚洲综合影院| 亚洲av电影不卡..在线观看| 国产成人av教育| 99在线视频只有这里精品首页| 久久国产精品影院| 欧美日韩亚洲国产一区二区在线观看| 波多野结衣一区麻豆| 亚洲精品中文字幕一二三四区| 午夜福利,免费看| 亚洲国产精品久久男人天堂| 亚洲精品国产精品久久久不卡| 亚洲成a人片在线一区二区| 国产又爽黄色视频| 成人国语在线视频| avwww免费| 精品不卡国产一区二区三区| 可以免费在线观看a视频的电影网站| videosex国产| 亚洲伊人色综图| 亚洲欧美激情在线| 多毛熟女@视频| 久久久水蜜桃国产精品网| 国产99白浆流出| 午夜免费鲁丝| 免费在线观看亚洲国产| 日韩欧美免费精品| 国产精品香港三级国产av潘金莲| www日本在线高清视频| 欧美中文日本在线观看视频| 男女之事视频高清在线观看| 亚洲国产看品久久| 曰老女人黄片| 久久青草综合色| 亚洲一区高清亚洲精品| 免费人成视频x8x8入口观看| 亚洲自拍偷在线| 欧美不卡视频在线免费观看 | 久热这里只有精品99| 日韩欧美一区二区三区在线观看| 91字幕亚洲| 91精品国产国语对白视频| 午夜老司机福利片| 欧美日韩亚洲综合一区二区三区_| 国产欧美日韩一区二区三| 女人高潮潮喷娇喘18禁视频| 精品久久久精品久久久| 欧美不卡视频在线免费观看 | 久久国产精品男人的天堂亚洲| 亚洲av美国av| 女生性感内裤真人,穿戴方法视频| ponron亚洲| 99久久久亚洲精品蜜臀av| 日本在线视频免费播放| 在线观看日韩欧美| 国产精品 国内视频| 精品久久久久久久毛片微露脸| 国产高清激情床上av| 精品不卡国产一区二区三区| 国产精品乱码一区二三区的特点 | 亚洲成av片中文字幕在线观看| 久久精品国产亚洲av香蕉五月| 国产一区在线观看成人免费| 久久人人97超碰香蕉20202| 色综合婷婷激情| 最新美女视频免费是黄的| 久久久国产成人精品二区| bbb黄色大片| 变态另类丝袜制服| 天天躁狠狠躁夜夜躁狠狠躁| 日韩中文字幕欧美一区二区| 看片在线看免费视频| 美女国产高潮福利片在线看| 亚洲 国产 在线| 日本vs欧美在线观看视频| 99国产综合亚洲精品| 日本五十路高清| 久热爱精品视频在线9| 免费一级毛片在线播放高清视频 | 神马国产精品三级电影在线观看 | 露出奶头的视频| 国产欧美日韩一区二区三| 亚洲欧美日韩无卡精品| 午夜两性在线视频| 变态另类成人亚洲欧美熟女 | 岛国视频午夜一区免费看| 黑人巨大精品欧美一区二区mp4| 免费在线观看视频国产中文字幕亚洲| 一级毛片精品| 久久国产亚洲av麻豆专区| netflix在线观看网站| 一本大道久久a久久精品| 亚洲国产日韩欧美精品在线观看 | 久久天堂一区二区三区四区| 国产欧美日韩精品亚洲av| 亚洲成av片中文字幕在线观看| 亚洲最大成人中文| 两性午夜刺激爽爽歪歪视频在线观看 | 久久久久九九精品影院| 久久久久国内视频| 在线观看免费日韩欧美大片| 久久精品91无色码中文字幕| 在线观看免费日韩欧美大片| 久久久久久久久久久久大奶| 国产精品久久久久久人妻精品电影| 一个人免费在线观看的高清视频| 午夜免费成人在线视频| 日本黄色视频三级网站网址| 黄色 视频免费看| 午夜免费成人在线视频| 村上凉子中文字幕在线| 国产精品香港三级国产av潘金莲| 一区二区日韩欧美中文字幕| 国产精品影院久久| 中文字幕人成人乱码亚洲影| av视频免费观看在线观看| 丁香欧美五月| 国产高清激情床上av| 精品乱码久久久久久99久播| 亚洲成人国产一区在线观看| 国产午夜精品久久久久久| 日韩视频一区二区在线观看| 久久久精品欧美日韩精品| 久久中文字幕人妻熟女| 欧美在线一区亚洲| 色精品久久人妻99蜜桃| 在线观看日韩欧美| 精品无人区乱码1区二区| 桃色一区二区三区在线观看| 午夜精品久久久久久毛片777| 亚洲色图 男人天堂 中文字幕| 老司机福利观看| 久久久国产成人精品二区| 精品第一国产精品| 真人做人爱边吃奶动态| 欧美激情久久久久久爽电影 | 少妇裸体淫交视频免费看高清 | 国产av又大| 日本撒尿小便嘘嘘汇集6| 国产成人啪精品午夜网站| 成人手机av| 三级毛片av免费| 波多野结衣巨乳人妻| 好看av亚洲va欧美ⅴa在| 欧美成人午夜精品| 午夜免费成人在线视频| 少妇被粗大的猛进出69影院| 99精品欧美一区二区三区四区| 国产亚洲欧美在线一区二区| 国产精品av久久久久免费| 国产成人精品无人区| 国产精华一区二区三区| 欧美成人免费av一区二区三区| 啦啦啦韩国在线观看视频| 一级a爱视频在线免费观看| 亚洲精品国产区一区二| 午夜精品久久久久久毛片777| 亚洲aⅴ乱码一区二区在线播放 | 国产伦一二天堂av在线观看| www日本在线高清视频| 色哟哟哟哟哟哟| 男人舔女人下体高潮全视频| 国产私拍福利视频在线观看| 国产精品爽爽va在线观看网站 | 亚洲 欧美 日韩 在线 免费| 亚洲精品在线观看二区| 宅男免费午夜| 精品免费久久久久久久清纯| 国产欧美日韩综合在线一区二区| 级片在线观看| 久久精品亚洲精品国产色婷小说| 久久婷婷成人综合色麻豆| 婷婷六月久久综合丁香| 久久久精品欧美日韩精品| 国产精华一区二区三区| 欧美一级毛片孕妇| 久久国产亚洲av麻豆专区| 女同久久另类99精品国产91| 亚洲美女黄片视频| 欧美激情极品国产一区二区三区| 夜夜爽天天搞| 国内精品久久久久久久电影| 精品国产乱子伦一区二区三区| 老熟妇乱子伦视频在线观看| 亚洲精品一区av在线观看| 美女高潮到喷水免费观看| www.www免费av| 国产激情久久老熟女| 色播在线永久视频| 久久香蕉精品热| 国产xxxxx性猛交| 极品教师在线免费播放| 国产麻豆成人av免费视频| 精品第一国产精品| 亚洲精品一卡2卡三卡4卡5卡| 97人妻精品一区二区三区麻豆 | 精品一区二区三区视频在线观看免费| 国产不卡一卡二| 久久人妻熟女aⅴ| 亚洲欧美激情综合另类| 一区二区三区国产精品乱码| 亚洲精品中文字幕在线视频| 一进一出好大好爽视频| 国产成人精品无人区| 可以免费在线观看a视频的电影网站| 99国产精品99久久久久| 精品一区二区三区视频在线观看免费| 精品国产一区二区三区四区第35| 91av网站免费观看| aaaaa片日本免费| 色播在线永久视频| 999久久久国产精品视频| 日韩三级视频一区二区三区| 亚洲五月婷婷丁香| 国产精品久久电影中文字幕| 欧美乱码精品一区二区三区| 欧美一区二区精品小视频在线| 丰满的人妻完整版| 男女下面插进去视频免费观看| 一区在线观看完整版| 国产成人啪精品午夜网站| 国产亚洲精品一区二区www| 夜夜看夜夜爽夜夜摸| 日本 av在线| 日本a在线网址| 99久久精品国产亚洲精品| 国产精品野战在线观看| 动漫黄色视频在线观看| 色综合亚洲欧美另类图片| 夜夜爽天天搞| 欧美日韩亚洲国产一区二区在线观看| 好看av亚洲va欧美ⅴa在| 一区二区三区激情视频| 巨乳人妻的诱惑在线观看| 免费高清在线观看日韩| 黄色片一级片一级黄色片| 女人被狂操c到高潮| 99精品在免费线老司机午夜| 麻豆成人av在线观看| av欧美777| 久久人妻熟女aⅴ| 国产精品秋霞免费鲁丝片| 麻豆一二三区av精品| 日本免费一区二区三区高清不卡 | 成人手机av| 九色国产91popny在线| 国产高清视频在线播放一区| 啦啦啦 在线观看视频| 好男人在线观看高清免费视频 | 国产aⅴ精品一区二区三区波| 欧美成人午夜精品| 岛国视频午夜一区免费看| 国产av又大| 日韩大尺度精品在线看网址 | 欧美色欧美亚洲另类二区 | 日本 av在线| 日韩高清综合在线| svipshipincom国产片| 亚洲色图av天堂| 日日爽夜夜爽网站| 黑人巨大精品欧美一区二区mp4| 免费在线观看完整版高清| 亚洲成av人片免费观看| 日日摸夜夜添夜夜添小说| 亚洲国产欧美日韩在线播放| 十八禁网站免费在线| 嫩草影视91久久| 淫秽高清视频在线观看| 最新在线观看一区二区三区| 国产精品亚洲美女久久久| 国产在线观看jvid| 免费搜索国产男女视频| 亚洲精品国产一区二区精华液| 精品福利观看| 免费在线观看完整版高清| 99在线视频只有这里精品首页| 国产亚洲精品av在线| 在线免费观看的www视频| 色av中文字幕| 亚洲av成人不卡在线观看播放网| 黑丝袜美女国产一区| 操美女的视频在线观看| 91在线观看av| 亚洲国产看品久久| 久久性视频一级片| 9色porny在线观看| 999久久久精品免费观看国产| 色综合亚洲欧美另类图片| 一边摸一边抽搐一进一小说| 成人18禁在线播放| 亚洲va日本ⅴa欧美va伊人久久| 亚洲av成人不卡在线观看播放网| 亚洲人成77777在线视频| 欧美色欧美亚洲另类二区 | 欧美激情 高清一区二区三区| 久久亚洲真实| 精品第一国产精品| 国产午夜福利久久久久久| 日韩 欧美 亚洲 中文字幕| 51午夜福利影视在线观看| 熟女少妇亚洲综合色aaa.| 欧美激情久久久久久爽电影 | 精品国产乱码久久久久久男人| 国产成人一区二区三区免费视频网站| 91在线观看av| 久久国产乱子伦精品免费另类| 香蕉丝袜av| 自拍欧美九色日韩亚洲蝌蚪91| 一二三四在线观看免费中文在| 男人舔女人下体高潮全视频| 中亚洲国语对白在线视频| 欧洲精品卡2卡3卡4卡5卡区| 久久香蕉精品热| 亚洲熟妇熟女久久| 国产麻豆69| 一边摸一边抽搐一进一出视频| 精品人妻在线不人妻| 久久久久九九精品影院| 美女扒开内裤让男人捅视频| 一级毛片女人18水好多| 怎么达到女性高潮| 黄色片一级片一级黄色片| 亚洲专区字幕在线| 亚洲国产欧美日韩在线播放| av在线天堂中文字幕| 国产亚洲欧美精品永久| 亚洲熟女毛片儿| 黄色视频不卡| 少妇的丰满在线观看| 亚洲一区中文字幕在线| 欧美激情 高清一区二区三区| 人人妻人人澡人人看| 天天一区二区日本电影三级 | 精品一区二区三区四区五区乱码| 又黄又爽又免费观看的视频| 欧美黑人欧美精品刺激| 欧美人与性动交α欧美精品济南到| 成人欧美大片| 精品久久久久久,| 最近最新免费中文字幕在线| 91老司机精品| 日韩欧美国产一区二区入口| 亚洲aⅴ乱码一区二区在线播放 | 在线免费观看的www视频| 国产精品,欧美在线| 久久九九热精品免费| 精品久久久精品久久久| 精品国产美女av久久久久小说| 国产麻豆成人av免费视频| 手机成人av网站| 亚洲中文av在线| 美女扒开内裤让男人捅视频| 国产精品综合久久久久久久免费 | 国产区一区二久久| 亚洲成人免费电影在线观看| 大陆偷拍与自拍| www.熟女人妻精品国产| 神马国产精品三级电影在线观看 | 黄色成人免费大全| av有码第一页| 午夜成年电影在线免费观看| 老汉色∧v一级毛片| 日韩欧美免费精品| 国产精品电影一区二区三区| 深夜精品福利| 成人三级做爰电影| 妹子高潮喷水视频| 狠狠狠狠99中文字幕| 啦啦啦观看免费观看视频高清 | 精品一区二区三区四区五区乱码| 一级黄色大片毛片| 亚洲人成77777在线视频| 亚洲天堂国产精品一区在线| 亚洲国产精品sss在线观看| tocl精华| 在线观看舔阴道视频| 欧美黑人欧美精品刺激| 欧美日韩亚洲国产一区二区在线观看| 国产高清视频在线播放一区| 午夜福利在线观看吧| 国产亚洲精品综合一区在线观看 | av天堂久久9| 97人妻精品一区二区三区麻豆 | 一个人免费在线观看的高清视频| 国产高清videossex| 亚洲精品一区av在线观看| 欧美乱妇无乱码| 在线十欧美十亚洲十日本专区| 女性生殖器流出的白浆| 高清在线国产一区| 村上凉子中文字幕在线| 波多野结衣一区麻豆| 麻豆成人av在线观看| 香蕉丝袜av| 我的亚洲天堂| 精品一品国产午夜福利视频| 女警被强在线播放| 亚洲欧美精品综合一区二区三区| 91成年电影在线观看| 久久久久精品国产欧美久久久| 亚洲伊人色综图| tocl精华| 亚洲欧美精品综合一区二区三区| 国产一区二区在线av高清观看| www国产在线视频色| 亚洲一区二区三区色噜噜| 欧美日韩乱码在线| 色综合欧美亚洲国产小说| 成年版毛片免费区| 久久中文字幕人妻熟女| 国产单亲对白刺激| 国产乱人伦免费视频| 香蕉丝袜av| 啦啦啦韩国在线观看视频| av视频免费观看在线观看| 狂野欧美激情性xxxx| 18禁观看日本| a级毛片在线看网站| 欧美乱码精品一区二区三区| 午夜福利,免费看| www.精华液| 国产精品久久久久久亚洲av鲁大| 欧美成狂野欧美在线观看| 九色亚洲精品在线播放| 久久精品人人爽人人爽视色| 国产成人av激情在线播放| 午夜a级毛片| 两人在一起打扑克的视频| 老汉色∧v一级毛片| 午夜福利在线观看吧| 色老头精品视频在线观看| 成在线人永久免费视频| 精品一区二区三区av网在线观看| 日韩精品免费视频一区二区三区| 18禁黄网站禁片午夜丰满| 久久精品91蜜桃| 老鸭窝网址在线观看| 亚洲最大成人中文| 日韩欧美免费精品| 久久精品国产综合久久久| 色综合站精品国产| 一级毛片女人18水好多| 免费在线观看完整版高清| 法律面前人人平等表现在哪些方面| 91成人精品电影| bbb黄色大片| 一进一出抽搐gif免费好疼| 嫁个100分男人电影在线观看| 一级a爱视频在线免费观看| av超薄肉色丝袜交足视频| 亚洲午夜精品一区,二区,三区| 大型av网站在线播放| 黄色成人免费大全| 久久久久久久久久久久大奶| 亚洲欧美激情在线| 青草久久国产| 午夜两性在线视频| 1024视频免费在线观看| 亚洲色图av天堂| 国产成人精品无人区| 欧美激情久久久久久爽电影 | 亚洲av片天天在线观看| 视频区欧美日本亚洲| 黄色毛片三级朝国网站| 91精品三级在线观看| 亚洲在线自拍视频| 国产欧美日韩精品亚洲av| 精品久久久久久久人妻蜜臀av | 中文字幕色久视频| 国产成人系列免费观看| www国产在线视频色| 97人妻精品一区二区三区麻豆 | 男女之事视频高清在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 人人妻人人澡人人看| 日韩免费av在线播放| 18禁黄网站禁片午夜丰满| 久久人人97超碰香蕉20202| 国产精品美女特级片免费视频播放器 | 欧美最黄视频在线播放免费| 天堂√8在线中文| 欧美最黄视频在线播放免费| 亚洲精品粉嫩美女一区| 精品久久久久久久人妻蜜臀av | 欧美日韩福利视频一区二区| 亚洲国产欧美日韩在线播放| 久久香蕉激情| 91字幕亚洲| 两人在一起打扑克的视频| 村上凉子中文字幕在线| 可以免费在线观看a视频的电影网站| 成人三级黄色视频| 人妻久久中文字幕网| 国产av一区二区精品久久| 正在播放国产对白刺激| 亚洲成人国产一区在线观看| 看免费av毛片| 女人被狂操c到高潮| 99国产极品粉嫩在线观看| 桃色一区二区三区在线观看| 亚洲国产毛片av蜜桃av| 亚洲欧美精品综合久久99| av欧美777| 国内久久婷婷六月综合欲色啪| 两个人免费观看高清视频| 黄色丝袜av网址大全| 亚洲激情在线av| 国产精品一区二区免费欧美| 国产一区二区三区综合在线观看| 国产99久久九九免费精品| 色综合站精品国产|