• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯方法研究

    2024-08-13 00:00:00孫曉川高佳慧王宇李瑩琦
    鄭州大學學報(理學版) 2024年5期

    摘要: 在實際應用部署過程中,回聲狀態(tài)網(wǎng)絡中儲備池的內(nèi)部突觸容易受到應用系統(tǒng)故障的影響而發(fā)生故障,偏離預期的性能。因此,提出一個面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。分析模型中一些故障的突觸(權重擾動)的行為特征,考慮發(fā)生故障的實際場景,采用檢測機制檢測并定位這些故障的突觸,最后通過容錯策略使其恢復。仿真實驗結(jié)果表明,針對不同特點的時間序列數(shù)據(jù),通過容錯性能評估、統(tǒng)計分布和短期記憶能力對比,提出的容錯模型是有效的。此外,通過數(shù)學理論推導證明出儲備池突觸故障容錯的邊界條件。

    關鍵詞: 回聲狀態(tài)網(wǎng)絡; 突觸故障; 容錯性; 時間序列預測; 短期記憶能力

    中圖分類號: TP18

    文獻標志碼: A

    文章編號: 1671-6841(2024)05-0039-08

    DOI: 10.13705/j.issn.1671-6841.2023029

    Research on Fault Tolerance Method for Echo State Networks

    Oriented to Synapse Faults

    SUN Xiaochuan 1,2, GAO Jiahui 1,2, WANG Yu 1,2, LI Yingqi 1,2

    (1.College of Artificial Intelligence, North China University of Science and Technology, Tangshan

    063210, China; 2.Hebei Key Laboratory of Industrial Perception, Tangshan 063210, China)

    Abstract: During practical application deployment, the internal synapses of reservoirs in echo state networks were susceptible to failure and deviation from the expected performance due to application system failures. Therefore, a fault-tolerant model for synaptic faults in echo state networks was proposed. There were some faulty synapses (weight perturbations) in this model. Their behavioral characteristics were analyzed, the actual scenarios in which the failures occurred were considered. A detection mechanism was used to detect and locate these faulty synapses, and finally, they were recovered by a fault-tolerance strategy. The simulation results showed that the effectiveness of the fault-tolerance model was verified by fault-tolerance performance evaluation, statistical distribution, and short-term memory capacity comparison for time series data with different characteristics. In addition, the boundary conditions of fault tolerance for reservoir synapses failures were proved by mathematical theory derivation.

    Key words: echo state network (ESN); synapse fault; fault tolerance; time series prediction; short-term memory capacity

    0 引言

    回聲狀態(tài)網(wǎng)絡(echo state network,ESN)[1]是一種典型的儲備池計算模型,在時間序列預測、故障診斷、目標跟蹤等領域得到了廣泛應用[2-4]。在ESN的建模過程中,儲備池的適應性問題最具挑戰(zhàn)性。目前,很多研究旨在結(jié)構(gòu)方面的優(yōu)化[5-7],以獲得更好的泛化性能。然而,在實際應用任務中,如果ESN沒有內(nèi)置的或經(jīng)過驗證的容錯能力,就會因為關鍵部分的錯誤而造成災難性的網(wǎng)絡故障。因此,容錯性實際上也應當是儲備池計算適應性問題的關鍵內(nèi)容,這在一定程度上決定了ESN在實際問題中的應用能力。

    在實際應用中,復雜惡劣的環(huán)境(大氣輻射、放射性雜質(zhì))、溫度變化、電壓不穩(wěn)定、底層半導體設備和硬件設備磨損老化等[8-10]因素都會導致軟件層面上的儲備池內(nèi)部組件(突觸)發(fā)生故障,即軟件故障,影響ESN的正常計算。為了確保ESN在出現(xiàn)錯誤時仍能正確運行,需要一個有效的容錯設計。

    容錯理論的相關研究包括被動式和主動式容錯處理,且大多數(shù)方法集中于前饋型神經(jīng)網(wǎng)絡。例如,在被動方法中,增加冗余、改進學習/訓練算法和約束條件下的網(wǎng)絡優(yōu)化三類方法能夠提高神經(jīng)網(wǎng)絡固有的容錯能力。Zhao等[10]采用了四種基于算法容錯的方案用于卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)中的卷積運算。該方案可以在卷積運算過程中檢測并糾正硬故障和軟故障,從而提高卷積層的故障容錯能力。馬曉港等[11]通過對CNN中冗余的關鍵神經(jīng)元進行復制來削弱故障神經(jīng)元對神經(jīng)網(wǎng)絡的影響。Dey等[12]將三個正則化器應用于多層感知器(multi-layer perception,MLP)網(wǎng)絡的訓練中,當出現(xiàn)鏈路故障、權重擾動時,三個正則化器通過懲罰系統(tǒng)誤差,改變突觸權重,從而使MLP具有魯棒性。實質(zhì)上,被動容錯技術沒有故障診斷、重新學習或重新配置的過程,無法確定故障具體位置,僅僅通過神經(jīng)網(wǎng)絡固有的冗余來掩蓋故障的影響,但這些故障仍然存在。

    在主動方法中,低延遲故障檢測和恢復技術能夠確保神經(jīng)網(wǎng)絡的容錯性。Naeem等[13]結(jié)合尖峰時序相關塑性和Bienenstock Cooper Munro學習規(guī)則建立輸入-輸出之間的映射關系,當突觸出現(xiàn)功能障礙時通過自我修復維持正常的映射。Liu等[14]提出了一種選擇性神經(jīng)元重計算技術應用于人工神經(jīng)網(wǎng)絡的分類問題。該技術可以識別出誤差對結(jié)果沒有影響的情況,旨在對那些分類結(jié)果不可靠的神經(jīng)元進行重新計算、處理錯誤。主動容錯系統(tǒng)在面臨故障時,能夠通過自適應、再訓練或自我修復的機制及時給予補償,使神經(jīng)網(wǎng)絡從故障中恢復。可見,主動容錯方法將是神經(jīng)網(wǎng)絡容錯研究中有效的處理技術。

    綜上,盡管國內(nèi)外學者在神經(jīng)網(wǎng)絡容錯問題上進行了大量卓有成效的工作,但大多研究集中于前饋型神經(jīng)網(wǎng)絡,針對反饋型神經(jīng)網(wǎng)絡的容錯研究相對較少,而反饋型神經(jīng)網(wǎng)絡在計算收斂速度、聯(lián)想記憶和優(yōu)化計算方面的應用具有更明顯的優(yōu)勢。鑒于此,本文擬開展儲備池計算框架下的故障容忍方法研究,從權重擾動故障的角度設計儲備池容錯策略,對于完善神經(jīng)網(wǎng)絡理論、發(fā)掘儲備池計算的應用潛力具有重要的價值和意義。最后,證明了儲備池故障的容錯能力,為構(gòu)建故障容錯機制的必要性提供了理論依據(jù)。

    1 儲備池容錯模型結(jié)構(gòu)

    本文提出了一種面向隨機突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型(synapse random fault tolerated echo state network,SRFT-ESN)。具體地,構(gòu)造了一個ESN故障模型,儲備池的內(nèi)部存在一些有問題的突觸(權重擾動),考慮了三種發(fā)生故障的實際場景,并根據(jù)權重擾動的行為特征設計檢測機制來檢測并定位故障的突觸。最終利用容錯機制處理這些故障。

    圖1給出了SRFT-ESN的總體結(jié)構(gòu)。類似于傳統(tǒng)的ESN,該模型由一個輸入層、一個儲備池和一個輸出層組成,包含K個輸入神經(jīng)元,N個儲備池神經(jīng)元和L個輸出神經(jīng)元。儲備池的狀態(tài)更新方程為

    x(t+1)=f(Winu(t+1)+Wx(t)+Wbacky(t)),(1)

    SRFT-ESN的輸出表達式為

    y(t+1)=fout(Woutx(t+1)),(2)

    其中:Win、W、Wback和Wout分別表示儲備池的輸入權重矩陣、內(nèi)部權重矩陣、反饋權重矩陣和輸出權重矩陣;u(t)∈RK和x(t)∈RN分別表示網(wǎng)絡輸入和儲備池神經(jīng)元在時間t的狀態(tài);y(t)∈RL表示t時間的L維度的輸出;f(·)為儲備池的激活函數(shù),通常為tanh; fout(·)表示identity激活函數(shù)。

    訓練SRFT-ESN的目標是獲得最佳Wout,通常使用Moore-Penrose算法直接完成,即

    Wout=X~Y=(XTX)-1XTY,(3)

    其中:X=[x(1), x(2), …, x(nmax)]是儲備池的狀態(tài)矩陣,X~是X的廣義逆矩陣,Y=[y(1), y(2), …, y(nmax)]是輸出權重矩陣所對應的目標輸出。

    然而,與傳統(tǒng)ESN不同的是,儲備池內(nèi)部存在一些相對獨立的故障突觸,如圖1中虛線所示的連接,其表現(xiàn)要么連接短路,要么連接受到外部干擾,權值偏離預期值?;谶@兩種情況,可以建模為權值始終卡死在Wmin=-1或Wmax=+1上[15]。因此,本文設計了一種再訓練的主動容錯策略,保證儲備池具備良好的映射能力。特別地,ESN的一個關鍵屬性是回聲狀態(tài)屬性(echo state property,ESP),它表征了有效的ESN動力學特性。而儲備池內(nèi)部權重矩陣的絕對值最大的特征值小于1時,ESN才具有ESP。由此可見,ESP與儲備池內(nèi)部狀態(tài)有直接關系。所以本文僅針對與ESN動力學特性有較大關系的內(nèi)部權重進行容錯分析。

    2 儲備池突觸故障容錯機制

    算法1給出了突觸隨機故障容錯處理的整體流程。考慮了突觸故障隨機發(fā)生在儲備池訓練前、訓練后,以及訓練前、后并存的情況,分別在這些階段進行故障檢測和容錯處理。其中,檢測故障時調(diào)用算法2;處理故障時,調(diào)用算法3。這里,對于隨機型的故障突觸,采用其權值+1來表征。具體地,在算法1中,對于初始化的ESN,通過兩層循環(huán)依次檢測每個突觸是否存在故障,若存在故障,返回true,否則返回false(算法2的第3~10行)。當返回true時,定位這些故障連接,并依次將對應的權值設置為0(算法3的第4~14行)。之后,進行模型的訓練和Wout的求解(算法1的第7~10行)。為了兼顧訓練后發(fā)生故障,繼續(xù)調(diào)用算法2、算法3進行檢測和修復。特別地,使用while循環(huán)不斷執(zhí)行訓練過程以及訓練后的容錯過程,直至訓練后的ESN經(jīng)過容錯處理后不再發(fā)生錯誤。

    算法1 突觸的隨機故障容錯處理

    輸入: 樣本數(shù)據(jù)u(t),y(t),儲備池大小N,譜半徑λ,Win,W,Wback,狀態(tài)收集時間T和沖洗時間T0。

    輸出: 權重矩陣Wout。

    1. 初始化ESN(隨機初始化ESN中的權重)

    2. if 算法2→true then //故障檢測

    3. 算法3;//容錯

    4. end

    5. while (true)

    6. for t=T0 to T do //開始訓練

    7. 根據(jù)公式(1)更新儲備池狀態(tài);

    8. 收集網(wǎng)絡狀態(tài)X和輸出Y

    9. end

    10. 根據(jù)公式(3)求解Wout;//結(jié)束訓練

    11. if 算法2 → true then //故障檢測

    12. 算法3;//容錯

    13. else

    14. break;//訓練后無故障

    15. end

    16.end

    算法2 突觸隨機故障檢測方法

    輸入: ESN。

    輸出: true or false。

    1. 從故障的ESN中獲取W和儲備池大小N

    2. function flag=check(ESN);

    3. for i=1 to size N do

    4. for j=1 to size N do

    5. if W(i, j)=+1 then

    6. 返回 true;

    7. else

    8. 返回 false;

    9. end

    10. end

    11.end

    算法3 突觸隨機故障容錯方法

    輸入: 故障的ESN。

    輸出: 正常的ESN。

    1. 從故障的ESN中獲取W和儲備池大小N;

    2. function 正常ESN=repair(ESN);

    3. 定義故障突觸收集數(shù)組eNode;

    4. for i=1 to size N;//定位故障突觸

    5. for j=1 to size N

    6. if W(i, j)=+1 then

    7. 將(i, j)添加到eNode;

    8. end

    9. end

    10. end

    10. for s=1 to size eNode //修復故障

    12. (i, j)=eNode(s);

    13. W(i, j)=0;

    14. end

    3 儲備池突觸容錯能力證明

    突觸是連接神經(jīng)元的傳輸介質(zhì),要么正確傳輸信號,要么停止傳輸(崩潰)或者傳輸任意值(拜占庭故障)的信號。由于崩潰的突觸無法傳輸信息,因此,本節(jié)考慮神經(jīng)元、突觸分別發(fā)生拜占庭故障,在給出故障神經(jīng)元誤差上界的基礎上,推導出容忍的邊界條件,進一步證明故障的突觸與神經(jīng)元產(chǎn)生的誤差上界是等價的,最終,推導出容忍故障突觸的邊界條件,證明儲備池的故障容忍能力。

    首先,根據(jù)突觸故障的行為特征,將其與神經(jīng)元產(chǎn)生的錯誤聯(lián)系起來。具體地,當神經(jīng)元i到神經(jīng)元j的突觸連接有故障時,會影響神經(jīng)元i傳輸?shù)臓顟B(tài)信息,為了表征此錯誤信息,通過神經(jīng)元j來傳播。為了證明,考慮儲備池狀態(tài)更新方程為

    xini=∑Kk=1winkiuk+∑Nk=1wkix~k+∑Lk=1wbackkiy~k

    xouti=f(xini)

    Fres(U)=∑Ni=1xouti,(4)

    其中:uk、xini和xouti分別是儲備池內(nèi)部神經(jīng)元的數(shù)據(jù)輸入、狀態(tài)輸入和狀態(tài)輸出;x~k和y~k分別是上一時刻儲備池神經(jīng)元k的狀態(tài)輸出和輸出層神經(jīng)元k的輸出;winki、wki和wbackki分別是儲備池神經(jīng)元i的輸入權重、內(nèi)部權重和反饋權重;U為任意輸入向量;Fres(·)為目標函數(shù)F(·)在連續(xù)映射空間C([0, 1]d, [0, 1])中的ε-逼近,即

    ‖F(xiàn)(U)-Fres(U)‖<ε, U∈[0, 1]d。(5)

    引用文獻[16]的推論,定義具有非最小儲備池的ESN由N個神經(jīng)元組成,可以容忍Nfail個拜占庭故障神經(jīng)元,并且能夠?qū)崿F(xiàn)ε-逼近(ε′≤ε),即Fres(·)可以算出F(·)的ε′-逼近,即

    ‖F(xiàn)(U)-Fres(U)‖<ε′。(6)

    假設Ffail(·)表示出現(xiàn)Nfail個故障神經(jīng)元時神經(jīng)函數(shù)Fres(·)的剩余部分?;诜稊?shù)的三角不等式性質(zhì),對于任何輸入向量U,有

    ‖F(xiàn)(U)-Ffail(U)‖≤‖F(xiàn)(U)-Fres(U)‖+

    ‖F(xiàn)res(U)-Ffail(U)‖。(7)

    假設1 有界誤差假設。對于任意的輸入U,任意儲備池神經(jīng)元的實際輸出為xouti+λi,這里xouti是儲備池神經(jīng)元的真實輸出,λi是神經(jīng)元i的誤差,則儲備池神經(jīng)元的輸出在最壞的情況下存在一個統(tǒng)一的上界E∈R*+,即

    xi+λi≤E, i∈[0, N]。

    描述ESN容忍能力的引理、定理如下。

    引理1 在儲備池中,有Nfail個神經(jīng)元受故障的影響,每個神經(jīng)元i向下一個所連接的正常神經(jīng)元發(fā)送包含誤差為λi的輸出xouti+λi,而不是預期的xouti。在這種情況下,對輸出影響的上界為

    ‖F(xiàn)res(U)-Fλ(U)‖≤NfailKwmE,

    其中:Fres(U)是正常的神經(jīng)元函數(shù);Fλ(U)為誤差λi的神經(jīng)元函數(shù);wm是儲備池中最大的內(nèi)部權值;K為激活函數(shù)的調(diào)諧系數(shù)。具體地,sigmoid是ESN的非線性本質(zhì),而普適性定理適用于該激活函數(shù)。本節(jié)將普適性定理的條件加到激活函數(shù)上,并認為sigmoid為K-Lipschitzian[16]。特別地,這里的誤差只傳送給正常的神經(jīng)元,而故障的神經(jīng)元僅傳送其本身的誤差。

    證明 設Qfail為故障神經(jīng)元的集合,f(·)為sigmoid函數(shù),儲備池的狀態(tài)輸出誤差為

    ‖F(xiàn)res(U)-Fλ(U)‖=‖∑i∈Qfailf[wi(x~i+λi)]‖,(8)

    其中:wi表示與儲備池神經(jīng)元i對應的權重向量。注意,這里只考慮儲備池內(nèi)部神經(jīng)元的錯誤影響。則根據(jù)范數(shù)三角不等式性質(zhì)得到

    ‖F(xiàn)res(U)-Fλ(U)‖≤K∑i∈Qfail‖wi(x~i+λi)‖,(9)

    應用假設1和wm的定義能夠獲得儲備池的總體狀態(tài)輸出誤差上限,表示為

    ‖F(xiàn)res(U)-Fλ(U)‖≤NfailKwmE,(10)

    在最壞的故障情況下,輸入誤差達到最大值E,并且故障神經(jīng)元與具有最大權值wm相連時,上述約束是緊致的。

    定理1 設ε和ε′是任意兩個正實數(shù),且0<ε′≤ε,儲備池容忍Nfail個拜占庭故障神經(jīng)元的上界為

    Nfail≤(ε-ε′)/KwmE。

    此外,若沒有額外約束條件,這個約束條件是緊致的。

    證明 用Ffail表示儲備池中具有Nfail個拜占庭故障神經(jīng)元的總體輸出,F(xiàn)為連續(xù)的目標函數(shù)。利用引理1得到

    ‖F(xiàn)res(U)-Ffail(U)‖≤NfailKwmE,

    結(jié)合公式(6)和(7)得到

    ‖F(xiàn)(U)-Ffail(U)‖≤ε′+NfailKwmE,

    因此,為了保證

    ‖F(xiàn)(U)-Ffail(U)‖≤ε,

    則最終得到的上界為

    Nfail≤(ε-ε′)/(KwmE)。(11)

    引理2 在儲備池中,神經(jīng)元i到神經(jīng)元j的突觸處產(chǎn)生的誤差值為λij,在最壞的情況下,等價于神經(jīng)元j的傳輸誤差為KE。

    證明 從神經(jīng)元i到神經(jīng)元j突觸中的誤差值λij在神經(jīng)元j處產(chǎn)生一個接收和,記為xinλ,j,所用公式為

    xinλ,j=∑Kk=1winkjuk+∑Nk=1,k≠iwkjx~k+

    ∑Lk=1wbackkjy~k+wijx~i+λij=

    (∑Kk=1winkjuk+∑Nk=1wkjx~k+∑Lk=1wbackkjy~k)+λij,(12)

    因此,通過激活函數(shù)的K-Lipschitzness,神經(jīng)元j的輸出誤差上限為

    error=φ(xinλ,j)-φ(xinj)≤

    Kxinλ,j-xinj=Kλij,(13)

    最壞情況下,根據(jù)假設1,傳輸誤差λij為E。

    定理2 為了保證儲備池的穩(wěn)健性,給出故障突觸數(shù)量的上界為

    Nfail≤(ε-ε′)/KwmE,

    同理,這個約束條件是緊致的。

    證明 根據(jù)上述推理,首先,應用引理2,將儲備池中Nfail個突觸的失效等同于在最壞情況下儲備池中Nfail個神經(jīng)元的失效。然后,應用定理2,得出結(jié)果。

    4 仿真實驗與性能分析

    在本節(jié)的實驗中,對模型的容錯恢復性能進行了綜合評估。所使用的數(shù)據(jù)具有不同特點、不同領域的時間序列,包括Henon Map混沌時間序列[17]、非線性自回歸移動平均(nonlinear auto regressive moving average,NARMA)系統(tǒng)數(shù)據(jù)[18]、多重疊加振蕩器(multiple superimposed oscillators,MSO)時間序列[19]以及由轎車移動模式產(chǎn)生的下行蜂窩網(wǎng)絡流量數(shù)據(jù)[20]。本文分別從恢復性能評估、頻譜分析、統(tǒng)計分布比較、短期記憶能力(memory capacity,MC)的角度對SRFT-ESN的有效性、可靠性進行了驗證,并與功能良好的ESN(well-functioning ESN,WESN)進行了對比。

    4.1 數(shù)據(jù)預處理與性能評估指標

    在本文實驗中,使用的Henon Map、NARMA和MSO時間序列數(shù)據(jù)均為3 000條,轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)為2 992條。并且,取每種數(shù)據(jù)的前50%作為訓練集,后50%作為測試集。特別地,在SRFT-ESN模型中,突觸故障是隨機產(chǎn)生的,且產(chǎn)生的數(shù)量也是隨機的,但不超過總體數(shù)量的25%。此外,對NARMA系統(tǒng)數(shù)據(jù)、轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)進行預處理。對于前者,采用高斯平滑方法,在保留數(shù)據(jù)原有特征的同時,減少異常點和噪聲。對于后者,分別采用插值法、高斯平滑處理方法和線性min-max歸一化方法。具體地,用前一時刻數(shù)據(jù)填補下一時刻缺失的數(shù)據(jù),之后用高斯平滑法來減輕波動和異常值的影響,最后用線性min-max歸一化方法將數(shù)據(jù)按比例縮放,統(tǒng)一映射到[0, 1]區(qū)間上。

    為評估可恢復模型的預測性能,考慮了歸一化均方根誤差(normalized root mean square error,NRMSE)、平均絕對誤差(mean absolute error,MAE)和決定系數(shù)R2三個指標。

    4.2 容錯性能分析

    表1給出了SRFT-ESN在多種時間序列預測任務中的容錯性能評估結(jié)果。顯然,在NRMSE、MAE、R2性能指標上,SRFT-ESN均優(yōu)于WESN,意味著該模型不僅從故障模式中得到恢復,并且具有更好的非線性逼近能力,說明本文所提容錯方案具有高效性和可靠性。

    圖2給出了SRFT-ESN的預測值和真實值的頻譜分析圖。從圖中可以看出,相較于原始模型,SRFT-ESN的預測結(jié)果與真實數(shù)據(jù)頻率下的幅度響應、噪聲頻譜(帶狀陰影)分布有更好的擬合(特別是在MSO、轎車產(chǎn)生的網(wǎng)絡流量預測任務中),說明在不改變拓撲結(jié)構(gòu)的情況下進行容錯,模型能夠得到較好的恢復,具有更好的非線性逼近性能。

    為了進一步證明所提容錯策略的有效性和可靠性,從數(shù)學統(tǒng)計分析的角度對模型的預測性能進行評估。圖3給出了容錯模型預測輸出的經(jīng)驗累積分布函數(shù)(empirical cumulative distribution function,ECDF)分析圖。圖中x軸表示六個時間序列的真實值,y軸F(x)表示所有小于等于當前時間序列真實值的概率。從圖3可以看出,SRFT-ESN和WESN的ECDF曲線基本擬合,說明二者的預測數(shù)據(jù)分布相似,即在故障模式下,容錯模型已恢復到與原始模型相似的預測性能,證明了容錯方法的有效性。

    圖4給出了兩種模型預測數(shù)據(jù)的小提琴對比圖。每個小提琴圖由一個箱型圖和位于其左右的密度跡線組成。在圖4(b)~(d)中,容錯模型與原始模型的預測輸出在密度分布軌跡、箱型圖中的中位數(shù)和四分位數(shù)上的信息具有一致性,說明二者具有相似的預測性能,驗證了模型從故障中得到修復。在圖4(a)中,SRFT-ESN的預測數(shù)據(jù)與真實數(shù)據(jù)的密度分布軌跡在整體上基本相似,僅在特殊值處略有偏差,并且二者在箱型圖上的信息基本一致,說明該模型不僅得到恢復,并且具有更好的預測性能。綜上,通過可恢復性能評估、頻譜分析以及統(tǒng)計分布對比結(jié)果可以得到,SRFT-ESN能夠恢復到原始的非線性逼近性能,甚至在一定程度上得到了提升,驗證了本文所提出的再訓練主動容錯方案的高效性和可靠性。

    4.3 短期MC

    最后,使用MC來驗證SRFT-ESN的可恢復性和有效性[15],通過短時記憶(short-time memory,STM)來研究該模型的時間處理能力。一般來說,STM可以使輸入信號從以前的時間t開始重建。對于SRFT-ESN,設置延遲步長為k,即到達的輸入流{…, s(t-2), s(t-1), s(t)}產(chǎn)生s(t-k)的延遲任務。

    則模型良好的擬合特性定義為

    MCk=Cov2(s(t-k),yk(t))Var(s(t))Var(yk(t)),(14)

    其中:s(t-k)表示在t時刻具有k延時輸入的預期輸出;yk(t)表示實際輸出;Cov(·)和Var(·)分別表示協(xié)方差和方差算子。

    通過對所有MCk求和得到STM值,即

    MC=∑kmaxk=1MCk。(15)

    在STM評估試驗中,ESN的拓撲結(jié)構(gòu)為1-40-1,輸入延遲為k=1, 2, … , 40。圖5給出了所提模型在預測任務中的遺忘曲線。在每個子圖中,SRFT-ESN與WESN均在延遲至10 s時表現(xiàn)出接近100%的記憶能力,之后,隨著延遲增加,記憶能力開始下降。顯然,容錯模型的記憶曲線比原始模型的記憶曲線下降趨勢緩慢,在某些延遲k上,前者的記憶能力高于后者。此外,還評估了容錯模型的STM值。在Henon Map、NARMA系統(tǒng)、MSO時間序列以及轎車移動軌跡產(chǎn)生的蜂窩網(wǎng)絡流量預測任務中,SRFT-ESN的STM值依次為17.8685、26.2105、24.2658、33.0667,WESN的STM值依次為15.9428、24.2738、23.2050、32.6785,可以看出,SRFT-ESN的STM在四類數(shù)據(jù)上均高于WESN,這也與圖5中的結(jié)果相對應,容錯模型的記憶能力得到提升,驗證了本文所提模型的有效性和可靠性。

    5 結(jié)論

    針對突觸故障會導致儲備池神經(jīng)元無法正常傳遞信息的問題,本文提出了一種面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。該模型中存在一些故障的突觸,考慮故障發(fā)生的實際場景,利用檢測機制檢測并定位故障的突觸,通過容錯策略使模型得到恢復。仿真實驗表明,所提容錯模型具有良好的恢復性能。

    由于本文僅考慮了突觸發(fā)生故障的單一情況,并沒有將神經(jīng)元和突觸同時發(fā)生故障考慮在內(nèi),而這種情況出現(xiàn)時對儲備池計算將造成嚴重的影響,因此,未來將設計一種能夠?qū)⒍咄瑫r容錯的ESN模型,以提升儲備池計算的可持續(xù)使用性。

    參考文獻:

    [1] GAO R B, DU L, DURU O, et al. Time series forecasting based on echo state network and empirical wavelet transformation[J]. Applied soft computing, 2021, 102: 107111.

    [2] LI Z Q, TANAKA G. Multi-reservoir echo state networks with sequence resampling for nonlinear time-series prediction[J]. Neurocomputing, 2022, 467: 115-129.

    [3] ZHANG S H, SUN Z Z, WANG M, et al. Deep fuzzy echo state networks for machinery fault diagnosis[J]. IEEE transactions on fuzzy systems, 2020, 28(7): 1205-1218.

    [4] YANG X F, ZHAO F. Echo state network and echo state Gaussian process for non-line-of-sight target tracking[J]. IEEE systems journal, 2020, 14(3): 3885-3892.

    [5] HU R H, TANG Z R, SONG X Y, et al. Ensemble echo network with deep architecture for time-series modeling[J].Neural computing and applications, 2021, 33(10): 4997-5010.

    [6] LIU J X, SUN T N, LUO Y L, et al. Echo state network optimization using binary grey wolf algorithm[J]. Neurocomputing, 2020, 385: 310-318.

    [7] LI Y, LI F J. PSO-based growing echo state network[J]. Applied soft computing, 2019, 85: 105774.

    [8] LI W S, NING X F, GE G J, et al. FTT-NAS: discovering fault-tolerant neural architecture[C]∥2020 25th Asia and South Pacific Design Automation Conference. Piscataway:IEEE Press, 2020: 211-216.

    [9] 劉晶, 高立超, 孫躍華, 等. 基于知識和數(shù)據(jù)融合驅(qū)動的設備故障診斷方法[J]. 鄭州大學學報(理學版), 2022, 54(2): 39-46.

    LIU J, GAO L C, SUN Y H, et al. Fault diagnosis method for equipment driven by knowledge and data fusion[J]. Journal of Zhengzhou university (natural science edition), 2022, 54(2): 39-46.

    [10]ZHAO K, DI S, LI S H, et al. FT-CNN: algorithm-based fault tolerance for convolutional neural networks[J]. IEEE transactions on parallel and distributed systems, 2021, 32(7): 1677-1689.

    [11]馬曉港. 面向神經(jīng)網(wǎng)絡的故障注入與容錯研究[D]. 湖州:湖州師范學院, 2022.

    MA X G. Research on fault injection and fault tolerance oriented to neural network[D].Huzhou: Huzhou University, 2022.

    [12]DEY P, NAG K, PAL T, et al. Regularizing multilayer perceptron for robustness[J]. IEEE transactions on systems, man, and cybernetics: systems, 2018, 48(8): 1255-1266.

    [13]NAEEM M, MCDAID L J, HARKIN J, et al. On the role of astroglial syncytia in self-repairing spiking neural networks[J]. IEEE transactions on neural networks and learning systems, 2015, 26(10): 2370-2380.

    [14]LIU S S, REVIRIEGO P, LOMBARDI F. Selective neuron re-computation (SNRC) for error-tolerant neural networks[J]. IEEE transactions on computers, 2022, 71(3): 684-695.

    [15]TORRES-HUITZIL C, GIRAU B. Fault and error tolerance in neural networks: a review[J]. IEEE access, 2017, 5: 17322-17341.

    [16]EL MHAMDI E M, GUERRAOUI R. When neurons fail[EB/OL](2017-06-02)[2023-01-16].https:∥ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7967193.

    [17]PENG Y X, SUN K H, HE S B. A discrete memristor model and its application in Hnon map[J]. Chaos, solitons & fractals, 2020, 137: 109873.

    [18]WAHEEB W, GHAZALI R, SHAH H. Nonlinear autoregressive moving-average (NARMA) time series forecasting using neural networks[C]∥2019 International Conference on Computer and Information Sciences (ICCIS). Piscataway: IEEE Press, 2019: 1-5.

    [19]LI Y, LI F J. Growing deep echo state network with supervised learning for time series prediction[J]. Applied soft computing, 2022, 128: 109454.

    [20]RACA D, QUINLAN J J, ZAHRAN A H, et al. Beyond throughput: a 4G LTE dataset with channel and context metrics[C]∥Proceedings of the 9th ACM Multimedia Systems Conference. New York: ACM Press, 2018: 460-465.

    999久久久国产精品视频| 日韩国内少妇激情av| 欧美国产精品va在线观看不卡| 99久久久亚洲精品蜜臀av| 精品一区二区三卡| 国产一区二区激情短视频| 亚洲精华国产精华精| 亚洲欧美激情综合另类| 精品卡一卡二卡四卡免费| 国产一区二区三区视频了| 精品一品国产午夜福利视频| 91av网站免费观看| 久久久国产成人精品二区 | 黑丝袜美女国产一区| 欧美日韩视频精品一区| 人妻丰满熟妇av一区二区三区| 侵犯人妻中文字幕一二三四区| 在线观看一区二区三区激情| 午夜a级毛片| 19禁男女啪啪无遮挡网站| 桃红色精品国产亚洲av| 法律面前人人平等表现在哪些方面| 日韩免费高清中文字幕av| 男人舔女人的私密视频| 久久精品人人爽人人爽视色| 一进一出抽搐动态| 丝袜美足系列| 亚洲va日本ⅴa欧美va伊人久久| 免费一级毛片在线播放高清视频 | 日本欧美视频一区| 啦啦啦 在线观看视频| 18禁美女被吸乳视频| 成年人黄色毛片网站| 日本wwww免费看| 亚洲第一欧美日韩一区二区三区| 啦啦啦在线免费观看视频4| 又紧又爽又黄一区二区| 欧美av亚洲av综合av国产av| 国产精品九九99| 色精品久久人妻99蜜桃| 夜夜夜夜夜久久久久| 久久影院123| 久久青草综合色| 欧美日韩瑟瑟在线播放| 在线观看www视频免费| 在线视频色国产色| 日韩精品青青久久久久久| 黄色丝袜av网址大全| 日韩欧美在线二视频| 97超级碰碰碰精品色视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 国产人伦9x9x在线观看| 精品国产乱子伦一区二区三区| 在线观看舔阴道视频| 久久国产精品影院| 欧美+亚洲+日韩+国产| 亚洲片人在线观看| 亚洲精品粉嫩美女一区| 亚洲七黄色美女视频| 后天国语完整版免费观看| 亚洲成国产人片在线观看| 精品一区二区三区av网在线观看| 一本大道久久a久久精品| 亚洲中文字幕日韩| 看黄色毛片网站| 日韩人妻精品一区2区三区| 国产精品美女特级片免费视频播放器 | 亚洲欧洲精品一区二区精品久久久| 成人精品一区二区免费| 亚洲国产欧美日韩在线播放| 欧美激情 高清一区二区三区| 亚洲av熟女| 黄色片一级片一级黄色片| 精品欧美一区二区三区在线| 国产高清国产精品国产三级| 美国免费a级毛片| 热re99久久精品国产66热6| 91成人精品电影| 国产亚洲欧美在线一区二区| 欧美日韩一级在线毛片| 国产人伦9x9x在线观看| 国产精品98久久久久久宅男小说| 日本欧美视频一区| 国产一区二区在线av高清观看| 丝袜人妻中文字幕| 91麻豆av在线| 国产高清国产精品国产三级| 91九色精品人成在线观看| 动漫黄色视频在线观看| 美女午夜性视频免费| 免费高清视频大片| 在线看a的网站| 91国产中文字幕| e午夜精品久久久久久久| 99久久综合精品五月天人人| 在线观看舔阴道视频| 欧美+亚洲+日韩+国产| 啦啦啦 在线观看视频| 久久精品亚洲av国产电影网| 多毛熟女@视频| 亚洲国产欧美网| 在线观看免费视频日本深夜| 亚洲自拍偷在线| 国产黄a三级三级三级人| 高清毛片免费观看视频网站 | 97人妻天天添夜夜摸| 亚洲欧美日韩无卡精品| 99国产综合亚洲精品| 日本撒尿小便嘘嘘汇集6| 成人精品一区二区免费| 自线自在国产av| 女生性感内裤真人,穿戴方法视频| 国产色视频综合| 成人三级做爰电影| 亚洲一区高清亚洲精品| 麻豆一二三区av精品| 国产亚洲精品久久久久久毛片| 午夜福利欧美成人| 在线看a的网站| 91麻豆av在线| 欧美一级毛片孕妇| 99久久精品国产亚洲精品| 99热国产这里只有精品6| 中文欧美无线码| 一个人观看的视频www高清免费观看 | 老司机福利观看| 色综合婷婷激情| 黄色毛片三级朝国网站| 免费日韩欧美在线观看| 老熟妇乱子伦视频在线观看| 伊人久久大香线蕉亚洲五| 另类亚洲欧美激情| 久久香蕉国产精品| 国产精品偷伦视频观看了| 精品久久久久久成人av| 日日摸夜夜添夜夜添小说| 欧美国产精品va在线观看不卡| 激情视频va一区二区三区| 国产成人系列免费观看| 久久久久久久午夜电影 | 欧美不卡视频在线免费观看 | 国产一区二区激情短视频| 亚洲一区二区三区欧美精品| 成年女人毛片免费观看观看9| 国产激情欧美一区二区| 精品少妇一区二区三区视频日本电影| 午夜a级毛片| 亚洲欧美一区二区三区黑人| 女人高潮潮喷娇喘18禁视频| 色在线成人网| 精品一品国产午夜福利视频| 真人做人爱边吃奶动态| 777久久人妻少妇嫩草av网站| 不卡一级毛片| 久久亚洲精品不卡| 久久中文字幕人妻熟女| 99热国产这里只有精品6| 亚洲欧美日韩高清在线视频| 又紧又爽又黄一区二区| 99re在线观看精品视频| 99精国产麻豆久久婷婷| 日韩有码中文字幕| 欧美久久黑人一区二区| 欧美日韩精品网址| 国产成人系列免费观看| 国产精品av久久久久免费| 亚洲人成伊人成综合网2020| 一级毛片精品| 黄色 视频免费看| 午夜福利免费观看在线| 亚洲欧美精品综合久久99| 亚洲五月色婷婷综合| 亚洲男人天堂网一区| 99久久国产精品久久久| 国产精品98久久久久久宅男小说| 黑丝袜美女国产一区| 欧美成人免费av一区二区三区| 亚洲专区国产一区二区| 香蕉丝袜av| www.熟女人妻精品国产| 亚洲精品一区av在线观看| 免费人成视频x8x8入口观看| 色播在线永久视频| 国产精品免费一区二区三区在线| 老司机午夜福利在线观看视频| 侵犯人妻中文字幕一二三四区| 一二三四社区在线视频社区8| 精品国产一区二区久久| 亚洲人成网站在线播放欧美日韩| 中文字幕另类日韩欧美亚洲嫩草| 可以在线观看毛片的网站| 在线观看一区二区三区激情| 欧美日韩福利视频一区二区| 亚洲欧美日韩另类电影网站| av在线天堂中文字幕 | 成人特级黄色片久久久久久久| 淫秽高清视频在线观看| 成人18禁高潮啪啪吃奶动态图| 午夜精品国产一区二区电影| 18美女黄网站色大片免费观看| 国产成人免费无遮挡视频| 搡老岳熟女国产| 欧美精品一区二区免费开放| 美女国产高潮福利片在线看| av在线天堂中文字幕 | 国产精品香港三级国产av潘金莲| 极品人妻少妇av视频| 国产精品98久久久久久宅男小说| 欧美日韩亚洲综合一区二区三区_| 久久草成人影院| 欧美人与性动交α欧美软件| 我的亚洲天堂| 99精品在免费线老司机午夜| 手机成人av网站| 亚洲少妇的诱惑av| 国产一区二区三区在线臀色熟女 | 99久久综合精品五月天人人| 男男h啪啪无遮挡| 妹子高潮喷水视频| 18禁国产床啪视频网站| av网站免费在线观看视频| 亚洲第一欧美日韩一区二区三区| 好看av亚洲va欧美ⅴa在| 亚洲专区中文字幕在线| 精品乱码久久久久久99久播| 色精品久久人妻99蜜桃| 亚洲国产中文字幕在线视频| 757午夜福利合集在线观看| 亚洲国产精品sss在线观看 | 精品午夜福利视频在线观看一区| 亚洲国产欧美日韩在线播放| 麻豆av在线久日| 精品高清国产在线一区| 欧美激情 高清一区二区三区| 美女 人体艺术 gogo| 色老头精品视频在线观看| 人人妻人人爽人人添夜夜欢视频| 自拍欧美九色日韩亚洲蝌蚪91| 精品国产亚洲在线| 99国产精品一区二区蜜桃av| 黄色怎么调成土黄色| 国产真人三级小视频在线观看| tocl精华| 亚洲色图av天堂| 在线天堂中文资源库| 精品欧美一区二区三区在线| 国产深夜福利视频在线观看| 如日韩欧美国产精品一区二区三区| 欧美 亚洲 国产 日韩一| 1024香蕉在线观看| 亚洲一区高清亚洲精品| 国产深夜福利视频在线观看| 亚洲色图 男人天堂 中文字幕| 搡老熟女国产l中国老女人| 国产欧美日韩一区二区三| 极品人妻少妇av视频| 9热在线视频观看99| 国产精品国产av在线观看| 大香蕉久久成人网| 高潮久久久久久久久久久不卡| 午夜视频精品福利| 琪琪午夜伦伦电影理论片6080| 日韩一卡2卡3卡4卡2021年| 国产熟女xx| 婷婷六月久久综合丁香| 国产精华一区二区三区| 热re99久久国产66热| 免费看a级黄色片| 精品免费久久久久久久清纯| 丰满人妻熟妇乱又伦精品不卡| 亚洲精品在线美女| 亚洲精品粉嫩美女一区| 国产精品 国内视频| 欧美中文综合在线视频| 精品高清国产在线一区| 精品人妻1区二区| 国产伦人伦偷精品视频| 久久久久国产一级毛片高清牌| 欧美 亚洲 国产 日韩一| 久久狼人影院| 日韩人妻精品一区2区三区| 国产aⅴ精品一区二区三区波| 亚洲熟女毛片儿| 久久精品影院6| 国产欧美日韩综合在线一区二区| 9191精品国产免费久久| 一级毛片精品| 国产三级在线视频| 久久精品91无色码中文字幕| 成人亚洲精品av一区二区 | 深夜精品福利| 黄色成人免费大全| 亚洲,欧美精品.| 久9热在线精品视频| 搡老熟女国产l中国老女人| 久久亚洲精品不卡| 欧美日韩一级在线毛片| 日韩精品中文字幕看吧| a级片在线免费高清观看视频| 国产成人av教育| 9热在线视频观看99| 美女高潮喷水抽搐中文字幕| 在线观看免费日韩欧美大片| 啦啦啦在线免费观看视频4| 人人妻,人人澡人人爽秒播| 亚洲精华国产精华精| 啦啦啦在线免费观看视频4| 精品电影一区二区在线| 国产一区二区三区综合在线观看| 久久这里只有精品19| 精品少妇一区二区三区视频日本电影| 视频区欧美日本亚洲| 亚洲精品国产一区二区精华液| 天堂俺去俺来也www色官网| 日本 av在线| 久久精品91无色码中文字幕| xxx96com| 乱人伦中国视频| 母亲3免费完整高清在线观看| 国产精品一区二区免费欧美| 乱人伦中国视频| 夜夜爽天天搞| 91老司机精品| av中文乱码字幕在线| 精品福利永久在线观看| 午夜免费鲁丝| 亚洲自拍偷在线| www.www免费av| 一级毛片高清免费大全| 一区二区日韩欧美中文字幕| 国产精品成人在线| 国产伦一二天堂av在线观看| 80岁老熟妇乱子伦牲交| 三级毛片av免费| 欧美精品亚洲一区二区| 成人黄色视频免费在线看| 亚洲精品国产色婷婷电影| 嫩草影视91久久| 亚洲精华国产精华精| 中文字幕最新亚洲高清| 少妇粗大呻吟视频| 69av精品久久久久久| 国产激情欧美一区二区| 欧美黑人精品巨大| 国产亚洲欧美98| 久热爱精品视频在线9| 啦啦啦 在线观看视频| 中文字幕色久视频| 国产乱人伦免费视频| 亚洲av美国av| aaaaa片日本免费| 中文字幕精品免费在线观看视频| 欧美老熟妇乱子伦牲交| 人人妻人人澡人人看| 欧美在线黄色| 免费少妇av软件| 欧美乱妇无乱码| 亚洲欧美一区二区三区久久| 欧美午夜高清在线| 日本wwww免费看| 黑人巨大精品欧美一区二区mp4| 欧美日韩中文字幕国产精品一区二区三区 | 日本一区二区免费在线视频| 国产亚洲精品久久久久5区| 高清av免费在线| 在线观看66精品国产| 亚洲av成人av| 人妻久久中文字幕网| 激情视频va一区二区三区| av天堂在线播放| 一级a爱片免费观看的视频| 国产成人影院久久av| 亚洲 欧美一区二区三区| 黑人巨大精品欧美一区二区蜜桃| 国产精品自产拍在线观看55亚洲| 午夜久久久在线观看| 亚洲精品在线美女| 99精国产麻豆久久婷婷| 国产精品永久免费网站| 黑人巨大精品欧美一区二区蜜桃| 久久久久久久精品吃奶| 亚洲 欧美一区二区三区| 村上凉子中文字幕在线| 在线视频色国产色| 国产一区二区三区视频了| 中文字幕另类日韩欧美亚洲嫩草| 搡老乐熟女国产| 91成人精品电影| 免费在线观看黄色视频的| 在线观看www视频免费| 日韩av在线大香蕉| 看黄色毛片网站| 亚洲视频免费观看视频| 精品国产一区二区久久| 激情在线观看视频在线高清| 国产欧美日韩一区二区三| 黄色片一级片一级黄色片| 亚洲一区二区三区不卡视频| 国产精品二区激情视频| 国产一卡二卡三卡精品| 嫁个100分男人电影在线观看| 搡老乐熟女国产| 自线自在国产av| 99riav亚洲国产免费| 亚洲专区字幕在线| 日本黄色日本黄色录像| 欧美日韩亚洲国产一区二区在线观看| 亚洲全国av大片| 十八禁人妻一区二区| 亚洲自偷自拍图片 自拍| 久久久水蜜桃国产精品网| 国产av一区在线观看免费| 亚洲成人免费av在线播放| 青草久久国产| 热99国产精品久久久久久7| 五月开心婷婷网| 黄色丝袜av网址大全| 国产男靠女视频免费网站| 丝袜人妻中文字幕| 搡老熟女国产l中国老女人| 99精品欧美一区二区三区四区| 一级片'在线观看视频| 久久久久久免费高清国产稀缺| 叶爱在线成人免费视频播放| 最近最新中文字幕大全电影3 | 美女高潮喷水抽搐中文字幕| 99久久综合精品五月天人人| 国产深夜福利视频在线观看| 久久久久九九精品影院| 欧美精品啪啪一区二区三区| 国产av精品麻豆| 人妻丰满熟妇av一区二区三区| 午夜福利一区二区在线看| 最新在线观看一区二区三区| 精品久久久久久久毛片微露脸| 午夜免费鲁丝| 亚洲av美国av| 精品高清国产在线一区| 男女之事视频高清在线观看| 一级a爱视频在线免费观看| 1024视频免费在线观看| 精品一区二区三区视频在线观看免费 | 成人三级做爰电影| 男女做爰动态图高潮gif福利片 | 在线国产一区二区在线| 少妇裸体淫交视频免费看高清 | 国产免费现黄频在线看| 超碰成人久久| 国产黄色免费在线视频| 亚洲国产欧美日韩在线播放| 精品国产一区二区久久| 巨乳人妻的诱惑在线观看| 日韩欧美在线二视频| 1024香蕉在线观看| 黄色毛片三级朝国网站| 国产有黄有色有爽视频| 欧美日韩精品网址| 中文欧美无线码| 成人国产一区最新在线观看| 99久久综合精品五月天人人| 18禁国产床啪视频网站| 中文字幕av电影在线播放| 国产精品av久久久久免费| 欧美精品啪啪一区二区三区| 久久久久九九精品影院| 大型黄色视频在线免费观看| 中出人妻视频一区二区| 国产欧美日韩一区二区三| 亚洲精品久久午夜乱码| 久久中文字幕人妻熟女| 国产精品98久久久久久宅男小说| 国产色视频综合| www.自偷自拍.com| 午夜精品在线福利| 国产伦一二天堂av在线观看| 久热爱精品视频在线9| 国产无遮挡羞羞视频在线观看| 18禁国产床啪视频网站| tocl精华| 国产精品野战在线观看 | 黄频高清免费视频| 中国美女看黄片| 操美女的视频在线观看| 成年版毛片免费区| 色在线成人网| 香蕉国产在线看| 超碰成人久久| 老汉色av国产亚洲站长工具| 中文字幕色久视频| 老司机靠b影院| 大型av网站在线播放| 日日夜夜操网爽| 亚洲视频免费观看视频| 欧美中文日本在线观看视频| 色哟哟哟哟哟哟| 交换朋友夫妻互换小说| 亚洲av成人一区二区三| 深夜精品福利| svipshipincom国产片| 国产av在哪里看| 欧美成狂野欧美在线观看| 美女国产高潮福利片在线看| 成在线人永久免费视频| 91大片在线观看| 亚洲精品久久成人aⅴ小说| 亚洲情色 制服丝袜| 国产三级黄色录像| 丰满人妻熟妇乱又伦精品不卡| 国产成人欧美| 老鸭窝网址在线观看| 香蕉久久夜色| 国产成年人精品一区二区 | 日日摸夜夜添夜夜添小说| 国产蜜桃级精品一区二区三区| e午夜精品久久久久久久| 精品一区二区三区视频在线观看免费 | 精品久久久久久久毛片微露脸| 中文字幕色久视频| 老熟妇乱子伦视频在线观看| 女生性感内裤真人,穿戴方法视频| 日本三级黄在线观看| 美女大奶头视频| 久久这里只有精品19| 超碰成人久久| 免费av毛片视频| 亚洲男人的天堂狠狠| 少妇粗大呻吟视频| 男女之事视频高清在线观看| 国产精品电影一区二区三区| a级片在线免费高清观看视频| 在线观看免费高清a一片| 男女床上黄色一级片免费看| 国内久久婷婷六月综合欲色啪| 日韩精品青青久久久久久| 两性夫妻黄色片| 免费在线观看日本一区| 亚洲av五月六月丁香网| 亚洲欧美精品综合一区二区三区| 午夜福利,免费看| 精品一区二区三区四区五区乱码| 国产精品一区二区精品视频观看| 亚洲中文av在线| 熟女少妇亚洲综合色aaa.| 国产精品综合久久久久久久免费 | 99久久综合精品五月天人人| 在线观看一区二区三区激情| 久久久久国产一级毛片高清牌| 午夜福利欧美成人| 免费av中文字幕在线| 另类亚洲欧美激情| 国产高清国产精品国产三级| 日本 av在线| 国产片内射在线| 亚洲成人国产一区在线观看| 国产片内射在线| 国产91精品成人一区二区三区| 天天添夜夜摸| 成人国语在线视频| 欧美日本亚洲视频在线播放| 十分钟在线观看高清视频www| 韩国精品一区二区三区| 日本wwww免费看| 91成人精品电影| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲精品久久成人aⅴ小说| 亚洲欧洲精品一区二区精品久久久| 久久天堂一区二区三区四区| 久久人人爽av亚洲精品天堂| 久久久水蜜桃国产精品网| 国产成人精品久久二区二区免费| av在线天堂中文字幕 | 黄网站色视频无遮挡免费观看| 后天国语完整版免费观看| 午夜视频精品福利| 色婷婷av一区二区三区视频| 亚洲欧美日韩无卡精品| 欧美成人免费av一区二区三区| 日韩欧美一区视频在线观看| xxx96com| 成人亚洲精品一区在线观看| 欧美 亚洲 国产 日韩一| 免费搜索国产男女视频| 在线观看免费视频日本深夜| 久久久精品国产亚洲av高清涩受| a级片在线免费高清观看视频| 亚洲自偷自拍图片 自拍| 一级作爱视频免费观看| 久久亚洲精品不卡| 在线观看舔阴道视频| 成人手机av| 精品国产一区二区三区四区第35| 一级毛片高清免费大全| 十八禁人妻一区二区| 在线观看一区二区三区激情| 日日爽夜夜爽网站| 国产黄色免费在线视频| 美女大奶头视频| 免费一级毛片在线播放高清视频 | 国产高清videossex| 极品教师在线免费播放| 身体一侧抽搐| 老司机午夜福利在线观看视频| 国产精品九九99| 在线观看免费视频日本深夜| 中出人妻视频一区二区| 色综合站精品国产| 亚洲熟女毛片儿| 可以免费在线观看a视频的电影网站| 亚洲精品国产精品久久久不卡| 一级a爱视频在线免费观看| 欧美丝袜亚洲另类 | 午夜免费激情av| 国产xxxxx性猛交| 中文字幕高清在线视频| a在线观看视频网站|