• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯方法研究

    2024-08-13 00:00:00孫曉川高佳慧王宇李瑩琦
    鄭州大學學報(理學版) 2024年5期

    摘要: 在實際應用部署過程中,回聲狀態(tài)網(wǎng)絡中儲備池的內(nèi)部突觸容易受到應用系統(tǒng)故障的影響而發(fā)生故障,偏離預期的性能。因此,提出一個面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。分析模型中一些故障的突觸(權重擾動)的行為特征,考慮發(fā)生故障的實際場景,采用檢測機制檢測并定位這些故障的突觸,最后通過容錯策略使其恢復。仿真實驗結(jié)果表明,針對不同特點的時間序列數(shù)據(jù),通過容錯性能評估、統(tǒng)計分布和短期記憶能力對比,提出的容錯模型是有效的。此外,通過數(shù)學理論推導證明出儲備池突觸故障容錯的邊界條件。

    關鍵詞: 回聲狀態(tài)網(wǎng)絡; 突觸故障; 容錯性; 時間序列預測; 短期記憶能力

    中圖分類號: TP18

    文獻標志碼: A

    文章編號: 1671-6841(2024)05-0039-08

    DOI: 10.13705/j.issn.1671-6841.2023029

    Research on Fault Tolerance Method for Echo State Networks

    Oriented to Synapse Faults

    SUN Xiaochuan 1,2, GAO Jiahui 1,2, WANG Yu 1,2, LI Yingqi 1,2

    (1.College of Artificial Intelligence, North China University of Science and Technology, Tangshan

    063210, China; 2.Hebei Key Laboratory of Industrial Perception, Tangshan 063210, China)

    Abstract: During practical application deployment, the internal synapses of reservoirs in echo state networks were susceptible to failure and deviation from the expected performance due to application system failures. Therefore, a fault-tolerant model for synaptic faults in echo state networks was proposed. There were some faulty synapses (weight perturbations) in this model. Their behavioral characteristics were analyzed, the actual scenarios in which the failures occurred were considered. A detection mechanism was used to detect and locate these faulty synapses, and finally, they were recovered by a fault-tolerance strategy. The simulation results showed that the effectiveness of the fault-tolerance model was verified by fault-tolerance performance evaluation, statistical distribution, and short-term memory capacity comparison for time series data with different characteristics. In addition, the boundary conditions of fault tolerance for reservoir synapses failures were proved by mathematical theory derivation.

    Key words: echo state network (ESN); synapse fault; fault tolerance; time series prediction; short-term memory capacity

    0 引言

    回聲狀態(tài)網(wǎng)絡(echo state network,ESN)[1]是一種典型的儲備池計算模型,在時間序列預測、故障診斷、目標跟蹤等領域得到了廣泛應用[2-4]。在ESN的建模過程中,儲備池的適應性問題最具挑戰(zhàn)性。目前,很多研究旨在結(jié)構(gòu)方面的優(yōu)化[5-7],以獲得更好的泛化性能。然而,在實際應用任務中,如果ESN沒有內(nèi)置的或經(jīng)過驗證的容錯能力,就會因為關鍵部分的錯誤而造成災難性的網(wǎng)絡故障。因此,容錯性實際上也應當是儲備池計算適應性問題的關鍵內(nèi)容,這在一定程度上決定了ESN在實際問題中的應用能力。

    在實際應用中,復雜惡劣的環(huán)境(大氣輻射、放射性雜質(zhì))、溫度變化、電壓不穩(wěn)定、底層半導體設備和硬件設備磨損老化等[8-10]因素都會導致軟件層面上的儲備池內(nèi)部組件(突觸)發(fā)生故障,即軟件故障,影響ESN的正常計算。為了確保ESN在出現(xiàn)錯誤時仍能正確運行,需要一個有效的容錯設計。

    容錯理論的相關研究包括被動式和主動式容錯處理,且大多數(shù)方法集中于前饋型神經(jīng)網(wǎng)絡。例如,在被動方法中,增加冗余、改進學習/訓練算法和約束條件下的網(wǎng)絡優(yōu)化三類方法能夠提高神經(jīng)網(wǎng)絡固有的容錯能力。Zhao等[10]采用了四種基于算法容錯的方案用于卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)中的卷積運算。該方案可以在卷積運算過程中檢測并糾正硬故障和軟故障,從而提高卷積層的故障容錯能力。馬曉港等[11]通過對CNN中冗余的關鍵神經(jīng)元進行復制來削弱故障神經(jīng)元對神經(jīng)網(wǎng)絡的影響。Dey等[12]將三個正則化器應用于多層感知器(multi-layer perception,MLP)網(wǎng)絡的訓練中,當出現(xiàn)鏈路故障、權重擾動時,三個正則化器通過懲罰系統(tǒng)誤差,改變突觸權重,從而使MLP具有魯棒性。實質(zhì)上,被動容錯技術沒有故障診斷、重新學習或重新配置的過程,無法確定故障具體位置,僅僅通過神經(jīng)網(wǎng)絡固有的冗余來掩蓋故障的影響,但這些故障仍然存在。

    在主動方法中,低延遲故障檢測和恢復技術能夠確保神經(jīng)網(wǎng)絡的容錯性。Naeem等[13]結(jié)合尖峰時序相關塑性和Bienenstock Cooper Munro學習規(guī)則建立輸入-輸出之間的映射關系,當突觸出現(xiàn)功能障礙時通過自我修復維持正常的映射。Liu等[14]提出了一種選擇性神經(jīng)元重計算技術應用于人工神經(jīng)網(wǎng)絡的分類問題。該技術可以識別出誤差對結(jié)果沒有影響的情況,旨在對那些分類結(jié)果不可靠的神經(jīng)元進行重新計算、處理錯誤。主動容錯系統(tǒng)在面臨故障時,能夠通過自適應、再訓練或自我修復的機制及時給予補償,使神經(jīng)網(wǎng)絡從故障中恢復。可見,主動容錯方法將是神經(jīng)網(wǎng)絡容錯研究中有效的處理技術。

    綜上,盡管國內(nèi)外學者在神經(jīng)網(wǎng)絡容錯問題上進行了大量卓有成效的工作,但大多研究集中于前饋型神經(jīng)網(wǎng)絡,針對反饋型神經(jīng)網(wǎng)絡的容錯研究相對較少,而反饋型神經(jīng)網(wǎng)絡在計算收斂速度、聯(lián)想記憶和優(yōu)化計算方面的應用具有更明顯的優(yōu)勢。鑒于此,本文擬開展儲備池計算框架下的故障容忍方法研究,從權重擾動故障的角度設計儲備池容錯策略,對于完善神經(jīng)網(wǎng)絡理論、發(fā)掘儲備池計算的應用潛力具有重要的價值和意義。最后,證明了儲備池故障的容錯能力,為構(gòu)建故障容錯機制的必要性提供了理論依據(jù)。

    1 儲備池容錯模型結(jié)構(gòu)

    本文提出了一種面向隨機突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型(synapse random fault tolerated echo state network,SRFT-ESN)。具體地,構(gòu)造了一個ESN故障模型,儲備池的內(nèi)部存在一些有問題的突觸(權重擾動),考慮了三種發(fā)生故障的實際場景,并根據(jù)權重擾動的行為特征設計檢測機制來檢測并定位故障的突觸。最終利用容錯機制處理這些故障。

    圖1給出了SRFT-ESN的總體結(jié)構(gòu)。類似于傳統(tǒng)的ESN,該模型由一個輸入層、一個儲備池和一個輸出層組成,包含K個輸入神經(jīng)元,N個儲備池神經(jīng)元和L個輸出神經(jīng)元。儲備池的狀態(tài)更新方程為

    x(t+1)=f(Winu(t+1)+Wx(t)+Wbacky(t)),(1)

    SRFT-ESN的輸出表達式為

    y(t+1)=fout(Woutx(t+1)),(2)

    其中:Win、W、Wback和Wout分別表示儲備池的輸入權重矩陣、內(nèi)部權重矩陣、反饋權重矩陣和輸出權重矩陣;u(t)∈RK和x(t)∈RN分別表示網(wǎng)絡輸入和儲備池神經(jīng)元在時間t的狀態(tài);y(t)∈RL表示t時間的L維度的輸出;f(·)為儲備池的激活函數(shù),通常為tanh; fout(·)表示identity激活函數(shù)。

    訓練SRFT-ESN的目標是獲得最佳Wout,通常使用Moore-Penrose算法直接完成,即

    Wout=X~Y=(XTX)-1XTY,(3)

    其中:X=[x(1), x(2), …, x(nmax)]是儲備池的狀態(tài)矩陣,X~是X的廣義逆矩陣,Y=[y(1), y(2), …, y(nmax)]是輸出權重矩陣所對應的目標輸出。

    然而,與傳統(tǒng)ESN不同的是,儲備池內(nèi)部存在一些相對獨立的故障突觸,如圖1中虛線所示的連接,其表現(xiàn)要么連接短路,要么連接受到外部干擾,權值偏離預期值?;谶@兩種情況,可以建模為權值始終卡死在Wmin=-1或Wmax=+1上[15]。因此,本文設計了一種再訓練的主動容錯策略,保證儲備池具備良好的映射能力。特別地,ESN的一個關鍵屬性是回聲狀態(tài)屬性(echo state property,ESP),它表征了有效的ESN動力學特性。而儲備池內(nèi)部權重矩陣的絕對值最大的特征值小于1時,ESN才具有ESP。由此可見,ESP與儲備池內(nèi)部狀態(tài)有直接關系。所以本文僅針對與ESN動力學特性有較大關系的內(nèi)部權重進行容錯分析。

    2 儲備池突觸故障容錯機制

    算法1給出了突觸隨機故障容錯處理的整體流程。考慮了突觸故障隨機發(fā)生在儲備池訓練前、訓練后,以及訓練前、后并存的情況,分別在這些階段進行故障檢測和容錯處理。其中,檢測故障時調(diào)用算法2;處理故障時,調(diào)用算法3。這里,對于隨機型的故障突觸,采用其權值+1來表征。具體地,在算法1中,對于初始化的ESN,通過兩層循環(huán)依次檢測每個突觸是否存在故障,若存在故障,返回true,否則返回false(算法2的第3~10行)。當返回true時,定位這些故障連接,并依次將對應的權值設置為0(算法3的第4~14行)。之后,進行模型的訓練和Wout的求解(算法1的第7~10行)。為了兼顧訓練后發(fā)生故障,繼續(xù)調(diào)用算法2、算法3進行檢測和修復。特別地,使用while循環(huán)不斷執(zhí)行訓練過程以及訓練后的容錯過程,直至訓練后的ESN經(jīng)過容錯處理后不再發(fā)生錯誤。

    算法1 突觸的隨機故障容錯處理

    輸入: 樣本數(shù)據(jù)u(t),y(t),儲備池大小N,譜半徑λ,Win,W,Wback,狀態(tài)收集時間T和沖洗時間T0。

    輸出: 權重矩陣Wout。

    1. 初始化ESN(隨機初始化ESN中的權重)

    2. if 算法2→true then //故障檢測

    3. 算法3;//容錯

    4. end

    5. while (true)

    6. for t=T0 to T do //開始訓練

    7. 根據(jù)公式(1)更新儲備池狀態(tài);

    8. 收集網(wǎng)絡狀態(tài)X和輸出Y

    9. end

    10. 根據(jù)公式(3)求解Wout;//結(jié)束訓練

    11. if 算法2 → true then //故障檢測

    12. 算法3;//容錯

    13. else

    14. break;//訓練后無故障

    15. end

    16.end

    算法2 突觸隨機故障檢測方法

    輸入: ESN。

    輸出: true or false。

    1. 從故障的ESN中獲取W和儲備池大小N

    2. function flag=check(ESN);

    3. for i=1 to size N do

    4. for j=1 to size N do

    5. if W(i, j)=+1 then

    6. 返回 true;

    7. else

    8. 返回 false;

    9. end

    10. end

    11.end

    算法3 突觸隨機故障容錯方法

    輸入: 故障的ESN。

    輸出: 正常的ESN。

    1. 從故障的ESN中獲取W和儲備池大小N;

    2. function 正常ESN=repair(ESN);

    3. 定義故障突觸收集數(shù)組eNode;

    4. for i=1 to size N;//定位故障突觸

    5. for j=1 to size N

    6. if W(i, j)=+1 then

    7. 將(i, j)添加到eNode;

    8. end

    9. end

    10. end

    10. for s=1 to size eNode //修復故障

    12. (i, j)=eNode(s);

    13. W(i, j)=0;

    14. end

    3 儲備池突觸容錯能力證明

    突觸是連接神經(jīng)元的傳輸介質(zhì),要么正確傳輸信號,要么停止傳輸(崩潰)或者傳輸任意值(拜占庭故障)的信號。由于崩潰的突觸無法傳輸信息,因此,本節(jié)考慮神經(jīng)元、突觸分別發(fā)生拜占庭故障,在給出故障神經(jīng)元誤差上界的基礎上,推導出容忍的邊界條件,進一步證明故障的突觸與神經(jīng)元產(chǎn)生的誤差上界是等價的,最終,推導出容忍故障突觸的邊界條件,證明儲備池的故障容忍能力。

    首先,根據(jù)突觸故障的行為特征,將其與神經(jīng)元產(chǎn)生的錯誤聯(lián)系起來。具體地,當神經(jīng)元i到神經(jīng)元j的突觸連接有故障時,會影響神經(jīng)元i傳輸?shù)臓顟B(tài)信息,為了表征此錯誤信息,通過神經(jīng)元j來傳播。為了證明,考慮儲備池狀態(tài)更新方程為

    xini=∑Kk=1winkiuk+∑Nk=1wkix~k+∑Lk=1wbackkiy~k

    xouti=f(xini)

    Fres(U)=∑Ni=1xouti,(4)

    其中:uk、xini和xouti分別是儲備池內(nèi)部神經(jīng)元的數(shù)據(jù)輸入、狀態(tài)輸入和狀態(tài)輸出;x~k和y~k分別是上一時刻儲備池神經(jīng)元k的狀態(tài)輸出和輸出層神經(jīng)元k的輸出;winki、wki和wbackki分別是儲備池神經(jīng)元i的輸入權重、內(nèi)部權重和反饋權重;U為任意輸入向量;Fres(·)為目標函數(shù)F(·)在連續(xù)映射空間C([0, 1]d, [0, 1])中的ε-逼近,即

    ‖F(xiàn)(U)-Fres(U)‖<ε, U∈[0, 1]d。(5)

    引用文獻[16]的推論,定義具有非最小儲備池的ESN由N個神經(jīng)元組成,可以容忍Nfail個拜占庭故障神經(jīng)元,并且能夠?qū)崿F(xiàn)ε-逼近(ε′≤ε),即Fres(·)可以算出F(·)的ε′-逼近,即

    ‖F(xiàn)(U)-Fres(U)‖<ε′。(6)

    假設Ffail(·)表示出現(xiàn)Nfail個故障神經(jīng)元時神經(jīng)函數(shù)Fres(·)的剩余部分?;诜稊?shù)的三角不等式性質(zhì),對于任何輸入向量U,有

    ‖F(xiàn)(U)-Ffail(U)‖≤‖F(xiàn)(U)-Fres(U)‖+

    ‖F(xiàn)res(U)-Ffail(U)‖。(7)

    假設1 有界誤差假設。對于任意的輸入U,任意儲備池神經(jīng)元的實際輸出為xouti+λi,這里xouti是儲備池神經(jīng)元的真實輸出,λi是神經(jīng)元i的誤差,則儲備池神經(jīng)元的輸出在最壞的情況下存在一個統(tǒng)一的上界E∈R*+,即

    xi+λi≤E, i∈[0, N]。

    描述ESN容忍能力的引理、定理如下。

    引理1 在儲備池中,有Nfail個神經(jīng)元受故障的影響,每個神經(jīng)元i向下一個所連接的正常神經(jīng)元發(fā)送包含誤差為λi的輸出xouti+λi,而不是預期的xouti。在這種情況下,對輸出影響的上界為

    ‖F(xiàn)res(U)-Fλ(U)‖≤NfailKwmE,

    其中:Fres(U)是正常的神經(jīng)元函數(shù);Fλ(U)為誤差λi的神經(jīng)元函數(shù);wm是儲備池中最大的內(nèi)部權值;K為激活函數(shù)的調(diào)諧系數(shù)。具體地,sigmoid是ESN的非線性本質(zhì),而普適性定理適用于該激活函數(shù)。本節(jié)將普適性定理的條件加到激活函數(shù)上,并認為sigmoid為K-Lipschitzian[16]。特別地,這里的誤差只傳送給正常的神經(jīng)元,而故障的神經(jīng)元僅傳送其本身的誤差。

    證明 設Qfail為故障神經(jīng)元的集合,f(·)為sigmoid函數(shù),儲備池的狀態(tài)輸出誤差為

    ‖F(xiàn)res(U)-Fλ(U)‖=‖∑i∈Qfailf[wi(x~i+λi)]‖,(8)

    其中:wi表示與儲備池神經(jīng)元i對應的權重向量。注意,這里只考慮儲備池內(nèi)部神經(jīng)元的錯誤影響。則根據(jù)范數(shù)三角不等式性質(zhì)得到

    ‖F(xiàn)res(U)-Fλ(U)‖≤K∑i∈Qfail‖wi(x~i+λi)‖,(9)

    應用假設1和wm的定義能夠獲得儲備池的總體狀態(tài)輸出誤差上限,表示為

    ‖F(xiàn)res(U)-Fλ(U)‖≤NfailKwmE,(10)

    在最壞的故障情況下,輸入誤差達到最大值E,并且故障神經(jīng)元與具有最大權值wm相連時,上述約束是緊致的。

    定理1 設ε和ε′是任意兩個正實數(shù),且0<ε′≤ε,儲備池容忍Nfail個拜占庭故障神經(jīng)元的上界為

    Nfail≤(ε-ε′)/KwmE。

    此外,若沒有額外約束條件,這個約束條件是緊致的。

    證明 用Ffail表示儲備池中具有Nfail個拜占庭故障神經(jīng)元的總體輸出,F(xiàn)為連續(xù)的目標函數(shù)。利用引理1得到

    ‖F(xiàn)res(U)-Ffail(U)‖≤NfailKwmE,

    結(jié)合公式(6)和(7)得到

    ‖F(xiàn)(U)-Ffail(U)‖≤ε′+NfailKwmE,

    因此,為了保證

    ‖F(xiàn)(U)-Ffail(U)‖≤ε,

    則最終得到的上界為

    Nfail≤(ε-ε′)/(KwmE)。(11)

    引理2 在儲備池中,神經(jīng)元i到神經(jīng)元j的突觸處產(chǎn)生的誤差值為λij,在最壞的情況下,等價于神經(jīng)元j的傳輸誤差為KE。

    證明 從神經(jīng)元i到神經(jīng)元j突觸中的誤差值λij在神經(jīng)元j處產(chǎn)生一個接收和,記為xinλ,j,所用公式為

    xinλ,j=∑Kk=1winkjuk+∑Nk=1,k≠iwkjx~k+

    ∑Lk=1wbackkjy~k+wijx~i+λij=

    (∑Kk=1winkjuk+∑Nk=1wkjx~k+∑Lk=1wbackkjy~k)+λij,(12)

    因此,通過激活函數(shù)的K-Lipschitzness,神經(jīng)元j的輸出誤差上限為

    error=φ(xinλ,j)-φ(xinj)≤

    Kxinλ,j-xinj=Kλij,(13)

    最壞情況下,根據(jù)假設1,傳輸誤差λij為E。

    定理2 為了保證儲備池的穩(wěn)健性,給出故障突觸數(shù)量的上界為

    Nfail≤(ε-ε′)/KwmE,

    同理,這個約束條件是緊致的。

    證明 根據(jù)上述推理,首先,應用引理2,將儲備池中Nfail個突觸的失效等同于在最壞情況下儲備池中Nfail個神經(jīng)元的失效。然后,應用定理2,得出結(jié)果。

    4 仿真實驗與性能分析

    在本節(jié)的實驗中,對模型的容錯恢復性能進行了綜合評估。所使用的數(shù)據(jù)具有不同特點、不同領域的時間序列,包括Henon Map混沌時間序列[17]、非線性自回歸移動平均(nonlinear auto regressive moving average,NARMA)系統(tǒng)數(shù)據(jù)[18]、多重疊加振蕩器(multiple superimposed oscillators,MSO)時間序列[19]以及由轎車移動模式產(chǎn)生的下行蜂窩網(wǎng)絡流量數(shù)據(jù)[20]。本文分別從恢復性能評估、頻譜分析、統(tǒng)計分布比較、短期記憶能力(memory capacity,MC)的角度對SRFT-ESN的有效性、可靠性進行了驗證,并與功能良好的ESN(well-functioning ESN,WESN)進行了對比。

    4.1 數(shù)據(jù)預處理與性能評估指標

    在本文實驗中,使用的Henon Map、NARMA和MSO時間序列數(shù)據(jù)均為3 000條,轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)為2 992條。并且,取每種數(shù)據(jù)的前50%作為訓練集,后50%作為測試集。特別地,在SRFT-ESN模型中,突觸故障是隨機產(chǎn)生的,且產(chǎn)生的數(shù)量也是隨機的,但不超過總體數(shù)量的25%。此外,對NARMA系統(tǒng)數(shù)據(jù)、轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)進行預處理。對于前者,采用高斯平滑方法,在保留數(shù)據(jù)原有特征的同時,減少異常點和噪聲。對于后者,分別采用插值法、高斯平滑處理方法和線性min-max歸一化方法。具體地,用前一時刻數(shù)據(jù)填補下一時刻缺失的數(shù)據(jù),之后用高斯平滑法來減輕波動和異常值的影響,最后用線性min-max歸一化方法將數(shù)據(jù)按比例縮放,統(tǒng)一映射到[0, 1]區(qū)間上。

    為評估可恢復模型的預測性能,考慮了歸一化均方根誤差(normalized root mean square error,NRMSE)、平均絕對誤差(mean absolute error,MAE)和決定系數(shù)R2三個指標。

    4.2 容錯性能分析

    表1給出了SRFT-ESN在多種時間序列預測任務中的容錯性能評估結(jié)果。顯然,在NRMSE、MAE、R2性能指標上,SRFT-ESN均優(yōu)于WESN,意味著該模型不僅從故障模式中得到恢復,并且具有更好的非線性逼近能力,說明本文所提容錯方案具有高效性和可靠性。

    圖2給出了SRFT-ESN的預測值和真實值的頻譜分析圖。從圖中可以看出,相較于原始模型,SRFT-ESN的預測結(jié)果與真實數(shù)據(jù)頻率下的幅度響應、噪聲頻譜(帶狀陰影)分布有更好的擬合(特別是在MSO、轎車產(chǎn)生的網(wǎng)絡流量預測任務中),說明在不改變拓撲結(jié)構(gòu)的情況下進行容錯,模型能夠得到較好的恢復,具有更好的非線性逼近性能。

    為了進一步證明所提容錯策略的有效性和可靠性,從數(shù)學統(tǒng)計分析的角度對模型的預測性能進行評估。圖3給出了容錯模型預測輸出的經(jīng)驗累積分布函數(shù)(empirical cumulative distribution function,ECDF)分析圖。圖中x軸表示六個時間序列的真實值,y軸F(x)表示所有小于等于當前時間序列真實值的概率。從圖3可以看出,SRFT-ESN和WESN的ECDF曲線基本擬合,說明二者的預測數(shù)據(jù)分布相似,即在故障模式下,容錯模型已恢復到與原始模型相似的預測性能,證明了容錯方法的有效性。

    圖4給出了兩種模型預測數(shù)據(jù)的小提琴對比圖。每個小提琴圖由一個箱型圖和位于其左右的密度跡線組成。在圖4(b)~(d)中,容錯模型與原始模型的預測輸出在密度分布軌跡、箱型圖中的中位數(shù)和四分位數(shù)上的信息具有一致性,說明二者具有相似的預測性能,驗證了模型從故障中得到修復。在圖4(a)中,SRFT-ESN的預測數(shù)據(jù)與真實數(shù)據(jù)的密度分布軌跡在整體上基本相似,僅在特殊值處略有偏差,并且二者在箱型圖上的信息基本一致,說明該模型不僅得到恢復,并且具有更好的預測性能。綜上,通過可恢復性能評估、頻譜分析以及統(tǒng)計分布對比結(jié)果可以得到,SRFT-ESN能夠恢復到原始的非線性逼近性能,甚至在一定程度上得到了提升,驗證了本文所提出的再訓練主動容錯方案的高效性和可靠性。

    4.3 短期MC

    最后,使用MC來驗證SRFT-ESN的可恢復性和有效性[15],通過短時記憶(short-time memory,STM)來研究該模型的時間處理能力。一般來說,STM可以使輸入信號從以前的時間t開始重建。對于SRFT-ESN,設置延遲步長為k,即到達的輸入流{…, s(t-2), s(t-1), s(t)}產(chǎn)生s(t-k)的延遲任務。

    則模型良好的擬合特性定義為

    MCk=Cov2(s(t-k),yk(t))Var(s(t))Var(yk(t)),(14)

    其中:s(t-k)表示在t時刻具有k延時輸入的預期輸出;yk(t)表示實際輸出;Cov(·)和Var(·)分別表示協(xié)方差和方差算子。

    通過對所有MCk求和得到STM值,即

    MC=∑kmaxk=1MCk。(15)

    在STM評估試驗中,ESN的拓撲結(jié)構(gòu)為1-40-1,輸入延遲為k=1, 2, … , 40。圖5給出了所提模型在預測任務中的遺忘曲線。在每個子圖中,SRFT-ESN與WESN均在延遲至10 s時表現(xiàn)出接近100%的記憶能力,之后,隨著延遲增加,記憶能力開始下降。顯然,容錯模型的記憶曲線比原始模型的記憶曲線下降趨勢緩慢,在某些延遲k上,前者的記憶能力高于后者。此外,還評估了容錯模型的STM值。在Henon Map、NARMA系統(tǒng)、MSO時間序列以及轎車移動軌跡產(chǎn)生的蜂窩網(wǎng)絡流量預測任務中,SRFT-ESN的STM值依次為17.8685、26.2105、24.2658、33.0667,WESN的STM值依次為15.9428、24.2738、23.2050、32.6785,可以看出,SRFT-ESN的STM在四類數(shù)據(jù)上均高于WESN,這也與圖5中的結(jié)果相對應,容錯模型的記憶能力得到提升,驗證了本文所提模型的有效性和可靠性。

    5 結(jié)論

    針對突觸故障會導致儲備池神經(jīng)元無法正常傳遞信息的問題,本文提出了一種面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。該模型中存在一些故障的突觸,考慮故障發(fā)生的實際場景,利用檢測機制檢測并定位故障的突觸,通過容錯策略使模型得到恢復。仿真實驗表明,所提容錯模型具有良好的恢復性能。

    由于本文僅考慮了突觸發(fā)生故障的單一情況,并沒有將神經(jīng)元和突觸同時發(fā)生故障考慮在內(nèi),而這種情況出現(xiàn)時對儲備池計算將造成嚴重的影響,因此,未來將設計一種能夠?qū)⒍咄瑫r容錯的ESN模型,以提升儲備池計算的可持續(xù)使用性。

    參考文獻:

    [1] GAO R B, DU L, DURU O, et al. Time series forecasting based on echo state network and empirical wavelet transformation[J]. Applied soft computing, 2021, 102: 107111.

    [2] LI Z Q, TANAKA G. Multi-reservoir echo state networks with sequence resampling for nonlinear time-series prediction[J]. Neurocomputing, 2022, 467: 115-129.

    [3] ZHANG S H, SUN Z Z, WANG M, et al. Deep fuzzy echo state networks for machinery fault diagnosis[J]. IEEE transactions on fuzzy systems, 2020, 28(7): 1205-1218.

    [4] YANG X F, ZHAO F. Echo state network and echo state Gaussian process for non-line-of-sight target tracking[J]. IEEE systems journal, 2020, 14(3): 3885-3892.

    [5] HU R H, TANG Z R, SONG X Y, et al. Ensemble echo network with deep architecture for time-series modeling[J].Neural computing and applications, 2021, 33(10): 4997-5010.

    [6] LIU J X, SUN T N, LUO Y L, et al. Echo state network optimization using binary grey wolf algorithm[J]. Neurocomputing, 2020, 385: 310-318.

    [7] LI Y, LI F J. PSO-based growing echo state network[J]. Applied soft computing, 2019, 85: 105774.

    [8] LI W S, NING X F, GE G J, et al. FTT-NAS: discovering fault-tolerant neural architecture[C]∥2020 25th Asia and South Pacific Design Automation Conference. Piscataway:IEEE Press, 2020: 211-216.

    [9] 劉晶, 高立超, 孫躍華, 等. 基于知識和數(shù)據(jù)融合驅(qū)動的設備故障診斷方法[J]. 鄭州大學學報(理學版), 2022, 54(2): 39-46.

    LIU J, GAO L C, SUN Y H, et al. Fault diagnosis method for equipment driven by knowledge and data fusion[J]. Journal of Zhengzhou university (natural science edition), 2022, 54(2): 39-46.

    [10]ZHAO K, DI S, LI S H, et al. FT-CNN: algorithm-based fault tolerance for convolutional neural networks[J]. IEEE transactions on parallel and distributed systems, 2021, 32(7): 1677-1689.

    [11]馬曉港. 面向神經(jīng)網(wǎng)絡的故障注入與容錯研究[D]. 湖州:湖州師范學院, 2022.

    MA X G. Research on fault injection and fault tolerance oriented to neural network[D].Huzhou: Huzhou University, 2022.

    [12]DEY P, NAG K, PAL T, et al. Regularizing multilayer perceptron for robustness[J]. IEEE transactions on systems, man, and cybernetics: systems, 2018, 48(8): 1255-1266.

    [13]NAEEM M, MCDAID L J, HARKIN J, et al. On the role of astroglial syncytia in self-repairing spiking neural networks[J]. IEEE transactions on neural networks and learning systems, 2015, 26(10): 2370-2380.

    [14]LIU S S, REVIRIEGO P, LOMBARDI F. Selective neuron re-computation (SNRC) for error-tolerant neural networks[J]. IEEE transactions on computers, 2022, 71(3): 684-695.

    [15]TORRES-HUITZIL C, GIRAU B. Fault and error tolerance in neural networks: a review[J]. IEEE access, 2017, 5: 17322-17341.

    [16]EL MHAMDI E M, GUERRAOUI R. When neurons fail[EB/OL](2017-06-02)[2023-01-16].https:∥ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7967193.

    [17]PENG Y X, SUN K H, HE S B. A discrete memristor model and its application in Hnon map[J]. Chaos, solitons & fractals, 2020, 137: 109873.

    [18]WAHEEB W, GHAZALI R, SHAH H. Nonlinear autoregressive moving-average (NARMA) time series forecasting using neural networks[C]∥2019 International Conference on Computer and Information Sciences (ICCIS). Piscataway: IEEE Press, 2019: 1-5.

    [19]LI Y, LI F J. Growing deep echo state network with supervised learning for time series prediction[J]. Applied soft computing, 2022, 128: 109454.

    [20]RACA D, QUINLAN J J, ZAHRAN A H, et al. Beyond throughput: a 4G LTE dataset with channel and context metrics[C]∥Proceedings of the 9th ACM Multimedia Systems Conference. New York: ACM Press, 2018: 460-465.

    麻豆成人av在线观看| 亚洲性夜色夜夜综合| 欧美精品一区二区免费开放| √禁漫天堂资源中文www| 久久精品国产综合久久久| 精品一区二区三区视频在线观看免费 | 女人爽到高潮嗷嗷叫在线视频| 午夜福利影视在线免费观看| 久久久久久久大尺度免费视频| av天堂在线播放| 亚洲熟妇熟女久久| 久久精品亚洲av国产电影网| 久久这里只有精品19| 欧美国产精品一级二级三级| 变态另类成人亚洲欧美熟女 | 国产精品一区二区在线不卡| 亚洲欧美日韩另类电影网站| 日韩成人在线观看一区二区三区| 国产伦人伦偷精品视频| 久久久久国产一级毛片高清牌| 美女福利国产在线| 日本五十路高清| 午夜福利免费观看在线| 亚洲成a人片在线一区二区| 丁香六月欧美| 国产精品影院久久| 极品教师在线免费播放| 少妇的丰满在线观看| 亚洲欧美一区二区三区久久| 色在线成人网| 亚洲国产精品一区二区三区在线| √禁漫天堂资源中文www| 手机成人av网站| 久久国产精品男人的天堂亚洲| 香蕉丝袜av| 一区二区av电影网| netflix在线观看网站| 好男人电影高清在线观看| 国产一区二区三区综合在线观看| 久久久精品国产亚洲av高清涩受| 在线观看免费高清a一片| 欧美 日韩 精品 国产| 深夜精品福利| 久9热在线精品视频| 色视频在线一区二区三区| 在线观看www视频免费| 国产91精品成人一区二区三区 | 天天躁夜夜躁狠狠躁躁| 国产精品一区二区在线观看99| 国产欧美日韩综合在线一区二区| 咕卡用的链子| 丝袜喷水一区| 电影成人av| 高清av免费在线| 欧美国产精品va在线观看不卡| 色在线成人网| 最近最新免费中文字幕在线| 极品人妻少妇av视频| 成年女人毛片免费观看观看9 | 欧美人与性动交α欧美精品济南到| 18禁黄网站禁片午夜丰满| 日韩大片免费观看网站| 黄片播放在线免费| 黄色毛片三级朝国网站| 咕卡用的链子| 国产精品久久久久久精品电影小说| av免费在线观看网站| 亚洲三区欧美一区| 精品亚洲成国产av| 人妻一区二区av| 亚洲精品国产精品久久久不卡| 亚洲av电影在线进入| 男女之事视频高清在线观看| 欧美日韩成人在线一区二区| 一进一出抽搐动态| 男女高潮啪啪啪动态图| 国产99久久九九免费精品| 欧美一级毛片孕妇| 50天的宝宝边吃奶边哭怎么回事| 日日夜夜操网爽| 99九九在线精品视频| 老司机亚洲免费影院| 天天躁夜夜躁狠狠躁躁| 日韩视频一区二区在线观看| av片东京热男人的天堂| 激情在线观看视频在线高清 | 99国产精品一区二区蜜桃av | 757午夜福利合集在线观看| 搡老岳熟女国产| 亚洲av第一区精品v没综合| 国产一区二区在线观看av| 亚洲av片天天在线观看| 国产在线一区二区三区精| 90打野战视频偷拍视频| 老司机福利观看| 在线十欧美十亚洲十日本专区| 一个人免费看片子| 国产亚洲精品久久久久5区| 精品欧美一区二区三区在线| 国产精品免费视频内射| 亚洲久久久国产精品| 国产色视频综合| 亚洲avbb在线观看| 精品国产亚洲在线| 久久久水蜜桃国产精品网| 制服诱惑二区| 精品国产国语对白av| 女人高潮潮喷娇喘18禁视频| 老鸭窝网址在线观看| svipshipincom国产片| 侵犯人妻中文字幕一二三四区| 日韩精品免费视频一区二区三区| 十八禁人妻一区二区| 午夜免费鲁丝| 亚洲欧美激情在线| 亚洲国产看品久久| 亚洲全国av大片| 亚洲免费av在线视频| 丝袜美足系列| 久久久久久人人人人人| 成人特级黄色片久久久久久久 | videosex国产| 亚洲国产欧美一区二区综合| 免费久久久久久久精品成人欧美视频| 久久精品亚洲熟妇少妇任你| 丝瓜视频免费看黄片| 另类亚洲欧美激情| 中文字幕另类日韩欧美亚洲嫩草| 国产成人影院久久av| 国产一区二区在线观看av| 丰满迷人的少妇在线观看| 手机成人av网站| 午夜精品国产一区二区电影| 国产av一区二区精品久久| 久久精品人人爽人人爽视色| 天堂中文最新版在线下载| 如日韩欧美国产精品一区二区三区| 夜夜夜夜夜久久久久| 亚洲精品国产色婷婷电影| 精品高清国产在线一区| 久久精品亚洲精品国产色婷小说| 成人特级黄色片久久久久久久 | 黑丝袜美女国产一区| 国产av又大| 夫妻午夜视频| 亚洲自偷自拍图片 自拍| 婷婷成人精品国产| 精品人妻1区二区| www.999成人在线观看| 成在线人永久免费视频| 中国美女看黄片| 99热网站在线观看| 久久热在线av| 亚洲色图综合在线观看| 水蜜桃什么品种好| 亚洲 国产 在线| 国产欧美日韩一区二区三| 中文字幕另类日韩欧美亚洲嫩草| 午夜精品久久久久久毛片777| www.熟女人妻精品国产| netflix在线观看网站| 午夜视频精品福利| 在线观看免费视频网站a站| 国产成人精品在线电影| 欧美乱妇无乱码| 国产亚洲午夜精品一区二区久久| 国产av国产精品国产| 亚洲色图综合在线观看| 黄色视频在线播放观看不卡| 亚洲一区中文字幕在线| 国产无遮挡羞羞视频在线观看| 免费少妇av软件| 久久天躁狠狠躁夜夜2o2o| 色视频在线一区二区三区| 十八禁高潮呻吟视频| 纵有疾风起免费观看全集完整版| 91老司机精品| 新久久久久国产一级毛片| 一夜夜www| 搡老乐熟女国产| 久久久久久人人人人人| 最近最新免费中文字幕在线| 丰满少妇做爰视频| 久久精品aⅴ一区二区三区四区| 两性夫妻黄色片| 午夜福利视频精品| 久久毛片免费看一区二区三区| 别揉我奶头~嗯~啊~动态视频| av电影中文网址| 国产精品久久久人人做人人爽| tocl精华| a级毛片黄视频| 99国产精品免费福利视频| 久久久国产成人免费| 中文字幕精品免费在线观看视频| 精品乱码久久久久久99久播| 国产成人欧美在线观看 | 国产精品香港三级国产av潘金莲| 精品国产一区二区久久| 亚洲午夜精品一区,二区,三区| 国产色视频综合| 欧美大码av| 天天躁夜夜躁狠狠躁躁| 亚洲七黄色美女视频| 国产高清国产精品国产三级| 三上悠亚av全集在线观看| 中文字幕人妻丝袜一区二区| 天堂中文最新版在线下载| 精品乱码久久久久久99久播| 丝袜美腿诱惑在线| 在线观看免费午夜福利视频| 少妇的丰满在线观看| 91九色精品人成在线观看| 麻豆乱淫一区二区| 波多野结衣av一区二区av| 国产成人精品在线电影| 国产成人一区二区三区免费视频网站| 久久久久久久久免费视频了| 在线观看免费视频日本深夜| avwww免费| 纵有疾风起免费观看全集完整版| 久久久国产一区二区| 黄色片一级片一级黄色片| 我的亚洲天堂| 日韩免费av在线播放| 成人亚洲精品一区在线观看| 黄色片一级片一级黄色片| 久久久久精品国产欧美久久久| 在线 av 中文字幕| videos熟女内射| 少妇裸体淫交视频免费看高清 | 99精品欧美一区二区三区四区| 高清黄色对白视频在线免费看| 亚洲伊人久久精品综合| 精品少妇内射三级| 伊人久久大香线蕉亚洲五| 日本黄色日本黄色录像| 后天国语完整版免费观看| 高潮久久久久久久久久久不卡| 一级黄色大片毛片| 国产一卡二卡三卡精品| 汤姆久久久久久久影院中文字幕| 亚洲国产中文字幕在线视频| 曰老女人黄片| 久久狼人影院| 男女之事视频高清在线观看| 久久久久国产一级毛片高清牌| 女性被躁到高潮视频| 国产在线观看jvid| 大型av网站在线播放| 欧美中文综合在线视频| 国产日韩欧美亚洲二区| 国产欧美日韩综合在线一区二区| 日本黄色视频三级网站网址 | 成人国产av品久久久| 日韩人妻精品一区2区三区| 成人精品一区二区免费| 十八禁网站网址无遮挡| 91大片在线观看| 亚洲国产毛片av蜜桃av| 亚洲人成伊人成综合网2020| 欧美日韩亚洲高清精品| 国产黄频视频在线观看| 在线十欧美十亚洲十日本专区| 国产免费av片在线观看野外av| 久久免费观看电影| 精品少妇久久久久久888优播| 伊人久久大香线蕉亚洲五| 国产成人精品无人区| 1024视频免费在线观看| 欧美国产精品一级二级三级| 每晚都被弄得嗷嗷叫到高潮| 俄罗斯特黄特色一大片| 久久久精品94久久精品| 男人舔女人的私密视频| cao死你这个sao货| www.精华液| 在线亚洲精品国产二区图片欧美| 亚洲人成77777在线视频| 一本—道久久a久久精品蜜桃钙片| 亚洲欧美日韩另类电影网站| 精品人妻熟女毛片av久久网站| 日本av免费视频播放| 成人精品一区二区免费| 精品亚洲成国产av| 成在线人永久免费视频| 黑人猛操日本美女一级片| 女同久久另类99精品国产91| 天堂动漫精品| 亚洲天堂av无毛| 窝窝影院91人妻| 男人舔女人的私密视频| 精品国产一区二区三区久久久樱花| 成人国产av品久久久| 99精品欧美一区二区三区四区| 美女主播在线视频| 99久久99久久久精品蜜桃| 午夜福利视频在线观看免费| 亚洲黑人精品在线| 久久久久精品国产欧美久久久| 精品一区二区三区视频在线观看免费 | 免费看十八禁软件| 啦啦啦视频在线资源免费观看| 老熟妇仑乱视频hdxx| 黄色视频,在线免费观看| 99热网站在线观看| 色播在线永久视频| 黄色毛片三级朝国网站| 激情在线观看视频在线高清 | 曰老女人黄片| videosex国产| 色综合欧美亚洲国产小说| 久久国产精品影院| 99re6热这里在线精品视频| 女同久久另类99精品国产91| 久久国产精品大桥未久av| 人人妻人人澡人人看| 久久久久视频综合| 9热在线视频观看99| 久久精品aⅴ一区二区三区四区| 男女免费视频国产| 老司机亚洲免费影院| 制服诱惑二区| 亚洲欧美一区二区三区黑人| 亚洲精品久久成人aⅴ小说| 老熟女久久久| 天天躁狠狠躁夜夜躁狠狠躁| 巨乳人妻的诱惑在线观看| 啦啦啦免费观看视频1| 国产一区有黄有色的免费视频| 精品亚洲乱码少妇综合久久| 国产高清激情床上av| 精品一品国产午夜福利视频| 黑丝袜美女国产一区| 少妇裸体淫交视频免费看高清 | 亚洲成人免费电影在线观看| 亚洲avbb在线观看| av又黄又爽大尺度在线免费看| 国精品久久久久久国模美| 精品久久久精品久久久| 曰老女人黄片| 亚洲专区中文字幕在线| 国产男靠女视频免费网站| 久久久欧美国产精品| 一夜夜www| 极品人妻少妇av视频| 极品人妻少妇av视频| 久久青草综合色| 老司机深夜福利视频在线观看| 老汉色∧v一级毛片| 国产亚洲一区二区精品| av欧美777| 午夜福利在线免费观看网站| 免费看十八禁软件| 首页视频小说图片口味搜索| 欧美精品av麻豆av| 午夜日韩欧美国产| 一边摸一边做爽爽视频免费| 午夜免费成人在线视频| 精品人妻熟女毛片av久久网站| 亚洲一码二码三码区别大吗| 国产一区二区在线观看av| 免费久久久久久久精品成人欧美视频| 久久人妻av系列| 777久久人妻少妇嫩草av网站| 亚洲一区中文字幕在线| 成人永久免费在线观看视频 | 在线观看人妻少妇| 日韩视频一区二区在线观看| 大香蕉久久成人网| 可以免费在线观看a视频的电影网站| 热re99久久国产66热| 久久久精品区二区三区| av视频免费观看在线观看| 男女之事视频高清在线观看| 精品国产乱码久久久久久小说| 亚洲情色 制服丝袜| 在线观看舔阴道视频| 欧美亚洲日本最大视频资源| 俄罗斯特黄特色一大片| 黑丝袜美女国产一区| av在线播放免费不卡| 国产成人精品无人区| 久久ye,这里只有精品| 黑人巨大精品欧美一区二区mp4| 一进一出好大好爽视频| 制服诱惑二区| 热re99久久国产66热| 国产一区有黄有色的免费视频| 人成视频在线观看免费观看| 日本vs欧美在线观看视频| 欧美久久黑人一区二区| 欧美日韩黄片免| 亚洲精品一二三| 国产伦人伦偷精品视频| 日本撒尿小便嘘嘘汇集6| 色婷婷久久久亚洲欧美| 91字幕亚洲| 黄色视频不卡| 99热国产这里只有精品6| 午夜日韩欧美国产| 久久久久久久大尺度免费视频| 免费看a级黄色片| 欧美日韩中文字幕国产精品一区二区三区 | 91成人精品电影| 国产无遮挡羞羞视频在线观看| 亚洲精品一二三| 久久天躁狠狠躁夜夜2o2o| 一级片'在线观看视频| 免费在线观看日本一区| 12—13女人毛片做爰片一| 他把我摸到了高潮在线观看 | 三级毛片av免费| 天堂8中文在线网| 黑人操中国人逼视频| 建设人人有责人人尽责人人享有的| 一个人免费看片子| videosex国产| 国产免费福利视频在线观看| 桃红色精品国产亚洲av| 人人澡人人妻人| 少妇 在线观看| 国产91精品成人一区二区三区 | 热re99久久国产66热| 日韩中文字幕欧美一区二区| 丁香六月天网| 成人亚洲精品一区在线观看| 国产精品成人在线| 高清av免费在线| 热99国产精品久久久久久7| 激情视频va一区二区三区| 一区二区日韩欧美中文字幕| 久久免费观看电影| 91成人精品电影| 亚洲中文av在线| 三级毛片av免费| 久久国产精品影院| 人人妻人人澡人人爽人人夜夜| 国产成人av教育| 国产成人精品久久二区二区免费| 涩涩av久久男人的天堂| 99国产精品一区二区三区| 国产日韩欧美视频二区| 久久久久久久精品吃奶| 丰满人妻熟妇乱又伦精品不卡| 在线亚洲精品国产二区图片欧美| 少妇裸体淫交视频免费看高清 | 国产不卡一卡二| 99国产精品一区二区蜜桃av | 99riav亚洲国产免费| 亚洲成a人片在线一区二区| 色播在线永久视频| 欧美+亚洲+日韩+国产| 精品久久久久久久毛片微露脸| 三级毛片av免费| 咕卡用的链子| 国产xxxxx性猛交| 久久久久久久久久久久大奶| 一级毛片电影观看| 999精品在线视频| www.999成人在线观看| 99国产精品一区二区蜜桃av | 热99re8久久精品国产| 欧美乱码精品一区二区三区| 免费黄频网站在线观看国产| 日韩大码丰满熟妇| 自拍欧美九色日韩亚洲蝌蚪91| 人人澡人人妻人| 超碰成人久久| 亚洲 国产 在线| 男女之事视频高清在线观看| av天堂久久9| 老熟女久久久| 欧美精品一区二区大全| 狂野欧美激情性xxxx| 成年版毛片免费区| 宅男免费午夜| 日韩有码中文字幕| 亚洲 欧美一区二区三区| 99久久人妻综合| 久久精品91无色码中文字幕| 天天躁日日躁夜夜躁夜夜| 久久精品熟女亚洲av麻豆精品| 一边摸一边抽搐一进一小说 | 精品久久久久久电影网| 天天躁日日躁夜夜躁夜夜| 精品一区二区三卡| 男人操女人黄网站| 色综合婷婷激情| 日韩成人在线观看一区二区三区| 久久亚洲真实| 丁香六月欧美| 久久久国产欧美日韩av| 亚洲五月婷婷丁香| 亚洲成人手机| 亚洲精品一二三| aaaaa片日本免费| 国产精品熟女久久久久浪| 精品少妇黑人巨大在线播放| aaaaa片日本免费| 日韩一区二区三区影片| 久久国产精品大桥未久av| 国产精品 欧美亚洲| 999精品在线视频| 夜夜爽天天搞| 热re99久久国产66热| avwww免费| 久久性视频一级片| 夜夜骑夜夜射夜夜干| 日韩欧美一区二区三区在线观看 | 亚洲美女黄片视频| 色精品久久人妻99蜜桃| 丁香六月欧美| 亚洲视频免费观看视频| 精品熟女少妇八av免费久了| 美女国产高潮福利片在线看| 人人妻人人澡人人爽人人夜夜| 欧美大码av| 日韩精品免费视频一区二区三区| 成年人黄色毛片网站| 一本综合久久免费| 欧美老熟妇乱子伦牲交| 黄色片一级片一级黄色片| 曰老女人黄片| 五月开心婷婷网| 国产精品一区二区在线不卡| 亚洲 国产 在线| 国产精品成人在线| 成年人午夜在线观看视频| 19禁男女啪啪无遮挡网站| 多毛熟女@视频| 国产精品影院久久| 中文欧美无线码| 757午夜福利合集在线观看| 欧美老熟妇乱子伦牲交| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲 国产 在线| 亚洲av国产av综合av卡| 亚洲专区字幕在线| 亚洲熟妇熟女久久| 91大片在线观看| av欧美777| 国产精品亚洲av一区麻豆| 黄网站色视频无遮挡免费观看| 亚洲av日韩在线播放| 大片免费播放器 马上看| 亚洲熟妇熟女久久| 国产精品一区二区在线不卡| 国产真人三级小视频在线观看| 成年人黄色毛片网站| av免费在线观看网站| 日韩欧美免费精品| 一级毛片女人18水好多| 他把我摸到了高潮在线观看 | 少妇 在线观看| 精品国产一区二区三区久久久樱花| 我的亚洲天堂| kizo精华| 高清av免费在线| 国产一区有黄有色的免费视频| 性少妇av在线| 久久精品国产a三级三级三级| 午夜日韩欧美国产| 一进一出抽搐动态| 国产精品免费视频内射| 一级,二级,三级黄色视频| 免费日韩欧美在线观看| 51午夜福利影视在线观看| 欧美性长视频在线观看| 亚洲九九香蕉| 在线观看免费高清a一片| 在线天堂中文资源库| 一级毛片精品| 亚洲久久久国产精品| 精品久久蜜臀av无| 亚洲少妇的诱惑av| 日本一区二区免费在线视频| 欧美日韩黄片免| 午夜精品久久久久久毛片777| 麻豆乱淫一区二区| 国产黄色免费在线视频| 手机成人av网站| 男女之事视频高清在线观看| 欧美乱码精品一区二区三区| 国产男女超爽视频在线观看| 国产1区2区3区精品| 国产淫语在线视频| 精品欧美一区二区三区在线| 久久久久久久国产电影| 大香蕉久久成人网| 精品国产超薄肉色丝袜足j| 这个男人来自地球电影免费观看| 精品福利观看| 免费女性裸体啪啪无遮挡网站| 亚洲午夜理论影院| 女性生殖器流出的白浆| 久久国产亚洲av麻豆专区| 五月开心婷婷网| 午夜福利视频精品| 91成年电影在线观看| 黄色毛片三级朝国网站| 亚洲第一青青草原| 成人影院久久| 国产欧美日韩一区二区三| 午夜成年电影在线免费观看| 久久狼人影院| 国产亚洲欧美精品永久| 国产精品麻豆人妻色哟哟久久| 欧美一级毛片孕妇| 日韩精品免费视频一区二区三区| 法律面前人人平等表现在哪些方面| 亚洲精品久久成人aⅴ小说| 色尼玛亚洲综合影院| 国产又色又爽无遮挡免费看| 免费久久久久久久精品成人欧美视频|