• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度強(qiáng)化學(xué)習(xí)的邊云協(xié)同串行任務(wù)卸載算法

    2021-06-19 06:46:52張鳳荔趙佳君王瑞錦
    關(guān)鍵詞:云端時(shí)延服務(wù)質(zhì)量

    張鳳荔,趙佳君,劉 東,王瑞錦

    (1.電子科技大學(xué)信息與軟件工程學(xué)院 成都610054;2.網(wǎng)絡(luò)與數(shù)據(jù)安全四川省重點(diǎn)實(shí)驗(yàn)室 成都610054)

    近年來,移動(dòng)應(yīng)用程序在各行各業(yè)都有著廣泛的應(yīng)用,但在實(shí)現(xiàn)諸如媒體處理、在線游戲、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和在移動(dòng)設(shè)備中執(zhí)行各種創(chuàng)新移動(dòng)應(yīng)用程序的時(shí)間、能量、成本和安全性等相關(guān)方面仍存在一些困難和挑戰(zhàn)。由于這些移動(dòng)設(shè)備的資源限制,為了滿足應(yīng)用程序運(yùn)行的低延遲和高數(shù)據(jù)速率的需求,產(chǎn)生了一種新的計(jì)算模式——移動(dòng)邊緣計(jì)算(mobile edgecomputing,MEC)[1]。

    在MEC場景中,通過在用戶設(shè)備周圍的無線基站部署MEC服務(wù)器,將處于遠(yuǎn)距離云端的計(jì)算資源延伸至網(wǎng)絡(luò)邊緣,為用戶設(shè)備提供物理距離更近的服務(wù),降低由網(wǎng)絡(luò)延遲造成的任務(wù)時(shí)延,同時(shí)也可以緩解應(yīng)用數(shù)據(jù)傳輸對核心網(wǎng)造成的壓力。當(dāng)進(jìn)行任務(wù)卸載操作時(shí),用戶設(shè)備將計(jì)算任務(wù)數(shù)據(jù)通過無線基站傳輸至MEC服務(wù)器上進(jìn)行計(jì)算,MEC服務(wù)器完成計(jì)算后將計(jì)算結(jié)果返回至用戶設(shè)備,從而完成一次任務(wù)卸載操作,如此可以使得用戶應(yīng)用獲得更低的延遲體驗(yàn),變相地增加用戶設(shè)備應(yīng)用程序擁有的計(jì)算能力。

    目前大量的研究是基于用戶設(shè)備與MEC服務(wù)器之間的任務(wù)卸載,并未考慮云端依舊擁有大量的計(jì)算資源,且能夠針對特定場景優(yōu)化計(jì)算環(huán)境的情況。在大量移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備的高度計(jì)算資源需求下,僅依靠MEC服務(wù)器進(jìn)行計(jì)算是難以完成的,仍然會出現(xiàn)資源瓶頸。在考慮用戶設(shè)備與MEC服務(wù)器之間的網(wǎng)絡(luò)邊緣任務(wù)卸載的同時(shí),還需要云端的強(qiáng)大計(jì)算能力來輔助MEC服務(wù)器,通過邊云協(xié)同來共同為移動(dòng)設(shè)備提供相對低時(shí)延、高計(jì)算能力的服務(wù)。由于云端需要考慮網(wǎng)絡(luò)傳輸時(shí)延和特定任務(wù)需求,在進(jìn)行任務(wù)細(xì)粒度卸載時(shí),對任務(wù)不同的環(huán)節(jié)需要有優(yōu)先級考量,這也使得整個(gè)任務(wù)卸載工作的復(fù)雜程度增加。

    近幾年,移動(dòng)邊緣計(jì)算任務(wù)卸載問題一直是研究熱點(diǎn)問題,因?yàn)槿蝿?wù)卸載在決策時(shí)需要考慮諸多因素,在尋找最優(yōu)解的過程中充滿挑戰(zhàn)。其中文獻(xiàn)[2]針對MEC服務(wù)器和用戶設(shè)備間通信和資源分配,提出了hJTORA啟發(fā)式算法,在小規(guī)模的任務(wù)卸載中,實(shí)現(xiàn)了相對基線算法的更優(yōu)解。文獻(xiàn)[3]提出一種基于匈牙利和貪心算法的啟發(fā)式算法,對密集網(wǎng)絡(luò)下信道分配進(jìn)行了優(yōu)化。文獻(xiàn)[4]針對資源受限的串行任務(wù),提出一種基于化學(xué)反應(yīng)優(yōu)化算法的MSTDOS算法,實(shí)現(xiàn)對串行任務(wù)細(xì)粒度卸載的優(yōu)化。文獻(xiàn)[5]提出一種基于組合拍賣模型的算法,解決車聯(lián)網(wǎng)中的任務(wù)卸載問題。文獻(xiàn)[6]中提出了一種基于博弈論的啟發(fā)式算法,從云?邊?用戶3層結(jié)構(gòu)中尋找任務(wù)卸載策略。以上文獻(xiàn)采用的是傳統(tǒng)的啟發(fā)式算法,在面對復(fù)雜環(huán)境時(shí),計(jì)算能力會大幅下降,更好的解決辦法是采用深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)的方式來處理高度復(fù)雜的場景中任務(wù)卸載問題。文獻(xiàn)[7]提出一種AHP和DQN相結(jié)合的任務(wù)卸載算法,解決在車輛網(wǎng)環(huán)境下車載設(shè)備與MEC服務(wù)器間的任務(wù)卸載問題。文獻(xiàn)[8]基于LSTM和HER改進(jìn)深度學(xué)習(xí)算法,解決單用戶多服務(wù)器的任務(wù)卸載問題,對能耗時(shí)延費(fèi)用等多種指標(biāo)進(jìn)行比較。文獻(xiàn)[9]提出了一種基于DQN的MEC環(huán)境下的多任務(wù)卸載和資源分配算法。通過此方法,將混合整數(shù)非線性規(guī)劃轉(zhuǎn)變?yōu)橐粋€(gè)RL問題,找到了更優(yōu)的解決方案。

    但上述研究仍存在以下不足:1)沒有考慮云邊協(xié)同問題;2)粗粒度的卸載算法缺乏靈活性。本文算法基于云?邊?用戶的3層結(jié)構(gòu),針對邊云協(xié)同場景下的任務(wù)卸載資源分配進(jìn)行研究,基于Rainbow DQN[10]算法提出了一種面向邊云協(xié)同帶有權(quán)重串行任務(wù)卸載算法(edge-cloud weighted serial task offloading algorithm based on rainbow DQN,ECWS-RDQN),考慮多用戶的串行任務(wù)卸載對MEC服務(wù)器和云端的計(jì)算資源競爭,以及不同用戶應(yīng)用的優(yōu)先級,以任務(wù)延遲時(shí)間、任務(wù)能量消耗和服務(wù)質(zhì)量保證作為評價(jià)標(biāo)準(zhǔn)。

    1 系統(tǒng)模型及問題定義

    本文的任務(wù)卸載模型由多個(gè)移動(dòng)用戶設(shè)備(UE)、擁有MEC服務(wù)器的無線基站(BS)和云端服務(wù)器(CS)組成,構(gòu)成一個(gè)云?邊?用戶的3層結(jié)構(gòu),如圖1所示。用戶設(shè)備產(chǎn)生串行任務(wù),MEC服務(wù)器在中間層為用戶和云端提供任務(wù)的資源分配、任務(wù)卸載調(diào)度工作,同時(shí)可以為用戶分擔(dān)一定程度的計(jì)算任務(wù),云端則擁有強(qiáng)大的計(jì)算能力,可以更加快速地解決復(fù)雜計(jì)算問題,但相對邊緣服務(wù)器會擁有更高的網(wǎng)絡(luò)延遲。

    圖1 邊云協(xié)同系統(tǒng)模型

    其中,用戶設(shè)備用集合{1,2,···,U}表示,用戶設(shè)備擁有有限的計(jì)算資源,并且僅帶有一個(gè)串行任務(wù)Wi;每個(gè)用戶u可 以用一個(gè)5元組表示u={i,Wi,Ti,Ri,Qi},i∈{1,2,···,u}為用戶編號;Wi是該用戶設(shè)備當(dāng)前擁有的串行任務(wù);Tu是該用戶設(shè)備當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間;Ru表示為用戶設(shè)備與無線基站的通信帶寬;Qu表示為該用戶設(shè)備的服務(wù)質(zhì)量保證,該值越高代表該用戶的服務(wù)優(yōu)先級越高;系統(tǒng)中MEC服務(wù)器用M表示,M={Cm,Tm,Rc},其中Cm為 該MEC服務(wù)器的計(jì)算能力,Tm為該服務(wù)器當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間;云端服務(wù)器用C表示,C={Cc,Tc},其中Cc為 該云服務(wù)器的計(jì)算能力,Tc為該服務(wù)器當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間。

    用戶設(shè)備在產(chǎn)生任務(wù)后,會將任務(wù)卸載決策請求發(fā)送至MEC服務(wù)器,MEC服務(wù)器會根據(jù)當(dāng)前系統(tǒng)狀態(tài)決定任務(wù)是在本地執(zhí)行還是上傳至MEC服務(wù)器或是云端執(zhí)行。卸載策略由X表示,其中X∈{0,1,2,3},0表示本次策略為空操作,1表示任務(wù)將會在本地執(zhí)行,2表示任務(wù)將會卸載至MEC服務(wù)器執(zhí)行,3表示任務(wù)將會卸載至云端服務(wù)器執(zhí)行。

    1.1 串行任務(wù)模型

    本文中的任務(wù)假設(shè)為多個(gè)微任務(wù)串行組成的任務(wù),一個(gè)任務(wù)應(yīng)用由多個(gè)串行微任務(wù)組成,其中微任務(wù)中的起始和末尾代表該任務(wù)中的輸入和輸出部分,并且輸入必須由本地完成。本文使用鏈表Wi={t,l},i∈{1,2,···,u}表示任務(wù),t為當(dāng)前微任務(wù),l為下一個(gè)任務(wù)指針,其中用三元組來表示微任務(wù)t,ct為該任務(wù)計(jì)算所需的CPU周期數(shù)(cycle),dt為該任務(wù)卸載時(shí)需要傳輸?shù)臄?shù)據(jù)量(kb),m axT為該任務(wù)的時(shí)延上限要求(ms)。

    串行任務(wù)的特點(diǎn)在于其任務(wù)之間的依賴關(guān)系,微任務(wù)i?1項(xiàng)完成才可以執(zhí)行微任務(wù)i,直至執(zhí)行至最后一個(gè)微任務(wù),該項(xiàng)串行任務(wù)才全部執(zhí)行完成。在實(shí)際應(yīng)用場景中,串行任務(wù)也是最為常見的任務(wù)類型之一,如圖像識別等應(yīng)用。

    1.2 時(shí)延模型

    時(shí)延在各種任務(wù)場景中都是一項(xiàng)至關(guān)重要的指標(biāo),時(shí)延表示一項(xiàng)任務(wù)從任務(wù)請求開始至任務(wù)全部完成的時(shí)間,并且時(shí)延大小決定了一項(xiàng)任務(wù)的完成時(shí)間是否可以滿足應(yīng)用需求。本節(jié)中的時(shí)延為用戶設(shè)備完成其當(dāng)前微任務(wù)的時(shí)延,分別從本地、邊緣和云端3個(gè)部分討論其任務(wù)時(shí)延的組成。

    1.2.1本地執(zhí)行

    在本地執(zhí)行策略中,代表該微任務(wù)會在本地進(jìn)行計(jì)算,不會將數(shù)據(jù)傳輸至MEC服務(wù)器,所以當(dāng)前的任務(wù)時(shí)延d Tu表示為:

    式中,ct為該任務(wù)所需的CPU周期數(shù)(cycle);fu為用戶設(shè)備的CPU頻率(Hz)。

    1.2.2邊緣服務(wù)器執(zhí)行

    在邊緣服務(wù)器執(zhí)行策略中,代表該微任務(wù)將會通過無線傳輸進(jìn)行任務(wù)卸載,把計(jì)算該微任務(wù)的必要數(shù)據(jù)傳輸至MEC服務(wù)器中。在此策略中,時(shí)延由計(jì)算時(shí)延、傳輸時(shí)延、排隊(duì)時(shí)延組成,所以當(dāng)前的任務(wù)時(shí)延d Tu表示為:

    式中,fs為邊緣服務(wù)器的CPU周期數(shù);為回傳數(shù)據(jù)的數(shù)據(jù)量;Ru為用戶設(shè)備和MEC服務(wù)器的傳輸速率。

    1.2.3云端執(zhí)行

    在云端執(zhí)行策略中,代表該任務(wù)將會通過無線傳輸和主干網(wǎng)將任務(wù)所需的數(shù)據(jù)提交至云端服務(wù)器。在此策略中,時(shí)延由計(jì)算時(shí)延、傳輸時(shí)延、傳播時(shí)延、排隊(duì)時(shí)延組成,所以當(dāng)前的任務(wù)時(shí)延dTu表示為:

    式中,fc為云服務(wù)器的CPU周期數(shù);Rc為MEC服務(wù)器與云端服務(wù)器的傳輸速率;dt為MEC服務(wù)器與云端的傳播時(shí)延。

    1.3 能耗模型

    能耗在實(shí)際場景中也是十分重要的指標(biāo)之一,采用電池供電的用戶設(shè)備會對能耗大小更加敏感。在此場景中,能耗由CPU的計(jì)算和閑置消耗、無線傳輸時(shí)的能量消耗構(gòu)成,以下將會從本地、邊緣和云端3部分分別討論系統(tǒng)能耗的組成。

    1.3.1本地執(zhí)行

    在本地執(zhí)行策略中,將會使用本地用戶設(shè)備的CPU執(zhí)行計(jì)算任務(wù),所以該策略的執(zhí)行能耗為:

    式中,κ為CPU的能量效率系數(shù)[11];fu為用戶設(shè)備的CPU周期數(shù)。

    1.3.2邊緣服務(wù)器執(zhí)行

    在邊緣服務(wù)器執(zhí)行策略中,計(jì)算任務(wù)將會提交至MEC服務(wù)器進(jìn)行計(jì)算,在提交和計(jì)算的過程中,能耗由用戶設(shè)備的傳輸能耗和空閑能耗組成:

    式中,Pup為用戶設(shè)備在無線傳輸時(shí)消耗的能量;Pidle為用戶設(shè)備空閑時(shí)消耗的能量。

    1.3.3云端執(zhí)行

    在云端執(zhí)行策略中,計(jì)算任務(wù)數(shù)據(jù)將會通過無線和主干網(wǎng)傳輸至云端服務(wù)器,能耗由用戶設(shè)備的傳輸能耗和空閑能耗組成:

    1.4 服務(wù)質(zhì)量保證

    服務(wù)質(zhì)量保證在任務(wù)調(diào)度場景中是決定不同優(yōu)先級的用戶服務(wù)質(zhì)量的關(guān)鍵,使得具有更低時(shí)延或能耗要求的用戶在資源競爭時(shí)會在請求中更有優(yōu)勢。在此場景中,服務(wù)質(zhì)量保證的組成為:

    式中, α+β=1,α,β≥0;α為 基礎(chǔ)值;β為該目標(biāo)函數(shù)中服務(wù)質(zhì)量占比;qu為各用戶的優(yōu)先級。

    1.5 問題定義

    本文的目標(biāo)是使用RainbowDQN生成決策實(shí)現(xiàn)時(shí)延和能耗的降低,前文已經(jīng)給出了時(shí)延和能耗模型,采用線性加權(quán)的方式來規(guī)劃目標(biāo)函數(shù)。因此,原問題可以定義為:

    式中, λe,λt,λq∈[0,1], 并且 λe+λt+λq=1,分別表示能耗、時(shí)延和服務(wù)質(zhì)量保證在目標(biāo)函數(shù)中的占比。

    2 算法模型

    本文研究的任務(wù)卸載問題根本上是一個(gè)多目標(biāo)優(yōu)化問題,通常使用啟發(fā)式算法或機(jī)器學(xué)習(xí)方法。在啟發(fā)式算法中一般使用遺傳算法、粒子群算法、化學(xué)反應(yīng)算法等;在機(jī)器學(xué)習(xí)領(lǐng)域更多采用的是強(qiáng)化學(xué)習(xí)方法[12],如Q學(xué)習(xí)、DQN等[13]。在系統(tǒng)環(huán)境相對復(fù)雜的條件下,往往采用DQN來進(jìn)行更高效的任務(wù)卸載分配工作處理。本文基于改進(jìn)后的DQN?rainbow DQN。rainbow DQN是在原始DQN的基礎(chǔ)上結(jié)合了Double DQN、優(yōu)先經(jīng)驗(yàn)回放(prioritized experience replay)、決 斗 網(wǎng) 絡(luò)(duelling network)、多步學(xué)習(xí)(multi-step learning)、分布式網(wǎng)絡(luò)(distributional network)、噪聲網(wǎng)絡(luò)(noisy network)[14-18]后改進(jìn)的DQN算法,在訓(xùn)練速度、樣本效率和性能方面與初始DQN算法相比有顯著的增強(qiáng)。

    DQN作為強(qiáng)化學(xué)習(xí)的一種,其核心思想是通過獲取環(huán)境狀態(tài)和輸出動(dòng)作互動(dòng)后的獎(jiǎng)勵(lì),使用神經(jīng)網(wǎng)絡(luò)來近似值函數(shù),使用經(jīng)驗(yàn)回放來儲存之前經(jīng)歷的數(shù)據(jù),在更新參數(shù)時(shí)在其中選取一部分來使用。rainbowDQN采用multi-step learning更新Loss函數(shù):

    式中,A和S分別為系統(tǒng)狀態(tài)和動(dòng)作;γ為折扣因子;R為 獎(jiǎng)勵(lì)函數(shù);θ為目標(biāo)網(wǎng)絡(luò)參數(shù);θ根據(jù)損失來更新;St為迭代時(shí)動(dòng)作A t的 觀測值;a′為在St+n狀態(tài)下獎(jiǎng)勵(lì)最優(yōu)解。之后最小化Loss函數(shù)來更新網(wǎng)絡(luò)參數(shù)θ。

    在更新后存入經(jīng)驗(yàn)池時(shí),采用的是優(yōu)先經(jīng)驗(yàn)值回放,根據(jù)損失函數(shù)來決定該項(xiàng)采樣的權(quán)值pt:

    式中,pt將 會從損失函數(shù)中獲??;w為優(yōu)先經(jīng)驗(yàn)回放的優(yōu)先級因子?;谏鲜龈倪M(jìn)以及其余擴(kuò)展,在本文提出的ECWS-RDQN中,還需根據(jù)系統(tǒng)需求重新定義狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)函數(shù),在獎(jiǎng)勵(lì)函數(shù)中引入權(quán)重來更加貼合實(shí)際的運(yùn)行場景,優(yōu)化串行任務(wù)調(diào)度策略。

    其中動(dòng)作決策值X∈{0,1,2,3},表示對任務(wù)w做出的決策,0表示該次請求暫時(shí)跳過;1表示該任務(wù)將在本地執(zhí)行;2表示該任務(wù)將卸載至MEC服務(wù)器執(zhí)行;3表示該任務(wù)將卸載至云端執(zhí)行。

    在獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)中,考慮到能耗、時(shí)延和服務(wù)質(zhì)量等優(yōu)先級問題,不同的用戶設(shè)備本身的優(yōu)先級、任務(wù)組中某些微任務(wù)在不同計(jì)算場景下的效率或是系統(tǒng)的費(fèi)用成本,都會影響每個(gè)微任務(wù)的權(quán)重。并且由于串行任務(wù)的特殊性,會導(dǎo)致多個(gè)任務(wù)交叉進(jìn)行,僅對單個(gè)微任務(wù)的優(yōu)化可能會導(dǎo)致某些串行任務(wù)總時(shí)延或總成本升高,所以在對單個(gè)微任務(wù)計(jì)算時(shí)延、能耗的同時(shí),也需要對串行任務(wù)進(jìn)行約束。

    本文確定各項(xiàng)串行任務(wù)權(quán)重時(shí),考慮當(dāng)前任務(wù)計(jì)算成本標(biāo)準(zhǔn)du、參考容忍時(shí)延標(biāo)準(zhǔn)tu、用戶設(shè)備服務(wù)質(zhì)量保證優(yōu)先級qu這3項(xiàng)評價(jià)因素。權(quán)重矩陣A表示為:

    計(jì)算成本和參考容忍時(shí)延使用z-score標(biāo)準(zhǔn)化所有用戶的實(shí)際使用情況作為參考標(biāo)準(zhǔn),質(zhì)量保證為用戶預(yù)設(shè)優(yōu)先級。成本計(jì)算和容忍時(shí)延計(jì)算標(biāo)準(zhǔn)化如下:

    利用式(12)求得當(dāng)前用戶正規(guī)化值,即得到該用戶與該環(huán)境中其余用戶在時(shí)延要求和成本要求的相對值。再根據(jù)此相對值進(jìn)行歸一化和區(qū)間調(diào)整,即可獲取各個(gè)用戶的權(quán)重向量,從而優(yōu)化系統(tǒng)中串行任務(wù)的卸載執(zhí)行效率,使得偏離標(biāo)準(zhǔn)的用戶可以在下一次請求中擁有更高的優(yōu)先級,從而提升系統(tǒng)的穩(wěn)定性。

    結(jié)合目標(biāo)函數(shù),采用min-max標(biāo)準(zhǔn)化方法對綜合能耗、時(shí)延和服務(wù)質(zhì)量3項(xiàng)評價(jià)指標(biāo)進(jìn)行歸一化,最后得到獎(jiǎng)勵(lì)函數(shù)為:

    在ECWS-RDQN算法中,當(dāng)MEC服務(wù)器接收到用戶設(shè)備發(fā)送的任務(wù)卸載請求后,獲取當(dāng)前系統(tǒng)狀態(tài),通過計(jì)算獲得權(quán)重向量,可以根據(jù)當(dāng)前狀態(tài)得到最優(yōu)的卸載策略輸出。綜合以上模型,ECWSRDQN算法如下。

    3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

    本節(jié)通過python語言對本文提出算法進(jìn)行仿真以評估其性能,仿真場景為云?邊?用戶3層結(jié)構(gòu),由一個(gè)云端服務(wù)器、一個(gè)帶有MEC服務(wù)器的無線基站和多個(gè)用戶設(shè)備組成。主要通過與本地計(jì)算(local)、全卸載至邊緣(MEC)、全卸載至云端(cloud)、隨機(jī)(平均)分配(random)方案、文獻(xiàn)[8]中的DQN方案和僅使用基于RainbowDQN算法對比本文給出的ECWS-RDQN算法。在時(shí)延、能量、服務(wù)質(zhì)量等約束條件下的策略對比,來驗(yàn)證算法的有效性。其中環(huán)境參數(shù)設(shè)置參考文獻(xiàn)[3,8],如表1所示。

    表1 環(huán)境參數(shù)設(shè)置

    ECWS-RDQN算法首先針對Rainbow DQN進(jìn)行優(yōu)化,將串行任務(wù)拆解成多個(gè)微任務(wù)后需對獎(jiǎng)勵(lì)值獲取頻率以及數(shù)值標(biāo)準(zhǔn)化進(jìn)行處理。其中考慮環(huán)境復(fù)雜度和學(xué)習(xí)速度,學(xué)習(xí)速率設(shè)置為r=0.001,multi-step值為10;考慮其經(jīng)驗(yàn)-探索策略,折扣因子γ=0.99,優(yōu)先經(jīng)驗(yàn)回放參數(shù)采用α =0.5、β =0.4[16],噪聲網(wǎng)絡(luò)標(biāo)準(zhǔn)差為σ=0.01。最終本文算法的loss值收斂如圖2所示,在150 000步時(shí)基本收斂,因評估中仍會使用貪婪策略跳出,因此在步數(shù)較高等情況下還會出現(xiàn)波動(dòng)。

    圖2 Loss值隨學(xué)習(xí)步數(shù)的變化

    在實(shí)驗(yàn)中使用表1給出的環(huán)境配置,使用10個(gè)用戶設(shè)備來生成串行任務(wù),總計(jì)需完成100個(gè)串行任務(wù),每個(gè)串行任務(wù)由5個(gè)微任務(wù)組成,通過調(diào)整串行任務(wù)的生成速率和計(jì)算復(fù)雜度進(jìn)行對比。

    在圖3中,y軸目標(biāo)函數(shù)值由目標(biāo)函數(shù)歸一加權(quán)后得到,x軸為串行任務(wù)卸載請求的間隔時(shí)間,以10 ms為單位時(shí)間。對比發(fā)現(xiàn)在任務(wù)生成間隔較大、總的任務(wù)計(jì)算壓力較低時(shí),卸載至邊緣服務(wù)器的效果較好。隨著間隔變短,計(jì)算傳輸量都增加的情況下,僅靠邊緣服務(wù)器已經(jīng)無法承載。而使用本文提供的ECWS-RDQN算法后,各種情況下的表現(xiàn)都遠(yuǎn)優(yōu)于傳統(tǒng)策略,相較于DQN算法也有一定優(yōu)勢。

    圖3 目標(biāo)函數(shù)值隨串行任務(wù)生成速度的變化

    同樣,在固定任務(wù)間隔的情況下,改變串行任務(wù)中高計(jì)算復(fù)雜度的占比,如圖4給出的目標(biāo)函數(shù)數(shù)值曲線,在計(jì)算復(fù)雜度快速升高的情況下,計(jì)算能力較低的本地設(shè)備難以完成任務(wù);邊緣服務(wù)器由于計(jì)算量超過承載能力出現(xiàn)任務(wù)堆積,擁有高計(jì)算能力和高網(wǎng)絡(luò)延遲的云端幾乎不受影響。圖5和圖6分別從系統(tǒng)時(shí)延和能耗開銷兩方面進(jìn)行評價(jià),針對串行任務(wù)的權(quán)值分配策略也在任務(wù)復(fù)雜度較高的情況下,有效降低了平均時(shí)延和成本。相較于其他策略和算法,本文給出的ECWS-RDQN算法總體穩(wěn)定,能夠提供更低時(shí)延、更低能耗的服務(wù),有效提升了服務(wù)質(zhì)量。

    圖4 目標(biāo)函數(shù)隨任務(wù)計(jì)算復(fù)雜度的變化

    圖5 串行任務(wù)完成時(shí)延隨任務(wù)計(jì)算復(fù)雜度的變化

    圖6 串行任務(wù)能耗成本隨任務(wù)計(jì)算復(fù)雜度的變化

    而在圖7中,改變不同的計(jì)算復(fù)雜度觀察ECWSRDQN算法在不同情況下對不同優(yōu)先級的用戶組的調(diào)度優(yōu)化,其中獎(jiǎng)勵(lì)值為時(shí)延、能耗的獎(jiǎng)勵(lì)值歸一化得到??梢钥闯鲭S著優(yōu)先級的提高,更高優(yōu)先級的用戶可以在時(shí)延和能耗上獲得更好的服務(wù)。

    圖7 不同優(yōu)先級用戶組隨計(jì)算復(fù)雜度的目標(biāo)函數(shù)值變化

    4 結(jié)束語

    為面對邊云協(xié)同串行任務(wù)卸載調(diào)度場景,本文提出了ECWS-RDQN算法,并且針對串行任務(wù)特點(diǎn)進(jìn)行優(yōu)化,在時(shí)延、能量和服務(wù)質(zhì)量的約束條件下能夠?qū)崿F(xiàn)智能任務(wù)卸載,并且通過實(shí)驗(yàn)驗(yàn)證了其有效性,本算法在各項(xiàng)參數(shù)下均有較明顯優(yōu)勢。今后將會考慮算法的細(xì)節(jié)優(yōu)化,同時(shí)在通信資源分配和多服務(wù)器調(diào)度等方面進(jìn)行研究。

    猜你喜歡
    云端時(shí)延服務(wù)質(zhì)量
    云端之城
    論如何提升博物館人性化公共服務(wù)質(zhì)量
    收藏界(2019年2期)2019-10-12 08:26:42
    基于GCC-nearest時(shí)延估計(jì)的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    基于改進(jìn)二次相關(guān)算法的TDOA時(shí)延估計(jì)
    美人如畫隔云端
    行走在云端
    初中生(2017年3期)2017-02-21 09:17:43
    云端創(chuàng)意
    FRFT在水聲信道時(shí)延頻移聯(lián)合估計(jì)中的應(yīng)用
    基于分段CEEMD降噪的時(shí)延估計(jì)研究
    傾聽患者心聲 提高服務(wù)質(zhì)量
    国产高清视频在线观看网站| 国产成+人综合+亚洲专区| 免费看日本二区| 日韩av在线大香蕉| 一个人免费在线观看电影| 综合色av麻豆| 性色av乱码一区二区三区2| 亚洲aⅴ乱码一区二区在线播放| 18美女黄网站色大片免费观看| 午夜福利在线观看吧| а√天堂www在线а√下载| 亚洲精品粉嫩美女一区| 18禁黄网站禁片免费观看直播| 国内少妇人妻偷人精品xxx网站| 成年版毛片免费区| 激情在线观看视频在线高清| 亚洲精品在线美女| 成人高潮视频无遮挡免费网站| 岛国在线观看网站| av天堂中文字幕网| 在线天堂最新版资源| 免费看光身美女| 国产成人啪精品午夜网站| 三级毛片av免费| 黄色片一级片一级黄色片| 制服丝袜大香蕉在线| 中文字幕人妻丝袜一区二区| 亚洲片人在线观看| 精品国产美女av久久久久小说| 久久国产乱子伦精品免费另类| 网址你懂的国产日韩在线| 天堂影院成人在线观看| 亚洲av中文字字幕乱码综合| 亚洲国产高清在线一区二区三| 日韩欧美 国产精品| 成人国产一区最新在线观看| 大型黄色视频在线免费观看| 国产三级中文精品| 亚洲人成网站在线播放欧美日韩| av天堂中文字幕网| 国产极品精品免费视频能看的| 熟女电影av网| 色哟哟哟哟哟哟| 日韩欧美 国产精品| 亚洲精品在线观看二区| av国产免费在线观看| 99久久精品热视频| 美女高潮喷水抽搐中文字幕| 欧美日韩中文字幕国产精品一区二区三区| 给我免费播放毛片高清在线观看| 国产成人av激情在线播放| 久久国产精品影院| 亚洲精品一区av在线观看| 亚洲美女视频黄频| 亚洲,欧美精品.| 久久久久亚洲av毛片大全| 91九色精品人成在线观看| 国产高清videossex| 国产麻豆成人av免费视频| 男人和女人高潮做爰伦理| 国产欧美日韩精品亚洲av| 欧美午夜高清在线| 精品乱码久久久久久99久播| 97超视频在线观看视频| 麻豆国产97在线/欧美| 天堂影院成人在线观看| 国产单亲对白刺激| 桃红色精品国产亚洲av| 欧美日韩中文字幕国产精品一区二区三区| 亚洲成人中文字幕在线播放| 久久久久久人人人人人| 人妻夜夜爽99麻豆av| 熟女电影av网| 熟妇人妻久久中文字幕3abv| 国产精品永久免费网站| 在线看三级毛片| xxxwww97欧美| 97超级碰碰碰精品色视频在线观看| 亚洲欧美精品综合久久99| 欧美国产日韩亚洲一区| 午夜福利在线观看吧| 成人午夜高清在线视频| 欧美一区二区亚洲| 51午夜福利影视在线观看| 久久精品影院6| 草草在线视频免费看| 国产高清视频在线播放一区| 在线播放无遮挡| 欧洲精品卡2卡3卡4卡5卡区| 制服人妻中文乱码| 欧美一级a爱片免费观看看| 中文资源天堂在线| 日韩欧美国产一区二区入口| 黄色视频,在线免费观看| 成人无遮挡网站| 欧美日韩福利视频一区二区| 成年免费大片在线观看| 好男人在线观看高清免费视频| 久久久久久大精品| 中文字幕人成人乱码亚洲影| 午夜a级毛片| 婷婷亚洲欧美| 99久久99久久久精品蜜桃| a级一级毛片免费在线观看| 亚洲久久久久久中文字幕| 九色国产91popny在线| 精品福利观看| 久久婷婷人人爽人人干人人爱| 国产亚洲欧美在线一区二区| 九九热线精品视视频播放| 日韩免费av在线播放| www日本黄色视频网| 国产亚洲欧美在线一区二区| 一本一本综合久久| 国产精品永久免费网站| 国产亚洲精品一区二区www| 夜夜看夜夜爽夜夜摸| 亚洲精品日韩av片在线观看 | 搡老妇女老女人老熟妇| 久久精品国产99精品国产亚洲性色| 国产成人a区在线观看| 久久香蕉精品热| 国产主播在线观看一区二区| 亚洲av一区综合| 熟女人妻精品中文字幕| 国产精品久久久久久久久免 | av福利片在线观看| 亚洲18禁久久av| 欧美日韩一级在线毛片| 国产熟女xx| 中文字幕人成人乱码亚洲影| 久久久久国内视频| 国产精品野战在线观看| 91av网一区二区| 男女之事视频高清在线观看| av黄色大香蕉| 亚洲中文字幕日韩| 久久久成人免费电影| 69av精品久久久久久| 国内久久婷婷六月综合欲色啪| 亚洲国产高清在线一区二区三| 亚洲国产欧美人成| 欧美另类亚洲清纯唯美| 全区人妻精品视频| 淫秽高清视频在线观看| 亚洲男人的天堂狠狠| 日本成人三级电影网站| 深夜精品福利| 久久久国产成人精品二区| 老司机在亚洲福利影院| 亚洲精品国产精品久久久不卡| 午夜激情欧美在线| 亚洲av二区三区四区| 久久中文看片网| 国产淫片久久久久久久久 | 欧美不卡视频在线免费观看| 老汉色av国产亚洲站长工具| 两人在一起打扑克的视频| 亚洲国产日韩欧美精品在线观看 | 一本精品99久久精品77| 日韩欧美 国产精品| 叶爱在线成人免费视频播放| 亚洲不卡免费看| 精品一区二区三区视频在线观看免费| 制服丝袜大香蕉在线| svipshipincom国产片| 亚洲国产高清在线一区二区三| 亚洲国产欧美人成| 亚洲国产精品久久男人天堂| 国产乱人视频| 18美女黄网站色大片免费观看| 日韩大尺度精品在线看网址| 国产男靠女视频免费网站| 91久久精品国产一区二区成人 | 久久亚洲精品不卡| 美女 人体艺术 gogo| 一个人看视频在线观看www免费 | 亚洲国产欧美网| 五月伊人婷婷丁香| 日韩有码中文字幕| 国产欧美日韩精品亚洲av| 1024手机看黄色片| 99久久99久久久精品蜜桃| 欧美av亚洲av综合av国产av| 成年人黄色毛片网站| 亚洲国产日韩欧美精品在线观看 | 中文字幕人妻熟人妻熟丝袜美 | 日本撒尿小便嘘嘘汇集6| 在线十欧美十亚洲十日本专区| 日韩欧美一区二区三区在线观看| 在线免费观看不下载黄p国产 | 99国产综合亚洲精品| 99久久精品一区二区三区| 亚洲不卡免费看| 日本三级黄在线观看| 真人做人爱边吃奶动态| 日韩大尺度精品在线看网址| 国产探花在线观看一区二区| 内射极品少妇av片p| 黄色日韩在线| 国产国拍精品亚洲av在线观看 | 香蕉久久夜色| 一区福利在线观看| 好男人在线观看高清免费视频| 中文字幕av在线有码专区| 男女午夜视频在线观看| 一本一本综合久久| 老熟妇乱子伦视频在线观看| 欧美一区二区国产精品久久精品| 亚洲国产中文字幕在线视频| 1000部很黄的大片| 男女视频在线观看网站免费| 看免费av毛片| 色综合亚洲欧美另类图片| 一进一出抽搐动态| 黄色成人免费大全| 一个人免费在线观看电影| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 欧美日本亚洲视频在线播放| 午夜福利视频1000在线观看| 久久精品亚洲精品国产色婷小说| 麻豆国产97在线/欧美| 夜夜夜夜夜久久久久| 亚洲精品一卡2卡三卡4卡5卡| 国产一区二区在线av高清观看| 亚洲一区高清亚洲精品| 国产免费一级a男人的天堂| 男女之事视频高清在线观看| 看片在线看免费视频| 午夜福利欧美成人| 国产中年淑女户外野战色| 精品福利观看| 欧美性感艳星| 中文字幕人妻熟人妻熟丝袜美 | 欧美日韩亚洲国产一区二区在线观看| 91字幕亚洲| 成人午夜高清在线视频| 成人精品一区二区免费| 久久久久久人人人人人| 亚洲精品影视一区二区三区av| 一级毛片高清免费大全| 欧美午夜高清在线| 国产精品久久久久久久久免 | 此物有八面人人有两片| www.www免费av| 丁香六月欧美| 高清日韩中文字幕在线| 亚洲第一欧美日韩一区二区三区| 99久久久亚洲精品蜜臀av| 51午夜福利影视在线观看| 精品一区二区三区av网在线观看| 成人三级黄色视频| 久99久视频精品免费| 免费看光身美女| 国产成年人精品一区二区| 国产亚洲欧美98| 亚洲国产高清在线一区二区三| 床上黄色一级片| 狂野欧美白嫩少妇大欣赏| 可以在线观看毛片的网站| 国产精品98久久久久久宅男小说| 女人高潮潮喷娇喘18禁视频| 五月玫瑰六月丁香| 九色成人免费人妻av| 久久久国产精品麻豆| 国产黄色小视频在线观看| 亚洲精品乱码久久久v下载方式 | 亚洲国产中文字幕在线视频| 2021天堂中文幕一二区在线观| 日韩高清综合在线| 人人妻人人看人人澡| 国产精品av视频在线免费观看| 久久久久性生活片| 精品电影一区二区在线| 男人和女人高潮做爰伦理| 婷婷亚洲欧美| 男女之事视频高清在线观看| 国产亚洲精品av在线| 美女高潮喷水抽搐中文字幕| 熟女少妇亚洲综合色aaa.| 久久久久久九九精品二区国产| 欧美zozozo另类| 在线国产一区二区在线| 久久中文看片网| 亚洲欧美精品综合久久99| 国产爱豆传媒在线观看| 十八禁人妻一区二区| 99国产精品一区二区三区| 国产三级黄色录像| 日韩大尺度精品在线看网址| 精品乱码久久久久久99久播| 人妻久久中文字幕网| 好男人电影高清在线观看| 桃红色精品国产亚洲av| 日本成人三级电影网站| 欧美成人a在线观看| 国产伦在线观看视频一区| 亚洲内射少妇av| 国产精品永久免费网站| 最新中文字幕久久久久| 少妇的丰满在线观看| 久久久久久九九精品二区国产| 亚洲精品久久国产高清桃花| 黄色日韩在线| 夜夜爽天天搞| 久久久久国产精品人妻aⅴ院| 久久久精品欧美日韩精品| 中文字幕久久专区| 国产精品一区二区三区四区久久| xxx96com| 久久久久久久久大av| 欧美成人免费av一区二区三区| 日韩人妻高清精品专区| 一级作爱视频免费观看| 亚洲人成网站在线播放欧美日韩| 久久精品91无色码中文字幕| 国语自产精品视频在线第100页| 精品久久久久久久毛片微露脸| 国产在视频线在精品| 亚洲 欧美 日韩 在线 免费| 超碰av人人做人人爽久久 | 999久久久精品免费观看国产| 中文字幕熟女人妻在线| 美女被艹到高潮喷水动态| 在线看三级毛片| 国产探花极品一区二区| 欧美性感艳星| 亚洲无线观看免费| 亚洲精品粉嫩美女一区| 最近最新中文字幕大全电影3| 美女大奶头视频| 亚洲人成伊人成综合网2020| 亚洲专区中文字幕在线| tocl精华| 动漫黄色视频在线观看| 午夜老司机福利剧场| 一个人看视频在线观看www免费 | 中文字幕高清在线视频| 日韩欧美精品v在线| 麻豆国产97在线/欧美| bbb黄色大片| 国产激情欧美一区二区| 91字幕亚洲| 欧美一区二区国产精品久久精品| 免费观看的影片在线观看| 日韩欧美国产在线观看| 老熟妇仑乱视频hdxx| 午夜老司机福利剧场| 又黄又爽又免费观看的视频| 日本a在线网址| 久久精品国产综合久久久| 天堂√8在线中文| 在线播放国产精品三级| 国产精品久久久人人做人人爽| 日韩欧美在线二视频| 欧美bdsm另类| 丰满人妻熟妇乱又伦精品不卡| 久久这里只有精品中国| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 国产精品一区二区三区四区久久| 精品国内亚洲2022精品成人| 床上黄色一级片| 国产欧美日韩精品一区二区| 90打野战视频偷拍视频| 久久久久免费精品人妻一区二区| 男女之事视频高清在线观看| 激情在线观看视频在线高清| 免费看十八禁软件| 亚洲中文字幕一区二区三区有码在线看| 国产成人影院久久av| 午夜两性在线视频| 亚洲最大成人手机在线| 麻豆久久精品国产亚洲av| 1024手机看黄色片| 亚洲精品亚洲一区二区| e午夜精品久久久久久久| 女人高潮潮喷娇喘18禁视频| 老司机午夜福利在线观看视频| 亚洲精品成人久久久久久| 老司机福利观看| 午夜a级毛片| 法律面前人人平等表现在哪些方面| 国产精品香港三级国产av潘金莲| 亚洲第一电影网av| 国产成年人精品一区二区| 高潮久久久久久久久久久不卡| 国产av不卡久久| 脱女人内裤的视频| or卡值多少钱| 少妇熟女aⅴ在线视频| 欧美在线一区亚洲| 久久香蕉精品热| 欧美成狂野欧美在线观看| 老汉色∧v一级毛片| 精品一区二区三区视频在线 | 欧美成人免费av一区二区三区| 一a级毛片在线观看| 老司机福利观看| 亚洲国产精品sss在线观看| 国产亚洲av嫩草精品影院| 中出人妻视频一区二区| 不卡一级毛片| 毛片女人毛片| 一进一出抽搐gif免费好疼| 午夜免费激情av| 亚洲 欧美 日韩 在线 免费| 嫩草影院入口| 又黄又爽又免费观看的视频| 天天躁日日操中文字幕| 国产精品99久久久久久久久| 女人十人毛片免费观看3o分钟| 亚洲成av人片在线播放无| 免费观看人在逋| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲av电影在线进入| 国产精品亚洲美女久久久| av视频在线观看入口| 午夜日韩欧美国产| 最近最新中文字幕大全免费视频| 91九色精品人成在线观看| 精品免费久久久久久久清纯| 国产精品99久久99久久久不卡| 男女之事视频高清在线观看| 亚洲国产日韩欧美精品在线观看 | 18美女黄网站色大片免费观看| 麻豆成人av在线观看| 国产av不卡久久| 在线看三级毛片| 国产精品国产高清国产av| 波野结衣二区三区在线 | 丝袜美腿在线中文| 成人高潮视频无遮挡免费网站| 丝袜美腿在线中文| 免费看光身美女| 色精品久久人妻99蜜桃| 999久久久精品免费观看国产| 一区二区三区免费毛片| 99久久久亚洲精品蜜臀av| 一边摸一边抽搐一进一小说| 成人av一区二区三区在线看| 精品无人区乱码1区二区| 男人舔奶头视频| 蜜桃亚洲精品一区二区三区| av中文乱码字幕在线| 精品午夜福利视频在线观看一区| 男女下面进入的视频免费午夜| 99久国产av精品| 黄色女人牲交| 日本三级黄在线观看| 欧美黑人欧美精品刺激| 最新美女视频免费是黄的| 国产91精品成人一区二区三区| 中文字幕久久专区| 亚洲熟妇中文字幕五十中出| 亚洲无线观看免费| 黄色视频,在线免费观看| 成人国产综合亚洲| 黄片大片在线免费观看| 在线a可以看的网站| 久久久国产成人免费| 一区二区三区激情视频| 美女 人体艺术 gogo| 亚洲国产精品sss在线观看| 亚洲第一欧美日韩一区二区三区| 国产精品,欧美在线| 欧美另类亚洲清纯唯美| 一二三四社区在线视频社区8| 亚洲成av人片在线播放无| 国产一区二区激情短视频| 欧美大码av| 国产精品一及| 国产精品电影一区二区三区| 国产黄a三级三级三级人| 91九色精品人成在线观看| 色综合站精品国产| 少妇熟女aⅴ在线视频| 久久久久九九精品影院| 在线观看免费视频日本深夜| 少妇人妻精品综合一区二区 | 免费一级毛片在线播放高清视频| 少妇裸体淫交视频免费看高清| 看片在线看免费视频| 欧美一区二区国产精品久久精品| 色老头精品视频在线观看| 丝袜美腿在线中文| 两个人的视频大全免费| 一个人观看的视频www高清免费观看| 亚洲成人免费电影在线观看| 国产成人av教育| 亚洲av成人不卡在线观看播放网| 成人亚洲精品av一区二区| 色噜噜av男人的天堂激情| 国产成人av激情在线播放| 十八禁网站免费在线| 99视频精品全部免费 在线| 亚洲五月婷婷丁香| 2021天堂中文幕一二区在线观| 日本在线视频免费播放| 宅男免费午夜| 中文资源天堂在线| 成人无遮挡网站| 日韩中文字幕欧美一区二区| 1024手机看黄色片| 伊人久久大香线蕉亚洲五| 中国美女看黄片| 免费av不卡在线播放| 国产精品自产拍在线观看55亚洲| 精品人妻一区二区三区麻豆 | 亚洲第一欧美日韩一区二区三区| 国产熟女xx| 亚洲av免费在线观看| 亚洲国产精品久久男人天堂| 久久人人精品亚洲av| 很黄的视频免费| 全区人妻精品视频| 国模一区二区三区四区视频| 久久久久免费精品人妻一区二区| 九九热线精品视视频播放| 国产成人av激情在线播放| 午夜两性在线视频| 性色av乱码一区二区三区2| 精品久久久久久久久久免费视频| 国产精品香港三级国产av潘金莲| 亚洲av不卡在线观看| 中文字幕av成人在线电影| 精品一区二区三区视频在线 | www.999成人在线观看| 久久久久久久亚洲中文字幕 | 两个人的视频大全免费| 久9热在线精品视频| 在线a可以看的网站| 十八禁人妻一区二区| 757午夜福利合集在线观看| 男插女下体视频免费在线播放| 亚洲中文字幕日韩| 欧美中文日本在线观看视频| 中文字幕人成人乱码亚洲影| 国产精品野战在线观看| 天堂√8在线中文| 国内精品一区二区在线观看| 在线观看日韩欧美| 日韩欧美国产一区二区入口| 级片在线观看| 亚洲性夜色夜夜综合| 国产精品国产高清国产av| 久99久视频精品免费| 又粗又爽又猛毛片免费看| 日韩欧美在线二视频| 91麻豆精品激情在线观看国产| 午夜精品一区二区三区免费看| 亚洲国产欧美人成| 久久人妻av系列| 俄罗斯特黄特色一大片| 在线a可以看的网站| 男女视频在线观看网站免费| 在线天堂最新版资源| 黄片大片在线免费观看| 亚洲精品日韩av片在线观看 | 国内精品美女久久久久久| www.www免费av| 国内少妇人妻偷人精品xxx网站| 无人区码免费观看不卡| 亚洲精品成人久久久久久| 日韩欧美国产在线观看| 国产av不卡久久| 在线观看舔阴道视频| a在线观看视频网站| 亚洲美女黄片视频| 校园春色视频在线观看| 成年女人永久免费观看视频| 国产精品1区2区在线观看.| tocl精华| 精品国产三级普通话版| 中文字幕人妻熟人妻熟丝袜美 | 欧美不卡视频在线免费观看| 欧美成人一区二区免费高清观看| 亚洲精品亚洲一区二区| 俺也久久电影网| 91av网一区二区| a级一级毛片免费在线观看| or卡值多少钱| 国产午夜福利久久久久久| 欧美日韩亚洲国产一区二区在线观看| 亚洲激情在线av| 又黄又粗又硬又大视频| 欧美日韩一级在线毛片| 亚洲欧美日韩无卡精品| 一级毛片女人18水好多| 免费人成视频x8x8入口观看| 国产精品亚洲一级av第二区| 亚洲第一欧美日韩一区二区三区| 老汉色av国产亚洲站长工具| 中文资源天堂在线| 久9热在线精品视频| 黄色女人牲交| 成人一区二区视频在线观看| 中国美女看黄片| 国产成人系列免费观看| 尤物成人国产欧美一区二区三区| 午夜亚洲福利在线播放| 国产乱人视频| 久久精品国产99精品国产亚洲性色| 麻豆国产97在线/欧美| 国产精品亚洲一级av第二区| 亚洲人成电影免费在线| 高清日韩中文字幕在线| 中文字幕高清在线视频| 国产成人福利小说| 亚洲一区二区三区不卡视频| 久久久久久久午夜电影| 免费在线观看日本一区| 国产高清视频在线观看网站| 国产成人啪精品午夜网站| 精华霜和精华液先用哪个| 桃色一区二区三区在线观看|