• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度強化學(xué)習(xí)的基站動態(tài)開關(guān)研究

    2024-09-14 00:00:00王瑜范燕琳孫洋洋熊建勝蔣濤周瑩韓志博李子怡王振乾
    無線電通信技術(shù) 2024年4期
    關(guān)鍵詞:網(wǎng)絡(luò)基站深度

    摘 要:隨著5G 移動互聯(lián)網(wǎng)的快速發(fā)展,為了滿足用戶不斷增長的流量需求,5G 基站大規(guī)模部署,導(dǎo)致能耗急劇增加。針對以上問題,通過采用流量預(yù)測與深度強化學(xué)習(xí)相結(jié)合的方法,建立基站動態(tài)開關(guān)模型。具體而言,該模型通過密集卷積神經(jīng)網(wǎng)絡(luò)(Densely Connected Convolutional Networks,DenseNet)對基站流量進(jìn)行預(yù)測;進(jìn)一步地,基于精確的移動流量預(yù)測,將基站開關(guān)控制問題建模為一個馬爾科夫決策過程(Markov Decision Process,MDP),然后通過強化學(xué)習(xí)方法進(jìn)行求解。此外,強化學(xué)習(xí)的reward 函數(shù)設(shè)計在優(yōu)化基站開關(guān)成本時綜合考慮了多方面的因素,包括能耗和用戶服務(wù)質(zhì)量(Quality of Service,QoS)下降成本,目標(biāo)是在降低能耗的前提下,最小化長期的基站能量消耗。最終通過對真實數(shù)據(jù)集的大量實驗驗證,提出的模型與當(dāng)前使用的基站常開策略相比,能夠節(jié)約37% 的能量消耗,且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

    關(guān)鍵詞:基站;蜂窩網(wǎng)絡(luò);動態(tài)開關(guān);流量預(yù)測;深度Q 網(wǎng)絡(luò)

    中圖分類號:TN92 文獻(xiàn)標(biāo)志碼:A 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

    文章編號:1003-3114(2024)04-0815-08

    0 引言

    隨著5G 移動互聯(lián)網(wǎng)的高速發(fā)展,移動流量呈現(xiàn)爆炸式增長,大規(guī)模基站部署和高負(fù)荷運行導(dǎo)致了大量的能源需求,進(jìn)而引發(fā)了對能源效率和環(huán)境保護(hù)的迫切關(guān)注。在這樣的背景下,基站節(jié)能成為一項緊迫而重要的任務(wù),需要尋找創(chuàng)新的解決方案,以平衡通信技術(shù)的發(fā)展與能源可持續(xù)利用之間的關(guān)系。然而,傳統(tǒng)的基站節(jié)能方案往往基于以往的經(jīng)驗和靜態(tài)數(shù)據(jù),無法充分利用網(wǎng)絡(luò)中歷史數(shù)據(jù)的特征和規(guī)律,也難以適應(yīng)動態(tài)變化的通信負(fù)載和網(wǎng)絡(luò)環(huán)境。另外,現(xiàn)有的算法與策略大多建立在已知的規(guī)則或數(shù)學(xué)模型上,在實際應(yīng)用中具有較大的局限性。然而,實際應(yīng)用中,由于實際網(wǎng)絡(luò)環(huán)境的復(fù)雜性,使得對其進(jìn)行精確建模變得十分困難。

    為了解決上述問題,本文通過流量預(yù)測幫助基站更精準(zhǔn)地預(yù)測通信流量負(fù)載,從而在開關(guān)決策中更好地平衡能源消耗和網(wǎng)絡(luò)性能,提高通信效率和用戶體驗。通過采用強化學(xué)習(xí)的方法來適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境,減少對問題的不必要假設(shè)。

    本文的主要貢獻(xiàn)如下

    ① 針對蜂窩網(wǎng)絡(luò)的基站開關(guān)管理問題進(jìn)行了全面的建模,將基站開關(guān)控制問題建模為一個馬爾科夫決策過程(Markov Decision Process,MDP),并采用深度Q 網(wǎng)絡(luò)(Deep Q-Network,DQN)算法求解該問題。

    ② 針對單智能體在面對高維度的動作空間時算法很難收斂,采用深度確定性策略梯度(Deep De-terministic Policy Gradient,DDPG)算法求解基站開關(guān)問題時又不利于動作的探索,很容易陷入局部最優(yōu)的問題,使用多個并行的DQN(Multi-DQN)算法求解基站開關(guān)問題。該算法可以提高學(xué)習(xí)模型的收斂速度,增加探索動作空間和策略的多樣性。

    ③ 在強化學(xué)習(xí)的reward 函數(shù)設(shè)計中綜合考慮了蜂窩網(wǎng)絡(luò)的開銷問題,以相對更為準(zhǔn)確地度量基站動態(tài)開關(guān)策略的優(yōu)劣程度。其中,蜂窩網(wǎng)絡(luò)的總能耗是主要的開銷部分。此外,也考慮了由于基站開關(guān)狀態(tài)的切換帶來的開銷問題。

    ④ 使用北京市某區(qū)域的真實數(shù)據(jù)集進(jìn)行了大量的實驗,提出的模型與當(dāng)前廣泛使用的基站常開策略相比,能夠節(jié)約37% 的能量消耗,且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

    1 相關(guān)研究

    隨著5G 網(wǎng)絡(luò)的快速發(fā)展以及基站的大規(guī)模部署,基站的能源消耗已經(jīng)成為一個重要的關(guān)注點,當(dāng)前已經(jīng)涌現(xiàn)了不少關(guān)于基站節(jié)能的相關(guān)研究。

    文獻(xiàn)[1]基于白天和夜間移動網(wǎng)絡(luò)負(fù)荷的變化,在夜晚移動負(fù)載較低的時候,將一些不必要開啟的基站關(guān)掉,把連接的用戶轉(zhuǎn)移到其他基站。文獻(xiàn)[2]提出了一種基于集合覆蓋的基站動態(tài)關(guān)斷策略。文獻(xiàn)[3]則提出了基于頻譜效率的基站動態(tài)關(guān)斷策略。文獻(xiàn)[4]通過改進(jìn)Affinity Propagation 聚類算法對基站日負(fù)荷曲線進(jìn)行自適應(yīng)聚類,并進(jìn)一步挖掘分析周效應(yīng)下的日潮汐現(xiàn)象和汐節(jié)能時段。

    此外,目前已有不少研究通過建立基站休眠與資源分配的優(yōu)化問題,使用啟發(fā)式算法迭代求解。文獻(xiàn)[5]基于最小化系統(tǒng)能耗和提高系統(tǒng)狀態(tài)穩(wěn)定性,建立了雙目標(biāo)優(yōu)化問題,提出了求解雙目標(biāo)優(yōu)化問題的快速窮舉算法(Centralized Sleeping Schemefor a Fast Exhaustive Algorithm,CSS-E)和低復(fù)雜度的改進(jìn)粒子群算法(Centralized Sleeping Scheme for aModified Particle Swarm Optimizationin,CSS-PSO)。文獻(xiàn)[6]則針對尋找休眠模式(Sleep Mode,SLM)下運行的最優(yōu)的活躍基站集合的多目標(biāo)優(yōu)化問題,使用遺傳算法以實現(xiàn)快速收斂率并獲得最佳解決方案。

    上述研究都是基于傳統(tǒng)的同構(gòu)網(wǎng)絡(luò)的基站休眠技術(shù)。為應(yīng)對日益增長的無線通信流量和用戶的高速率需求,引入多個小基站組成異構(gòu)蜂窩網(wǎng)絡(luò),以克服傳統(tǒng)同構(gòu)網(wǎng)絡(luò)在容量和覆蓋方面的限制。文獻(xiàn)[7]研究了在一種多小基站共存的異構(gòu)無線蜂窩網(wǎng)絡(luò)場景下,通過優(yōu)化小型基站的傳輸功率和激活/停用(動態(tài)休眠)來研究電網(wǎng)能量最小化問題。文獻(xiàn)[8]研究了接入飛蜂窩網(wǎng)絡(luò)的能源效率問題,聯(lián)合優(yōu)化毫微微基站的操作模式(如活躍或睡眠)以及用戶與活躍基站之間的關(guān)聯(lián)的方案。

    上述研究都是基于集中式的方法,無法適應(yīng)5G密集部署的場景下海量基站的動態(tài)關(guān)斷需求。在基站開關(guān)狀態(tài)切換過程中,為了降低由于切換帶來的通信開銷,有必要設(shè)計對分布式基站進(jìn)行動態(tài)開關(guān)控制的算法。文獻(xiàn)[9]提出了一種提高綠色蜂窩網(wǎng)絡(luò)能源效率的分布式合作框架。文獻(xiàn)[10]研究了自適應(yīng)小區(qū)縮放方案,應(yīng)用博弈論優(yōu)化小區(qū)縮放因子(Cell Zooming Factor,CZF)。

    上述研究提到的博弈論等分布式方法在基站節(jié)能中可能存在一些局限性,如假設(shè)與實際網(wǎng)絡(luò)環(huán)境可能不符或最優(yōu)策略具有不確定性??梢酝ㄟ^機(jī)器學(xué)習(xí)對實際業(yè)務(wù)量進(jìn)行預(yù)測,進(jìn)而制定針對性的基站休眠策略。文獻(xiàn)[11]提出了一種基于無線流量預(yù)測模型的智能數(shù)據(jù)驅(qū)動的基站休眠機(jī)制。文獻(xiàn)[12]提出一種基于深度強化學(xué)習(xí)的數(shù)據(jù)驅(qū)動基站休眠操作方法:Deepnap。文獻(xiàn)[13]采用深度強化學(xué)習(xí)方法對用戶分布、通信需求等進(jìn)行自我學(xué)習(xí),從而推測出基站的負(fù)載變化規(guī)律,進(jìn)而對基站采取一系列節(jié)能措施。文獻(xiàn)[14]設(shè)計了一個基于基站狀態(tài)切換操作的強化學(xué)習(xí)框架方案。此外,為了加快訓(xùn)練過程,提出了一種遷移參與者批評算法。文獻(xiàn)[15]提出了一種基于深度強化學(xué)習(xí)的基站休眠控制算法。

    以上研究在基站節(jié)能方面都取得了一定的成果,本文在前期研究基礎(chǔ)上,構(gòu)建基于流量預(yù)測與深度強化學(xué)習(xí)的基站動態(tài)開關(guān)模型。流量預(yù)測可以為未來時刻的基站開關(guān)決策提供有力的數(shù)據(jù)支撐,同時結(jié)合深度強化學(xué)習(xí)算法來求解基站動態(tài)開關(guān)問題,從而達(dá)到使基站的長期能耗最小的目的。

    2 系統(tǒng)模型

    本節(jié)將從網(wǎng)絡(luò)模型、基站成本模型等方面來描述基站成本問題。

    2. 1 網(wǎng)絡(luò)模型

    蜂窩網(wǎng)絡(luò)通常由多個基站組成來處理移動業(yè)務(wù)負(fù)載。本文考慮一個由一組基站服務(wù)用戶的蜂窩網(wǎng)絡(luò),其中所述基站和用戶的集合可以分別表示為={1,2,…,N}, = {1,2,…,K}。在地理區(qū)域上,每個基站在各自的覆蓋范圍內(nèi)(例如3×3 柵格),基站之間也可能存在重疊覆蓋問題。由于移動流量具有時變性,很多基站大部分時間都沒有得到充分的利用,造成了巨大的資源浪費和嚴(yán)重的能效問題。所以需要對基站的開關(guān)策略進(jìn)行動態(tài)調(diào)整,以適應(yīng)不同的流量需求。

    本文的主要變量及其含義如表1 所示。

    2. 2 基站成本模型

    基站成本主要分為兩部分:能耗成本、用戶服務(wù)質(zhì)量(Quality of Service,QoS)下降成本。

    ① 能耗成本。在蜂窩網(wǎng)絡(luò)中,基站的能耗不是簡單地與其覆蓋范圍內(nèi)的流量負(fù)載成正比[16]。一般來說,基站的能耗可以總結(jié)為兩種:一種是固定的能量消耗,不依賴于基站的移動流量負(fù)載,主要來源于電路損耗和散熱損耗;另一種是與功率放大器等組件相關(guān)的傳輸能耗,與流量負(fù)載存在非線性關(guān)系。為此,本文提出了一種通用的能耗模型,一個基站在t 時刻一個小時內(nèi)的能耗可以概括為[17]:

    pti=Pfi+Pli, (1)

    式中:Pfi為基站的固定能耗;Pli為基站的傳輸能耗,與流量負(fù)載成非線性相關(guān)。

    ② QoS 下降成本。為了保證QoS,本文考慮了基站關(guān)斷可能導(dǎo)致用戶需要重新選擇基站進(jìn)行連接的情況。該情況會降低QoS,產(chǎn)生用戶服務(wù)延遲的成本。本文將其定義為用戶進(jìn)行基站重選后翻轉(zhuǎn)的流量與用戶重新連接到開啟狀態(tài)的基站的下行速率之比,具體表述為:

    式中:小區(qū)重選后翻轉(zhuǎn)的用戶流量指重新選擇開啟狀態(tài)基站的用戶k(即更換所關(guān)聯(lián)基站的用戶)的流量,即ρtk; tres 表示在t 時刻基站重選的用戶集合,可以采用K-最近鄰(KNearest Neighbor,KNN)算法為失去基站連接的用戶搜索最近鄰的可連接基站得到;rtn,k 表示在t 時刻基站n 到用戶k 的下行速率,該速率可以用香農(nóng)公式計算:

    rtn,k =btn,k lb(1+SNRtn,k), (3)

    式中:btn,k 表示在t 時刻基站n 分配給用戶k 的帶寬資源,SNRtn,k 表示在t 時刻基站n 到用戶k 的信噪比,SNRtn,k =ptn,khtn,k/N0,ptn,k 為基站n 分配給用戶k 的功率資源,htn,k 為基站n 與用戶k 之間的信道增益,N0為功率譜密度。

    通過綜合考慮以上因素,本文的系統(tǒng)模型旨在實現(xiàn)多目標(biāo)優(yōu)化,即在最小化能耗的同時,確保用戶的通信服務(wù)質(zhì)量得到保障。

    3 基于流量預(yù)測的深度強化學(xué)習(xí)的基站動態(tài)開關(guān)算法

    本節(jié)詳細(xì)介紹了基于密集卷積神經(jīng)網(wǎng)絡(luò)(Densely Connected Convolutional Networks,DenseNet)的Multi-DQN 基站動態(tài)開關(guān)框架,并對流量預(yù)測、強化學(xué)習(xí)MDP 環(huán)境建模以及Multi-DQN 訓(xùn)練過程分別展開了描述。

    3. 1 基于DenseNet 的Multi-DQN 基站動態(tài)開關(guān)框架

    系統(tǒng)框架由基站休眠與用戶重連模塊、流量預(yù)測模塊和Multi-DQN 訓(xùn)練模塊三個模塊組成。該框架的工作流程描述如下。

    ① 基站休眠與用戶重新連接:當(dāng)網(wǎng)絡(luò)負(fù)載較小時,為了降低能耗并提高網(wǎng)絡(luò)效率,一些基站可能會進(jìn)入休眠狀態(tài),減少不必要的能耗。此時用戶需要重新選擇基站進(jìn)行連接,以獲得穩(wěn)定的通信服務(wù)。

    ② DenseNet 模型預(yù)測流量:基于當(dāng)前的基站開關(guān)狀態(tài),本文利用DenseNet 模型,基于歷史流量數(shù)據(jù)預(yù)測基站在未來一段時間內(nèi)的網(wǎng)絡(luò)流量情況得到預(yù)測結(jié)果。預(yù)測模型的輸出流量結(jié)果會被傳遞給強化學(xué)習(xí)模塊。

    ③ Multi-DQN 訓(xùn)練:由于基站數(shù)量過多,單智能體在面對高維度的動作空間時,算法很難收斂;而且單個智能體在信息的獲取能力、處理能力、控制能力等方面有限,對于復(fù)雜的工作任務(wù)及多變的工作環(huán)境,單智能體能力明顯不足。如果采用DDPG 求解基站動態(tài)開關(guān)問題,由于初始策略通常固定,在探索高維度的連續(xù)動作空間時很有可能陷入局部最優(yōu)解,無法跳出。因此,本文的強化學(xué)習(xí)模塊采用Multi-DQN 算法,該算法中多個DQN 并行訓(xùn)練可以同時學(xué)習(xí),模型訓(xùn)練速度得到大幅度提升;而且多個DQN 代理(agent)可以獨立地探索不同的策略和動作選擇,進(jìn)一步增加了探索的多樣性。這樣有助于避免陷入局部最優(yōu)解,提高代理找到全局最優(yōu)策略的概率。

    該強化學(xué)習(xí)模塊基于基站流量負(fù)載變化、用戶體驗指標(biāo)(如速率、時延),旨在自主學(xué)習(xí)得到最優(yōu)的基站動態(tài)開關(guān)策略。

    ④ 動態(tài)基站開關(guān)策略生成:經(jīng)過訓(xùn)練,Multi-DQN 將產(chǎn)生一個動態(tài)的基站開關(guān)策略。代理可以根據(jù)當(dāng)前的網(wǎng)絡(luò)環(huán)境和狀態(tài),自主地選擇基站的開關(guān)狀態(tài),從而進(jìn)一步提升網(wǎng)絡(luò)性能和用戶體驗。

    上述內(nèi)容的具體細(xì)節(jié)如圖1 所示。綜上所述,移動通信網(wǎng)絡(luò)能夠在基站休眠與用戶重新連接的過程中,通過流量預(yù)測和強化學(xué)習(xí)等方法的協(xié)同作用,實現(xiàn)基站開關(guān)策略的智能優(yōu)化。這一框架不僅有助于提升網(wǎng)絡(luò)效率和性能,也為用戶提供了更穩(wěn)定和流暢的通信體驗。

    3. 2 流量預(yù)測

    本文的流量預(yù)測模型DenseNet 用滑動窗口的方式對數(shù)據(jù)集進(jìn)行抽取,由于所選用數(shù)據(jù)集可以看作二維空間的流量分布隨時間的變化,具有視頻流的特征,因此針對影響三種時間依賴性的歷史數(shù)據(jù)采用不同長度的幀數(shù)來采集構(gòu)建,并分為三部分輸入到不同的分模塊中進(jìn)行訓(xùn)練,從而捕捉三種時間依賴性。輸入數(shù)據(jù)前先經(jīng)過Min-Max 歸一化處理,以提高模型訓(xùn)練時的收斂速度。進(jìn)入分模塊后經(jīng)過主要由堆疊的DenseLayer 組成的DenseUnit 來進(jìn)行空間依賴的捕捉,并將分模塊學(xué)習(xí)的特征通過參數(shù)矩陣融合的方式結(jié)合起來。

    流量的周期性、臨近性、趨勢性等特征會對最后的預(yù)測結(jié)果產(chǎn)生不同的影響。本文通過參數(shù)矩陣的融合,將不同時間特征的強度體現(xiàn)在不同權(quán)重上,并將其分別表示為Wp1、Wp2、Wc 和Wt。在訓(xùn)練階段,將學(xué)習(xí)參數(shù)轉(zhuǎn)化為與輸入的特征形式相同的張量,這樣就可以進(jìn)一步做哈達(dá)瑪?shù)某朔ㄟ\算,從而可以獲得矩陣融合的輸出,即時空模塊的輸出。記為XT [18]:

    XT =Wp1 。X7p1 +Wp2 。X7p2 +Wc 。X7c+Wt 。X7t, (4)

    式中:表示哈達(dá)瑪乘積,將學(xué)習(xí)參數(shù)矩陣與特征輸出矩陣的位置一一對應(yīng)然后分別相乘,最后將三個特征相加,從而獲得預(yù)測特征的結(jié)果。經(jīng)過神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練,不斷計算梯度和更新權(quán)重,最后得出模型t 時刻的預(yù)測輸出:

    ︿Yt =σ XT, (5)

    式中:σ(·)表示Sigmoid 激活函數(shù)。從預(yù)測值和真實值的對比結(jié)果來看,可以通過均方根誤差(RootMean Square Error,RMSE)表達(dá)該損失函數(shù),并在訓(xùn)練期間對該模型進(jìn)行參數(shù)更新:

    L(μ)=|| Yt -Yt︿|| 2, (6)

    式中:μ 表示一組可以使得模型最終訓(xùn)練得到的損失函數(shù)取最小值的參數(shù),Yt 表示真實值,當(dāng)損耗函數(shù)取最小值時,加權(quán)參數(shù)也分別對應(yīng)最優(yōu)值。

    3. 3 強化學(xué)習(xí)MDP 環(huán)境建模

    本文的主要研究目標(biāo)是找到最優(yōu)的基站開關(guān)策略,以最大限度降低系統(tǒng)的長期總成本。將基站成本優(yōu)化問題建模為一個MDP,并將其表示為一個元組M=〈S,A ,R ,S′,γ〉。其中,S為狀態(tài)空間,A 為動作空間,R 為獎勵函數(shù),S′為下一時刻的狀態(tài),γ∈[0,1]為折扣因子。MDP 的設(shè)計過程按以下步驟進(jìn)行:

    ① 狀態(tài)(state):系統(tǒng)狀態(tài)是由在當(dāng)前時刻t 所有用戶的流量負(fù)載ρtk 組成。但是,當(dāng)基站要進(jìn)行活躍/睡眠模式操作時,在時段t 開始時,流量ρtk 不可用。因此,利用流量預(yù)測模型訓(xùn)練得到的預(yù)測結(jié)果ρtk ~,將狀態(tài)表示為st ={ρtk ~}。

    ② 動作(action):動作at 是決定所有基站在t時刻的工作模式,其中:

    ③ 獎勵函數(shù)(Reward):為了評估當(dāng)前的基站開關(guān)策略,將在狀態(tài)s 下采取動作a 獲得的瞬時獎勵作為判斷依據(jù)。系統(tǒng)在一個小時內(nèi)的獎勵由所有基站的能耗和用戶QoS 下降成本組成。獎勵函數(shù)如式(8)所示:

    3. 4 Multi-DQN 訓(xùn)練過程

    為了提高強化學(xué)習(xí)模型的訓(xùn)練速度,進(jìn)一步提升基站動態(tài)開關(guān)模型的性能,采用Multi-DQN 算法求解基站動態(tài)開關(guān)問題。完整的Multi-DQN 訓(xùn)練過程如算法1 所示。

    在每一步訓(xùn)練過程中,蜂窩網(wǎng)絡(luò)都會向Q 網(wǎng)絡(luò)發(fā)送當(dāng)前所有用戶的移動流量狀態(tài)。由此,得到在該狀態(tài)下的全部基站進(jìn)行開關(guān)切換所對應(yīng)的Q 值。算法第6 行說明多個DQN 在并行訓(xùn)練;第7 行~15 行是基于ε-greedy 算法對單個DQN 進(jìn)行判定的步驟。具體來說就是,當(dāng)隨機(jī)數(shù)小于ε 時,會隨機(jī)生成一個[0,1]的數(shù)字。假設(shè)該數(shù)值小于ε,該步驟將采取具有最大Q 值的動作進(jìn)行操作,否則將隨機(jī)采取一個動作?;鹃_關(guān)狀態(tài)發(fā)生變化以后,蜂窩網(wǎng)絡(luò)將基于能耗、QoS 下降成本的獎勵反饋給DQN 代理,并進(jìn)入到新的狀態(tài),產(chǎn)生一條數(shù)據(jù)保存到經(jīng)驗回放緩沖區(qū)。在該算法中,第11 行~13 行為DQN 的Q網(wǎng)絡(luò)參數(shù)更新過程,它通過對少量采樣數(shù)據(jù)的丟失進(jìn)行計算,并通過梯度下降來調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)的參數(shù)θ。第14 行為Q 目標(biāo)網(wǎng)絡(luò)和Q 網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的參數(shù)以C 為間隔進(jìn)行同步的過程。

    4 模型性能分析

    本節(jié)主要包括三部分:數(shù)據(jù)集描述、參數(shù)設(shè)置及實驗環(huán)境、模型性能。

    4. 1 數(shù)據(jù)集描述

    本文所用數(shù)據(jù)為某區(qū)域4G 流量數(shù)據(jù),對每小時空口總流量(單位為GB)進(jìn)行分析處理。數(shù)據(jù)集分為兩部分,其中2021 年11 月19 日—2021 年12 月18 日每小時測得的數(shù)據(jù)(共720 條)為訓(xùn)練集,2021 年12 月19 日每小時測得的數(shù)據(jù)(共24 條)為測試集。

    4. 2 參數(shù)設(shè)置及實驗環(huán)境

    本文首先將3×3 個柵格劃分為一個區(qū)域,整個區(qū)域被分為4 個子區(qū)域,每個子區(qū)域都有一個DQN代理獨立地控制基站的開關(guān)狀態(tài)。然后,將每個柵格劃分為100 個50 m×50 m 的小柵格。本文采用KNN 算法將每個小柵格關(guān)聯(lián)到距離最近的基站,以小時為單位,將基站流量均分到所有關(guān)聯(lián)的小柵格。最后統(tǒng)計每個柵格所有小柵格的流量和,作為該柵格的流量。

    實驗環(huán)境的硬件配置為:Intel(R)Core(TM)i9-10940X CPU @ 3. 30 GHz,GPU RTX3090,24 GB 顯存;軟件配置為:Python3. 8,pytorch2. 0. 1+CUDA11. 7CUDNN 8. 2. 4;CPU 內(nèi)存128 GB。

    4. 3 模型性能

    本小節(jié)主要分為流量預(yù)測和強化學(xué)習(xí)兩部分。

    4. 3. 1 流量預(yù)測性能

    ① 基于DenseNet 的基站流量預(yù)測值和真實值對比(某一個區(qū)域29 個基站下平均效果)如圖2 所示,可以看出,DenseNet 模型在整體預(yù)測性能上表現(xiàn)良好,但是,在網(wǎng)絡(luò)流量高峰時刻,模型的預(yù)測結(jié)果(densenet_result)出現(xiàn)了一些與真實值(ground_truth)略微不一致的情況。這可能是由于模型在高峰時刻的數(shù)據(jù)特性、復(fù)雜性或非線性動態(tài)變化方面存在一定的挑戰(zhàn),導(dǎo)致預(yù)測精度在此時段稍有波動。

    ② 某一個區(qū)域29 個基站下平均預(yù)測效果DenseNet 與其他算法對比結(jié)果如表2 所示。此次實驗以均方誤差(Mean Square Error,MSE)作為評價指標(biāo)。實驗結(jié)果表明,Holt-winter 模型[19]得到的MSE為6. 844 5,表現(xiàn)最差;其次是LSTM[20]和ARIMA[21]模型,MSE 分別為5. 760 5 和3. 538 1;而XGBoost[22]模型和DenseNet 模型的表現(xiàn)最好,其中DenseNet 模型以1. 821 2 的MSE 表現(xiàn)最為出色,XGboost 模型的MSE 為2. 251 8,表現(xiàn)次之。

    在此次實驗中,XGBoost 和DenseNet 在流量預(yù)測任務(wù)中具有較好的性能,可能的原因在于這兩種模型均具有較強的特征學(xué)習(xí)和抽象能力,能夠有效地捕捉到數(shù)據(jù)中的復(fù)雜模式和關(guān)聯(lián)關(guān)系。與之相比,ARIMA 和Holt-winters 是傳統(tǒng)的時間序列模型,通常對于復(fù)雜的時間序列模式表現(xiàn)較差。

    4. 3. 2 強化學(xué)習(xí)性能

    ① 本文選取了市區(qū)內(nèi)高校區(qū)、居民區(qū)和商業(yè)區(qū)三個區(qū)域作為實驗場景,模型訓(xùn)練結(jié)果曲線如圖3所示。三個不同的區(qū)域都隨著訓(xùn)練輪次的增加,模型收斂至穩(wěn)定。其中,居民區(qū)的收斂趨勢最快,在第150 輪次就逐漸開始收斂。由于居民區(qū)相對于高校區(qū)和商業(yè)區(qū)來說,網(wǎng)絡(luò)環(huán)境通常更簡單,具有較低的復(fù)雜性。這種低復(fù)雜性使得強化學(xué)習(xí)智能體更容易學(xué)習(xí)和優(yōu)化基站的開關(guān)策略,因此,學(xué)習(xí)模型的收斂速度相對而言會更快。

    ② Multi-DQN 與其他算法在某一個區(qū)域29 個基站的平均節(jié)能效果對比結(jié)果如表3 所示。

    從對比結(jié)果來看,與啟發(fā)式算法和Multi-DQN算法相比,基站全開策略最不理想,能耗最大,大約為11 578 W;啟發(fā)式算法與Multi-DQN 算法的能耗結(jié)果分別為7 243 W 和7 165 W,因此,Multi-DQN算法比啟發(fā)式算法節(jié)能效果更好。Multi-DQN 相對于啟發(fā)式算法在節(jié)能方面的優(yōu)勢在于其能夠進(jìn)行全局優(yōu)化,具有自適應(yīng)性和學(xué)習(xí)能力;同時,其并行化訓(xùn)練和廣泛的策略空間探索使其能夠更有效地發(fā)現(xiàn)并優(yōu)化節(jié)能策略,為復(fù)雜的節(jié)能問題提供了更為有效的解決方案。而啟發(fā)式算法通常以簡單規(guī)則或既往經(jīng)驗為基礎(chǔ),性能受限于搜索空間的局部最優(yōu)解問題,可能無法提供足夠準(zhǔn)確的解決方案,尤其在復(fù)雜、不確定性高的情況下,算法表現(xiàn)可能不穩(wěn)定且難以調(diào)優(yōu)。

    總的來說,Multi-DQN 算法相對基站全開策略和啟發(fā)式算法而言,效果比較好。該算法與當(dāng)前使用的基站常開策略相比,能夠節(jié)約37% 的能量消耗,且優(yōu)于傳統(tǒng)啟發(fā)式算法。

    5 結(jié)束語

    本文提出了一種基于流量預(yù)測的Multi-DQN 基站動態(tài)開關(guān)模型,用于蜂窩網(wǎng)絡(luò)的節(jié)能。利用DenseNet 預(yù)測移動流量,而后,基于精確的移動流量預(yù)測,將基站開關(guān)控制問題建模為一個MDP 過程,以考慮用戶QoS 下降成本來最小化長期的能量消耗。為了解決MDP 問題,本文采用了Multi-DQN深度強化學(xué)習(xí)方法求解。最后,通過對真實區(qū)域數(shù)據(jù)集的大量實驗,證明了所提模型的有效性。本文的主要研究目標(biāo)在于通過一系列的創(chuàng)新性工作,降低基站的能源消耗,以實現(xiàn)通信基站節(jié)能的目標(biāo)。

    參考文獻(xiàn)

    [1] MARSAN M A,CHIARAVIGLIO L,CIULLO D,et al. Optimal Energy Savings in Cellular Access Networks[C]∥2009 IEEE International Conference on CommunicationsWorkshops. Dresden:IEEE,2009:1-5.

    [2] BEITELMAL T,YANIKOMEROGLU H. A Set CoverBased Algorithm for Cell Switchoff with Different CellSorting Criteria[C]∥2014 IEEE International Conferenceon Communications Workshops (ICC). Sydney:IEEE,2014:641-646.

    [3] GONG J,ZHOU S,YANG Z X,et al. Green MobileAccess Network with Dynamic Base Station Energy Saving[J]. Ice Technical Report Internet Architecture,2009,109(262):25-29.

    [4] 鄭佳歡,向勇. 基于個性化場景的5G 基站節(jié)能方法[J]. 移動通信,2021,45(3):91-96.

    [5] LIU C,WAN Y,TIAN L,et al. Base Station SleepingControl with Energystability Tradeoff in Centralized RadioAccess Networks[C]∥2015 IEEE Global CommunicationsConference(GLOBECOM). San Diego:IEEE,2015:1-6.

    [6] CHANDHAR P,DAS S S. Energy Saving in OFDMA Cellular Networks with Multiobjective Optimization [C]∥2014 IEEE International Conference on Communications(ICC). Sydney:IEEE,2014:3951-3956.

    [7] ALQASIR A M,KAMAL A E. Cooperative Small CellHetNets with Dynamic Sleeping and Energy Harvesting[J]. IEEE Transactions on Green Communications andNetworking,2020,4(3):774-782.

    [8] KIM J,JEON W S,JEONG D G. Basestation Sleep Management in Openaccess Femtocell Networks[J]. IEEE Transactions on Vehicular Technology,2016,65(5):3786-3791.

    [9] ZHENG J C,CAI Y M,CHEN X F,et al. Optimal BaseStation Sleeping in Green Cellular Networks:A DistributedCooperative Framework Based on Game Theory[J]. IEEETransactions on Wireless Communications,2015,14(8):4391-4406.

    [10]XU X D,YUAN C J,CHEN W W,et al. Adaptive Cell Zooming and Sleeping for Green Heterogeneous UltradenseNetworks[J]. IEEE Transactions on Vehicular Technology,2018,67(2):1612-1621.

    [11]LIN J S,CHEN Y J,ZHENG H F,et al. A DatadrivenBase Station Sleeping Strategy Based on Traffic Prediction[J/ OL]. IEEE Transactions on Network Science and Engineering(2021-09-02)[2024-02-10]. https:∥ieeexplore. ieee. org/ document/9528008.

    [12]LIU J C,KRISHNAMACHARI B,ZHOU S,et al.DeepNap:Datadriven Base Station Sleeping OperationsThrough Deep Reinforcement Learning[J]. IEEE Internetof Things Journal,2018,5(6):4273-4282.

    [13]曾德澤,李躍鵬,趙宇陽,等. 基于強化學(xué)習(xí)的高能效基站動態(tài)調(diào)度方法[J]. 計算機(jī)科學(xué),2021,48(11):363-371.

    [14]LI R P,ZHAO Z F,CHEN X F,et al. TACT:A TransferActorcritic Learning Framework for Energy Saving in Cellular Radio Access Networks[J]. IEEE Transactions onWireless Communications,2014,13(4):2000-2011.

    [15]楊馥瑜,趙東. 基于深度強化學(xué)習(xí)的基站休眠控制算法[EB/ OL]. (2015-02-10)[2024-02-10]. https:∥www. paper. edu. cn/ releasepaper/ content/202302-58.

    [16]LI R P,ZHAO Z F,WEI Y,et al. GMPAB:A GridbasedEnergy Saving Scheme with Predicted Traffic Load Guidance for Cellular Networks[C]∥2012 IEEE InternationalConference on Communications (ICC). Ottawa:IEEE,2012:1160-1164.

    [17]WU Q,CHEN X,ZHOU Z,et al. Deep ReinforcementLearning with Spatiotemporal Traffic Forecasting forDatadriven Base Station Sleep Control[J]. IEEE/ ACMTransactions on Networking,2021,29(2):935-948.

    [18]馬冀,林尚靜,李月穎,等. 多源跨域數(shù)據(jù)融合的無線通信網(wǎng)絡(luò)流量預(yù)測[J]. 計算機(jī)科學(xué),2022,49(增刊2):893-899.

    [19]CHATFIELD C. The Holtwinters Forecasting Procedure[J]. Journal of the Royal Statistical Society Series C:Applied Statistics,1978,27(3):264-279.

    [20]DENG C,ZHU C. Shortterm Traffic Velocity PredictionBased on LSTM Neural Networks[C]∥2023 IEEE 6thInternational Conference on Knowledge Innovation andInvention (ICKII). Sapporo:IEEE,2023:634-638.

    [21]DENG L J,RUAN K,CHEN X,et al. An IP NetworkTraffic Prediction Method Based on ARIMA andNBEATS[C]∥2022 IEEE 4th International Conferenceon Power,Intelligent Computing and Systems (ICPICS).Shenyang:IEEE,2022:336-341.

    [22]BOSE S,GAYNAR K,SINGH S P. Breast CancerDetection by Data Visualization and Feature SelectionUsing XG Boost Algorithm[C]∥2022 International Conference on Signal and Information Processing (IConSIP).Pune:IEEE,2022:1-6.

    作者簡介:

    王 瑜 男,(1983—),碩士,高級工程師。主要研究方向:無線移動網(wǎng)、物聯(lián)網(wǎng)、人工智能、網(wǎng)絡(luò)創(chuàng)新支撐等。

    范燕琳 女,(1991—),博士,工程師。主要研究方向:網(wǎng)絡(luò)智慧運營、網(wǎng)絡(luò)運維數(shù)字化轉(zhuǎn)型。

    孫洋洋 男,(1990—),碩士,工程師。主要研究方向:網(wǎng)絡(luò)運維數(shù)字化轉(zhuǎn)型。

    熊建勝 男,(1989—),碩士,工程師。主要研究方向:智能運維人工智能算法。

    蔣 濤 男,(1993—),工程師。主要研究方向:基站機(jī)房節(jié)能。

    周 瑩 女,(1988—),碩士,工程師。主要研究方向:網(wǎng)絡(luò)智慧運營、人工智能。

    韓志博 女,(2000—),碩士研究生。主要研究方向:無線通信。

    李子怡 女,(2000—),碩士研究生。主要研究方向:無線通信。

    王振乾 男,(1999—),博士研究生。主要研究方向:大數(shù)據(jù)、人工智能算法。

    基金項目:2023 年中國聯(lián)通智網(wǎng)創(chuàng)新中心基于AI 的基站與接入機(jī)房節(jié)能算法模型研究及應(yīng)用研發(fā)項目

    猜你喜歡
    網(wǎng)絡(luò)基站深度
    深度理解一元一次方程
    深度觀察
    深度觀察
    深度觀察
    可惡的“偽基站”
    油氣集輸系統(tǒng)信息化發(fā)展形勢展望
    基于網(wǎng)絡(luò)的信息資源組織與評價現(xiàn)狀及發(fā)展趨勢研究
    基于網(wǎng)絡(luò)的中學(xué)閱讀指導(dǎo)
    考試周刊(2016年79期)2016-10-13 21:50:36
    新形勢下地市報如何運用新媒體走好群眾路線
    中國記者(2016年6期)2016-08-26 13:02:28
    基于GSM基站ID的高速公路路徑識別系統(tǒng)
    天美传媒精品一区二区| 日韩成人伦理影院| 热re99久久精品国产66热6| 国产色爽女视频免费观看| 97精品久久久久久久久久精品| 嫩草影院新地址| 丝袜脚勾引网站| 极品少妇高潮喷水抽搐| 国产在线一区二区三区精| 观看免费一级毛片| 久久久久久久久久人人人人人人| 亚洲国产高清在线一区二区三| 免费av不卡在线播放| 国产 一区精品| 久久99精品国语久久久| 嫩草影院精品99| 国产片特级美女逼逼视频| 亚洲国产精品国产精品| 在线观看免费高清a一片| 91在线精品国自产拍蜜月| 免费在线观看成人毛片| 国产国拍精品亚洲av在线观看| 亚洲国产最新在线播放| 中文字幕人妻熟人妻熟丝袜美| 特级一级黄色大片| 亚洲精品日韩av片在线观看| 久久99精品国语久久久| av在线观看视频网站免费| 亚洲人成网站在线观看播放| 三级男女做爰猛烈吃奶摸视频| 国产毛片在线视频| 久久鲁丝午夜福利片| 国产精品久久久久久精品古装| 少妇人妻一区二区三区视频| 欧美变态另类bdsm刘玥| 免费看日本二区| 国产精品久久久久久精品电影小说 | 禁无遮挡网站| 亚洲婷婷狠狠爱综合网| 最近中文字幕高清免费大全6| 国产成人福利小说| 成人国产av品久久久| 我的老师免费观看完整版| 精品一区二区免费观看| 春色校园在线视频观看| 黄色欧美视频在线观看| 亚洲激情五月婷婷啪啪| 搡老乐熟女国产| 简卡轻食公司| 看黄色毛片网站| 久久久久久九九精品二区国产| 又粗又硬又长又爽又黄的视频| 日本一二三区视频观看| 大又大粗又爽又黄少妇毛片口| 熟女电影av网| 国产亚洲91精品色在线| 少妇 在线观看| 波多野结衣巨乳人妻| 中文天堂在线官网| 青春草亚洲视频在线观看| 国产黄色视频一区二区在线观看| 天堂网av新在线| 亚洲精品一二三| 欧美xxⅹ黑人| 日韩成人伦理影院| 日本熟妇午夜| 国产午夜福利久久久久久| 日日摸夜夜添夜夜添av毛片| 在线精品无人区一区二区三 | 午夜福利视频1000在线观看| 日本猛色少妇xxxxx猛交久久| 国产成年人精品一区二区| 九九久久精品国产亚洲av麻豆| 最新中文字幕久久久久| 只有这里有精品99| 日韩伦理黄色片| 国产一区二区三区av在线| 国产亚洲5aaaaa淫片| 日本与韩国留学比较| 中文欧美无线码| 免费播放大片免费观看视频在线观看| 蜜臀久久99精品久久宅男| 精品久久久久久电影网| 久久ye,这里只有精品| 免费观看的影片在线观看| 99热全是精品| 热re99久久精品国产66热6| 男女无遮挡免费网站观看| 日韩视频在线欧美| 成人欧美大片| 神马国产精品三级电影在线观看| 国产av国产精品国产| 欧美成人午夜免费资源| 国产老妇女一区| 亚洲精品乱久久久久久| 国产精品99久久99久久久不卡 | 午夜免费鲁丝| 中文精品一卡2卡3卡4更新| 欧美日韩国产mv在线观看视频 | 亚洲电影在线观看av| 免费电影在线观看免费观看| 在线免费十八禁| 小蜜桃在线观看免费完整版高清| av国产免费在线观看| 亚洲欧美日韩卡通动漫| 精品久久久噜噜| 亚洲激情五月婷婷啪啪| 91久久精品国产一区二区成人| 日本三级黄在线观看| 欧美区成人在线视频| 国产精品一及| 人妻系列 视频| 久久精品国产亚洲av涩爱| 男女下面进入的视频免费午夜| 在线观看免费高清a一片| av在线app专区| 亚洲欧美精品自产自拍| 18禁在线播放成人免费| 日日啪夜夜爽| 国产乱人视频| 欧美激情在线99| 亚洲av在线观看美女高潮| 一级毛片黄色毛片免费观看视频| 一级毛片电影观看| 特大巨黑吊av在线直播| 日本黄大片高清| 色吧在线观看| 最近中文字幕高清免费大全6| 日韩欧美精品免费久久| 亚洲综合精品二区| 久久久久久久久久久丰满| 夫妻性生交免费视频一级片| 国产精品av视频在线免费观看| 91久久精品国产一区二区成人| 99热这里只有精品一区| 中文字幕人妻熟人妻熟丝袜美| 免费电影在线观看免费观看| 国产亚洲午夜精品一区二区久久 | 亚洲精华国产精华液的使用体验| 人人妻人人看人人澡| 日韩,欧美,国产一区二区三区| 永久网站在线| 亚洲美女视频黄频| 又粗又硬又长又爽又黄的视频| 欧美成人a在线观看| 亚洲图色成人| 成人亚洲精品一区在线观看 | 中文字幕av成人在线电影| 99热网站在线观看| 嫩草影院新地址| 久久久久久久国产电影| 少妇高潮的动态图| 亚洲天堂av无毛| 久久影院123| 秋霞在线观看毛片| 18+在线观看网站| 在线观看av片永久免费下载| 各种免费的搞黄视频| 国产在视频线精品| 欧美日韩综合久久久久久| 欧美日韩精品成人综合77777| 男女国产视频网站| 久久精品久久久久久久性| 亚洲性久久影院| 自拍偷自拍亚洲精品老妇| 欧美一区二区亚洲| 久久精品久久久久久久性| 国产成人freesex在线| 看非洲黑人一级黄片| 成人漫画全彩无遮挡| 又爽又黄无遮挡网站| 看免费成人av毛片| 国产午夜精品久久久久久一区二区三区| 国产高清国产精品国产三级 | 国产久久久一区二区三区| 久久女婷五月综合色啪小说 | 中文乱码字字幕精品一区二区三区| 蜜桃久久精品国产亚洲av| 国产欧美日韩精品一区二区| 国内精品美女久久久久久| 国产精品国产三级国产av玫瑰| 国模一区二区三区四区视频| 别揉我奶头 嗯啊视频| 国产毛片在线视频| 午夜福利在线在线| 国产国拍精品亚洲av在线观看| 噜噜噜噜噜久久久久久91| av国产精品久久久久影院| 99热这里只有是精品在线观看| 一级毛片aaaaaa免费看小| 尾随美女入室| 国内精品美女久久久久久| 久久精品人妻少妇| 99久久精品热视频| 我要看日韩黄色一级片| 亚洲综合精品二区| 男人狂女人下面高潮的视频| 欧美一级a爱片免费观看看| 国产探花极品一区二区| 熟女电影av网| 日韩av在线免费看完整版不卡| 高清av免费在线| 国产 精品1| 午夜免费男女啪啪视频观看| 亚洲精品自拍成人| 激情 狠狠 欧美| 国产中年淑女户外野战色| 久久精品国产a三级三级三级| 黄色欧美视频在线观看| 18+在线观看网站| 日韩人妻高清精品专区| 日日撸夜夜添| 免费大片18禁| 51国产日韩欧美| 日韩成人伦理影院| 3wmmmm亚洲av在线观看| 日韩成人av中文字幕在线观看| 女的被弄到高潮叫床怎么办| 国产一区二区三区综合在线观看 | 伊人久久精品亚洲午夜| 国产伦精品一区二区三区视频9| 日韩欧美精品免费久久| 久热这里只有精品99| 成年女人看的毛片在线观看| 中文字幕av成人在线电影| 久久影院123| 国产爽快片一区二区三区| 国产免费福利视频在线观看| 99久久精品热视频| 我要看日韩黄色一级片| 在线免费观看不下载黄p国产| 免费黄色在线免费观看| 国产探花极品一区二区| 99久久中文字幕三级久久日本| 2021少妇久久久久久久久久久| 久热这里只有精品99| 国产极品天堂在线| 亚洲av电影在线观看一区二区三区 | 免费看av在线观看网站| 精品亚洲乱码少妇综合久久| 国产精品国产av在线观看| 国产av码专区亚洲av| 日本色播在线视频| 男男h啪啪无遮挡| 亚洲精品国产av蜜桃| 免费大片黄手机在线观看| 日本色播在线视频| av在线播放精品| 欧美极品一区二区三区四区| 三级经典国产精品| 日韩不卡一区二区三区视频在线| 亚洲,一卡二卡三卡| 美女视频免费永久观看网站| 久久鲁丝午夜福利片| 成人国产麻豆网| 嫩草影院入口| 在线观看一区二区三区激情| 在线天堂最新版资源| 亚州av有码| 亚洲最大成人手机在线| 极品教师在线视频| av福利片在线观看| 日韩三级伦理在线观看| av在线播放精品| 久久精品久久久久久久性| 美女被艹到高潮喷水动态| 看十八女毛片水多多多| 亚洲怡红院男人天堂| 国产精品久久久久久av不卡| 亚洲图色成人| 一级毛片黄色毛片免费观看视频| av免费在线看不卡| av卡一久久| 新久久久久国产一级毛片| 欧美最新免费一区二区三区| 精品一区二区免费观看| 亚洲精品国产av成人精品| 大又大粗又爽又黄少妇毛片口| 中文天堂在线官网| 久久久精品欧美日韩精品| 亚洲成人一二三区av| 亚洲成人av在线免费| 国产一区亚洲一区在线观看| 亚洲欧美清纯卡通| 午夜免费男女啪啪视频观看| 久久久久久国产a免费观看| 国产在线一区二区三区精| 国产精品偷伦视频观看了| 一本一本综合久久| 99精国产麻豆久久婷婷| 精品少妇久久久久久888优播| 成人欧美大片| www.色视频.com| 性色av一级| 交换朋友夫妻互换小说| 男人爽女人下面视频在线观看| 黄色配什么色好看| 午夜免费鲁丝| 日韩视频在线欧美| 日本午夜av视频| 午夜福利视频1000在线观看| 看免费成人av毛片| 一边亲一边摸免费视频| 久久精品国产亚洲av天美| 少妇人妻一区二区三区视频| 热re99久久精品国产66热6| 青春草亚洲视频在线观看| 国产大屁股一区二区在线视频| 少妇丰满av| 国产亚洲一区二区精品| 久久99蜜桃精品久久| 熟女人妻精品中文字幕| 久久热精品热| 国产成人aa在线观看| 在线看a的网站| 好男人视频免费观看在线| 在线精品无人区一区二区三 | 18禁裸乳无遮挡免费网站照片| kizo精华| av天堂中文字幕网| 在线播放无遮挡| 亚洲精品乱码久久久久久按摩| 亚洲aⅴ乱码一区二区在线播放| 老师上课跳d突然被开到最大视频| 日本黄大片高清| 校园人妻丝袜中文字幕| 国产成人精品一,二区| 神马国产精品三级电影在线观看| 91精品伊人久久大香线蕉| 成人欧美大片| 成人国产麻豆网| 黄色视频在线播放观看不卡| 亚洲成色77777| 五月玫瑰六月丁香| 成人亚洲精品av一区二区| 午夜福利高清视频| 亚洲国产最新在线播放| 久久久欧美国产精品| 五月伊人婷婷丁香| 春色校园在线视频观看| 日韩成人伦理影院| 亚洲自偷自拍三级| 女人被狂操c到高潮| 在线天堂最新版资源| 视频中文字幕在线观看| 国产一级毛片在线| 成人毛片60女人毛片免费| 女人十人毛片免费观看3o分钟| 久热这里只有精品99| 亚洲伊人久久精品综合| 韩国高清视频一区二区三区| 亚洲第一区二区三区不卡| 国产高清有码在线观看视频| 男女那种视频在线观看| 国产亚洲5aaaaa淫片| av卡一久久| 赤兔流量卡办理| 在线观看一区二区三区| 亚洲精品日本国产第一区| 特级一级黄色大片| 亚洲av男天堂| 国产视频内射| 夫妻性生交免费视频一级片| 欧美zozozo另类| 欧美+日韩+精品| av在线天堂中文字幕| 免费看不卡的av| 亚洲精品国产成人久久av| 亚洲人成网站在线观看播放| 18禁在线播放成人免费| 人妻制服诱惑在线中文字幕| 欧美成人a在线观看| 亚洲av二区三区四区| 少妇猛男粗大的猛烈进出视频 | 亚洲av电影在线观看一区二区三区 | 又大又黄又爽视频免费| 亚洲美女搞黄在线观看| 菩萨蛮人人尽说江南好唐韦庄| 丝瓜视频免费看黄片| 亚洲av成人精品一二三区| av线在线观看网站| 一级毛片 在线播放| 国产色爽女视频免费观看| 黑人高潮一二区| 成人综合一区亚洲| 男女边吃奶边做爰视频| 国产精品不卡视频一区二区| 最近中文字幕高清免费大全6| 看免费成人av毛片| 一区二区三区免费毛片| 国产毛片a区久久久久| 国产综合精华液| 在线精品无人区一区二区三 | 18禁动态无遮挡网站| 少妇丰满av| 国产在线一区二区三区精| 久久久久久伊人网av| 丝袜喷水一区| 日本猛色少妇xxxxx猛交久久| a级一级毛片免费在线观看| 精品一区在线观看国产| 中国美白少妇内射xxxbb| 综合色丁香网| 国产成人freesex在线| 女人十人毛片免费观看3o分钟| 伦理电影大哥的女人| 嫩草影院入口| 日本黄大片高清| 乱系列少妇在线播放| 婷婷色麻豆天堂久久| 日韩一区二区三区影片| eeuss影院久久| 久久精品国产a三级三级三级| 亚洲av.av天堂| 久久久a久久爽久久v久久| 午夜激情久久久久久久| 免费看不卡的av| 综合色丁香网| 夫妻性生交免费视频一级片| 好男人在线观看高清免费视频| 精品人妻偷拍中文字幕| 又爽又黄无遮挡网站| 又大又黄又爽视频免费| 直男gayav资源| 99久久精品热视频| 欧美97在线视频| 久久久精品94久久精品| 精品少妇黑人巨大在线播放| 少妇猛男粗大的猛烈进出视频 | 99热6这里只有精品| 亚洲成人精品中文字幕电影| 亚洲av不卡在线观看| 九九久久精品国产亚洲av麻豆| 国产色爽女视频免费观看| 2018国产大陆天天弄谢| 人人妻人人爽人人添夜夜欢视频 | 亚洲国产av新网站| 国产一区有黄有色的免费视频| 午夜激情久久久久久久| 国产伦理片在线播放av一区| 在线观看免费高清a一片| 在线天堂最新版资源| 丝袜脚勾引网站| 亚洲精品,欧美精品| 中文字幕制服av| 久久久久久伊人网av| 国产淫语在线视频| av在线天堂中文字幕| 国产毛片a区久久久久| 18禁裸乳无遮挡免费网站照片| 国产精品一区二区性色av| 亚洲精品成人av观看孕妇| 婷婷色综合大香蕉| 在线观看人妻少妇| av一本久久久久| 亚洲欧美日韩东京热| 亚洲国产最新在线播放| 国产乱人视频| 亚洲国产成人一精品久久久| 日韩三级伦理在线观看| 久久亚洲国产成人精品v| 国产免费视频播放在线视频| 寂寞人妻少妇视频99o| 少妇熟女欧美另类| 日韩不卡一区二区三区视频在线| 精品一区二区三卡| 欧美性感艳星| 欧美最新免费一区二区三区| 亚洲精品成人久久久久久| 国产91av在线免费观看| 啦啦啦在线观看免费高清www| 国产成人午夜福利电影在线观看| 少妇猛男粗大的猛烈进出视频 | 欧美丝袜亚洲另类| 搡女人真爽免费视频火全软件| 国产成人精品一,二区| 久久久精品欧美日韩精品| 五月开心婷婷网| 男人和女人高潮做爰伦理| freevideosex欧美| 国产久久久一区二区三区| 国产成人精品婷婷| 内射极品少妇av片p| 好男人视频免费观看在线| 91久久精品电影网| 18禁动态无遮挡网站| 亚州av有码| 91精品一卡2卡3卡4卡| 在线观看免费高清a一片| 在线看a的网站| 欧美3d第一页| 亚洲av男天堂| 97超碰精品成人国产| 久久韩国三级中文字幕| 边亲边吃奶的免费视频| 男人狂女人下面高潮的视频| 一本色道久久久久久精品综合| 另类亚洲欧美激情| 一个人观看的视频www高清免费观看| 亚洲欧美一区二区三区黑人 | 亚洲欧美日韩另类电影网站 | 精品久久久久久久久av| 久久久久国产网址| 99久久精品国产国产毛片| 久久99精品国语久久久| 新久久久久国产一级毛片| 91久久精品国产一区二区三区| 成年版毛片免费区| 最近2019中文字幕mv第一页| 看非洲黑人一级黄片| 亚洲三级黄色毛片| av在线播放精品| 日本黄大片高清| 亚洲精品中文字幕在线视频 | 纵有疾风起免费观看全集完整版| 欧美 日韩 精品 国产| 丰满人妻一区二区三区视频av| 另类亚洲欧美激情| 一区二区三区免费毛片| 亚洲av国产av综合av卡| 又爽又黄a免费视频| 欧美少妇被猛烈插入视频| 国产精品.久久久| 在线 av 中文字幕| 国产一区二区在线观看日韩| 一级毛片aaaaaa免费看小| 国产av国产精品国产| 麻豆久久精品国产亚洲av| 蜜桃亚洲精品一区二区三区| 国产成人精品婷婷| 国产成人精品福利久久| 亚洲成人久久爱视频| 亚洲欧洲国产日韩| 小蜜桃在线观看免费完整版高清| 久久午夜福利片| 亚洲一区二区三区欧美精品 | 欧美少妇被猛烈插入视频| 亚洲色图av天堂| 最近的中文字幕免费完整| 久久99热这里只有精品18| 人人妻人人看人人澡| videossex国产| 汤姆久久久久久久影院中文字幕| 中文在线观看免费www的网站| 18禁在线播放成人免费| 午夜福利在线观看免费完整高清在| 成年免费大片在线观看| 亚洲精品色激情综合| 天天一区二区日本电影三级| 国产老妇伦熟女老妇高清| 黄片wwwwww| 美女被艹到高潮喷水动态| 男男h啪啪无遮挡| 亚洲av中文av极速乱| 亚洲天堂国产精品一区在线| 一级毛片久久久久久久久女| 日本免费在线观看一区| 成人鲁丝片一二三区免费| 国产男人的电影天堂91| 久久久久国产网址| 国产黄色视频一区二区在线观看| 国产精品久久久久久精品电影| 熟女av电影| 国内精品宾馆在线| 26uuu在线亚洲综合色| a级一级毛片免费在线观看| 精品久久久久久久末码| 国产精品福利在线免费观看| 欧美一级a爱片免费观看看| 亚洲,一卡二卡三卡| 中文字幕av成人在线电影| 伊人久久国产一区二区| 免费大片18禁| 亚洲精品aⅴ在线观看| 国产91av在线免费观看| 噜噜噜噜噜久久久久久91| av.在线天堂| 18禁动态无遮挡网站| 丰满乱子伦码专区| 夜夜看夜夜爽夜夜摸| 欧美成人精品欧美一级黄| 国产亚洲午夜精品一区二区久久 | 免费黄色在线免费观看| 免费电影在线观看免费观看| 免费看光身美女| 乱系列少妇在线播放| 美女国产视频在线观看| 99re6热这里在线精品视频| 国产人妻一区二区三区在| 亚洲伊人久久精品综合| 欧美激情国产日韩精品一区| 在线 av 中文字幕| 久久99热这里只有精品18| 亚洲,欧美,日韩| 简卡轻食公司| 七月丁香在线播放| 成人高潮视频无遮挡免费网站| 国产成人aa在线观看| 成人国产av品久久久| 嫩草影院入口| av播播在线观看一区| 久久精品熟女亚洲av麻豆精品| 国产免费一区二区三区四区乱码| 日韩欧美精品v在线| 一级毛片aaaaaa免费看小| 午夜老司机福利剧场| 婷婷色综合大香蕉| 欧美高清成人免费视频www| 在现免费观看毛片| 久久99热这里只有精品18| 国产探花极品一区二区| 久久久久国产精品人妻一区二区| 亚洲精品乱久久久久久| 成年版毛片免费区| 免费看av在线观看网站|