• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    異構(gòu)網(wǎng)絡(luò)中用戶關(guān)聯(lián)和功率控制的協(xié)同優(yōu)化*

    2021-07-28 10:08:30菅迎賓
    電訊技術(shù) 2021年7期
    關(guān)鍵詞:異構(gòu)信道關(guān)聯(lián)

    樊 雯,陳 騰,菅迎賓

    (石家莊鐵路職業(yè)技術(shù)學(xué)院 信息工程系,石家莊 050041)

    0 引 言

    當(dāng)前數(shù)據(jù)信息傳輸網(wǎng)絡(luò)結(jié)構(gòu)中,異構(gòu)網(wǎng)絡(luò)可有效滿足移動數(shù)據(jù)流量需求的爆炸性增長,并兼具密集部署和異構(gòu)特性[1]。與傳統(tǒng)同質(zhì)網(wǎng)絡(luò)相比,異構(gòu)網(wǎng)絡(luò)由宏基站、微基站、皮基站和飛基站等不同類型基站(Base Station,BS)組成,且各基站的發(fā)射功率、基站密度和數(shù)據(jù)傳輸速率均不同[2-3]。目前,隨著移動設(shè)備數(shù)量的不斷增加,由于上行鏈路異構(gòu)網(wǎng)絡(luò)的頻譜共享策略,用戶設(shè)備(User Equipment,UE)間的干擾逐漸加重[4]。因此,當(dāng)前主流無線通信標(biāo)準(zhǔn)均已采用基于正交頻分多址(Orthogonal Frequency Division Multiple Access,OFDMA)的異構(gòu)網(wǎng)絡(luò)[5]。另外,隨著UE的增加,異構(gòu)網(wǎng)絡(luò)的上行干擾也將逐漸明顯[6]。因此,為進(jìn)一步提高網(wǎng)絡(luò)系統(tǒng)傳輸性能和用戶體驗,開展用戶關(guān)聯(lián)和功率控制的協(xié)同優(yōu)化是異構(gòu)網(wǎng)絡(luò)研究中的重要主題[7]。

    針對異構(gòu)網(wǎng)絡(luò)中用戶關(guān)聯(lián)和功率控制問題,眾多專家學(xué)者對此進(jìn)行了大量研究。文獻(xiàn)[8]通過研究主要用戶和次要用戶間的上行通信鏈路能量效率,提出了一種基于凸優(yōu)化理論的迭代算法,能夠有效提高用戶間的網(wǎng)絡(luò)通信平衡。文獻(xiàn)[9]基于非合作博弈理論,通過計算異構(gòu)網(wǎng)絡(luò)系統(tǒng)的吞吐量,提出了一種適用于異構(gòu)網(wǎng)絡(luò)的聯(lián)合BS關(guān)聯(lián)和功率控制算法,通過對長期速率加權(quán)的最大化處理來平衡網(wǎng)絡(luò)負(fù)載,并結(jié)合異構(gòu)網(wǎng)絡(luò)的功率控制,可有效處理異構(gòu)網(wǎng)絡(luò)延遲和上行鏈路用戶的關(guān)聯(lián)問題。但上述方法由于聯(lián)合用戶關(guān)聯(lián)和功率控制具有非凸和非線性特性,難以獲得全局最優(yōu)解。同時,在實際應(yīng)用中由于通信環(huán)境的不斷變化,上述方法無法獲取有效的網(wǎng)絡(luò)信息[10]。

    因此,針對時變動態(tài)環(huán)境研究人員提出了基于人工智能的控制策略,通過不斷與環(huán)境互動、強(qiáng)化學(xué)習(xí),解決長期決策的復(fù)雜計算問題。文獻(xiàn)[11]通過使用Q學(xué)習(xí)算法,提出了一種基于傳統(tǒng)單蜂窩網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)備到設(shè)備(Device to Device,D2D)的聯(lián)合信道分配和功率控制策略,可有效提高網(wǎng)絡(luò)學(xué)習(xí)性能。文獻(xiàn)[12]通過將Q學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)相結(jié)合構(gòu)成深度Q學(xué)習(xí)網(wǎng)絡(luò)(Deep Q-learning Network,DQN),提出了一種基于分布式用戶關(guān)聯(lián)算法的在線學(xué)習(xí)方法,能夠有效優(yōu)化異構(gòu)網(wǎng)絡(luò)的能量效率。文獻(xiàn)[13]提出了一種基于DQN框架的用戶關(guān)聯(lián)和信道分配深度強(qiáng)化學(xué)習(xí)算法,通過DQN方法對卸載決策和計算資源分配進(jìn)行了優(yōu)化。但上述方法所考慮的網(wǎng)絡(luò)行動空間相對較小,無法滿足異構(gòu)網(wǎng)絡(luò)中聯(lián)合用戶關(guān)聯(lián)和功率控制問題中大狀態(tài)空間和大動作空間的需求,在實際運行中難以通過Q學(xué)習(xí)算法獲得良好性能。

    綜上所述,上述研究主要集中于異構(gòu)網(wǎng)絡(luò)中的聯(lián)合用戶群體和渠道分配問題,尚未考慮能量效率的綜合分析。目前,隨著各種新業(yè)務(wù)和應(yīng)用場景的不斷涌現(xiàn),UE的能耗也隨著密集型移動數(shù)據(jù)計算和應(yīng)用程序的增長而上升,但當(dāng)前的電池技術(shù)無法滿足移動UE的能源消耗。因此,異構(gòu)網(wǎng)絡(luò)中UE的能量效率優(yōu)化變得更加重要?;谝陨戏治觯疚奶岢隽艘环N多智能體DQN方法,對上行鏈路中的用戶關(guān)聯(lián)和功率控制進(jìn)行優(yōu)化處理,并基于能量消耗與UE電池容量的相互作用,將UE的能量效率重新定義為獎勵函數(shù),實現(xiàn)對所有UE能量效率的最大化。仿真實驗驗證了所提算法的正確性和有效性。

    1 系統(tǒng)模型構(gòu)建

    圖1所示為典型的異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)圖[14]。其中,在宏BS的覆蓋區(qū)域內(nèi),部署了一組小型BS,在不失一般性的情況下,將所有BS的集合表示為M={0,1,2,…,m}。

    圖1 典型的異構(gòu)網(wǎng)絡(luò)

    該模型的學(xué)習(xí)過程由云服務(wù)器完成,云服務(wù)器通過光纖電纜與宏BS或小型BS進(jìn)行連接。UE隨機(jī)分布在網(wǎng)絡(luò)中,且UE的集合為U={1,2,…,u},其中u為UE的總數(shù)。通常,基于OFDMA的異構(gòu)網(wǎng)絡(luò)系統(tǒng)具有n個子信道,分別表示為N={1,2,…,n},n

    假設(shè)所有BS和UE均配備有獨立天線,信道增益主要受瑞利衰落gu,m、對數(shù)正態(tài)陰影LS和路徑損耗的影響,則將宏BS和小型BS的路徑損耗分別建模為PL1和PL2。因此,具有第m個BS的第n個子信道上的第n個用戶的信道增益的數(shù)學(xué)表達(dá)式如式(1)所示:

    (1)

    為詳細(xì)闡明UE與BS間的關(guān)系,定義了一組整數(shù)二進(jìn)制變量au,m來表示BS與UE間鏈路的有效性,其數(shù)學(xué)表達(dá)式如式(2)所示:

    (2)

    此外,UE的功耗由靜態(tài)功耗和動態(tài)功耗兩部分組成。其中,靜態(tài)功耗是運行電路組件如轉(zhuǎn)換器、混頻器、濾波器等時消耗功率,而動態(tài)功耗被視為發(fā)射功耗。由于數(shù)字手機(jī)中的發(fā)射功率只能在離散水平上進(jìn)行更新,因此實際應(yīng)用中可以通過有限數(shù)量的值對發(fā)射功率進(jìn)行設(shè)置。

    (3)

    因此,在第n個子信道上連接到第m個BS的第u個UE的信號干擾加噪聲比(Signal-to-Interference plus Noise Ratio,SINR)如式(4)所示[15]:

    (4)

    根據(jù)香農(nóng)公式,第u個UE的數(shù)據(jù)速率如式(5)所示:

    (5)

    由此,在本文的系統(tǒng)模型中,結(jié)合用戶關(guān)聯(lián)和功率控制,提出了使異構(gòu)網(wǎng)絡(luò)中所有UE的能量效率最大化的優(yōu)化問題。將所有UE的能量效率定義為每個UE的能量效率之和,并將用戶在第n個子信道上選擇第m個BS的個人能效,定義為可實現(xiàn)的吞吐量與用戶的總功耗的比值,如式(6)所示:

    (6)

    因此,本文異構(gòu)網(wǎng)絡(luò)模型的總能效最大化問題可以表述為式(7)所示:

    C3:au,m∈{0,1},

    (7)

    式中:A表示用戶關(guān)聯(lián)矩陣,p表示所有UE的發(fā)射功率向量,γth為預(yù)定義的最小干擾加噪聲比;約束C1表示每個UE的發(fā)射功率與給定的最大發(fā)射功率的比值,C2可確保滿足每個UE的QoS要求,C3與C4能夠確保每個UE只能與一個BS相關(guān)聯(lián)。因此,通過解決混合整數(shù)非線性規(guī)劃問題P1,可以找到關(guān)于UE與BS的關(guān)聯(lián)以及傳輸功率,即A和p的最優(yōu)控制策略。

    2 DQN強(qiáng)化學(xué)習(xí)過程構(gòu)建

    2.1 馬爾科夫決策轉(zhuǎn)換

    從式(7)可知,用戶關(guān)聯(lián)和功率控制機(jī)制是相互關(guān)聯(lián)的。為有效解決異構(gòu)網(wǎng)絡(luò)的混合整數(shù)和非凸性問題,以獎勵函數(shù)為基礎(chǔ)提出了基于強(qiáng)化學(xué)習(xí)的馬爾科夫決策過程。

    在本文研究的場景中,主要是將協(xié)同優(yōu)化問題P1轉(zhuǎn)換為馬爾科夫決策過程(S,A,R,Pss′)。其中,S為決策過程狀態(tài)空間,A為UE的動作空間,R為獎勵函數(shù),Pss′為從狀態(tài)s過渡到狀態(tài)s′的概率。隨后,基于馬爾科夫決策過程,構(gòu)建強(qiáng)化學(xué)習(xí)過程的系統(tǒng)狀態(tài)空間、動作空間和獎勵函數(shù),具體如下:

    (1)狀態(tài)空間

    在公式化問題P1中,智能體UE需選擇BS進(jìn)行通信,確定發(fā)射功率,并將系統(tǒng)狀態(tài)空間定義為sstate={s1,s2,…,sj,…,s(M×K)U}。其中,sj=j表示所有UE與BS和功率控制相關(guān)聯(lián)的狀態(tài)。根據(jù)系統(tǒng)狀態(tài)空間公式可知,隨著U的逐漸增加,狀態(tài)數(shù)量呈指數(shù)增長。此外,由于每個UE僅可選擇一個子信道,選擇相同子信道的用戶將產(chǎn)生相互干擾。因此,從子信道角度出發(fā),每個子信道的狀態(tài)空間可定義為sn={s1,s2,…,sj,…,s(M×K)Nn},其中Nn為第n個子信道服務(wù)中UE的數(shù)量。

    (2)行動空間

    在公式化問題P1中,需要控制UE與BS的關(guān)聯(lián)和發(fā)射功率,否則UE在時刻t的第n個子信道中的動作將出現(xiàn)發(fā)散。因此,對于第n個子通道中的所有動作,可定義時刻t的動作空間為an(t)={a1(t),a2(t),…,aj(t),…,a(M×N)Nn(t)}。系統(tǒng)N個子通道的所有動作如式(8)所示:

    a(t)={a1(t),a2(t),…,an(t),…,aN(t)}。

    (8)

    (3)獎勵函數(shù)

    通常,學(xué)習(xí)過程由強(qiáng)化學(xué)習(xí)框架中的獎勵函數(shù)驅(qū)動,在基于OFDMA的異構(gòu)網(wǎng)絡(luò)下,將所有UE的總能量效率定義為系統(tǒng)獎勵函數(shù),其數(shù)學(xué)表達(dá)式如式(9)所示:

    (9)

    式中:rn(t)為第n個子通道的獎勵函數(shù),通過與環(huán)境的相互作用最大化進(jìn)行最優(yōu)策略學(xué)習(xí)。

    2.2 強(qiáng)化學(xué)習(xí)

    通過以上分析,可以將問題P1轉(zhuǎn)換為問題P2,其數(shù)學(xué)表達(dá)式如式(10)所示:

    (10)

    (11)

    式中:γ∈[0,1]為折現(xiàn)因子,T為最大事件數(shù)。其中,當(dāng)γ=0時,返回的獎勵為當(dāng)前獎勵;當(dāng)γ=1時,Rn(τ)等于獎勵的總和。

    (12)

    (13)

    因此,基于Bellman方程,異構(gòu)網(wǎng)絡(luò)的最佳Q值函數(shù)如式(14)所示:

    (14)

    (15)

    對式(14)和式(15)進(jìn)行聯(lián)合求解,其結(jié)果如式(16)所示:

    (16)

    (17)

    式中:α為學(xué)習(xí)率。

    由于Q學(xué)習(xí)方法需選擇具有最佳值的動作,且對所選動作進(jìn)行評估。另外,Q學(xué)習(xí)方法使用采樣方法進(jìn)行狀態(tài)選擇,將使得采樣狀態(tài)過高,且采樣狀態(tài)和未采樣狀態(tài)之間的差距將會逐漸增大。通常,異構(gòu)網(wǎng)絡(luò)的狀態(tài)和動作空間較大,使用Q學(xué)習(xí)方法獲得的最優(yōu)解往往存在不足,即Q學(xué)習(xí)方法無法為大規(guī)模系統(tǒng)狀態(tài)空間采樣某些特殊狀態(tài)。因此,為了應(yīng)對大規(guī)模的系統(tǒng)狀態(tài)空間問題,須采用深度強(qiáng)化學(xué)習(xí)方法。

    3 多智能體DQN框架

    3.1 多智能體DQN方法

    (18)

    由于數(shù)據(jù)樣本之間存在差異,系統(tǒng)難以獲得一個平滑的學(xué)習(xí)模型。因此,考慮具有權(quán)重參數(shù)θ的目標(biāo)網(wǎng)絡(luò)作為系統(tǒng)智能體。通常,多智能體DQN方法有行為網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)兩種,通過使用目標(biāo)網(wǎng)絡(luò),計算目標(biāo)值yi的學(xué)習(xí)模型,在一定時間內(nèi)能夠保持權(quán)重參數(shù)恒定不變,減輕學(xué)習(xí)模型的波動性。此外,也可通過行為網(wǎng)絡(luò)獲得系統(tǒng)效率的估值。

    通常,在強(qiáng)化學(xué)習(xí)過程中,經(jīng)過一定數(shù)量的迭代之后,行為網(wǎng)絡(luò)的權(quán)重參數(shù)θ將與目標(biāo)網(wǎng)絡(luò)同步,即θ→θ-。隨后,自動進(jìn)入下一階段的學(xué)習(xí)。對于行為網(wǎng)絡(luò),智能體將使用ε貪婪策略選擇動作an(τ),并使用最小損失函數(shù)為每次迭代更新的參數(shù)θ,其數(shù)學(xué)表達(dá)如式(19)所示:

    L(θ)=∑[(yj-Qπ(sn,an|θ))2] ,

    (19)

    (20)

    3.2 多智能體DQN模型構(gòu)建

    DQN方法中,由于數(shù)據(jù)樣本之間的相關(guān)性,將導(dǎo)致學(xué)習(xí)不穩(wěn)定。因此,可運用經(jīng)驗回放技術(shù)進(jìn)行DQN學(xué)習(xí),其中主要包含存儲數(shù)據(jù)和采樣數(shù)據(jù)兩部分,經(jīng)驗數(shù)據(jù)按迭代順序存儲到回放存儲器D中。在DQN學(xué)習(xí)過程中,智能體將選擇動作an(τ),獲得獎勵rn(τ)并轉(zhuǎn)到下一個狀態(tài)。隨后,將向量存儲到體驗存儲器中。如果內(nèi)存D的存儲已滿,則新的體驗數(shù)據(jù)將覆蓋前一次迭代生成的數(shù)據(jù)。圖2所示為多智能體DQN策略圖,其中狀態(tài)空間和行為空間通過回放存儲器進(jìn)行關(guān)聯(lián)。

    圖2 多智能體DQN策略圖

    在初始運行過程中,每個智能體分別為行為網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的初始化內(nèi)存D,以及權(quán)重參數(shù)的θ和θ-。隨后,智能體初始化開始進(jìn)入狀態(tài),并使用ε貪婪策略選擇動作an(τ)。最后,如果狀態(tài)約束條件滿足,則智能體將發(fā)送有關(guān)用戶關(guān)聯(lián)的信息,并將功率發(fā)送到環(huán)境條件中,通過獎勵函數(shù)rn(τ)和下一狀態(tài)獲得功率比值n;否則,智能體將不會回放任何內(nèi)容。

    向量Sn主要存儲在回放存儲器D中,通過將樣本隨機(jī)小批量寫入存儲器D,可通過初始化更新行為網(wǎng)絡(luò)的權(quán)重參數(shù)。當(dāng)訓(xùn)練一定數(shù)量的迭代次數(shù)時,行為網(wǎng)絡(luò)的參數(shù)將同步到目標(biāo)網(wǎng)絡(luò),并開始下一階段的學(xué)習(xí)。

    4 仿真結(jié)果與分析

    4.1 仿真計算

    選取具有一個宏BS和小型BS的兩層異構(gòu)網(wǎng)絡(luò)進(jìn)行多智能體DQN算法仿真實驗。其中,令25個UE隨機(jī)分散在宏BS的覆蓋范圍內(nèi),并設(shè)置其區(qū)間為200 m×200 m。此外,令小型BS也隨機(jī)分布在相關(guān)區(qū)域中。 其中,UE的最大發(fā)射功率為23 dBm,子信道總數(shù)為15,宏BS和小型BS的傳輸損耗為PL1=34+40 lg(d),PL2=37+30lg(d)。其中,d是從BS到UE的距離,對數(shù)法線陰影為8 dB,噪聲功率設(shè)置為σ2={-174 dBm}。

    為估計Q函數(shù)計算結(jié)果,采用DNN算法在包含64個神經(jīng)元的全連接神經(jīng)網(wǎng)絡(luò)的兩個隱藏層以及一個輸出層模型中進(jìn)行計算,表1所示為DQN的詳細(xì)參數(shù)。

    表1 DQN詳細(xì)參數(shù)

    首先,對具有不同學(xué)習(xí)參數(shù),如學(xué)習(xí)率和神經(jīng)元數(shù)量的DNN的性能進(jìn)行仿真,分析具有不同學(xué)習(xí)率的訓(xùn)練效率,其仿真結(jié)果如圖3所示。由圖3可知,隨著事件數(shù)的增加,所有UE的能量效率逐漸收斂。此外,隨著學(xué)習(xí)率α的變化,相較于α=0.1、α=0.001、α=0.000 1,當(dāng)α=0.01時,所有UE的能效性能最佳。對α=0.01和α=0.1兩種情況進(jìn)行比較分析可知,當(dāng)學(xué)習(xí)率α較大時,算法計算結(jié)果難以達(dá)到最佳值;當(dāng)學(xué)習(xí)率相對較小時,將可能導(dǎo)致局部最優(yōu)。因此,考慮到算法的實際執(zhí)行,將所提算法的學(xué)習(xí)率α設(shè)置為0.01。

    圖3 不同學(xué)習(xí)率下的能量效率

    圖4所示為DNN結(jié)構(gòu)中不同數(shù)量神經(jīng)元的性能。由圖4可知,隨著神經(jīng)元數(shù)量的不斷增加,所有UE的能量效率都逐漸下降。由于數(shù)據(jù)樣本的稀疏性,當(dāng)神經(jīng)元數(shù)量過多時,優(yōu)化問題可能會導(dǎo)致過度擬合,并增加更多的訓(xùn)練時間。當(dāng)神經(jīng)元等于第一層的64和256時,兩條曲線的收斂性幾乎相同,而其他情況在收斂性上的表現(xiàn)則較差。因此,將兩個隱藏層的神經(jīng)元均設(shè)置為64。

    圖4 DNN結(jié)構(gòu)的能量效率與神經(jīng)元數(shù)目的關(guān)系

    在SINR設(shè)置為γ=-10 dB的情況下,對多智能體DQN算法的收斂性能進(jìn)行分析,并將其與經(jīng)典Q學(xué)習(xí)框架進(jìn)行對比分析。圖5所示為對比分析收斂性結(jié)果圖,由圖可知,Q學(xué)習(xí)的系統(tǒng)能效低于使用多智能體的DQN方法;且隨著事件數(shù)的增加,兩種方案的能量效率均會逐漸增加并趨于收斂,但多智能體DQN算法在學(xué)習(xí)速度上優(yōu)于Q學(xué)習(xí)方法。對于Q學(xué)習(xí)方法及多智能體DQN算法,當(dāng)事件數(shù)約等于180時,其系統(tǒng)能量效率改善較低;當(dāng)事件約等于157時,其系統(tǒng)能量效率趨于穩(wěn)定。由此可知,多智能體DQN算法雖開始呈現(xiàn)出發(fā)散性,但隨著事件數(shù)的增加,其不穩(wěn)定程度會逐漸降低,并最終趨于收斂。因為智能體隨機(jī)選擇并將信息存儲到回放內(nèi)存中,經(jīng)過多次迭代,多智能體DQN算法開始從經(jīng)驗中學(xué)習(xí),從而提升其穩(wěn)定程度。

    圖5 收斂性能

    此外,在不同SINR閾值下采用Q學(xué)習(xí)算法和多智能體DQN算法時,模擬所有UE的能量效率。圖6所示為不同K值下能量效率與SINR閾值的關(guān)系圖,由圖可知,隨著UE中SINR閾值的增加,所有UE的能量效率均逐漸降低。因為要實現(xiàn)較高的SINR,必然會消耗更多的功率,這將降低所有UE的能效。另外,隨著功率水平的增加,所有UE的能量效率也隨之提高。因為隨著功率水平的增加,智能體可以在固定的用戶關(guān)聯(lián)下選擇更合適的傳輸功率,從而提高能量效率。對于K=1的情況,UE的發(fā)射功率等于最大發(fā)射功率,即PMAX=23 dB。根據(jù)圖6可知,當(dāng)UE的發(fā)射功率最大時,其能量效率最差。

    圖6 不同K值下能量效率與SINR閾值的關(guān)系

    4.2 能量效率仿真

    此外,本文對不同數(shù)量小型BS的所有用戶設(shè)備的能量效率展開了仿真研究。設(shè)置γ=-10 dB,K=3,仿真結(jié)果如圖7所示。為了評估多智能體DQN算法的性能,除Q學(xué)習(xí)算法外,本文還選取了其他三種算法進(jìn)行對比研究,即基于Q學(xué)習(xí)的MTD算法、基于信息傳遞部分(Message Transfer Part,MTP)的UA算法,以及具有MTP的動目標(biāo)檢測(Moving Target Detection,MTD)算法。

    圖7 能量效率與小型基站數(shù)量的關(guān)系

    對于具有基于Q學(xué)習(xí)的MTD方案,用戶選擇最小傳輸距離用戶關(guān)聯(lián)方案,并采用基于Q學(xué)習(xí)的功率控制算法。對于具有MTP方案的UA,用戶采用基于Q學(xué)習(xí)的用戶關(guān)聯(lián)方案,并使用其最大發(fā)送功率進(jìn)行發(fā)送。最后,對于帶有MTP方案的MTD,用戶選擇最小傳輸距離用戶關(guān)聯(lián)方案,并使用其最大發(fā)射功率進(jìn)行發(fā)射。由仿真結(jié)果可知,隨著小型BS數(shù)量的增加,所有UE的能效將呈現(xiàn)出先增加,然后逐漸降低的現(xiàn)象。

    對于基于Q學(xué)習(xí)的MTD算法,當(dāng)小型BS的數(shù)量較少時,Q學(xué)習(xí)算法的性能表現(xiàn)更好。隨著小型BS數(shù)量的增加,Q學(xué)習(xí)算法的性能將逐漸下降。主要是由于狀態(tài)和動作的空間變大,部分狀態(tài)被高估,并且沒有被采樣。因此,在基于OFDMA的異構(gòu)網(wǎng)絡(luò)模型中,小型BS的數(shù)量設(shè)計至關(guān)重要。

    圖8所示為不同數(shù)量的UE下的所有UE的能量效率圖。由圖可知,相較于其他四種方案,多智能體DQN算法在所有UE的能量效率中均獲得了最佳性能。這是因為與基于Q學(xué)習(xí)的MTD算法、基于MTP的UA算法,以及具有MTP的MTD算法相比,多智能體DQN算法不僅優(yōu)化了用戶關(guān)聯(lián),還對發(fā)射功率進(jìn)行了優(yōu)化。通過使用DNN,多智能體DQN算法可以克服Q學(xué)習(xí)算法的缺點。因此,與Q學(xué)習(xí)算法相比,多智能體DQN算法具有更加優(yōu)越的性能。這是因為系統(tǒng)狀態(tài)和動作空間將隨著UE數(shù)量的增加而增加。另外,隨著UE數(shù)量的逐漸增加,所有方案的UE能效性能均會逐漸下降,是因為越高的用戶數(shù)量將會引起越嚴(yán)重的干擾。

    圖8 能量效率與用戶數(shù)量的關(guān)系

    5 結(jié) 論

    本文針對基于OFDMA異構(gòu)網(wǎng)絡(luò)中的用戶關(guān)聯(lián)和功率控制協(xié)同優(yōu)化問題,提出了一種多智能體DQN方法,通過仿真計算和分析得出以下結(jié)論:

    (1)相較于傳統(tǒng)的優(yōu)化算法,多智能體DQN算法所需要的通信信息更少,計算時間更短,優(yōu)化效率更高;

    (2)相較于傳統(tǒng)的Q學(xué)習(xí)算法,多智能體DQN算法具有更好的收斂性能;

    (3)所提方法能夠有效提升UE的服務(wù)質(zhì)量與能效,并可獲得最大的長期總體網(wǎng)絡(luò)實用性。

    猜你喜歡
    異構(gòu)信道關(guān)聯(lián)
    試論同課異構(gòu)之“同”與“異”
    “一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
    奇趣搭配
    智趣
    讀者(2017年5期)2017-02-15 18:04:18
    overlay SDN實現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
    LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
    基于導(dǎo)頻的OFDM信道估計技術(shù)
    一種改進(jìn)的基于DFT-MMSE的信道估計方法
    基于MED信道選擇和虛擬嵌入塊的YASS改進(jìn)算法
    在新興異構(gòu)SoCs上集成多種系統(tǒng)
    精品福利观看| 99香蕉大伊视频| 免费观看人在逋| 高清黄色对白视频在线免费看| 女人久久www免费人成看片| 激情视频va一区二区三区| 麻豆乱淫一区二区| 亚洲熟女毛片儿| 在线亚洲精品国产二区图片欧美| av线在线观看网站| 1024香蕉在线观看| 女人久久www免费人成看片| 亚洲欧美一区二区三区黑人| 色精品久久人妻99蜜桃| 国产熟女午夜一区二区三区| 各种免费的搞黄视频| 操美女的视频在线观看| videosex国产| 看免费成人av毛片| 男女免费视频国产| 视频区图区小说| www.精华液| 久久 成人 亚洲| 亚洲精品av麻豆狂野| 日本av手机在线免费观看| 日日爽夜夜爽网站| 男人爽女人下面视频在线观看| 丰满饥渴人妻一区二区三| 欧美+亚洲+日韩+国产| 精品人妻在线不人妻| 免费在线观看完整版高清| 午夜福利免费观看在线| 纵有疾风起免费观看全集完整版| 亚洲五月婷婷丁香| 国产精品秋霞免费鲁丝片| 国产精品欧美亚洲77777| 午夜福利视频精品| 欧美精品一区二区大全| 国产成人一区二区在线| 99re6热这里在线精品视频| 亚洲av电影在线进入| 亚洲国产精品一区二区三区在线| 麻豆乱淫一区二区| 国产精品久久久久成人av| 久久精品国产综合久久久| 欧美乱码精品一区二区三区| 一级毛片我不卡| 国产老妇伦熟女老妇高清| 又紧又爽又黄一区二区| 97精品久久久久久久久久精品| 丝袜脚勾引网站| 亚洲国产成人一精品久久久| 一个人免费看片子| 99re6热这里在线精品视频| 交换朋友夫妻互换小说| 波多野结衣一区麻豆| 欧美另类一区| 亚洲欧美中文字幕日韩二区| 无遮挡黄片免费观看| 国产精品九九99| 波多野结衣一区麻豆| 精品第一国产精品| 一级黄色大片毛片| 国产一区有黄有色的免费视频| 国产亚洲欧美在线一区二区| 国产色视频综合| 久久久国产一区二区| 欧美日韩国产mv在线观看视频| 狠狠精品人妻久久久久久综合| 久久av网站| 这个男人来自地球电影免费观看| www.精华液| 国产免费视频播放在线视频| 亚洲精品中文字幕在线视频| 黄片小视频在线播放| 免费看十八禁软件| 国产精品 欧美亚洲| 久久久久网色| 涩涩av久久男人的天堂| 成人亚洲精品一区在线观看| 操出白浆在线播放| 日日夜夜操网爽| 丰满饥渴人妻一区二区三| 亚洲精品一二三| 亚洲精品自拍成人| 亚洲国产中文字幕在线视频| 在现免费观看毛片| 999久久久国产精品视频| 国产不卡av网站在线观看| 成在线人永久免费视频| 视频在线观看一区二区三区| 国产精品人妻久久久影院| 免费在线观看日本一区| 国产精品99久久99久久久不卡| 久久人人97超碰香蕉20202| 亚洲精品一二三| 肉色欧美久久久久久久蜜桃| 亚洲熟女精品中文字幕| 亚洲国产av影院在线观看| 欧美精品av麻豆av| 欧美乱码精品一区二区三区| 久久久久久久大尺度免费视频| 丁香六月天网| 人人妻人人爽人人添夜夜欢视频| 人成视频在线观看免费观看| 1024视频免费在线观看| 亚洲七黄色美女视频| 免费人妻精品一区二区三区视频| 99热国产这里只有精品6| 在线观看免费午夜福利视频| 日本wwww免费看| 在线av久久热| 亚洲精品国产色婷婷电影| 人人澡人人妻人| av国产久精品久网站免费入址| 午夜福利影视在线免费观看| 一边摸一边做爽爽视频免费| 麻豆乱淫一区二区| 国产日韩欧美亚洲二区| 欧美黑人精品巨大| av有码第一页| 国产色视频综合| 日本av手机在线免费观看| 午夜视频精品福利| 成人免费观看视频高清| 亚洲国产欧美在线一区| 国产视频一区二区在线看| 亚洲,欧美精品.| 母亲3免费完整高清在线观看| 日本vs欧美在线观看视频| 国产成人av激情在线播放| 日韩 亚洲 欧美在线| 日韩制服丝袜自拍偷拍| 久久久久久人人人人人| 99热网站在线观看| 日日爽夜夜爽网站| 亚洲三区欧美一区| 人妻 亚洲 视频| 中国美女看黄片| √禁漫天堂资源中文www| 亚洲精品日本国产第一区| 欧美精品高潮呻吟av久久| 亚洲精品美女久久久久99蜜臀 | 欧美在线黄色| 亚洲国产精品999| 亚洲一区二区三区欧美精品| xxx大片免费视频| 人妻人人澡人人爽人人| 亚洲av综合色区一区| 18禁观看日本| 考比视频在线观看| 大陆偷拍与自拍| 精品久久久久久久毛片微露脸 | 国产成人一区二区在线| 你懂的网址亚洲精品在线观看| 国产精品一国产av| 国产精品免费大片| 成年人午夜在线观看视频| 国产成人欧美| 国产免费又黄又爽又色| 成在线人永久免费视频| 1024视频免费在线观看| 免费不卡黄色视频| 亚洲精品国产av成人精品| 亚洲成人免费av在线播放| 亚洲精品美女久久av网站| 母亲3免费完整高清在线观看| 久久久久视频综合| 在线观看免费高清a一片| 激情视频va一区二区三区| 黄色 视频免费看| 国产不卡av网站在线观看| 国产精品国产三级专区第一集| 久久综合国产亚洲精品| 曰老女人黄片| 一个人免费看片子| 国产熟女欧美一区二区| 午夜av观看不卡| 国产国语露脸激情在线看| 亚洲情色 制服丝袜| 不卡av一区二区三区| 欧美+亚洲+日韩+国产| 男女床上黄色一级片免费看| 99国产精品一区二区蜜桃av | 精品一区在线观看国产| 一区二区三区乱码不卡18| 99久久人妻综合| av有码第一页| 18禁黄网站禁片午夜丰满| 久久久久久久久免费视频了| 18禁黄网站禁片午夜丰满| 一级片'在线观看视频| 国产黄色视频一区二区在线观看| 久久亚洲国产成人精品v| 久久精品亚洲av国产电影网| 久久ye,这里只有精品| 欧美精品亚洲一区二区| 亚洲精品在线美女| 91麻豆精品激情在线观看国产 | 一区福利在线观看| 免费女性裸体啪啪无遮挡网站| 亚洲欧美成人综合另类久久久| 久久国产亚洲av麻豆专区| 秋霞在线观看毛片| 午夜免费观看性视频| 一级毛片黄色毛片免费观看视频| 国产色视频综合| 嫁个100分男人电影在线观看 | 色婷婷久久久亚洲欧美| 下体分泌物呈黄色| 精品亚洲成国产av| 国产免费现黄频在线看| 波多野结衣一区麻豆| 国产精品 欧美亚洲| 最近手机中文字幕大全| 国产在线一区二区三区精| 国产精品九九99| 别揉我奶头~嗯~啊~动态视频 | 亚洲成人手机| 久久久久久久大尺度免费视频| 90打野战视频偷拍视频| 婷婷色综合大香蕉| 国产1区2区3区精品| 国产一区有黄有色的免费视频| 成年美女黄网站色视频大全免费| 18禁裸乳无遮挡动漫免费视频| 免费一级毛片在线播放高清视频 | 午夜福利在线免费观看网站| 麻豆国产av国片精品| 国产成人欧美在线观看 | 国产亚洲av片在线观看秒播厂| 天天添夜夜摸| 人人妻人人澡人人看| 久久99热这里只频精品6学生| 久久精品久久久久久久性| 国产又色又爽无遮挡免| 视频在线观看一区二区三区| 亚洲精品国产色婷婷电影| 一级黄片播放器| 午夜免费男女啪啪视频观看| 亚洲精品久久久久久婷婷小说| 黄片播放在线免费| 午夜免费成人在线视频| 亚洲国产欧美一区二区综合| 久久人人爽av亚洲精品天堂| 久久久久久久大尺度免费视频| 国产男女超爽视频在线观看| 国产精品一区二区免费欧美 | 免费女性裸体啪啪无遮挡网站| 亚洲欧美日韩高清在线视频 | 91成人精品电影| 亚洲一区二区三区欧美精品| 成年人午夜在线观看视频| av有码第一页| 国产人伦9x9x在线观看| 欧美av亚洲av综合av国产av| 亚洲伊人久久精品综合| 亚洲精品国产av蜜桃| 麻豆av在线久日| 午夜福利影视在线免费观看| 色94色欧美一区二区| 国产精品一区二区在线不卡| 久久亚洲精品不卡| 国产一区亚洲一区在线观看| 亚洲少妇的诱惑av| 少妇人妻 视频| 黄网站色视频无遮挡免费观看| 51午夜福利影视在线观看| 日日爽夜夜爽网站| 91精品三级在线观看| 免费久久久久久久精品成人欧美视频| 亚洲成人免费av在线播放| 成人黄色视频免费在线看| 国产精品久久久久久精品电影小说| 90打野战视频偷拍视频| 免费看不卡的av| av片东京热男人的天堂| 欧美精品亚洲一区二区| 99re6热这里在线精品视频| 国产极品粉嫩免费观看在线| av一本久久久久| 国产精品秋霞免费鲁丝片| 一级毛片女人18水好多 | 永久免费av网站大全| 制服人妻中文乱码| 悠悠久久av| 99精国产麻豆久久婷婷| 久久久精品94久久精品| 久久人人97超碰香蕉20202| 老鸭窝网址在线观看| 国产成人a∨麻豆精品| 国产xxxxx性猛交| 香蕉国产在线看| 欧美国产精品va在线观看不卡| 国产不卡av网站在线观看| 久久这里只有精品19| 九色亚洲精品在线播放| 国产欧美日韩精品亚洲av| 亚洲伊人久久精品综合| 亚洲专区国产一区二区| 亚洲成色77777| 多毛熟女@视频| 亚洲精品国产区一区二| 亚洲欧美精品自产自拍| 高潮久久久久久久久久久不卡| 午夜福利视频在线观看免费| 男的添女的下面高潮视频| 久久精品久久精品一区二区三区| 欧美av亚洲av综合av国产av| 欧美在线一区亚洲| 伦理电影免费视频| 欧美 日韩 精品 国产| 久久精品人人爽人人爽视色| 十八禁人妻一区二区| 久久久久久久精品精品| 午夜影院在线不卡| 免费高清在线观看视频在线观看| 国产男人的电影天堂91| 亚洲中文字幕日韩| 久久久国产精品麻豆| 女人精品久久久久毛片| 久久精品亚洲熟妇少妇任你| 免费少妇av软件| 又大又爽又粗| 看免费av毛片| 亚洲av国产av综合av卡| 两个人看的免费小视频| 亚洲少妇的诱惑av| 亚洲九九香蕉| 成人三级做爰电影| 老汉色∧v一级毛片| 国产av精品麻豆| 777米奇影视久久| 水蜜桃什么品种好| 日本五十路高清| 久久女婷五月综合色啪小说| 女人精品久久久久毛片| 色婷婷久久久亚洲欧美| 精品视频人人做人人爽| 欧美精品人与动牲交sv欧美| svipshipincom国产片| 纯流量卡能插随身wifi吗| 中文字幕人妻丝袜制服| 777米奇影视久久| 久久人人爽人人片av| 性高湖久久久久久久久免费观看| 国产成人免费观看mmmm| 丝袜脚勾引网站| 亚洲人成电影免费在线| av电影中文网址| 蜜桃在线观看..| 久久久久久亚洲精品国产蜜桃av| 亚洲欧美激情在线| 视频区欧美日本亚洲| 国产高清videossex| 18禁观看日本| 亚洲一区二区三区欧美精品| 午夜日韩欧美国产| 久久久欧美国产精品| 免费不卡黄色视频| 飞空精品影院首页| 十八禁人妻一区二区| 曰老女人黄片| 国产伦人伦偷精品视频| 免费在线观看日本一区| 国产欧美日韩一区二区三 | 久久中文字幕一级| 各种免费的搞黄视频| 999久久久国产精品视频| 欧美精品人与动牲交sv欧美| 王馨瑶露胸无遮挡在线观看| 亚洲,欧美,日韩| 久久久久国产一级毛片高清牌| 热re99久久精品国产66热6| 天天添夜夜摸| 成人影院久久| 久久精品久久久久久噜噜老黄| 欧美人与性动交α欧美软件| 捣出白浆h1v1| 美女扒开内裤让男人捅视频| 欧美 日韩 精品 国产| av网站免费在线观看视频| av国产精品久久久久影院| 久久久国产欧美日韩av| 亚洲激情五月婷婷啪啪| av在线播放精品| 一区二区日韩欧美中文字幕| 国产成人精品久久二区二区91| 欧美另类一区| 99热网站在线观看| 欧美精品亚洲一区二区| 国产欧美日韩精品亚洲av| xxx大片免费视频| 精品国产国语对白av| 久久久久久人人人人人| 老司机靠b影院| 亚洲av电影在线进入| 少妇人妻 视频| 国产一区亚洲一区在线观看| 50天的宝宝边吃奶边哭怎么回事| 亚洲av成人不卡在线观看播放网 | 欧美av亚洲av综合av国产av| 精品国产一区二区三区久久久樱花| 亚洲美女黄色视频免费看| 免费av中文字幕在线| 日韩 亚洲 欧美在线| 欧美黑人精品巨大| 欧美精品一区二区大全| 国产男女内射视频| 久久99热这里只频精品6学生| 亚洲国产精品成人久久小说| 每晚都被弄得嗷嗷叫到高潮| 久久人妻福利社区极品人妻图片 | 一个人免费看片子| 国产精品 国内视频| 国产成人a∨麻豆精品| 青春草视频在线免费观看| 国产一区二区在线观看av| 亚洲色图综合在线观看| 欧美大码av| 久久精品久久久久久久性| 男女床上黄色一级片免费看| 黄色片一级片一级黄色片| 黄色怎么调成土黄色| 黑人巨大精品欧美一区二区蜜桃| 国产亚洲精品第一综合不卡| 久久精品久久久久久噜噜老黄| 久久精品国产综合久久久| 99国产精品免费福利视频| 精品欧美一区二区三区在线| 午夜91福利影院| av在线app专区| 99国产综合亚洲精品| 国产亚洲午夜精品一区二区久久| 精品福利观看| 国产伦人伦偷精品视频| 久久久久视频综合| 91国产中文字幕| 大片免费播放器 马上看| 人人妻人人澡人人爽人人夜夜| 丰满人妻熟妇乱又伦精品不卡| av线在线观看网站| 欧美日韩一级在线毛片| 国产免费一区二区三区四区乱码| 欧美激情极品国产一区二区三区| 777米奇影视久久| 日本欧美国产在线视频| 亚洲av电影在线进入| 男女边吃奶边做爰视频| 婷婷成人精品国产| 国产伦人伦偷精品视频| 啦啦啦在线免费观看视频4| 久久99热这里只频精品6学生| 叶爱在线成人免费视频播放| 久久精品成人免费网站| 91老司机精品| av在线老鸭窝| 一级毛片黄色毛片免费观看视频| 国产亚洲欧美在线一区二区| 免费久久久久久久精品成人欧美视频| 成人国产一区最新在线观看 | 国产无遮挡羞羞视频在线观看| 天天添夜夜摸| 国产精品欧美亚洲77777| 亚洲三区欧美一区| 欧美变态另类bdsm刘玥| 婷婷色综合大香蕉| 啦啦啦中文免费视频观看日本| 久久精品国产a三级三级三级| 亚洲精品久久久久久婷婷小说| 男女边吃奶边做爰视频| 一边摸一边做爽爽视频免费| 色94色欧美一区二区| 国产精品一区二区免费欧美 | 啦啦啦视频在线资源免费观看| 少妇被粗大的猛进出69影院| 日韩大码丰满熟妇| 亚洲av电影在线观看一区二区三区| 日韩一卡2卡3卡4卡2021年| 国产成人精品久久二区二区免费| 午夜免费成人在线视频| 母亲3免费完整高清在线观看| 国精品久久久久久国模美| 久久狼人影院| 最新在线观看一区二区三区 | e午夜精品久久久久久久| 国产精品一二三区在线看| 最近最新中文字幕大全免费视频 | 丝袜美足系列| 90打野战视频偷拍视频| 啦啦啦在线观看免费高清www| 亚洲国产精品国产精品| 91国产中文字幕| 久久国产精品影院| 少妇被粗大的猛进出69影院| 日韩av免费高清视频| 18禁观看日本| 在线看a的网站| 美国免费a级毛片| 亚洲国产精品999| 亚洲国产中文字幕在线视频| 999久久久国产精品视频| 免费高清在线观看日韩| 美女扒开内裤让男人捅视频| 久久狼人影院| 日韩一卡2卡3卡4卡2021年| 午夜免费成人在线视频| 亚洲精品自拍成人| 咕卡用的链子| 天天影视国产精品| 亚洲欧洲日产国产| 国产xxxxx性猛交| 高潮久久久久久久久久久不卡| 国产不卡av网站在线观看| 热re99久久国产66热| 老司机影院毛片| 午夜激情av网站| 这个男人来自地球电影免费观看| 嫩草影视91久久| 黄色片一级片一级黄色片| h视频一区二区三区| 婷婷丁香在线五月| 国产一区二区三区综合在线观看| 久久热在线av| 亚洲中文av在线| 丝袜脚勾引网站| 色精品久久人妻99蜜桃| av线在线观看网站| 2018国产大陆天天弄谢| 国产欧美日韩一区二区三 | 欧美中文综合在线视频| 久久久精品免费免费高清| 美女福利国产在线| 捣出白浆h1v1| av片东京热男人的天堂| 亚洲av在线观看美女高潮| 国产亚洲午夜精品一区二区久久| 久久久国产精品麻豆| 99国产精品99久久久久| 性色av乱码一区二区三区2| av电影中文网址| 在线天堂中文资源库| 一本—道久久a久久精品蜜桃钙片| 久久av网站| 午夜福利影视在线免费观看| 午夜福利,免费看| 9191精品国产免费久久| 嫁个100分男人电影在线观看 | 亚洲男人天堂网一区| 久久青草综合色| 大话2 男鬼变身卡| 悠悠久久av| 日本wwww免费看| 国产不卡av网站在线观看| 国产av国产精品国产| 天天操日日干夜夜撸| 97精品久久久久久久久久精品| 女性生殖器流出的白浆| av片东京热男人的天堂| videos熟女内射| 91老司机精品| 亚洲av电影在线进入| 亚洲三区欧美一区| 视频在线观看一区二区三区| 老司机影院成人| 18禁黄网站禁片午夜丰满| www.自偷自拍.com| 亚洲av电影在线观看一区二区三区| 老汉色∧v一级毛片| 日韩av免费高清视频| 激情视频va一区二区三区| 最新在线观看一区二区三区 | 亚洲av日韩在线播放| 亚洲情色 制服丝袜| 亚洲国产精品一区二区三区在线| 一本大道久久a久久精品| 最近最新中文字幕大全免费视频 | 美女高潮到喷水免费观看| 国产99久久九九免费精品| 永久免费av网站大全| 国产精品欧美亚洲77777| 欧美变态另类bdsm刘玥| 亚洲国产av影院在线观看| av在线老鸭窝| 又大又黄又爽视频免费| 91精品国产国语对白视频| 日本av手机在线免费观看| 久热这里只有精品99| 亚洲av男天堂| 丝袜喷水一区| 熟女av电影| 好男人视频免费观看在线| 国产精品九九99| 国产免费一区二区三区四区乱码| 嫩草影视91久久| 免费在线观看黄色视频的| 男人舔女人的私密视频| 国产精品久久久久久人妻精品电影 | 后天国语完整版免费观看| 无限看片的www在线观看| 国产又色又爽无遮挡免| 精品第一国产精品| 精品亚洲成a人片在线观看| av片东京热男人的天堂| 国产精品国产三级国产专区5o| 99精国产麻豆久久婷婷| 国产精品一区二区在线不卡| tube8黄色片| 国产高清videossex| 好男人电影高清在线观看| 七月丁香在线播放| 精品亚洲乱码少妇综合久久| 最近最新中文字幕大全免费视频 | 高清视频免费观看一区二区| 久久中文字幕一级|