基于深度強化學(xué)習(xí)的反向散射網(wǎng)絡(luò)資源分配機制*

江 巍，朱 江

(重慶郵電大學(xué) a.移動通信教育部工程研究中心;b.移動通信技術(shù)重慶市重點實驗室，重慶 400065)

0 引 言

隨著物聯(lián)網(wǎng)(Internet of Things，IoT)技術(shù)的發(fā)展，連接互聯(lián)網(wǎng)的設(shè)備數(shù)量日益增加，世界正在朝著超密集的物聯(lián)網(wǎng)網(wǎng)絡(luò)發(fā)展[1]。隨著數(shù)據(jù)交互增多，人們期望滿足不同通信環(huán)境的各種業(yè)務(wù)需求，能量短缺問題是制約泛在物聯(lián)網(wǎng)發(fā)展的重要因素之一[2]。

為解決數(shù)據(jù)交互產(chǎn)生的能量短缺問題，無線供能技術(shù)[3]和反向散射技術(shù)[4]的出現(xiàn)，使上述問題的解決稱為可能。具體來說，無線供能技術(shù)通過專業(yè)能量站或混合接入點為物聯(lián)網(wǎng)結(jié)點設(shè)備提供能量，有效解決了物聯(lián)網(wǎng)結(jié)點設(shè)備的能量供給問題[5]；采用反向散射技術(shù)的節(jié)點不需要自身產(chǎn)生射頻信號，并且節(jié)點本身不對信號進(jìn)行處理，因此反向散射技術(shù)的能量消耗較低[6]。而將反向散射技術(shù)和無線供能技術(shù)相結(jié)合，構(gòu)成反向散射輔助的無線供能通信網(wǎng)絡(luò)可以同時具有上述兩種技術(shù)的優(yōu)點，預(yù)計反向散射輔助的無線供能通信網(wǎng)絡(luò)將在實現(xiàn)物聯(lián)網(wǎng)、體域網(wǎng)以及6G網(wǎng)絡(luò)定位和映射方面發(fā)揮關(guān)鍵作用[7-8]。

資源分配是無線通信網(wǎng)絡(luò)中的關(guān)鍵技術(shù)，對反向散射網(wǎng)絡(luò)資源分配問題的研究已經(jīng)取得一些有價值的進(jìn)展[9-16]。然而現(xiàn)有技術(shù)大多著眼于從局部角度實現(xiàn)單個網(wǎng)絡(luò)內(nèi)的最佳性能，導(dǎo)致全局資源利用率較低，并且大多考慮靜態(tài)信道，但是實際上，由于無線衰落信道的時變特性，信道是不斷變化的。在多用戶網(wǎng)絡(luò)中，提高系統(tǒng)吞吐量和能效獲取通信資源是實際網(wǎng)絡(luò)應(yīng)用的客觀要求。因此，面向多個反向散射通信節(jié)點構(gòu)成的無線供能通信網(wǎng)絡(luò)，研究用戶能效和吞吐量資源分配方法至關(guān)重要。

因此，本文提出了一種資源分配機制，構(gòu)建了用戶配對和時隙分配的聯(lián)合優(yōu)化模型。由于直接使用深度強化算法會生成一個高維的動作空間。因此本文結(jié)合深度強化學(xué)習(xí)(Deep Reinforcement Learning,DRL )算法和凸優(yōu)化算法，將問題分為兩層子問題，以降低動作空間維度：基于深度強化學(xué)習(xí)算法，利用歷史信道信息推斷當(dāng)前的信道信息以進(jìn)行最優(yōu)的用戶配對；在用戶固定配對的情況下，基于凸優(yōu)化算法，以最大化IoT設(shè)備總吞吐量為目標(biāo)進(jìn)行最優(yōu)的時隙分配，以提高系統(tǒng)性能。

1 系統(tǒng)模型

本文考慮的反向散射網(wǎng)絡(luò)的系統(tǒng)模型如圖1所示，包含1個基站(Basic Station,BS)、3個物聯(lián)網(wǎng)設(shè)備和3個用戶(User)?；疚挥趨^(qū)域的中心，IoT設(shè)備和用戶在基站周圍按照均勻分布隨機放置?；就ㄟ^時分多址(Time Division Multiple Access,TDMA)的方式服務(wù)于3個蜂窩用戶。

圖1 系統(tǒng)模型

如圖2所示，首先，基站通過預(yù)測實時的信道信息，根據(jù)ε-greedy策略決定IoT設(shè)備與用戶的配對方式，并向IoT設(shè)備發(fā)送射頻信息。其次,IoT設(shè)備通過兩種方式將自身的消息傳輸?shù)接脩簦阂皇腔景l(fā)射射頻信號，IoT設(shè)備調(diào)制并反射從基站接收的信號向相配對的用戶傳輸自身消息，并進(jìn)行能量收集(Energy Harvesting,EH)；二是當(dāng)基站沉默，IoT設(shè)備利用收集的能量，主動將自身的消息傳輸?shù)接脩簟Ｗ詈?，用戶解碼相配對IoT設(shè)備的信號并將可用的信息發(fā)送到基站，基站根據(jù)收集到的信息再進(jìn)行下一幀的用戶配對方式和時隙分配。

圖2 幀信號傳輸流程圖

圖3所示為IoT設(shè)備與用戶之間進(jìn)行信息傳輸?shù)膸瑫r隙圖，每個IoT設(shè)備僅在對應(yīng)于一個相互配對的蜂窩用戶的一個時隙中傳輸信息。圖中t0,t1,…,tj表示IoT設(shè)備調(diào)制基站射頻信號并收集能量反射到用戶的時隙，tsum表示反射到用戶的時隙的總和，T0,T1,…,Tj表示當(dāng)基站沉默時IoT設(shè)備主動發(fā)送信息到用戶的時隙。

圖3 幀時隙圖

1.1 信道模型

(1)

(2)

(3)

1.2 吞吐量模型

如圖1所示，基站在一幀的一個時隙以單位功率向用戶j發(fā)送消息xj，而IoT設(shè)備i調(diào)制并反向散射接收到基站信號向一個相互配對的用戶j發(fā)送自己的消息ci。用戶j處的接收信號為

(4)

式中：p表示基站的發(fā)射功率；ai,j∈{0,1}表示IoT設(shè)備i與用戶j的配對系數(shù)，如果IoT設(shè)備i和用戶j配對，那么ai,j=1，否則ai,j=0；ai表示IoT設(shè)備i的反射系數(shù)；μe表示在用戶j處的復(fù)高斯噪聲，即μe～CN(0,σ2)。

本文在IoT設(shè)備i處使用分段線性能量收集模型，其中收集的功率隨著接收的基站的功率線性增加，但是IoT設(shè)備可以獲取的最大功率存在限制。IoT設(shè)備i的能量收集能力可以表示為[18]

(5)

IoT設(shè)備將自身信息傳輸?shù)接脩粲袃蓚€階段：第一階段，基站發(fā)射射頻信號，IoT設(shè)備調(diào)制并反射基站的信號，從而將自身的信息傳輸?shù)接脩?；第二階段，基站保持沉默，IoT設(shè)備利用收集的能量主動將自身的信息傳輸?shù)接脩簟?/p>

(6)

式中：σ2表示噪聲功率。由于反向散射通信采用的是簡單的調(diào)制方式，其信道容量小于傳統(tǒng)通信模式。本文采用與文獻(xiàn)[19]一樣的方法來刻畫這種信道容量的差異，即將信號接收信噪比乘以一個實數(shù)ξ，0<ξ<1。

在第二階段，第一階段收集的能量表示為

(7)

IoT設(shè)備i的吞吐量可以表示為

(8)

1.3 優(yōu)化問題

IoT設(shè)備i在系統(tǒng)中一幀的吞吐量函數(shù)可以表示為

Ri=R1,i+R2,i，

(9)

則目標(biāo)函數(shù)(P1)可以表示為

(10)

(11)

(12)

(13)

其中：式(11)、(12)是時間約束；式(13)是用戶配對系數(shù)， 表示每個IoT設(shè)備在一幀中選擇一個時隙發(fā)送信息。

上述優(yōu)化問題的決策可以由基站來執(zhí)行，可以直接使用DRL算法來進(jìn)行求解。由于考慮到用戶配對和時隙分配聯(lián)合優(yōu)化，因此直接利用DRL求解會產(chǎn)生一個二維的動作空間，即Aact={{b1,b2,…,bN}；{t1,t2,…,ti,T0,…,Tj}}且它的時隙分配是一個連續(xù)的動作空間，對于二維的動作空間，網(wǎng)絡(luò)較復(fù)雜且訓(xùn)練時間較長。因此本文將DRL算法和凸優(yōu)化算法結(jié)合，以降低其動作空間的維度。本文將上述優(yōu)化問題分為兩層子問題進(jìn)行優(yōu)化，以提升系統(tǒng)IoT設(shè)備的吞吐量性能。首先根據(jù)信道增益影響，基于深度強化學(xué)習(xí)算法，將IoT設(shè)備與適當(dāng)?shù)挠脩暨M(jìn)行配對；然后基于凸優(yōu)化算法，求解最優(yōu)的時隙分配來優(yōu)化IoT設(shè)備吞吐量性能。

2 基于深度強化學(xué)習(xí)的用戶配對算法

2.1 DRL概述

圖4 DQN更新流程圖

(14)

近似表示值函數(shù)的優(yōu)化目標(biāo)，即目標(biāo)Q值。預(yù)測值網(wǎng)絡(luò)中的θ是實時更新的，每經(jīng)過Ne輪迭代，預(yù)測值網(wǎng)絡(luò)就會將本身的參數(shù)信息復(fù)制給目標(biāo)值網(wǎng)絡(luò)。通過最小化當(dāng)前的Q值和目標(biāo)Q值之間的均方誤差即損失函數(shù)來更新網(wǎng)絡(luò)參數(shù)。損失函數(shù)L(θi)可以表示為

L(θi)=E(s,a,r,s′)[|Ytar-Q(s,a;θi)|2]。

(15)

通過梯度下降法對θ進(jìn)行求偏導(dǎo)，θ的更新表示為

θi←θi-{[Ytar-Q(s,a;θi)]▽θiQ(s,a;θi)}。

(16)

目標(biāo)值網(wǎng)絡(luò)在Ne步時間內(nèi)是保持不變的，可以降低當(dāng)前Q值與目標(biāo)Q值之間的相關(guān)性來穩(wěn)定學(xué)習(xí)算法。

同時，經(jīng)驗回放(experience replay)機制也可以提升學(xué)習(xí)算法的穩(wěn)定性?；胤庞洃泦卧狣的大小為ans，D采用先進(jìn)先出原則來存儲經(jīng)驗樣本，神經(jīng)網(wǎng)絡(luò)通過在D中隨機抽取小部分經(jīng)驗樣本來進(jìn)行訓(xùn)練，通過隨機抽取經(jīng)驗樣本的方式降低了經(jīng)驗樣本之間的相關(guān)性，提升了算法的穩(wěn)定性。

DRL可以通過試錯法有效地學(xué)習(xí)隱藏的相關(guān)性，并從環(huán)境的相互作用中設(shè)計其最優(yōu)策略。因此，可以使用DRL學(xué)習(xí)信道校正并設(shè)計適當(dāng)?shù)挠脩襞鋵Σ呗詠硖岣呦到y(tǒng)的性能。

2.2 基于DRL的用戶配對算法

用戶配對算法將每個IoT設(shè)備與適當(dāng)?shù)挠脩襞鋵σ杂行岣呦到y(tǒng)性能。根據(jù)式(10)～(16)，基于深度強化學(xué)習(xí)的用戶配對函數(shù)(P2)可以表示為

(17)

(18)

用戶配對問題的最優(yōu)策略，需要完全的實時的信道信息。隨著用戶增多，基站想要獲取完全實時的信道信息需花費很大開銷，在一幀中，基站只能獲取IoT設(shè)備與其相互配對的用戶之間的信道信息，而不是所有的IoT設(shè)備和用戶之間的信息。但信道存在時域相關(guān)性：不同幀的信道，如果位置不變，大尺度衰落分量保持不變；小尺度遵循服從式(1)～(3)的一階復(fù)高斯馬爾科夫過程。因此基站可以通過探索和利用歷史信道信息來學(xué)習(xí)不同幀之間的信道相關(guān)性，從而來推斷實時的信道信息，并將每個IoT設(shè)備與適當(dāng)?shù)挠脩襞鋵?，以最大化IoT設(shè)備總吞吐量。

在基于深度強化學(xué)習(xí)最大化吞吐量的用戶配對算法中，基站充當(dāng)代理(Agent)。在此算法中，基站針對給定的環(huán)境狀態(tài)給所有的IoT設(shè)備做出用戶配對決策。下面先介紹該算法的動作空間、狀態(tài)空間和立即獎勵函數(shù)。

(1)動作空間

由于每個IoT設(shè)備與適當(dāng)?shù)姆涓C用戶配對以最大化IoT設(shè)備總吞吐量，因此動作空間包括所有的配對方案，故動作空間表示為

(19)

Aact={{1,2,3},{1,3,2},{2,1,3},{2,3,1},{3,1,2},{3,2,1}}。

(20)

(2)狀態(tài)空間

Ssta(t)={HL(t-1)}。

(21)

(3)獎勵函數(shù)

深度強化學(xué)習(xí)算法的目的是利用歷史信道信息預(yù)測實時的信道信息，從而為IoT設(shè)備做出適當(dāng)?shù)臎Q策跟用戶配對，同時考慮最優(yōu)的時隙分配，以最大化IoT設(shè)備吞吐量。因此，幀t中的立即獎勵函數(shù)Rrew(t)應(yīng)為凸優(yōu)化后求得的IoT 設(shè)備總吞吐量。獎勵函數(shù)為

(22)

完整的算法如下：

重復(fù)：代理在一幀中通過ε-greedy策略選擇一個動作a(t)(t>Z)。

1 代理在幀t中根據(jù)凸優(yōu)化算法計算采取行動a(t)后的立即獎勵Rrew(t)

2 代理在幀(t+1)中觀察到新狀態(tài)Ssta(t+1)

3 代理將新樣本：(Ssta(t),a(t),Rrew(t),Ssta(t+1))存儲到回放記憶單元D中

4 代理從回放記憶單元D中隨機抽取一小批Z經(jīng)驗(Ssta,a,Rrew,Ssta′)訓(xùn)練DQN

5 代理使用梯度下降法更新DQN權(quán)重θi

輸出：平均吞吐量(每個平均吞吐量都是歷史立即獎勵Rrew(t)的總和平均值)。

3 基于凸優(yōu)化的時隙分配算法

根據(jù)不同的信道條件，合理地分配系統(tǒng)在反向散射和主動發(fā)送的時間能有效提高系統(tǒng)的吞吐量性能。

當(dāng)IoT設(shè)備和用戶的配對方式確定時，最優(yōu)的時隙分配目標(biāo)函數(shù)(P3)為

(23)

(24)

(25)

0≤tsum≤1,

(26)

0≤ti≤tsum,?i

(27)

0≤Ti≤1-tsum,?i。

(28)

式(24)～(28)是時間約束，容易證明P3是一個凸優(yōu)化問題，可以使用拉格朗日對偶法或者CVX工具箱來獲得解析解。由于求解次數(shù)過多，本文利用Matlb中CVX工具箱來獲得解析解，并將其代入到深度強化學(xué)習(xí)的立即獎勵函數(shù)中。

約束(24)～(28)是線性的，因此只需要證明目標(biāo)函數(shù)是凹函數(shù)。目標(biāo)函數(shù)是凹函數(shù)的充要條件是目標(biāo)函數(shù)的Hessian矩陣是半負(fù)定矩陣。

定理1 函數(shù)的Hessian矩陣是半負(fù)定矩陣則函數(shù)是凹函數(shù)。

證明：構(gòu)建函數(shù)

(29)

將常數(shù)項統(tǒng)一歸為k1、k2，則式(29)簡化為

(30)

并將其Hessian矩陣表示為

(31)

式(31)所示的Hessian矩陣的奇數(shù)階行列式非正，偶數(shù)階行列式非負(fù)，以此類推，因此Hessian矩陣為半負(fù)定矩陣。

證畢。

對于上述凸優(yōu)化問題，總吞吐量最大化問題在BS發(fā)射功率p、反向散射系數(shù)ai、能量轉(zhuǎn)化效率ηi、噪聲功率σ2已知的情況下，時間變量只受信道增益的影響，即不同信道增益對應(yīng)不同的時隙分配。先求得最優(yōu)化時隙分配，再將系統(tǒng)IoT設(shè)備的吞吐量作為深度強化學(xué)習(xí)的立即獎勵，深度強化學(xué)習(xí)以此來進(jìn)行學(xué)習(xí)和更新。

4 仿真與分析

為驗證本文所提機制的有效性，分別對比了傳統(tǒng)的純反向散射模式[20-21]和無凸優(yōu)化混合模式(HTT模式+反向散射模式)[22]，同時比較了不同策略的影響，即隨機策略和距離策略，其中隨機策略即物聯(lián)網(wǎng)設(shè)備隨機和用戶進(jìn)行配對，而距離策略即物聯(lián)網(wǎng)設(shè)備選取最近的用戶進(jìn)行配對。假設(shè)BS到IoT設(shè)備的距離和IoT設(shè)備到用戶的距離都在100 m以內(nèi)[23]。BS的發(fā)射功率p=40 dBm，考慮距離相關(guān)的路損模型，即自由空間路徑損耗模型：

32.45+20lg(f)+20lg(d)-Gt-Gr。

(32)

式中：f表示載波頻率(MHz)，d表示距離(km)，Gt表示發(fā)射天線增益，Gr表示接收天線增益。f=2.4 GHz，Gt=Gr=2.5 dB。假設(shè)，所有IoT設(shè)備有相同的反射系數(shù)ai=a=0.8。表1是DRL的參數(shù)設(shè)置。此外將折扣因子設(shè)置為γ=0.7，同時設(shè)置為0.3，意味著以0.3的概率選擇一個隨機動作來探索經(jīng)驗，隨著時間增加，貪婪策略的因子會逐漸變大，從更具探索性變?yōu)楦哓澙沸缘臎Q策。概率ε服從ε(t+1)=1-max{0.0005,0.9995kl×ε}，這里kl隨著時間自增，每次加1。

表1 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

圖5對比了基于凸優(yōu)化時間調(diào)度的純反向散射模式[20]下平均吞吐量、混合模式(HTT模式+反向散射模式)[21]平均吞吐量、純反向散射模式[22]平均吞吐量。通過設(shè)置ρ=0.5來考慮相對動態(tài)信道場景，考慮的蜂窩用戶的數(shù)量是j=3，IoT設(shè)備的數(shù)量是i=3?？梢钥闯?，在相對動態(tài)信道環(huán)境中，與其他資源分配方法相比，本文的資源分配方法具有較好的收斂性能，且能達(dá)到較高的平均吞吐量。

圖5 不同資源分配方法平均吞吐量比較

圖6給出了四種不同資源分配方法平均吞吐量隨信道相關(guān)系數(shù)ρ的變化曲線，設(shè)置了i=j=3?？梢钥吹?，本文算法有較高的平均吞吐量，并且四種資源分配方法的平均吞吐量隨著相關(guān)系數(shù)的增大而呈現(xiàn)遞增的狀態(tài)，相關(guān)系數(shù)越大性能越好。當(dāng)ρ=0時，不同幀之間的信道沒有相關(guān)性，DRL無法更好地預(yù)測未來的信道信息，因此無法選擇最優(yōu)的用戶配對方式，四種資源分配方法平均吞吐量較低。當(dāng)ρ=0.9時，相關(guān)系數(shù)越大，不同幀之間的信道相關(guān)性越強，DRL能夠更好地學(xué)習(xí)不同幀之間的信道變化規(guī)律，更好地預(yù)測未來的信道條件，從而選擇最優(yōu)的用戶配對方式，實現(xiàn)更高的平均吞吐量。

圖6 不同資源分配方法信道相關(guān)系數(shù)對平均吞吐量影響

圖7給出了四種不同資源分配方法下平均吞吐量隨基站功率的變化曲線，可以看出，隨著功率的增加，四種資源分配方法的平均吞吐量也在增加，與純反向散射模式相比，本文所提算法充分利用時間資源和無線能量資源以提高系統(tǒng)的吞吐量性能，而純反向散射通信相對于傳統(tǒng)通信模式采用簡單的調(diào)制方式，信道容量較小，因此本文資源分配方法能夠?qū)崿F(xiàn)較高的平均吞吐量。

圖7 不同資源分配方法基站功率變化對平均吞吐量影響

圖8顯示了ρ=0.5相對動態(tài)信道場景下不同策略的平均吞吐量的性能，由圖中的對比曲線可以看出，相較于隨機策略，本文策略和距離策略所實現(xiàn)的性能較好，主要是因為隨機策略沒有考慮已知的因果關(guān)系，因此該策略的平均吞吐量較低。而距離策略只考慮了IoT設(shè)備每次只選擇最近的用戶進(jìn)行配對，沒有考慮信道變化的影響，因此該策略的平均吞吐量也比較低。

圖8 不同策略平均吞吐量比較

圖9顯示了ρ=0.5的相對動態(tài)信道場景中不同策略的平均吞吐量隨相關(guān)系數(shù)的變化，設(shè)置了i=j=3。可以看到，對于距離和隨機策略的平均吞吐量隨信道相關(guān)系數(shù)變化基本不變，原因在于隨機策略無法考慮已知的因果關(guān)系，因此平均吞吐量基本不變；而距離策略IoT設(shè)備每次只與最近的用戶進(jìn)行配對，不考慮信道變化的影響，因此平均吞吐量也基本不變。

圖9 不同資源分配方法相關(guān)系數(shù)變化對平均吞吐量影響

圖10顯示了ρ=0.5相對動態(tài)信道場景中不同策略的平均吞吐量隨基站功率的變化，設(shè)置了i=j=3?？梢钥吹剑骄掏铝侩S著功率的增大是增大的，并且本文所提DQN策略的性能明顯高于其他兩個策略，在功率p=10 W的情況下，本文所提策略得到的平均吞吐量分別比距離策略、隨機策略高出了1.26倍和1.32倍。

圖10 不同策略下基站功率變化對平均吞吐量影響

5 結(jié)束語

本文面向反向散射網(wǎng)絡(luò)提出了一種資源分配機制，以系統(tǒng)IoT設(shè)備平均吞吐量為目標(biāo)，構(gòu)建用戶配對和時隙分配聯(lián)合優(yōu)化資源分配模型。將DRL算法和凸優(yōu)化算法相結(jié)合以降低動作空間維度，將其拆分為用戶配對和時隙分配兩層子問題。比較了本文方案和其他方案的吞吐量性能，仿真驗證了本文所提方案具有較好的吞吐量性能。

在未來的工作中，將考慮把功率加入，對功率和時隙進(jìn)行聯(lián)合優(yōu)化；同時考慮IoT設(shè)備的功耗影響，以進(jìn)行能效最大化的資源分配方案設(shè)計。