車聯(lián)網(wǎng)中基于NOMA-MEC的卸載策略研究

張海波 劉香渝* 荊昆侖 劉開健 賀曉帆

①(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

②(移動通信技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

③(武漢大學(xué)電子信息學(xué)院 武漢 430000)

1 引言

隨著移動通信技術(shù)的發(fā)展以及移動終端設(shè)備的普及，新型車載終端應(yīng)用對移動通信網(wǎng)絡(luò)提出了更加嚴(yán)苛的要求。移動邊緣計(jì)算(Mobile Edge Computing, MEC)技術(shù)的出現(xiàn)能夠有效地解決這一挑戰(zhàn)。MEC是一種新型通信架構(gòu)，將具有計(jì)算、存儲以及通信功能的服務(wù)平臺安置在網(wǎng)絡(luò)邊緣，幫助移動終端用戶將計(jì)算密集型、時(shí)延敏感型任務(wù)卸載到邊緣節(jié)點(diǎn)進(jìn)行處理[1,2]。MEC技術(shù)是第5代移動通信的一項(xiàng)重要技術(shù)，目前廣泛應(yīng)用于通信網(wǎng)絡(luò)系統(tǒng)研究[3,4]。基于MEC的通信系統(tǒng)能夠降低任務(wù)處理時(shí)間，同時(shí)減少移動終端設(shè)備的能耗以及傳輸成本[5-7]。在車聯(lián)網(wǎng)場景下，新型的服務(wù)應(yīng)用正在發(fā)展，如無人駕駛、超清視頻、增強(qiáng)現(xiàn)實(shí)等[8]，MEC可以滿足這些任務(wù)的高計(jì)算要求，而非正交多址(Non-Orthogonal Multiple Access, NOMA)技術(shù)的應(yīng)用能夠更進(jìn)一步減少多任務(wù)卸載延遲的問題。

NOMA技術(shù)是第5代蜂窩網(wǎng)絡(luò)的關(guān)鍵技術(shù)之一，通過為終端用戶分配不同的功率，可以在同一頻帶上同時(shí)為多個用戶提供服務(wù)，從而有效地提高頻譜利用率[9]。NOMA已被視為在未來通信場景中增強(qiáng)系統(tǒng)容量的基本多址訪問技術(shù)[10]。文獻(xiàn)[11,12]將NOMA的上下行傳輸都應(yīng)用于基于MEC的網(wǎng)絡(luò)系統(tǒng)，并提出了基于Dinkelbach方法的迭代算法，最小化終端用戶的卸載時(shí)延。文獻(xiàn)[13]提出了兩種用于V2X通信的中繼輔助NOMA傳輸方案，有效地提高了用戶的服務(wù)質(zhì)量，減輕了流量擁塞并減少了任務(wù)延遲。

文獻(xiàn)[14]研究了基于NOMA的卸載策略，但其中只包括關(guān)于正交多址接入(Orthogonal Multiple Access, OMA)或純NOMA的卸載選擇。文獻(xiàn)[15]研究了NOMA技術(shù)在MEC下的卸載問題，利用混合型NOMA提高了卸載的信道利用率，但主要分析單個用戶。文獻(xiàn)[16]體現(xiàn)了在車聯(lián)網(wǎng)中利用MEC可減少車輛任務(wù)卸載的時(shí)延和能耗，提高資源利用率。文獻(xiàn)[17]講述了NOMA在車聯(lián)網(wǎng)中的可行性，可用于提高車聯(lián)網(wǎng)的頻譜效率。因此，在車聯(lián)網(wǎng)下NOMA-MEC有效結(jié)合，能夠進(jìn)一步完善MEC技術(shù)在車聯(lián)網(wǎng)中的應(yīng)用，減少移動終端用戶進(jìn)行卸載的延遲和能耗；另外，現(xiàn)有關(guān)用戶卸載的文獻(xiàn)研究中，多是基于對能耗或者時(shí)延的單獨(dú)優(yōu)化。而在實(shí)際應(yīng)用場景下，任務(wù)的卸載過程需要同時(shí)考慮到任務(wù)的時(shí)延敏感度和設(shè)備能耗的約束，而通過對混合NOMA-MEC卸載策略研究能夠更加科學(xué)地完成任務(wù)卸載。

由此本文提出的混合NOMA-MEC卸載策略主要完成了以下工作：

(1) 將NOMA技術(shù)和基于MEC的車聯(lián)網(wǎng)系統(tǒng)結(jié)合，構(gòu)建了一個車聯(lián)網(wǎng)通信模型，并利用NOMA的技術(shù)優(yōu)勢，更好地適應(yīng)多用戶應(yīng)用場景，符合實(shí)際通信網(wǎng)絡(luò)需求。

(2) 利用DQN合作博弈算法，通過競爭博弈確定信道選擇，根據(jù)用戶請求的任務(wù)屬性以及卸載用戶的數(shù)量，進(jìn)行信道資源分配。通過合作博弈得到合作收益，以最大化用戶效益。然后利用DQN，為用戶選擇最優(yōu)的卸載策略。

(3) 設(shè)計(jì)了一種混合NOMA-MEC卸載選擇機(jī)制，較全面地考慮到了目標(biāo)優(yōu)化函數(shù)的影響因子，從任務(wù)卸載的時(shí)延和能耗方面進(jìn)行優(yōu)化。主要是通過將部分用戶按照傳統(tǒng)OMA模式進(jìn)行卸載，另一部分用戶利用NOMA模式進(jìn)行卸載傳輸來實(shí)現(xiàn)。

2 系統(tǒng)模型

在車聯(lián)網(wǎng)下MEC通信網(wǎng)絡(luò)系統(tǒng)中，車輛用戶v ={1,2,···,V}通過同一個接入點(diǎn)與MEC服務(wù)器進(jìn)行通信，并請求任務(wù)卸載至MEC服務(wù)器。該系統(tǒng)模型如圖1所示，每個車輛用戶卸載任務(wù)定義為Qv={Sv,Dv} ，其中Sv和 Dv分 別表示車輛用戶v 需要卸載的任務(wù)大小和最大時(shí)延容忍度。

在NOMA-MEC的通信系統(tǒng)框架中，可以允許多個車輛用戶在同一個時(shí)隙完成任務(wù)卸載。假設(shè)有兩個車輛用戶m和n同時(shí)請求任務(wù)卸載，若Dn≥Dm, m, n ∈{1,2,···,V}，那么在該模式下用戶m和n可以同時(shí)在 Dm時(shí)隙內(nèi)向MEC服務(wù)器進(jìn)行卸載。車輛用戶m和n的傳輸功率分別為和，在這需要指出如果用戶m的信息在連續(xù)干擾消除(Successive Interference Cancelation, SIC)的第2階段被解碼，則用戶m的性能與OMA相同，因此用戶m的傳輸時(shí)延不會受到影響[18]。用戶n的傳輸速率Rn在時(shí)隙Dm內(nèi)為

圖1 系統(tǒng)模型圖

3 混合NOMA-MEC卸載

混合NOMA-MEC卸載策略在最大限度滿足任務(wù)的時(shí)延需求的同時(shí)，也能夠減少任務(wù)卸載過程中的能量損耗。因此，混合NOMA-MEC卸載的優(yōu)化目標(biāo)主要是任務(wù)卸載的時(shí)延和能耗。具體來講，在此過程中，優(yōu)化目標(biāo)是最小化總開銷[19]，由式(4)表示

引理1在滿足給定約束條件下，目標(biāo)函數(shù)式(4)是一個非凸優(yōu)化問題。

證明將優(yōu)化目標(biāo)函數(shù)式(4)轉(zhuǎn)化為關(guān)于變量pNnmOMA和pNnnOMA的2元函數(shù)為

在上述目標(biāo)函數(shù)里只含有兩個變量因子，其余均默認(rèn)為常量，因此簡化為

并求出其Hessen矩陣表達(dá)式為

上述矩陣存在余子式小于零的情況，因此可得優(yōu)化目標(biāo)函數(shù)式(4)是一個非凸優(yōu)化問題。證畢為解決該問題，求出關(guān)于和最優(yōu)的分配策略，本文設(shè)計(jì)了一種基于深度Q學(xué)習(xí)網(wǎng)絡(luò)(Deep Q-learning Network, DQN)的合作博弈算法(DQN C ooperative Game algorithm, DCG)進(jìn)行求解。

3 .1 基于DQN的合作博弈算法

3.1.1 博弈的第1階段-競爭

DCG第1階段需要定義一組競爭關(guān)系，根據(jù)優(yōu)化目標(biāo)函數(shù)的影響因子，車輛用戶n進(jìn)行卸載信道選擇的過程屬于競爭博弈關(guān)系，因此定義了用戶α和 β 的競爭關(guān)系[ α,β]，此時(shí)用戶n進(jìn)行任務(wù)卸載與對應(yīng)車輛用戶α 和 β 的數(shù)學(xué)模型fn(α)和 fn(β)分別為

其中， Tα和 Tβ分別表示車輛用戶α 和 β 的卸載時(shí)延，和分別表示車輛用戶α 和 β 的傳輸功率，用戶n進(jìn)行任務(wù)卸載的能耗間隔Δ e如式(12)所示

式(10)和式(11)分別表示用戶n進(jìn)行任務(wù)卸載與對應(yīng)車輛用戶α 和 β 的能耗函數(shù)，式(12)表示車輛用戶n匹配不同用戶的能耗差，其中 φ表示任務(wù)卸載的能耗緩沖間隙，當(dāng)滿足 C1的約束條件時(shí)，任務(wù)將用戶 β的信道進(jìn)行混合NOMA-MEC卸載，反之 在用戶α 的信道進(jìn)行任務(wù)卸載。

3.1.2 博弈的第2階段-合作

DCG的第2階段需要根據(jù)目標(biāo)函數(shù)的影響因子定義合作收益θg為

其中， θr和θc分別表示收入因子和成本因子，分別由任務(wù)卸載過程中產(chǎn)生時(shí)延的倒數(shù)和能耗構(gòu)成。根據(jù)上述 公 式， θr和θg成正相關(guān)函數(shù)，θc和θg成 負(fù) 相關(guān)函數(shù)，因此最優(yōu)的合作方案是收入因子盡量大，成 本因子盡量小，從而保證車輛用戶效益的最大化。

3.1.3 博弈的第3階段-基于DQN的價(jià)格調(diào)整

DCG的第3階段需要通過DQN迭代學(xué)習(xí)為用戶選擇最優(yōu)的卸載策略。DQN是一種將Q學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法，它使用深度神經(jīng)網(wǎng)絡(luò)作為Q值網(wǎng)絡(luò)，并將Q表的更新問題轉(zhuǎn)化為函數(shù)擬合問題，并通過相似的狀態(tài)獲得相似的輸出動作，最終通過更新神經(jīng)網(wǎng)絡(luò)參數(shù)來估算最佳效用值[20]?；赒學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)模型如圖2所示。

其中，rt表 示最小獎勵，τk∈(0,1)表示定義為學(xué)習(xí)率，表示當(dāng)前知識對先前學(xué)習(xí)知識的影響?；贒QN的合作博弈算法如表1所示。

圖2 深度學(xué)習(xí)網(wǎng)絡(luò)模型圖

表1 基于DQN的合作博弈算法

3.2 卸載機(jī)制選擇

基于上述NOMA-MEC卸載機(jī)制的研究，車輛用戶在請求完成任務(wù)卸載的策略也不再局限于單一的OMA或者NOMA方式，用戶可以根據(jù)自身任務(wù)的屬性選擇更適合的卸載策略。任務(wù)在卸載的過程中會受到很多因素的約束和影響，如任務(wù)傳輸時(shí)延、卸載能耗、所需計(jì)算資源大小等?；旌螻OMA-MEC的卸載機(jī)制如表2所示。

關(guān)于表2的卸載機(jī)制，首先初始化任務(wù) qv以及信道容量，并定義了關(guān)于用戶最優(yōu)的能耗容忍區(qū)間。行(2)定義了用戶在NOMA-MEC策略卸載的成本函數(shù)，通過行(4)判斷當(dāng)前請求接入的用戶數(shù)量是否超出在OMA通信網(wǎng)絡(luò)系統(tǒng)容量，如果當(dāng)前接入用戶數(shù)量較少，直接選擇傳統(tǒng)OMA策略進(jìn)行卸載，該策略能夠減少卸載能耗以及傳輸成本；如果超過了系統(tǒng)容量則需要通過NOMA-MEC技術(shù)解決信道資源不足的問題。行(5)～(11)表示如果用戶v 的能耗超出了最佳區(qū)間范圍，則選擇相對能耗表現(xiàn)更為優(yōu)異的NOMA-MEC策略，如果卸載能耗屬于最佳的 范圍區(qū)間，因此需要比較二者傳輸時(shí)延以及成本。

4 仿真分析

本文基于MATLAB的平臺進(jìn)行仿真，相關(guān)網(wǎng)絡(luò)模型參數(shù)設(shè)置是在IEEE 802.11p標(biāo)準(zhǔn)和參照3GPP TR36.885進(jìn)行設(shè)定的[21]，假設(shè)車輛用戶都勻速運(yùn)動，且在任務(wù)卸載期間不會離開原MEC通信范圍[22]。部分系統(tǒng)仿真參數(shù)表如表3所示。

對于基于DQN的算法，使用兩個分別由128和64個神經(jīng)元組成的隱藏層進(jìn)行神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)。選擇ReLU激活功能和Adam優(yōu)化器，其他與DQN相關(guān)的參數(shù)[23]匯總在表4中。

圖3是基于OMA模式、純NOMA模式、混合NOMA模式下的單一用戶卸載能耗圖。由此可知，隨著任務(wù)量的增加，卸載過程產(chǎn)生的能耗也越高；同時(shí)NOMA模式下的卸載策略相較于OMA模式會產(chǎn)生更高的能耗，而純NOMA模式下能耗最高。產(chǎn)生上述現(xiàn)象的原因是NOMA技術(shù)能夠提高頻譜利用率，而香農(nóng)信息容量理論證明最大頻譜效率和最小能耗不能同時(shí)達(dá)到。

表2 混合NOMA-MEC的卸載機(jī)制

表3 部分系統(tǒng)仿真參數(shù)表

表4 DQN相關(guān)的參數(shù)

圖3 任務(wù)大小與能耗關(guān)系圖

圖4是關(guān)于請求任務(wù)卸載的用戶數(shù)量與任務(wù)卸載總時(shí)延的仿真結(jié)果。由圖可知，隨著用戶數(shù)量的增加，任務(wù)卸載的總時(shí)延也逐漸增大，同時(shí)不同模式下任務(wù)卸載的總時(shí)延差距也逐漸增加。造成上述現(xiàn)象的原因是，當(dāng)請求任務(wù)卸載的用戶數(shù)量較少時(shí)，3種模式下的信道資源充足，但是隨著用戶數(shù)量增加，信道資源不足的問題逐漸顯現(xiàn)出來，傳統(tǒng)OMA模式下的用戶需要進(jìn)行任務(wù)卸載排序，等待其他用戶完成卸載后才能進(jìn)行卸載，而新型的NOMA卸載策略能夠在有限的信道資源下，滿足更多的用戶同時(shí)進(jìn)行任務(wù)卸載。

雖然在純NOMA模式下總時(shí)延最低但能耗卻較高，所以通常不采用該方式進(jìn)行卸載[15]。圖5是關(guān)于傳統(tǒng)OMA卸載與混合NOMA-MEC卸載用戶容量的，圖中的仿真結(jié)果表明，混合NOMA-MEC卸載策略能夠在有限帶寬的約束條件下，為更多的車聯(lián)網(wǎng)用戶提供卸載。通過計(jì)算結(jié)果得出，該策略相較于OMA模式下的卸載，卸載用戶容量提高約50%，因此混合NOMA-MEC卸載策略能夠有效地解決多用戶卸載信道不足的問題。

圖4 用戶數(shù)目與總時(shí)延關(guān)系圖

圖5 帶寬與用戶容量關(guān)系圖

在總開銷計(jì)算中將 λ的值設(shè)為[0.1, 0.5, 0.9][24]，來體現(xiàn)系統(tǒng)在不同情況下對時(shí)延和能耗的要求不同。當(dāng)λ =0.1時(shí)，系統(tǒng)對時(shí)延的要求極高，圖6(a)展示了在這種情況下，OMA模式卸載與混合NOMAMEC模式卸載的總開銷差異。結(jié)果顯示在系統(tǒng)對時(shí)延要求高時(shí)，混合NOMA-MEC相比OMA模式有較低的總開銷。圖6(b)展示了當(dāng)λ =0.9時(shí)，系統(tǒng)對能耗的要求極高的情況下，混合NOMA-MEC的開銷卻大于OMA模式的總開銷。這是因?yàn)镹OMA雖然可以容納更多的用戶減少卸載時(shí)延，但會同時(shí)付出高能耗的代價(jià)。

圖6 時(shí)延和能耗要求不同時(shí)用戶數(shù)目與總開銷關(guān)系圖

將提出的DCG算法與幾何規(guī)劃算法(Geometric Programming, GP)[15]對比。圖7是當(dāng)λ=0.5時(shí)，時(shí)延和能耗視為同等重要時(shí)，用戶請求任務(wù)卸載的數(shù)目與總開銷的關(guān)系。通過對比分析發(fā)現(xiàn)，混合NOMA-MEC的卸載策略相較于OMA模式開銷更小，主要原因是混合NOMA-MEC的卸載決策是一種更加全面的卸載策略，它同時(shí)考慮了任務(wù)卸載過程中時(shí)延的要求和能耗的影響，因此該卸載模式能夠最大化地保證用戶效益。且隨著用戶數(shù)目的增加，在進(jìn)行任務(wù)卸載的過程中將會產(chǎn)生更多的開銷，在兩種卸載模式情況下，本文算法DCG都優(yōu)于GP算法，是因?yàn)樵诳紤]了NOMA和MEC組合的復(fù)雜性的情況下，車輛用戶能更動態(tài)地選擇卸載模式。

圖7 λ = 0.5時(shí)用戶數(shù)目與總開銷關(guān)系圖

5 結(jié)束語

本文提出了車聯(lián)網(wǎng)場景下混合NOMA-MEC的卸載策略，解決了現(xiàn)有通信網(wǎng)絡(luò)模型中信道資源不足的問題，該策略能夠在有限的信道帶寬資源約束下，為更多的請求用戶提供卸載。本文采用了博弈算法為用戶進(jìn)行信道選擇，在此基礎(chǔ)上設(shè)計(jì)了DCG算法，有效地幫助用戶選擇最優(yōu)功率分配策略，最大限度的保證卸載用戶的效益。仿真結(jié)果表明，在系統(tǒng)對時(shí)延和能耗要求相同時(shí)，混合NOMA-MEC卸載策略更加全面地優(yōu)化了目標(biāo)函數(shù)，使得總開銷顯著降低。在未來的研究工作中，將進(jìn)一步研究任務(wù)卸載過程中面臨小區(qū)切換的問題。