基于epsilon-Greedy算法的信道選擇方案

摘? 要：5G時(shí)代下數(shù)據(jù)井噴帶來了網(wǎng)絡(luò)擁堵，本地算法以及云計(jì)算的集中式處理模式不足以滿足大規(guī)模物聯(lián)網(wǎng)環(huán)境的實(shí)時(shí)性要求。邊緣計(jì)算模型中大數(shù)據(jù)需要通過信道卸載到邊緣服務(wù)器上，通過對傳統(tǒng)信道選擇方式的研究可知：傳統(tǒng)基站分配方式效率低下。通過epsilon-Greedy算法和隨機(jī)算法的比較可得出：合理設(shè)定epsilon值，使探索與利用相結(jié)合可實(shí)現(xiàn)設(shè)備自我學(xué)習(xí)選擇信道。

關(guān)鍵詞：邊緣計(jì)算;自我學(xué)習(xí);信道選擇

中圖分類號：TN919.2? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）06-0079-03

Abstract：Data blowout in 5G era brings network congestion，and the centralized processing mode of local algorithm and cloud computing is not enough to meet the real-time requirements of large-scale internet of things environment. The big data in the edge computing model need to be offloaded to the edge server through the channel. By comparing the epsilon-Greedy algorithm with the stochastic algorithm，it can be concluded that the combination of exploration and utilization by setting the epsilon value reasonably can realize the self-learning channel selection of equipment.

Keywords：edge computing;self learning;channel selection

0? 引? 言

基站是移動設(shè)備接入互聯(lián)網(wǎng)的接口設(shè)備，也是無線電臺站的一種形式。校園內(nèi)的探頭、各種儀表盤、數(shù)字設(shè)備等都是由某個(gè)特定基站進(jìn)行數(shù)據(jù)交換。學(xué)習(xí)了“通信系統(tǒng)原理”這門課程，了解到數(shù)據(jù)的交換和傳輸必須通過信道，并且設(shè)備的信道選擇通常是由基站進(jìn)行統(tǒng)一分配。但在實(shí)際情況下信道存在時(shí)變性，基站分配信道必然導(dǎo)致效率低下。本文將研究設(shè)備通過自我學(xué)習(xí)選擇信道，保證傳輸速率的高水平。

1? 背景介紹

5G時(shí)代的來臨，日常生活中數(shù)據(jù)量的增長也隨之增加。流量的增加給通信成本帶來了壓力。數(shù)據(jù)顯示，到2020年，全球移動數(shù)據(jù)流量將達(dá)到每月30.6 EB，屆時(shí)將有約500億臺互聯(lián)網(wǎng)設(shè)備為物聯(lián)網(wǎng)做出貢獻(xiàn)。這種無與倫比的增長速度與移動設(shè)備的改進(jìn)速度并不匹配，設(shè)備壽命并沒有以跟得上的速度增長。隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展和物聯(lián)網(wǎng)應(yīng)用的不斷涌現(xiàn)，物聯(lián)網(wǎng)設(shè)備的井噴將帶來網(wǎng)絡(luò)擁堵。顯然，本地計(jì)算已經(jīng)不足以處理如此大量的數(shù)據(jù)。即使是云計(jì)算的集中式處理模式也無法滿足大規(guī)模物聯(lián)網(wǎng)環(huán)境的實(shí)時(shí)性要求。此外，終端設(shè)備上傳到云端的數(shù)據(jù)可能會泄露，設(shè)備井噴增加也可能導(dǎo)致云計(jì)算能耗不足等問題。物聯(lián)網(wǎng)革命開辟了新的研究視角，導(dǎo)致人們對去中心化范式的興趣日益濃厚。萬物互聯(lián)的需求催生了邊緣計(jì)算模型。

邊緣計(jì)算是通過將應(yīng)用程序的一部分?jǐn)?shù)據(jù)或服務(wù)從一個(gè)或多個(gè)中心節(jié)點(diǎn)（稱為“云”）移動到另一個(gè)邏輯端點(diǎn)（位于網(wǎng)絡(luò)邊緣的節(jié)點(diǎn)，稱為“邊緣”）來優(yōu)化應(yīng)用程序或云計(jì)算系統(tǒng)的技術(shù)。Luan等人認(rèn)為云計(jì)算與邊緣計(jì)算的不同之處在于：

（1）與邊緣計(jì)算相比，云計(jì)算可以看作是一個(gè)集中式的結(jié)構(gòu)，而邊緣計(jì)算是大規(guī)模、分布式的，但處理能力有限;

（2）終端用戶設(shè)備的延遲是由多個(gè)跳轉(zhuǎn)到最終目標(biāo)主機(jī)的需求驅(qū)動的，本質(zhì)上依賴于網(wǎng)絡(luò)服務(wù)提供商和核心網(wǎng)絡(luò)基礎(chǔ)設(shè)施[1]。邊緣計(jì)算消除（或至少減少）了對集中式云計(jì)算的需求。而集中式云計(jì)算在車輛和無人機(jī)的自動控制和導(dǎo)航等重要應(yīng)用中至關(guān)重要，但是大數(shù)據(jù)下，在這些應(yīng)用中，對云的訪問可能非常有限。邊緣計(jì)算還將通過提高服務(wù)質(zhì)量（如計(jì)算延遲）在機(jī)器學(xué)習(xí)以及基于位置的數(shù)據(jù)分析中啟用新的應(yīng)用程序，為用戶提供顯著的優(yōu)勢。隨著因特網(wǎng)的迅速發(fā)展及其應(yīng)用，絕大多數(shù)的企業(yè)建立了自己的網(wǎng)站，加強(qiáng)對外關(guān)系，加速業(yè)務(wù)流程和網(wǎng)站系統(tǒng)訪問響應(yīng)時(shí)間，他們的互聯(lián)網(wǎng)應(yīng)用任務(wù)的計(jì)算系統(tǒng)有足夠的計(jì)算資源，如服務(wù)器、云系統(tǒng)或處理數(shù)據(jù)中心[2-4]。

邊緣計(jì)算中所需的邊緣服務(wù)器，它直接與用戶通信。設(shè)備上的任務(wù)或數(shù)據(jù)需要卸載到邊緣服務(wù)器進(jìn)行處理，而卸載到服務(wù)器的數(shù)據(jù)需要經(jīng)過信道?；窘y(tǒng)一分配的信道選擇方式很普遍，但隨著終端設(shè)備的增加，基站的分配效率降低，而且成本很高。如果終端設(shè)備可以通過自己的學(xué)習(xí)選擇信道，可以大大提高效率，減輕基站的負(fù)擔(dān)。

2? 信道選擇的epsilon-Greedy算法

2.1? 多臂賭博機(jī)模型

多臂賭博機(jī)是一種擁有多根搖臂的賭博機(jī)器，每根搖臂都有不同的獎勵。問題是應(yīng)該如何選擇搖臂，在有限的時(shí)間內(nèi)獲得最多的獎勵。假設(shè)這個(gè)機(jī)器有五根搖臂。最先想到的方法是在每根搖臂上都試一定的次數(shù)，找出獎勵最豐厚的那根，然后把剩下的所有機(jī)會都用在這根搖臂上。但是，這種方法其實(shí)也不可靠，由概率論的知識我們知道，拉1 000次顯然比拉10 次得到最佳搖臂的機(jī)會更大。例如，如果你嘗試10次，而恰好你那天的運(yùn)氣很好或者很不好，最少獎勵的那根搖臂搖出了最多的獎勵，這就會讓你把接下來的次數(shù)全用在這根最少獎勵的搖臂上。給定有限的次數(shù)，我們要解決如何分配探索的次數(shù)和利用的次數(shù)這個(gè)問題。

本文目標(biāo)是解決多用戶的信道選擇的問題，旨在令每個(gè)用戶選擇對應(yīng)的傳輸數(shù)據(jù)速率最快的信道。賭博機(jī)的搖桿可以抽象成信道，每個(gè)待選信道的數(shù)據(jù)傳輸速率可以相當(dāng)于每根搖臂的獎勵，每個(gè)設(shè)備對于信道的選擇可看成是一個(gè)賭徒選擇搖臂，試圖獲得最大的獎勵。經(jīng)過分析，多臂賭博機(jī)問題與本文要研究的設(shè)備選擇信道問題的模型相同，可以使用該模型進(jìn)行討論和研究。

2.2? 時(shí)隙模型

這里我們應(yīng)用時(shí)隙模型。時(shí)間長度可分為多個(gè)小時(shí)段（時(shí)隙），用τ表示，假設(shè)在每個(gè)時(shí)隙中，信道的傳輸特性保持不變，但在不同的時(shí)隙中信道傳輸速率會發(fā)生變化。

假設(shè)每次選擇信道時(shí)，數(shù)據(jù)都將以傳輸速率vj傳輸，傳輸時(shí)間為τ，因此，在此時(shí)隙內(nèi)傳輸?shù)臄?shù)據(jù)量為vj·τ。

2.3? epsilon-Greedy算法

該算法是通過設(shè)置一個(gè)值epsilon來完成的，這個(gè)值決定了要探索還是利用。例如，如果epsilon設(shè)置為0.1，則有10%的探索概率和90%的利用概率。每次我們都在0和1之間選擇一個(gè)隨機(jī)數(shù)。如果這個(gè)值大于epsilon，則利用具有更高回報(bào)的搖臂的概率就會高。如果它小于epsilon，則探索的概率更高。當(dāng)你獲得獎勵時(shí)，更新該搖臂預(yù)設(shè)的獎勵，作為下一輪實(shí)驗(yàn)的參考。

2.4? 多臂賭博機(jī)模型實(shí)現(xiàn)信道選擇

3? 仿真結(jié)果

本次仿真采用MATLAB軟件。在模擬中，設(shè)置用戶數(shù)量為3，可用信道數(shù)量為5，傳輸時(shí)隙數(shù)量為500。為每一個(gè)信道預(yù)設(shè)的傳輸速率為[1.1，1.2，1.3，1.4，1.5]，單位為Mb/s。

仿真結(jié)果如表1所示：

分析：從表1可以看出，當(dāng)?shù)螖?shù)趨于無窮時(shí)，epsilon-Greedy算法與隨機(jī)算法所得到的平均傳輸速率近似為定值，其中epsilon-Greedy算法所得結(jié)果大約比隨機(jī)算法得到的結(jié)果高出0.13 Mb/s。這是因?yàn)楫?dāng)通過epsilon-Greedy算法選擇信道時(shí)，總是傾向于選擇之前記錄的平均數(shù)據(jù)傳輸速率最高的信道。當(dāng)采用隨機(jī)算法選擇信道時(shí)，相當(dāng)于隨機(jī)選擇信道，因此得到的平均數(shù)據(jù)傳輸速率等于預(yù)設(shè)速率的平均值，如表2所示。

分析：從表2可以看出，當(dāng)epsilon取值較小時(shí)，例如epsilon=0.1，則表示為用戶將以0.9選擇之前記錄的性能較好的信道，而探索的概率僅有0.1。當(dāng)epsilon取值較大時(shí)，例如epsilon=0.7，信道選擇有0.7的概率是通過探索來進(jìn)行的。當(dāng)?shù)螖?shù)足夠大時(shí)，可以看出epsilon=0.1時(shí)的平均傳輸速率大于epsilon=0.7時(shí)的平均傳輸速率。

但是，并不是說epsilon越小越好。如表，當(dāng)epsilon=0.3?時(shí)，所得到的平均傳輸速率大于epsilon=0.1時(shí)的結(jié)果。通過第二部分對于多臂賭博機(jī)問題的描述，由于運(yùn)氣原因，你利用的信道也許并不是最優(yōu)信道，也就是說，當(dāng)epsilon取小值時(shí)所得出的解可能是次優(yōu)解。所以需要通過多次的實(shí)驗(yàn)得出最佳的epsilon值。

4? 結(jié)? 論

本文研究了基于epsilon-Greedy算法的信道選擇問題，通過實(shí)驗(yàn)數(shù)據(jù)分析得出，通過epsilon-Greedy算法的信道選擇效果優(yōu)于隨機(jī)算法。當(dāng)實(shí)際設(shè)備選擇傳輸數(shù)據(jù)的信道時(shí)，可以人為地設(shè)置相應(yīng)的epsilon值，使設(shè)備選擇最優(yōu)信道。

在5G時(shí)代數(shù)據(jù)井噴的時(shí)期，當(dāng)信道選擇可以通過自我選擇進(jìn)行時(shí)，將大大減輕基站的負(fù)擔(dān)，以最快的速度進(jìn)行數(shù)據(jù)傳輸，從而使邊緣計(jì)算的效率大大提高。

參考文獻(xiàn)：

[1] LUAN T H，GAO L X，LI Z，et al.FOG COMPUTING：FOCUSING ON MOBILE USERS AT THE EDGE [J].COMPUTER SCIENCE，2015：1-11.

[2] KUMAR K，LIU J B，LU Y H，et al.A Survey of Computation Offloading for Mobile Systems [J].Mobile Networks and Applications，2013，18（1）：129-140.

[3] RAHIMI M R，REN J，LIU C H，et al.Mobile Cloud Computing： A Survey，State of Art and Future Directions [J].Mobile Networks and Applications，2014，19（2）：133-143.

[4] KUMAR K，LU Y H.Cloud Computing for Mobile Users：Can Offloading Computation Save Energy？ [J].IEEE Computer，2010（43）：51-56.

作者簡介：張孫烜（1998.09-），男，漢族，福建寧德人，本科，研究方向：電力物聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)、機(jī)器對機(jī)器通信、無限資源分配。