能量收集輔助的礦山物聯(lián)網(wǎng)智能計(jì)算卸載方法

閔明慧 張 鵬 朱浩鵬 程志鵬 馬 帥李世銀* 肖 亮 彭國(guó)軍

①(中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院 徐州 221116)

②(武漢大學(xué)空天信息安全與可信計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室 武漢 430072)

③(廈門大學(xué)信息學(xué)院 廈門 361005)

1 引言

為推進(jìn)智慧礦山建設(shè)，實(shí)現(xiàn)礦山生產(chǎn)自動(dòng)化、信息化和智能化，需要對(duì)礦山物聯(lián)網(wǎng)中數(shù)據(jù)密集且時(shí)延敏感的計(jì)算任務(wù)進(jìn)行及時(shí)處理和分析[1]。然而，一般情況下，礦山物聯(lián)網(wǎng)設(shè)備計(jì)算、能量和內(nèi)存資源受限[2]。因此，針對(duì)智慧礦山建設(shè)需求的高效任務(wù)計(jì)算卸載方法亟待研究。

移動(dòng)邊緣計(jì)算(M ob ile Edge Com pu ting,MEC)技術(shù)利用邊緣服務(wù)器的計(jì)算、緩存和能量資源將礦山物聯(lián)網(wǎng)設(shè)備產(chǎn)生的計(jì)算任務(wù)卸載至邊緣端協(xié)助處理以降低計(jì)算時(shí)延和能耗，甚至提高智慧礦山的安全性[3,4]。Porambage等人[5]展開一項(xiàng)全面調(diào)查，介紹了M EC技術(shù)在不同物聯(lián)網(wǎng)系統(tǒng)中的應(yīng)用，并闡明了該技術(shù)可改善物聯(lián)網(wǎng)性能。在工業(yè)物聯(lián)網(wǎng)等場(chǎng)景，可以利用邊緣計(jì)算技術(shù)有效地解決設(shè)備終端計(jì)算能力不足的問(wèn)題，在靠近用戶的邊緣上提供滿意的服務(wù)質(zhì)量和靈活的計(jì)算資源[6]。采用智能計(jì)算卸載框架將單個(gè)物聯(lián)網(wǎng)設(shè)備上的計(jì)算任務(wù)卸載到多個(gè)邊緣服務(wù)器上，并對(duì)任務(wù)分配以及CPU頻率進(jìn)行聯(lián)合優(yōu)化，可最大限度地減少執(zhí)行延遲和能耗[7]。本工作針對(duì)礦山物聯(lián)網(wǎng)中豐富特殊的計(jì)算任務(wù)需求[8]，如實(shí)時(shí)檢測(cè)甲烷濃度的時(shí)延敏感型計(jì)算任務(wù)、采煤工作面高效運(yùn)行大量感知參數(shù)處理的數(shù)據(jù)密集型任務(wù)以及火災(zāi)/爆炸警報(bào)的生命保障型任務(wù)，運(yùn)用MEC技術(shù)實(shí)現(xiàn)礦山物聯(lián)網(wǎng)的高效任務(wù)處理和性能優(yōu)化。

傳統(tǒng)物聯(lián)網(wǎng)系統(tǒng)利用電網(wǎng)供電必然導(dǎo)致大量的碳排放，這不符合節(jié)能減排的需求。在智慧礦山生產(chǎn)過(guò)程中，挖掘使用能量收集(Energy Harvesting,EH)技術(shù)，將井下可再生能源(包括風(fēng)能[9]、無(wú)線射頻信號(hào)能量[10]和機(jī)械能[11]等)作為綠色供電來(lái)源，這是響應(yīng)國(guó)家倡導(dǎo)的“碳中和、碳達(dá)峰”目標(biāo)的有效舉措，可解決礦用電池不易更換的難題[9]，也可極大地提高井下工作生產(chǎn)的安全性。此外，將EH技術(shù)運(yùn)用到邊緣計(jì)算系統(tǒng)中，有助于實(shí)現(xiàn)可持續(xù)的任務(wù)計(jì)算效益。Sun等人[12]提出一種基于差分進(jìn)化算法的能量收集和任務(wù)計(jì)算優(yōu)化方案，該方案不僅優(yōu)化效率高和能耗低，而且能有效緩解微型設(shè)備的能源短缺問(wèn)題，延長(zhǎng)設(shè)備的使用壽命。因此，本文采用EH技術(shù)輔助礦山物聯(lián)網(wǎng)設(shè)備供電，以提高任務(wù)計(jì)算效益并延長(zhǎng)設(shè)備使用壽命。

礦山物聯(lián)網(wǎng)中井下通信環(huán)境相比于地面更加復(fù)雜多變，嚴(yán)重的非視距通信場(chǎng)景導(dǎo)致邊緣覆蓋困難；此外，井下還存在無(wú)線信號(hào)衰落嚴(yán)重、傳輸距離受限等突出問(wèn)題[13]。因此，本文考慮在礦山物聯(lián)網(wǎng)設(shè)備近端布置多個(gè)邊緣服務(wù)器提供視距通信且增強(qiáng)覆蓋范圍，并設(shè)計(jì)一對(duì)多的礦井MEC網(wǎng)絡(luò)架構(gòu)，即由一個(gè)礦山物聯(lián)網(wǎng)設(shè)備和M個(gè)井下邊緣服務(wù)器組成的礦井MEC網(wǎng)絡(luò)。此外，由于井下導(dǎo)致信號(hào)衰落的因素復(fù)雜多變、移動(dòng)設(shè)備遮擋信號(hào)視距傳輸、多徑衰落效應(yīng)十分嚴(yán)重，目前尚欠缺針對(duì)復(fù)雜環(huán)境的無(wú)線通信理論來(lái)精確刻畫井下通信模型。因此，傳統(tǒng)的優(yōu)化理論無(wú)法解決礦井下的計(jì)算卸載策略選擇問(wèn)題。本文將礦山物聯(lián)網(wǎng)設(shè)備的計(jì)算卸載過(guò)程建模為馬爾可夫決策過(guò)程(M arkov Decision Process,MDP)[14]，利用強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)算法可在不了解系統(tǒng)模型的情況下，根據(jù)上一個(gè)時(shí)隙中每條邊緣鏈路的無(wú)線信道帶寬、預(yù)測(cè)的EH再生能量和當(dāng)前物聯(lián)網(wǎng)設(shè)備的電池電量選擇計(jì)算卸載策略(即選擇邊緣服務(wù)器和計(jì)算任務(wù)的卸載率)。通過(guò)與環(huán)境不斷交互，礦山物聯(lián)網(wǎng)設(shè)備可自適應(yīng)復(fù)雜環(huán)境在動(dòng)態(tài)試錯(cuò)中探索最優(yōu)的計(jì)算卸載策略并獲得最優(yōu)長(zhǎng)期效益。

綜上所述，本文提出了融合能量收集和強(qiáng)化學(xué)習(xí)的智能計(jì)算卸載機(jī)制，建立井下一對(duì)多MEC網(wǎng)絡(luò)模型，對(duì)能耗、時(shí)延和任務(wù)失敗等問(wèn)題進(jìn)行具體分析。本文首先提出了一種基于RL—Q-learning算法的智能計(jì)算卸載機(jī)制，礦山物聯(lián)網(wǎng)設(shè)備作為智能體在不能精確獲取井下系統(tǒng)模型的情況下動(dòng)態(tài)探索最優(yōu)計(jì)算卸載策略。但是，傳統(tǒng)的強(qiáng)化學(xué)習(xí)技術(shù)面臨維度災(zāi)難問(wèn)題，當(dāng)動(dòng)作狀態(tài)空間很大時(shí)，Q-learning算法的計(jì)算效率會(huì)大大降低。并且計(jì)算卸載率是連續(xù)的策略空間，Q-learning算法需先將該策略離散化才可進(jìn)行學(xué)習(xí)。因此，本文還提出了一種基于深度確定性策略梯度算法(Deep Determ inistic Policy Gradient,DDPG)的計(jì)算卸載機(jī)制，可實(shí)現(xiàn)在連續(xù)空間內(nèi)選擇計(jì)算卸載策略，減小離散化誤差[15]。再者，利用卷積神經(jīng)網(wǎng)絡(luò)解決了維度災(zāi)難問(wèn)題，能夠更好地捕獲井下環(huán)境特征，進(jìn)一步優(yōu)化計(jì)算卸載策略選擇，提升系統(tǒng)性能。仿真結(jié)果表明所提機(jī)制可減少能量損耗、降低計(jì)算時(shí)延和任務(wù)計(jì)算失敗率，提高計(jì)算卸載效益。

2 系統(tǒng)模型

圖1給出了由一個(gè)礦山物聯(lián)網(wǎng)設(shè)備和M個(gè)井下邊緣服務(wù)器組成的礦井MEC網(wǎng)絡(luò)架構(gòu)。礦山物聯(lián)網(wǎng)設(shè)備為井下多種傳感設(shè)備，如巷道巡檢機(jī)器人、煤炭采掘機(jī)和采煤工人安全頭盔等。這些設(shè)備將產(chǎn)生的計(jì)算任務(wù)卸載至邊緣服務(wù)器以協(xié)助任務(wù)處理。礦山物聯(lián)網(wǎng)設(shè)備配備了射頻能量采集器、風(fēng)力渦輪機(jī)等儲(chǔ)能元件和EH組件，利用能量收集技術(shù)產(chǎn)生電能。物聯(lián)網(wǎng)設(shè)備既可以在本地處理計(jì)算任務(wù)，也可以將部分或全部任務(wù)卸載至井下邊緣服務(wù)器。另外，任務(wù)處理的最小時(shí)間單位為時(shí)隙，假設(shè)物聯(lián)網(wǎng)設(shè)備在第k個(gè)時(shí)隙生成R(k)Mbit的計(jì)算任務(wù)數(shù)據(jù)量。

圖1 礦山物聯(lián)網(wǎng)中的MEC架構(gòu)

2.1 移動(dòng)邊緣計(jì)算卸載模型

M個(gè)邊緣服務(wù)器部署在礦山物聯(lián)網(wǎng)設(shè)備可視距通信的范圍內(nèi)。物聯(lián)網(wǎng)設(shè)備至邊緣服務(wù)器的無(wú)線信道鏈路帶寬為B i(k)，其中。物聯(lián)網(wǎng)設(shè)備在時(shí)隙k內(nèi)選擇信道較好的井下邊緣服務(wù)器i并將R(k)x(k)M b it計(jì)算任務(wù)量卸載至該服務(wù)器，其中x(k)(0≤x(k)≤1)為 卸載率。具體來(lái)說(shuō)，當(dāng)x(k)=0時(shí)，物聯(lián)網(wǎng)設(shè)備本地處理全部計(jì)算任務(wù)；當(dāng)x(k)=1時(shí)，設(shè)備將所有計(jì)算任務(wù)卸載到邊緣服務(wù)器；當(dāng)0≤x(k)≤1時(shí)，該設(shè)備將R(k)x(k)M bit數(shù)據(jù)卸載至井下邊緣服務(wù)器i，剩余的(1-x(k))R(k)M bit數(shù)據(jù)在本地處理。于是，礦山物聯(lián)網(wǎng)設(shè)備在時(shí)隙k內(nèi)選擇卸載策略a(k)=[i(k),x(k)]∈A，其中A表示所有可能的計(jì)算卸載策略集合。

礦山物聯(lián)網(wǎng)設(shè)備的CPU用作本地計(jì)算，處理1 M bit數(shù)據(jù)需要N個(gè)CPU周期，則本地計(jì)算需要(1-x(k))R(k)N個(gè)CPU周期，CPU周期頻率為f，用S1=N/f表示本地計(jì)算1 M b it數(shù)據(jù)所需的時(shí)間。e0表示物聯(lián)網(wǎng)設(shè)備本地處理1 bit數(shù)據(jù)消耗的能量。和分別表示本地計(jì)算的時(shí)延和能耗，表達(dá)式為

由于動(dòng)態(tài)復(fù)雜礦井環(huán)境下的無(wú)線信道狀態(tài)信息難以精確獲取，本文將信道帶寬B建模成馬爾可夫鏈[16]，并用來(lái)簡(jiǎn)化和表征信號(hào)傳輸速率。礦山物聯(lián)網(wǎng)設(shè)備通過(guò)帶寬為的無(wú)線信道，在時(shí)隙k內(nèi)卸載計(jì)算任務(wù)至邊緣服務(wù)器i。S2表示井下邊緣服務(wù)器計(jì)算1 M b it數(shù)據(jù)所需的時(shí)間，且有S1?S2，表明邊緣服務(wù)器具有更強(qiáng)的計(jì)算處理能力。P為物聯(lián)網(wǎng)設(shè)備的發(fā)射功率。分別表示任務(wù)卸載產(chǎn)生的時(shí)延和能耗，表達(dá)式為

2.2 能量收集與電池模型

礦山物聯(lián)網(wǎng)設(shè)備使用EH技術(shù)，捕獲井下可再生能源(包括風(fēng)能、無(wú)線環(huán)境中的射頻信號(hào)、機(jī)械能等)作為綠色供電能源。EH技術(shù)配合電池充電，來(lái)補(bǔ)給物聯(lián)網(wǎng)設(shè)備計(jì)算任務(wù)的電量需求。

令時(shí)隙k內(nèi)收集的能量為g(k)，且本地計(jì)算和計(jì)算卸載的總能量損耗為E(k)=()。電池電量表示為b(k),b(k+1)則表示獲取EH產(chǎn)能后下一時(shí)刻的電池電量，其表達(dá)式為

本文以無(wú)線信道中的射頻信號(hào)能量為例對(duì)EH過(guò)程建模[17]，在時(shí)隙k內(nèi)EH產(chǎn)能為

其中，G表示礦山物聯(lián)網(wǎng)設(shè)備上的天線部分和射頻能量發(fā)射器天線的聯(lián)合增益；ν ∈(0,1)表示井下再生能源的轉(zhuǎn)換效率，由于井下無(wú)線信道條件較差，能源轉(zhuǎn)換效率相對(duì)地面場(chǎng)景較低；η(k)表示礦山物聯(lián)網(wǎng)設(shè)備上EH模塊的傳輸功率；d(k)代表在時(shí)隙k內(nèi)EH模塊和對(duì)應(yīng)射頻能量發(fā)射器之間的距離；τ ≥2表示再生能量傳輸過(guò)程中的路徑損耗因子。此外，在動(dòng)態(tài)復(fù)雜礦井環(huán)境下，根據(jù)文獻(xiàn)[18]中模型評(píng)估實(shí)際產(chǎn)能g(k)并用馬爾可夫鏈模型表示其產(chǎn)能隨時(shí)間的變化。

2.3 問(wèn)題描述

針對(duì)礦山物聯(lián)網(wǎng)中大量且特殊的計(jì)算任務(wù)需求，并充分考慮礦山特殊通信環(huán)境對(duì)物聯(lián)網(wǎng)智能計(jì)算卸載的影響，本文構(gòu)建EH輔助的一對(duì)多礦井MEC網(wǎng)絡(luò)框架，實(shí)現(xiàn)礦山物聯(lián)網(wǎng)的智能計(jì)算卸載。此外，為了充分滿足礦山物聯(lián)網(wǎng)應(yīng)用中特殊任務(wù)處理的服務(wù)質(zhì)量需求，本文設(shè)計(jì)了由任務(wù)共享收益、能量損耗、計(jì)算時(shí)延和任務(wù)失敗損失共同組成的目標(biāo)效益函數(shù)。再者，考慮到動(dòng)態(tài)復(fù)雜礦井環(huán)境中的無(wú)線通信模型無(wú)法精確獲取，傳統(tǒng)的優(yōu)化理論無(wú)法解決礦井下的計(jì)算卸載策略選擇問(wèn)題，研究基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)計(jì)算卸載機(jī)制，最大化系統(tǒng)的長(zhǎng)期折扣累計(jì)效益，提升礦山物聯(lián)網(wǎng)智能計(jì)算卸載性能。

3 基于Q-learning的礦山物聯(lián)網(wǎng)計(jì)算卸載機(jī)制

由式(7)可見(jiàn)，當(dāng)I(b(k+1)=0)=0時(shí)，礦山物聯(lián)網(wǎng)設(shè)備將計(jì)算任務(wù)卸載至邊緣服務(wù)器，可降低資源有限的礦山物聯(lián)網(wǎng)設(shè)備的任務(wù)處理負(fù)擔(dān)，得到任務(wù)共享收益θ0x(k)R(k)。當(dāng)I(b(k+1)=0)=1時(shí)，計(jì)算任務(wù)因電量不足而處理失敗，無(wú)任務(wù)共享收益。但是，在這個(gè)過(guò)程中產(chǎn)生了相應(yīng)的能量損耗E(k)和計(jì)算時(shí)延T(k)，并且效益函數(shù)也由于計(jì)算任務(wù)處理失敗而降低。

礦山物聯(lián)網(wǎng)設(shè)備在狀態(tài)s(k)下 基于ε-greedy選擇計(jì)算卸載策略a(k)，將計(jì)算任務(wù)卸載至邊緣服務(wù)器i，得到效益U(k)，并進(jìn)入下一個(gè)狀態(tài)s(k+1)。Q值Q(s(k),a(k))表示井下MEC系統(tǒng)的每個(gè)計(jì)算卸載動(dòng)作-狀態(tài)對(duì)的長(zhǎng)期期望折扣效益值，Q值在每個(gè)時(shí)隙內(nèi)通過(guò)貝爾曼方程完成迭代更新，具體為

其中，學(xué)習(xí)率α∈(0,1]表示當(dāng)前Q值所占權(quán)重；折扣因子γ∈[0,1]表 示未來(lái)效益的衰減。γ越小表示物聯(lián)網(wǎng)設(shè)備越重視當(dāng)前的效益，而忽略未來(lái)長(zhǎng)期效益。基于Q-learning的計(jì)算卸載機(jī)制的核心步驟如算法1所示。

4 基于DDPG的礦山物聯(lián)網(wǎng)計(jì)算卸載機(jī)制

在智慧礦山建設(shè)的大背景下，礦山物聯(lián)網(wǎng)環(huán)境更加復(fù)雜，使用傳統(tǒng)的強(qiáng)化學(xué)習(xí)如Q-learning算法存在維度災(zāi)難。再者，實(shí)際的計(jì)算卸載策略空間為高維且連續(xù)的向量。第3節(jié)提出的RLOM機(jī)制需要將計(jì)算卸載策略離散化，這將不可避免地導(dǎo)致離散化誤差，使得最終的學(xué)習(xí)結(jié)果并非真實(shí)最優(yōu)。為了能夠解決復(fù)雜礦山物聯(lián)網(wǎng)環(huán)境下的維度災(zāi)難問(wèn)題并更好地處理連續(xù)計(jì)算卸載策略空間的策略選擇問(wèn)題，滿足井下計(jì)算密集型和時(shí)延敏感型任務(wù)的快速計(jì)算需求，本文提出了一種基于DDPG的計(jì)算卸載機(jī)制，記為DDRLOM。

DDRLOM機(jī)制結(jié)合了深度強(qiáng)化學(xué)習(xí)DQN和Actor-Critic算法來(lái)處理礦山物聯(lián)網(wǎng)設(shè)備的高維且連續(xù)的計(jì)算卸載策略選擇問(wèn)題。該機(jī)制采用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)壓縮系統(tǒng)的狀態(tài)空間，解決維度災(zāi)難問(wèn)題[19,20]，并且可更好地捕獲井下環(huán)境特征，進(jìn)一步優(yōu)化計(jì)算卸載策略選擇，提升礦山物聯(lián)網(wǎng)的任務(wù)計(jì)算卸載性能。此外，DNN作為非線性擬合器，擬合高維且連續(xù)的計(jì)算卸載策略與Q值以加快學(xué)習(xí)速度；然后，利用一個(gè)參數(shù)化的動(dòng)作價(jià)值函數(shù)a(k)=μ(s(k);ξ)進(jìn)行計(jì)算卸載策略選擇，提高算法對(duì)連續(xù)動(dòng)作空間的處理能力，該動(dòng)作函數(shù)實(shí)現(xiàn)給定輸入系統(tǒng)狀態(tài)s(k)，輸出一個(gè)最優(yōu)的計(jì)算卸載策略a(k)。

如圖2所示，DDRLOM機(jī)制采用Actor-Critic架構(gòu)體系，包含4個(gè)神經(jīng)網(wǎng)絡(luò)，即Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)；Target Actor網(wǎng)絡(luò)和Target Critic網(wǎng)絡(luò)。其中，Actor網(wǎng)絡(luò)對(duì)應(yīng)網(wǎng)絡(luò)參數(shù)為ξ2將當(dāng)前系統(tǒng)狀態(tài)作為輸入，輸出計(jì)算卸載策略，即選擇協(xié)助計(jì)算的邊緣服務(wù)器和礦山物聯(lián)網(wǎng)設(shè)備的卸載率。為了使模型更有效地更新網(wǎng)絡(luò)參數(shù)和實(shí)現(xiàn)優(yōu)化的收斂效果，增加算法的探索能力，在計(jì)算卸載策略選擇時(shí)增加了OU(Ornstein-Hollenbeck)過(guò)程[15]即噪聲函數(shù)N，加入擾動(dòng)噪聲后的計(jì)算策略生成如式(9)

圖2 基于DDPG的計(jì)算卸載機(jī)制(DDRLOM)框架

Critic網(wǎng)絡(luò)對(duì)應(yīng)網(wǎng)絡(luò)參數(shù)為ξ1，作為價(jià)值網(wǎng)絡(luò)給出逼近狀態(tài)動(dòng)作對(duì)的值函數(shù)Q(s(k),a(k))，從而提供優(yōu)化的梯度信息，幫助Actor網(wǎng)絡(luò)采取更好的策略。

算法1 基于Q-learning的計(jì)算卸載機(jī)制

基于DDPG的計(jì)算卸載機(jī)制的核心步驟如算法2所示。

5 理論分析

本節(jié)分析3種典型場(chǎng)景下的靜態(tài)計(jì)算卸載策略，從理論上推導(dǎo)并證明了不同條件下的最優(yōu)卸載策略選擇及其效益函數(shù)的理論界，以指導(dǎo)基于RL的計(jì)算卸載機(jī)制的學(xué)習(xí)參數(shù)設(shè)置和環(huán)境配置。下述分析中假設(shè)計(jì)算卸載策略選擇和狀態(tài)更新均在一個(gè)時(shí)隙內(nèi)完成，故省略時(shí)隙k。

5.1 計(jì)算任務(wù)部分卸載到邊緣服務(wù)器處理

算法2 基于DDPG的計(jì)算卸載機(jī)制

到最大值，同時(shí)獲得系統(tǒng)最優(yōu)性能如式(16)—式(18)所示。證畢

當(dāng)物聯(lián)網(wǎng)設(shè)備到邊緣服務(wù)器的無(wú)線信道狀態(tài)一般時(shí)，物聯(lián)網(wǎng)設(shè)備本地處理部分計(jì)算任務(wù)，并將剩余的計(jì)算任務(wù)卸載給邊緣服務(wù)器，以權(quán)衡能耗和時(shí)延，從而使其效益最大化如式(16)所示。此時(shí)，能量損耗和計(jì)算時(shí)延與生成的任務(wù)大小R正相關(guān)，如式(17)和式(18)所示。

5.2 計(jì)算任務(wù)全部卸載至邊緣服務(wù)器處理

式(28)表明礦山物聯(lián)網(wǎng)設(shè)備的效益值隨著B ≥Bm′ax遞增，且于i*=arg max1≤i≤M B i達(dá)到最大值。由式(28)可知，a*=[i*,1]是該場(chǎng)景下的最佳計(jì)算卸載策略，且礦山物聯(lián)網(wǎng)設(shè)備獲得最大效益值U(1)，同時(shí)獲得系統(tǒng)最優(yōu)性能如式(25)—式(27)所示。證畢

若礦山物聯(lián)網(wǎng)設(shè)備與至少一個(gè)邊緣服務(wù)器之間的無(wú)線信道狀態(tài)良好，那么物聯(lián)網(wǎng)設(shè)備將所有計(jì)算任務(wù)卸載至邊緣服務(wù)器處理。此時(shí)，最佳計(jì)算卸載策略為a*=[i*,1]，可取得較高的計(jì)算任務(wù)共享收益；此外，無(wú)線信道狀態(tài)良好時(shí)，計(jì)算卸載過(guò)程中的時(shí)延和能耗都較小，如式(26)和式(27)所示。

5.3 計(jì)算任務(wù)全部本地處理

定理3當(dāng)?shù)V山物聯(lián)網(wǎng)設(shè)備至無(wú)線信道狀態(tài)最好的邊緣服務(wù)器i*的信道狀態(tài)較差，即B i*≤時(shí)，

礦山物聯(lián)網(wǎng)設(shè)備將生成的計(jì)算任務(wù)全部本地處理，即最佳計(jì)算卸載策略為a*=[i*,0]。此時(shí)，物聯(lián)網(wǎng)設(shè)備的效益、能量損耗和計(jì)算時(shí)延分別為

式(33)表明礦山物聯(lián)網(wǎng)設(shè)備的效益值在卸載率為0時(shí)達(dá)到最大值。因此，a*=[i*,0]是礦山物聯(lián)網(wǎng)設(shè)備在該場(chǎng)景下的最佳卸載策略，同時(shí)獲得系統(tǒng)最優(yōu)性能如式(30)—式(32)所示。證畢

若無(wú)線信道狀態(tài)較差，即式(3)和式(4)中無(wú)線信道帶寬B較小(B≤B′′min)時(shí)，傳輸過(guò)程中的時(shí)延和能耗較大。如式(33)所示，物聯(lián)網(wǎng)設(shè)備將在本地處理所有的計(jì)算任務(wù)，以避免任務(wù)卸載導(dǎo)致過(guò)大的任務(wù)處理時(shí)延和能量消耗。

6 仿真結(jié)果與分析

本節(jié)通過(guò)仿真驗(yàn)證所提方法的性能優(yōu)勢(shì)。仿真中考慮礦井MEC系統(tǒng)包含3個(gè)邊緣服務(wù)器和1個(gè)礦山物聯(lián)網(wǎng)設(shè)備。其中礦山物聯(lián)網(wǎng)設(shè)備的EH產(chǎn)能由無(wú)線射頻能量轉(zhuǎn)換而來(lái)，由于井下無(wú)線通信環(huán)境復(fù)雜且信號(hào)衰落與地面相比更加嚴(yán)重，井下EH的平均能量轉(zhuǎn)換效率設(shè)置為0.3[22]。物聯(lián)網(wǎng)設(shè)備上的電池最大電量為1000 m Ah。邊緣服務(wù)器的計(jì)算能力更強(qiáng)[23]，量化體現(xiàn)如下，邊緣服務(wù)器處理1 M bit數(shù)據(jù)所需要的時(shí)間為0.05m s，而本地設(shè)備處理1 M bit數(shù)據(jù)所需要的時(shí)間為0.4 m s。根據(jù)防爆標(biāo)準(zhǔn)GB/T 3836.1—2021中無(wú)線射頻信號(hào)的規(guī)定[24]，設(shè)置物聯(lián)網(wǎng)設(shè)備的發(fā)射功率為5.5W。

在學(xué)習(xí)算法中，設(shè)置學(xué)習(xí)率α=0.001、折扣因子γ=0.9。表1列出了DDRLOM機(jī)制的超參數(shù)設(shè)置。我們將能量損耗、計(jì)算時(shí)延和任務(wù)失敗率作為邊緣計(jì)算卸載的各項(xiàng)性能指標(biāo)，其中任務(wù)失敗率定義為失敗的計(jì)算任務(wù)占總處理任務(wù)的比例。根據(jù)式(7)設(shè)定權(quán)重系數(shù)θ0=15,θ1=4,θ2=5,θ3=7。仿真評(píng)估選取了DRLO[18]和全本地處理方案Fu ll Local作為對(duì)比機(jī)制。

表1 DDRLOM機(jī)制的超參數(shù)設(shè)置

6.1 不同計(jì)算卸載機(jī)制的收斂性能評(píng)估

圖3給出了給定訓(xùn)練回合數(shù)下礦山物聯(lián)網(wǎng)設(shè)備采用不同計(jì)算卸載機(jī)制的收斂性能結(jié)果，其中最大回合數(shù)為200，每回合最大時(shí)隙數(shù)為1000。將不同的智能計(jì)算卸載機(jī)制的收斂性能進(jìn)行對(duì)比，可以看出DDRLOM機(jī)制的性能優(yōu)于RLOM機(jī)制。首先，DDRLOM機(jī)制相比于RLOM機(jī)制具有更快的收斂速度。例如，在相同的學(xué)習(xí)回合數(shù)下，DDRLOM機(jī)制基本已經(jīng)實(shí)現(xiàn)收斂，而RLOM機(jī)制的效益值仍然呈現(xiàn)逐步上升趨勢(shì)。這是因?yàn)镈DRLOM機(jī)制通過(guò)DNN壓縮狀態(tài)空間來(lái)加速學(xué)習(xí)過(guò)程，提高計(jì)算卸載性能。此外，DDRLOM機(jī)制收斂后的計(jì)算卸載效益也明顯優(yōu)于DRLO機(jī)制。例如，在第40回合數(shù)處，DDRLOM機(jī)制的平均效益值比DRLO機(jī)制約高24.6%。因?yàn)镈DRLOM結(jié)合了DQN和Actor-Critic架構(gòu)來(lái)處理礦山物聯(lián)網(wǎng)設(shè)備的連續(xù)高維計(jì)算卸載策略，減小了離散誤差，優(yōu)化了計(jì)算卸載策略選擇。

圖3 不同智能計(jì)算卸載機(jī)制的收斂性能

6.2 能量收集產(chǎn)能對(duì)計(jì)算卸載性能的影響

圖4給出了礦井MEC系統(tǒng)中EH產(chǎn)能對(duì)計(jì)算任務(wù)失敗率的影響。可以明顯看出，隨著EH平均產(chǎn)能的增加，礦山物聯(lián)網(wǎng)設(shè)備的任務(wù)失敗率顯著降低。例如，當(dāng)平均收集產(chǎn)能從2.00 J增加到3.00 J時(shí)，RLOM機(jī)制的任務(wù)失敗率降低了52.5%。當(dāng)平均收集產(chǎn)能為2.5 J時(shí)，DDRLOM機(jī)制比DRLO機(jī)制的任務(wù)失敗率約少99.9%。此外，在平均收集產(chǎn)能大于2.75 J時(shí)DDRLOM機(jī)制的任務(wù)失敗率幾乎達(dá)到0。

圖4 能量收集產(chǎn)能對(duì)計(jì)算任務(wù)失敗率的影響

6.3 邊緣服務(wù)器計(jì)算能力對(duì)計(jì)算卸載性能的影響

圖5給出了礦井MEC系統(tǒng)中邊緣服務(wù)器計(jì)算能力對(duì)計(jì)算時(shí)延的影響。邊緣服務(wù)器的處理能力用處理1Mbit所需要的時(shí)間S2來(lái) 衡量，S2∈[0.001,0.025,0.050,0.075,0.100]。如圖5所示，由于Full Local方案將計(jì)算任務(wù)全部本地處理不受T1的變化而變化，其他機(jī)制下礦山物聯(lián)網(wǎng)設(shè)備的計(jì)算時(shí)延隨著T1的降低而減小，且遠(yuǎn)遠(yuǎn)小于Fu ll Local方案的時(shí)延。例如，當(dāng)T1從0.1降低到0.001時(shí)，DDRLOM機(jī)制的計(jì)算時(shí)延降低57.7%。

圖5 邊緣服務(wù)器計(jì)算能力對(duì)計(jì)算時(shí)延的影響

6.4 任務(wù)量大小對(duì)計(jì)算卸載性能的影響

本工作對(duì)動(dòng)態(tài)計(jì)算卸載中前3000個(gè)時(shí)隙的平均性能進(jìn)行了評(píng)估，分析了計(jì)算卸載性能和總計(jì)算任務(wù)量的關(guān)系。如圖6所示，可以明顯看出，隨著礦山MEC系統(tǒng)中計(jì)算任務(wù)量的增加，礦山物聯(lián)網(wǎng)設(shè)備的能量損耗、計(jì)算時(shí)延和任務(wù)失敗率也在增加。例如，當(dāng)總計(jì)算任務(wù)量從4.2 M bit增加到5.8 M bit時(shí)，采用Fu ll Local的計(jì)算卸載方案平均性能指標(biāo)增加明顯。當(dāng)計(jì)算任務(wù)量為5 M bit時(shí)，DDRLOM機(jī)制相對(duì)于DRLO機(jī)制，能量損耗約降低14.2%，計(jì)算時(shí)延約降低7.7%，任務(wù)失敗率約降低30.9%?？梢?jiàn)，針對(duì)計(jì)算任務(wù)需求更強(qiáng)的礦山物聯(lián)網(wǎng)環(huán)境，采用DDRLOM機(jī)制可以在保證能耗、時(shí)延和任務(wù)失敗率都增加不多的前提下取得更好的計(jì)算卸載性能。

圖6 計(jì)算卸載的平均性能與計(jì)算任務(wù)量之間的關(guān)系

7 結(jié)束語(yǔ)

該文提出一種融合能量收集和強(qiáng)化學(xué)習(xí)技術(shù)的礦山物聯(lián)網(wǎng)智能計(jì)算卸載方法，以應(yīng)對(duì)井下通信環(huán)境復(fù)雜和設(shè)備資源受限的挑戰(zhàn)，并提高計(jì)算密集和時(shí)延敏感任務(wù)的計(jì)算效率。在不可精確獲取井下系統(tǒng)模型的情況下，針對(duì)計(jì)算能力較弱的礦山物聯(lián)網(wǎng)設(shè)備提出基于復(fù)雜度較低的Q-learning算法的RLOM機(jī)制，實(shí)現(xiàn)動(dòng)態(tài)探索最優(yōu)計(jì)算卸載策略；此外，對(duì)于復(fù)雜的礦山物聯(lián)網(wǎng)場(chǎng)景下高維且連續(xù)的策略空間問(wèn)題，該文設(shè)計(jì)了基于DDPG的智能計(jì)算卸載機(jī)制DDRLOM，減小了計(jì)算卸載策略選擇過(guò)程中的離散化誤差，進(jìn)一步優(yōu)化計(jì)算卸載策略選擇。針對(duì)3種典型場(chǎng)景的靜態(tài)計(jì)算卸載策略進(jìn)行了理論分析，可助于指導(dǎo)基于RL的智能計(jì)算卸載機(jī)制的學(xué)習(xí)參數(shù)設(shè)置和環(huán)境配置。仿真結(jié)果表明，所提方法可提高任務(wù)計(jì)算卸載性能，提升礦山物聯(lián)網(wǎng)的安全性和生產(chǎn)效率。針對(duì)復(fù)雜受限空間的礦井環(huán)境，引入智能超表面輔助井下通信，完善井下無(wú)線通信理論并優(yōu)化智能計(jì)算卸載方法是下一步研究工作的重點(diǎn)，為5G助力智慧礦山數(shù)字化轉(zhuǎn)型提供有力支撐。