基于霧計(jì)算的NB-IoT資源優(yōu)化模型及仿真

鄭忠斌 宋青青 熊增薪

摘 要：針對(duì)霧計(jì)算的NB-IoT資源優(yōu)化問題，結(jié)合霧計(jì)算的特點(diǎn)，將系統(tǒng)的資源優(yōu)化看成是連續(xù)時(shí)間的馬爾科夫決策過程問題，并給出相關(guān)的定義。在定義基礎(chǔ)上，以平均時(shí)延和平均能耗作下的控制策略作為優(yōu)化目標(biāo)函數(shù)，引入神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對(duì)目標(biāo)函數(shù)進(jìn)行求解。最后，在參數(shù)設(shè)置的基礎(chǔ)上，搭建仿真環(huán)境，并給出仿真對(duì)比結(jié)果。結(jié)果表明，本研究提出的求解算法得到的綜合平均時(shí)延和能耗最低，說明本算法可行，具有一定借鑒參考價(jià)值。

關(guān)鍵詞：霧服務(wù)器;NB-IoT;馬爾科夫決策過程;目標(biāo)函數(shù);神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TN929.5;TP391.44 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ?文章編號(hào)：1001-5922（2021）04-0087-04

Abstract：Aiming at the NB-IoT resource optimization problem of fog computing， combined with the characteristics of fog computing， the system resource optimization is regarded as a continuous time Markov decision process problem， and the relevant definitions are given. Based on the definition， the control strategy with average time delay and average energy consumption is taken as the optimization objective function， and the value function approximation algorithm of neural network is introduced to solve the objective function. Finally， on the basis of parameter setting， the simulation environment is built and the simulation results are given. The results show that the comprehensive average delay and energy consumption of the proposed algorithm are the lowest， which shows that the algorithm is feasible and has certain reference value.

Key words：fog server; NB-IoT; Markov decision process; objective function; neural network

隨著物聯(lián)網(wǎng)感知技術(shù)的發(fā)展，使得物聯(lián)設(shè)備成指數(shù)級(jí)增長。根據(jù)相關(guān)報(bào)道發(fā)現(xiàn)，截止到2020年，將有超過500億臺(tái)物聯(lián)設(shè)備被連入互聯(lián)網(wǎng)中，伴隨而來的是大量物聯(lián)設(shè)備數(shù)據(jù)的增長。為解決這個(gè)問題，考慮到物聯(lián)設(shè)備自身有限的計(jì)算能力和存儲(chǔ)能力，提出將大量的數(shù)據(jù)卸載到云服務(wù)器中進(jìn)行集中存儲(chǔ)。但在實(shí)際應(yīng)用中，由于物聯(lián)設(shè)備產(chǎn)生的數(shù)據(jù)量大，同時(shí)物聯(lián)設(shè)備與云服務(wù)器之間通信會(huì)消耗大量的網(wǎng)絡(luò)資源，由此造成在部分情況下云技術(shù)不能滿足時(shí)延敏感數(shù)據(jù)傳輸?shù)男枨?。為解決以上的問題，在2012年提出“霧計(jì)算”概念，該技術(shù)的核心則是在云端和設(shè)備端建立一個(gè)更接近設(shè)備端的設(shè)備，從而縮短數(shù)據(jù)傳輸和計(jì)算，且降低云服務(wù)器的通信開銷。而要做好“霧計(jì)算”的應(yīng)用，需要解決兩方面的問題：一是要解決物聯(lián)設(shè)備將數(shù)據(jù)發(fā)送給霧計(jì)算所帶來的計(jì)算卸載問題。因?yàn)橛?jì)算卸載會(huì)造成額外的數(shù)據(jù)傳輸時(shí)延問題;二是無線資源分配所造成的數(shù)據(jù)時(shí)延和功耗問題。本研究則針對(duì)以上問題，基于霧計(jì)算技術(shù)的特點(diǎn)，提出一種聯(lián)合優(yōu)化的NB-IoT資源調(diào)度模型，并對(duì)調(diào)度模型的可行性進(jìn)行仿真驗(yàn)證。

1 基于霧計(jì)算的NB-IoT通信與計(jì)算模型構(gòu)建

結(jié)合“霧計(jì)算”基本模型，本文將霧計(jì)算的NB-IoT模型構(gòu)建為如圖1所示。在該模型中，包含N個(gè)IoT設(shè)備，由傳感、存儲(chǔ)、計(jì)算和通信等模塊組成。這些IoT設(shè)備在感知到數(shù)據(jù)后，需經(jīng)過處理才能產(chǎn)生有用信息。由于物聯(lián)設(shè)備自身在計(jì)算能力、存儲(chǔ)能力方面的限制，需要將數(shù)據(jù)發(fā)送到云端。在引入霧計(jì)算后，物聯(lián)設(shè)備則將感知數(shù)據(jù)卸載到霧服務(wù)器中。在此的霧服務(wù)器可被看成是靠近終端的小型數(shù)據(jù)中心。

在圖1中，對(duì)每個(gè)物聯(lián)設(shè)備，其感知的數(shù)據(jù)都以的泊松分布大小進(jìn)行速率傳送，且假設(shè)數(shù)據(jù)包的大小呈現(xiàn)為指數(shù)分布。

2 霧計(jì)算的NB-IoT問題描述

要實(shí)現(xiàn)對(duì)圖1的NB-IoT通信，需要重點(diǎn)對(duì)物聯(lián)設(shè)備的計(jì)算卸載、用戶調(diào)度等方面進(jìn)行優(yōu)化。傳統(tǒng)的建模方式是采用離散時(shí)間馬爾科夫決策模型。而結(jié)合NB-IoT的性質(zhì)認(rèn)為，在NB-IoT數(shù)據(jù)傳輸過程中需占用多個(gè)連續(xù)時(shí)隙，如果采用離散時(shí)間馬爾科夫決策過程對(duì)圖1的模型進(jìn)行建模，勢必會(huì)增加新的調(diào)度。因此基于以上分析，參考徐惠娟（2019）的研究成果，提出采用連續(xù)時(shí)間馬爾科夫決策過程對(duì)霧計(jì)算的NB-IoT優(yōu)化問題進(jìn)行描述。

2.1 相關(guān)定義

定義1：服務(wù)系統(tǒng)狀態(tài)。通過服務(wù)系統(tǒng)狀態(tài)的定義，描述了在不同時(shí)刻下霧計(jì)算的NB-IoT系統(tǒng)的狀態(tài)。設(shè)在第k時(shí)期服務(wù)系統(tǒng)的狀態(tài)用來表示。其中Sk，表示k決策時(shí)服務(wù)系統(tǒng)狀態(tài);Qk表示數(shù)據(jù)包在到達(dá)或者是在離開時(shí)，所觀察到的用于霧服務(wù)器傳輸隊(duì)列長度的向量，該向量最大長度為M;Qkloc表示在第k個(gè)決策剛剛開始的時(shí)候，所觀察到的用于本地計(jì)算的處理隊(duì)列長度向量，長度為M loc;ek表示第k個(gè)決策時(shí)期在開始的時(shí)候所發(fā)生的概率大小，經(jīng)過該概率，使得狀態(tài)從Sk-1變換到Sk，ek表示第ek物聯(lián)設(shè)備出現(xiàn)包達(dá)到時(shí)間，而當(dāng)ek=0時(shí)，此時(shí)被調(diào)度的物聯(lián)設(shè)備的數(shù)據(jù)包剛開始從傳輸隊(duì)離開，ek則表示-ek個(gè)物聯(lián)設(shè)備在本地處理隊(duì)列發(fā)生離開事件;表示服務(wù)系統(tǒng)的狀態(tài)剛從Sk-1轉(zhuǎn)移到Sk時(shí)，在k-1第決策時(shí)期的調(diào)度行為。

定義2：控制策略。在數(shù)據(jù)包達(dá)到或者離開時(shí)，系統(tǒng)狀態(tài)會(huì)出現(xiàn)改變。此時(shí)系統(tǒng)需選擇某行為進(jìn)行控制。定義第k個(gè)決策時(shí)期的行為為：

上式（1）中，如則表示為卸載，如則表示調(diào)度。當(dāng)時(shí)，則表示新的數(shù)據(jù)包在到達(dá)后被卸載，而時(shí)則表示數(shù)據(jù)包沒有被卸載。

定義3：服務(wù)系統(tǒng)最優(yōu)狀態(tài)。在確定最優(yōu)控制策略后，服務(wù)系統(tǒng)會(huì)達(dá)到最優(yōu)狀態(tài)。此時(shí)定義服務(wù)系統(tǒng)狀態(tài)為：

具體轉(zhuǎn)移過程如圖2所示。

定義4：轉(zhuǎn)移概率。在馬爾科夫決策過程中，Sk+1的狀態(tài)是Sk'和ek+1共同確定，為：

而研究認(rèn)為，在k第個(gè)決策時(shí)期的持續(xù)時(shí)間可以等效于續(xù)時(shí)間馬爾科夫決策過程模型某個(gè)給定行為ak下所逗留的時(shí)間，其服從的指數(shù)分布。因此，可以推導(dǎo)出ek+1當(dāng)事件發(fā)生時(shí)，對(duì)應(yīng)的轉(zhuǎn)移概率為：

2.2 目標(biāo)函數(shù)構(gòu)建

2.2.1 目標(biāo)函數(shù)

在上述定義的前提下，結(jié)合霧計(jì)算的NB-IoT系統(tǒng)通信與計(jì)算模型，以物聯(lián)網(wǎng)設(shè)備平均時(shí)延最小和功耗最小作為優(yōu)化目標(biāo)，并在此時(shí)最小的目標(biāo)下，找到馬爾科夫決策過程的最優(yōu)策略Ω。因此，則有：

式（5）中，表示物聯(lián)網(wǎng)設(shè)備平均時(shí)延和功耗的權(quán)重;表示在行為下的成本。

上式中，1condition為隨機(jī)條件，如condition為真，那么l=1，如不為真，則l=0。

2.2.2 最優(yōu)策略

由此結(jié)合馬爾科夫決策過程理論，可得到回報(bào)函數(shù)為：

而通過Bellman方程，可得到最優(yōu)策略為：

3 模型求解

要求解上述的問題，人們提出了基于值迭代和策略迭代的方法。王文文（2019）通過研究認(rèn)為，采用上述傳統(tǒng)方法在面臨大規(guī)模數(shù)據(jù)計(jì)算時(shí)，會(huì)極大增加計(jì)算的復(fù)雜度，因此提出深度學(xué)習(xí)的策略迭代方法。而徐惠娟則提出增強(qiáng)算法。因此，綜合上述兩人的研究成果，本文借鑒徐慧娟的求解思路，通過卷積神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對(duì)上述的馬爾科夫決策過程模型進(jìn)行求解。其中基于神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法框架如圖3所示。

在上述近似框架求解的情況下，最優(yōu)控制策略為：

4 整體解決方案流程

上述求解方案的整體技術(shù)流程可以用圖4示意。

在圖4的示意圖中看出，最優(yōu)策略的實(shí)現(xiàn)主要在基站實(shí)現(xiàn)，而物聯(lián)網(wǎng)設(shè)備只需要存儲(chǔ)單節(jié)點(diǎn)值函數(shù)和權(quán)重即可。

5 仿真驗(yàn)證

5.1 參數(shù)設(shè)置

為驗(yàn)證上述方案的可行性，以某半徑為R的小區(qū)物聯(lián)網(wǎng)設(shè)備為例。假設(shè)基站在該小區(qū)的中心，且物聯(lián)網(wǎng)設(shè)備按照隨機(jī)的方式進(jìn)行分布。將整個(gè)小區(qū)劃分為K個(gè)圓，從而在基站的周圍存在K-1個(gè)同心圓。物聯(lián)網(wǎng)設(shè)備選擇同樣的等級(jí)和重復(fù)數(shù)。其余參數(shù)設(shè)置見表1和表2所示。同時(shí)設(shè)置，數(shù)據(jù)包的到達(dá)速率為1packet/s，假設(shè)在R半徑內(nèi)物聯(lián)網(wǎng)設(shè)備從3個(gè)增加到35個(gè)。

5.2 優(yōu)化結(jié)果

基于以上算法編程，可以得到圖5的優(yōu)化結(jié)果。

通過上述的優(yōu)化結(jié)果看出，采用卷積得到的平均時(shí)延和能耗要低于其他三種算法，由此證明本文提出的算法的可行性。

同時(shí)通過平均時(shí)延和平均能耗的單因素變化曲線圖也看出，通過卷積神經(jīng)網(wǎng)絡(luò)求解得到的結(jié)果要由于其他算法，但在能耗方面則要比其他算法差。但綜合起來更具有優(yōu)勢。

6 結(jié)語

通過以上的研究看出，基于本文的研究看出，在霧計(jì)算的NB-IoT系統(tǒng)中，人們往往重視對(duì)某一個(gè)方面的優(yōu)化，如單獨(dú)優(yōu)化計(jì)算卸載，或?qū)τ脩暨M(jìn)行調(diào)度。而本文則在上述優(yōu)化的基礎(chǔ)上，引入凸顯計(jì)算卸載的傳輸時(shí)延指標(biāo)和凸顯調(diào)度的能耗用組合權(quán)重的方式進(jìn)行調(diào)節(jié)，并借鑒研究成果，采用神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對(duì)目標(biāo)函數(shù)進(jìn)行求解，以此大大提高優(yōu)化了系統(tǒng)能耗和傳輸時(shí)延，為霧計(jì)算在窄帶物聯(lián)網(wǎng)的應(yīng)用提供了新的參考。

參考文獻(xiàn)

[1]王輝，李小亮，洪波.馬爾科夫決策過程在移動(dòng)端云存儲(chǔ)策略中的應(yīng)用[J].工業(yè)儀表與自動(dòng)化裝置，2018（06）：117-121.

[2]嚴(yán)浙平，楊澤文，王璐，等.馬爾科夫理論在無人系統(tǒng)中的研究現(xiàn)狀[J].中國艦船研究，2018，13（06）：9-18.

[3]李艷，孟凡強(qiáng)，陳軍才.新生代農(nóng)民工勞資沖突行為決策——基于適應(yīng)性馬爾科夫鏈的解釋[J].西北人口，2019，40（01）：61-70.

[4]王汝言，李宏娟，吳大鵬，等.基于半馬爾科夫決策過程的虛擬傳感網(wǎng)絡(luò)資源分配策略[J].電子與信息學(xué)報(bào)，2019，41（12）：3014-3021.

[5]王云鵬，郭戈.基于深度強(qiáng)化學(xué)習(xí)的有軌電車信號(hào)優(yōu)先控制[J].自動(dòng)化學(xué)報(bào)，2019，45（12）：2366-2377.

[6]郭之俊，王瑛，孫贇，等.基于MDP-GERT的航空裝備維修保障流程優(yōu)化研究[J].航空工程進(jìn)展，2019，10（06）：787-793.

[7]周運(yùn)騰，張雪英，李鳳蓮，等.Q-learning算法優(yōu)化的SVDPP推薦算法及其應(yīng)用研究[J/OL].計(jì)算機(jī)工程2020（07）：1-8.

[8]張紅，王玉峰.基于霧計(jì)算的NB-IoT框架、關(guān)鍵技術(shù)及應(yīng)用[J].中興通訊技術(shù)，2017，23（01）：32-36.

[9]王新宇.基于軟件無線電平臺(tái)的NB-IoT下行鏈路物理層設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2019.

[10]徐惠娟.基于霧計(jì)算的NB-IoT資源優(yōu)化的研究[D].北京：北京交通大學(xué)，2019.