基于機(jī)器學(xué)習(xí)的物聯(lián)網(wǎng)應(yīng)用動(dòng)態(tài)安全卸載策略

居曉琴

摘 ? 要：針對(duì)當(dāng)前物聯(lián)網(wǎng)任務(wù)卸載算法在延遲、能耗和安全方面存在的缺點(diǎn)，文章提出了一種基于機(jī)器學(xué)習(xí)的物聯(lián)網(wǎng)應(yīng)用動(dòng)態(tài)安全卸載策略，通過使用機(jī)器學(xué)習(xí)策略，可以在霧-物聯(lián)網(wǎng)（Fog-IoT）環(huán)境中實(shí)現(xiàn)高效、安全的卸載。首先，采用Neuro-Fuzzy模型在智能網(wǎng)關(guān)上保護(hù)數(shù)據(jù);其次，使用粒子群優(yōu)化為IoT設(shè)備選擇一個(gè)最佳Fog節(jié)點(diǎn);然后，通過智能網(wǎng)關(guān)將任務(wù)卸載到霧節(jié)點(diǎn)上，如果霧節(jié)點(diǎn)無法處理工作負(fù)載，則將其轉(zhuǎn)發(fā)到云中，敏感數(shù)據(jù)保存在私有云，非敏感數(shù)據(jù)實(shí)施動(dòng)態(tài)卸載策略進(jìn)行卸載。實(shí)驗(yàn)結(jié)果表明，提出的動(dòng)態(tài)安全卸載策略最大程度地減少了延遲和能耗，比其他現(xiàn)有算法更具優(yōu)勢(shì)。

關(guān)鍵詞：物聯(lián)網(wǎng);霧計(jì)算;動(dòng)態(tài)安全卸載;強(qiáng)化學(xué)習(xí);Neuro-Fuzzy模型

中圖分類號(hào)： TP393 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： Aiming at the shortcomings of current IoT task offloading algorithms in terms of delay， energy consumption and security， a dynamic security offloading strategy for Internet of things applications based on machine learning is proposed. By using machine learning strategies， it can be used to offload efficiently and securely in Fog and Internet of Things （Fog-IoT） environment. First， the Neuro-Fuzzy model is used to protect data on the intelligent gateway. Secondly， particle swarm optimization is used to select an optimal Fog node for the IoT device， and then the task is offloaded to the fog node through the intelligent gateway. If the fog node cannot handle the workload， then Forward it to the cloud， sensitive data is stored in the private cloud， and non-sensitive data is dynamically uninstalled. The experimental results show that the proposed dynamic security offloading strategy minimizes delay and energy consumption and is superior to other existing algorithms.

Key words： Internet of Things; fog computing; dynamic security offloading; reinforcement learning; Neuro-Fuzzy model

1 引言

霧計(jì)算（Fog Computing，F(xiàn)C）被認(rèn)為是監(jiān)控物聯(lián)網(wǎng)應(yīng)用的理想平臺(tái)，可用于智能城市、可穿戴傳感器、醫(yī)療保健和車輛監(jiān)控等多個(gè)領(lǐng)域[1，2]，用于減少計(jì)算的延遲和功耗。霧計(jì)算在云計(jì)算和物聯(lián)網(wǎng)（Internet of Things，IoT）之間形成了分布式網(wǎng)絡(luò)環(huán)境的中間層，可以提供一個(gè)連續(xù)體來橋接丟失的鏈接，這些數(shù)據(jù)可以在更靠近邊緣的終端處理或者推送至云上[3]。該模式可以集成在同構(gòu)和異構(gòu)無線網(wǎng)絡(luò)中，充分利用資源，提高整體網(wǎng)絡(luò)效率，減少網(wǎng)絡(luò)流量[4]。霧計(jì)算是物聯(lián)網(wǎng)和云之間的一個(gè)層，包括智能門、路由器、交換機(jī)和接入點(diǎn)等組件。

在當(dāng)前社會(huì)中，由于移動(dòng)設(shè)備數(shù)量眾多，移動(dòng)計(jì)算起著至關(guān)重要的作用。移動(dòng)霧計(jì)算（Mobile Fog Computing，MFC）作為三類移動(dòng)計(jì)算中的一種，有著不可替代的作用。MFC旨在減少需要轉(zhuǎn)發(fā)到云端進(jìn)行處理和存儲(chǔ)的數(shù)據(jù)量。當(dāng)需要實(shí)時(shí)進(jìn)行大量數(shù)據(jù)處理、存儲(chǔ)和分析時(shí)，MFC可提高系統(tǒng)效率，而且每個(gè)物聯(lián)網(wǎng)設(shè)備可以將計(jì)算任務(wù)卸載到霧設(shè)備中而不是發(fā)送到云計(jì)算數(shù)據(jù)中心，從而明顯地減少了傳輸延遲。

2 粒子群優(yōu)化

PSO初始化為一群隨機(jī)粒子，然后通過迭代找到最優(yōu)解。在每一次迭代中，粒子通過跟蹤粒子本身所找到的最優(yōu)解和整個(gè)種群目前找到的最優(yōu)解兩個(gè)極值來更新自己的位置和速度。假設(shè)在D維的目標(biāo)搜索空間中，粒子群包含有N個(gè)粒子，其中第i個(gè)粒子的位置是一個(gè)D維向量，可以表示為：

3 物聯(lián)網(wǎng)應(yīng)用動(dòng)態(tài)安全卸載策略

考慮一個(gè)物聯(lián)網(wǎng)，網(wǎng)絡(luò)節(jié)點(diǎn)為。此網(wǎng)絡(luò)中的每個(gè)物聯(lián)網(wǎng)設(shè)備可能包含計(jì)算密集型或延遲敏感型計(jì)算任務(wù)。這些物聯(lián)網(wǎng)設(shè)備部署在一個(gè)網(wǎng)絡(luò)中，該網(wǎng)絡(luò)通過智能網(wǎng)關(guān)分別連接到霧節(jié)點(diǎn)和云，從而創(chuàng)建一個(gè)分層網(wǎng)絡(luò)。霧節(jié)點(diǎn)形成了云的網(wǎng)絡(luò)連續(xù)體。給定一個(gè)任務(wù)，物聯(lián)網(wǎng)評(píng)估該任務(wù)，看它是否可以使用常駐資源在本地執(zhí)行該任務(wù)。如果物聯(lián)網(wǎng)發(fā)現(xiàn)它無法執(zhí)行任務(wù)，它會(huì)將任務(wù)卸載到霧中。霧要么執(zhí)行任務(wù)，要么將其發(fā)送到云。本文的目的是執(zhí)行動(dòng)態(tài)卸載，同時(shí)在任務(wù)卸載期間將用戶敏感的任務(wù)保持在霧中，同時(shí)在吞吐量、延遲、能耗、資源利用率和響應(yīng)時(shí)間方面獲得高性能。

3.1 系統(tǒng)建模

當(dāng)前使用的霧-云-物聯(lián)網(wǎng)系統(tǒng)框架是由物聯(lián)網(wǎng)層的物聯(lián)網(wǎng)移動(dòng)設(shè)備、網(wǎng)絡(luò)層的網(wǎng)絡(luò)設(shè)備、霧層的霧設(shè)備和云層的云基礎(chǔ)設(shè)施組成，如圖2所示。最底層的物聯(lián)網(wǎng)設(shè)備負(fù)責(zé)采集、監(jiān)控和測(cè)量數(shù)據(jù)，然后向霧層發(fā)送、接收數(shù)據(jù)。物聯(lián)網(wǎng)設(shè)備的特點(diǎn)是計(jì)算能力低，受電池壽命和小尺寸因素的限制，內(nèi)存相當(dāng)?shù)?。網(wǎng)絡(luò)層由交換機(jī)、路由器和網(wǎng)關(guān)等網(wǎng)絡(luò)設(shè)備組成，它們可以采用小范圍霧的功能。在此框架中，通過對(duì)物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的評(píng)估，采用智能網(wǎng)關(guān)對(duì)網(wǎng)絡(luò)進(jìn)行安全保護(hù)。霧層由霧節(jié)點(diǎn)組成，霧節(jié)點(diǎn)是一種高性能的分布式系統(tǒng)，可以沿連續(xù)過程向云和物聯(lián)網(wǎng)層報(bào)告處理結(jié)果。云計(jì)算層分布在頂層，由可以存儲(chǔ)和處理海量數(shù)據(jù)的云服務(wù)器組成，具有無限的能力來實(shí)現(xiàn)安全且繁重的計(jì)算，云層架構(gòu)可以分為私有、公共或混合的。

3.2 基于粒子群優(yōu)化算法的霧節(jié)點(diǎn)選擇

隨著霧節(jié)點(diǎn)當(dāng)前工作負(fù)載的變化，采用PSO算法更新用于選擇最佳霧節(jié)點(diǎn)的信息。霧節(jié)點(diǎn)的作用為降低IoT移動(dòng)設(shè)備與霧之間的總處理延遲。最佳霧化節(jié)點(diǎn)的選擇由兩個(gè)指標(biāo)決定：可用處理能力（Available Processing Capacity，APC）和剩余節(jié)點(diǎn)能量（Remaining Node Energy，RNE）。每個(gè)節(jié)點(diǎn)都將使用這兩個(gè)指標(biāo)來計(jì)算其適合度。當(dāng)用戶設(shè)備發(fā)出請(qǐng)求時(shí)，將選擇具有較高APC和RNE的霧節(jié)點(diǎn)。

3.3 用于安全評(píng)估的模糊神經(jīng)模型

在物聯(lián)網(wǎng)霧架構(gòu)中，物聯(lián)網(wǎng)設(shè)備通過網(wǎng)關(guān)與上層通信。網(wǎng)關(guān)負(fù)責(zé)物聯(lián)網(wǎng)設(shè)備、霧、云和用戶設(shè)備之間的橋接。網(wǎng)關(guān)提供通信鏈接，對(duì)IoT設(shè)備進(jìn)行實(shí)時(shí)控制，并提供離線服務(wù)。網(wǎng)關(guān)可用于保護(hù)往返于上層的數(shù)據(jù)，通過隔離異常行為的資源來實(shí)現(xiàn)安全性。由于智能網(wǎng)關(guān)具有可觀的處理能力和存儲(chǔ)能力，本文通過在智能網(wǎng)關(guān)上使用模糊神經(jīng)網(wǎng)絡(luò)（Nuero-Fuzzy Network）來保護(hù)網(wǎng)絡(luò)安全。

采用Nuero-Fuzzy模型來評(píng)估智能網(wǎng)關(guān)上來自物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)，通過考慮探測(cè)值和響應(yīng)時(shí)間兩個(gè)因素進(jìn)行安全評(píng)估。從這兩個(gè)值可以推導(dǎo)出預(yù)測(cè)值。如果大于1，認(rèn)為資源為有效讀數(shù)，否則該讀數(shù)無效，從而保證了資源與事務(wù)隔離。

假設(shè)Nuero-Fuzzy模型由N個(gè)設(shè)備組成，每個(gè)輸入具有兩個(gè)參數(shù)和，輸出為有效和無效的值。探測(cè)值可以分為小、中和大三級(jí)，響應(yīng)時(shí)間對(duì)應(yīng)低、中和高。在提出的模型中，如果數(shù)據(jù)大小在100至350bit之間，則探測(cè)值適中;小于100bit，則較小，大于350bit，則較大。同樣，在100至1000ms之間時(shí)視為中等級(jí)別，低于100ms或者高于1000ms則視為低或高級(jí)別。對(duì)于每個(gè)情節(jié)，生成的、、和輸出都會(huì)被存儲(chǔ)在知識(shí)庫內(nèi)，然后根據(jù)構(gòu)造的的模糊規(guī)則對(duì)Neuro-Fuzzy網(wǎng)絡(luò)的培訓(xùn)，以適應(yīng)來自IoT設(shè)備的傳入數(shù)據(jù)。構(gòu)造的模糊規(guī)則如表1所示。

由于探測(cè)值和響應(yīng)時(shí)間不正確，IoT設(shè)備的數(shù)據(jù)被檢測(cè)為無效。根據(jù)獲得的有效或無效預(yù)測(cè)值，保留受信任設(shè)備的數(shù)據(jù)。

3.4 動(dòng)態(tài)卸載任務(wù)

當(dāng)霧節(jié)點(diǎn)無法在延遲約束內(nèi)處理所有接收到的任務(wù)時(shí)，霧節(jié)點(diǎn)會(huì)將任務(wù)卸載到云服務(wù)器中。針對(duì)此情況，提出了基于Q-學(xué)習(xí)的動(dòng)態(tài)任務(wù)卸載方案。Q-學(xué)習(xí)是一種無模型的強(qiáng)化學(xué)習(xí)機(jī)制，通過體驗(yàn)一個(gè)行為的后果來學(xué)習(xí)最佳的行為過程，而不必構(gòu)建域映射。該方法通過代理在特定狀態(tài)下嘗試來實(shí)現(xiàn)，代理根據(jù)所收到的即時(shí)獎(jiǎng)勵(lì)和對(duì)其所采取的狀態(tài)和行為的未來獎(jiǎng)勵(lì)的估計(jì)來評(píng)估行為的后果。通過反復(fù)嘗試所有狀態(tài)，獲得最佳狀態(tài)。

Q-學(xué)習(xí)包括狀態(tài)空間、行為空間和獎(jiǎng)勵(lì)函數(shù)。每個(gè)狀態(tài)s和行為a的配對(duì)（s，a）都有一個(gè)Q值。如果位于狀態(tài)s中的代理選擇一個(gè)行為，則使用式（10）根據(jù)獲得的獎(jiǎng)勵(lì)數(shù)量更新狀態(tài)-行為對(duì)的Q值。選擇行為時(shí)，利用貪婪策略考慮后續(xù)狀態(tài) 的最高Q值。

在霧層給定的任務(wù)i，行為表示從所有現(xiàn)有的VM中選擇滿足卸載任務(wù)i的虛擬機(jī)。任務(wù)要求包括服務(wù)器的類型（私有或公共）、可用于在任務(wù)限制內(nèi)執(zhí)行任務(wù)的VM。行為空間表示為，云服務(wù)器中可用VM定義狀態(tài)空間，每個(gè)VM可以用CPU和內(nèi)存量MEM進(jìn)行表征，行為對(duì)表示為：

將任務(wù)分配給滿足延遲和資源限制的任何虛擬機(jī)。為了確定對(duì)服務(wù)器和任務(wù)需求的當(dāng)前觀測(cè)的最佳操作，霧節(jié)點(diǎn)根據(jù)當(dāng)前狀態(tài)和從環(huán)境接收到的回報(bào)選擇適當(dāng)?shù)脑?。該系統(tǒng)的目標(biāo)是最大化接收到的回報(bào)和最小化等待時(shí)間。將任務(wù)調(diào)度問題中的動(dòng)態(tài)任務(wù)卸載看作馬爾可夫決策過程，行為空間由用于每個(gè)任務(wù)i的二進(jìn)制向量來描述。當(dāng)可用VM接收到當(dāng)前任務(wù)i時(shí)用1表示，否則用0表示。然后計(jì)算狀態(tài)-行為對(duì)的獎(jiǎng)勵(lì)函數(shù)，獲得的獎(jiǎng)勵(lì)表示云服務(wù)器的當(dāng)前狀態(tài)（運(yùn)行、等待、忙碌等）。狀態(tài)-行為對(duì)規(guī)則如（10）所示：

其中，是學(xué)習(xí)率，r是在s狀態(tài)下采取行為a所獲得的獎(jiǎng)勵(lì)，是折扣因子。使用任務(wù)分類器將輸入任務(wù)分為敏感或非敏感任務(wù)，敏感任務(wù)卸載到私有云服務(wù)器，非敏感任務(wù)卸載到公共云。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的基于機(jī)器學(xué)習(xí)的物聯(lián)網(wǎng)應(yīng)用動(dòng)態(tài)安全卸載策略的有效性，采用吞吐量、延遲、能耗、資源利用率和響應(yīng)時(shí)間等幾種指標(biāo)評(píng)估其性能，并在相同的環(huán)境下與FCFS[12]、DTO-SO[13]、CMS-ACO[14]和LOTEC[15]幾種卸載方案進(jìn)行對(duì)比。

4.1 實(shí)驗(yàn)環(huán)境和評(píng)估指標(biāo)

本文的實(shí)驗(yàn)環(huán)境是在Pentium （R） Dual-Core CPU E570 0@3.0 0 GHz和RAM 2 GB計(jì)算機(jī)上進(jìn)行測(cè)試，實(shí)驗(yàn)環(huán)境中在開源網(wǎng)絡(luò)模擬器NS3.26上進(jìn)行Java編程。創(chuàng)建一個(gè)霧-云物聯(lián)網(wǎng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由1個(gè)智能網(wǎng)關(guān)，5～10個(gè)物聯(lián)網(wǎng)移動(dòng)設(shè)備，5個(gè)霧節(jié)點(diǎn)和1個(gè)混合云服務(wù)器組成。在實(shí)驗(yàn)中，所有模擬參數(shù)均已設(shè)置為遵循均勻分布。每個(gè)設(shè)備均由CPU供電，其時(shí)鐘頻率范圍為1～1.5 GHz，時(shí)鐘頻率是隨機(jī)設(shè)置的。將移動(dòng)設(shè)備之間的可用帶寬設(shè)置為100 ～1000Kb/s之間。計(jì)算卸載要求CPU周期和任務(wù)以位的形式卸載，計(jì)算任務(wù)分為復(fù)雜和非復(fù)雜任務(wù)。為了表征卸載任務(wù)的復(fù)雜性，使用負(fù)載輸入數(shù)據(jù)比率（Load-input Data Ratio，LDR）。當(dāng)LDR較高時(shí)，該任務(wù)被分類為計(jì)算密集型任務(wù)，否則為非密集型。非計(jì)算密集型任務(wù)可以在本地設(shè)備或邊緣執(zhí)行。在測(cè)試過程中，采用吞吐量、延遲、能耗、資源利用率和響應(yīng)時(shí)間等幾種指標(biāo)用于比較分析。

4.2 結(jié)果分析

圖1給出了請(qǐng)求數(shù)量對(duì)所提出方法的吞吐量影響，并與DTO-SO方法對(duì)比。將敏感任務(wù)的延遲要求設(shè)置為1s，將非敏感任務(wù)的延遲要求設(shè)置為1.5s，設(shè)置任務(wù)數(shù)。從圖中可以看到，吞吐量隨著物聯(lián)網(wǎng)設(shè)備請(qǐng)求數(shù)量的增加而增加。當(dāng)n=10時(shí)，本文方法實(shí)現(xiàn)的吞吐量敏感任務(wù)為30KB/s，非敏感任務(wù)為23KB/s。對(duì)比方法在敏感和非敏感任務(wù)分別為20 KB/s 和18 KB/s;在n=50時(shí)，本文方法在敏感任務(wù)和非敏感任務(wù)的吞吐量為120 KB /s和100 KB /s，而DTO-SO的吞吐量分別為95 KB /s和80 KB /s。與DTO-SO相比，提出的安全卸載方案提高了23.2%的吞吐量。

圖2給出了資源利用率的測(cè)試結(jié)果對(duì)比。從圖中可以看出，所提出的卸載方案在n=10時(shí)，敏感任務(wù)和非敏感任務(wù)的資源利用率為92%和90%，DTO-SO和CMS-ACO則為89%和87%。

圖3給出了不同卸載方案的響應(yīng)時(shí)間的結(jié)果對(duì)比。從圖中可以看出，隨著請(qǐng)求任務(wù)數(shù)量的增加，響應(yīng)時(shí)間逐漸增多。在n=10時(shí)，與LOTEC中的0.9s和DTO-SO中的0.7s相比，本文方法只需0.5s來完成卸載任務(wù)。

5 結(jié)束語

本文提出了一種基于機(jī)器學(xué)習(xí)的物聯(lián)網(wǎng)動(dòng)態(tài)應(yīng)用安全卸載策略，解決了當(dāng)前物聯(lián)網(wǎng)任務(wù)卸載算法在延遲、能耗和安全方面的問題。該方案利用Neuro-Fuzzy模型消除無效資源，保護(hù)敏感數(shù)據(jù)，采用PSO選擇最佳卸載霧節(jié)點(diǎn)，并通過調(diào)度程序動(dòng)態(tài)平衡霧節(jié)點(diǎn)和云資源的負(fù)載以及數(shù)據(jù)安全。實(shí)驗(yàn)結(jié)果表明，所提出的方法用于分層系統(tǒng)架構(gòu)中的任務(wù)卸載是安全有效的，性能明顯優(yōu)于其他卸載算法。

基金項(xiàng)目：

2018年度江蘇高校哲學(xué)社會(huì)科學(xué)研究基金項(xiàng)目“基于虛擬現(xiàn)實(shí)技術(shù)的教學(xué)方法研究”（項(xiàng)目編號(hào)：2018SJA1239）。

參考文獻(xiàn)

[1] Li C，Xue Y，Wang J，et al.Edge-oriented computing paradigms： A survey on architecture design and system management[J]. ACM Computing Surveys （CSUR）， 2018， 51（2）： 1-34.

[2] Roman R，Lopez J，Mambo M.Mobile edge computing， fog et al.： A survey and analysis of security threats and challenges[J].Future Generation Computer Systems，2018， 78： 680-698.

[3] Wang D， Ding W， Ma X， et al.MiFo： A novel edge network integration framework for fog computing[J].Peer-to-peer Networking and Applications， 2019， 12（1）： 269-279.

[4] Naeem R Z，Bashir S， Amjad M F，et al.Fog computing in internet of things： Practical applications and future directions[J]. Peer-to-Peer Networking and Applications，2019，12： 1236–1262.