基于5G邊緣計(jì)算的深度學(xué)習(xí)架構(gòu)與應(yīng)用

李曉民

(中國移動(dòng)(成都)產(chǎn)業(yè)研究院，成都 610064)

0 引言

隨著行業(yè)數(shù)字化轉(zhuǎn)型和智能設(shè)備的急劇增長，在網(wǎng)絡(luò)邊緣產(chǎn)生了海量的數(shù)據(jù)。而新興的行業(yè)應(yīng)用，尤其是與深度學(xué)習(xí)相關(guān)的智能應(yīng)用對(duì)數(shù)據(jù)的處理能力、響應(yīng)時(shí)間和安全性等均提出了苛刻要求。但由于邊緣設(shè)備的計(jì)算和數(shù)據(jù)存儲(chǔ)能力有限，難以在這些設(shè)備上部署當(dāng)前流行的深度學(xué)習(xí)算法。傳統(tǒng)方式是將數(shù)據(jù)通過網(wǎng)絡(luò)加載到遠(yuǎn)程計(jì)算基礎(chǔ)設(shè)施(通常是遠(yuǎn)程的云服務(wù)器)進(jìn)行處理和計(jì)算，再將計(jì)算結(jié)果通過網(wǎng)絡(luò)返回前端設(shè)備。這種方式雖然降低了前端壓力，但是極大地增加了通信代價(jià)，惡化了應(yīng)用的響應(yīng)時(shí)間，也增加了數(shù)據(jù)的安全隱患。為了解決上述問題，邊緣計(jì)算技術(shù)應(yīng)運(yùn)而生。邊緣計(jì)算將計(jì)算資源部署到臨近數(shù)據(jù)生成側(cè)，在靠近數(shù)據(jù)源的位置進(jìn)行數(shù)據(jù)的處理和計(jì)算。由于邊緣計(jì)算已經(jīng)進(jìn)行了部分?jǐn)?shù)據(jù)處理，因此需要傳到云端的數(shù)據(jù)量大幅減少；邊緣設(shè)備的位置靠近數(shù)據(jù)源，可以顯著降低數(shù)據(jù)處理的響應(yīng)時(shí)間，增強(qiáng)應(yīng)用的實(shí)時(shí)性；對(duì)敏感數(shù)據(jù)，如果必須通過遠(yuǎn)端對(duì)數(shù)據(jù)處理，也可利用邊緣計(jì)算設(shè)備對(duì)敏感信息進(jìn)行清理或加密后，再進(jìn)行數(shù)據(jù)傳輸，保障信息的安全性[1]。目前，邊緣計(jì)算已經(jīng)成為物聯(lián)網(wǎng)系統(tǒng)的一種重要范式。例如：Floyer等[2]對(duì)比了云系統(tǒng)和邊緣-云組合系統(tǒng)在風(fēng)電場的數(shù)據(jù)管理和處理成本。邊緣-云組合系統(tǒng)相比純?cè)葡到y(tǒng)在成本上降低了36%，傳輸數(shù)據(jù)量減少了96%。

而第五代移動(dòng)通信技術(shù)(簡稱5G技術(shù))的出現(xiàn)和迅猛發(fā)展為邊緣計(jì)算落地部署提供了良好的網(wǎng)絡(luò)基礎(chǔ)。5G的增強(qiáng)移動(dòng)帶寬(Enhanced Mobile Broadband，eMBB)、超高可靠低時(shí)延通信(Ultra Reliable Low Latency Communications，uRLLC)和海量機(jī)器類通信(massive Machine Type Communications，mMTC)3大應(yīng)用場景將顯著改善邊緣設(shè)備接入的數(shù)據(jù)速率、延遲、用戶密度和容量，5G與4G技術(shù)的重要指標(biāo)對(duì)比如表1所示[3]。因此，5G 和邊緣計(jì)算也被認(rèn)為是兩個(gè)天然緊密聯(lián)系的技術(shù)，都能顯著提升海量數(shù)據(jù)的實(shí)時(shí)處理能力和應(yīng)用的性能。

將人工智能推向網(wǎng)絡(luò)邊緣將極大釋放智能應(yīng)用在各個(gè)行業(yè)的巨大潛力，提供大量分布式、低時(shí)延和可靠的智能服務(wù)，例如：目標(biāo)識(shí)別、實(shí)時(shí)視頻分析、自動(dòng)駕駛等。但是大多數(shù)的深度學(xué)習(xí)算法(尤其是模型訓(xùn)練)

表1 5G與4G的重要指標(biāo)對(duì)比

圖2 本文基于5G的邊緣深度學(xué)習(xí)架構(gòu)

需要大量的輸入數(shù)據(jù)和巨大的計(jì)算能力才能產(chǎn)生有效結(jié)果[4]。人工智能與5G、邊緣計(jì)算的緊密結(jié)合使得這一想法成為可能，也誕生了邊緣智能(Edge Intelligence)這一全新概念[5]。本文將探討深度學(xué)習(xí)模型在網(wǎng)絡(luò)邊緣訓(xùn)練的計(jì)算模式，并構(gòu)建基于5G邊緣計(jì)算的深度學(xué)習(xí)架構(gòu)和應(yīng)用。

1 網(wǎng)絡(luò)邊緣的深度學(xué)習(xí)模式

數(shù)據(jù)是深度學(xué)習(xí)的核心要素之一，結(jié)合數(shù)據(jù)在網(wǎng)絡(luò)邊緣分布和計(jì)算的特點(diǎn)，深度神經(jīng)網(wǎng)絡(luò)的分布式邊緣訓(xùn)練架構(gòu)可分為三種典型模式：中心模式、分散模式和混合模式[6](見圖1)。

其中，中心模式的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練是通過網(wǎng)絡(luò)收集分布式傳感器產(chǎn)生的數(shù)據(jù)，在邊緣云上集中進(jìn)行模型訓(xùn)練；分散模式則是各邊緣節(jié)點(diǎn)利用本地?cái)?shù)據(jù)對(duì)本地深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，邊緣節(jié)點(diǎn)間通過網(wǎng)絡(luò)互聯(lián)共享神經(jīng)網(wǎng)絡(luò)參數(shù)，進(jìn)行模型的權(quán)重更新，這種模式可以將數(shù)據(jù)隱私限制在本地設(shè)備；混合模式結(jié)合了中心和分散兩種模式，由邊緣服務(wù)器通過不同的路由決定當(dāng)前的神經(jīng)網(wǎng)絡(luò)訓(xùn)練是通過分散模式對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行更新，還是在邊緣云上利用中心模式對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和更新。

2 基于5G的邊緣深度學(xué)習(xí)架構(gòu)

在網(wǎng)絡(luò)邊緣進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的分布式模型訓(xùn)練

圖1 網(wǎng)絡(luò)邊緣的深度學(xué)習(xí)模式

是一項(xiàng)極大的挑戰(zhàn)，目前最常見的兩種方式是數(shù)據(jù)并行和模型并行。從運(yùn)營商的角度，結(jié)合垂直行業(yè)應(yīng)用業(yè)務(wù)特征相似但用戶樣本不同的特點(diǎn)，本文提出了一種以數(shù)據(jù)并行為主的5G邊緣深度學(xué)習(xí)架構(gòu)(見圖2)。

邊緣設(shè)備(例如各類手持聯(lián)網(wǎng)設(shè)備、傳感器等)通過5G網(wǎng)絡(luò)接入邊緣計(jì)算層，即5G的多接入邊緣計(jì)算(Multi-Access Edge Computing，MEC)[7]。5G的MEC技術(shù)最早由卡內(nèi)基梅隆大學(xué)提出，于2014年歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)(ETSI)正式定義并成立MEC規(guī)范小組，啟動(dòng)相關(guān)標(biāo)準(zhǔn)化工作。MEC為運(yùn)營商在網(wǎng)絡(luò)邊緣向用戶提供端到端低時(shí)延、高帶寬和低成本服務(wù)提供了整體解決方案。在ESTI、3GPP和中國通信標(biāo)準(zhǔn)化協(xié)會(huì)等組織推動(dòng)下，MEC已經(jīng)發(fā)展成為5G移動(dòng)通信的重要技術(shù)之一。本文架構(gòu)的模型訓(xùn)練過程如下。

圖3 5G醫(yī)療邊緣云原型系統(tǒng)

步驟1：MEC的各計(jì)算節(jié)點(diǎn)從服務(wù)器下載神經(jīng)網(wǎng)絡(luò)模型(第一次循環(huán))或更新自身的網(wǎng)絡(luò)模型(非第一次循環(huán))。

步驟2：計(jì)算節(jié)點(diǎn)利用邊緣設(shè)備的本地?cái)?shù)據(jù)進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練。

步驟3：上傳加密梯度給服務(wù)器。

步驟4：服務(wù)器聚合各計(jì)算節(jié)點(diǎn)的梯度更新網(wǎng)絡(luò)模型參數(shù)。

循環(huán)以上步驟，直至訓(xùn)練結(jié)束。

上述的網(wǎng)絡(luò)模型訓(xùn)練過程可以看作是基于樣本的分布式訓(xùn)練。每個(gè)計(jì)算節(jié)點(diǎn)從服務(wù)器下載網(wǎng)絡(luò)模型，利用本地?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練，并將需要更新的網(wǎng)絡(luò)參數(shù)返回給服務(wù)器，服務(wù)器綜合各計(jì)算節(jié)點(diǎn)上的返回參數(shù)，進(jìn)行模型更新，再將最新的模型參數(shù)反饋給計(jì)算節(jié)點(diǎn)。在整個(gè)訓(xùn)練過程中，每個(gè)計(jì)算節(jié)點(diǎn)下載的都是相同且完整的神經(jīng)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)僅進(jìn)行加密的參數(shù)傳遞，既減少了網(wǎng)絡(luò)壓力，又保障了本地?cái)?shù)據(jù)安全。

3 垂直行業(yè)應(yīng)用

乳腺癌、宮頸癌在我國居于惡性腫瘤發(fā)病率和死亡率的前列，通過前期篩查可以大幅降低病人的發(fā)病率和死亡率[8]。然而由于缺乏便捷有效的檢查手段，且我國醫(yī)療資源分布不均，醫(yī)生的診斷技術(shù)水平參差不齊，大量基層醫(yī)生甚至不具備閱片能力，癌篩的閱片工作只能依賴中心醫(yī)院的醫(yī)生。利用5G邊緣計(jì)算融合人工智能的計(jì)算機(jī)輔助癌癥篩查系統(tǒng)有望打破這一困境。

利用本文的5G邊緣深度學(xué)習(xí)架構(gòu)，可以構(gòu)建以兩癌篩查為目標(biāo)的5G醫(yī)療邊緣云原型系統(tǒng)(見圖3)。

5G醫(yī)療邊緣云(MEC)可部署于醫(yī)院的互聯(lián)網(wǎng)數(shù)據(jù)中心(Internet Data Center，IDC)機(jī)房，通過院內(nèi)5G醫(yī)療專網(wǎng)連接CT、B超、磁共振等院內(nèi)固定或移動(dòng)設(shè)備。5G兩癌篩查云可部署于區(qū)域中心節(jié)點(diǎn)，借助5G切片專網(wǎng)匯集多家診療機(jī)構(gòu)的病例信息。兩癌影像學(xué)等病例信息可以通過院內(nèi)5G醫(yī)療邊緣云進(jìn)行快速訓(xùn)練，并保證了影像資料和病例信息的安全，做到數(shù)據(jù)不出院。癌篩深度神經(jīng)網(wǎng)絡(luò)通過5G切片網(wǎng)絡(luò)進(jìn)行院間的模型參數(shù)共享，既保障了原始數(shù)據(jù)安全和降低網(wǎng)絡(luò)傳輸壓力，又極大豐富了癌篩模型的數(shù)據(jù)集，有助于顯著提高模型的準(zhǔn)確度和泛化能力。

此外，借助5G醫(yī)療邊緣云的無線連接、低時(shí)延、高帶寬能力，還可為院內(nèi)提供眾多的智慧服務(wù)，形成醫(yī)院數(shù)字大腦，例如智慧導(dǎo)診、VR探視、移動(dòng)醫(yī)護(hù)等。

4 結(jié)束語

深度學(xué)習(xí)是人工智能的核心技術(shù)之一，5G和邊緣計(jì)算使深度學(xué)習(xí)得以在網(wǎng)絡(luò)邊緣實(shí)現(xiàn)。5G、邊緣計(jì)算和人工智能的深度融合，滿足了行業(yè)用戶對(duì)大量設(shè)備連接、海量數(shù)據(jù)快速處理、智能應(yīng)用實(shí)時(shí)響應(yīng)、安全與隱私保護(hù)等關(guān)鍵需求，將催生眾多的垂直行業(yè)應(yīng)用，是5G應(yīng)用是否成功的一個(gè)重要標(biāo)志，也是運(yùn)營商助力和進(jìn)入垂直行業(yè)的新模式。本文通過分析5G、邊緣計(jì)算和深度學(xué)習(xí)的特點(diǎn)，構(gòu)建了一種基于5G邊緣計(jì)算的深度學(xué)習(xí)模型訓(xùn)練架構(gòu)，闡述了其工作原理，并例舉了其在醫(yī)療垂直行業(yè)的應(yīng)用場景。本文的深度學(xué)習(xí)模型訓(xùn)練架構(gòu)既能保證模型訓(xùn)練的數(shù)據(jù)集多樣性，又可減少原始數(shù)據(jù)的網(wǎng)絡(luò)傳輸壓力，保障本地?cái)?shù)據(jù)的安全和隱私，是一種非常具有潛力、值得推廣的深度學(xué)習(xí)邊緣計(jì)算架構(gòu)。