基于邊緣云計(jì)算的混合并行AI訓(xùn)練機(jī)制研究

賀迎先

(安徽三聯(lián)學(xué)院 財(cái)會學(xué)院，合肥 230601)

近年來，人工智能(Artificial Intelligence，AI)模型和算法受到了學(xué)術(shù)界和工業(yè)界越來越多的關(guān)注，并被應(yīng)用到諸如圖像識別、自然語言處理、推薦系統(tǒng)等領(lǐng)域[1-3].此外，隨著邊緣計(jì)算的發(fā)展和物聯(lián)網(wǎng)對AI應(yīng)用需求的誕生，許多基于實(shí)時(shí)深度學(xué)習(xí)的邊緣AI應(yīng)用正在智能醫(yī)療、智能機(jī)器人和工業(yè)物聯(lián)網(wǎng)等各個(gè)領(lǐng)域涌現(xiàn).作為一種數(shù)據(jù)驅(qū)動(dòng)的方法，基于深度學(xué)習(xí)的邊緣AI需要有足夠的數(shù)據(jù)樣本，以通過深度神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)的特征或?qū)傩?這些數(shù)據(jù)樣本通常是由通信和計(jì)算能力有限的設(shè)備產(chǎn)生.因此，如何有效利用邊緣設(shè)備的通信和計(jì)算能力來訓(xùn)練AI模型是在邊緣計(jì)算環(huán)境中提高訓(xùn)練效率需要解決的關(guān)鍵問題.本文提出了基于邊緣云計(jì)算的混合并行訓(xùn)練框架(Edge-Cloud based Hybrid Parallel Training Framework，ECHPT)，ECHPT能有效地將AI模型的訓(xùn)練任務(wù)分配到終端設(shè)備、邊緣服務(wù)器和云計(jì)算中心，縮短訓(xùn)練時(shí)間，實(shí)現(xiàn)快速邊緣AI學(xué)習(xí).

1 ECHPT訓(xùn)練框架設(shè)計(jì)

本文所提出的ECHPT框架由三個(gè)階段組成：分析、優(yōu)化和分層訓(xùn)練.在分析階段，ECHPT首先分別分析設(shè)備、邊緣和云計(jì)算節(jié)點(diǎn)中不同模型層的平均執(zhí)行時(shí)間；然后分析模型中每一層輸出的大小.ECHPT在邊緣云的每個(gè)計(jì)算節(jié)點(diǎn)上進(jìn)行一次訓(xùn)練迭代，記錄不同AI層的執(zhí)行時(shí)間和輸出大小.該過程將被重復(fù)幾十次，然后取平均值以獲得穩(wěn)定的結(jié)果.由于模型中每一層的輸出大小是固定的，因此只需要記錄一次.由于大多數(shù)的AI模型具有固定的結(jié)構(gòu)，因此可以以離線方式執(zhí)行該分析步驟以減少時(shí)間開銷.

在優(yōu)化階段，分層訓(xùn)練優(yōu)化器選擇最佳AI模型分區(qū)點(diǎn)，并分別確定終端設(shè)備、邊緣服務(wù)器和云計(jì)算中心計(jì)算節(jié)點(diǎn)的訓(xùn)練樣本數(shù)量.優(yōu)化器的目標(biāo)是最小化AI訓(xùn)練時(shí)間，優(yōu)化器需要考慮：計(jì)算節(jié)點(diǎn)中不同模型層的分析平均執(zhí)行時(shí)間、模型每一層輸出的大小和設(shè)備和邊緣服務(wù)器之間以及邊緣服務(wù)器與云計(jì)算中心之間的可用帶寬.

在分層訓(xùn)練階段，終端設(shè)備首先根據(jù)優(yōu)化階段給出的調(diào)度策略將分配的數(shù)據(jù)樣本發(fā)送到邊緣服務(wù)器和云計(jì)算中心.隨后設(shè)備、邊緣服務(wù)器和云計(jì)算中心立即啟動(dòng)它們的預(yù)定訓(xùn)練任務(wù)(即分配的模型訓(xùn)練模塊)，并以分層方式進(jìn)行協(xié)作模型訓(xùn)練.

2 ECHPT訓(xùn)練流程

AI模型由一系列不同的層堆疊而成，一層的輸出饋入下一層的輸入.ECHPT的目標(biāo)是減少邊緣云環(huán)境中的整體訓(xùn)練時(shí)間.為此，首先定義了三種類型的訓(xùn)練任務(wù)，其中，原任務(wù)訓(xùn)練了整個(gè)AI模型，數(shù)據(jù)樣本為bo；短任務(wù)訓(xùn)練了ms個(gè)連續(xù)層，數(shù)據(jù)樣本為bs；長任務(wù)訓(xùn)練了ml個(gè)連續(xù)層，數(shù)據(jù)樣本為bl.

workers使用數(shù)據(jù)樣本bs在分配的層上執(zhí)行前向階段，即通過AI模型進(jìn)行推理以獲得當(dāng)前模型損失.完成該前向階段后，workers將輸出發(fā)送到workero，workero繼續(xù)在其余層上執(zhí)行前向階段.workerl的行為與workers相同，使用數(shù)據(jù)樣本bl.workero使用數(shù)據(jù)樣本bo執(zhí)行前向階段.當(dāng)前向階段結(jié)束后，workero從數(shù)據(jù)樣本B=bs+bl+bo中收集模型損失.

對于每個(gè)數(shù)據(jù)樣本，workero從AI模型的最后一層開始反向階段，即使用損失進(jìn)行反向傳播以獲得隨機(jī)梯度.如果數(shù)據(jù)樣本屬于workero，則workero執(zhí)行完整的后向階段.如果數(shù)據(jù)樣本屬于workerl，則workero在到達(dá)ml+1層時(shí)將中間結(jié)果發(fā)送給workerl，workerl繼續(xù)在其余層上執(zhí)行反向階段.同理，workero在到達(dá)ms+1層時(shí)將中間結(jié)果發(fā)送給workers.當(dāng)后向階段結(jié)束時(shí)，每個(gè)計(jì)算節(jié)點(diǎn)都會獲得所分配層的隨機(jī)梯度.

workerl和workers將計(jì)算出的隨機(jī)梯度發(fā)送給workero.然后workero逐層平均隨機(jī)梯度，并根據(jù)分配給它們的層將平均隨機(jī)梯度發(fā)送給workerl和workers.計(jì)算節(jié)點(diǎn)分別使用這些隨機(jī)梯度來更新對應(yīng)分配層的權(quán)重.

3 調(diào)度優(yōu)化模型

ECHPT的核心是調(diào)度策略，該調(diào)度策略決定了如何分配將模型層和數(shù)據(jù)樣本，以實(shí)現(xiàn)最小化訓(xùn)練時(shí)間.假設(shè)AI模型有N個(gè)層，每個(gè)數(shù)據(jù)樣本的大小為Q個(gè)比特.

反向階段結(jié)束后，workerl和workers將隨機(jī)梯度發(fā)送給workero.workero根據(jù)分配給他們的層將平均隨機(jī)梯度發(fā)送給workerl和workers.權(quán)重更新階段的總時(shí)間成本表示為：

(1)

(2)

優(yōu)化問題(2)的決策變量bo、bs、bl、ms和ml都是非負(fù)整數(shù).通過枚舉所有的映射關(guān)系，計(jì)算出每一個(gè)映射的最優(yōu)調(diào)度策略，然后找到全局最優(yōu)調(diào)度策略.

4 調(diào)度算法設(shè)計(jì)

優(yōu)化問題的決策變量都是整數(shù)，求解該問題具有挑戰(zhàn)性.當(dāng)變量ms和ml固定時(shí)，優(yōu)化問題將成為整數(shù)線性規(guī)劃問題.因此，通過枚舉ms和ml的值，解決由此產(chǎn)生的整數(shù)線性規(guī)劃問題，然后在解決方案中找到最好的一個(gè).

隨后，需要確定設(shè)備、邊緣服務(wù)器和云計(jì)算中心計(jì)算節(jié)點(diǎn)與workero、workers和workerl之間的最佳映射策略.對此，可以枚舉所有映射，為每個(gè)映射找到一個(gè)候選的最優(yōu)調(diào)度策略，然后選擇訓(xùn)練時(shí)間最短的最佳映射策略.

5 實(shí)驗(yàn)評估

為了評估ECHPT框架，實(shí)驗(yàn)部分使用兩個(gè)主流的、用于圖像分類的神經(jīng)網(wǎng)絡(luò)：第一個(gè)是LeNet-5，使用CIFAR-10數(shù)據(jù)集進(jìn)行訓(xùn)練；第二個(gè)是AlexNet，使用ImageNet數(shù)據(jù)集進(jìn)行訓(xùn)練.實(shí)驗(yàn)使用樹莓派作為終端設(shè)備，該設(shè)備擁有一個(gè)四核的ARM處理器和1 GB的內(nèi)存.使用普通的個(gè)人電腦作為邊緣服務(wù)器，該電腦配備英特爾酷睿i3-10110U處理器和8 GB內(nèi)存.使用配置有志強(qiáng)W-2223處理器、64GB內(nèi)存和GeForce GTX 3080Ti顯卡的服務(wù)器作為云計(jì)算中心.實(shí)驗(yàn)使用邊緣框架、云計(jì)算框架、協(xié)同框架[4]和JALAD框架[5]作為對比的方案.其中，邊緣框架將所有訓(xùn)練數(shù)據(jù)樣本傳輸?shù)竭吘壏?wù)器，由邊緣服務(wù)器完成AI模型訓(xùn)練；云計(jì)算框架將所有訓(xùn)練數(shù)據(jù)樣本傳輸?shù)皆朴?jì)算中心，由云計(jì)算中心完成AI模型訓(xùn)練；協(xié)同框架同時(shí)使用終端設(shè)備和云計(jì)算中心共同訓(xùn)練 AI模型；JALAD利用邊緣服務(wù)器和云計(jì)算中心共同訓(xùn)練AI模型，并應(yīng)用數(shù)據(jù)壓縮策略來減少邊緣云傳輸延遲.

首先驗(yàn)證了ECHPT框架在分析AI模型訓(xùn)練延遲的準(zhǔn)確性.通過訓(xùn)練AlexNet，獲得了實(shí)驗(yàn)測量的實(shí)際延遲和理論延遲，結(jié)果如圖1所示.由對比結(jié)果可知，實(shí)際延遲和理論延遲之間的差別較小，這表明了ECHPT框架在分析訓(xùn)練延遲方面具有較高的準(zhǔn)確性.

圖1 訓(xùn)練時(shí)間的分析準(zhǔn)確性

圖2和圖3分別展示了不同邊緣云帶寬下五種框架一次迭代的平均訓(xùn)練時(shí)間.云計(jì)算框架的訓(xùn)練時(shí)間隨著邊緣云帶寬的增加而降低，而邊緣框架的時(shí)間成本保持不變.與邊緣框架和云計(jì)算框架相比，ECHPT框架在訓(xùn)練AlexNet時(shí)分別實(shí)現(xiàn)了高達(dá)2.3倍和4.5倍的加速，而在訓(xùn)練LeNet-5時(shí)分別實(shí)現(xiàn)了高達(dá)1.7倍和6.9倍的加速.在訓(xùn)練AlexNet時(shí)，當(dāng)邊緣云帶寬較低時(shí)，JALAD的表現(xiàn)優(yōu)于ECHPT.原因是JALAD的數(shù)據(jù)壓縮策略可以大大減少邊緣服務(wù)器和云計(jì)算中心之間傳輸?shù)臄?shù)據(jù)量，使JALAD在低帶寬條件下具有優(yōu)勢.但是，當(dāng)帶寬增加時(shí)，通過數(shù)據(jù)壓縮減少通信延遲的優(yōu)勢便不明顯，此時(shí)ECHPT的性能優(yōu)于JALAD.

圖2 五種框架的AlexNet訓(xùn)練時(shí)間對比

圖3 五種框架的LeNet-5訓(xùn)練時(shí)間對比

6 結(jié)語

本文提出了一種用于訓(xùn)練AI模型的混合并行框架——ECHPT，將AI模型訓(xùn)練的調(diào)度問題建模為訓(xùn)練時(shí)間最小化問題，通過求解該優(yōu)化問題得到調(diào)度策略.實(shí)驗(yàn)部分通過將ECHPT與現(xiàn)有的方法相比，驗(yàn)證了ECHPT框架的有效性.實(shí)驗(yàn)結(jié)果表明，ECHPT框架能夠降低AI模型的訓(xùn)練時(shí)間.未來的工作將把ECHPT框架部署到多終端設(shè)備、多邊緣服務(wù)器的現(xiàn)實(shí)環(huán)境中，結(jié)合不同的AI模型和應(yīng)用，進(jìn)一步評估框架的性能.