基于深度強化學習的存內(nèi)計算部署優(yōu)化算法

胡益笛 夏銀水

摘 要：針對存內(nèi)計算大規(guī)模神經(jīng)網(wǎng)絡部署導致的計算延遲、運行功耗較大等問題，提出了基于深度強化學習的神經(jīng)網(wǎng)絡部署優(yōu)化算法。首先，建立了馬爾可夫決策過程的任務模型，優(yōu)化神經(jīng)網(wǎng)絡的延遲和功耗，完成片上計算核心的部署。其次，針對優(yōu)化部署過程中，存在求解空間過大、探索能力不足等問題，提出了一種基于深度強化學習的智能部署優(yōu)化算法，從而得到近似最優(yōu)的神經(jīng)網(wǎng)絡部署策略。最后，針對強化學習探索能力不足的問題，提出了一種基于內(nèi)在激勵的獎勵策略，鼓勵探索未知解空間，提高部署質量，解決陷入局部最優(yōu)等問題。實驗結果表明，該算法與目前強化學習算法相比能進一步優(yōu)化功耗和延遲。

關鍵詞：存內(nèi)計算； 深度強化學習； 神經(jīng)網(wǎng)絡部署； 近端策略優(yōu)化； 內(nèi)在激勵

中圖分類號：TP391.7

文獻標志碼：A

文章編號：1001-3695（2023）09-008-0000-00

doi：10.19734/j.issn.1001-3695.2023.02.0047

Processing in memory deployment optimization algorithm

based on deep reinforcement learning

Hu Yidi， Xia Yinshui

（College of Information Science & Technology， Ningbo University， Ningbo Zhejiang 315211， China）

Abstract：To address the issues of computational latency and high operational power consumption caused by the deployment of large-scale neural networks for in-memory computing， this paper proposed a deep reinforcement learning-based optimization algorithm for neural network deployment. Firstly， it established a task model for Markov decision processes， which optimized the latency and power consumption of the neural network and completed the deployment of the on-chip computing core. Secondly， to tackle the challenges of excessive solution space and insufficient exploration capability during the optimization process， it introduced a deployment optimization algorithm based on deep reinforcement learning to obtain a near-optimal neural network deployment strategy. Lastly， it proposed a reward strategy grounded in intrinsic motivation to address the lack of exploration ability in reinforcement learning， encouraging the exploration of unknown solution spaces， enhancing the quality of deployment， and resolving issues such as getting trapped in local optimality. Experimental results demonstrate that this proposed algorithm further optimizes power consumption and latency compared to current reinforcement learning algorithms.

Key words：processing in memory; deep reinforce learning; neural network deployment; proximal policy optimization; intrinsic reward

0 引言

近年來，從人工智能領域興起的神經(jīng)網(wǎng)絡算法在如計算機視覺［1］、語音識別［2］、自動化［3］等諸多應用領域都取得了顯著的成果。通過堆疊網(wǎng)絡層數(shù)的深度神經(jīng)網(wǎng)絡算法具有層數(shù)深、參數(shù)多等特點，需要更適合的計算架構。在眾多計算架構中，存內(nèi)計算（processing in memory，PIM）以其高集成性、高并行性和低功耗的優(yōu)勢而備受關注。PIM架構中通常使用阻變式存儲器（resistive random access memory，ReRAM）［4，5］進行存儲和計算，結合納米線陣列構成的RRAM陣列結構為PIM架構中的核心計算單元（計算核），如圖1所示，T（Tile）為計算核，包括9個處理器（processing engine，PE），其中PE內(nèi)集成了行列為64或128的RRAM陣列。

在神經(jīng)網(wǎng)絡部署任務中，神經(jīng)網(wǎng)絡參數(shù)被平均分布在計算核上，通過路由器實現(xiàn)PIM的片上通信。基于上述PIM架構，工業(yè)界和學術界已經(jīng)提出了諸如IBM的TrueNorth［6］、英特爾的Loihi［7］、BrainChip的Akida和NeuRRAM［8］等PIM芯片。

如圖2所示，在PIM芯片上部署神經(jīng)網(wǎng)絡算法通常需要兩個步驟：邏輯映射和物理部署。在邏輯映射階段，神經(jīng)網(wǎng)絡按照計算核容量被劃分為計算節(jié)點，由有向無環(huán)圖（directed acyclic graph，DAG）表示，稱為邏輯圖。在物理部署階段，將邏輯圖的節(jié)點依據(jù)圖拓撲結構、芯片的路由策略和計算核排列方式，部署到片上計算核中。不同的部署結果會對芯片延遲、功耗等性能有較大影響，因此探索一種從邏輯圖至多核芯片的低延時低功耗的部署策略至關重要。

目前，已有大量工作面向延遲功耗優(yōu)化的神經(jīng)網(wǎng)絡的物理部署問題。Ostler等人［9］提出了基于整數(shù)線性規(guī)劃（integer linear programming，ILP）的方法，實現(xiàn)邏輯圖至4×4的多計算核系統(tǒng)部署，優(yōu)化了計算功耗。然而，在大規(guī)模部署任務中該方法存在計算時間長的問題。Joseph等人［10］提出負載平衡的方法，使用蛇型部署的方式獲得一個良好的物理部署，并使用啟發(fā)式算法進一步降低延遲。Wu等人［11］使用二維矩陣表示當前部署結果，通過深度確定性策略梯度（deep deterministic policy gradient，DDPG）訓練部署策略，與模擬退火算法相比降低了18.6%的延遲，但它在訓練過程中，沒有考慮邏輯圖的拓撲關系，其訓練效果比較有限。Myung等人［12］創(chuàng)新性地使用圖神經(jīng)網(wǎng)絡提取邏輯圖的拓撲關系，并以此指導部署策略的學習，在包含8×8和16×16個計算核的PIM芯片內(nèi)，相比模擬退火算法在延遲和功耗上分別降低了19.4%和10.9%。但在此過程中已提取的信息不會隨著部署的進行而變化，導致策略更新緩慢，難以進一步優(yōu)化部署。

研究發(fā)現(xiàn)，相比于傳統(tǒng)的啟發(fā)式算法，融合深度神經(jīng)網(wǎng)絡（deep neuro network，DNN）和強化學習（reinforce learning，RL）的深度強化學習（deep reinforce learning，DRL）更善于求解各種組合優(yōu)化問題，在計算機視覺、機器人控制、電子設計自動化［13，14］等領域中，取得較好的優(yōu)化效果。

神經(jīng)網(wǎng)絡至多核系統(tǒng)的物理部署優(yōu)化是組合優(yōu)化問題之一。DRL通過狀態(tài)變化進行組合優(yōu)化的策略選擇，以使長期累積的獎勵和最大，具有較大優(yōu)勢。

在PIM芯片的物理部署研究中，DRL算法學習選擇邏輯圖節(jié)點至PIM芯片上的計算核的部署策略。在此過程中，完整邏輯圖的部署稱為單輪部署。通過多次的單輪部署，DRL學習到有效的部署策略。但是現(xiàn)有基于DRL的神經(jīng)網(wǎng)絡多核部署研究中，缺乏單輪部署中間狀態(tài)的觀測和獎勵的反饋［11，12］，難以引導DRL算法的更新方向，存在稀疏獎勵問題。

針對部署優(yōu)化問題，本文從單輪部署出發(fā)，豐富中間狀態(tài)表示，構建內(nèi)在激勵，優(yōu)化物理部署結果。因此部署過程中需要提取中間狀態(tài)信息，并基于中間狀態(tài)的差異構建內(nèi)在激勵，將稀疏獎勵轉變?yōu)槌砻塥剟?。首先，將物理部署問題建立為馬爾可夫決策過程（Markov decision process，MDP）模型，定義了狀態(tài)表示和決策方式。其次使用圖神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡提取當前部署狀態(tài)的信息。依據(jù)狀態(tài)信息的變化定義內(nèi)在激勵，DRL在目標函數(shù)與內(nèi)在激勵共同作用下通過近端策略優(yōu)化［15］（proximal policy optimization，PPO）更新部署策略。本文的主要貢獻為

a）對優(yōu)化部署問題，通過建立豐富中間狀態(tài)的MDP模型，聯(lián)合優(yōu)化部署后的通信開銷和延遲，并使用DRL算法對該問題進行求解。

b）采用圖神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡結合的信息提取算法，豐富了部署過程中的信息表達，更精準決策。在部署的過程中，提取當前部署狀態(tài)和邏輯圖的信息，作為每一次部署決策的依據(jù)。

c）使用內(nèi)在激勵算法，在8×8和16×16等多計算核系統(tǒng)的物理部署階段解決稀疏獎勵問題。單輪部署中，根據(jù)當前狀態(tài)為DRL構建不同的內(nèi)在激勵。通過內(nèi)在激勵促進DRL對新狀態(tài)的探索，進而學習到更高質量的部署策略。

1 研究基礎和術語

1.1 物理部署

物理部署是將神經(jīng)網(wǎng)絡的邏輯圖部署到計算核上的過程，如圖3所示，根據(jù)計算核的容量限制，將神經(jīng)網(wǎng)絡轉變?yōu)檫壿媹D。邏輯圖由節(jié)點和加權邊組成，被部署在一個網(wǎng)格（Mesh）結構的PIM芯片上。為方便后續(xù)討論，將邏輯圖和片上的多計算核拓撲圖給出有關定義如下。

邏輯圖使用一個有向無環(huán)圖表示，定義為G=（A，E），其中ai∈A表示神經(jīng)網(wǎng)絡計算節(jié)點，ei，j∈E表示計算節(jié)點ai與aj之間有向加權邊。其中權重表示為兩個節(jié)點之間的通信量comni，j。

計算核的拓撲圖表示為一個有向圖T（N，P），其中每個頂點ni∈N表示計算核，每個路徑pi，j∈P表示頂點ni與nj之間在路由策略下的最短通信路徑。

應用任務圖G（A，E）到拓撲圖T（N，P）的映射函數(shù)定義如下：

map：G→T s.t. map（ai）=ni

ai∈A，ni∈NA≤N（1）

片上的多個計算核通過片上網(wǎng)絡（network on chip，NoC）傳輸信息，因此部署結果通常由NoC模擬器進行評估，如BookSim［16］、Noxim［17］等。

隨著PIM芯片集成核數(shù)的增加，部署策略的探索空間呈指數(shù)性上升。啟發(fā)式算法主要處理具有數(shù)十個核的系統(tǒng)，且設計空間探索能力有限，其計算復雜度隨著系統(tǒng)規(guī)模的增大而急劇增加。在大規(guī)模探索空間求解問題中，使用DRL算法可較好求解該問題［18］。

1.2 強化學習

DRL是一種基于馬爾可夫決策過程的通過與環(huán)境ε交互進行學習的試探性算法。如圖4所示，在單個時間步長中，智能體從環(huán)境中獲取當前狀態(tài)st，并根據(jù)策略π從動作空間A中選擇一個動作at，從環(huán)境中接收到下一個狀態(tài)st+1和獎勵rt作為回報。相較于RL，DRL使用神經(jīng)網(wǎng)絡作為智能體，學習能力更強。

時間步長t后的累計獎勵Rt表示為

Rt=∑∞k=0γkrt+k（2）

其中γ∈（0，1］，為折現(xiàn)因子。狀態(tài)—動作價值定義為

Qπ（s，a）=Eπ［Rt|st=s，at=a］（3）

Qπ（s，a）是依據(jù)策略π在狀態(tài)s時選擇動作a后的預期回報。狀態(tài)價值Vπ（s）定義為

Vπ（s）=E［Rt|st=s］（4）

狀態(tài)價值是根據(jù)策略π從狀態(tài)s開始的期望回報。智能體的目標是使每個狀態(tài)的期望收益最大化。

PPO是一種基于策略的DRL算法，其計算復雜度明顯低于其他策略梯度方法。PPO在策略更新規(guī)模的約束下最大化獎勵期望：

maximizeθ Etπθ（at|st）πθold（at|st）t（5）

其中：πθ（at|st）是當前的策略;θ是該策略的參數(shù);πθold（at|st）表示更新前的策略;Et［］表示一定步數(shù)內(nèi)可獲得的獎勵期望。式（2）（6）中t為t時刻動作at相比其他動作的優(yōu)勢，定義為預期回報與狀態(tài)價值的差值。

t=Qπ（s，a）－Vπ（s）（6）

在此過程中，PPO限定參數(shù)的更新范圍，防止參數(shù)過度更新。令pt（θ）表示參數(shù)更新前后的策略偏差程度：

pt（θ）=πθ（at|st）πθold（at|st）（7）

PPO通過clip（）限制策略偏差范圍

clip（pt（θ））=pt（θ）? if 1－ε≤pt（θ）≤1+ε

1－εif 1－ε>pt（θ）

1+εif pt（θ）>1+ε（8）

其中：ε是用于度量新策略與老策略之間偏差程度的超參數(shù)。

智能體學習到的部署策略的質量取決于中間狀態(tài)所能表示的信息準確度［15］。缺乏中間狀態(tài)會導致智能體難以精確預測選擇動作所能得到的預期獎勵，進而導致無法對策略網(wǎng)絡有效更新。

1.3 內(nèi)在激勵

神經(jīng)網(wǎng)絡至PIM芯片的部署任務中，只有完成所有節(jié)點的部署后才可以計算部署結果的質量。在文獻［11，12］的算法中，神經(jīng)網(wǎng)絡的邏輯圖中間部署階段沒有獎勵，只有在完成部署后根據(jù)部署結果給予獎勵。這導致了面對大規(guī)模部署任務時訓練容易陷入停滯，難以探索更優(yōu)部署策略等問題，這一現(xiàn)象稱為稀疏獎勵問題［19］。

目前針對稀疏獎勵問題已展開多種研究。逆強化學習通過大量專家決策數(shù)據(jù)在馬爾可夫決策過程中逆向求解環(huán)境獎勵函數(shù)，尋找多個獎勵函數(shù)來描述專家決策行為。經(jīng)驗回放機制對經(jīng)驗池中的樣本設置優(yōu)先級，使樣本被抽取的概率與優(yōu)先級成正比，在一定程度上解決了稀疏獎勵問題。內(nèi)在激勵的目的是構造虛擬獎勵，用于和真實獎勵函數(shù)共同學習。由于真實的獎勵是稀疏的，使用虛擬獎勵可以加快學習的進程。

在邏輯圖部署中，任意節(jié)點的擺放均會產(chǎn)生不同的部署結果，存在大量中間狀態(tài)，充分利用該中間狀態(tài)構建內(nèi)在激勵是解決稀疏獎勵問題的方法之一。本文利用在訓練過程中構建的環(huán)境模型來評估狀態(tài)的新穎程度，并通過隨機固定神經(jīng)網(wǎng)絡和受訓練的預測神經(jīng)網(wǎng)絡之間的差異［20］來計算新穎度，表示智能體對當前狀態(tài)的熟悉程度，并以此給予獎勵。

2 基于深度強化學習的部署策略

PPO算法在組合優(yōu)化問題中具有穩(wěn)定性強、效率高等優(yōu)勢。本文提出了一種基于改進PPO的PIM芯片部署算法。在部署過程中實時提取單輪部署的中間狀態(tài)信息，依據(jù)該信息選取合適的部署結果，并比較部署過程中不同步驟的中間狀態(tài)差異，構建內(nèi)在激勵將稀疏獎勵轉變?yōu)槌砻塥剟?，探索更?yōu)部署策略。圖5展示了該算法的全部流程，智能體通過多輪部署學習部署策略。獲得不同的獎勵后，智能體使用PPO算法優(yōu)化網(wǎng)絡參數(shù)，學習并找出最優(yōu)策略。

2.1 環(huán)境與動作

DRL中狀態(tài)的表示至關重要。合適的狀態(tài)表示可以正確地表示當前的部署狀態(tài)，使智能體的決策更合理。

在DRL的部署優(yōu)化算法中，使用一個二維矩陣表示將要部署的PIM芯片的狀態(tài)，其中未部署的計算核表示為零，已部署的計算核則用序列號表示。動作為選擇一個位置進行部署。

在單輪部署開始前，對當前的環(huán)境進行初始化，該二維矩陣中的序列號全部置零。當智能體完成一個節(jié)點的部署時，置零的計算核更新為當前部署的序列號。邏輯圖的所有節(jié)點部署完成后，根據(jù)部署結果計算該輪部署的結算獎勵。隨即初始化，開始下一輪的部署。執(zhí)行完固定步長的部署輪次后，對智能體進行更新。

在先前工作中，使用全局部署來得到當前節(jié)點將要部署的坐標，即對于每一個節(jié)點都可以選擇多核系統(tǒng)上的任意位置進行部署但過大的動作空間也會導致訓練困難。相鄰層的節(jié)點具有明顯的相關性，將其部署至臨近的節(jié)點可以降低延遲。因此限制動作空間可以在不降低部署結果質量的前提下降低訓練難度。局部部署策略主張限制部署范圍。首先對邏輯圖的節(jié)點進行拓撲排序，并根據(jù)排序部署。部署當前節(jié)點時，尋找到與此節(jié)點通信量最大的已部署節(jié)點的位置，將部署范圍限制在該位置的一定范圍內(nèi)。

2.2 中間狀態(tài)表示

智能體依靠當前狀態(tài)作出決策。合適的狀態(tài)表示是獲得高質量決策的關鍵。如圖6所示，狀態(tài)信息提取算法分別使用圖神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡提取邏輯圖和當前部署情況兩個方面的信息。

圖神經(jīng)網(wǎng)絡通過邏輯圖的連接關系聚合并輸出節(jié)點上的信息，通過全連接層將這些信息編碼。每當一個節(jié)點完成部署后，更新其節(jié)點特征中的坐標信息。

中間狀態(tài)的表示中，部署的結果由二維矩陣表示，卷積神經(jīng)網(wǎng)絡可以從輸入圖像中提取重要特征，因此使用卷積神經(jīng)網(wǎng)絡對當前部署狀態(tài)的信息進行提取。二維矩陣中的數(shù)字表示為節(jié)點的序列號，并且都進行歸一化處理。在經(jīng)過多層卷積層后通過全連接層轉換為狀態(tài)向量。

在訓練過程中這兩個作為信息提取器的網(wǎng)絡不進行更新。智能體的網(wǎng)絡權重根據(jù)PPO算法進行更新。

2.3 混合獎勵

在相關工作中［11，12］，僅根據(jù)部署結果反饋獎勵，且沒有足夠的中間狀態(tài)表示，導致采樣效率低，部署結果優(yōu)化有限。本文基于2.2節(jié)的中間狀態(tài)表示方法，提出混合獎勵方法，包括結果獎勵和虛擬獎勵。該算法使智能體在熟悉的部署和新部署結果的邊界中進行更集中的探索，學習到更豐富的部署策略，并利用結果獎勵保留高質量的策略。

r=rresult+rvirtual（9）

結果獎勵rresult在所有節(jié)點完成部署后對部署結果進行評估，并以此反饋獎勵。

rresult=－α×（C－Cbaseline）（10）

其中：α是比例系數(shù)。由于使用模擬器精確評估消耗時間過長，導致算法求解速度慢，所以使用簡化的公式來近似估計當前的部署結果。因計算過程的功耗和延遲與數(shù)據(jù)傳輸路徑即通信開銷高度相關［12］，因此使用通信開銷C計算獎勵，根據(jù)以下公式計算得到：

C=∑vi，vjcomni，j×Pi，j（11）

通過模擬退火算法得到部署結果的通信開銷Cbaseline作為基準，增加訓練的穩(wěn)定性［11］。在部署任務中，通信開銷越低意味著部署結果越好，獲得的獎勵越高。所以通過比例系數(shù)α將獎勵轉換為通信開銷的負值，并限制在一定范圍以內(nèi)，防止在訓練過程中出現(xiàn)梯度消失的問題。

有別于先前工作中缺乏單輪訓練過程中的獎勵，本節(jié)提出在單輪部署中獲取中間狀態(tài)的虛擬獎勵，將訓練過程中只有單輪部署結束時才獲得的稀疏獎勵轉換為每執(zhí)行一個動作就可獲得的稠密獎勵。rvirtual計算方式為

rvirtual（st，at，st+1）=max［n（st+1）－β·n（st），0］（12）

其中：β是一個超參數(shù)，根據(jù)給定的PIM芯片和邏輯圖來衡量內(nèi)在激勵的重要性。當智能體探索新的部署結果時給予其內(nèi)在激勵rvirtual，從而鼓勵智能體在原先的部署結果上探索新的部署。n（st）表示當前狀態(tài)的新穎度，通過兩個神經(jīng)網(wǎng)絡計算的差異得到。

n（st）=‖φ（st）－φ′ω（st）‖2（13）

其中：φ表示固定網(wǎng)絡;φ′ω表示預測網(wǎng)絡;ω是預測網(wǎng)絡的參數(shù)。內(nèi)在激勵分為兩個網(wǎng)絡：隨機固定神經(jīng)網(wǎng)絡和受訓練的預測神經(jīng)網(wǎng)絡。隨機固定網(wǎng)絡不參與參數(shù)更新，將觀察到的狀態(tài)進行編碼。完成新穎度的計算后通過梯度下降法（stochastic gradient descent，SGD） 對預測網(wǎng)絡進行更新，使預測網(wǎng)絡的期望均方誤差（mean-square error，MSE）最小，表示對當前的狀態(tài)進一步熟悉。

在訓練的初始階段每一次部署的差異度均較大，因此都獲得較高的內(nèi)在激勵。隨著訓練的進行，預測網(wǎng)絡對部署狀態(tài)的預測逐漸逼近固定網(wǎng)絡的結果。智能體若嘗試不同的部署，則獲得內(nèi)在激勵隨之變化。結果獎勵的提升在總體獎勵中占比更大，因此智能體更傾向于在優(yōu)秀部署結果的基礎上探索新的部署。在訓練后期，新穎度逐漸降低為零，智能體學習到了高質量的、穩(wěn)定的部署策略，因此內(nèi)在激勵算法得以收斂。

3 實驗結果

3.1 實驗設置

在硬件上，使用Tianjic芯片［21］的架構模擬，每一個計算核內(nèi)有9個行列為128的RRAM陣列，并且計算核上設計了包括池化，累加器等功能電路。如表1所示，對不同規(guī)模的神經(jīng)網(wǎng)絡進行測試比較，分別為小規(guī)模神經(jīng)網(wǎng)絡Alexnet、VGG11、DenseNet121、ResNet34以及大規(guī)模神經(jīng)網(wǎng)絡VGG16、DenseNet201和ResNet101。其中ResNet101擁有超過四千萬個參數(shù)，DenseNet201擁有192層卷積網(wǎng)絡層數(shù)。表1中的計算核表示部署部署神經(jīng)網(wǎng)絡所需的計算核數(shù)量，規(guī)模表示神經(jīng)網(wǎng)絡模型部署在不同規(guī)模的存內(nèi)計算芯片內(nèi)。8×8和16×16分別表示芯片上共有64個和256個計算核，后者是目前所設計的大規(guī)模存內(nèi)計算芯片。本文僅考慮神經(jīng)網(wǎng)絡中的卷積層。其中Alexnet和VGG11運行在包含8×8計算核的PIM芯片上，DenseNet121、VGG16、ResNet34、DenseNet201和ResNet101運行在包含16×16計算核的PIM芯片上。ResNet101所需參數(shù)量較多，將該網(wǎng)絡劃分為兩個部分，部署至兩個存內(nèi)計算芯片中。將結果與模擬退火算法（simulated annealing，SA）［10］，DDPG算法［11］和PPO算法［12］相比較。

在本文的方法中，使用圖神經(jīng)網(wǎng)絡將邏輯圖轉換為大小為64的特征向量，使用卷積神經(jīng)網(wǎng)絡將當前狀態(tài)轉換為大小為192的特征向量。部署算法中Actor和Critic網(wǎng)絡均使用3層全連接層，每一層的參數(shù)量為256。根據(jù)經(jīng)驗，部署算法中的超參數(shù)設置如下：學習率設置為0.000 2，其中PPO_epoch為10，PPO_clip為0.2，折扣因子為0.98。內(nèi)在激勵的縮放因子為0.75，內(nèi)在獎勵稀疏為2。結算的獎勵裁剪到［-100，100］。文獻［11，12］中DRL算法的超參數(shù)根據(jù)其論文中設置。

所有的部署結果使用基于C++的周期精確的NoC模擬器進行評估。這個模擬器模擬在設備的每個循環(huán)中運行的所有數(shù)據(jù)包的狀態(tài)。為不失通用性，在所有情況中使用二維網(wǎng)格拓撲和維序路由。在NoC中的平均延遲表示為

Latency=1|N|∑|N|i=11Ni∑|Ni|j=1Latencyi，j（14）

其中：N表示計算核的數(shù)量;Ni表示經(jīng)過i次預熱后單個計算核收到的數(shù)據(jù)包數(shù);Latencyi，j表示數(shù)據(jù)包j的延遲。

平均功耗表示為

Power=C×E|h|t（15）

其中：E|h|為單跳距離下發(fā)送數(shù)據(jù)包的能量;t為所需要的時間。

帶寬需求為計算過程中，同一時刻在同一信道上傳輸?shù)淖畲髷?shù)據(jù)包數(shù)量。

模擬退火算法在較大的搜索空間中近似全局最優(yōu)。隨機初始化部署位置，通過交換兩個節(jié)點的位置實現(xiàn)進化，并使用與DRL相同的代價函數(shù)。針對每一個神經(jīng)網(wǎng)絡，為模擬退火算法設置不同的超參數(shù)，包括不同的溫度上限、不同的衰減率、不同的迭代次數(shù)。選取延遲最小的結果作為基準。

3.2 結果分析

最終結果如表2所示。綜合表1的結果，基于DRL的部署優(yōu)化算法在所有數(shù)據(jù)集中均有提升。在功耗開銷方面提升較大，分別達到了67.49%，20.06%，33.39%。在延遲方面，分別提升了30.60%，17.02%，11.55%，并且在最大帶寬需求上也有不同程度的提升。

AlexNet和VGG11所需的計算核數(shù)量較少，屬于小規(guī)模的神經(jīng)網(wǎng)絡。對此類神經(jīng)網(wǎng)絡的部署，本文方法與PPO相比功耗開銷的降低更多，在延遲方面兩個方法提升效果相似。對于大規(guī)模的神經(jīng)網(wǎng)絡如VGG16，Resnet34，這兩個網(wǎng)絡被部署至16×16個計算核的多核系統(tǒng)中，隨著規(guī)模的增大其探索空間呈指數(shù)級上升。同時，大規(guī)模神經(jīng)網(wǎng)絡的節(jié)點數(shù)量眾多，缺乏中間結果表示使得PPO算法難以探索更優(yōu)部署結果?；旌溪剟罘椒ㄍㄟ^逐步部署并精確表示中間狀態(tài)的方式，使得延遲和功耗開銷有較為明顯的提升。更大參數(shù)量的ResNet101的探索空間更大，使用混合獎勵可以獲得更好的效果，在延遲和功耗上相比ResNet34的優(yōu)化程度更大。但是對于扇入扇出數(shù)較多的DenseNet121和DenseNet201而言，延遲和功耗開銷的提升都較小。因為采取局部部署的方法，對扇入扇出數(shù)較多的節(jié)點選擇空間有限，所以對此類網(wǎng)絡優(yōu)化有限。

如圖7所示，比較了ResNet34是否使用內(nèi)在激勵的訓練情況。縱坐標reward表示訓練得到的獎勵，橫坐標step表示訓練的步長。使用了內(nèi)在激勵使得DRL算法的收斂速度和部署的結果得到提升。在初始階段，由于智能體對環(huán)境較為陌生，所以表現(xiàn)和沒有好奇心獎勵基本相同。當智能體熟悉邊界后，虛擬獎勵驅動智能體探索未知空間，增加了尋找優(yōu)化部署方法的概率。

4 結束語

本文針對PIM的神經(jīng)網(wǎng)絡部署問題，提出了一種基于DRL的優(yōu)化算法。該算法使用圖神經(jīng)網(wǎng)絡提取邏輯圖的信息，使用卷積神經(jīng)網(wǎng)絡提取中間狀態(tài)的信息，并且使用內(nèi)在激勵鼓勵探索新的部署決策。相比較SA和DRL算法獲得了更優(yōu)的延遲和功耗開銷，但在一些復雜任務如節(jié)點扇出數(shù)過多時存在難以訓練的問題，這是后續(xù)的工作方向。

參考文獻：

[1]He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Delving deep into rectifiers：surpassing human-level performance on ImageNet classification［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：1026-1034.

［2]Zhang Ying，Pezeshki M，Brakel P，et al.Towards end-to-end speech recognition with deep convolutional neural networks［EB/OL］.（2017-01-10）.https：//arxiv.org/abs/1701.02720.

［3]Kiran B R，Sobh I，Talpaert V，et al.Deep reinforcement learning for autonomous driving：a survey［J］.IEEE Trans on Intelligent Transportation Systems，2022，23（6）：4909-4926.

［4]Ankit A，Hajj I E，Chalamalasetti F，et al.PUMA：a programmable ultra-efficient memristor-based accelerator for machine learning inference［C］//Proc of the 24th International Conference on Architectural Support for Programming Languages and Operating Systems.New York：ACM Press，2019：715-731.

［5]Yao Peng，Wu Huaqiang，Gao Bin，et al.Fully hardware-implemented memristor convolutional neural network［J］.Nature，2020，577 （7792）：641-646.

［6]Akopyan F，Sawada J，Cassidy A，et al.TrueNorth：design and tool flow of a 65 mW 1 million neuron programmable neurosynaptic chip［J］.IEEE Trans on Computer-Aided Design of Integrated Circuits and Systems，2015，34 （10）：1537-1557.

［7]Davies M，Srinivasa N，Lin Tsunghan，et al.Loihi：a neuromorphic manycore processor with on-chip learning［J］.IEEE Micro，2018，38 （1）：82-99.

［8]Wan Weier，Kubendran R，Schaefer C，et al.A compute-in-memory chip based on resistive random-access memory［J］.Nature，2022，608 （7923）：504-512.

［9]Ostler C，Chatha N.An ILP formulation for system-level application mapping on network processor architectures［C］//Proc of Design，Automation & Test in Europe Conference & Exhibition.Piscataway，NJ：IEEE Press，2007：1-6.

［10]Joseph J M，Baloglu M S，Pan Yue，et al.NEWROMAP：mapping CNNs to NoC-interconnected self-contained data-flow accelerators for edge-AI［C］//Proc of the 15th IEEE/ACM International Symposium on Networks-on-Chip.New York：ACM Press，2021：15-20.

［11]Wu Nan，Deng Lei，Li Guoqi，et al.Core placement optimization for multi-chip many-core neural network systems with reinforcement learning［J］.ACM Trans on Design Automation of Electronic Systems，2020，26 （2）：1-27.

［12]Myung W，Lee D，Song Chenhang，et al.Policy gradient-based core placement optimization for multichip many-core systems［J/OL］.IEEE Trans on Neural Networks and Learning Systems.（2021-10-13）.https：//doi.org/ 10.1109/TNNLS.2021.3117878.

［13]Mirhoseini A，Goldie A，Yazgan M，et al.A graph placement methodology for fast chip design［J］.Nature，2021，594 （7862）：207-212.

［14]Cheng Ruoyu，Yan Junchi.On joint learning for solving placement and routing in chip design［C］//Advances in Neural Information Processing Systems.［S.l.］：Curran Associates Inc.，2021：16508-16519.

［15]Schulman J，Wolski F，Dhariwal P，et al.Proximal policy optimization algorithms［EB/OL］.（2017-08-28）.https：//arxiv.org/abs/1707.06347.

［16]Jiang Nan，Becker D U，Michelogiannakis G，et al.A detailed and flexible cycle-accurate Network-on-Chip simulator［C］//Proc of IEEE International Symposium on Performance Analysis of Systems and Software （ISPASS） .Piscataway，NJ：IEEE Press，2013：86-96.

［17]Catania V，Mineo A，Monteleone S，et al.Noxim：An open，extensible and cycle-accurate network on chip simulator［C］//Proc of the 26th IEEE International Conference on Application-specific Systems，Architectures and Processors.Piscataway，NJ：IEEE Press，2015：162-163.

［18]Li Zhaoying，Wu Dan，Wijerathne D，et al.LISA：graph neural network based portable mapping on spatial accelerators［C］//Proc of IEEE International Symposium on High-Performance Computer Architecture .Piscataway，NJ：IEEE Press，2022：444-459.

［19]楊惟軼，白辰甲，蔡超，等 深度強化學習中稀疏獎勵問題研究綜述［J］.計算機科學，2020，47 （3）：182-191.（Yang Huaiyi，Bai Chenjia，Cai Chao，et al.A review of research on the sparse reward problem in deep reinforcement learning［J］.Computer Science，2020，47 （3）：182-191.）

［20]Zhang Tianjun，Xu Huazhe，Wang Xiaolong，et al.NovelD：a simple yet effective exploration criterion［C］//Proc of the 35th Conference on Neural Information Processing Systems.2021：1-14.

［21]Pei Jing，Deng Lei，Song Sen，et al.Towards artificial general intelligence with hybrid Tianjic chip architecture［J］.Nature，2019，572 （7767）：106-111.

收稿日期：2023-02-07；

修回日期：2023-04-04

基金項目：國家自然科學基金資助項目（62131010，U22A2013）；浙江省創(chuàng)新群體資助項目（LDT23F4021F04）；寧波高新區(qū)重大技術創(chuàng)新體資助項目（2022BCX050001）

作者簡介：胡益笛（1996-），男，浙江臺州人，碩士研究生，主要研究方向為電子設計自動化；夏銀水（1963-），男（通信作者），浙江寧波人，教授，博導，博士，主要研究方向為低功耗電路設計及其自動化（xiayinshui@nbu.edu.cn）.