結(jié)合深度強(qiáng)化學(xué)習(xí)的區(qū)塊鏈分片系統(tǒng)性能優(yōu)化

溫建偉，姚冰冰，萬(wàn)劍雄，李雷孝

1.內(nèi)蒙古自治區(qū)氣象信息中心，呼和浩特 010051

2.內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心，呼和浩特 010080

近年來(lái)，隨著人工智能、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，為了保證數(shù)據(jù)的安全性，區(qū)塊鏈技術(shù)廣泛應(yīng)用于醫(yī)療、金融等各種領(lǐng)域。然而，當(dāng)前區(qū)塊鏈有著低的吞吐量和可擴(kuò)展性的限制，大大限制了區(qū)塊鏈的應(yīng)用。區(qū)塊鏈具有去中心化、安全、可擴(kuò)展性三種特性，根據(jù)區(qū)塊鏈的三難困境[1]，任何區(qū)塊鏈只能滿足三個(gè)特性中的兩個(gè)。所以，在提高區(qū)塊鏈吞吐量和可擴(kuò)展性的同時(shí)需要保證區(qū)塊鏈的安全性。以上問(wèn)題是當(dāng)今社會(huì)的難題，是區(qū)塊鏈領(lǐng)域的挑戰(zhàn)。

目前，對(duì)于提高區(qū)塊鏈吞吐量較為有效的方式是將分片技術(shù)應(yīng)用到區(qū)塊鏈中，并對(duì)區(qū)塊鏈體系結(jié)構(gòu)進(jìn)行重新設(shè)計(jì)。因此，近年來(lái)學(xué)術(shù)界不斷探索在改進(jìn)的體系結(jié)構(gòu)中利用分片技術(shù)的優(yōu)化控制方法提高區(qū)塊鏈吞吐量。目前對(duì)于提高區(qū)塊鏈吞吐量的主要方法分為靜態(tài)優(yōu)化方法與動(dòng)態(tài)優(yōu)化方法。靜態(tài)優(yōu)化方法是指區(qū)塊鏈采用分片技術(shù)時(shí)，使用的分片策略一直固定不變。采用靜態(tài)優(yōu)化方法的研究有文獻(xiàn)[2-5]。以上研究對(duì)于區(qū)塊鏈的分片選擇均是靜態(tài)策略，這不符合動(dòng)態(tài)的區(qū)塊鏈環(huán)境。因此，有研究提出動(dòng)態(tài)優(yōu)化方法，將分片技術(shù)與深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）[6]結(jié)合。根據(jù)動(dòng)態(tài)的區(qū)塊鏈系統(tǒng)環(huán)境采用動(dòng)態(tài)的分片策略。將分片技術(shù)與深度強(qiáng)化學(xué)習(xí)結(jié)合的研究有文獻(xiàn)[7-8]。

以上利用深度強(qiáng)化學(xué)習(xí)進(jìn)行動(dòng)態(tài)優(yōu)化方法研究，大多數(shù)采用deepQnetwork（DQN）[9]算法，解決了靜態(tài)的區(qū)塊鏈分片策略的缺點(diǎn)。但是當(dāng)行為維度擴(kuò)大后，行為組合將會(huì)引起行為空間爆炸，采用基本強(qiáng)化學(xué)習(xí)DQN算法，神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練，將會(huì)影響區(qū)塊鏈的性能。為解決上述問(wèn)題，本文提出了一種結(jié)合深度強(qiáng)化學(xué)習(xí)的區(qū)塊鏈分片策略優(yōu)化的方法解決動(dòng)態(tài)區(qū)塊鏈分片處理數(shù)據(jù)的問(wèn)題。本文的主要貢獻(xiàn)為提出了深度強(qiáng)化學(xué)習(xí)branching duelingQ-network（BDQ）[10]算法與區(qū)塊鏈分片技術(shù)結(jié)合的方法，解決了區(qū)塊鏈吞吐量低的問(wèn)題，并且對(duì)行為空間進(jìn)行擴(kuò)大，實(shí)現(xiàn)了區(qū)塊鏈分片系統(tǒng)的細(xì)粒度控制。本文將區(qū)塊鏈分片問(wèn)題建立為馬爾科夫決策過(guò)程，提出了branching duelingQ-network shard-based blockchain（BDQSB）算法，解決了傳統(tǒng)動(dòng)態(tài)優(yōu)化行為空間爆炸的問(wèn)題。研究構(gòu)建了區(qū)塊鏈分片仿真系統(tǒng)，相比于使用DQN 算法，仿真結(jié)果表明，本文提出的BDQSB算法將區(qū)塊鏈吞吐量提高了25%。

1 研究現(xiàn)狀

分片技術(shù)可以有效的提高區(qū)塊鏈吞吐量。分片技術(shù)可以分為靜態(tài)分片與動(dòng)態(tài)分片兩類。典型的靜態(tài)分片技術(shù)如Elastico、OmniLedger。Luu等人[2]提出了Elastico，是最早面向公有鏈的分片技術(shù)。Elastico 將PoW（proof of work）[11]協(xié)議與PBFT（practical byzantine fault tolerance）[12]協(xié)議相結(jié)合，節(jié)點(diǎn)首先通過(guò)PoW建立身份證明，然后節(jié)點(diǎn)被隨機(jī)分到各個(gè)委員會(huì)中，由于每個(gè)委員會(huì)中的節(jié)點(diǎn)數(shù)量足夠小，所以委員會(huì)每步可以完全運(yùn)行片PBFT 協(xié)議。各個(gè)委員會(huì)中的節(jié)點(diǎn)并行處理事務(wù)，所以Elastico幾乎實(shí)現(xiàn)了對(duì)吞吐量的線性擴(kuò)展。OmniLedger[3]的整體架構(gòu)是由一條身份鏈以及多條子鏈構(gòu)成的。OmniLedger使用RandHound[13]協(xié)議，將所有節(jié)點(diǎn)分成不同的組，并隨機(jī)將這些組分配到不同的分片子鏈。每個(gè)分片內(nèi)共識(shí)采用PBFT協(xié)議。過(guò)移除塊的全序要求，將塊組織成有向無(wú)環(huán)圖（directed acyclic graph，DAG）結(jié)構(gòu)，增加了系統(tǒng)的吞吐量、降低了交易確認(rèn)延遲。此外，OmniLedger 使用原子提交協(xié)議來(lái)處理跨分片交易，并使用賬本剪輯技術(shù)，引入檢查點(diǎn)，將檢查點(diǎn)之前的歷史數(shù)據(jù)進(jìn)行裁剪，降低節(jié)點(diǎn)的存儲(chǔ)壓力。OmniLedger 實(shí)現(xiàn)了區(qū)塊鏈吞吐量隨著分片的數(shù)量線性增加。

在Elastico、OmniLedger 基礎(chǔ)上對(duì)區(qū)塊鏈系統(tǒng)架構(gòu)進(jìn)行改進(jìn)并采用分片技術(shù)的研究成果，如Zillqa、Rapid-Chain。Zillqa[4]團(tuán)隊(duì)在Elastico 的基礎(chǔ)上進(jìn)行了架構(gòu)和性能優(yōu)化。在設(shè)計(jì)架構(gòu)上，提出雙鏈架構(gòu)，另一條是交易鏈，一條是目錄服務(wù)鏈。交易鏈上保存交易數(shù)據(jù)，目錄服務(wù)鏈存放礦工元數(shù)據(jù)信息。在性能優(yōu)化上，共識(shí)階段Zillqa 借鑒了CoSi[14]多重簽名技術(shù)，并用數(shù)字簽名代替MAC，極大提升了PBFT 的擴(kuò)展性，使得PBFT 可以適用于幾百個(gè)節(jié)點(diǎn)，通過(guò)在PBFT中使用數(shù)字簽名來(lái)提高效率。RapidChain[5]在OmniLedger 的基礎(chǔ)上，加入了基于糾刪碼的信息分發(fā)技術(shù)來(lái)加快區(qū)塊的傳播速度，實(shí)現(xiàn)了覆蓋通信、計(jì)算與存儲(chǔ)的全分片技術(shù)，為了降低狀態(tài)代價(jià)，RapidChain采用了Cuckoo協(xié)議，每次分片切換只需替換部分節(jié)點(diǎn)。Rapidchain 系統(tǒng)中主要包含三個(gè)重要階段，分別是bootstrapping phase（引導(dǎo)啟動(dòng)階段）、consensus phase（共識(shí)階段）和reconfiguration phase（重構(gòu)階段）。Bootstrapping 階段只會(huì)在在Rapidchain 系統(tǒng)開始時(shí)運(yùn)行一次，這個(gè)階段是為了創(chuàng)建一個(gè)初始隨機(jī)源，并隨機(jī)選出一個(gè)特殊的委員會(huì)，叫作參考委員會(huì)（reference committee），再由這個(gè)參考委員會(huì)的成員對(duì)節(jié)點(diǎn)進(jìn)行隨機(jī)分配，構(gòu)成一個(gè)個(gè)分片委員會(huì)。

近年來(lái)，出現(xiàn)了一些優(yōu)化區(qū)塊鏈吞吐量的動(dòng)態(tài)分片技術(shù)。動(dòng)態(tài)分片技術(shù)解決了靜態(tài)分片技術(shù)一直使用固定分片策略的問(wèn)題。動(dòng)態(tài)分片技術(shù)可以為動(dòng)態(tài)的區(qū)塊鏈環(huán)境提供動(dòng)態(tài)的分片策略，使區(qū)塊鏈吞吐量得到提升。DRL是一種典型的動(dòng)態(tài)優(yōu)化方法，可以為復(fù)雜的區(qū)塊鏈系統(tǒng)決策問(wèn)題提供行為策略。Yun等人[7]提出了一個(gè)基于分片的可擴(kuò)展區(qū)塊鏈系統(tǒng)，在保持高安全級(jí)別的同時(shí)優(yōu)化吞吐量，將分片技術(shù)與深度強(qiáng)化學(xué)習(xí)算法相結(jié)合，將區(qū)塊鏈分片選擇過(guò)程抽象為馬爾科夫決策過(guò)程（Markov decision process，MDP）[15]，提出了基于分片的深度Q網(wǎng)絡(luò)區(qū)塊鏈所使用的分片協(xié)議（deepQnetwork shard-based blockchain，DQNSB）模型。分片技術(shù)不斷將挖掘任務(wù)委托給其他節(jié)點(diǎn)。通過(guò)調(diào)整分片數(shù)量，可以主動(dòng)改變安全級(jí)別。采用深度強(qiáng)化學(xué)習(xí)的方法來(lái)優(yōu)化區(qū)塊鏈的性能，以滿足大規(guī)模和動(dòng)態(tài)的物聯(lián)網(wǎng)操作。特別是，在DRL框架的基礎(chǔ)上，將信任的概念融入到共識(shí)過(guò)程中，通過(guò)監(jiān)控每個(gè)epoch的共識(shí)結(jié)果來(lái)估計(jì)網(wǎng)絡(luò)的惡意概率。基于網(wǎng)絡(luò)信任，計(jì)算安全分片的數(shù)量，并采用自適應(yīng)控制保持最優(yōu)吞吐量條件。Zhang等人[8]提出了一種區(qū)塊鏈與強(qiáng)化學(xué)習(xí)結(jié)合的天空鏈。一種新型的基于動(dòng)態(tài)分片的區(qū)塊鏈框架，在不影響動(dòng)態(tài)環(huán)境下的可擴(kuò)展性的前提下，實(shí)現(xiàn)了性能和安全性的良好平衡。首先，提出了一種自適應(yīng)分類賬協(xié)議，以保證基于動(dòng)態(tài)分片策略的分類賬能夠有效的合并或分割。然后，為了優(yōu)化高維系統(tǒng)狀態(tài)的動(dòng)態(tài)環(huán)境下的分片策略，提出了一種基于深度強(qiáng)化學(xué)習(xí)的分片方法。構(gòu)建了一個(gè)從性能和安全性方面評(píng)估區(qū)塊鏈分片系統(tǒng)的框架，通過(guò)調(diào)整分片間隔、分片數(shù)和塊大小，使系統(tǒng)的性能和安全達(dá)到長(zhǎng)期的平衡。深度強(qiáng)化學(xué)習(xí)可以從以往的經(jīng)驗(yàn)中學(xué)習(xí)區(qū)塊鏈分片系統(tǒng)的特點(diǎn)，并根據(jù)當(dāng)前的網(wǎng)絡(luò)狀態(tài)采取合適的分片策略，獲得長(zhǎng)期的回報(bào)。

以上基于DRL 的動(dòng)態(tài)分片技術(shù)，普遍采用基本的深度強(qiáng)化學(xué)習(xí)算法DQN，采用DQN算法解決了狀態(tài)空間爆炸問(wèn)題。但是，當(dāng)行為維度增大導(dǎo)致行為空間爆炸時(shí)，使用DQN算法會(huì)使神經(jīng)網(wǎng)絡(luò)無(wú)法訓(xùn)練。

2 問(wèn)題描述

在區(qū)塊鏈網(wǎng)絡(luò)中，網(wǎng)絡(luò)中的客戶端將事務(wù)請(qǐng)求發(fā)送給區(qū)塊鏈網(wǎng)絡(luò)中的所有節(jié)點(diǎn)，區(qū)塊鏈網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行分片來(lái)對(duì)事務(wù)進(jìn)行并行的處理。首先，根據(jù)區(qū)塊鏈中節(jié)點(diǎn)解決一個(gè)工作量難題（PoW）的速度快慢，在區(qū)塊鏈網(wǎng)絡(luò)節(jié)點(diǎn)中選擇出解決PoW快的一定數(shù)量的節(jié)點(diǎn)組成目錄委員會(huì)，目錄委員會(huì)中的節(jié)點(diǎn)是對(duì)最后所有片內(nèi)產(chǎn)生的區(qū)塊進(jìn)行最終的打包處理。選擇完目錄委員會(huì)中的節(jié)點(diǎn)后，區(qū)塊鏈中其余節(jié)點(diǎn)進(jìn)行分片，根據(jù)節(jié)點(diǎn)的ID將區(qū)塊鏈中的節(jié)點(diǎn)分成K片，對(duì)事務(wù)進(jìn)行并行處理，片內(nèi)節(jié)點(diǎn)將事務(wù)打包成區(qū)塊，驗(yàn)證完成后，發(fā)送給目錄委員會(huì)，目錄委員會(huì)進(jìn)行最終打包，打包成最終塊，驗(yàn)證通過(guò)后上傳到區(qū)塊鏈上，同時(shí)將打包的最終塊信息返回給所有片內(nèi)節(jié)點(diǎn)，片內(nèi)節(jié)點(diǎn)進(jìn)行信息更新。

區(qū)塊鏈網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行分片時(shí)，靜態(tài)的分片策略不能有效的處理動(dòng)態(tài)的區(qū)塊鏈環(huán)境。針對(duì)當(dāng)前的問(wèn)題，可以通過(guò)將深度強(qiáng)化學(xué)習(xí)算法加入到區(qū)塊鏈系統(tǒng)中，將區(qū)塊鏈中分片問(wèn)題建立成馬爾科夫決策過(guò)程，為區(qū)塊鏈系統(tǒng)每次進(jìn)行分片提供合適的分片策略，達(dá)到處理事務(wù)的最大吞吐量。

3 區(qū)塊鏈分片問(wèn)題的馬爾科夫決策過(guò)程

區(qū)塊鏈網(wǎng)絡(luò)中節(jié)點(diǎn)分片的選擇是序貫決策過(guò)程，本文將分片的選擇問(wèn)題建模成馬爾科夫決策過(guò)程。其中包括狀態(tài)空間、行為空間和獎(jiǎng)勵(lì)函數(shù)。

行為空間：通過(guò)對(duì)區(qū)塊大小、出塊時(shí)間和區(qū)塊鏈分片數(shù)量的選擇來(lái)實(shí)現(xiàn)對(duì)區(qū)塊鏈網(wǎng)絡(luò)中節(jié)點(diǎn)進(jìn)行分片，并行處理事務(wù)。本文將區(qū)塊大小、出塊時(shí)間和區(qū)塊鏈分片數(shù)量定義為離散的行為空間，在t時(shí)刻區(qū)塊鏈網(wǎng)絡(luò)中的區(qū)塊大小為B、出塊時(shí)間為TI、區(qū)塊鏈分片數(shù)量為K，行為空間定義為A={B,TI,K}。

獎(jiǎng)勵(lì)函數(shù)：獎(jiǎng)勵(lì)表示在當(dāng)前狀態(tài)下采取行為所獲得的收益。本文的優(yōu)化目標(biāo)是提高區(qū)塊鏈每秒處理事務(wù)的數(shù)量。因此定義獎(jiǎng)勵(lì)函數(shù)為：

其中，α表示學(xué)習(xí)率，為常數(shù)。Q-learning 方法將所有狀態(tài)和其對(duì)應(yīng)行為存儲(chǔ)在Q表中。當(dāng)狀態(tài)空間和行為空間維數(shù)很大的時(shí)候，此方法對(duì)于處理高維度問(wèn)題難以實(shí)現(xiàn)，主要原因是計(jì)算機(jī)內(nèi)存無(wú)法存儲(chǔ)Q表，而且每次在Q表中搜索十分消耗時(shí)間。

4 基于深度強(qiáng)化學(xué)習(xí)的區(qū)塊鏈分片算法

4.1 算法設(shè)計(jì)

基于深度強(qiáng)化學(xué)習(xí)算法的區(qū)塊鏈分片選擇邏輯如圖1 所示。強(qiáng)化學(xué)習(xí)智能體通過(guò)神經(jīng)網(wǎng)絡(luò)輸出對(duì)應(yīng)行為的Q值來(lái)選擇相應(yīng)的區(qū)塊鏈分片行為at；將分片行為執(zhí)行到區(qū)塊鏈系統(tǒng)環(huán)境中，環(huán)境產(chǎn)生下一個(gè)狀態(tài)st+1，獲得產(chǎn)生的獎(jiǎng)勵(lì)R。將智能體與區(qū)塊鏈系統(tǒng)環(huán)境交互產(chǎn)生的經(jīng)驗(yàn)(st,at,st+1,Rt+1)存儲(chǔ)到經(jīng)驗(yàn)池D中，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖1 算法的邏輯結(jié)構(gòu)Fig.1 Logical structure of algorithm

本文將深度強(qiáng)化學(xué)習(xí)branching duelingQ-network（BDQ）算法運(yùn)用到區(qū)塊鏈分片系統(tǒng)，提出了基于分片的分支決斗Q網(wǎng)絡(luò)（BDQSB）算法。BDQSB 算法相較于DQN算法的優(yōu)勢(shì)是解決了行為空間爆炸以及行為空間爆炸導(dǎo)致神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題。本文提出的BDQSB算法在每一個(gè)決策時(shí)刻t將系統(tǒng)的狀態(tài)st=(R,C,H,P)作為輸入，輸出行為at=(B,TI,K)。

求解問(wèn)題公式（1）使用深度強(qiáng)化學(xué)習(xí)算法的步驟如下。

算法1的第1步為初始化經(jīng)驗(yàn)回放池D，用于存放agent 與區(qū)塊鏈環(huán)境進(jìn)行交互產(chǎn)生的經(jīng)驗(yàn)樣本，用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。算法的第2 步初始化兩個(gè)結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò)以及兩個(gè)網(wǎng)絡(luò)的權(quán)重參數(shù)，將當(dāng)前區(qū)塊鏈系統(tǒng)環(huán)境的狀態(tài)輸入到神經(jīng)網(wǎng)絡(luò)中可以得到預(yù)測(cè)的區(qū)塊鏈分片行為。算法的第4～7步中第4步是得到當(dāng)前時(shí)刻區(qū)塊鏈系統(tǒng)環(huán)境的狀態(tài)st=(R,C,H,P)，用于輸入到神經(jīng)網(wǎng)絡(luò)中得到分片行為。第5步神經(jīng)網(wǎng)絡(luò)輸出3個(gè)子行為的優(yōu)勢(shì)函數(shù)和狀態(tài)值函數(shù)，將子行為的優(yōu)勢(shì)函數(shù)與狀態(tài)值函數(shù)相加得到行為分支的Q值。

在權(quán)衡開發(fā)與探索二者之間，根據(jù)ε-greedy 策略（ε-greedy 策略是一種常用的策略。其表示在智能體做決策時(shí)，有一很小的正數(shù)ε(＜1)的概率隨機(jī)選擇未知的一個(gè)動(dòng)作，剩下1-ε的概率選擇已有的動(dòng)作中動(dòng)作價(jià)值最大的動(dòng)作），選擇每個(gè)行為分支中對(duì)應(yīng)Q值最大的子行為組成最終環(huán)境所執(zhí)行的分片行為at=(B,TI,K)。根據(jù)概率ε在行為空間中隨機(jī)產(chǎn)生行為。在算法進(jìn)行探索行為初始階段ε的值較大。隨著算法的不斷迭代，ε逐漸遞減，算法傾向于選擇神經(jīng)網(wǎng)絡(luò)生成的行為。第6 步將得到的行為at=(B,TI,K)輸入到區(qū)塊鏈系統(tǒng)環(huán)境中，根據(jù)第三個(gè)子行為K，區(qū)塊鏈節(jié)點(diǎn)進(jìn)行分片，根據(jù)第一個(gè)子行為B和第二個(gè)子行為TI，節(jié)點(diǎn)并行處理事務(wù)，產(chǎn)生區(qū)塊。目錄委員會(huì)將最終塊上傳帶區(qū)塊鏈中，區(qū)塊鏈系統(tǒng)環(huán)境進(jìn)行狀態(tài)轉(zhuǎn)化，得到下一個(gè)狀態(tài)st+1=(R,C,H,P)。第7 步環(huán)境執(zhí)行行為前的狀態(tài)轉(zhuǎn)變成執(zhí)行行為后的狀態(tài)，得到環(huán)境的下一個(gè)狀態(tài)和環(huán)境對(duì)于執(zhí)行行為的獎(jiǎng)勵(lì)r，即處理事務(wù)的吞吐量。第8步將agent與區(qū)塊鏈系統(tǒng)環(huán)境進(jìn)行交互產(chǎn)生的樣本存儲(chǔ)到經(jīng)驗(yàn)池中，用于對(duì)神經(jīng)網(wǎng)絡(luò)的更新。

在時(shí)間復(fù)雜性方面，BDQSB 算法在選擇神經(jīng)網(wǎng)絡(luò)輸出的行為時(shí)（算法第9 行）只需要對(duì)Q網(wǎng)絡(luò)進(jìn)行前向傳播，其復(fù)雜度為O(1)。在訓(xùn)練Q網(wǎng)絡(luò)時(shí)，時(shí)間復(fù)雜度與梯度下降的次數(shù)相關(guān)。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度方面，神經(jīng)網(wǎng)絡(luò)輸出層共有 |B|+|TI|+|K|個(gè)輸出。在5.3節(jié)中，將進(jìn)一步從實(shí)驗(yàn)角度比較不同方法的時(shí)間成本。

4.2 Q 函數(shù)近似

DQN 方法解決了狀態(tài)空間爆炸的問(wèn)題，但是當(dāng)行為空間爆炸時(shí)，DQN方法存在神經(jīng)網(wǎng)絡(luò)輸出復(fù)雜、難以訓(xùn)練的缺點(diǎn)，因此文獻(xiàn)[4]對(duì)DQN 進(jìn)行改進(jìn)，提出了branching duelingQ-network（BDQ）。如圖2為BDQ的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。相較于傳統(tǒng)的DQN 算法，BDQ 算法提出了一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，行為空間有幾個(gè)子行為就對(duì)應(yīng)幾個(gè)網(wǎng)絡(luò)分支，并且具有一個(gè)共享的決策模塊。BDQ算法為每個(gè)單獨(dú)的動(dòng)作維度提供一定程度的獨(dú)立性，可擴(kuò)展性較好。BDQ算法將區(qū)塊鏈狀態(tài)st=(R,C,H,P)輸入到神經(jīng)網(wǎng)絡(luò)中，狀態(tài)經(jīng)過(guò)共享模塊（即神經(jīng)網(wǎng)絡(luò)的隱藏層）進(jìn)行抽象，輸出分為兩個(gè)分支，分別為狀態(tài)分支和行為分支。行為分支輸出每個(gè)子行為的優(yōu)勢(shì)函數(shù)A1(st,a1),A2(st,a2),A3(st,a3)，狀態(tài)分支輸出狀態(tài)值函數(shù)V(st)，將子行為的優(yōu)勢(shì)函數(shù)與狀態(tài)值函數(shù)合并得到子行為的Q函數(shù)，區(qū)塊鏈分片系統(tǒng)決策時(shí)，根據(jù)輸出的每個(gè)子行為Q值來(lái)選擇相應(yīng)的行為。

圖2 BDQ的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network structure of BDQ

將BDQ 算法引入4.1 節(jié)算法1 中，其中第9 步的更新過(guò)程是在經(jīng)驗(yàn)池中隨機(jī)抽取minibatch 大小的經(jīng)驗(yàn)，使用梯度下降的方式更新神經(jīng)網(wǎng)絡(luò)參數(shù)。BDQ對(duì)lossfunction的更新公式為：

BDQ算法中有兩個(gè)結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò)，其中online network 網(wǎng)絡(luò)實(shí)時(shí)更新，targetnetwork 每隔C步更新一次，將online network參數(shù)值賦給targetnetwork。

5 仿真實(shí)驗(yàn)

5.1 仿真系統(tǒng)

本文所構(gòu)建的區(qū)塊鏈仿真系統(tǒng)中包括200 個(gè)區(qū)塊鏈的節(jié)點(diǎn)。

圖3 區(qū)塊鏈分片仿真系統(tǒng)結(jié)構(gòu)Fig.3 Simulation system structure of blockchain sharding

5.2 實(shí)驗(yàn)參數(shù)

算法中的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)為四層全連接網(wǎng)絡(luò)，其中3個(gè)隱藏層神經(jīng)元個(gè)數(shù)分別為256、128、64。激活層函數(shù)使用的是ReLU。優(yōu)化器使用RMSprop，學(xué)習(xí)率為0.05。在實(shí)驗(yàn)中，將前1 000步設(shè)置成算法的探索步數(shù)，1 000步以后，探索率ε以每步0.01的方式增加，一直增加到0.9。

其他參數(shù)應(yīng)用自文獻(xiàn)[13]的實(shí)驗(yàn)，實(shí)驗(yàn)參數(shù)如表1所示。

表1 算法的主要參數(shù)Table 1 Main parameters of algorithm

5.3 算法性能評(píng)價(jià)

如圖4對(duì)比9組策略的平均獎(jiǎng)勵(lì)，9組策略分為6類。

圖4 平均獎(jiǎng)勵(lì)Fig.4 Average reward

（1）動(dòng)態(tài)DQNSB 策略，包括DQNSB_8*16*8 和DQNSB_15*31*16。DQNSB_8*16*8策略中3個(gè)子行為B、TI、K的可選范圍分別為[1，8]、[1，16]、[1，8]中的整數(shù)離散值，3個(gè)子行為的取值間隔都為1，行為空間大小為1 024。DQNSB_15*31*16是擴(kuò)大行為空間后的策略，3個(gè)子行為B、TI、K的可選范圍分別為[1，8]、[1，16]、[1，16]，子行為B，TI的取值間隔為0.5，子行為K的取值間隔為1，行為空間大小為7 440。

（2）半動(dòng)態(tài)DQNSB 策略，分別為DQNSB_8*16*8，B=4、DQNSB_8*16*8，TI=4 和DQNSB_8*16*8，K=4，是將動(dòng)態(tài)策略DQNSB_8*16*8 的3 個(gè)子行為的值分別固定。

（3）本文提出的動(dòng)態(tài)策略BDQSB_15*31*16。BDQSB_15*31*16策略空間大小、行為的取值范圍和取值間隔與DQNSB_15*31*16策略相同。

（5）Random network sharding strategy[17]是完全隨機(jī)選取行為的策略。

（6）DRLB[18]策略，是一個(gè)基于DRL（深度強(qiáng)化學(xué)習(xí)）的算法，動(dòng)態(tài)選擇區(qū)塊鏈中區(qū)塊生產(chǎn)者、共識(shí)算法、區(qū)塊大小和出塊時(shí)間來(lái)提高區(qū)塊鏈系統(tǒng)的性能。

從圖4 可以看出，使用半動(dòng)態(tài)策略進(jìn)行的3 個(gè)實(shí)驗(yàn)所得到的平均獎(jiǎng)勵(lì)曲線明顯低于相同行為空間使用動(dòng)態(tài)策略DQNSB_8*16*8 得到的平均獎(jiǎng)勵(lì)曲線。說(shuō)明使用深度強(qiáng)化學(xué)習(xí)算法對(duì)區(qū)塊鏈節(jié)點(diǎn)進(jìn)行分片，可以對(duì)吞吐量進(jìn)行一定的提升。圖4 中DQNSB_15*31*16 曲線與DQNSB_8*16*8 曲線比較顯示將行為空間擴(kuò)大約7倍后，采用DQNSB算法得到的平均獎(jiǎng)勵(lì)曲線，比沒有擴(kuò)大行為空間前的獎(jiǎng)勵(lì)大約提升了2 倍。說(shuō)明細(xì)分行為后擴(kuò)大行為空間能夠提升區(qū)塊鏈處理事務(wù)的吞吐量。從圖4 中DQNSB_8*16*8 曲線、DQNSB_15*31*16 曲線和BDQSB_15*31*16 曲線可以看出，使用BDQSB 算法得到的平均獎(jiǎng)勵(lì)比行為空間為1 024 的DQNSB 算法提升了大約2.5 倍，比擴(kuò)大后行為空間為7 440 的DQNSB算法提高了約1.25 倍，說(shuō)明BDQSB 算法能使神經(jīng)網(wǎng)絡(luò)得到更好的訓(xùn)練，區(qū)塊鏈系統(tǒng)能夠得到更好的行為。其余3 組 實(shí) 驗(yàn)greedy modularity-based stratgy、random network sharding strategy 和DRLB 策略，仿真結(jié)果表明，與以上3組實(shí)驗(yàn)相比，使用BDQSB算法將區(qū)塊鏈吞吐量分別提升了大約1.6 倍、24 倍和1.7 倍。說(shuō)明本文提出的BDQSB 對(duì)于區(qū)塊鏈分片吞吐量提升是更好的策略。

本文比較了BDQSB算法與DQNSB算法[13]，DQNSB算法解決了狀態(tài)空間爆炸的問(wèn)題，算法中利用神經(jīng)網(wǎng)絡(luò)對(duì)Q函數(shù)進(jìn)行近似。若行為每個(gè)維度可選離散值較少，則可縮小Q網(wǎng)絡(luò)的輸出數(shù)量，但是可能會(huì)導(dǎo)致算法的性能不佳，反之亦然。

表2 中有3 組行為策略，其中DQNSB_8*16*8 策略和DQNSB_15*31*16 策略采用的都是DQN 算法，其區(qū)別是第二個(gè)策略比第一個(gè)策略在行為空間上對(duì)行為粒度劃分的更細(xì)。使用DQNSB_8*16*8策略時(shí)，神經(jīng)網(wǎng)絡(luò)輸出數(shù)量為|B|×|TI|×|K|=1 024。與第一個(gè)策略相比，第二個(gè)策略對(duì)子行為B，TI的取值劃分更加細(xì)?；?。子行為K的取值范圍相較于第一個(gè)策略擴(kuò)大了1 倍。行為空間擴(kuò)大后，使用DQNSB_15*31*16 策略時(shí)，神經(jīng)網(wǎng)絡(luò)輸出數(shù)量為 |B|×|TI|×|K|=7 440。BDQSB_15*31*16 策略行為空間劃分與DQNSB_15*31*16 策略相同。因?yàn)锽DQSB_15*31*16 策略使用的是BDQ 算法，神經(jīng)網(wǎng)絡(luò)輸出的數(shù)量為 |B|+|TI|+|K|=62。

表2 不同算法采用的行為空間Table 2 Behavior spaces used by different algorithms

圖5～7 顯示在數(shù)量為7 440 的行為空間中，使用DQNSB 算法和BDQSB 算法訓(xùn)練20 000 步后，3 個(gè)子行為在不同算法中的平均值。從圖5 子行為B的平均值可以看出，BDQSB 算法在算法運(yùn)行期間子行為B的平均值比DQNSB 算法行為B的平均值大約高8%，子行為B表示區(qū)塊的大小，說(shuō)明使用BDQSB算法處理的事務(wù)更多。從圖6 子行為TI的平均值可以看出，BDQSB算法的子行為TI比DQNSB 算法所獲得的子行為TI少7%，子行為TI為區(qū)塊產(chǎn)生時(shí)間，說(shuō)明使用BDQSB算法處理數(shù)據(jù)所用時(shí)間更短，處理數(shù)據(jù)更快。從圖7子行為K的平均值可以看出，BDQSB算法行為中的K也高于DQNSB 中的行為K值，說(shuō)明使用BDQSB 算法區(qū)塊鏈網(wǎng)絡(luò)分片更多，處理事務(wù)更多。綜上所述，BDQSB算法比DQNSB 算法能使區(qū)塊鏈的吞吐量得到更大的提升。

圖5 子行為B的平均值Fig.5 Average value of sub-beha vior B

圖6 子行為TI的平均值Fig.6 Average value of sub-behavior TI

圖7 子行為K的平均值Fig.7 Average value of sub-behavior K

表3 是不同算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)間成本。從表3 可以看出，random network sharding strategy 是完全隨機(jī)選取行為的策略，不需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)，因此沒有訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)間成本。greedy modularity-based stratgy是只關(guān)注當(dāng)前獎(jiǎng)勵(lì)不考慮未來(lái)的策略，該策略時(shí)間成本比使用BDQSB_15*31*16策略的時(shí)間成本短，但是提高區(qū)塊鏈性能的效果不如BDQSB_15*31*16 策略好。雖然在行為空間較小時(shí)使用半動(dòng)態(tài)策略DQNSB_8*16*8，B=4、DQNSB_8*16*8，K=4、DQNSB_8*16*8，TI=4 和動(dòng)態(tài)策略DQNSB_8*16*8 的時(shí)間成本比使用BDQSB_15*31*16策略的時(shí)間成本短，但是與BDQSB_15*31*16 策略相比沒有更好地提高區(qū)塊鏈的性能。在使用DQNSB_15*31*16 策略和DRLB 策略時(shí)的時(shí)間成本比使用BDQSB_15*31*16策略的時(shí)間成本多，而且在提高區(qū)塊鏈性能方面也不如BDQSB_15*31*16 策略。在BDQSB 與所有策略相比后，說(shuō)明BDQSB 策略不僅能使神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)間成本減少，同時(shí)還提高了區(qū)塊鏈的性能。

表3 不同策略的時(shí)間成本Table 3 Time cost of different strategies

6 結(jié)束語(yǔ)

本文研究了區(qū)塊鏈通過(guò)進(jìn)行分片并行處理事務(wù)來(lái)提高區(qū)塊鏈吞吐量的問(wèn)題，將區(qū)塊鏈分片問(wèn)題抽象為馬爾科夫過(guò)程決策過(guò)程，并設(shè)計(jì)了一種基于BDQSB 的區(qū)塊鏈分片選擇算法。通過(guò)實(shí)驗(yàn)將BDQSB 算法與DQNSB 算法在不同的行為空間上進(jìn)行了對(duì)比，結(jié)果表明基于BDQSB算法的區(qū)塊鏈處理事務(wù)的性能明顯優(yōu)于使用DQNSB 算法。實(shí)驗(yàn)結(jié)果顯示，使用BDQSB 算法區(qū)塊鏈能夠處理更多事務(wù)的同時(shí)提高處理事務(wù)的速度。本文研究的內(nèi)容為區(qū)塊鏈提升吞吐量性能提供了參考，提出的方法對(duì)將區(qū)塊鏈應(yīng)用到更多的領(lǐng)域，具有重要的實(shí)際意義。