基于Bi-LSTM 和Attention 的智能合約分類

王 燦，王 冬

（1.山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266590；2.山東省滕東生建煤礦，山東 滕州 277522）

0 引言

區(qū)塊鏈技術(shù)不斷突破，應(yīng)用也越來(lái)越廣泛，尤其是布置在區(qū)塊鏈上的智能合約分類呈指數(shù)級(jí)增長(zhǎng)［1］。智能合約白皮書的出現(xiàn)，預(yù)示其在數(shù)據(jù)共享、物聯(lián)網(wǎng)供應(yīng)鏈、金融貿(mào)易等方面運(yùn)用十分廣泛，是走在前沿的技術(shù)。目前存有最多智能合約應(yīng)用的平臺(tái)是Ethereum，該平臺(tái)每月都會(huì)發(fā)布智能合約，其數(shù)量已經(jīng)達(dá)到10 萬(wàn)個(gè)［2］。雖然區(qū)塊鏈用戶數(shù)目還不是很多，分布也不廣，但未來(lái)區(qū)塊鏈用戶會(huì)像現(xiàn)在擁有數(shù)據(jù)流量用戶一樣涌來(lái)，其帶來(lái)的各種復(fù)雜疑難問題需要及時(shí)解決。因此，設(shè)計(jì)出滿足智能合約的自動(dòng)分類模型非常必要。

針對(duì)智能合約的自動(dòng)分類模型研究很多。智能合約分類首先要建立一個(gè)模型，這個(gè)模型要以文本分類為中心。目前研究智能合約分類著作較少，尤其是源代碼與用戶信息方面的研究?jī)?nèi)容很少。

在研究文獻(xiàn)中發(fā)現(xiàn)，分類算法模型［3］用到文本分類中，如支持向量機(jī)SVM［4-5］、決策樹［6］、樸素貝葉斯算法［7］等可提高文本分類的實(shí)用價(jià)值。在文本分類算法中，傳統(tǒng)機(jī)器學(xué)習(xí)在進(jìn)行文本分類時(shí)需要進(jìn)行特征工程［8］。黃步添等［9］首次將智能合約源代碼與交易信息結(jié)合，在詞嵌入模型中提取出文本特征。長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）［10］網(wǎng)絡(luò)生成全局向量。為將向量輸入到前饋神經(jīng)網(wǎng)絡(luò)中，需要通過Softmax 層輸出分類結(jié)果，但這并沒有解決RNN［11］的梯度問題，同時(shí)計(jì)算量大，耗費(fèi)時(shí)間。Kim［12］提出卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型，這種模型基于一種雙通道輸入原理，將超參調(diào)節(jié)和靜態(tài)向量作為輸入通道，由此提取出不同特征，最后將不同長(zhǎng)度的句子通過向量表示。CNN 模型具備捕獲時(shí)間和空間的局部相關(guān)性，以及通過匯聚提取更高層次關(guān)聯(lián)的能力，有助于實(shí)現(xiàn)從連續(xù)的上下文窗口句子進(jìn)行建模。但是模型完成工作量及占用內(nèi)存大，效率較低。文獻(xiàn)［13］提出W2V-SVM 模型，基于Word2Vec 方法訓(xùn)練詞集合，再通過高斯核支持向量機(jī)結(jié)合One vs All 算法實(shí)現(xiàn)特征分類。這種模型內(nèi)存占用不大，但準(zhǔn)確率不高。文獻(xiàn)［14］提出將CNN 和LSTM 相結(jié)合的算法模型。該模型通過CNN 實(shí)現(xiàn)高層特征提取，采用LSTM 按照依存關(guān)系進(jìn)行分類，可在短時(shí)間內(nèi)快速捕獲到集合特征，但前期的特征提取工作效率還有待改進(jìn)。

LSTM［15-16］模型優(yōu)點(diǎn)在于能捕獲較長(zhǎng)距離的依賴關(guān)系，并在訓(xùn)練過程中就能篩選出不重要的信息將其遺忘，缺陷是不能捕獲從后到前的語(yǔ)義信息，影響智能合約分類的準(zhǔn)確性。因此，可利用LSTM 捕獲有選擇性的記憶或遺忘部分不重要的信息，進(jìn)而實(shí)現(xiàn)穩(wěn)定性與高效率。本文提出的結(jié)合注意力的Bi-LSTM 模型能有效解決以上模型存在的不足。該模型主要通過Bi-LSTM 人工智能算法結(jié)合注意力機(jī)制，快速對(duì)智能合約進(jìn)行有效信息［17］的捕獲和提取，智能捕獲關(guān)鍵特征，從而提高智能合約分類的效率和準(zhǔn)確度。

1 智能合約自動(dòng)分類模型

模型Bi-LSTM 框架如圖1 所示，包括詞嵌入層、Bi-LSTM 層、層級(jí)注意力機(jī)制、Softmax 層、句表示層、連接層。智能合約特征信息需要最大程度地提取，這樣有助于提高智能合約分類功能，優(yōu)化效果。本文基于源代碼和用戶信息建模。由于源代碼涉及到代碼語(yǔ)義特征，而用戶信息涉及到賬戶特征，因此需要學(xué)習(xí)兩大特征，關(guān)注其之間的聯(lián)系，還要在詞層面和句層面引入注意力機(jī)制，捕獲到有重要意義的句子和單詞。最后通過Softmax 層完成分類任務(wù)，將兩大特征生成智能合約。智能合約自動(dòng)分類模型需要運(yùn)用詞嵌入層、Bi-LSTM、層級(jí)注意力機(jī)制、Softmax 層結(jié)構(gòu)進(jìn)行仿真模擬。

1.1 詞嵌入層

在詞嵌入層中，源代碼特征和賬戶信息特征要以單詞為單位分割，分割之后還要轉(zhuǎn)化為向量表示。給定一個(gè)智能合約D，包含源代碼C 和賬戶信息A，利用模型Word2Vec 將單詞S 中的W1反映到二維向量空間，通過下式生成詞向量表示：

得到的詞向量結(jié)果直接包含了語(yǔ)義特征，在詞嵌入層中完成。

Fig.1 Intelligent contract automatic classification model圖1 智能合約自動(dòng)分類模型

1.2 Bi-LSTM 層

Bi-LSTM 在處理單詞排序問題時(shí)，會(huì)運(yùn)用一個(gè)轉(zhuǎn)換函數(shù)實(shí)現(xiàn)排序長(zhǎng)度，以遞歸方式將一個(gè)轉(zhuǎn)換函數(shù)f 應(yīng)用到內(nèi)部隱藏狀態(tài)向量ht，隱藏ht在t 時(shí)刻與當(dāng)前輸入向量et以及前一隱藏狀態(tài)ht-1之間的關(guān)系。

Bi-LSTM 層由各種各樣的LSTM 單元組成，每個(gè)單元都包含一個(gè)記憶單元ct和3 個(gè)門控制器，分別是輸入門it、輸出門t0和遺忘門ft。對(duì)給定的輸入向量et，可計(jì)算上一單元的隱藏狀態(tài)ht-1、上一單元的記憶狀態(tài)ct-1以及當(dāng)前單元的隱藏狀態(tài)輸出th。

1.3 層級(jí)注意力機(jī)制

在測(cè)試源代碼和賬戶信息的智能合約分類中發(fā)現(xiàn)，如果引入層級(jí)注意力機(jī)制會(huì)大大提高捕獲關(guān)鍵信息的準(zhǔn)確性，這樣有助于智能合約分類的準(zhǔn)確性，加強(qiáng)其穩(wěn)定性。不同單詞對(duì)智能合約的貢獻(xiàn)程度不同，比如說一個(gè)取名為“Maker's”的變量和函數(shù)中，其分類預(yù)測(cè)作用要比其它變量和函數(shù)更大，因此需要引入層級(jí)注意力機(jī)制以提高智能合約分類的正確性。引入了注意力機(jī)制的模型在訓(xùn)練完成后的測(cè)試時(shí)間會(huì)更短，原因在于注意力機(jī)制能更快速地提取文本中的關(guān)鍵特征，加速合約分類，有效把握關(guān)鍵特征，提高分類準(zhǔn)確性。

1.4 Softmax 層

在得到智能合約全局特征表示后，將d 作為最終輸入到Softmax 分類器的分類特征。首先將d 反饋到線性層中，將其投影到目標(biāo)分類Q 中。

2 實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

本文從3 個(gè)不同的區(qū)塊鏈平臺(tái)收集總共35 101 個(gè)經(jīng)過驗(yàn)證的智能合約，并利用網(wǎng)站提供的API 獲取相關(guān)智能合約賬戶信息。根據(jù)文獻(xiàn)［14］可知智能合約在7 個(gè)領(lǐng)域運(yùn)用廣泛，分別是娛樂（音樂、視頻、游戲、社交）、工具、信息管理、金融（保險(xiǎn)、融資、投資、貨幣等）、彩票、物聯(lián)網(wǎng)、其它。為驗(yàn)證Bi-LSTM 的有效性，通過這7 個(gè)方面依次進(jìn)行模型測(cè)試，從而得到速度數(shù)據(jù)，以此判斷模型是否全面有效，對(duì)比實(shí)驗(yàn)數(shù)量按金融、娛樂、工具、彩票、信息管理、其它、物聯(lián)網(wǎng)從大到小排列。

2.2 評(píng)價(jià)指標(biāo)

與分類問題常用指標(biāo)類似，本文使用正確率（Preci?sion）、召回率（Recall）和F 值（F-score）3 個(gè)度量指標(biāo)評(píng)價(jià)模型性能。

3 實(shí)驗(yàn)結(jié)果與分析

基于Dataset-E、Dataset-N 和Dataset-EO 數(shù)據(jù)集，給出不同模型的實(shí)驗(yàn)結(jié)果。為更有說服力地體現(xiàn)本文算法效果，在仿真中分別引入W2V-SVM、CNN［12］、C-LSTM［18］、W2V-LSTM［9］、ATT-CNN［19］、AT-LSTM［20］、ATT-BiLSTM［21］這7 種不同算法模型。對(duì)這些模型進(jìn)行仿真，采用正確率（Precision）、召回率（Recall）和F（F-score）評(píng)估各模型的分類效果。

基于Dataset-E 的實(shí)驗(yàn)結(jié)果如表1 所示。

Table 1 The experimental results based on the Dataset-E表1 基于Dataset-E 的實(shí)驗(yàn)結(jié)果

基于Dataset-EO 的模型實(shí)驗(yàn)結(jié)果如表2 所示。

Table 2 The experimental results based on the Dataset-EO表2 基于Dataset-EO 的實(shí)驗(yàn)結(jié)果

基于Dataset-N 的模型實(shí)驗(yàn)結(jié)果如表3 所示。

其中效果最明顯的是Dataset-E，其次是Dataset-EO，最后是Dataset-N。CNN 和LSTM 模型在Dataset-E 數(shù)據(jù)集上分別達(dá)到83.4% 和87.8% 的正確率，而加入注意力機(jī)制的ATT-CNN 和AT-LSTM 模型正確率分別達(dá)到88.6%和89.6%，分別提高了5.2% 和2.2%。加入注意力機(jī)制的Bi-LSTM 模型正確率在Dataset-E、Dataset-N 和Dataset-EO 數(shù)據(jù)集上分別達(dá)到89.8%、87.9% 和85.0%，比同樣條件下傳統(tǒng)的CNN 模型提高了6.4%、5.5% 和3.7%，此結(jié)果源于注意力機(jī)制引用。智能合約分類中引入注意力機(jī)制，使智能合約捕獲到最關(guān)鍵特征，因而效率迅速提高。

Table 3 The experimental results based on Dataset-N表3 基于Dataset-N 的實(shí)驗(yàn)結(jié)果

將Bi-LSTM 模型在3 個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如圖2、圖3 所示。

Fig.2 Precision_Recall curves of four models圖2 四種模型的Precision_Recall 曲線

Fig.3 Precision_Recall curve of three models圖3 三種模型的Precision_Recall 曲線

分析模型的Precision_Recall 曲線可更直觀地看出，加入注意力機(jī)制的長(zhǎng)短期記憶網(wǎng)絡(luò)模型分類效果更好，更加合理。實(shí)驗(yàn)結(jié)果表明本文提出的智能合約分類更智能地捕獲到了最關(guān)鍵特征，提高了效率和準(zhǔn)確度。

4 結(jié)語(yǔ)

針對(duì)區(qū)塊鏈技術(shù)的智能合約自動(dòng)分類問題，本文研究了注意力和雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，運(yùn)用Bi-LSTM 神經(jīng)網(wǎng)絡(luò)從源代碼和賬戶信息兩個(gè)角度進(jìn)行分類，通過其特征表示，對(duì)智能合約語(yǔ)義特征進(jìn)行更大程度的捕獲，最終將特征整合表示，以利于智能合約運(yùn)用。在3 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果顯示文本模型具有更高的穩(wěn)定性和完整性，收斂速度也大幅加快。同時(shí)，智能合約分類問題還需進(jìn)一步研究，以實(shí)現(xiàn)更優(yōu)的智能合約分類，達(dá)到更高效率。