基于BiGRU 的數(shù)據(jù)通信加解密模型的研究*

張仕忠 彭艷兵

（1.武漢郵電科學(xué)研究院 武漢 430070）（2.南京烽火天地通信科技有限公司 南京 210019）

1 引言

目前，神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于許多學(xué)科領(lǐng)域，通信及其保密通信作為神經(jīng)網(wǎng)絡(luò)的重要研究領(lǐng)域之一，當(dāng)然也已成為神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究熱點(diǎn)，而密碼學(xué)技術(shù)作為保密通信中的關(guān)鍵技術(shù)，也一直受到重要的關(guān)注。從信息科學(xué)的角度出發(fā)，神經(jīng)網(wǎng)絡(luò)和密碼學(xué)都屬于研究信息處理的學(xué)科，而隨著神經(jīng)網(wǎng)絡(luò)被應(yīng)用于越來越復(fù)雜的任務(wù)，自然也可以應(yīng)用于端到端的任務(wù)，比如端到端的通信。密碼學(xué)主要就是確保信息的完整性和保密性，即明文只能從正常通信的密文中通過正常解密得到，而攻擊者無法從密文中得到有用的明文信息。因此將神經(jīng)網(wǎng)絡(luò)與密碼學(xué)相結(jié)合便構(gòu)成了神經(jīng)密碼學(xué)這個(gè)綜合學(xué)科，作為綜合學(xué)科，神經(jīng)密碼學(xué)能夠推動(dòng)神經(jīng)網(wǎng)絡(luò)和密碼學(xué)的共同發(fā)展［1～4］。

在密碼學(xué)中，明文和密文是作為具有復(fù)雜映射關(guān)系的數(shù)據(jù)對而存在的，而神經(jīng)網(wǎng)絡(luò)根據(jù)自身的特征，是可以學(xué)習(xí)到明文和密文之間的映射關(guān)系的，因此可以選擇合適的深度學(xué)習(xí)模型來用于密碼學(xué)的研究。近年來，神經(jīng)網(wǎng)絡(luò)在密碼學(xué)領(lǐng)域的應(yīng)用頗多，2015 年Qin K 等提出關(guān)于兩種混沌神經(jīng)網(wǎng)絡(luò)密碼算法的密碼分析［5］。2016 年Google Brain 團(tuán)隊(duì)Abadi等利用以卷積神經(jīng)網(wǎng)絡(luò)為核心的對抗神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了安全通信方面的研究［6］。2019 年J Aayush Jain 等提出基于神經(jīng)網(wǎng)絡(luò)的輕量級(jí)分組密碼分析［7］。

本文提出使用BiGRU 應(yīng)用于數(shù)據(jù)通信中數(shù)據(jù)加解密模型的研究，即密碼算法的生成方式由神經(jīng)網(wǎng)絡(luò)自動(dòng)生成，不再使用傳統(tǒng)密碼學(xué)中的數(shù)論思想，并且利用神經(jīng)網(wǎng)絡(luò)的黑盒性質(zhì)來保證整個(gè)數(shù)據(jù)通信模型的通信安全性。通過以BiGRU 為核心的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行整個(gè)模型的構(gòu)建，并在同文獻(xiàn)［6］的Alice、Bob 和Eve 的N 位密鑰對稱加密系統(tǒng)方案相對比下，實(shí)現(xiàn)一個(gè)更加穩(wěn)定的可正常加解密并能抗竊聽的數(shù)據(jù)通信模型。

2 研究方法

2.1 對稱密鑰加密體系

文獻(xiàn)［6］中提出基于對抗神經(jīng)網(wǎng)絡(luò)的對稱密鑰加密系統(tǒng)，通信雙方Alice與Bob以及竊聽者Eve均以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為核心構(gòu)建自身的神經(jīng)網(wǎng)絡(luò)模型［8］。Alice 通過密鑰K（Key）對明文P（Plain-Text）進(jìn)行加密，加密后生成密文C（Ciphertext）。然后，解密者Bob 與竊聽者Eve 均能夠獲取到完整的密文C。Bob 則是通過密鑰K 對密文C 進(jìn)行解密，解密后獲得解密明文PBob。而Eve 則是在沒有獲取密鑰K 情況下對密文C 進(jìn)行解密，從而得到猜測的明文PEve。在整個(gè)系統(tǒng)訓(xùn)練的過程中，Alice 與Bob組成的加解密通信模型與Eve 的竊聽模型在對抗訓(xùn)練過程中不斷互相優(yōu)化，最終使得PBob與明文P盡量相等，即Bob 可以通過密鑰K 和密文C 可以解密出與明文幾乎相同的內(nèi)容。而PEve與明文P 之間的差異盡量大，即PEve最終會(huì)近似等于一個(gè)隨機(jī)猜測的結(jié)果。對稱加密體系如圖1所示。

圖1 對稱密鑰加密體系圖

2.2 GRU模型

由于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在處理序列時(shí)會(huì)出現(xiàn)嚴(yán)重的梯度消失問題，而為了解決梯度消失問題，Hinton 等提出了長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）［9］。但是隨著LSTM 的不斷被應(yīng)用，有關(guān)于LSTM 的訓(xùn)練時(shí)間長、參數(shù)較多、內(nèi)部計(jì)算復(fù)雜等缺點(diǎn)也逐漸的暴露了出來。為了解決這些缺點(diǎn)，Cho 等在2014 年進(jìn)一步提出了更加簡單的、將LSTM 的單元狀態(tài)和隱層狀態(tài)進(jìn)行合并的、還有一些其他變動(dòng)的GRU（Gate Recurrent Unit）模型［10］。GRU 又稱門控循環(huán)單元，整個(gè)單元主要是由更新門和重置門兩個(gè)門組成，而在計(jì)算隱藏狀態(tài)方面與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比也因此大有不同。GRU結(jié)構(gòu)具體如圖2所示。

圖2 GRU結(jié)構(gòu)圖

圖2 中的xt是輸入數(shù)據(jù)，ht是GRU 單元的輸出，rt是重置門，zt是更新門，rt和zt共同控制了從ht-1隱藏狀態(tài)到ht隱藏狀態(tài)的計(jì)算，更新門同時(shí)控制當(dāng)前輸入數(shù)據(jù)和先前記憶信息ht-1，輸出一個(gè)在0～1之間的數(shù)值zt，zt決定以多大程度將ht-1向下一個(gè)狀態(tài)傳遞。具體的門單元計(jì)算公式為

其中：rt表示t時(shí)刻的重置門；zt表示t時(shí)刻的更新門；σ是Sigmoid 函數(shù)；Wz，Wr，W分別為更新門，重置門，以及候選隱含狀態(tài)的權(quán)重矩陣；為t 時(shí)刻備選激活狀態(tài)；ht為t 時(shí)刻的激活狀態(tài)；ht-1為（t-1）時(shí)刻的隱層狀態(tài)。

由于單向的GRU 只能得到前向的上下文信息，而忽略了后向的下文信息，有時(shí)會(huì)由于信息獲取不足，從而使得GRU 的實(shí)際應(yīng)用效果不好。而BiGRU（雙向GRU 神經(jīng)網(wǎng)絡(luò)）可以從前向和后向上同時(shí)獲取上下文信息，從而提高訓(xùn)練過程中的特征提取的準(zhǔn)確率。另外還可以利用BiGRU 提高整個(gè)神經(jīng)網(wǎng)絡(luò)模型的響應(yīng)速度。因此本文采用BiGRU來構(gòu)建模型，BiGRU結(jié)構(gòu)如圖3所示。

圖3 BiGRU結(jié)構(gòu)圖

2.3 基于BiGRU的數(shù)據(jù)通信加解密模型

本文的數(shù)據(jù)通信體系采用圖1 所示的對稱密鑰加密體系，然后采用以BiGRU 為核心的神經(jīng)網(wǎng)絡(luò)單元來構(gòu)建整個(gè)模型的網(wǎng)絡(luò)結(jié)構(gòu)［11～13］。由于傳統(tǒng)的密碼函數(shù)一般是不可微分的，而這與深度神經(jīng)網(wǎng)絡(luò)的中隨機(jī)梯度下降是相矛盾的，所以直接用神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)密碼學(xué)的傳統(tǒng)數(shù)論理論的函數(shù)是比較困難的。但是神經(jīng)網(wǎng)絡(luò)是可以去學(xué)習(xí)如何保護(hù)數(shù)據(jù)通信過程中的數(shù)據(jù)機(jī)密性，即在通信過程中，直接由神經(jīng)網(wǎng)絡(luò)自身去學(xué)習(xí)數(shù)據(jù)通信的加解密過程，整個(gè)過程中無需為通信模型規(guī)定特定的密碼學(xué)算法，從而保證了數(shù)據(jù)通信的安全性和機(jī)密性。

在通過對明文密文對的特征分析后，明文密文數(shù)據(jù)對的關(guān)系其實(shí)可以轉(zhuǎn)換成文本序列問題，從而通過RNN 在處理文本序列問題上的優(yōu)勢，學(xué)習(xí)明文密文數(shù)據(jù)對之間復(fù)雜的映射關(guān)系，從而實(shí)現(xiàn)正常且安全的數(shù)據(jù)通信加解密模型［14～15］。模型結(jié)構(gòu)圖如圖4所示。

圖4 模型結(jié)構(gòu)圖

圖中模型總共為三層，第一層為輸入層，即輸入需要進(jìn)行訓(xùn)練的已經(jīng)預(yù)處理好的數(shù)據(jù)。第二層為隱含層，由BiGRU 加上激活函數(shù)再加上一個(gè)BatchNormalization 層構(gòu)成。第三層為輸出層，由一個(gè)4N×N 的全連接層構(gòu)成。下面對模型的Alice、Bob以及Eve三個(gè)組件的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行構(gòu)建。

Alice網(wǎng)絡(luò)構(gòu)建：

1）明文P 與密鑰K 橫向拼接作為Alice 的輸入（設(shè)明文與密鑰長度均為N）；

2）輸入層的輸入傳入BiGRU 網(wǎng)絡(luò)中，輸出經(jīng)過激活函數(shù)tanh［16～17］；

3）經(jīng)過激活函數(shù)的輸出傳入BatchNormalization層［18］；

4）經(jīng)過BatchNormalization層的輸出傳入4N×N全連接層；

5）全連接層輸出的結(jié)果為密文C。

Bob網(wǎng)絡(luò)構(gòu)建：

1）密文C 和密鑰K 橫向拼接作為Bob 的輸入（設(shè)密文與密鑰長度均為N）；

2）網(wǎng)絡(luò)結(jié)構(gòu)與Alice一致；

3）輸出結(jié)果為Bob所解密的明文結(jié)果PBob。

Eve網(wǎng)絡(luò)構(gòu)建：

1）密文C單獨(dú)作為Eve的輸入；

2）網(wǎng)絡(luò)結(jié)構(gòu)與Alice一致；

3）輸出結(jié)果為Eve所解密的明文結(jié)果PEve。

2.4 模型損失函數(shù)設(shè)計(jì)

關(guān)于模型的損失函數(shù)，本文采用Bob 生成的明文PBob與實(shí)際明文P 的L1 距離，以及Eve 生成的明文PEve與實(shí)際明文P 的L1 距離作為模型的損失函數(shù)標(biāo)準(zhǔn)。設(shè)實(shí)際明文P 和解密明文Pd的長度均為N，本文使用L1距離來定義兩者之間的距離公式：

其中|Pi-Pdi|代表解密明文Pd與實(shí)際明文P 在每一位上的誤差值，而d（P，Pd）代表明文P 與解密明文Pd的N 位誤差的平均值。Eve 作為解密的組件，它的目標(biāo)就是盡可能準(zhǔn)確地重建明文P 的值。因此它的損失函數(shù)定義為

因?yàn)锳lice 與Bob 之間需要保證準(zhǔn)確的數(shù)據(jù)通信，而且它們也要對Eve 的竊聽行為具有抵抗能力。為了達(dá)到最優(yōu)的效果，本文結(jié)合Bob 和Eve 兩者訓(xùn)練的損失最優(yōu)值來定義Alice 和Bob 的聯(lián)合損失函數(shù)：

其中式（7）的d（P，PBob）代表Bob 所得的解密明文PBob與實(shí)際明文P 的L1 距離，（1-LEve）2代表Eve 的Loss對Alice與Bob這兩者通信的影響，但是在整個(gè)模型定義中，Eve 的解密效果不應(yīng)該比隨機(jī)猜測做得更好，即當(dāng)Eve所得明文PEve的N/2消息位是正確的且另外N/2 消息位是錯(cuò)誤的時(shí)，Eve 這個(gè)組件對整個(gè)模型的影響力是最小的。之所以選擇二次公式（8），是為了當(dāng)Eve 解密出正確明文時(shí)，使得Eve給整個(gè)模型帶來更少的損失影響，從而提高訓(xùn)練的魯棒性。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)環(huán)境

本文模型采用的編程語言為Python 3.6，深度學(xué)習(xí)框架為Pytorch，運(yùn)行的操作系統(tǒng)為Linux，在NVIDIA GTX1080Ti上進(jìn)行實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)中輸入的明文P 和密鑰K 的位數(shù)N 取值為16，并且P 和K 中每一位隨機(jī)取值為-1 或者1。訓(xùn)練的batchsize 設(shè)置256，epoch 為10000。實(shí)驗(yàn)中Alice、Bob 和Eve 均采用Adam 優(yōu)化器進(jìn)行模型優(yōu)化，Adam 算法具有適用于基于適應(yīng)性低階矩估計(jì)并且能夠解決包含高噪聲或稀疏梯度問題等優(yōu)點(diǎn)［19～20］。學(xué)習(xí)率固定設(shè)置為0.001。因?yàn)橛?xùn)練過程中，Alice、Bob 和Eve 三個(gè)組件會(huì)互相影響，設(shè)置固定的學(xué)習(xí)率可以讓它們?nèi)弑３謱Ρ舜说淖兓龀鲚^強(qiáng)的響應(yīng)，整個(gè)模型在保證Alice 和Bob 的通信趨于穩(wěn)定的同時(shí)還對Eve的竊聽具有抵抗能力。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 訓(xùn)練結(jié)果與分析

對于一次成功的訓(xùn)練，Bob 的重建明文誤差和Eve 的重建明文誤差隨著訓(xùn)練步驟數(shù)的變化曲線如圖5所示。

圖5 Bob與Eve的重建誤差訓(xùn)練圖

圖5中的每個(gè)點(diǎn)是256個(gè)示例的平均誤差。理想的訓(xùn)練結(jié)果是Bob 的重建明文誤差降到零，Eve的重建明文誤差達(dá)到8 位（即錯(cuò)誤位數(shù)為一半）。如圖的訓(xùn)練例子中，兩個(gè)組件的重建誤差剛開始都很高，但是經(jīng)過一定的訓(xùn)練步驟后，Bob 的訓(xùn)練誤差開始不斷減小，Alice和Bob之間能夠進(jìn)行有效的交流，同時(shí)，Eve 的解密能力也在提升。然后，在1000 步左右，Eve 的訓(xùn)練誤差開始回升，這是因?yàn)镋ve 在向隨機(jī)猜測的目標(biāo)方向前進(jìn)，而Bob 的重建誤差不斷下降，逐漸趨近于0。經(jīng)過約3000步，Bob的重建誤差基本接近于0，而且Eve 的誤差也在7位到8 位之間浮動(dòng)，接近隨機(jī)猜測的結(jié)果。繼續(xù)進(jìn)行訓(xùn)練，Bob和Eve的重建誤差都基本趨于穩(wěn)定。

3.3.2 測試結(jié)果對比與分析

將之前基于CNN 的數(shù)據(jù)通信模型［6］和本文的基于BiGRU 的數(shù)據(jù)通信模型對比加解密效果。取epoch為1000進(jìn)行測試，基于CNN 的數(shù)據(jù)通信模型測試結(jié)果如圖6所示，基于BiGRU 的數(shù)據(jù)通信模型測試結(jié)果如圖7所示。

圖6 基于CNN的通信模型測試效果圖

圖7 基于BiGRU的通信模型測試效果圖

從兩個(gè)模型的測試對比效果來看，兩者在Bob的解密能力方面差別不大，基本都能實(shí)現(xiàn)與Alice的正常通信，基于CNN 的通信網(wǎng)絡(luò)的解密效果稍微會(huì)有些波動(dòng)，而基于BiGRU 的通信網(wǎng)絡(luò)相對更加穩(wěn)定。關(guān)于Eve的解密能力對比，基于CNN的通信的Eve解密誤差波動(dòng)幅度較大，在16位明文的前提下，差異值最高到12 位以上，而最低則是快接近0 位，可以看出該模型中的Eve 是能竊取到大量信息的，模型的抗竊聽能力存在不足。而基于BiGRU的通信網(wǎng)絡(luò)的Eve 解密誤差基本穩(wěn)定在7 位左右，接近隨機(jī)猜測的效果。說明基于BiGRU 的數(shù)據(jù)通信模型比基于CNN 的數(shù)據(jù)通信模型具有更好的抗竊聽能力。

4 結(jié)語

本文提出一種基于BiGRU 的數(shù)據(jù)通信加解密模型，通過循環(huán)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)密碼學(xué)中的明文密文對的映射關(guān)系，從而通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端通信的加解密過程。并且與之前的基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)通信模型進(jìn)行對比，本模型能夠在實(shí)現(xiàn)正常通信的前提下，并且具有更好的抵抗竊聽的能力。

關(guān)于神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)通信加解密的應(yīng)用方面，本文提出了一種新的方案，并通過實(shí)驗(yàn)驗(yàn)證了可行性。隨著信息的安全通信問題受到越來越多的關(guān)注，信息的加解密問題已然成為當(dāng)前研究的熱點(diǎn)，因此研究神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)通信領(lǐng)域的應(yīng)用有著十分重要的價(jià)值和意義。