基于同態(tài)加密的密態(tài)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型 的構(gòu)建與實(shí)現(xiàn)*

黃云帆，湯殿華，趙 偉，任 娟，尉小鵬

（1.中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041；2.保密通信重點(diǎn)實(shí)驗(yàn)室，四川 成都 610041）

0 引 言

同態(tài)加密技術(shù)是解決數(shù)據(jù)挖掘利用與隱私保護(hù)之間矛盾的關(guān)鍵技術(shù)之一，也為神經(jīng)網(wǎng)絡(luò)模型中的隱私保護(hù)問(wèn)題提供了解決思路。

2007 年，Orlandi 等人[1]首先提出了一個(gè)將神經(jīng)網(wǎng)絡(luò)應(yīng)用于同態(tài)加密的方案，但該方案具有較大的延遲，極大地限制了其實(shí)用性。2015 年，Shokri 等人[2]在CCS 2015 上提出了基于隱私保護(hù)的深度學(xué)習(xí)系統(tǒng)，允許參與者通過(guò)聯(lián)合數(shù)據(jù)集的方式學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，但存在部分梯度值泄露的風(fēng)險(xiǎn)。

隨著深度學(xué)習(xí)的不斷進(jìn)步，基于隱私保護(hù)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的研究也受到了廣泛關(guān)注。2016 年，微軟的Dowlin 等人[3]將全同態(tài)加密應(yīng)用于神經(jīng)網(wǎng)絡(luò)，首次提出CryptoNets 模型，成為同態(tài)加密在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用上的一個(gè)里程碑。2017年，Hesamifard 等人[4]構(gòu)建了CryptoDL 模型，用低次數(shù)的多項(xiàng)式函數(shù)近似激勵(lì)函數(shù)來(lái)完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，提供了高效、準(zhǔn)確和可擴(kuò)展的隱私保護(hù)預(yù)測(cè)。2018 年，Jiang 等人[5]提供了一個(gè)實(shí)用化的框架E2DM，在密文數(shù)據(jù)及模型下，支持模型在預(yù)測(cè)階段的安全評(píng)估計(jì)算。2020 年，Al Badawi 等人[6]遵循CryptoNets 的框架，提出了第一個(gè)圖形處理器（Graphics Processing Unit，GPU）加速同態(tài)卷積神經(jīng)網(wǎng)絡(luò)，將預(yù)測(cè)時(shí)間提升了40.41 倍。2021 年，紐約大學(xué)的Reagen 等人[7]為服務(wù)器端的同態(tài)深度神經(jīng)網(wǎng)絡(luò)提供了一套算法和硬件的優(yōu)化方案框架Cheetah，用于提升神經(jīng)網(wǎng)絡(luò)的密文預(yù)測(cè)速度。國(guó)內(nèi)對(duì)于基于同態(tài)加密的神經(jīng)網(wǎng)絡(luò)的研究起步較晚，2019 年，山東師范大學(xué)的王啟正等人[8]設(shè)計(jì)了一種包含新的線性分段激勵(lì)函數(shù)的隱私保護(hù)神經(jīng)網(wǎng)絡(luò)。2020 年，謝四江等人[9]提出了一種加密域下的卷積神經(jīng)網(wǎng)絡(luò)前向傳播方法，可大幅度減少模型參數(shù)以及加密預(yù)測(cè)時(shí)延。同年，南開(kāi)大學(xué)的張澤輝等人[10]將同態(tài)加密算法引入到聯(lián)邦學(xué)習(xí)中，提出一種支持?jǐn)?shù)據(jù)隱私保護(hù)的聯(lián)邦深度神經(jīng)網(wǎng)絡(luò)模型。

本文主要研究卷積神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)階段的隱私保護(hù)問(wèn)題，結(jié)合同態(tài)加密技術(shù)，提出了密態(tài)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的構(gòu)建方法，并結(jié)合標(biāo)準(zhǔn)數(shù)據(jù)集完成模型的仿真實(shí)現(xiàn)，為用戶的隱私數(shù)據(jù)提供保護(hù)。

1 基礎(chǔ)知識(shí)

本節(jié)主要對(duì)全文所需要的基礎(chǔ)理論知識(shí)進(jìn)行簡(jiǎn)單的介紹。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種專門用來(lái)處理具有類似網(wǎng)格結(jié)構(gòu)的經(jīng)典深度神經(jīng)網(wǎng)絡(luò)模型，是一類包含卷積計(jì)算并且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)是為了解決圖像識(shí)別問(wèn)題而提出的，目前廣泛應(yīng)用于圖像、視頻、音頻和文本數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)部隱層主要類型如下文所述。

（1）卷積層。卷積層的每一個(gè)結(jié)點(diǎn)都使用上一層結(jié)點(diǎn)的輸出子集向量x作為輸入，選擇一個(gè)權(quán)重向量ω和一個(gè)偏移值b，并輸出權(quán)重和ωTx+b。

（2）激勵(lì)層。激勵(lì)層的每一個(gè)結(jié)點(diǎn)都使用上一層中某一個(gè)結(jié)點(diǎn)的輸出x作為輸入，選擇激勵(lì)函數(shù)f，并輸出f(x)。

（3）池化層。池化層通常放在卷積層之間來(lái)進(jìn)行降采樣，降低矩陣維數(shù)，可以減少卷積層參數(shù)（權(quán)重值和偏移值）的維數(shù)，縮短訓(xùn)練時(shí)間，并控制過(guò)擬合，提高模型容錯(cuò)率。

（4）全連接層。全連接層與卷積層類似，但是全連接層的輸入是上一層的全部結(jié)點(diǎn)，只需進(jìn)行一次向量乘法，因此全連接層的運(yùn)算量遠(yuǎn)小于卷積層。

（5）SoftMax 層。SoftMax 函數(shù)表達(dá)式為：，其中，ak為輸入信號(hào)，yk為輸出信號(hào)，n為本層神經(jīng)元個(gè)數(shù)。

1.2 CKKS 同態(tài)加密方案

近幾年，大量的同態(tài)加密方案[11-14]被提出，2017 年，Cheon 等人[15]提出了一種可以支持實(shí)數(shù)或者復(fù)數(shù)的近似運(yùn)算的CKKS 同態(tài)加密方案，主要算法如下文所述。

（2）加密算法HE.Enc pk(m, Δ )。使用公鑰對(duì)明文消息m進(jìn)行加密，輸出密文ct。

（3）解密算法HE.Dec sk(c)。使用私鑰對(duì)密文c進(jìn)行解密，輸出明文m。

此外，CKKS 方案支持將一個(gè)數(shù)值向量v打包編碼為一個(gè)環(huán)上的明文多項(xiàng)式m，此過(guò)程為編碼過(guò)程，即，其逆變換過(guò)程為解碼過(guò)程，即。

2 密態(tài)卷積神經(jīng)網(wǎng)絡(luò)模型

本文基于CKKS 同態(tài)加密方案構(gòu)建了密態(tài)卷積神經(jīng)網(wǎng)絡(luò)，總體結(jié)構(gòu)如圖1 所示。整個(gè)密態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括數(shù)據(jù)擁有者、用戶、云端服務(wù)器和密鑰管理系統(tǒng)4 個(gè)主體。

數(shù)據(jù)擁有者擁有訓(xùn)練數(shù)據(jù)，負(fù)責(zé)提供訓(xùn)練階段的數(shù)據(jù)。密鑰管理系統(tǒng)依照CKKS 同態(tài)加密方案完成密鑰的生成與分發(fā)。云端服務(wù)器擁有強(qiáng)大的存儲(chǔ)和計(jì)算能力，負(fù)責(zé)明文訓(xùn)練和密文預(yù)測(cè)計(jì)算。用戶提供密文預(yù)測(cè)數(shù)據(jù)，向云端服務(wù)器發(fā)起密文預(yù)期請(qǐng)求。

2.1 明文域訓(xùn)練模型構(gòu)建

為了保證整個(gè)神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率，在訓(xùn)練階段，采用明文數(shù)據(jù)進(jìn)行訓(xùn)練。本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的內(nèi)部主要包含卷積層、激勵(lì)層、池化層、卷積層、池化層、全連接層、激勵(lì)層、全連接層和Softmax層9層結(jié)構(gòu)，如圖2所示。

初始化每一層的參數(shù)，將明文訓(xùn)練數(shù)據(jù)集作為輸入，按照順序計(jì)算隱層的輸出，通過(guò)反向誤差傳播方法，更新每一層的參數(shù)，包括權(quán)重和閾值，再重新計(jì)算模型的輸出值，當(dāng)整個(gè)模型達(dá)到收斂的條件時(shí)，結(jié)束訓(xùn)練過(guò)程。

2.2 密文域預(yù)測(cè)模型構(gòu)建

本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的內(nèi)部主要包含卷積層、激勵(lì)層、線性層、激勵(lì)層和全連接層5 層結(jié)構(gòu)，保障了與訓(xùn)練模型的等價(jià)性，如圖3 所示。

密文預(yù)測(cè)模型將訓(xùn)練模型中連續(xù)的4 個(gè)包含線性運(yùn)算的線性層（即池化層、卷積層、池化層和全連接層）等效合并為一個(gè)獨(dú)立的線性層，提高了密文運(yùn)算效率。此外，預(yù)測(cè)模型中刪減了Softmax 層，直接對(duì)全連接層的運(yùn)算結(jié)果進(jìn)行等效輸出，數(shù)值較大的就是密文預(yù)測(cè)的結(jié)果。

2.2.1 預(yù)測(cè)數(shù)據(jù)的編碼與加密

為了最大限度地利用CKKS 同態(tài)加密方案的高效打包技術(shù)，并提高密文預(yù)測(cè)過(guò)程的吞吐量，選擇對(duì) /2N 幅圖像同時(shí)進(jìn)行密文預(yù)測(cè)（N為CKKS 方案中的參數(shù)， /2N 為明文槽的數(shù)量）。

將預(yù)測(cè)數(shù)據(jù)集的圖像的像素值提煉為向量或者矩陣。將每個(gè)row 行col 列的圖像數(shù)據(jù)矩陣按照Z(yǔ) 字形扁平化為一個(gè)維度為row col× 的行向量，將多個(gè)行向量組成一個(gè)矩陣后進(jìn)行轉(zhuǎn)置，使得矩陣的每一列對(duì)應(yīng)一幅圖像的所有像素值，如圖4 所示。

對(duì)矩陣按行進(jìn)行打包編碼并加密，即表示將所有圖像相同位置的像素值打包編碼為一個(gè)明文多項(xiàng)式，然后使用CKKS 同態(tài)加密方案完成加密，最終得到一個(gè)包含row col× 個(gè)明文多項(xiàng)式的明文向量pData 和一個(gè)包含row col×個(gè)密文多項(xiàng)式的密文向量cData，其中 iptxt和 ictxt 分別為明文向量和密文向量中的元素，i = 0, …, row × col -1，如圖5 所示。

2.2.2 密文卷積層的構(gòu)建

密文卷積層的核心組件就是卷積核，假設(shè)單個(gè)卷積核的大小為d×d，那么可以將其表示為一 個(gè)維度為d2的向量，即令卷積核對(duì)應(yīng)的偏移值為bias。由于本文模型側(cè)重于保護(hù)用戶的隱私圖像數(shù)據(jù)，因此卷積核以及偏移值的參數(shù)可以作為明文多項(xiàng)式參與計(jì)算。

對(duì)于卷積核向量，需要將向量中的每一個(gè)值進(jìn)行復(fù)制擴(kuò)展變?yōu)橐粋€(gè) /2N維的向量，再使用CKKS 中的打包編碼將其變?yōu)?d個(gè)明文多項(xiàng)式。同理，將偏移值bias同樣擴(kuò)展編碼為一個(gè)明文多項(xiàng)式，具體過(guò)程如圖6 所示。

對(duì)于有k個(gè)卷積核的卷積層，則按照上述編碼方式，將多個(gè)卷積核向量iw和多個(gè)偏移值編碼為卷積核多項(xiàng)式pwi和量。偏移值多項(xiàng)式。在密文域內(nèi)，本文將結(jié)合卷積核與圖像數(shù)據(jù)的編碼形式，將卷積過(guò)程等價(jià)高效化。

首先，根據(jù)卷積核窗口大小以及步長(zhǎng)大小，確定卷積核窗口每次滑動(dòng)所對(duì)應(yīng)的圖像像素位置，將卷積窗口相同位置所對(duì)應(yīng)的圖像像素值打包視為一個(gè)向量，那么單個(gè)卷積核iw與圖像的每一次卷積對(duì)應(yīng)著一個(gè)包含d d× 個(gè)明文多 項(xiàng)式的圖像數(shù)據(jù)向量也就是對(duì)應(yīng)著一個(gè)包含d d× 個(gè)密文多項(xiàng)式向

其次，在保護(hù)用戶圖像數(shù)據(jù)的情況下，圖像數(shù)據(jù)以密文形式，卷積核及偏移參數(shù)以明文形式參與卷積運(yùn)算。密文域內(nèi)單次卷積窗口的運(yùn)算過(guò)程就是一個(gè)明文卷積參數(shù)向量ipw與密文向量ctxt的內(nèi)積，再與明文偏移值ipb進(jìn)行求和運(yùn)算，得到一個(gè)密文內(nèi)積值為cprod=pw i×ctxt+pbi。 這一步包含了d2次明密文乘法運(yùn)算、d2- 1次同態(tài)加法運(yùn)算以及1 次明密文加法運(yùn)算。

根據(jù)步長(zhǎng)大小、滑動(dòng)卷積窗口，完成所有的卷積核窗口運(yùn)算。隨著卷積核滑動(dòng)結(jié)束，單個(gè)卷積核iw的卷積運(yùn)算結(jié)束，得到一個(gè)包含多個(gè)（數(shù)量與步長(zhǎng)相關(guān)）密文內(nèi)積值cprod的密文內(nèi)積向量cprodi。

最后，按照上述相同方法，完成所有卷積核與密文圖像的密文卷積運(yùn)算，并將所有的密文內(nèi)積向量cprodi(i= 0, …,k-1)聚合為一個(gè)密文矩陣CProd。

2.2.3 密文平方激勵(lì)層的構(gòu)建

在構(gòu)建激勵(lì)層時(shí)，使用了平方激勵(lì)函數(shù)來(lái)替代原有的非線性激勵(lì)函數(shù)。在平方激勵(lì)層中，唯一的運(yùn)算就是對(duì)網(wǎng)絡(luò)上層的密文輸出進(jìn)行密文域的平方運(yùn)算。CKKS 同態(tài)加密方案支持密文域的乘法運(yùn)算，因此，可以直接完成對(duì)上層密文輸出的激勵(lì)運(yùn)算，即CSquare=CProd×CProd，這一步表示對(duì)密文矩陣CProd中所有的密文進(jìn)行平方運(yùn)算，得到一個(gè)新的密文矩陣CSquare。

由于密文乘法運(yùn)算會(huì)使密文的噪音變大，尺寸增長(zhǎng)，因此，為了防止密文尺寸增長(zhǎng)過(guò)，導(dǎo)致后續(xù)的運(yùn)算開(kāi)銷大，需要對(duì)密文結(jié)果CSquare進(jìn)行重線性化處理。本文構(gòu)建的預(yù)測(cè)模型包含了兩層平方激勵(lì)層，其運(yùn)算方式類似。

2.2.4 密文線性層的構(gòu)建

在線性層中，所有的運(yùn)算可以合并為一個(gè)參數(shù)矩陣和輸入向量之間的運(yùn)算。將上層輸出的密文矩陣CSquare按照Z(yǔ) 字形扁平化為一個(gè)高維度的密文向量cinput，令其維度為v。根據(jù)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，線性層的參數(shù)包含一個(gè)u v× 的參數(shù)矩陣W和一個(gè)維度為u的偏移值向量bias。

首先，需要對(duì)參數(shù)矩陣W以及偏移值向量bias進(jìn)行編碼。將矩陣W中的所有元素都編碼為明文多項(xiàng)式，共有u v× 個(gè)明文多項(xiàng)式。其次，將偏移值向量bias的每一個(gè)元素?cái)U(kuò)展為一個(gè)維度為 /2N（即明文槽數(shù)量一致）的向量，并使用緊湊型編碼方式對(duì)向量進(jìn)行編碼，得到u個(gè)明文多項(xiàng)式，如圖7 所示。

在保護(hù)用戶數(shù)據(jù)的情況下，上層輸出的密文數(shù)據(jù)作為本層的輸入，線性層的參數(shù)以明文的形式參與密文域的線性運(yùn)算，完成明文矩陣pW與密文輸入向量cinput的乘積運(yùn)算，以及與偏移值向量pb的加法運(yùn)算，即密文輸出向量為coutput=pW×cinput+pb。

線性層的運(yùn)算包含了u v× 次明密文乘法運(yùn)算，u× (v- 1)次密文加法運(yùn)算以及u次明密文加法運(yùn)算，最終輸出一個(gè)維度為u的密文向量coutput。將此密文向量輸入平方激勵(lì)層，完成密文平方運(yùn)算，將得到一個(gè)維度為u的密文向量csquare。

2.2.5 密文全連接層的構(gòu)建

密文全連接層與線性層的構(gòu)建類似，唯一區(qū)別是全連接層沒(méi)有偏移值參數(shù)，只包含一個(gè)維度為u′ u× 的矩陣參數(shù)W′。首先，對(duì)參數(shù)矩陣W′進(jìn)行編碼，將矩陣中的所有元素都擴(kuò)展為一個(gè)維度為 /2N的向量，進(jìn)而編碼為明文多項(xiàng)式，即總共有u′ u× 個(gè)明文多項(xiàng)式矩陣pW′。

本層的輸入是維度為u的密文向量csquare， 并與全連接層的明文參數(shù)矩陣pW′完成密文矩陣向量乘積運(yùn)算，即，得到一個(gè)維度為u′的密文向量coutput′。

整個(gè)密文全連接層的運(yùn)算包含了u′ u× 次 明密文乘法運(yùn)算，u′× (u- 1)次密文加法運(yùn)算， 得到本文模型的最終密文預(yù)測(cè)輸出向量coutput′。

2.2.6 密文預(yù)測(cè)結(jié)果的解密與解碼

對(duì)全連接層輸出的密文向量coutput′進(jìn)行解密，得到維度為u′的緊湊型編碼明文向量poutput，由于poutput屬于緊湊型編碼的明文向量，對(duì)poutput的每一個(gè)元素進(jìn)行解碼操作，可以得到一個(gè)包含 /2N個(gè)元素的向量。最終對(duì)整個(gè)poutput向量進(jìn)行解碼操作，可以得到一個(gè)u′×N/2的明文矩陣OUT，解密解碼具體過(guò)程如圖8 所示。

解碼后的明文矩陣OUT中的第i(i=0,1,…,u′)個(gè)行向量，可以等價(jià)視為預(yù)測(cè)輸入圖像被預(yù)測(cè)為手寫數(shù)字i的概率大小。由于是將 /2N幅圖像打包加密后輸入到密文預(yù)測(cè)模型中，因此，第i個(gè)行向量包含了 /2N幅圖像被預(yù)測(cè)為手寫數(shù)字i的概率大小。

在明文域下，使用比較運(yùn)算求得列向量的最大值，其所對(duì)應(yīng)的手寫數(shù)字類別則表示為該預(yù)測(cè)輸入圖像在密文預(yù)測(cè)模型中被預(yù)測(cè)出的類別。因此，從明文矩陣OUT中可以批量得到 /2N幅圖像的預(yù)測(cè)類別，充分提高了模型吞吐量和密文預(yù)測(cè)效率。

3 密態(tài)卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)與分析

針對(duì)以上構(gòu)建的密態(tài)卷積神經(jīng)網(wǎng)絡(luò)模型，本文選擇MNIST 標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行仿真實(shí)現(xiàn)與測(cè)試。選擇安全參數(shù)λ= 128 bit ，多項(xiàng)式次數(shù)n= 8 192 的參數(shù)初始化CKKS 同態(tài)加密方案，以一次批量預(yù)測(cè)4 096 幅圖像為例，在密文域完成預(yù)測(cè)分類過(guò)程，將圖像分為10 個(gè)類別。

實(shí)驗(yàn)結(jié)果表明，本文構(gòu)建的密態(tài)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率高達(dá)98%以上，精確率和召回率均在97%以上。

此外，本文以明文下的同等深度的卷積神經(jīng)網(wǎng)絡(luò)模型為參考，將基于BFV 方案的CryptoNets密態(tài)神經(jīng)網(wǎng)絡(luò)模型與本項(xiàng)目的基于CKKS 方案的密態(tài)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行相關(guān)性能的對(duì)比，包括預(yù)測(cè)時(shí)間、準(zhǔn)確率、通信量等。對(duì)比結(jié)果如表1所示。

表1 明密文深度神經(jīng)網(wǎng)絡(luò)模型性能對(duì)比

對(duì)比結(jié)果表明，在同等條件下，本文構(gòu)建的密文神經(jīng)網(wǎng)絡(luò)模型與明文神經(jīng)網(wǎng)絡(luò)模型相比，預(yù)測(cè)準(zhǔn)確性相差不大，但在預(yù)測(cè)時(shí)間上較明文預(yù)測(cè)模型提升了一個(gè)數(shù)量級(jí)，達(dá)到毫秒級(jí)別。盡管與CryptoNets 模型相比，在準(zhǔn)確率和通信量上不具備明顯優(yōu)勢(shì)，但由于本文模型中使用了批打包技術(shù)，使得單幅圖像的密態(tài)神經(jīng)網(wǎng)絡(luò)分類預(yù)測(cè)時(shí)間大大縮短，具有明顯優(yōu)勢(shì)。

4 結(jié) 語(yǔ)

同態(tài)加密技術(shù)可以為深度神經(jīng)網(wǎng)絡(luò)提供有效的隱私保護(hù)，一方面，可以保護(hù)用戶數(shù)據(jù)的隱私；另一方面，可以保護(hù)深度學(xué)習(xí)模型數(shù)據(jù)的隱私。本文主要側(cè)重于利用同態(tài)加密保障卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)階段的用戶數(shù)據(jù)的隱私性，事實(shí)上，結(jié)合安全多方計(jì)算、差分隱私等多種隱私保護(hù)技術(shù)，為深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)提供隱私保護(hù)，會(huì)有更加明顯的效率優(yōu)勢(shì)，也是當(dāng)前研究的一個(gè)重要方向。