面向車路協(xié)同推斷的差分隱私保護研究

吳茂強，黃旭民，康嘉文，余榮

（廣東工業(yè)大學 自動化學院，廣州 510006）

0 概述

隨著人工智能技術的快速發(fā)展，各種智能駕駛應用通過深度卷積網(wǎng)絡的實時推斷提高車輛駕駛的安全性［1-2］和效率［3-4］，但是車載終端計算資源有限，難以承擔深度卷積網(wǎng)絡推斷的計算開銷［5］。為了減少車輛計算負荷，車聯(lián)網(wǎng)（Internet of Vehicle，IoV）邊緣計算通過在路側部署邊緣服務器，就近為車輛提供豐富的計算資源［6］，然而車輛采集的數(shù)據(jù)量龐大，傳輸?shù)竭吘壏掌鬟M行推斷處理需要消耗巨大的帶寬資源，導致服務應用的時延過高［7］。為此，研究人員提出車路協(xié)同推斷架構，旨在聯(lián)合車載終端與邊緣服務器進行推斷運算，從而提高推斷效率［8］。具體地，深度卷積網(wǎng)絡被切分成兩部分，依次由車載終端和邊緣服務器運行［9］。車載終端上傳前半部分網(wǎng)絡的計算結果（即中間數(shù)據(jù)）至邊緣服務器接力處理，邊緣服務器得到最終的結果并返回至車輛［10］。車路協(xié)同推斷主要有3 個優(yōu)勢：前半部分網(wǎng)絡一般為特征提取網(wǎng)絡，計算開銷較小，適合車載終端執(zhí)行［11］；中間數(shù)據(jù)遠小于原始圖像，傳輸過程的通信量明顯減少［12］；車載終端保留原始數(shù)據(jù)，在一定程度上保護了數(shù)據(jù)隱私［13］。

然而，針對現(xiàn)有車路協(xié)同推斷架構，攻擊者可能根據(jù)上傳的中間數(shù)據(jù)復原車載終端的原始圖像，從而泄露用戶隱私［14］。為了防御圖像還原攻擊，文獻［15-16］選擇更深的深度卷積網(wǎng)絡層作為切割點，減少中間數(shù)據(jù)的信息量，降低圖像復原效果。文獻［17］在輸出的中間數(shù)據(jù)中添加隨機噪聲，從而干擾圖像還原。這些防御方法需要通過總結大量實驗的經(jīng)驗，在實際應用中可操作性不強，同時主要針對白盒攻擊，即假設已知車載終端的深度卷積網(wǎng)絡結構和參數(shù)，無法很好地適配實際應用情況。

本文研究車路協(xié)同推斷的黑盒圖像還原攻擊并提出3 種防御算法，分別在車載終端深度卷積網(wǎng)絡的模型參數(shù)、輸入圖像、輸出結果中添加隨機噪聲，干擾黑盒攻擊者對圖像的復原，同時對于3 種防御算法進行差分隱私理論分析及性能評估。

1 車路協(xié)同推斷的隱私泄露問題

1.1 車路協(xié)同推斷架構

如圖1 所示，車路協(xié)同推斷架構由車載終端、邊緣服務器以及深度卷積網(wǎng)絡組成。以路標識別應用為例，車載終端設備利用深度卷積網(wǎng)絡推斷，對車載攝像頭拍攝到的路標圖像進行類型識別。深度卷積網(wǎng)絡被切分成兩部分：前半部分在車載終端處進行處理；后半部分在邊緣服務器處進行處理。車載終端以路標圖像X0作為輸入，執(zhí)行前半部分網(wǎng)絡，得到中間數(shù)據(jù)作為輸出。車載終端上傳中間數(shù)據(jù)給邊緣服務器，邊緣服務器以中間數(shù)據(jù)作為輸入，執(zhí)行后半部分網(wǎng)絡得到最終識別結果，將結果返回車載終端，至此完成協(xié)同推斷任務。

圖1 車路協(xié)同推斷架構Fig.1 Collaborative vehicle-road inference architecture

1.2 黑盒攻擊

在車路協(xié)同推斷中，攻擊者可能是開放環(huán)境下的竊聽者，從車聯(lián)網(wǎng)通信中竊取車載終端上傳的中間數(shù)據(jù)以復原原始圖像，泄露用戶隱私。假設攻擊者不知道車載終端設備存儲的前半部分網(wǎng)絡的結構，但是攻擊者可以輸入圖像集合X={x1,x2,…}到網(wǎng)絡去查詢計算結果該假設通常應用于車載終端開放自己的API 給其他車輛使用時，通過提供查詢服務獲取利益。

在黑盒攻擊的假設下，本文采用反卷積網(wǎng)絡算法［14］，通過訓練一個反卷積網(wǎng)絡，學習中間結果和原始圖像之間的關系。

算法1反卷積網(wǎng)絡算法

算法1 包含3 個階段：1）查詢階段，攻擊者使用圖像集合X={x1,x2,…}作為輸入查詢車載終端設備網(wǎng)絡，得到中間數(shù)據(jù)集合2）訓練階段，攻擊者用中間數(shù)據(jù)集合V作為輸入，圖像集合X作為目標對象，樣本數(shù)量為n，訓練反卷積網(wǎng)絡gω，采用圖像像素空間的l2范數(shù)作為損失函數(shù)（如式（1）所示），其中反卷積網(wǎng)絡gω的結構不需要關聯(lián)車載終端設備網(wǎng)絡的結構，本文實驗中所用的反卷積網(wǎng)絡結構和車載終端設備網(wǎng)絡結構完全不同；3）復原階段，攻擊者對訓練好的反卷積網(wǎng)絡輸入獲得的中間數(shù)據(jù)得到復原數(shù)據(jù)

2 差分隱私防御

2.1 差分隱私理論

差分隱私是數(shù)據(jù)分析和機器學習中定義隱私保護程度的一種數(shù)學范式［18-19］。

定義1當給定的兩個相鄰數(shù)據(jù)集D和D'中至少有一條數(shù)據(jù)不同時，如果算法M符合條件式（2），則算法M滿足ε差分隱私［20］。

其中：S為算法輸出集合。隱私預算ε控制輸入D和D'的算法輸出分布的接近程度，體現(xiàn)了隱私保護程度。ε越小，算法輸出分布越接近，攻擊者越難區(qū)分，隱私保護程度越高。

常見的隱私保護方法是在算法輸出分布中加入隨機噪聲進行擾動［21］，如拉普拉斯噪聲［22］。如果要保證算法滿足ε差分隱私，需要加入的噪聲隨機采樣自均值為0、尺度為σ≥Δ/ε的拉普拉斯分布［23］，其中為全局敏感度，即任意相鄰數(shù)據(jù)集D和D'的算法輸出的最大差異。

2.2 防御算法設計

本文提出3 種差分隱私防御機制，即模型擾動、輸入擾動、輸出擾動。如圖2 所示，分別在車載終端網(wǎng)絡的模型參數(shù)、輸入圖像和輸出數(shù)據(jù)中加入拉普拉斯噪聲擾動，影響攻擊者復原的圖像質量。

圖2 車路協(xié)同推斷的差分隱私保護過程Fig.2 Process of differential privacy protection for collaborative vehicle-road inference

模型擾動機制的具體流程如算法2 所示。首先，將所有模型參數(shù)的大小限制在閾值CM以內。根據(jù)文獻［18］，閾值可以設定為模型參數(shù)的無窮范數(shù)的中值。然后，對模型參數(shù)添加隨機生成的均值為0、尺度為σM=2CM/ε的拉普拉斯噪聲。最后，用噪聲擾動后的深度卷積網(wǎng)絡進行推斷，得到中間數(shù)據(jù)。算法的復雜度取決于模型參數(shù)的維度，為其中，Kl為第l個卷積層的卷積核邊長，Hl-1為該卷積層的輸入通道數(shù)，即上一層的輸出通道，Hl為該卷積層的輸出通道數(shù)。

算法2模型擾動算法

輸入擾動機制的具體流程如算法3 所示。首先，限制輸入圖像像素值在閾值CI以內。根據(jù)文獻［18］，閾值可以設定為模型訓練期間一組輸入樣本的無窮范數(shù)的中值。然后，隨機生成均值為0、尺度為σI=2CI/ε的拉普拉斯噪聲并注入輸入圖像的灰度值中。最后，用擾動后的圖像進行推斷，得到中間數(shù)據(jù)算法的復雜度取決于輸入圖像的維度，為其中nI為輸入圖像的邊長。

算法3輸入擾動算法

輸出擾動機制的具體流程如算法4 所示。首先，推斷得到中間數(shù)據(jù)V，并限制輸出結果元素值在CO內。根據(jù)文獻［18］，閾值可以設定為模型訓練期間一組輸出結果的無窮范數(shù)的中值。其次，對每個元素添加隨機生成的均值為0、尺度為σO=2CO/ε的拉普拉斯噪聲，得到中間數(shù)據(jù)算法的復雜度取決于輸出結果的維度，為，其中nO為輸出結果的邊長。

算法4輸出擾動算法

輸入圖像集合X，車載終端深度卷積網(wǎng)絡輸出結果元素閾值CO，隱私預算ε

輸出模型擾動后的輸出結果

上述3 種算法是在車載終端執(zhí)行模型推斷的過程中，分別對模型參數(shù)、輸入圖像、輸出結果執(zhí)行添加隨機拉普拉斯噪聲的操作。因此，算法的復雜度與深度模型本身的計算無關，而與添加噪聲的對象維度有關。顯然，輸出結果維度最小，其次輸入圖像，模型參數(shù)維度最大。因此，輸出擾動算法復雜度最低，其次輸入擾動算法，模型擾動算法復雜度最高。

2.3 隱私保護分析

定理1給定輸入圖像集合X和車載終端深度卷積網(wǎng)絡當注入模型參數(shù)的拉普拉斯噪聲尺度為2CM/ε時，算法2 滿足ε差分隱私保護。

計算得到：

因此，根據(jù)定義1，當噪聲尺度σM≥2CM/ε時，算法2滿足ε差分隱私。

定理2給定輸入圖像集合X和車載終端深度卷積網(wǎng)絡fθ1，當注入輸入圖像的拉普拉斯噪聲尺度為2CI/ε時，算法3 滿足ε差分隱私保護。

證明因為輸入圖像像素值在范圍CI內，所以對于任意相鄰輸入X和X'，全局敏感度表示如下：

因此，根據(jù)定 義1，當噪聲 尺度σI≥2CI/ε時，算法3 滿足ε差分隱私保護。

定理3給定輸入圖像X和車載終端深度卷積網(wǎng)絡當注入計算結果的拉普拉斯噪聲尺度為2CO/ε時，算法4 滿足ε差分隱私保護。

證明因為計算結果元素值限制在范圍CO內，所以對于任意相鄰輸入X和X'，全局敏感度表示如下：

因此，根據(jù)定義1，當噪聲尺度σO≥2CO/ε時，算法4 滿足ε差分隱私保護。

3 實驗結果與分析

3.1 實驗設置

實驗使用GTSRB 數(shù)據(jù)集［24］，該數(shù)據(jù)集用于路標識別任務，由39 208 個訓練樣本和12 630 個測試樣本組成。如圖3 所示，實驗所用的深度卷積網(wǎng)絡由6 個卷積層和2 個全連接層組成。每個卷積層有32 個通道，核大小為3，并使用ReLU 函數(shù)作為激活函數(shù)。每2 個卷積層后面連接1 個池化層。考慮車路協(xié)同推斷選擇第2 個池化層作為切分點。攻擊者采用的反卷積網(wǎng)絡由2 個解卷積層和1 個激活層組成。深度卷積網(wǎng)絡和反卷積網(wǎng)絡的訓練均采用ADAM 優(yōu)化器，學習率為0.001。

圖3 深度卷積網(wǎng)絡與反卷積網(wǎng)絡結構Fig.3 Structure of deep convolutional network and deconvolutional network

3.2 實驗度量標準

假設A和B為原始圖像和復原圖像，大小為m×n。A（i,j）和B（i,j）分別為圖像A和B在位置（i,j）的像素值。實驗采用以下3 種度量標準衡量圖像復原的質量［17，25］：

1）均方誤差（Mean Squared Error，MSE），以兩張圖像像素值的均方差衡量兩張圖像的相似度。MSE 越小，兩張圖像的相似度越高。MSE 定義如下：

2）結構相似度（Structural Similarity，SSIM），根據(jù)兩張圖像的結構信息衡量相似度，取值范圍為[0,1]，SSIM 越大，兩張圖像的相似度越高。令圖像A和B的像素均值分別為μA和μB，方差分別為σA和σB，協(xié)方差為σAB，c1和c2為參數(shù)。SSIM 定義如下：

3）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），基于對應像素點的峰值誤差來衡量相似度。PSNR越大，兩張圖像相似度越高。PSNR 定義如下：

3.3 實驗結果

對比3 種差分隱私防御算法與選擇切點防御法對圖像還原攻擊的防御效果。選擇切點防御法主張選擇更深的網(wǎng)絡層作為切割點切分深度卷積網(wǎng)絡，使得攻擊者復原效果變差［15-16］。

圖4 給出了在使用不同防御算法時，攻擊者使用還原攻擊復原的圖像。模型擾動算法的防御效果最好，在隱私預算ε=10 時，復原的圖像已經(jīng)無法看清路標的細節(jié)。輸入擾動算法和輸出擾動算法只有在ε=1 時，才能完全抵御攻擊者的圖像復原。當ε<1 時，在輸出擾動算法保護下的復原圖像像素均勻，而模型擾動算法和輸入擾動算法防御下的復原圖像仍存在噪點。這是因為輸出擾動算法直接在輸出結果中注入噪聲，而另外兩種擾動算法是間接擾動輸出結果。當使用選擇切點法進行防御（即選擇更深的切割點）時，攻擊者復原效果明顯變差。但是，即使選擇最后一層激活層作為切割點，其輸出結果復原的圖像仍能看到路標的細節(jié)。而且，如果選擇更深的切割點，則車載終端的計算開銷會顯著增加，車路協(xié)同推斷的效率會降低。相比之下，本文提出的3 種差分隱私防御算法對圖像復原攻擊的防御效果更好。

圖4 不同防御算法保護下的復原圖像Fig.4 Recovered images protected by different defense algorithms

圖5、圖6 和圖7 分別給出了對于不同的隱私預算，在3 種防御算法干擾下復原圖像的MSE、PSNR和SSIM。模型擾動算法的防御效果明顯最優(yōu)，在其干擾下的圖像還原質量最低，其次是輸出擾動算法，最后是輸入擾動算法。但是當ε<100時，隨著隱私預算降低，輸入擾動算法防御下的復原圖像MSE 急劇升高，PSNR 急劇下降。這是因為在輸入圖像添加噪聲尺度太大，復原圖像像素極度不均勻。

圖5 不同隱私預算對應的復原圖像MSEFig.5 MSE of recovered images corresponding to different privacy budgets

圖6 不同隱私預算對應的復原圖像PSNRFig.6 PSNR of recovered images corresponding to different privacy budgets

圖7 不同隱私預算對應的復原圖像SSIMFig.7 SSIM of recovered images corresponding to different privacy budgets

圖8 表示不同隱私預算對推斷精確度的影響。當ε≥101時，添加噪聲對推斷精確度的影響較小。當ε<101時，推斷精確度急劇下降。模型擾動算法比另外兩種算法可達到更高的推斷精確度，當ε=101時，其推斷精確度為0.9?？傮w來說，當ε取值為［101，102］時，差分隱私保護算法可以有效降低黑盒攻擊還原圖像質量，并確保了一定的推斷精確度。

圖8 不同隱私預算對推斷精確度的影響Fig.8 Impact of different accuracy budgets on inference accuracy

圖9、圖10 表示推斷精確度和還原圖像質量之間的關系。當PSNR 和SSIM 越小，推斷精確度越低，即還原圖像質量越差時，對黑盒圖像還原攻擊防御效果越好，同時對深度卷積網(wǎng)絡模型的推斷精確度影響也越大。在達到相同的防御效果時，模型擾動算法達到的推斷精確度最高，其次是輸出擾動算法，最后是輸入擾動算法。因此，在3 種差分隱私保護算法中，模型擾動算法在均衡隱私保護和推斷精確度方面獲得最優(yōu)效果。

圖9 推斷精確度與PSNR 的關系Fig.9 Relationship between inference accuracy and PSNR

圖10 推斷精確度與SSIM 的關系Fig.10 Relationship between inference accuracy and SSIM

4 結束語

本文針對車路協(xié)同推斷中的黑盒圖像還原攻擊，提出3 種基于差分隱私的防御算法，分別在車載終端深度卷積網(wǎng)絡的模型參數(shù)、輸入圖像、輸出結果中注入隨機生成的拉普拉斯噪聲。通過理論分析得出3 種算法均滿足ε差分隱私保護的結論。實驗結果證明，3 種算法在有效防御黑盒圖像還原攻擊的同時保證了車路協(xié)同推斷的精確度。后續(xù)將結合傳輸壓縮等方法設計更高效的防御算法，進一步提高車路協(xié)同推斷的效率和精確度，實現(xiàn)用戶隱私保護。