邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型

張學軍 何福存 蓋繼揚 鮑俊達 黃海燕 杜曉剛

(蘭州交通大學電子與信息工程學院 蘭州 730070)(xuejunzhang@lzjtu.edu.cn)

近年來，隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展和物聯(lián)網(wǎng)智能終端設(shè)備數(shù)量的爆炸式增長，室內(nèi)定位技術(shù)作為室外定位的技術(shù)延伸，已被廣泛應(yīng)用在智慧工業(yè)(工廠人員和物資精確定位、危險源監(jiān)測等)、智慧養(yǎng)老(老人定位監(jiān)護、健康管理等)、智慧司法(監(jiān)獄人員定位、司法矯正等)、智慧醫(yī)療(院區(qū)就診導航、人員定位等)、智慧工地(隧道/地鐵/管廊人員的定位、環(huán)境數(shù)據(jù)采集等)、智慧文博(游客導航、文物防盜等)、智慧倉儲(物資定位、可疑物品追蹤等)等各個領(lǐng)域.隨著城市智能化的發(fā)展，室內(nèi)定位的重要性和價值日益顯現(xiàn)，越來越受到社會的廣泛關(guān)注[1-3].對于室外定位技術(shù)，其應(yīng)用場景大多是開放環(huán)境，即使定位誤差大到幾十米也不太會影響用戶的體驗.但是，室內(nèi)定位技術(shù)則要求亞米級的定位精度來滿足用戶需求.為了實現(xiàn)室內(nèi)環(huán)境中的高精度定位，研究者開展了一系列室內(nèi)定位技術(shù)的研究，相繼提出了基于WiFi[4-5]、藍牙[6]、RFID[7]、UWB[8]、紅外線[9]、超聲波[10]、電磁[11]等的室內(nèi)定位技術(shù)和系統(tǒng).其中，基于接收信號強度(received signal strength, RSS)的指紋定位方法(如使用WiFi、藍牙等)，因其低成本、低功耗、測量范圍長、具有成熟的基礎(chǔ)設(shè)施和易于實現(xiàn)等優(yōu)勢而逐漸成為室內(nèi)定位技術(shù)的主流趨勢[12]，并已培育了眾多的商業(yè)應(yīng)用[13]，如Skyhook，Google，Indoo.rs，Wifarer等.

基于指紋的室內(nèi)定位技術(shù)通常利用來自多個無線信標和接入點(access points, APs)的RSS指紋來估計室內(nèi)環(huán)境中用戶或設(shè)備的位置[14]，它主要依托包含用戶終端和云定位服務(wù)器的云架構(gòu)實現(xiàn)定位[13]，其核心是能夠發(fā)現(xiàn)指紋和位置之間映射關(guān)系的定位算法[14].近年來，機器學習已經(jīng)被證明是構(gòu)建映射關(guān)系函數(shù)的一種有效手段，并在指紋室內(nèi)定位技術(shù)中得到了廣泛應(yīng)用[2,12].指紋室內(nèi)定位技術(shù)包括離線訓練和在線定位2個階段，離線訓練階段通過從室內(nèi)場景中預(yù)先定義的各個參考點(reference point, RP)收集RSS指紋構(gòu)建位置指紋數(shù)據(jù)庫，在線定位階段將實時獲取的RSS指紋與位置指紋數(shù)據(jù)庫中存儲的指紋進行比較，得到相似度最高的指紋數(shù)據(jù)所對應(yīng)的位置來確定目標位置.雖然該方法的定位效果較好，但構(gòu)建指紋數(shù)據(jù)庫需要耗費大量的物力、人力.此外，RSS是一種不穩(wěn)定的信號，易受室內(nèi)復雜多變環(huán)境的影響，致使離線階段采集的信號指紋與在線階段獲取的RSS指紋可能存在偏差，導致這類方法存在較大的定位誤差.為進一步提高室內(nèi)定位精度、減少指紋數(shù)據(jù)庫構(gòu)建難度和應(yīng)對室內(nèi)復雜環(huán)境變化帶來的不利影響，許多學者結(jié)合深度學習(deep learning, DL)和眾包技術(shù)開展室內(nèi)定位方法的研究[1-2,15-17].但是，基于DL的室內(nèi)定位方法需要大量的帶標簽數(shù)據(jù)對定位模型進行長時間的訓練.眾所周知，訓練數(shù)據(jù)量越大、數(shù)據(jù)類型越多樣化，DL所訓練的定位模型魯棒性會越好.然而，大量RSS指紋的收集耗時且費力，而且來自用戶終端設(shè)備的指紋數(shù)據(jù)包含了許多與個人相關(guān)的敏感信息(如位置信息等)，如果將這些信息直接發(fā)送給不可信的云定位服務(wù)器進行模型訓練，可能會引發(fā)嚴重的隱私泄露問題[13,18].2017年6月1日開始實施的《中華人民共和國網(wǎng)絡(luò)安全法》、2021年11月1日實施的《中華人民共和國個人信息保護法》和2018年5月25日歐盟開始實施的《通用數(shù)據(jù)保護條例》都對網(wǎng)絡(luò)數(shù)據(jù)安全和個人隱私保護做出了明確的規(guī)定和要求，進一步完善了對個人隱私信息的保護.因此，如何在保護用戶個人隱私的同時更好地訓練定位模型是基于DL的室內(nèi)定位技術(shù)面臨的一個重要挑戰(zhàn).

另一方面，隨著各種室內(nèi)位置服務(wù)的應(yīng)用和大量智能終端設(shè)備的廣泛使用，室內(nèi)定位服務(wù)用戶請求更加頻繁、室內(nèi)定位環(huán)境部署更加快速、定位服務(wù)響應(yīng)需要更加可靠及時、物聯(lián)網(wǎng)環(huán)境下聯(lián)合定位的數(shù)據(jù)融合更加復雜以及為提高定位精度所帶來的大量數(shù)據(jù)傳輸和計算，都給使用云架構(gòu)的基于DL的室內(nèi)定位技術(shù)提出了一些新的挑戰(zhàn)[12,14,19]：1)室內(nèi)環(huán)境中大量物聯(lián)網(wǎng)智能終端設(shè)備的部署與互聯(lián)互通，產(chǎn)生的海量RSS指紋數(shù)據(jù)被集中傳輸?shù)皆品?wù)器上進行定位模型訓練會顯著增加網(wǎng)絡(luò)負載，造成數(shù)據(jù)傳輸擁塞和網(wǎng)絡(luò)延遲[20].2)大部分用戶終端設(shè)備電池續(xù)航能力有限，將大量RSS指紋數(shù)據(jù)傳輸?shù)皆贫ㄎ环?wù)器，需要消耗大量的電能；同時，由于云定位服務(wù)器的集中式處理方式，其運行和維護也需要消耗大量的電能.3)基于云的定位系統(tǒng)無法滿足系統(tǒng)邊緣區(qū)域?qū)焖賹崟r定位任務(wù)處理的需求.

為了解決上述3個挑戰(zhàn)，一種可行的方法是將基于DL的室內(nèi)定位系統(tǒng)部署到邊緣計算模式中[19].邊緣計算(edge computing, EC)[21]具有的低延遲、位置感知、分布式且異構(gòu)、可編程和數(shù)據(jù)本地化的特點，正好能滿足基于DL的定位系統(tǒng)所帶來的大數(shù)據(jù)處理、定位延遲、精度提高和隱私保護的需求[22].但是，在邊緣計算場景下，由于資源受限的邊緣計算基礎(chǔ)設(shè)施缺乏有效的隱私保護機制，隱私泄露問題仍然很嚴重[18,23-24].在離線訓練和在線定位階段，不可信的云服務(wù)器和邊緣服務(wù)器仍有可能通過分析來自邊緣設(shè)備的RSS指紋數(shù)據(jù)來獲得用戶的精確位置，從而在WiFi路由器附近很小的范圍定位和跟蹤用戶[24].位置隱私的侵犯可能會造成用戶社會聲譽受損、經(jīng)濟損失，甚至是身體遭受暴力等[25-26].

目前，大多數(shù)室內(nèi)定位隱私保護的最新方法主要關(guān)注在線定位階段的隱私泄露問題，例如基于k匿名的方法[13]、基于加密的方法[25,27]和基于差分隱私的方法[23,28-29].但是，這些隱私保護機制不能完全適用于基于邊緣計算架構(gòu)的室內(nèi)定位技術(shù)，特別是離線訓練階段，因為它們都需要消耗大量的資源.作為移動EC中的DL模型，聯(lián)邦學習(federated learning, FL)[30]已經(jīng)引起了學術(shù)界和工業(yè)界的廣泛關(guān)注，其主要目的是在保護用戶隱私的同時基于本地數(shù)據(jù)集構(gòu)建一個聯(lián)合DL模型.聯(lián)邦學習模型可以在邊緣節(jié)點(如智能手機)上實現(xiàn)，各個邊緣節(jié)點在不共享數(shù)據(jù)的情況下，可以利用本地數(shù)據(jù)集獨立地進行DL模型訓練，并通過云服務(wù)器(如參數(shù)服務(wù)器)對全局模型進行優(yōu)化聚合，能有效解決基于DL室內(nèi)定位系統(tǒng)的數(shù)據(jù)安全與隱私保護問題.文獻[15]利用聯(lián)邦學習構(gòu)建隱私保護室內(nèi)定位服務(wù)，該方法雖然能夠保證用戶的數(shù)據(jù)隱私，但是在資源有限的終端設(shè)備上執(zhí)行本地子模型的訓練將會使得終端設(shè)備面臨巨大的資源開銷問題.此外，在模型參數(shù)聚合時，該方法還會面臨差分攻擊、模型反演攻擊、梯度反向推理攻擊，存在隱私泄露風險[31].

針對以上挑戰(zhàn)，本文提出了一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型(differentially private federated learning model for fingerprinting indoor localization in edge computing, DP-FLocEC)，可以實現(xiàn)在保護原始訓練數(shù)據(jù)和模型參數(shù)隱私的前提下對多方數(shù)據(jù)進行學習，確保了較高的定位精度和性能.DP-FLocEC基于邊云協(xié)作計算模式，利用差分隱私機制結(jié)合聯(lián)邦學習協(xié)議在對用戶RSS指紋數(shù)據(jù)和模型參數(shù)提供ε-差分隱私保護的同時，實現(xiàn)了高精度、低延遲的定位性能.為了解決在資源受限的邊緣服務(wù)器上執(zhí)行DL模型帶來的繁重計算開銷問題，DP-FLocEC構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的輕量級室內(nèi)定位模型.本文工作的主要貢獻包括3個方面：

1) 提出了基于邊緣計算和聯(lián)邦學習的隱私保護室內(nèi)定位模型訓練及應(yīng)用架構(gòu)，全面考慮了邊緣計算環(huán)境下室內(nèi)定位模型訓練及應(yīng)用過程中的安全問題.在離線訓練階段，考慮到攻擊者具有一定的背景知識，利用差分隱私技術(shù)對用戶數(shù)據(jù)及模型參數(shù)進行隱私保護處理，實現(xiàn)多層面可證明的ε-差分隱私保護，使多個參與用戶在不共享私有數(shù)據(jù)實現(xiàn)定位子模型訓練的同時，抵御模型參數(shù)聚合過程當中遭受的差分攻擊、模型反演攻擊、梯度反向推理攻擊等；在線定位階段，利用差分隱私技術(shù)將數(shù)據(jù)進行差分擾動后上傳到邊緣服務(wù)器，經(jīng)邊緣服務(wù)器處理后為用戶提供安全、可靠的室內(nèi)定位服務(wù).

2) 為了提供高精度、低延遲、高可靠的室內(nèi)定位服務(wù)，本文基于CNN構(gòu)建了一個輕量級的室內(nèi)定位模型，并在多個數(shù)據(jù)集上驗證與評估了所提模型的有效性.

3) 在3個真實室內(nèi)RSS指紋數(shù)據(jù)集上進行了大量的實驗對比，以評估所提模型的有效性和性能.安全性分析與實驗結(jié)果表明，相比已有的集中式和分布式的學習模型，本文提出的聯(lián)邦學習模型在提供更全面隱私保護的同時獲得了高可靠的定位服務(wù)；相比于已有的MLP，F(xiàn)Loc室內(nèi)定位模型，本文設(shè)計的CNN室內(nèi)定位模型取得了更好的定位性能.

1 相關(guān)工作

1.1 室內(nèi)定位

近年來，人們相繼提出了許多室內(nèi)定位技術(shù)，包括基于紅外線、超聲波、RFID、無線局域網(wǎng)、藍牙、傳感網(wǎng)絡(luò)、超寬帶、電磁信號、視覺和聲音等[32]，以及由這些技術(shù)組合成的混合系統(tǒng)[13].雖然這些技術(shù)中大多數(shù)都提供了很高的定位精度，但其應(yīng)用都有嚴重的局限性，難以達到室內(nèi)定位和導航的要求[5].目前，大型公共場所幾乎已經(jīng)全面覆蓋WiFi、藍牙網(wǎng)絡(luò)，這使得基于RSS指紋的室內(nèi)定位研究廣受歡迎.一個典型的指紋定位系統(tǒng)是Horus[33]，它使用基于統(tǒng)計的方法和來自APs的RSS直方圖進行位置聚類，從而在指紋數(shù)據(jù)庫中建立指紋的高斯分布.在定位階段，通過與指紋數(shù)據(jù)庫中指紋的匹配概率來計算定位結(jié)果.另一個是基于k近鄰(knearest neighbors,kNN)的指紋定位方法[34].在離線階段，kNN利用從APs收集的RSS指紋來構(gòu)建指紋數(shù)據(jù)庫.在實時定位階段，計算和選擇具有最小斯皮爾曼距離的所有目標位置點，并通過kNN算法獲得最終的位置估計.

隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，眾多物聯(lián)網(wǎng)智能終端設(shè)備在室內(nèi)環(huán)境中的部署與使用[20]，產(chǎn)生了海量可用的RSS指紋數(shù)據(jù)，為了利用這些RSS數(shù)據(jù)提高室內(nèi)定位精度和應(yīng)對室內(nèi)環(huán)境復雜多變、無線信號陰影衰落、多徑效應(yīng)等因素的不利影響，一些最新的研究提出利用多傳感器數(shù)據(jù)[5]、信道狀態(tài)信息(channel state information, CSI)數(shù)據(jù)并結(jié)合DL算法[1,16-17,35-37]輔助WiFi或藍牙指紋進行室內(nèi)定位，獲得了比傳統(tǒng)定位方法和系統(tǒng)更高的定位精度和魯棒性.文獻[5]利用智能手機上內(nèi)置的多種傳感器來估測用戶的軌跡信息，并將其與WiFi指紋信息結(jié)合起來建立綜合概率模型，進行用戶位置匹配，確定最近參考點.文獻[1]利用注意力機制并結(jié)合CNN和雙向長短時記憶網(wǎng)絡(luò)獲取參考點位置區(qū)域內(nèi)的時空緯度上的粗細粒度特征來實現(xiàn)室內(nèi)定位.文獻[16]利用抽取的磁場強度中心點作為地理標簽特征輔助WiFi指紋進行室內(nèi)定位，獲得了比較滿意的定位性能.文獻[17]利用CNN提高室內(nèi)定位性能，將收集到的藍牙RSS信號轉(zhuǎn)化為指紋圖像并將其輸入到CNN模型中進行分類訓練，同時結(jié)合磁場數(shù)據(jù)來匹配用戶的位置.文獻[35-37]利用細粒度CSI的相位信息結(jié)合DL算法進行室內(nèi)定位，獲得了更高的魯棒性.文獻[11]指出已有的這些室內(nèi)定位技術(shù)都基于預(yù)先部署的基礎(chǔ)設(shè)施，會帶來很大的設(shè)備和管理成本，因此在某些應(yīng)用場景和條件下是有限的.為此，文獻[11]的作者提出一種新的無需基礎(chǔ)設(shè)施的輕量級基于地磁信號的經(jīng)過門事件探測方法LMDD來幫助提高基于航位推算的室內(nèi)定位和導航系統(tǒng)的定位精度.然而，所有這些方法都采用基于云架構(gòu)的集中式學習框架，需要將大量包含用戶敏感信息的RSS數(shù)據(jù)傳輸?shù)皆品?wù)器上進行模型集中訓練，這將會嚴重侵犯用戶的隱私[13,18-19].隨著人們對個人隱私的重視，各個國家都制定了網(wǎng)絡(luò)數(shù)據(jù)安全和隱私保護的相關(guān)法律法規(guī)來約束和限定這些敏感數(shù)據(jù)的使用.在這種情況下，數(shù)據(jù)的安全和隱私泄露嚴重阻礙了機器學習技術(shù)在室內(nèi)定位場景中的應(yīng)用，成為定位服務(wù)健康發(fā)展的瓶頸之一.另外，大量的RSS數(shù)據(jù)集中傳輸?shù)皆品?wù)器進行處理也會增加網(wǎng)絡(luò)負載、計算資源開銷等問題，造成數(shù)據(jù)傳輸延遲和網(wǎng)絡(luò)擁塞，嚴重影響定位服務(wù)的性能和效果.

1.2 邊緣計算和聯(lián)邦學習

邊緣計算[21]作為一種新型的分布式計算架構(gòu)，它能在網(wǎng)絡(luò)的邊緣提供強大的實時數(shù)據(jù)存儲和計算能力，從而降低網(wǎng)絡(luò)負載、減少數(shù)據(jù)處理延遲、提高電池續(xù)航能力、減輕云服務(wù)器壓力，在解決終端設(shè)備資源受限問題的同時保證數(shù)據(jù)的安全性和私密性[22].將室內(nèi)定位DL模型部署到邊緣計算框架中是解決傳統(tǒng)基于云架構(gòu)的室內(nèi)定位系統(tǒng)存在響應(yīng)不及時、網(wǎng)絡(luò)延遲高、隱私泄露嚴重問題的一種有效策略.文獻[38]提出在互聯(lián)網(wǎng)的邊緣使用cloudlet技術(shù)部署移動云服務(wù)，但是由于WiFi覆蓋范圍有限，使用cloudlet技術(shù)是不夠的.文獻[21]指出邊緣能夠使網(wǎng)絡(luò)具有低延遲和高帶寬，因為其具有很好的任務(wù)卸載技術(shù).文獻[39]指出邊緣計算能夠極大地減少網(wǎng)絡(luò)延遲，因此能夠在WiFi網(wǎng)絡(luò)中實現(xiàn)計算密集型的應(yīng)用.但是，在邊緣計算場景下，由于資源受限的邊緣計算基礎(chǔ)設(shè)施缺乏有效的隱私保護機制，隱私泄露問題仍然很嚴重[18,23-24,40-42].聯(lián)邦學習[18,20-21,30]作為邊緣計算中的DL模型，考慮了去中心化學習方式的數(shù)據(jù)隱私保護問題，已被廣泛應(yīng)用在眾多新興的場景，比如眾包系統(tǒng)[15]、室內(nèi)定位系統(tǒng)[15,43-44]、移動群體感知[45]等.聯(lián)邦學習的主要目標是在本地數(shù)據(jù)集上構(gòu)建聯(lián)合機器學習模型，同時能提供隱私保證[18,46].盡管聯(lián)邦學習有一些優(yōu)勢，比如隱私保護和在終端設(shè)備上實現(xiàn)DL，但是當其面對一些新興的應(yīng)用時(如室內(nèi)定位服務(wù))，容易遭受差分攻擊、模型反演攻擊等，其隱私問題仍然是致命的[18,44-45].幸運的是差分隱私技術(shù)[47-48]能有效解決這一問題，它允許分析人員在保證個人隱私得到有效保護的同時執(zhí)行可信聚合分析[44].在本文中，我們研究如何利用差分隱私技術(shù)向室內(nèi)定位聯(lián)邦學習協(xié)議的各個操作階段添加合適的噪聲來保護用戶隱私.

1.3 室內(nèi)定位隱私保護

目前，只有少量工作用于解決室內(nèi)定位隱私保護問題，這些工作可總結(jié)為基于k匿名的方法[13]、基于加密的方法[25,27]和基于差分隱私的方法[23,28-29].文獻[13]提出了一種基于k匿名的隱私保護定位方法，該方法能夠?qū)⒂脩舻恼嬲恢密壽E隱藏于k-1個假軌跡中，這樣攻擊者不能以高于1/k的概率識別出用戶的位置.然而，攻擊者可以利用一些背景信息區(qū)分出用戶的真實位置.為此，文獻[25]提出了一種基于Paillier的WiFi指紋定位隱私保護方法PriWFL，能夠同時保護用戶的位置隱私和位置服務(wù)提供商(location service provider, LSP)的數(shù)據(jù)隱私，但處理過程資源消耗較高.文獻[27]基于PriWFL提出了2種改進策略，在獲得和PriWFL相同精度的情況下，避免了其弱點及相關(guān)的隱私泄露風險.但是，這2類基于加密的方法計算和通信開銷大，其有效性有待進一步提升.文獻[23]提出了一種在基于噪聲添加的用戶位置指紋隱私保護方法LoPEC，該方法將AP之間的信號覆蓋關(guān)系簡化為無向圖進行位置估計，為了提高定位精度，通常需要3個以上的AP參與計算，由于對其添加噪聲的不確定性過大，合理噪聲的添加是一個挑戰(zhàn)性問題.文獻[28]提出了一種基于差分隱私的隱私保護室內(nèi)定位方法DP3，它既能保證用戶的位置隱私，又能保護定位服務(wù)器的數(shù)據(jù)隱私.文獻[29]提出了一種用于室內(nèi)定位的隱私保護范式驅(qū)動框架P3-LOC，以解決用戶位置隱私和 LSP數(shù)據(jù)隱私的問題.P3-LOC使用k匿名和差分隱私技術(shù)來為2階段定位范例提供可證明的隱私保護.雖然這些研究工作對室內(nèi)定位中的隱私保護問題做出了一定的貢獻，但是這些方法主要針對在線定位階段的用戶位置隱私保護，不能保護離線訓練階段的用戶數(shù)據(jù)隱私.而且，這些方法在面對室內(nèi)復雜多變環(huán)境、陰影衰落、多徑效應(yīng)等諸多因素的不利影響時，其性能會急劇下降.雖然已有一些定位方法[1,16-17,35-37]使用DL模型來提高定位精度和魯棒性，但是這些方法采用基于云架構(gòu)的集中式學習框架，存在隱私泄露、高延遲等問題.文獻[49]針對集中式學習模型的隱私泄露問題，提出了基于差分隱私的集中式學習框架Central-DP，各參與者在本地進行子模型訓練，然后將訓練得到的模型參數(shù)上傳到云服務(wù)器(參數(shù)服務(wù)器)，云服務(wù)器利用差分隱私保護技術(shù)對模型參數(shù)進行擾動來混淆參與者的貢獻.邊緣計算網(wǎng)絡(luò)[21]和聯(lián)邦學習架構(gòu)[30]的出現(xiàn)吸引了許多學者的關(guān)注.邊緣計算是一種新型的分布式計算架構(gòu)，能將云計算的部分計算開銷遷移到邊緣節(jié)點，并在網(wǎng)絡(luò)邊緣提供IT服務(wù)環(huán)境，其目標是減少延遲、確保高效的網(wǎng)絡(luò)運行與服務(wù)傳遞.在邊緣計算場景中，雖然不再將用戶數(shù)據(jù)傳輸?shù)皆品?wù)器上，但是邊緣節(jié)點計算能力有限且缺乏有效的安全保證機制，仍然存在嚴重的隱私泄露問題，特別是用戶的RSS指紋信息不能得到很好的保護[23].文獻[40-41]對邊緣計算下的隱私保護問題和挑戰(zhàn)進行了詳細的總結(jié)，介紹了近年來提出的適用于邊緣計算領(lǐng)域的隱私保護最新研究成果，并就方案的可行性和擴展性進行了深入討論，為邊緣計算下隱私保護提供了有效指導.作為邊緣計算中的DL模型，聯(lián)邦學習[30]是一種新興的隱私保護分布式學習解決方案，它解決了傳統(tǒng)機器學習算法的一些問題.文獻[15]提出了利用多層感知機(muti-layer perceptron, MLP)基于聯(lián)邦學習框架來構(gòu)建室內(nèi)定位模型，使得各用戶的數(shù)據(jù)在不出本地設(shè)備的情況下進行室內(nèi)定位子模型的訓練，實現(xiàn)數(shù)據(jù)隱私的保護.文獻[46]提出了本地化的差分隱私聯(lián)邦學習模型Local-DP，每個參與者利用差分隱私技術(shù)對各自的數(shù)據(jù)集進行差分擾動，然后進行本地子模型訓練并將得到的模型參數(shù)上傳到云服務(wù)器，云服務(wù)器對這些參數(shù)進行聚合后下發(fā)給各個參與者，使其進行下一階段的訓練，如此協(xié)同訓練與迭代更新，直到得到最優(yōu)的模型.然而文獻[50]由于沒有考慮到模型參數(shù)的隱私，使其容易遭受差分攻擊、模型反演攻擊、梯度反向推理攻擊[31,51]等，而且仍然存在隱私泄露的風險.隨著物聯(lián)網(wǎng)技術(shù)的長足發(fā)展，邊緣設(shè)備的計算能力和存儲能力得到很大的提升，這使得邊緣設(shè)備和機器學習的結(jié)合成為可能.文獻[42]提出了邊緣計算下，機器學習算法ELM結(jié)合差分隱私的室內(nèi)定位隱私保護方法，在保護用戶RSS數(shù)據(jù)隱私的同時確保了較高的定位精度.文獻[18]提出了一個基于邊緣計算的聯(lián)邦學習框架FedMEC，利用移動邊緣計算來提高差分私有聯(lián)邦學習的有效性.但是FedMEC僅考慮了用戶數(shù)據(jù)的隱私保護，依然沒有解決模型參數(shù)的隱私保護問題，難以抵御來自攻擊者實施的差分攻擊等.

針對以上挑戰(zhàn)，本文提出一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型DP-FLocEC，能在保護原始訓練數(shù)據(jù)和模型參數(shù)隱私的前提下對多方數(shù)據(jù)進行學習，確保較高的定位精度和性能.DP-FLocEC基于邊緣計算架構(gòu)，利用差分隱私機制結(jié)合聯(lián)邦學習協(xié)議在對用戶RSS指紋數(shù)據(jù)和模型參數(shù)提供ε-差分隱私保護的同時，實現(xiàn)了高精度、低延遲的定位性能.為解決在資源受限的邊緣節(jié)點上執(zhí)行DL定位模型所造成的繁重計算開銷問題，DP-FLocEC構(gòu)建了基于CNN的輕量級室內(nèi)定位模型.

2 研究基礎(chǔ)

2.1 聯(lián)邦學習

聯(lián)邦學習主要包括云端模型學習和用戶本地子模型學習2個關(guān)鍵部分.云端將預(yù)訓練好的全局模型分發(fā)給各參與用戶，以幫助用戶訓練微調(diào)自己的本地子模型.對于每個用戶，他們在預(yù)先訓練好的全局模型幫助下微調(diào)自己的本地子模型，使其模型更適合用戶本地數(shù)據(jù)的一些特性，當所有用戶本地子模型都微調(diào)訓練結(jié)束之后，模型參數(shù)會被上傳到云端進行模型參數(shù)融合.隨后，通過不斷迭代訓練，實現(xiàn)模型的深度聚合與優(yōu)化.云端全局模型的更新可以形式化為

(1)

其中，w代表云端模型參數(shù)，K為參與本地子模型訓練的多個用戶.經(jīng)過若干訓練周期后，更新的云端模型fs(·)可以涵蓋幾乎所有參與者的本地模型，達到了更好的泛化能力.

2.2 差分隱私

Dwork[47]于2006年針對統(tǒng)計數(shù)據(jù)庫的隱私泄露問題提出了差分隱私技術(shù)，作為一種數(shù)學意義上嚴格定義的隱私保護框架，它在統(tǒng)計學、數(shù)據(jù)挖掘、社交網(wǎng)絡(luò)、機器學習和物聯(lián)網(wǎng)等領(lǐng)域得到了廣泛的應(yīng)用，已經(jīng)成為當前隱私保護領(lǐng)域最受歡迎的隱私保護方法之一，也是實施邊緣計算環(huán)境下數(shù)據(jù)隱私保護方案的關(guān)鍵技術(shù)之一.

定義1.ε-差分隱私.設(shè)有一個隨機算法M，R是所有可能的輸出構(gòu)成的集合，D和D′為任意2個相鄰數(shù)據(jù)集合且|D⊕D′|=|(D∪D′)-(D∩D′)|=1.其中，S?R，如果隨機算法M滿足

Pr[M(D)∈S]≤eε×|D⊕D′|×Pr[M(D′)∈S]，

(2)

則稱算法M提供ε-差分隱私保護，其中⊕表示兩集合的對稱差集，ε為隱私預(yù)算，Pr[·]表示算法M對數(shù)據(jù)集D和D′計算結(jié)果概率.此定義確保單個記錄的存在或不存在不會顯著影響算法M的輸出.

定義2.全局敏感度.設(shè)有函數(shù)Q:D→d，Q的全局敏感度Δf定義為

(3)

其中D和D′是2個鄰近的數(shù)據(jù)集，‖Q(D)-Q(D′)‖1是Q(D)和Q(D′)之間的1-階范數(shù)距離，敏感度用來表征刪除數(shù)據(jù)集中任何記錄引起的最大變化，是確定添加的噪聲量的關(guān)鍵參數(shù).

定義3.Laplace機制.對查詢函數(shù)f:D→d，其敏感度為Δf，式(4)提供了ε-差分隱私保護.

f′(D)=f(D) +gLaplace(Δf/ε)，

(4)

其中g(shù)Laplace(Δf/ε)是一個服從Laplace分布的隨機噪聲，b=Δf/ε為尺度參數(shù).Laplace分布的概率密度函數(shù)如式(5)：

(5)

Laplace機制是實現(xiàn)差分隱私保護的基本機制之一[52].

在實際應(yīng)用中，ε通常取很小的值，例如0.1，ln2，ln3[48]等.ε越小，添加的噪聲越多，隱私保護強度越高；反之，隱私保護強度越低.理想情況下，當ε=0，此時隱私保護強度達到了最高水平，且對于任意2個鄰近數(shù)據(jù)集，算法輸出結(jié)果的概率分布完全相同，攻擊者無法通過觀察結(jié)果的差異性獲得任何關(guān)于數(shù)據(jù)集的有用信息.因此，ε的取值需根據(jù)用戶實際隱私需求來調(diào)整，以同時滿足輸出結(jié)果的可用性與數(shù)據(jù)的隱私性.

為了方便參考，表1給出了本文主要使用的符號及其描述.

Table 1 Notations and Descriptions

3 差分私有指紋室內(nèi)定位聯(lián)邦學習模型

3.1 系統(tǒng)架構(gòu)及攻擊模型

為了解決傳統(tǒng)基于云架構(gòu)的RSS指紋室內(nèi)定位方法面臨的挑戰(zhàn)，本文綜合考慮定位性能、隱私保護和資源開銷，提出了一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型DP-FLocEC，其系統(tǒng)架構(gòu)如圖1所示.該系統(tǒng)架構(gòu)是一個3層的邊緣計算框架，它將整個室內(nèi)定位聯(lián)邦學習協(xié)議劃分為跨云服務(wù)器層、邊緣服務(wù)器層和終端設(shè)備層，能很好地支持具有多個參與者的聯(lián)邦學習協(xié)議.假定擁有終端設(shè)備的用戶群A，B，C已經(jīng)分別收集到了大量的室內(nèi)定位RSS數(shù)據(jù)，為了能夠享受部署在邊緣服務(wù)器上的室內(nèi)定位服務(wù)，他們都自愿參與室內(nèi)定位聯(lián)邦學習協(xié)議.同時，他們都盡力防止在整個聯(lián)邦學習過程中，將自己的RSS數(shù)據(jù)泄露給系統(tǒng)中的不可信實體(如邊緣服務(wù)器、云服務(wù)器等)；邊緣服務(wù)器在接收到終端設(shè)備已經(jīng)擾動過的RSS數(shù)據(jù)后進行聚合和本地子模型訓練，并將訓練好的子模型參數(shù)共享給云服務(wù)器以便獲得最優(yōu)的全局定位模型；云服務(wù)器接收邊緣服務(wù)器發(fā)送的子模型參數(shù)，執(zhí)行全局模型聚合與協(xié)同更新，并將更新后的模型參數(shù)下發(fā)給各邊緣服務(wù)器.室內(nèi)定位聯(lián)邦學習模型分為離線訓練和在線定位2個階段.整個系統(tǒng)框架的具體描述如下：

1) 終端設(shè)備.是指聯(lián)邦學習參與者擁有的一套智能終端設(shè)備(如智能手機、平板電腦、智能監(jiān)控設(shè)備等)，具有計算、存儲和通信能力.離線訓練階段，終端設(shè)備可用于從室內(nèi)區(qū)域(如大型購中心、地下停車場、展覽廳等)的多個無線傳感器信標(如WiFi、藍牙等)獲取、存儲本地RSS指紋數(shù)據(jù)集，并獨立地對收集到的RSS數(shù)據(jù)集進行數(shù)據(jù)預(yù)處理和噪聲添加，然后將擾動后的RSS數(shù)據(jù)發(fā)送給附近的邊緣服務(wù)器.同時，在在線定位階段，終端設(shè)備度量實時指紋數(shù)據(jù)并經(jīng)加噪聲擾動給發(fā)送給邊緣服務(wù)器來獲得定位服務(wù).

2) 邊緣服務(wù)器.是邊緣計算架構(gòu)的核心實體，通常在用戶場所(如公園、商場、購物中心等)實現(xiàn)，并且可能部署在固定的位置(如基站).它們具有比終端設(shè)備更強大的存儲和計算資源，并作為云服務(wù)器和終端設(shè)備之間的計算單元.邊緣服務(wù)器主要執(zhí)行可信的數(shù)據(jù)聚合、本地子模型訓練和服務(wù)反饋.在離線訓練階段，邊緣服務(wù)器先接收由附近終端設(shè)備上傳的經(jīng)過擾動處理后的RSS指紋數(shù)據(jù)，并將這些指紋數(shù)據(jù)聚合成包含多個用戶信息的RSS指紋數(shù)據(jù).同時，它利用這些聚合數(shù)據(jù)進行本地定位子模型的可信訓練，并將訓練好的本地子模型參數(shù)上傳給云服務(wù)器，如此重復迭代，直至模型收斂.在線定位階段，邊緣服務(wù)器根據(jù)用戶提交的經(jīng)過加噪聲處理后的實時RSS指紋數(shù)據(jù)，利用訓練好的定位模型為用戶提供高可信、高精度的室內(nèi)定位服務(wù).

Fig. 1 Differential privacy federated learning architecture圖1 差分私有聯(lián)邦學習架構(gòu)

3) 云服務(wù)器.作為數(shù)據(jù)中心，具有比邊緣服務(wù)器更強大的存儲和計算能力.它接收各邊緣服務(wù)器共享的子模型參數(shù)，利用聯(lián)邦平均優(yōu)化算法[50]更新全局共享模型參數(shù)，并將更新后的模型參數(shù)下發(fā)給各邊緣服務(wù)器進行下一輪迭代訓練，直至獲得最優(yōu)的訓練模型.為了防止不可信的云服務(wù)器通過模型反演攻擊[37]或梯度反向推理攻擊[31,51]推斷出各參與用戶的隱私訓練數(shù)據(jù)，在聚合、更新全局參數(shù)時需要進行隱私保護處理，本文利用差分隱私技術(shù)向聯(lián)邦學習協(xié)議各參與方的模型參數(shù)添加合適的Laplace噪聲后再進行全局參數(shù)匯總更新來實現(xiàn)隱私保護.

Fig. 2 The structure of indoor localization model圖2 室內(nèi)定位模型結(jié)構(gòu)圖

在這些實體當中，假定終端設(shè)備是可信的，它正確的處理收集到RSS數(shù)據(jù)并且不會泄露這些RSS數(shù)據(jù)給其他參與者.另外，本文假定邊緣服務(wù)器和云服務(wù)器是誠實且好奇的[53]，即他們能忠實地執(zhí)行聯(lián)邦學習協(xié)議過程并正確計算和發(fā)送真實的計算結(jié)果.然而，他們對包含在RSS指紋數(shù)據(jù)中的隱私很好奇并且會盡力去分析并挖掘用戶的隱私.在整個離線訓練過程中，邊緣服務(wù)器只與云服務(wù)器通信，除了共同維護的全局參數(shù)外，它無法獲取其他邊緣服務(wù)器的任何信息，保障用戶RSS指紋數(shù)據(jù)的機密性.除隱私問題外，邊緣計算框架中的聯(lián)邦學習協(xié)議也會面臨終端設(shè)備資源受限的問題.因為執(zhí)行復雜的DL模型需要巨大的計算開銷，而資源受限的終端設(shè)備難以承擔復雜DL模型的訓練過程.因此，如何設(shè)計一個不需要太大計算開銷而又不違反聯(lián)邦學習機制，同時又能夠保護用戶RSS指紋數(shù)據(jù)隱私的有效定位模型是DP-FLocEC面臨的一個重要挑戰(zhàn).

3.2 室內(nèi)定位模型結(jié)構(gòu)

為了確保高的定位精度又能在資源受限的邊緣服務(wù)器上實現(xiàn)DL定位模型訓練過程，本文借鑒文獻[17,37]，設(shè)計并實現(xiàn)了一個輕量級室內(nèi)定位CNN網(wǎng)絡(luò)模型.具體如圖2所示.該模型包含2個卷積層、1個池化層和2個全連接層.其中卷積層對原始RSS指紋數(shù)據(jù)進行特征提取，池化層對卷積層提取的特征進行壓縮，全連接層用于將壓縮后的特征映射到目標結(jié)果.

本文使用TensorFlow來模擬指紋室內(nèi)定位聯(lián)邦學習協(xié)議，并選擇Adadelta優(yōu)化器作為模型的優(yōu)化方法.因為Adadelta優(yōu)化器只利用一階信息來動態(tài)適應(yīng)時間的變化，除了普通的隨機梯度下降法之外，它的計算開銷最小，而且該方法不需要手動調(diào)整學習率，對噪聲梯度信息、不同的模型結(jié)構(gòu)選擇以及不同的數(shù)據(jù)模式和超參數(shù)選擇都具有很好的魯棒性.雖然聯(lián)邦學習因其本地訓練的特性為每個參與者的原始RSS指紋數(shù)據(jù)提供基本的隱私保護，但是在邊緣環(huán)境下，參與者的原始RSS指紋數(shù)據(jù)，部分本地子模型參數(shù)仍然會暴露給不可信的邊緣服務(wù)器和云服務(wù)器，導致用戶隱私泄露.例如，聯(lián)邦學習中的云服務(wù)器能夠很容易執(zhí)行模型反演攻擊來獲得部分參與者隱私訓練數(shù)據(jù)的分布[37]或通過共享梯度執(zhí)行梯度反向推理攻擊，在不需要訓練數(shù)據(jù)集的任何額外信息的情況下完全獲得參與者的隱私訓練數(shù)據(jù)[31,51].因此，需要設(shè)計一個切實可信的隱私保護機制來防止聯(lián)邦學習中每個參與者的RSS指紋數(shù)據(jù)直接暴露給不可信邊緣服務(wù)器和云服務(wù)器.

差分隱私[47]是一種有效且應(yīng)用非常廣泛的隱私保護方案，它能夠通過向敏感數(shù)據(jù)集添加合適的隨機噪聲來提供嚴格的隱私保證.在DP-FLocEC中，我們在將參與者RSS指紋數(shù)據(jù)發(fā)送給不可信邊緣服務(wù)器進行本地子模型訓練之前先使用差分隱私技術(shù)對其進行差分私有數(shù)據(jù)擾動以保護用戶的隱私.同時，為了防止不可信云服務(wù)器通過共享的模型參數(shù)推斷出用戶原始RSS指紋數(shù)據(jù)，我們在云服務(wù)器進行全局參數(shù)匯總與更新之前先對共享的本地子模型參數(shù)添加合適的Laplace噪聲進行擾動.

3.3 DP-FLocEC算法

DP-FLocEC算法包含3個操作階段：1)差分私有訓練數(shù)據(jù)特征擾動；2)可信定位模型訓練；3)差分私有全局模型參數(shù)優(yōu)化.設(shè)總體隱私預(yù)算為ε，由于階段1)和階段3)是差分私有的，我們將ε劃分為2個子隱私預(yù)算εs和εc，這樣ε=εc+εs.下面討論離線訓練和在線定位2個階段的隱私保護方法.

3.3.1 離線訓練階段

(6)

算法1.差分私有數(shù)據(jù)擾動算法.

(7)

算法2.可信定位子模型訓練算法.

③ forepoch=1 toEpochdo

④ forstep=1 toStepdo

⑨ end for

3) 差分私有全局參數(shù)優(yōu)化.該操作階段在云服務(wù)器層上進行，云服務(wù)器接收邊緣服務(wù)器發(fā)送過來的各子模型參數(shù)，進行全局參數(shù)聚合和更新.由于云服務(wù)器不可信，在全局參數(shù)聚合與更新過程可能會利用模型參數(shù)通過模型反演攻擊或梯度反向推理攻擊推斷出用戶的訓練數(shù)據(jù)[31]，為此我們利用差分隱私技術(shù)在模型參數(shù)聚合和更新前向其添加合適的Laplace噪聲進行擾動，然后再進行全局參數(shù)聚合和更新以聯(lián)合優(yōu)化當前的全局模型，并將優(yōu)化好的模型參數(shù)下發(fā)給各邊緣服務(wù)器，使其進行下一次迭代訓練，直到全局模型趨于收斂.云端差分私有全局參數(shù)的更新優(yōu)化可以形式化為

(8)

算法3.模型參數(shù)可信聚合算法.

輸出：聚合后的全局模型參數(shù)wglobal.

① 初始化全局模型參數(shù)wglobal；

② fori=1 toNdo

⑤ end for

⑥ 將聚合后的全局參數(shù)wglobal發(fā)送到各個邊緣服務(wù)器.

依據(jù)定義3，該操作階段滿足εs-差分隱私.εs的大小決定了該操作階段噪聲添加的量，如果εs增大，則添加到該操作階段的噪聲量會減少，模型的精度會增加；而在整體隱私預(yù)算ε不變的情況下，分配給差分私有數(shù)據(jù)擾動階段的隱私預(yù)算εc就會降低，從而會增大該階段添加噪聲的量.因此，差分數(shù)據(jù)擾動和差分私有全局參數(shù)優(yōu)化2個階段聯(lián)合決定了隱私預(yù)算的分配，一個關(guān)鍵原則是適當給對模型精度影響更大的階段分配更多的子隱私預(yù)算.然而，為某個階段分配不必要的高隱私預(yù)算將會對模型性能產(chǎn)生負面影響，因為它會竊取那個需要高隱私預(yù)算階段的效用來保證模型性能.

3.3.2 在線定位階段

在線定位階段，參與用戶i實時收集他感興趣區(qū)域內(nèi)的RSS特征值，并將其發(fā)送給已部署在邊緣服務(wù)器上優(yōu)化好的模型獲取定位服務(wù).由于邊緣服務(wù)器不可信，用戶在發(fā)送RSS度量值時仍需要利用差分隱私技術(shù)添加合適的噪聲進行數(shù)據(jù)擾動.

算法4.客戶端請求定位服務(wù)算法.

gLaplace(Δf/εc)；

算法5.邊緣服務(wù)器服務(wù)反饋算法.

輸出：返回給用戶的服務(wù)Stype.

③ 將預(yù)測結(jié)果Stype發(fā)送給用戶i.

3.4 安全性分析

在本節(jié)中，使用差分隱私中序列組合性質(zhì)和并行組合性質(zhì)[54]對DP-FLocEC進行安全性分析.

定理1.DP-FLocEC能夠提供ε-差分隱私保護.

證明. 根據(jù)算法1～3，DP-FLocEC提供的隱私保護處理主要包括以下3個操作階段：

1) 為了防止用戶數(shù)據(jù)直接暴露在不可信的邊緣服務(wù)器，用戶通過對其終端設(shè)備上RSS指紋數(shù)據(jù)進行擾動，以達到保護用戶數(shù)據(jù)隱私的目的；

2) 邊緣服務(wù)器利用擾動后的數(shù)據(jù)進行模型訓練，然后將得到的模型參數(shù)上傳到云服務(wù)器；

3) 云服務(wù)器對各邊緣服務(wù)器上傳的模型參數(shù)進行匯聚，并在參數(shù)匯聚時進行差分擾動，從而防止攻擊者針對云服務(wù)器實施差分攻擊[55]、模型反演攻擊、梯度反向推理攻擊，實現(xiàn)模型參數(shù)的保護.

設(shè)算法總的隱私預(yù)算為ε，將其劃分為2個子隱私預(yù)算εc,εs分別分配給階段1)和階段3)，因此ε=εc+εs.階段1)和階段3)在數(shù)據(jù)集Dc,Ds上的隨機算法為Mc:Dc→R,Ms:Ds→R，且Mc,Ms的隨機過程相對獨立.根據(jù)定義1，有

因此DP-FLocEC在階段1)和階段3)分別滿足εc-差分隱私和εs-差分隱私，在階段2)中邊緣服務(wù)器接收到的數(shù)據(jù)是經(jīng)過階段1)處理后的.因此，在這些數(shù)據(jù)上進行聚合和計算操作同樣滿足εc-差分隱私.

在階段1)中，?i∈{1,2,…，N}，N為參與者個數(shù)，設(shè)參與者Pi在數(shù)據(jù)集Di上的隨機算法Mci:Di→R滿足εi-差分隱私，且任意2個隨機算法Mci的隨機過程相互獨立.

由|R⊕S|∈可知，在所有的{1,2,…,N}，有且僅有1個其他的相鄰數(shù)據(jù)集所以，?O?R，使得

eεi×Pr[Mc(D′)=O]，

當且僅當εc≥εi時，有

Pr[Mc(D)=O]=eεc×Pr[Mc(D′)=O]，

對于算法的整體而言，設(shè)隨機算法M:Dc×Ds→R，有M={Mc,Ms}，記算法M的輸出為O={rc,rs}.由于算法Mc和Ms的隨機過程相互獨立.因此，對于?O?R，有

Pr[M(D)=O]=Pr[Mc(Dc)=rc]×

Pr[M(D′)=O].

Pr[M(D)=O]=eεc+εs×Pr[M(D′)=O]=

eε×Pr[M(D′)=O].

因此，DP-FLocEC滿足ε-差分隱私，即攻擊者無法通過觀察算法輸出結(jié)果的差異性，來實施差分攻擊，也無法利用模型反演攻擊來準確獲取訓練樣本及用戶隱私信息.同時，由于多個邊緣服務(wù)器在假定條件下不具有通信能力，即邊緣服務(wù)器間相互獨立，數(shù)據(jù)無法共享，那么攻擊者也無法通過關(guān)聯(lián)多個邊緣服務(wù)器的數(shù)據(jù)實施鏈接攻擊.因此，在邊緣服務(wù)器端，用戶數(shù)據(jù)和本地子模型參數(shù)的數(shù)據(jù)隱私得以保證.

4 實驗結(jié)果與分析

4.1 實驗配置

為了模擬邊緣計算環(huán)境下的室內(nèi)定位聯(lián)邦學習協(xié)議，本文利用TensorFlow構(gòu)建室內(nèi)定位模型，模擬了2個具有相同數(shù)據(jù)量的邊緣服務(wù)器.利用Socket協(xié)議實現(xiàn)邊緣服務(wù)器與參數(shù)服務(wù)器間的通信，優(yōu)化器采用Adadelta，Adadelta不是累積所有過去的梯度，而是根據(jù)漸變更新移動窗口調(diào)整學習速率，無需設(shè)置初始學習率，迭代次數(shù)為1 000，批次大小為32.硬件環(huán)境為：Inter?CoreTMi7-8750H CPU@2.20 GHz，NVIDIA GeForce GTX1060顯卡，24 GB RAM，6 GB顯存.具體的網(wǎng)絡(luò)模型參數(shù)如表2所示：

Table 2 The Parameters of Network

續(xù)表2

4.2 實驗數(shù)據(jù)集

實驗采用Mall[2]，Mall-WiFi[2]，UJIIndoorLoc[56]3個RSS指紋數(shù)據(jù)集來評價DP-FLocEC的有效性和性能.其中Mall，Mall-WiFi數(shù)據(jù)集是在真實環(huán)境中，利用智能手機收集，實驗場地的平面布置和藍牙信標部署位置如圖3所示，UJIIndoorLoc為公開數(shù)據(jù)集.

Fig. 3 The floorplan of experimental sites for collecting data圖3 實驗數(shù)據(jù)采集環(huán)境平面圖

1) Mall數(shù)據(jù)集和Mall-WiFi數(shù)據(jù)集.均采自一個31.8 m×14.95 m的購物中心區(qū)域，整個區(qū)域被劃分為10個子區(qū)域.在所有采集位置點附近總共布設(shè)了22個BLE信標，可以穩(wěn)定檢測到來自35個WiFi AP的信號.Mall數(shù)據(jù)集包含7 000個有效樣本，每個樣本都包含一個區(qū)域ID和57維RSS特征(22維藍牙特征和35維WiFi特征).Mall-WiFi數(shù)據(jù)集同樣包含7 000個有效樣本，但每個樣本只包含一個區(qū)域ID和35維WiFi特征.

2) UJIIndoorLoc數(shù)據(jù)集.采自Universitat Jaume I的一個390m×270m區(qū)域的4層建筑，該數(shù)據(jù)集包含19 937個訓練樣本和1 111個測試樣本，每個樣本包含一個樓層ID和520維的WiFi RSS特征.

通常情況下，RSS在-45～-100 dBm之間，如果AP靠近用戶的終端設(shè)備位置，則其信號較強.相反，如果AP遠離終端設(shè)備位置，則其信號較弱甚至不可用[57].實驗中將信號強度較弱的RSS設(shè)置為-200 dBm，3個數(shù)據(jù)集在使用前都使用z-score方法進行了歸一化處理.

4.3 實驗結(jié)果與分析

實驗?zāi)M了2個擁有相同數(shù)據(jù)量的客戶端，并將數(shù)據(jù)集按照90%，10%的比例劃分為訓練集與測試集，分別在3個數(shù)據(jù)集上進行了實驗驗證與分析.

4.3.1 Mall-WiFi數(shù)據(jù)集上的實驗結(jié)果與分析

1) 隱私預(yù)算分配對模型性能的影響

為了防止不可信邊緣服務(wù)器和云服務(wù)器獲取到參與用戶的私有訓練數(shù)據(jù)，DP-FLocEC分別向用戶RSS數(shù)據(jù)和模型參數(shù)添加了合適的Laplace噪聲對數(shù)據(jù)進行擾動，但是添加噪聲量的多少勢必會對模型的性能產(chǎn)生影響.由差分隱私的定義知，向模型中添加的噪聲越多，隱私保護的效果就越好，但對模型性能的影響也越大，添加的噪聲越少，對模型性能的影響越小，但是用戶的隱私不能得到很好地保護.因此，隱私預(yù)算分配策略對定位模型的性能至關(guān)重要.下面通過實驗研究不同隱私預(yù)算分配對模型性能的影響.在下面的實驗中，設(shè)置模型迭代訓練次數(shù)為1 000次，批次大小為32，總隱私預(yù)算εtotal=1、將其分配給子隱私預(yù)算εs,εc，即εtotal=εs+εc.本組實驗的主要目的就是評估不同的隱私預(yù)算分配εs,εc值對模型定位性能的影響.為了簡便，設(shè)(εs,εc)={(x,y)|x=j,y=1-j,0.1≤j≤0.9}，不同隱私預(yù)算分配εs,εc值對模型性能影響如圖4～7所示.

Fig. 4 The training accuracy of different privacy budgets allocation圖4 不同隱私預(yù)算分配的模型訓練精度

從圖4～7可以看出，不同的隱私預(yù)算分配(εs,εc)值會得到不同的模型定位性能.由差分隱私定義知，隱私預(yù)算越小，添加的噪聲越多，對數(shù)據(jù)的擾動越大，隱私保護效果就越好.反之，隱私預(yù)算值越大，添加的噪聲的量越小，對數(shù)據(jù)的擾動就越小，隱私保護效果就會越差.從圖4～7中也可以看出，隨著訓練迭代次數(shù)的增大，定位模型的訓練精度、測試精度在增大，而訓練損失和測試損失在減小.當?shù)喆未笥?00時，模型的訓練精度(圖4所示)提升比較緩慢，幾乎處于穩(wěn)定狀態(tài)，這說明模型經(jīng)過700輪次的迭代訓練后提取的信號特征已經(jīng)能很好地描述整個訓練數(shù)據(jù)集的整體特征.反觀模型的測試精度(圖6所示)和測試損失(圖7所示)則表現(xiàn)沒有訓練精度(圖4所示)和訓練損失(圖5所示)穩(wěn)定.這是因為雖然模型經(jīng)過700輪的迭代訓練，提取的信號特征能代表整個訓練數(shù)據(jù)集的特征，但其不能代表整個數(shù)據(jù)集(訓練集和測試集)的特征，測試集僅用來測試訓練后的模型性能，并不會參與到模型訓練的特征學習任務(wù)當中，由此測試數(shù)據(jù)集的特征可能會和訓練好的模型有一定的不匹配性，從而導致模型的測試精度和測試損失出現(xiàn)一定幅度的擺動.另外，從圖4～7中也可以看出，在總隱私預(yù)算εtotal=1不變的情況下，隨著εs的增大、εc的減小，對訓練數(shù)據(jù)的擾動增加、對模型參數(shù)的擾動減小，模型的訓練和測試精度在下降、訓練和測試損失在增加，這說明給數(shù)據(jù)擾動分配過小的隱私預(yù)算εc值會對模型學習產(chǎn)生顯著的負面影響.例如，當[εs,εc]=[0.1,0.9]時，表示對模型參數(shù)的擾動較大、對數(shù)據(jù)的擾動較小，此時的訓練精度達到了92.33%、測試精度達到了94.15%訓練損失為0.226 0、測試損失為0.271 9.當[εs,εc]=[0.5,0.5]時，對訓練數(shù)據(jù)模型參數(shù)的擾動程度相同，模型訓練精度達到了90.19%、測試精度達到了91.00%、訓練損失為0.286 9、測試損失為0.351 2.當[εs,εc]=[0.9,0.1]時，表示對數(shù)據(jù)的擾動很大，而對模型參數(shù)的擾動很小，模型訓練精度達到了72.38%、測試精度為52.00%、訓練損失為0.774 6、測試損失為1.318 9.非常有趣的是，圖6和圖7中，當[εs,εc]=[0.9,0.1]時，隨著學習迭代次數(shù)的增加，DP-FLocEC模型的測試精度從65.36%快速下降到50%以下、測試損失也由1.1快速上升到1.4，導致模型幾乎不可用.這是因為DP-FLocEC模型訓練時，在數(shù)據(jù)集上添加了太多的噪聲，使訓練數(shù)據(jù)與測試數(shù)據(jù)的分布差別變大，由此模型的訓練精度隨著迭代次數(shù)增加而增大，而測試精度由于產(chǎn)生過擬合而下降.為了在隱私保護和模型性能之間取得較好的權(quán)衡，后續(xù)實驗選取[εs,εc]=[0.5,0.5].

Fig. 5 The training loss of different privacy budgets allocation圖5 不同隱私預(yù)算分配的模型訓練損失

Fig. 6 The testing accuracy of different privacy budgets allocation圖6 不同隱私預(yù)算分配的模型測試精度

Fig. 7 The testing loss of different privacy budgets allocation圖7 不同隱私預(yù)算分配的模型測試損失

雖然上面的隱私預(yù)算分配策略從模型效用最大化的角度來看是有益的，但我們也有必要討論它對隱私的影響.由DP-FLocEC算法可知，它的2個私有操作階段差分私有數(shù)據(jù)擾動和差分私有全局參數(shù)分別滿足εs-差分隱私和εc-差分隱私，越高的隱私預(yù)算分配將會使該階段RSS數(shù)據(jù)的特征保持更準確，而越低的隱私預(yù)算分配將會使該階段的RSS數(shù)據(jù)特征得到更多的擾動.正如前面討論的，這2個階段聯(lián)合決定了隱私預(yù)算分配，一種靈活的分配策略是可以讓用戶根據(jù)自己對哪個階段有更敏感的認識來分配隱私預(yù)算，用戶認為哪個階段更敏感，則分配更小的隱私，從而產(chǎn)生更大的擾動來保護他的隱私.例如，如果用戶感覺他的RSS數(shù)據(jù)本身更敏感，那么就給數(shù)據(jù)擾動階段分配一個小的εc.如果用戶認為全局模型參數(shù)更敏感，則分配一個小的εs對其產(chǎn)生更多的擾動.

2) 不同模型的性能比較

為了進一步說明DP-FLocEC的有效性，將之和Central[58]，Central-DP[49]，F(xiàn)ed[50]，F(xiàn)ed-DP[46]，F(xiàn)edMEC[18]，OPP[44]，OJP[44]模型在2種場景下做對比實驗，各方法采用相同的優(yōu)化函數(shù)、迭代次數(shù)、批次大小及總的隱私預(yù)算.Central，Central-DP，OPP，OJP采用了集中式的學習框架，其中Central方法沒有進行隱私保護處理，而Central-DP，OPP，OJP采用了差分隱私保護策略，F(xiàn)ed，F(xiàn)ed-DP，F(xiàn)edMEC，DP-FLocEC采用了聯(lián)邦學習框架，其中Fed沒有采用隱私保護策略，其他3種方法均采用差分隱私保護策略.

場景1：Central-DP在模型參數(shù)上的隱私預(yù)算εs=1，F(xiàn)ed-DP在數(shù)據(jù)上的隱私預(yù)算εc=1，OPP ，OJP在損失函數(shù)和模型輸出上的隱私預(yù)算εs=1，DP-FLocEC在訓練數(shù)據(jù)和模型參數(shù)的隱私預(yù)算εc=εs=0.5，F(xiàn)edMEC空操作比例μ=5%，噪聲尺度參數(shù)b=2.圖8～11給出了不同方法的對比結(jié)果.

Fig. 8 The comparison of training accuracy of different models with εtotal=1圖8 εtotal=1時不同模型的訓練精度對比

Fig. 9 The comparison of training loss of different models with εtotal=1圖9 εtotal=1時不同模型的訓練損失對比

Fig. 10 The comparison of testing accuracy of different models with εtotal=1圖10 εtotal=1時不同模型的測試精度對比

Fig. 11 The comparison of testing loss of different models with εtotal=1圖11 εtotal=1時不同模型的測試損失對比

場景2：Central-DP在模型參數(shù)上的隱私預(yù)算εs=0.5，F(xiàn)ed-DP在訓練數(shù)據(jù)上的隱私預(yù)算εc=0.5，DP-FLocEC在訓練數(shù)據(jù)和模型參數(shù)的隱私預(yù)算εc=εs=0.5，OPP ，OJP在模型輸出和損失函數(shù)上的隱私預(yù)算εs=0.5，F(xiàn)edMEC空操作比例μ=5%，噪聲尺度參數(shù)b=2.圖12～13給出不同方法的模型訓練精度與測試精度對比結(jié)果.

Fig. 12 The comparison of training accuracy of different models with εc=εs=0.5圖12 εc=εs=0.5時不同模型的訓練精度對比

Fig. 13 The comparison of testing accuracy of different models with εc=εs=0.5圖13 εc=εs=0.5時不同模型的測試精度對比

這種場景下，DP-FLocEC在模型參數(shù)和訓練數(shù)據(jù)上添加噪聲的量和分別在Central-DP，F(xiàn)ed-DP，F(xiàn)edMEC方法對應(yīng)的模型和訓練數(shù)據(jù)上添加的噪聲以及OPP，OJP方法在模型輸出和損失函數(shù)上添加的噪聲量相同.從圖12、圖13可以看出，DP-FLocEC的訓練精度和測試精度基本與Central-DP和Fed-DP方法的相同，相比于OPP，OJP方法，模型的訓練與測試精度分別下降了5.49%，2.43%，7.73%，4.86%，相比于FedMEC方法，DP-FLocEC則有較大的優(yōu)勢.由此可見，DP-FLocEC即使在邊緣服務(wù)器和云服務(wù)器都不可信的情況下，仍能在提供用戶訓練數(shù)據(jù)隱私保護的同時抵御差分攻擊、模型反演攻擊和梯度反向推理攻擊，并獲得了精確的定位精度.

3) 不同模型的時間性能對比

表3給出DP-FLocEC和其他7種模型的時間性能對比，其中D_PreP表示數(shù)據(jù)預(yù)處理時間、Time_Tr為模型訓練時間、Time_Te為樣本測試時間、Time_Com為通信時間.

Table 3 The Time Comparison of Different Models

從表3可以看出，DP-FLocEC在數(shù)據(jù)預(yù)處理上的時間和Fed-DP相近，高于Central，F(xiàn)ed，OPP，OJP方法，低于Central-DP和FedMEC.由于Central，F(xiàn)ed，OPP，OJP方法沒有考慮到數(shù)據(jù)的隱私，因此在數(shù)據(jù)預(yù)處理時間低于其他方法.Fed，F(xiàn)ed-DP，F(xiàn)edMEC，DP-FLocEC基于聯(lián)邦學習架構(gòu)，其訓練模型所需的時間比其他2種集中式的學習方法都少.由于各個模型采用的網(wǎng)絡(luò)架構(gòu)相同，因此每個方法的測試時間差別不大.此外，F(xiàn)edMEC方法對模型進行分割，使得可訓練的模型參數(shù)減少，極大地降低了時間復雜度與通信復雜度.但是，該方法過于考慮用戶的數(shù)據(jù)隱私保護，嚴重破壞了數(shù)據(jù)的原始分布，導致數(shù)據(jù)的可用性降低.

4.3.2 Mall和UJIIndoorLoc數(shù)據(jù)集上的實驗結(jié)果與分析

為了驗證DP-FLocEC在不同大小數(shù)據(jù)集上的有效性，分別在包含有520維RSS特征的UJIIndoorLoc數(shù)據(jù)集和57維RSS特征的Mall數(shù)據(jù)集上進行了與在Mall-WiFi數(shù)據(jù)集上相同的實驗.采用模型的訓練精度Acc_Tr、測試精度Acc_Te、訓練損失Loss_Tr、測試損失Loss_Te、數(shù)據(jù)預(yù)處理時間D_PreP、模型訓練時間Time_Tr、樣本測試時間Time_Te及通信時間Time_Com作為評價指標，具體結(jié)果如表4所示.

從表4可以看出，DP-FLocEC的模型訓練精度與測試精度在UJIIndoorLoc，Mall數(shù)據(jù)集上分別達到了95.93%，96.57%，93.53%，94.86%.比FedMEC在UJIIdoorLoc，Mall數(shù)據(jù)集上的模型訓練精度與測試精度分別高出了0.68%，7.97%，10.97%，10.71%.雖然FedMEC方法對數(shù)據(jù)提供了更加嚴格的隱私保護，但是卻嚴重破壞了數(shù)據(jù)的原始分布，使得模型的性能不高.與Central-DP，F(xiàn)ed-DP，OPP，OJP方法相比，DP-FLocEC模型訓練精度與測試精度雖然在UJIIndoorLoc，Mall數(shù)據(jù)集上分別下降了[0.01%,1.25%]，[-0.04%,0.72%]，[-0.46%,1.91%]，[-0.57%,3.28%]，[3.34%,3.74%]，[0.87%,1.37%]，[3.91%,4.58%]，[0.97%,3%]，但是DP-FLocEC能夠在保證服務(wù)質(zhì)量略微下降的情況下，同時保證數(shù)據(jù)及模型參數(shù)的隱私.由于沒有對數(shù)據(jù)進行隱私保護處理，Central，F(xiàn)ed，OPP，OJP方法在UJIIndoorLoc和Mall數(shù)據(jù)集上的數(shù)據(jù)預(yù)處理上花費的時間最少.此外，由于Fed，F(xiàn)ed-DP，DP-FLocEC基于聯(lián)邦學習架構(gòu)且網(wǎng)絡(luò)模型相同，所以模型的訓練與測試時間差別不大.值得注意的是，F(xiàn)edMEC方法在UJIIndoorLoc和Mall數(shù)據(jù)上的數(shù)據(jù)處理時間與其他方法相比是最大的、模型訓練花費時間是最小的，雖然FedMEC也是基于聯(lián)邦學習架構(gòu)，但該方法對模型進行了切分，使得可訓練的模型參數(shù)變小，模型訓練的速度變快.此外，將特征提取與隱私保護任務(wù)分配給資源有限的終端設(shè)備，給終端設(shè)備計算資源造成了巨大的負擔.另外，在Mall，Mall-WiFi，UJIIndoorLoc數(shù)據(jù)集上的實驗也說明訓練數(shù)據(jù)的特征越豐富，DP-FLocEC模型的定位精度越高；而且，在Mall，Mall-WiFi，UJIIndoorLoc數(shù)據(jù)集上分別取得了91%，94.86%，96.57%的測試精度.這也說明了DP-FLocEC具有很好的實用性和魯棒性.綜上，DP-FLocEC方法能夠在提供高可靠室內(nèi)定位服務(wù)的同時，保護數(shù)據(jù)及模型參數(shù)的隱私，使得室內(nèi)定位服務(wù)應(yīng)用更加安全、可靠.

Table 4 Comparison of Accuracy, Loss, and Time with Different Models

續(xù)表4

4.3.3 不同定位模型的性能比較

為了驗證DP-FLocEC的性能，與Ciftler等人[15]所用的MLP框架以及Liu等人[43]提出的FLoc框架在UJIIndoorLoc數(shù)據(jù)集上進行比較實驗，由于文獻[15]利用MLP進行室內(nèi)定位是一個回歸問題，不能與本文的分類任務(wù)直接比較.因此，將其轉(zhuǎn)換成一個分類任務(wù).其中迭代次數(shù)為50，批次大小為256，實驗結(jié)果如表5所示:

Table 5 Performance Comparison of Different Indoor Localization Models

從表5中可以看出，由于MLP網(wǎng)絡(luò)結(jié)構(gòu)比較簡單、FLoc使用了自動編碼器降低RSS數(shù)據(jù)的維度，使得模型的訓練、測試時間都要優(yōu)于DP-FLocEC.但是，由于DP-FLocEC使用了CNN來細粒度地提取RSS數(shù)據(jù)特征，訓練得到的模型能夠充分刻畫數(shù)據(jù)整體特征，使得DP-FLocEC在模型的測試精度與測試損失方面的性能都要高于MLP和FLoc框架，對測試數(shù)據(jù)集的分類更準確，但是也造成DP-FLocEC的模型訓練時間遠高于MLP和FLoc框架.總之，基于CNN的DP-FLocEC模型在較快的響應(yīng)時間內(nèi)，能夠為用戶提供更加精確、可靠、實時的定位服務(wù).

4.3.4 隱私泄露分析

(9)

本文分別在Mall-WiFi，Mall，UJIIndoorLoc這3個數(shù)據(jù)集上利用式(9)對DP-FLocEC模型的隱私泄露進行了實驗，結(jié)果如圖14所示：

Fig. 14 The analysis of privacy leakage圖14 隱私泄露分析

從圖14中可以看出，在總隱私預(yù)算不變的情況下，隨著子隱私預(yù)算εs的增大，εc的減小，3個數(shù)據(jù)集上模型的隱私泄露逐漸上升，當[εs,εc]=[0.9, 0.1]時，在Mall-WiFi數(shù)據(jù)集上隱私泄露達到最大0.24，而在Mall數(shù)據(jù)集和UJIIndoorLoc上的隱私泄露值分別為0.0991和0.0083.由于Mall-WiFi數(shù)據(jù)集僅包含35維的特征，用于模型訓練時易產(chǎn)生過擬合，攻擊者更容易區(qū)分出訓練數(shù)據(jù)，所以隱私泄露會比其他2個數(shù)據(jù)集高很多.而Mall數(shù)據(jù)集和UJIIndoorLoc數(shù)據(jù)集分別包含57維和520維特征，其隱私泄露非常低.這說明隨著數(shù)據(jù)特征及數(shù)量的增大，隱私泄露風險會逐漸降低，這可能是因為數(shù)據(jù)量及數(shù)據(jù)特征越大，模型不易過擬合，攻擊者很難區(qū)分訓練數(shù)據(jù)和其余數(shù)據(jù).因此，差分隱私機制能很好地保護用戶的RSS數(shù)據(jù)隱私.從圖14中也可以看出，當[εs,εc]=[0.5,0.5]時，本文方法在Mall-WiFi，Mall，UJIIndoorLoc這3個數(shù)據(jù)集上的隱私泄露分別為0.0333，0.019，0.0021，考慮到前面討論的隱私預(yù)算分配對模型性能的影響，這種分配策略能在隱私保護和模型性能之間取得更好的權(quán)衡.

5 結(jié) 論

本文提出了DP-FLocEC模型，該模型構(gòu)建了邊緣計算框架下的聯(lián)邦學習協(xié)議，降低了云服務(wù)器的計算開銷、通信開銷及數(shù)據(jù)傳輸延遲，同時利用差分隱私技術(shù)實現(xiàn)了可證明的隱私保護算法，解決了邊緣服務(wù)器和云服務(wù)器上定位模型訓練及應(yīng)用過程中的用戶數(shù)據(jù)及模型參數(shù)隱私泄露問題.為了解決終端設(shè)備資源受限問題，DP-FLocEC構(gòu)建了一個基于CNN的輕量級室內(nèi)定位模型，在Mall，Mall-WiFi，UJIIndoorLoc數(shù)據(jù)集上分別取得了91%，94.86%，96.57%的測試精度.實驗結(jié)果和安全性分析表明，與基于云架構(gòu)的集中式模型相比，該機制在提供可證明的隱私保護情況下取得了較高的定位精度、減少了通信開銷；與基于聯(lián)邦學習架構(gòu)的分布式模型相比，該機制在取得幾乎相同定位精度和資源開銷的情況下，提供了更加全面的隱私保護.在未來的工作中，擬構(gòu)建真實的室內(nèi)定位及邊緣計算環(huán)境，深入研究DL模型隱私保護中的動態(tài)隱私分配機制，優(yōu)化室內(nèi)定位模型網(wǎng)絡(luò)架構(gòu)，使得DP-FLocEC在提供更加細粒度隱私保護的同時，提高模型的精度，降低模型的訓練、測試時間及通信開銷.

作者貢獻聲明：張學軍是論文核心思想和關(guān)鍵算法的提出者，主要負責論文撰寫、修改，指導論文實驗的設(shè)計、實現(xiàn)以及結(jié)果分析；何福存負責論文撰寫、修改，以及實驗設(shè)計、實現(xiàn)與結(jié)果統(tǒng)計分析；蓋繼揚、鮑俊達參與論文修改與部分實驗結(jié)果分析；黃海燕、杜曉剛參與論文修改與結(jié)構(gòu)設(shè)計.