• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型

    2022-12-16 02:41:10張學軍何福存蓋繼揚鮑俊達黃海燕杜曉剛
    計算機研究與發(fā)展 2022年12期
    關(guān)鍵詞:差分指紋邊緣

    張學軍 何福存 蓋繼揚 鮑俊達 黃海燕 杜曉剛

    (蘭州交通大學電子與信息工程學院 蘭州 730070)(xuejunzhang@lzjtu.edu.cn)

    近年來,隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展和物聯(lián)網(wǎng)智能終端設(shè)備數(shù)量的爆炸式增長,室內(nèi)定位技術(shù)作為室外定位的技術(shù)延伸,已被廣泛應(yīng)用在智慧工業(yè)(工廠人員和物資精確定位、危險源監(jiān)測等)、智慧養(yǎng)老(老人定位監(jiān)護、健康管理等)、智慧司法(監(jiān)獄人員定位、司法矯正等)、智慧醫(yī)療(院區(qū)就診導航、人員定位等)、智慧工地(隧道/地鐵/管廊人員的定位、環(huán)境數(shù)據(jù)采集等)、智慧文博(游客導航、文物防盜等)、智慧倉儲(物資定位、可疑物品追蹤等)等各個領(lǐng)域.隨著城市智能化的發(fā)展,室內(nèi)定位的重要性和價值日益顯現(xiàn),越來越受到社會的廣泛關(guān)注[1-3].對于室外定位技術(shù),其應(yīng)用場景大多是開放環(huán)境,即使定位誤差大到幾十米也不太會影響用戶的體驗.但是,室內(nèi)定位技術(shù)則要求亞米級的定位精度來滿足用戶需求.為了實現(xiàn)室內(nèi)環(huán)境中的高精度定位,研究者開展了一系列室內(nèi)定位技術(shù)的研究,相繼提出了基于WiFi[4-5]、藍牙[6]、RFID[7]、UWB[8]、紅外線[9]、超聲波[10]、電磁[11]等的室內(nèi)定位技術(shù)和系統(tǒng).其中,基于接收信號強度(received signal strength, RSS)的指紋定位方法(如使用WiFi、藍牙等),因其低成本、低功耗、測量范圍長、具有成熟的基礎(chǔ)設(shè)施和易于實現(xiàn)等優(yōu)勢而逐漸成為室內(nèi)定位技術(shù)的主流趨勢[12],并已培育了眾多的商業(yè)應(yīng)用[13],如Skyhook,Google,Indoo.rs,Wifarer等.

    基于指紋的室內(nèi)定位技術(shù)通常利用來自多個無線信標和接入點(access points, APs)的RSS指紋來估計室內(nèi)環(huán)境中用戶或設(shè)備的位置[14],它主要依托包含用戶終端和云定位服務(wù)器的云架構(gòu)實現(xiàn)定位[13],其核心是能夠發(fā)現(xiàn)指紋和位置之間映射關(guān)系的定位算法[14].近年來,機器學習已經(jīng)被證明是構(gòu)建映射關(guān)系函數(shù)的一種有效手段,并在指紋室內(nèi)定位技術(shù)中得到了廣泛應(yīng)用[2,12].指紋室內(nèi)定位技術(shù)包括離線訓練和在線定位2個階段,離線訓練階段通過從室內(nèi)場景中預(yù)先定義的各個參考點(reference point, RP)收集RSS指紋構(gòu)建位置指紋數(shù)據(jù)庫,在線定位階段將實時獲取的RSS指紋與位置指紋數(shù)據(jù)庫中存儲的指紋進行比較,得到相似度最高的指紋數(shù)據(jù)所對應(yīng)的位置來確定目標位置.雖然該方法的定位效果較好,但構(gòu)建指紋數(shù)據(jù)庫需要耗費大量的物力、人力.此外,RSS是一種不穩(wěn)定的信號,易受室內(nèi)復雜多變環(huán)境的影響,致使離線階段采集的信號指紋與在線階段獲取的RSS指紋可能存在偏差,導致這類方法存在較大的定位誤差.為進一步提高室內(nèi)定位精度、減少指紋數(shù)據(jù)庫構(gòu)建難度和應(yīng)對室內(nèi)復雜環(huán)境變化帶來的不利影響,許多學者結(jié)合深度學習(deep learning, DL)和眾包技術(shù)開展室內(nèi)定位方法的研究[1-2,15-17].但是,基于DL的室內(nèi)定位方法需要大量的帶標簽數(shù)據(jù)對定位模型進行長時間的訓練.眾所周知,訓練數(shù)據(jù)量越大、數(shù)據(jù)類型越多樣化,DL所訓練的定位模型魯棒性會越好.然而,大量RSS指紋的收集耗時且費力,而且來自用戶終端設(shè)備的指紋數(shù)據(jù)包含了許多與個人相關(guān)的敏感信息(如位置信息等),如果將這些信息直接發(fā)送給不可信的云定位服務(wù)器進行模型訓練,可能會引發(fā)嚴重的隱私泄露問題[13,18].2017年6月1日開始實施的《中華人民共和國網(wǎng)絡(luò)安全法》、2021年11月1日實施的《中華人民共和國個人信息保護法》和2018年5月25日歐盟開始實施的《通用數(shù)據(jù)保護條例》都對網(wǎng)絡(luò)數(shù)據(jù)安全和個人隱私保護做出了明確的規(guī)定和要求,進一步完善了對個人隱私信息的保護.因此,如何在保護用戶個人隱私的同時更好地訓練定位模型是基于DL的室內(nèi)定位技術(shù)面臨的一個重要挑戰(zhàn).

    另一方面,隨著各種室內(nèi)位置服務(wù)的應(yīng)用和大量智能終端設(shè)備的廣泛使用,室內(nèi)定位服務(wù)用戶請求更加頻繁、室內(nèi)定位環(huán)境部署更加快速、定位服務(wù)響應(yīng)需要更加可靠及時、物聯(lián)網(wǎng)環(huán)境下聯(lián)合定位的數(shù)據(jù)融合更加復雜以及為提高定位精度所帶來的大量數(shù)據(jù)傳輸和計算,都給使用云架構(gòu)的基于DL的室內(nèi)定位技術(shù)提出了一些新的挑戰(zhàn)[12,14,19]:1)室內(nèi)環(huán)境中大量物聯(lián)網(wǎng)智能終端設(shè)備的部署與互聯(lián)互通,產(chǎn)生的海量RSS指紋數(shù)據(jù)被集中傳輸?shù)皆品?wù)器上進行定位模型訓練會顯著增加網(wǎng)絡(luò)負載,造成數(shù)據(jù)傳輸擁塞和網(wǎng)絡(luò)延遲[20].2)大部分用戶終端設(shè)備電池續(xù)航能力有限,將大量RSS指紋數(shù)據(jù)傳輸?shù)皆贫ㄎ环?wù)器,需要消耗大量的電能;同時,由于云定位服務(wù)器的集中式處理方式,其運行和維護也需要消耗大量的電能.3)基于云的定位系統(tǒng)無法滿足系統(tǒng)邊緣區(qū)域?qū)焖賹崟r定位任務(wù)處理的需求.

    為了解決上述3個挑戰(zhàn),一種可行的方法是將基于DL的室內(nèi)定位系統(tǒng)部署到邊緣計算模式中[19].邊緣計算(edge computing, EC)[21]具有的低延遲、位置感知、分布式且異構(gòu)、可編程和數(shù)據(jù)本地化的特點,正好能滿足基于DL的定位系統(tǒng)所帶來的大數(shù)據(jù)處理、定位延遲、精度提高和隱私保護的需求[22].但是,在邊緣計算場景下,由于資源受限的邊緣計算基礎(chǔ)設(shè)施缺乏有效的隱私保護機制,隱私泄露問題仍然很嚴重[18,23-24].在離線訓練和在線定位階段,不可信的云服務(wù)器和邊緣服務(wù)器仍有可能通過分析來自邊緣設(shè)備的RSS指紋數(shù)據(jù)來獲得用戶的精確位置,從而在WiFi路由器附近很小的范圍定位和跟蹤用戶[24].位置隱私的侵犯可能會造成用戶社會聲譽受損、經(jīng)濟損失,甚至是身體遭受暴力等[25-26].

    目前,大多數(shù)室內(nèi)定位隱私保護的最新方法主要關(guān)注在線定位階段的隱私泄露問題,例如基于k匿名的方法[13]、基于加密的方法[25,27]和基于差分隱私的方法[23,28-29].但是,這些隱私保護機制不能完全適用于基于邊緣計算架構(gòu)的室內(nèi)定位技術(shù),特別是離線訓練階段,因為它們都需要消耗大量的資源.作為移動EC中的DL模型,聯(lián)邦學習(federated learning, FL)[30]已經(jīng)引起了學術(shù)界和工業(yè)界的廣泛關(guān)注,其主要目的是在保護用戶隱私的同時基于本地數(shù)據(jù)集構(gòu)建一個聯(lián)合DL模型.聯(lián)邦學習模型可以在邊緣節(jié)點(如智能手機)上實現(xiàn),各個邊緣節(jié)點在不共享數(shù)據(jù)的情況下,可以利用本地數(shù)據(jù)集獨立地進行DL模型訓練,并通過云服務(wù)器(如參數(shù)服務(wù)器)對全局模型進行優(yōu)化聚合,能有效解決基于DL室內(nèi)定位系統(tǒng)的數(shù)據(jù)安全與隱私保護問題.文獻[15]利用聯(lián)邦學習構(gòu)建隱私保護室內(nèi)定位服務(wù),該方法雖然能夠保證用戶的數(shù)據(jù)隱私,但是在資源有限的終端設(shè)備上執(zhí)行本地子模型的訓練將會使得終端設(shè)備面臨巨大的資源開銷問題.此外,在模型參數(shù)聚合時,該方法還會面臨差分攻擊、模型反演攻擊、梯度反向推理攻擊,存在隱私泄露風險[31].

    針對以上挑戰(zhàn),本文提出了一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型(differentially private federated learning model for fingerprinting indoor localization in edge computing, DP-FLocEC),可以實現(xiàn)在保護原始訓練數(shù)據(jù)和模型參數(shù)隱私的前提下對多方數(shù)據(jù)進行學習,確保了較高的定位精度和性能.DP-FLocEC基于邊云協(xié)作計算模式,利用差分隱私機制結(jié)合聯(lián)邦學習協(xié)議在對用戶RSS指紋數(shù)據(jù)和模型參數(shù)提供ε-差分隱私保護的同時,實現(xiàn)了高精度、低延遲的定位性能.為了解決在資源受限的邊緣服務(wù)器上執(zhí)行DL模型帶來的繁重計算開銷問題,DP-FLocEC構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的輕量級室內(nèi)定位模型.本文工作的主要貢獻包括3個方面:

    1) 提出了基于邊緣計算和聯(lián)邦學習的隱私保護室內(nèi)定位模型訓練及應(yīng)用架構(gòu),全面考慮了邊緣計算環(huán)境下室內(nèi)定位模型訓練及應(yīng)用過程中的安全問題.在離線訓練階段,考慮到攻擊者具有一定的背景知識,利用差分隱私技術(shù)對用戶數(shù)據(jù)及模型參數(shù)進行隱私保護處理,實現(xiàn)多層面可證明的ε-差分隱私保護,使多個參與用戶在不共享私有數(shù)據(jù)實現(xiàn)定位子模型訓練的同時,抵御模型參數(shù)聚合過程當中遭受的差分攻擊、模型反演攻擊、梯度反向推理攻擊等;在線定位階段,利用差分隱私技術(shù)將數(shù)據(jù)進行差分擾動后上傳到邊緣服務(wù)器,經(jīng)邊緣服務(wù)器處理后為用戶提供安全、可靠的室內(nèi)定位服務(wù).

    2) 為了提供高精度、低延遲、高可靠的室內(nèi)定位服務(wù),本文基于CNN構(gòu)建了一個輕量級的室內(nèi)定位模型,并在多個數(shù)據(jù)集上驗證與評估了所提模型的有效性.

    3) 在3個真實室內(nèi)RSS指紋數(shù)據(jù)集上進行了大量的實驗對比,以評估所提模型的有效性和性能.安全性分析與實驗結(jié)果表明,相比已有的集中式和分布式的學習模型,本文提出的聯(lián)邦學習模型在提供更全面隱私保護的同時獲得了高可靠的定位服務(wù);相比于已有的MLP,F(xiàn)Loc室內(nèi)定位模型,本文設(shè)計的CNN室內(nèi)定位模型取得了更好的定位性能.

    1 相關(guān)工作

    1.1 室內(nèi)定位

    近年來,人們相繼提出了許多室內(nèi)定位技術(shù),包括基于紅外線、超聲波、RFID、無線局域網(wǎng)、藍牙、傳感網(wǎng)絡(luò)、超寬帶、電磁信號、視覺和聲音等[32],以及由這些技術(shù)組合成的混合系統(tǒng)[13].雖然這些技術(shù)中大多數(shù)都提供了很高的定位精度,但其應(yīng)用都有嚴重的局限性,難以達到室內(nèi)定位和導航的要求[5].目前,大型公共場所幾乎已經(jīng)全面覆蓋WiFi、藍牙網(wǎng)絡(luò),這使得基于RSS指紋的室內(nèi)定位研究廣受歡迎.一個典型的指紋定位系統(tǒng)是Horus[33],它使用基于統(tǒng)計的方法和來自APs的RSS直方圖進行位置聚類,從而在指紋數(shù)據(jù)庫中建立指紋的高斯分布.在定位階段,通過與指紋數(shù)據(jù)庫中指紋的匹配概率來計算定位結(jié)果.另一個是基于k近鄰(knearest neighbors,kNN)的指紋定位方法[34].在離線階段,kNN利用從APs收集的RSS指紋來構(gòu)建指紋數(shù)據(jù)庫.在實時定位階段,計算和選擇具有最小斯皮爾曼距離的所有目標位置點,并通過kNN算法獲得最終的位置估計.

    隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展,眾多物聯(lián)網(wǎng)智能終端設(shè)備在室內(nèi)環(huán)境中的部署與使用[20],產(chǎn)生了海量可用的RSS指紋數(shù)據(jù),為了利用這些RSS數(shù)據(jù)提高室內(nèi)定位精度和應(yīng)對室內(nèi)環(huán)境復雜多變、無線信號陰影衰落、多徑效應(yīng)等因素的不利影響,一些最新的研究提出利用多傳感器數(shù)據(jù)[5]、信道狀態(tài)信息(channel state information, CSI)數(shù)據(jù)并結(jié)合DL算法[1,16-17,35-37]輔助WiFi或藍牙指紋進行室內(nèi)定位,獲得了比傳統(tǒng)定位方法和系統(tǒng)更高的定位精度和魯棒性.文獻[5]利用智能手機上內(nèi)置的多種傳感器來估測用戶的軌跡信息,并將其與WiFi指紋信息結(jié)合起來建立綜合概率模型,進行用戶位置匹配,確定最近參考點.文獻[1]利用注意力機制并結(jié)合CNN和雙向長短時記憶網(wǎng)絡(luò)獲取參考點位置區(qū)域內(nèi)的時空緯度上的粗細粒度特征來實現(xiàn)室內(nèi)定位.文獻[16]利用抽取的磁場強度中心點作為地理標簽特征輔助WiFi指紋進行室內(nèi)定位,獲得了比較滿意的定位性能.文獻[17]利用CNN提高室內(nèi)定位性能,將收集到的藍牙RSS信號轉(zhuǎn)化為指紋圖像并將其輸入到CNN模型中進行分類訓練,同時結(jié)合磁場數(shù)據(jù)來匹配用戶的位置.文獻[35-37]利用細粒度CSI的相位信息結(jié)合DL算法進行室內(nèi)定位,獲得了更高的魯棒性.文獻[11]指出已有的這些室內(nèi)定位技術(shù)都基于預(yù)先部署的基礎(chǔ)設(shè)施,會帶來很大的設(shè)備和管理成本,因此在某些應(yīng)用場景和條件下是有限的.為此,文獻[11]的作者提出一種新的無需基礎(chǔ)設(shè)施的輕量級基于地磁信號的經(jīng)過門事件探測方法LMDD來幫助提高基于航位推算的室內(nèi)定位和導航系統(tǒng)的定位精度.然而,所有這些方法都采用基于云架構(gòu)的集中式學習框架,需要將大量包含用戶敏感信息的RSS數(shù)據(jù)傳輸?shù)皆品?wù)器上進行模型集中訓練,這將會嚴重侵犯用戶的隱私[13,18-19].隨著人們對個人隱私的重視,各個國家都制定了網(wǎng)絡(luò)數(shù)據(jù)安全和隱私保護的相關(guān)法律法規(guī)來約束和限定這些敏感數(shù)據(jù)的使用.在這種情況下,數(shù)據(jù)的安全和隱私泄露嚴重阻礙了機器學習技術(shù)在室內(nèi)定位場景中的應(yīng)用,成為定位服務(wù)健康發(fā)展的瓶頸之一.另外,大量的RSS數(shù)據(jù)集中傳輸?shù)皆品?wù)器進行處理也會增加網(wǎng)絡(luò)負載、計算資源開銷等問題,造成數(shù)據(jù)傳輸延遲和網(wǎng)絡(luò)擁塞,嚴重影響定位服務(wù)的性能和效果.

    1.2 邊緣計算和聯(lián)邦學習

    邊緣計算[21]作為一種新型的分布式計算架構(gòu),它能在網(wǎng)絡(luò)的邊緣提供強大的實時數(shù)據(jù)存儲和計算能力,從而降低網(wǎng)絡(luò)負載、減少數(shù)據(jù)處理延遲、提高電池續(xù)航能力、減輕云服務(wù)器壓力,在解決終端設(shè)備資源受限問題的同時保證數(shù)據(jù)的安全性和私密性[22].將室內(nèi)定位DL模型部署到邊緣計算框架中是解決傳統(tǒng)基于云架構(gòu)的室內(nèi)定位系統(tǒng)存在響應(yīng)不及時、網(wǎng)絡(luò)延遲高、隱私泄露嚴重問題的一種有效策略.文獻[38]提出在互聯(lián)網(wǎng)的邊緣使用cloudlet技術(shù)部署移動云服務(wù),但是由于WiFi覆蓋范圍有限,使用cloudlet技術(shù)是不夠的.文獻[21]指出邊緣能夠使網(wǎng)絡(luò)具有低延遲和高帶寬,因為其具有很好的任務(wù)卸載技術(shù).文獻[39]指出邊緣計算能夠極大地減少網(wǎng)絡(luò)延遲,因此能夠在WiFi網(wǎng)絡(luò)中實現(xiàn)計算密集型的應(yīng)用.但是,在邊緣計算場景下,由于資源受限的邊緣計算基礎(chǔ)設(shè)施缺乏有效的隱私保護機制,隱私泄露問題仍然很嚴重[18,23-24,40-42].聯(lián)邦學習[18,20-21,30]作為邊緣計算中的DL模型,考慮了去中心化學習方式的數(shù)據(jù)隱私保護問題,已被廣泛應(yīng)用在眾多新興的場景,比如眾包系統(tǒng)[15]、室內(nèi)定位系統(tǒng)[15,43-44]、移動群體感知[45]等.聯(lián)邦學習的主要目標是在本地數(shù)據(jù)集上構(gòu)建聯(lián)合機器學習模型,同時能提供隱私保證[18,46].盡管聯(lián)邦學習有一些優(yōu)勢,比如隱私保護和在終端設(shè)備上實現(xiàn)DL,但是當其面對一些新興的應(yīng)用時(如室內(nèi)定位服務(wù)),容易遭受差分攻擊、模型反演攻擊等,其隱私問題仍然是致命的[18,44-45].幸運的是差分隱私技術(shù)[47-48]能有效解決這一問題,它允許分析人員在保證個人隱私得到有效保護的同時執(zhí)行可信聚合分析[44].在本文中,我們研究如何利用差分隱私技術(shù)向室內(nèi)定位聯(lián)邦學習協(xié)議的各個操作階段添加合適的噪聲來保護用戶隱私.

    1.3 室內(nèi)定位隱私保護

    目前,只有少量工作用于解決室內(nèi)定位隱私保護問題,這些工作可總結(jié)為基于k匿名的方法[13]、基于加密的方法[25,27]和基于差分隱私的方法[23,28-29].文獻[13]提出了一種基于k匿名的隱私保護定位方法,該方法能夠?qū)⒂脩舻恼嬲恢密壽E隱藏于k-1個假軌跡中,這樣攻擊者不能以高于1/k的概率識別出用戶的位置.然而,攻擊者可以利用一些背景信息區(qū)分出用戶的真實位置.為此,文獻[25]提出了一種基于Paillier的WiFi指紋定位隱私保護方法PriWFL,能夠同時保護用戶的位置隱私和位置服務(wù)提供商(location service provider, LSP)的數(shù)據(jù)隱私,但處理過程資源消耗較高.文獻[27]基于PriWFL提出了2種改進策略,在獲得和PriWFL相同精度的情況下,避免了其弱點及相關(guān)的隱私泄露風險.但是,這2類基于加密的方法計算和通信開銷大,其有效性有待進一步提升.文獻[23]提出了一種在基于噪聲添加的用戶位置指紋隱私保護方法LoPEC,該方法將AP之間的信號覆蓋關(guān)系簡化為無向圖進行位置估計,為了提高定位精度,通常需要3個以上的AP參與計算,由于對其添加噪聲的不確定性過大,合理噪聲的添加是一個挑戰(zhàn)性問題.文獻[28]提出了一種基于差分隱私的隱私保護室內(nèi)定位方法DP3,它既能保證用戶的位置隱私,又能保護定位服務(wù)器的數(shù)據(jù)隱私.文獻[29]提出了一種用于室內(nèi)定位的隱私保護范式驅(qū)動框架P3-LOC,以解決用戶位置隱私和 LSP數(shù)據(jù)隱私的問題.P3-LOC使用k匿名和差分隱私技術(shù)來為2階段定位范例提供可證明的隱私保護.雖然這些研究工作對室內(nèi)定位中的隱私保護問題做出了一定的貢獻,但是這些方法主要針對在線定位階段的用戶位置隱私保護,不能保護離線訓練階段的用戶數(shù)據(jù)隱私.而且,這些方法在面對室內(nèi)復雜多變環(huán)境、陰影衰落、多徑效應(yīng)等諸多因素的不利影響時,其性能會急劇下降.雖然已有一些定位方法[1,16-17,35-37]使用DL模型來提高定位精度和魯棒性,但是這些方法采用基于云架構(gòu)的集中式學習框架,存在隱私泄露、高延遲等問題.文獻[49]針對集中式學習模型的隱私泄露問題,提出了基于差分隱私的集中式學習框架Central-DP,各參與者在本地進行子模型訓練,然后將訓練得到的模型參數(shù)上傳到云服務(wù)器(參數(shù)服務(wù)器),云服務(wù)器利用差分隱私保護技術(shù)對模型參數(shù)進行擾動來混淆參與者的貢獻.邊緣計算網(wǎng)絡(luò)[21]和聯(lián)邦學習架構(gòu)[30]的出現(xiàn)吸引了許多學者的關(guān)注.邊緣計算是一種新型的分布式計算架構(gòu),能將云計算的部分計算開銷遷移到邊緣節(jié)點,并在網(wǎng)絡(luò)邊緣提供IT服務(wù)環(huán)境,其目標是減少延遲、確保高效的網(wǎng)絡(luò)運行與服務(wù)傳遞.在邊緣計算場景中,雖然不再將用戶數(shù)據(jù)傳輸?shù)皆品?wù)器上,但是邊緣節(jié)點計算能力有限且缺乏有效的安全保證機制,仍然存在嚴重的隱私泄露問題,特別是用戶的RSS指紋信息不能得到很好的保護[23].文獻[40-41]對邊緣計算下的隱私保護問題和挑戰(zhàn)進行了詳細的總結(jié),介紹了近年來提出的適用于邊緣計算領(lǐng)域的隱私保護最新研究成果,并就方案的可行性和擴展性進行了深入討論,為邊緣計算下隱私保護提供了有效指導.作為邊緣計算中的DL模型,聯(lián)邦學習[30]是一種新興的隱私保護分布式學習解決方案,它解決了傳統(tǒng)機器學習算法的一些問題.文獻[15]提出了利用多層感知機(muti-layer perceptron, MLP)基于聯(lián)邦學習框架來構(gòu)建室內(nèi)定位模型,使得各用戶的數(shù)據(jù)在不出本地設(shè)備的情況下進行室內(nèi)定位子模型的訓練,實現(xiàn)數(shù)據(jù)隱私的保護.文獻[46]提出了本地化的差分隱私聯(lián)邦學習模型Local-DP,每個參與者利用差分隱私技術(shù)對各自的數(shù)據(jù)集進行差分擾動,然后進行本地子模型訓練并將得到的模型參數(shù)上傳到云服務(wù)器,云服務(wù)器對這些參數(shù)進行聚合后下發(fā)給各個參與者,使其進行下一階段的訓練,如此協(xié)同訓練與迭代更新,直到得到最優(yōu)的模型.然而文獻[50]由于沒有考慮到模型參數(shù)的隱私,使其容易遭受差分攻擊、模型反演攻擊、梯度反向推理攻擊[31,51]等,而且仍然存在隱私泄露的風險.隨著物聯(lián)網(wǎng)技術(shù)的長足發(fā)展,邊緣設(shè)備的計算能力和存儲能力得到很大的提升,這使得邊緣設(shè)備和機器學習的結(jié)合成為可能.文獻[42]提出了邊緣計算下,機器學習算法ELM結(jié)合差分隱私的室內(nèi)定位隱私保護方法,在保護用戶RSS數(shù)據(jù)隱私的同時確保了較高的定位精度.文獻[18]提出了一個基于邊緣計算的聯(lián)邦學習框架FedMEC,利用移動邊緣計算來提高差分私有聯(lián)邦學習的有效性.但是FedMEC僅考慮了用戶數(shù)據(jù)的隱私保護,依然沒有解決模型參數(shù)的隱私保護問題,難以抵御來自攻擊者實施的差分攻擊等.

    針對以上挑戰(zhàn),本文提出一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型DP-FLocEC,能在保護原始訓練數(shù)據(jù)和模型參數(shù)隱私的前提下對多方數(shù)據(jù)進行學習,確保較高的定位精度和性能.DP-FLocEC基于邊緣計算架構(gòu),利用差分隱私機制結(jié)合聯(lián)邦學習協(xié)議在對用戶RSS指紋數(shù)據(jù)和模型參數(shù)提供ε-差分隱私保護的同時,實現(xiàn)了高精度、低延遲的定位性能.為解決在資源受限的邊緣節(jié)點上執(zhí)行DL定位模型所造成的繁重計算開銷問題,DP-FLocEC構(gòu)建了基于CNN的輕量級室內(nèi)定位模型.

    2 研究基礎(chǔ)

    2.1 聯(lián)邦學習

    聯(lián)邦學習主要包括云端模型學習和用戶本地子模型學習2個關(guān)鍵部分.云端將預(yù)訓練好的全局模型分發(fā)給各參與用戶,以幫助用戶訓練微調(diào)自己的本地子模型.對于每個用戶,他們在預(yù)先訓練好的全局模型幫助下微調(diào)自己的本地子模型,使其模型更適合用戶本地數(shù)據(jù)的一些特性,當所有用戶本地子模型都微調(diào)訓練結(jié)束之后,模型參數(shù)會被上傳到云端進行模型參數(shù)融合.隨后,通過不斷迭代訓練,實現(xiàn)模型的深度聚合與優(yōu)化.云端全局模型的更新可以形式化為

    (1)

    其中,w代表云端模型參數(shù),K為參與本地子模型訓練的多個用戶.經(jīng)過若干訓練周期后,更新的云端模型fs(·)可以涵蓋幾乎所有參與者的本地模型,達到了更好的泛化能力.

    2.2 差分隱私

    Dwork[47]于2006年針對統(tǒng)計數(shù)據(jù)庫的隱私泄露問題提出了差分隱私技術(shù),作為一種數(shù)學意義上嚴格定義的隱私保護框架,它在統(tǒng)計學、數(shù)據(jù)挖掘、社交網(wǎng)絡(luò)、機器學習和物聯(lián)網(wǎng)等領(lǐng)域得到了廣泛的應(yīng)用,已經(jīng)成為當前隱私保護領(lǐng)域最受歡迎的隱私保護方法之一,也是實施邊緣計算環(huán)境下數(shù)據(jù)隱私保護方案的關(guān)鍵技術(shù)之一.

    定義1.ε-差分隱私.設(shè)有一個隨機算法M,R是所有可能的輸出構(gòu)成的集合,D和D′為任意2個相鄰數(shù)據(jù)集合且|D⊕D′|=|(D∪D′)-(D∩D′)|=1.其中,S?R,如果隨機算法M滿足

    Pr[M(D)∈S]≤eε×|D⊕D′|×Pr[M(D′)∈S],

    (2)

    則稱算法M提供ε-差分隱私保護,其中⊕表示兩集合的對稱差集,ε為隱私預(yù)算,Pr[·]表示算法M對數(shù)據(jù)集D和D′計算結(jié)果概率.此定義確保單個記錄的存在或不存在不會顯著影響算法M的輸出.

    定義2.全局敏感度.設(shè)有函數(shù)Q:D→d,Q的全局敏感度Δf定義為

    (3)

    其中D和D′是2個鄰近的數(shù)據(jù)集,‖Q(D)-Q(D′)‖1是Q(D)和Q(D′)之間的1-階范數(shù)距離,敏感度用來表征刪除數(shù)據(jù)集中任何記錄引起的最大變化,是確定添加的噪聲量的關(guān)鍵參數(shù).

    定義3.Laplace機制.對查詢函數(shù)f:D→d,其敏感度為Δf,式(4)提供了ε-差分隱私保護.

    f′(D)=f(D) +gLaplace(Δf/ε),

    (4)

    其中g(shù)Laplace(Δf/ε)是一個服從Laplace分布的隨機噪聲,b=Δf/ε為尺度參數(shù).Laplace分布的概率密度函數(shù)如式(5):

    (5)

    Laplace機制是實現(xiàn)差分隱私保護的基本機制之一[52].

    在實際應(yīng)用中,ε通常取很小的值,例如0.1,ln2,ln3[48]等.ε越小,添加的噪聲越多,隱私保護強度越高;反之,隱私保護強度越低.理想情況下,當ε=0,此時隱私保護強度達到了最高水平,且對于任意2個鄰近數(shù)據(jù)集,算法輸出結(jié)果的概率分布完全相同,攻擊者無法通過觀察結(jié)果的差異性獲得任何關(guān)于數(shù)據(jù)集的有用信息.因此,ε的取值需根據(jù)用戶實際隱私需求來調(diào)整,以同時滿足輸出結(jié)果的可用性與數(shù)據(jù)的隱私性.

    為了方便參考,表1給出了本文主要使用的符號及其描述.

    Table 1 Notations and Descriptions

    3 差分私有指紋室內(nèi)定位聯(lián)邦學習模型

    3.1 系統(tǒng)架構(gòu)及攻擊模型

    為了解決傳統(tǒng)基于云架構(gòu)的RSS指紋室內(nèi)定位方法面臨的挑戰(zhàn),本文綜合考慮定位性能、隱私保護和資源開銷,提出了一種邊緣計算下指紋室內(nèi)定位差分私有聯(lián)邦學習模型DP-FLocEC,其系統(tǒng)架構(gòu)如圖1所示.該系統(tǒng)架構(gòu)是一個3層的邊緣計算框架,它將整個室內(nèi)定位聯(lián)邦學習協(xié)議劃分為跨云服務(wù)器層、邊緣服務(wù)器層和終端設(shè)備層,能很好地支持具有多個參與者的聯(lián)邦學習協(xié)議.假定擁有終端設(shè)備的用戶群A,B,C已經(jīng)分別收集到了大量的室內(nèi)定位RSS數(shù)據(jù),為了能夠享受部署在邊緣服務(wù)器上的室內(nèi)定位服務(wù),他們都自愿參與室內(nèi)定位聯(lián)邦學習協(xié)議.同時,他們都盡力防止在整個聯(lián)邦學習過程中,將自己的RSS數(shù)據(jù)泄露給系統(tǒng)中的不可信實體(如邊緣服務(wù)器、云服務(wù)器等);邊緣服務(wù)器在接收到終端設(shè)備已經(jīng)擾動過的RSS數(shù)據(jù)后進行聚合和本地子模型訓練,并將訓練好的子模型參數(shù)共享給云服務(wù)器以便獲得最優(yōu)的全局定位模型;云服務(wù)器接收邊緣服務(wù)器發(fā)送的子模型參數(shù),執(zhí)行全局模型聚合與協(xié)同更新,并將更新后的模型參數(shù)下發(fā)給各邊緣服務(wù)器.室內(nèi)定位聯(lián)邦學習模型分為離線訓練和在線定位2個階段.整個系統(tǒng)框架的具體描述如下:

    1) 終端設(shè)備.是指聯(lián)邦學習參與者擁有的一套智能終端設(shè)備(如智能手機、平板電腦、智能監(jiān)控設(shè)備等),具有計算、存儲和通信能力.離線訓練階段,終端設(shè)備可用于從室內(nèi)區(qū)域(如大型購中心、地下停車場、展覽廳等)的多個無線傳感器信標(如WiFi、藍牙等)獲取、存儲本地RSS指紋數(shù)據(jù)集,并獨立地對收集到的RSS數(shù)據(jù)集進行數(shù)據(jù)預(yù)處理和噪聲添加,然后將擾動后的RSS數(shù)據(jù)發(fā)送給附近的邊緣服務(wù)器.同時,在在線定位階段,終端設(shè)備度量實時指紋數(shù)據(jù)并經(jīng)加噪聲擾動給發(fā)送給邊緣服務(wù)器來獲得定位服務(wù).

    2) 邊緣服務(wù)器.是邊緣計算架構(gòu)的核心實體,通常在用戶場所(如公園、商場、購物中心等)實現(xiàn),并且可能部署在固定的位置(如基站).它們具有比終端設(shè)備更強大的存儲和計算資源,并作為云服務(wù)器和終端設(shè)備之間的計算單元.邊緣服務(wù)器主要執(zhí)行可信的數(shù)據(jù)聚合、本地子模型訓練和服務(wù)反饋.在離線訓練階段,邊緣服務(wù)器先接收由附近終端設(shè)備上傳的經(jīng)過擾動處理后的RSS指紋數(shù)據(jù),并將這些指紋數(shù)據(jù)聚合成包含多個用戶信息的RSS指紋數(shù)據(jù).同時,它利用這些聚合數(shù)據(jù)進行本地定位子模型的可信訓練,并將訓練好的本地子模型參數(shù)上傳給云服務(wù)器,如此重復迭代,直至模型收斂.在線定位階段,邊緣服務(wù)器根據(jù)用戶提交的經(jīng)過加噪聲處理后的實時RSS指紋數(shù)據(jù),利用訓練好的定位模型為用戶提供高可信、高精度的室內(nèi)定位服務(wù).

    Fig. 1 Differential privacy federated learning architecture圖1 差分私有聯(lián)邦學習架構(gòu)

    3) 云服務(wù)器.作為數(shù)據(jù)中心,具有比邊緣服務(wù)器更強大的存儲和計算能力.它接收各邊緣服務(wù)器共享的子模型參數(shù),利用聯(lián)邦平均優(yōu)化算法[50]更新全局共享模型參數(shù),并將更新后的模型參數(shù)下發(fā)給各邊緣服務(wù)器進行下一輪迭代訓練,直至獲得最優(yōu)的訓練模型.為了防止不可信的云服務(wù)器通過模型反演攻擊[37]或梯度反向推理攻擊[31,51]推斷出各參與用戶的隱私訓練數(shù)據(jù),在聚合、更新全局參數(shù)時需要進行隱私保護處理,本文利用差分隱私技術(shù)向聯(lián)邦學習協(xié)議各參與方的模型參數(shù)添加合適的Laplace噪聲后再進行全局參數(shù)匯總更新來實現(xiàn)隱私保護.

    Fig. 2 The structure of indoor localization model圖2 室內(nèi)定位模型結(jié)構(gòu)圖

    在這些實體當中,假定終端設(shè)備是可信的,它正確的處理收集到RSS數(shù)據(jù)并且不會泄露這些RSS數(shù)據(jù)給其他參與者.另外,本文假定邊緣服務(wù)器和云服務(wù)器是誠實且好奇的[53],即他們能忠實地執(zhí)行聯(lián)邦學習協(xié)議過程并正確計算和發(fā)送真實的計算結(jié)果.然而,他們對包含在RSS指紋數(shù)據(jù)中的隱私很好奇并且會盡力去分析并挖掘用戶的隱私.在整個離線訓練過程中,邊緣服務(wù)器只與云服務(wù)器通信,除了共同維護的全局參數(shù)外,它無法獲取其他邊緣服務(wù)器的任何信息,保障用戶RSS指紋數(shù)據(jù)的機密性.除隱私問題外,邊緣計算框架中的聯(lián)邦學習協(xié)議也會面臨終端設(shè)備資源受限的問題.因為執(zhí)行復雜的DL模型需要巨大的計算開銷,而資源受限的終端設(shè)備難以承擔復雜DL模型的訓練過程.因此,如何設(shè)計一個不需要太大計算開銷而又不違反聯(lián)邦學習機制,同時又能夠保護用戶RSS指紋數(shù)據(jù)隱私的有效定位模型是DP-FLocEC面臨的一個重要挑戰(zhàn).

    3.2 室內(nèi)定位模型結(jié)構(gòu)

    為了確保高的定位精度又能在資源受限的邊緣服務(wù)器上實現(xiàn)DL定位模型訓練過程,本文借鑒文獻[17,37],設(shè)計并實現(xiàn)了一個輕量級室內(nèi)定位CNN網(wǎng)絡(luò)模型.具體如圖2所示.該模型包含2個卷積層、1個池化層和2個全連接層.其中卷積層對原始RSS指紋數(shù)據(jù)進行特征提取,池化層對卷積層提取的特征進行壓縮,全連接層用于將壓縮后的特征映射到目標結(jié)果.

    本文使用TensorFlow來模擬指紋室內(nèi)定位聯(lián)邦學習協(xié)議,并選擇Adadelta優(yōu)化器作為模型的優(yōu)化方法.因為Adadelta優(yōu)化器只利用一階信息來動態(tài)適應(yīng)時間的變化,除了普通的隨機梯度下降法之外,它的計算開銷最小,而且該方法不需要手動調(diào)整學習率,對噪聲梯度信息、不同的模型結(jié)構(gòu)選擇以及不同的數(shù)據(jù)模式和超參數(shù)選擇都具有很好的魯棒性.雖然聯(lián)邦學習因其本地訓練的特性為每個參與者的原始RSS指紋數(shù)據(jù)提供基本的隱私保護,但是在邊緣環(huán)境下,參與者的原始RSS指紋數(shù)據(jù),部分本地子模型參數(shù)仍然會暴露給不可信的邊緣服務(wù)器和云服務(wù)器,導致用戶隱私泄露.例如,聯(lián)邦學習中的云服務(wù)器能夠很容易執(zhí)行模型反演攻擊來獲得部分參與者隱私訓練數(shù)據(jù)的分布[37]或通過共享梯度執(zhí)行梯度反向推理攻擊,在不需要訓練數(shù)據(jù)集的任何額外信息的情況下完全獲得參與者的隱私訓練數(shù)據(jù)[31,51].因此,需要設(shè)計一個切實可信的隱私保護機制來防止聯(lián)邦學習中每個參與者的RSS指紋數(shù)據(jù)直接暴露給不可信邊緣服務(wù)器和云服務(wù)器.

    差分隱私[47]是一種有效且應(yīng)用非常廣泛的隱私保護方案,它能夠通過向敏感數(shù)據(jù)集添加合適的隨機噪聲來提供嚴格的隱私保證.在DP-FLocEC中,我們在將參與者RSS指紋數(shù)據(jù)發(fā)送給不可信邊緣服務(wù)器進行本地子模型訓練之前先使用差分隱私技術(shù)對其進行差分私有數(shù)據(jù)擾動以保護用戶的隱私.同時,為了防止不可信云服務(wù)器通過共享的模型參數(shù)推斷出用戶原始RSS指紋數(shù)據(jù),我們在云服務(wù)器進行全局參數(shù)匯總與更新之前先對共享的本地子模型參數(shù)添加合適的Laplace噪聲進行擾動.

    3.3 DP-FLocEC算法

    DP-FLocEC算法包含3個操作階段:1)差分私有訓練數(shù)據(jù)特征擾動;2)可信定位模型訓練;3)差分私有全局模型參數(shù)優(yōu)化.設(shè)總體隱私預(yù)算為ε,由于階段1)和階段3)是差分私有的,我們將ε劃分為2個子隱私預(yù)算εs和εc,這樣ε=εc+εs.下面討論離線訓練和在線定位2個階段的隱私保護方法.

    3.3.1 離線訓練階段

    (6)

    算法1.差分私有數(shù)據(jù)擾動算法.

    (7)

    算法2.可信定位子模型訓練算法.

    ③ forepoch=1 toEpochdo

    ④ forstep=1 toStepdo

    ⑨ end for

    3) 差分私有全局參數(shù)優(yōu)化.該操作階段在云服務(wù)器層上進行,云服務(wù)器接收邊緣服務(wù)器發(fā)送過來的各子模型參數(shù),進行全局參數(shù)聚合和更新.由于云服務(wù)器不可信,在全局參數(shù)聚合與更新過程可能會利用模型參數(shù)通過模型反演攻擊或梯度反向推理攻擊推斷出用戶的訓練數(shù)據(jù)[31],為此我們利用差分隱私技術(shù)在模型參數(shù)聚合和更新前向其添加合適的Laplace噪聲進行擾動,然后再進行全局參數(shù)聚合和更新以聯(lián)合優(yōu)化當前的全局模型,并將優(yōu)化好的模型參數(shù)下發(fā)給各邊緣服務(wù)器,使其進行下一次迭代訓練,直到全局模型趨于收斂.云端差分私有全局參數(shù)的更新優(yōu)化可以形式化為

    (8)

    算法3.模型參數(shù)可信聚合算法.

    輸出:聚合后的全局模型參數(shù)wglobal.

    ① 初始化全局模型參數(shù)wglobal;

    ② fori=1 toNdo

    ⑤ end for

    ⑥ 將聚合后的全局參數(shù)wglobal發(fā)送到各個邊緣服務(wù)器.

    依據(jù)定義3,該操作階段滿足εs-差分隱私.εs的大小決定了該操作階段噪聲添加的量,如果εs增大,則添加到該操作階段的噪聲量會減少,模型的精度會增加;而在整體隱私預(yù)算ε不變的情況下,分配給差分私有數(shù)據(jù)擾動階段的隱私預(yù)算εc就會降低,從而會增大該階段添加噪聲的量.因此,差分數(shù)據(jù)擾動和差分私有全局參數(shù)優(yōu)化2個階段聯(lián)合決定了隱私預(yù)算的分配,一個關(guān)鍵原則是適當給對模型精度影響更大的階段分配更多的子隱私預(yù)算.然而,為某個階段分配不必要的高隱私預(yù)算將會對模型性能產(chǎn)生負面影響,因為它會竊取那個需要高隱私預(yù)算階段的效用來保證模型性能.

    3.3.2 在線定位階段

    在線定位階段,參與用戶i實時收集他感興趣區(qū)域內(nèi)的RSS特征值,并將其發(fā)送給已部署在邊緣服務(wù)器上優(yōu)化好的模型獲取定位服務(wù).由于邊緣服務(wù)器不可信,用戶在發(fā)送RSS度量值時仍需要利用差分隱私技術(shù)添加合適的噪聲進行數(shù)據(jù)擾動.

    算法4.客戶端請求定位服務(wù)算法.

    gLaplace(Δf/εc);

    算法5.邊緣服務(wù)器服務(wù)反饋算法.

    輸出:返回給用戶的服務(wù)Stype.

    ③ 將預(yù)測結(jié)果Stype發(fā)送給用戶i.

    3.4 安全性分析

    在本節(jié)中,使用差分隱私中序列組合性質(zhì)和并行組合性質(zhì)[54]對DP-FLocEC進行安全性分析.

    定理1.DP-FLocEC能夠提供ε-差分隱私保護.

    證明. 根據(jù)算法1~3,DP-FLocEC提供的隱私保護處理主要包括以下3個操作階段:

    1) 為了防止用戶數(shù)據(jù)直接暴露在不可信的邊緣服務(wù)器,用戶通過對其終端設(shè)備上RSS指紋數(shù)據(jù)進行擾動,以達到保護用戶數(shù)據(jù)隱私的目的;

    2) 邊緣服務(wù)器利用擾動后的數(shù)據(jù)進行模型訓練,然后將得到的模型參數(shù)上傳到云服務(wù)器;

    3) 云服務(wù)器對各邊緣服務(wù)器上傳的模型參數(shù)進行匯聚,并在參數(shù)匯聚時進行差分擾動,從而防止攻擊者針對云服務(wù)器實施差分攻擊[55]、模型反演攻擊、梯度反向推理攻擊,實現(xiàn)模型參數(shù)的保護.

    設(shè)算法總的隱私預(yù)算為ε,將其劃分為2個子隱私預(yù)算εc,εs分別分配給階段1)和階段3),因此ε=εc+εs.階段1)和階段3)在數(shù)據(jù)集Dc,Ds上的隨機算法為Mc:Dc→R,Ms:Ds→R,且Mc,Ms的隨機過程相對獨立.根據(jù)定義1,有

    因此DP-FLocEC在階段1)和階段3)分別滿足εc-差分隱私和εs-差分隱私,在階段2)中邊緣服務(wù)器接收到的數(shù)據(jù)是經(jīng)過階段1)處理后的.因此,在這些數(shù)據(jù)上進行聚合和計算操作同樣滿足εc-差分隱私.

    在階段1)中,?i∈{1,2,…,N},N為參與者個數(shù),設(shè)參與者Pi在數(shù)據(jù)集Di上的隨機算法Mci:Di→R滿足εi-差分隱私,且任意2個隨機算法Mci的隨機過程相互獨立.

    由|R⊕S|∈可知,在所有的{1,2,…,N},有且僅有1個其他的相鄰數(shù)據(jù)集所以,?O?R,使得

    eεi×Pr[Mc(D′)=O],

    當且僅當εc≥εi時,有

    Pr[Mc(D)=O]=eεc×Pr[Mc(D′)=O],

    對于算法的整體而言,設(shè)隨機算法M:Dc×Ds→R,有M={Mc,Ms},記算法M的輸出為O={rc,rs}.由于算法Mc和Ms的隨機過程相互獨立.因此,對于?O?R,有

    Pr[M(D)=O]=Pr[Mc(Dc)=rc]×

    Pr[M(D′)=O].

    Pr[M(D)=O]=eεc+εs×Pr[M(D′)=O]=

    eε×Pr[M(D′)=O].

    因此,DP-FLocEC滿足ε-差分隱私,即攻擊者無法通過觀察算法輸出結(jié)果的差異性,來實施差分攻擊,也無法利用模型反演攻擊來準確獲取訓練樣本及用戶隱私信息.同時,由于多個邊緣服務(wù)器在假定條件下不具有通信能力,即邊緣服務(wù)器間相互獨立,數(shù)據(jù)無法共享,那么攻擊者也無法通過關(guān)聯(lián)多個邊緣服務(wù)器的數(shù)據(jù)實施鏈接攻擊.因此,在邊緣服務(wù)器端,用戶數(shù)據(jù)和本地子模型參數(shù)的數(shù)據(jù)隱私得以保證.

    4 實驗結(jié)果與分析

    4.1 實驗配置

    為了模擬邊緣計算環(huán)境下的室內(nèi)定位聯(lián)邦學習協(xié)議,本文利用TensorFlow構(gòu)建室內(nèi)定位模型,模擬了2個具有相同數(shù)據(jù)量的邊緣服務(wù)器.利用Socket協(xié)議實現(xiàn)邊緣服務(wù)器與參數(shù)服務(wù)器間的通信,優(yōu)化器采用Adadelta,Adadelta不是累積所有過去的梯度,而是根據(jù)漸變更新移動窗口調(diào)整學習速率,無需設(shè)置初始學習率,迭代次數(shù)為1 000,批次大小為32.硬件環(huán)境為:Inter?CoreTMi7-8750H CPU@2.20 GHz,NVIDIA GeForce GTX1060顯卡,24 GB RAM,6 GB顯存.具體的網(wǎng)絡(luò)模型參數(shù)如表2所示:

    Table 2 The Parameters of Network

    續(xù)表2

    4.2 實驗數(shù)據(jù)集

    實驗采用Mall[2],Mall-WiFi[2],UJIIndoorLoc[56]3個RSS指紋數(shù)據(jù)集來評價DP-FLocEC的有效性和性能.其中Mall,Mall-WiFi數(shù)據(jù)集是在真實環(huán)境中,利用智能手機收集,實驗場地的平面布置和藍牙信標部署位置如圖3所示,UJIIndoorLoc為公開數(shù)據(jù)集.

    Fig. 3 The floorplan of experimental sites for collecting data圖3 實驗數(shù)據(jù)采集環(huán)境平面圖

    1) Mall數(shù)據(jù)集和Mall-WiFi數(shù)據(jù)集.均采自一個31.8 m×14.95 m的購物中心區(qū)域,整個區(qū)域被劃分為10個子區(qū)域.在所有采集位置點附近總共布設(shè)了22個BLE信標,可以穩(wěn)定檢測到來自35個WiFi AP的信號.Mall數(shù)據(jù)集包含7 000個有效樣本,每個樣本都包含一個區(qū)域ID和57維RSS特征(22維藍牙特征和35維WiFi特征).Mall-WiFi數(shù)據(jù)集同樣包含7 000個有效樣本,但每個樣本只包含一個區(qū)域ID和35維WiFi特征.

    2) UJIIndoorLoc數(shù)據(jù)集.采自Universitat Jaume I的一個390m×270m區(qū)域的4層建筑,該數(shù)據(jù)集包含19 937個訓練樣本和1 111個測試樣本,每個樣本包含一個樓層ID和520維的WiFi RSS特征.

    通常情況下,RSS在-45~-100 dBm之間,如果AP靠近用戶的終端設(shè)備位置,則其信號較強.相反,如果AP遠離終端設(shè)備位置,則其信號較弱甚至不可用[57].實驗中將信號強度較弱的RSS設(shè)置為-200 dBm,3個數(shù)據(jù)集在使用前都使用z-score方法進行了歸一化處理.

    4.3 實驗結(jié)果與分析

    實驗?zāi)M了2個擁有相同數(shù)據(jù)量的客戶端,并將數(shù)據(jù)集按照90%,10%的比例劃分為訓練集與測試集,分別在3個數(shù)據(jù)集上進行了實驗驗證與分析.

    4.3.1 Mall-WiFi數(shù)據(jù)集上的實驗結(jié)果與分析

    1) 隱私預(yù)算分配對模型性能的影響

    為了防止不可信邊緣服務(wù)器和云服務(wù)器獲取到參與用戶的私有訓練數(shù)據(jù),DP-FLocEC分別向用戶RSS數(shù)據(jù)和模型參數(shù)添加了合適的Laplace噪聲對數(shù)據(jù)進行擾動,但是添加噪聲量的多少勢必會對模型的性能產(chǎn)生影響.由差分隱私的定義知,向模型中添加的噪聲越多,隱私保護的效果就越好,但對模型性能的影響也越大,添加的噪聲越少,對模型性能的影響越小,但是用戶的隱私不能得到很好地保護.因此,隱私預(yù)算分配策略對定位模型的性能至關(guān)重要.下面通過實驗研究不同隱私預(yù)算分配對模型性能的影響.在下面的實驗中,設(shè)置模型迭代訓練次數(shù)為1 000次,批次大小為32,總隱私預(yù)算εtotal=1、將其分配給子隱私預(yù)算εs,εc,即εtotal=εs+εc.本組實驗的主要目的就是評估不同的隱私預(yù)算分配εs,εc值對模型定位性能的影響.為了簡便,設(shè)(εs,εc)={(x,y)|x=j,y=1-j,0.1≤j≤0.9},不同隱私預(yù)算分配εs,εc值對模型性能影響如圖4~7所示.

    Fig. 4 The training accuracy of different privacy budgets allocation圖4 不同隱私預(yù)算分配的模型訓練精度

    從圖4~7可以看出,不同的隱私預(yù)算分配(εs,εc)值會得到不同的模型定位性能.由差分隱私定義知,隱私預(yù)算越小,添加的噪聲越多,對數(shù)據(jù)的擾動越大,隱私保護效果就越好.反之,隱私預(yù)算值越大,添加的噪聲的量越小,對數(shù)據(jù)的擾動就越小,隱私保護效果就會越差.從圖4~7中也可以看出,隨著訓練迭代次數(shù)的增大,定位模型的訓練精度、測試精度在增大,而訓練損失和測試損失在減小.當?shù)喆未笥?00時,模型的訓練精度(圖4所示)提升比較緩慢,幾乎處于穩(wěn)定狀態(tài),這說明模型經(jīng)過700輪次的迭代訓練后提取的信號特征已經(jīng)能很好地描述整個訓練數(shù)據(jù)集的整體特征.反觀模型的測試精度(圖6所示)和測試損失(圖7所示)則表現(xiàn)沒有訓練精度(圖4所示)和訓練損失(圖5所示)穩(wěn)定.這是因為雖然模型經(jīng)過700輪的迭代訓練,提取的信號特征能代表整個訓練數(shù)據(jù)集的特征,但其不能代表整個數(shù)據(jù)集(訓練集和測試集)的特征,測試集僅用來測試訓練后的模型性能,并不會參與到模型訓練的特征學習任務(wù)當中,由此測試數(shù)據(jù)集的特征可能會和訓練好的模型有一定的不匹配性,從而導致模型的測試精度和測試損失出現(xiàn)一定幅度的擺動.另外,從圖4~7中也可以看出,在總隱私預(yù)算εtotal=1不變的情況下,隨著εs的增大、εc的減小,對訓練數(shù)據(jù)的擾動增加、對模型參數(shù)的擾動減小,模型的訓練和測試精度在下降、訓練和測試損失在增加,這說明給數(shù)據(jù)擾動分配過小的隱私預(yù)算εc值會對模型學習產(chǎn)生顯著的負面影響.例如,當[εs,εc]=[0.1,0.9]時,表示對模型參數(shù)的擾動較大、對數(shù)據(jù)的擾動較小,此時的訓練精度達到了92.33%、測試精度達到了94.15%訓練損失為0.226 0、測試損失為0.271 9.當[εs,εc]=[0.5,0.5]時,對訓練數(shù)據(jù)模型參數(shù)的擾動程度相同,模型訓練精度達到了90.19%、測試精度達到了91.00%、訓練損失為0.286 9、測試損失為0.351 2.當[εs,εc]=[0.9,0.1]時,表示對數(shù)據(jù)的擾動很大,而對模型參數(shù)的擾動很小,模型訓練精度達到了72.38%、測試精度為52.00%、訓練損失為0.774 6、測試損失為1.318 9.非常有趣的是,圖6和圖7中,當[εs,εc]=[0.9,0.1]時,隨著學習迭代次數(shù)的增加,DP-FLocEC模型的測試精度從65.36%快速下降到50%以下、測試損失也由1.1快速上升到1.4,導致模型幾乎不可用.這是因為DP-FLocEC模型訓練時,在數(shù)據(jù)集上添加了太多的噪聲,使訓練數(shù)據(jù)與測試數(shù)據(jù)的分布差別變大,由此模型的訓練精度隨著迭代次數(shù)增加而增大,而測試精度由于產(chǎn)生過擬合而下降.為了在隱私保護和模型性能之間取得較好的權(quán)衡,后續(xù)實驗選取[εs,εc]=[0.5,0.5].

    Fig. 5 The training loss of different privacy budgets allocation圖5 不同隱私預(yù)算分配的模型訓練損失

    Fig. 6 The testing accuracy of different privacy budgets allocation圖6 不同隱私預(yù)算分配的模型測試精度

    Fig. 7 The testing loss of different privacy budgets allocation圖7 不同隱私預(yù)算分配的模型測試損失

    雖然上面的隱私預(yù)算分配策略從模型效用最大化的角度來看是有益的,但我們也有必要討論它對隱私的影響.由DP-FLocEC算法可知,它的2個私有操作階段差分私有數(shù)據(jù)擾動和差分私有全局參數(shù)分別滿足εs-差分隱私和εc-差分隱私,越高的隱私預(yù)算分配將會使該階段RSS數(shù)據(jù)的特征保持更準確,而越低的隱私預(yù)算分配將會使該階段的RSS數(shù)據(jù)特征得到更多的擾動.正如前面討論的,這2個階段聯(lián)合決定了隱私預(yù)算分配,一種靈活的分配策略是可以讓用戶根據(jù)自己對哪個階段有更敏感的認識來分配隱私預(yù)算,用戶認為哪個階段更敏感,則分配更小的隱私,從而產(chǎn)生更大的擾動來保護他的隱私.例如,如果用戶感覺他的RSS數(shù)據(jù)本身更敏感,那么就給數(shù)據(jù)擾動階段分配一個小的εc.如果用戶認為全局模型參數(shù)更敏感,則分配一個小的εs對其產(chǎn)生更多的擾動.

    2) 不同模型的性能比較

    為了進一步說明DP-FLocEC的有效性,將之和Central[58],Central-DP[49],F(xiàn)ed[50],F(xiàn)ed-DP[46],F(xiàn)edMEC[18],OPP[44],OJP[44]模型在2種場景下做對比實驗,各方法采用相同的優(yōu)化函數(shù)、迭代次數(shù)、批次大小及總的隱私預(yù)算.Central,Central-DP,OPP,OJP采用了集中式的學習框架,其中Central方法沒有進行隱私保護處理,而Central-DP,OPP,OJP采用了差分隱私保護策略,F(xiàn)ed,F(xiàn)ed-DP,F(xiàn)edMEC,DP-FLocEC采用了聯(lián)邦學習框架,其中Fed沒有采用隱私保護策略,其他3種方法均采用差分隱私保護策略.

    場景1:Central-DP在模型參數(shù)上的隱私預(yù)算εs=1,F(xiàn)ed-DP在數(shù)據(jù)上的隱私預(yù)算εc=1,OPP ,OJP在損失函數(shù)和模型輸出上的隱私預(yù)算εs=1,DP-FLocEC在訓練數(shù)據(jù)和模型參數(shù)的隱私預(yù)算εc=εs=0.5,F(xiàn)edMEC空操作比例μ=5%,噪聲尺度參數(shù)b=2.圖8~11給出了不同方法的對比結(jié)果.

    Fig. 8 The comparison of training accuracy of different models with εtotal=1圖8 εtotal=1時不同模型的訓練精度對比

    Fig. 9 The comparison of training loss of different models with εtotal=1圖9 εtotal=1時不同模型的訓練損失對比

    Fig. 10 The comparison of testing accuracy of different models with εtotal=1圖10 εtotal=1時不同模型的測試精度對比

    Fig. 11 The comparison of testing loss of different models with εtotal=1圖11 εtotal=1時不同模型的測試損失對比

    場景2:Central-DP在模型參數(shù)上的隱私預(yù)算εs=0.5,F(xiàn)ed-DP在訓練數(shù)據(jù)上的隱私預(yù)算εc=0.5,DP-FLocEC在訓練數(shù)據(jù)和模型參數(shù)的隱私預(yù)算εc=εs=0.5,OPP ,OJP在模型輸出和損失函數(shù)上的隱私預(yù)算εs=0.5,F(xiàn)edMEC空操作比例μ=5%,噪聲尺度參數(shù)b=2.圖12~13給出不同方法的模型訓練精度與測試精度對比結(jié)果.

    Fig. 12 The comparison of training accuracy of different models with εc=εs=0.5圖12 εc=εs=0.5時不同模型的訓練精度對比

    Fig. 13 The comparison of testing accuracy of different models with εc=εs=0.5圖13 εc=εs=0.5時不同模型的測試精度對比

    這種場景下,DP-FLocEC在模型參數(shù)和訓練數(shù)據(jù)上添加噪聲的量和分別在Central-DP,F(xiàn)ed-DP,F(xiàn)edMEC方法對應(yīng)的模型和訓練數(shù)據(jù)上添加的噪聲以及OPP,OJP方法在模型輸出和損失函數(shù)上添加的噪聲量相同.從圖12、圖13可以看出,DP-FLocEC的訓練精度和測試精度基本與Central-DP和Fed-DP方法的相同,相比于OPP,OJP方法,模型的訓練與測試精度分別下降了5.49%,2.43%,7.73%,4.86%,相比于FedMEC方法,DP-FLocEC則有較大的優(yōu)勢.由此可見,DP-FLocEC即使在邊緣服務(wù)器和云服務(wù)器都不可信的情況下,仍能在提供用戶訓練數(shù)據(jù)隱私保護的同時抵御差分攻擊、模型反演攻擊和梯度反向推理攻擊,并獲得了精確的定位精度.

    3) 不同模型的時間性能對比

    表3給出DP-FLocEC和其他7種模型的時間性能對比,其中D_PreP表示數(shù)據(jù)預(yù)處理時間、Time_Tr為模型訓練時間、Time_Te為樣本測試時間、Time_Com為通信時間.

    Table 3 The Time Comparison of Different Models

    從表3可以看出,DP-FLocEC在數(shù)據(jù)預(yù)處理上的時間和Fed-DP相近,高于Central,F(xiàn)ed,OPP,OJP方法,低于Central-DP和FedMEC.由于Central,F(xiàn)ed,OPP,OJP方法沒有考慮到數(shù)據(jù)的隱私,因此在數(shù)據(jù)預(yù)處理時間低于其他方法.Fed,F(xiàn)ed-DP,F(xiàn)edMEC,DP-FLocEC基于聯(lián)邦學習架構(gòu),其訓練模型所需的時間比其他2種集中式的學習方法都少.由于各個模型采用的網(wǎng)絡(luò)架構(gòu)相同,因此每個方法的測試時間差別不大.此外,F(xiàn)edMEC方法對模型進行分割,使得可訓練的模型參數(shù)減少,極大地降低了時間復雜度與通信復雜度.但是,該方法過于考慮用戶的數(shù)據(jù)隱私保護,嚴重破壞了數(shù)據(jù)的原始分布,導致數(shù)據(jù)的可用性降低.

    4.3.2 Mall和UJIIndoorLoc數(shù)據(jù)集上的實驗結(jié)果與分析

    為了驗證DP-FLocEC在不同大小數(shù)據(jù)集上的有效性,分別在包含有520維RSS特征的UJIIndoorLoc數(shù)據(jù)集和57維RSS特征的Mall數(shù)據(jù)集上進行了與在Mall-WiFi數(shù)據(jù)集上相同的實驗.采用模型的訓練精度Acc_Tr、測試精度Acc_Te、訓練損失Loss_Tr、測試損失Loss_Te、數(shù)據(jù)預(yù)處理時間D_PreP、模型訓練時間Time_Tr、樣本測試時間Time_Te及通信時間Time_Com作為評價指標,具體結(jié)果如表4所示.

    從表4可以看出,DP-FLocEC的模型訓練精度與測試精度在UJIIndoorLoc,Mall數(shù)據(jù)集上分別達到了95.93%,96.57%,93.53%,94.86%.比FedMEC在UJIIdoorLoc,Mall數(shù)據(jù)集上的模型訓練精度與測試精度分別高出了0.68%,7.97%,10.97%,10.71%.雖然FedMEC方法對數(shù)據(jù)提供了更加嚴格的隱私保護,但是卻嚴重破壞了數(shù)據(jù)的原始分布,使得模型的性能不高.與Central-DP,F(xiàn)ed-DP,OPP,OJP方法相比,DP-FLocEC模型訓練精度與測試精度雖然在UJIIndoorLoc,Mall數(shù)據(jù)集上分別下降了[0.01%,1.25%],[-0.04%,0.72%],[-0.46%,1.91%],[-0.57%,3.28%],[3.34%,3.74%],[0.87%,1.37%],[3.91%,4.58%],[0.97%,3%],但是DP-FLocEC能夠在保證服務(wù)質(zhì)量略微下降的情況下,同時保證數(shù)據(jù)及模型參數(shù)的隱私.由于沒有對數(shù)據(jù)進行隱私保護處理,Central,F(xiàn)ed,OPP,OJP方法在UJIIndoorLoc和Mall數(shù)據(jù)集上的數(shù)據(jù)預(yù)處理上花費的時間最少.此外,由于Fed,F(xiàn)ed-DP,DP-FLocEC基于聯(lián)邦學習架構(gòu)且網(wǎng)絡(luò)模型相同,所以模型的訓練與測試時間差別不大.值得注意的是,F(xiàn)edMEC方法在UJIIndoorLoc和Mall數(shù)據(jù)上的數(shù)據(jù)處理時間與其他方法相比是最大的、模型訓練花費時間是最小的,雖然FedMEC也是基于聯(lián)邦學習架構(gòu),但該方法對模型進行了切分,使得可訓練的模型參數(shù)變小,模型訓練的速度變快.此外,將特征提取與隱私保護任務(wù)分配給資源有限的終端設(shè)備,給終端設(shè)備計算資源造成了巨大的負擔.另外,在Mall,Mall-WiFi,UJIIndoorLoc數(shù)據(jù)集上的實驗也說明訓練數(shù)據(jù)的特征越豐富,DP-FLocEC模型的定位精度越高;而且,在Mall,Mall-WiFi,UJIIndoorLoc數(shù)據(jù)集上分別取得了91%,94.86%,96.57%的測試精度.這也說明了DP-FLocEC具有很好的實用性和魯棒性.綜上,DP-FLocEC方法能夠在提供高可靠室內(nèi)定位服務(wù)的同時,保護數(shù)據(jù)及模型參數(shù)的隱私,使得室內(nèi)定位服務(wù)應(yīng)用更加安全、可靠.

    Table 4 Comparison of Accuracy, Loss, and Time with Different Models

    續(xù)表4

    4.3.3 不同定位模型的性能比較

    為了驗證DP-FLocEC的性能,與Ciftler等人[15]所用的MLP框架以及Liu等人[43]提出的FLoc框架在UJIIndoorLoc數(shù)據(jù)集上進行比較實驗,由于文獻[15]利用MLP進行室內(nèi)定位是一個回歸問題,不能與本文的分類任務(wù)直接比較.因此,將其轉(zhuǎn)換成一個分類任務(wù).其中迭代次數(shù)為50,批次大小為256,實驗結(jié)果如表5所示:

    Table 5 Performance Comparison of Different Indoor Localization Models

    從表5中可以看出,由于MLP網(wǎng)絡(luò)結(jié)構(gòu)比較簡單、FLoc使用了自動編碼器降低RSS數(shù)據(jù)的維度,使得模型的訓練、測試時間都要優(yōu)于DP-FLocEC.但是,由于DP-FLocEC使用了CNN來細粒度地提取RSS數(shù)據(jù)特征,訓練得到的模型能夠充分刻畫數(shù)據(jù)整體特征,使得DP-FLocEC在模型的測試精度與測試損失方面的性能都要高于MLP和FLoc框架,對測試數(shù)據(jù)集的分類更準確,但是也造成DP-FLocEC的模型訓練時間遠高于MLP和FLoc框架.總之,基于CNN的DP-FLocEC模型在較快的響應(yīng)時間內(nèi),能夠為用戶提供更加精確、可靠、實時的定位服務(wù).

    4.3.4 隱私泄露分析

    (9)

    本文分別在Mall-WiFi,Mall,UJIIndoorLoc這3個數(shù)據(jù)集上利用式(9)對DP-FLocEC模型的隱私泄露進行了實驗,結(jié)果如圖14所示:

    Fig. 14 The analysis of privacy leakage圖14 隱私泄露分析

    從圖14中可以看出,在總隱私預(yù)算不變的情況下,隨著子隱私預(yù)算εs的增大,εc的減小,3個數(shù)據(jù)集上模型的隱私泄露逐漸上升,當[εs,εc]=[0.9, 0.1]時,在Mall-WiFi數(shù)據(jù)集上隱私泄露達到最大0.24,而在Mall數(shù)據(jù)集和UJIIndoorLoc上的隱私泄露值分別為0.0991和0.0083.由于Mall-WiFi數(shù)據(jù)集僅包含35維的特征,用于模型訓練時易產(chǎn)生過擬合,攻擊者更容易區(qū)分出訓練數(shù)據(jù),所以隱私泄露會比其他2個數(shù)據(jù)集高很多.而Mall數(shù)據(jù)集和UJIIndoorLoc數(shù)據(jù)集分別包含57維和520維特征,其隱私泄露非常低.這說明隨著數(shù)據(jù)特征及數(shù)量的增大,隱私泄露風險會逐漸降低,這可能是因為數(shù)據(jù)量及數(shù)據(jù)特征越大,模型不易過擬合,攻擊者很難區(qū)分訓練數(shù)據(jù)和其余數(shù)據(jù).因此,差分隱私機制能很好地保護用戶的RSS數(shù)據(jù)隱私.從圖14中也可以看出,當[εs,εc]=[0.5,0.5]時,本文方法在Mall-WiFi,Mall,UJIIndoorLoc這3個數(shù)據(jù)集上的隱私泄露分別為0.0333,0.019,0.0021,考慮到前面討論的隱私預(yù)算分配對模型性能的影響,這種分配策略能在隱私保護和模型性能之間取得更好的權(quán)衡.

    5 結(jié) 論

    本文提出了DP-FLocEC模型,該模型構(gòu)建了邊緣計算框架下的聯(lián)邦學習協(xié)議,降低了云服務(wù)器的計算開銷、通信開銷及數(shù)據(jù)傳輸延遲,同時利用差分隱私技術(shù)實現(xiàn)了可證明的隱私保護算法,解決了邊緣服務(wù)器和云服務(wù)器上定位模型訓練及應(yīng)用過程中的用戶數(shù)據(jù)及模型參數(shù)隱私泄露問題.為了解決終端設(shè)備資源受限問題,DP-FLocEC構(gòu)建了一個基于CNN的輕量級室內(nèi)定位模型,在Mall,Mall-WiFi,UJIIndoorLoc數(shù)據(jù)集上分別取得了91%,94.86%,96.57%的測試精度.實驗結(jié)果和安全性分析表明,與基于云架構(gòu)的集中式模型相比,該機制在提供可證明的隱私保護情況下取得了較高的定位精度、減少了通信開銷;與基于聯(lián)邦學習架構(gòu)的分布式模型相比,該機制在取得幾乎相同定位精度和資源開銷的情況下,提供了更加全面的隱私保護.在未來的工作中,擬構(gòu)建真實的室內(nèi)定位及邊緣計算環(huán)境,深入研究DL模型隱私保護中的動態(tài)隱私分配機制,優(yōu)化室內(nèi)定位模型網(wǎng)絡(luò)架構(gòu),使得DP-FLocEC在提供更加細粒度隱私保護的同時,提高模型的精度,降低模型的訓練、測試時間及通信開銷.

    作者貢獻聲明:張學軍是論文核心思想和關(guān)鍵算法的提出者,主要負責論文撰寫、修改,指導論文實驗的設(shè)計、實現(xiàn)以及結(jié)果分析;何福存負責論文撰寫、修改,以及實驗設(shè)計、實現(xiàn)與結(jié)果統(tǒng)計分析;蓋繼揚、鮑俊達參與論文修改與部分實驗結(jié)果分析;黃海燕、杜曉剛參與論文修改與結(jié)構(gòu)設(shè)計.

    猜你喜歡
    差分指紋邊緣
    數(shù)列與差分
    像偵探一樣提取指紋
    為什么每個人的指紋都不一樣
    一張圖看懂邊緣計算
    基于自適應(yīng)稀疏變換的指紋圖像壓縮
    自動化學報(2016年8期)2016-04-16 03:39:00
    可疑的指紋
    基于差分隱私的大數(shù)據(jù)隱私保護
    相對差分單項測距△DOR
    太空探索(2014年1期)2014-07-10 13:41:50
    差分放大器在生理學中的應(yīng)用
    在邊緣尋找自我
    雕塑(1999年2期)1999-06-28 05:01:42
    延川县| 阿克陶县| 永定县| 化州市| 延川县| 卓资县| 东丰县| 新郑市| 中江县| 珲春市| 独山县| 乐安县| 通榆县| 安仁县| 盐城市| 准格尔旗| 措勤县| 中宁县| 花莲县| 建湖县| 特克斯县| 札达县| 乌鲁木齐县| 邢台县| 浮梁县| 佛冈县| 工布江达县| 阳东县| 湘西| 明溪县| 安远县| 淳化县| 莱州市| 灌阳县| 定日县| 澎湖县| 宁武县| 缙云县| 博爱县| 永泰县| 交城县|