基于深度置信網(wǎng)絡(luò)的室內(nèi)指紋定位算法

秦益文封志宏蘇楠馬丁李小菲

(1.蘭州交通大學(xué) 電子與信息工程學(xué)院,甘肅 蘭州 730070；2.河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院,河北 保定 071002；3.河北大學(xué) 信息技術(shù)中心,河北 保定 071002)

自20世紀(jì)90年代,全球定位系統(tǒng)(global positioning system,GPS)已在全球進(jìn)行了定位覆蓋,為民眾的生活提供了極大便利[1-2].雖然全球定位系統(tǒng)(GPS)是應(yīng)用最廣泛的定位技術(shù),但有統(tǒng)計(jì)信息顯示,人們在室內(nèi)的時(shí)間超過79%,說明室內(nèi)定位有著更多的需求空間.然而室內(nèi)有著更多障礙物遮擋和多徑效應(yīng)的干擾[3],因此至今還沒有應(yīng)用廣泛的室內(nèi)定位技術(shù)[4].由于WiFi無線接入點(diǎn)(APs)和移動(dòng)設(shè)備的普及,在聲學(xué)、磁場、加速度計(jì)和接收信號(hào)強(qiáng)度(RSS)等室內(nèi)環(huán)境的替代定位技術(shù)中,RSS是最受歡迎的定位技術(shù)[5].因此,利用智能手機(jī)和APs之間的RSS等無線電信號(hào)測量成為室內(nèi)定位最實(shí)用的解決方案之一.然而,雖然諸如[6-7]這樣的指紋識(shí)別算法有可接受的定位精度,但在實(shí)時(shí)位置估計(jì)之前,需要進(jìn)行大量測量所謂的指紋,為離線訓(xùn)練階段建立指紋數(shù)據(jù)庫.這在實(shí)踐中對(duì)定位系統(tǒng)的自主部署施加了限制,特別是大型且復(fù)雜的空間.在大范圍使用指紋定位系統(tǒng)還需要從指紋數(shù)據(jù)庫獲取大量數(shù)據(jù)并存儲(chǔ)在移動(dòng)設(shè)備中進(jìn)行位置估計(jì).即使可以進(jìn)行費(fèi)力的指紋識(shí)別以后,環(huán)境還可能會(huì)頻繁變化,指紋系統(tǒng)的準(zhǔn)確性也會(huì)大大降低.因此,指紋識(shí)別方法需要定期更新指紋數(shù)據(jù)庫以保持較高的準(zhǔn)確性.這些問題嚴(yán)重影響了基于指紋的室內(nèi)定位系統(tǒng)的應(yīng)用.

現(xiàn)在已有了許多減少位置標(biāo)記簽名繁瑣收集的方法.然而,這些方法使用的降維方案均不能學(xué)習(xí)定位指紋的隱藏特征.因此,本文提出利用學(xué)習(xí)隱藏特征的深度學(xué)習(xí)方法,一方面原因是它能推斷單層表示.另一方面,深度學(xué)習(xí)方法,如深度置信網(wǎng)絡(luò)(deep belif network,DBN),可以利用生成概率模型來表示不同隱含層的層次隱含特征.每個(gè)隱層單元將學(xué)習(xí)底層單元之間的統(tǒng)計(jì)關(guān)系；較高的層往往變得更加復(fù)雜.本文為了解決位置標(biāo)記簽名繁瑣收集的問題,利用無監(jiān)督預(yù)訓(xùn)練階段,在盡可能保持定位精度的前提下減少標(biāo)記指紋.DBN 的培訓(xùn)包括2個(gè)階段:預(yù)培訓(xùn)和調(diào)優(yōu).預(yù)訓(xùn)練以無監(jiān)督的方式從未標(biāo)記的樣本中學(xué)習(xí)概率分布,以減少RSS指紋定位標(biāo)注的工作量,再進(jìn)行深度特征學(xué)習(xí).

1 相關(guān)工作

1.1 無監(jiān)督學(xué)習(xí)

假設(shè)有未標(biāo)記的訓(xùn)練數(shù)據(jù),無監(jiān)督特征學(xué)習(xí)的關(guān)鍵思想是應(yīng)用反向傳播[8].圖1所示即自編碼神經(jīng)網(wǎng)絡(luò),可用于訓(xùn)練網(wǎng)絡(luò)來獲取一個(gè)函數(shù)hw,b(x)≈x以近似輸出類似于x,其中,x為訓(xùn)練數(shù)據(jù),hw,b(x)為通過訓(xùn)練網(wǎng)絡(luò)得到的關(guān)于x的函數(shù),y為輸出.模型的參數(shù)w進(jìn)行訓(xùn)練后,任何新輸入的值,都可以計(jì)算出相應(yīng)的無監(jiān)督特征,圖2所示即隱藏單元的激活,其中,x為輸入的訓(xùn)練數(shù)據(jù),hw,b(x)為訓(xùn)練模型,a為計(jì)算出的相應(yīng)的無監(jiān)督特征.

圖1 自編碼神經(jīng)網(wǎng)絡(luò)Fig.1 Unsupervised feature training architecture with autoencoder

圖2 利用已知激活單元的無監(jiān)督特征學(xué)習(xí)模型Fig.2 Model for unsupervised feature learning using known activation units

以奇異值分解(singular value decomposition,SVD)為核心的主成分分析法(principal component analysis,PCA)是一種線性特征學(xué)習(xí)方法[9].由于PCA 只利用數(shù)據(jù)的淺層表示、輸入數(shù)據(jù)的一階和二階矩,因此,它是一種淺層特征學(xué)習(xí),且所學(xué)習(xí)的特性(激活)的數(shù)量不能大于輸入的維度,這使得PCA 不能很好地描述復(fù)雜和非結(jié)構(gòu)化數(shù)據(jù)的隱藏特征.

1.2 深度置信網(wǎng)絡(luò)

Hinton等發(fā)現(xiàn)[6],DBNs可以通過疊加限制玻爾茲曼機(jī)(restricted boltzmann machine,RBMs)來構(gòu)建.這種RBMs模型可以通過貪婪的方式進(jìn)行訓(xùn)練,并提取訓(xùn)練數(shù)據(jù)的深層層次來表示.觀測矢量x與l層隱層hk之間的聯(lián)合分布,其模型如下:

其中,x=h0,P(hk-1|hk)是基于層次k的RBM 隱藏單元的可見單元的條件分布,P(hl-1,hl)是頂層RBM的可見-隱藏聯(lián)合分布.DBN 可以在圖3中可視化為一個(gè)RBM 堆棧[10],其中虛線箭頭用未標(biāo)記的數(shù)據(jù)顯示訓(xùn)練前的情況；實(shí)線箭頭用標(biāo)記的數(shù)據(jù)顯示微調(diào)后的情況.

圖3 深度置信網(wǎng)絡(luò)的網(wǎng)格結(jié)構(gòu)Fig.3 Network architecture of deep belif network

訓(xùn)練DBN 網(wǎng)絡(luò)時(shí),首先用未標(biāo)記的數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練.圖3中的虛線箭頭表示訓(xùn)練前的路徑.通過此,得到相應(yīng)的訓(xùn)練后的RBM 模型,以用來計(jì)算特征向量.由于這個(gè)自動(dòng)編碼器包含了大量的深度學(xué)習(xí)模型,RBMs可以提供更好的隱藏特性.這種基于RBM 的方法稱為深度特征學(xué)習(xí).

2 無監(jiān)督深度特征學(xué)習(xí)的深度置信網(wǎng)絡(luò)指紋定位算法

2.1 算法描述

假設(shè)可以獲得有限的標(biāo)記指紋和大量的未標(biāo)記指紋.本算法將展示基于DBN 的無監(jiān)督特征學(xué)習(xí)指紋定位方法,分為離線和在線2個(gè)階段,如圖4所示.

圖4 指紋定位模型Fig.4 Model of fingerprint location

在離線階段,首先利用帶標(biāo)記和未帶標(biāo)記的指紋進(jìn)行無監(jiān)督的淺特征學(xué)習(xí),然后利用訓(xùn)練好的淺特征學(xué)習(xí)模型將指紋轉(zhuǎn)化為淺特征.其次,將淺特征用于無監(jiān)督的深度特征學(xué)習(xí).最后,利用淺特征和深度特征學(xué)習(xí)模型將帶標(biāo)記的指紋轉(zhuǎn)化為帶標(biāo)記的深度特征,然后利用這些深度特征及其位置標(biāo)簽訓(xùn)練監(jiān)督位置估計(jì)模型.在在線階段,利用離線階段中訓(xùn)練好的無監(jiān)督特征學(xué)習(xí)模型,將未知/測試位置的指紋轉(zhuǎn)化為深度特征.然后利用測試數(shù)據(jù)的深度特征,利用訓(xùn)練后的監(jiān)督位置估計(jì)模型來推斷未知位置.

2.2 特征學(xué)習(xí)優(yōu)化

在大型建筑中,通常有許多APs,然而,由于WiFi通信范圍的限制,并不是所有的手機(jī)都可以從特定的位置進(jìn)行掃描.例如,圖5顯示了根據(jù)UJIIndoor Loc數(shù)據(jù)集[7]智能手機(jī)掃描的APs的直方圖.每部智能手機(jī)掃描的平均接入點(diǎn)為18個(gè),而總共有520個(gè)接入點(diǎn).數(shù)據(jù)集是通過20多個(gè)不同的用戶和25個(gè)不同的Android設(shè)備收集的.

圖5 不同APs下的可測點(diǎn)的數(shù)量直方圖Fig.5 Histogram of the number of measurable points under different APs

由于在每個(gè)測量中掃描的APs的數(shù)量與可用的APs的數(shù)量相比太少,因此測量的很多RSS值都是不可用的.因此,輸入在某種程度上是多余的.此外,相鄰的APs高度相關(guān)因此它們提供非常相似的RSS值.由于冗余和相關(guān)性[11],使用核心主成分分析采用SVD[12]來有效地降維.注意,PCA 和SVD 還允許以非監(jiān)督的方式提取淺隱藏特征,就像文獻(xiàn)[7]中研究的那樣.

此外,WiFi無線電信號(hào)對(duì)物體和環(huán)境非常敏感,尤其是對(duì)人體更為敏感[13].換句話說,RSS測量是有噪聲的,因此,使用PCA 白化來降低噪聲的影響.

這些淺層特征經(jīng)過噪聲白化和降維處理,作為下一步深度特征學(xué)習(xí)的輸入.需要注意的是,這些淺層特征也可以作為輸入來訓(xùn)練指紋模型.在高度動(dòng)態(tài)的室內(nèi)環(huán)境中,由于淺體系結(jié)構(gòu)的泛化程度較低,僅使用前面步驟中學(xué)習(xí)到的淺特征的定位系統(tǒng)無法長期保持高性能.因此,像DBN 這樣的架構(gòu)可以深度學(xué)習(xí)代表動(dòng)態(tài)室內(nèi)環(huán)境的高級(jí)特征.在這項(xiàng)工作中,本算法采用的預(yù)訓(xùn)練階段.DBN 模型的無監(jiān)督培訓(xùn),使用淺的特征標(biāo)記訓(xùn)練集的RSS測量.使用隱藏層的逐層貪婪預(yù)訓(xùn)練算法,保證了一個(gè)快捷方式進(jìn)行近似推理訓(xùn)練每一元.在使用驗(yàn)證集和測試集時(shí),利用訓(xùn)練好的深度特征學(xué)習(xí)模型將淺層特征轉(zhuǎn)化為深度特征.

為訓(xùn)練能夠在在線階段用于位置估計(jì)的指紋模型,本文使用了SVM 的淺監(jiān)督回歸/分類算法.當(dāng)想要估計(jì)的位置在坐標(biāo)水平時(shí)使用回歸算法；但當(dāng)用來估計(jì)的位置在房間和地板水平時(shí),將用分類算法來標(biāo)記指紋以訓(xùn)練監(jiān)督指紋模型.標(biāo)記的指紋首先會(huì)被轉(zhuǎn)換成淺特征,然后將淺特征轉(zhuǎn)換為深特征.這些深層特征將被用作回歸/分類算法的輸入.訓(xùn)練后的回歸/分類模型存儲(chǔ)在服務(wù)器上,用于在線階段的位置估計(jì).

2.3 實(shí)時(shí)指紋定位

利用離線階段訓(xùn)練的模型:淺特征學(xué)習(xí)、深特征學(xué)習(xí)、位置回歸或分類[14],在在線階段,用戶向基于位置服務(wù)(location based service,LBS)請(qǐng)求位置估計(jì)[15],服務(wù)器收集指紋樣本并利用訓(xùn)練過的特征匹配算法進(jìn)行位置估計(jì),最終向用戶的智能手機(jī)發(fā)送新位置的估計(jì).智能手機(jī)在未知位置測量的Aps中的原始RSS值將首先用于提取淺層特征,然后提取深層特征.這些未知位置的深度學(xué)習(xí)特征將作為回歸/分類模型的輸入,用于估計(jì)未知位置[16].

利用離線階段中訓(xùn)練好的無監(jiān)督特征學(xué)習(xí)模型,將未知/測試位置的指紋轉(zhuǎn)化為深度特征.然后利用測試數(shù)據(jù)的深度特征,利用訓(xùn)練后的監(jiān)督位置估計(jì)模型來推斷未知位置.

3 實(shí)驗(yàn)評(píng)估

3.1 數(shù)據(jù)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)環(huán)境:操作系統(tǒng)使用Ubuntu 14.04,編譯環(huán)境使用python3.7,IntelI CoreI i5-5200 CPU @2.20GHz 2.20GHz,DDR3L 4.00GB RAM.

數(shù)據(jù)集使用UJIIndoor Loc數(shù)據(jù)集來驗(yàn)證本文提出的方法,它被認(rèn)為是室內(nèi)定位的基準(zhǔn).數(shù)據(jù)集收集于3棟建筑,總表面積108 703 m2.數(shù)據(jù)集包括19 937個(gè)訓(xùn)練測量值和1 111個(gè)測試測量值.測試集在訓(xùn)練集之后4個(gè)月進(jìn)行,以確保數(shù)據(jù)集的獨(dú)立性.在數(shù)據(jù)集中,有520個(gè)Aps被智能手機(jī)掃描.這項(xiàng)實(shí)驗(yàn)是由20多名用戶攜帶25款不同型號(hào)的智能手機(jī)進(jìn)行的.

在本文中,由于其他2個(gè)建筑物的結(jié)果相似,將只給出數(shù)據(jù)集中第1個(gè)建筑物的定位結(jié)果.第1個(gè)建筑物中,在訓(xùn)練集中有5 249個(gè)測量值,在測試集中有536個(gè)測量值.每個(gè)測量值包含520個(gè)RSS值,對(duì)應(yīng)于520個(gè)Aps,即輸入520個(gè)維度.所有的標(biāo)簽都標(biāo)明了實(shí)際位置.為了驗(yàn)證無監(jiān)督特征學(xué)習(xí)方法的有效性,將訓(xùn)練集隨機(jī)分為2部分,其中一部分被認(rèn)為是已標(biāo)記數(shù)據(jù)集,另一部分被認(rèn)為是未標(biāo)記數(shù)據(jù)集.這種劃分以不同的比例重復(fù),從1%到99%不等.

3.2 評(píng)估標(biāo)準(zhǔn)

本算法采用均方根誤差(root mean squared error,RMSE)來表示SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的總體性能.定義如下式,計(jì)算結(jié)果越小,總體性能越優(yōu).

其中,預(yù)測誤差ei是RSS的實(shí)際觀察值yi與預(yù)測估計(jì)值^yi之差,n是測試集.

本算法采用累計(jì)分布函數(shù)(cumulative distribution function,CDF)詳細(xì)研究SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的性能.CDF的平滑趨勢出現(xiàn)的越早,則性能越穩(wěn)定.CDF定義如下:

FX(x)=P(X≤x).

3.3 參數(shù)設(shè)置

為了研究無監(jiān)督深度特征學(xué)習(xí)的本地化性能,將SVM 作為回歸模型,即所謂的SVR(support vactor regerssion).在先前的研究中,已經(jīng)表明SVM 優(yōu)于其他技術(shù).所實(shí)現(xiàn)的SVR 融合了深度特征學(xué)習(xí)和淺層特征學(xué)習(xí).因此,基于淺特征學(xué)習(xí)PCA 的SVR 是傳統(tǒng)指紋識(shí)別的最佳方法之一.

針對(duì)UJIIndoor Loc數(shù)據(jù)集,首先使用SVD 求解器建立基于PCA 的淺特征學(xué)習(xí)的參數(shù).由于每部智能手機(jī)在建筑訓(xùn)練集中掃描的平均ap數(shù)為16,所以將下維數(shù)設(shè)置為48,以保證足夠覆蓋信息通道.設(shè)置一個(gè)大于48的值會(huì)導(dǎo)致增加冗余維度和計(jì)算量.

對(duì)于基于DBN 的預(yù)訓(xùn)練階段的深度特征學(xué)習(xí),本算法將網(wǎng)絡(luò)架構(gòu)設(shè)置為3個(gè)200節(jié)點(diǎn)的隱藏層.RBM的epoch數(shù)量設(shè)置為150.RBM 的學(xué)習(xí)率設(shè)置為0.02.該矯正線性單元(Rectified linear unit,Re LU)用于加快訓(xùn)練過程.此設(shè)置僅基于使用訓(xùn)練數(shù)據(jù)集對(duì)DBN 的各種體系結(jié)構(gòu)進(jìn)行的啟發(fā)式嘗試,這些架構(gòu)考慮了準(zhǔn)確性和運(yùn)行時(shí)間方面的性能.

由于位置監(jiān)督訓(xùn)練與估計(jì)是基于SVM 的,且基于POLY 核的神經(jīng)元網(wǎng)絡(luò)是一種有效的位置估計(jì)方法,因此將SVR 的核設(shè)為POLY,多項(xiàng)式核函數(shù)次數(shù)設(shè)置為4,被所有其他內(nèi)核忽略.

3.4 對(duì)照實(shí)驗(yàn)及結(jié)果分析

圖6為SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的總體性能RMSE.在圖6中,改變了標(biāo)記的AP測量值的數(shù)量:從52(對(duì)應(yīng)于1%的測量值)到5 246(對(duì)應(yīng)于100%的測量值).當(dāng)與深度特征學(xué)習(xí)結(jié)合使用時(shí),SVM 可以提供更好的位置估計(jì).但SVM 在與RSS測量的原始值配對(duì)時(shí)表現(xiàn)不佳,因此本文排除了此結(jié)果.

圖6 不同指紋數(shù)量的均方根誤差(RMSE)Fig.6 RMSE of different fingerprints plot

從圖6中可以看出,當(dāng)標(biāo)記的度量值更多時(shí),2種方法的性能都得到了改善.然而,只有當(dāng)未標(biāo)記的測量值低于524時(shí),這種改善才會(huì)顯著增加.這說明不斷增加標(biāo)記的度量并不一定會(huì)提高定位性能,但會(huì)顯著增加數(shù)據(jù)收集和注釋的成本.

另外還可以看出,深度特征學(xué)習(xí)可以幫助SVM 算法在標(biāo)記量較低的情況下保持其定位性能.盡管只使用了78個(gè)標(biāo)記測量值,但深度特征學(xué)習(xí)SVM 仍可以提供較好的結(jié)果.與使用5 246個(gè)標(biāo)記的測量值相比,RMSE只增加了1.876 m(從6.343 m 增加到8.232 m).此外,與使用100%標(biāo)記指紋的最接近基線方法相比,僅使用15%標(biāo)記指紋時(shí),本文的方法將定位精度提高2.6 m.

由于圖6僅顯示了RMSE方面的總體性能,因此使用圖7和圖8所示的累積分布函數(shù)(CDF)圖來詳細(xì)研究定位性能.圖7和圖8所示的分布是當(dāng)分別使用78個(gè)和5246個(gè)標(biāo)記的測量值時(shí)的定位誤差.

從圖7可以看出,僅使用78個(gè)標(biāo)記時(shí),結(jié)合深度特征學(xué)習(xí)的SVM 仍然表現(xiàn)良好,其中90%的測試位置誤差小于19.4 m.從圖8還可以看出,結(jié)合淺特征學(xué)習(xí)的SVM 的性能受標(biāo)記測量值缺失的影響較大,90%的測試位置誤差小于29.3 m.

如圖8所示,在使用100%標(biāo)記指紋的情況下,當(dāng)標(biāo)記測量量豐富時(shí),淺特征學(xué)習(xí)和深特征學(xué)習(xí)的定位性能差異要小得多.此時(shí),結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的SVM 的性能都比較好,非常相似.結(jié)合淺層特征學(xué)習(xí)的SVM 的性能與結(jié)合深度特征學(xué)習(xí)的SVM 的性能有很大的差距.

圖7 使用78個(gè)標(biāo)記測量值時(shí)的累計(jì)分布函數(shù)(CDF)Fig.7 Cumulative Distribution Function(CDF)with 78 labeled measurements

圖8 使用5 249個(gè)標(biāo)記測量值時(shí)的累計(jì)分布函數(shù)(CDF)Fig.8 Cumulative Distribution Function(CDF)with 5 249 labeled measurements

4 結(jié)束語

提出了一種可以在有限數(shù)量的標(biāo)記指紋上表現(xiàn)良好的新的指紋定位方法.深度信念網(wǎng)絡(luò)(DBN)的預(yù)訓(xùn)練階段,通常用于為監(jiān)督分類或回歸問題預(yù)訓(xùn)練數(shù)據(jù).然而,本文使用預(yù)訓(xùn)練階段來訓(xùn)練一個(gè)無監(jiān)督的深度特征學(xué)習(xí)模型,然后利用該模型提取標(biāo)記指紋的深層特征進(jìn)行定位估計(jì).通過上述方法,由于未標(biāo)記的數(shù)據(jù)不需要位置注釋且對(duì)用戶的隱私不那么敏感,所以收集起來更方便.此外,與傳統(tǒng)的使用標(biāo)記指紋的方法(如使用原始RSS值和淺特征)相比,從大量未標(biāo)記指紋中學(xué)習(xí)深度特征可以提供更好的定位精度.

使用支持向量回歸(SVR)和一個(gè)最通用的真實(shí)世界數(shù)據(jù)集來驗(yàn)證本文的算法,該數(shù)據(jù)集包含大量樣本.實(shí)驗(yàn)結(jié)果表明,SVM 與深度特征學(xué)習(xí)相結(jié)合的新方法優(yōu)于傳統(tǒng)的SVM 與淺層特征學(xué)習(xí)或原始數(shù)據(jù)相結(jié)合的方法.此外,即使使用只有1.5%標(biāo)記指紋的深度特征學(xué)習(xí),均方根誤差(RMSE)仍然與使用100%可用標(biāo)記指紋的傳統(tǒng)淺層特征學(xué)習(xí)一樣好.

在未來的工作中,將使用更多的基于WLAN 的指紋數(shù)據(jù)集來驗(yàn)證本文算法,并開發(fā)深度轉(zhuǎn)移特征學(xué)習(xí)技術(shù)來從不同的數(shù)據(jù)域提取隱藏特征,如可以從其他不同的室內(nèi)環(huán)境中采集到的未標(biāo)記指紋中提取出室內(nèi)環(huán)境的隱藏特征.