基于神經(jīng)網(wǎng)絡(luò)的室內(nèi)外場(chǎng)景識(shí)別方法

胡賢賢， 汪云甲*， 孫 猛， 齊紅霞

(1.中國(guó)礦業(yè)大學(xué)自然資源部國(guó)土環(huán)境與災(zāi)害監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室， 徐州 221116； 2.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院， 徐州 221116)

在現(xiàn)代社會(huì)，全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system, GNSS)可以較好地解決室外環(huán)境下的實(shí)時(shí)定位與導(dǎo)航問(wèn)題。在室內(nèi)環(huán)境下，由于建筑物等的遮擋，衛(wèi)星信號(hào)強(qiáng)度減弱導(dǎo)致定位精度大大下降，不能滿足人們的室內(nèi)定位的需求。但室內(nèi)環(huán)境中豐富的無(wú)線電信號(hào)為室內(nèi)定位提供了充足的信號(hào)源，目前利用無(wú)線電信號(hào)的室內(nèi)定位技術(shù)有WiFi定位[1]、藍(lán)牙定位[2]、超寬帶(ultra wide band, UWB)定位[3]、射頻識(shí)別(radio frequency identification, RFID)定位[4]等。然而，現(xiàn)代社會(huì)建筑的室內(nèi)室外界限模糊，適用于復(fù)雜環(huán)境下的室內(nèi)外無(wú)縫定位技術(shù)仍然是目前難以解決的問(wèn)題，室內(nèi)外無(wú)縫定位也終將是導(dǎo)航與位置服務(wù)未來(lái)發(fā)展的方向[5]。室內(nèi)外場(chǎng)景識(shí)別是實(shí)現(xiàn)室內(nèi)外無(wú)縫定位的關(guān)鍵，可以對(duì)GNSS技術(shù)和室內(nèi)定位技術(shù)的使用策略，以及人的行為感知等方面提供指導(dǎo)意見(jiàn)。因此，室內(nèi)外場(chǎng)景識(shí)別技術(shù)具有很重要的研究?jī)r(jià)值和實(shí)用價(jià)值。

中外學(xué)者在室內(nèi)外場(chǎng)景識(shí)別領(lǐng)域已經(jīng)有了較多的研究成果。目前，室內(nèi)外識(shí)別大致可分為兩類(lèi)，第一類(lèi)是添加專(zhuān)門(mén)運(yùn)用于室內(nèi)外場(chǎng)景識(shí)別的硬件設(shè)施，該方法具有較高的識(shí)別精度且實(shí)現(xiàn)簡(jiǎn)單，如宿舍的門(mén)禁系統(tǒng)、超市的防盜系統(tǒng)。但這類(lèi)方法的硬件成本投入太高，限制了方法的普適性；第二類(lèi)是使用環(huán)境中已有的特征數(shù)據(jù)進(jìn)行室內(nèi)外場(chǎng)景識(shí)別，該類(lèi)方法需要選擇普適性好、室內(nèi)外相關(guān)性強(qiáng)的特征數(shù)據(jù)構(gòu)建合適的室內(nèi)外識(shí)別模型[6-7]。文獻(xiàn)[8]利用機(jī)器學(xué)習(xí)算法對(duì)移動(dòng)通信蜂窩基站在不同環(huán)境下的相鄰全局系統(tǒng)信號(hào)強(qiáng)度進(jìn)行分類(lèi)，雖然取得了較好的實(shí)驗(yàn)結(jié)果，但實(shí)驗(yàn)所用室內(nèi)外的特征數(shù)據(jù)較少，且對(duì)特征挖掘程度不足。文獻(xiàn)[9]使用WiFi傳感器和弱分類(lèi)器設(shè)計(jì)了一種基于半馬爾科夫條件隨機(jī)域的方法來(lái)識(shí)別室內(nèi)外環(huán)境，但只使用WiFi傳感器會(huì)讓使用場(chǎng)景受到限制。文獻(xiàn)[10]利用手機(jī)低功耗組件構(gòu)建室內(nèi)外檢測(cè)模型并結(jié)合了GPS信息，可對(duì)特定位置的場(chǎng)景進(jìn)行有效的室內(nèi)外場(chǎng)景識(shí)別，但只能在特定位置使用限制了方法的普適性。文獻(xiàn)[11]通過(guò)用戶行為模式進(jìn)行室內(nèi)外識(shí)別，提出了基于轉(zhuǎn)彎頻率和運(yùn)動(dòng)占空比的識(shí)別算法，但行為特征和室內(nèi)外識(shí)別的相關(guān)性較弱，識(shí)別精度較低。文獻(xiàn)[12]提出了一種基于支持向量機(jī)(support vector machine, SVM)的室內(nèi)外檢測(cè)算法，該方法根據(jù)時(shí)間和氣象條件設(shè)計(jì)了多個(gè)分類(lèi)器，但測(cè)試數(shù)據(jù)較少，普適性較低。文獻(xiàn)[13]使用基站模塊、光傳感器和磁力計(jì)3個(gè)輕量級(jí)模塊進(jìn)行場(chǎng)景識(shí)別，算法簡(jiǎn)單、功耗低是該模型的優(yōu)勢(shì)，但該模型采用很多關(guān)鍵閾值憑借經(jīng)驗(yàn)確定，難以適應(yīng)復(fù)雜的環(huán)境。文獻(xiàn)[14]利用兩個(gè)平行工作的分類(lèi)器，使用不斷更新的協(xié)同學(xué)習(xí)方式訓(xùn)練分類(lèi)器，這種方式有效解決了不同環(huán)境所造成的識(shí)別準(zhǔn)確率下降的問(wèn)題，但該方法會(huì)使用新數(shù)據(jù)的識(shí)別結(jié)果直接進(jìn)行監(jiān)督訓(xùn)練，模型的精度受最初所建立的分類(lèi)器影響。文獻(xiàn)[15]使用圖像識(shí)別技術(shù)進(jìn)行室內(nèi)外場(chǎng)景識(shí)別，提出了一種不需要圖像分割的基于圖像的室內(nèi)外識(shí)別的方法，但圖像識(shí)別算法復(fù)雜度較高。

針對(duì)上述的研究方法對(duì)室內(nèi)外數(shù)據(jù)的特征挖掘程度不足、模型魯棒性差等問(wèn)題，現(xiàn)提出利用室內(nèi)外的GNSS衛(wèi)星信號(hào)個(gè)數(shù)、衛(wèi)星高度角、信噪比、地磁場(chǎng)數(shù)據(jù)以及光照強(qiáng)度數(shù)據(jù)作為特征數(shù)據(jù)，輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到室內(nèi)外場(chǎng)景識(shí)別模型，以期利用所提取的室內(nèi)場(chǎng)景識(shí)別特征訓(xùn)練得到具有較高的識(shí)別準(zhǔn)確率的模型。

1 室內(nèi)外場(chǎng)景識(shí)別模型

1.1 神經(jīng)網(wǎng)絡(luò)算法原理

神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)算法，具有良好的自學(xué)習(xí)能力[16]。如圖1(a)所示，所用神經(jīng)網(wǎng)絡(luò)共有3層，分別為輸入層、隱藏層與輸出層，相鄰兩層之間以全連接的形式連接。輸入層的神經(jīng)元個(gè)數(shù)取決于訓(xùn)練所使用的特征個(gè)數(shù)；隱藏層神經(jīng)元個(gè)數(shù)則可根據(jù)實(shí)際需要調(diào)整，取為10個(gè)；輸出層兩個(gè)神經(jīng)元分別代表室內(nèi)與室外。

圖1 神經(jīng)網(wǎng)絡(luò)Fig.1 Neural network

如圖1(b)所示，下一級(jí)單個(gè)神經(jīng)元的輸入均是上級(jí)神經(jīng)元輸出的加權(quán)和，假設(shè)上級(jí)神經(jīng)元的輸出O=[o1,o2,…,on]，w=[w1,w2,…,wn]為對(duì)應(yīng)的連接權(quán)值向量，則對(duì)于隱藏層與輸出層的單個(gè)神經(jīng)元的輸入值NEin的計(jì)算公式為

在計(jì)算出單個(gè)神經(jīng)元的輸入值后，神經(jīng)網(wǎng)絡(luò)需要根據(jù)一定的規(guī)則將神經(jīng)元的輸入映射到輸出，從而向下一層神經(jīng)元輸出數(shù)據(jù)。在神經(jīng)網(wǎng)絡(luò)算法中，sigmod函數(shù)是最常用的計(jì)算函數(shù)，其可定義為

sigmod函數(shù)可以將輸入值信號(hào)變換成0～1的數(shù)值，然后神經(jīng)元根據(jù)該數(shù)值計(jì)算向下一層神經(jīng)元的輸出NEout，計(jì)算公式為

NEout=sigmod(NEin) (3)

假設(shè)下一層神經(jīng)元的輸入信號(hào)為向量Y，將向量中的每一項(xiàng)用式(2)計(jì)算即可得到下一層神經(jīng)元的輸出信號(hào)的向量，即

Y=WO(4)

式(4)中：W為神經(jīng)元之間的權(quán)值向量按行排列組成的矩陣；O為上級(jí)神經(jīng)元的輸出。

Ek=T-Ok(5)

式中： ΔWi,k為權(quán)值的更新值，使用式(7)計(jì)算，即。

ΔWm,i=αEiOk(1-Ok)OiΤ(7)

式(7)中：Ok為輸出層的輸出向量；Oi為隱藏層的輸出向量；α∈(0,1)為學(xué)習(xí)率，學(xué)習(xí)率可以調(diào)節(jié)權(quán)值變化的強(qiáng)度，避免權(quán)值變化過(guò)于劇烈，這里設(shè)定為0.01。

在完成了Wi,k的更新后，使用式(8)計(jì)算出隱藏層神經(jīng)元的誤差Ei，并同樣使用梯度下降法更新隱藏層i和輸入層m之間的權(quán)值Wm,i，使用式(9)計(jì)算Wm,i的更新值ΔWm,i。

式中：Im為輸入層的輸入向量。

1.2 基于神經(jīng)網(wǎng)絡(luò)的室內(nèi)外識(shí)別方法

本文方法利用神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型，主要包括訓(xùn)練階段和測(cè)試階段。在訓(xùn)練階段，首先要提取用于室內(nèi)外識(shí)別的特征數(shù)據(jù)。根據(jù)導(dǎo)航衛(wèi)星數(shù)據(jù)，結(jié)合地磁、光以及室內(nèi)外標(biāo)簽數(shù)據(jù)組成一條訓(xùn)練數(shù)據(jù)，然后將采集的大量數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到模型；在測(cè)試階段，需要將新采集的數(shù)據(jù)輸入已訓(xùn)練好的模型，模型的輸出結(jié)果就是識(shí)別結(jié)果，該方法的具體流程如圖2所示。

圖2 基于神經(jīng)網(wǎng)絡(luò)的室內(nèi)外場(chǎng)景識(shí)別方法流程圖Fig.2 Flow chart of indoor and outdoor scene recognition method based on neural network

2 室內(nèi)外特征提取

室內(nèi)外特征選擇的優(yōu)劣直接影響神經(jīng)網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率和魯棒性。選取3種特征用以區(qū)分室內(nèi)外場(chǎng)景，分別是衛(wèi)星信號(hào)特征、光照強(qiáng)度特征和地磁強(qiáng)度特征，對(duì)這3種特征進(jìn)行實(shí)驗(yàn)分析、提取，最終形成用于神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練數(shù)據(jù)。

2.1 衛(wèi)星信號(hào)特征

由于建筑物等的遮擋，室內(nèi)外的衛(wèi)星信號(hào)特征具有明顯的差異。圖3是從室內(nèi)環(huán)境走向室外環(huán)境的過(guò)程中衛(wèi)星信號(hào)數(shù)量的變化，虛線是室內(nèi)與室外的分界線，可以明顯看出室外可接收到的衛(wèi)星信號(hào)數(shù)量明顯多于室內(nèi)所接收到的衛(wèi)星信號(hào)數(shù)量。實(shí)驗(yàn)測(cè)試表明，在室內(nèi)環(huán)境中由于建筑物的遮擋，衛(wèi)星信號(hào)個(gè)數(shù)通常在10個(gè)以下；在半開(kāi)放環(huán)境，如窗邊、由玻璃材料構(gòu)成的走廊等環(huán)境中，衛(wèi)星信號(hào)通常在20個(gè)以下；而在室外環(huán)境接收到的衛(wèi)星信號(hào)在20個(gè)以上。

圖3 不同環(huán)境下的衛(wèi)星信號(hào)數(shù)量Fig.3 The number of satellites in different environments

衛(wèi)星高度角與信噪比數(shù)據(jù)與室內(nèi)外環(huán)境也表現(xiàn)出非常強(qiáng)的相關(guān)性。如圖4(a)所示，當(dāng)高度角在0°～50°的范圍時(shí)，室外的衛(wèi)星信號(hào)數(shù)量遠(yuǎn)遠(yuǎn)多于室內(nèi)所接收到的衛(wèi)星信號(hào)。當(dāng)衛(wèi)星高度角超過(guò)60°，在室內(nèi)難以接收到這些高角度的衛(wèi)星信號(hào)。因此衛(wèi)星高度角是一個(gè)可以用于識(shí)別模型的特征。信噪比(signal noise ratio, SNR)是電子設(shè)備中信號(hào)與噪聲的比例，信號(hào)質(zhì)量越好，信噪比越大。如圖4(b)所示，在室內(nèi)可以接收到大量的10～20 dB的衛(wèi)星信號(hào)，而在室外可以接收到大量30 dB以上的衛(wèi)星信號(hào)。因此衛(wèi)星信號(hào)的信噪比也是一個(gè)可以用于識(shí)別模型的特征。

圖4 不同環(huán)境下的衛(wèi)星高度角與信噪比分布Fig.4 Satellite altitude angles and SNR distribution in different environments

提取的衛(wèi)星信號(hào)特征為衛(wèi)星信號(hào)數(shù)量、高度角和信噪比，其中衛(wèi)星信號(hào)數(shù)量特征是接收到的衛(wèi)星信號(hào)數(shù)量的個(gè)數(shù)；高度角特征是統(tǒng)計(jì)以10°為區(qū)間的衛(wèi)星信號(hào)個(gè)數(shù)；信噪比特征是統(tǒng)計(jì)以10 dB為區(qū)間的衛(wèi)星信號(hào)個(gè)數(shù)。假設(shè)gi是第i個(gè)衛(wèi)星信號(hào)特征的數(shù)據(jù)組織格式，gi可用式(10)表示為

gi=[n,e1,e2,…,e9,s1,s2,…,s5] (10)

式(10)中：n為衛(wèi)星信號(hào)個(gè)數(shù)；e1為高度角小于10°的衛(wèi)星信號(hào)個(gè)數(shù)；e2為高度角大于10°小于20°的衛(wèi)星信號(hào)個(gè)數(shù)；e9為高度角大于80°的衛(wèi)星信號(hào)個(gè)數(shù)；s1為信噪比小于10 dB的衛(wèi)星信號(hào)個(gè)數(shù)；s2為大于10 dB小于20 dB的衛(wèi)星信號(hào)個(gè)數(shù)；s5為大于40 dB的衛(wèi)星信號(hào)個(gè)數(shù)。最后，將所有數(shù)據(jù)使用式(11)進(jìn)行歸一化處理，所有衛(wèi)星信號(hào)特征g組成了衛(wèi)星信號(hào)特征的數(shù)據(jù)集，記為G。

式(11)中：x*為歸一化值；xi為樣本值；xi,max為該樣本數(shù)據(jù)的最大值；xi,min為該樣本數(shù)據(jù)的最小值。

2.2 光照強(qiáng)度特征

圖5為在白天由室內(nèi)環(huán)境到室外環(huán)境的光照強(qiáng)度變化，虛線是室內(nèi)與室外的分界線，可知，室外環(huán)境的光照強(qiáng)度遠(yuǎn)遠(yuǎn)大于室內(nèi)環(huán)境的光照強(qiáng)度。實(shí)測(cè)表明：白天在室內(nèi)光照強(qiáng)度為0～500 lux，在半開(kāi)放環(huán)境中光照強(qiáng)度為0～8 000 lux，在室外晴天光照強(qiáng)度會(huì)超過(guò)10 000 lux，陰天光照強(qiáng)度為0～10 000 lux。但是夜晚的光照強(qiáng)度在室內(nèi)外環(huán)境的變化不明顯，光照強(qiáng)度受人造光源影響較大，此時(shí)光照強(qiáng)度與室內(nèi)外環(huán)境關(guān)聯(lián)度變?nèi)?。因此光照?qiáng)度可以在白天作為一個(gè)十分顯著的特征。將光照強(qiáng)度數(shù)據(jù)利用式(11)進(jìn)行歸一化處理并將所有的歸一化數(shù)據(jù)組成光照強(qiáng)度特征數(shù)據(jù)集,記為L(zhǎng)。

圖5 不同環(huán)境下的光照強(qiáng)度Fig.5 Intensity of illumination in different environments

2.3 地磁場(chǎng)特征

由于現(xiàn)代建筑物采用了鋼筋材料，室內(nèi)地磁容易受建筑物內(nèi)環(huán)境的影響，而室外的地磁更加接近自然地磁，地磁數(shù)據(jù)相對(duì)穩(wěn)定。假設(shè)智能手機(jī)內(nèi)置的三軸磁力計(jì)測(cè)量的磁場(chǎng)數(shù)據(jù)為[mx,my,mz]，單位為微特斯拉(μT)，則該點(diǎn)的地磁強(qiáng)度m可用式(12)計(jì)算，即

圖6為相同面積下地磁強(qiáng)度的分布，可見(jiàn)，室外地磁分布相較于室內(nèi)地磁更加平緩。因此，地磁強(qiáng)度可以作為一個(gè)特征用于室內(nèi)外識(shí)別。將地磁場(chǎng)強(qiáng)度的歸一化值作為地磁場(chǎng)特征，所有的地磁場(chǎng)特征數(shù)據(jù)構(gòu)成地磁場(chǎng)特征數(shù)據(jù)集，記為M。

圖6 室內(nèi)外地磁Fig.6 Indoor and outdoor geomagnetism

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)采集與處理

使用紅米K20Pro手機(jī)和一加7T手機(jī)采集數(shù)據(jù)，如圖7所示，實(shí)驗(yàn)地點(diǎn)是中國(guó)礦業(yè)大學(xué)南湖校區(qū)，室內(nèi)實(shí)驗(yàn)環(huán)境是環(huán)境與測(cè)繪學(xué)院樓，室外環(huán)境是南湖校區(qū)的隨機(jī)室外環(huán)境。實(shí)驗(yàn)過(guò)程中，采用隨機(jī)游走的方式采集室內(nèi)外的衛(wèi)星數(shù)據(jù)、地磁數(shù)據(jù)以及光照強(qiáng)度數(shù)據(jù)。采用紅米K20Pro手機(jī)在白天和晚上分別采集200 000條訓(xùn)練數(shù)據(jù)，再使用紅米K20Pro手機(jī)和一加7T手機(jī)在白天和晚上分別采集100 000條測(cè)試數(shù)據(jù)。

圖7 室內(nèi)外場(chǎng)景Fig.7 Indoor and outdoor scenes

為更加直觀地驗(yàn)證模型的有效性，將三類(lèi)特征進(jìn)行組合得到如表1所示的組合方式，然后對(duì)不同的組合進(jìn)行訓(xùn)練，以驗(yàn)證不同組合方式的識(shí)別性能，并對(duì)結(jié)果進(jìn)行對(duì)比和分析。

表1 特征組合及含義

3.2 白天的室內(nèi)外識(shí)別模型性能

首先使用白天采集的數(shù)據(jù)訓(xùn)練得到室內(nèi)外場(chǎng)景識(shí)別模型，并測(cè)試模型的識(shí)別準(zhǔn)確率，表2為各個(gè)模型的識(shí)別準(zhǔn)確率。

表2 白天的室內(nèi)外場(chǎng)景識(shí)別準(zhǔn)確率

如表2所示，4種特征組合的識(shí)別準(zhǔn)確率均超過(guò)了95%。在白天光照強(qiáng)度與室內(nèi)外場(chǎng)景關(guān)聯(lián)度較高，因此兩部手機(jī)的實(shí)驗(yàn)數(shù)據(jù)顯示，使用[G,L]組合的識(shí)別準(zhǔn)確率最高，而使用單一衛(wèi)星數(shù)據(jù)的識(shí)別準(zhǔn)確率最低。說(shuō)明本文方法可以在白天有效地識(shí)別室內(nèi)外場(chǎng)景，而且多特征模型的識(shí)別準(zhǔn)確率相較于單一特征模型的識(shí)別準(zhǔn)確率更高。

3.3 夜晚的室內(nèi)外識(shí)別模型性能

使用夜晚的數(shù)據(jù)訓(xùn)練得到室內(nèi)外場(chǎng)景識(shí)別模型，并采用測(cè)試數(shù)據(jù)得到各模型的識(shí)別準(zhǔn)確率結(jié)果，如表3所示。

表3 夜晚的室內(nèi)外場(chǎng)景識(shí)別準(zhǔn)確率

在夜晚，各組合的準(zhǔn)確率超過(guò)了93%。因?yàn)楣庹諒?qiáng)度與室內(nèi)外場(chǎng)景關(guān)聯(lián)度降低，所以[G,L]組合的識(shí)別準(zhǔn)確率相較于白天有所降低，而[G,L,M]組合的識(shí)別準(zhǔn)確率最高。這說(shuō)明該方法同樣可以在夜晚有效地區(qū)分室內(nèi)外場(chǎng)景。

實(shí)驗(yàn)數(shù)據(jù)表明，無(wú)論是白天還是夜晚，多特征組合的方式會(huì)更加有效地區(qū)分室內(nèi)外場(chǎng)景，并且識(shí)別準(zhǔn)確率可以達(dá)到96%。

4 結(jié)論

基于神經(jīng)網(wǎng)絡(luò)的室內(nèi)外場(chǎng)景識(shí)別方法利用衛(wèi)星信號(hào)特征、光照強(qiáng)度特征和地磁強(qiáng)度特征組成訓(xùn)練數(shù)據(jù)，將數(shù)據(jù)使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練得到室內(nèi)外場(chǎng)景識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，本文方法在區(qū)分室內(nèi)外場(chǎng)景中有較高的識(shí)別準(zhǔn)確率。但本文方法的不足在于：模型需要在室內(nèi)外采集大量的訓(xùn)練數(shù)據(jù)，工作量較大。在今后的研究中，將從如何減少工作量、細(xì)化模型或者使用新的模型等方面展開(kāi)，以進(jìn)一步提高識(shí)別準(zhǔn)確率。