陳治國(guó)
摘要:針對(duì)目前基于圖像的室內(nèi)人員計(jì)數(shù)方法存在遮擋導(dǎo)致計(jì)數(shù)不準(zhǔn)的問題以及基于紅外傳感器與無線傳感器的室內(nèi)人員計(jì)數(shù)方法存在硬件成本高、使用限制大的問題,文章提出了一種使用現(xiàn)有的WiFi設(shè)備進(jìn)行室內(nèi)人員計(jì)數(shù)的方法。通過收集室內(nèi)的WiFi信號(hào)數(shù)據(jù)并提取其中的信道狀態(tài)信息,網(wǎng)絡(luò)能夠?qū)W習(xí)WiFi信號(hào)變化與室內(nèi)人員數(shù)量之間的映射關(guān)系并計(jì)算出室內(nèi)的人員數(shù)量。由于缺乏相關(guān)的開源數(shù)據(jù)集,在自行采集到的數(shù)據(jù)集上進(jìn)行試驗(yàn),實(shí)驗(yàn)結(jié)果表明文章所提出的方法能得到較為準(zhǔn)確的計(jì)數(shù)結(jié)果。
關(guān)鍵詞:室內(nèi)人員數(shù)量計(jì)數(shù);WiFi信號(hào);信道狀態(tài)信息;無線感知
中圖分類號(hào):TP391.1;TP391.4文獻(xiàn)標(biāo)志碼:A文獻(xiàn)標(biāo)志碼
0 引言目前,普及的室內(nèi)人員計(jì)數(shù)系統(tǒng)一般基于圖像方案[1]、紅外傳感器[2]以及無線電傳感器方案[3]?;趫D像的室內(nèi)人員計(jì)數(shù)方法依托成熟的圖像處理技術(shù),被大范圍地應(yīng)用在諸如教室、辦公室等人員流動(dòng)性較小且對(duì)統(tǒng)計(jì)室內(nèi)人數(shù)有需求的場(chǎng)所。攝像頭下盲區(qū)的存在以及遮擋性問題,使攝像頭視線外區(qū)域里的人員難以統(tǒng)計(jì)。這導(dǎo)致圖像方案統(tǒng)計(jì)出的人數(shù)可能少于實(shí)際人數(shù)。近年來,相關(guān)領(lǐng)域的研究人員針對(duì)遮擋問題提出許多方案,譬如雙攝像頭方法以及視頻方法[4],這些方式通過減少遮擋區(qū)域,利用時(shí)間序列上的信息進(jìn)行互補(bǔ)緩解了遮擋對(duì)于計(jì)數(shù)準(zhǔn)確率的影響,但未消除遮擋區(qū)域的存在,俯視視頻[5]消除了遮擋區(qū)域的存在,但對(duì)攝像頭的安放位置提出了較高的要求。
基于紅外傳感器或者無線傳感器的室內(nèi)人員計(jì)數(shù)方法消除了室內(nèi)環(huán)境對(duì)于計(jì)數(shù)準(zhǔn)確率的影響,而且實(shí)現(xiàn)的原理更加簡(jiǎn)易,即人員通過安裝傳感器的出入口進(jìn)出時(shí),傳感器通過收到的信號(hào)變化判斷當(dāng)前有人通過,并對(duì)當(dāng)前室內(nèi)人數(shù)統(tǒng)計(jì)結(jié)果進(jìn)行增減。該方案在使用時(shí)面臨兩個(gè)問題。首先,傳感器必須安裝在需要統(tǒng)計(jì)場(chǎng)所的每一個(gè)出入口,才能保證人員出入數(shù)據(jù)的統(tǒng)計(jì)完整,這限制了傳感器的安裝環(huán)境,提高了傳感器方案的使用成本。其次,傳感器需要準(zhǔn)確判斷人員的出入狀態(tài),即當(dāng)前通過傳感器的人是進(jìn)入室內(nèi)還是離開室內(nèi)。最直接的做法是,將該場(chǎng)所的出入通道劃分為入口與出口,但多數(shù)場(chǎng)所只有一個(gè)進(jìn)出口,而且這種方法對(duì)需要出入該場(chǎng)所的人影響較大。通過傳感器信號(hào)變化詳細(xì)分析通過人員的移動(dòng)方向[3]可以避免上述問題,但這也對(duì)傳感器提出了較高的要求,提高了整個(gè)系統(tǒng)的硬件成本。
本文為避免傳統(tǒng)的基于圖像的室內(nèi)人員計(jì)數(shù)方法在遮擋性、可見性上的缺陷,以及基于傳感器的方法在經(jīng)濟(jì)性以及安裝便利性上的限制。對(duì)WiFi信號(hào)在室內(nèi)人員計(jì)數(shù)領(lǐng)域的可行性以及應(yīng)用進(jìn)行了探究,設(shè)計(jì)了基于WiFi信號(hào)的室內(nèi)人員計(jì)數(shù)系統(tǒng)。該系統(tǒng)采集家用路由器發(fā)出的WiFi信號(hào),將WiFi信號(hào)中的信道狀態(tài)信息(Channel State Information,CSI)指標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸入,通過神經(jīng)網(wǎng)絡(luò)建立當(dāng)前WiFi信號(hào)的CSI指標(biāo)的變化與當(dāng)前室內(nèi)人數(shù)的映射,即可使用輸入的CSI信號(hào)獲取到路由器所處場(chǎng)所的室內(nèi)人員數(shù)量,系統(tǒng)框架如圖1所示,攝像頭用于同步采集圖像信息和標(biāo)注WiFi信號(hào),圖像經(jīng)過OpenPose的處理得到室內(nèi)的人員數(shù)量標(biāo)注。接收端獲取到發(fā)射端發(fā)射的WiFi信號(hào),輸入網(wǎng)絡(luò)用于訓(xùn)練以及預(yù)測(cè)室內(nèi)人數(shù)。Loss為損失函數(shù),圖像得到的標(biāo)注通過損失函數(shù)監(jiān)督優(yōu)化網(wǎng)絡(luò)訓(xùn)練。
1 使用CSI信號(hào)進(jìn)行室內(nèi)人員計(jì)數(shù)
1.1 CSI信號(hào)采集與標(biāo)注CSI指標(biāo)反映了WiFi信號(hào)在傳輸過程中的變化,即WiFi信號(hào)發(fā)送端發(fā)送的信號(hào)與WiFi信號(hào)接收端接收到的信號(hào)之間的差異。與接收信號(hào)強(qiáng)度指示器(Received Signal Strength Indicator,RSSI)不同,CSI擁有比RSSI更細(xì)的粒度。RSSI反映了WiFi信號(hào)的整體強(qiáng)度,而CSI可以反映WiFi信號(hào)上的不同鏈路上的不同頻率的載波上的功率損耗以及相位偏差。一組鏈路代表發(fā)射端的任意一根天線與接收端的任意一根天線組成的天線對(duì)?,F(xiàn)代的家用路由器與WiFi大多支持多入多出技術(shù)(Multiple-Input Multiple-Output,MIMO)。因此,采集到的CSI信號(hào)內(nèi)一般存在多個(gè)鏈路。由于WiFi信號(hào)是正交頻分復(fù)用(Orthogonal Frequency Division Multiplexing,OFDM)信號(hào),因此存在著多個(gè)頻率不同的子載波。因此,一幀CSI信號(hào)的數(shù)據(jù)尺寸為n×i×j。其中,n為WiFi信號(hào)的載波數(shù)量,i為發(fā)射端的天線數(shù)量,j為接收端的天線數(shù)量。一幀CSI信號(hào)中的每個(gè)元素的數(shù)值都為復(fù)數(shù),復(fù)數(shù)的實(shí)部和虛部分別表示W(wǎng)iFi信號(hào)載波的幅度變化與相位變化。其表達(dá)式為:
本文使用開源的CSI工具采集WiFi信號(hào),從中獲取CSI信息。CSI采集工具能從Intel 5300網(wǎng)卡中采集WiFi信號(hào)并從中提取CSI信息。CSI采集工具可用不同的鏈路提取帶寬為20MHz的30組不同載波的CSI信息。采集WiFi信息時(shí),使用雙天線的WiFi路由器作為信號(hào)發(fā)射端,以100 Hz的速度向外發(fā)送WiFi數(shù)據(jù)。使用帶Intel 5300網(wǎng)卡且安裝有CSI信號(hào)采集工具的Linux電腦作為信號(hào)接收端,Intel 5300網(wǎng)卡的WiFi天線數(shù)量為3。
由于缺乏公開的相關(guān)領(lǐng)域數(shù)據(jù)集,因此在采集CSI信號(hào)時(shí),技術(shù)人員還需對(duì)CSI信號(hào)進(jìn)行標(biāo)注。本文在采集CSI信號(hào)時(shí)同步使用攝像頭采集視頻幀,通過圖像方法OpenPose從視頻幀中獲取當(dāng)前場(chǎng)所內(nèi)的人數(shù)作為CSI信號(hào)的標(biāo)注,CSI信號(hào)與標(biāo)注之間使用時(shí)間戳進(jìn)行對(duì)齊。
1.2 網(wǎng)絡(luò)框架整個(gè)網(wǎng)絡(luò)的框架如圖1所示,整體可以分為去噪模塊、編碼器以及解碼器3個(gè)模塊。
在路由器發(fā)射WiFi時(shí),由于路由器的成本限制,并不能保證以穩(wěn)定的功率向外發(fā)射WiFi信號(hào),其功率在一個(gè)小范圍內(nèi)隨機(jī)波動(dòng)。除此之外,由于發(fā)射端與接收端之間的數(shù)據(jù)傳遞速率并非完全同步,這個(gè)過程可能存在著接收端延遲采樣導(dǎo)致的WiFi信號(hào)上的相位偏移。功率的隨機(jī)波動(dòng)以及WiFi信號(hào)的相位偏移表現(xiàn)在CSI信號(hào)上就是在實(shí)部與虛部上的隨機(jī)噪聲。傳統(tǒng)的平滑去噪方法能夠單獨(dú)去掉CSI信號(hào)在實(shí)部上或虛部上的噪聲,但由于是對(duì)實(shí)部或虛部的噪聲分別進(jìn)行處理,會(huì)導(dǎo)致信號(hào)的實(shí)部與虛部之間關(guān)聯(lián)丟失。CSI信號(hào)的實(shí)部與虛部之間是相互影響的,WiFi信號(hào)的相位變化也會(huì)對(duì)WiFi信號(hào)的幅度造成影響,因此進(jìn)行去噪時(shí)應(yīng)該盡可能地保留CSI信號(hào)的實(shí)部與虛部之間的關(guān)聯(lián)。
CSI-ratio信號(hào)[6]可以通過原始采集到的CSI信號(hào)計(jì)算轉(zhuǎn)化而來,原始的CSI信號(hào)轉(zhuǎn)換到CSI-ratio信號(hào)的本質(zhì)是莫比烏斯變換,其利用莫比烏斯變換的保圓性,在去噪的同時(shí)保留了CSI信號(hào)的實(shí)部與虛部之間的關(guān)聯(lián)。CSI信號(hào)到CAI-ratio信號(hào)的轉(zhuǎn)換公式如下:
其中,i與j為相鄰鏈路。在去噪模塊消除掉CSI信號(hào)上的噪聲后,由編碼器網(wǎng)絡(luò)對(duì)CSI信號(hào)中的深層特征進(jìn)行提取。由于WiFi信號(hào)在室內(nèi)進(jìn)行傳播時(shí),人體運(yùn)動(dòng)將導(dǎo)致傳播環(huán)境發(fā)生改變,導(dǎo)致信號(hào)的傳播路徑改變,最終對(duì)CSI信號(hào)中的實(shí)部與虛部造成影響。因此,編碼器主要是提取CSI信號(hào)變化中與室內(nèi)人體信息相關(guān)部分的特征。
CSI信號(hào)的載波數(shù)量遠(yuǎn)大于接收端的天線數(shù)量與發(fā)射端的天線數(shù)量。因此,解碼器的本質(zhì)是一個(gè)生成器模塊,以CSI信號(hào)的載波數(shù)量作為初始的特征層數(shù)量,以發(fā)射端與接收端的天線數(shù)量作為每一個(gè)特征層的數(shù)據(jù)尺寸。通過7層逆卷積層將CSI信號(hào)轉(zhuǎn)換為尺寸為3×224×224矩陣,并在其后附加兩層卷積核大小為3,步長(zhǎng)為1的卷積層。編碼器模塊中的每一層逆卷積層與卷積層之間都使用ReLu激活函數(shù)進(jìn)行非線性映射,得到的深層特征信息為3×224×224的矩陣。
解碼器模塊負(fù)責(zé)從深層特征中提取人員數(shù)量信息。該模塊使用Res-Net作為從深層特征提取人員數(shù)量信息的主干網(wǎng)絡(luò),大量的特征數(shù)據(jù)提取工作已經(jīng)在編碼器部分完成。因此,該Res-Net網(wǎng)絡(luò)僅包含1個(gè)Res-Net Block塊。在經(jīng)過Res-Net的數(shù)據(jù)進(jìn)行平鋪后,利用一層線性回歸層轉(zhuǎn)換為1個(gè)具體的數(shù)字,該數(shù)字即為對(duì)應(yīng)的室內(nèi)人員數(shù)量。
1.3 損失函數(shù)人員數(shù)量作為離散值,使用分類常見的交叉熵?fù)p失函數(shù)可能會(huì)得到更加精準(zhǔn)的結(jié)果,但將系統(tǒng)設(shè)計(jì)為分類模型,則該系統(tǒng)可統(tǒng)計(jì)到的人員數(shù)量會(huì)受訓(xùn)練時(shí)的分類數(shù)量限制。因此,該系統(tǒng)被設(shè)計(jì)為回歸模型。當(dāng)使用更為常用的MSE損失時(shí),會(huì)存在模型訓(xùn)練后期收斂較慢的問題,因此使用L1損失來對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。
其中,L表示計(jì)算得出的損失值,n為樣本數(shù)量,gi表示對(duì)應(yīng)樣本的真實(shí)值,pi為對(duì)應(yīng)樣本的預(yù)測(cè)值。
2 實(shí)驗(yàn)結(jié)果及分析本文提出的方法使用自行采集到的CSI數(shù)據(jù)集進(jìn)行訓(xùn)練與驗(yàn)證,該數(shù)據(jù)集包含了室內(nèi)場(chǎng)景的不同人數(shù)下的CSI信號(hào)數(shù)據(jù),數(shù)據(jù)集共有3 885幀CSI數(shù)據(jù)以及對(duì)應(yīng)的人數(shù)標(biāo)注;其中,70%的數(shù)據(jù)用于訓(xùn)練模型,30%的數(shù)據(jù)用于評(píng)估模型。
2.1 實(shí)驗(yàn)細(xì)節(jié)本文提出的方式使用PyTorch進(jìn)行實(shí)現(xiàn),網(wǎng)絡(luò)的訓(xùn)練過程中是同Adam優(yōu)化器對(duì)網(wǎng)絡(luò)權(quán)重以及學(xué)習(xí)速率進(jìn)行調(diào)整,初始學(xué)習(xí)率為0.001,批大小為16。訓(xùn)練過程中使用RTX3060進(jìn)行訓(xùn)練,網(wǎng)絡(luò)共進(jìn)行了10次迭代,每次迭代耗時(shí)24s左右。在性能較弱的設(shè)備上仍能進(jìn)行快速迭代,證明該方法所需要的計(jì)算性能較低,有利于普及使用。
2.2 實(shí)驗(yàn)結(jié)果數(shù)據(jù)集的驗(yàn)證集下的整體實(shí)驗(yàn)結(jié)果如表1所示。表1中的每列表示從圖像方法得到的標(biāo)簽值,每行表示利用網(wǎng)絡(luò)從WiFi信號(hào)中獲取到的預(yù)測(cè)值,每個(gè)數(shù)據(jù)都是對(duì)應(yīng)情況的出現(xiàn)次數(shù)。
從表中可知,在訓(xùn)練集共1 165組數(shù)據(jù)中,網(wǎng)絡(luò)共1 073次得到正確結(jié)果,整體正確率為92%。具體分析情況,當(dāng)室內(nèi)人數(shù)為0到3人時(shí),正確率分別為96%,94%,91%,84%。由結(jié)果可得,到室內(nèi)人數(shù)增加時(shí),網(wǎng)絡(luò)從WiFi信號(hào)中提取出正確室內(nèi)人員數(shù)量的難度增加,這是由于當(dāng)室內(nèi)人數(shù)增加時(shí),對(duì)WiFi信號(hào)的干擾相互疊加。若將結(jié)果分為室內(nèi)有人與無人兩種情況,網(wǎng)絡(luò)判斷室內(nèi)是否存在人員的正確率上升到99%,證明室內(nèi)存在人員活動(dòng)時(shí),對(duì)于WiFi信號(hào)的干擾十分明顯。綜上所述,實(shí)驗(yàn)結(jié)果表明使用WiFi進(jìn)行室內(nèi)人員計(jì)數(shù)具備可行性。本文提出的方法在應(yīng)用于室內(nèi)人員計(jì)數(shù)時(shí),具有較高的準(zhǔn)確度。
3 結(jié)語(yǔ)
本文提出了一種使用WiFi信號(hào)進(jìn)行室內(nèi)人員計(jì)數(shù)的方法。通過提取WiFi信號(hào)的CSI信息,利用神經(jīng)網(wǎng)絡(luò)提取CSI信號(hào)中由于人體運(yùn)動(dòng)導(dǎo)致的不同鏈路不同載波上的信號(hào)變化差異之間的關(guān)聯(lián),初步實(shí)現(xiàn)了使用WiFi信號(hào)進(jìn)行室內(nèi)人員計(jì)數(shù)的目的,驗(yàn)證了將WiFi信號(hào)用于室內(nèi)人員計(jì)數(shù)的可行性。
參考文獻(xiàn)
[1]曹偉東.機(jī)器視覺在建筑升降機(jī)中人員計(jì)數(shù)的運(yùn)用[D].上海:東華大學(xué),2016.
[2]易金橋,黃勇,廖紅華,等.熱釋電紅外傳感器及其在人員計(jì)數(shù)系統(tǒng)中的應(yīng)用[J].紅外與激光工程,2015(4):1186-1192.
[3]龔偉.基于毫米波雷達(dá)的人數(shù)統(tǒng)計(jì)、姿態(tài)識(shí)別及跟蹤系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2020.
[4]陳思.基于視頻監(jiān)控的室內(nèi)人員計(jì)數(shù)方法研究[D].合肥:安徽建筑大學(xué),2019.
[5]王翠翠.基于俯視視頻的室內(nèi)人員計(jì)數(shù)方法研究[D].合肥:安徽建筑大學(xué),2021.
[6]ZENG Y,WU D,XIONG J,et al.Boosting WiFi sensing performance via CSI ratio[J].IEEE Pervasive Computing,2020(1):62-70.
(編輯 王永超)
Counting method of indoor people based on WiFi signal
Chen? Zhiguo
(Xihua University, Chengdu 610039, China)
Abstract:? In order to solve the problem of inaccurate counting caused by occlusion in image-based indoor people counting method, and the problem of high hardware cost and usage limit in the indoor people counting method based on infrared sensor and wireless sensor, a method of using existing WiFi device to count indoor people is proposed. By collecting indoor WiFi signal data and extracting channel state information (CSI), the network can learn the relationship between WiFi signal change and the number of indoor people, calculate the number of indoor people. Due to the lack of relevant open-source datasets, the network was evaluated on the datasets collected by authors. The results shown that the method proposed in this paper can obtain accurate counting results.
Key words: indoor people counting; WiFi signal; CSI; wireless perception