基于時(shí)頻特征的Wi-Fi手勢識別技術(shù)

任夢恬，田增山，蔣 青

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

隨著二十一世紀(jì)科學(xué)技術(shù)的飛速發(fā)展以及計(jì)算機(jī)的普及，人機(jī)交互技術(shù)已經(jīng)成為了大家關(guān)注和研究的對象[1]。手勢是最簡單與自然的交互方式，在智能家居[2]、輔助汽車控制系統(tǒng)[3]等諸多領(lǐng)域發(fā)揮重要作用，因此，手勢識別逐漸成為人機(jī)交互的一個(gè)重要研究方向。

目前，被廣泛關(guān)注的手勢識別技術(shù)主要有基于可穿戴傳感設(shè)備[4-5]、基于計(jì)算機(jī)視覺[6-7]、基于射頻信號[8-9]3類。其中，基于可穿戴設(shè)備和計(jì)算機(jī)視覺的手勢識別系統(tǒng)起步較早，迄今為止已經(jīng)非常成熟，并且取得可喜的精度[10]，但由于基于可穿戴設(shè)備的手勢識別系統(tǒng)需要使用者佩戴如數(shù)據(jù)手套、臂環(huán)、加速度傳感器等傳感設(shè)備獲取相應(yīng)的參數(shù)，造成使用者的不便；而計(jì)算機(jī)視覺的方法利用攝像頭獲取用戶手勢行為，其依賴于高分辨的視頻或圖像，并且在黑暗、濃煙等非光照條件下無法使用。與其他手勢識別技術(shù)相比，射頻信號中基于Wi-Fi信號的手勢識別系統(tǒng)因其不需要光照、佩戴設(shè)備，也不需要昂貴的硬件基礎(chǔ)，只需要利用軟件的升級與更新，所以逐漸成為手勢識別的主流。

基于Wi-Fi的手勢識別系統(tǒng)中，目前大多數(shù)系統(tǒng)通常使用接收信號強(qiáng)度指示(received signal strength indicator，RSSI)捕捉信號，2014 年，哥延根大學(xué)的S.Sigg等[11]提取了RSSI信號對簡單的行為進(jìn)行識別；2015年，H.Abdelnasser等[12]提出WiGest，通過分析RSSI信號變化的上升沿、下降沿等特性進(jìn)行手勢識別，在單個(gè)接入點(diǎn)的情況下準(zhǔn)確率為87.5%，但RSSI作為一種粗粒度的信號，在不確定噪聲和室內(nèi)多徑情況下穩(wěn)定性比較差，因此，無法提供足夠的可靠性。隨著對可靠性的追求越來越高，具有更細(xì)膩度的信道狀態(tài)信息(channel state information，CSI)逐漸出現(xiàn)在大家的視野。2013年Q.Pu等[13]提出了基于CSI的手勢識別系統(tǒng)WiSee，WiSee通過從Wi-Fi信號中提取人體運(yùn)動的多普勒頻移信息，對推手、揮手類動作進(jìn)行識別，手勢識別平均準(zhǔn)確率可達(dá)到94%，但由于WiSee系統(tǒng)只能在軟件無線電平臺上使用，不能在目前商用Wi-Fi上使用，無法進(jìn)行推廣；2015年深圳大學(xué)研究出WiG[14]系統(tǒng)，WiG系統(tǒng)基于3發(fā)2收的場景，利用濾波抑噪、時(shí)域統(tǒng)計(jì)特征值等處理，對CSI信息進(jìn)行手勢識別，在直射徑環(huán)境下準(zhǔn)確度達(dá)90%以上，但該系統(tǒng)采用了大量的時(shí)域統(tǒng)計(jì)特征，并且需要對CSI相位信息進(jìn)行長時(shí)間的校正；WiGeR[15]系統(tǒng)基于CSI對手勢動作選擇動態(tài)時(shí)間扭曲算法進(jìn)行識別與分類，手勢識別精度均在90%以上，但動態(tài)時(shí)間規(guī)整算法時(shí)間復(fù)雜度很高，時(shí)間開銷巨大，并且需要結(jié)合k-最近鄰(k-nearest neighbo，KNN)分類算法進(jìn)行分類。相較于傳統(tǒng)的時(shí)域技術(shù)，本文研究增加頻域特征頻譜熵的信息，手勢動作在各個(gè)頻率分量的變化更加直觀，更好地描述了行為的結(jié)構(gòu)特性，同時(shí)，本文還采用CSI幅值信息，無需利用功分器對CSI相位信息進(jìn)行長時(shí)間的校正。本文將充分利用CSI幅值信息對{畫圈、前后、左右、上下、揮手}5種手勢進(jìn)行識別，具體貢獻(xiàn)可歸納如下。

1)針對如何在復(fù)雜環(huán)境下提取有用的手勢信號，本文采用了小波變換-主成分分析聯(lián)合去噪的方法，在去噪的同時(shí)解決了多個(gè)CSI子載波之間信號冗余的問題。

2)針對如何完成對手勢信號的訓(xùn)練和分類，本文首先提出基于最小方差的信號分割算法對信號進(jìn)行分割，其次結(jié)合時(shí)域和頻域特征將動作的持續(xù)時(shí)間、不同頻率階段的頻譜熵等特征作為手勢的特征值，完成不同手勢信號的訓(xùn)練和分類。

1 系統(tǒng)模型與方案設(shè)計(jì)

室內(nèi)環(huán)境復(fù)雜多變，存在著多徑效應(yīng)的干擾，如墻面、沙發(fā)、桌椅等靜態(tài)反射物，其模型示意圖如圖1。

圖1 室內(nèi)環(huán)境示意圖Fig.1 Schematic diagram of indoor environment

根據(jù)圖1可知，接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號的疊加，可表示為

H(fi,t)=|H(fi,t)|×arg(H(fi,t))=

(1)

(1)式中：|H(fi,t)|和arg(H(fi,t))分別表示第i個(gè)子載波在第t時(shí)刻的幅值與相位，其中，fi表示子載波的頻率；e-j2πΔft表示由于相位誤差造成的相位偏移；N為一共的多徑數(shù)；ak(fi,t)表示第k條多徑的傳播衰減；e-j2πfiτk(t)表示由于傳播時(shí)延引起的相位偏移；n表示噪聲。

文獻(xiàn)[16]根據(jù)(1)式推導(dǎo)出CSI幅值的平方公式為

(2)

由(2)式可得，CSI幅值的平方是由一些常量和余弦函數(shù)組成，可以準(zhǔn)確反映目標(biāo)運(yùn)動的抖動性，因此，本文考慮利用CSI幅值信息的特征完成手勢運(yùn)動的分類與識別。系統(tǒng)方案如圖2。

圖2 手勢識別算法系統(tǒng)方案流程圖Fig.2 Overview of the gesture recognition algorithm system

2 基于時(shí)頻分析的手勢識別

2.1 數(shù)據(jù)預(yù)處理

由前文可知，接收機(jī)接收到的CSI數(shù)據(jù)為多條路徑信號的疊加，存在墻壁、桌椅等靜態(tài)反射物的干擾，如何在復(fù)雜的室內(nèi)環(huán)境中提取目標(biāo)用戶手勢運(yùn)動引起的信號變化是一項(xiàng)巨大的挑戰(zhàn)。針對此問題，本文對CSI幅值信號采用離散小波變換(discrete wavelet transform，DWT)技術(shù)對信號進(jìn)行有效去噪；由于CSI信號具有30個(gè)子載波信息，但30個(gè)子載波攜帶的信息是有冗余的，并且考慮所有的子載波數(shù)會增加計(jì)算的復(fù)雜性，因此，本文將DWT去噪后的信號進(jìn)行主成分分析(principal component analysis，PCA)，對數(shù)據(jù)進(jìn)行有效降維，進(jìn)一步達(dá)到去噪的效果。

小波變換具有細(xì)膩的多尺度信號分析功能，將信號分為細(xì)節(jié)系數(shù){β(1)，β(2),…,β(J)}和近似系數(shù)α(J)，J表示小波變換的層數(shù)，每一層的細(xì)節(jié)系數(shù)與近似系數(shù)的求解式為

J∈Z

(3)

l∈{1,2,…,J}

(4)

(3)—(4)式中：xn表示輸入的信號；〈·〉表示點(diǎn)積運(yùn)算；g和h表示小波變換的正交基即小波基。因此，重構(gòu)后的信號為

(5)

(5)式中，細(xì)節(jié)系數(shù){β(1)，β(2),…,β(J)}中包含手勢運(yùn)動的細(xì)節(jié)信息以及噪聲，針對此問題，本文采用小波硬閾值去噪，將低層的信號噪聲置零重構(gòu)信號。CSI數(shù)據(jù)處理具體步驟如下。

步驟1從接收機(jī)采集手勢信號的CSI數(shù)據(jù)，并提取相應(yīng)的原始CSI幅值信號subCSI。

步驟2將原始幅值信號subCSI每個(gè)子載波經(jīng)過小波分解，分解層數(shù)為5，得出最高層的近似系數(shù)α(5)以及各層的細(xì)節(jié)系數(shù){β(1)，β(2),…,β(5)}。

步驟3采用硬閾值去噪，將細(xì)節(jié)系數(shù){β(1)，β(2),…,β(5)}置零，根據(jù)(5)式重構(gòu)手勢信號subCSI′。

步驟4信號subCSI′的大小為30×p，30為CSI子載波的數(shù)量，p為總的采樣包數(shù)，采用PCA對去噪后的數(shù)據(jù)進(jìn)行降維，根據(jù)文獻(xiàn)[14]可知，降維后第一主成分幾乎包含了所有的手勢運(yùn)動信號的信息，因此，得到降維后的信號sig，其大小為1×p。

通過以上4個(gè)步驟對信號進(jìn)行去噪降維處理，其中，手勢揮手的數(shù)據(jù)處理圖如圖3。由圖3可知，采用DWT-PCA聯(lián)合去噪能有效完成對CSI數(shù)據(jù)的處理。圖4表示揮手手勢去噪之后前3個(gè)主成分示意圖，由圖4可知，第1主成分和第2主成分所含噪聲較小，而第3主成分噪聲較大，第1主成分相對于第2主成分能更好地表示手勢信息，因此，采用第1主成分作為降維后的手勢信息。

圖3 CSI數(shù)據(jù)處理流程圖Fig.3 Flow char of CSI data processing

2.2 基于最小方差的分割算法

由于接收到的CSI手勢序列是一個(gè)連續(xù)的時(shí)間序列，要想完成手勢的特征提取與分類，需要對接收到的時(shí)間序列進(jìn)行分段處理，同樣的動態(tài)手勢會產(chǎn)生幅度相似的CSI片段。針對這個(gè)問題，本文采用基于片段方差最小的方式對連續(xù)的時(shí)間序列進(jìn)行分割，5種手勢分割后如圖5。

圖5 5種手勢對應(yīng)的信號波形圖與時(shí)頻圖Fig.5 Signal and time-frequency diagrams five gestures

基于最小方差的分割算法的偽代碼如下。

輸入：連續(xù)動作的時(shí)間序列。

輸出：連續(xù)時(shí)間序列的單個(gè)手勢片段。

算法步驟：

for對每個(gè)連續(xù)的時(shí)間序列

1) do

2) 第一個(gè)窗口對應(yīng)著時(shí)間序列的開始，第二個(gè)窗口的開始對應(yīng)著第一個(gè)窗口的結(jié)束；

3) for每個(gè)手勢片段

4) 初始化窗口大小Wmin、Wmax；

5) forw=Wmin∶Wmax

6) 得到第一個(gè)窗口CSI數(shù)據(jù)為

Pfirst=(P1,P2,…,Pw)，

第二個(gè)窗口CSI數(shù)據(jù)為

Psecond=(Pw+1,Pw+2,…,P2w)；

7) 計(jì)算方差差異

8) end

9) 得到|wmax-wmin+1|對數(shù)據(jù)(w,d)，其中d值最小的窗口就是我們所求的分割片段；

10) end until直到?jīng)]有可用于分割的片段；

end

2.3 時(shí)頻特征提取

2.3.1 短時(shí)傅里葉變換

對不同手勢信號進(jìn)行相同特征值的提取以便手勢的訓(xùn)練與分類，但手勢是一種小幅度的運(yùn)動，如何從不同手勢提取可分辨的特征是關(guān)鍵點(diǎn)，針對此問題，本文采用短時(shí)傅里葉變換(short-time Fourier transform，STFT)對信號進(jìn)行時(shí)頻轉(zhuǎn)換，在小幅度的行為動作中，短時(shí)傅里葉變換的頻譜特征相比于小波變換具有更優(yōu)越的性能[17]。

2.3.2 特征值提取

雖然時(shí)域信號與頻域信號能很好地反映不同手勢運(yùn)動的特征，但由于時(shí)間序列的不一致，大多數(shù)的模式識別方法不可行，基于此問題，本文提出了特征值的選取。選取的特征值共6種，如表1。

表1 選擇的特征值Tab.1 Selected features

文獻(xiàn)[14]使用了時(shí)域特征的均值、標(biāo)準(zhǔn)差、方差、四分位距等特征值進(jìn)行行為的識別，但由于手勢幅度較小，這些統(tǒng)計(jì)特征值不具有代表性。針對此問題，本文將每個(gè)手勢運(yùn)動的標(biāo)準(zhǔn)差、四分位距以及持續(xù)時(shí)間作為時(shí)域特征值。標(biāo)準(zhǔn)差能很好反映手勢信號基于均值的離散程度，比均值更具有代表性；四分位距反映了信號中間50%數(shù)據(jù)的離散程度，不受極值的影響；由于每個(gè)動作的時(shí)間有差別，因此，每個(gè)動作的持續(xù)時(shí)間也作為特征值。

針對頻域特征，常規(guī)的算法使用頻域信息的均值、標(biāo)準(zhǔn)差等特征值作為手勢分類的標(biāo)準(zhǔn)，本文提出了不同頻率范圍下頻譜熵作為特征值，頻譜熵是一個(gè)標(biāo)準(zhǔn)化的特征值，可以很好地描述行為的結(jié)構(gòu)特性，其計(jì)算式為

(6)

2.4 SVM分類算法

支持向量機(jī)(support vector machine, SVM)算法是N.Cristianini, J.S.Taylor在1995年提出的一種以結(jié)構(gòu)風(fēng)險(xiǎn)化為準(zhǔn)則的模式識別方法，對小樣本的處理有突出的優(yōu)勢，主要思想是找到最優(yōu)的分離超平面可以最小化誤差成本函數(shù)，從而擴(kuò)大了分離超平面的邊界，完成分類[18]。SVM算法最初只用于解決二分類問題，當(dāng)處理多分類問題時(shí)，需要通過直接法或間接法構(gòu)造多分類，本文采用間接法中“一對一”方法進(jìn)行分類。SVM算法分為訓(xùn)練和識別2部分，在SVM訓(xùn)練階段，本文采用高斯徑向基函數(shù)核函數(shù)，各樣本的70%樣本數(shù)構(gòu)建分類器；在分類識別階段，讓剩下30%的數(shù)據(jù)構(gòu)成測試集依次通過這些分類器，通過投票決定它的類別。

3 算法驗(yàn)證與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文算法的可靠性，選擇了2種具有代表性的實(shí)驗(yàn)測試環(huán)境進(jìn)行驗(yàn)證。測試環(huán)境1選擇面積大小為57.6 m×51 m的逸夫科技樓樓頂，該環(huán)境為室外空曠環(huán)境，障礙物比較少，多徑分量也較少，發(fā)射機(jī)與接收機(jī)之間距離分別為5，7，10 m；測試環(huán)境2為重慶郵電逸夫樓504為實(shí)測環(huán)境，逸夫樓504是典型的室內(nèi)復(fù)雜環(huán)境，面積大小為7.7 m×9 m，環(huán)境中存在墻壁、桌椅等靜態(tài)反射物，測試時(shí)收發(fā)裝置距離分別為1，2，2.5，3 m，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)同為{畫圈、前后、左右、上下、揮手}5種手勢，其測試示意圖如圖6。

圖6 室內(nèi)室外測試場景示意圖Fig.6 Test scenario diagram in indoor and in outdoor

3.2 實(shí)驗(yàn)結(jié)果分析

針對如圖6的實(shí)驗(yàn)環(huán)境，本文從以下3個(gè)方面進(jìn)行結(jié)果分析：①驗(yàn)證分割算法的有效性；②分析采樣率對識別精度的影響，并基于2種測試環(huán)境驗(yàn)證不同距離情況下算法的有效性；③基于相同數(shù)據(jù)集驗(yàn)證本文算法與文獻(xiàn)[14]中的WiG系統(tǒng)進(jìn)行比較分析。

基于最小方差的分割算法對不同速度下的揮手手勢分割如圖7。由圖7可知，基于最小方差的分割算法對揮手手勢行為進(jìn)行較為準(zhǔn)確的分割。

圖7 不同速度下手勢分割示意圖Fig.7 Gesture segmentation diagram of different velocity

圖8是分析采樣率對本文算法識別精度的影響，對“畫圈”“前后”“左右”“上下”“揮手”5種手勢各100組共計(jì)500組構(gòu)建分類器與測試樣本，在室內(nèi)收發(fā)相距2.5 m的情況下，對手勢分別在采樣率分別為200 ，400，800，1 000 packet/s情況下的識別精確度進(jìn)行評估，并使用了3 倍交叉驗(yàn)證計(jì)算分類精度。圖8展示了5種手勢在不同采樣率下的識別精度。

圖8 不同采樣率下手勢識別結(jié)果Fig.8 Gesture recognition results under different sampling rates

從圖8中可以看出，采樣率的增大提高了系統(tǒng)的識別率，因此，本文考慮設(shè)備性能以及系統(tǒng)的運(yùn)行效率，設(shè)置采樣率為1 000 packet/s。圖9是在該采樣率情況下的不同場景與位置的識別精度。在不同位置，5種手勢各采集100組構(gòu)建分類器與測試樣本。

圖9 不同場景不同距離下手勢分割示意圖Fig.9 Recognition accuracy of indoor and outdoor at different distances

圖9的結(jié)果表明，本文在室外空曠環(huán)境下，當(dāng)收發(fā)端距離相隔分別為5，7，10 m時(shí)，5種手勢的識別率均達(dá)到90%以上；室內(nèi)多徑環(huán)境下，5種手勢在收發(fā)端距離相隔分別為1，2，2.5，3 m時(shí)，識別率均在90%左右。同時(shí)，由于信號在空中的衰減，收發(fā)兩端距離增大將導(dǎo)致識別率降低。相對來說，手勢“前后”和“揮手”具有較高的識別精度，而“畫圈”和“上下”手勢識別精度相對較小，原因在于“前后”和“揮手”手勢相對于“畫圈”和“上下”對直射鏈路的影響較大，特征更為明顯。

基于相同測試集與相同的參數(shù)設(shè)置，收發(fā)距離相距2.5 m，本文算法與WiG系統(tǒng)提出的算法對比如圖10。從圖10中可以看出，對于WiG只提取時(shí)域特征的系統(tǒng)，本文提出的算法要優(yōu)于WiG系統(tǒng)。

圖10 本文與WiG系統(tǒng)的對比圖Fig.10 Comparison between this paper and WiG system

4 結(jié)束語

本文提出了一種基于時(shí)頻域特征值的Wi-Fi手勢識別方法。首先，本文針對如何在復(fù)雜環(huán)境下提取有用的手勢信號，采用了小波變換-主成分分析聯(lián)合去噪的方法，在利用小波變換去噪之后，采用PCA解決了多個(gè)CSI子載波之間信號冗余的問題，進(jìn)一步抑制噪聲；其次，針對傳統(tǒng)Wi-Fi時(shí)域特征進(jìn)行手勢識別的方法，本文將時(shí)域特征值與頻域特征值相結(jié)合，增加了頻譜熵作為特征值，更好地描述了手勢行為在頻率分量的結(jié)構(gòu)特性，僅僅只需6 個(gè)特征即可完成手勢的識別。實(shí)驗(yàn)結(jié)果表明，本文在復(fù)雜的室內(nèi)環(huán)境和室外環(huán)境均能有效對手勢進(jìn)行識別，手勢的識別率達(dá)到90%以上。