結(jié)合注意力機(jī)制的雷達(dá)多信號(hào)動(dòng)作識(shí)別方法

高 鵬，張 巖，唐新余，王 蒙，季文飛

(1.中國(guó)科學(xué)院 新疆理化技術(shù)研究所，新疆 烏魯木齊 830011；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.中國(guó)科學(xué)院 新疆民族語(yǔ)音語(yǔ)言信息處理重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830011；4.江蘇中科西北星信息科技有限公司，江蘇 無(wú)錫 214135)

0 引 言

人體動(dòng)作識(shí)別在人機(jī)交互、安防監(jiān)控、智能家居等領(lǐng)域有著重要的研究意義和廣泛的應(yīng)用價(jià)值。常見(jiàn)的基于接觸式傳感器[1](如陀螺儀)和非接觸式傳感器[2](如攝像頭)的人體動(dòng)作識(shí)別在隱私和舒適、易用等方面具有局限性。相比之下，雷達(dá)傳感器具有良好的隱私保護(hù)、不易受光線因素影響、不需要人為主動(dòng)干擾等優(yōu)點(diǎn)，在居家等室內(nèi)場(chǎng)所更加符合人體動(dòng)作識(shí)別的需求。

從雷達(dá)回波中獲取簡(jiǎn)單而有效的動(dòng)作特征是實(shí)現(xiàn)人體動(dòng)作識(shí)別的關(guān)鍵性工作，針對(duì)提取到的特征設(shè)計(jì)適配數(shù)據(jù)的高效分類(lèi)方法是進(jìn)一步提高識(shí)別準(zhǔn)確率的保障。當(dāng)前的雷達(dá)動(dòng)作特征提取方法大多將雷達(dá)對(duì)人體動(dòng)作的回波估算為含有動(dòng)作特征的微多普勒特征譜圖[3-5]，一方面，微多普勒?qǐng)D含有大量人體和環(huán)境的微動(dòng)特征，而較為寬幅的人體動(dòng)作對(duì)微動(dòng)特征并不敏感，環(huán)境微動(dòng)特征還會(huì)降低特征表征能力，相對(duì)而言，微動(dòng)特征更適用于手勢(shì)和步態(tài)識(shí)別[6-7]；另一方面，訓(xùn)練復(fù)雜的深度學(xué)習(xí)模型需要大量多普勒?qǐng)D像數(shù)據(jù)集，對(duì)硬件的運(yùn)算性能有較高要求。文獻(xiàn)[3]采用脈沖超寬帶雷達(dá)將人體的多個(gè)回波反射點(diǎn)組成時(shí)間距離譜圖，該方法僅提取了動(dòng)作的距離特征，提取特征單一，對(duì)距離變化小、角度變化大的動(dòng)作不具有普適性；文獻(xiàn)[4]使用基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的模型對(duì)距離多普勒和微多普勒融合分類(lèi)，增加了特征維度，但忽略了動(dòng)作在時(shí)間上的連續(xù)性和前后相關(guān)性；文獻(xiàn)[5]使用了多輸入多輸出(Multiple Input Multiple Output，MIMO)毫米波雷達(dá)采集數(shù)據(jù)，相較于單發(fā)單收的雷達(dá)，MIMO雷達(dá)可以測(cè)量人體的俯仰角度，提高角度分辨率，但僅使用了單發(fā)單收天線采集數(shù)據(jù)，浪費(fèi)了硬件資源，未使用俯仰角度這一重要特征；文獻(xiàn)[8]使用雷達(dá)回波直接計(jì)算出人體重心的高度和速度作為動(dòng)作關(guān)鍵點(diǎn)特征量，該方法提取到的特征過(guò)于簡(jiǎn)單，主觀性強(qiáng)，損失了雷達(dá)信號(hào)中的有效信息，只能表達(dá)簡(jiǎn)單有限的動(dòng)作；文獻(xiàn)[9]基于雷達(dá)距離多普勒?qǐng)D分解降維后的一維特征，分別使用支持向量機(jī)(Support Vector Machines，SVM)、一維卷積神經(jīng)網(wǎng)絡(luò)(One-dimensional Convolutional Neural Network，1DCNN)等多種網(wǎng)絡(luò)對(duì)比識(shí)別性能，實(shí)驗(yàn)結(jié)果顯示1DCNN的平均識(shí)別正確率最高，證明了1DCNN可以更好地抽取含有動(dòng)作信息的一維數(shù)據(jù)特征，但是缺少對(duì)數(shù)據(jù)的時(shí)序處理；文獻(xiàn)[10]使用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory，Bi-LSTM)對(duì)時(shí)間序列微多普勒?qǐng)D進(jìn)行訓(xùn)練，學(xué)習(xí)微多普勒?qǐng)D在時(shí)間上的前后相關(guān)性，得到了較好的分類(lèi)效果，證明了時(shí)序特征也是分類(lèi)的重要依據(jù)，但其將較長(zhǎng)的微多普勒?qǐng)D序列直接作為Bi-LSTM的輸入，導(dǎo)致算法延遲較大。

針對(duì)上述存在的問(wèn)題，首先，基于MIMO雷達(dá)時(shí)分復(fù)用(Time-Division Multiplexing，TDM)模式，提出了一種雷達(dá)多信號(hào)特征提取方法，該方法對(duì)回波信號(hào)進(jìn)行時(shí)域、頻域分析和相位計(jì)算，提取出動(dòng)作的一維時(shí)序信號(hào)特征，構(gòu)建包含8種人體動(dòng)作的訓(xùn)練數(shù)據(jù)集；其次，針對(duì)提取到的多信號(hào)特征設(shè)計(jì)了融合分類(lèi)網(wǎng)絡(luò)，使用注意力機(jī)制在1DCNN-GRU充分提取時(shí)序特征后對(duì)不同的信號(hào)序列做重要程度的加權(quán)分配；最后，通過(guò)實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。工作的主要貢獻(xiàn)如下：

(1)提出了一種新的人體動(dòng)作識(shí)別架構(gòu)，使用時(shí)分復(fù)用模式的L型三發(fā)四收MIMO雷達(dá)進(jìn)行人體動(dòng)作識(shí)別；

(2)構(gòu)建了一種新的雷達(dá)信號(hào)序列動(dòng)作特征模型，將人體動(dòng)作的幅度變化、距離變化、方位變化分別描述為信號(hào)的短時(shí)能量變化、頻率質(zhì)心變化、水平和俯仰相位變化；

(3)設(shè)計(jì)了多信號(hào)序列融合分類(lèi)網(wǎng)絡(luò)，以適配提取到的雷達(dá)動(dòng)作信號(hào)特征，得到更高的動(dòng)作識(shí)別性能。

1 相關(guān)理論

1.1 雷達(dá)信號(hào)模型

FMCW毫米波雷達(dá)硬件結(jié)構(gòu)主要包括發(fā)射天線、接收天線、信號(hào)合成器、混頻器和濾波器。當(dāng)雷達(dá)調(diào)制波為鋸齒波時(shí)，發(fā)射信號(hào)可以表示為：

sT(t)=AT·exp[-j2π·(fct+Kτdτ)]

(1)

式中，AT為發(fā)射信號(hào)振幅，fc為載波頻率，K=B/Tc表示調(diào)頻率，B為信號(hào)調(diào)頻帶寬，Tc為線性調(diào)頻的脈寬。接收天線接收目標(biāo)反射的信號(hào)形成雷達(dá)回波。

sR(t)=AR·exp{-j2π[fc(t-Δt)+

(2)

式中，AR為接收信號(hào)振幅，Δt=2R/c為信號(hào)的傳播時(shí)間，R為目標(biāo)與雷達(dá)間的相對(duì)徑向距離，c為光速，K(τ-Δt)為τ時(shí)刻接收到的回波頻率，Δfd為多普勒頻移。發(fā)射信號(hào)與接收信號(hào)經(jīng)過(guò)混頻器混頻，再經(jīng)過(guò)濾波器濾波后得到中頻信號(hào)。

sIF(t)=fLPF{sT(t)·sR(t)}=AT·AR·

exp{j2π[fcΔt+(fIF-Δfd)t]}

(3)

式中，fIF=KΔt表示t時(shí)刻中頻信號(hào)的頻率，對(duì)中頻信號(hào)進(jìn)行IQ采樣，第n個(gè)周期的第m個(gè)采樣點(diǎn)的差拍信號(hào)可以近似表示為：

SIF(n,m)≈AIexp·{j2π[fIF(n)-Δfd(m)]/fs}

(4)

1.2 TDM原理

MIMO雷達(dá)可以通過(guò)時(shí)分復(fù)用的方法增加天線孔徑，提高角度分辨率[11]。以使用時(shí)分復(fù)用的2發(fā)4收雷達(dá)為例，在雷達(dá)工作時(shí)，兩個(gè)發(fā)射天線交替發(fā)射信號(hào)，如圖1所示，四個(gè)接收天線同時(shí)采樣接收信號(hào)回波，2發(fā)4收雷達(dá)工作一個(gè)周期就可以得到8組回波信號(hào)。

圖1 2發(fā)4收雷達(dá)TDM工作示意圖

為了使TX1→RX1、TX1→RX2、TX1→RX3、TX1→RX4和TX2→RX1、TX2→RX2、TX2→RX3、TX2→RX4兩組信號(hào)回波相參，需要使TX1和TX2之間的天線間隔為RX1、RX2、RX3、RX4之間天線間隔的四倍。

2 動(dòng)作信號(hào)特征處理

雷達(dá)回波信號(hào)可以處理為多種信號(hào)特征[12-13]，如梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficients，MFCCs)、Gammatone倒譜系數(shù)等特征，從雷達(dá)信號(hào)的時(shí)頻角度描述信號(hào)的不同指標(biāo)，距離、速度等特征從具體的動(dòng)作特征角度描述動(dòng)作的不同指標(biāo)。前一種只描述信號(hào)忽略了特征與動(dòng)作的匹配，后一種只描述動(dòng)作丟失了信號(hào)的有效信息，且兩種方式處理較為復(fù)雜。該文選取的信號(hào)特征僅與動(dòng)作有映射關(guān)系，不需要繼續(xù)對(duì)特征做深層次的處理。

2.1 短時(shí)能量特征提取

人體動(dòng)作的雷達(dá)回波信號(hào)是隨著動(dòng)作變化而變化的，具有時(shí)變特性。一個(gè)信號(hào)的時(shí)域波形可以表述為信號(hào)隨時(shí)間變化的曲線，通過(guò)曲線的高低幅值可以判斷不同時(shí)刻與動(dòng)作對(duì)應(yīng)點(diǎn)的能量高低。通常動(dòng)作幅度越大，能量幅值越高，動(dòng)作變化越劇烈，能量變化越大[14]。

雷達(dá)信號(hào)中將每一個(gè)回波周期稱(chēng)作一個(gè)chirp，每一個(gè)chirp得到的數(shù)據(jù)是由多個(gè)IQ采樣點(diǎn)組成，由于連續(xù)動(dòng)作引起能量波動(dòng)，故取每個(gè)短時(shí)chirp為能量波動(dòng)的短時(shí)單位，然后積累每個(gè)chirp內(nèi)采樣點(diǎn)的總信號(hào)幅值作為短時(shí)能量。IQ信號(hào)計(jì)算幅值的方法見(jiàn)公式(5)，短時(shí)能量的計(jì)算方法見(jiàn)公式(6)，將E在時(shí)間軸上按照順序排列得到信號(hào)的短時(shí)能量特征。

(5)

(6)

式中，Am為幅值，I為IQ采樣點(diǎn)的實(shí)部信號(hào)，Q為IQ采樣點(diǎn)的虛部信號(hào)，E為短時(shí)能量，n為采樣點(diǎn)數(shù)。

2.2 頻率質(zhì)心特征提取

假設(shè)從信號(hào)發(fā)射到雷達(dá)回波接收的時(shí)間差為t，雷達(dá)與人體之間的距離為d，那么：

(7)

式中，c為光速。由K=B/Tc，fIF=KΔt可以得到t時(shí)刻中頻信號(hào)的頻率與d的關(guān)系。

(8)

由上式可知，動(dòng)作信號(hào)的頻率特征反映了人體與雷達(dá)之間的距離特征，所以頻率的質(zhì)心描述了人體軀干的距離變化。由于回波信號(hào)每個(gè)chirp都包含多個(gè)散射點(diǎn)，屬于時(shí)變非平穩(wěn)信號(hào)，故將每個(gè)chirp所在的極短時(shí)間內(nèi)看作平穩(wěn)信號(hào)，使用快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)對(duì)每個(gè)短時(shí)平穩(wěn)信號(hào)分析頻譜[15]，得到每個(gè)chirp的頻率后求每個(gè)chirp的頻率質(zhì)心，頻率質(zhì)心的計(jì)算方法如公式(9)：

(9)

式中，f(n)為采樣點(diǎn)頻率，E(n)為對(duì)應(yīng)頻率的能量幅值，將FC在時(shí)間軸上按照順序排列得到信號(hào)的頻率質(zhì)心特征。

2.3 相位特征提取

對(duì)于同一個(gè)目標(biāo)，目標(biāo)與不同的接收天線的距離差會(huì)造成FFT后峰值的相位變化，根據(jù)相位變化可以推算目標(biāo)的到達(dá)角，1發(fā)2收雷達(dá)的相位差可以表示為：

(10)

從公式(10)可知，動(dòng)作信號(hào)的相位變化反映了動(dòng)作的角度變化，對(duì)IQ信號(hào)的每個(gè)chirp做FFT，將能量幅值峰值處對(duì)應(yīng)的頻率作為動(dòng)作頻率，動(dòng)作頻率在不同接收天線對(duì)應(yīng)的時(shí)間步位置也是相同的，對(duì)該時(shí)間步的接收天線維度做FFT即可得到對(duì)應(yīng)頻率處復(fù)平面內(nèi)相應(yīng)的相位，將相位在時(shí)間軸上按照順序排列得到信號(hào)的相位特征。

3 融合分類(lèi)網(wǎng)絡(luò)模型設(shè)計(jì)

3.1 融合分類(lèi)網(wǎng)絡(luò)模型原理

通過(guò)對(duì)雷達(dá)回波數(shù)據(jù)的處理得到了多維動(dòng)作信號(hào)特征數(shù)據(jù)，在數(shù)據(jù)結(jié)構(gòu)上為一維長(zhǎng)序列時(shí)序數(shù)據(jù)，在包絡(luò)特征上對(duì)應(yīng)人體動(dòng)作的不同物理特征，各個(gè)維度具有不同的時(shí)間相關(guān)特性。由于所提取的信號(hào)特征具有長(zhǎng)序列、多維、時(shí)序的結(jié)構(gòu)特點(diǎn)，設(shè)計(jì)的分類(lèi)網(wǎng)絡(luò)必須要充分提取到多維長(zhǎng)序列的通道特征并將長(zhǎng)序列壓縮以便更快地提取其時(shí)序特征，而常見(jiàn)的多特征融合網(wǎng)絡(luò)[3-4]通常將序列先合并后再進(jìn)行卷積處理，這樣會(huì)將每個(gè)單獨(dú)序列對(duì)應(yīng)的物理特征過(guò)早被卷積核打亂，導(dǎo)致重要的特征被模糊，對(duì)所有向量做相同權(quán)重的卷積也會(huì)導(dǎo)致有效特征進(jìn)一步被覆蓋。為了充分提取每種信號(hào)特征，一維卷積階段采用四個(gè)獨(dú)立并列的1DCNN分別提取信號(hào)特征，然后再對(duì)提取和壓縮后的多維短序列實(shí)時(shí)特征進(jìn)行融合，并借助GRU神經(jīng)網(wǎng)絡(luò)獨(dú)特的門(mén)結(jié)構(gòu)，記憶卷積融合后的抽象特征的時(shí)間相關(guān)性，從而充分對(duì)時(shí)序進(jìn)行表征建模，最后使用注意力機(jī)制通過(guò)概率分配權(quán)重的方式對(duì)重要特征加權(quán)增強(qiáng)，避免有效信息被噪聲信息覆蓋，進(jìn)而完成融合分類(lèi)網(wǎng)絡(luò)模型的設(shè)計(jì)。

3.2 融合分類(lèi)網(wǎng)絡(luò)模型結(jié)構(gòu)

所設(shè)計(jì)的融合分類(lèi)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示，模型主要分為Input層、CNN層[16]、Feature Fusion層、GRU層[17]、Attention層[18]和Output層。

圖2 模型結(jié)構(gòu)

模型的每層具體描述如下：

(1)輸入層。輸入層將提取到的四維信號(hào)序列特征作為輸入，特征序列可以統(tǒng)一表示為：

Xi=[xi1,xi2,…,xit-1,xit]T

(11)

式中，i代表不同維度的編號(hào)，t代表時(shí)間步順序。

(2)CNN層。設(shè)CNN層輸出的特征向量為Ci，可以表示為：

Ci=f(Xi?Wi+bi)=ReLU(Xi?Wi+bi)

(12)

式中，Ci為1DCNN卷積后的輸出，Wi為權(quán)重，bi為偏差，?為卷積運(yùn)算。

(3)Feature Fusion層。為了便于后續(xù)的分類(lèi)處理，本層將CNN層得到的特征向量融合，結(jié)構(gòu)上使用Concatenate按照通道維度把特征向量拼接起來(lái)，然后經(jīng)過(guò)Dense層對(duì)特征進(jìn)行融合。設(shè)Feature Fusion層輸出的特征向量為R，可以表示為：

Con=Concatenate(Ci)

(13)

R=ReLU(Con×WR+bR)

(14)

式中，WR為Dense層的權(quán)重，bR為Dense層的偏差。

(4)GRU層。本層對(duì)Feature Fusion層融合后的特征向量進(jìn)行學(xué)習(xí)，為了加快收斂速度，結(jié)構(gòu)采用隱藏層為100的單層GRU結(jié)構(gòu)。設(shè)GRU層的輸出為h,在時(shí)間步t的輸出表示為：

ht=GRU(Rt-1,Rt)

(15)

式中，t的值域?yàn)閇1,時(shí)間步長(zhǎng)]。

(5)Attention層。盡管GRU可以控制序列在時(shí)間步上的遺忘和保留，但它無(wú)法區(qū)分輸入序列的某一步的重要性，而當(dāng)GRU的輸入序列較長(zhǎng)時(shí)，還會(huì)出現(xiàn)重要特征丟失現(xiàn)象。注意力機(jī)制通過(guò)計(jì)算特征向量與結(jié)果的概率產(chǎn)生權(quán)重，以概率加權(quán)的方式替代了隨機(jī)分配權(quán)重的方式，給予關(guān)鍵時(shí)間步較高權(quán)重，提高模型的效率和精確度。故在GRU模型后引入注意力機(jī)制，GRU輸出的h1,h2,…,ht向量用作注意力層的輸入。

本層由一層激活函數(shù)為SoftMax的Dense層和自定義層組成，Dense層通過(guò)概率分配權(quán)重，自定義層將權(quán)重對(duì)GRU層產(chǎn)生的重要特征加權(quán)增強(qiáng)，設(shè)Attention層的輸出為A，在時(shí)間步t的輸出表示為：

et=UAtanh(WAht+bA)

(16)

(17)

(18)

式中，et為在時(shí)間步t時(shí)ht對(duì)應(yīng)的注意力概率值，UA和WA為本層的權(quán)重，bA為本層的偏置。

(6)Output層。本層將Attention層輸出的特征向量放入Flatten層展平后經(jīng)過(guò)Dense層分類(lèi)。設(shè)Output層輸出為Out，可表示為：

Out=Softmax(Wo·Flatten(At)+bo)

(19)

式中，F(xiàn)latten將多層特征向量合并為一層，Wo為Dense層的權(quán)重，bo為Dense層的偏差。模型參數(shù)配置見(jiàn)表1。

表1 模型參數(shù)配置

4 實(shí)驗(yàn)評(píng)估

4.1 平臺(tái)與參數(shù)配置

實(shí)驗(yàn)中硬件部分選用德州儀器公司研發(fā)的IWR6843ISK-ODS雷達(dá)傳感器模塊和與其配套的DCA1000EVM數(shù)據(jù)采集適配器模塊作為人體動(dòng)作信號(hào)采集平臺(tái)，雷達(dá)幀周期設(shè)置為65 ms，幀數(shù)為50幀每秒，每一幀的Chirp數(shù)為128個(gè)，每個(gè)Chirp采樣點(diǎn)為128個(gè)，初始頻率為60 GHz，采樣率為1e7。實(shí)驗(yàn)的整體流程如圖3所示。

圖3 實(shí)驗(yàn)流程

4.2 動(dòng)作數(shù)據(jù)采集

實(shí)驗(yàn)共設(shè)計(jì)了8種不同類(lèi)型的人體動(dòng)作：(1)靜止站立；(2)行走；(3)往復(fù)踱步；(4)坐下；(5)站起；(6)蹲下起立；(7)起立蹲下；(8)跌倒。在采集數(shù)據(jù)過(guò)程中，雷達(dá)信號(hào)發(fā)射方向僅有測(cè)試人員運(yùn)動(dòng)，其他桌椅等物品均為靜止擺放狀態(tài)，雷達(dá)固定在距離地面1.2 m的支架上，測(cè)試人員在雷達(dá)正前方2 m外，每個(gè)動(dòng)作固定采集50幀，重復(fù)50次，共采集到400組回波數(shù)據(jù)。

對(duì)回波數(shù)據(jù)進(jìn)行特征提取，可分別提取到400條信號(hào)特征；在水平方向上，每個(gè)chirp信號(hào)共有8個(gè)接收天線接收回波，使用所有的接收天線計(jì)算相位變化可以最大程度上提高相位變化精確度，在俯仰方向上同理，水平相位特征和俯仰相位特征可分別提取到400條信號(hào)特征，以上采集到的4×400條信號(hào)特征數(shù)據(jù)共同構(gòu)成人體動(dòng)作數(shù)據(jù)集。

表2為動(dòng)作的實(shí)際采集場(chǎng)景與多維信號(hào)特征圖例，為了顯示直觀，表中數(shù)據(jù)均為同類(lèi)歸一化后數(shù)據(jù)，實(shí)驗(yàn)中為了模擬真實(shí)情況，數(shù)據(jù)未歸一化。從表中可以看出，不同動(dòng)作的短時(shí)能量、頻率質(zhì)心、相位在統(tǒng)一時(shí)間分布上具有比較明顯的差異，這為下一步模型訓(xùn)練分類(lèi)奠定了良好的基礎(chǔ)。

4.3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)一：為了驗(yàn)證提取信號(hào)特征的有效性和多維信號(hào)特征對(duì)人體動(dòng)作的表征能力，使用不同信號(hào)特征組合進(jìn)行以下六組實(shí)驗(yàn)：(1)僅使用短時(shí)能量；(2)僅使用頻率質(zhì)心；(3)僅使用水平相位；(4)僅使用俯仰相位；(5)使用短時(shí)能量、頻率質(zhì)心、水平相位；(6)使用全部特征。分類(lèi)模型結(jié)構(gòu)和參數(shù)對(duì)應(yīng)章節(jié)3的GRU模塊，使用交叉熵?fù)p失函數(shù)和Adam優(yōu)化器，batchsize設(shè)置為40，epoch設(shè)置為100，為了保證分類(lèi)準(zhǔn)確率，進(jìn)行五折交叉驗(yàn)證取平均值。

平均分類(lèi)準(zhǔn)確率如表3所示。

表3 五折交叉驗(yàn)證平均準(zhǔn)確率

由表中的分類(lèi)準(zhǔn)確率對(duì)比可以得出，各信號(hào)特征均對(duì)動(dòng)作有一定的表征能力，其中相位信號(hào)的表征能力最強(qiáng)，單獨(dú)使用水平相位信號(hào)對(duì)動(dòng)作進(jìn)行分類(lèi)可以獲得86.50%的準(zhǔn)確率；使用多維信號(hào)特征的分類(lèi)準(zhǔn)確率明顯高于單一特征，其中使用短時(shí)能量、頻率質(zhì)心、水平相位進(jìn)行人體動(dòng)作識(shí)別的準(zhǔn)確率可以達(dá)到95.00%，添加俯仰相位后準(zhǔn)確率又進(jìn)一步提升到96.00%；可以得出結(jié)論，多維信號(hào)特征比單一信號(hào)特征有更好的動(dòng)作表征能力，包含俯仰相位特征的多維信號(hào)特征對(duì)動(dòng)作的表征能力進(jìn)一步增強(qiáng)。

為了進(jìn)一步分析不同信號(hào)特征對(duì)不同動(dòng)作分類(lèi)的表征能力和準(zhǔn)確率，對(duì)五折交叉驗(yàn)證的混淆矩陣取均值，六組實(shí)驗(yàn)的混淆矩陣如圖4所示。圖中橫軸為真實(shí)標(biāo)簽，豎軸為預(yù)測(cè)標(biāo)簽，準(zhǔn)確率越高灰度越深。從實(shí)驗(yàn)(1)的混淆矩陣可以看出短時(shí)能量對(duì)靜止站立和起立蹲下動(dòng)作識(shí)別準(zhǔn)確率低；從實(shí)驗(yàn)(2)的混淆矩陣可以看出頻率質(zhì)心對(duì)坐下、跌倒動(dòng)作識(shí)別準(zhǔn)確率低；從實(shí)驗(yàn)(3)的混淆矩陣可以看出水平相位對(duì)站起、蹲起動(dòng)作識(shí)別準(zhǔn)確率較低；從實(shí)驗(yàn)(4)的混淆矩陣可以看出俯仰相位對(duì)靜止站立、蹲起、起蹲的動(dòng)作識(shí)別準(zhǔn)確率較低。從總體來(lái)看，短時(shí)能量對(duì)動(dòng)作幅度大、區(qū)域?qū)挿旱膭?dòng)作特征敏感，頻率質(zhì)心對(duì)距離變化大的動(dòng)作特征敏感，相位特征分別對(duì)不同角度方向的動(dòng)作特征敏感，四類(lèi)信號(hào)特征對(duì)不同的動(dòng)作表征可以很好的互補(bǔ)，三維信號(hào)特征聯(lián)合已經(jīng)可以較好地識(shí)別所有動(dòng)作，加入俯仰相位特征后又進(jìn)一步提高了行走和蹲下起立的識(shí)別準(zhǔn)確率。

(a)實(shí)驗(yàn)(1) (b)實(shí)驗(yàn)(2)

(c)實(shí)驗(yàn)(3) (d)實(shí)驗(yàn)(4)

(e)實(shí)驗(yàn)(5) (f)實(shí)驗(yàn)(6) 圖4 六組實(shí)驗(yàn)的混淆矩陣

實(shí)驗(yàn)二：為了驗(yàn)證所設(shè)計(jì)的分類(lèi)網(wǎng)絡(luò)對(duì)人體動(dòng)作識(shí)別的性能提升，在實(shí)驗(yàn)(6)的基礎(chǔ)上增加了以下兩組對(duì)比實(shí)驗(yàn)：(7)使用1DCNN-GRU對(duì)人體動(dòng)作識(shí)別；(8)使用多信號(hào)序列融合分類(lèi)網(wǎng)絡(luò)對(duì)人體動(dòng)作識(shí)別。兩組實(shí)驗(yàn)均使用四維信號(hào)特征作為數(shù)據(jù)輸入，分類(lèi)模型結(jié)構(gòu)和參數(shù)對(duì)應(yīng)章節(jié)3的各自模塊，使用交叉熵?fù)p失函數(shù)和Adam優(yōu)化器，batchsize設(shè)置為40，epoch設(shè)置為50，實(shí)驗(yàn)結(jié)果均為五折交叉驗(yàn)證取平均值。

實(shí)驗(yàn)(6)、(7)、(8)的訓(xùn)練損失值和識(shí)別準(zhǔn)確率隨迭代次數(shù)的變化情況如圖5(a)、(b)所示?？梢钥闯?，僅使用GRU的分類(lèi)模型在迭代60次后損失值和準(zhǔn)確率才趨于穩(wěn)定，模型擬合速度慢，而在加入1DCNN后，模型擬合速度加快，在迭代30次后損失值和準(zhǔn)確率便趨于穩(wěn)定，與此同時(shí)，識(shí)別準(zhǔn)確率有1.25%的提升，達(dá)到了97.25%，證明了串聯(lián)1DCNN對(duì)單一GRU模型的性能提升。在1DCNN-GRU模型上加入注意力機(jī)制后，模型訓(xùn)練速度明顯加快，僅訓(xùn)練10次左右損失值和準(zhǔn)確率便趨于穩(wěn)定，識(shí)別準(zhǔn)確率達(dá)到了98.50%，加入注意力機(jī)制提高了訓(xùn)練速度和識(shí)別準(zhǔn)確率，驗(yàn)證了所設(shè)計(jì)的網(wǎng)絡(luò)對(duì)人體動(dòng)作識(shí)別的性能提升。

(a)損失變化

(b)準(zhǔn)確率變化

(c)Attention權(quán)重分配 圖5 實(shí)驗(yàn)(6-8)的損失和準(zhǔn)確率及 Attention權(quán)重分配

實(shí)驗(yàn)(8)在實(shí)驗(yàn)(7)的基礎(chǔ)上添加了Attention層，用以計(jì)算GRU中輸出的序列數(shù)據(jù)的動(dòng)作分類(lèi)類(lèi)型和實(shí)際類(lèi)型的匹配程度，并根據(jù)匹配程度分配權(quán)重，其權(quán)重可視化如圖5(c)所示，從圖中可以看出，在100個(gè)序列數(shù)據(jù)中第62、79個(gè)序列與輸出匹配程度較高，因此相應(yīng)的權(quán)重系數(shù)較高。

表4從特征類(lèi)型和分類(lèi)算法兩方面將該文與文獻(xiàn)中已有的對(duì)幅度較大人體動(dòng)作的分類(lèi)方法作對(duì)比。

表4 動(dòng)作識(shí)別方法對(duì)比

從表中可以看出，微多普勒?qǐng)D對(duì)寬幅人體動(dòng)作的表征弱于多維雷達(dá)序列信號(hào)特征和多維動(dòng)作關(guān)鍵點(diǎn)特征量，其中多維行為關(guān)鍵點(diǎn)特征量較為簡(jiǎn)單，所攜帶的動(dòng)作信息只能分類(lèi)少量動(dòng)作；時(shí)序特征的分類(lèi)準(zhǔn)確率高于不含時(shí)序的特征，在分析時(shí)序特征之前對(duì)特征進(jìn)行適當(dāng)?shù)奶卣鞒槿】梢匀〉酶玫姆诸?lèi)效果；多維特征的融合能提供更豐富的動(dòng)作信息；通過(guò)對(duì)比可知，該文提出的特征分類(lèi)方法數(shù)據(jù)量較小，同時(shí)可以表征多種寬幅動(dòng)作，在識(shí)別準(zhǔn)確率上優(yōu)于其他方法。

5 結(jié)束語(yǔ)

通過(guò)研究MIMO毫米波雷達(dá)的特性，提出了一種動(dòng)作多信號(hào)特征提取方法，該方法可以增加動(dòng)作相位的俯仰維度特征；使用多信號(hào)特征建立了人體動(dòng)作數(shù)據(jù)集，并根據(jù)信號(hào)特征的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)了一種基于1DCNN、GRU和Attention的多信號(hào)序列融合分類(lèi)網(wǎng)絡(luò)。實(shí)驗(yàn)使用動(dòng)作多信號(hào)特征提取方法構(gòu)建數(shù)據(jù)集并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練分類(lèi)，通過(guò)對(duì)比證明，含有俯仰相位的多維信號(hào)特征表達(dá)幅度大的人體動(dòng)作更有優(yōu)勢(shì)，設(shè)計(jì)的分類(lèi)模型收斂速度快，可以充分提取多維信號(hào)中的動(dòng)作信息，對(duì)8種不同的人體動(dòng)作進(jìn)行識(shí)別，平均識(shí)別正確率達(dá)到了98.5%，驗(yàn)證了方法的有效性和可行性。后續(xù)工作將對(duì)提出的方法移植到嵌入式設(shè)備上實(shí)時(shí)識(shí)別人體動(dòng)作做進(jìn)一步研究。