基于毫米波雷達(dá)的艙內(nèi)兒童遺留檢測(cè)系統(tǒng)設(shè)計(jì)和驗(yàn)證

祁淼

摘 要：為了保護(hù)兒童避免被單獨(dú)遺留在艙內(nèi)，提出了基于毫米波雷達(dá)的傳感器的檢測(cè)方法。本方法采集毫米波多普勒效應(yīng)產(chǎn)生的時(shí)域和頻域信息，在LC-KSVD算法中加入主成分分析和隨機(jī)森林的降維方法提取特征，對(duì)特征最組合。將組合的特征用SVM做分類，區(qū)分出存在和不存在兒童的場(chǎng)景。實(shí)驗(yàn)部分根據(jù)用車習(xí)慣，收集設(shè)計(jì)了正樣本的采集和負(fù)樣本的采集。實(shí)驗(yàn)表明，與同類的研究相比，本方法有更好的環(huán)境適應(yīng)性可以避免相機(jī)等傳統(tǒng)方法的局限性。

關(guān)鍵詞：毫米波雷達(dá) LC-KSVD算法 兒童檢測(cè) SVM分類

Design and Verification of In-cabin Child Legacy Detection System Based on Millimeter-wave Radar

Qi Miao

Abstract：In order to protect children from being left alone in the cabin， a sensor detection method based on millimeter wave radar is proposed. This method collects the time-domain and frequency-domain information generated by the millimeter wave Doppler effect， and adds the principal component analysis and the random forest dimensionality reduction method to the LC-KSVD algorithm to extract the features. The combined features are classified with SVM to distinguish the scene with and without children. In the experiment part， the collection of positive samples and negative samples are designed according to the habit of using vehicles. The experiment shows that this method has better adaptability to the environment and can avoid the limitations of traditional methods such as cameras.

Key words：millimeter wave radar， LC-KSVD algorithm， child detection， SVM classification

1 前言

汽車是許多家庭的標(biāo)配，最近幾年車輛設(shè)計(jì)的趨勢(shì)之一是大天窗裝在越來(lái)越多的車型上，2022年銷量前十的車型[1]中除了五菱宏光MINIEV外都配有天窗，其中半數(shù)配置了全景天窗。如果車輛暴露在陽(yáng)光下，更多的熱量通過(guò)天窗傳遞到艙內(nèi)，在密閉環(huán)境中熱量聚集使艙內(nèi)溫度快速上升。幼兒被遺留在無(wú)人看管的車汽車?yán)飵追昼娍赡軐?dǎo)致中暑和死亡。大多數(shù)父母相信自己永遠(yuǎn)不會(huì)忘記坐在后座上的孩子?，F(xiàn)實(shí)情況是在過(guò)去的15年中美國(guó)有1000名兒童在車上因?yàn)檫^(guò)熱去世，其中超過(guò)88%的幼兒小于3個(gè)月[2]。

常見(jiàn)的活體檢測(cè)手段為視覺(jué)，文強(qiáng)[3]等人通過(guò)圖像的幾何形態(tài)學(xué)關(guān)系區(qū)分成年人和兒童（<6歲）的臉部特征。公妍蘇[4]等人利用樹莓派作為計(jì)算平臺(tái)開(kāi)發(fā)基于Adaptive Boosting的兒童車內(nèi)遺留檢測(cè)系統(tǒng)。但是，大多數(shù)嬰兒座椅會(huì)配置遮陽(yáng)簾，導(dǎo)致嬰兒大多數(shù)特征無(wú)法被攝像頭捕捉，造成漏報(bào)。而且艙內(nèi)過(guò)多的布置攝像頭也會(huì)引起用戶的反感。董啟迪[5]等人讀取車上壓力傳感器的數(shù)值推測(cè)大人和孩子，結(jié)合車門開(kāi)關(guān)等信息實(shí)現(xiàn)遺留檢測(cè)。0-6歲的孩子成長(zhǎng)快，體重分布區(qū)間規(guī)律性不強(qiáng)，存在較大的誤報(bào)風(fēng)險(xiǎn)。本文采用基于毫米波雷達(dá)的技術(shù)方案，利用多普勒效應(yīng)檢測(cè)車內(nèi)的運(yùn)動(dòng)情況，通過(guò)空間定位過(guò)濾車外的和非成員區(qū)間的運(yùn)動(dòng)，利用人體運(yùn)動(dòng)時(shí)頻過(guò)濾出人體的運(yùn)動(dòng)。從而檢驗(yàn)車內(nèi)存在的生命體，當(dāng)發(fā)現(xiàn)疑似生命體被遺留在車內(nèi)時(shí)發(fā)出報(bào)警。通過(guò)技術(shù)的手段避免類似悲劇的發(fā)生。毫米波雷達(dá)有可穿透性和不涉及隱私等特點(diǎn)[6，7]。

2 信號(hào)模型和時(shí)頻分析

2.1 多普勒效應(yīng)和信號(hào)模型

FMCW調(diào)頻連續(xù)波雷達(dá)達(dá)采用相位差的原理獲取目標(biāo)距離，傳輸信號(hào)頻率隨時(shí)間變化呈線性，對(duì)每一掃頻段，通過(guò)將發(fā)射信號(hào)與接收信號(hào)進(jìn)行混頻獲得回波差拍信號(hào)，差拍信號(hào)包含目標(biāo)的距離和徑向速度信息，利用上、下掃頻段差拍信號(hào)頻譜對(duì)稱的性質(zhì)，得到目標(biāo)的距離和速度參數(shù)。雷達(dá)發(fā)射出的載波頻率為fc的波形S（t）可以表示為：

進(jìn)一步的，運(yùn)動(dòng)目標(biāo)的散射點(diǎn)的回波為：

Sp（t）=Ap（t）exp（j2πc[t-]）

其中，Ap表示在t時(shí)刻的回波信號(hào)幅度值，c為正空下光的速度，rp（t）表示雷達(dá)與目標(biāo)的距離差。由此推導(dǎo)出，回波信號(hào)與發(fā)射信號(hào)的相位差為：

對(duì)t時(shí)刻微分求導(dǎo)，獲得本散射點(diǎn)對(duì)應(yīng)的多普勒頻移fD：

D=

由上述可以得到，多普勒頻移與目標(biāo)的運(yùn)動(dòng)狀態(tài)成正相關(guān)，微多普勒信息可以作為動(dòng)作的特征。

2.2 基于短時(shí)傅里葉變化的時(shí)域分析

人體在靜止（典型場(chǎng)景為睡眠）時(shí)，呼吸導(dǎo)致的胸腔起伏的回波信號(hào)隨時(shí)間變化，在一段時(shí)間內(nèi)具有周期性，每個(gè)周期都是由多種頻譜組裝成，可以用傅里葉變化進(jìn)行頻譜分析。人體在運(yùn)動(dòng)時(shí)則存在相反，存在時(shí)域和頻域的雙重變化，需要將時(shí)域和頻域作為一個(gè)整體進(jìn)行分析［8，9］，將多普勒頻移轉(zhuǎn)換為時(shí)頻圖。

常用的時(shí)頻分析方法有短時(shí)傅里葉變換（STFT）[10]和小波變換，采用較STFT時(shí)頻分析方法可以有效避免分析時(shí)的交叉項(xiàng)干擾，進(jìn)而減少計(jì)算復(fù)雜度。通過(guò)對(duì)原始信號(hào)加時(shí)間窗并沿著時(shí)間軸移動(dòng)窗函數(shù)，將非平穩(wěn)信號(hào)在一個(gè)極短的時(shí)間內(nèi)看成是平穩(wěn)信號(hào)，實(shí)現(xiàn)了非平穩(wěn)信號(hào)轉(zhuǎn)化成多個(gè)短時(shí)平穩(wěn)信號(hào)進(jìn)行疊加處理，在此基礎(chǔ)上便可以采用傅里葉變換對(duì)每個(gè)短時(shí)平穩(wěn)信號(hào)進(jìn)行分析，得到頻率隨時(shí)間變化的時(shí)頻函數(shù)。假設(shè)原始非平穩(wěn)信號(hào)為h（t），則短時(shí)傅里葉變換定義為：

STFF（m，n）=h（k）w（kT-mT）e-j2π（ns）k

其中，H（k）為信號(hào)h（t）的離散表達(dá)，m和n為采樣時(shí)間和采樣頻率，w為窗函數(shù)，T為采樣的間隔時(shí)間，fs為頻率的采樣間隔。

2.3 基于多維度的機(jī)器學(xué)習(xí)特征提取方案

K-SVD算法[11]一般用于信號(hào)的重構(gòu)，但是沒(méi)有解決分類和識(shí)別問(wèn)題，在此基礎(chǔ)上，LC-KSVD[12，13]算法被提出來(lái)。該算法通過(guò)系數(shù)約束方差和分類器參數(shù)的選擇使得分類的過(guò)程被強(qiáng)化。采用LC-KSVD算法可以優(yōu)化求解。為了在車內(nèi)的運(yùn)動(dòng)中挖掘出呼吸或肢體運(yùn)動(dòng)的頻域/時(shí)域特征，得到更加有辨識(shí)度的特征，對(duì)LC-KSVD算法進(jìn)行拓展。用兩種特征描述手段對(duì)進(jìn)行維度下降計(jì)算。使用主成分分析方法提取頻率部分的特征，提取m個(gè)主要成分特征，降維度到m維度的向量；采用隨機(jī)森林方法[14]提取頻率中的隨機(jī)特征，獲取的維度為n，將兩個(gè)降維后的數(shù)據(jù)進(jìn)行融合獲得m+n維度的向量，用svm方法[15]對(duì)分類的結(jié)果進(jìn)行學(xué)習(xí)，獲取最好的分類方式。特征提取的流程如下：

2.4 人體運(yùn)動(dòng)數(shù)據(jù)集構(gòu)建

生命體在艙內(nèi)的形態(tài)可以劃分為靜止（如睡覺(jué)）和運(yùn)動(dòng)，當(dāng)生命體靜止時(shí)，存在呼吸帶來(lái)的胸腔起伏；當(dāng)生命體運(yùn)動(dòng)時(shí)，則有明顯的肢體運(yùn)動(dòng)。通過(guò)捕捉生命體的運(yùn)動(dòng)特征，可以判斷出生命體的存在。

使用雷達(dá)分別捕捉人體的姿態(tài)。設(shè)計(jì)幀時(shí)間長(zhǎng)度為Nf的FIFO滑動(dòng)幀窗，將雷達(dá)的單幀數(shù)據(jù)依次放入滑動(dòng)窗口中，當(dāng)窗口被填滿時(shí)，先進(jìn)入的一幀被剔除，最后生成一幀數(shù)據(jù)插入隊(duì)列尾部。設(shè)定單幀內(nèi)頻域和時(shí)域的閾值，對(duì)連續(xù)幀做判定，實(shí)現(xiàn)滑動(dòng)幀窗內(nèi)的特征判定，然后保存當(dāng)前幀窗內(nèi)的特征分布。4個(gè)數(shù)據(jù)通道獲得的白噪聲是呈隨機(jī)分布的，通過(guò)對(duì)多通道非相干疊加權(quán)來(lái)抑制距離與多普勒特征的背景噪聲，提高運(yùn)動(dòng)的信噪比。對(duì)8名志愿者孩子進(jìn)行數(shù)據(jù)采集，其身體數(shù)據(jù)如下表（呼吸頻率為人工測(cè)量）。

通過(guò)數(shù)據(jù)采集獲取100組，共計(jì)40134幀數(shù)據(jù)。利用相同的單通道CNN方法進(jìn)行訓(xùn)練和測(cè)試，訓(xùn)練測(cè)試比為6：4。對(duì)Nf分別取5幀，6幀，8幀，10幀，13幀和17幀。準(zhǔn)確率對(duì)比如表1所示，可以看出識(shí)別率隨著Nf先升后降。從呼吸角度考慮，由于一個(gè)完成的呼吸時(shí)間主要分布在2-3s之間，10幀連續(xù)數(shù)據(jù)基本覆蓋一個(gè)呼吸周期。過(guò)短的周期會(huì)導(dǎo)致對(duì)環(huán)境白噪音的誤識(shí)別，過(guò)長(zhǎng)的的周期會(huì)加入過(guò)擬合。從運(yùn)動(dòng)角度，車艙內(nèi)空間小，無(wú)法展開(kāi)劇烈運(yùn)動(dòng)，以1s～2s為窗口可以將人體的不規(guī)則運(yùn)動(dòng)拆分為一個(gè)個(gè)簡(jiǎn)單的運(yùn)動(dòng)，對(duì)這些運(yùn)動(dòng)片段進(jìn)行特征捕捉，本算法中選擇10幀的時(shí)間長(zhǎng)度作為表征。

3 系統(tǒng)設(shè)計(jì)

3.1 總體架構(gòu)

根據(jù)生命探探測(cè)對(duì)系統(tǒng)的要求，構(gòu)建如下系統(tǒng)，系統(tǒng)分為軟件和硬件兩部分。硬件部分為雷達(dá)芯片，電源，時(shí)鐘，看門狗，CAN通訊模塊。雷達(dá)采用AIR設(shè)計(jì)，將天線封裝在芯片內(nèi)部，不需要單獨(dú)設(shè)計(jì)。軟件包括雷達(dá)和通訊底層驅(qū)動(dòng)，STFT時(shí)頻分析算法等。

3.2 系統(tǒng)硬件設(shè)計(jì)

硬件使用加特蘭微電子的Alps雷達(dá)（Rhine），芯片上集成了內(nèi)置天線，包含4個(gè)發(fā)射通道和4個(gè)接收通道，支持水平和俯仰探測(cè)，工作在60～64GHz。片上設(shè)有豐富的外部接口，如CAN，CANFD，I2C等。通過(guò)配置字，設(shè)置可用的工作性能為：距離分辨率可達(dá)5mm，最大觀測(cè)距離為2.5m，最大角視場(chǎng)為85°。

3.3 系統(tǒng)軟件設(shè)計(jì)

通過(guò)軟件控制系統(tǒng)運(yùn)行和輸出探測(cè)結(jié)果，使用Rhine-Mini_Software_Firmware和Rhine-Mini_Software_Tool進(jìn)行開(kāi)發(fā)。通過(guò)microUSB（ universal serial bus）進(jìn)行硬件設(shè)備與上位機(jī)的通信交互，將雷達(dá)參數(shù)配置程序發(fā)送到DSP中。向雷達(dá)寫入配置字，啟動(dòng)四發(fā)四收模式，工作頻率為60GHz，工作帶寬為4GHz，三角周期脈沖，脈沖周期為87.31μs，采樣次數(shù)為128，采樣速率為6558kSPS；每幀包含13場(chǎng)脈沖，單幀周期1000ms。為了便于調(diào)試，將帶時(shí)間戳的雷達(dá)原始數(shù)包據(jù)傳至上位機(jī)。經(jīng)過(guò)解析后獲得每一幀中的徑向速度和回波強(qiáng)度。

4 實(shí)驗(yàn)驗(yàn)證和性能分析

實(shí)驗(yàn)過(guò)程中讓每個(gè)孩子單獨(dú)在車內(nèi)的后排。其中一歲以下的孩子放置在反向安裝的安全座椅中，把座椅的遮陽(yáng)簾放下，一個(gè)孩子蓋夏天的輕薄毯子，一個(gè)孩子正常穿衣。一歲孩子放置在正向安裝的安全座椅中，也分別蓋小毯子和僅穿衣服。兩歲孩子和三歲兒童正常坐在車內(nèi)，引導(dǎo)他們安靜的看手機(jī)和自由發(fā)揮做肢體運(yùn)動(dòng)。設(shè)置負(fù)面對(duì)照實(shí)驗(yàn)，在無(wú)人的車內(nèi)放置礦泉水、掛件，然后搖晃車輛用雷達(dá)記錄數(shù)據(jù)。圖2是各種情況下的降維特征。

采集數(shù)據(jù)后，對(duì)數(shù)據(jù)打標(biāo)簽，分類存儲(chǔ)。分別使用LC-KSVD算法、K-SVD算法，單獨(dú)使用PCA降維，以及單獨(dú)使用隨機(jī)森林方法降維的方法提取特征的LC-KSVD算法對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，獲取的識(shí)別率如表3。

通過(guò)表可以看出進(jìn)行在識(shí)別車內(nèi)兒童方面，使用LC-KSVD算法要優(yōu)于傳統(tǒng)的K-SVD算法，加入特征提取和降維方式后，識(shí)別效果更加明顯。

5 結(jié)論

提出一種基于毫米波雷達(dá)的兒童遺留檢測(cè)算法，該算法采用LC-KSVD算法捕捉兒童的行為特征，實(shí)驗(yàn)表明：1、毫米波雷達(dá)可以在有障礙的情況下捕捉到人類的行為特征；2、實(shí)驗(yàn)中使用了不同的年齡段的孩子，且按照實(shí)際情況布置了安全座椅，接近現(xiàn)實(shí)情況，說(shuō)明算法具有魯棒性；3、基于毫米波雷達(dá)的艙內(nèi)雷達(dá)有實(shí)際的研發(fā)意義和使用場(chǎng)合，值得繼續(xù)深挖。

參考文獻(xiàn)：

[1]2022年中國(guó)汽車銷量排行 https：//www.dongchedi.com/sales/sale-x-1000-x-x-x-x.

[2]https：//www.kidsandcars.org/2019/02/27/dangers-of-hot-cars/.

[3]文強(qiáng)，張銣鈁. 基于人臉識(shí)別的預(yù)防兒童誤鎖車內(nèi)報(bào)警系統(tǒng)設(shè)計(jì)研究[J]. 計(jì)算機(jī)產(chǎn)品與流通，2019（3）：1.

[4]公妍蘇，趙宏. 基于樹莓派的避免兒童誤鎖車內(nèi)報(bào)警系統(tǒng)的設(shè)計(jì)[J]. 科學(xué)技術(shù)創(chuàng)新，2020（11）：2.

[5]董啟迪. 基于Arduino的兒童誤鎖車內(nèi)報(bào)警與自救裝置設(shè)計(jì)[J]. 軟件：電子版，2018.

[6]Nanzer J A，Popova E，Rogers R L . Analysis of the detection modes of a human presence detection millimeter-wave radiometer[C]// Antennas and Propagation Society International Symposium （APSURSI），2010 IEEE. IEEE，2010.

[7]Choi J W ， Nam S S，Cho S H . Multi-Human Detection Algorithm Based on an Impulse Radio Ultra-Wideband Radar System[J]. IEEE Access，2017，4：10300-10309.

[8]俞悅. 基于時(shí)頻分析的雷達(dá)目標(biāo)識(shí)別技術(shù)研究[D]. 南京理工大學(xué).

[9]Li G ，Zhang S，F(xiàn)ioranelli F，et al. Effect of Sparse-Aware Time-Frequency Analysis on Dynamic Hand Gesture Classification with Radar Micro-Doppler Signatures[J]. IET Radar Sonar? ?Navigation，2018，12（8）.

[10]楊超，李波，胡緒權(quán)，等. 基于解析插值離散時(shí)間傅里葉變換的精確頻率估計(jì)[J]. 電工技術(shù)學(xué)報(bào)，2022，37（6）：13.

[11]Qiang Z ， Li B . Discriminative K-SVD for dictionary learning in face recognition[C]// The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition，CVPR 2010，San Francisco，CA，USA，13-18 June 2010. IEEE，2010.

[12]Kviatkovsky I ， Gabel M ， Rivlin E ，et al. On the Equivalence of the LC-KSVD and the D-KSVD Algorithms[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（2）：411-416.

[13]Sun C.Image classification of cashmere and wool fiber based on LC-KSVD[J]. Journal of Physics： Conference Series，2021，1948（1）：012010 （6pp）.

[14]Wang X，Tang X.Random Sampling for Subspace Face Recognition[M]. Kluwer Academic Publishers，2006.

[15]Joachims T.Making Large-Scale SVM Learning Practical[J]. Technical Reports，1998，8（3）：499-526.