基于kinect DK步態(tài)檢測(cè)系統(tǒng)的設(shè)計(jì)研究*

劉宇斌 葉嘉杰 何曉昀

廣東理工學(xué)院 廣東 肇慶 526100

引言

如今人工智能在圖像識(shí)別、物體識(shí)別、身份識(shí)別等方向取得了傲人的發(fā)展，但是在一些場(chǎng)合中有些識(shí)別技術(shù)發(fā)揮的作用性不太明顯，像指紋識(shí)別、人臉識(shí)別、虹膜識(shí)別、DNA識(shí)別，對(duì)于個(gè)體的依賴性過(guò)強(qiáng)，而且不易采集，就以2019年的香港暴徒事件為例子，每一個(gè)行兇的暴徒都是蒙著臉的。在外界嘈雜通過(guò)普通的人臉識(shí)別或者聲紋識(shí)別，都無(wú)法準(zhǔn)確地提取出人物的信息，但是可以通過(guò)步態(tài)識(shí)別來(lái)獲取個(gè)人的信息，來(lái)準(zhǔn)確分辨出該人。

步態(tài)識(shí)別是一種通過(guò)個(gè)人的行走方式來(lái)辨別個(gè)人信息的生物識(shí)別技術(shù)。在應(yīng)用領(lǐng)域，類似于人臉識(shí)別，它要解決識(shí)別和檢驗(yàn)兩類問(wèn)題。在識(shí)別問(wèn)題中，給出未知身份人的步態(tài)，在數(shù)據(jù)庫(kù)中搜尋與之匹配的人的步態(tài)，從而確認(rèn)人的身份；在檢驗(yàn)問(wèn)題中，需要步態(tài)識(shí)別算法對(duì)已假定的某人的身份做出判定，即接受或拒絕所假定的身份。

當(dāng)前步態(tài)識(shí)別雖然擁有著廣泛的市場(chǎng)前景，但是在實(shí)際應(yīng)用的過(guò)程中，存在著視角遮擋、穿著不一、環(huán)境影響等因素，會(huì)對(duì)步態(tài)識(shí)別的正確率造成較大的影響，而利用基于RGB-D技術(shù)的三維傳感器提取步態(tài)信息的方式為步態(tài)識(shí)別的發(fā)展提供了新的方向，減弱了大部分復(fù)雜的環(huán)境因素對(duì)于步態(tài)特征獲取的影響。增強(qiáng)了對(duì)于人體步態(tài)數(shù)據(jù)獲取的簡(jiǎn)易性[1]。

1 常見(jiàn)步態(tài)識(shí)別技術(shù)以及缺陷

1.1 基于模型的步態(tài)識(shí)別技術(shù)

此類基于模型的步態(tài)識(shí)別方式核心是對(duì)運(yùn)動(dòng)學(xué)模型的構(gòu)建，即根據(jù)運(yùn)動(dòng)的人體結(jié)構(gòu)實(shí)現(xiàn)人體骨骼化的建模，便可以獲取相應(yīng)的關(guān)節(jié)角度與肢體長(zhǎng) 度等高層特征表達(dá)?；谀Ｐ偷倪@類步態(tài)識(shí)別算法可以極大克服實(shí)際復(fù)雜場(chǎng)景中由于遮擋與視角造成的干擾，不足就是計(jì)算量大且實(shí)現(xiàn)的復(fù)雜度高。

1.2 基于非模型的步態(tài)識(shí)別技術(shù)

這一類非模型的步態(tài)識(shí)別方式則便可以直接通過(guò)從人體輪廓中提取所需的步態(tài)特征，不需要構(gòu)建人體的運(yùn)動(dòng)學(xué)模型，還能劃分為基于步態(tài)能量圖的方法和基于步態(tài)圖像序列的方法?；诜悄Ｐ瓦@類算法的實(shí)現(xiàn)復(fù)雜度相對(duì)較低，可是很容易受遮擋、不同視角因素干擾。

以上兩種步態(tài)識(shí)別技術(shù)均為基于二維平面圖像的識(shí)別技術(shù)，各自存在一定的缺陷，而且成本昂貴需要借助處理終端進(jìn)行處理，無(wú)法滿足小范圍區(qū)域的應(yīng)用[2]。

2 系統(tǒng)設(shè)計(jì)

2.1 人體骨骼獲取模塊

該系統(tǒng)采用了Kinect DK相機(jī)作為人體骨骼數(shù)據(jù)的提取模塊，Kinect DK相機(jī)是一個(gè)開(kāi)發(fā)人員工具包由1200萬(wàn)像素高清攝像頭，100萬(wàn)像素TOF深度攝像頭、7麥克風(fēng)圓形陣列，和方向傳感器組成，在該系統(tǒng)主要運(yùn)用的是其對(duì)于人體骨骼的檢測(cè)功能，如圖1所示相對(duì)于Kinect V2無(wú)論是在運(yùn)動(dòng)物體獲取還是深度圖像獲取方面都有著較大的提升。獲取圖像更加的清晰，數(shù)據(jù)跟蹤更加準(zhǔn)確，使得Kinect DK更適合該系統(tǒng)的研究。

圖1 人體骨骼提取圖

Kinect DK通過(guò)紅外發(fā)射器發(fā)射近紅外光線，照射到人體上時(shí)利用紅外相機(jī)接收反射回來(lái)的紅外線利用了Time of Flight（TOF）技術(shù)計(jì)算相位差與測(cè)量深度后將檢測(cè)到的3D深度圖像，轉(zhuǎn)換到骨架追蹤系統(tǒng),再采用背景分割法刪除背景，減小了計(jì)算量，最后傳入到?jīng)Q策樹(shù)分類器當(dāng)中對(duì)相應(yīng)類別的節(jié)點(diǎn)進(jìn)行劃分輸出人體骨骼圖。

2.2 步態(tài)數(shù)據(jù)獲取模塊

本地計(jì)算機(jī)因?yàn)橐獙?shí)時(shí)進(jìn)行人體骨骼數(shù)據(jù)的獲取與預(yù)處理，上傳與接受云端數(shù)據(jù)，具有較大的運(yùn)算能力，傳統(tǒng)的嵌入式設(shè)備無(wú)法滿足應(yīng)用需求，所以該系統(tǒng)采用了可在邊緣設(shè)備上運(yùn)行大型深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)更高的準(zhǔn)確性，Nvidia公司的Jetson TX2單模塊超級(jí)計(jì)算機(jī)，能夠方便快捷的部署深度學(xué)習(xí)模塊，非常適用于該系統(tǒng)對(duì)帶寬和延遲要求高的應(yīng)用的實(shí)時(shí)處理過(guò)程。

2.3 步態(tài)分析處理模塊設(shè)計(jì)

該系統(tǒng)在云服務(wù)器上采用了VGG19深度神經(jīng)網(wǎng)絡(luò)進(jìn)行步態(tài)的分類識(shí)別，先利用卷積神經(jīng)網(wǎng)絡(luò)提取出動(dòng)靜態(tài)人體骨骼特征數(shù)據(jù)，然后通過(guò)1x1大小的卷積核的平均池化層對(duì)提取出的步態(tài)骨骼特征進(jìn)行降維處理，而后采用了帶有動(dòng)量的隨機(jī)梯度方法對(duì)算法進(jìn)行優(yōu)化，通過(guò)softmax損失函數(shù)進(jìn)行分類[3]。

圖2 VGG19步態(tài)特征檢測(cè)模型

3 工作流程

該系統(tǒng)利用Kinect DK相機(jī)采集三維深度數(shù)據(jù)采用分隔策略將人體從復(fù)雜的背景中區(qū)分出來(lái)，在這個(gè)階段，為每個(gè)跟蹤的人在深度圖像中創(chuàng)建分割遮罩，其次對(duì)景深圖像（機(jī)器學(xué)習(xí)）進(jìn)行評(píng)估，來(lái)判別人體的不同部位分離出行人個(gè)體并獲取其骨骼的三維數(shù)據(jù)，

Jetson TX2將骨骼三維數(shù)據(jù)上傳到云服務(wù)器的VGG19深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練出的網(wǎng)絡(luò)模型進(jìn)行步態(tài)識(shí)別，隨后上傳到云端數(shù)據(jù)庫(kù)，云端數(shù)據(jù)庫(kù)將對(duì)每一份數(shù)據(jù)進(jìn)行存儲(chǔ)。

用戶使用設(shè)備采集到新的人體數(shù)據(jù)，由Jetson TX2將數(shù)據(jù)上傳至云端與云端數(shù)據(jù)庫(kù)，Jetson TX2調(diào)用的數(shù)據(jù)庫(kù)接口會(huì)根據(jù)用戶信息返回所需的對(duì)比數(shù)據(jù)，并與用戶提交的數(shù)據(jù)進(jìn)行對(duì)比，若信息對(duì)比一致，即身份信息配對(duì)成功，云端與云端數(shù)據(jù)庫(kù)將會(huì)把人物信息數(shù)據(jù)返回至Jetson TX2，通過(guò)用戶軟件界面顯示[4]。

4 結(jié)束語(yǔ)

針對(duì)目前步態(tài)檢測(cè)方式存在的檢測(cè)復(fù)雜度高，圖像容易受到外界環(huán)境影響的難題分析了步態(tài)識(shí)別的系統(tǒng)的運(yùn)行方式以及實(shí)現(xiàn)要求，提出一種基于Kinect DK和Nvidia Jetson TX2的步態(tài)檢測(cè)系統(tǒng)的設(shè)計(jì)。該系統(tǒng)利用Kinect DK捕獲三維深度數(shù)據(jù)，在Jetson TX2分離出行人個(gè)體并獲取個(gè)體的骨骼三維數(shù)據(jù)，經(jīng)云服務(wù)器上由VGG19深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練出的網(wǎng)絡(luò)模型進(jìn)行步態(tài)識(shí)別，識(shí)別身份信息，完成對(duì)行人實(shí)現(xiàn)身份識(shí)別的功能，該系統(tǒng)使用人體骨骼三維信息與深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)行人身份識(shí)別，具有復(fù)雜度低、識(shí)別率高、對(duì)環(huán)境影響的魯棒性強(qiáng)的特點(diǎn)。