基于Kinect V2傳感器的井下人員動(dòng)作識(shí)別

宿洋 高英迪 袁興昊 何晟林 龔爽

摘要：本文利用Kinect V2傳感器的紅外攝像機(jī)模擬井下人員的行為，對(duì)井下人員的行為進(jìn)行無(wú)人實(shí)時(shí)監(jiān)控，達(dá)到提前預(yù)防突發(fā)情況的目的。從而保障井下人員的生命安全，降低井下工作環(huán)境危險(xiǎn)系數(shù)。對(duì)構(gòu)建高效、安全、和諧的井下環(huán)境具有一定的貢獻(xiàn)作用。

關(guān)鍵詞：Kinect;煤炭安全;行為識(shí)別;畸變

對(duì)礦下人員的行為監(jiān)測(cè)具有一定的價(jià)值，能夠?yàn)槲覈?guó)開(kāi)展礦下人員實(shí)時(shí)安全保護(hù)提供參考意見(jiàn)。目前，最新推出的低成本傳感器是Kinect 傳感器。目前，Kinect主要應(yīng)用在人機(jī)交互的電腦游戲領(lǐng)域。針對(duì)井下缺乏人員實(shí)時(shí)監(jiān)測(cè)技術(shù)以及Kinect的大范圍地使用，本研究利用Kinect V2傳感器實(shí)時(shí)監(jiān)控井下人員的行為，對(duì)井下人員進(jìn)行無(wú)人實(shí)時(shí)監(jiān)控，達(dá)到提前預(yù)防突發(fā)情況的效果。

Kinect V2是微軟推出的第二代Kinect，搭載在微軟游戲機(jī)XBOX ONE上。Kinect V2主要由一個(gè)彩色攝像頭、紅外攝像頭、深度攝像頭、麥克風(fēng)陣列、仰角控制等部件組成。

深度圖像由Kinect V1的光編碼技術(shù)變?yōu)轱w行時(shí)間測(cè)距法（ToF）方式。Kinect V2發(fā)射經(jīng)方波調(diào)制的近紅外光線，經(jīng)物體反射回來(lái)的產(chǎn)生的相位差計(jì)算出總體飛行時(shí)間，獲取物體到傳感器的距離。

Kinect 通過(guò)紅外攝像頭看到三維世界后，就要分辨出視野中可能是人體的移動(dòng)物體，即從深度圖像生成骨骼圖。KinectV2會(huì)根據(jù)骨骼捕捉的25個(gè)關(guān)節(jié)點(diǎn)來(lái)生成一幅骨架系統(tǒng)，通過(guò)這種方式就可以評(píng)估人體實(shí)際所處的位置。

利用Kinect V2傳感器設(shè)備的骨架捕捉原理，在輸出之前會(huì)自動(dòng)追蹤到監(jiān)控范圍內(nèi)人員的25個(gè)人體骨骼關(guān)鍵點(diǎn)坐標(biāo)，此時(shí)獲取的坐標(biāo)為深度圖像坐標(biāo)?？梢岳斫膺@樣獲取的坐標(biāo)為相對(duì)坐標(biāo)，而非實(shí)際的世界坐標(biāo)。這樣25個(gè)骨骼關(guān)鍵點(diǎn)覆蓋了整個(gè)人體，形成了一幅人體骨架結(jié)構(gòu)。相比于利用圖像處理處理與特征匹配的復(fù)雜計(jì)算識(shí)別方法來(lái)說(shuō)，通過(guò)Kinect獲取骨骼關(guān)鍵點(diǎn)的方法數(shù)據(jù)獲取容易、運(yùn)算量小、誤差小。

本文采用的是閾值判別法。根據(jù)中國(guó)國(guó)家計(jì)生委編寫(xiě)的《中國(guó)居民營(yíng)養(yǎng)與慢性病狀況報(bào)告（2015年）》得知，全國(guó)18歲及以上成年男性和女性的平均身高分別是和。選用男性平均身高作為本研究的身高數(shù)據(jù)，具有一定的合理性和可信性。

基于下蹲這一動(dòng)作的特殊性，本文采用對(duì)腰部位置到腳的距離方法判斷是否符合下蹲動(dòng)作。

設(shè)井下人員的平均身高為，可得到腰部到腳的距離為

（6）;

考慮到人員進(jìn)行下蹲的動(dòng)作時(shí)，假設(shè)當(dāng)人員的腰部到腳的距離減小到原來(lái)的時(shí)就判定為該人員進(jìn)行下蹲動(dòng)作。因此，引入無(wú)單位標(biāo)志系數(shù)，并令其為

（7）

因此，當(dāng)腰部到腳的距離不大于時(shí)，就近似判定該人員存在下蹲的動(dòng)作。再將實(shí)際世界坐標(biāo)再轉(zhuǎn)化成在深度圖像坐標(biāo)時(shí)的臨界距離，可列出如下方程組

（9）

其中，坐標(biāo)表示人員腰部的深度圖像坐標(biāo)，坐標(biāo)為人員的腰部的世界坐標(biāo);為人員腳部的深度圖像坐標(biāo);為人員的腳部的世界坐標(biāo)。根據(jù)上（9）方程組的解求出的，為深度圖像坐標(biāo)中腰部到腳的臨界閾值。

由以上原理進(jìn)行下列測(cè)試，為了保證測(cè)試具有一定的可信性，測(cè)試分為三組進(jìn)行測(cè)試，每組分別測(cè)試10次。動(dòng)作識(shí)別測(cè)試結(jié)果如下表1所示。

男性標(biāo)準(zhǔn)人體身長(zhǎng)約為。其中頭長(zhǎng)為，約占總身長(zhǎng)的10.8%。根據(jù)這一比例關(guān)系并結(jié)合上一節(jié)使用的井下人員的平均身高為的假定條件，腰部占總身長(zhǎng)的可以得到正常情況下頭部中點(diǎn)至腰部的縱向距離為

（10）

我們假設(shè)當(dāng)頭部中點(diǎn)至腰部的縱向距離減小為原來(lái)的，且腰部至腳部的縱向距離減小至原來(lái)的時(shí)，就判定該人員存在躺下動(dòng)作。

（11）

（12）

其中，表示頭部至腰部縱向方向的臨界距離;表示腰部至腳步的臨界距離。則深度圖像坐標(biāo)滿足以下方程組

（13）

其中，坐標(biāo)表示腰部的深度圖像坐標(biāo)，坐標(biāo)為腰部的世界坐標(biāo);為腳部的深度圖像坐標(biāo);為腳部的世界坐標(biāo);坐標(biāo)表示頭部的深度圖像坐標(biāo)，坐標(biāo)為頭部的世界坐標(biāo)。

由以上原理進(jìn)行下列測(cè)試，為了保證測(cè)試具有一定的可信性，測(cè)試分為三組進(jìn)行測(cè)試，每組分別測(cè)試10次。動(dòng)作識(shí)別測(cè)試結(jié)果如下表2所示。

（1）在測(cè)試過(guò)程中由于關(guān)節(jié)被遮擋而識(shí)別不出的問(wèn)題。因此在實(shí)際的復(fù)雜環(huán)境中識(shí)別會(huì)受到影響。發(fā)現(xiàn)本文對(duì)Kinect V2傳感器的識(shí)別人數(shù)最大支持人數(shù)為2人，本文僅考慮了識(shí)別1個(gè)人的動(dòng)作識(shí)別。對(duì)于識(shí)別區(qū)域中存在多個(gè)人的情況，還不具有普適性。

（2）由于目前Kinect傳感器主要面向體感游戲領(lǐng)域，因此其識(shí)別距離十分有限。對(duì)于井下大空間等環(huán)境因素，其實(shí)用性還有待考慮。相信未來(lái)能夠推出性能更加優(yōu)良的Kinect傳感器。

參考文獻(xiàn)：

[1]靳明，張剛，黃璜，李影，張紅巖，王峰.基于Kinect的立定跳遠(yuǎn)輔助訓(xùn)練系統(tǒng)的研究[J].電腦知識(shí)與技術(shù)，2019，15（25）：212-213.

[2]李詩(shī)銳，李琪，李海洋，侯沛宏，曹偉國(guó)，王向東，李華.基于Kinect v2的實(shí)時(shí)精確三維重建系統(tǒng)[J].軟件學(xué)報(bào)，2016，27（10）：2519-2529.

[3]曾小玲.Kinect深度數(shù)據(jù)在室內(nèi)成圖應(yīng)用中的準(zhǔn)確度和分辨率[J].工業(yè)技術(shù)與職業(yè)教育，2018，16（01）：15-17+37.

[4]行業(yè)標(biāo)準(zhǔn)，服裝人體測(cè)量的部位與方法.中國(guó)服裝輔料年鑒，，2008-2009，211-214，統(tǒng)計(jì)年鑒.