基于Kinect的工人操作估計

張歡

摘要：為了實現(xiàn)Kinect對工廠工人操作動作的識別，該文提出了基于Kinect傳感器的工人操作動作識別方法。首先，使用Kinect采集人體運動的關(guān)節(jié)點數(shù)據(jù)和RGB序列，然后，通過中值濾波等操作提高信息的可信度，構(gòu)造關(guān)節(jié)點特征并檢測序列RGB序列中的時空興趣點。最后，利用決策融合框架對工人的操作動作進行識別與估計。實驗結(jié)果證明，將該文提出的方法應用于自采集的數(shù)據(jù)集合，得到了90%以上的識別正確率，表明算法能夠在復雜場景下取得較好的識別結(jié)果且有效地完成工人操作動作識別任務。

關(guān)鍵詞：骨架特征；時空興趣點；DTW；操作估計

中圖分類號：TP3 文獻標識碼：A 文章編號：1009-3044（2018）08-0182-03

1引言

人體動作識別是計算機視覺領(lǐng)域的重要研究課題，其在智能監(jiān)控、智能家居、服務機器人等領(lǐng)域均有著廣泛的應用。近年來，為了獲取動作的時空聯(lián)系，常提取動作的時空特征點。因此，基于時空特征點（STIP）的研究逐漸成為動作識別領(lǐng)域的關(guān)注熱點。文[2]中改進了STIP檢測方法，提出彩色STIP的視頻檢測方法以獲取高質(zhì)量的檢測與描述效果，有效克服了傳統(tǒng)STIP方法易受光照和陰影等影響的問題。與此同時，由于密集軌跡能夠快速地、精準地捕獲復雜地運動模式，提取梯度直方圖（HOG）和光流直方圖（HOF）等特征的密集軌跡動作識別取得了很大的研究。

工人在社會發(fā)展中扮演重要角色的同時對工作效率的要求也日益增高，工人動作識別受到越來越多的關(guān)注。工人操作動作估計的核心技術(shù)是動作識別，工人動作估計通過識別工廠工人的動作，從而判斷工人的操作動作是否標準，是否按照順序進行操作，并為之提供相應的安全預警以達到工人效率檢測和安全預警。為實現(xiàn)這一目的，動作識別問題將會是其首要解決的問題。

目前Kinect傳感器在工廠工人的操作動作識別中主要存在的問題有以下兩個方面：

（1）工廠工人動作環(huán)境影響因素較多，工人動作公共的數(shù)據(jù)集較少；（2）工人動作的復雜度較高，不同人的相同動作差異大。以上兩種因素導致了現(xiàn)有的動作識別技術(shù)對工人動作識別受阻，大大增加了動作識別的難度。

針對上述問題，首先，使用Kinect傳感器采集數(shù)據(jù)關(guān)節(jié)點坐標和RGB序列，其次，對原始數(shù)據(jù)進行了處理，將該數(shù)據(jù)進行預處理過程，能在一定程度上減少無關(guān)動作對分類結(jié)果的影響。此外，將骨架特征與局部的興趣點特征進行融合，使數(shù)據(jù)的特征更加精準化，魯棒性更高，從而提高了動作識別的精確度。采用DTW模板匹配的方法，對于不同的動作進行匹配，解決工人動作的信號進行識別時因長短不一無法識別的問題，提高了識別系統(tǒng)的準確性。

2工人操作動作識別

2.1特征提取

（1）骨架特征

根據(jù)動作特征，在執(zhí)行三種工人動作時，對于身體地整體中心關(guān)節(jié)點來說，其余各個部位點相對于中心地相對距離在不斷發(fā)生變化，其動作不同變化程度不同。因此，可以通過計算不同關(guān)節(jié)相對于身體中心位置變化，提取動作地骨架特征。如圖（1）所示，以圖中紅色關(guān)節(jié)點為中心關(guān)節(jié)點所在的位置，藍色為剩余24個骨架點位置。

（2）時空興趣點

由于在動作執(zhí)行的過程中執(zhí)行者的會出現(xiàn)遮擋而引起骨架錯亂的現(xiàn)象，而且人體的骨架特征對運動細節(jié)或者場景存在的工人與工具的交互關(guān)系的描述力不足，而時空興趣點是在時空域上顯著變化的點，不僅可以幫助描述骨架遮擋的動作特性還在一定程度上彌補了骨架特征對運動細節(jié)信息的損失。圖2為提取時空興趣點特征，為獲得視頻的時空興趣點，具體的算法過程如下：

Step 1：利用Harris-3D算法檢測RGB視頻文件中的興趣點；

Step 2：利用HOG-HOF描述符，進行特征的提取；

Step 3：興趣點采集的原始特征包含大量的冗余信息，特征的不同類間差異小，不同動作易混淆，使用K-means的詞袋模型來對局部時空興趣點特征中有效信息進行提取和簡化；

Step 4：在字典中查找興趣點的位置，獲取在整個視頻中興趣點發(fā)生的時間，獲得最后的詞袋（Bag Of Words）。

2.2操作動作分類算法

DTW（Dynamic Time Warping，動態(tài)時間規(guī)整算法）是一種彈性匹配算法，用來解決兩個時間序列在時間軸上不規(guī)整的優(yōu)化算法，最開始是應用于解決孤立詞識別時說話速度快慢不一的問題。

3實驗

3.1實驗設(shè)置

整個實驗系統(tǒng)框架如圖4（a）所示，可以劃分為4個模塊，分別為數(shù)據(jù)采集模塊信息顯示模塊數(shù)據(jù)存儲模塊以及動作識別模塊。所涉及的每組動作主要包括4類：測量，記錄，敲擊和搬東西，如圖4（b）所示，其中測量和記錄每次執(zhí)行兩次。基于這個實驗系統(tǒng)，各模塊獨立完成各自的功能，互不干擾。

3.2實驗結(jié)果與分析

對每種都工作采集了25組，共計125組動作序列。其中每種動作采集10組樣本建立標準模板庫即獲取動作關(guān)節(jié)點相對位置的基準向量。對其余樣本進行測試，得到分類結(jié)果如表1和圖5所示。本文提出的算法針對工人操作動作識別，將圖像特征和關(guān)節(jié)點特征進行合理的融合；同時，對于側(cè)身的工人操作動作識別取得了較好的識別效果。對于每種動作的結(jié)果分析可知，對于自采集的數(shù)據(jù)集，每種動作的識別率均達到90%以上，證明了該動作識別方法在工人動作識別上的可行性。

4結(jié)論

本文利用Kinect獲取人體的關(guān)節(jié)點數(shù)據(jù)和圖像數(shù)據(jù)，即提取相關(guān)的相對位置和局部圖像特征，根據(jù)DTW原理的學習歐氏距離，從而進行動作識別。實驗結(jié)果表明，將圖像特征與關(guān)節(jié)點特征進行融合的識別框架能夠改善工人操作識別的識別率，即減少錯誤率。本文算法具有以下特點：通過引入關(guān)節(jié)點特征向量、HOG和HOF向量等對特征姿勢表示進行了改進，以獲取更加完整的姿勢表達方法，以改善數(shù)據(jù)質(zhì)量，提升動作識別系統(tǒng)的魯棒性；此外，利用DTW算法進行分類涉及到時序不等的動作時，與其他傳統(tǒng)方法相比，其優(yōu)勢更加明顯。