基于加權(quán)置信度的運動捕捉數(shù)據(jù)低級時域分割算法

楊 洋，詹永照，王新宇

(江蘇大學(xué)計算機科學(xué)與通信工程學(xué)院，江蘇鎮(zhèn)江 212013)

三維運動捕捉數(shù)據(jù)的時域分割算法主要可以分為高級分割(high-level)和低級分割(low-level)［1］.高級分割將動作分割成不同的活動或者行為，例如將走和跳這2種動作分割開來.用于高級動作分割的方法主要有層次化對齊聚類分析(hierarchical aligned cluster analysis)的方法［2］、核化時間分割(kernelized temporal cut)的方法［3］、基于余弦距離(cosine distance)的方法［4］.而低級分割將動作分割成基礎(chǔ)動作(primitive)，理論上，基礎(chǔ)動作指的是從一個速度為零的時間點到下一個速度為零的時間點之間的動作.文中將側(cè)重討論低級分割方法.

各式各樣的特征可以被用于運動捕捉數(shù)據(jù)的低級分割.文獻［5］采用角速度過零點(zero-crossing)檢測方法進行分割，當在某一時間點上角速度方向發(fā)生了改變，則該點即是分割點;這是因為當速度方向發(fā)生改變時，速度必然經(jīng)過了一個零點，角速度過零點檢測是較常用的方法;然而此方法對噪音較敏感，雖然運動捕捉數(shù)據(jù)中包含的噪音比聲音數(shù)據(jù)中少，但是這些噪音依然會影響到分割的結(jié)果，造成分割點過多，產(chǎn)生大量誤報.文獻［6］采用基于能量(energy)的方法，每個分割點位于能量局部最小值所在位置，然而該方法在動作開始或者結(jié)束的比較慢時會得出錯誤的結(jié)果.文獻［7］采用了基于運動顯著性(saliency)的方法對動作進行分割，然而該方法提取出的分割點并不完全是全身速度為零的點.文獻［8］提出一種基于主成分分析和馬氏距離的分割方法，然而該方法需要事先預(yù)備模板方能有效執(zhí)行.文獻［9］采用了基于曲率(curvature)的方法，其中曲率等于速度與加速度的叉積，分割點位于曲率局部最大值所在位置;基于曲率的方法高效且容易實現(xiàn)，可以檢測出速度方向發(fā)生改變的分割點，但不能檢測出速度方向不發(fā)生變化的分割點，所以基于曲率的方法一般不被單獨用來分割動作.

運動捕捉數(shù)據(jù)具有高維性，而各維動作上的過零點并不能完全地同步，即某一維上的分割點在另一維上可能就不是過零點，這就導(dǎo)致基本上不存在全身速率等于零的點.文獻［6，10］提出使用全身速率來對動作進行分割，當全身速率的局部最小值小于給定速率閾值時，就判定該點為分割點.這種方法簡單且容易實現(xiàn)，然而簡單的靜態(tài)閾值設(shè)定并不能適用于具有不同運動速率以及不同采樣率的運動捕捉數(shù)據(jù)，會造成較低的查全率以及準確率.文獻［5］首先找出各維上的分割點，當分割點在大多數(shù)維度上重合時，則判斷該點為整體的分割點，該方法適用于局部人體的動作分割，例如手臂上的動作，然而全身動作通常包含更高的維度，很少出現(xiàn)各維分割點重合的情況，所以這種方法并不能解決對全身動作進行分割.文獻［11-12］通過將待分段動作與模板動作進行對比從而獲得分割點，然而這類方法只適合于特殊的應(yīng)用，如康復(fù)性治療，醫(yī)生會給出病人練習(xí)的模板動作.大部分情況下，模板動作往往是不可獲取的.

文中提出一種基于加權(quán)置信度的方法用于運動捕捉數(shù)據(jù)的低級分割，圖1為所提出算法的整體流程框架圖.

圖1 算法整體流程框架圖

1 數(shù)據(jù)預(yù)處理

1.1 特征選取

三維人體運動捕捉是一種捕捉和記錄人體動作的技術(shù).運動捕捉獲取的人體框架通常包含若干個節(jié)點(joint)，如圖2所示.

圖2 運動捕捉的人體框架示例

圖2中的人體框架包含21個節(jié)點，其中每一個節(jié)點都包含了三維數(shù)據(jù)，這些數(shù)據(jù)可以是節(jié)點的位置(position)信息，也可以是圍繞3個坐標軸的轉(zhuǎn)動(rotation)信息，即圍繞父節(jié)點為原點的坐標系中x，y，z軸轉(zhuǎn)動了的度數(shù)，例如右前臂的轉(zhuǎn)動信息就是其圍繞其父節(jié)點右后臂為原點的坐標系中x，y，z軸轉(zhuǎn)動的度數(shù).這樣，運動捕捉數(shù)據(jù)可以表示成一個矩陣，其中每行對應(yīng)著一幀，每列對應(yīng)著一維.

位置信息并不適合作為特征用于運動捕捉數(shù)據(jù)的低級分割，因為會造成錯誤檢測的分割點.例如，考慮右前臂繞右后臂作擺動，從身后擺動到身前，這應(yīng)該是一段動作，然而這里右前臂在y維度上的位置卻經(jīng)歷了局部最小值，即出現(xiàn)了速度過零的情況，錯誤地將一段動作分割成了兩段.故而文中使用各個節(jié)點的轉(zhuǎn)動信息作為特征，進行運動捕捉數(shù)據(jù)的低級分割.

1.2 噪音去除

運動捕捉數(shù)據(jù)中通常包含噪音，這些噪聲往往是由于捕捉設(shè)備、節(jié)點遮擋，或者是人體佩戴的節(jié)點輕微滑動所造成的.正如前面所介紹的，過零點檢測算法對噪音是較敏感的，通常會造成誤報率過高.所以在對運動捕捉數(shù)據(jù)進行低級分割之前，需要對其進行降噪，文中采用階數(shù)為5，截止頻率為0.1 Hz的雙向巴特沃斯(Butterworth)濾波器［13］對運動捕捉數(shù)據(jù)進行處理，圖3為雙向巴特沃斯濾波前后的運動曲線對比.

圖3 雙向巴特沃斯濾波前后的運動曲線對比

由圖3可見，濾波之后的運動曲線變得更加平滑.這里的階數(shù)和截止頻率是根據(jù)經(jīng)驗值來設(shè)定的.另外需要注意的是，需要使用雙向濾波而不能使用單向濾波，因為雙向濾波不會改變極值點，即速度過零點的位置，如果使用單向濾波，則會導(dǎo)致極值點的位置出現(xiàn)偏移.

1.3 降維

由于運動捕捉數(shù)據(jù)具有高維性，如圖2所示，人體框架包含21個節(jié)點，每個節(jié)點有3維的運動信息，所以每一幀都有63維數(shù)據(jù)，這為分析數(shù)據(jù)從而分割動作帶來了極大的不便;另外由于運動捕捉數(shù)據(jù)中存在的某些節(jié)點動作并不明顯，而這些細微的運動數(shù)據(jù)往往會影響得出的分割點的準確性.所以文中采用多維標度法(multidimensional scaling，MDS)［14］對數(shù)據(jù)進行降維以消除細微動作的影響.多維標度法是一類多元統(tǒng)計分析方法的總稱，其目的是通過各種途徑把高維的研究對象轉(zhuǎn)化成低維情形進行研究，多維標度法以對象之間某種親近關(guān)系為依據(jù)(如距離、相似系數(shù)等)，合理地將高維對象映射到低維空間中并給出標度或位置，以便全面而又直觀地再現(xiàn)原始各對象之間的關(guān)系.在這里，將每一幀看成一個對象，用幀與幀之間的歐幾里得距離作為其親近關(guān)系將高維的運動捕捉數(shù)據(jù)映射到低維空間中，從而達到降維的目的，文中選取方差貢獻(variance)之和達到80%的前若干維數(shù)據(jù)進行后續(xù)的分割操作.使用多維標度法進行降維的原因在于其不會改變運動中各個時間點的速率，而分割的目的就是要找出角速率為零或近似為零的點，這就意味著理論上多維標度法不會改變分割點的位置.

2 分割算法

2.1 過零點檢測

就基于全身速率的方法而言，由于動作之間速率以及采樣率存在差異，難以找出合適的速率閾值來確定分割點.由于當全身速率為零或者近似為零的時候，各維上運動的速度同時或者幾乎同時過零，所以文中將檢測全身速率為零或者近似為零的問題轉(zhuǎn)化成了檢測各維運動速度同時或者幾乎同時過零的問題，這樣就可以不受速率以及采樣率差異性的影響.

所謂過零點即是角速度從正值到負值，或者由負值到正值的時刻，在這個時刻，速度方向發(fā)生了改變，而當所有維上的運動速度同時或者幾乎同時過零時就是所要找的分割點.在對數(shù)據(jù)進行降維后，需要對各維數(shù)據(jù)進行角速度過零點檢測，從而獲得各維的角速度過零點，從運動曲線上看這些過零點位于局部極值點，如圖4所示的2條運動曲線，局部最大值點和最小值點就是角速度過零的點，也就是各維的分割點.假設(shè)降維后獲得n維數(shù)據(jù)，對n維數(shù)據(jù)中的每一維進行角速度過零點檢測后，得到了各維上的過零點為SP1={s1，1，s1，2，…，s1，i1}，SP2={s2，1，s2，2，…，s2，i2}，…，SPn={sn，1，sn，2，…，sn，in}，其中SPi代表了i維上的角速度過零點集合.例如，圖4中所示的是“行走”動作經(jīng)過降維之后得到的2維數(shù)據(jù)，第1維上的過零點為{13，74，134，193，254}，而第2維上的過零點為{4，40，77，98，124，159，197，218，241，275}.

圖4 “行走”動作各維極值點

2.2 置信度計算

在獲得了各維上的過零點之后，通過公式(1)計算各個點在各維上過零的置信度:

式中:C(i，tj)為時間點tj在i維上作為過零點的置信度;si，d為i維上離tj最近的過零點.由式(1)可見，當tj是i維上的過零點時，其置信度達到最大值，即1;如果tj不是i維上的過零點，那么其置信度要根據(jù)其到最近過零點的距離來決定，距離越遠，置信度越低.置信度描述了各個點在各個維度上作為分割點的可能性，取值范圍為［0，1］，置信度的取值不受速率和采樣率影響.某一時間點在某一維作為過零點的置信度越大，就說明該點作為該維運動分割點的可能性就越大，如果某一點在所有維度上作為過零點的置信度都為1，那么該點必然為分割點.圖5所示的是“行走”動作中各個時間點在各維上過零的置信度.

圖5 “行走”動作中各個時間點在各維上過零的置信度

2.3 過零強度計算

考慮圖4所示的第1維運動曲線(藍線)上的74幀和第2維運動曲線(紅線)上的77幀;74幀是第1維上過零點，其置信度為1，而77幀是第2維上的過零點，其置信度也為1.然而由圖4可見，前者會更加明顯，這是由于在過零點前后，前者的運動幅度比后者的運動幅度要大，所以最后在決定全局分割點時，應(yīng)該更加傾向于更明顯的過零點.由此文中提出了過零強度的概念，過零點越明顯則其過零強度越大;反之，過零點越不明顯則其過零強度越小.第i維上過零點si，d的過零強度等于i維上過si，d前后運動的幅度之和的一半.第i維上非過零點tj的過零強度等于離其最近的過零點的過零強度，具體的計算方法見公式(2):

式中:S(i，tj)為i維上tj點的過零強度;fi(tj)為tj點在i維運動曲線上的值;si，d為i維上離tj最近的過零點.由于過零強度是關(guān)于運動幅度的函數(shù)，所以是不受速率以及采樣率影響的.圖6為“行走”動作中各個時間點在各維上過零的強度.

圖6 “行走”動作中各個時間點在各維上過零的強度

2.4 加權(quán)置信度計算

為了量化各個時間點作為全局分割點的可能性，文中提出了加權(quán)置信度的概念.加權(quán)置信度將每個時間點在各維上作為分割點的置信度按照對應(yīng)的過零強度進行綜合.當各維在分割點位置上出現(xiàn)不一致時，全局分割點會合理地傾向于過零強度更大的分割點.加權(quán)置信度的計算公式如公式(3)所示:

式中W(tj)為tj點的加權(quán)置信度.由公式(3)可見每個點的加權(quán)置信度都在［0，1］，加權(quán)置信度越高，說明該點就越有可能是分割點.置信度以及過零強度均不受速率和采樣率的影響，所以作為置信度和過零強度函數(shù)的加權(quán)置信度也不受速率和采樣率影響.

文中用公式(3)計算所有時間點的加權(quán)置信度，之后找出加權(quán)置信度中的所有局部最大值點.對于每個局部最大值點，判斷其加權(quán)置信度是否超過給定閾值，即70%，如果超過，就判定該點為整體的分割點;如果不超過，就判斷該點不是分割點.圖7為“行走”動作中各個時間點的加權(quán)置信度，只有當某個極大值點的加權(quán)置信度超過70%的時候才會被認為是分割點，如{13，74，134，193，254}.

圖7 “行走”動作中各個時間點的加權(quán)置信度及峰值置信度所對應(yīng)的幀

3 試驗與結(jié)果

試驗數(shù)據(jù)摘自卡耐基梅隆大學(xué)的運動捕捉數(shù)據(jù)庫，其中包括“行走”、“跑步”、“高爾夫”、“踢足球”、“拳擊”共6 250幀數(shù)據(jù)，其中每一幀都記錄了各個節(jié)點的三維轉(zhuǎn)動角度信息.圖8展示了這5類動作的分割示例，其中的每一個姿勢都是一個分割點，由于有的動作太長，所以這里只摘取了各類中一部分比較具有代表性的動作.由圖8可見這些分割點都是動作開始和結(jié)束時的姿勢.

圖8 部分動作分割結(jié)果

邀請5名學(xué)生參與了試驗，學(xué)生們需要通過如圖9所示的運動捕捉數(shù)據(jù)播放器觀看動作，并對動作進行手動分段，之后綜合各人的意見，最終獲得了83個分割點.用Matlab 2010實現(xiàn)了文中所提出的自動分割算法，對于每個自動檢測出的分割點，如果在手動分割出的分割點中能找出差距小于10幀的分割點，就認為該分割點被正確的檢測.通過將該方法與手動分割的分割點進行對比，獲得了該方法的查全率與準確率，計算式為

查全率和準確率是衡量分割效果的重要指標，對于評判分割算法優(yōu)劣有著重要的作用.

圖9 運動捕捉數(shù)據(jù)播放器界面

表1為文中方法在不同加權(quán)置信度閾值條件下的查全率與準確率，表2為基于全身速率的方法在不同速率閾值條件下的查全率與準確率，表3為基于曲率的方法在不同曲率閾值條件下的查全率與準確率.

表1 文中方法在不同加權(quán)置信度條件下的查全率與準確率

續(xù)表

表2 基于全身速率的方法在不同速率閾值條件下的查全率與準確率

表3 基于曲率的方法在不同曲率閾值條件下的查全率與準確率

將表1-3中的8組數(shù)據(jù)進行對比(從上到下分別是第1組到第8組)可見，文中方法的最高查全率要高于其他2種方法(97.6% ＞86.8%，97.6＞96.4)，然而在極端閾值下，文中方法比其他2種方法的準確率要低(38.2% ＜50.0%，38.2% ＜42.1%).但是隨著閾值的改變，文中方法的查全率下降緩慢，而準確率急速上升，到第4組的時候，查全率以及準確率均優(yōu)于其他2種方法(93.4%＞81.9%，93.4% ＞91.6%;56.9% ＞52.3%，56.9%＞50.3%)，并且在此之后，這種優(yōu)勢持續(xù)保持.

為了更好地進行對比，引入了F1-Measure值F，它是查全率和準確率的加權(quán)調(diào)和平均.F1-Measure值綜合考慮了查全率與準確率，可以較全面地反映結(jié)果的好壞，F(xiàn)1-Measure值越高，結(jié)果越好.3種方法的F1-Measure值對比如圖10所示.

圖10 3種方法的F1-Measure值對比

由圖10可見，在第4組數(shù)據(jù)之前其他2種方法的F1-Measure高于文中方法，從第4組開始，文中方法就優(yōu)于基于全身速率的方法.另外通過觀察3條曲線，對于基于加權(quán)置信度的方法，可以看出第6組數(shù)據(jù)，也就是當加權(quán)置信度閾值等于70%時，F(xiàn)1-Measure值達到最大值84.5%(查全率85.5%，準確率83.5%)，所以前面在2.4節(jié)中，設(shè)定70%為加權(quán)置信度的閾值.對于基于全身速率的方法，當速率閾值在5時，F(xiàn)1-Measure值達到最大值64.3%(查全率77.1%，準確率55.2%).對于基于曲率的方法，當曲率閾值在10時，F(xiàn)1-Measure值達到最大值67.9%(查全率85.5%，準確率56.4%)很明顯，在最優(yōu)閾值條件下，文中方法在各方面指標上都要顯著優(yōu)于其他2種方法.

前面進行降維的時候，選取了方差貢獻之和達到80%的前若干維數(shù)據(jù)進行后續(xù)的分割操作.圖11為不同方差貢獻閾值下的最優(yōu)F1-Measure值.

由圖11可見將方差貢獻閾值設(shè)為80%的合理性，即此時的最優(yōu)F1-Measure值最高，這里的最優(yōu)F1-Measure值是指在最優(yōu)加權(quán)置信度閾值得出的F1-Measure值.還可以看出當方差貢獻閾值在55%和60%時的最優(yōu)F1-Measure值是一樣的，這是因為在這2種情況下，第1維數(shù)據(jù)的方差貢獻就已經(jīng)超過60%，后續(xù)分割都是針對第1維數(shù)據(jù)的.此外，當方差貢獻閾值在95%和100%時的最優(yōu)F1-Measure值也是一樣的，這是因為在方差貢獻達到95%之后，后面各維數(shù)據(jù)的運動非常細微，并不足以影響全局分割點.觀察圖11中的曲線可見，曲線前端和后端的最優(yōu)F1-Measure值較低，前者是因為維數(shù)過少導(dǎo)致出現(xiàn)較多誤報，而后者是因為加入了一些運動幅度較小的維度，這些幅度較小的動作在手動分割時往往不能被人們所注意，自動分割時計入這些運動幅度較小的維度就會無謂地增加限制條件，造成大量漏檢.

圖11 不同方差貢獻閾值下的最優(yōu)F

4 結(jié)論

1)文中提出了一種低級動作分割算法，該方法綜合考慮了過零強度和置信度，可以更為有效地對動作進行分割.

2)相比于基于速率和曲率的方法，文中提出的加權(quán)置信度并不會受速率以及采樣率的影響，從而獲得了更好的性能.

References)

［1］BarbicˇJ，Safonova A，Pan J Y，et al.Segmenting motion capture data into distinct behaviors［C］∥Proceedings of Graphics Interface2004.London，Ont，Canada:Canadian Information Processing Society，2004:185-194.

［2］Zhou F，De la Torre F，Hodgins J K.Hierarchical aligned cluster analysis for temporal clustering of human motion［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(3):582-596.

［3］Gong D，Medioni G，Zhu S K，et al.Kernelized temporal cut for online temporal segmentation and recognition［C］∥Proceedings of the12th European Conference on Computer Vision.Heidelberg:Springer Verlag，2012:229-243.

［4］邢薇薇，仝磊鳴，張 毅，等.基于余弦距離的人體運動數(shù)據(jù)行為分割算法［J］.中南大學(xué)學(xué)報:自然科學(xué)版，2014，45(4):1128-1136.

Xing Weiwei，Tong Leiming，Zhang Yi，et al.Human behavior segmentation method based on cosine distance for motion data［J］.Journal of Central South University:Science and Technology，2014，45(4):1128-1136.(in Chinese)

［5］Ilg W，Bakir G H，Mezger J，et al.On the representation，learning and transfer of spatio-temporal movement characteristics［J］.International Journal of Humanoid Robotics，2004，1(4):613-636.

［6］Fod A，Mataric M J，Jenkins O C.Automated derivation of primitives for movement classification［J］.Autonomous Robots，2002，12(1):39-54.

［7］Halit C，Capin T.Multiscale motion saliency for keyframe extraction from motion capture sequences［J］.Computer Animation and Virtual Worlds，2011，22(1):3-14.

［8］劉曉平，陸勁挺，夏新宇.基于PCA和馬氏距離的運動捕捉數(shù)據(jù)分割方法［J］.合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版，2014，37(5):563-566.

Liu Xiaoping，Lu Jinting，Xia Xinyu.Motion capture data segmentation based on PCA and mahalanobis distance［J］.Journal of Hefei University of Technology:Natural Science，2014，37(5):563-566.(in Chinese)

［9］Zhao L W，Badler N I.Acquiring and validating motion qualities from live limb gestures［J］.Graphical Models，2005，67(1):1-16.

［10］Gibet S，Marteau P F.Approximation of curvature and velocity for gesture segmentation and synthesis［C］∥Proceedings of the7th International Gesture Workshop.Heidelberg:Springer Verlag，2009:13-23.

［11］Lin J F S，KuliD.Segmenting human motion for automated rehabilitation exercise analysis［C］∥Proceedings of the2012Annual International Conference of the IEEE Engineering in Medicine and Biology Society.San Diego:IEEE，2012:2881-2884.

［12］詹永照，汪滿容，柯 佳.基于人工免疫有序聚類的視頻關(guān)鍵幀提取方法［J］.江蘇大學(xué)學(xué)報:自然科學(xué)版，2012，33(2):199-204.

Zhan Yongzhao，Wang Manrong，Ke Jia.Video keyframe extraction using ordered samples clustering based on artificial immune［J］.Journal of Jiangsu University:Natural Science Edition，2012，33(2):199-204.(in Chinese)

［13］王艷文，于 勉.基于MATLAB的巴特沃斯數(shù)字濾波器設(shè)計［J］.科技信息，2013(21):168.

Wang Yanwen，Yu Mian.Butterworth filter design based on MATLAB［J］.Science＆Technology Information，2013(21):168.(in Chinese)

［14］H?rdle W K，Simar L.Applied Multivariate Statistical A-nalysis［M］.3rd ed.Berlin:Springer，2012.