視頻中運動人體骨架提取方法

吳翊萱　賀俊吉

摘要：提出一種基于ZHANG和SUEN快速并行細化算法（即zs細化）的人體骨架提取方法。首先使用高斯混合建模背景差分法提取運動人體二值前景圖像，再利用zs細化算法對人體二值圖像進行初步細化，最后使用8個模板對zs細化結(jié)果進行單像素化得到單像素寬的人體骨架模型。實驗結(jié)果表明，該方法能成功提取單像素寬的人體骨架，簡單高效，針對單幅圖像提取骨架平均耗時僅需0.3秒。

關(guān)鍵詞：高斯混合建模；zs細化；單像素寬；骨架模型

中圖分類號：TP391

文獻標識碼：A

文章編號：1009-3044（2017）10-0151-03

1.概述

運動人體行為分析是現(xiàn)今計算機視覺領(lǐng)域中一個備受關(guān)注的研究熱點，其具有重要的研究意義和廣泛的應(yīng)用前景，如視頻監(jiān)控中異常行為檢測、人機交互、虛擬現(xiàn)實、視頻檢索等。人體骨架含有豐富的人體運動信息，對運動人體行為分析具有重要的作用。對人體提取骨架模型不僅能保留人體的運動信息，減少無效的冗余信息，提高后續(xù)處理效率，還能在人體的骨架模型上進一步提取特征，用于后續(xù)人體運動行為分析的研究中。

用于骨架提取的方法主要有：基于Voronoi圖的算法、基于鏈碼的算法、基于距離變換的算法、基于形態(tài)學的算法以及細化算法。由于細化算法一般能保證骨架的連通性且計算簡單，考慮到人體骨架提取完整性以及實時性的要求，本文考慮采用細化算法來提取人體骨架。

本文提出一種基于ZHANG和SUEN快速并行細化算法（以下簡稱zS細化算法）的人體骨架提取方法，首先利用zS細化算法對運動人體二值圖像進行初步細化，再在zs細化的基礎(chǔ)上對圖像進行單像素化操作。利用此方法得到的人體骨架模型能保證連通性和單像素寬，且光滑無毛刺。

2.人體目標檢測

為了提取視頻中運動人體的骨架，首先需要排除各種復雜背景的干擾，從視頻中提取運動人體二值前景圖像。常見的運動目標檢測方法主要有幀間差分法、背景差分法、光流法等等。幀間差分法利用視頻中相鄰幀圖像的差異來檢測出運動目標，該方法在運動實體內(nèi)部容易產(chǎn)生空洞，使得提取的運動目標不完整。背景差分法將當前幀圖像與背景圖像做差分，如果像素差值大于某一閾值，則判斷該像素屬于運動前景，否則屬于背景。背景差分法需要對背景進行建模，常用的背景建模的方法有單高斯背景建模、混合高斯背景建模、卡爾曼濾波背景建模等等。光流法采用運動目標隨時間變化的光流特性，能夠檢測獨立運動的對象，可用于動態(tài)場景情況。但是光流法的計算相當復雜，對硬件要求比較高，不適于實時處理，而且對噪聲比較敏感，抗噪性差。針對人體運動視頻本文采用背景差分法來提取運動的人體前景，背景建模采用混合高斯背景建模法。對提取到的人體前景圖像進行形態(tài)學處理和刪除小面積的連通域等操作即可得到只包含完整人體的前景目標，如圖1所示。

3.人體骨架提取

本文采用細化算法來提取人體骨架。所謂細化，就是對原圖按一定的準則一層層地剝離掉外輪廓點，但仍保留原來的形狀，直到得到圖像的骨架。一個好的細化算法應(yīng)該具備以下幾個要素：收斂性；保證細化后細線的連通性；保持原圖的基本形狀；細化結(jié)果是原圖像的中心線；細化的快速性和迭代次數(shù)少。由于zs細化算法具有快速性和保證細化后連通性的優(yōu)點，特別適合于用來提取人體骨架模型，但是zs細化算法無法保證將圖像細化為單像素寬，這將給后續(xù)的人體關(guān)節(jié)點提取帶來困難。于是本文考慮先對圖像利用zS細化算法進行初步細化，再在zS細化的基礎(chǔ)上進行單像素化操作，得到單像素寬的人體骨架模型。

3.2ZS細化圖像的單像素化

經(jīng)過zS細化后的圖像已經(jīng)變成了連通的準骨架圖像，但是不能保證各處均為單像素寬，有些拐角的地方為雙像素寬，如圖5所示，這會給后續(xù)從骨架模型中提取關(guān)節(jié)點帶來困難，所以我們需要對zS細化后的圖像進行進一步細化操作。

圖3為P1點及其8鄰域，其中括號里的數(shù)字1代表其像素值為1。如果要刪除其中心點P1，則必須同時滿足以下條件：

（1）P7點像素值必須為0；

（2）P6點和P8點像素值不能同時為1。

如果P7點的像素值為1，則刪除P1點不能保證骨架的連通性，如果P6點和P8點的像素值同時為1，則P1點為內(nèi)部點，不能刪除。P3、P5和P9點的像素值為0或1對P1點的刪除與否沒有影響。因此，圖3中的模板等價于圖4中的兩種情況。

同理，將圖4中的兩個模板分別旋轉(zhuǎn)90°，180°，270°得到另外6個模板，如圖5所示，總共8個模板涵蓋了所有P1點可被刪除的情況。對zs細化后的圖像，當某點的像素值為1，且其8鄰域的情況屬于這8個模板中的其中一種的時候，該像素點應(yīng)當被刪除。掃描zs細化后的圖像，刪除所有符合這種情況的點，即可得到單像素寬的骨架圖像。

4.實驗結(jié)果及分析

實驗數(shù)據(jù)為自行使用FUJIFILM$4050相機拍攝的運動人體視頻，拍攝角度為水平，拍攝距離為5米，分辨率為320-240。實驗在Matlab2010b軟件平臺、Windows 7 Professional64bitPC機上進行。部分實驗結(jié)果如圖6所示。

實驗結(jié)果表明，本文提取的方法可以成功提取出單像素寬的運動人體骨架模型，且針對單幀圖像提取骨架的平均耗時僅為0.3s，簡單快速。利用本文提取的骨架模型，還可以進一步提取出人體關(guān)節(jié)點及各種特征用于人體行為分析中。