基于改進的加權累積差分法的人體行為識別

張治學，陳 曦

(河南科技大學 網絡信息中心，河南 洛陽 471023)

基于改進的加權累積差分法的人體行為識別

張治學，陳 曦

(河南科技大學 網絡信息中心，河南 洛陽 471023)

針對兩幀差分法和三幀差分法難以提取到完整的運動剪影的問題，提出了一種基于改進的加權累計差分法的人體行為識別方法。通過使用改進的加權累計差分法能通過計算幀的相似度，用于對權值進行自適應變化，從而提取到較為完整的人體運動剪影，然后采用提出的關鍵幀的模板選取方法和分塊特征提取來進行行為的特征提取，最后利用支持向量機構造分類器進行識別。實驗結果表明采用改進的加權累積差分法能有效提高人體行為識別率。

人體行為識別；加權累積差分法；支持向量機

當今世界處在一個高度信息化和智能化發(fā)展的階段，隨著視覺傳感器、人工智能技術的發(fā)展，以及計算機圖形芯片處理速度的提高，使得近些年來人體行為識別技術成為在安保、醫(yī)療、動畫游戲等眾多領域有著廣泛應用前景的一個研究熱點，主要應用于智能監(jiān)控系統，人機交互界面和運動分析等。

有資料表明人類約有80%以上的信息來源于其視覺系統[1]，視覺圖像具有直觀、具體的特點，是人類獲取外界信息的主要途徑和來源。由于計算機是計算和存儲設備，無法像人類一樣具有直接觀察理解圖像內容與含義的能力，所以需要將圖像中所包含的信息提取表示為計算機能夠去處理的數據結構，再通過模式識別過程建立其特征與語義標簽之間的映射關系，從而使得計算機能理解圖像的內容和含義。因此人體行為識別一般分為運動檢測、特征提取和行為識別3個組成部分。

運動檢測是指從視頻圖像中將目標的運動檢測出來，其目的是為了分割靜態(tài)的背景圖像與發(fā)生了運動的前景圖像，從而實現對運動目標的跟蹤。目前運動檢測方法主要有：幀間差分法、背景減除法和光流法[2]。其中背景減除法需要背景建模，能提供較為完整的前景，但算法受環(huán)境影響較大；光流法算法較為復雜，需要較高的硬件計算成本。幀間差分法又稱為時間差分法，其原理是將圖像序列中時間相鄰的圖像幀所對應的像素進行作差，將像素發(fā)生變化較大的提取出來作為發(fā)生運動的前景。常用的幀間差分法有兩幀差分法[3]、三幀差分法[4]和加權累積差分法[5]。幀間差分法通過對全局運動補償并能較好適用于背景發(fā)生變化的情況，但在檢測過程中會發(fā)生孔洞和重疊現象[6]，造成無法提取較為完整的前景圖像。針對這一問題，本文提出一種改進的加權累積差分法，能較為完整地提取人體運動前景來用于行為表示，同時避免背景圖像的噪聲積累。本文還采用關鍵幀模板選取方法和分塊特征提取方法相結合，來提取人體行為圖像統計特征，最后結合支持向量機對提取人體的行為特征進行分類識別。

1 加權累積差分法的改進

在使用兩幀差分法或三幀差分法來進行運動檢測時，其獲得前景的完整性往往依賴于圖像幀的選取，如果所選取的鄰近圖像幀之間沒有發(fā)生明顯的變化，就難以檢測到相對完整的運動前景。因此可以用當前圖像幀分別與不同時刻的圖像幀進行兩幀差分，然后將得到幀間差分圖像進行加權累積，從而得到運動前景。文獻[5，7]采用加權累積差分法來進行運動檢測和分割，取得了良好效果。其中文獻[7]提出了一種基于雙邊加權的累積差分運動檢測方法，該方法充分考慮了不同時刻圖像幀對當前圖像幀的影響，給不同幀間差分圖像賦予不同的權值，使得經過加權累積得到的圖像能較好地表示人體行為的運動前景。

若It(x,y)表示為在t時刻的當前圖像，It-n(x,y)表示為在t-n時刻的圖像，n為自定義參數，本文取4。則通過式(1)計算出2n+1幀圖像的加權累積差分圖像diff(t)

(1)

由于當前時刻的圖像幀與其他不同時刻圖像幀之間的差異一般是不同的，所以可以根據當前時刻圖像幀與其他不同時刻圖像幀之間的時序關系建立與之相對應的權值，其中文獻[7]通過建立時間相關的變量，給出了3種基于時間的權值選取經驗公式

(2)

(3)

(4)

式中：權值wi大小只與所選取用于差分的圖像幀對應的時間有關，權值不能反映出當前圖像幀與其他不同時刻的圖像幀之間在圖像差異上的聯系，因此提出一種改進的權值選擇方法，通過尋求當前圖像幀與其他不同時刻圖像幀之間的圖像相似性來計算其幀間差分圖像所對應的權值，從而使檢測出的前景區(qū)域更為完整。

首先，定義A為M×N分辨率的灰度圖像幀，B為M×N分辨率的灰度圖像幀，Ax,y和Bx,y為對應圖像在點(x,y)處的像素值，則2幀圖像的相似度ri為

(5)

由于當前幀與其相似度較高的其他時刻圖像幀進行差分時，幀間差分圖像變化的區(qū)域較小，因此應賦予較低的權值，而與相似度較低的歷史幀作差時，幀間差分圖像變化的區(qū)域較大，因此應賦予較高的權值。最后根據這一原則，利用式(7)計算出的幀間差分圖像所對應的權值矩陣W中的元素為

(7)式中：i=t-n,t-n+1,…，t+n，W=[wt-n,wt-n+1,…,wt+n-1,wt+n]。

加權累積差分算法流程如圖1所示，為了更好地提取運動前景，減少不必要的背景噪聲，在對圖像進行累積加權之前要將幀間差分圖像轉化為二值圖像，做膨脹運算并填充空洞后，通過形態(tài)學濾波的方法去除背景噪聲，從而避免了噪聲的累積，提高背景分割的效果。如圖2所示，從左到右依次為：原始灰度圖像，加權累積差分法得到的人體剪影和改進的加權累積差分法得到的人體剪影。對比可以看出經過改進后的加權累積差分法得到的剪影圖像增加了人體前景區(qū)域，如圖中對人體的腳部提取得更加完整，從而能夠提供更加精確的運動特征描述。由于本方法在每幀圖像做差分的過程中都使用了形態(tài)學去噪，從而避免了噪聲的積累，提高了人體感興趣區(qū)域提取的效果。本文將通過對比改進前和改進后的加權累積差分法的行為識別結果來證明改進后的方法能提高行為識別率。

KARCHER秉承全球化的戰(zhàn)略思維、精益求精的嚴謹作風、豐富的制造工藝及以市場為中心和客戶至上的運作理念，使公司發(fā)展成當今擁有一百個子公司、一萬多名員工且年銷售額超過20億歐元的全球清潔業(yè)巨型跨國集團。2003年，KARCHER上海分公司正式成立，公司將通過堅持創(chuàng)新和不斷研發(fā)，源源不絕地為中國家庭用戶和企業(yè)用戶提供最尖端的清潔設備和清潔解決方案。

圖1 改進的加權累積差分法流程圖

圖2 改進后的加權累積差分法對比圖

2 關鍵幀模板提取

由于人體行為可以表示為一個連續(xù)的動作圖像序列，因此如何選取動作圖像的關鍵幀作為人體行為運動的模板，決定著基于模板匹配行為識別方法的性能。常用的關鍵幀選取方法有兩種：一種是根據人的主觀經驗判斷來選取，該方法需要做大量的人工分類和標記工作[8]；另一種是用聚類的方法來選取[9]，根據不同的圖像特征選取合適的關鍵幀，能充分表示人體的運動特征，但是聚類算法增加了模板設計算法的復雜度。本文提出3種關鍵幀模板選擇方法，通過結合支持向量機對其進行模板匹配識別，并對結果進行對比分析。

通過采用加權累積差分法對魏茲曼科學院行為數據庫中的10類行為共90個視頻樣本進行運動檢測，將每個視頻樣本得到的人體運動剪影序列用于該樣本的關鍵幀的模板選擇，下面提供了3種關鍵幀模板選擇方法：

1)模板選擇方法1

如圖3所示，截取每類行為的每個樣本中人體運動剪影的最小外接矩形，然后計算出每個最小外接矩形中前景像素的個數，選取該樣本運動前景的二值圖像序列中具有前景像素個數最多的圖像幀作為該樣本的模板。

圖3 模板選擇方法1得到的關鍵幀模板

2)模板選擇方法2

如圖4所示，截取每類行為的每個樣本中人體運動剪影的最小外接矩形，計算出最小外接矩形面積，選取該樣本運動剪影的二值圖像序列中最小外接矩形面積最大的圖像幀作為該樣本的模板。

圖4 模板選擇方法2得到的關鍵幀模板

3)模板選擇方法3

如圖5所示，將方法1和方法2結合，計算出前景像素個數和最小外接矩形面積，將二者求和，選取該樣本運動剪影的二值圖像序列中和值最大的圖像幀作為該樣本的模板。

圖5 模板選擇方法3得到的關鍵幀模板

3 分塊特征提取

在數字圖像處理中，常常利用其統計特性作為特征向量，可以對接近其統計特性的圖像進行匹配識別。因此本文通過對提取的關鍵幀模板進行分塊處理，利用每一個分塊中像素的統計特征來構建模板的特征向量，用于基于模板匹配的行為識別。提取了時域的圖像關鍵幀之后，接下來要對關鍵幀的二值圖像進行特征提取。分塊法是一種常見的二值圖像劃分方法，文獻[10]通過將人體的感興趣區(qū)域按照不同的比例尺度均勻劃分為若干個大小相等的分塊圖層，然后計算每一個塊中前景像素占塊中總像素的比例作為特征向量用于人體行為識別，取得了良好的識別效果。本文主要采用2種不同的分塊方法，然后提取塊中像素的統計特征，通過結合支持向量機對分塊特征提取的效果進行對比分析。

圖6 分塊方法流程圖

1)分塊方法1：如圖6所示，對采用上述模板選擇方法得到的關鍵幀模板，求出其最小外接矩形，然后將最小外接矩形均勻劃分為10×10的分塊，用式(8)計算每一個分塊矩形中前景像素所占該塊像素數的比例v

(8)

將得到的100個比例值作為該模板的特征向量。這樣每個樣本的二值圖像模板就被量化編碼為一個特征向量V=[v1,v2,…,v100]。

2)分塊方法2：將最小外接矩形按照5個不同的比例尺寸分別劃分為2×2，3×3，4×4，5×5，6×6的均勻大小的分塊，然后分別計算這5個不同比例尺寸分塊下每個分塊的前景像素所占該塊像素數的比例，然后將其組成為一個特征向量V=[v1,v2,…,v90]。最后將分塊方法1和分塊方法2得到的特征向量用支持向量機進行識別。

4 行為識別實驗結果

支持向量機(Support Vector Machine，SVM)是由Cortes和Vapnik[11]提出的一種建立在統計學習理論上的一種監(jiān)督式學習方法，常應用統計分類和回歸分析。通過給定一個分別標記為兩個不同類別的訓練數據集，支持向量機的訓練算法可以建立模型用于分配新樣本到兩個不同的類別，使其成為一個非概率二值線性分類器。

由于本文要處理的人體行為是一個多分類問題，而由于MATLAB自帶的支持向量機工具包無法直接處理多分類問題，需要通過構造子分類器來處理多分類，因此本文采用Libsvm類庫結合MATLAB作為實驗平臺來對行為特征進行分類識別。Libsvm類庫能對支持向量機參數進行調節(jié)，可以采用默認參數來解決分類問題，也可以通過類庫提供的函數尋找最優(yōu)參數。

實驗采用3.4 GHz CPU主頻，4 Gbyte內存的計算機作為硬件平臺，選擇C-SVM類型的支持向量機，使用徑向基函數核作為核函數，對于支持向量機與核函數的參數根據Libsvm自帶的函數進行尋優(yōu)，多分類采用默認的一對一法。對分塊方法1、分塊方法2分別與3種模板選擇方法相組合所提取的特征進行分類識別，采用網格搜索方法[12]來選取參數c和g。測試方式采用K-折交叉測試，即將初始采樣分為K個子樣本，一個子樣本被用來作為驗證集，其余K-1個子樣本作為訓練集，然后交叉檢驗K次，直到每個子樣本都作為一次驗證集，最后平均K次的識別結果，該交叉檢測方法能有效避免分類器的欠學習和過學習。圖7和圖8分別為模板選擇方法1與分塊方法1和分塊方法2組合的識別率。

圖7 模板選擇方法1與分塊方法1組合的識別率

圖8 模板選擇方法1與分塊方法2組合的識別率

識別結果如表1所示，通過使用參數優(yōu)化的徑向基函數核的支持向量機能夠取得最高為84.44%的識別率，因此進一步證明支持向量機在處理小樣本、非線性、高特征維數分類問題時具有明顯的性能優(yōu)勢。

表1 不同模板選擇方法和分塊方法對應的識別率 %

不同分塊方法模板選擇方法1模板選擇方法2模板選擇方法3分塊方法1833381117000分塊方法2844480007111

另外為了驗證改進的加權累積差分法對識別結果的影響，分別選擇使用權值經驗公式1的加權累積差分法和本文改進的加權累積差分法進行檢測，結合關鍵幀模板選取方法1與分塊方法1和分塊方法2進行行為識別，實驗結果分別如圖9和圖10所示。

圖9 使用權值經驗公式1與分塊方法1的識別率

圖10 使用權值經驗公式1與分塊方法2的識別率

相對于使用經驗公式1進行加權累積檢測，使用本文改進的加權累積差分法能夠檢測到更為完整的人體運動剪影，從表2可以看出使用本文改進的加權累積差分法進行運動檢測能提高行為識別率，證明了本方法的有效性。

表2 不同加權累積差分法的識別率 %

不同加權累積差分法模板選擇方法1與分塊方法1模板選擇方法1與分塊方法2用權值經驗公式1的加權累積差分法82228111用本文改進的加權累積差分法83338444

5 總結

本文提出了一種改進的加權累積差分法，通過計算當前圖像幀與其他不同時刻圖像幀的相似性，用于權值計算，使得改進后的算法能提取更加完整的運動前景，并且由于本方法對每幀差分圖像都進行了形態(tài)學去噪，從而減少了噪聲的累積。本文還采用基于圖像區(qū)域的行為表示與特征提取方法，并對比3種關鍵幀選擇方法與2種分塊方法相結合的效果，提取圖像每一分塊中像素的比例特征來構建行為模板的特征向量，用于人體行為的識別。最后采用徑向基函數核的支持向量機用于處理多分類的行為識別問題，并且能取得84.44%的識別率，證明了支持向量機在處理小樣本、非線性、高特征維數的人體行為識別任務時具有良好的效果，也表明采用本文改進的加權累積差分法能提高行為識別率。

[1] 伍彩紅. 基于視覺的人體行為識別研究[D].武漢：華中師范大學，2011.

[2] HORN B K，SCHUNCK B G. Determining optical flow[EB/OL].[2015-02-28].http://dspace.mit.edu/handle/1721.1/6337.

[3] LIPTON A，FUJIYOSHI H，PATIL R. Moving target classification and tracking from real-time video[C]//Proc. IEEE Workshop on Applications of Computer Vision. Princeton，NJ：IEEE Press，1998：8-14.

[4] COLLNS R，LIPTON A. A system for video surveillance and monitoring: VSAM final report[EB/OL].[2015-02-28].http://www.researchgate.net/publication/245100343_A_system_for_video_surveillance_and_monitoring_VSAM_final_report.

[5] 左風艷，高勝法，韓建宇，等. 基于加權累積差分的運動目標檢測與跟蹤[J].計算機工程，2009，35(22)：159-161.

[6] 黎洪松，李達. 人體運動分析研究的若干新進展[J].模式識別與人工智能，2009，22(1)：70-78.

[7] 魯梅，盧忱，范九倫，等. 一種有效的基于時空信息的視頻運動對象分割算法[J].計算機應用研究，2013，30(1)：303-306.

[8] 王科俊，呂卓紋，孫國振，等. 基于分層分數條件隨機場的行為識別[J].計算機應用，2013，33(4)：957-959.

[9] 趙海勇， 劉志鏡， 張浩，等. 基于模板匹配的人體日常行為識別[J]. 湖南大學學報：自然科學版， 2011， 38(2): 88-92.

[10] YAMATO J，OHYA J，ISHII K. Recognizing human action in time-sequential images using hidden Markov model[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1992. [S.l.]：IEEE Press，1992：379-385.

[11] CORTES C，VAPNIK V. Support-vector networks[J]. Machine Learning，1995，20(3)：273-297.

[12] 李琳， 張曉龍. 基于RBF核的SVM學習算法的優(yōu)化計算[J].計算機工程與應用，2006，42(29)：190-192.

Human Behavior Recognition Based on Improved Weighted Accumulative Frame Difference Method

ZHANG Zhixue, CHEN Xi

(NetworkInformationCenter,HenanUniversityofScienceandTechnology,HenanLuoyang471023,China)

For two frame difference method and three frame difference method is difficult to extract the complete motion silhouettes, a method is presented based on improved weighted accumulative frame difference method for human behavior recognition. By using the improved weighted accumulated frame difference method to compute the similarity of frames for adaptive weights change, a relatively complete human movement silhouette can be extracted, and then proposed key frame template selected method and block features extraction method are used to extract behavior features. At last, support vector machine is used to construct classifiers for recognition. Experimental results indicate that this improved weighted accumulative frame difference method can be used to improve human behavior recognition rate.

human behavior recognition; weighted accumulative frame difference method; support vector machine

河南省教育廳自然科學研究項目(12B520019)

TP391.4

A

10.16280/j.videoe.2015.17.029

2015-04-28

【本文獻信息】張治學，陳曦.基于改進的加權累積差分法的人體行為識別[J].電視技術,2015，39(17).

張治學(1963— )，實驗師，主要研究方向為網絡信息通信、圖像處理；

陳 曦(1987— )，碩士生，主要研究方向為仿生智能與仿生機器人、數據中心網絡、圖像處理等。

責任編輯：任健男