基于多神經(jīng)網(wǎng)絡(luò)融合的運(yùn)動人體姿態(tài)識別

郭鈞++韓新樂++李鶴喜

摘要：本文運(yùn)用高斯分布方法來建立背景模型，并利用彩色背景差分進(jìn)行運(yùn)動人體的檢出。通過對檢出的人體圖像進(jìn)行形態(tài)學(xué)處理后，分別進(jìn)行實體、輪廓和幾何矩三種特征的提取，并為每個特征建立了一個BP神經(jīng)網(wǎng)絡(luò)分類器，經(jīng)多種人體姿態(tài)樣本獨(dú)立訓(xùn)練后，再采用D-S證據(jù)理論對三個神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行融合處理，對運(yùn)動人體姿態(tài)識別的實際測試表明：采用多特征神經(jīng)網(wǎng)絡(luò)融合方法比單特征神經(jīng)網(wǎng)絡(luò)取得更好的識別率，該方法可以用于各種智能視頻監(jiān)控系統(tǒng)中。

關(guān)鍵詞：運(yùn)動人體 特征提取 神經(jīng)網(wǎng)絡(luò) D-S證據(jù)理論

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2016）10-0051-03

1 導(dǎo)言

運(yùn)動人體的跟蹤與姿態(tài)識別是近年來計算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，在智能視頻監(jiān)控、虛擬現(xiàn)實技術(shù)、人機(jī)交互、體育運(yùn)動分析和動畫制作等領(lǐng)域都有著廣泛的應(yīng)用[1-3]。但目前成熟的應(yīng)用還主要集中在簡單的人體區(qū)域跟蹤上，由于人體的運(yùn)動變形，特征難以固定不變，采用一種特征來識別人體姿態(tài)會產(chǎn)生較高錯誤率，針對這一問題，本文對每幅人體姿態(tài)圖像分別采用不同的方法提取特征，使其具有互補(bǔ)性，當(dāng)一個特征表達(dá)缺失或缺少唯一性時，由其它兩個特征來彌補(bǔ)，每個特征都有自己的分類器，最后的分類由D-S證據(jù)理論給出判決結(jié)果。

2 運(yùn)動人體的檢出

對運(yùn)動人體進(jìn)行識別，首先要將目標(biāo)人體從背景圖像中提取出來，即運(yùn)動人體的檢測。這部分工作的好壞將直接影響后續(xù)的識別、跟蹤情況。運(yùn)動人體檢測的原則就是盡可能的保留運(yùn)動人體部分的重要的特征信息，同時最大限度的去除對運(yùn)動人體檢測無用的干擾信息。本文采用了背景減除法[4]，并結(jié)合高斯建模的方法建立背景模型來處理環(huán)境的光線變化[5]，使運(yùn)動人體目標(biāo)的檢測更準(zhǔn)確，考慮到人體圖像提取的可靠性，本文沒有采用傳統(tǒng)的灰度背景差分，而是采用彩色背景差分，然后運(yùn)用了數(shù)字形態(tài)學(xué)方法主要是開閉運(yùn)算處理由于檢測后圖像或多或少存在的干擾和噪聲等，可以使提取出的人體目標(biāo)區(qū)域更為完整，圖1是經(jīng)過彩色背景差分和形態(tài)學(xué)處理后的人體圖像，包括直立、行走、下蹲和跑步姿態(tài)，可以看出人體姿態(tài)完整，干擾被消除。

3 運(yùn)動人體姿態(tài)的特征提取

運(yùn)動人體是形變體，其特征的選取做到穩(wěn)定和不變是困難的，采用單一特征提取方法更不穩(wěn)定，所以本文采用多特征提取方法來表達(dá)運(yùn)動的人體，以“多”代“單”能更合理更準(zhǔn)確體現(xiàn)運(yùn)動人體的各種姿態(tài)。通過對目前主流的特征提取方法的分析，選擇人體輪廓、人體區(qū)域和人體幾何矩不變量三種特征作為運(yùn)動人體的姿態(tài)表示。

3.1 輪廓特征向量

利用前面的高斯背景模型建立背景，并通過背景減除法得到的運(yùn)動人體區(qū)域基本是完整的，再通過膨脹、腐蝕、開閉運(yùn)算數(shù)學(xué)形態(tài)學(xué)方法和濾波等對其處理使其內(nèi)部填充完整，然后提取人體圖像的輪廓圖，典型輪廓圖提取如圖2所示。

為了縮小特征向量的維數(shù)，將輪廓樣本圖像f（x，y）歸一到，歸一化到這個尺寸是為了在后面進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時保證得到訓(xùn)練網(wǎng)絡(luò)的泛化性和識別結(jié)果的準(zhǔn)確率，如果偏小則識別精度下降，如果偏大則網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)多，訓(xùn)練時間長。這樣像素點(diǎn)的維數(shù)為480，將圖像按行堆疊成輪廓特征向量是：

3.2 區(qū)域特征向量

同輪廓特征向量的提取一樣，利用高斯背景模型建立背景，并通過背景減除法得到的運(yùn)動人體區(qū)域基本是完整的，再通過數(shù)學(xué)形態(tài)學(xué)方法膨脹、腐蝕、開閉運(yùn)算和濾波等對其進(jìn)行處理使其內(nèi)部填充完整，然后提取人體區(qū)域圖，典型區(qū)域圖提取如圖3所示。

同提取輪廓特征一樣，為了縮小特征向量的維數(shù)，將骨絡(luò)樣本圖像f （x，y）歸一到，像素點(diǎn)的維數(shù)為480。將圖像按行堆疊成骨絡(luò)特征向量是：

3.3 矩不變量特征

矩不變量最早由Hu在1962年提出[6]，用來表征圖像的形狀，并且推出了其它一些基本性質(zhì)來證明矩的平移、旋轉(zhuǎn)和比例的不變性。矩特征目前已經(jīng)廣泛應(yīng)用于形狀分析、目標(biāo)識別圖像分析等領(lǐng)域，雖然矩不變量一般用于剛體形狀識別，對于變形人體可能穩(wěn)定性不如剛體，但對于直立、屈體、行走等典型姿態(tài)還是有較強(qiáng)的區(qū)分能力，可以作為一種形狀特征使用。

對于一幅圖像f （x，y） 的二維（p+q）階幾何矩定義為

通過歸一化處理可以得到7個關(guān)于圖像中心的幾何矩不變量，其中前6個平移、旋轉(zhuǎn)和比例縮放不變，本文取其作為人體的特征向量Φ={Φ1，Φ2，Φ3，Φ4，Φ5，Φ6}。

4 人體姿態(tài)識別多特征神經(jīng)網(wǎng)絡(luò)的建立、訓(xùn)練與融合

4.1 多神經(jīng)網(wǎng)絡(luò)的建立

特征向量的組織在人體姿態(tài)識別中是非常重要的，一般一個神經(jīng)網(wǎng)絡(luò)對應(yīng)一種類型的特征分類，然而將各種特征組合在一起形成一個特征向量，不僅訓(xùn)練時間長，而且訓(xùn)練后網(wǎng)絡(luò)的泛化性不夠理想，所以本文建立了3個BP神經(jīng)網(wǎng)絡(luò)，將他們組合成一個更強(qiáng)的分類器。三個網(wǎng)絡(luò)的輸入分別是人體姿態(tài)的輪廓特征向量、區(qū)域特征向量和矩特征向量，對其三者的輸出進(jìn)行加權(quán)后，用D-S證據(jù)理論進(jìn)行融合，得到最終的分類結(jié)果[7]。3個神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)及融合原理如圖4所示。

4.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

由于人屬于非剛性物體，運(yùn)動姿態(tài)多種多樣，本文選取比較有代表性的8種典型姿態(tài)進(jìn)行研究，編碼方式采用排它的方法，樣本姿態(tài)屬于類別用“1”表示，不屬于用“0”表示。那么對于標(biāo)識為[0，0，0，0，1，0，0，0]的姿態(tài)表示是8種姿態(tài)類別中的第5種姿態(tài)。然后對采集的人體姿態(tài)樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練的時候只要將輸入樣本與其對應(yīng)的標(biāo)識相關(guān)聯(lián)即可。采用有師指導(dǎo)的監(jiān)督訓(xùn)練，訓(xùn)練樣本是通過采集處理的各種人體運(yùn)動姿態(tài)圖像集，可以手工添加樣本，也可以由計算機(jī)批量自動添加，采用帶動量的梯度下降法進(jìn)行訓(xùn)練，精度指標(biāo)取0.001，迭代上限為150萬次。其典型的訓(xùn)練過程如圖5所示。

4.3 基于D-S證據(jù)理論的神經(jīng)網(wǎng)絡(luò)的融合

D-S證據(jù)理論能夠有效的融合多種證據(jù)源數(shù)據(jù)[8]，本文將利用這種理論對三種神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行融合。在本文中，有8種待識別的典型人體姿態(tài)，因此互斥元素個數(shù)為8個，假定姿態(tài)集合X={直立，行走，跑步，下蹲，…，伸臂 }，每個神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)為8個，每個姿態(tài)的置信度是是節(jié)點(diǎn)輸出值的歸一化結(jié)果，將三個網(wǎng)絡(luò)的輸出作為基本證據(jù)源對三者融合，并進(jìn)行加權(quán)處理，得到最后的運(yùn)動人體識別結(jié)果。

4.4 運(yùn)動人體姿態(tài)識別試驗結(jié)果

根據(jù)運(yùn)動人體姿態(tài)的多樣性，采用多種典型姿態(tài)對運(yùn)動人體進(jìn)行分類，考慮到運(yùn)動人體易于變形的特點(diǎn)，采用單一特征會降低識別的準(zhǔn)確性，分別提取運(yùn)動人體的輪廓、區(qū)域和幾何矩三種特征進(jìn)行人體姿態(tài)表達(dá)，并建立了對應(yīng)三個特征的組合神經(jīng)網(wǎng)絡(luò)，利用加權(quán)的D-S證據(jù)理論對每個神經(jīng)網(wǎng)絡(luò)輸出進(jìn)行融合處理，試驗結(jié)果已表明：基于組合神經(jīng)網(wǎng)絡(luò)的運(yùn)動人體識別率比采用單一的神經(jīng)網(wǎng)絡(luò)有很大的提高。對多人體的互動姿態(tài)進(jìn)行識別，可以推理打架、斗毆、追逐、自然行走等典型互動行為，對異常進(jìn)行報警。其典型單人體姿態(tài)和雙人體交互姿態(tài)識別分別如圖6和圖7所示。

為滿足人體姿態(tài)的識別實驗要求，對每種特征選擇100副圖像作為訓(xùn)練樣本，選擇40副圖像作為測試樣本，并且使用修正的D-S證據(jù)理論進(jìn)行多條證據(jù)的融合。表1顯示了單個方向的神經(jīng)網(wǎng)絡(luò)的識別結(jié)果與經(jīng)過D-S融合策略融合之后的識別結(jié)果。從表中可知，多特征融合之后的識別準(zhǔn)確率高于單特征的BP神經(jīng)網(wǎng)絡(luò)的識別率，因此，可以得出結(jié)論：采用多神經(jīng)網(wǎng)絡(luò)融合技術(shù)能夠有效提高運(yùn)動人體識別的準(zhǔn)確率。

5 結(jié)語

通過基于多神經(jīng)網(wǎng)絡(luò)的運(yùn)動人體姿態(tài)識別的研究和試驗，最后得到以下幾點(diǎn)結(jié)論：（1）通過高斯分布方法建立背景模型，并利用彩色背景差分能夠快速從背景圖像中檢出人體運(yùn)動姿態(tài)；（2）采用人體圖像的輪廓特征、實體特征和幾何矩特征來表達(dá)運(yùn)動人體的各種姿態(tài)是有效的；（3）建立了對應(yīng)三種特征的BP神經(jīng)網(wǎng)絡(luò)分類器，通過各種人體姿態(tài)樣本的訓(xùn)練，基于單個神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識別錯率15%，而通過D-S證據(jù)理論對三種特征輸入神經(jīng)網(wǎng)絡(luò)的融合，識別的錯誤率降低到5%，表明本文采用多神經(jīng)網(wǎng)絡(luò)方法對運(yùn)動變形的人體姿態(tài)識別是有效的；（4）實際運(yùn)動人體試驗結(jié)果表明本文提出的基于多神經(jīng)網(wǎng)絡(luò)融合的運(yùn)動人體識別方法可以用于各種智能監(jiān)控系統(tǒng)中。

參考文獻(xiàn)

[1]林慶，史振杰，詹永照，徐劍暉.基于感興趣區(qū)域的運(yùn)動人體跟蹤[J].江蘇大學(xué)學(xué)報（自然科學(xué)版），2010，31（2）：206-209.

[2]劉菲.運(yùn)動人體行為分析系統(tǒng)及關(guān)鍵技術(shù)研究[D].西安市：西安電子科技大學(xué)，2007：4-12.

[3]黃國范，程小平，任菲.人體動作姿態(tài)的自動識別方法研究[J].西南師范大學(xué)學(xué)報（自然科學(xué)版），2010，35（4）：136-140.

[4]李敏.人體姿態(tài)識別技術(shù)研究及其在智能監(jiān)護(hù)系統(tǒng)中的應(yīng)用[D].北京交通大學(xué)，2015：20-28.

[5]謝非.智能監(jiān)控系統(tǒng)中人體及其多種姿態(tài)的識別技術(shù)研究[D].南京航天航空大學(xué)，2009：10-22.

[6]Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information theory，1962，8：179-187.

[7]馮靜.基于證據(jù)理論的可靠性信息融合方法研究[J].計算機(jī)仿真，2009，26（12）：82-85.

[8]孫濤，張宏建.目標(biāo)識別中的信息融合技術(shù)[J].自動化儀表，2011，22（2）：1-4.

收稿日期：2016-08-15

作者簡介：郭鈞（1992—），男，廣東揭陽人，在校本科學(xué)生，五邑大學(xué)計算機(jī)學(xué)院，研究方向：計算機(jī)應(yīng)用技術(shù)；韓新樂（1990—），男，內(nèi)蒙古通遼人，

碩士研究生，五邑大學(xué)計算機(jī)學(xué)院，研究方向：圖像分析與機(jī)器視覺；李鶴喜（1961—），男，遼寧昌圖人，博士，教師，五邑大學(xué)計算機(jī)學(xué)

院，研究方向：機(jī)器視覺與智能機(jī)器人。