基于融合特征的群體行為識別

譚程午，夏利民，王 嘉

(1.中南大學 信息科學與工程學院，湖南 長沙 410075；2.國防科技大學 訓(xùn)練部，湖南 長沙 410073)

0 引 言

人體行為識別是計算機視覺的重要研究課題，有著廣闊的應(yīng)用前景。人體行為識別可以分為3個方面：個人行為識別、交互行為識別、群體行為識別。群體行為分析和理解是計算機視覺、圖像處理等領(lǐng)域中的重要研究課題。以出發(fā)點不同將群體行為分析分為宏觀和微觀兩大類。宏觀是以整體為出發(fā)點，將整個群體看作一個整體，從全局來分析群體行為。Ernesto等[1]通過利用光流法以及無監(jiān)督的提取特征法對高密度群體事件進行識別。Ge等[2]則是利用伯努利形狀模型對群體中的人數(shù)進行統(tǒng)計。Kratz等[3]利用時空運動模型對群體異常行為進行檢測。胡波等[4]通過利用灰度共生矩陣對人群密度進行估計。Xiong等[5]利用能量模型檢測群體異常行為。此類方法對于大規(guī)模群體以及具有共同運動模式的群體很適用，然而忽視了運動方向、個體位置等特征，所以對于松散運動模式的群體行為并不適用。而微觀則是以群體中的個體為出發(fā)點，對個體進行目標跟蹤[6-8]，利用目標的姿態(tài)、運動軌跡對群體行為進行識別。Tu等[9]通過人的頭部和肩部對人體進行定位。Blunsden等[10]利用AdaBoost分類器對行為視頻中的異常行為進行檢測。Guo等[11]通過建立運動模型以及外觀形狀來識別群體行為。胡芝蘭等[12]利用目標的運動方向?qū)ψ呃葍?nèi)的群體異常行為進行檢測。此類方法不能有效描述行人間的相互作用以及人群的整體表現(xiàn)。因為小規(guī)模群體通常包含兩到三人，并且群體間的運動具有某種關(guān)聯(lián)性，所以分析小規(guī)模群體行為的方法既包括宏觀特性，又包括微觀特性。

目前大多數(shù)方法都是利用群體行為參與者的運動軌跡來描述運動信息[13]。把運動軌跡當作一個動態(tài)系統(tǒng)，然后通過馬爾可夫平穩(wěn)分布計算所提取的特征。Dore等[14]提出了利用統(tǒng)計表示來編碼基于動態(tài)貝葉斯網(wǎng)絡(luò)的雙軌跡因果關(guān)系來分析交互行為的方法。Chu[15]提出一種基于熱圖的算法來進行群體行為識別。首先把軌跡作為一系列熱源，然后利用熱擴散過程做出一幅熱圖來描述群體行為。盡管運動信息對于描述行為模式更直觀，但是外觀信息作為識別特征對于促進理解群體行為是一個很好的補充[16]。利用三維多邊形來描述群體行為的可視結(jié)構(gòu)，但是三維結(jié)構(gòu)對于激烈的群體行為沒有很好的魯棒性，而且不容易精確獲得。Zhu等[13]利用局部外觀信息，如尺度不變特征變換(SIFT)，作為群體行為的一個描述符號。然而，由于群體行為中單個參與者具有外觀差異性，會影響局部外觀特征的可靠性。因此，整體外觀特征對于群體行為的描繪更合適。

針對以上問題，為了既能描述群體中個體運動的微觀特性，同時又能描述群體中潛在的整體信息的宏觀特性，提出了一種基于融合特征的群體行為識別方法。先將各行人目標看成網(wǎng)絡(luò)的節(jié)點，利用協(xié)方差跟蹤獲得目標的運動軌跡，并利用格蘭杰因果關(guān)系檢驗來衡量目標之間的相互作用，同時利用此因果關(guān)系來構(gòu)建成雙因果網(wǎng)絡(luò)和成群因果網(wǎng)絡(luò)，并結(jié)合外觀特征來描述群體行為。采用改進螢火蟲算法的支持向量機(SVM)進行分類，提高了分類精度，優(yōu)化效果顯著。

1 運動特征表示

1.1 網(wǎng)絡(luò)的節(jié)點的確立

利用群體網(wǎng)絡(luò)識別群體行為，首先將群體中的每個目標當作一個節(jié)點，將目標之間的因果作用當作邊，相互作用的大小當作網(wǎng)絡(luò)權(quán)值，以此來構(gòu)建群體復(fù)雜網(wǎng)絡(luò)。G(V,E,W)是有向加權(quán)圖，利用它來表示群體復(fù)雜網(wǎng)絡(luò)。為了確定群體復(fù)雜網(wǎng)絡(luò)節(jié)點，需要獲得一段行為視頻中目標的運動軌跡，文中利用多特征融合的協(xié)方差匹配算法來進行目標跟蹤。

協(xié)方差匹配算法的基本原理是首先在第一幀中對目標模板區(qū)域進行初始化,同時計算該目標模板區(qū)域的協(xié)方差矩陣特征，從而在隨后的每一幀圖像的候選區(qū)域中選擇與模板區(qū)域最相似的區(qū)域進行匹配，將此區(qū)域視為目標在當前幀的位置。假設(shè)一圖像區(qū)域R大小為M×N，(x,y)表示一個像素點，和每一個像素點相對應(yīng)，fk表示該像素的特征向量，式(1)表示提取該像素的亮度、顏色、空間距離特征以及梯度：

fk=[R(x,y),G(x,y),B(x,y),d(x,y),I(x,y),Ix(x,y),Iy(x,y)]

(1)

(2)

其中，μR表示R中每一個像素點對應(yīng)特征向量的平均值。

為了確定當前幀中與目標區(qū)域最相似的區(qū)域，需要對候選區(qū)域和目標區(qū)域的協(xié)方差矩陣之間的距離進行計算[17]。通過計算兩個矩陣的廣義特征值的對數(shù)平方和來表示協(xié)方差矩陣間的距離，如下式：

(3)

其中，λk(Ci,Cj)表示矩陣Ci,Cj的廣義特征值，利用|λCi-Cj|=0計算。

1.2 網(wǎng)絡(luò)的邊的確立

為了構(gòu)建群體復(fù)雜網(wǎng)絡(luò)，在確定節(jié)點的基礎(chǔ)上，還需要確立網(wǎng)絡(luò)的邊。利用目標之間的因果關(guān)聯(lián)度來衡量目標之間的聯(lián)系程度，用成雙因果關(guān)系和成群因果關(guān)系來表示兩目標間的因果關(guān)聯(lián)度，同時構(gòu)建成雙因果網(wǎng)絡(luò)和成群因果網(wǎng)絡(luò)，然后對兩個網(wǎng)絡(luò)的特征參數(shù)進行融合，進而進行群體行為識別。

1.2.1 成雙因果

成雙因果關(guān)系在描述群體中兩個目標之間的關(guān)系時，只考慮兩個目標之間是否存在因果作用以及相互作用的強度，而對于其他目標對這兩個目標的影響是不予考慮的。Zhou[18]提出首先得到目標的運動軌跡，然后利用格蘭杰因果關(guān)系檢驗來定量度量兩個目標之間的因果特性，用因果比表示一個目標對另一個目標的作用強度，反饋比表示另一個目標的反作用強度。

Pi(t),Pj(t)分別表示兩目標同時運動的軌跡，假設(shè)在一段時間內(nèi)兩目標運動軌跡的相互作用是一個平穩(wěn)過程，通過利用q階線性預(yù)測器對目標i的運動軌跡進行建模，得到：

(4)

和因果比的計算相似，同樣得到兩個目標之間的反饋比：

反饋比與因果比揭示誤差項的信息，能有效表示兩個目標之間的相互作用強度。由反饋比與因果比可以得到一個n×n的因果關(guān)聯(lián)強度矩陣gcp，n表示目標的個數(shù)，把gcp作為構(gòu)建成雙因果網(wǎng)絡(luò)的依據(jù)。

1.2.2 成群因果

一個群體一般包含三人或三人以上的目標，所以在衡量兩目標間的相互作用時，同時應(yīng)該考慮其他目標的影響。在不包括目標j情況下，δ[Pi(t)/U(1:t-m)-Pj(1:t-m)]表示利用線性回歸方程對目標i預(yù)測得到的標準偏差，U表示所有目標的軌跡信息，現(xiàn)包括群體中的所有目標，δ[Pi(t)/U(1:t-m)]表示線性回歸標準偏差，此時得到兩個目標之間的因果比：

(7)

同樣得到兩個目標之間的反饋比：

(8)

將所有目標之間的因果關(guān)系計算后，得到一個n×n的因果關(guān)聯(lián)強度矩陣gcg，n表示目標的個數(shù)，把gcg作為構(gòu)建成群因果網(wǎng)絡(luò)的依據(jù)。

1.3 因果網(wǎng)絡(luò)模型的特征提取

群體行為不同，人群特征也不同，同時構(gòu)建的群體因果復(fù)雜網(wǎng)絡(luò)模型也不同。就算是同一種群體行為，目標之間的相互作用不同，每個人在網(wǎng)絡(luò)中的重要程度也是不同的。文中利用復(fù)雜網(wǎng)絡(luò)的統(tǒng)計特征參數(shù)來描述人群特征，選擇以下幾個特征參數(shù)。

平均路徑長度能夠揭示網(wǎng)絡(luò)中各目標節(jié)點之間的分離程度，通過計算兩目標節(jié)點之間的最短距離得到平均路徑長度。對一個群體復(fù)雜網(wǎng)絡(luò)中所有兩兩節(jié)點間的最短距離取平均值就得到整個群體網(wǎng)絡(luò)的平均路徑長度，網(wǎng)絡(luò)的平均路徑長度越短表示網(wǎng)絡(luò)中節(jié)點間的分離程度越小，反之，則分離程度越大。不同的群體行為構(gòu)建的網(wǎng)絡(luò)中兩目標之間的關(guān)系不同，計算得到的平均路徑長度也不同，所以利用平均路徑長度來描述群體行為，如下式：

(9)

介數(shù)揭示對應(yīng)目標在整個群體中的作用和影響力，能夠衡量目標在網(wǎng)絡(luò)中的重要程度，節(jié)點k的介數(shù)計算公式如下：

(10)

其中，d(i,j)表示節(jié)點i和j之間最短路徑的數(shù)目；dk(i,j)表示經(jīng)過節(jié)點k的節(jié)點i和j之間最短路徑的數(shù)目。

不同的群體行為，影響力最強的目標是不同的，揭示其影響力的介數(shù)也不同，影響力最弱的目標也是如此。所以利用介數(shù)來反映不同群體行為構(gòu)成的網(wǎng)絡(luò)中影響力最強以及最弱的節(jié)點。因此用介數(shù)的最大值gmax、最小值gmin、平均值gave作為行為特征。

利用聚合系數(shù)描述網(wǎng)絡(luò)中各目標的聚集程度，也就是各目標之間到底有多緊密的關(guān)系。群體行為不同，目標聯(lián)系的緊密程度不同，比如在Linger(徘徊)這個群體行為中，各目標的運動是雜亂無序的，目標聯(lián)系相對較松散，聚合系數(shù)較小，而Gather(聚集)這個群體行為中,各目標的運動遵循一定的規(guī)則，目標聯(lián)系相對較緊密，聚合系數(shù)較大，所以利用集合系數(shù)表示群體行為特征，如下式：

(11)

其中，Ei表示和節(jié)點i相連的邊的數(shù)目；ki表示和節(jié)點i相連的節(jié)點的數(shù)目。

綜上所述，實驗過程中采用了成雙因果網(wǎng)絡(luò)提取的特征向量和成群因果網(wǎng)絡(luò)提取的特征向量，以及它們的組合向量。成雙因果網(wǎng)絡(luò)特征向量表示如下：

(12)

成群因果特征向量表示如下：

(13)

組合向量表示為：

Vc=[Vp,Vg]

(14)

2 外觀特征表示

除了運動特征以外，整個群體的外觀變化同樣能反映群體行為的識別信息。通過描述群體行為的空間結(jié)構(gòu)及其變化來進行行為識別，稱之為群體形狀。根據(jù)某一幀的所有參與者的位置可以形成一個平面多邊形，利用它來描述群體形狀，如圖1(a)所示。然而這些沒有約束的多邊形有著復(fù)雜的構(gòu)造，而且不是一致的跨幀，難以描述，并且丟失了群體中的詳細相關(guān)信息。因此采用德勞內(nèi)三角化代替多邊形描述緊湊而又詳細的結(jié)構(gòu)信息。將一組點的德勞內(nèi)三角化定義為一個三角形劃分T。如圖1(b)所示，和多邊形相比，德勞內(nèi)三角化能夠描述更多群體內(nèi)部結(jié)構(gòu)的信息，并且考慮到了每一個參與者在群體中的影響。利用整體特征和局部特征分別去描述穩(wěn)定的和變化的群體形狀特征。

圖1 群體形狀圖

整體群體形狀特征：利用三角化的所有三角形的外接圓面積A，邊界E，中心C，從整體角度來描述它的緊密度。這些參數(shù)能描述整個三角形劃分的識別信息。為了描述群體行為的即時狀態(tài)的穩(wěn)定特征，定義如下公式：

Rarea=Std(A)/Mean(A)

(15)

(16)

(17)

其中，Std()表示標準差；Mean()表示平均值；Min()表示最小值；Max()表示最大值；Min(E)表示德勞內(nèi)三角化的邊集E中的最短邊。

根據(jù)第i-1幀和第i幀三角形劃分的不同來表示群體形狀的變化。因此面積的改變，中心距離(CDist)的改變以及旋轉(zhuǎn)變化都要考慮。旋轉(zhuǎn)為X/Y軸主方向的變化。主方向近似為連接一個軸的最大值的點和最小值點的那條線的方向。公式如下：

Γareai=(Sum(Ai)-Sum(Ai-1))/Sum(Ai-1)

(18)

ΓCDisti=(Mean(CDisti)-Mean(CDisti-1))/

Mean(CDisti-1)

(19)

(20)

(21)

其中，Xmax，Xmin，Ymax以及Ymin表示三角形中在X軸和Y軸的極值點；Sum()表示求和；Angle()表示兩條線之間的夾角。

因此，整體群體形狀特征表示為[Rarea,Redge,Rcenter,Γareai,ΓCDisti,ΓX,ΓY]。

局部群體形狀特征：為了得到更詳細的群體形狀信息，利用每一個三角形來描述群體形狀信息。和整體群體形狀特征類似，假設(shè)一共有k個三角形，面積為Ak，邊界為Ek，夾角為Λk，那么可得到穩(wěn)定的局部特征：

rarea=Ak/∑A

(22)

redgek=Min(Ek)/Max(Ek)

(23)

ranglek=Min(Λk)/Max(Λk)

(24)

根據(jù)第i-1幀和第i幀的三角形劃分的不同來描述局部的變化，如下式。

γareaik=Aik-A(i-1)k/A(i-1)k

(25)

γedgeik=Max(Eik)-Max(E(i-1)k)/Max(E(i-1)k)

(26)

γangleik=(Max(Λik)-Max(Λ(i-1)k))/Max(Λ(i-1)k)

(27)

因此，利用[rareak,redgek,ranglek,γareaik,γedgeik,γangleik]來描述局部整體形狀特征。

3 改進螢火蟲算法的SVM

根據(jù)螢火蟲算法，螢火蟲發(fā)光越亮，表明其所處的位置具有更加優(yōu)良的目標函數(shù)值。每只螢火蟲在自己擁有的視野范圍內(nèi)，利用動態(tài)決策挑選亮度比自己高的螢火蟲，與之結(jié)為鄰舍并且向它移動。由于螢火蟲算法依靠局部信息搜尋原理，使得螢火蟲算法很難深陷局部極值點，同時由于存在動態(tài)決策域，保證了魯棒性。因為螢火蟲都趨向于向位置最佳以及亮度最高的個體移動，而最佳個體為了尋找更佳的位置隨機移動，因此促使整個群體形成了一種正反饋，極大地提升了全局尋優(yōu)能力，所以對于組合式參數(shù)(c,σ)的全局優(yōu)化極其適用。

文獻[19]代表目前的研究成果，結(jié)合實驗發(fā)現(xiàn)基本的螢火蟲算法還是存在一些缺點的，即算法前期的收斂速度相對比較緩慢，后期因為其收斂不夠穩(wěn)定以至于不能提升算法的精度。因為位置更新時段中的不變步長導(dǎo)致收斂不夠穩(wěn)定以及收斂速度緩慢。不變步長使得前期的螢火蟲不能以最快的速度移向更亮的同伴，與此同時在后期隨著螢火蟲之間的位置越來越接近，亮度的差值也越來越小，起初的步長造成了螢火蟲不能進一步靠近最亮的那只螢火蟲的不穩(wěn)定現(xiàn)象的產(chǎn)生，從而降低了基本螢火蟲算法的精度。針對上述缺點，利用FA算法中的位置更新原理[20-22]，并通過在螢火蟲移動時添加亮度特征，構(gòu)成以下位置更新的公式:

(28)

(29)

所要靠近的那只螢火蟲越亮，移動的步長越長，從而加快了前期的收斂速度，而在后期隨著螢火蟲之間的亮度越來越接近，也會縮短移動的步長，這樣就可以在最優(yōu)的位置微調(diào)，防止產(chǎn)生收斂不穩(wěn)定的現(xiàn)象。

4 實驗結(jié)果與分析

實驗采用的群體行為視頻都是用Canon EOS 70D單反相機在室外露天場地拍攝的，幀率為40 frame/ps，圖片大小為480×640。一共包括6種群體行為：gather(聚集)、chat(聊天)、split(分離)、linger(徘徊)、meet(相遇)、together(同行)，圖2表示6種群體行為的運動軌跡。圖中各目標都處在第一幀的起始位置，曲線表示各個目標的運動軌跡，利用協(xié)方差匹配算法進行目標跟蹤得到運動軌跡，曲線的終點位置表示各目標運動停止的位置，當有個別幀由于嚴重遮擋而造成目標丟失時，利用人工進行修正。

圖2 六種群體行為軌跡圖

樣本視頻如表1所示。實驗采用改進螢火蟲算法的支持向量機對群體行為進行分類，分類效果如圖3所示。

表1 視頻采集及實驗樣本數(shù)統(tǒng)計表

圖3 群體行為的識別率對比

從圖3可以看出，對于6種群體行為均是融合特征取得最好的識別率，而linger和together兩種行為的識別率相對較低，together行為利用融合特征得到的識別率為85%，而利用運動特征和外觀特征的識別率分別為72%和43%。而對于linger行為，利用融合特征得到的識別率為85%，而利用運動特征和外觀特征的識別率分別為68%和56%。同時，比較了利用未改進的支持向量機對融合特征進行分類，結(jié)果表明文中方法更優(yōu)。

綜上所述，利用融合特征明顯比單純地利用運動特征和外觀特征的效果好，并且采用改進螢火蟲算法的支持向量機的分類效果要優(yōu)于未改進的支持向量機。在這6種群體行為中，linger的識別率相對較低，那是由于linger行為具有較強的隨機性，在進行小片段分解群體行為視頻時，很容易影響其各段行為的一致性，所以識別率相對較低。

5 結(jié)束語

提出了一種基于融合特征的群體行為識別方法。利用運動軌跡，通過計算格蘭杰因果檢驗值，衡量各目標之間相互作用和影響的程度，同時將人群個體作為頂點，將個體間相互影響程度作為邊權(quán)重，構(gòu)建群體復(fù)雜因果網(wǎng)絡(luò)，并結(jié)合外觀特征來分析群體行為，根據(jù)改進螢火蟲算法的支持向量機進行分類識別。該方法融合了運動信息和外觀信息來描述群體行為，從微觀層面利用目標運動軌跡構(gòu)建群體復(fù)雜網(wǎng)絡(luò)，同時從宏觀層面對群體復(fù)雜網(wǎng)絡(luò)特性進行分析，以此在微觀層面和宏觀層面架起一個橋梁，為小規(guī)模群體行為識別開辟了一個新的想法。利用格蘭杰因果關(guān)系檢驗算法對目標之間的因果關(guān)聯(lián)度進行度量，同時以此量化網(wǎng)絡(luò)的邊的結(jié)構(gòu)和權(quán)重，為群體因果復(fù)雜網(wǎng)絡(luò)的構(gòu)建提供了基礎(chǔ)。改進螢火蟲算法的支持向量機,既保證了收斂性能，又提高了分類精度，優(yōu)化效果顯著。

[1] ANDRADE E L,BLUNSDEN S,FISHER R B.Modelling crowd scenes for event detection[C]//International conference on pattern recognition.[s.l.]:IEEE,2006:175-178.

[2] GE W,COLLINS R T.Marked point processes for crowd counting[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2009:2913-2920.

[3] KRATZ L,NISHINO K.Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2009:1446-1453.

[4] 胡 波,李曉華,沈蘭蓀.場景監(jiān)控中的人群密度估計[J].電路與系統(tǒng)學報,2007,12(6):19-22.

[5] XIONG G,CHENG J,WU X,et al.An energy model approach to people counting for abnormal crowd behavior detection[J].Neurocomputing,2012,83(7):121-135.

[6] 金 標,胡文龍,王宏琦.基于時空語義信息的視頻運動目標交互行為識別方法[J].光學學報,2012,32(5):145-151.

[7] 梁 敏,劉貴喜.基于自適應(yīng)混合濾波的多目標跟蹤算法[J].光學學報,2010,30(9):2554-2561.

[8] 王澤兵,楊 衛(wèi),秦 麗.基于粒子群算法的動態(tài)熱釋電目標跟蹤[J].光學學報,2014,34(10):27-33.

[9] TU P,SEBASTIAN T,DORETTO G,et al.Unified crowd segmentation[C]//European conference on computer vision.Marseille,France:[s.n.],2008:691-704.

[10] BLUNSDEN S,FISHER R B.Pre-fight detection-classification of fighting situations using hierarchical AdaBoost[C]//Proceedings of the fourth international conference on computer vision theory and applications.[s.l.]:[s.n.],2009:303-308.

[11] GUO P,MIAO Z.Action detection in crowded videos using masks[C]//20th international conference on pattern recognition.[s.l.]:IEEE,2010:1767-1770.

[12] 胡芝蘭,江 帆,王貴錦,等.基于運動方向的異常行為檢測[J].自動化學報,2008,34(11):1348-1357.

[13] ZHU G,YAN S,HAN T X,et al.Generative group activity analysis with quaternion descriptor[M]//Advances in multimedia modeling.Berlin:Springer,2011.

[14] DORE A,REGAZZONI C S.Interaction analysis with a Bayesian trajectory model[J].IEEE Intelligent Systems,2010,25(3):32-40.

[15] CHU H,LIN W,WU J,et al.A new heat-map-based algorithm for human group activity recognition[C]//Proceedings of the 20th ACM international conference on multimedia.[s.l.]:ACM,2012:1069-1072.

[16] KHAN S M,SHAH M.Detecting group activities using rigidity of formation[C]//ACM international conference on multimedia.Singapore:ACM,2005:403-406.

[17] F?RSTNER W,MOONEN B.A metric for covariance matrices[M]//Geodesy-the challenge of the 3rd millennium.Berlin:Springer,2000:299-309.

[18] ZHOU Y,NI B,YAN S,et al.Recognizing pair-activities by causality analysis[J].ACM Transactions on Intelligent Systems & Technology,2011,2(1):389-396.

[19] 黃正新,周永權(quán).變步長自適應(yīng)螢火蟲群多模態(tài)函數(shù)優(yōu)化算法[J].計算機工程與應(yīng)用,2012,48(8):43-47.

[20] YANG X S.Firefly algorithms for multimodal optimization[J].Mathematics,2009,5792:169-178.

[21] 劉長平,葉春明.一種新穎的仿生群智能優(yōu)化算法:螢火蟲算法[J].計算機應(yīng)用研究,2011,28(9):3295-3297.

[22] YANG X S.Nature-inspired metaheuristic algorithms[M].[s.l.]:Luniver Press,2010.