基于局部時空模式的體育視頻行為識別

溫長吉, 趙珊珊, 申利未, 任虹賓

(吉林農(nóng)業(yè)大學(xué) 信息技術(shù)學(xué)院, 長春 130118)

行為識別涉及模式識別和計算機視覺等多個學(xué)科, 在人體運動分析、 安防監(jiān)控等領(lǐng)域應(yīng)用廣泛[1-2]. 主流的行為識別方法主要分為基于目標(biāo)物軌跡的行為識別方法和基于目標(biāo)物特征的行為識別方法[3], 目前已有很多研究結(jié)果. 在基于軌跡的行為識別方面, Ali等[4]利用人體頭部與軀干5個歸一化節(jié)點的軌跡信息構(gòu)建了人體行為進而進行識別； Ju等[5]根據(jù)運動軌跡和外觀信息定義了3種群體行為, 采用SVM進行識別； 朱光宇[6]利用時間/空間交互關(guān)系的分析方法將隊員軌跡與球軌跡信息進行融合, 構(gòu)建交互軌跡, 并基于交互軌跡對戰(zhàn)術(shù)行為進行識別； Zhou等[7]通過分析個體軌跡間的相互影響識別群體行為. 在基于目標(biāo)物特征的行為識別方面, 鄭瀟等[8]提出了基于姿態(tài)時空特征的人體行為識別方法, 能有效識別視頻中的人體復(fù)雜動作行為； Masui等[9]通過時空模式建立視覺信息, 利用背景減除法檢測目標(biāo)物, 并以符號序列表示目標(biāo)物在不同區(qū)域內(nèi)的空間分布, 繼而實現(xiàn)視頻行為識別； 王忠民等[10]提出了一種基于低層特征與高層語義的人體行為識別方法, 通過融合兩種特征的預(yù)分類結(jié)果得到最終判決的人體行為類別； 裴曉敏等[11]結(jié)合人體行為的時空特性, 提出了一種時空特征融合深度學(xué)習(xí)網(wǎng)絡(luò)的人體骨架行為識別方法, 對多視角骨架具有較強的魯棒性.

考慮到基于軌跡信息的行為識別方法易受遮擋、 背景變化等因素的影響[12-13], 本文基于2D局部回歸核提出一種基于局部時空模式的行為識別方法. 首先, 將改進的局部時空回歸核作為特征檢測子檢測運動活躍的區(qū)域, 然后將其作為特征單詞, 并使用基于顏色信息的方法標(biāo)記目標(biāo)物, 繼而構(gòu)建特征詞袋模型. 其次, 根據(jù)目標(biāo)物在場地位置及行為方式利用Libsvm模式分類器對行為進行分類識別. 最后, 將本文方法應(yīng)用到足球比賽視頻中, 分析2012年歐洲杯比賽及2013—2014賽季Barcelona球隊的所有進球情況, 對整個比賽及單支球隊主要采用的戰(zhàn)術(shù)行為進行識別, 根據(jù)人工分類標(biāo)注的結(jié)果計算準確率, 從而驗證本文方法的有效性.

1 相關(guān)原理

2D局部回歸核[14]是針對單幀圖像進行的顯著性檢測方法, 該方法通過圖像底層特征的提取對其進行分析. 為計算單幀圖像中每個像素點的顯著性, 首先需計算每個像素點的局部回歸核, 以中心點及其鄰域上的點構(gòu)成一個3×3(5×5)的局部窗口, 本文將2D局部回歸核函數(shù)定義為

(1)

其中:l∈{1,2,…,n},n為局部窗口中的像素點數(shù);i∈{1,2,…,m},m為單幀圖片像素總數(shù);k為抑制噪聲平滑參數(shù), 本文將其設(shè)置為固定值;Kl為協(xié)方差矩陣. 用式(1)計算局部窗口中鄰域點與中心像素點間的核函數(shù)值, 并對局部窗口中計算出的所有核函數(shù)值進行歸一化處理, 得到該局部窗口中心點的特征向量Fi. 計算出圖像中每一像素點在其局部窗口的特征向量后, 用

(2)

進行自相似方法測量. 其中:

‖·‖S為Schmidt范數(shù);

將其代入式(2), 可得顯著性表達式為

(3)

針對單幀圖像即2D圖像中的每個像素點用上述方法進行計算, 將計算出的Gi值與預(yù)先給定的閾值進行比較, 找出靜態(tài)圖像中較顯著的所有像素點. 由于該方法相對于其他計算顯著性點的方法是非參數(shù)的, 因此運算速度較快, 針對一些噪聲圖像有很好的魯棒性.

在利用2D局部回歸核針對單幀圖像進行檢測時, 本文選用Libsvm分類器輔助該算法進行模型檢測, 并借助Libsvm軟件對所給數(shù)據(jù)進行分類, 針對諸如小樣本問題, 其分類效果較理想, 執(zhí)行步驟如圖1所示.

圖1 Libsvm分類器執(zhí)行步驟

2 基于局部時空模式的活躍度判別模型

由于視頻中的行為識別是對輸入的一段視頻序列進行分析, 因此本文在單幀圖像中利用局部回歸核作為特征檢測子對圖像像素點進行顯著性檢測的基礎(chǔ)上, 提出一種基于局部時空模式的活躍度目標(biāo)物檢測方法. 該方法將時空狀態(tài)下的局部回歸核作為特征檢測子, 針對視頻片段序列中的像素點進行檢測. 首先對輸入視頻的像素點活躍度給出一個判別函數(shù), 該判別函數(shù)建立在概率基礎(chǔ)上, 其表達式為

(4)

其中: PixL(i)=(x,y,tj),i=1,2,…,I和j=1,2,…,J表示視頻序列中圖像的像素點坐標(biāo); PixV(i)表示如果第i個像素點為活躍點, 則對其賦值1, 否則賦值0； th為本文預(yù)先給定的閾值, 以便判斷該點是否活躍. 由于時空狀態(tài)下的一點可用三維直角坐標(biāo)系中的坐標(biāo)表示, 在三維狀態(tài)下, 本文從時間維度及空間維度考慮時空序列下的視頻片段, 給定XT,YT表示時間維度,XY表示空間維度, 將視頻序列中的像素點作為計算的中心點, 使用2D局部回歸核的計算方法分別計算出該像素點在XY,XT,YT3個坐標(biāo)面上的顯著性概率值, 然后對時間維度和空間維度賦以權(quán)重, 對計算出的3個面概率值進行特征融合, 將3個平面融合后的值定義為活躍度, 從而獲得該像素點在時空位置下的活躍度. 對時空中每個像素點作如上處理, 繼而實現(xiàn)時空模式中視頻幀序列上的局部運動活躍度特征檢測.

在特征T下, PixV(i)=1的概率值計算表達式為

其中: Fusion(TXY,TXT,TYT)表示以PixL(i)=(x,y,tj)點為中心的3個正交面XY,XT,YT上的特征融合函數(shù);T表示在其鄰域窗口內(nèi)得到的特征向量矩陣;W表示鄰域窗口的尺度;TXY,TXT,TYT分別表示XY,XT,YT在3個正交面上提取的特征值. 由于輸入的視頻幀是彩色圖像, 用XY坐標(biāo)面上視頻幀圖像對應(yīng)的R/G/B三色信道上的特征融合值表示TXY的特征值,XY,YT坐標(biāo)面上視頻幀圖像對應(yīng)灰色信道特征表示TXT,TYT特征值, 用a1,a2表示權(quán)值.

為了對條件概率公式(5)進行求解, 利用Bayes公式對其進行簡化：

(6)

其中p(Pixl(i)=1)和p(T)的先驗分布概率全部為均勻分布的常量, 因此Ai=P(PixV(i)=1|T)正比于p(T|PixV(i)=1), 即可將式(6)化簡為如下形式：

Ai=P(PixV(i)=1|T)=βp(T|PixV(i)=1),

(7)

對于特征T的計算, 首先分別計算XY,XT,YT每個正交面上的顯著性概率值, 以XT平面為例, 計算XT坐標(biāo)面每個像素點的核函數(shù), 表達式為

(8)

其中: PixV(m)為XT坐標(biāo)面上以PixV(n)為中心點的鄰域窗口內(nèi)的像素;Cm為鄰域窗口內(nèi)像素值的協(xié)方差矩陣;k為抑制噪聲的平滑參數(shù), 本文自定義給出. 計算出坐標(biāo)面上所有點的核函數(shù)值后, 對每個像素點在其局部窗口內(nèi)進行歸一化處理, 并將歸一化后的值作為特征向量, 表達式為

(9)

得到所有像素點在該坐標(biāo)面上的特征向量后, 便可計算該像素點的條件概率, 計算表達式為

(10)

對該像素點在XY,YT坐標(biāo)面上也做相同處理, 然后由式(4)和式(5), 即以子視頻段中每個像素點為中心, 計算該點在空間正交面檢測值的加權(quán)線性融合值, 與給定的閾值比較便可得到該點在時空模式下最終的活躍度判定結(jié)果.圖2為視頻片段中某一像素點在時空模式下的局部特征檢測子示意圖.

3 實 驗

為驗證本文提出方法的有效性, 實驗窗口設(shè)為3×3的局部窗口, 且選取2012年歐洲杯賽事的進球視頻和2013—2014賽季Barcelona球隊的進球視頻作為輸入數(shù)據(jù)進行戰(zhàn)術(shù)行為識別.

3.1 視頻預(yù)處理

將輸入的視頻以視頻幀圖像作為輸入：

x={x1,x2,…,xi,…,xN},

(11)

其中:xi(i=1,2,…,n)表示x子視頻段的第i幀圖像;N表示其幀數(shù). 將輸入的視頻段按相同時間間隔長度進行分割, 表示為

x={x1,x2,…,xj,…,xM},

(12)

其中M表示將整段輸入視頻進行分割的子視頻段的段數(shù);

xj={xj1,xj2,…,xjq,…,xjm},j=1,2,…,M,

(13)

表示分割輸入視頻的第j個子視頻, 且jm=pm,j≠p,j,p=1,2,…,M,q=1,2,…,N,xjq為第j個子視頻段中的第q幀圖像.

為使球員在球場上的時空分布看起來不過于密集或稀疏[15], 將子視頻段劃分為3～9個較合理. 劃分不同段數(shù)的識別精度如圖3所示. 由圖3可見, 將一個視頻段等分為6個子視頻段的效果最好, 每個子視頻段時間應(yīng)小于10 s.

3.2 信息特征提取

3.2.1 區(qū)域劃分 利用文獻[16]提出的場地線檢測算法, 以標(biāo)準足球場地的左半場為劃分對象, 右半場地做相同處理. 根據(jù)足球場的幾何特征, 對其進行如下劃分： 除頂點外在左半場邊線做等距3個點, 底線上做對稱3個點, 以直線連接相對線的對應(yīng)點即可得到一個包含16個小區(qū)域的左半場地. 圖4為足球場地劃分后的示意圖.

圖3 分割數(shù)識別精度

圖4 足球場地劃分示意圖

3.2.2 顯著性區(qū)域判別檢測 針對視頻中的目標(biāo)行為特征, 為得到符合人類視覺機制感興趣的區(qū)域或部分, 本文在局部回歸核的基礎(chǔ)上融入視覺顯著性的區(qū)域判別概念, 對視頻幀內(nèi)顯著性區(qū)域進行精確提取, 以保證得到的特征信息符合觀測需求. 像素、 超體素的顯著度與視頻顯著圖的計算均是顯著性區(qū)域判別檢測過程的重要組成部分. 顯著圖計算公式為

(14)

為視頻幀數(shù)間的變化增量,λ為時間增量權(quán)重,α為時間調(diào)控因子,N為歸一化算子集合(其集合值屬于[0,1]). 通過視頻幀顯著圖對顯著度加權(quán)后, 得到每個超體素值集合, 并用該集合表示區(qū)域判別性的判別度大小, 超體素顯著度公式為

(15)

其中:S(i)為視頻幀中對應(yīng)的第i個超體素;N(S(i))為第i個超體素中包含的像素個數(shù);q為像素點, Sal(q)為像素的顯著度. 針對判別性顯著度得到顯著性加權(quán)判別度公式為

(16)

其中:f(S(i))為第i個超體素判別后結(jié)果;β為平衡項權(quán)值. 當(dāng)D(S(i))>2時, 被視為視頻的顯著性判別區(qū)域, 為觀測目標(biāo)區(qū)域, 最終實現(xiàn)區(qū)域性判別效果[17].

3.2.3 活躍球員檢測與定位 根據(jù)本文提出的三維狀態(tài)局部時空回歸核, 構(gòu)建直接參與戰(zhàn)術(shù)的活躍球員判別模型. 本文將局部時空回歸模型的閾值設(shè)為0.7, 將線性加權(quán)特征融合計算表達式中的權(quán)值設(shè)為a1=0.4,a2=0.6. 每個活躍度區(qū)域代表場上的一個球員, 若活躍度大于等于閾值, 則為活躍的, 否則為非活躍的, 然后構(gòu)建活躍度圖, 檢測出分割的每個子視頻段的活躍度球員, 并結(jié)合文獻[18]提出的攝像機標(biāo)定模型, 將其定位到已劃分好的球場區(qū)域上.

3.2.4 特征詞袋模型構(gòu)建與串聯(lián) 針對每個子視頻段, 將得到的活躍度圖對應(yīng)真實空間坐標(biāo)系中的球場分割區(qū)域位置進行相應(yīng)標(biāo)號, 即令Ej(i)=a,a∈{1,2,…,16}, 其中Ej(i)表示子視頻段xj上的第i個運動活躍度區(qū)域,a為對應(yīng)的球場區(qū)域標(biāo)號, 每個活躍度區(qū)域?qū)?yīng)一個足球運動員. 由于不同球隊的球衣顏色不同, 因此可根據(jù)其顏色紋理信息對球員所屬球隊進行識別, 將子視頻段上的所有活躍球員對應(yīng)的球場區(qū)域進行標(biāo)號并識別出其所屬的球隊.

先將等時間分割的所有子視頻段進行上述相同處理, 然后計算每個子視頻段中所要識別球隊的運動活躍度區(qū)域在每個球場分割區(qū)域中出現(xiàn)的頻次, 頻次定義為

(17)

構(gòu)建子視頻段xj上的活躍度區(qū)域特征詞袋直方圖λj, 仍以左半場為例, 直方圖中橫軸表示子視頻段中{1,2,…,16}的球場區(qū)域標(biāo)號, 縱軸表示每個球場區(qū)域中實驗方球隊活躍度區(qū)域出現(xiàn)的頻次. 因為子視頻段是按等時間間隔進行分割的, 因而在時序上有著連續(xù)關(guān)系. 得到每個子視頻段的特征詞袋直方圖后將其按時序關(guān)系串聯(lián), 即可得到足球視頻戰(zhàn)術(shù)行為的特征表示{λ1,λ2,…,λj,…,λM}.

3.3 戰(zhàn)術(shù)行為識別分類

圖5 足球場上戰(zhàn)術(shù)行為識別分類

根據(jù)球員在進攻過程中足球場上所處的位置給出3種戰(zhàn)術(shù)行為類別, 即中路進攻、 邊路進攻和協(xié)同進攻. 中路進攻對應(yīng)圖4中的{5,6,7,8}和{9,10,11,12}區(qū)域, 邊路進攻對應(yīng)圖4中的{1,2,3,4}和{13,14,15,16}區(qū)域, 協(xié)同進攻活躍球員均勻出現(xiàn)在所劃分的區(qū)域上, 即對應(yīng)的局部時空模式平均分布于中路進攻和邊路進攻間. 按照進攻中球的傳遞方式將其分為快速反擊和短傳滲透. 將3種按位置分類的方式與2種按傳遞的分類方式相結(jié)合, 可得到相應(yīng)的6種組合分類方式, 借助Libsvm分類器對輸入的進球視頻進行處理, 直觀的分類如圖5所示.

將整場比賽中的某支球隊或某個賽事的戰(zhàn)術(shù)行為按上述方法分類后, 根據(jù)進球過程中采用的6種戰(zhàn)術(shù)行為所占百分數(shù), 便可分析其在比賽中所使用的主要戰(zhàn)術(shù)行為.

3.4 實例分析

1) 2012年歐洲杯. 為得到查全率、 查準率及準確率, 對所選取的2012年歐洲杯足球賽進球視頻進行人工標(biāo)注, 結(jié)果列于表1.

表1 2012年歐洲杯足球賽采用各戰(zhàn)術(shù)的進球數(shù)量及所占百分數(shù)

經(jīng)篩選, 有60個包含上述定義的6種進攻模式進球片段. 2012年歐洲杯足球賽中6種進攻模式的視頻幀如圖6所示.

下面以人工標(biāo)注結(jié)果m為比較標(biāo)準, 將計算機識別結(jié)果與人工標(biāo)注結(jié)果進行比較分析. 設(shè)識別正確的結(jié)果為hc, 識別錯誤的結(jié)果為hf, 未能識別出的結(jié)果為hm. 為說明識別結(jié)果的準確性, 對輸入數(shù)據(jù)進行多次實驗然后取平均值. 查全率R、 查準率P及準確率C分別定義為

利用本文方法得到的2012年歐洲杯足球比賽中采用的6種進攻模式的識別結(jié)果列于表2. 由表2可見, 2012年歐洲杯足球比賽中球隊進球主要采用中路快速反擊方式, 其次是協(xié)同快速反擊. 應(yīng)用的6種戰(zhàn)術(shù)行為中, 中路和邊路進攻的戰(zhàn)術(shù)方式識別準確率較高, 而協(xié)同進攻的準確率相對前兩者稍低, 但也達到80%以上. 其中協(xié)同快速反擊和協(xié)同短傳滲透的識別準確率分別為90.6%和80%, 但協(xié)同短傳滲透的查全率及查準率分別為69.6%和71.1%, 低于其他戰(zhàn)術(shù)行為識別結(jié)果, 這主要是由于識別過程中對中路及邊路的界限區(qū)分人眼識別不很清楚, 所以人工標(biāo)注結(jié)果有誤差, 而由協(xié)同進攻的定義也可理解其準確率相對較低的原因.

圖6 2012年歐洲杯足球賽6種進攻模式視頻幀圖像

表2 2012年歐洲杯足球賽進球戰(zhàn)術(shù)行為識別結(jié)果及準確率

圖7 2013—2014賽季Barcelona隊6種進攻模式視頻幀圖像

2) 2013—2014賽季Barcelona隊. 圖7為2013—2014賽季Barcelona隊相應(yīng)6種進攻模式的視頻幀. 2013—2014賽季西甲Barcelona隊采用的6種進攻模式的人工標(biāo)注結(jié)果及本文方法的識別結(jié)果分別列于表3和表4. 由表4可見, Barcelona隊主要采用中路進攻的方式, 其中中路快速反擊相比于短傳滲透所占百分數(shù)更大, 實驗結(jié)果與實際情況相符, 測試中6種戰(zhàn)術(shù)行為結(jié)果準確率均達到80%以上, 與人工標(biāo)注結(jié)果相符. 由于人工標(biāo)注過程中帶有一定的主觀性, 同時對球場區(qū)域的劃分沒有一定的標(biāo)準, 且樣本數(shù)量相對較少, 因此本文實驗與實際結(jié)果比較存在一定偏差. 經(jīng)計算, 實驗結(jié)果的平均準確率達91.3%, 實驗結(jié)果較理想.

表3 2013—2014賽季西甲Barcelona隊采用各戰(zhàn)術(shù)的進球數(shù)量及所占百分數(shù)

表4 2013—2014賽季西甲Barcelona隊進球戰(zhàn)術(shù)行為識別結(jié)果及準確率

綜上所述, 本文在基于2D局部回歸核進行圖片像素點顯著性檢測的基礎(chǔ)上, 提出了一種基于局部時空模式的活躍度判別模型. 首先, 通過計算時空上某一中心點在3個正交面上的特征融合值對該點活躍度進行判別, 構(gòu)建活躍度圖. 其次, 提出將活躍度圖對應(yīng)于真實區(qū)域構(gòu)建特征詞袋模型, 結(jié)合研究對象的顏色信息作出特征直方圖, 最后, 將每個子視頻段的特征直方圖按時序關(guān)系進行串聯(lián), 根據(jù)每個行為的特征選擇利用Libsvm識別分類器進行分類識別, 有效解決了基于軌跡方法中由于遮擋導(dǎo)致軌跡提取不完整或背景過于復(fù)雜等因素造成的識別準確程度較低的問題. 將本文方法應(yīng)用到2012年歐洲杯及2013—2014賽季西甲足球比賽視頻中對球員進球的戰(zhàn)術(shù)行為進行識別, 平均準確率為91.3%. 實驗結(jié)果驗證了本文方法對視頻中目標(biāo)物行為識別具有較高的準確性和實用性.