足球比賽視頻中的球員目標(biāo)跟蹤與檢測研究

吳超侯慶昆

（1.對外經(jīng)濟(jì)貿(mào)易大學(xué)體育部 北京 100029；2.聊城大學(xué)體育學(xué)院 山東 聊城 252000)

1、介紹

隨著計算機(jī)技術(shù)的迅速發(fā)展，它越來越多地應(yīng)用到人類社會的各個部門，擴(kuò)展了人類的大腦和感知能力。在視覺技術(shù)方面，計算機(jī)的利用可以模擬人類的視覺感知，促進(jìn)了計算機(jī)視覺(Computer vision,CV)的產(chǎn)生和發(fā)展，使計算機(jī)實現(xiàn)了人類的視覺功能，最終理解了三維世界。CV中的視頻目標(biāo)跟蹤 (Video Target Tracking,VTT)技術(shù)是通過計算機(jī)不斷推斷視頻中目標(biāo)位置的過程。具體來說，計算機(jī)在視頻的每一幀中定位目標(biāo)，然后生成盡可能完整的目標(biāo)活動軌跡。VTT技術(shù)廣泛應(yīng)用于日常和軍事目的，包括視頻監(jiān)控、虛擬現(xiàn)實(VR)、交通監(jiān)控、人機(jī)交互(HCI)、公共安全等方面，具有重要的理論意義和實用價值。對目標(biāo)檢測的研究，對于更好地分析球員的技術(shù)特點尤為重要。

目標(biāo)跟蹤需要解決的問題是在視頻中選擇要跟蹤的目標(biāo)，在下一幀視頻中找到目標(biāo)的準(zhǔn)確位置。體育賽事作為一項積極健康的大眾娛樂項目，更多的是以視頻的形式呈現(xiàn)，受到大眾的關(guān)注和討論。因此，體育視頻的自動分析技術(shù)變得越來越關(guān)鍵。足球視頻是一種受眾極其廣泛的體育視頻。在這些視頻中，會對球員進(jìn)行追蹤和檢測。一方面，教練和球員可以根據(jù)視頻分析數(shù)據(jù)，討論整體戰(zhàn)術(shù)和個人技術(shù)特點；另一方面，在轉(zhuǎn)播過程中，視頻分析可以增強(qiáng)比賽的觀看體驗，從而滿足觀眾的需求。如果能夠利用圖像處理領(lǐng)域最流行的深度學(xué)習(xí)(Deep Learning,DL)算法，針對足球比賽場景設(shè)計一種魯棒的多目標(biāo)檢測與跟蹤算法，得到的算法將具有很高的實用價值和意義。從2012年開始，DL技術(shù)經(jīng)歷了8年的發(fā)展；目前，它已廣泛應(yīng)用于CV任務(wù)，并在視覺檢測和跟蹤領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)規(guī)模的不斷增長，基于DL的目標(biāo)跟蹤算法的提出，也使得目標(biāo)跟蹤領(lǐng)域有了更大的突破。有學(xué)者利用貝葉斯網(wǎng)絡(luò)推理方法，帶目標(biāo)地在構(gòu)造圖中尋找最優(yōu)路徑。在此基礎(chǔ)上，通過預(yù)測位置、顏色、運(yùn)動方向、選手的平均速度等，可以在短時間內(nèi)解決遮擋等問題。

2、研究方法

2.1、目標(biāo)的特征表達(dá)

在目標(biāo)跟蹤和檢測任務(wù)中，玩家的特征表達(dá)將直接影響目標(biāo)跟蹤效果。在足球游戲中，要避免遮擋球員被不同隊伍的其他人所攻擊并造成跟蹤誤差的情況下，研究局部特征以增強(qiáng)目標(biāo)的表達(dá)，提高跟蹤效果是很重要的。定向梯度直方圖 (Histograms of Oriented Gradients，HOG)特征最早是由法國研究者Dalal等人提出的，是為了解決人體目標(biāo)檢測的問題。HOG特征是在CV和圖像處理中用于目標(biāo)檢測的特征描述符。它通過計算和計數(shù)圖像局部區(qū)域的梯度方向直方圖來組成特征，在描述人體方面有很好的效果。在足球比賽視頻中，HOG用梯度或邊緣信息來描述圖像中局部目標(biāo)的外觀和形狀。因此，它可以描述局部形狀信息，然后將球員從背景中區(qū)分出來。在HOG特征提取過程中，首先將其劃分為若干個小的連通區(qū)域(Cells)，并統(tǒng)計每個像素的HOG；其次為了保證特征的光照不變性，需要在更大范圍內(nèi)(Block)對局部直方圖的對比度進(jìn)行歸一化處理。HOG特征提取的主要步驟如圖1所示，包括圖像歸一化(灰度和Gamma校正)、梯度計算、Cell HOG統(tǒng)計以及Block內(nèi)歸一化；最后，生成HOG特征。為了減少光照的影響，處理光照過弱或過強(qiáng)的情況，需要對整個圖像進(jìn)行灰度和Gamma校正的歸一化處理。在圖像的紋理強(qiáng)度中，局部表面曝光貢獻(xiàn)了更大的比例。這種處理可以有效地減少圖像中的局部陰影和光照變化。HOG特征考慮了代表邊緣和形狀特征的梯度信息。顏色幾乎沒有貢獻(xiàn)，可以直接轉(zhuǎn)換成灰度圖像。灰度結(jié)果表示為：(1)中，R、G、B分別表示紅、綠、藍(lán)3種原色的成分。

圖1 HOG特征提取的主要步驟

為了減少圖像中的局部陰影和照度變化，首先，需要對整個圖像進(jìn)行Gamma校正，以增加或減少圖像的整體亮度。在實際操作中，可以使用兩種不同的方法進(jìn)行Gamma標(biāo)準(zhǔn)化:平方根法或?qū)?shù)法。

計算圖像橫坐標(biāo)和縱坐標(biāo)的梯度，并相應(yīng)計算每個像素位置的梯度方向值；差分運(yùn)算不僅捕捉了輪廓、人體陰影和一些紋理信息，還削弱了光照的影響。

2.2、基于深度學(xué)習(xí)的目標(biāo)檢測算法改進(jìn)

一般情況下，視覺輸入由相機(jī)拍攝，然后連接到計算機(jī)。攝像機(jī)可以是靜止的，也可以是動態(tài)的。計算機(jī)利用跟蹤結(jié)果執(zhí)行必要的跟蹤和任何更高級別的任務(wù)。目前，基于深度學(xué)習(xí)的檢測方法已經(jīng)逐漸成為圖像檢測領(lǐng)域的主流技術(shù)。然而，在視頻分析方面，考慮到CNN在提取圖像中高級語義方面的優(yōu)異表現(xiàn)，除了對物體具有較強(qiáng)的魯棒性外，還將其作為目標(biāo)檢測的基礎(chǔ)。雖然已經(jīng)提出了端到端的學(xué)習(xí)方法，但是R-CNN系列模型作為一種基于區(qū)域提議(Region Proposal,RP)的目標(biāo)檢測算法，對于深度學(xué)習(xí)目標(biāo)檢測有著極其本質(zhì)的價值。R-CNN算法的總體思路是利用選擇性搜索(Selective Search,SS)算法在輸入圖像中獲取2000個獨(dú)立的RP；然后通過CNN提取每個固定RP中的目標(biāo)特征；最后利用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行目標(biāo)分類。利用CNN強(qiáng)大的特征提取能力，提高目標(biāo)檢測的性能。雖然通過SS算法可以直接獲得2000個RP，但由于每個RP都需要卷積，會造成大量的工作負(fù)載。測量發(fā)現(xiàn)，通過R-CNN模型完成對圖像的識別需要47s，在實時性方面存在較大的劣勢。在此基礎(chǔ)上，F(xiàn)ast-RCNN算法顯著縮短了模型訓(xùn)練和測試的時間，圖像識別的整體時間減少到1s以下。Fast-RCNN算法的優(yōu)化表現(xiàn)在在歸一化過程中利用了ROI Pooling方法，可以保證提取的特征向量具有相同的維數(shù)，從而使RP的失真較小，同時有效保留了RP的主要特征。此外，F(xiàn)ast-RCNN在CNN上進(jìn)行了分類和回歸。R-CNN算法返回邊界信息再對信息進(jìn)行分類的過程相比，這使得整個訓(xùn)練過程無需額外存儲。隨著R-CNN系列模型的發(fā)展，基于視覺幾何組16(Visual Geometry Group 16，VGG16)的fast-rcnn算法只需要進(jìn)行一次具有多個共享卷積層的卷積計算，即可獲得RP及其邊界。在fastrcnn算法中，首先通過conv層提取圖像特征，得到特征圖。然后，通過區(qū)域建議網(wǎng)絡(luò) (Regional Proposal Network,RPN)層生成Rps，通過興趣區(qū)域(Region of Interest,ROI)池化層完成歸一化過程。輸出固定大小的提議特征圖并發(fā)送到全連接層，在全連接層中完成目標(biāo)RP的計算，獲得目標(biāo)最終的精確位置。而對于足球比賽視頻中球員目標(biāo)的檢測，原來的Faster R-CNN(FRCN)算法是不適合小目標(biāo)。因此，會出現(xiàn)漏檢的情況。因此，有必要對算法進(jìn)行改進(jìn)。

2.3、球員運(yùn)動軌跡提取

當(dāng)探測器在足球比賽視頻的每一幀中檢測到目標(biāo)時，目標(biāo)跟蹤問題可以看作是現(xiàn)有軌跡集與新檢測到的目標(biāo)之間的匹配問題。在跟蹤球員的過程中，首先需要通過CNN對圖像進(jìn)行實時檢測，以獲取目標(biāo)集。在第一次檢測到每個目標(biāo)時，初始化其狀態(tài)向量，并表示為四維列向量xk：

圖2 多尺度特征提取算法

(1)中，x,y 表示目標(biāo)的位置信息 |（vy）|，vx，vy 表示目標(biāo)的速度信息。由于在視頻中只能檢測到目標(biāo)的位置信息，x.k初始化為(x0y0)，目標(biāo)的觀測向量可表示為zk=(x,y)T。由于視頻中相鄰幀之間的時間間隔約為30 ms，因此可以將目標(biāo)的運(yùn)動近似為均勻線性運(yùn)動。

綜合考慮目標(biāo)的運(yùn)動特征和檢測特征后，構(gòu)造t?1時刻設(shè)定的軌跡與t時刻設(shè)定的目標(biāo)之間的相似矩陣。相似矩陣表示新檢測到的目標(biāo)與現(xiàn)有運(yùn)動軌跡中的目標(biāo)之間的相似度，并表示出來

(2)Tt-1表示在t-1和D時刻設(shè)置的軌跡t表示t時刻設(shè)置的檢測目標(biāo)。

在構(gòu)建相似矩陣后，利用匈牙利方法求解數(shù)據(jù)關(guān)聯(lián)問題。為了避免誤關(guān)聯(lián)，設(shè)置了相似度閾值。如果軌跡與按照匈牙利方法分配的探測目標(biāo)之間的相似度低于設(shè)置的閾值，則不進(jìn)行關(guān)聯(lián)。如果在軌跡集或目標(biāo)檢測集中仍然存在不相關(guān)的元素，則認(rèn)為該目標(biāo)被遮擋、消失或新增。比較復(fù)雜的目標(biāo)遮擋問題在這里進(jìn)行分析。

足球比賽中的目標(biāo)遮擋包括部分遮擋和完全遮擋。如果目標(biāo)被部分遮擋(玩家B遮擋玩家A)，探測器將兩個目標(biāo)作為一個目標(biāo)進(jìn)行探測。此時，檢測到的特征信息包括2個目標(biāo)，因此A和B的軌跡可能是相關(guān)的，最終會導(dǎo)致一個目標(biāo)的軌跡存在，另一個目標(biāo)軌跡消失。如果目標(biāo)被完全遮擋(參與人B幾乎完全遮擋參與人A)，探測器就會智能檢測到一個目標(biāo)(參與人B)，參與人A就會消失。對目標(biāo)的部分遮擋會導(dǎo)致對目標(biāo)的漏檢。當(dāng)出現(xiàn)這種情況時，檢測結(jié)果可以通過已有的軌跡信息進(jìn)行校正，滑動窗口可以將新目標(biāo)分離并添加到軌跡集合中。

圖3 目標(biāo)遮擋后的分離算法流程

3、結(jié)論

隨著計算機(jī)技術(shù)的發(fā)展，對足球比賽視頻分析技術(shù)的性能要求不斷提高。在目標(biāo)跟蹤和檢測領(lǐng)域，已經(jīng)挖掘和應(yīng)用了很多算法，這對目標(biāo)跟蹤很有幫助。但考慮到在足球比賽中，傳統(tǒng)的目標(biāo)跟蹤方法無法滿足比賽視頻目標(biāo)跟蹤的要求，由于場地、運(yùn)動模式等因素的影響，需要進(jìn)行優(yōu)化。DL技術(shù)的發(fā)展對目標(biāo)檢測具有重要意義。因此，在這里將其與目標(biāo)檢測結(jié)合起來。首先，討論了R-CNN模型系列的應(yīng)用，改進(jìn)了FRCN模型在小目標(biāo)檢測方面的缺陷。對FRCN算法進(jìn)行了優(yōu)化，并在數(shù)據(jù)集OTB2013上測試了準(zhǔn)確率和成功率。結(jié)果表明，優(yōu)化后的FRCN算法的目標(biāo)跟蹤精度達(dá)到89.1%，目標(biāo)跟蹤成功率達(dá)到64.5%，運(yùn)行幀率保持在25fps左右。目標(biāo)跟蹤的準(zhǔn)確性超過了用來完成再檢測任務(wù)的SINT算法。為了更有效地測試所提出的玩家軌跡提取算法的性能，在公共數(shù)據(jù)集上測試了玩家軌跡提取的效果。在80個運(yùn)動軌跡上，優(yōu)化后的FRCN算法的優(yōu)點是平均檢測結(jié)果更好，每個軌跡的檢測結(jié)果波動不大。在正常情況下，F(xiàn)RCN算法在大多數(shù)幀中都不會丟失目標(biāo)。但是，隨著重疊的增加，它的AUC迅速下降，這可能與基于dl的非尺度檢測器有關(guān)。在目標(biāo)被遮擋的情況下，與其他算法相比，優(yōu)化后的FRCN算法的AUC下降幅度較小。綜上所述，基于DL技術(shù)的優(yōu)化FRCN算法能夠更好地跟蹤足球比賽視頻中的球員目標(biāo)，并且對于球員互相遮擋的情況具有魯棒性。由于沒有討論不同球隊球員遮擋情況下的目標(biāo)跟蹤問題，因此存在一定的局限性，未來將加以改進(jìn)，以便更好地利用深度學(xué)習(xí)現(xiàn)代技術(shù)分析足球比賽中球員的技術(shù)特點，優(yōu)化觀眾體驗，帶動源自足球的經(jīng)濟(jì)產(chǎn)品的發(fā)展，促進(jìn)足球運(yùn)動的傳播推廣。