基于中底層視覺信息的體育視頻智能分析*

屈 萍，屈勝國(guó)，康 濤，趙云雷

（1.中山大學(xué) 教育學(xué)院，廣東 廣州 510275；2.武漢體育學(xué)院 體育工程與信息技術(shù)系，湖北 武漢 430079；3.武漢體育學(xué)院 運(yùn)動(dòng)訓(xùn)練學(xué)院，湖北 武漢 430079）

基于中底層視覺信息的體育視頻智能分析*

屈 萍1，2，屈勝國(guó)3，康 濤1，趙云雷1

（1.中山大學(xué) 教育學(xué)院，廣東 廣州 510275；2.武漢體育學(xué)院 體育工程與信息技術(shù)系，湖北 武漢 430079；3.武漢體育學(xué)院 運(yùn)動(dòng)訓(xùn)練學(xué)院，湖北 武漢 430079）

在借鑒了計(jì)算機(jī)視覺技術(shù)和多媒體處理算法的基礎(chǔ)上，提出了一種基于全自動(dòng)高效視頻分析框架的分析和總結(jié)的體育視頻分析結(jié)構(gòu)。本視頻分析框架擬從底層特征提取、中級(jí)關(guān)鍵基元生成出發(fā)，初步實(shí)現(xiàn)體育視頻中的鏡頭分類和運(yùn)動(dòng)對(duì)象識(shí)別以及跟蹤等。分析框架中包含了一些中低級(jí)別的足球視頻鏡頭分類處理算法，如主色區(qū)域檢測(cè)，魯棒鏡頭邊界檢測(cè)，以及目標(biāo)檢測(cè)等等。

體育視頻分析；鏡頭分類；事件檢測(cè)；特征提取

隨著Internet互聯(lián)網(wǎng)、手機(jī)網(wǎng)絡(luò)的不斷進(jìn)步和發(fā)展，人們可以隨時(shí)隨地觀看各種體育視頻，包括各種賽事的足球、籃球、網(wǎng)球，以及奧運(yùn)會(huì)、亞運(yùn)會(huì)等大型體育賽事的體育視頻。這些體育視頻是一類重要的媒體數(shù)據(jù)，它擁有龐大的觀眾人群、寬廣的應(yīng)用遠(yuǎn)景和不可忽視的商業(yè)潛力，受到相關(guān)學(xué)科領(lǐng)域和工商業(yè)界的注意。另外，隨著Internet、移動(dòng)電話和相關(guān)移動(dòng)設(shè)備（如iPad、移動(dòng)電視等）的應(yīng)用推廣，人們對(duì)體育視頻的需求已不僅僅局限于直接觀看和簡(jiǎn)單瀏覽，逐步向多功能和多元化發(fā)展，尤其表現(xiàn)在對(duì)特定事件的檢測(cè)（比如精彩進(jìn)球）、精彩片斷摘要等方面，希望從中獲得更多的信息和更細(xì)致的服務(wù)。然而，鑒于視頻非結(jié)構(gòu)化的數(shù)據(jù)格式、龐大的數(shù)據(jù)信息和表現(xiàn)內(nèi)容模糊等缺點(diǎn)，造成了視頻數(shù)據(jù)統(tǒng)計(jì)分析等非常困難，同時(shí)這些服務(wù)還需要對(duì)許多視頻進(jìn)行智能化的語(yǔ)義分析與理解，在本文中將主要研究基于中底層視覺信息的體育視頻智能分析框架。

1 體育視頻分析研究框架

對(duì)視頻數(shù)據(jù)中蘊(yùn)涵的視覺和語(yǔ)義內(nèi)容進(jìn)行計(jì)算機(jī)處理、分析與理解并根據(jù)內(nèi)容進(jìn)行檢索，其本質(zhì)是對(duì)無(wú)序的視頻數(shù)據(jù)結(jié)構(gòu)化，提取視覺與語(yǔ)義信息，從而保證視頻內(nèi)容能被迅速檢索到。

體育視頻分析的研究框架通常被視作一個(gè)三層次框架，即低級(jí)特征層、中級(jí)關(guān)鍵基元生成層和高級(jí)事件分析層（見圖1）。低級(jí)特征層是能直接從視頻數(shù)據(jù)中提取的信息，包含視覺（單幀畫面的色彩和形狀、動(dòng)態(tài)內(nèi)容等）、聽覺（音頻信息）和文本特征。本結(jié)構(gòu)頂層為某些語(yǔ)義實(shí)體，諸如比賽過程和結(jié)構(gòu)、精彩瞬間、特殊事件等等。本文的研究重點(diǎn)主要基于低級(jí)特征提取和中級(jí)關(guān)鍵基元生成。

圖1 體育視頻分析結(jié)構(gòu)

在體育視頻分析中，存在著底層與高層間的語(yǔ)義鴻溝，為了解決這個(gè)問題，需要建立一個(gè)中間描述層，為低、高級(jí)語(yǔ)義架起橋梁。建立中級(jí)描述層，需要融入先驗(yàn)知識(shí)和特殊領(lǐng)域規(guī)則，幫助底層作出選擇，并進(jìn)行高級(jí)語(yǔ)義的推理。中間層定義了對(duì)視頻片段的描述，稱為關(guān)鍵基元，包括：①視頻關(guān)鍵基元，如鏡頭種類、運(yùn)動(dòng)方式、主要運(yùn)動(dòng)目標(biāo)方位和軌跡、紋理與形狀、比賽方位等；②音頻關(guān)鍵基元，如槍聲、觀眾的吶喊、記者的聲音、評(píng)論員的聲音或突然出現(xiàn)的靜音等；③文本關(guān)鍵基元，包括場(chǎng)景和人工加上的字幕等，如 “得分”、“犯規(guī)”。本文主要針對(duì)視頻關(guān)鍵基元進(jìn)行分析研究。

2 底層特征提取

視頻的底層特征應(yīng)包括視覺特征、聲音特征和文本特征等，本文主要討論視頻分析中的底層視覺特征。視覺信息視頻的最重要的組成部分之一，包括單幀圖像的顏色、紋理和形狀以及視頻的運(yùn)動(dòng)信息。

2.1 顏色特征

在該公式中，我們先把顏色從RGB顏色空間轉(zhuǎn)換到HSB空間，然后統(tǒng)計(jì)H通道的直方圖H［imin，imax］，Qsize為H顏色直方圖量化的尺寸。

視頻顏色處理的方法很多，主要方法是顏色直方圖提取，這里我們采用Ekin等（2003）的視頻主要顏色提取方法處理顏色特征，依照?qǐng)D像的顏色分布，可將鏡頭分為遠(yuǎn)景鏡頭、中景鏡頭以及特寫和場(chǎng)外鏡頭。另外該特征可用于特定目標(biāo)檢測(cè)、跟蹤與識(shí)別等。例如足球比賽視頻中，足球場(chǎng)有一個(gè)明顯的主色調(diào)（綠色基調(diào)），但在不同的天氣和照明條件下，每個(gè)體育場(chǎng)會(huì)略有不同。本文中，我們假設(shè)足球場(chǎng)存在唯一的主顏色（綠色基調(diào)）。下面公式（1）能計(jì)算足球場(chǎng)主顏色：

2.2 紋理特征

紋理可以顯示實(shí)體外層或構(gòu)造的特性，即為非某種顏色或亮度形成的同質(zhì)視覺模式，比方說(shuō)水、植物、沙灘、布料等的表面模式。紋理特征容納了物體外層結(jié)構(gòu)構(gòu)建方式的關(guān)鍵性信息和與外周環(huán)境和背景之間的關(guān)系。所以，紋理特征在視頻分析的應(yīng)用中發(fā)展非常迅速，多見于圖像分類、特定目標(biāo)描述和檢測(cè)等。描述方法通常有共生矩陣表示法、紋理基元表示法以及局部邊緣直方圖描述法等，我們采用W.Y.Ma等（1996）提出的Gabor Texture Feature算法分析視頻的紋理特征（公式（2－5）），在體育視頻中用于分析遠(yuǎn)鏡頭中的場(chǎng)外觀眾。

2.3 形狀幾何特征

此特征多用于目標(biāo)描述、比賽場(chǎng)地的表達(dá)等。舉一個(gè)例子，描述球、場(chǎng)地的形狀以及方位判斷，更細(xì)致一點(diǎn)，可以作為足球視頻中的進(jìn)球、開球、球出界等鏡頭識(shí)別。本文中我們采用邊緣的Shape Context方法進(jìn)行形狀匹配識(shí)別，其幾何形狀的直方圖匹配距離定義如下：

2.4 運(yùn)動(dòng)特征

此特征為視頻數(shù)據(jù)的獨(dú)有特點(diǎn)，表現(xiàn)出視頻信息不斷發(fā)展變化的進(jìn)程。運(yùn)動(dòng)特征主要用于表示視頻中運(yùn)動(dòng)物體的快慢，例如快鏡頭和慢鏡頭的識(shí)別等。這里我們主要采用光流分析法計(jì)算運(yùn)動(dòng)圖像的速度（公式（7））：

3 中級(jí)關(guān)鍵基元提取

中級(jí)關(guān)鍵基元作為中間橋梁連接了底層特征和高級(jí)語(yǔ)義。體育視頻中常用的中級(jí)關(guān)鍵基元包括鏡頭類型（本文中包括近、中、遠(yuǎn)和場(chǎng)外四種鏡頭）、比賽位置、特定目標(biāo)檢測(cè)、位置與運(yùn)動(dòng)軌跡等。

3.1 鏡頭分類

視頻是如何進(jìn)行制作呢，起初為單一鏡頭拍攝；其次按照某種關(guān)系或聯(lián)系，將信息相類似的多個(gè)鏡頭組合編輯串聯(lián)在一起（即鏡頭轉(zhuǎn)換方式），形成小故事單元。由此可知，鏡頭一方面是組成視頻的基本單位，另一方面也是深層次剖析視頻信息的重要依據(jù)。另外特定鏡頭類型及其轉(zhuǎn)換上下文預(yù)示著特定語(yǔ)義事件。本文中我們分析的足球比賽視頻中的鏡頭類型涉及到長(zhǎng)鏡頭、中鏡頭、特寫和場(chǎng)外鏡頭等。長(zhǎng)鏡頭多用于描述賽場(chǎng)的關(guān)鍵區(qū)域（如圖2a和圖2b），中鏡頭可以表現(xiàn)比賽的某一特定事件或動(dòng)作（如圖2f），而短鏡頭（特寫）則可以近距離地刻畫某一特定目標(biāo)，尤其是人物表情（如圖2c和圖2d），場(chǎng)外鏡頭則描述場(chǎng)外觀眾（如圖2f）。

圖2 鏡頭分類：（a）、（b）為遠(yuǎn)鏡頭；（c）（d）為特寫鏡頭；（e）場(chǎng)外鏡頭；（f）為中鏡頭

根據(jù)場(chǎng)地線檢測(cè)、場(chǎng)地面積、人臉和運(yùn)動(dòng)員檢測(cè)、足球識(shí)別和跟蹤、場(chǎng)地中的物體尺寸等特征，同時(shí)根據(jù)足球視頻的利用決策，完成長(zhǎng)、中鏡頭以及特寫和場(chǎng)外等鏡頭的分類。具體算法如下：

算法1：鏡頭分類算法

（1）計(jì)算圖像的主顏色（公式1），并以綠色作為主顏色來(lái)識(shí)別分割視頻圖像的草地區(qū)域；

（2）提取草地區(qū)域的白色邊緣線，并根據(jù)足球場(chǎng)的幾何特征（公式6）判斷比賽位置和區(qū)域大?。?/p>

（3）采用紋理特征（公式2－5）計(jì)算外場(chǎng)觀眾區(qū)域；

（4）采用人臉檢測(cè)算法檢測(cè)圖像人臉的區(qū)域和大小；

（5）采用adaBoost算法檢測(cè)運(yùn)動(dòng)員的大小；

（6）根據(jù)草地區(qū)域的大小、比賽位置和區(qū)域、運(yùn)動(dòng)員的大小綜合判斷中鏡頭和遠(yuǎn)鏡頭；

（7）根據(jù)人臉的區(qū)域和大小判斷特寫鏡頭；

（8）根據(jù)外場(chǎng)觀眾區(qū)域和草地區(qū)域的比例判斷是否為場(chǎng)外鏡頭。

3.2 比賽位置判斷

比賽位置同樣為體育視頻的主要內(nèi)容之一。在球類運(yùn)動(dòng)中，將其定義為當(dāng)前畫面對(duì)應(yīng)的場(chǎng)地上的位置。比方說(shuō)可以將足球場(chǎng)劃分為禁區(qū)、禁區(qū)、中場(chǎng)等不同區(qū)域。比賽位置及其空間轉(zhuǎn)換能夠傳遞比賽的進(jìn)程、節(jié)拍和現(xiàn)場(chǎng)狀況，比如精彩鏡頭多為射門的鏡頭，而這些時(shí)刻的比賽位置多發(fā)生在禁區(qū)的前沿部分，而中場(chǎng)則表示比賽處于僵持狀態(tài)，因此比賽位置也作為一個(gè)中級(jí)關(guān)鍵字檢測(cè)語(yǔ)義事件。

本文中我們把足球場(chǎng)地分為5個(gè)區(qū)域，如圖（3）所示，包括左半場(chǎng)、左禁區(qū)，中場(chǎng)、右半場(chǎng)、右禁區(qū)。在實(shí)驗(yàn)中，比賽位置判斷的算法比較簡(jiǎn)單，首先提取草地區(qū)域的白色邊緣線，然后根據(jù)足球場(chǎng)的幾何特征（公式6）判斷比賽位置。研究數(shù)據(jù)已經(jīng)證實(shí)對(duì)足球場(chǎng)分為五個(gè)區(qū)域已經(jīng)能夠較好地檢測(cè)和識(shí)別諸如射門、越位、角球、假摔、進(jìn)球等事件。

圖3 直線檢測(cè)識(shí)別與比賽區(qū)域劃分

3.3 目標(biāo)設(shè)別與跟蹤

在體育類比賽節(jié)目中，運(yùn)動(dòng)員、裁判、球和球門等目標(biāo)檢測(cè)、跟蹤與軌跡分析也是一個(gè)很重要的任務(wù)。它們往往是高級(jí)語(yǔ)義事件和視頻摘要的重要基礎(chǔ)；另外這些重要目標(biāo)的檢測(cè)和跟蹤也是比賽體育策略分析、行為分析與索引等的重要前提，可用于分析比賽陣形、進(jìn)攻路線以及配合動(dòng)作等。

3.3.1 球的檢測(cè)與跟蹤

基于顏色的模板匹配技術(shù)是早期的足球檢測(cè)的基本方法，而足球跟蹤則使用模板匹配或Kalman濾波等技術(shù)。因?yàn)樽闱虮荣愐曨l中，足球體積較小，移動(dòng)速度快，還易發(fā)生被遮擋等紛雜變化的情形，所以單單根據(jù)每幀或前后若干幀圖像的不能高效而穩(wěn)定的完成識(shí)別與追蹤。本文中我們采用一種基于軌跡的運(yùn)動(dòng)足球檢測(cè)和跟蹤方案。先利用AdaBoost算法來(lái)檢測(cè)得到每幀圖像的候選球，然后使用卡爾曼濾波器進(jìn)行預(yù)測(cè)跟蹤，生成初始軌跡。此外結(jié)合卡爾曼濾波器預(yù)測(cè)和線性插值，補(bǔ)充視頻中被遮擋時(shí)球的位置。

3.3.2 裁判和運(yùn)動(dòng)員的檢測(cè)、跟蹤與分類

裁判和運(yùn)動(dòng)員的識(shí)別、檢測(cè)、跟蹤以及運(yùn)動(dòng)員分類是策略分析中非常關(guān)鍵的部分，然而常常因?yàn)檫\(yùn)動(dòng)員人數(shù)較多且易于變化、擠推、遮蓋、動(dòng)作改變、視頻分辨率低等等因素，使得這一任務(wù)的實(shí)現(xiàn)也是很困難的。在低分辨率情況下我們僅僅采用利用無(wú)監(jiān)督聚類學(xué)習(xí)球衣顏色，并以之識(shí)別比賽雙方的運(yùn)動(dòng)員、守門員和裁判；同時(shí)守門員的信息還可依賴禁區(qū)這一個(gè)重要比賽區(qū)域信息的幫助進(jìn)行跟蹤和識(shí)別，但是跟蹤的效果欠佳。而在高分辨率的情況下才采用運(yùn)動(dòng)員衣服上的數(shù)字編號(hào)信息來(lái)識(shí)別運(yùn)動(dòng)員的身份。

3.3.3 球門的檢測(cè)

球門對(duì)于射門和進(jìn)球等事件有提示作用，同時(shí)也有助于識(shí)別守門員目標(biāo)。圖4為基于球門檢測(cè)的進(jìn)球事件監(jiān)測(cè)結(jié)果。首先我們檢測(cè)范圍定在小禁區(qū)和場(chǎng)地邊線，緊接著利于灰度增長(zhǎng)搜索來(lái)識(shí)別平行門柱和橫梁，當(dāng)以上要素都識(shí)別到以后就可以視作球門的出現(xiàn)。其次守門員的檢測(cè)也能輔助球門的檢測(cè)。

圖4 基于球門檢測(cè)的進(jìn)球事件監(jiān)測(cè)

［1］Ling－Yu Duan，Min Xu，Tat－Seng Chua，Qi Tian，Chang－Sheng Xu.A mid－level representation framework for semantic sports video analysis［A］.Proceedings of the eleventh ACM international conference on Multimedia［C］.Berkeley，CA，USA.，2003：33－44.

［2］A.Ekin，A.M.Tekalp，R.Mehrotra.Automatic soccer video analysis and summarization［A］.IEEE Transactions on Image Processing［C］.2003，12（7）：796－807.

［3］Wei－Ying Ma，B.S.Manjunath.Texture Features and Learning Similarity［A］.1996 IEEE Computer Society Conferenceon ComputerVision and Pattern Recognition（CVPR＇96）［C］.1996：425－430.

［4］Duan L，Xu M，Tian Q.Semantic shot classification in sports video［A］.Proceedings of the SPIE Storage and Retrieval for Media Databases［C］.San Jose，USA，2003：300－313.

［5］Li J，Wang T，Hu W，et al.Two dependence Bayesian network for soccer highlight detection［A］.Proceedings of the IEEE International Conference on Multimedia and Expo［C］.Toronto，Canada，2006：1625－1628.

Sports Video Intelligent Analysis Based on Middle and Bottom Visual Information

QU Ping1，2，QU Shengguo3，KANG Tao1，ZHAO Yunlei1
（1.Education Dept.，Zhongshan Univ.，Guangzhou 510275，China；2.Sports Engineering and Information Technology Dept.，Wuhan Sport Univ.，Wuhan 430079，China；3.Sports Training Dept.，Wuhan Sport Univ.，Wuhan 430079，China）

On the basis of computer visual technology and multimedia processing algorithm，the paper proposes a sports video analysis structure on the basis of analysing the automatic efficient video analysis framework.The video analysis frame work starts from extracting the bottom features and intermediate key element generation and conducts the shot classification，moving object identification and tracking.The analysing framework contains some shot classification process algorithm of the football video，such as color region detection，robust lens boundary detection，and target detection，etc.

sports video analysis；shot classification；event detection；feature extraction

G80-05

A

1672-268X（2012）03-049-03

2012-02-23）

中國(guó)博士后科學(xué)基金第五十批面上資助（2011M501369）；高?；究蒲袠I(yè)務(wù)費(fèi)中山大學(xué)文科青年教師培育項(xiàng)目（12WKPY53）。