網(wǎng)球視頻中球員的偵測與追蹤

張容娟， 謝朝和， 黃風(fēng)華

( 1.陽光學(xué)院 人工智能學(xué)院， 福建 福州 350015； 2.陽光學(xué)院 空間數(shù)據(jù)挖掘與應(yīng)用福建省高校工程研究中心， 福建 福州 350015 )

0 引言

目標檢測、追蹤與軌跡分析是體育視頻分析的一個重要研究方向，該研究對制定比賽策略與分析球員的運動行為等具有很大幫助[1-2].國內(nèi)外學(xué)者在球員的偵測與追蹤方面已進行了大量的研究，其中最常用的方法是背景差分法和幀間差分法.例如：文獻[3]基于背景模型，在當(dāng)前幀和下一幀之間執(zhí)行圖像差分，通過在所創(chuàng)建的背景圖像中執(zhí)行邏輯與操作來獲得圖像差分結(jié)果，并在此基礎(chǔ)上檢測視頻中的球員.但該方法未考慮計分板區(qū)域、廣告牌、觀眾和裁判等噪聲的影響，因此該方法的準確性有待于進一步提高.文獻[4]提出了一種基于高斯混合模型的背景建模球員偵測算法，該算法把經(jīng)過預(yù)處理的靜態(tài)背景作為高斯模型的初始化參數(shù)，然后利用幀間差分法區(qū)分圖像中的不同活動區(qū)域，以不同的更新速率更新相應(yīng)的高斯模型，以此實現(xiàn)球員的偵測.但文獻[4]并未明確提出如何劃分不同活動區(qū)域，且主要是針對足球運動而進行的分析.文獻[5]根據(jù)足球場地的顏色特征，利用顏色分量差值的統(tǒng)計信息，從視頻中分割出球員.該方法容易受到球員和裁判衣服顏色的影響，若差值沒有超過門檻值，偵測結(jié)果就會存在相應(yīng)的誤差.文獻[6]為了識別球員的連通區(qū)域，運用顏色信息分割提取場地信息，以此濾除看臺和場地線等噪聲，但該方法的偵測準確度容易受到光照變化的影響.基于上述方法所存在的問題，本文針對網(wǎng)球視頻中球員與網(wǎng)球場地顏色相近容易導(dǎo)致偵測誤差的問題，提出一種新的球員偵測與追蹤的方法，并通過3種場地類型的實驗驗證本文方法的準確性.

1 球員偵測與追蹤的方法

1.1 網(wǎng)球場地信息的重建

由于比賽時球員的活動范圍局限于比賽場地內(nèi)部或周邊的一定范圍，因此準確提取網(wǎng)球比賽場地的信息，有助于過濾噪聲和縮小球員位置的搜尋范圍.本文采用文獻[7]中的方法提取比賽場地信息.首先,將輸入的標準圖像轉(zhuǎn)為梯度圖像；其次，計算最上方與最下方2條場線所在的垂直位置和左右頂點，也就是場地的4個角點，以此形成場地范圍；再次，將場地邊緣細線化，并通過霍夫轉(zhuǎn)換在細線化后的邊緣點處檢測出直線；最后，將檢測出的直線分群整合為11條場線，并由此得到30個交點坐標，依次標記為P1—P30.場地重建結(jié)果如圖1所示.

1.2 噪聲過濾

運用邊緣信息偵測與追蹤球員時，首先要先把原始圖像轉(zhuǎn)換為邊緣圖像.本文通過雙閾值Canny邊緣檢測算法[8](上下亮度閾值分別為100和150)來獲取邊緣圖像，該方法可避免球員與網(wǎng)球場地背景顏色相近所導(dǎo)致的偵測誤差.轉(zhuǎn)換所得的邊緣圖像如圖2所示.為了提高球員偵測的準確性與效率，本文運用場地信息過濾掉裁判、廣告牌、記分牌和場線等場地附近的噪聲.

圖1 場地重建結(jié)果圖

圖2 邊緣圖像

1)場線的消除.為避免場線模糊影響過濾結(jié)果，本文在場地重建的基礎(chǔ)上，將還原后的場線進行膨脹處理[9]，使其能更完整地覆蓋圖像中場線的像素位置.然后將膨脹后的場線作為掩模，用以屏蔽邊緣圖像中所對應(yīng)位置的像素，這樣即可消除場線.場線消除的結(jié)果如圖3所示.

圖3 場線消除結(jié)果圖

2)觀眾席、廣告牌、裁判的消除.在圖1的場線交點坐標系中，設(shè)置區(qū)域范圍略大于場地的2個梯形區(qū)域(見表1)，并將區(qū)域外的內(nèi)容均定義為噪聲，如廣告牌、裁判以及觀眾席等.噪聲濾除結(jié)果如圖4所示.由圖4可以看出，噪聲僅剩下記分牌.

表1 上下場地的梯形屏蔽區(qū)域

圖4 觀眾席、廣告牌、裁判消除結(jié)果圖

3)記分牌的消除.因記分牌在視頻畫面中具有位置相對固定和亮度恒定的特征，因此本文使用文獻[10]的方法將其消除.偵測記分牌時僅以水平場線的下方作為搜尋范圍，可進一步提升記分牌的偵測準確性與效率.本文使用L(L=8)張連續(xù)圖像搜尋記分牌的位置.首先將輸入的原始圖像轉(zhuǎn)化為灰階圖像(IM)和邊緣圖像(EM)，然后計算連續(xù)兩張圖像對應(yīng)位置的數(shù)值差異，以獲得累積亮度圖(AIM)與累積邊緣圖(AEM)，其公式表達如式(1)和式(2)所示.公式(3)用于辨識記分牌像素.若對應(yīng)位置的AIM和AEM的累積數(shù)量都超過門檻值(本文設(shè)定閾值為連續(xù)圖像張數(shù)L的80%，即0.8L)，則判定該位置為計分牌.確定記分牌的位置后，對記分牌進行膨脹處理，以此消除記分牌.記分牌的消除結(jié)果如圖5所示.

AIM(x,y)=

(1)

AEM(x,y)=

(2)

(3)

圖5 記分牌消除結(jié)果圖

1.3 球員的偵測與追蹤

本文根據(jù)大量的試錯實驗,在圖1所示的場線交點坐標系中，定義了球員在上下半場的搜尋范圍，如圖6所示.搜尋范圍參數(shù)見表2.

圖6 球員搜尋范圍

由于視頻圖像中雙方球員所占位置的大小與上下2條底線的長度成正比，因此本文先根據(jù)場線的交點坐標分別計算上下2條水平底線的長度，然后再使用各自半場的場線長度乘以相應(yīng)系數(shù)，以此計算出雙方球員滑動窗口大小(寬度系數(shù)為1/9，高度系數(shù)為1/7).每個窗口的邊緣密度利用滑動窗口的方式進行計算，并定義邊緣密度最大的窗口位置為球員位置.球員位置的計算如式(4)所示：

player_position=

(4)

表2 上下場地的球員搜尋范圍參數(shù)

由于測試視頻圖像的偵速率為30幀/s，因此追蹤時可以適當(dāng)縮小搜尋范圍.本文以偵測得到的滑動窗口大小為初始狀態(tài)，將偵測視窗寬度向左右各拉伸至原寬度的2倍，高度向上下拉伸至原高度的1.5倍，以此作為下一幀圖像的球員追蹤范圍.追蹤時將前一次球員的邊緣輪廓圖像作為模板，并通過模板匹配的方式，計算搜尋范圍中每一個搜尋窗口的邊緣輪廓圖像與模板間的相關(guān)性，相關(guān)性最高的位置即為球員位置[11].

2 實驗結(jié)果與分析

2.1 球員偵測與追蹤的正確率

利用收集到的140個比賽視頻片段(包含溫布頓、美網(wǎng)、澳網(wǎng)與法網(wǎng))的偵測與追蹤結(jié)果來評估本文方法的性能.視頻片段中的場地包括草地、硬地、紅土3種類型.計算預(yù)測球員區(qū)域與真實球員區(qū)域的重合度Φ， 其計算方法如下：

(5)

其中BG表示真實球員區(qū)域,BD表示預(yù)測球員區(qū)域,A(S)表示集合S的面積.

本文將重合度的閾值設(shè)為0.6，超過該值時視為偵測成功，否則視為偵測失敗.球員偵測與追蹤的結(jié)果范例如圖7所示，偵測與追蹤的正確率如表3所示.由表3可知，本文方法的平均正確率為92.30%，該結(jié)果高于文獻[3]的結(jié)果(91.12%).另外，因本文的實驗數(shù)據(jù)量(53 172幀圖像)遠多于文獻[3]的實驗數(shù)據(jù)量(1 500幀圖像)，且數(shù)據(jù)中的場地類型(溫布頓、美網(wǎng)、澳網(wǎng)與法網(wǎng)公開賽)多于文獻[3]的場地類型(法網(wǎng)和美網(wǎng)):因此本文方法具有更好的普適性.

圖7 球員偵測與追蹤的結(jié)果范例

場地類型總幀數(shù)正確幀數(shù)正確率/%草地(溫布頓)157811442691.41硬地(美網(wǎng)、澳網(wǎng))246352319194.13紅土(法網(wǎng))127561146089.84

2.2 影響球員偵測與追蹤結(jié)果的因素分析

為了明確場線偵測的準確率對球員偵測與追蹤結(jié)果的影響，本文對場線偵測的準確率進行了計算.首先選取視頻中比賽場地的2條底線和2條雙打邊線的4個交點作為標準點，然后運用本文中的球場場線偵測方法計算出4個相應(yīng)的偵測點.定義任意偵測點與標準點之間的誤差超過門限值(20個像素)即為場線偵測錯誤.場線偵測的正確率如表4所示.

由表3和表4可以發(fā)現(xiàn)，球員偵測與追蹤的正確率與場線偵測的正確率成正相關(guān),因此可判定場線偵測正確與否是影響球員偵測與追蹤結(jié)果的主要因素.進一步研究表明，攝像頭角度的設(shè)置不當(dāng)(傾斜等)是造成場線偵測失敗的主要原因.另外，球員身體的陰影以及球員身體與廣告牌的重疊等，也會對球員偵測與追蹤的結(jié)果產(chǎn)生影響，但這些因素的影響相對較低.

表4 場線偵測的正確率

3 結(jié)論

實驗表明，本文提出的通過重建網(wǎng)球場地信息，然后利用邊緣信息對球員進行偵測與追蹤的方法，其平均正確率(92.3%)高于文獻[3]的方法(91.12%)，且比文獻[3]具有更好的普適性，因此本文方法具有良好的應(yīng)用價值.在今后的研究中，我們將針對造成漏檢的因素做進一步研究，以取得更好的球員偵測與追蹤效果.