鷹眼系統(tǒng)運動目標特征參數(shù)精確提取算法

王超鋒， 黃俊杰,2*， 包嘉琪， 胡暢， 金沐祥

(1.武漢紡織大學計算機與人工智能學院， 武漢 430200;2.湖北省服裝信息化工程技術(shù)研究中心， 武漢 430200)

近些年來各類體育賽事火熱，每年都有大量的比賽舉辦，各種球類運動在體育賽事中扮演重要角色，由于球類運動速度快以及運動員競技水平的愈發(fā)嫻熟，僅僅依靠裁判員現(xiàn)場的觀察很難保證賽事的公正，隨著計算機視覺技術(shù)的不斷成熟，鷹眼系統(tǒng)問世，它依靠在賽場周圍布置多臺高速攝像機實時捕捉網(wǎng)球的圖像提取其運動特征參數(shù)通過一系列變換處理記錄網(wǎng)球的運動軌跡[1]，根據(jù)記錄的軌跡數(shù)據(jù)，觀眾和裁判可以清晰地看到網(wǎng)球的飛行路線和落點，既可以保證賽事的公平，又可以提高比賽的觀賞性。

對于鷹眼系統(tǒng)，運動目標檢測是提高其準確率的關(guān)鍵，當前運動物體檢測主要有3種方法分別是背景減差法、幀間差分法和光流法[2-8]。背景減差法是目前應(yīng)用非常廣泛的方法之一[9]，其通過預(yù)先背景建模和需處理的視頻幀作差，根據(jù)設(shè)定的閾值判斷檢測的目標，算法簡單，操作性強，但是該算法檢測效果受背景模型的制約，并且背景模型需要實時更新；幀間差分法是利用相鄰視頻幀差分相減檢測運動物體，計算量小、檢測速度快，對動態(tài)環(huán)境有較強的適應(yīng)能力和魯棒性，尤其對于運動快目標小的物體檢測效果更佳，但是該算法目標檢測完整性差，易產(chǎn)生空洞現(xiàn)象[10]；光流法通過圖像幀中像素的矢量特征檢測物體的運動狀態(tài)，該算法計算較為復(fù)雜，硬件性能要求高，而且難以對圖像進行實時檢測[11]。

由于網(wǎng)球的外輪廓接近標準圓，在使用傳統(tǒng)Hough圓變換算法來完成網(wǎng)球的識別和特征參數(shù)提取時，Hough變換運算量大，識別效率低，無法滿足賽場上高速飛行網(wǎng)球的精準識別和提取，并且賽場環(huán)境復(fù)雜，網(wǎng)球圖像在提取中容易受到一些因素的干擾，這些問題對網(wǎng)球識別準確率提出了挑戰(zhàn)，因此網(wǎng)球特征參數(shù)提取算法的研究對鷹眼系統(tǒng)有重要意義。

該算法充分研究了鷹眼系統(tǒng)運動目標檢測和參數(shù)提取過程并考慮了網(wǎng)球運動場的相關(guān)特點，其中包括可能出現(xiàn)其他飛行運動物體以及多個網(wǎng)球在同一圖像的情況，如網(wǎng)球在光照下產(chǎn)生的影子等，針對這些可能的情況，采用不同算法相結(jié)合的方法共同完成對圖像分割，可以避免上述情況的影響，并且使用的分割算法復(fù)雜度低、易操作，可以有效去除圖像中其他無關(guān)信息減少運動物體檢測的運算量，并對檢測到的網(wǎng)球圖像進行圖像平滑處理減弱噪音，為了更加精準獲取目標特征參數(shù)采用梯度Hough變換對網(wǎng)球的邊緣進行識別提取。

1 算法流程

網(wǎng)球特征參數(shù)精確提取算法流程如下圖1所示，首先使用專用高清相機在網(wǎng)球場采集圖像，然后將采集的網(wǎng)球圖像進行圖像背景分割，接著把分割后的圖像去噪處理，并使用Sobel算子完成邊緣提取，采用梯度Hough變換實現(xiàn)網(wǎng)球識別提取，最后計算求取網(wǎng)球特征參數(shù)。

圖1 網(wǎng)球特征參數(shù)提取流程圖Fig.1 Flow chart of tennis feature parameter extraction

2 圖像預(yù)處理

2.1 基于HSV顏色空間網(wǎng)球檢測

國際網(wǎng)球聯(lián)合會為了使網(wǎng)球在賽場上區(qū)別于其他背景顏色協(xié)定網(wǎng)球的顏色為一種專用的“視覺黃”，因此本文中首先基于顏色特征差異對網(wǎng)球圖像進行分割，目前常用的顏色模型類型有很多，如RGB(red,green,blue)顏色模型和HSV(hue,saturation,value)模型，RGB顏色模型是從硬件角度提出的顏色模型，與人眼視覺匹配過程中可能存在一些差異，并且對光線變化比較敏感，而HSV顏色模型是從心理學和視覺出發(fā)的面向視覺感知的色彩模型，其H、S和V3個分量分別表示不同的信息，其中色調(diào)H主要反映顏色信息，不受光照強度的影響[12]，因此在本研究中采用基于色調(diào)H均值進行圖像分割。則常用的RGB圖像轉(zhuǎn)換為HSV顏色空間公式如式(1)～式(5)，轉(zhuǎn)換效果如圖2所示。

圖2 圖像處理效果圖Fig.2 Image processing effect picture

V=max(R,G,B)

(1)

M=min(R,G,B)

(2)

(3)

(4)

當計算結(jié)果出現(xiàn)H<0情況時，則

H=H+360

(5)

本研究對收集到的網(wǎng)球彩色訓練[13]圖像進行像素H值統(tǒng)計，根據(jù)大量的圖像統(tǒng)計結(jié)果顯示，H通道直方圖灰度值在40～50區(qū)間范圍時出現(xiàn)峰值，且聚類效果明顯，如圖3所示，因此可基于此閾值對HSV顏色空間的網(wǎng)球圖像逐個像素的判斷比較完成圖像的分割操作，基于色調(diào)H值圖像分割偽代碼如下：

圖3 網(wǎng)球H通道直方圖Fig.3 Tennis H-channel histogram

ifH(x,y)>40 &H(x,y)<50，

then Pixel(x,y)∈foreground；

else Pixel(x,y)∈background。

2.2 幀間差分與混合高斯模型融合算法

對于幀間差分難以檢測完整目標，易出現(xiàn)空洞以及拖影情況，本算法對多幀圖像進行目標檢測然后利用累積幀差分法的優(yōu)勢，通過多幀累積對檢測目標進行增強，然后將差分結(jié)果和混合高斯模型相融合，提高目標檢測準確性。

2.2.1 幀間差分法原理

幀間差分法將相鄰圖像幀序列作差分處理，將差分結(jié)果和預(yù)先設(shè)定的閾值進行比較，從而獲得圖像中的運動目標，表達式為

(6)

式(6)中：Dt(x,y)為二值圖像;Ft(x,y)和Ft-1(x,y)表示相鄰幀序列；T為分割閾值。

在圖像處理過程中，通常對相鄰的三幀或四幀圖像序列進行作差，然后采用“與”和“或”邏輯操作，得到最終的差分圖像。

2.2.2 混合高斯背景建模

在一段時間圖像幀中，可采用K個高斯分布組成的混合模型來模擬圖像中像素的值[14]，K的適宜值一般為3～5，由于本文中對背景模板精度要求不高，為了減少計算量，K值取3。t時刻像素值X出現(xiàn)的概率計算公式為

(7)

(8)

2.2.3 高斯模型更新

高斯模型更新基本原理為：根據(jù)當前圖像幀的像素值和背景模型中的混合高斯分布匹配結(jié)果來更新高斯模型，即將當前幀圖像的單個像素值與K個混合高斯分布按照式(9)進行匹配，若滿足式子則認為匹配成功，則按照式(10)更新高斯分布權(quán)重[15]，否則淘汰掉現(xiàn)有高斯分布中權(quán)值最小的分布，再以該像素值的均值為基礎(chǔ)構(gòu)建一個新的高斯分布，并為其賦上一個較小的權(quán)值和一個較大的方差，均值和方差計算公式見式(11)和式(12)，最后對各高斯分布的權(quán)重值做歸一化處理。

|Xt-μi,t-1|≤2.5σi,t-1

(9)

ωi,t=(1-α)ωi,t-1+αMi,t

(10)

μi,t=(1-α)μt-1+αXt

(11)

(12)

式中：α為學習率，在0～1取值。

一般來講，由于圖像背景像素值在圖像幀中變化不大，則標準差小，權(quán)重值大的像素點越可能被描述為背景。計算出權(quán)重和標準差的比值ω/σ2，根據(jù)計算結(jié)果從大到小排序，取大于閾值T的前B個高斯模型作為背景模型，表達式為

(13)

在進行前景提取時，將像素值按照式(9)規(guī)則和B個背景高斯模型進行匹配，匹配成功即為背景，不成功則為前景。

2.2.4 幀間差分與混合高斯模型融合

本算法利用連續(xù)幀間差分檢測目標快速并能很好適應(yīng)變化環(huán)境的優(yōu)勢，混合高斯模型能夠較為完整檢測運動目標的特性，結(jié)合二者的優(yōu)點將檢測結(jié)果進行融合，快速精準的獲取檢測目標，融合過程原理如圖4所示。

圖4 幀差法與混合高斯模型融合原理Fig.4 Fusion principle of frame difference method and Gaussian mixture model

為了進一步優(yōu)化圖像，減少無關(guān)環(huán)境信息的干擾，降低后續(xù)步驟的運算量，將前述分割后的圖像使用形態(tài)學腐蝕和膨脹運算操作，填充圖像中的空洞，閉合內(nèi)部小孔去除圖像中噪聲和黑點。

2.3 圖像邊緣檢測

在使用Hough圓檢測算法對目標圖像檢測識別前，由于Hough圓變換算法主要是在圖像的邊緣上運算，則可以對網(wǎng)球圖像進行邊緣提取減少Hough變換處理數(shù)據(jù)量提高運行效率，圖像邊緣檢測算法一般有LOG算子、Prewitt算子、Canny算子、Sobel算子以及Robert算子等[16]，本研究采用Sobel算子完成圖像邊緣的檢測，Sobel算子是一種離散基于一階導(dǎo)數(shù)的微分算子，該算子利用局部差分尋找邊緣，計算簡單定位精度高，對噪聲的抑制作用好，適合對背景分割后的網(wǎng)球圖像邊緣進行精確提取,Sobel算子對邊緣像素值檢測分為水平方向和垂直方向，其3×3卷積核計算公式為

(14)

(15)

式中：Gx表示水平方向的偏導(dǎo)數(shù)；Gy表示垂直方向偏導(dǎo)數(shù)；s表示原始圖像。

3 網(wǎng)球識別和特征參數(shù)提取

Hough變換是一種經(jīng)典的圓檢測算法，采用類似投票方式選取圓，有較高的容錯性[17]，在對網(wǎng)球輪廓進行檢測時，可用標準圓方程擬合網(wǎng)球外輪廓，在笛卡爾坐標系中，網(wǎng)球輪廓的擬合方程可表示為

(16)

式(16)中：(x0,y0)為擬合網(wǎng)球圓心坐標；r為網(wǎng)球圓形輪廓半徑。

傳統(tǒng)Hough圓變換算法將網(wǎng)球圖像邊緣信息從圖像空間映射到對應(yīng)x0-y0-r三維參數(shù)空間進行窮舉累加，即網(wǎng)球邊緣上的每一個像素點(x,y)，根據(jù)式(16)對應(yīng)到參數(shù)空間的(x0,y0,r)組合，并進行投票計數(shù)，使用預(yù)設(shè)的閾值得到可能圓心(x0,y0)，因此Hough圓變換算法對邊緣信息有缺失以及輪廓非標準的情況仍然有很好的魯棒性。

但是，傳統(tǒng)的Hough圓變換需要遍歷整個三維參數(shù)空間導(dǎo)致出現(xiàn)耗時長計算量大，消耗內(nèi)存的問題，并且易受參數(shù)空間量化間隔的制約。對于這些問題，本研究中使用梯度Hough圓變換對網(wǎng)球輪廓進行檢測識別，減少無效累加計數(shù)，改善內(nèi)存使用情況。該算法計算分為兩個過程：計算網(wǎng)球邊緣梯度信息和提取特征參數(shù)。首先利用Sobel算子來完成圖像邊緣梯度的計算[18]，計算公式為

(17)

(18)

由式(17)和式(18)可得

(19)

式中：G(x,y)為圖像邊緣上某一像素點的總梯度；Gx為該像素點在x方向的梯度；Gy為該像素點在y方向上的梯度；θ為該像素點梯度方向與水平方向夾角。

將圓標準方程[式(16)]用圓極坐標方程描述為

(20)

遍歷二值圖像邊緣上所有像素點，沿著Sobel算子計算的邊緣梯度反方向畫線，將直線交點累加計數(shù)，根據(jù)預(yù)先設(shè)定的閾值獲取大于該閾值的交點(xn,yn)示意圖如圖5所示，將交點(xn,yn)對應(yīng)的邊緣上像素點坐標(x,y)代入式(20)并結(jié)合式(19)分別得到二維累加數(shù)組(x0,r)和(y0,r)，采用photoshop軟件對視頻圖像中的網(wǎng)球進行半徑測量統(tǒng)計，確定網(wǎng)球輪廓半徑的范圍在24～49像素，基于r對(x0,r)和(y0,r)進行篩選，雖然網(wǎng)球輪廓比較平滑規(guī)則，但是在計算過程中，網(wǎng)球邊緣仍可能存在離散點以及在圖像邊緣中呈現(xiàn)鋸齒狀不規(guī)則分布情況，即使是相同的圓，求取過程中也可能存在偏差影響后續(xù)投票結(jié)果，出現(xiàn)多個圓心相近半徑相似的圓，因此為了降低可能存在的虛假圓影響提取結(jié)果，采用聚類方法提高計算結(jié)果的精準度，根據(jù)數(shù)值大小通過聚類把(x0,r)和(y0,r)分別聚為一類，求取均值作為最終所求取圓的特征參數(shù)。

圖5 梯度線圓內(nèi)交點Fig.5 Intersection point of gradient lines in circle

該Hough圓檢測算法步驟流程如圖6所示。

圖6 圓特征參數(shù)提取流程圖Fig.6 Flow chart of circle feature parameter extraction

4 實驗與結(jié)果分析

4.1 網(wǎng)球圖像分割結(jié)果分析

本實驗采用FUJIFILM XT-3相機在網(wǎng)球場采集分辨率為3 840×2 160的視頻圖像，幀速率30 f/s，網(wǎng)球選用標準比賽網(wǎng)球直徑6.72 cm左右，質(zhì)量約56.9 g，為了模擬復(fù)雜現(xiàn)場環(huán)境驗證本算法對網(wǎng)球檢測效果，拍攝時間選在光照較差的18:00左右，以雜亂的樹木，行人不斷往來的大路為背景，并且圖像中含有兩個地面上的網(wǎng)球作為背景干擾，由于網(wǎng)球目標小飛行速度快，不同圖像幀差別較大，經(jīng)過實驗對比選取連續(xù)的三幀圖像作差分處理效果較好。本文實驗平臺為Windows 10企業(yè)版，Intel(R) Core(TM)i7-4790 @3.6 GHz 處理器，10 GB RAM,測試環(huán)境為MATLAB R2019b和OpenCV。

圖像分割實驗結(jié)果如圖7所示，圖7(a)為選取的視頻圖像，圖7(b)是顏色分割后的圖像，圖中的行人和其他背景圖像已被基本除去，但是新發(fā)嫩葉的色調(diào)和網(wǎng)球較為接近，圖中可以明顯看到許多樹葉顏色分割不完全產(chǎn)生的一些噪點，地面上的網(wǎng)球也被作為前景圖像檢測出來，圖7(c)為三幀差分法結(jié)果，圖中網(wǎng)球出現(xiàn)了空洞拖影情況，圖7(d)為混合高斯模型檢測結(jié)果，除了檢測到的網(wǎng)球還有運動的行人和運動員，圖7(e)為本算法結(jié)果圖，通過幀間差分與混合高斯模型融合算法，去除了圖7(b)中的樹葉噪點和地面上的網(wǎng)球，得到精確的圖像分割結(jié)果。

圖7 圖像分割實驗結(jié)果Fig.7 Experimental results of image segmentation

本文研究拍攝視頻中隨機抽取第140 幀、191 幀、258 幀和309 幀四幀圖像進行實驗結(jié)果如圖8所示，實驗引入查準率，以查準率為指標將上述圖像分割算法實驗結(jié)果進行對比分析，圖中的數(shù)據(jù)表明在復(fù)雜背景條件下，單一算法圖像分割查準率普遍都較低，特別是混合高斯模型中運動行人被作為前景圖像檢測到使其查準率偏低，本文算法查準率在80%～90%，相比之下查準率有很大提升，可滿足正常比賽條件下網(wǎng)球參數(shù)提取的背景分割需求。查準率公式為

圖8 不同算法實驗對比Fig.8 Comparison of experiments with different algorithms

(21)

式(21)中：TP表示前景像素被正確識別為前景像素的數(shù)量；FP表示背景像素被錯誤識別為前景像素的數(shù)量；P為查準率。

4.2 網(wǎng)球特征參數(shù)提取結(jié)果分析

網(wǎng)球中心點坐標參數(shù)提取是鷹眼系統(tǒng)的核心算法之一，為了驗證本研究算法提取特征參數(shù)的準確性，對飛行網(wǎng)球圖像進行特征參數(shù)提取,將網(wǎng)球圖像分別進行傳統(tǒng)圓識別檢測和本文圓檢測算法實驗，圖9所示識別結(jié)果表明，由于網(wǎng)球在飛行過程中受光線照射陰影等因素影響，傳統(tǒng)圓識別檢測算法在對如下場景網(wǎng)球識別過程中出現(xiàn)一個網(wǎng)球被識別為多個圓形問題，從而圖像中網(wǎng)球出現(xiàn)多個圓心，而本算法可以較為準確地對網(wǎng)球進行識別。

圖9 網(wǎng)球識別對比Fig.9 Contrast of tennis recognition

引入查準率指標定量分析本算法在網(wǎng)球識別和提取過程中的效果，基于Hough檢測主要提取出的是網(wǎng)球的圓心參數(shù)，公式為

(22)

式(22)中：參數(shù)E為相對偏差；D為網(wǎng)球圖像真實圓心與梯度Hough變換擬合圓心的距離；S為網(wǎng)球圖像面積。

首先從采集到的視頻中選取10張網(wǎng)球飛行圖像借助軟件工具人工對網(wǎng)球圓心坐標位置數(shù)據(jù)進行標注，然后采用本研究算法計算并提取網(wǎng)球擬合圓心坐標和半徑，詳細的網(wǎng)球坐標數(shù)據(jù)以及相對偏差計算結(jié)果如表1所示。

從表1數(shù)據(jù)可以看出，編號1、4、6、9圖像反映網(wǎng)球距離相機較近情況，擬合半徑大，和真實坐標接近，相對偏差較小在0.3%上下，擬合相對更準確，當網(wǎng)球距離相機較遠時，如編號2、3、10圖像，擬合半徑小，相對偏差較大在0.7%左右，識別精準度稍低一些。根據(jù)大量的圖像實驗數(shù)據(jù)，在一般背景條件下，網(wǎng)球擬合的相對偏差數(shù)據(jù)90%以上處于0.3%～0.7%，綜合分析上述情況網(wǎng)球識別相對偏差基本符合事實總體趨勢，且在大多數(shù)情況下識別相對偏差處在較低水平。

表1 本文算法擬合結(jié)果Table 1 The fitting results of the algorithm in this paper

5 結(jié)論

(1)在基于顏色特征分割的基礎(chǔ)上，運用幀間差分與混合高斯模型相融合算法對運動目標進行檢測完成圖像預(yù)處理，解決了單一算法處理運算量大，準確率低的問題。

(2)采用梯度Hough圓變換提取特征參數(shù)，在目標特征參數(shù)提取過程中，借助Sobel算子獲取的圖像邊緣梯度信息，采用梯度Hough變換算法提高了效率，并融入聚類思想，降低了虛假圓參與投票的可能性，網(wǎng)球特征參數(shù)提取的精確度得到了很大的提升。

(3)本研究提出的網(wǎng)球特征參數(shù)提取算法，基于圖像學方法處理，算法簡潔易于實現(xiàn)，魯棒性好，且對計算機硬件處理性能要求低，并仍可獲得較高的準確率，可在一定程度上滿足賽場網(wǎng)球參數(shù)精確提取的需要，對運動目標特征參數(shù)提取算法具有一定的研究參考價值。