基于計算機視覺技術(shù)的乒乓球技術(shù)動作AI評分系統(tǒng)研究與設(shè)計

劉曉林 胡建華 李貞晶 石曉莉

摘 要：鑒于目前乒乓球教學(xué)中存在學(xué)生揮拍動作不規(guī)范、個性化施教不足及教學(xué)效率相對較低的三大問題，基于AI（人工智能）計算機視覺技術(shù)設(shè)計乒乓球技術(shù)動作AI評分系統(tǒng)。該系統(tǒng)結(jié)合廣東科學(xué)技術(shù)職業(yè)學(xué)院乒乓球精品課程建設(shè)，以乒乓球八個基本技術(shù)動作構(gòu)建AI模型，使用目標檢測、姿態(tài)估計、動作識別算法對學(xué)生的實際動作進行AI評分。實驗結(jié)果表明，使用乒乓球技術(shù)動作AI評分系統(tǒng)有利于開展個性化教學(xué)，提高了教學(xué)效率，還能支持遠程教學(xué)，可以在乒乓球教學(xué)中推廣應(yīng)用。

關(guān)鍵詞：乒乓球;技術(shù)動作教學(xué);動作AI評分;計算機視覺;人工智能

中圖分類號：TP27.4 文獻標志碼：A

0 引言（Introduction）

在我國，乒乓球運動是群眾基礎(chǔ)非常好并且競技水平非常高的一項運動，并且近50年來，我國乒乓球隊取得了100多個世界冠軍，并且囊括了4屆世乒賽、2次奧運會的全部金牌。隨著乒乓球運動在全國日益普及，乒乓球運動也成為學(xué)生進行鍛煉的有力工具，乒乓球教學(xué)也迅速地走進了大學(xué)校園，成為大學(xué)公共體育教育不可缺少的一部分。大多數(shù)學(xué)校的乒乓球教學(xué)都是采用大班集中上課模式[1]，這種模式存在以下問題：一是學(xué)生學(xué)練揮拍動作與標準動作存在差異，不規(guī)范;二是個性化施教不足;三是乒乓球技術(shù)動作教學(xué)效率比較低。針對這三個主要問題，契合學(xué)校教育信息化時代發(fā)展背景，本文設(shè)計了乒乓球技術(shù)動作AI識別評分系統(tǒng)，利用人工智能技術(shù)代替?zhèn)鹘y(tǒng)的感官經(jīng)驗，動態(tài)捕捉揮拍動作軌跡，精準分析學(xué)生學(xué)練揮拍動作與標準動作的差異，幫助學(xué)生精準練習(xí)，規(guī)范其揮拍動作;智能評價，實時反饋個體學(xué)練情況，及時查找不足，滿足針對性練習(xí)需求，實現(xiàn)個性化教學(xué)。本系統(tǒng)的應(yīng)用對體育課程“互聯(lián)網(wǎng)+數(shù)字化”改革建設(shè)具有引領(lǐng)示范作用和一定的應(yīng)用推廣價值。

1 傳統(tǒng)乒乓球技術(shù)動作訓(xùn)練（Traditional tabletennis technical movement training）

很多學(xué)校采用的乒乓球教學(xué)模式主要是大班集中上課。一位體育教師要同時給50名學(xué)生上課，這種上課模式存在以下問題：一是學(xué)生學(xué)練揮拍動作不規(guī)范。97%以上的授課對象從未經(jīng)過系統(tǒng)、專業(yè)的乒乓球運動技術(shù)學(xué)習(xí)，多數(shù)學(xué)生的乒乓球運動技術(shù)基礎(chǔ)較為薄弱，揮拍動作不規(guī)范問題凸顯。二是個性化施教不足。學(xué)習(xí)個體差異較大，學(xué)練多元化需求急迫。目前，該課程教學(xué)中，通常采用教師集體指導(dǎo)與逐一指導(dǎo)相結(jié)合的方式組織教學(xué)[2]。乒乓球課程中，通常一半的時間由教師集中指導(dǎo)，剩余一半時間由教師對班級的學(xué)生逐一指導(dǎo)，教師指導(dǎo)學(xué)生的人均時間為1 min左右，這種傳統(tǒng)的講練方式導(dǎo)致全面實施個性化教學(xué)效果不足。三是教學(xué)效率低下。運動技能的形成規(guī)律是由泛化、分化、固化再到自動化逐步發(fā)展。傳統(tǒng)教學(xué)方式對學(xué)練反饋不及時，致使多數(shù)學(xué)生運動技能長時間停留在泛化階段，技術(shù)技能掌握欠佳，教學(xué)效率相對較低。

2 乒乓球技術(shù)動作AI評分系統(tǒng)設(shè)計（Design ofAI scoring system for table tennis technicalmovements）

乒乓球技術(shù)動作AI評分系統(tǒng)的核心功能包括用手機拍攝學(xué)生的實時訓(xùn)練視頻，通過目標檢測算法獲得學(xué)生的有效姿態(tài)識別區(qū)域，再使用姿勢估計算法為每個檢測到的人預(yù)測出姿勢，通過動作識別算法對學(xué)生的乒乓球動作進行比較評分，評分完成后反饋識別動作序列及評分分數(shù)[3]。乒乓球技術(shù)動作AI評分系統(tǒng)的核心評分功能結(jié)構(gòu)圖如圖1所示。

2.1 數(shù)據(jù)采集

首先，利用手機拍攝訓(xùn)練中學(xué)生的乒乓球技術(shù)動作視頻。使用手機拍攝的好處是對教學(xué)設(shè)備的要求大大降低，不需要專門安裝拍攝設(shè)備，在不同的乒乓球場地可以隨時開展乒乓球技術(shù)動作的教學(xué);其次，對拍攝的原始視頻進行視角校正、去反光及壓縮等預(yù)處理，使用視頻能快速完成上傳，為AI評分提供高質(zhì)量的輸入，從而提高AI評分的準確率與效率;最后，將乒乓球技術(shù)動作視頻上傳到平臺進行AI評分，上傳處理使用了本地緩存與失敗重傳機制，從而保證視頻可靠地完成上傳，不會丟失。

2.2 目標檢測

目標檢測方面，系統(tǒng)使用了YOLOv7神經(jīng)網(wǎng)絡(luò)算法將圖像中學(xué)練的學(xué)生檢測出來[4]。首先找到學(xué)生的有效姿態(tài)識別區(qū)域，然后對有效姿態(tài)識別區(qū)域進行處理，這種方式提高了系統(tǒng)對學(xué)生的乒乓球技術(shù)動作AI評分的準確率。

YOLO算法（You Only Look Once）作為目前最先進的目標檢測算法，它已經(jīng)經(jīng)過了7次迭代（YOLOv1、YOLOv2和YOLOv7）。YOLOv1作為YOLO算法的基石，主要實現(xiàn)思想為輸入某張待檢測圖片，將圖片分解成S×S 個網(wǎng)格，當某個目標中心落在此網(wǎng)格中時，網(wǎng)格就會預(yù)測該目標，其核心是使用損失函數(shù)（loss function）進行目標預(yù)測，該函數(shù)主要由三個部分組成，分別為坐標預(yù)測、置信度（confidence）預(yù)測和類別預(yù)測。整個乒乓球技術(shù)動作目標檢測過程如圖2所示。

2.3 姿態(tài)估計

使用目標檢測算法對人進行定位，根據(jù)定位的區(qū)域進行深度學(xué)習(xí)姿態(tài)估計，這樣能夠精確地實現(xiàn)對目標物體的關(guān)鍵點檢測，得到骨骼關(guān)節(jié)點動作序列數(shù)據(jù)[5]。由于普通的模型只能取一張裁剪過的圖像，所以很難估計每個關(guān)鍵點的絕對相機中心坐標。為了解決此問題，許多姿態(tài)估計方法都是使用人體的某一個關(guān)節(jié)點，如中心關(guān)節(jié)點（即骨盆）做參考，但是在實際測試中，姿態(tài)估計效果一般。

在人體的姿態(tài)估計方面，本系統(tǒng)使用了DetectNet、RootNet以及PoseNet三種算法[6]。第一步，使用DetectNet人體檢測網(wǎng)絡(luò)檢測圖像中學(xué)生的所在區(qū)域;第二步，使用RootNet算法檢測人體骨盆所在的位置;第三步，使用PoseNet3D單人姿勢估計網(wǎng)絡(luò)根據(jù)人體骨盆位置預(yù)測每個檢測到的學(xué)生的乒乓球動作姿態(tài)。使用此算法進行乒乓球技術(shù)動作姿態(tài)識別效果如圖3所示。

2.4 動作比較評分

目前，雖然動作識別領(lǐng)域的相關(guān)研究已經(jīng)較為成熟，但是對于一個動作的打分還僅建立在該動作的數(shù)據(jù)集上，數(shù)據(jù)集決定了識別出的動作準確度，而數(shù)據(jù)集的獲取與制作是一大難點，使想任意比較兩個不同動作變得很困難。為了解決這個問題，可以先使用卡爾曼濾波算法修正關(guān)節(jié)點，再使用基于動態(tài)時間規(guī)整（Dynamic Time Warping，DTW）的動作比較算法，具體過程如下。

使用卡爾曼濾波算法對關(guān)節(jié)點進行修正[7]?？柭鼮V波算法被普遍應(yīng)用于狀態(tài)最優(yōu)估計問題，其基本思想是最小方差無偏估計，即根據(jù)系統(tǒng)的歷史觀測值，建立系統(tǒng)狀態(tài)模型，使模型的后驗概率達到最大?？柭鼮V波采用遞歸方法解決線性濾波問題，包括預(yù)測階段和校正階段兩個階段。預(yù)測階段即建立合適的運動模型，通過歷史觀測值預(yù)測目標下一時刻的位置;校正階段即每獲得一個新的觀測值，都將其與預(yù)測值進行對比，從而繼續(xù)修正模型，對新的觀測值進行校正，使其接近真實值?？柭鼮V波算法每一步的計算量較小且計算步驟清晰，非常適合計算機處理。

利用卡爾曼濾波對預(yù)測的關(guān)節(jié)點位置進行重新修正的過程如圖4所示。

利用卡爾曼濾波方法對比標準動作與被測試者的動作，如圖5所示，由于動作表現(xiàn)為一個時間序列，在時間序列中，需要比較相似性的兩段時間序列的長度可能并不相等，這是因為被測試者完成乒乓動作所需要的時間不同，所以會出現(xiàn)圖5中所示的兩個動作序列出現(xiàn)一定的飄移，最簡單的相似度計算方法是計算兩個時間序列的歐氏距離。歐氏距離屬于鎖步度量，如果直接用歐氏距離計算相似度，有可能存在時間步不對齊、序列長短不一等問題，因此本文使用DTW 算法比較動作。

DTW 算法主要是針對序列匹配提出的，尤其是當序列出現(xiàn)一定的飄移時，歐氏距離度量就會失效[8]。如果有兩個序列X 和Y，假設(shè)標準動作序列X=[2，3，4，7，9，2，1，2，1]，被測試者動作序列Y=[1，1，1，1，2，3，3，4，7，8，9，1，1，1，1]，繪制在圖6的坐標軸上。由于兩個序列存在橫軸上的飄移，所以兩個序列的歐氏距離很長。使用DTW 算法將兩個序列在某些時點上進行壓縮，實現(xiàn)兩個序列之間的歐氏距離最短。DTW 算法的本質(zhì)是尋找一條從X[0]、Y[0]到X[N]、Y[M ]的最短路徑。對于序列X 和Y，找到的壓縮路徑是[（0，0），（0，1），（0，2），（0，3），（0，4），（1，5），（1，6），（2，7），（3，8），（3，9），（4，10），（5，11），（6，11），（6，12），（6，13），（6，14），（7，14），（8，14）]。對應(yīng)的壓縮關(guān)系如圖6所示。

由于兩個序列存在橫軸上的飄移，所以兩個序列的歐氏距離很長。使用DTW 算法將兩個序列在某些時點上進行壓縮，實現(xiàn)兩個序列之間的歐氏距離最短。DTW 算法本質(zhì)是尋找一條從X[0]、Y[0]到X[N]、Y[M ]的最短路徑。要做到全局最小，這個全局要通過一條路徑累積得到。整個累積是通過不同階段逐步累積得到的。所以，在不同階段（時間t）中，要保存所有的可能性事件的累積距離。從當前的時間t 到下一個階段t+1，通過之前的累積狀態(tài)，計算出當前各種不同事件的累積距離。逐步將這個累積距離往前推，得到最后時間t;在各個不同時間的累積距離中，選出距離最小值。通過累積距離最小，反推出它的路徑，對于序列X 和Y，找到的壓縮路徑是[（0，0），（0，1），（0，2），（0，3），（0，4），（1，5），（1，6），（2，7），（3，8），（3，9），（4，10），（5，11），（6，11），（6，12），（6，13），（6，14），（7，14），（8，14）]。對應(yīng)的序列距離最短路徑如圖7所示。

本文分別采用目標檢測、姿態(tài)識別對標準動作以及被測試者動作進行人體定位、骨骼關(guān)鍵點檢測，得到兩個乒乓球動作數(shù)據(jù)序列，采用動態(tài)時間規(guī)整算法比較兩個動作的相似度，并得出評分，最后將姿態(tài)識別效果、評分等信息進行數(shù)據(jù)可視化。打分流程如圖8所示[9]。

流程處理步驟如下：①在智能手機上運行系統(tǒng)的手機端，拍攝學(xué)生的乒乓球技術(shù)動作視頻;②上傳拍攝的動作視頻，如果不成功，則再次嘗試上傳，如果成功，則進入下一步;③對收到的動作視頻采用YOLOv7神經(jīng)網(wǎng)絡(luò)算法進行目標檢測，有效地檢測出畫面中人的信息;④使用基于PoseNet3D姿態(tài)估計算法進行動作姿態(tài)估計;⑤使用卡爾曼濾波算法進行關(guān)節(jié)點修正;⑥使用基于動態(tài)時間規(guī)整算法進行動作比較，得到評分;⑦反饋AI評分結(jié)果，包括動作序列數(shù)據(jù)與分數(shù);⑧展示評分結(jié)果;⑨如果繼續(xù)拍攝下一個動作，就回到步驟①繼續(xù)拍攝，否則流程結(jié)束。

4 數(shù)據(jù)分析與展示（Data analysis and display）

本研究將大數(shù)據(jù)可視化分析創(chuàng)新性地運用到乒乓球運動訓(xùn)練中。在運動練習(xí)中，通過對學(xué)生的運動數(shù)據(jù)包括動作序列與得分的分析得出學(xué)生動作訓(xùn)練的薄弱點，幫助學(xué)生明確自身不足，針對性地練習(xí)弱項。學(xué)生的動作評分詳情如圖10所示。

對學(xué)生不同時間段的數(shù)據(jù)進行分析，得出學(xué)生的進步率，方便教師實施個性化教學(xué);學(xué)習(xí)訓(xùn)練前后效果對比如圖11所示。

系統(tǒng)可以對班級訓(xùn)練情況統(tǒng)計分析，輔助教師進行班級教學(xué)情況診斷，進而優(yōu)化教學(xué)內(nèi)容和方式，提升教學(xué)質(zhì)量。以學(xué)生學(xué)練正手平擊發(fā)球技術(shù)動作前后為例，統(tǒng)計全班得分情況，如圖12所示[10]。

5 結(jié)論（Conclusion）

乒乓球技術(shù)動作AI識別評分系統(tǒng)利用手機攝像頭采集學(xué)生的乒乓球技術(shù)動作訓(xùn)練視頻，經(jīng)過目標檢測算法、姿態(tài)估計算法及動作比較算法完成學(xué)生的乒乓球技術(shù)動作AI評分，并且提供可視化數(shù)據(jù)分析與展示[11]。這套系統(tǒng)現(xiàn)已應(yīng)用于廣東科學(xué)技術(shù)職業(yè)學(xué)院計算機工程技術(shù)學(xué)院的教學(xué)中，效果顯著，學(xué)院開設(shè)的乒乓球課程榮獲“省職業(yè)院校教學(xué)能力比賽一等獎”。本系統(tǒng)應(yīng)用前景廣闊，可以在乒乓球技術(shù)動作教學(xué)中推廣。此外，其他場景的肢體動作教學(xué)也有類似的需求，例如空乘禮儀姿勢教學(xué)、羽毛球教學(xué)、太極拳教學(xué)等，都可利用本系統(tǒng)的相關(guān)技術(shù)原理并結(jié)合特定場景需求開發(fā)相應(yīng)的教學(xué)AI評分系統(tǒng)。

參考文獻（References）

[1] 李慶，黃嘉君. 乒乓球發(fā)球技術(shù)的訓(xùn)練研究[J]. 當代體育科技，2019，9（32）：28，30.

[2] MERCHANT Z，OETZ E T，CIFUENTES L，et al. Effectivenessof virtual reality-based instruction on students' learningoutcomes in K-12 and higher education： a meta-analysis[J].Computers & Education，2014，70：29-40.

[3] 管練武，叢曉丹，張慶，等. 基于微慣性與Unity3D的室內(nèi)滑雪教學(xué)與訓(xùn)練可視化系統(tǒng)設(shè)計[J]. 實驗技術(shù)與管理，2021，38（10）：152-156.

[4] 趙瓊，李寶清，李唐薇. 基于改進YOLO v3 的目標檢測算法[J]. 激光與光電子學(xué)進展，2020，57（12）：313-321.

[5] WU S Z，RUPPRECHT C，VEDALDI A. Unsupervisedlearning of probably symmetric deformable 3D objects fromimages in the wild [C]∥Conference on Computer Visionand Pattern Recognition （CVPR）. 2020 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. Seattle，WA：IEEE，2020：1-10.

[6] LIU R C，WANG Z L，SHI X，et al. Table tennis stroke recognitionbased on body sensor network[C]∥MONTELLA R，CIARAMELLA A，F(xiàn)ORTINO G，et al. International Conferenceon Internet and Distributed Computing Systems.Cham：Springer，2019：1-10.

[7] 婁泰山，王曉乾，趙良玉，等. 自適應(yīng)快速弱敏無跡Kalman濾波算法[J]. 控制與決策，2022，37（2）：506-512.

[8] 周馳，李智，徐燦. 基于DTW 算法的空間目標結(jié)構(gòu)識別研究[J]. 計算機仿真，2019，36（9）：98-102.

[9] 朱航標，吉龍龍，張瑛秋. 信息技術(shù)與乒乓球發(fā)球判罰教學(xué)深度融合的理論與實踐[J]. 北京體育大學(xué)學(xué)報，2021，44（11）：99-109.

[10] 張學(xué)鋒，陳雪瑞. 乒乓球揮拍動作識別方法研究[J]. 重慶工商大學(xué)學(xué)報（自然科學(xué)版），2021，38（1）：62-69.

[11] 張毅，趙杰煜，王翀，等. 時域注意力Dense-TCNs在多模手勢識別中的應(yīng)用[J]. 計算機工程，2020，46（9）：101-109.

作者簡介：

劉曉林（1978-），男，碩士，高級工程師。研究領(lǐng)域：軟件工程，移動應(yīng)用開發(fā)。

胡建華（1984-），男，碩士，高級工程師。研究領(lǐng)域：圖像視頻處理，視頻編解碼，深度學(xué)習(xí)。本文通信作者。

李貞晶（1982-），女，碩士，副教授。研究領(lǐng)域：乒乓球運動教學(xué)與訓(xùn)練，體育人文社會學(xué)。

石曉莉（1993-），女，碩士。研究領(lǐng)域：體育教學(xué)方法，乒乓球運動訓(xùn)練。