基于視頻的人工智能分析系統(tǒng)在引體向上運(yùn)動(dòng)教學(xué)及考核中的初步應(yīng)用*

付軍 李睿敏 黃湖 范宏斌 緱水平 羅卓荊

為了全面提升大學(xué)生的綜合素質(zhì)，教育部發(fā)布了《全國(guó)學(xué)生體質(zhì)健康標(biāo)準(zhǔn)》（以下簡(jiǎn)稱《標(biāo)準(zhǔn)》），其中包括了跑、跳及引體向上等多個(gè)運(yùn)動(dòng)動(dòng)作。在這其中，單杠引體向上是男性的通用考核項(xiàng)目，同時(shí)也是幾項(xiàng)考核項(xiàng)目中訓(xùn)練需求和考核需求最高的一個(gè)項(xiàng)目，對(duì)于學(xué)生而言，是有一定難度的，同時(shí)也對(duì)運(yùn)動(dòng)醫(yī)學(xué)教育提出了新的要求。在完成引體向上動(dòng)作時(shí)，動(dòng)作是否標(biāo)準(zhǔn)、如何改進(jìn)，完全依靠考官的主觀經(jīng)驗(yàn)評(píng)價(jià)，很難在不同單位、不同時(shí)間、不同個(gè)體之間做到指導(dǎo)、考評(píng)的一致性，同時(shí)難以告知學(xué)生動(dòng)作不規(guī)范的具體點(diǎn)在哪里。隨著計(jì)算機(jī)科學(xué)的發(fā)展，人工智能、大數(shù)據(jù)、區(qū)塊鏈等技術(shù)的產(chǎn)學(xué)研體系的良好結(jié)合使得這些前沿技術(shù)快速地走入現(xiàn)實(shí)，融入大眾的日常生活中。其中，基于視頻的人工智能人體動(dòng)作捕捉及分析技術(shù)，就是一項(xiàng)顛覆性的技術(shù)。

1 資料與方法

本研究采用Azure Kinect深度攝像頭進(jìn)行動(dòng)作視頻樣本的采集，使用python語言進(jìn)行系統(tǒng)開發(fā)。筆者共采集了51個(gè)引體向上的動(dòng)作視頻樣本，同時(shí)邀請(qǐng)相關(guān)專家對(duì)這些樣本進(jìn)行了人工計(jì)數(shù)與標(biāo)準(zhǔn)化評(píng)估，人工計(jì)數(shù)和評(píng)估將作為真值來評(píng)估本研究提出的引體向上智能考核與評(píng)估系統(tǒng)的性能。本研究提出的引體向上智能考核與評(píng)估系統(tǒng)共包含人體動(dòng)作智能捕捉、單次引體向上動(dòng)作檢測(cè)和引體向上智能評(píng)估與計(jì)數(shù)三部分主要內(nèi)容。

1.1 人體動(dòng)作智能捕捉

人體的骨骼結(jié)構(gòu)決定了人類運(yùn)動(dòng)的幾何結(jié)構(gòu)[1]，因此，三維人體骨骼數(shù)據(jù)可以用于有效描述人體動(dòng)作。三維骨骼數(shù)據(jù)可以通過動(dòng)作捕捉系統(tǒng)獲取，但是最初的動(dòng)作捕捉系統(tǒng)需要在特定的采集環(huán)境下進(jìn)行，并且需要在人體關(guān)鍵點(diǎn)粘貼反射標(biāo)記，采集過程復(fù)雜，成本昂貴。近些年，隨著計(jì)算機(jī)視覺技術(shù)的飛速發(fā)展，可以通過人體骨骼估計(jì)算法實(shí)現(xiàn)基于視頻的人體動(dòng)作的智能捕捉。因此，本研究通過MediaPipe算法[2]基于普通RGB視頻提取人體三維骨骼數(shù)據(jù)，如圖1所示，圖中橙色點(diǎn)和藍(lán)色點(diǎn)表示檢測(cè)到的人體骨骼關(guān)鍵點(diǎn)，白色的線表示骨骼點(diǎn)之間的物理連接。在對(duì)視頻中的圖像進(jìn)行逐幀動(dòng)作捕捉后，即可得到整個(gè)引體向上過程中人體三維骨骼數(shù)據(jù)序列。

圖1 基于視頻的人體動(dòng)作捕捉結(jié)果示意圖

1.2 單次引體向上動(dòng)作檢測(cè)

在采集的長(zhǎng)視頻中，通常會(huì)包含多次引體向上動(dòng)作，在對(duì)引體向上進(jìn)行智能評(píng)估之前，應(yīng)該先對(duì)單次引體向上動(dòng)作進(jìn)行時(shí)間上的檢測(cè)，確認(rèn)單次引體向上的起止時(shí)間，提取單次引體向上的動(dòng)作視頻。本研究根據(jù)引體向上過程中，身體尤其是頭部規(guī)律性的上下浮動(dòng)來進(jìn)行單次引體向上動(dòng)作檢測(cè)，將引體向上過程中的頭部關(guān)鍵點(diǎn)位置序列輸入CAS搜索算法[3]，即可實(shí)現(xiàn)單次引體向上動(dòng)作檢測(cè)。

1.3 引體向上智能評(píng)估與計(jì)數(shù)

《標(biāo)準(zhǔn)》對(duì)引體向上的考核標(biāo)準(zhǔn)進(jìn)行了明確規(guī)定，標(biāo)準(zhǔn)的引體向上應(yīng)該滿足以下三大條件：①下頜要高于杠面；②身體不能借助振浪或者擺動(dòng)；③懸垂時(shí)雙肘關(guān)節(jié)需伸直。本研究通過對(duì)人體骨骼數(shù)據(jù)進(jìn)行分析來評(píng)估引體向上的三大關(guān)鍵要素，輸出一個(gè)三維向量[α，β，γ]：α=0表示下頜低于杠面，α=1表示下頜高于杠面；β=0表示身體借助振浪或者擺動(dòng)，β=1表示身體未借助振浪或者擺動(dòng)；γ=0表示懸垂時(shí)雙肘關(guān)節(jié)未伸直，γ=1表示懸垂時(shí)雙肘關(guān)節(jié)伸直。若α=1∧β=1∧γ=1，則該次引體向上動(dòng)作合格，并令引體向上計(jì)數(shù)加1，否則表示該次引體向上動(dòng)作不合格，計(jì)數(shù)不變。依次對(duì)原始視頻中的單次引體向上動(dòng)作片段進(jìn)行以上操作，即可實(shí)現(xiàn)引體向上動(dòng)作的智能評(píng)估與計(jì)數(shù)。

1.4 評(píng)價(jià)指標(biāo)

為了對(duì)提出的單次引體向上動(dòng)作檢測(cè)和引體向上智能評(píng)估與計(jì)數(shù)進(jìn)行客觀、公正的評(píng)價(jià)，筆者提出了兩個(gè)評(píng)價(jià)指標(biāo)：平均計(jì)數(shù)誤差和平均標(biāo)準(zhǔn)化誤差。

計(jì)數(shù)誤差指的是每個(gè)樣本進(jìn)行引體向上的人工計(jì)數(shù)與算法計(jì)數(shù)的差的絕對(duì)值，平均計(jì)數(shù)誤差為51個(gè)樣本的計(jì)數(shù)誤差的平均值。標(biāo)準(zhǔn)化誤差指的是每個(gè)樣本完成標(biāo)準(zhǔn)引體向上的人工計(jì)數(shù)與算法計(jì)數(shù)的差的絕對(duì)值，平均標(biāo)準(zhǔn)化誤差為51個(gè)樣本的標(biāo)準(zhǔn)化誤差的平均值。

2 結(jié)果

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)與分析，如圖2所示。51個(gè)樣本計(jì)數(shù)誤差的統(tǒng)計(jì)直方圖如圖2A所示：對(duì)于78.43%（40/51）的樣本，算法得到的結(jié)果與人工計(jì)數(shù)完全一致，計(jì)數(shù)誤差為0；19.61%（10/51）的樣本存在微弱的計(jì)數(shù)誤差，誤差為1；只有1.96%（1/51）的樣本的計(jì)數(shù)誤差為2。這就說明本研究提出的計(jì)數(shù)方法準(zhǔn)確，誤差較小。51個(gè)樣本標(biāo)準(zhǔn)化誤差的統(tǒng)計(jì)直方圖如圖2B所示，可以看出80.4%的樣本的標(biāo)準(zhǔn)化誤差小于等于2，其中，標(biāo)準(zhǔn)化誤差等于0和1的樣本占大多數(shù)，驗(yàn)證了本研究提出的標(biāo)準(zhǔn)化評(píng)估方法的準(zhǔn)確性。

圖2 誤差直方圖：A.計(jì)數(shù)誤差直方圖；B.標(biāo)準(zhǔn)化誤差直方圖

實(shí)驗(yàn)結(jié)果表明，提出的智能考核與評(píng)估系統(tǒng)的平均計(jì)數(shù)誤差為0.24，平均標(biāo)準(zhǔn)化誤差為1.27。該實(shí)驗(yàn)結(jié)果表明本研究已經(jīng)初步實(shí)現(xiàn)了引體向上智能計(jì)數(shù)與標(biāo)準(zhǔn)化評(píng)估。

3 討論

目前，體育運(yùn)動(dòng)項(xiàng)目的考核評(píng)估基本上是由考官直接給出評(píng)估結(jié)果，這樣的評(píng)分辦法在體育運(yùn)動(dòng)的教學(xué)、測(cè)評(píng)中十分常見。但對(duì)于一些有具體動(dòng)作要求的運(yùn)動(dòng)項(xiàng)目，比如引體向上、俯臥撐、仰臥起坐等，很容易在測(cè)評(píng)時(shí)帶有考官主觀傾向性。而且，傳統(tǒng)的考官計(jì)分方法需要大量的人力資源參與工作，同時(shí)，各考官之間的主觀判斷差異，帶來測(cè)評(píng)的不均衡性。在測(cè)評(píng)結(jié)束后，考官往往只能告知完成的數(shù)量，很難對(duì)動(dòng)作的不足之處給予指導(dǎo)性的建議?；谟?jì)算機(jī)科學(xué)技術(shù)的飛速發(fā)展，人工智能、機(jī)器學(xué)習(xí)、大數(shù)據(jù)挖掘等新興技術(shù)改變了人們觀察世界的視角，帶來了新的分析問題的方法。筆者所做的基于視頻的人體動(dòng)作捕捉及動(dòng)作智能分析技術(shù)，就是人工智能技術(shù)的一種全新應(yīng)用，為解決單杠引體向上智能訓(xùn)練與考核帶來了希望。本研究針對(duì)單杠引體向上人工考核中存在的效率低、主觀性強(qiáng)等問題，通過基于視頻的人工智能分析系統(tǒng)，智能捕捉、分解引體向上動(dòng)作，并結(jié)合《標(biāo)準(zhǔn)》的要求，分析動(dòng)作是否達(dá)標(biāo)，做到智能化、客觀化、系統(tǒng)化的評(píng)判引體向上動(dòng)作，實(shí)現(xiàn)單杠引體向上的整體智能評(píng)估與計(jì)數(shù)。

單杠引體向上作為大學(xué)生體能考核科目中的一項(xiàng)基本內(nèi)容準(zhǔn)則，在實(shí)際訓(xùn)練和考核中存在各種問題[4-5]。由于缺乏規(guī)范的考核標(biāo)準(zhǔn)，各學(xué)校在考核時(shí)對(duì)于引體向上的動(dòng)作評(píng)判缺乏統(tǒng)一的準(zhǔn)則，同時(shí)日常訓(xùn)練中的錯(cuò)誤動(dòng)作會(huì)造成肌肉骨骼組織不同程度地?fù)p傷，長(zhǎng)久以往會(huì)對(duì)學(xué)生體能提高產(chǎn)生影響。近年來，人工智能技術(shù)飛速發(fā)展，結(jié)合神經(jīng)網(wǎng)絡(luò)分析、深度學(xué)習(xí)和智能穿戴設(shè)備的應(yīng)用，量身定制體育訓(xùn)練中的技術(shù)要領(lǐng)、動(dòng)作標(biāo)準(zhǔn)和分析系統(tǒng)，可以使整體訓(xùn)練效果得到了進(jìn)一步優(yōu)化[6-7]。Grunz等[8]運(yùn)用人工神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)對(duì)典型足球比賽的數(shù)據(jù)進(jìn)行分類分析處理，在短時(shí)間內(nèi)實(shí)現(xiàn)了對(duì)大量數(shù)據(jù)的精準(zhǔn)處理，他們發(fā)現(xiàn)使用分層結(jié)構(gòu)能夠有效優(yōu)化戰(zhàn)術(shù)策略，根據(jù)場(chǎng)上不同情況提出最優(yōu)戰(zhàn)術(shù)。Jian等[9]使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)舉重運(yùn)動(dòng)員的訓(xùn)練視頻進(jìn)行逐幀分析，提取深層關(guān)鍵幀對(duì)姿勢(shì)進(jìn)行精確估計(jì)，成功構(gòu)建了基于感知變化的關(guān)鍵幀算法，進(jìn)而優(yōu)化了職業(yè)舉重運(yùn)動(dòng)員的技術(shù)關(guān)鍵要領(lǐng)，針對(duì)性完善了技術(shù)動(dòng)作，使訓(xùn)練更加科學(xué)有效。在體育運(yùn)動(dòng)的技術(shù)分析和優(yōu)化中，神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)錄像的分析預(yù)測(cè)有效地提高了效率和動(dòng)作標(biāo)準(zhǔn)。迄今為止，深度學(xué)習(xí)在運(yùn)動(dòng)相關(guān)分析領(lǐng)域中表現(xiàn)出了優(yōu)秀的預(yù)測(cè)能力和良好的應(yīng)用效果[10-11]。然而，應(yīng)用于單杠引體向上的人工智能技術(shù)罕有報(bào)道，張海文和趙華榮等[12]報(bào)道了基于樹莓派的引體向上計(jì)數(shù)系統(tǒng)的探索取得了初步成果，目前部分學(xué)校用智能單杠引體向上測(cè)試儀來進(jìn)行考核，但受制于高昂的成本和指導(dǎo)性的缺乏。

本研究提出的引體向上智能考核與評(píng)估系統(tǒng)通過智能分解與動(dòng)作分析，達(dá)到了引體向上計(jì)數(shù)與標(biāo)準(zhǔn)化評(píng)估的要求。通過本系統(tǒng)的建立，能夠幫助學(xué)生體能考核的測(cè)試場(chǎng)，更加智能化、客觀化、系統(tǒng)化地記錄、評(píng)價(jià)學(xué)生的引體向上測(cè)試。相信在不久的未來，這項(xiàng)人工智能技術(shù)將在運(yùn)動(dòng)醫(yī)學(xué)研究、教育、訓(xùn)練、考核等領(lǐng)域廣泛的應(yīng)用。