一種基于姿態(tài)估計(jì)的動(dòng)作相似性計(jì)算方法

郭龍飛，楊紅紅,2*，吳曉軍,2,3，張玉梅,2，黨允彤

(1 陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710119；2 陜西師范大學(xué) 現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710062;3 陜西師范大學(xué) 新聞與傳播學(xué)院，陜西 西安 710119；4 陜西師范大學(xué) 音樂學(xué)院，陜西 西安 710119)

隨著科技與文化的深度融合，計(jì)算機(jī)視覺技術(shù)在舞蹈教學(xué)中的應(yīng)用具有巨大的潛力[1]。一般的學(xué)科遵循教師講學(xué)生聽的教學(xué)模式，但是舞蹈是用肢體來表現(xiàn)的，教師需要對(duì)學(xué)習(xí)者動(dòng)作標(biāo)準(zhǔn)程度進(jìn)行判斷，需要使用不同的教學(xué)方式和手段[2]。在傳統(tǒng)的舞蹈教學(xué)中，判斷動(dòng)作是否標(biāo)準(zhǔn)是學(xué)習(xí)者面臨的一個(gè)主要問題。學(xué)習(xí)者通常只能依靠自身的主觀判斷和教師的評(píng)價(jià)對(duì)自己的動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行判斷[3]，而傳統(tǒng)舞蹈課堂人數(shù)較多，屬于一對(duì)多的授課方式，教師無法做到對(duì)每一位學(xué)習(xí)者進(jìn)行實(shí)時(shí)指導(dǎo)[4]。在傳統(tǒng)舞蹈教學(xué)中，雖然有統(tǒng)一的舞蹈動(dòng)作標(biāo)準(zhǔn)，但對(duì)學(xué)習(xí)者舞蹈動(dòng)作是否標(biāo)準(zhǔn)的判斷主要依賴于主觀評(píng)價(jià)，缺乏一個(gè)可量化的客觀評(píng)價(jià)方式。應(yīng)用信息技術(shù)，探索新的教學(xué)方法，將為舞蹈教學(xué)的改革提供無限的可能[5-6]。

隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，近年來很多基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法被提出，自頂向下(top-down)的人體姿態(tài)估計(jì)方法如CPM[7]、Hourglass[8]、Simple Baselines[9]、HRNet[10]和自底向上(bottom-up)的人體姿態(tài)估計(jì)方法如OpenPose[11]、DeepCut[12]、HigherHRNet[13]。但是針對(duì)動(dòng)作相似度估計(jì)的研究較少，多以動(dòng)作識(shí)別為主，如文獻(xiàn)[14]使用Zemike矩描述圖像的形狀信息，結(jié)合支持向量機(jī)(support vector machine，SVM)識(shí)別人物的動(dòng)作；文獻(xiàn)[15]采用PAFs方法識(shí)別人體關(guān)鍵點(diǎn)信息，再利用LSTM網(wǎng)絡(luò)對(duì)信息進(jìn)行分類，以達(dá)到識(shí)別人物動(dòng)作的目的；文獻(xiàn)[16]對(duì)圖像進(jìn)行預(yù)處理后進(jìn)行建模分析來識(shí)別人物動(dòng)作。這些方法僅識(shí)別出人物的動(dòng)作，并未對(duì)動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行判斷，更不能為學(xué)習(xí)者提供動(dòng)作姿態(tài)改進(jìn)的建議。

針對(duì)上述問題，本文提出一種基于姿態(tài)估計(jì)的動(dòng)作相似性計(jì)算方法，可應(yīng)用于傳統(tǒng)民族舞蹈的學(xué)習(xí)，對(duì)學(xué)習(xí)者的動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行實(shí)時(shí)定性和定量判斷，根據(jù)判斷的結(jié)果給予學(xué)習(xí)者實(shí)時(shí)的反饋和建議，幫助學(xué)習(xí)者進(jìn)行實(shí)時(shí)動(dòng)作姿態(tài)調(diào)整，有效提高舞蹈學(xué)習(xí)的效果。本文將不同舞蹈動(dòng)作看作由人體關(guān)節(jié)特征點(diǎn)在空間中位置改變而產(chǎn)生的姿態(tài)變化，通過二維圖像上的關(guān)節(jié)特征點(diǎn)推理出四肢在三維空間中的前后位置信息。在此，設(shè)計(jì)基于三維空間關(guān)節(jié)點(diǎn)偏移角度變化的舞蹈動(dòng)作階梯型相似性計(jì)算方法：首先，通過舞者關(guān)節(jié)點(diǎn)定位，對(duì)關(guān)節(jié)點(diǎn)坐標(biāo)位置進(jìn)行兩次修正；然后，根據(jù)關(guān)節(jié)點(diǎn)坐標(biāo)修正結(jié)果，計(jì)算關(guān)節(jié)點(diǎn)空間前后偏移角度和關(guān)節(jié)點(diǎn)二維角度變化，獲得最終的關(guān)節(jié)點(diǎn)三維空間偏移量；接著，依據(jù)關(guān)節(jié)點(diǎn)三維空間偏移量設(shè)計(jì)舞蹈動(dòng)作階梯型相似度計(jì)算方法，計(jì)算學(xué)習(xí)者姿態(tài)與標(biāo)準(zhǔn)姿態(tài)之間的差異，對(duì)學(xué)習(xí)者舞蹈動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行判斷；最后，根據(jù)階梯型相似度計(jì)算結(jié)果，對(duì)標(biāo)準(zhǔn)動(dòng)作進(jìn)行姿態(tài)還原，提出最終的動(dòng)作糾正意見，實(shí)現(xiàn)舞蹈者動(dòng)作的實(shí)時(shí)對(duì)比分析與反饋。

1 基于姿態(tài)估計(jì)的舞蹈動(dòng)作相似度計(jì)算方法

首先，基于舞蹈者的視頻信息，使用YOLOv3目標(biāo)檢測算法獲取舞蹈者的人體檢測框區(qū)域用于姿態(tài)估計(jì)；然后，基于人體姿態(tài)估計(jì)算法AlphaPose對(duì)所檢測的舞者進(jìn)行姿態(tài)估計(jì)，提取舞蹈者的關(guān)節(jié)點(diǎn)信息；最后，基于三維空間關(guān)節(jié)點(diǎn)偏移角度變化計(jì)算方法，對(duì)舞蹈者的關(guān)節(jié)點(diǎn)信息與標(biāo)準(zhǔn)動(dòng)作的關(guān)節(jié)點(diǎn)信息進(jìn)行比較，獲得學(xué)習(xí)者動(dòng)作與標(biāo)準(zhǔn)動(dòng)作之間的差異，對(duì)學(xué)習(xí)者動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行定量和定性分析；同時(shí)，給出相應(yīng)的動(dòng)作姿態(tài)改進(jìn)建議，幫助學(xué)習(xí)者進(jìn)行動(dòng)作糾錯(cuò)，提高舞蹈學(xué)習(xí)的效果。流程圖如圖1所示。

圖1 實(shí)驗(yàn)流程圖

1.1 基于YOLOv3和AlphaPose的人體姿態(tài)估計(jì)

YOLOv3目標(biāo)檢測器是一個(gè)one-stage檢測方法，由于其不需要預(yù)先生成一系列的候選樣本框，直接通過一次檢測就能得到最終的檢測結(jié)果，所以其處理速度快、檢測效果好[17]，已成為當(dāng)前主流的目標(biāo)檢測算法之一。本文基于YOLOv3目標(biāo)檢測器及其預(yù)訓(xùn)練模型進(jìn)行輸入圖像中人體目標(biāo)的檢測，將RGB圖像作為輸入，經(jīng)YOLOv3目標(biāo)檢測器檢測，獲取圖像中舞蹈者的人體檢測框，并記錄人體檢測框的坐標(biāo)位置信息，用于舞者姿態(tài)的估計(jì)。

姿態(tài)估計(jì)的目的是利用圖像或視頻，對(duì)圖像中的人體骨架形狀進(jìn)行描繪。本文首先基于YOLOv3對(duì)圖像中的人體檢測框進(jìn)行提取，然后利用人體姿態(tài)估計(jì)算法對(duì)舞者關(guān)節(jié)點(diǎn)信息進(jìn)行檢測。由于本文的重點(diǎn)是進(jìn)行基于相似度計(jì)算的舞者動(dòng)作對(duì)比，因此本文采用主流的人體姿態(tài)估計(jì)算法AlphaPose及其預(yù)訓(xùn)練模型實(shí)現(xiàn)舞者人體關(guān)節(jié)點(diǎn)的檢測。需要說明的是，本文僅給出實(shí)現(xiàn)框架，此處也可以選用其他主流的人體姿態(tài)估計(jì)算法。

AlphaPose是自頂向下人體姿態(tài)估計(jì)算法的典型代表[18]，其主要由對(duì)稱空間變換網(wǎng)絡(luò)(symmetric spatial transformer network，SSTN)、參數(shù)化姿態(tài)非最大抑制(parametric pose non-maximum suppression,PPNMS)、姿勢引導(dǎo)建議生成器(pose-guided proposals generator，PGPG)三層結(jié)構(gòu)組成。SSTN的主要作用是對(duì)目標(biāo)檢測器產(chǎn)生的檢測框進(jìn)行修正，使檢測結(jié)果更精準(zhǔn)；PPNMS是將可能產(chǎn)生的冗余檢測框消除；PGPG作為數(shù)據(jù)增強(qiáng)方法，通過已有數(shù)據(jù)生成大樣本的訓(xùn)練集，使SSTN的結(jié)果更精準(zhǔn)。本文利用AlphaPose提取舞蹈者的軀干和關(guān)節(jié)信息進(jìn)行舞蹈動(dòng)作對(duì)比。

1.2 基于人體關(guān)節(jié)點(diǎn)提取的動(dòng)作相似性計(jì)算

基于人體關(guān)節(jié)點(diǎn)提取的動(dòng)作相似性計(jì)算方法主要包括以下幾個(gè)步驟：①關(guān)節(jié)點(diǎn)定位。首先，提取標(biāo)準(zhǔn)圖像和目標(biāo)圖像中的人體關(guān)節(jié)點(diǎn)位置信息；然后將兩幅圖片上的動(dòng)作進(jìn)行標(biāo)準(zhǔn)化，對(duì)其坐標(biāo)進(jìn)行轉(zhuǎn)換，將其疊加到同一個(gè)坐標(biāo)系中。②偏移量計(jì)算。計(jì)算標(biāo)準(zhǔn)化后各個(gè)關(guān)節(jié)點(diǎn)的方向和長度差異，推理計(jì)算目標(biāo)圖像關(guān)節(jié)點(diǎn)在三維空間中與標(biāo)準(zhǔn)動(dòng)作的角度差異。③動(dòng)作階梯型相似度計(jì)算。依據(jù)②計(jì)算出學(xué)習(xí)者動(dòng)作與標(biāo)準(zhǔn)動(dòng)作各個(gè)關(guān)節(jié)點(diǎn)之間的偏移角度，設(shè)計(jì)動(dòng)作相似度定量指標(biāo)，計(jì)算舞蹈動(dòng)作與標(biāo)準(zhǔn)動(dòng)作各個(gè)關(guān)節(jié)點(diǎn)的相似度。④姿態(tài)還原。選取分?jǐn)?shù)最低的關(guān)節(jié)，將標(biāo)準(zhǔn)動(dòng)作圖像中對(duì)應(yīng)的關(guān)節(jié)位置信息再次進(jìn)行坐標(biāo)修正，通過坐標(biāo)變化，將動(dòng)作不標(biāo)準(zhǔn)的關(guān)節(jié)位置所對(duì)應(yīng)的標(biāo)準(zhǔn)動(dòng)作還原到目標(biāo)圖像中，獲得相應(yīng)的動(dòng)作糾正建議。

1.2.1 關(guān)節(jié)點(diǎn)定位 由于存在人體身高差異、學(xué)習(xí)者在拍照的過程中也有攝像頭視角差異以及與鏡頭的距離不同等問題，本文在進(jìn)行學(xué)習(xí)者姿態(tài)與標(biāo)準(zhǔn)動(dòng)作姿態(tài)對(duì)比之前需要對(duì)目標(biāo)圖像(學(xué)習(xí)者所拍攝的圖像)進(jìn)行標(biāo)準(zhǔn)化操作。

由于本文所提出的算法是一種實(shí)時(shí)動(dòng)作對(duì)比算法，因此在獲得所拍攝學(xué)習(xí)者動(dòng)作圖像之后，先對(duì)圖像進(jìn)行預(yù)處理，即人體檢測框提取和人體關(guān)節(jié)點(diǎn)估計(jì)，從而獲得圖像中學(xué)習(xí)者的各個(gè)關(guān)節(jié)點(diǎn)位置信息。17個(gè)關(guān)節(jié)點(diǎn)從上到下依次為：左右眼、左右耳、鼻、左右肩關(guān)節(jié)、左右肘關(guān)節(jié)、左右手、左右髖關(guān)節(jié)、左右膝關(guān)節(jié)和左右腳，按1至17分別編號(hào)。

根據(jù)其活動(dòng)程度的大小將所獲得的17個(gè)關(guān)節(jié)點(diǎn)分為兩類：第一類為活動(dòng)范圍較小的左右肩關(guān)節(jié)和左右髖關(guān)節(jié)，將其定義為靜止關(guān)節(jié)點(diǎn)；第二類為其余的關(guān)節(jié)點(diǎn)，其運(yùn)動(dòng)范圍相對(duì)較大，將其定義為活動(dòng)關(guān)節(jié)點(diǎn)。本文所定義的靜止關(guān)節(jié)點(diǎn)主要是用來定位和確定放縮比例，從而較好地實(shí)現(xiàn)目標(biāo)圖像與標(biāo)準(zhǔn)圖像人體關(guān)節(jié)的位置對(duì)比。

(1)

其中:i為圖片編號(hào);j為關(guān)節(jié)點(diǎn)編號(hào);6為左肩關(guān)節(jié)點(diǎn)的編號(hào)。

(2)

(3)

其中：7、12、13號(hào)分別為右肩、左髖、右髖關(guān)節(jié)點(diǎn)的編號(hào)；f(p)表示與該關(guān)節(jié)點(diǎn)相連的關(guān)節(jié)點(diǎn)；d(pj1,pj2)表示點(diǎn)p1與點(diǎn)p2之間的歐幾里得距離。

1.2.2 偏移量計(jì)算 本文以舞蹈學(xué)習(xí)者的動(dòng)作對(duì)比為研究對(duì)象，由于舞者動(dòng)作姿態(tài)變化，舞蹈動(dòng)作反映在二維圖像上時(shí)，會(huì)出現(xiàn)四肢頻繁擺動(dòng)現(xiàn)象。當(dāng)舞者肢體發(fā)生前后擺動(dòng)時(shí)，會(huì)產(chǎn)生關(guān)節(jié)點(diǎn)之間距離的長短變化，因此為了精確地推理舞者動(dòng)作姿態(tài)在三維空間中與標(biāo)準(zhǔn)動(dòng)作的差異，本文依據(jù)舞者肢體角度變化和長度信息變化進(jìn)行偏移量計(jì)算。

由于舞蹈動(dòng)作主要依賴于舞者四肢動(dòng)作的變化，所以本文僅考慮8個(gè)關(guān)節(jié)點(diǎn)的偏移量，分別為左、右肩關(guān)節(jié),左、右肘關(guān)節(jié)，左、右髖關(guān)節(jié)，左、右膝關(guān)節(jié)，由1至8分別編號(hào)。

經(jīng)過關(guān)節(jié)點(diǎn)標(biāo)準(zhǔn)化二次修正后，對(duì)上述的8個(gè)關(guān)節(jié)點(diǎn)進(jìn)行偏移量對(duì)比計(jì)算。當(dāng)肢體在空間中有前后偏移的時(shí)候，肢體在圖片上的二維投影長度會(huì)發(fā)生變化，所以可以使用肢體的長度信息推導(dǎo)肢體在空間中的前后偏移角度d1，通過推導(dǎo)得出

(4)

其中：k為關(guān)節(jié)編號(hào)；pk為關(guān)節(jié)對(duì)應(yīng)的中心點(diǎn)。

然后，使用關(guān)節(jié)的位置信息推理關(guān)節(jié)點(diǎn)角度信息，得到關(guān)節(jié)點(diǎn)二維平面逆時(shí)針旋轉(zhuǎn)角度d2，通過推導(dǎo)得出：

(5)

最后，依據(jù)公式(4)和(5)計(jì)算所得的兩個(gè)角度信息，推理三維空間內(nèi)關(guān)節(jié)的偏移角度，即

(6)

其中dk∈(0°,180°)。

1.2.3 學(xué)習(xí)者動(dòng)作階梯型相似度計(jì)算 計(jì)算出學(xué)習(xí)者舞蹈動(dòng)作與標(biāo)準(zhǔn)動(dòng)作各個(gè)關(guān)節(jié)點(diǎn)之間的偏移角度之后，設(shè)計(jì)動(dòng)作相似度定量指標(biāo)，計(jì)算學(xué)習(xí)者動(dòng)作與標(biāo)準(zhǔn)動(dòng)作各個(gè)關(guān)節(jié)點(diǎn)的相似度sk。在專業(yè)舞蹈老師的指導(dǎo)下，定義階梯型動(dòng)作相似度計(jì)算方法，當(dāng)公式(6)中偏移角≤5°時(shí)相似度sk為1；偏移角為5°～30°時(shí)，相似度sk從1至0.6線性下降；當(dāng)偏移角>30°時(shí)，相似度sk從0.6至0線性下降，如公式(7)所示：

(7)

根據(jù)公式(7)計(jì)算所定義8個(gè)主要肢體關(guān)節(jié)點(diǎn)的相似度sk。根據(jù)各個(gè)關(guān)鍵點(diǎn)的相似度計(jì)算結(jié)果，獲得整體舞蹈動(dòng)作的總體相似度

(8)

當(dāng)總體相似度為1時(shí)，認(rèn)為學(xué)習(xí)者的動(dòng)作是標(biāo)準(zhǔn)的;否則，依據(jù)相似度最低的關(guān)鍵點(diǎn)信息，給出最終的動(dòng)作糾正意見。

在計(jì)算出學(xué)習(xí)者各個(gè)關(guān)節(jié)的相似度分?jǐn)?shù)后，選取分?jǐn)?shù)最低的關(guān)節(jié)，將標(biāo)準(zhǔn)動(dòng)作圖像中對(duì)應(yīng)的關(guān)節(jié)位置信息再次進(jìn)行坐標(biāo)修正，并向?qū)W習(xí)者給出修正該最低相似度關(guān)節(jié)的姿態(tài)建議：

(9)

通過坐標(biāo)變化，最終疊加到目標(biāo)圖像中，使學(xué)習(xí)者可以按照圖像中標(biāo)準(zhǔn)動(dòng)作修正自己的動(dòng)作，提高舞蹈學(xué)習(xí)的效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

本文動(dòng)作相似性對(duì)比以舞蹈學(xué)習(xí)者為研究對(duì)象。首先，邀請舞蹈教師進(jìn)行專業(yè)舞者標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)集的構(gòu)建，然后對(duì)學(xué)生舞蹈動(dòng)作進(jìn)行采集。本文選取5類具有特色的民族舞蹈進(jìn)行動(dòng)作對(duì)比實(shí)驗(yàn)，分別為蒙古族舞蹈、藏族舞蹈、傣族舞蹈、漢族秧歌以及維吾爾族舞蹈共計(jì)277組動(dòng)作。實(shí)驗(yàn)采用拍照之后立即對(duì)比的方式，一次一組動(dòng)作。實(shí)驗(yàn)選用Python 語言及Pytorch 深度網(wǎng)絡(luò)框架，運(yùn)行環(huán)境為Windows 10,Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz 3.19 GHz，8 G RAM。

2.2 實(shí)驗(yàn)結(jié)果與分析

目前,對(duì)學(xué)習(xí)者舞蹈動(dòng)作是否標(biāo)準(zhǔn)的判斷沒有科學(xué)統(tǒng)一的評(píng)估方法，依賴于主觀視覺評(píng)價(jià)的人工評(píng)價(jià)方法是目前最主流的評(píng)估方法，但是人工評(píng)價(jià)結(jié)果很容易受主觀影響，缺乏一個(gè)可量化的客觀評(píng)價(jià)方式。因此,本文提出一種基于姿態(tài)估計(jì)的舞蹈動(dòng)作對(duì)比算法，對(duì)舞蹈者的動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行定量計(jì)算。為了驗(yàn)證所提出算法的有效性，本文采用專業(yè)舞者主觀評(píng)價(jià)和定量客觀評(píng)價(jià)方法對(duì)舞蹈動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行評(píng)估。

2.2.1 專業(yè)舞蹈教師主觀評(píng)價(jià) 對(duì)學(xué)習(xí)者動(dòng)作通過專業(yè)舞蹈教師進(jìn)行標(biāo)準(zhǔn)與否評(píng)價(jià)。在此，選取277組舞蹈數(shù)據(jù)，分為專業(yè)舞者動(dòng)作和學(xué)習(xí)者舞蹈動(dòng)作，如圖2所示。圖2a為專業(yè)舞蹈者動(dòng)作姿態(tài)圖像，圖2b為學(xué)習(xí)者根據(jù)專業(yè)舞者動(dòng)作進(jìn)行學(xué)習(xí)的舞蹈姿勢。表1為舞蹈教師根據(jù)主觀視覺對(duì)學(xué)習(xí)者動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行的判斷，舞蹈者視角分為正視圖、側(cè)視圖、背視圖。專業(yè)舞蹈教師對(duì)學(xué)習(xí)者動(dòng)作是否標(biāo)準(zhǔn)判斷正確的有247組，總體正確率為89.17%；正視圖、背視圖和側(cè)視圖的正確率分別為：90.67%、88.68%和78.13%。側(cè)視圖的正確率較低，這是因?yàn)閷I(yè)教師在對(duì)側(cè)視圖中舞蹈者進(jìn)行動(dòng)作姿態(tài)標(biāo)準(zhǔn)判斷時(shí)，無法依靠二維圖像中因視角變化及角度遮擋情況下的舞蹈者姿態(tài)進(jìn)行舞者肢體及關(guān)節(jié)點(diǎn)的準(zhǔn)確定位。

表1 專業(yè)舞者對(duì)學(xué)習(xí)者舞蹈動(dòng)作是否標(biāo)準(zhǔn)的判斷

圖2 部分實(shí)驗(yàn)結(jié)果圖

2.2.2 基于姿態(tài)估計(jì)的舞蹈動(dòng)作對(duì)比定量評(píng)價(jià) 根據(jù)本文所提出算法進(jìn)行舞蹈動(dòng)作姿態(tài)對(duì)比與糾正建議的部分實(shí)驗(yàn)結(jié)果如圖2和表2所示。圖2c為圖2a中專業(yè)舞蹈者動(dòng)作的姿態(tài)關(guān)節(jié)點(diǎn)提取可視化圖。圖2d為圖2b中學(xué)習(xí)者的舞蹈動(dòng)作姿勢估計(jì)可視化圖。圖2e中紅色線條為根據(jù)本文方法獲得最需要改進(jìn)的部位關(guān)節(jié)點(diǎn)，表2為本文方法計(jì)算所得的姿態(tài)總體相似度和動(dòng)作糾正改進(jìn)建議。

表2 基于姿態(tài)估計(jì)的舞蹈動(dòng)作相似度計(jì)算結(jié)果與姿態(tài)糾正建議

由圖2可以看出，本文所選取的8組部分可視化數(shù)據(jù)的舞蹈動(dòng)作差異較大，涵蓋中國舞蹈的俯、仰、沖、擰、扭、踢等多種舞姿。如圖2中第1組和第3組中標(biāo)準(zhǔn)舞蹈動(dòng)作及學(xué)習(xí)者舞蹈動(dòng)作姿態(tài)在上身傾斜度方面有很大的差異，其圖2e的可視化結(jié)果與表2中的相似度得分和建議糾正意見一致。第2組和第4組圖像中，舞蹈者腿部有交錯(cuò)遮擋。第5組和第6組中不僅有腿部的交錯(cuò)遮擋，而且伴隨上半身的擰俯變化以及上肢的交互。第6組和第7組圖像中，舞蹈者動(dòng)作復(fù)雜度較高，其相似度得分較低，其結(jié)果符合人們對(duì)越復(fù)雜動(dòng)作越難學(xué)的主觀印象。圖2e中的可視化糾正部位與表2中的姿態(tài)建議一致。同時(shí)，對(duì)比圖2d學(xué)習(xí)者姿態(tài)估計(jì)可視化圖與圖2c標(biāo)準(zhǔn)舞者姿態(tài)可視化圖，可以明顯看出學(xué)習(xí)者姿態(tài)與標(biāo)準(zhǔn)姿態(tài)的差距，其結(jié)果與表2中的總體相似度分?jǐn)?shù)一致，驗(yàn)證了基于姿態(tài)估計(jì)的舞蹈動(dòng)作相似度計(jì)算結(jié)果與主觀視覺評(píng)價(jià)結(jié)果相一致，說明了本方法的有效性。

3 結(jié)論

本文針對(duì)舞蹈學(xué)習(xí)中缺少客觀定量評(píng)價(jià)指標(biāo)的問題，提出了一種基于姿態(tài)估計(jì)的動(dòng)作相似性計(jì)算方法。通過二維圖像上的關(guān)節(jié)特征點(diǎn)推理出四肢在三維空間中的前后位置信息，設(shè)計(jì)基于三維空間關(guān)節(jié)點(diǎn)偏移角度變化的學(xué)習(xí)者動(dòng)作階梯型相似性計(jì)算方法，計(jì)算學(xué)習(xí)者姿態(tài)與標(biāo)準(zhǔn)姿態(tài)之間的差異，對(duì)學(xué)習(xí)者動(dòng)作是否標(biāo)準(zhǔn)進(jìn)行判斷。根據(jù)階梯型相似度計(jì)算結(jié)果，對(duì)標(biāo)準(zhǔn)動(dòng)作進(jìn)行姿態(tài)還原，給予學(xué)習(xí)者實(shí)時(shí)的反饋和糾正建議，幫助學(xué)習(xí)者進(jìn)行實(shí)時(shí)動(dòng)作姿態(tài)調(diào)整。實(shí)驗(yàn)結(jié)果表明，本文方法在實(shí)時(shí)分析舞蹈者動(dòng)作是否標(biāo)準(zhǔn)上具有較好的效果，在舞蹈自助教學(xué)、專業(yè)舞者動(dòng)作糾正等應(yīng)用場景具有一定的應(yīng)用價(jià)值。