基于人體骨骼關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估方法

摘 要：為解決心血管患者日?？祻?fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場(chǎng)指導(dǎo)的問(wèn)題，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動(dòng)作評(píng)估系統(tǒng)，提出了基于人體骨骼關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估方法（ASRT-PHS）。首先，根據(jù)心血管患者的康復(fù)訓(xùn)練動(dòng)作規(guī)范拍攝構(gòu)建了康復(fù)訓(xùn)練動(dòng)作數(shù)據(jù)集；然后，引入基于深度學(xué)習(xí)的檢測(cè)器和姿態(tài)估計(jì)器采集人體位置信息與人體關(guān)鍵點(diǎn)信息，并將提取結(jié)果輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行動(dòng)作識(shí)別；接著，通過(guò)關(guān)節(jié)距離比值計(jì)算、關(guān)節(jié)角度閾值計(jì)算與標(biāo)準(zhǔn)動(dòng)作判斷，構(gòu)建基于關(guān)節(jié)距離比值的動(dòng)作切分模型和基于動(dòng)作關(guān)節(jié)角度閾值的動(dòng)作評(píng)估模型；最后，通過(guò)測(cè)試ASRT-PHS在不同關(guān)節(jié)角度閾值和不同動(dòng)作識(shí)別方法下的動(dòng)作切分與評(píng)估性能，得出了ASRT-PHS的最優(yōu)工作參數(shù)。測(cè)試結(jié)果表明，ASRT-PHS在動(dòng)作識(shí)別、動(dòng)作切分與動(dòng)作評(píng)估中的準(zhǔn)確率分別達(dá)到92.78%、77.6%和87%。此外，真實(shí)心血管患者案例測(cè)試表明，原型系統(tǒng)的動(dòng)作評(píng)估平均準(zhǔn)確率為71.3%，為患者居家自主康復(fù)訓(xùn)練提供了可行的智能輔助系統(tǒng)。

關(guān)鍵詞：人體關(guān)鍵點(diǎn)； 康復(fù)訓(xùn)練； 心血管患者； 動(dòng)作評(píng)估

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）08-027-2441-07

doi：10.19734/j.issn.1001-3695.2023.11.0606

Action assessment method of rehabilitation training based onhuman skeleton key points for cardiovascular patients

Zhang Ruize1a， Guo Wei2， Yang Guanci1a，1b， Luo Kexin1c， Li Yang1a， He Ling1a

（1.a.Key Laboratory of Advanced Manufacturing Technology of Ministry of Education， b.State Key Laboratory of Public Big Data， c. School of Mechanical Engineering， Guizhou University， Guiyang 550025， China; 2.Guizhou Provincial Staff & Workers Hospital， Guiyang 550025， China）

Abstract：In order to solve the problem that the daily rehabilitation training of cardiovascular patients depends on directing by health care professions in rehabilitation centre，during assessing and correcting the movements system about cardiovascular patients’ independent rehabilitation training at home， this paper proposed an action assessment method for cardiovascular patients’ rehabilitation training based on key points of the human skeleton（ASRT-PHS）. Firstly， this paper constructed a dataset for rehabilitation training actions using a camera and data augmentation in accordance with the specified rehabilitation trai-ning specification for cardiovascular patients. Secondly， this paper employed a deep learning-based detector and pose estimator to capture human body positions and extract key points of the human skeleton， respectively， and then input the results into a convolutional neural network for action recognition. Thirdly， by calculating joint angle thresholds， joint distance ratio and assessing standard motions， this paper constructed a motion segmentation model based on joint distance ratios and an action assessment model based on action joint angle thresholds. This paper investigated the optimal combination of ASRT-PHS by assessing its performance with various joint angle thresholds and action recognition approaches. The results show that ASRT-PHS achieves an average action recognition， segmentation and assessment accuracy of 92.78%， 77.6% and 87%， respectively. Furthermore， case tests about the true cardiovascular patients show that the average accuracy of the prototype system is 71.3%， which provides a feasible intelligent auxiliary system for patients’ autonomous rehabilitation training at home.

Key words：human key point; rehabilitation training; cardiovascular patient; action assessment

0 引言

據(jù)報(bào)道，全球每年約有1 790萬(wàn)人死于心血管疾病，中國(guó)約有3.3億名心血管疾病患者［1］。心血管疾病導(dǎo)致的癱瘓和傷殘使得老年人面臨身體平衡和日?；顒?dòng)能力方面的挑戰(zhàn)，進(jìn)而影響其獨(dú)立生活的能力?？祻?fù)訓(xùn)練對(duì)于提升患者的日常生活能力至關(guān)重要。當(dāng)前，患者的日?？祻?fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員的現(xiàn)場(chǎng)指導(dǎo)，不僅需要患者承擔(dān)高額的醫(yī)療費(fèi)用，還導(dǎo)致醫(yī)療資源緊張。尤其是出院后的家庭康復(fù)訓(xùn)練階段，由于訓(xùn)練質(zhì)量要求較高、家庭鍛煉的堅(jiān)持率較低以及缺乏及時(shí)的評(píng)估反饋，康復(fù)訓(xùn)練難以達(dá)到理想效果。研究顯示，2017—2019年參與門診心臟康復(fù)治療的患者中，僅有18.7%的患者完成了24次以上的康復(fù)治療［2］。鑒于此，當(dāng)前亟需采取有效手段，鼓勵(lì)患者更主動(dòng)地參與康復(fù)訓(xùn)練，而研究支撐心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估的技術(shù)與康復(fù)訓(xùn)練機(jī)器人引起了學(xué)者的廣泛關(guān)注［3，4］。

基于虛擬現(xiàn)實(shí)技術(shù)的康復(fù)訓(xùn)練方面，Wang等人［5］通過(guò)提取腦電信號(hào)并分類，設(shè)計(jì)了基于運(yùn)動(dòng)想象的在線腦機(jī)接口上肢康復(fù)系統(tǒng)，該系統(tǒng)根據(jù)實(shí)驗(yàn)者的腦電信號(hào)實(shí)時(shí)控制機(jī)器人手臂，但該研究涉及的數(shù)據(jù)量較小，且未考慮信號(hào)采集時(shí)的噪聲處理。文獻(xiàn)［6］將VR和BCI融入手部康復(fù)系統(tǒng)，將傳統(tǒng)的被動(dòng)康復(fù)轉(zhuǎn)變?yōu)橹鲃?dòng)康復(fù)，該系統(tǒng)能夠提高患者的康復(fù)參與度。Liu等人［7］基于虛擬現(xiàn)實(shí)設(shè)計(jì)了虛擬康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，通過(guò)康復(fù)訓(xùn)練游戲吸引患者的注意力，從而減輕患者可能因長(zhǎng)時(shí)間康復(fù)訓(xùn)練產(chǎn)生的厭倦情緒。Bortone等人［8］提出了用于神經(jīng)運(yùn)動(dòng)障礙兒童康復(fù)治療的沉浸式虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練系統(tǒng)，通過(guò)自定義與虛擬環(huán)境的交互方式，將該系統(tǒng)與可穿戴觸覺(jué)設(shè)備結(jié)合，以滿足不同患者的需求。文獻(xiàn)［9］將VR體能訓(xùn)練監(jiān)測(cè)與上肢康復(fù)技術(shù)相結(jié)合，通過(guò)深度傳感器采集的圖像序列定位人體的關(guān)鍵部位，實(shí)現(xiàn)了實(shí)時(shí)評(píng)估患者康復(fù)訓(xùn)練的質(zhì)量并監(jiān)測(cè)康復(fù)進(jìn)展，但該系統(tǒng)僅關(guān)注關(guān)鍵部位，沒(méi)有考慮整體動(dòng)作。Zhao等人［10］設(shè)計(jì)了基于智能測(cè)控的康復(fù)訓(xùn)練系統(tǒng)，通過(guò)康復(fù)專家定制子系統(tǒng)、患者培訓(xùn)子系統(tǒng)、后臺(tái)管理子系統(tǒng)構(gòu)建了康復(fù)系統(tǒng)，但該系統(tǒng)主要用于康復(fù)管理，依賴于主動(dòng)輸入的數(shù)據(jù)。

為了探索機(jī)器人遠(yuǎn)程輔助康復(fù)治療方法，Liu等人［11］設(shè)計(jì)了居家環(huán)境下的遠(yuǎn)程康復(fù)系統(tǒng)。通過(guò)觸覺(jué)引導(dǎo)訓(xùn)練和基于肌電信號(hào)的監(jiān)督訓(xùn)練，患者在治療師的引導(dǎo)下能夠進(jìn)行機(jī)器人輔助的被動(dòng)康復(fù)或自主康復(fù)訓(xùn)練，該系統(tǒng)依賴可穿戴設(shè)備和治療師的指導(dǎo)。Fan等人［12］提出了用于家庭呼吸康復(fù)鍛煉的非接觸式運(yùn)動(dòng)監(jiān)測(cè)和評(píng)估系統(tǒng)。該系統(tǒng)通過(guò)多波段微波傳感技術(shù)實(shí)時(shí)監(jiān)控患者的康復(fù)訓(xùn)練情況，訓(xùn)練后基于運(yùn)動(dòng)信息評(píng)估康復(fù)運(yùn)動(dòng)的質(zhì)量，無(wú)法做到實(shí)時(shí)評(píng)估。Bai等人［13］運(yùn)用多傳感器融合技術(shù)（包括Kinect和姿態(tài)傳感器）監(jiān)測(cè)運(yùn)動(dòng)軌跡，進(jìn)而研制了上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)。此系統(tǒng)采用Fugl-Meyer運(yùn)動(dòng)評(píng)分表評(píng)估康復(fù)動(dòng)作，但其僅適用于解決上肢動(dòng)作軌跡不一致的問(wèn)題。Kim等人［14］通過(guò)在天花板安裝軌道平臺(tái)和手推車構(gòu)建康復(fù)訓(xùn)練系統(tǒng)，該系統(tǒng)能夠通過(guò)檢測(cè)運(yùn)動(dòng)意圖進(jìn)而預(yù)知患者移動(dòng)方向。

上述研究?jī)H通過(guò)虛擬現(xiàn)實(shí)或者機(jī)器人輔助來(lái)進(jìn)行康復(fù)訓(xùn)練評(píng)估，沒(méi)有進(jìn)一步探索與人工智能相結(jié)合的動(dòng)作評(píng)估方法。為了評(píng)估太極運(yùn)動(dòng)，Li等人［15］將評(píng)估方法與RGB-D相機(jī)結(jié)合，開(kāi)發(fā)了實(shí)時(shí)智能動(dòng)作質(zhì)量分析系統(tǒng)，但該系統(tǒng)僅適用于太極運(yùn)動(dòng)的動(dòng)作評(píng)估。Parsa等人［16］為在線動(dòng)作識(shí)別提出了一種時(shí)空金字塔圖卷積網(wǎng)絡(luò)，在姿態(tài)估計(jì)任務(wù)中，該方法取得了高準(zhǔn)確率并具備良好的實(shí)時(shí)性。Zhang等人［17］提出了基于時(shí)空特征的動(dòng)作評(píng)估模型，通過(guò)捕捉全局時(shí)空特征中的深度依賴性來(lái)解決表達(dá)和泛化能力不足的問(wèn)題。

在康復(fù)訓(xùn)練過(guò)程中，由于人體動(dòng)作與骨骼關(guān)鍵點(diǎn)之間存在十分密切的聯(lián)系，通過(guò)人體骨骼關(guān)鍵點(diǎn)的變化可以反映出執(zhí)行動(dòng)作的姿勢(shì)、肢體運(yùn)動(dòng)路徑等方面的信息，并且隨著人體姿態(tài)估計(jì)算法的發(fā)展，人體骨骼關(guān)鍵點(diǎn)檢測(cè)精確度也越來(lái)越高。將其應(yīng)用于康復(fù)訓(xùn)練，實(shí)現(xiàn)動(dòng)作精準(zhǔn)識(shí)別的同時(shí)也可以為康復(fù)訓(xùn)練提供更加科學(xué)的評(píng)估和指導(dǎo)。面對(duì)心血管患者日?？祻?fù)訓(xùn)練中存在的問(wèn)題，特別是對(duì)康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場(chǎng)指導(dǎo)的依賴，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動(dòng)作評(píng)估系統(tǒng)，本文提出基于人體關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估方法。

1 康復(fù)訓(xùn)練動(dòng)作評(píng)估數(shù)據(jù)集構(gòu)建

當(dāng)前，已有由Kinect傳感器采集制作成的康復(fù)運(yùn)動(dòng)數(shù)據(jù)集UI-PRMD，只支持康復(fù)訓(xùn)練中與鍛煉相關(guān)的常見(jiàn)動(dòng)作識(shí)別，而不適用于心血管患者的康復(fù)訓(xùn)練。另一方面，其數(shù)據(jù)均由人體關(guān)鍵點(diǎn)坐標(biāo)構(gòu)成，無(wú)法實(shí)現(xiàn)端到端的動(dòng)作識(shí)別與評(píng)估。因此，本文根據(jù)康復(fù)訓(xùn)練動(dòng)作規(guī)范的指導(dǎo)［18］，構(gòu)建了心血管患者康復(fù)訓(xùn)練數(shù)據(jù)集，以達(dá)到居家環(huán)境心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估的目的?？祻?fù)訓(xùn)練動(dòng)作數(shù)據(jù)集構(gòu)建方案與過(guò)程如下：

1）數(shù)據(jù)采集設(shè)備 采用SAMSUNG S21+智能手機(jī)作為數(shù)據(jù)采集設(shè)備。

2）參與人員 邀請(qǐng)課題組內(nèi)五位研究生作為志愿者參與視頻數(shù)據(jù)的采集。五位志愿者體重在60～75 kg，身高在1.60～1.85 m，符合大多數(shù)人的身材比例。

3）動(dòng)作類型 動(dòng)作類型分為10類康復(fù)動(dòng)作及1類日常活動(dòng)動(dòng)作。10類康復(fù)動(dòng)作分別為：手臂上舉（C1）、雙臂上下擺動(dòng)（C2）、胸部舒張（C3）、胳膊伸展（C4）、用臂畫圈（C5）、下拉（C6）、抱頭后轉(zhuǎn)（C7）、下蹲（C8）、抬腿（C9）、側(cè)躺伸腿（C10）。1類日?；顒?dòng)動(dòng)作為步行（C11）。圖1是不同動(dòng)作類型示例圖。

4）采集方案

a）訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)的采集?？祻?fù)動(dòng)作數(shù)據(jù)集包含標(biāo)準(zhǔn)（S）動(dòng)作視頻和非標(biāo)準(zhǔn)（NS）動(dòng)作視頻。非標(biāo)準(zhǔn)動(dòng)作是指不符合規(guī)范的動(dòng)作或者完成度不符合要求的動(dòng)作，完成度不符合要求是指超過(guò)一定閾值的動(dòng)作（閾值將在3.2節(jié)中進(jìn)行討論）。針對(duì)10類康復(fù)動(dòng)作與1類日常動(dòng)作，其標(biāo)準(zhǔn)動(dòng)作視頻由5位實(shí)驗(yàn)人員分別在強(qiáng)光近距離、強(qiáng)光遠(yuǎn)距離、弱光近距離、弱光遠(yuǎn)距離4種不同環(huán)境下拍攝，每類動(dòng)作完成2～4次，同一類動(dòng)作完成次數(shù)相同，每種環(huán)境采集1個(gè)樣本，每類動(dòng)作共采集20個(gè)樣本。為防止后期動(dòng)作識(shí)別網(wǎng)絡(luò)訓(xùn)練過(guò)擬合，只在強(qiáng)光近距離環(huán)境下采集10類康復(fù)動(dòng)作的非標(biāo)準(zhǔn)動(dòng)作視頻，每類動(dòng)作采集1個(gè)樣本。采集過(guò)程中攝像頭位置固定，近距離與遠(yuǎn)距離代表攝像頭到被測(cè)人員的垂直距離，近距離為3.8 m，遠(yuǎn)距離為7.5 m。每個(gè)動(dòng)作樣本持續(xù)時(shí)間為5～9 s，視頻幀率為30，采集過(guò)程中動(dòng)作連續(xù)進(jìn)行。

b）測(cè)試數(shù)據(jù)的采集。本文設(shè)計(jì)了兩類測(cè)試數(shù)據(jù)來(lái)檢驗(yàn)?zāi)Ｐ偷膭?dòng)作切分與評(píng)估性能。實(shí)驗(yàn)方案設(shè)計(jì)如下：

實(shí)驗(yàn)A 實(shí)驗(yàn)環(huán)境與訓(xùn)練驗(yàn)證數(shù)據(jù)相同，測(cè)試人員不同。這一實(shí)驗(yàn)驗(yàn)證在訓(xùn)練數(shù)據(jù)集環(huán)境相同時(shí)，本文康復(fù)訓(xùn)練動(dòng)作切分與評(píng)估方法面向不同被測(cè)對(duì)象的魯棒性。

實(shí)驗(yàn)B 實(shí)驗(yàn)環(huán)境不同，測(cè)試人員相同。這一實(shí)驗(yàn)驗(yàn)證訓(xùn)練數(shù)據(jù)集環(huán)境變化后，本文模型對(duì)不同環(huán)境的適應(yīng)能力。

在實(shí)驗(yàn)B中用中等強(qiáng)度光代替弱光，其余采集方案與訓(xùn)練數(shù)據(jù)采集方案相同。每個(gè)測(cè)試類別包括40個(gè)標(biāo)準(zhǔn)視頻、10個(gè)非標(biāo)準(zhǔn)視頻和4個(gè)日常動(dòng)作視頻，因此測(cè)試數(shù)據(jù)集共有108個(gè)視頻?？紤]到C9和C10類別的動(dòng)作特點(diǎn)與Faster R-CNN的算法特點(diǎn)（需要先檢測(cè)到視頻中的人體才能進(jìn)行關(guān)鍵點(diǎn)檢測(cè)），將實(shí)驗(yàn)A與B中C9和C10類別的視頻分別旋轉(zhuǎn)45°或60°，以提高人體檢測(cè)的成功率。

5）數(shù)據(jù)處理 根據(jù)文獻(xiàn)［19］的數(shù)據(jù)增強(qiáng)方法，對(duì)上述采集到的訓(xùn)練與驗(yàn)證數(shù)據(jù)通過(guò)對(duì)稱變換、旋轉(zhuǎn)、添加噪聲等方式進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)擴(kuò)充1倍，得到訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)共有540個(gè)視頻。將這些視頻按照7∶3劃分訓(xùn)練集和驗(yàn)證集，同時(shí)確保每類動(dòng)作樣本比例均衡。由于測(cè)試數(shù)據(jù)包含108個(gè)視頻，所以康復(fù)訓(xùn)練動(dòng)作評(píng)估數(shù)據(jù)集共有648個(gè)視頻，表1是數(shù)據(jù)集的基本信息。對(duì)訓(xùn)練集和驗(yàn)證集的每個(gè)視頻分別進(jìn)行分類標(biāo)注，并用Faster R-CNN和HRNet分別對(duì)每個(gè)視頻進(jìn)行特征提取，得到每個(gè)樣本對(duì)應(yīng)的含有人體位置信息和關(guān)鍵點(diǎn)信息的pkl文件。

2 基于人體關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估算法

為緩解患者日常康復(fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場(chǎng)指導(dǎo)的問(wèn)題，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動(dòng)作評(píng)估系統(tǒng)，本章基于人體骨骼關(guān)鍵點(diǎn)提出心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估方法（ASRT-PHS）。ASRT-PHS包括動(dòng)作分類、動(dòng)作切分與動(dòng)作評(píng)估三個(gè)模塊，其算法流程如下：

輸入：用戶康復(fù)訓(xùn)練的視頻VT；康復(fù)訓(xùn)練動(dòng)作評(píng)估模型Fmodel；康復(fù)訓(xùn)練動(dòng)作類別集合Flabel={C1，…，C11，CQ1，…，CQ10}；康復(fù)訓(xùn)練動(dòng)作是否標(biāo)準(zhǔn)的判定閾值區(qū)間集合θ={c1，…，cy，…，c10}；動(dòng)作切分閾值區(qū)間集合r={d1，…，dy，…，d10}；判定單個(gè)康復(fù)訓(xùn)練動(dòng)作為標(biāo)準(zhǔn)完整動(dòng)作的視頻幀比率α。

輸出：動(dòng)作類別與評(píng)分序列對(duì)序列W、總動(dòng)作數(shù)N和標(biāo)準(zhǔn)動(dòng)作數(shù)ST。

a）初始化參數(shù)及模型。加載模型運(yùn)行所需的相關(guān)參數(shù)，讀取康復(fù)訓(xùn)練動(dòng)作類別集合Flabel=｛C1，…，C11，CQ1，…， CQ10｝。初始化視頻讀取開(kāi)始時(shí)間T=0，動(dòng)作總數(shù)N=0， 康復(fù)訓(xùn)練動(dòng)作是否標(biāo)準(zhǔn)的判定閾值區(qū)間集合θ=｛c1，…，cy，…，c11｝，判定單個(gè)康復(fù)訓(xùn)練動(dòng)作為標(biāo)準(zhǔn)完整動(dòng)作的視頻幀比率α，W=。

b）讀取輸入視頻流VT ={f1…ft…fm }（t=1，2，…，m， m為幀數(shù)）的幀數(shù)；檢測(cè)框坐標(biāo)集合PT=，人體關(guān)鍵點(diǎn)信息集合KT=。

c）對(duì)于每一幀ft（t=1，2，…，m）∈VT：//人體位置檢測(cè)

（a）人體位置信息檢測(cè)框坐標(biāo)pt=;

（b）用Faster R-CNN模型［20］檢測(cè)人體在視頻幀ft中的位置，獲得視頻幀ft中人體位置信息檢測(cè)框坐標(biāo)pt;

（c）PT =PT∪pt。

d）如果PT==，轉(zhuǎn)步驟b）。

e）對(duì)于pt（t=1，2，…，m）∈PT∩pt≠：//進(jìn)行姿態(tài)估計(jì)

（a）人體關(guān)鍵點(diǎn)信息序列kt=;

（b）采用HRNet模型獲得pt所對(duì)應(yīng)視頻幀ft中的人體關(guān)鍵點(diǎn)信息序列kt=（kt0，…，ktj，…，kt16）；

（c）KT= KT∪kt。

f）如果KT==，轉(zhuǎn)步驟b）。

g）以Fmodel、康復(fù)訓(xùn)練動(dòng)作類別集合Flabel、PT和KT作為輸入數(shù)據(jù)，采用動(dòng)作分類模型獲得視頻流VT所屬的分類結(jié)果CT。

h）如果CTFlabel，轉(zhuǎn)步驟b）。

i）初始當(dāng)前視頻VT的標(biāo)準(zhǔn)動(dòng)作數(shù)ST=0，動(dòng)作符合要求的幀數(shù)量Stemp=0， 判斷當(dāng)前幀的臨時(shí)變量ftemp=0，VT中單個(gè)動(dòng)作的開(kāi)始幀g=0，視頻切分結(jié)果集合ET=。

j）遍歷視頻所有幀，根據(jù)人體關(guān)鍵點(diǎn)序列kt∈KT：得到關(guān)鍵關(guān)節(jié)的向量表示r1 ={r10，…，r1t，…，r1m}和r2 ={r20，…，r2t，…，r2m}。

k）對(duì)于當(dāng)前動(dòng)作的每一幀的人體關(guān)鍵點(diǎn)序列kt∈KT：/*康復(fù)訓(xùn)練動(dòng)作切分*/

（a）根據(jù)不同關(guān)節(jié)向量r2和r1的比值計(jì)算動(dòng)作切分閾值r。

（b）如果r處于CT類別對(duì)應(yīng)的動(dòng)作切分閾值dy范圍內(nèi)并且ft-ftemp>30，則ET =ET∪f(wàn)t，ftemp=ft。

l）對(duì)每一個(gè)動(dòng)作切分結(jié)果lt∈ET：

遍歷從該動(dòng)作開(kāi)始幀g到結(jié)束幀lt的所有幀。

m）對(duì)于當(dāng)前動(dòng)作的每一幀的人體關(guān)鍵點(diǎn)序列kt∈KT： /*判定幀動(dòng)作是否為標(biāo)準(zhǔn)動(dòng)作并計(jì)數(shù)*/

（a）根據(jù)人體關(guān)鍵點(diǎn)序列kt采用反正切公式計(jì)算關(guān)鍵關(guān)節(jié)角度At。

（b）如果At處于CT類別對(duì)應(yīng)的動(dòng)作評(píng)估閾值cy范圍內(nèi)，則Stemp=Stemp+1。

（c）如果α≤動(dòng)作評(píng)分結(jié)果X=Stemp/（lt-g），則記錄標(biāo)準(zhǔn)動(dòng)作數(shù)ST=ST+1， Stemp=0，g=lt，記錄完整動(dòng)作數(shù)N=N+1，形成動(dòng)作評(píng)分序列對(duì)w （CT，X），且W=W∪w;

n）如果程序終止，則輸出W，總動(dòng)作數(shù)N和標(biāo)準(zhǔn)動(dòng)作數(shù)ST，否則轉(zhuǎn)b）。

步驟c）（b）中每個(gè)被檢測(cè)目標(biāo)都具有置信度，當(dāng)被檢測(cè)目標(biāo)置信度不低于0.95時(shí)判定為檢測(cè)成功。步驟e）（b）中HRNet模型需要在MSCOCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練［21，22］。

步驟k）（a）中任何一類康復(fù)訓(xùn)練動(dòng)作在練習(xí)過(guò)程中始終存在長(zhǎng)度不變的關(guān)節(jié)向量（由位置不變的兩個(gè)關(guān)節(jié)點(diǎn)的橫縱坐標(biāo)差值的絕對(duì)值構(gòu)成，記為r1）和長(zhǎng)度循環(huán)變化的關(guān)鍵動(dòng)作關(guān)節(jié)向量（由關(guān)鍵關(guān)節(jié)點(diǎn)的橫縱坐標(biāo)差值的絕對(duì)值構(gòu)成，記為r2），因此，可以將r2映射到以r1為x軸的坐標(biāo)系中，通過(guò)計(jì)算r2與r1的比值r，當(dāng)r達(dá)到一定閾值則說(shuō)明一個(gè)動(dòng)作完成，且r不會(huì)隨相機(jī)與受試者的距離變化。例如動(dòng)作類別arm up，由關(guān)節(jié)（9，11）構(gòu)成的關(guān)鍵關(guān)節(jié)r2與關(guān)節(jié)（11，12）構(gòu)成的長(zhǎng)度固定關(guān)節(jié)r1的比值可由式（1）得到。

r=r2r1=y9-y11x11-x12（1）

其中：x11、x12分別為該幀關(guān)節(jié)點(diǎn)11和12的橫坐標(biāo)；y9、y11分別為該幀關(guān)節(jié)點(diǎn)9和11的縱坐標(biāo)。由于比值r是先增大后減小，當(dāng)動(dòng)作完成時(shí)r接近0，所以可以設(shè)置閾值為r<0.1來(lái)切分視頻中的動(dòng)作。為了排除因相鄰兩幀閾值r相同而導(dǎo)致的切分錯(cuò)誤，設(shè)置了判斷相鄰兩個(gè)r是否超過(guò)30的條件以提高動(dòng)作切分的準(zhǔn)確度。表2是其他動(dòng)作類別對(duì)應(yīng)的用于切分的動(dòng)作關(guān)節(jié)距離計(jì)算以及切分閾值。

步驟m）（a）根據(jù)文獻(xiàn)［4］得到每類動(dòng)作的關(guān)鍵關(guān)節(jié)，針對(duì)不同動(dòng)作類別設(shè)置不同角度閾值來(lái)判斷動(dòng)作的標(biāo)準(zhǔn)度。例如動(dòng)作類別stretch arm（C4），關(guān)鍵動(dòng)作為“手臂向上伸展的同時(shí)與伸出手臂相反的腳后蹬，同時(shí)另外一只手臂從體側(cè)向后伸展”，其對(duì)應(yīng)的關(guān)鍵關(guān)節(jié)點(diǎn)為圖1中的（5，7，9）和（10，8，6）。表3展示了其他動(dòng)作類別關(guān)鍵動(dòng)作對(duì)應(yīng)的關(guān)鍵關(guān)節(jié)。kt通過(guò)反正切函數(shù)來(lái)計(jì)算得到不同動(dòng)作類別關(guān)鍵關(guān)節(jié)對(duì)應(yīng)角度。例如關(guān)鍵點(diǎn)（5，7，9）構(gòu)成的關(guān)節(jié)579所對(duì)應(yīng)的∠579，角度At可由式（2）得到。

angle579=arctan（y9-y7x9-x7）-arctan（y5-y7x5-x7）（2）

其中：x5、y5分別代表關(guān)節(jié)點(diǎn)5的橫坐標(biāo)和縱坐標(biāo)；x7、y7分別代表關(guān)節(jié)點(diǎn)7的橫坐標(biāo)和縱坐標(biāo)；x9、y9分別代表關(guān)節(jié)點(diǎn)9的橫坐標(biāo)和縱坐標(biāo)。

步驟m）（b）中，實(shí)驗(yàn)人員對(duì)每個(gè)康復(fù)訓(xùn)練動(dòng)作進(jìn)行標(biāo)準(zhǔn)度判斷，然后通過(guò)模型獲取每一幀的關(guān)節(jié)角度閾值。具體方法為：對(duì)于訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)采集的視頻，測(cè)試人員判斷視頻中每個(gè)動(dòng)作是否標(biāo)準(zhǔn)，同時(shí)利用模型計(jì)算每幀動(dòng)作的關(guān)鍵關(guān)節(jié)角度，從而得到標(biāo)準(zhǔn)動(dòng)作的閾值。例如動(dòng)作類別stretch arm，分別作出：a）右臂向上伸展，同時(shí)伸出左腳后蹬，左臂向后伸展；b）左臂向上伸展，同時(shí)伸出右腳后蹬，右臂向后伸展。當(dāng)左腋下（由關(guān)節(jié)點(diǎn)（7，5，11）構(gòu)成的關(guān)節(jié)）角度小于90時(shí)且當(dāng)右肘（由關(guān)節(jié)點(diǎn)（10，8，6）構(gòu)成的關(guān)節(jié)）角度閾值為［160，240］時(shí)判定該動(dòng)作標(biāo)準(zhǔn)，當(dāng)右腋下（由關(guān)節(jié)點(diǎn)（8，6，12）構(gòu)成的關(guān)節(jié)）角度小于90時(shí)且當(dāng)左肘（由關(guān)節(jié)點(diǎn)（5，7，9）構(gòu)成的關(guān)節(jié)）角度閾值為［140，220］時(shí)判定該動(dòng)作標(biāo)準(zhǔn)，否則該動(dòng)作為非標(biāo)準(zhǔn)。表3中是其他康復(fù)訓(xùn)練動(dòng)作類別的關(guān)節(jié)角度評(píng)估閾值。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)處理器采用 Intel Core i5-10400，內(nèi)存為16 GB，顯卡為 GTX1050 Ti，顯存為4 GB，通過(guò)1080P攝像頭采集視頻，操作系統(tǒng)為Ubuntu 20.04，基于PyTorch深度學(xué)習(xí)框架進(jìn)行姿態(tài)估計(jì)模型及動(dòng)作分類網(wǎng)絡(luò)的搭建，并使用GPU加速姿態(tài)估計(jì)與動(dòng)作識(shí)別模型的識(shí)別過(guò)程。

3.1 實(shí)驗(yàn)方案和指標(biāo)

采用動(dòng)作切分的準(zhǔn)確率和動(dòng)作評(píng)估的準(zhǔn)確率、推理速度以及動(dòng)作識(shí)別的top-1準(zhǔn)確率測(cè)試方法的性能。針對(duì)動(dòng)作評(píng)估的準(zhǔn)確率，每個(gè)視頻的動(dòng)作評(píng)估準(zhǔn)確率Si的計(jì)算方法為

Si=STN（3）

所有視頻測(cè)試完成后，該類康復(fù)訓(xùn)練動(dòng)作的評(píng)估準(zhǔn)確率計(jì)算公式為

SA=∑Siq（4）

其中：SA代表該類動(dòng)作評(píng)估準(zhǔn)確率；q代表該類動(dòng)作視頻數(shù)。

針對(duì)動(dòng)作切分的準(zhǔn)確率，視頻中每個(gè)動(dòng)作經(jīng)過(guò)模型處理后可以得到切分開(kāi)始幀與切分結(jié)束幀，同時(shí)每個(gè)動(dòng)作具有實(shí)際的開(kāi)始幀與結(jié)束幀，則模型正確切分部分計(jì)算公式為

TP=（Os，Oe）∩（Hs，He）（5）

其中：Os和Oe分別表示模型切分得到的動(dòng)作開(kāi)始幀與結(jié)束幀；Hs和He表示動(dòng)作的實(shí)際開(kāi)始幀與實(shí)際結(jié)束幀。

切分后實(shí)際動(dòng)作與切分動(dòng)作所占的總幀數(shù)為

AP=（Os，Oe）∪（Hs，He）（6）

單個(gè)視頻中每個(gè)動(dòng)作模型切分的準(zhǔn)確率Preseg的計(jì)算公式為

Preseg=TPAP（7）

其中：TP是模型正確切分的動(dòng)作幀數(shù);AP是模型錯(cuò)誤切分的動(dòng)作幀數(shù)。每個(gè)視頻的切分準(zhǔn)確率Vpre的計(jì)算公式為

Vpre=∑PresegN（8）

每個(gè)動(dòng)作類別模型切分的準(zhǔn)確率Cn的計(jì)算公式為

Cn=∑Vpreq n=1，2，…，10（9）

3.2 不同關(guān)節(jié)角度閾值實(shí)驗(yàn)

為了更全面地優(yōu)化模型性能，著重考慮兩個(gè)關(guān)鍵方面：針對(duì)不同類別動(dòng)作關(guān)鍵關(guān)節(jié)的判定準(zhǔn)確率以及模型在應(yīng)對(duì)不同受試者時(shí)的適用性。因此，對(duì)每個(gè)動(dòng)作類別分別設(shè)置動(dòng)作關(guān)鍵關(guān)節(jié)與評(píng)估閾值。針對(duì)每類動(dòng)作分別選取不同實(shí)驗(yàn)人員的5個(gè)視頻，通過(guò)分析視頻數(shù)據(jù)并與實(shí)驗(yàn)人員討論，得出用于該動(dòng)作評(píng)估的大致閾值。在此基礎(chǔ)上對(duì)閾值進(jìn)行微調(diào)，得到3組不同的閾值。通過(guò)模型測(cè)試與實(shí)驗(yàn)人員驗(yàn)證得出每類動(dòng)作的5個(gè)視頻中不同閾值評(píng)估的準(zhǔn)確率。具體來(lái)說(shuō)，當(dāng)每個(gè)視頻中70%的幀經(jīng)過(guò)系統(tǒng)判定為標(biāo)準(zhǔn)并符合實(shí)驗(yàn)人員驗(yàn)證時(shí)，該動(dòng)作判定為標(biāo)準(zhǔn)，同時(shí)根據(jù)式（3）（4）計(jì)算每類動(dòng)作在不同閾值下的評(píng)估準(zhǔn)確率。觀察表3可知，不同閾值設(shè)置對(duì)評(píng)估準(zhǔn)確率存在影響，閾值2在動(dòng)作評(píng)估中的準(zhǔn)確率相對(duì)于閾值1和3要更高，相同條件下能實(shí)現(xiàn)評(píng)估的結(jié)果更加準(zhǔn)確，因此選取該閾值進(jìn)行后續(xù)實(shí)驗(yàn)驗(yàn)證與測(cè)試。

3.3 不同動(dòng)作識(shí)別模型與α值實(shí)驗(yàn)

考慮到不同的動(dòng)作識(shí)別模型對(duì)算法的性能有影響，因此，本節(jié)選擇代表性動(dòng)作識(shí)別模型進(jìn)行測(cè)試，進(jìn)而選擇出最匹配的動(dòng)作識(shí)別模型。表4是所選擇的模型與特點(diǎn)統(tǒng)計(jì)。

為了充分考慮各模型的特征并實(shí)現(xiàn)更高的準(zhǔn)確率，表4中MSSTNet在訓(xùn)練時(shí)的學(xué)習(xí)率設(shè)定為0.001，而其他模型則使用學(xué)習(xí)率為0.1進(jìn)行訓(xùn)練。訓(xùn)練循環(huán)30輪，batch-size為4。表5是不同模型的性能比較結(jié)果。與此同時(shí)，測(cè)試了這些方法在訓(xùn)練后的推理速度，結(jié)果也列在了表5中。為了探究不同方法top-1準(zhǔn)確率和模型推理速度之間的關(guān)系，將表5中的數(shù)據(jù)按推理速度升序排列進(jìn)行整理，圖2是不同模型的top-1準(zhǔn)確率與推理速度比較結(jié)果。

由表5可知，在不同模型的效率方面，基于GCN的模型相較于基于CNN的模型表現(xiàn)出更低的GFLOPs和更高的top-1準(zhǔn)確率。以CTR-GCN為例，盡管其GFLOPs和MParams相較于ST-GCN++較高，但卻表現(xiàn)出最高的top-1準(zhǔn)確率，因此適用于對(duì)top-1準(zhǔn)確率要求較高的場(chǎng)景。AAGCN在準(zhǔn)確率和推理速度之間取得了平衡。ST-GCN具有最高的推理速度，但top-1準(zhǔn)確率低于其他GCN模型，適用于對(duì)推理實(shí)時(shí)性有更高要求的環(huán)境。ST-GCN++具有較高的top-1準(zhǔn)確率、與CTR-GCN相近的推理速度與更低的GFLOPs和MParams，適用于計(jì)算資源有限的環(huán)境。在CNN模型中，Slowonly具有與ST-GCN++相近的top-1準(zhǔn)確率，但推理速度遠(yuǎn)低于STGCN++，且具有更高的GFLOPs，對(duì)計(jì)算資源的要求也更高。MSSTNet模型展現(xiàn)出相對(duì)較低的模型復(fù)雜度，然而其top-1準(zhǔn)確率較低。相較于GCN模型，MSSTNet并未表現(xiàn)出顯著優(yōu)勢(shì)。

觀察圖2可知，隨著模型推理速度的增加，不同模型的top-1準(zhǔn)確率呈現(xiàn)上升或下降的趨勢(shì)。雖然STGCN的推理速度最快，但模型的top-1準(zhǔn)確率較低；CTR-GCN的推理速度不如ST-GCN，但top-1準(zhǔn)確率最高。根據(jù)這種規(guī)律可以對(duì)這些方法進(jìn)行分類：一類為推理速度慢但top-1準(zhǔn)確率高的模型，如Slowonly、CTR-GCN、ST-GCN++；另一類為推理速度較快但top-1準(zhǔn)確率低的模型，如ST-GCN、AA-GCN、MSSTNet。綜合對(duì)比考慮，選擇CTR-GCN作為動(dòng)作識(shí)別模型進(jìn)行后續(xù)實(shí)驗(yàn)。

接下來(lái)，將詳細(xì)探討不同α值對(duì)動(dòng)作評(píng)估準(zhǔn)確率的影響。如3.2節(jié)所述，當(dāng)每個(gè)視頻中70%的幀經(jīng)系統(tǒng)判定為標(biāo)準(zhǔn)并符合實(shí)驗(yàn)人員驗(yàn)證時(shí)，動(dòng)作評(píng)估判定為正確。為了研究系統(tǒng)所判定的標(biāo)準(zhǔn)幀數(shù)對(duì)動(dòng)作評(píng)估準(zhǔn)確度的影響，采用3.2節(jié)中閾值實(shí)驗(yàn)的測(cè)試方案，分別測(cè)試當(dāng)α為70%、80%、90%時(shí)動(dòng)作評(píng)估的準(zhǔn)確率。在統(tǒng)計(jì)結(jié)果時(shí)排除了所有因分類錯(cuò)誤導(dǎo)致系統(tǒng)判斷錯(cuò)誤的數(shù)據(jù)。表6是動(dòng)作評(píng)估準(zhǔn)確率在不同α值下的測(cè)試結(jié)果。

由于同一動(dòng)作當(dāng)α>70增大時(shí)準(zhǔn)確率下降，綜合對(duì)比，當(dāng)α>70時(shí)可以作為通用的動(dòng)作評(píng)估判定標(biāo)準(zhǔn)。與此同時(shí)，根據(jù)用戶動(dòng)作差異，不同的α取值范圍可以提供不同的動(dòng)作評(píng)估判斷標(biāo)準(zhǔn)。綜上所述，當(dāng)以CTR-GCN為動(dòng)作識(shí)別模型，閾值2為判定閾值，α>70為動(dòng)作評(píng)估判定標(biāo)準(zhǔn)時(shí)，算法具有最佳的性能。因此后續(xù)集成的系統(tǒng)中，選擇上述參數(shù)作為ASRT-PHS默認(rèn)工作參數(shù)。

3.4 算法性能分析

基于上述算法、評(píng)價(jià)指標(biāo)與最優(yōu)工作參數(shù)，以及3.1節(jié)所給出的計(jì)算公式計(jì)算每個(gè)動(dòng)作類別的評(píng)估準(zhǔn)確率和切分準(zhǔn)確率。表7是實(shí)驗(yàn)A、B中不同類別的動(dòng)作切分與評(píng)估統(tǒng)計(jì)結(jié)果。

觀察表7可知，在動(dòng)作切分的準(zhǔn)確率方面，多數(shù)動(dòng)作類別表現(xiàn)出較高的準(zhǔn)確率，其中實(shí)驗(yàn)A、B的動(dòng)作切分平均準(zhǔn)確率分別達(dá)到了73.6%和81.5%。XHpS2BMn1j187vpPYEpXkH93PX0Z/A1iOOMNHldh0yU=然而，動(dòng)作類別C5的準(zhǔn)確率相對(duì)較低，這是由于關(guān)鍵點(diǎn)檢測(cè)過(guò)程中出現(xiàn)抖動(dòng)，導(dǎo)致部分關(guān)鍵點(diǎn)的丟失，進(jìn)而影響了動(dòng)作切分的準(zhǔn)確性。對(duì)于C9和C10類別的視頻，進(jìn)行了旋轉(zhuǎn)處理，以確保人體檢測(cè)的成功率。然而，這一處理導(dǎo)致在部分遠(yuǎn)距離拍攝的視頻中，旋轉(zhuǎn)后的坐標(biāo)點(diǎn)位置相對(duì)于原始視頻發(fā)生較大的變化，因此對(duì)于相同的閾值r，其準(zhǔn)確率會(huì)低于近距離所拍攝視頻。對(duì)于C7類別，在實(shí)驗(yàn)A中準(zhǔn)確率為83%，這是由于該類別包含了身體轉(zhuǎn)向的步驟，當(dāng)受試者朝后轉(zhuǎn)向時(shí)存在關(guān)鍵點(diǎn)遮擋，導(dǎo)致部分幀的關(guān)鍵點(diǎn)坐標(biāo)出現(xiàn)錯(cuò)誤?？傮w而言，這些觀察結(jié)果表明，在動(dòng)作切分過(guò)程中需要考慮抖動(dòng)問(wèn)題和距離變化對(duì)準(zhǔn)確率的影響，以便更有效地處理不同拍攝情境下的視頻數(shù)據(jù)。

由表7中ASRT-PHS動(dòng)作評(píng)估的平均準(zhǔn)確率為87%可知，本文方法在動(dòng)作評(píng)估方面表現(xiàn)出良好的性能。具體而言，實(shí)驗(yàn)A與B的平均準(zhǔn)確率分別達(dá)到84%和90%，表明在不同實(shí)驗(yàn)條件下，多數(shù)動(dòng)作類別的評(píng)估準(zhǔn)確率較高。然而，實(shí)驗(yàn)B在強(qiáng)光下的動(dòng)作評(píng)估結(jié)果準(zhǔn)確率較高，表明環(huán)境光照強(qiáng)度對(duì)該類動(dòng)作評(píng)估產(chǎn)生了影響。C2和C3類別在實(shí)驗(yàn)A中的準(zhǔn)確率較低，是由于不同實(shí)驗(yàn)人員雙臂彎曲的程度不同，對(duì)于相同評(píng)估閾值設(shè)置得到不同評(píng)估結(jié)果，進(jìn)而影響了評(píng)估的準(zhǔn)確性。針對(duì)這種差異性，實(shí)際工作中需要根據(jù)不同受試者的動(dòng)作特征設(shè)置不同的評(píng)估閾值，以提高算法的適應(yīng)性。對(duì)于C5和C6類別，由于完成動(dòng)作時(shí)需要彎腰，不同實(shí)驗(yàn)人員存在運(yùn)動(dòng)差異，且同一實(shí)驗(yàn)人員每次完成動(dòng)作也存在細(xì)微差異，導(dǎo)致評(píng)估準(zhǔn)確率較低。同時(shí)C6類別的評(píng)估準(zhǔn)確率也受到動(dòng)作識(shí)別錯(cuò)誤的影響（動(dòng)作識(shí)別錯(cuò)誤導(dǎo)致用其他類別的閾值來(lái)評(píng)估），因此在實(shí)際應(yīng)用中需要針對(duì)動(dòng)作特點(diǎn)進(jìn)一步優(yōu)化動(dòng)作識(shí)別模型。C7類別是由于完成動(dòng)作時(shí)需要轉(zhuǎn)頭至身后，存在部分關(guān)鍵點(diǎn)遮擋，導(dǎo)致無(wú)法準(zhǔn)確識(shí)別運(yùn)動(dòng)信息。在實(shí)驗(yàn)B中，C9類別的動(dòng)作評(píng)估準(zhǔn)確率為75%，說(shuō)明經(jīng)過(guò)順時(shí)針45°旋轉(zhuǎn)處理后，視頻的動(dòng)作識(shí)別成功

率提高，但由于旋轉(zhuǎn)后關(guān)鍵點(diǎn)坐標(biāo)位置變化，在相同的閾值條件下，觀察到遠(yuǎn)距離拍攝視頻的準(zhǔn)確率相對(duì)較低，所以近距離拍攝條件更適用于實(shí)際工作。同時(shí)，不同實(shí)驗(yàn)人員存在運(yùn)動(dòng)差異，尤其是抬腿時(shí)的幅度不同，導(dǎo)致C9和C10類別在實(shí)驗(yàn)A和B中的準(zhǔn)確率存在差異。最后，動(dòng)作類別C3和C6均含有胳膊彎曲和身體轉(zhuǎn)向的動(dòng)作，導(dǎo)致運(yùn)動(dòng)過(guò)程中存在部分關(guān)鍵點(diǎn)遮擋，因此在實(shí)驗(yàn)A和B中的準(zhǔn)確率較低。這一現(xiàn)象進(jìn)一步表明關(guān)鍵點(diǎn)遮擋對(duì)準(zhǔn)確率會(huì)產(chǎn)生顯著的負(fù)面影響，在實(shí)際工作中需要根據(jù)患者的運(yùn)動(dòng)特征調(diào)整閾值以確保判定準(zhǔn)確性。

4 案例分析

根據(jù)上述研究，運(yùn)用ASRT-PHS開(kāi)發(fā)了康復(fù)訓(xùn)練動(dòng)作評(píng)估系統(tǒng)。系統(tǒng)的總體框架包括前端與后端兩個(gè)部分。以攝像頭采集的實(shí)時(shí)視頻流或錄制視頻數(shù)據(jù)作為輸入，以終端的動(dòng)作分類和評(píng)估結(jié)果作為輸出。為了實(shí)現(xiàn)前后端的有效交互，系統(tǒng)以前后端分離的形式進(jìn)行設(shè)計(jì)，給前端提供API接口，后端采用Flask封裝深度學(xué)習(xí)模塊、登錄模塊和MySQL數(shù)據(jù)庫(kù)模塊，前端界面采用Vue構(gòu)建。Axios用于前端和后端交互。系統(tǒng)的運(yùn)行流程如下：通過(guò)前端采集康復(fù)訓(xùn)練動(dòng)作視頻數(shù)據(jù)，由后端服務(wù)器運(yùn)行ASRT-PHS算法對(duì)輸入的視頻進(jìn)行相應(yīng)處理，輸出動(dòng)作類別、動(dòng)作切分結(jié)果與動(dòng)作評(píng)估結(jié)果，再由前端展示輸出結(jié)果等交互界面。系統(tǒng)具有標(biāo)準(zhǔn)視頻示例、動(dòng)作評(píng)估、實(shí)時(shí)檢測(cè)與數(shù)據(jù)統(tǒng)計(jì)四個(gè)功能。圖3為系統(tǒng)工作流程。

當(dāng)前，全國(guó)康復(fù)專業(yè)技術(shù)人員相對(duì)匱乏，據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，全國(guó)平均每10萬(wàn)人口有一名康復(fù)治療專業(yè)技術(shù)人員［29］。為此，在貴州省職工醫(yī)院招募了一位心血管患者作為案例測(cè)試，驗(yàn)證并探討本文方法對(duì)心血管患者的適用性。該患者為男性，年齡50歲，具有大學(xué)文化程度，身高180 cm，體重70 kg，已經(jīng)接受過(guò)心血管疾病相關(guān)治療并處于康復(fù)階段。首先，給患者介紹了課題組的概況及相關(guān)研究?jī)?nèi)容，并與患者簽訂了本文研究項(xiàng)目的知情同意書；其次，給患者示范了標(biāo)準(zhǔn)動(dòng)作并告訴其動(dòng)作要領(lǐng)；最后，在醫(yī)生的指導(dǎo)與協(xié)助下采集該患者的康復(fù)訓(xùn)練動(dòng)作數(shù)據(jù)。用攝像頭采集視頻，其高度與3.1節(jié)采集時(shí)相同。讓患者完成10類康復(fù)訓(xùn)練動(dòng)作，每類動(dòng)作完成兩次共20個(gè)視頻。最后，將視頻輸入到系統(tǒng)中進(jìn)行處理并分析結(jié)果，考慮到患者與健康受試者的運(yùn)動(dòng)差異，分別測(cè)試在不同閾值下動(dòng)作切分和評(píng)估的準(zhǔn)確率。圖4是患者康復(fù)訓(xùn)練樣本，表8是案例測(cè)試結(jié)果。

觀察表8可知，動(dòng)作切分和評(píng)估的平均準(zhǔn)確率為63.6%和71.3%，C2、C4、C8和C9類別動(dòng)作評(píng)估的準(zhǔn)確率達(dá)到100%，表明本文方法對(duì)心血管患者的適用性較好。然而，C1和C3類別的動(dòng)作評(píng)估準(zhǔn)確率較低，是由于患者未經(jīng)過(guò)康復(fù)動(dòng)作的相關(guān)練習(xí)，與康復(fù)訓(xùn)練數(shù)據(jù)集中的健康受試者相比，部分動(dòng)作步驟存在動(dòng)作差異（例如患者左臂與右臂動(dòng)作不能同步進(jìn)行）。實(shí)際應(yīng)用中需要根據(jù)不同患者的運(yùn)動(dòng)情況，進(jìn)行動(dòng)作切分與動(dòng)作評(píng)估閾值的個(gè)性化設(shè)置。C6類別的準(zhǔn)確率較低，一方面是由于部分視頻動(dòng)作識(shí)別錯(cuò)誤導(dǎo)致用其他的動(dòng)作類別閾值評(píng)估；另一方面是由于患者腰部無(wú)法完全彎曲導(dǎo)致關(guān)鍵關(guān)節(jié)角度無(wú)法達(dá)到閾值標(biāo)準(zhǔn)。C7類別需要患者身體轉(zhuǎn)向后方，在此過(guò)程中會(huì)存在部分關(guān)鍵點(diǎn)遮擋，因此準(zhǔn)確率較低。對(duì)于經(jīng)過(guò)旋轉(zhuǎn)的C9和C10類別視頻，盡管得到了關(guān)鍵點(diǎn)信息，但部分視頻會(huì)由于分類錯(cuò)誤導(dǎo)致動(dòng)作切分與評(píng)估錯(cuò)誤，所以針對(duì)未檢測(cè)成功的樣本需要調(diào)整攝像頭視角以確保完全檢測(cè)到人體信息。而動(dòng)作切分準(zhǔn)確率較低的C1、C5、C7、C10類別，是由于患者的運(yùn)動(dòng)差異導(dǎo)致動(dòng)作完成度未達(dá)到切分閾值標(biāo)準(zhǔn)，首個(gè)動(dòng)作切分誤差引起了后續(xù)動(dòng)作的切分誤差。綜上所述，ASRT-PHS適用于心血管患者的康復(fù)訓(xùn)練，但仍需要根據(jù)不同患者的運(yùn)動(dòng)情況對(duì)閾值進(jìn)行個(gè)性化調(diào)整。

5 結(jié)束語(yǔ)

合理的動(dòng)作識(shí)別網(wǎng)絡(luò)參數(shù)、動(dòng)作切分與評(píng)估閾值以及實(shí)驗(yàn)環(huán)境可以為心血管患者居家康復(fù)訓(xùn)練提供科學(xué)的指導(dǎo)與及時(shí)的評(píng)估反饋。本文通過(guò)人體位置檢測(cè)、人體關(guān)鍵點(diǎn)檢測(cè)、動(dòng)作識(shí)別、基于關(guān)節(jié)距離比值的動(dòng)作切分方法以及基于關(guān)鍵關(guān)節(jié)角度閾值的動(dòng)作評(píng)估方法實(shí)現(xiàn)了康復(fù)訓(xùn)練動(dòng)作的識(shí)別與評(píng)估。通過(guò)測(cè)試分析不同的動(dòng)作識(shí)別算法、關(guān)鍵動(dòng)作關(guān)節(jié)角度閾值以及多種實(shí)驗(yàn)環(huán)境下本文方法的性能表現(xiàn)，對(duì)康復(fù)系統(tǒng)的性能進(jìn)行了評(píng)估。并針對(duì)心血管患者進(jìn)行了案例測(cè)試與分析，進(jìn)而形成了一套基于人體骨骼關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動(dòng)作評(píng)估方法和系統(tǒng)，為心血管患者居家康復(fù)訓(xùn)練動(dòng)作評(píng)估提供了輔助手段。鑒于人體關(guān)鍵點(diǎn)檢測(cè)算法對(duì)動(dòng)作切分與評(píng)估結(jié)果有影響，未來(lái)將針對(duì)該問(wèn)題展開(kāi)研究，以提升系統(tǒng)在動(dòng)作識(shí)別、動(dòng)作評(píng)估和動(dòng)作切分方面的準(zhǔn)確性，并通過(guò)考察不同患者的運(yùn)動(dòng)差異來(lái)實(shí)現(xiàn)閾值的動(dòng)態(tài)調(diào)整，以進(jìn)一步優(yōu)化康復(fù)訓(xùn)練動(dòng)作評(píng)估系統(tǒng)的性能。

參考文獻(xiàn)：

［1］國(guó)家心血管病中心.《中國(guó)心血管健康與疾病報(bào)告》2020［J］. 心肺血管病雜志， 2021， 40（10）： 1005-1009. （National Center for Cardiovascular Diseases. Annual report on cardiovascular health and diseases in China 2020［J］. Journal of Cardiovascular & Pulmonary Diseases， 2021， 40（10）： 1005-1009.）

［2］王祎， 江露瑩， 吳岳， 等. 心血管疾病患者Ⅱ期心臟康復(fù)完成率及其影響因素分析［J］. 中國(guó)循環(huán)雜志， 2021，36（10）： 1003-1008. （Wang Yi， Jiang Luying， Wu Yue， et al. Completion rate and influencing factors of phase Ⅱ cardiac rehabilitation program in patients with cardiovascular disease ［J］. Chinese Circulation Journal， 2021， 36（10）： 1003-1008.）

［3］張延恒， 莫春暉， 張瑩， 等. 移動(dòng)式康復(fù)訓(xùn)練機(jī)器人及下肢康復(fù)運(yùn)動(dòng)分析［J］. 華中科技大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2021，49（3）： 6-11. （Zhang Yanheng， Mo Chunhui， Zhang Ying， et al. Design and motion analysis of mobile rehabilitation training robot[J]. Journal Huazhong University of Science & Technology（Natural Science Edition）， 2021， 49（3）： 6-11.）

［4］陳書立， 張景景， 陳海洋， 等. 鏡像上肢康復(fù)機(jī)器人研究［J］. 計(jì)算機(jī)應(yīng)用研究， 2019， 36（2）： 321-326. （Chen Shuli， Zhang Jingjing， Chen Haiyang， et al. Research on mirror rehabilitation robot of upper limbs［J］. Application Research of Computers， 2019，36（2）： 321-326.）

［5］Wang Kaiwei， Wang Zhenghui， Ren Wu， et al. Design of sports rehabilitation training system based on EEMD algorithm［J］. Computational Intelligence and Neuroscience， 2022， 2022： article ID 9987313.

［6］Chen Pengcheng， Gao Nuo. Research of VR-BCI and its application in hand soft rehabilitation system［C］//Proc of the 7th International Conference on Virtual Reality. Piscataway， NJ： IEEE Press， 2021： 254-261.

［7］Liu Siyuan， Meng Deyuan， Cheng Long， et al. A virtual reality based training and assessment system for hand rehabilitation［C］//Proc of the 9th International Conference on Intelligent Control and Information Processing. Piscataway， NJ： IEEE Press， 2018： 33-38.

［8］Bortone I， Leonardis D， Mastronicola N， et al. Wearable haptics and immersive virtual reality rehabilitation training in children with neuromotor impairments［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering， 2018， 26（7）： 1469-1478.

［9］Maskeliūnas R， Damaevicˇius R， Blazˇauskas T， et al. BiomacVR： a virtual reality-based system for precise human posture and motion analysis in rehabilitation exercises using depth sensors［J］. Electro-nics， 2023， 12（2）： 339.

［10］Zhao Nana， Han Xiao， Chen Long. Construction and application of rehabilitation training system based on intelligent measurement and control［J］. Scientific Programming， 2022， 2022： article ID 4442590.

［11］Liu Yi， Guo Shuxiang， Yang Ziyi， et al. A home-based tele-rehabilitation system with enhanced therapist-patient remote interaction： a feasibility study［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（8）： 4176-4186.

［12］Fan Dou， Yang Xiaodong， Zhao Nan， et al. Exercise monitoring and assessment system for home-based respiratory rehabilitation［J］. IEEE Sensors Journal， 2022， 22（19）： 18890-18902.

［13］Bai Jing， Song Aiguo. Development of a novel home based multi-scene upper limb rehabilitation training and evaluation system for post-stroke patients［J］. IEEE Access， 2019， 7： 9667-9677.

［14］Kim J N， Shin M Y， Chong W S， et al. Development of rail-based dynamic rehabilitation training system considering user’s movement［J］. Journal of Mechanics in Medicine and Biology， 2022， 22（3）： 2240003.

［15］Li Jianwei， Hu Haiqing， Xing Qingjun， et al. Tai Chi action quality assessment and visual analysis with a consumer RGB-D camera［C］//Proc of the 24th International Workshop on Multimedia Signal Proces-sing. Piscataway， NJ： IEEE Press， 2022： 1-6.

［16］Parsa B， Narayanan A， Dariush B. Spatio-temporal pyramid graph convolutions for human action recognition and postural assessment［C］//Proc of IEEE Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2020： 1069-1079.

［17］Zhang Zhitao， Wang Zhengyou， Zhuang Shanna， et al. Toward action recognition and assessment using SFAGCN and combinative regression model of spatiotemporal features［J］. Applied Intelligence， 2023， 53（1）： 757-768.

［18］何塞·曼努埃爾·桑斯·門希瓦爾. 人人都能看得懂的運(yùn)動(dòng)康復(fù)指南： 全彩圖解版［M］. 董艷艷， 譯. 北京： 人民郵電出版社， 2017： 83-87. （José M S M. Guide to sports rehabilitation that everyone can understand： full color graphic［M］. Dong Yanyan， Trans. Beijing： Posts & Telecom Press， 2017： 83-87.）

［19］Papakipos Z， Bitton J. AugLy： data augmentations for adversarial robustness［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 156-162.

［20］Ren Shaoqing， He Kaiming， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2017， 39： 1137-1149.

［21］Sun Ke， Xiao Bin， Liu Dong， et al. Deep high-resolution representation learning for human pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 5686-5696.

［22］Luo Kexin， Yang Guanci， Li Yang， et al. Croup and pertussis cough sound classification algorithm based on channel attention and multiscale Mel-spectrogram［J］. Biomedical Signal Processing and Control， 2024， 91： 106073.

［23］Yan Sijie， Xiong Yuanjun， Lin Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and 30th Innovative Applications of Artificial Intelligence Conference and 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 7444-7452.

［24］Shi Lei， Zhang Yifan， Cheng Jian， et al. Skeleton-based action re-cognition with multi-stream adaptive graph convolutional networks［J］. IEEE Trans on Image Processing， 2020， 29： 9532-9545.

［25］Duan Haodong， Zhao Yue， Chen Kai， et al. Revisiting skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 2959-2968.

［26］Chen Yuxin， Zhang Ziqi， Yuan Chunfeng， et al. Channel-wise topo-logy refinement graph convolution for skeleton-based action recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 13339-13348.

［27］Duan Haodong， Wang Jiaqi， Chen Kai， et al. PYSKL： towards good practices for skeleton action recognition［C］//Proc of the 30th ACM International Conference on Multimedia. New York： ACM Press， 2022： 7351-7354.

［28］Cheng Qin， Cheng Jun， Ren Ziliang， et al. Multi-scale spatial-temporal convolutional neural network for skeleton-based action recognition［J］. Pattern Analysis and Applications， 2023， 26（3）： 1303-1315.

［29］張?jiān)Q飛， 楊延硯， 張娜， 等. 2021年度國(guó)家康復(fù)醫(yī)學(xué)專業(yè)醫(yī)療服務(wù)與質(zhì)量安全報(bào)告［J］. 中國(guó)康復(fù)理論與實(shí)踐， 2022， 28（12）： 1365-1379. （Zhang Yuanmingfei， Yang Yanyan， Zhang Na， et al. 2021 national report on rehabilitation medicine services， quality and safety in medical care system［J］. Chinese Journal of Rehabilitation Theory and Practice. 2022， 28（12）： 1365-1379.）