基于關(guān)鍵點注意力的輕量級坐姿識別

余承健 洪洲 劉沛賢

摘? 要： 提出了基于關(guān)鍵點注意力的輕量級坐姿識別算法。該算法從網(wǎng)絡(luò)結(jié)構(gòu)輕量化進行設(shè)計，融入了空洞卷積和殘差注意力模塊，并設(shè)計了關(guān)鍵點注意力模塊，利用空間信息增強上下肢之間對應(yīng)關(guān)鍵點的特征關(guān)聯(lián)。本文結(jié)合關(guān)鍵點空間距離規(guī)則，提出了一種坐姿評價規(guī)則對不同坐姿進行評分。實驗結(jié)果表明，本文算法mAP達到了73.2%，參數(shù)量縮小76%，能夠?qū)Σ煌私o予正確的評分。

關(guān)鍵詞： 姿態(tài)估計； 空洞卷積； 殘差網(wǎng)絡(luò)； 坐姿評價； 關(guān)鍵點注意力

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）05-72-05

Lightweight sitting posture recognition algorithm based on key point attention

Yu Chengjian1， Hong Zhou2， Liu Peixian3

（1. Guangzhou City Polytechnic， Academic Affairs Office， Guangzhou， Guangdong 510408， China;

2. School of Information Engineering， Guangdong Polytechnic College; 3.Guangdong Jinritoutiao Network Technology Co.， Ltd）

Abstract： In this paper， a lightweight sitting posture recognition algorithm based on key point attention is proposed. The algorithm is designed from the lightweight network structure， the atrous convolution and residual attention module are incorporated， and the key point attention module is designed， which uses the spatial information to enhance the feature association of the corresponding key points between the upper and lower limbs. Combined with the key point space distance rule， a sitting posture evaluation rule is proposed to score different sitting posture. The experimental results show that the mAP of the proposed algorithm reaches 73.2%， the number of parameters is reduced by 76%， and it can give correct scores for different sitting postures.

Key words： posture estimation; atrous convolution; residual network; sitting posture evaluation; key point attention

0 引言

青少年的坐姿習慣在其成長過程中應(yīng)引起重視。長期不正確的坐姿會對身體造成一定的傷害[1]，例如眼睛離桌子過近會對眼球造成過度負擔，易導致近視；彎腰伏桌會改變原有的頸椎弧度，造成椎骨不必要的受力而誘發(fā)肩膀痛；長期趴桌子導致肋骨架空間被壓縮，氧氣吸入量減少等等。目前，市場上出現(xiàn)了一些青少年坐姿矯正設(shè)備[2]，但無法從根本上解決問題，應(yīng)當從糾正坐姿習慣為切入點進行預防。

坐姿識別方法可以分為基于傳感器的坐姿識別方法和基于圖像的坐姿識別方法[3-4]?；趥鞲衅鞯淖俗R別方法，需要借助陀螺儀、磁力針、氣壓計等硬件設(shè)備，存在外置設(shè)備穿戴步驟較為繁瑣的缺點?；趫D像的坐姿識別方法的原理為對輸入圖像中的目標對象進行姿態(tài)估計，主要有基于傳統(tǒng)的姿態(tài)估計方法與基于深度學習的姿態(tài)估計方法。本文聚焦于自底向上的姿態(tài)估計算法研究。OpenPose算法[5]是自底向上方法的主要代表之一，該算法包含多個階段，每個階段都通過生成關(guān)鍵點位置熱力圖進行定位，并使用關(guān)鍵點之間的關(guān)系向量圖來對位置點配對分組。該算法為了保持高精度估計，存在運算量過大的缺點，本文將對此進行輕量化設(shè)計。此外，本文基于二維空間關(guān)鍵點的距離關(guān)系設(shè)計坐姿評分方法，對評分過低的坐姿予以提醒。

1 輕量級坐姿識別算法

本文利用二維圖像姿態(tài)識別和坐姿評分方法進行坐姿識別算法的設(shè)計，其中姿態(tài)識別算法使用OpenPose模型進行自底向上的關(guān)鍵點預測及歸類。

1.1 原生OpenPose模型

OpenPose模型包含多個遞進的推導階段，各個階段的結(jié)構(gòu)相同，前一個階段為后一個階段提供輸入，使得后期推導階段的準確率逐步增加。每個階段都包含關(guān)鍵點檢測和局部親和力表示兩個分支，其中局部親和力表示將關(guān)鍵點進行關(guān)聯(lián)分組。不同階段的結(jié)構(gòu)如圖1所示。單個階段的前饋傳播方案為雙分支結(jié)構(gòu)，其中一個分支用于生成二維的身體部位熱力圖，另外一個分支用于生成一組身體部位親和力的二維向量場。此處定義[S]和[L]兩個集合，分別表示兩個分支生成的熱力圖和二維向量場，公式如下：

[S=（S1，S2，…，SJ）]? ⑴

[L=（L1，L2，…，LC）]? ⑵

其中，集合[S]是關(guān)鍵點檢測的熱力圖，[J]和[C]分別表示熱力圖和二維向量場個數(shù)，[Sj∈Rw×h]，[j∈{1…J}]。OpenPose模型包含多個階段，分別記第一個階段的關(guān)鍵點檢測和局部親和力表示分支結(jié)果為[S1=ρ1（F）]和[L1=?1（F）]，其中[ρ1]和[?1]分別表示第一階段的推導，[F]為特征圖輸入。從第二個階段開始，階段[t]的分支生成結(jié)果為：

[St=ρtF，St-1，Lt-1，? ??t≥2]? ⑶

[Lt=?tF，St-1，Lt-1，? ??t≥2]? ⑷

1.2 改進的OpenPose算法

本文對雙分支結(jié)構(gòu)進行改進，降低參數(shù)量和計算量，從而提升模型的推理效率。為了生成關(guān)鍵點熱力圖和二維向量場，原有模型使用了兩個預測分支進行推導，造成了特征提取的冗余計算。因此，本文將兩個分支的前半部分進行合并，在單個階段內(nèi)的前期特征提取過程中使用相同的共享參數(shù)。不同階段前饋傳播結(jié)構(gòu)如圖2所示，改進后的階段[t]仍以階段[t-1]的輸出進行深層特征的迭代學習，但每個階段中使用合并分支作為雙分支的前置結(jié)構(gòu)，減少網(wǎng)絡(luò)深度及單次卷積的覆蓋范圍，以減少計算量。其中[ρt]和[?t]的計算量與圖1相比大幅減少，部分頭部結(jié)構(gòu)由[ωt]進行權(quán)重共享，且在[ωt]中引入空間卷積和殘差模塊提高感受野和特征復用能力。為減少輕量級姿態(tài)估計模型與原生模型相比帶來的特征采樣范圍缺失，本文使用空洞卷積代替?zhèn)鹘y(tǒng)卷積[6]，以縮小兩者特征信息利用范圍之間的差異。該類卷積用擴張率來表示增加孔洞多寡，過程可以表示為：

[y[i]=k=1Kxi+r×k×w[k]]? ⑸

其中，[y[i]]表示位置[i]的特征輸出，擴張率為[r]，[w[k]]表示濾波器，[K]為濾波器尺寸，[x[i]]為原始輸入。修改后的第一階段的關(guān)鍵點熱力圖和局部親和力表示分支結(jié)果分別為[S1=ρ1（ω1（F））]和[L1=ρ1（ω1（F））]，其中[ω1]表示主分支的共享參數(shù)過程。后續(xù)階段[t]（[t≥2]）的特征提取過程為：

[St=ρtωt（F，St-1，Lt-1），? ??t≥2]? ⑹

[Lt=?tωt（F，St-1，Lt-1），? ??t≥2]? ⑺

其中，[ωt]表示后續(xù)階段[t]（[t≥2]）主分支的共享參數(shù)過程。為了將最大限度地計算非局部特征，本文在主分支使用多個連續(xù)空洞卷積擴大感受野，將連續(xù)疊加后的特征提取范圍與原始輸入的分辨率保持一致，從而將全局信息作為后續(xù)細化分支的參考。雖然空洞卷積能夠大幅提高感受野，但長距離間隔采樣的做法在移動滑動窗口的過程中會漏掉某些關(guān)鍵點，造成特征信息參考的缺失。因此本文將對關(guān)鍵點檢測分支和二維向量場分支提供了殘差模塊[7]，該計算過程可表示為：

[y=Fx，Wi+x]? ⑻

其中，函數(shù)[Fx，Wi]表示要學習的殘差映射，[y]和[x]分別表示特征輸出和輸入。

1.3 關(guān)鍵點注意力模塊

對于關(guān)鍵點檢測分支的監(jiān)督條件，需要將標注關(guān)鍵點進行二維高斯建模生成置信度圖，每個置信度圖代表某個特定身體部位的像素位置。若圖像中出現(xiàn)多個個體，則對于個體[k]的置信度圖標簽，記其關(guān)鍵點[j]的置信度圖為[S*j，k]，則置信度圖上的任一位置p的值表示為：

[S*j，k（p）=exp-||p-xj，k||22σ2]? ⑼

其中，[xj，k∈R2]表示身體部位的標簽位置，[σ]用于控制高斯建模的峰值。模型要預測身體部位的置信度標簽是多個個體集合的最大值，如下式所示。

[S*j（p）=maxkS*j，k（p）]? ⑽

對于多峰的高斯混合模型，[S*j（p）]取每個峰的最大值而非平均值，以此保留顯著性。本文關(guān)注于單人坐姿判斷，上下肢之間對應(yīng)的關(guān)鍵點應(yīng)有更強的特征關(guān)聯(lián)。因此本文設(shè)計了關(guān)鍵點注意力模塊以提取非局部特征，并融合到關(guān)鍵點分支[St（t≥1）]的末端輸出，對手臂、手腕、眼睛、肩膀等部位的權(quán)重予以增強。上半身關(guān)鍵點的區(qū)分依賴于下半身關(guān)鍵點的空間信息，例如左手臂與左腿在同一側(cè)，眼睛通常位于左右身體兩側(cè)的中間。關(guān)鍵點注意力模塊如圖3所示，本文通過卷積層生成雙通道特征圖，并進行寬、高兩個維度的排序，得到關(guān)鍵點選取坐標。圖中[g1]和[g2]表示按下標進行特征點索引分配的函數(shù)，綠色特征圖為單通道特征，通過排序算法輸入歸一化后的特征圖以獲得不同維度的索引。關(guān)鍵點注意力模塊的關(guān)鍵在于位置下標信息的學習，該過程表示為：

[y[i]=g2（h2，g1（h1，x[i]））]? ⑾

其中，[h1]和[h2]分別表示排序后的信息下標，[g1]和[g2]表示兩個維度上的索引分配函數(shù)。由于第二個維度的信息分配是在第一個維度的特征點移動結(jié)果上進行，因此每個特征點都可以移動到任意區(qū)域。通過信息下標學習，原有位置上的特征點可以與卷積學習生成的其他特征點進行關(guān)聯(lián)，從而獲得空間上的注意力信息。

在模型推理過程中，關(guān)鍵點檢測分支使用非極大值抑制生成多個候選部位。每個階段的關(guān)鍵點檢測分支都使用L2范式度量預測值與標簽值之間的差異，并進行反向傳播，如下式所示。其中[W]是一個二進制掩碼，且關(guān)鍵點部位的標簽缺失時有[Wp=0]，避免預測過程中對正向的預測做出錯誤懲罰。

[ftS=j=1JpWp·||Stj（p）-S*j（p）||22]? ⑿

2 評價規(guī)則

本文根據(jù)同一個體不同關(guān)鍵點的二維位置，從單側(cè)距離評價及雙側(cè)對稱損失的角度出發(fā)，對坐姿評分規(guī)則進行設(shè)計。分別記[El]、[Wr]、[S]和[Ey]為手肘、手腕、肩膀和眼睛關(guān)鍵點位置，設(shè)關(guān)鍵點位置集合[P={El，Wr，S，Ey}]，對[|El-Wr|]以及未檢測出的關(guān)鍵點進行懲罰，對[|Wr-S|]、[|El-S|]、[|Ey-S|]給予獎勵，將各個部位關(guān)鍵點的水平高度對齊，這一過程可表示為：

[gPH=β1gdstPH-β2i=1Igper（Pi）]? ⒀

其中，[H={L，R}]表示為身體對側(cè)，總評分為兩側(cè)分數(shù)相加，[β1]和[β2]為可調(diào)節(jié)系數(shù)，[I]為關(guān)鍵點個數(shù)。[gdst（PH）]表示身體部位的獎勵及懲罰項，表示為：

[gdstPH=α1（||WrH-SH||2+ElH-SH2]

[+EyH-SH2）-α2||ElH-WrH||2]? ⒁

其中，[α1]和[α2]是調(diào)節(jié)系數(shù)。[gper（Pi）]表示為對齊懲罰和關(guān)鍵點缺失懲罰，如下式所示，其中[γ]表示調(diào)節(jié)參數(shù)。當且僅當關(guān)鍵點缺失的時候，有[Wp=0]。

[gperPi=Wp·Pi+γ||PRi-PLi||2]? ⒂

3 實驗分析

3.1 MSCOCO數(shù)據(jù)集上的性能對比

為了驗證基于關(guān)鍵點注意力的輕量級坐姿識別算法的有效性，本文在MSCOCO數(shù)據(jù)集上進行對比實驗，將所提算法與ArtTrack[8]、原生OpenPose模型[5]在準確率和耗時上進行對比。本文使用的CPU為Intel i7-9700K，GPU型號為NVIDIA GeForce RTX 2080 Ti。性能對比結(jié)果如表1所示。在計算量（Params）和推理速度（FPS）上相比，本文算法與ArtTrack[8]及原生OpenPose模型[5]具有明顯優(yōu)勢。而在準確率上，本文算法合并分支的做法雖然減少了對圖像特征細節(jié)的提取能力，但借助于空洞卷積的感受野提升以及殘差結(jié)構(gòu)的特征復用，姿態(tài)估計的精度仍維持在高水準。

3.2 本文算法的消融實驗對比

為了驗證空洞卷積及殘差注意力能夠在增加感受野的同時引入低層特征信息，本文設(shè)計了相應(yīng)的消融實驗，結(jié)果如表2所示。其中實驗組1僅使用合并分支結(jié)構(gòu)而未引入額外的注意力方法。組2和組3的結(jié)果優(yōu)于組1，說明額外方法可以提升特征提取能力，將更多的特征納入考慮范疇。組2的結(jié)果略優(yōu)于組3，說明空洞卷積感受野的提升有利于更大范圍的信息采樣，長距離特征可以使網(wǎng)路考慮當前維度的不同信息。組4優(yōu)于組2和組3，說明殘差注意力能夠與空洞卷積組合，一定程度上消除間隔采樣導致的部分信息缺失，提高整體準確率。

3.3 坐姿評價可視化實驗

本文選取了托腮、身體前傾、側(cè)身、雙手離開桌面等多個不同坐姿圖像進行評分測試，以此驗證評價規(guī)則的有效性。實驗結(jié)果如圖4所示。圖（a）和圖（b）等正確坐姿獲得了較高的評分，說明本文所提評價規(guī)則能夠?qū)φ_姿態(tài)做出正面評價。圖（c）、圖（d）和圖（e）亦獲得了不錯的評分，說明評價規(guī)則對于青少年學習過程中可能出現(xiàn)的撓頭思考、適當前傾等行為具備一定的兼容性。此外，評價規(guī)則對于圖（f）、圖（g）和圖（h）等包含駝背、過度前傾、向前側(cè)傾等不良坐姿給出了較低的評分，驗證了該規(guī)則對負樣本評價的有效性。

4 結(jié)束語

針對青少年不良坐姿問題，本文提出了基于關(guān)鍵點注意力的輕量級坐姿識別算法。該算法通過合并關(guān)鍵點提取分支降低了推理耗時，同時引入空洞卷積提高感受野，最大限度地計算非局部特征，并利用殘差結(jié)構(gòu)進行特征復用。此外，本文在關(guān)鍵點分支中設(shè)計了卷積層生成關(guān)鍵點的注意力模塊，讓網(wǎng)絡(luò)關(guān)注于特定部位。最后，本文在姿態(tài)估計結(jié)果的基礎(chǔ)上提出了一種坐姿評價規(guī)則。實驗結(jié)果表明，本文所提算法及評價規(guī)則能夠高效地對提取圖像特征及姿態(tài)估計，對不同坐姿的評分結(jié)果也驗證了所提規(guī)則的有效性。

參考文獻（References）：

[1] 陳廣智.要重視體育在青少年發(fā)育時期的重要作用[J].內(nèi)蒙古科技與經(jīng)濟，2002（9）：136

[2] 吳沛雯，張暢.可糾正青少年坐姿的平衡椅設(shè)計研究[J].家具，2018，39（4）：58-61

[3] 姚俊豪.基于薄膜壓力傳感器組的人體坐姿識別方法研究[D].碩士，沈陽大學，2021

[4] 曾星.基于深度圖像的坐姿識別技術(shù)及應(yīng)用研究[D].碩士，國防科技大學，2017

[5] Qiao S， Wang Y， Li J. Real-time human gesture gradingbased on OpenPose[C]//2017 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）.IEEE，2017：1-6

[6] Yu F， Koltun V. Multi-scale context aggregation by dilatedconvolutions[J]. arXiv preprint arXiv：1511.07122，2015

[7] He K， Zhang X， Ren S， et al. Deep residual learning forimage recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778

[8] Insafutdinov E， Andriluka M， Pishchulin L， et al. Arttrack：Articulated multi-person tracking in the wild[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：6457-6465