深度學習的二維人體姿態(tài)估計綜述

張靜靜，寧媛，章成學

（貴州大學 電氣工程學院，貴陽 550025）

0 引言

人體姿態(tài)估計任務已經(jīng)研究了幾十年，目的是從給定的傳感器輸入獲取人體的姿態(tài)，通常使用基于視覺的方法來獲得。近年來，隨著深度學習在圖像分類［1］、目標檢測［2］、語義分割［3］等計算機任務上的良好表現(xiàn)，姿態(tài)估計利用深度學習技術(shù)也取得了快速發(fā)展。主要的發(fā)展包括設計了良好且具有強大估計能力的網(wǎng)絡，以及更豐富的數(shù)據(jù)集，用于訓練網(wǎng)絡和更實際的人體模型。雖然已有一些關于姿態(tài)估計的評論，但是國內(nèi)仍然缺乏一份調(diào)查，來總結(jié)最近基于深度學習的二維人體姿態(tài)估計成果。

姿態(tài)估計作為計算機視覺基礎任務之一，是一個非常重要的研究領域，可以應用于許多方面。如：動作識別、動作檢測［4］、電影與動畫、人體跟蹤［5］、虛擬現(xiàn)實、人機交互、視頻監(jiān)控、醫(yī)療輔助、自動駕駛、運動運動分析等等。

二維人體姿態(tài)估計具有一些獨具的特點和挑戰(zhàn)。二維人體姿態(tài)估計的挑戰(zhàn)主要集中在3 個方面：

（1）靈活的身體結(jié)構(gòu)，表明復雜的相互依賴關節(jié)和高自由度的四肢，可能導致自咬合或罕見甚至復雜的姿態(tài)。

（2）不同的身體外觀，包括不同的衣服和附近人姿態(tài)的誤導。

（3）復雜的環(huán)境可能導致前景遮擋、附近人遮擋，各種視角以及攝像機視圖中的截斷。

本次調(diào)查廣泛總結(jié)了2014 年以來發(fā)表的基于深度學習的人體姿態(tài)估計方法的里程碑式研究成果。

1 單人姿態(tài)估計

基于深度學習的單人姿態(tài)估計方法的目標是定位人體部分的關鍵點。典型的單人姿態(tài)估計模型框架分為2 種：一是直接從特征中回歸關鍵點，稱之為基于直接回歸的框架；二是先生成熱圖，并通過熱圖推斷關鍵點位置，稱之為基于熱圖的框架。

1.1 基于直接回歸框架

一些研究是基于直接回歸框架提出的，例如Toshev等人［4］提出了一種直接預測人體關鍵點的級聯(lián)DNN 回歸器。然而，如果沒有其它的過程，直接從特征圖學習映射關系是很困難的。Carreira等人［5］使用了自校正模型。通過反饋誤差預測，可以逐步改進預測的關鍵點位置。Sun等人［6］提出了一種稱為“合成姿勢回歸”的結(jié)構(gòu)感知方法。與其它相關工作不同的是，該方法使用骨骼而不是關節(jié)重新參數(shù)化姿勢表示，骨骼之間的相互作用通過一個成分損失函數(shù)進行編碼，這樣的做法更原始、更穩(wěn)定、并且更易于學習。Luvizon等人［7］提出Softargmax，將熱圖用一個完全可微的方式轉(zhuǎn)換成坐標，其端到端的方式可訓練網(wǎng)絡采用基于關鍵點誤差距離的損失函數(shù)和基于上下文的結(jié)構(gòu)，使其能夠獲得與最先進的基于熱圖的框架相比較的結(jié)果。

1.2 基于熱圖框架

很多研究都采用了基于熱圖的框架，其中一些研究在提出的模型中利用了人類的先驗信息。例如，Chen等人［8］使用了由DCNN 學習的具有成對關系的圖形模型；Chen等人［9］通過采用條件生成對抗網(wǎng)絡（GANs）的訓練策略來整合人體的先驗知識等等。基于熱圖的實例如圖1 所示。

圖1 基于熱圖的實例Fig.1 Example based on heatmap

網(wǎng)絡結(jié)構(gòu)設計一直是基于深度學習方法的主題。卷積式位姿機（CPM）［10］對熱圖進行多階段回歸，并使用中間監(jiān)督來避免消失梯度。Newell等［11］設計了一種稱為“堆疊沙漏”的新型網(wǎng)絡結(jié)構(gòu)。實踐證明重復自下而上、自上而下的中間監(jiān)督處理，是提高人體姿勢檢測性能的關鍵。Chu等人［12］建立了基于堆疊沙漏的基線模型，采用多上下文注意機制，使模型更加健壯和準確。此外還通過耦合沙漏殘余單元來改進堆積沙漏的結(jié)構(gòu)。Martinez等人［13］提出采用深度神經(jīng)網(wǎng)絡直接使用2D 關鍵點來預測3D 關鍵點。實驗結(jié)果表明，二維檢測是導致三維人體姿態(tài)估計誤差的主要原因之一。

1.3 關于兩種框架的討論

關節(jié)位置的直接回歸是高度非線性的，所以不僅在映射學習中存在困難，還不能應用于多人情況（自底向上方法或一個檢測框包含多個人的情況）。但是，如果采用一些特殊的技術(shù)相結(jié)合，直接回歸會更可靠，因為當應用直接回歸時，最終結(jié)果可以在不處理熱圖的情況下，以端到端的方式獲得，不需要太多的更改而應用到3D 場景。相比之下，基于熱圖的框架首先回歸熱圖。熱圖可以可視化，可以增強人類的理解和對更加復雜的情況進行建模?；跓釄D的框架預測結(jié)果的精度依賴于熱圖的分辨率，這需要較高的內(nèi)存消耗［18］。因此，對于框架選擇問題沒有一個絕對的結(jié)論，每種框架都有其優(yōu)點和缺點。

2 二維多人姿態(tài)估計

與單人姿態(tài)估計不同，由于輸入圖像中沒有人數(shù)的提示，多人姿態(tài)估計需要同時處理檢測和定位任務。根據(jù)高層抽象還是低層像素開始計算方式的不同，人體姿態(tài)估計方法可以分為自上而下方法和自下而上方法。

自頂向下的方法通常使用人體檢測器，獲取輸入圖像中每個人的邊界框，然后直接利用現(xiàn)有的單人姿態(tài)估計方法來預測人的姿態(tài)。預測的姿勢精度很大程度上取決于對人的檢測精度。整個系統(tǒng)的運行時間與人員數(shù)量成比例。而自下而上的方法直接預測所有人的二維關節(jié)，然后將其分組。復雜環(huán)境下關節(jié)點的正確分組是一項具有挑戰(zhàn)性的研究課題。

2.1 自頂向下方法

自頂向下姿態(tài)估計方法的2 個最重要的組成部分是：人體區(qū)域檢測和單人姿態(tài)估計。大部分研究集中在基于現(xiàn)有人體檢測方法上的人體部位估計。Iqbal等人［14］使用基于卷積姿態(tài)機的姿態(tài)估計器來生成初始姿態(tài)，然后利用整數(shù)線性規(guī)劃（ILP）得到最終位姿。Fang等人［15］采用了空間轉(zhuǎn)換網(wǎng)絡（STN）、非最大抑制（NMS）和沙漏網(wǎng)絡（Hourglass network），以便存在不精確的人體邊界框時進行姿態(tài)估計。Huang等人［16］設計了一個CFN 網(wǎng)絡，以incep－v2 網(wǎng)絡為骨干網(wǎng)絡。該網(wǎng)絡采用多層次監(jiān)督，實現(xiàn)粗預測和精預測的學習。Xiao等人［17］在ResNet 最后一個卷積層后添加了幾個逆卷積層，從低分辨率的特征中生成熱圖。Chen等人［18］提出了一種級聯(lián)金字塔網(wǎng)絡（CPN），該網(wǎng)絡利用不同層次的多尺度特征映射，從局部和全局特征中獲取更多的推理，并對困難節(jié)點進行在線硬關鍵點挖掘損失。

基于不同HPE 方法的相似位姿誤差分布，Moon等人［19］設計了PoseFix 網(wǎng)，用來改善從任何方法估計的位姿。M.Wang等人［20］提出了一種新穎的自上而下的方法，可以解決視頻中多人人體姿勢估計和跟蹤的問題。與現(xiàn)有的自上而下的方法相比，該方法不受其人員檢測器性能的限制，并且可以預測未定位人員實例的姿勢。

若將現(xiàn)有的檢測網(wǎng)絡與單一的姿態(tài)估計網(wǎng)絡相結(jié)合，可以很容易地實現(xiàn)自頂向下的姿態(tài)估計方法。但是，這類方法的性能受到人體檢測結(jié)果的影響，運行速度往往也不是實時的。

2.1.1 人體檢測對姿態(tài)估計性能的影響

首先，自頂向下方法是進行人體檢測。在人體姿態(tài)估計中，最常用的人體檢測器是基于Faster RCNN 結(jié)構(gòu)，其是一種高性能檢測器。Faster R－CNN基于不同的基礎網(wǎng)絡和擴展結(jié)構(gòu)，具有許多變體，這些變體具有不同的準確性、推斷時間和計算復雜度。通常，檢測結(jié)果越準確，網(wǎng)絡越復雜，此時應該考慮準確性、內(nèi)存和時間之間的權(quán)衡。

大多數(shù)研究表明，用更好的人體探測器提高了人體姿態(tài)估計的精度，如圖2 所示。文獻［18］的結(jié)果表明，在檢測器性能較差的情況下，姿態(tài)估計器從較好的人體檢測器獲得了較大的增益。隨著人體檢測器平均精度的提高，人體姿態(tài)估計器的精度提高速度變慢。當人體檢測器達更高精度時，姿態(tài)估計網(wǎng)絡的精度則無法再提高。換句話說，人體檢測器在性能一般時很重要，但在達到高性能時就不重要了。姿態(tài)估計器的增益隨著更高的人體檢測AP 而非常小，尤其是當人體檢測器已經(jīng)足夠精確時。

圖2 行人檢測mAP 和關鍵點檢測mAP 間的關系Fig.2 Relationship of human detection mAP and keypoints mAP

2.1.2 NMS（非極大值抑制）

NMS 是一種常用的抑制冗余檢測的方法。該技術(shù)可應用于自頂向下的人體姿態(tài)估計方法的2 個階段。對于人體檢測，有2 種NMS 方法：標準NMS和soft－NMS［21］。soft－NMS 在文獻［12］中性能更好，同時具有與標準NMS 相同的計算復雜度，這使得其成為一種改進人體檢測的簡單方法。文獻［18］提出了一個基于OKS 的NMS，該方法考慮人類實例中關鍵點的相似性；文獻［15］中提出的參數(shù)化姿態(tài)NMS 是數(shù)據(jù)驅(qū)動的，這意味著所有的參數(shù)都是從數(shù)據(jù)中學來的，而不是手動設置的。該方法比文獻［22］中提出的方法快很多，但比文獻［18］中的NMS 方法復雜得多。

2.2 自底向上的方法

自底向上姿態(tài)估計方法主要由人體關節(jié)檢測和關節(jié)分組2 部分組成。Deepcut［23］使用了一種基于Fast R－CNN 的身體部位檢測器，首先檢測出所有的身體部位，然后將每個部位標記為對應的部位類別，用整數(shù)線性規(guī)劃，將這些部位組裝成一個完整的個體。DeeperCut［24］使用一種基于ResNet 的更強身體部件檢測器，用來探索候選關節(jié)對象之間幾何外觀約束的增量優(yōu)化策略，從而改進了DeepCut。Cao等人［25］使用CPM 預測具有部分親和力場（PAF）的所有身體關節(jié)候選對象。提出的PAFs 可以編碼肢體的位置和方向，將估計的關節(jié)組裝成不同人的姿勢。Nie等人［26］提出了一種姿態(tài)分割網(wǎng)絡（PPN），對關節(jié)分割進行聯(lián)合檢測和稠密回歸，通過關節(jié)劃分對關節(jié)構(gòu)型進行局部推理。與OpenPose 類似，Kreiss等人［27］設計了一個PifPaf 網(wǎng)絡，來預測部分強度場（PIF）和部分關聯(lián)場（PAF），來表示身體關節(jié)位置和身體關節(jié)關聯(lián)。由于PAF 的細粒度和Laplace 損失函數(shù)的使用，該算法在低分辨率圖像上運行良好。B.Cheng等人［28］利用高分辨率特征金字塔來學習尺度感知表示。該方法具有訓練的多分辨率監(jiān)控與推理的多分辨率聚合，能夠更精確地解決多人姿態(tài)估計和定位關鍵點的尺度變化問題。

近年來，已有一些方法可以實現(xiàn)一次性預測。Newell等人［29］引入了一種單級深度網(wǎng)絡架構(gòu)，可以同時進行檢測和分組。該網(wǎng)絡可以生成每個關節(jié)的檢測熱圖，以及包含每個關節(jié)的分組標簽的關聯(lián)嵌入圖。Papandreou等人［30］提出了一種用于姿態(tài)估計和實例分割的無檢測框多任務網(wǎng)絡。該網(wǎng)絡可以同步預測每個人所有關鍵點的關節(jié)熱圖和其之間的相對距離，并按照一種基于樹結(jié)構(gòu)運動圖的貪婪解碼過程進行分組。Kocabas等人［31］提出，結(jié)合多任務模型和一種新的分配方法來處理人體關鍵點估計，完成檢測和語義分割任務。其主干網(wǎng)是ResNet和FPN 的結(jié)合，具有關鍵點和個人檢測子網(wǎng)的共享特性。A.Varamesh等人［32］設計了一個使用混合密度網(wǎng)絡進行空間回歸的框架，實現(xiàn)了對象檢測和人體姿勢估計的框架。

目前自底向上方法的處理速度非常快，有些方法可以實時運行。然而，復雜的背景和人體遮擋會對性能產(chǎn)生很大的影響。自頂向下的方法在幾乎所有標準數(shù)據(jù)集上都取得了最先進的性能，但其處理速度也受到檢測人數(shù)的限制。

2.2.1 熱圖生成方法

目前，有3 種方法可用來生成熱圖：一是在每個關鍵點位置，通過二維高斯激活設置熱圖；二是將圓心為關鍵點，半徑為R（超參數(shù)）的圓心內(nèi)所有位置的像素值設為1，其它位置設為0，當采用這種熱圖時，通過預測位置偏置圖來更準確地定位關鍵點；三是生成一個二進制掩模。

2.2.2 關鍵點連接方法

在自下而上的方法中，關鍵點連接是一個重要的步驟。Deepcut［23］使用CNN 只是學習外觀特征，使用其它手工定義的幾何特征擬合logistic 模型進行配對概率估計。然而，Deepercut［24］將人工計算的特征改為由深度神經(jīng)網(wǎng)絡生成的學習特征，大大提高了AP。2 種方法都對幾何特征采用logistic 模型來模擬成對關節(jié)的親和力。PAFs［25］和關聯(lián)嵌入［22］以深度學習的方式與熱圖同時學習。當涉及到將關節(jié)分組到人體實例時，其更加直接。這2 種方法的性能比文獻［23］提到的更好。這是因為深度神經(jīng)網(wǎng)絡的容量更大，并且直接從數(shù)據(jù)中學習，既可以捕捉局部特征，也可以捕捉全局背景。

3 數(shù)據(jù)集與評價指標

3.1 數(shù)據(jù)集

早期的數(shù)據(jù)集中包含的圖片背景相對簡單，圖像數(shù)量太少，無法進行訓練，并不適合基于深度學習的方法?；谏疃葘W習方法中常用的數(shù)據(jù)集包括MSCOCO、MPII、LSP、FLIC、PoseTrack 和 AI Challenger等。其中，LSP 數(shù)據(jù)集中的圖像來自體育活動場景，F(xiàn)LIC 數(shù)據(jù)集是從好萊塢電影中收集得到的。LSP 和FLIC 數(shù)據(jù)集相對較小，只包含特定類型的活動。最新的數(shù)據(jù)集，如MSCOCO 和 AI Challenger，在類別數(shù)量上則更豐富。

3.2 評價指標

不同的數(shù)據(jù)集具有不同的特征（例如，不同范圍的人體尺寸、上身／全身）和不同的任務要求（單／多姿態(tài)估計），因此用于2D 人體姿態(tài)估計的評估指標也有所不同。

（1）部位正確估計百分比（Percentage of Correct Parts，PCP）：為早期姿態(tài)估計的評估指標，用于評估肢體的定位精度，若肢體的2 個端點在相應真值端點的閾值內(nèi)，則該肢體被正確定位；

（2）關節(jié)點正確定位百分比（Percentage of Correct Keypoints，PCK）：評估人體關節(jié)點定位的準確率，若候選關節(jié)點落在真實關節(jié)點的閾值像素內(nèi)，則該候選關節(jié)點是正確的；

（3）關節(jié)點平均精度（Average Precision of Keypoints，APK）：通過PCK 評估將預測的姿態(tài)分配給真值姿態(tài)后，由APK 得出每個關節(jié)點定位準確的平均精度；

（4）對象關節(jié)點相似度（Object Keypoint Similarity，OKS）：多人姿態(tài)估計評價指標，計算真值和所預測人體關節(jié)點的相似度。

4 結(jié)束語

在這篇綜述中，對基于深度學習的二維人體姿態(tài)估計方法進行了總結(jié)和討論。盡管當前的人體姿態(tài)估計方法已經(jīng)有了顯著的改進，但是為了更好的現(xiàn)實應用，仍然可以被改進。

關于算法速度問題：目前的算法速度仍然很慢，不能滿足實時預測的要求，因此必須進一步探索加快檢測速度。雖已有一些研究網(wǎng)絡壓縮和網(wǎng)絡加速的工作，但其不是為人體姿態(tài)檢測而設計的，與分類任務和檢測任務相比，人體姿態(tài)檢測需要更高分辨率的輸出特征圖。加速方法應進一步研究。

關于數(shù)據(jù)集問題：目前的數(shù)據(jù)集非常大，但姿態(tài)分布不平衡，還沒有研究探索用不平衡數(shù)據(jù)集檢測罕見姿態(tài)的方法。可能的改進包括做數(shù)據(jù)擴充和設計一個特殊的訓練程序。

關于數(shù)遮擋問題：遮擋和自遮擋仍然給人體姿態(tài)估計帶來挑戰(zhàn)。一些工作結(jié)合了人類先驗和數(shù)據(jù)驅(qū)動的方法來解決這個問題，但是其結(jié)果不夠健壯。

本文討論了2014 年以來發(fā)表的基于深度學習的人體姿態(tài)估計方法的里程碑式研究成果，總結(jié)了基于深度學習的人體姿態(tài)估計的數(shù)據(jù)集和度量。希望讀者能從調(diào)查分析中得到啟發(fā)，解決上面提到的困難，夠促進提升姿態(tài)估計速度、基于不平衡和未標記數(shù)據(jù)的數(shù)據(jù)增強、解決遮擋問題等研究領域的進步。