基于整體-星型模型的人體姿態(tài)估計

代 欽,石祥濱,喬建忠,劉 芳,

1(沈陽工程學(xué)院 信息學(xué)院,沈陽 110136)2(東北大學(xué) 計算機學(xué)院,沈陽 110819)3(沈陽航空航天大學(xué) 計算機學(xué)院,沈陽 110136)

1 引 言

人體結(jié)構(gòu)用于描述人體各個部位的關(guān)聯(lián)關(guān)系,組織局部的部位構(gòu)成全局的人體,是姿態(tài)估計問題中一個主要的研究內(nèi)容.姿態(tài)估計中的人體結(jié)構(gòu)主要包括樹型模型和星型模型等[1].樹型結(jié)構(gòu)可以比較直觀地表示人體各個部位的關(guān)聯(lián)關(guān)系,并且易于使用動態(tài)規(guī)劃方法推理部位信息.因此大多數(shù)姿態(tài)估計方法采用樹型模型對人體結(jié)構(gòu)建模.現(xiàn)有的樹型人體結(jié)構(gòu)大多采用單模型表示人體部位.由于人體各個部位靈活度較高,基于單模型的樹型人體結(jié)構(gòu)無法描述多樣化的人體姿態(tài).此外,樹型結(jié)構(gòu)需根據(jù)人體各部位的連接關(guān)系完成推理,當(dāng)某一部位出現(xiàn)錯誤匹配時會將該錯誤傳輸?shù)狡浜⒆庸?jié)點造成累計誤差,從而影響其所有子孫節(jié)點的的正確識別.

由于人體各個部位分別分布在軀干周圍的幾處相對穩(wěn)定的位置(如圖2所示),可以使用星型模型[2-4]描述人體部位相對于軀干的分布關(guān)系.星型人體結(jié)構(gòu)將各個部位看做獨立的局部組件,所有部位擁有相同的根節(jié)點.其優(yōu)點是連接方式單一、推理簡單,某一局部部位的錯誤識別不會被傳輸至其他節(jié)點.但是,單模的星型模型仍然無法描述多樣化的人體姿態(tài).姿態(tài)多樣化主要分為人體整體姿態(tài)的多樣化和單個部位姿態(tài)的多樣化.

針對整體姿態(tài)的多樣化問題,本文首先判斷人體軀干的方位,即整體方位,然后利用各個部位相對于整體的方位信息,描述人體部位的分布情況.這樣可以利用人的整體結(jié)構(gòu)對局部部位進行修正,降低復(fù)雜姿態(tài)對部位識別的影響.例如,對于較難識別的倒立的人體,確定整體方向為倒立之后,可以根據(jù)人體部位的分布關(guān)系增加其他部位被正確識別的概率.針對單個部位姿態(tài)的多樣化問題,本文通過多模星型模型描述各個部位相對于整體不同方位的姿態(tài).多模星型模型主要用于描述相對于軀干(整體)具有較大靈活度的四肢.例如,舉起的手臂與垂下的手臂分別位于軀干的不同位置,使用單一的星型人體結(jié)構(gòu)很難準(zhǔn)確檢測到手臂.因此,使用多個模型表示人體結(jié)構(gòu)易于捕獲處于不同方位的人體部位.此外,由于星型模型無法描述人體部位的相鄰連接關(guān)系,需要融合樹型模型來完成人體結(jié)構(gòu)建模.

本文提出一種結(jié)合多模整體模型和多模星型模型的人體姿態(tài)估計方法.首先,使用多模整體模型檢測人體整體(表示軀干)方位;然后提出一種多模型的星型模型表示具有一定方位偏差的人體部位和整體之間的關(guān)系.為了更好地描述相鄰部位之間的分布關(guān)系,在整體-星型模型中融合樹型模型.

2 相關(guān)工作

人體結(jié)構(gòu)主要包括星型模型和樹型模型.目前大多數(shù)姿態(tài)估計方法都采用樹型模型完成人體結(jié)構(gòu)的建模[5-8].其各個部位以樹形結(jié)構(gòu)組織為一個整體,每一部位節(jié)點只有唯一的父節(jié)點,便于有效地推理.但是樹形結(jié)構(gòu)容易受到累計誤差的影響,導(dǎo)致人體姿態(tài)的整體錯誤[1].星型模型將各個人體部位視為獨立的節(jié)點,各個節(jié)點之間無直接的幾何關(guān)系[1].例如,Poselets[9]使用星型模型為人體部位建立各自的表觀模型,為了更好地識別特征相似的相鄰部位,將其作為一個部位集合完成建模.文獻[2-4]提出了利用星型模型(constellation model)的目標(biāo)識別方法,識別單個整體目標(biāo)時將其表示為若干局部部件,并使用星型模型結(jié)構(gòu)表示各個部位的關(guān)系.該方法主要用于剛體目標(biāo)的識別,例如汽車,但對于人體局部部位的描述具有一定的局限性.

針對姿態(tài)多樣性問題,國內(nèi)外研究者提出了多種基于整體多樣化和部位多樣化的姿態(tài)估計方法.Yang等[7]提出了FMP模型,使用基于多方向的部位檢測器完成人體整體姿態(tài)的估計.但該模型主要使用了單個部位方向的檢測器,未考慮整體方位的影響.Pishchulin等[10]提出使用Poselets描述人體部位集合,并根據(jù)人體結(jié)構(gòu)方向的星型先驗信息將這些部位集合關(guān)聯(lián)為一個人體.該論文重點考慮了局部的方向,未使用單獨的整體方向檢測器.Felzenszwalb等[11]提出了DPM(deformable part model)完成了人體檢測,首先從低分辨率HOG(histogram of oriented gradient)特征獲取人體整體方位,然后在高分辨率HOG特征中完成多個形變部位的搜索.該方法獲得較高的行人檢測準(zhǔn)確率,但所捕獲的局部部位的信息不夠準(zhǔn)確.Toshev等[12]使用深度學(xué)習(xí)方法,提出DeepPose姿態(tài)估計方法,優(yōu)化了人體部位檢測器.通過級聯(lián)DeepPose回歸器完成了對圖像的整體推理,獲得了當(dāng)時較好的姿態(tài)估計結(jié)果.通過對多個姿態(tài)估計方法結(jié)果分析發(fā)現(xiàn),目前的基于PS模型的方法對于人的頭部和軀干的識別結(jié)果較準(zhǔn)確,而對肢體的識別率較低.Dai等[13]提出一種基于整體方向的姿態(tài)估計方法,通過人的頭-軀干檢測器確定人體方位,進而提高整體的姿態(tài)估計效率.但是該方法只考慮了相鄰部位的位置關(guān)系,未考慮整體方向與各個局部部位的相對分布關(guān)系.文獻[14]提出的基于abstraction部位的姿態(tài)估計方法,通過對稱部位的合并將推理過程中的簡單循環(huán)去除,并且可以通過動態(tài)規(guī)劃有效地找到部位位置的計算.文獻[15]提出端對端姿態(tài)估計框架,包括DCNNs和DMP(deformable mixture of parts),將領(lǐng)域先驗知識加入到框架中,調(diào)整了學(xué)習(xí)過程,不管是循環(huán)模型或者樹型模型都提高了靈活性.文獻[16]提出一種基于個體的卷積神經(jīng)網(wǎng)絡(luò)完成姿態(tài)估計,使用一種針對遮擋的自我評價模型,通過個性化的外觀特征完成人體部位的針對性識別.

為了降低樹型人體結(jié)構(gòu)的累積誤差,并解決姿態(tài)估計受到人體姿態(tài)多樣化影響的問題,特別是非直立姿態(tài)誤檢率較高的問題,本文提出結(jié)合整體模型和星型部位模型的人體姿態(tài)估計方法.

3 問題分析

大多數(shù)的人體姿態(tài)估計方法都采用樹型結(jié)構(gòu)模型,根據(jù)人體各個部位的物理關(guān)聯(lián)關(guān)系將人體表示為一個樹型連接剛體結(jié)構(gòu).例如,PS模型[5]通過描述人體單個部位和相鄰兩個部位的關(guān)系建立人體結(jié)構(gòu)模型,根據(jù)以上兩項的匹配得分確定最終的姿態(tài)結(jié)果.該方法對于相對直立的人體姿態(tài)獲得了較好的結(jié)果[7],但是當(dāng)人體處于非直立狀態(tài)(特別是倒立)時基于樹型結(jié)構(gòu)的方法結(jié)果會出現(xiàn)較多錯誤匹配.主要原因是:首先,樹型模型中父節(jié)點的誤識別直接影響了孩子節(jié)點以及其他子孫節(jié)點的識別.例如軀干錯誤會傳輸至腿部.其次,由于人體整體和部位姿態(tài)的多樣性,無法使用統(tǒng)一的單模型表示人體結(jié)構(gòu).例如,非直立人體易被誤判為直立狀態(tài).在標(biāo)準(zhǔn)數(shù)據(jù)集和日常圖像中存在大量的非直立人體,例如,LSP測試集的1000幅圖像中人體軀干傾斜角度分布情況和對應(yīng)的FMP姿態(tài)估計結(jié)果,如表1所示.

表1 軀干傾斜角度θ分布和相應(yīng)的FMP[7]結(jié)果
Table 1 Distribution of torso inclination θ and corresponding result of FMP[7]

傾斜角度θ分布/度圖像數(shù)量/幅FMP結(jié)果/%0≤θ≤3080770.430<θ≤6010250.160<θ≤902930.3900<θ≤120216.7120<θ≤150161.9150<θ≤180250.8

由表1可見,人體傾斜角度越大姿態(tài)估計準(zhǔn)確率越低,因此針對人體整體姿態(tài)的多樣性,需要充分考慮人的整體方位,建立人體多模整體模型,再根據(jù)整體方位計算各個部位的分布位置.準(zhǔn)確的整體方位可以通過圖像的全局引導(dǎo),完成各個單個部位的正確識別.

圖1給出了FMP(flexible mixture of parts)[7]方法對非直立人體的姿態(tài)估計結(jié)果,如圖1所示,該方法為基于PS的較好方法之一.其中包含了3個非直立的人體圖像,FMP方法將以上人的姿態(tài)直接誤判為直立狀態(tài),而導(dǎo)致姿態(tài)估計錯誤.主要原因是未考慮人體整體方向?qū)е虏课徽`匹配,根據(jù)樹型關(guān)聯(lián)關(guān)系搜索部位,繼而引起累計誤差.

針對樹型模型的累計誤差問題,可以引入星型模型簡化人體結(jié)構(gòu),減少誤差信息的傳播.由人體部位分布圖2可見,各個部位集中在軀干周圍的幾處相對穩(wěn)定的位置,因此可以根據(jù)頭部和四肢相對于軀干的位置完成星型人體結(jié)構(gòu)的建模.文獻[2-4]提出的基于星型模型(constellation model)的物體識別方法,通過星型結(jié)構(gòu)表示單個目標(biāo)的各個部位之間關(guān)系.但是,現(xiàn)有的單模星型模型未充分考慮人體整體和部位姿態(tài)的多樣性.針對人體部位姿態(tài)的多樣性,本文需要構(gòu)建多模星型人體結(jié)構(gòu),表示各個部位相對于整體的多種方位信息.

圖1 FMP[7]姿態(tài)估計結(jié)果Fig.1 Pose estimation result of FMP[7]

圖2給出了人體部位相對于軀干的分布圖.根據(jù)標(biāo)準(zhǔn)數(shù)據(jù)集LSP中人體各個部位的位置,以軀干部位作為基準(zhǔn)映射出其他部位的分布情況.

圖2 人體各個部位的分布Fig.2 Layout of human body parts

綜上所述,為了減少部位之間傳輸信息的累積誤差,并表示多樣化的人體姿態(tài),本文提出一種結(jié)合整體模型和星型模型的人體結(jié)構(gòu)表示部位之間的關(guān)系,使用多模型的整體-星型人體結(jié)構(gòu)表示具有多個位置的人體部位.同時,因為人體目標(biāo)的特殊性,簡單地使用星型模型描述各個部位結(jié)構(gòu)特征不利于表示人體相鄰部位間的關(guān)聯(lián)性.因此,根據(jù)整體模型、星型模型和樹型模型共同完成姿態(tài)估計.

4 基于整體-星型模型的姿態(tài)估計

本文提出一種多模型的整體-星型人體結(jié)構(gòu)完成人體姿態(tài)估計.整體流程如圖3所示.

訓(xùn)練時分別對訓(xùn)練集中人體整體和K個部位完成T個方向的聚類,從而獲得整體模型、部位模型、星型模型和樹型模型(包括一致性模型).為了融合星型模型和樹型模型完成姿態(tài)估計,需要在訓(xùn)練過程中同時使用2個模型完成參數(shù)的學(xué)習(xí).

在檢測階段,首先通過整體模型獲得人的方位,然后分別根據(jù)單個部位模型、形變模型、一致模型和星型模型的匹配得分獲得姿態(tài)估計總體匹配分?jǐn)?shù),完成優(yōu)化處理獲得最佳姿態(tài).計算方法如公式(1)所示.

S(I,p,t)=R(I,p)+P(I,p)+D(I,p)+C(t)

(1)

其中,S(I,p,t)表示某一姿態(tài)的總體得分,R(I,p)為星型模型匹配得分,P(I,p)為單個部位模型匹配得分,D(I,p)為形變模型匹配得分,C(t)為一致性模型匹配得分.整體模型匹配得分計算方法在4.1節(jié)給出,星型模型得分R(I,p)在4.2中給出,單個部位模型、形變模型和一致性模型在文獻[13]中給出.

圖3 基于整體-星型模型的姿態(tài)估計Fig.3 Pose estimation with global and constellation model

設(shè)I表示測試圖像;pi表示第i個部位信息,pi=(x,y,s),分別描述了第i個部位在圖像中的x,y坐標(biāo)值和尺度.第i個部位的方向使用ti表示.其中部位編號i∈{1,…,K},pi∈{1,…,L},ti∈{1,…,T}.

4.1 多模人體整體模型

通過對多個研究的實驗結(jié)果的總結(jié)發(fā)現(xiàn),姿態(tài)估計中人的頭部和肢體部位的檢測率較高,腿部次之,胳膊-手部位的檢測率較低.主要原因是,人的四肢具有相當(dāng)大的自由度,在背景和衣著比較混亂的情況下很難正確檢測.為了在后續(xù)的部件檢測過程中獲取更多的先驗信息,減少各部件的搜索范圍,首先判斷圖像中人的整體位置和方向.整體模型描述了人體的2D位置和方向,位置由頭-肢體窗口確定,方向根據(jù)頭部和肢體的相對位置確定.因為目前的算法對于頭部和肢體的檢測準(zhǔn)確較高,同時為了提高執(zhí)行效率,本文只使用頭部和肩部建立整體模型,不考慮四肢.圖4給出了人體整體模型.

圖4 四個方向的人體整體模型圖Fig.4 Global body model for 4 orientation

為了描述人體的整體姿態(tài)多樣性,準(zhǔn)確檢測人體整體的多個方位,圖4給出T=4個不同的整體檢測器完成人體檢測.多個模型更有利于捕獲處于不同狀態(tài)的人體整體方位.多模整體模型匹配得分計算方法如公式(2)所示.

(2)

人體整體檢測過程如下:

Step2.計算測試圖像I的各個位置及尺度pG=(xG,yG,sG)的HOG特征φ(I,pG)[17];

Step3.對于圖像I的所有位置和尺度pG分別計算第tG個模態(tài)整體模型的匹配分?jǐn)?shù)G(I,p),獲取候選整體姿態(tài).后續(xù)星型模型中需要根據(jù)人體整體方位完成各個部位的形變模型匹配得分的計算,因此為了保留正確的人體姿態(tài)需根據(jù)設(shè)定閾值獲取若干整體方位.

4.2 多模星型部位模型

星型人體部位模型作為一種人體結(jié)構(gòu)的幾何約束關(guān)系,表示了各個部位相對于整體的分布配置[18].大多數(shù)的人體結(jié)構(gòu)都采用樹型模型,主要是因為樹型結(jié)構(gòu)較簡單且易于推理[11].但是樹結(jié)構(gòu)[19,20]只使用了各個部位的相鄰關(guān)系,未考慮整體分布情況,容易造成誤差積累.

針對樹型人體模型中出現(xiàn)的誤匹配問題,本文提出多模星型部位模型,描述人體各個部位的整體分布信息,如圖5所示.

圖5 星型部位模型圖Fig.5 Constellated part model

星型部位模型給出了所有人體部位相對于根節(jié)點(root)的分布關(guān)系,根節(jié)點為人體整體方位.文獻[2-4]中使用的星型模型為每一部位的單一模型且未給出整體方位信息.而本文的星型模型為相對于人體整體模型的ti個不同方位的多模型.這樣可以更加有效地捕獲具有位置偏差的單個部位,并有效地完成各個部位的約束.該模型主要通過人體整體和單個部位的相對距離關(guān)系,計算各個部位的分布匹配得分.具體方法如公式(3)所示.

(3)

ψ(pi-pG)=[dxdx2dydy2]

(4)

多模星型模型計算過程如下:

Step2.計算測試圖像I中人體整體方位與各個部位之間的歐氏距離ψ(pi-pG)[11];

Step3.對于圖像I的所有位置和尺度p,分別計算第tG個整體模型與所有第i個部位的匹配分?jǐn)?shù)之和R(I,p).

4.3 算法描述

本文首先通過整體模型獲得人的整體方位;然后分別根據(jù)單個部位模型、樹型形變模型和星型模型的匹配得分獲得姿態(tài)估計總體匹配分?jǐn)?shù);最終完成優(yōu)化處理獲得最佳姿態(tài).基于整體-星型模型的姿態(tài)估計具體算法如下所示.

輸出:人體各個部位模型匹配得分P(I,p)

1 獲取測試圖像I

2 for each測試圖像Ildo

3 for each第ti個類別 do

5 end

6Il←縮小圖像I為Il+1,縮放比例為1.2

7 ifIl長或?qū)?σ(最小圖像大小)

8 break

9 end

10 end

12 for each 測試圖像Ildo

13 for each 第i個部位do

14 for each第ti個類別 do

17 for each 孩子節(jié)點部位

19 end

20 end

21 獲得第i個節(jié)點的得分S(I,pi,ti)

22 end

23 獲得根節(jié)點的得分S(I,p,t)

24Il←縮小圖像Il為Il+1,縮放比例為1.2

25 ifIl長或?qū)?σ(σ為閾值)

26 break

27 end

28 end

5 訓(xùn) 練

訓(xùn)練的目的是獲得人體模型的參數(shù),即選擇一系列的最有識別參數(shù)[1].

S(I,z)=β·Φ(I,z)

(5)

s.t.yi(βT·ρ(I,z)+b)≥1-yi·fβ(Ii,zi)

(6)

其中C表示懲罰因子,fβ表示決策函數(shù).通過隨機梯度下降法獲得最優(yōu)參數(shù)β.

6 推 理

通過調(diào)整圖像I中的人體部位的位置p以及方向t,使得公式(1)結(jié)果最大化.為了準(zhǔn)確有效地計算出各個部位的數(shù)據(jù),同時融合了星型模型和樹型模型完成推理,具體計算方法,如公式(7)所示.

(7)

(8)

mi(tj,pj)計算了節(jié)點j在位置pj和方向tj情況下節(jié)點i傳遞到父節(jié)點j的得分.保證scorei(I,ti,pi)為當(dāng)前節(jié)點的最大值,當(dāng)獲得根節(jié)點的得分最大值時的pi與ti即為最優(yōu)姿態(tài).

7 實 驗

7.1 實驗設(shè)置

數(shù)據(jù)集.本文在數(shù)據(jù)集IP(image parse)[21]和LSP(leeds sport poses)[22]上進行訓(xùn)練和測試,以上兩個數(shù)據(jù)集中圖像均為包含整個人的圖像.人體正樣本分別使用標(biāo)準(zhǔn)數(shù)據(jù)集IP的100幅圖像和LSP的1000幅圖像.負樣本采用INRIA[17]數(shù)據(jù)集中不包含人體的圖像.將人體部位數(shù)量設(shè)置為K=26,人體整體和局部部位的方向T=6.

時間效率.實驗環(huán)境為win7操作系統(tǒng);i5,3.1G的CPU;matlab代碼實現(xiàn)算法.在IP數(shù)據(jù)集上每幅圖像姿態(tài)估計平均時間為2秒,在LSP數(shù)據(jù)集上每幅圖像平均時間為1秒.因為在IP數(shù)據(jù)集中完成了對原始圖像的旋轉(zhuǎn)和對稱之后進行訓(xùn)練,實際訓(xùn)練圖像為1000幅,IP數(shù)據(jù)集上訓(xùn)練時間約為40小時,LSP數(shù)據(jù)集上約為30小時.

評價方法.本文采用部位正確比例PCP[23]完成人體姿態(tài)估計的量化評價.目前主要有兩種評價標(biāo)準(zhǔn)strict PCP和loose PCP[23].本文采用第一種標(biāo)準(zhǔn)完成結(jié)果比較.

7.2 IP數(shù)據(jù)集結(jié)果

本文在IP數(shù)據(jù)集上與其他姿態(tài)估計方法完成比較,給出了strict PCP結(jié)果如表2所示.

表2 數(shù)據(jù)集IP上的結(jié)果比較(%)
Table 2 Comparison on IP dataset(%)

方法軀干大腿小腿上臂下臂頭平均Andriluka等[25]86.366.360.054.635.672.759.2Yang等[7]82.936.063.955.135.477.660.7Pishchulin等[10]82.274.663.754.939.870.762.9Yang等[26]85.974.968.363.442.786.867.1Johnson等[26]87.674.767.167.345.876.867.4Toshev等-80757150--本文方法87.876.672.062.042.084.967.8

從IP數(shù)據(jù)集的實驗結(jié)果(表2)可知,本文的軀干和平均結(jié)果均超出了其他算法(Toshev等[12]未給出頭部和軀干的識別結(jié)果).Andriluka等[25]采用基本的PS結(jié)構(gòu)模型,說明本文提出的整體星型分布模型有利于表示處于多個方向的人體整體和部位.Yang等[7]提出的FMP使用部位的方向表示各個部位的姿態(tài)多樣性.Yang等[26]在其改進的FMP模型獲得了較高的姿態(tài)估計結(jié)果,頭部識別率達到86.8%.本文在此基礎(chǔ)上額外考慮了整體方位和部位分布,在軀干、腿部和平均結(jié)果超出了文獻[26].Pishchulin等[10]提出poselet表示人體姿態(tài)的中層特征,獲得62.9%的結(jié)果.Johnson等[26]訓(xùn)練模型時使用額外的10000幅圖像,提高了多種人體姿態(tài)下的算法健壯性.本文使用約定的100幅圖像作為數(shù)據(jù)集完成模型的訓(xùn)練,仍然在軀干、腿部、頭部和平均結(jié)果超出了文獻[26].說明本文的基于星型模型方法具有較好的健壯性.Toshev等[12]提出DeepPose方法,挖掘人體姿態(tài)的多層特征,同時使用LSP原始和擴展[26]兩個數(shù)據(jù)集總共11000幅圖像完成了模型訓(xùn)練.本文的訓(xùn)練數(shù)據(jù)集的100幅圖像,均為IP數(shù)據(jù)集約定的訓(xùn)練圖像,因此訓(xùn)練數(shù)據(jù)量方面明顯處于劣勢.

圖6給出了數(shù)據(jù)集IP上,本文方法(右圖)與FMP[7]方法(左圖)的比較結(jié)果.

由圖6可見,FMP方法將非直立人體姿態(tài)誤判為正立姿態(tài),而本文的整體-星型模型正確地捕獲了人體整體方位和大部分的部位分布位置.主要原因是本文算法的整體模型可以捕獲多個方位的人體.但是由于受到遮擋、衣物、光照等噪聲的影響,有些局部部位的識別結(jié)果不夠理想.

7.3 LSP數(shù)據(jù)集結(jié)果

LSP數(shù)據(jù)集上與其他姿態(tài)估計算法的比較結(jié)果如表3所示.

由LSP數(shù)據(jù)集的實驗結(jié)果(表3)可知,本文的上臂、頭部和平均結(jié)果均高于其他算法.Pishchulin等[10]的基于poselets的方法通過人體部位的中層特征描述了整體姿態(tài),平均PCP達到60.8%.Yang等[7]的基于FMP的方法,提出局部部位方向的表示方法,獲得了較好的軀干部位的識別結(jié)果.Eichner等[24]在FMP方法基礎(chǔ)之上提出分別對前景和背景一致性的表示方法,提高了FMP識別結(jié)果.說明本文的星型模型有利于描述人體部位分布情況.Toshev等[12]的DeepPose方法在該數(shù)據(jù)集上同樣使用了11000幅圖像作為訓(xùn)練集(標(biāo)準(zhǔn)訓(xùn)練集為1000幅),獲得了較高的識別結(jié)果,但本文方法在上臂的識別結(jié)果高于該方法.說明本文在該數(shù)據(jù)集上的訓(xùn)練數(shù)據(jù)量方面處于劣勢,但通過整體模型和星型模型描述人體整體方位和局部部位的分布,較好地捕獲了人體各個部位.

圖6 數(shù)據(jù)集IP上與FMP方法的姿態(tài)估計結(jié)果比較Fig.6 Pose estimation result on IP compared with FMP

由于本文引入星型部位模型表示人體整體部位的分布,對于多樣化的人體姿態(tài)估計結(jié)果優(yōu)于其他算法.如圖7所示,給出了本文(右圖)與FMP[7]方法(左圖)的比較結(jié)果.

圖7 數(shù)據(jù)集LSP上與FMP方法的姿態(tài)估計結(jié)果比較Fig.7 Pose estimation result on LSP compared with FMP

由圖7可見,本文方法與FMP方法結(jié)果比較可知,FMP方法將大部分的非直立人體姿態(tài)判斷為正立姿態(tài),但本文的星型模型正確地捕獲了大部分的人體部位分布位置,例如(a),(b),(c),(d),(e).根據(jù)準(zhǔn)確的整體部位分布信息,獲得了較好的局部部位識別結(jié)果,例如(a)和(c);部分圖像則獲得了大多數(shù)部位正確的結(jié)果,例如(b),(d)和(e).對于部分具有挑戰(zhàn)性的人體姿態(tài)結(jié)果不夠理想,例如(f).

8 結(jié) 論

針對人體姿態(tài)的整體和局部部位多樣性問題,本文提出一種結(jié)合整體模型和星型模型的人體姿態(tài)估計方法,引入多模的整體-星型模型描述人體結(jié)構(gòu).首先,使用人體整體檢測器完成人體整體方位的檢測,獲取整體姿態(tài)多樣化的人體方位信息,為后續(xù)工作提供準(zhǔn)確的整體信息,避免出現(xiàn)人體整體姿態(tài)誤檢導(dǎo)致的誤差累計問題;然后,提出一種多模型的星型

表3 數(shù)據(jù)集LSP上的結(jié)果比較(%)
Table 3 Comparison on LSP dataset(%)

方法軀干大腿小腿上臂下臂頭平均Pishchulin等[10]84.169.565.652.535.977.160.8Yang等[7]87.575.768.054.233.978.162.9Eichner等[24]86.274.369.356..537.480.164.3Toshev等[12]-77715638--本文87.375.570.958.534.480.764.7

結(jié)構(gòu)表示人體各個部位和整體之間的若干個關(guān)系.該模型通過人體整體和單個部位的相對距離關(guān)系,計算各個部位的分布匹配得分,可以有效地捕獲具有位置偏差的單個部位,完成各個部位相對于整體的約束.最后,為了更好地描述相鄰部位之間的分布關(guān)系,在整體-星型模型中融合樹型模型完成姿態(tài)估計.數(shù)據(jù)集IP和LSP的結(jié)果表明,該方法提高了姿態(tài)估計準(zhǔn)確率,尤其提高在人體姿態(tài)多樣的情況下的結(jié)果.