基于關(guān)鍵姿態(tài)的快遞場景人-物交互行為識別方法

王蓯蓉，吳靜靜

(1.江南大學 機械工程學院，江蘇 無錫 214122；2.江蘇省食品先進制造裝備技術(shù)重點實驗室，江蘇 無錫 214122)

0 引言

近年來，隨著電商時代的到來，快遞行業(yè)也隨之蓬勃發(fā)展，我國快遞點數(shù)量劇增，快遞攬收和運輸過程中的安全問題受到日益關(guān)注?？爝f行業(yè)要求快遞攬件時工作人員必須在快遞箱封閉前進行一次開箱查驗，以確保貨物能夠安全送達目的地。與傳統(tǒng)人工視頻監(jiān)控相比，智能視頻監(jiān)控技術(shù)可以高效識別異常或者危險行為[1-2]，對快遞工作人員的行為進行識別和預警，極大提高了監(jiān)控效率和監(jiān)督的有效性[3]。因此，快遞場景下異常行為識別方法的研究對于實現(xiàn)智能安全快遞的目標具有重要意義。

近年來，人體行為識別被廣泛應用于智能視頻監(jiān)控等日常生活場景中，目前國內(nèi)外現(xiàn)有的行為識別研究更多聚焦于單人和多人行為[4-7]。在危險行為識別方面，Guan[8]利用3D-CNN結(jié)合LTSM進行異常行為識別；Xu[9]等人通過提取視頻的底層特征，實現(xiàn)了對視頻中暴力行為的檢測；吳蓬勃[10]等人基于TensorFlow深度學習框架，使用PoseNet模型采集數(shù)據(jù)，通過LSTM實現(xiàn)了快遞暴力分揀行為的識別。在動物行為識別方面，Wang[11]等人采用YOLOv3模型，基于深度圖像分析技術(shù)研究了一種針對蛋雞行為的自動識別方法；Yang[12]等人利用深度學習實現(xiàn)了豬行為的識別。以上方法在行為識別應用中效果較好，然而對于快遞場景下開箱驗視異常行為分析問題，僅使用人體運動信息描述行為往往會引起較大的識別錯誤率[13]，易受到復雜背景、光照變化以及寄件人行為等干擾。在快遞場景中，開箱驗視屬于人-物交互行為，僅僅依靠人手部的骨骼和關(guān)節(jié)信息難以區(qū)分相似動作，如寄件人人手干擾、其他快遞員取物品等，丟失了必要的物體和語義信息。

針對以上問題，本文分析快遞場景特點和異常行為特征，提出了一種基于關(guān)鍵姿態(tài)的人-物交互行為識別方法。針對場景內(nèi)的背景干擾和信息冗余，提出一種基于GMM的關(guān)鍵幀提取算法；針對基于OpenPose骨骼點的人體行為識別方法丟失上下文場景和語義信息的問題，引入目標檢測方法確定感興趣的目標物，獲得目標位置和類別；針對多目標行為識別問題，提出基于Auction的人-物最優(yōu)分配方法，確定人-物關(guān)系描述子和關(guān)鍵姿態(tài)向量；最后，將行為識別和人-物關(guān)系進行融合決策得到最終識別結(jié)果。

1 本文方法概述

本文提出的基于關(guān)鍵姿態(tài)的快遞場景異常行為識別方法流程如圖1和圖2所示。對于網(wǎng)絡(luò)攝像頭采集并傳回的視頻流，首先用改進的高斯混合背景建模方法建立監(jiān)控場景背景模型，檢測運動目標，根據(jù)運動目標的面積閾值判斷是否是關(guān)鍵幀；對關(guān)鍵幀使用OpenPose計算獲得骨骼點和肢體特征向量，輸入深度學習行為分類網(wǎng)絡(luò)得到人體最初行為模式和位置；使用目標檢測算法對關(guān)鍵幀中的物體進行檢測和分類，獲得物體類別和位置，然后提出最優(yōu)分配算法獲得人-物關(guān)系特征描述子和關(guān)鍵姿態(tài)；最后將人-物交互關(guān)鍵姿態(tài)特征和最初的特征識別進行融合決策得到最終行為識別結(jié)果。

圖1 基于關(guān)鍵姿態(tài)的快遞場景人-物交互行為識別方法

圖2 基于關(guān)鍵姿態(tài)的人-物交互行為識別流程

2 基于關(guān)鍵姿態(tài)的人-物行為識別

2.1 基于改進高斯混合模型的關(guān)鍵幀提取

在視頻序列中由關(guān)鍵姿態(tài)描述的行為狀態(tài)對于分析識別人的行為更有意義[14]，同時為了減少數(shù)據(jù)冗余和計算負載，本文提出基于改進高斯混合模型的關(guān)鍵幀提取方法。在傳統(tǒng)高斯混合模型中，在學習的過程中學習率是固定不變的，因此在一定時間后運動目標對應的高斯分布權(quán)值會上升，逐漸更新為背景分布，這樣會導致運動目標出現(xiàn)孔洞然后消失，尤其是運動速度較慢的目標。因此本文將運動目標的速度v與像素點的學習率αx,y,t相關(guān)聯(lián)，作為動態(tài)變量對其進行動態(tài)調(diào)整。本文定義的運動速度υx,y,t的數(shù)學表達式如式(1)所示。使用該方法進行運動目標檢測，有效地提高了運行速度，加強了動態(tài)環(huán)境地自適應性。

(1)

(2)

式中，Δt代表時間間隔，為固定值。xt和yt指代的是t幀圖像中運動目標點集的最小外接矩形的中心像素點的行列序號。對于組成運動目標的前景像素點集合來說，其中每一個點的速度υx,y,t均由相同的速度值來表示。

為了防止固定的更新速率將低速目標識別為背景，學習率αx,y,t需要隨著速度υx,y,t的變化動態(tài)調(diào)整[15]。對于高速目標來說，它不會停留在固定區(qū)域，也就不存在前景分布逐步轉(zhuǎn)換為背景分布的情況，所以像素點需要保持穩(wěn)定、較高的學習率；而低速目標則完全相反。定義學習率αx,y,t的計算公式如式(3)：

(3)

式中，υ0表示速度臨界閾值，用于區(qū)分高速與低速的運動目標。當一個像素點滿足以下條件時，它的學習率會初始化為初值αx,y,0：1)t-1和t時刻所匹配的分布模型發(fā)生了變化；2)連續(xù)5～10幀速度均為0。

如圖3所示，圖(b)為經(jīng)過改進高斯混合模型之后獲得的前景二值圖，該模型相較于經(jīng)典GMM提取的前景圖對于消除孔洞等干擾問題有明顯的優(yōu)勢。當相機視野范圍內(nèi)無運動目標進入時，檢測系統(tǒng)處于待機模式，僅進行視頻流與圖像幀的獲取。m(k)(x,y)表示經(jīng)過改進的高斯混合模型之后得出的運動目標前景二值圖。當檢測區(qū)域內(nèi)出現(xiàn)運動目標時，m(k)(x,y)中出現(xiàn)大量白色像素點，通過計算白色像素點個數(shù)與圖片總像素的比例s，設(shè)定特定閾值V，篩選出大于閾值的幀組成關(guān)鍵幀，然后再進行后續(xù)的行為識別。

圖3 改進GMM效果對比圖

2.2 交互行為人-物狀態(tài)向量提取

在完成關(guān)鍵幀的檢測后，需要提取關(guān)鍵幀內(nèi)的人體狀態(tài)向量與物體狀態(tài)向量，以便后續(xù)進一步對人-物狀態(tài)向量進行匹配融合，進而實現(xiàn)人-物交互行為語義的描述。其中，人體狀態(tài)向量可以由人體關(guān)鍵點的位置信息、肢體角度和行為標簽來表達，物體狀態(tài)向量可以由物體的類別標簽、位置和尺寸來表達。

2.2.1 基于骨架建模的人體狀態(tài)向量提取

OpenPose模型[16]是由美國卡耐基大學(CMU)以Caffe深度學習框架開發(fā)的人體姿態(tài)估計項目，可以實現(xiàn)人體關(guān)節(jié)點的提取與骨架結(jié)構(gòu)的聚合，從而描述人體姿態(tài)特征。作為一種自下而上的關(guān)節(jié)點檢測算法，在具有較高檢測精度的同時，檢測速度具有優(yōu)越性。如圖4所示，該模型可以輸出18個人體關(guān)節(jié)點信息，包括關(guān)節(jié)的坐標向量以及置信度信息。

圖4 基于OpenPose的骨架建模的模型圖和結(jié)果圖

OpenPose模型以RGB圖像數(shù)據(jù)作為模型輸入，以VGG19模型[17]的前10層做基礎(chǔ)特征提取，對于提取得到的特征圖F，通過關(guān)節(jié)位置回歸支路(PCM)回歸人體關(guān)節(jié)的位置向量集合S=(S1,S2，…，Sj,…,Sn)，Sj表示第j個關(guān)節(jié)位置的坐標向量，通過關(guān)節(jié)親和力大小預測支路(PAF)預測關(guān)節(jié)之間的親和力場集合L=(L1,L2,…,Lc,…,Ln)，Lc表示第c組關(guān)節(jié)對之間的親和力大小分布。兩條支路的輸出可以表達為：

(4)

式中，F(xiàn)是基于圖像數(shù)據(jù)提取的特征圖，ρt和φt分別表示在階段t的PCM支路輸出和PAF支路輸出。對于本文來說，只需要利用OpenPose模型PCM支路輸出的關(guān)節(jié)坐標向量集合X=(X1,X2,…,X18)，其中包含了代表人手的關(guān)節(jié)點的位置向量Xk(xt,yt)。

在完成人體關(guān)節(jié)坐標向量的提取后，需要進一步實現(xiàn)人體狀態(tài)向量的描述，即人員行為狀態(tài)的預測。本文采用神經(jīng)網(wǎng)絡(luò)模型處理關(guān)節(jié)向量信息，進而實現(xiàn)行為類別的預測，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。首先將輸入的18個關(guān)節(jié)坐標向量扁平化處理成一維向量，網(wǎng)絡(luò)整體由4個結(jié)構(gòu)相似的全連接層Block組成，對于每一個Block輸出都進行層標準化處理約束模型的參數(shù)分布，避免模型誤差反向傳播時出現(xiàn)梯度爆炸的問題。

圖5 基于骨骼點的人體行為識別網(wǎng)絡(luò)

針對行走、開箱、使用手機、包裝快遞、寫快遞單等5種人體狀態(tài)描述，對應標簽值為：“0-Walking”“1-OpenBox”“2-UsingPhone”“3-Packing”“4-Writing”。據(jù)此為神經(jīng)網(wǎng)絡(luò)模型定義5個輸出向量，并通過Softmax函數(shù)完成對5種狀態(tài)預測的置信度信息做歸一化處理，取最大置信度對應的行為類別為當前人體狀態(tài)向量描述。

2.2.2 基于YOLO的物體狀態(tài)向量提取

上一節(jié)內(nèi)容中對快遞工作人員進行了骨架建模和行為識別，但由于快遞員在快遞開箱驗視的過程中容易產(chǎn)生很多相似的干擾行為，如包裝快遞、使用手機、寫快遞單以及使用工具等等，這些行為存在一定的相似性，單單憑借人體行為無法有效區(qū)分識別。因此需要對場景中的目標物進行分類與定位，確定物體的狀態(tài)向量，以便于對后續(xù)關(guān)鍵姿態(tài)估計以及決策融合提供物品信息。

YOLO作為一種經(jīng)典的目標檢測算法[18]，將基于圖像的目標對象檢測問題定義為了一個回歸問題，即利用整張圖作為網(wǎng)絡(luò)的輸入，直接在輸出層回歸待檢測物體所在區(qū)域Bounding Box的位置信息以及所屬類別信息。作為端到端的模型結(jié)構(gòu)，YOLO在檢測速度上具有顯著優(yōu)勢。利用該模型實現(xiàn)目標檢測的流程如圖6所示。

圖6 YOLO模型目標檢測流程示意圖

YOLO模型同樣以RGB數(shù)據(jù)作為模型輸入，首先將圖像劃分為7×7的網(wǎng)絡(luò)區(qū)域，然后執(zhí)行兩個Branch分支。第一個分支進行目標位置框區(qū)域估計，即基于每個網(wǎng)格Cell給出兩個指定寬高比的預測框，輸出Bounding Box的4個頂點坐標與置信度信息，后續(xù)基于置信度非極大抑制以及框選位置尺寸矯正實現(xiàn)候選框篩選與位置優(yōu)化。第二個分支負責預測每個網(wǎng)格Cell的所屬目標類別，結(jié)合第一個分支Bounding Box位置的估計結(jié)果，實現(xiàn)對待檢測目標所在區(qū)域的ROI位置以及類別預測。

綜合考慮各種因素，針對箱子、手機、膠帶、快遞單和小刀6種物體狀態(tài)向量描述，對應標簽值為：“1-Box”“2-Phone”“3-Tape”“4-Express List”“5-Knife”(初始化類別標簽為“0-Nothing”)，目標檢測的實驗結(jié)果如圖7所示。從圖中可以看出，該網(wǎng)絡(luò)可以準確地檢測出快遞站場景中的目標物品，同時返回被測物品的位置和尺寸。最終得到物品的位置和類別狀態(tài)向量集Yk(Lt,xt,yt,wt,ht)，其中，Lt表示物品標簽，xt和yt代表Bounding Box的中心點坐標，wt和ht分別表示Bounding Box的寬和高。

圖7 目標檢測識別結(jié)果圖

2.3 基于Auction的關(guān)鍵姿態(tài)估計

與單人動作相比，多人-多物交互行為在快遞場景中更為常見。如圖8(a)所示，一個常見的快遞場景中往往有多個工作人員(攬件員)，在工作人員周圍還存在多個寄件人，桌面上除了包括多個包裝紙箱，還有手機、快遞單收納籃、計算器、膠帶卷等，多人和各種類型的桌面物品極大地影響了開箱驗視行為識別的準確率。為了提高多人-多物復雜環(huán)境下的開箱驗視行為識別性能，本文提出一種基于Auction的關(guān)鍵姿態(tài)估計方法，根據(jù)多人和多物的位置和類別狀態(tài)向量，設(shè)計全局最優(yōu)分配代價函數(shù)，推斷出開箱驗視人-物交互關(guān)系候選對集合[19]。

圖8 基于Auction的關(guān)鍵姿態(tài)估計算法

在快遞場景中，假設(shè)YOLO算法檢測到物品位置和類別狀態(tài)向量集為Xk；OpenPose輸出的人手位置狀態(tài)向量集Yk。在本文提出的人物交互行為識別算法中，把關(guān)鍵姿態(tài)估計問題轉(zhuǎn)化為分配問題，即將當前k時刻的物品狀態(tài)估計Yk分配給人手狀態(tài)Xk。而分配問題的關(guān)鍵在于設(shè)計一個代價函數(shù)來衡量物品狀態(tài)和人手狀態(tài)的相關(guān)性，兩個狀態(tài)估計的相關(guān)性越大則人-物的匹配可能性越高。由于目標狀態(tài)指示的是一個包含位置、標簽、附屬關(guān)系等的向量，要確立兩個狀態(tài)向量間的匹配程度或相似性，需要借助向量特征來進行相似度的度量。本節(jié)設(shè)計的代價函數(shù)的原理為采用人手狀態(tài)和物品狀態(tài)的巴氏距離[20]來衡量二者的相似性，相似越大則兩個目標狀態(tài)的距離越小，進而匹配的代價越小?；贏uction的關(guān)鍵姿態(tài)估計原理如圖9所示，具體算法可總結(jié)如下：

圖9 關(guān)鍵姿態(tài)估計原理示意圖

(5)

Step2：初始化Xk中所有未分配成功的狀態(tài)估計并將關(guān)聯(lián)代價(Price)設(shè)定為0；

(6)

Pn=Pn+dn+ε

(7)

Step6：返回至Step3；

Step7：輸出帶有標簽的多人-多物配對集Pk={p1,p2,p3,…,pk}，其中，Pk為包含第k個人手狀態(tài)與所有物品狀態(tài)價格的向量。

2.4 融合決策

在得到帶標簽的多人-多物配對集Pk={p1,p2,p3,…,pk}之后，選擇與人手狀態(tài)關(guān)聯(lián)價格最高的物品狀態(tài)進行直接配對，得到配對完成后的潛力人-物對，直接與初始行為進行融合決策。融合決策是根據(jù)一定的準則，將經(jīng)過人體行為識別網(wǎng)絡(luò)輸出的行為類別結(jié)果、經(jīng)過YOLO檢測的物品信息以及通過Auction關(guān)鍵姿態(tài)估計得到的人物相關(guān)性配對集進行融合判斷，最終獲得人體行為的識別結(jié)果，初始行為類別和物體類別的數(shù)字標簽對應表如表1所示。根據(jù)初始行為類別和物體類別以及對于幾種行為的綜合判斷，具體的融合決策策略如下：

表1 初始行為類別和物體類別的數(shù)字標簽對應表

Case1：當初始行為或者相匹配的物體類別的編號為0時，行為類別即為“Irrelevant Behavior”；

Case2：當初始行為與相匹配的物體類別的編號相同時，表示行為類別無需修正；

Case3：當初始行為為1，若相匹配的物體類別為2，則將初始行為修正為“Using Phone”；若相匹配的物體類別為3，則將初始行為修正為“Packing”；若相匹配的物體類別為4，則將初始行為修正為“Writing”；若相匹配的物體類別為5，表示行為類別無需修正；

Case4：當初始行為為2，若相匹配的物體類別為1，表示行為類別無需修正；若相匹配的物體類別為3，則將初始行為修正為“Packing”；若相匹配的物體類別為4，則將初始行為修正為“Writing”；若相匹配的物體類別為5，則將初始行為修正為“OpenBox”；

Case5：當初始行為為3，若相匹配的物體類別為1，表示行為類別無需修正；若相匹配的物體類別為2，則將初始行為修正為“UsingPhone”。若相匹配的物體類別為4，則將初始行為修正為“Writing”；若相匹配的物體類別為5，則將初始行為修正為“OpenBox”；

Case6：當初始行為為4，若相匹配的物體類別為1，表示行為類別無需修正；若相匹配的物體類別為2，則將初始行為修正為“Using Phone”；若相匹配的物體類別為3，則將初始行為修正為“Packing”；若相匹配的物體類別為5，則將初始行為修正為“OpenBox”。

在實際場景下，對于快遞場景人物交互行為識別的應用意義就是判斷工作人員是否進行了開箱驗視。因此行為類別為“Open Box”是本文需要重點關(guān)注的行為類別，而“Packing”“Using Phone”“Writing”以及“Irrelevant Behavior”這4種行為屬于快遞站常見的其它行為，通過對這幾種行為進行識別可以更好地對工作人員的行為進行規(guī)范，設(shè)計更合理的工作流程，提高快遞開箱驗視工作效率。

3 實驗分析與設(shè)計

3.1 實驗數(shù)據(jù)集介紹

本文研究的快遞站場景人物交互行為識別屬于具體場景應用，通用行為識別數(shù)據(jù)集不適合用來驗證本文所提方法。因此，本文在真實快遞站環(huán)境下采集了工作人員和顧客行為的視頻片段，包含了以下4種行為類別，共200組視頻，截取圖像共10 000幀，其中行為“Opened Box”有2 353幀，行為“Packing”有3 382幀，行為“Using Phone”有2 645幀，行為“Writing”有1 079幀，行為“Irrelevant Behavior”有541幀，本文數(shù)據(jù)集示例如圖10所示。

圖10 數(shù)據(jù)集圖像示例

3.2 實驗步驟

根據(jù)第二章所闡述的行為識別和目標檢測的方法，本文設(shè)計的實驗步驟如下：

Step1：數(shù)據(jù)集劃分。將200組郵局實驗樣本按照4：1的比例劃分為訓練集和測試集；

Step2：將訓練集輸入至OpenPose進行骨架建模，得到人體上半身的骨骼點數(shù)據(jù)；

Step3：將骨骼點數(shù)據(jù)作為輸入，制作行為識別的數(shù)據(jù)集，對如圖5所示的人體行為識別網(wǎng)絡(luò)進行訓練，學習率設(shè)置為0.0001，Epoch設(shè)置為100，BatchSize設(shè)置為32。

Step4：制作目標檢測的數(shù)據(jù)集，訓練YOLOv5網(wǎng)絡(luò)，得到網(wǎng)絡(luò)的訓練模型并測試結(jié)果；

Step5：得到兩種網(wǎng)絡(luò)模型的測試結(jié)果后，根據(jù)基于Auction的關(guān)鍵姿態(tài)估計方法得到人-物配對集；

Step6：通過融合決策得出實驗結(jié)果。

3.3 實驗結(jié)果分析

本文采用精確率(Precision)和召回率(Recall)作為評價指標[21]，用于評價該識別方法的優(yōu)劣，具體計算方法如公式(8)和(9)所示：

(8)

(9)

其中:TP(ci)表示屬于ci類且被正確分為ci類的樣本數(shù)；FP(ci)表示不屬于ci類但被分為ci類的樣本數(shù)；FN(ci)表示屬于ci類但沒有被正確分為ci類的樣本數(shù)[22-23]。

如上一小節(jié)所述，按照4：1的比例進行訓練集和數(shù)據(jù)集的劃分，因此測試集一共2 000幀，行為“Opened Box”有470幀，行為“Packing”有680幀，行為“Using Phone”有530幀，行為“Writing”有210幀，行為“Irrelevant Behavior”有110幀。將加入目標檢測模塊和融合決策之后的識別算法與加入前的識別算法進行對比實驗，圖11中的(a)和(b)分別為加入模塊前和加入模塊后識別結(jié)果的混淆矩陣，用測試集分別測試得出的準確率和召回率如表2和表3所示。

圖11 混淆矩陣

表2 識別結(jié)果(加入模塊前) %

表3 識別結(jié)果(加入模塊后) %

實驗結(jié)果表明，在加入目標檢測模塊和融合決策模塊之后，該系統(tǒng)的精確率和召回率有了顯著的提高，為了更直觀地表明本文方法的有效性，將實驗結(jié)果進行可視化?？爝f站實際場景的實驗結(jié)果如圖12所示，分別展示了3種不同時間段的圖像幀序列，如圖所示，(1,2,3,4)-b的右側(cè)人員的真實行為類別為“Packing”，但是在未加入目標檢測模塊之前被誤識別為“OpenBox”，加入目標檢測模塊并經(jīng)過決策融合之后，識別結(jié)果得以修正；(1,2,3,4)-c右側(cè)人員的真實行為類別為“OpenBox”，初始誤識別為“Packing”，最終識別結(jié)果被修正準確。(1,2,3,4)-a由于該行為初始類別準確，因此最終識別結(jié)果并未發(fā)生改變。除此之外，圖中僅顯示了與人員行為相關(guān)的物品信息，這是通過關(guān)鍵姿態(tài)估計進行了人-物最優(yōu)分配，去除了與人員行為無關(guān)的物品干擾。綜上所述，本文算法具有良好的準確率和召回率。

圖12 實際快遞場景實驗結(jié)果

4 結(jié)束語

本文綜合分析快遞場景的特點和異常行為特征，將基于骨架建模的人體行為識別與目標檢測相結(jié)合，提出了一種基于關(guān)鍵姿態(tài)的快遞場景人物交互行為識別方法。首先用改進的高斯混合模型進行關(guān)鍵幀的提取，然后用OpenPose進行骨架建模，繼而利用基于骨骼點的人體行為識別方法獲取人體的初始行為類別；使用YOLOv5算法獲得場景內(nèi)常見物品的類別和位置信息，解決了傳統(tǒng)行為識別方法丟失上下文場景和語義信息的問題；通過提出基于Auction的多人-多物最優(yōu)分配方法來進行關(guān)鍵姿態(tài)估計，最后將行為識別和人物關(guān)系進行融合決策，提高了人-物交互行為的識別精度。實驗證明，本文方法的識別精度優(yōu)于傳統(tǒng)行為識別方法，解決了開箱驗視過程中復雜環(huán)境干擾和相似行為難以區(qū)分這兩個問題，實現(xiàn)了對快遞場景人員開箱驗視、使用手機、包裝快遞等行為的精確識別。但是，若目標檢測算法未能檢測出手機、膠帶以及工具刀等小物體時，識別結(jié)果會受到影響。因此如何提高目標檢測算法對于小目標的檢測能力，如何將其與行為識別方法進行深度融合，將作為下一步的研究方向。