基于行人再識(shí)別的軌跡重現(xiàn)

閆秋芳

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

基于行人再識(shí)別的軌跡重現(xiàn)是根據(jù)目標(biāo)人物在各相機(jī)間的行人再識(shí)別結(jié)果，利用已知出現(xiàn)目標(biāo)人物的相機(jī)編號(hào)的位置信息（本文中使用經(jīng)緯度），將出現(xiàn)目標(biāo)人物的相機(jī)坐標(biāo)與地圖道路信息相結(jié)合，并得到目標(biāo)人物的運(yùn)動(dòng)軌跡。

行人再識(shí)別（Re-id）是智能化圖像、視頻處理的一種方法。行人再識(shí)別使得行人識(shí)別在視頻、圖像清晰度不夠的情況下仍能準(zhǔn)確得到結(jié)果，也適用于場(chǎng)景較大的情況。它應(yīng)用在圖像上時(shí)，需要將圖像中的人像進(jìn)行分割，得到切好的圖像塊與目標(biāo)圖像塊進(jìn)行所需特征的提取并通過(guò)距離度量計(jì)算得到相似度；應(yīng)用在視頻中時(shí)，由于每類行人都至少存在兩端視頻序列，存在大量的訓(xùn)練數(shù)據(jù)，方便機(jī)器學(xué)習(xí)方法的訓(xùn)練，提高識(shí)別準(zhǔn)確率，視頻中一般采用底層特征，然后利用平均化/最大池化方法將其聚合為一個(gè)全局特征向量。行人再識(shí)別的關(guān)鍵在于特征提取以及距離度量?jī)蓚€(gè)部分：本文提出使用身高特征、步態(tài)以及衣物顏色三個(gè)特征融合后作為Re-id的特征；度量學(xué)習(xí)方法采用基于馬氏距離的KISSME算法計(jì)算，并在得到度量結(jié)果后新增使用馬氏距離驗(yàn)證結(jié)果的模塊，提高數(shù)據(jù)的準(zhǔn)確性。

軌跡重現(xiàn)部分采用百度地圖提供的軌跡上傳API。百度地圖提供了可供開(kāi)發(fā)者使用的基于百度地圖的各種API，并提供了Web、iOS及Android平臺(tái)的源代碼等，可將結(jié)果應(yīng)用于上述三個(gè)平臺(tái)。本文中將出現(xiàn)目標(biāo)人物的相機(jī)坐標(biāo)作為軌跡上傳API的輸入，則該API將復(fù)現(xiàn)目標(biāo)人物的運(yùn)動(dòng)軌跡。

1 行人再識(shí)別

行人再識(shí)別是給定一張已經(jīng)切好塊的行人圖像，從一大堆切好塊的圖像中找到與給定圖像中身份相似的，常用于多設(shè)備拍攝的圖像或視頻的不連續(xù)幀之間。因此行人再識(shí)別需要對(duì)圖像進(jìn)行預(yù)處理，進(jìn)行運(yùn)動(dòng)人物檢測(cè)，劃定可能存在人物的候選區(qū)域；然后針對(duì)候選區(qū)域中的人物進(jìn)行特征匹配及距離度量，得到相似度結(jié)果。目前行人再識(shí)別在圖像及視頻數(shù)據(jù)庫(kù)上的效果如表1和表2所示。

表1 行人再識(shí)別圖像數(shù)據(jù)集上的方法對(duì)比

表2行人再識(shí)別在視頻數(shù)據(jù)集上的方法對(duì)比

行人再識(shí)別為三個(gè)步驟分別是特征提取、距離度量和相似度排序。其中特征提取與距離度量是行人再識(shí)別效果好壞的關(guān)鍵。由于行人再識(shí)別的效果依賴于提取特征，所以提出更好的特征是目前的研究熱點(diǎn)。目前提取的特征有以下幾類：（1）外觀底層特征，如顏色、紋理、SIFT 特征等；（2）深度視覺(jué)特征，根據(jù)輸入（2）圖像改進(jìn)網(wǎng)絡(luò)、在網(wǎng)絡(luò)加入處理模塊、更改網(wǎng)絡(luò)的卷積過(guò)濾器、在網(wǎng)絡(luò)結(jié)構(gòu)中增加處理函數(shù)；（3）多種特征組合，如外表特征+姿態(tài)特征、視覺(jué)特征+標(biāo)記信息、條塊加權(quán)直方圖+顏色名描述特征等。但由于光照強(qiáng)度、角度以及遮擋對(duì)行人再識(shí)別的直接影響，需要采用能夠克服以上因素的特征能夠有效保證行人再識(shí)別的有效性及準(zhǔn)確性。身高作為人體的生理特征，不會(huì)在行走過(guò)程中變化，在有輕微遮擋時(shí)也能夠得到，故可以作為身份識(shí)別的特征；步態(tài)也是人們重要的生物特征，由于人們步伐的頻率以及幅度各不相同，可以作為身份識(shí)別的特征；結(jié)合新提出的身高特征、步態(tài)特征以及衣服顏色特征作為融合特征。對(duì)提取到的特征進(jìn)行距離度量，得到給定圖像中與序列圖像中行人的相似程度，最后根據(jù)相似度排序得到最佳匹配結(jié)果。

1.1 行人檢測(cè)

行人檢測(cè)得到圖像中運(yùn)動(dòng)的行人候選區(qū)域，目前行人檢測(cè)方法分為兩類：基于背景建模和基于統(tǒng)計(jì)學(xué)習(xí)的方法。基于背景建模的方法是通過(guò)對(duì)背景建立模型，得到前景運(yùn)動(dòng)的目標(biāo)并將其作為候選區(qū)域，背景建模實(shí)現(xiàn)簡(jiǎn)單，但也存在一些問(wèn)題：畫面抖動(dòng)問(wèn)題、無(wú)法適應(yīng)光照變化等問(wèn)題和靜止目標(biāo)突然運(yùn)動(dòng)等問(wèn)題；基于統(tǒng)計(jì)學(xué)習(xí)的方法是目前較為常用的方法，根據(jù)大量的樣本構(gòu)建行人檢測(cè)分類器，提取的特征為灰度、邊緣、紋理等，分類器主要包括SVM、AdaBoost及深度學(xué)習(xí)。本文采用基于方向梯度直方圖HOG的SVM分類器實(shí)現(xiàn)行人檢測(cè)。

1.2 提取身高特征

目前常用的身高測(cè)量方式主要是主動(dòng)式測(cè)量，例如使用尺度工具、超聲波、激光、紅外等方式測(cè)量。主動(dòng)式測(cè)量準(zhǔn)確度很高，但是過(guò)程中必須按順序逐個(gè)測(cè)量，非常耗費(fèi)時(shí)間，而且需要現(xiàn)場(chǎng)人員測(cè)量。但是在一些公共場(chǎng)所，并不需要很精確的身高，只需要得到估算的身高數(shù)據(jù)即可，由于人流量較大，無(wú)法通過(guò)傳統(tǒng)的測(cè)量方法完成測(cè)量。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，基于視頻圖像的身高測(cè)量方法應(yīng)運(yùn)而生。利用計(jì)算機(jī)視覺(jué)可以實(shí)現(xiàn)隨時(shí)隨地的測(cè)量，具有無(wú)接觸性，而且不需要專門人員現(xiàn)場(chǎng)測(cè)量[1]。

基于計(jì)算機(jī)視覺(jué)的身高測(cè)量有雙目測(cè)量和單目測(cè)量。雙目測(cè)量不需要參照物，利用雙目相機(jī)計(jì)算得到的相機(jī)內(nèi)、外參數(shù)計(jì)算得到目標(biāo)的深度，再利用三角定理計(jì)算得到目標(biāo)身高。

文獻(xiàn)[2]是單目測(cè)量的經(jīng)典算法，通過(guò)參考平面上兩對(duì)點(diǎn)來(lái)確定參考平面的消失線，根據(jù)不平行于參考平面參考方向的消失點(diǎn)和參考高度，得到透視矩陣，結(jié)合交比測(cè)量指定方向上的高度、平行于參考平面的平面上的目標(biāo)面積或長(zhǎng)度的比率以及推算攝像機(jī)位置。本文采用了單目測(cè)量方式得到目標(biāo)人物的身高特征。

1.3 步態(tài)識(shí)別算法

步態(tài)識(shí)別是生物特征識(shí)別的一個(gè)新興領(lǐng)域，它通過(guò)人們走路的知識(shí)進(jìn)行身份識(shí)別。目前的步態(tài)識(shí)別算法分為：（1）將大腿建模并連接為鐘擺，判斷其傾斜角度的信號(hào)頻率分量進(jìn)行識(shí)別；（2）從光流圖像得到相位和頻率特征；（3）時(shí)空相匹配的步態(tài)識(shí)別方法等。步態(tài)識(shí)別的效果取決于人體形狀準(zhǔn)確檢測(cè)的結(jié)果，可將其過(guò)程看作一系列靜態(tài)姿勢(shì)在時(shí)間軸上的序列，然后識(shí)別出序列上的姿勢(shì)變化規(guī)律便可以得到結(jié)果[3]。

本文利用視頻中的多幀圖像生成步態(tài)能量圖，比較步態(tài)能量圖并進(jìn)行分析得到是否為同一目標(biāo)的結(jié)果。

1.4 KISSME距離度量算法

對(duì)象與目標(biāo)間的相似度計(jì)算采用度量方法，目前使用的度量方法分為以下兩類：（1）基于馬氏距離的方法，如KISSME、LMNN等；（2）基于分類技術(shù)和集成技術(shù)：，如集成多個(gè)SVM（按權(quán)值或按表述方式）、跨視圖字典學(xué)習(xí)（CDL）、跨視圖語(yǔ)義投影等。

KISSME距離度量方法是基于馬氏距離的一種方法。馬氏距離是由印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（P.C.Mahalanobis）提出的，表示數(shù)據(jù)的協(xié)方差距離，它是一種有效的計(jì)算兩個(gè)未知樣本集的相似度的方法，與歐氏距離不同的是它考慮到各種特性之間的聯(lián)系[4]；當(dāng)協(xié)方差cov（x，y）>0時(shí)，表示x樣本集與y樣本集正相關(guān)，當(dāng)協(xié)方差cov（x，y）<0時(shí)，表示x樣本集與y樣本集負(fù)相關(guān)，當(dāng)協(xié)方差 cov（x，y）=0時(shí)，表示x樣本集與 y樣本集不相關(guān)。計(jì)算馬氏距離的核心在于計(jì)算相關(guān)矩陣M的值，但矩陣M的值需要不斷迭代優(yōu)化，造成的計(jì)算量很大，所以出現(xiàn)了許多基于馬氏距離的優(yōu)化方案。KISSME用簡(jiǎn)單的協(xié)方差計(jì)算替代了復(fù)雜迭代的優(yōu)化過(guò)程，實(shí)現(xiàn)了馬氏距離計(jì)算復(fù)雜的改進(jìn)。

2 軌跡重現(xiàn)

軌跡重現(xiàn)時(shí)根據(jù)目標(biāo)人物出現(xiàn)的位置重現(xiàn)復(fù)現(xiàn)其運(yùn)動(dòng)軌跡，在本文中將多個(gè)位置的經(jīng)緯度坐標(biāo)與地圖中的道路數(shù)據(jù)相結(jié)合，得到目標(biāo)人物的運(yùn)動(dòng)軌跡。

本文的軌跡重現(xiàn)基于百度地圖API實(shí)現(xiàn)，百度地圖提供了Web、iOS以及Andriod平臺(tái)的各種API及源代碼，本文使用Web端的軌跡上傳API，通過(guò)上傳軌跡上的經(jīng)度和維度數(shù)據(jù)點(diǎn)，可以在地圖上顯示重現(xiàn)后的軌跡。本文在道路不同位置上架設(shè)相機(jī)捕捉畫面，當(dāng)目標(biāo)任務(wù)出現(xiàn)在不同相機(jī)上時(shí)，可得到不同相機(jī)對(duì)應(yīng)的經(jīng)緯度，上傳至百度地圖軌跡上傳API上，即可得到重現(xiàn)的軌跡。

3 結(jié)語(yǔ)

本文實(shí)現(xiàn)了基于行人再識(shí)別的軌跡重現(xiàn)。其中，使用行人再識(shí)別技術(shù)彌補(bǔ)了行人識(shí)別需要依賴于人臉等清晰特征的局限性，也增加了可靠性；融合身高、步態(tài)及衣物顏色作為提取特征具有不易變性質(zhì)，在不同光照、及輕微遮擋條件下仍能提取目標(biāo)人物的以上特征并進(jìn)行距離度量得到相似度；在使用KISSME距離度量后再用簡(jiǎn)單的馬氏距離驗(yàn)證度量結(jié)果是否準(zhǔn)確；將相機(jī)編號(hào)并與經(jīng)緯度建立連接并作為輸入至百度地圖軌跡上傳API，此API將多個(gè)位置的坐標(biāo)進(jìn)行整合后得到運(yùn)動(dòng)軌跡。另外，行人再識(shí)別的特征提取中還可繼續(xù)發(fā)掘，找到更加魯棒和距離較遠(yuǎn)的特征。