基于重疊條紋特征融合的行人再識(shí)別

王琳琳 王微 梁鳳梅

摘 ?要： 針對(duì)行人再識(shí)別過程中，光照、攝像機(jī)設(shè)置等因素影響行人圖像顏色以及在提取圖像特征時(shí)丟失部分圖像細(xì)節(jié)的問題，提出一種基于重疊條紋特征融合的行人再識(shí)別方法。在提取特征前，對(duì)圖像進(jìn)行重疊條紋分割，對(duì)所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖，HSV顏色直方圖可以增強(qiáng)圖像顏色信息的鑒別性，而重疊條紋分割方法解決丟失圖像細(xì)節(jié)問題，Gabor紋理特征對(duì)圖像的邊緣敏感，增加圖像的細(xì)節(jié)信息，融合所提取的圖像特征，形成特征描述子;然后用交叉視角邏輯度量學(xué)習(xí)算法進(jìn)行識(shí)別;最后在VIPER和GRID圖像庫上進(jìn)行實(shí)驗(yàn)，rank1分別達(dá)到了31.68%和16.32%，rank10和rank20也有明顯提高。結(jié)果表明所提方法能夠提高行人再識(shí)別的識(shí)別率。

關(guān)鍵詞： 行人再識(shí)別; HSV顏色直方圖; Gabor紋理特征直方圖; 重疊條紋; 特征融合; 交叉視角邏輯度量學(xué)習(xí)

中圖分類號(hào)： TN911.73?34; TP391 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）10?0175?04

Pedestrian re?identification based on feature fusion of overlapped stripes

WANG Linlin， WANG Wei， LIANG Fengmei

（Taiyuan University of Technology， Jinzhong 030600， China）

Abstract： In allusion to the problems that the pedestrian image color is influenced by the factors of illumination and camera settings during the pedestrian re?identification process， and image details are partially lost during image feature extraction， a pedestrian re?identification method based on feature fusion of overlapped stripes is proposed. The segmentation of overlapped stripes is conducted for images before feature extraction. The HSV color histogram and Gabor texture feature histogram are extracted for the segmented stripes. The HSV color histogram is used to improve the identification performance of image color information. The overlapped stripe segmentation method is used to solve the lose problem of image details. The sensitivity of the Gabor texture feature to image margin increases the detail information of images. The extracted image features are fused to form feature descriptors， so as to conduct image identification by using the cross?view logical metric learning algorithm. The experimental results of the VIPER and GRID image libraries show that the rank1 can reach 31.68% and 16.32% respectively， and the rank10 and rank20 are also significantly improved， which indicate that the proposed method can improve the identification rate of pedestrian re?identification.

Keywords： pedestrian re?identification; HSV color histogram; Gabor texture feature histogram; overlapped stripe; feature fusion; cross?view logical metric learning

行人再識(shí)別的方法主要有兩類：基于特征設(shè)計(jì)法和基于機(jī)器學(xué)習(xí)法?；跈C(jī)器學(xué)習(xí)的方法是學(xué)習(xí)行人再識(shí)別模型的優(yōu)化參數(shù)，或者從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)有效的特征分類來減少不同行人圖像間的相似度[1]?；谔卣髟O(shè)計(jì)法一般從兩方面來研究：特征描述和距離學(xué)習(xí)。特征描述是尋找對(duì)光照和視角變化具有魯棒性的特征。常用的特征有顏色特征[2]、紋理特征[3]、形狀特征[3?4]及多種特征的融合特征[5?6]。文獻(xiàn)[5]提取圖像稠密的局部塊特征，在局部塊內(nèi)提取LAB通道的32維顏色直方圖特征和128維的SIFT特征進(jìn)行融合得到行人圖像特征[5]。文獻(xiàn)[6]用gBiCov特征來描述行人特征。距離學(xué)習(xí)是學(xué)習(xí)特征之間的最佳距離來識(shí)別不同的行人，使得同一行人在不同攝像機(jī)下的樣本相似度大于不同行人之間的樣本相似度。ZHENG W S等人引入了一種新穎的概率相對(duì)距離比較（PRDC）模型[7]，不同于大多減少類內(nèi)距離的距離學(xué)習(xí)方法，它旨在使得一對(duì)真正的匹配對(duì)比一個(gè)錯(cuò)誤匹配對(duì)的距離更小。

為了解決行人再識(shí)別面臨的問題，本文提出一種基于特征融合的方法。該方法首先通過Retinex算法[8]對(duì)原始圖像進(jìn)行處理，減少光照對(duì)行人圖像的影響;然后提出一種分割方法，對(duì)行人圖像進(jìn)行11條水平條紋分割;對(duì)所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖進(jìn)行特征融合，形成特征描述子;用距離學(xué)習(xí)算法進(jìn)行識(shí)別。最后在2個(gè)圖像庫上進(jìn)行實(shí)驗(yàn)，由結(jié)果表明可以得到本文方法能提高行人再識(shí)別的識(shí)別率。

1 ?重疊條紋特征提取及融合

本文提出一種基于重疊條紋融合的特征提取的行人再識(shí)別方法。對(duì)圖像進(jìn)行重疊條紋分割，對(duì)所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖。HSV顏色直方圖可以增強(qiáng)圖像顏色信息的鑒別性，Gabor紋理特征對(duì)圖像的邊緣敏感，重疊條紋分割方法解決丟失圖像細(xì)節(jié)問題。

1.1 ?HSV顏色特征提取

與別的視覺特征相比，顏色特征對(duì)圖像自身的尺寸、方向、視角的依賴性比較小，所以具有較高的魯棒性。顏色直方圖描述的是不同色彩在整幅圖像中所占的比例，并不關(guān)心每種色彩所處的空間位置，也就是無法描述圖像里的對(duì)象[1]。HSV顏色空間是一個(gè)均勻的顏色空間，更接近于人們對(duì)顏色的主觀認(rèn)識(shí)[1]。

采用HSV空間對(duì)圖片進(jìn)行描述，物體色彩的明暗及色調(diào)能夠直觀的表達(dá)出來，而且對(duì)光照變化不敏感，方便進(jìn)行顏色之間的對(duì)比。HSV的三個(gè)分量分別代表色彩（Hue）、飽和度（Saturation）和值（Value），這三個(gè)分量是獨(dú)立不相關(guān)的。

1.2 ?紋理特征提取

Gabor紋理特征是一種使用較為廣泛的紋理特征，它在圖像檢索，圖像處理以及人臉識(shí)別方面都有著重要的應(yīng)用[9]。該特征是基于Gabor濾波器發(fā)展而成的，Gabor濾波器提取目標(biāo)的局部空間和頻率域信息方面有良好的特征，對(duì)圖像的邊緣敏感，能夠提供良好的方向選擇和尺度選擇特征，而且對(duì)于光照變化不敏感，能夠提供對(duì)光照變化良好的適應(yīng)性，其處理的數(shù)據(jù)量較少，計(jì)算較為簡(jiǎn)單[9]。Gabor 紋理特征提取是首先將彩色圖像轉(zhuǎn)換為灰度圖像，然后再使用Gabor濾波器對(duì)其進(jìn)行濾波得到紋理圖像，Gabor濾波器的公式為：

[G（x，y，f，Sx，Sy）=exp-x2Sx+y2Sy2cos（2πfx）x=xcos θ+ysin θ，y=-xsin θ+ycos θ] （1）

式中，[Sx]和[Sy]控制濾波器作用區(qū)域的大小;[f]控制濾波器的頻率;[θ]控制濾波的方向。將 Gabor 濾波器的參數(shù)（[Sx，Sy，f，θ]）設(shè)置為（1，2，0.35，0）。

1.3 ?基于重疊條紋的特征提取

由于光照等原因，同一行人在不同的攝像機(jī)下的圖像顏色也會(huì)發(fā)生很大的變化，對(duì)所提取的顏色特征有很大的影響，所以引入Retinx變換[8]，在提取顏色特征直方圖之前先用Retinx對(duì)行人圖像進(jìn)行處理。經(jīng)過處理后的圖像通常包含生動(dòng)的顏色信息，特別是在陰影區(qū)域的增強(qiáng)細(xì)節(jié)方面有很好的表現(xiàn)。

同一行人在不同的攝像機(jī)下的視角不同，如在一個(gè)攝像機(jī)下為正面圖像，在另一個(gè)攝像機(jī)下為側(cè)面圖像。因此，視角改變是行人再識(shí)別的一個(gè)難題。為了解決這個(gè)問題，文獻(xiàn)[10]提出把行人圖像平均分成6塊水平條紋，在每塊水平條紋中計(jì)算一個(gè)直方圖。這一方法在解決視角改變方面取得了一定的成功，但在對(duì)圖像分割時(shí)會(huì)丟失一些圖像細(xì)節(jié)，所以本文中提出重疊條紋的方法來解決這一問題。在把行人圖像分為6塊水平條紋之后，再把這一行人圖像的頂部和底部去掉，剩余的部分平均分為5塊水平條紋，最后提取11塊水平條紋的圖像特征。對(duì)于每一塊水平條紋，提取Gabor紋理特征直方圖和8×8×8?bin的HSV顏色特征直方圖。

1.4 ?特征融合

為了使所得到行人圖像特征更具魯棒性，本文融合圖像的HSV顏色特征直方圖和Gabor紋理特征直方圖描述行人圖像。具體為串聯(lián)HSV顏色特征直方圖和Gabor紋理特征直方圖這2種特征，形成行人圖像特征描述子[11]。

2 ?相似度度量函數(shù)的學(xué)習(xí)

本文采用半正定約束的邏輯度量學(xué)習(xí)方法進(jìn)行相似度度量函數(shù)的學(xué)習(xí)[12]。有一個(gè)交叉視圖訓(xùn)練集{X，Z，Y}，[X=x1，x2，…，xn∈Rd×n]表示d維空間中一個(gè)視角上包含n個(gè)樣本，[Z=z1，z2，…，zm∈Rd×m]表示d維空間的另一個(gè)視角上包含m個(gè)樣本，[Y∈Rn×m]是X和Z之間的匹配標(biāo)簽，[yij=1]表示[xi]和[zj]是用一類，[yij=-1]則表示不是同一類。當(dāng)[y=1]時(shí)，把（X，Z）稱為正樣本對(duì);[y=-1]，則為負(fù)樣本對(duì)。本文的目的是想要學(xué)習(xí)一個(gè)馬氏距離函數(shù)[12]來度量交叉視角樣本之間的距離，馬氏距離函數(shù)表示為[D2Mx，z=x-z2M=x-zTMx-z]，[M≥0]是一個(gè)半正定矩陣。為了學(xué)習(xí)上述度量函數(shù)[D2M]，采用一個(gè)損失函數(shù)[fMx，z=log1+eyD2Mx，z-μ]，總體損失函數(shù)為[FM=i=1nj=1mωijfMxi，zj] ，如果[yij=1]，則[ωij=1Npos]，否則[ωij=1Nneg]，[Npos]和[Nneg]分別為正采樣對(duì)數(shù)和負(fù)采樣對(duì)數(shù)。交叉視角邏輯度量學(xué)習(xí)問題表達(dá)為：[minMFM]，[M≥0]。應(yīng)用近端梯度快速解決方法[12]解決得出[FMt-FM?≤2γLM0-M?2Ft+12] ，[M?]為式（2）的最優(yōu)解，即得到所需的度量函數(shù)矩陣[M]。

3 ?實(shí)驗(yàn)及結(jié)果分析

本節(jié)利用2個(gè)常用行人再識(shí)別圖像數(shù)據(jù)庫，分析本文方法在2個(gè)圖像庫上的識(shí)別性能[12]。每次在相同的條件下重復(fù)進(jìn)行10次實(shí)驗(yàn)，取10次實(shí)驗(yàn)結(jié)果的平均值作為測(cè)試結(jié)果，并用累積匹配特性（CMC）曲線進(jìn)行評(píng)價(jià)。

3.1 ?行人再識(shí)別圖像庫

VIPER圖像庫[13]是最有挑戰(zhàn)的行人再識(shí)別圖像庫之一，包含632對(duì)行人圖像，由2個(gè)攝像機(jī)在戶外拍攝。VIPER中的圖像同一行人在背景、光照和視角方面有很大的不同，所有的圖像規(guī)格都為128×48像素。

GRID圖像庫[8]包含250對(duì)行人圖像對(duì)， 每一對(duì)都是來自不同相機(jī)視圖的同一個(gè)人的兩張照片，此外，還有775幅不屬于250人的圖像，用來擴(kuò)大圖像庫。該圖像庫是從一個(gè)地下站的8個(gè)不相交的攝像機(jī)中獲取得到的。行人圖像的分辨率較低，而且光照和視角有較大的變化，所有的圖像規(guī)格都?xì)w一化為128×48像素。

3.2 ?實(shí)驗(yàn)結(jié)果

VIPER上的632對(duì)圖像隨機(jī)選取一半做訓(xùn)練，另一半做測(cè)試，訓(xùn)練和測(cè)試的行人數(shù)相同。為驗(yàn)證融合特征的性能，表1給出使用單一特征和融合特征的實(shí)驗(yàn)對(duì)比。

從表1的實(shí)驗(yàn)數(shù)據(jù)可以看出，只使用Gabor紋理特征直方圖比只使用HSV特征直方圖rank1提高了4%，rank10和rank20也有明顯提高;本文算法使用兩種融合特征直方圖rank1，rank10和rank20分別達(dá)到31.68%，73.96%和86.20%，識(shí)別率有了明顯的提高。

為了驗(yàn)證11塊水平條紋分割方法對(duì)本文算法的影響，表2給出6塊水平分割和本文方法的實(shí)驗(yàn)對(duì)比。從表2的實(shí)驗(yàn)數(shù)據(jù)可以看出，使用重疊條紋分割比均勻分割rank1，rank10和rank20分別提高了2.79%，3.71%和1.47%，識(shí)別率有了一定的提高。

為驗(yàn)證本算法的性能，將其與較有代表性的算法進(jìn)行比較，根據(jù)各算法繪制CMC曲線如圖1所示。

圖1 ?各方法在VIPER圖像庫上的CMC曲線

采用GRID圖像庫中的125對(duì)圖像做訓(xùn)練，剩下的125對(duì)圖像和775幅圖像做測(cè)試，為了驗(yàn)證本算法的性能，將其與比較有代表性的算法進(jìn)行比較，根據(jù)各算法繪制CMC曲線如圖2所示。

圖2 ?各方法在GRID圖像庫上的CMC曲線

表3給出了各個(gè)方法在2個(gè)圖像庫上的rank1，rank10和rank20的識(shí)別率。從表3可以看出，與其他方法相比較，本文方法在2個(gè)圖像庫上的識(shí)別效果均達(dá)到最好，rank1分別達(dá)到了31.68%和16.32%。文獻(xiàn)[5]提取圖像的LAB顏色直方圖和SIFT特征，KISSME算法提取圖像的HSV和LAB顏色直方圖，LBP紋理直方圖，兩種算法在提取特征時(shí)都是將圖像分為圖像塊，提取圖像塊的特征，相比于本文算法，破壞了圖像局部細(xì)節(jié)，使得識(shí)別率低于本文算法;PRDC提取圖像RGB，YCbCr，HSV顏色特征和Schmid，Gabor紋理特征，在提取特征時(shí)，將圖像平均分為6塊水平條紋，破壞了圖像細(xì)節(jié)，識(shí)別率較低;文獻(xiàn)[6]提取圖像的gBicov特征，LMNN算法提取圖像單一特征，所提取的圖像特征較少，識(shí)別率低于本文識(shí)別率。

4 ?結(jié) ?語

本文提出一種基于重疊條紋的顏色和紋理特征融合的行人再識(shí)別方法，融合HSV顏色特征直方圖和Gabor紋理特征直方圖形成特征描述子對(duì)行人進(jìn)行再識(shí)別。在提取特征時(shí)采用重疊條紋分割方法，在2個(gè)行人再識(shí)別圖像庫上對(duì)本文方法進(jìn)行實(shí)驗(yàn)，結(jié)果表明，重疊條紋分割方法可提高識(shí)別率，本文方法在VIPER圖像庫和GRID圖像庫上的rank1分別達(dá)到31.68%和16.32%，提高了行人再識(shí)別的性能，具有實(shí)用價(jià)值。本文在對(duì)圖像特征進(jìn)行提取時(shí)，所提取的特征較少，以后的工作可以融合多種顏色特征和紋理特征對(duì)行人圖像進(jìn)行再識(shí)別。

參考文獻(xiàn)

[1] 陳瑩，霍中花.多方向顯著性權(quán)值學(xué)習(xí)的行人再識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（12）：1674?1683.

CHEN Ying， HUO Zhonghua. Person re?identification based on multi?directional saliency metric learning [J]. Journal of image and graphics， 2015， 20（12）： 1674?1683.

[2] FARENZENA M， BAZZANI L， PERINA A， et al. Person re?identification by symmetry?driven accumulation of local features [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2360?2367.

[3] BAK S， CORVEE E， BREMOND F， et al. Person re?identification using spatial covariance regions of human body parts [C]// Proceedings of 7th IEEE International Conference on Advanced Video and Signal Based Surveillance. Boston： IEEE， 2010： 435?440.

[4] IODICE S， PETROSINO A. Salient feature based graph matching for person re?identification [J]. Pattern recognition， 2015， 48（4）： 1074?1085.

[5] 霍中花，陳瑩.基于多顯著性融合的行人再識(shí)別[J].光電工程，2015，42（9）：41?47.

HUO Zhonghua， CHEN Ying. Person re?identification based on multi?salience fusion [J]. Opto?electronic engineering， 2015， 42（9）： 41?47.

[6] MA B， SU Y， JURIE F. Covariance descriptor based on bio?inspired features for person re?identification and face verification [J]. Image and vision computing， 2014， 32（6）： 379?390.

[7] ZHENG W S， GONG S， XIANG T. Re?identification by relative distance comparison [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（3）： 653?668.

[8] LIAO S， HU Y， ZHU X， et al. Person re?identification by local maximal occurrence representation and metric learning [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 2197?2206.

[9] 劉皓.基于多核學(xué)習(xí)的無重疊視域多攝像機(jī)行人再識(shí)別問題研究[D].合肥：合肥工業(yè)大學(xué)，2014.

LIU Hao. Research of problems of non?overlapping multi?camera pedestrian re?identification based on multiple kernel learning [D]. Hefei： Hefei University of Technology， 2014.

[10] PROSSER B， ZHENG W S， GONG S， et al. Person re?identification by support vector ranking [C]// Proceedings of British Machine Vision Conference. Aberystwyth： [s.n.]， 2010： 1?11.

[11] 袁立，田子茹.基于融合特征的行人再識(shí)別方法[J].模式識(shí)別與人工智能，2017，30（3）：269?278.

YUAN Li， TIAN Ziru. Person re?identification based on multi?feature fusion [J]. Pattern recognition and artificial intelligence， 2017， 30（3）： 269?278.

[12] LIAO S， LI S Z. Efficient PSD constrained asymmetric metric learning for person re?identification [C]// Proceedings of IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 3685?3693.

[13] K?STINGER M， HIRZER M， WOHLHART P， et al. Large scale metric learning from equivalence constraints [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Providence： IEEE Computer Society， 2012： 2288?2295.