基于加權(quán)歐氏距離度量的目標再識別算法*

譚飛剛　劉偉銘　黃玲　翟聰

(華南理工大學(xué) 土木與交通學(xué)院, 廣東 廣州 516040)

基于加權(quán)歐氏距離度量的目標再識別算法*

譚飛剛劉偉銘黃玲?翟聰

(華南理工大學(xué) 土木與交通學(xué)院, 廣東 廣州 516040)

摘要：針對傳統(tǒng)歐氏距離在特征相似性度量中存在區(qū)分能力弱的缺陷，提出了基于加權(quán)歐氏距離度量的目標再識別算法.首先，針對現(xiàn)有目標再識別算法中目標分割易受衣著和背景顏色干擾的缺陷以及忽略人體頭部特征的現(xiàn)象，提出了一種簡單的比例分割方法，即根據(jù)VIPeR和i-LIDS數(shù)據(jù)集上目標各部件的比例統(tǒng)計將目標按比例分割成3部分.然后提取各部件的多種互補特征來增加其對光照變化等因素的魯棒性.在部件特征描述過程中，文中提出了以顯著性因子為權(quán)重的顯著性局部二值模式(SLBP)特征來增加局部二值模式(LBP)特征對目標顯著性的描述.最后綜合各部件的相似性度量結(jié)果來判斷目標是否匹配.在VIPeR和i-LIDS數(shù)據(jù)集上的對比實驗結(jié)果顯示，文中算法的目標再識別準確率優(yōu)于其他算法.

關(guān)鍵詞：加權(quán)歐氏距離；目標再識別；相似性度量；人體再識別；顯著性LBP特征

目標再識別指在無重疊的多攝像機監(jiān)控網(wǎng)絡(luò)中感興趣目標從一個攝像機視野離開后再進入到另外一個攝像機視野并再次被識別的過程[1],它已廣泛應(yīng)用在異常行為檢測、智能監(jiān)控和多攝像機間協(xié)同跟蹤等領(lǐng)域.例如智能交通系統(tǒng)中多攝像機間協(xié)同跟蹤、火車站或飛機場等公共場所的安全監(jiān)控等.特別是隨著城市交通網(wǎng)絡(luò)的飛速發(fā)展,攝像機數(shù)目的不斷增加,監(jiān)控網(wǎng)絡(luò)變得越來越復(fù)雜,如何在復(fù)雜的攝像機網(wǎng)絡(luò)中對目標進行長時間、遠距離的跟蹤和分析也受到越來越多的關(guān)注.目標再識別作為目標協(xié)同跟蹤過程中的重要步驟之一受到了廣泛的關(guān)注[2].然而,目標再識別面臨著巨大的挑戰(zhàn),特別是對于非剛性物體(如行人等),因為受到光照變化、拍攝視角、姿態(tài)變化、遮擋和攝像機自身特性等因素的影響,使得同一目標在不同攝像機之間的外觀特征發(fā)生很大的變化[3].因此,如何建立魯棒的目標再識別算法是目前研究熱點之一.

目標再識別算法主要分為基于特征學(xué)習(xí)和基于度量學(xué)習(xí)兩類算法[4].基于特征學(xué)習(xí)的算法是從外觀特征出發(fā),選取或設(shè)計一種外觀描述特征使得類內(nèi)相似度高且類間區(qū)分性強.顏色、結(jié)構(gòu)、形狀、梯度、紋理、關(guān)鍵點等描述子是人體再識別中主要使用的特征.Layne等[5]使用8種顏色特征和21種紋理特征來檢測人體的15種屬性特征,然后利用各屬性的后驗概率形成一個中層特征并進行行人再確認識別.Zhao等[4]將圖像中行人劃分多個塊并提取各塊的顏色特征和稠密的SIFT特征,然后利用無監(jiān)督學(xué)習(xí)得到人體的顯著性特征并進行識別.Liu等[6]利用人體顏色特征和紋理特征,并在識別過程中動態(tài)調(diào)整各種特征的權(quán)值來選擇最重要的特征進行人體再識別.曾明勇等[7]從外觀統(tǒng)計特征融合的角度,利用人體的顏色和結(jié)構(gòu)信息研究了再識別問題的特征構(gòu)建和測度選擇.

基于度量學(xué)習(xí)的算法是從圖像特征空間中學(xué)習(xí)得到一個模型,使得來自相同類別的特征距離更近,而來自不同類別的特征距離更遠,從而最大化匹配準確率[8-9].Dikmen等[10]提出的大間距近鄰的距離度量機制(LMNN)最小化正確匹配目標之間的距離,同時最大化錯誤匹配目標之間的距離.Zheng等[11]提出的相對距離比較(PRDC)概率模型使得正確匹配目標之間距離小于錯誤匹配目標之間距離的概率最大,從而實現(xiàn)匹配精度的最大化并忽略外觀特征的選擇.受文本分類或檢索的啟發(fā),Prosser等[8]將人體再識別問題轉(zhuǎn)換為一個檢索排序問題,提出了排序的支持向量機(RankSVM).Pedagadi 等[12]利用局部Fisher(LF)特征并結(jié)合主成分分析(PCA)降維技術(shù)獲得了較高的再識別性能.Hirzer等[13]針對度量學(xué)習(xí)存在優(yōu)化計算模式復(fù)雜的缺陷,提出了寬松的逐對度量學(xué)習(xí)方法,將矩陣操作轉(zhuǎn)換為跡操作,從而減少計算復(fù)雜度,提升算法效率.

上述基于特征學(xué)習(xí)的算法雖然取得了較好的研究效果,但該類算法需要人為尋找或設(shè)計出對光照、尺度、形變等因素具有較好魯棒性的特征,并且特征的優(yōu)劣程度直接影響其識別性能.而基于度量學(xué)習(xí)的算法需要進行監(jiān)督訓(xùn)練,訓(xùn)練時間和空間復(fù)雜度較高,并且距離度量方式影響著算法的識別效果.基于上述分析,文中提出了一種基于加權(quán)歐式距離的多特征融合的目標再識別算法,并在VIPeR和i-LIDS兩個公開測試數(shù)據(jù)庫上進行對比實驗,比較了文中提出的算法與其他目標再識別算法的識別效果.

1加權(quán)歐式距離計算

在多維數(shù)據(jù)空間結(jié)構(gòu)中,歐式距離是測量兩個向量空間距離的一種方法.傳統(tǒng)的歐式距離計算表達式為

(1)

根據(jù)上述分析可知,在計算特征向量的相似性度量時,其對應(yīng)元素間的值越相近,其貢獻越大,在最終度量結(jié)果中應(yīng)具有更大的權(quán)值,而不是所有的元素都有相同的權(quán)值.因此,文中對歐式距離的計算進行改進,提出了加權(quán)歐式距離,其表達式如下:

(2)

(3)

按式(2)計算可以得到dist(A,B)=2.351 1,dist(A,C)=0.533 4.由此可以看出,文中改進的加權(quán)歐式距離計算方法相對于傳統(tǒng)的歐氏距離計算方法具有更好的相似度的區(qū)分性,并且更符合人類感官認知.

2目標再識別算法

2.1　目標區(qū)域分割

圖像的局部特征被廣泛用于目標檢測、識別、檢索和分類等領(lǐng)域[14].Farenzena等[15]提出的SDAL方法將人體分割為頭部、軀干和腿部,并提取軀干及腿部的加權(quán)HSV直方圖、最大穩(wěn)定顏色區(qū)域和周期性高度結(jié)構(gòu)化的紋理塊3種特征,并綜合各種特征的識別結(jié)果來實現(xiàn)人體再識別.范彩霞等[16]將人體劃分為頭部、軀干和腿部3部分,采用顏色結(jié)合形狀信息的描述方式進行局部特征描述,并通過地球移動距離(EMD)來度量目標局部特征間的相似性.上述兩種人體部件分割方法對顏色信息很敏感,如果行人穿相同或相近顏色的衣服和褲子,則會導(dǎo)致分割失敗.文中在對VIPeR和i-LIDS兩個數(shù)據(jù)集進行觀察與分析后發(fā)現(xiàn),人體頭部、軀干和腿部之間的比例約為1∶3∶4.部分劃分結(jié)果如圖1所示,將樣本圖像水平劃分為8個區(qū)域,頭部占一個區(qū)域,軀干占3個區(qū)域,腿占4個區(qū)域.

圖1　人體部件比例示意圖Fig.1　Illustration of the proportion of body parts

文獻[15-16]認為人體部件分割后,人體頭部所占區(qū)域小,并且無法提供有效的識別信息，因而忽略頭部區(qū)域.然而,研究發(fā)現(xiàn)行人間頭部遮擋概率較小,并且頭部的發(fā)型、頭發(fā)顏色及配飾(如帽子等)都對行人再識別提供非常有用的幫助.此外,文獻[17]利用人體頭肩區(qū)域特征在較擁擠的無重疊區(qū)域的跨攝像機環(huán)境中進行目標跟蹤.但圖1所示的人體頭部所在區(qū)域較小,過多的背景區(qū)域會干擾目標再識別結(jié)果,因此,文中按照以下方法提取人體頭部區(qū)域.設(shè)樣本寬為w、高為H,條紋的高度為h(h=H/8),那么頭部區(qū)域距離左右邊界w/4,高度為1.5h,即頭部區(qū)域?qū)挒閣/2,高度為1.5h,如圖2所示.

圖2　人體部件分割示意圖Fig.2　Illustration of body-part divisions

2.2　特征提取

單一特征具有局限性,因為它只對某種或幾種影響因素具有較好的魯棒性.如顏色特征對目標形變及拍攝角度變化具有較好的魯棒性,但對光照變化比較敏感.因此,為增加特征描述的魯棒性,文中提出了顯著性LBP(SLBP)特征,并結(jié)合Gabor特征、YUV顏色直方圖來描述目標.將目標從RGB顏色空間轉(zhuǎn)換到Y(jié)UV空間,即

(4)

圖3　YUV空間中各分量圖像Fig.3　Images of channels in YUV space

顯著性因子是對目標局部特征顯著性的描述[18],韋伯定律解釋了目標局部顯著性不能由差別閾值的絕對值來進行比較,而應(yīng)由其相對值進行劃定.LBP特征因其計算速度快并能很好地描述目標的紋理特征而被廣泛應(yīng)用,但其缺乏對目標的顯著性描述.然而,在目標再識別過程中,目標的顯著性區(qū)域不僅能增加同一目標間的相似性,而且能增加不同目標間的差異性,從而提高目標再識別算法的可靠性和準確性.

圖4描述的是目標在不同攝像機視角下的圖像.從圖中不難發(fā)現(xiàn),圖4(a)至4(d)的4個目標可分別利用腰上跨的手提包、頭上戴的帽子、背上背的雙肩包和旅行包來輔助目標的再識別.雖然Cao等[19]以像素間差異的絕對值作為權(quán)值,提出的加權(quán)LBP(WLBP)直方圖考慮了像素鄰域間差異的影響,但它并不能很好地描述特征的局部顯著性.因此,文中依據(jù)韋伯定律,以顯著性因子作為權(quán)值來增加LBP特征對顯著性的描述能力,即為顯著性的局部二值模式(SLBP).

圖4　輔助目標再識別的顯著性區(qū)域Fig.4　Salience region assisted object re-identification

SLBP描述如下:

(5)

式中:K為最大的LBP特征值；S(x,y)為中心像素gc的顯著性因子,其計算表達式為

(6)

gi(i=[1,2,…,8])為gc的8鄰域像素;LBP(x,y)為像素gc傳統(tǒng)的LBP特征值;f(a,b)為判斷函數(shù),其定義為

(7)

圖5中a與c為來自不同攝像機視野的同一目標,與c為不同目標.分別對這3幅圖像提取LBP特征、WLBP[19]特征和SLBP特征(由于手提包位于軀干區(qū)域,因此只提取軀干區(qū)域的3種特征),并且利用加權(quán)歐氏距離計算它們之間的相似度,結(jié)果如表1所示.

圖5　目標顯著性特征再識別示意圖Fig.5　Illustration of object re-identification by salience feature

從表1中可以看出,對于SLBP特征,同一目標的加權(quán)歐氏距離最小,而不同類目標間的加權(quán)歐氏距離比較大.由此可知,SLBP特征既可以較好地描述目標類內(nèi)相似性,也可以很好地描述目標類間差異性.

表1　3種特征的加權(quán)歐氏距離相似性計算結(jié)果Table 1　Similarity results of 3 features calculated by weighted Euclidean distance

2.3　目標再識別

目標再識別問題可以轉(zhuǎn)換為特征相似性度量問題,即給定一幅從攝像機A捕獲的查詢圖像p,從攝像機B捕獲的圖像庫Q中尋找與查詢圖像相似度最高的圖像q.將圖像相似度轉(zhuǎn)換為特征距離度量表示,即

(8)

α+β+γ=1

(9)

(10)

圖6　文中算法流程圖Fig.6　Flowchart of the proposed algorithm

當(dāng)計算出攝像機A中圖像p與攝像機B圖庫中所有圖像的相似度距離后,選擇攝像機B中相似度距離最小的圖像q作為最終的再識別結(jié)果,即

(11)

目標再識別算法的流程圖如圖6所示.首先將查詢圖像按照文中提出的分割比例分割成頭、軀干和腿3部件,并提取各部件的5種特征;然后將各部件特征與圖庫中候選目標各部件特征進行相似性度量,并計算出各部件的度量值;最后累加各部件度量值,并判斷其是否大于設(shè)定的閾值,若大于則認為兩目標匹配(即為同一目標),反之則不匹配.

3實驗及結(jié)果分析

累積匹配特性(CMC)曲線[20]和TOPn是目前常用的人體再識別性能評價指標.CMC曲線反映查詢圖像在測試圖庫前n個最相似候選圖像中正確匹配到目標圖像的概率.TOPn表示測試圖庫前n個最相似圖像中包含正確匹配圖像的概率,它是CMC曲線上的一個點,

(12)

式中,n為統(tǒng)計的等級數(shù),Pi為第i等級正確匹配目標圖像的概率.

在CMC曲線中,離左上角越近表明該方法的識別性能越好.VIPeR圖庫由大學(xué)校園室外環(huán)境兩個不同拍攝角度的攝像機拍攝的圖像組成,它屬于單幀模式標準圖庫,包含632對不同視角、姿態(tài)和光照條件下的行人.i-LIDS是目標再識別使用最多的多幀圖庫,它包含在某機場拍攝的119個行人的476幅圖像,平均每個行人有4幅圖像,該圖庫不僅包含視覺拍攝角度、光照、姿態(tài)變化的行人圖像,還包含部分遮擋圖像.本實驗平臺為Windows7操作系統(tǒng)、2 GB內(nèi)存、Intel(R) Core(TM) i5的CPU和軟件Matlab2014a.選用CMC和TOPn作為評價指標,并在VIPeR和i-LIDS圖庫上進行對比實驗.

3.1　加權(quán)歐氏距離性能評估

為驗證文中改進歐氏距離計算方法的性能,選擇傳統(tǒng)歐氏距離與文中提出的加權(quán)歐氏距離作為特征相似度計算方法.在VIPeR和i-LIDS圖庫上兩種方法的TOP1和TOP5對比如表2所示.從表中不難看出,使用加權(quán)歐氏距離的計算方法能較好地改善目標再識別效果.對于單幀模式的VIPeR圖庫,文中方法的TOP1和TOP5都高于傳統(tǒng)方法10%以上;對于多幀模式的i-LIDS圖庫,兩種方法的TOP1相差較大,而TOP5相差較小,其原因是多幀模式下目標再識別的準確率較高,因此,累計準確率的差距越小.

表2　兩種方法的TOP1和TOP5比較Table 2　Comparison of TOP1and TOP5between two methods

3.2 幾種算法的CMC對比

為進一步說明文中算法的目標再識別性能,選擇文獻[4,6,15]算法在VIPeR和i-LIDS圖庫上進行對比實驗,結(jié)果如圖7所示.從圖中可知,文中算法在兩個圖庫上的檢測效果均優(yōu)于其他算法,主要原因是文獻[4]算法將目標劃分為多個塊,然后提取各個塊的SIFT和LAB顏色特征,并通過聚類得到目標的顯著性特征,該算法易受塊大小、目標樣本背景的影響;文獻[15]算法忽略了頭部區(qū)域信息,但頭部區(qū)域有時包含的顯著性信息能有效改善目標再識別精度,如圖7(b)中,當(dāng)n>8時包含頭部特征的3種算法的識別準確率均高于文獻[15]算法;文獻[6]算法將目標水平劃分為6個條塊,然后動態(tài)調(diào)整每個樣本在顏色特征和紋理特征上的權(quán)值,進而根據(jù)調(diào)整后的權(quán)值進行目標再識別,該算法忽略了目標顯著性特征信息,且容易受背景環(huán)境和目標間遮擋的影響;文中算法首先對目標進行細致分割,以避免復(fù)雜背景的干擾,再選擇多種互補特征來描述目標部件,并通過各部件的匹配來完成整體目標的匹配,從而增加算法對光照、視角變化和遮擋等因素的魯棒性.

圖7　4算法的CMC曲線Fig.7　CMC curves of four algorithms

4結(jié)論

文中對非重疊區(qū)域內(nèi)目標再識別問題進行研究,提出了基于加權(quán)歐氏距離度量的多部件目標再識別算法和以顯著性因子為權(quán)值的SLBP特征,并在常用的VIPeR和i-LIDS圖庫上對文中算法與現(xiàn)有幾種算法進行了對比實驗,結(jié)果表明:人體頭部也存在豐富的信息用于目標再識別;文中算法的再識別精度均優(yōu)于其他算法.

參考文獻:

[1]Bedagkar-Gala A,Shah S K.A survey of approaches and trends in person re-identification [J].Image and Vision Computing,2014,32(4):270-286.

[2]Wang X.Intelligent multi-camera video surveillance:a review [J].Pattern Recognition Letters,2013,34(1):3-19.

[3]黃凱奇,陳曉棠,康運峰,等.智能視頻監(jiān)控技術(shù)綜述 [J].計算機學(xué)報,2015,38(6):1093-1118.

Huang Kai-qi,Chen Xiao-tang,Kang Yun-feng,et.al.Intelligent visual surveillance:a review [J].Chinese Journal of Computers,2015,38(6):1093-1118.

[4]Zhao R,Ouyang W,Wang X.Unsupervised salience lear-ning for person re-identification [C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3586-3593.

[5]Layne R,Hospedales T M,Gong S.Towards person identification and re-identification with attributes [C]∥Proceedings of Computer Vision-ECCV 2012 Workshops and Demonstrations.Berlin/Heidelberg:Springer,2012:402- 412.

[6]Liu C,Gong S,Loy C C.On-the-fly feature importance mining for person re-identification [J].Pattern Recognition,2014,47(4):1602-1615.

[7]曾明勇,吳澤民,田暢,等.基于外觀統(tǒng)計特征融合的人體目標再識別 [J].電子與信息學(xué)報,2014,36(8): 1844-1851.

Zeng Ming-yong,Wu Ze-min,Tian Chang,et al.Fusing appearance statistical features for person re-identification [J].Journal of Electronics & Information Technology, 2014,36(8):1844-1851.

[8]Prosser B,Zheng W S,Gong S,et al.Person re-identification by support vector ranking [C]∥Proceedings of the British Machine Vision Conference.Aberystwyth:BMVC,2010:1-11.

[9]Satta R,Fumera G,Roli F.Fast person re-identification based on dissimilarity representations [J].Pattern Recognition Letters,2012,33(14):1838-1848.

[10]Dikmen M,Akbas E,Huang T S,et al.Pedestrian recognition with a learned metric [M]∥Proceedings of 2010 Asian Conference on Computer Vision.Berlin/Heidelberg:Springer,2011:501-512.

[11]Zheng W S,Gong S,Xiang T.Person re-identification by probabilistic relative distance comparison [C]∥Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs:IEEE,2011:649- 656.

[12]Pedagadi S,Orwell J,Velastin S,et al.Local fisher discriminant analysis for pedestrian re-identification [C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3318-3325.

[13]Hirzer M,Roth P M,K?stinger M,et al.Relaxed pairwise learned metric for person re-identification[C]∥Proceedings of European Conference on Computer Vision 2012.Berlin/Heidelberg:Springer,2012:780-793.

[14]黃凱奇,任偉強,譚鐵牛.圖像物體分類與檢測算法綜述 [J].計算機學(xué)報,2014,37(6):1225-1240.

Huang Kai-qi,Ren Wei-qiang,Tan Tie-niu.A review on image object classification detection [J].Chinese Journal of Computers,2014,37(6):1225-1240.

[15]Farenzena M,Bazzani L,Perina A,et al.Person re-identification by symmetry-driven accumulation of local features [C]∥Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE,2010:2360-2367.

[16]范彩霞,朱虹,藺廣逢,等.多特征融合的人體目標再識別 [J].中國圖象圖形學(xué)報,2013,18(6):711-717.

Fan Cai-xia,Zhu Hong,Lin Guang-feng,et al.Person re-identification based on multi-features [J].Journal of Image and Graphics,2013,18(6):711-717.

[17]Mazzon R,Tahir S F,Cavallaro A.Person re-identification in crowd [J].Pattern Recognition Letters,2012,33(14):1828-1837.

[18]Chen J,Shan S,He C,et al.WLD:a robust local image descriptor [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1705-1720.

[19]Cao Y,Pranata S,Nishimura H.Local binary pattern features for pedestrian detection at night/ dark environment [C]∥Proceedings of the 18th IEEE International Conference on Image Processing.Brussels:IEEE,2011:2053-2056.

[20]Wang X,Doretto G,Sebastian T,et al.Shape and appearance context modeling [C]∥Proceedings of the 11th International Conference on Computer Vision.Rio de Janeiro:IEEE,2007:1-8.

Object Re-Identification Algorithm Based on Weighted Euclidean Distance Metricc

TanFei-gangLiuWei-mingHuangLingZhaiCong

(School of Civil Engineering and Transportation, South China University of Technology, Guangzhou 510640, Guangdong, China)

Abstract:As the traditional Euclidean distance has a weak distinctive ability in the feature similarity measure, an object re-identification algorithm based on the weighted Euclidean distance metric is proposed. First, aiming at the problems of the existing object re-identification algorithm, which are that the object segmentation is sensitive to clothing and background color and the human head information is ignored, a simple segmentation method is proposed, which divides a person into three parts according to the statistics of the proportion of each part in VIPeR and i-LIDS data-sets. Then, various complementary features of each part are extracted to improve the robustness of the proposed algorithm to illumination changes and other factors. A significant local binary pattern (SLBP) with a significant factor as the weight is proposed to increase the description ability of the local binary pattern (LBP) to the significance of the object in the part feature description process. Finally, the comprehensive result of the similarity measure of each part is used to determine whether the object is matched. The results of comparative experiments on VIPeR and i-LIDS datasets show that the proposed algorithm is superior to other algorithms in terms of accuracy.

Key words:weighted Euclidean distance; object re-identification; similarity measure; person re-identification; significant local binary pattern

中圖分類號：TP391

doi：10.3969/j.issn.1000-565X.2015.09.014

作者簡介：譚飛剛(1987-),男,博士生,主要從事智能交通系統(tǒng)、機器視覺研究.E-mail: tanfeigang@qq.com? 通信作者： 黃玲(1979-),女,博士,講師,主要從事智能交通、機器學(xué)習(xí)研究.E-mail: hling@scut.edu.cn

*基金項目：國家自然科學(xué)基金資助項目(51408237)

收稿日期：2015-03-02

文章編號：1000-565X(2015)09-0088-07

Foundation item： Supported by the National Natural Science Foundation of China(51408237)