基于特征融合和度量學習的車輛重識別

王盼盼，李玉惠，李福衛(wèi)

(1.昆明理工大學 信息工程與自動化學院，昆明 云南 650500；2.昆明聚信豐科技有限公司，昆明 云南 650500)

重識別技術(shù)旨在從不同的拍攝場景中識別出相同的目標，是智能視頻監(jiān)控研究領(lǐng)域的重要分支，近年來, 監(jiān)控視頻中重識別問題引起了廣大科研人員的興趣并對其進行了相應的研究。圖片車輛重識別是重識別技術(shù)需要解決的問題之一，其中通過車輛的號牌識別來達到車輛重識別是一種簡單有效的方法，但在道路監(jiān)控視頻中往往存在無車牌或車牌被遮擋的情況，給交通執(zhí)法部門帶來不小的挑戰(zhàn)，這就需要通過提取、比對拍攝車輛的其他信息才能達到車輛重識別的目的。在通過監(jiān)控視頻提取不同攝像頭拍攝同一目標時，存在著光照變化、視角變化以及攝像機自身屬性的問題,導致同一目標的車輛圖像的角度、顏色和輪廓等特征差別較大，使得車輛重識別問題變得更為復雜。

為了解決以上目標重識別中遇到的問題，許多方法陸續(xù)被提出，這些研究主要針對重識別所涉及到兩大問題：圖片的特征表示以及度量學習。文獻[1]利用深度卷積網(wǎng)絡(luò)通過計算原車輛圖像的歐氏空間中的距離可以直接用來測量任意兩車相似性。文獻[2]利用SVM建立了特征空間和分類的空間之間的對應關(guān)系，并通過最小二乘半耦合(lsscdl)字典學習算法學習對詞典的有效映射，達到分類與識別的目的。文獻[3]利用相對距離比較(RDC)學習，優(yōu)化目標圖像之間的相似性度量，強調(diào)了目標圖像的可靠性和個性化特征。文獻[4]利用度量學習和局部Fisher判別分析實現(xiàn)目標圖像的顏色之間的匹配。文獻[5]提出一種融合目標圖像的LBP和HSV特征的方法，并利用改進的馬氏距離實現(xiàn)了目標圖像的相識度排序。文獻[6]提出了一種新的集成模型，它通過度量學習計算決策層中的不同顏色描述符間的距離，保持了顏色特征的不變性和顯著性。文獻[7]利用非對稱距離模型實現(xiàn)拉近樣本的類內(nèi)距離，擴大樣本類間的距離。文獻[8]提出了一種同一攝像機下已有圖像與示例圖像之間的圖像邊緣特征向量，然后用不同攝像機下相同車輛與不同車輛的特征向量來建立分類器。文獻[9]中提出一種基于空間顏色特征的重識別方法，建立一種在計算復雜度和性能上較均衡的行人外貌特征描述符。文獻[10]使用一種新穎的深度學習網(wǎng)絡(luò)來將相似度分數(shù)分配給人體對的圖像。

考慮到在目標重識別時，不同的攝像機所拍攝的同一目標的圖片有可能相差比較大，所以單一的圖像特征不能對目標圖像進行穩(wěn)定并有判別力的描述，本文所提方法將車輛圖片的HSV特征和LBP特征進行融合，并對融合特征矩陣進行LDA降維，然后利用馬氏距離對融合后的車輛圖片特征進行相似性度量，得到車輛圖片的相似度排序。

1 特征融合和度量學習

1.1 特征融合

由于車輛的顏色和幾何特征包含了車輛本身的一些個性化信息，所以本文提取的圖片特征為車輛的HSV和SILTP特征，并將兩種類型的特征進行串聯(lián)，從而得到融合特征，因此本文參考文獻[5]的特征提取算法提取車輛的特征信息。

本文首先對車輛圖片進行Retinex(視網(wǎng)膜Retina 和大腦皮層Cortex 的縮寫)變換[11]，車輛的顏色特征經(jīng)過Retinex變換后能夠使不同的場景下車輛的視覺顏色特征恒定，根據(jù)此理論處理彩色圖像，可以使得處理后的圖像包含豐富的顏色信息，并提升陰暗區(qū)域的細節(jié)效果。本文采用該方法處理的車輛圖片使車輛圖片顏色更加接近物體原來的顏色，而且在陰暗區(qū)域的視覺效果得到較大的提升。

由于車輛圖片分辨率低以及角度、光照等問題，拍攝的車輛圖片的細節(jié)信息模糊不清，存在著許多噪聲，因此利用SIFT特征來比較車輛圖片的相識度是不準確的，因為SIFT特征是建立在圖片清晰度比較高的基礎(chǔ)上，所以需要選擇更具表達能力的車輛圖片特征。由于人眼在識別車輛身份時一般使用的是顏色特征和車型特征，所以本文選擇車輛圖片的HSV和SILTP(Scale Invariant Local Ternary Patterns)特征來表示車輛圖片的特征信息。

顏色特征對于描述車輛圖片是一個不可或缺的重要特征，但是由于光照變化以及攝像機之間設(shè)置的不同，同一車輛在不同攝像機上拍攝的圖像在光照以及顏色上都有較大的差距。車輛的HSV特征即為車輛的一種顏色空間模型，該模型對目標顏色的表達接近人類眼睛的視覺感知特性。它根據(jù)色彩的3個基本屬性(色調(diào)、飽和度和亮度)來表達顏色。由于不同品牌的車外形設(shè)計不盡相同，所以車輛的幾何特征在一定程度上可以代表車輛的個性化信息[12-13]。

SILTP 紋理特征是LBP(Local Binary Pattern)局部二值模式的一種改進形式， LBP 計算簡單且具有良好的尺度不變性，但容易受到噪聲的影響，SILTP 算法比LBP算法多了一次比較，因此，SILTP算法包含了LBP 的尺度不變性的優(yōu)點，又對圖像噪聲具有一定的魯棒性。

1.2 LDA降維

由于提取的車輛特征信息的維數(shù)很高，為了節(jié)約運行時間以及使提取的車輛圖片特征更具分類能力，所以本文采用的LDA(Linear Discriminant Analysis )降維算法對提取的車輛圖片的特征數(shù)據(jù)進行降維[14]。

LDA是一種有監(jiān)督的線性降維算法。與PCA保持數(shù)據(jù)信息不同，該算法能夠很好的區(qū)分降維后的數(shù)據(jù)的分類信息。其原理為通過映射向量使原數(shù)據(jù)保持兩種性質(zhì)：(1)同類的數(shù)據(jù)盡可能的接近；(2)不同類的數(shù)據(jù)盡可能的分開。本文使用LDA降維方法將原車輛特征數(shù)據(jù)由14 154維降到457維，識別率也有所提高。

1.3 度量學習中的馬氏距離

本文在車輛圖片特征相似性度量方面選用馬氏距離(Mahalanobis distance)，馬氏距離是印度統(tǒng)計學家馬哈拉諾比斯(Mahalanobis PC)提出的，與歐氏距離相比，馬氏加入了期望和方差等使其具有數(shù)據(jù)分布的統(tǒng)計特性，所以馬氏距離又被稱為統(tǒng)計距離，該距離已成為模式識別領(lǐng)域中常用的度量之一[15]。

定義攝像頭probe下的車輛圖片特征數(shù)據(jù)為

X={x1,x2,…,xn}∈Rd1×n

(1)

gallery下的車輛圖片特征數(shù)據(jù)為

Y={y1,y2,…,yn}∈Rd2×n

(2)

其中，n為樣本數(shù)，d1和d2為數(shù)據(jù)維數(shù)。則根據(jù)X，Y各個樣本間的馬氏距離為

(3)

其中，i表示X的第i個樣本,j表示Y的第j個樣本。本文分別計算X下的每個樣本的特征信息與Y樣本下的每個樣本特征之間的距離，得出相似度排序。

2 車輛重識別流程

本文所提出的車輛重識別方法的流程為：首先對車輛圖片進行歸一化處理，然后提取車輛圖片的HSV特征和SILTP特征，并采用串聯(lián)的方式實現(xiàn)特征的融合，對融合的特征矩陣進行進行LDA降維，并對降維后的車輛樣本數(shù)據(jù)進行相識度計算，具體步驟如圖1所示。

圖1 特征融合和度量學習的車輛重識別流程圖

3 實驗結(jié)果

該數(shù)據(jù)集是汕頭至昆明的高數(shù)公路上相鄰攝像頭拍攝的圖片數(shù)據(jù)，該數(shù)據(jù)集共有632組車輛圖片，每組車輛圖片由同一車輛在相鄰攝像頭各拍攝1張照片組成，每張圖片的尺寸歸一化為60×70像素值。拍攝車輛的角度以及光照條件均有一定的變化，車輛圖片數(shù)據(jù)集部分圖像如圖2所示。

圖2 車輛數(shù)據(jù)集中部分車輛圖片

隨機選取數(shù)據(jù)集中的一半圖片作為測試集，通過計算跨視野車輛圖片之間的相識度得出相識度排序，并通過累積匹配特性曲線(CMC)展示其性能。算法的最后性能表現(xiàn)取10次實驗結(jié)果的平均值。

圖3 采用的特征融合方法與單特征方法的測試性能的CMC曲線比較

由圖3可以看出在跨視野的車輛重識別方面使用單特征來表示圖像是不準確的，使用特征融合的方法能夠降低因跨攝像頭所帶來的視角、顏色等的變化對識別率的影響。通過表1可以看到，本文的方法相比于sift特征加度量學習在識別率方面具有一定的優(yōu)勢，因為跨視野下車輛圖片的視角會發(fā)生變化，單純的sift特征不能完全表達車輛的特征信息，所以需要更具表達能力的方法來表示車輛特征信息，特征融合就能很好的實現(xiàn)提高識別率的目的。

表1 本文方法與SIFT+ML方法的識別率比較 /%

圖4 本文方法有無LDA降維操作的CMC曲線比較

由圖4和表2可以看出，本文方法所運用的LDA降維方法不僅在計算時間上有所降低，而且會使車輛圖片的特征信息得到較好的區(qū)分，有利于提高車輛圖片的重識別率。

4 結(jié)束語

本文針對車輛重識別時不同拍攝視角、光照等拍攝條件同一車輛的視頻監(jiān)控圖像存在差異的問題，提出一種結(jié)合特征融合和度量學習的車輛重識別方法。首先利用LOMO方法對車輛樣本進行特征表示，并通過馬氏距離對車輛樣本特征進行相似性度量。由車輛重試別的驗證實驗結(jié)果可知，該方法在車輛的同一性識別方面具有較高的識別率，對光照變化、視角變化都具有一定的魯棒性，且具有低計算復雜度的優(yōu)點。