行人再識別技術(shù)及其應(yīng)用

羅鴻斌

摘要：行人再識別技術(shù)隨著視頻監(jiān)控技術(shù)的發(fā)展和視頻偵查的需求既有實(shí)際的應(yīng)用價(jià)值，也有理論研究意義。該文對行人在識別技術(shù)的問題范疇進(jìn)行了界定，對目前行人再識別的三種主要方法基于生物特征、特征表示、度量學(xué)習(xí)分別進(jìn)行論述，最后對行人再識別技術(shù)的應(yīng)用場景進(jìn)行了分析。

關(guān)鍵詞：行人再識別；量學(xué)習(xí)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）36-0168-02

隨著人們對社會公共安全的需求以及視頻采集、存儲技術(shù)的發(fā)展，我國大部分公共安場所都安裝了大量監(jiān)控?cái)z像頭，這些監(jiān)控系統(tǒng)一方面對犯罪分子進(jìn)行威懾，一方面讓公安機(jī)關(guān)通過終端可以進(jìn)行現(xiàn)場監(jiān)控，并為預(yù)防和偵破相關(guān)案件提供線索。但隨著海量增長的監(jiān)控視頻，人工進(jìn)行監(jiān)控和排查已經(jīng)變得幾乎不可能。尤其是需要追查一些大案要案的通緝犯及暴力恐怖分子時(shí)，需要耗費(fèi)大量的人力和時(shí)間，而且還容易疏漏，因此利用一定技術(shù)手段對監(jiān)控視頻中的目標(biāo)尤其是行人識別認(rèn)定的需求就應(yīng)運(yùn)而生。

1 行人再識別問題及其難點(diǎn)

行人再識別也稱行人重識別，簡單地說，是利用計(jì)算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)。廣泛意義上，可以認(rèn)為是一個圖像檢索的子問題， 即給定一個監(jiān)控?cái)z像頭拍攝的行人圖像，檢索該行人圖像是否在其他攝像頭拍攝的行人圖像中出現(xiàn)，給定行人圖像的攝像頭與檢索圖像的攝像頭沒有視域的重合，這樣導(dǎo)致它主要面臨的挑戰(zhàn)，如圖1所示。一是同一個人在不同攝像頭下的人像再識別時(shí)，因在不同攝像頭拍攝的視角、遠(yuǎn)近、光照、人的姿態(tài)都發(fā)生了變化，導(dǎo)致同一個人在不同攝像頭下拍攝的人像相似度很低，因此提取一個不變的特征就變得很困難。二是不同的行人有可能所穿的衣服顏色相同，身形很相似，很容易被識別為同一個人。行人再識別本質(zhì)上來說是基于人的外觀形體的一個相似性比較，人的外觀形體既具有剛性的特性，也具有柔性的特性，很容易所穿的衣服、視角、尺度等的影響，所以行人再識別是一個極具挑戰(zhàn)性的課題。

2 行人再識別的主要技術(shù)

行人再識別任務(wù)其實(shí)應(yīng)該包括兩個流程（如圖2）所示，第一就是從圖像或視頻中檢測出行人，第二，提取行人特征，做相似性度量。第一個問題即行人檢測，已經(jīng)獨(dú)立作為一個課題進(jìn)行了深入的研究，一般在做行人再識別時(shí)是直接采用行人剪裁好的人像圖片進(jìn)行比對，有利于集中討論特征提取和相似性度量。

目前行人再識別問題的研究主要集中在這三個方面：基于生物特征識別方法、基于特征的描述方法，和基于距離度量學(xué)習(xí)的方法。

2.1 生物特征識別

生物特征識別是指利用人體固有的生理特征或行為特征來進(jìn)行個人身份鑒別認(rèn)證的技術(shù)。常用的生物特征識別技術(shù)所用的生物特征有基于生理特征的如人臉、聲紋、指紋、視網(wǎng)膜，也有基于后天形成的行為特征如簽名、筆跡、步態(tài)。在視頻監(jiān)控中常用的就是人臉和步態(tài)識別。在有效可控的環(huán)境下，人臉識別技術(shù)已經(jīng)成為一項(xiàng)相對可靠的技術(shù)，廣泛應(yīng)用在多個生活場景中，如支付寶，安防門禁等。步態(tài)識別也開始在小范圍內(nèi)進(jìn)行運(yùn)行測試。人臉識別和步態(tài)識別這兩種方法都要求攝像機(jī)具有較高的分辨率，需要清晰的人臉圖像或完整的步態(tài)周期，認(rèn)證的約束條件比較嚴(yán)格，在真實(shí)的視頻監(jiān)控場景中很難滿足，因此，目前關(guān)于行人再識別的研究主要是針對后兩種方法。

2.2 特征表示方法

特征表示的方法關(guān)鍵在于設(shè)計(jì)或選擇一個魯棒的行人外觀特征的表示，這些特征不但要能夠很好地區(qū)分不同行人，而且要能夠使相同行人在不同攝像機(jī)間人像不受光照和視角變化的影響。這種方法中常用的行人特征主要有二類。

一是基于顏色、紋理、形狀的低層次特征。最常用且有效的特征是顏色直方圖特征，如RGB、HSV等；更普遍的方法是把人體劃分成多個區(qū)域，在不同的區(qū)域上提取將顏色特征、紋理特征Haar、形狀特征HOG、局部特征（局部不變特征SIFT、SURF），將這些特征組合起來表示行人。在計(jì)算這些特征表示向量相似性時(shí)，常常采用歐氏距離、余弦距離等經(jīng)典的距離函數(shù)?；谔卣鞅硎镜男腥嗽僮R別方法好多學(xué)者提出了很好的解決方法。文獻(xiàn)[1]提出了一種按照人體結(jié)構(gòu)將人體劃分為不同區(qū)域的特征表示方法。通過在垂直和水平兩個方向上劃分，將人體分成頭部、左部軀干、右部軀干、左下肢、右下肢五個部分。因頭部區(qū)域通常在視頻中較為模糊而忽略，在其他四個部分提取顏色直方圖以及紋理特征。分別對不同的特征采用不同的距離函數(shù)計(jì)算距離，最終距離按照不同的權(quán)重將不同特征的距離加權(quán)求和得到一個總的表示。

二是基于中高層的語義屬性。通過提取兩張圖片的語義信息來判斷圖片中的人像是否是同一個人，常用的有顏色、行人所穿的衣服、是否攜帶物品等信息。如行人是否戴帽子、戴眼鏡、背包基于語義屬性的優(yōu)點(diǎn)是相同的行人在不同的攝像頭下拍攝的人像，語義信息很少變化。R. Layne[2]采用15種語義來描述行人，采用SVM分類器提取每幅人像上的語義屬性，根據(jù)語義屬性的重要行行加權(quán)并融合底層特征來表示行人圖像。SHI采用最近分割算法，對圖像進(jìn)行超像素劃分，在劃分的圖像塊上定義多種特征屬性，顏色、位置、 SIFT 特征，識別效果明顯提高。

2013年，我國學(xué)者趙瑞[1]等人提出基于塊集合表示的行人重識別方法。其將行人圖像劃分成重疊的小塊，對于每一個小塊，其提取顏色直方圖特征和局部不變特征。在匹配小塊時(shí)，其不是與對應(yīng)位置的小塊計(jì)算距離，而是在一定的空間約束的條件下，尋找最相似的小塊作為匹配到的小塊。并累計(jì)所有小塊與匹配到的小塊的距離表示兩張圖像之間的距離。在累計(jì)所有小塊距離時(shí)，作者通過小塊的特征計(jì)算該小塊是否顯著，然后給予顯著的小塊更高的累計(jì)權(quán)重。相比條帶劃分的方法，該方法在解決視角變化帶來行人圖像特征的差異時(shí)，使用了更為精細(xì)的粒度，因而能夠取得更好的性能。

總體來說，基于低層次特征表示的方法主要是通過提取顏色特征（顏色空間、顏色直方圖、加權(quán)顏色直方圖）和紋理、局部特征及這些特征的組合來表示行人，一定程度上解決不同監(jiān)控視頻下行人圖像外貌特征差異的問題?；谥懈邔哟翁卣鞅硎镜姆椒ㄖ饕翘崛⌒腥藞D像的語義屬性來表示行人，其判別性和識別率有所提高，但難點(diǎn)是圖像語義屬性的檢測本身就比較困難。

2.3 度量學(xué)習(xí)的方法

上述基于特征的描述法都是使用傳統(tǒng)的距離度量方法來進(jìn)行相似性度量的，主要方法有曼哈頓距離、歐氏距離和巴氏距離等。行人匹配通常依據(jù)行人圖像的特征描述之間的相似性，而對相似性程度的度量則需要設(shè)計(jì)相似度函數(shù)或距離度量函數(shù)對兩個特征向量進(jìn)行計(jì)算。

同一個行人在經(jīng)過不同的攝像頭時(shí)，他的外觀特征受光照、視角、姿態(tài)、遮擋等的影響，用標(biāo)準(zhǔn)的距離度量方法來度量他的相似性時(shí)，不能取得很好的再識別效果。因此，好多研究者提出通過度量學(xué)習(xí)的方法，獲得一個新的距離度量空間，使得同一個行人在不同攝像頭下的圖像距離小于不同的行人間的距離。距離度量學(xué)習(xí)方法通常是在馬氏距離的基礎(chǔ)上進(jìn)行的。其實(shí)質(zhì)是通過對標(biāo)識樣本的訓(xùn)練學(xué)習(xí)一個投影矩陣，使得在投影空間中同類樣本之間的距離較小，而不同類樣本之間的距離較大。這些方法包括學(xué)習(xí)一個馬氏形式的距離函數(shù)式：

公式中，M是一個半正定矩陣，即通過樣本學(xué)習(xí)得到參數(shù)。

在常見的類別數(shù)據(jù)（x，y）基礎(chǔ)上，根據(jù)樣本標(biāo)簽是否相同，將類標(biāo)簽表示的數(shù)據(jù)轉(zhuǎn)換成成對的相似樣本對和不相似樣本對，基于兩種樣本對，學(xué)習(xí)到一個最優(yōu)矩陣M，使得相似樣本對的距離最小，同時(shí)不相似樣本對的距離最大。即使得同一個人在不同攝像機(jī)下的人像距離最小，而不是同一個人的人像之間的距離最大。很多學(xué)者提出了各類馬氏距離度量的估計(jì)方法，在很大程度上提高了行人的匹配的效果。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺中的廣泛應(yīng)用，利用卷積神經(jīng)網(wǎng)絡(luò)端到端的提取圖像特征，同時(shí)進(jìn)行匹配的方法也得到了大量的研究。

2014年DongYi [4]等人構(gòu)建了端對端的卷積神經(jīng)網(wǎng)絡(luò)，在一個網(wǎng)絡(luò)中同時(shí)學(xué)習(xí)特征表達(dá)及度量函數(shù)這兩者。采用的網(wǎng)絡(luò)架構(gòu)如下圖所示。每個子分支內(nèi)部，輸入圖片分成三個有重疊的子圖快，每個圖塊分別進(jìn)行卷積，之后通過全連接層整合到一起。連接函數(shù)用于評估兩個樣本之間的匹配度，目標(biāo)函數(shù)用于將匹配度轉(zhuǎn)換為目標(biāo)標(biāo)簽。這樣做的好處是，把特征提取和選擇交給了神經(jīng)網(wǎng)絡(luò)，讓自動提取和學(xué)習(xí)度量相似性的函數(shù)，從而實(shí)現(xiàn)輸入、輸出端對端的檢測和匹配。這種方法也就是基于深度卷積神經(jīng)學(xué)習(xí)的方法。

3 應(yīng)用領(lǐng)域

目前，行人再識別技術(shù)至少可以用于兩個方面。一是公安視頻偵查發(fā)現(xiàn)、追蹤可疑人員或犯罪分子；二是尋找走丟的老人和孩子。

視頻監(jiān)控系統(tǒng)已在車站、超市、地鐵、銀行以及人流量大密集的多種公共場合得到廣泛應(yīng)用。這些監(jiān)控?cái)z像頭可以全天候的監(jiān)視人們在公共場所的行為和記錄他們的軌跡，但要實(shí)現(xiàn)全方位查找檢索可疑人員、車輛目標(biāo)和線索，還必須依靠大量的工作人員回放相關(guān)視頻錄像，這顯然需要耗費(fèi)大量人力，而且難免也會因?yàn)槠诤褪韬觯e漏掉重要信息。 通過行人再識別技術(shù)，提取可疑的人、車、物等目標(biāo)信息的特征表示或生成結(jié)構(gòu)化的語義描述，可以高效的快速定位、查找和檢索特定目標(biāo)，有效提高了公安系統(tǒng)偵破疑難案件及緝拿有關(guān)犯罪分子的效率，節(jié)約人力物力。。

我們經(jīng)常會看到尋人啟事，尋找走失迷路的老人和走散的小孩的情形，在人員流動很快的城市中，通過人尋找走失的老人、分散的小孩就如果大海撈針，而我們借助于大量的監(jiān)控?cái)z像頭和行人再識別技術(shù)可以在一定范圍內(nèi)相對準(zhǔn)確的追蹤走失的人員，甚至實(shí)時(shí)的發(fā)現(xiàn)和定位它當(dāng)前的位置。

行人再識別技術(shù)是綜合運(yùn)用計(jì)算機(jī)視覺，機(jī)器學(xué)習(xí)以及模式識別技術(shù)的一種新技術(shù)，它已成為智能視頻監(jiān)控中的一個熱門研究方向，但對要真正的落地應(yīng)用，仍然面臨著一系列的挑戰(zhàn)，需要進(jìn)一步深入研究。

參考文獻(xiàn)：

[1] 王亦民.面向監(jiān)控視頻的行人重識別技術(shù)研究[D].武漢大學(xué)，2014.

[2] R.Layne，T.M.Hospedales，S.Gong，etal.Person Re-identification by Attributes in BMVC，2012，2（3）：8.

[3] Zhao R，Ouyang W，Wang X.Unsupervised salience learning for person re-identification[J].2013，9（4）：3586-3593.

[4] Dong Yi，ZhenLei，Sheng Cai Liao and Stan Z.Li.Deep Metric Learning for Person Re-IdentificationICPR，2014.