基于局部語(yǔ)義特征不變性的跨域行人重識(shí)別

張曉偉，呂明強(qiáng)，李慧

（青島大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，青島 266071）

行人重識(shí)別（Person Re-identification）也稱行人再識(shí)別，是利用計(jì)算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在某一特定行人的圖像識(shí)別技術(shù)，其在智能化的公共安全領(lǐng)域扮演著重要角色?？缬蛐腥酥刈R(shí)別也被認(rèn)為是圖像檢索的一個(gè)子問題，旨在彌補(bǔ)單一、固定攝像頭的視覺局限，可與行人檢測(cè)、行人跟蹤技術(shù)相結(jié)合，檢索跨攝像機(jī)設(shè)備下的同一標(biāo)識(shí)的行人圖像，被廣泛應(yīng)用于智能視頻監(jiān)控、智能安保等領(lǐng)域，具有重要的研究意義和應(yīng)用價(jià)值。

近年來，伴隨深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，行人重識(shí)別在同一場(chǎng)景（單域）數(shù)據(jù)集下取得了巨大的進(jìn)展［1-2］。行人重識(shí)別技術(shù)從基于深度卷積神經(jīng)網(wǎng)絡(luò)的全局特征開始向更細(xì)粒度的局部特征方向發(fā)展。基于全局特征的行人重識(shí)別主要基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸出的整體行人區(qū)域作為行人圖像的重識(shí)別特征，研究如何基于全局特征設(shè)計(jì)更為合理的網(wǎng)絡(luò)損失函數(shù)。其中，為解決行人檢測(cè)對(duì)行人重識(shí)別的影響，Han等［3］開發(fā)了一個(gè)可區(qū)分的ROI變換層，將行人檢測(cè)器產(chǎn)生的邊界框從原始圖像中轉(zhuǎn)換出來生成更可靠的邊界框。在損失函數(shù)的設(shè)計(jì)方面，主要有對(duì)比損失（Contrastive Loss）［4］、三元組損失（Trip let Loss）［5］、四元 組 損 失（Quadruplet Loss）［6］和 中 心 聚 類 損 失（Center Loss）［7］等。

由于全局特征不具有細(xì)粒度的區(qū)分能力，在光照條件、背景、人體姿勢(shì)和成像視角的變化下，同一ID標(biāo)識(shí)的行人在不同視圖之間的特征辨識(shí)度明顯降低。因此，基于局部特征的行人重識(shí)別受到研究者的日益重視。基于行人局部區(qū)域劃分方式的不同，行人語(yǔ)義部件模型可以分為人體語(yǔ)義分塊和物理切割分塊。近年來，人體姿勢(shì)估計(jì)技術(shù)取得了較大的進(jìn)展［8-11］，基于人體語(yǔ)義分塊方法［12-14］通過借鑒人體姿態(tài)估計(jì)的結(jié)果用于行人區(qū)域劃分來進(jìn)行行人重識(shí)別。但姿勢(shì)估計(jì)和行人重識(shí)別之間的數(shù)據(jù)集標(biāo)注偏差仍然是阻礙行人重識(shí)別圖像語(yǔ)義劃分的障礙。不同于人體語(yǔ)義分塊方法需要對(duì)行人的強(qiáng)語(yǔ)義標(biāo)注，物理切割分塊不需要行人每個(gè)部件區(qū)域的訓(xùn)練標(biāo)簽，受到了研究者們的重視［15］。其中，可見部件感知模型（VPM）［16］聚焦在2幅行人圖像共同可見的部件區(qū)域上學(xué)習(xí)細(xì)粒度的區(qū)域特性，以解決行人部件與行人整體圖像間的空間位置錯(cuò)位問題，顯著地改善了特征表征的學(xué)習(xí)能力。Sun等［17］提出了基于行人局部特征的部件卷積池化方法，以增強(qiáng)行人重識(shí)別中行人部件區(qū)域的語(yǔ)義一致性。在行人重識(shí)別模型中引入基于深度學(xué)習(xí)的注意力機(jī)制［18-19］，自動(dòng)地給每一幅行人圖像賦予一個(gè)權(quán)重，也進(jìn)一步推動(dòng)了行人重識(shí)別的性能。Chen等［20］通過卷積神經(jīng)網(wǎng)絡(luò)特征通道聚合和空間位置感知提出了一種基于雙重注意力機(jī)制的行人重識(shí)別模型，其集成了注意力模塊和多樣性正則化，以學(xué)習(xí)具有代表性、健壯性和更具區(qū)分性的特征。

上述基于監(jiān)督學(xué)習(xí)的行人重識(shí)別方法［4，21-23］依靠豐富的標(biāo)記數(shù)據(jù)和深度網(wǎng)絡(luò)［24-26］在單域數(shù)據(jù)集上取得了巨大的成功。在閉合的單域行人重識(shí)別上，其源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集具有完全相同的標(biāo)識(shí)類別，但在跨域的無標(biāo)簽數(shù)據(jù)集上，由于跨域的數(shù)據(jù)集偏移問題導(dǎo)致行人重識(shí)別性能出現(xiàn)顯著下降。為了解決這個(gè)問題，研究者們提出使用帶有標(biāo)記的源域數(shù)據(jù)來提取行人特征學(xué)習(xí)初始階段的行人重識(shí)別模型。在此基礎(chǔ)上，通過在目標(biāo)域上進(jìn)行無監(jiān)督聚類［27］或?qū)W習(xí)度量［28］來改進(jìn)Re-ID模型，然而這種方法在源域到目標(biāo)域的特征遷移過程中并沒有有效利用帶有標(biāo)記的源域數(shù)據(jù)作為有效監(jiān)督信息。為了克服這一問題，目前跨域行人重識(shí)別方法主要是基于圖像級(jí)行人圖像整體特征風(fēng)格［29-31］和行人局部屬性語(yǔ)義特征［32-33］進(jìn)行數(shù)據(jù)集之間的跨域遷移。

在圖像級(jí)特征風(fēng)格遷移方面，Zhong等［34］提出了相機(jī)不變性以緩解跨域行人重識(shí)別的跨域偏移問題。Yu等［35］提出一種基于無監(jiān)督多標(biāo)簽學(xué)習(xí)的MAR模型，開發(fā)未標(biāo)記目標(biāo)對(duì)的多標(biāo)簽視覺特征的相似一致性，基于強(qiáng)化學(xué)習(xí)增強(qiáng)不同相機(jī)視圖之間的跨視角一致性。Chen等［36］提出了一個(gè)對(duì)偶條件生成對(duì)抗網(wǎng)絡(luò)，利用大量未標(biāo)記的目標(biāo)域行人實(shí)例作為生成圖像的上下文指導(dǎo)，將源域目標(biāo)轉(zhuǎn)移到目標(biāo)域上下文中，通過遷移豐富的上下文信息來增強(qiáng)行人再識(shí)別的辨別力。在行人局部屬性語(yǔ)義特征方面，EANet模型［37］利用行人的關(guān)鍵點(diǎn)將行人進(jìn)行分塊和對(duì)準(zhǔn)，在此基礎(chǔ)上進(jìn)行跨域遷移學(xué)習(xí)。但是，這些方法卻忽略了在目標(biāo)域內(nèi)同一標(biāo)識(shí)行人存在的視覺差異，這種同一標(biāo)識(shí)行人的類內(nèi)差異將對(duì)無監(jiān)督的域自適應(yīng)問題產(chǎn)生重要的影響。對(duì)此，本文聯(lián)合相機(jī)不變性和行人圖像局部語(yǔ)義特征不變性將目標(biāo)域中每個(gè)ID標(biāo)識(shí)局部語(yǔ)義對(duì)齊的行人特征存儲(chǔ)于特征模板池中，對(duì)目標(biāo)域行人進(jìn)行不變性約束，更好地發(fā)揮跨域特征不變性的作用。

綜上所述，本文提出一種基于局部語(yǔ)義特征不變性的跨域行人重識(shí)別方法，其主要貢獻(xiàn)如下：

1）根據(jù)行人圖像在源域與目標(biāo)域上語(yǔ)義特征的一致性，基于弱標(biāo)注的源域行人圖像提出一種行人局部特征語(yǔ)義對(duì)齊方法，以遷移源域行人局部語(yǔ)義特征到無標(biāo)注的目標(biāo)域，增強(qiáng)跨域行人重識(shí)別的特征表達(dá)能力。

2）針對(duì)同一ID標(biāo)識(shí)行人圖像存在的表觀特征變化，通過估計(jì)目標(biāo)域圖像之間的相似性，采用特征模板池存儲(chǔ)并更新目標(biāo)域中行人圖像的全局與局部特征，將跨域不變性加入到深度網(wǎng)絡(luò)中提高對(duì)跨域特征不變性的學(xué)習(xí)。

3）鑒于行人重識(shí)別在源域與目標(biāo)域上的特征差異，基于行人局部特征語(yǔ)義對(duì)齊和行人特征模板池提出了一種聯(lián)合實(shí)例不變性、相機(jī)不變性和類別（標(biāo)識(shí)）不變性的損失函數(shù)，無監(jiān)督地學(xué)習(xí)跨域不變性特征，提高行人重識(shí)別的跨域適應(yīng)能力。

1 局部語(yǔ)義特征不變性網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)框架

本文提出的基于局部語(yǔ)義特征不變性的網(wǎng)絡(luò)結(jié)構(gòu)框架如圖1所示?；A(chǔ)骨干網(wǎng)絡(luò)采用ImageNet［38］上預(yù)訓(xùn)練的ResNet-50［25］網(wǎng)絡(luò)，其將帶標(biāo)簽的源域數(shù)據(jù)和無標(biāo)簽的目標(biāo)域數(shù)據(jù)輸入到網(wǎng)絡(luò)中獲取行人實(shí)例的特征表示。本文保留ResNet-50的Pooling-5層及之前的網(wǎng)絡(luò)結(jié)構(gòu)，深度特征的提取分為全局特征模塊和局部特征模塊。在全局特征模塊中添加全局平均池化（Global Average Pooling，GAP）層以獲得全局特征，使用交叉熵?fù)p失函數(shù)與三元組損失函數(shù)來優(yōu)化模型。在局部特征模塊添加自適應(yīng)平均池化層，將行人圖像提取到的三維特征張量T分成P個(gè)部分，并降維到256維，分別為每個(gè)部分添加分類器來進(jìn)行訓(xùn)練，使用交叉熵?fù)p失函數(shù)來優(yōu)化模型。在目標(biāo)域中，引入特征模板池保存每個(gè)行人樣本的全局與局部特征，通過估計(jì)小批量的目標(biāo)樣本與特征模板池中的特征的相似性，計(jì)算無標(biāo)簽?zāi)繕?biāo)域的不變性損失。

1.2 基于語(yǔ)義對(duì)齊的全局與局部特征

1.2.1 全局特征

本文在ResNet-50的Pooling-5層之后，采用GLAD模型［14］的全局平均池化來提取全局特征，之后再經(jīng)過Softmax分類器預(yù)測(cè)行人樣本的標(biāo)識(shí)，使用交叉熵?fù)p失函數(shù)Ls和三元組損失函數(shù)Lt來共同計(jì)算源域全局損失Lsrc1，其計(jì)算公式為

式中：η1和η2為損失函數(shù)平衡因子，本文取值為η=［0.96，1］。

1.2.2 基于語(yǔ)義對(duì)齊的局部特征

本文行人局部特征的提取以PCB模型［3］為基礎(chǔ)，將行人圖像從上到下均勻劃分為6個(gè)部件區(qū)域，如圖2（a）所示。為了實(shí)現(xiàn)行人部件的語(yǔ)義對(duì)齊，本節(jié)基于行人局部部件的內(nèi)部特征，把每個(gè)局部部件分成4×8的特征塊f，每副行人圖像被分為6個(gè)語(yǔ)義部件，共包含24×8個(gè)特征塊f，如圖2（b）所示。首先，在源域數(shù)據(jù)集上，將基于行人圖像劃分的6個(gè)部件區(qū)域進(jìn)行訓(xùn)練學(xué)習(xí)，形成行人部件分類器Wi。然后，對(duì)每個(gè)特征塊f使用線性分類Softmax函數(shù)進(jìn)行動(dòng)態(tài)分類：

圖2 基于語(yǔ)義特征的行人部件示意圖Fig.2 Schematic diagram of person parts based on semantic features

式中：p（Pi｜f）為屬于Pi部件的預(yù)測(cè)概率；P為預(yù)定義行人部件的數(shù)量（即P=6）；W 為部件分類器的可訓(xùn)練權(quán)重矩陣。

為保證部件分類的準(zhǔn)確性，為每個(gè)部件分類器的預(yù)測(cè)結(jié)果設(shè)立一個(gè)閾值。經(jīng)過此分類，每個(gè)f得到P個(gè)預(yù)測(cè)概率p（Pi｜f），取其中的最大值p（Pi｜f），并且p（Pi｜f）要大于閾值Ti，滿足該條件就把f分為Pi部件中，經(jīng)過這步處理可以篩選出屬于各個(gè)部件的f；之后，對(duì)每幅行人圖像中分類預(yù)測(cè)為同一部件類別的f做局部平均池化，獲取行人各個(gè)部件的特征表示。

為對(duì)齊行人部件區(qū)域，采用成對(duì)樣本對(duì)計(jì)算最小總距離［39］，形成2幅圖像的最短路徑。假定待查詢行人圖像和搜索庫(kù)中的某一圖像經(jīng)式（2）提取的局部特征分別為F=｛h1，h2，…，hP｝和G=｛g1，g2，…，gP｝，則2幅行人圖像成對(duì)部件元素之間的距離規(guī)范化為式中：di，j為待查詢行人圖像的第i個(gè)部件和搜索庫(kù)中某一行人圖像的第j部件之間的距離，其取值范圍為［0，1］。

本文基于P×P個(gè)距離di，j（i，j∈（1，2，…，P））形成的距離矩陣D中的最短路徑來對(duì)齊待查詢行人圖像與搜索庫(kù)中行人圖像的語(yǔ)義局部區(qū)域。其中，2張行人圖像相似性距離Si，j是通過動(dòng)態(tài)規(guī)劃計(jì)算距離矩陣D中每行或每列對(duì)應(yīng)最短路徑的總距離，即為經(jīng)過行人部件劃分和語(yǔ)義特征對(duì)齊后的部件區(qū)域如圖2（c）所示，每個(gè)部件區(qū)域的局部特征注意力位于行人的不同部位，如圖2（d）所示?；谡Z(yǔ)義對(duì)齊后的行人部件局部特征，其行人重識(shí)別源域局部損失Lsrc2為

式中：Si為部件Pi的交叉熵?fù)p失；權(quán)重向量γ的取值，通過實(shí)驗(yàn)分析分別?。?.18，0.15，0.15，0.17，0.16，0.19］重識(shí)別性能最佳。

1.3 特征模板池

為了提高網(wǎng)絡(luò)在目標(biāo)測(cè)試集上的泛化能力，提出通過估計(jì)目標(biāo)圖像之間的相似性來增強(qiáng)網(wǎng)絡(luò)的特征不變性。為此，構(gòu)造了一個(gè)具有鍵值結(jié)構(gòu)用于存儲(chǔ)所有目標(biāo)域圖像的全局與局部特征的特征模板池，其具有鍵池（K）和值池（V）。其中，鍵池存放在行人圖像經(jīng)ResNet-50全連接后L2規(guī)范化的特征，包括語(yǔ)義對(duì)齊后全局特征和局部特征的串聯(lián)聚合特征，分別為1×4 096維和6×256維；值池存儲(chǔ)行人圖像的標(biāo)簽。

式中：R［i］為圖像xt，i的特征模板池中鍵池存放的特征，i為標(biāo)簽；超參數(shù)a∈［0，1］控制更新速率。

1.4 特征不變性學(xué)習(xí)

鑒于僅使用源域的監(jiān)督學(xué)習(xí)得到的深度Re-ID模型對(duì)目標(biāo)域內(nèi)的變化較為敏感，考慮目標(biāo)域內(nèi)的差異變化，研究了3個(gè)跨域特征不變性，即實(shí)例不變性、相機(jī)不變性、類別不變性。

1）實(shí)例不變性。在行人重識(shí)別中，即使是同一ID標(biāo)識(shí)的圖像間也會(huì)有差距，為了學(xué)習(xí)每一張圖像都有別于其他圖像，本文在Re-ID模型中增加實(shí)例不變性。將nt個(gè)目標(biāo)域圖像看做nt個(gè)獨(dú)立不同的類別，計(jì)算某一給定目標(biāo)圖像特征h（xt，i）與已保存在特征模板池中的特征之間的余弦相似度，并使用Softmax函數(shù)預(yù)測(cè)其歸屬類別：

式中：β∈（0，1］為平衡因子。

實(shí)例不變性的目標(biāo)是使目標(biāo)域上訓(xùn)練圖像的負(fù)對(duì)數(shù)似然最小化：

式中：Lei為實(shí)例不變性損失。

2）相機(jī)不變性。相機(jī)風(fēng)格的變化是影響行人圖像識(shí)別的一個(gè)重要因素，尤其是在源域與目標(biāo)域之間往往存在迥異的相機(jī)風(fēng)格。因此，本文基于相機(jī)不變性拉近同一ID標(biāo)識(shí)的行人圖像與其經(jīng)過相機(jī)風(fēng)格變換后的距離。假設(shè)每個(gè)圖像的攝像機(jī)ID是已知的，將每臺(tái)攝像機(jī)視為一個(gè)相機(jī)域，利用starGAN［40］來訓(xùn)練一個(gè)相機(jī)風(fēng)格轉(zhuǎn)換模型［34］，利用學(xué)習(xí)到的相機(jī)風(fēng)格轉(zhuǎn)換Re-ID模型。假設(shè)C為目標(biāo)域中相機(jī)風(fēng)格的數(shù)量，一張行人圖像則可以得到C-1張其他相機(jī)風(fēng)格的圖像，且這C張圖片屬于同一行人ID，相機(jī)不變性的損失函數(shù)為

2.3 MAIT細(xì)胞和IL-22水平相關(guān)性分析 Pearson相關(guān)分析結(jié)果顯示TB患者外周血MAIT細(xì)胞和IL-22水平呈正相關(guān) (r=0.427,P<0.05)，見圖1。

式中：Lci為相機(jī)不變性的損失；ˉxt，i為xt，i及其C-1張生成圖像的集合中隨機(jī)選取的一張圖像，拉近目標(biāo)域行人圖像集中具有同一標(biāo)識(shí)、不同相機(jī)風(fēng)格的行人圖像。

3）類別不變性?；谀繕?biāo)域中屬于同一ID標(biāo)識(shí)的行人圖像樣本集拉近彼此間的距離克服目標(biāo)域中的變化，以提高Re-ID模型的穩(wěn)定性。先計(jì)算圖像特征h（xt，i）與其特征模板池中鍵池的余弦相似性。在特征模板池中找到與行人圖像xt，ik鄰近的行人圖像索引，定義為M（xt，i，k）。本文提出的類別不變性是假定目標(biāo)域行人圖像xt，i的ID標(biāo)識(shí)應(yīng)該隸屬于k鄰近圖像索引M（xt，i，k）的候選類。因此，將目標(biāo)域行人圖像xt，i屬于某一ID標(biāo)識(shí)j的概率權(quán)重賦值為

類別不變性的損失函數(shù)為

式中：Lni為類別不變性損失。

基于上述實(shí)例不變性、相機(jī)不變性、類別不變性，跨域特征不變性學(xué)習(xí)的總體損失可以寫為

合并源域和目標(biāo)域的特征不變性網(wǎng)絡(luò)的損失函數(shù)為

式中：λ為平衡源域與目標(biāo)域損失的權(quán)重系數(shù)，本文取值為0.3。

2 實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文在國(guó)際公開的行人重識(shí)別（Re-ID）基準(zhǔn)數(shù) 據(jù) 集 Market-1501［41］、DukeMTMC-reID［6，42］和MSMT17［30］上評(píng)估了本文方法。本文采用Res-Net-50［25］作為模型的骨干網(wǎng)絡(luò)，并使用在ImageNet［43］上預(yù)先訓(xùn)練的參數(shù)初始化模型，輸入圖像的大小采樣到384×128。在前40次epoch迭代訓(xùn)練階段中，使用0.01的學(xué)習(xí)率對(duì)ResNet-50的基礎(chǔ)網(wǎng)絡(luò)層進(jìn)行訓(xùn)練，在接下來的20次epoch迭代中，學(xué)習(xí)率每個(gè)階段都以除以10的比例縮放。源域行人圖像和目標(biāo)域行人圖像的批量大小都設(shè)置為128，網(wǎng)絡(luò)模型學(xué)習(xí)更新率α初始化為0.01，并隨著訓(xùn)練次數(shù)的增加而線性增大，α =0.01×epoch。本文設(shè)置行人部件P=6，每個(gè)部件的權(quán)重向量γ依次設(shè)為［0.18，0.15，0.15，0.17，0.16，0.19］，參數(shù)β=0.05，特征模板池候選正性樣本數(shù)k=6，損失權(quán)重λ=0.3。在測(cè)試中，提取Pooling-5層的L2規(guī)范化輸出作為圖像特征，并采用歐幾里德距離度量查詢圖像與圖庫(kù)圖像的相似度。

2.2 消融實(shí)驗(yàn)

2.2.1 基于語(yǔ)義對(duì)齊的特征不變性分析

針對(duì)目標(biāo)域提出的語(yǔ)義部件特征對(duì)齊與跨域特征不變性學(xué)習(xí)的有效性，本文在Market-1501和DukeMTMC-reID 數(shù)據(jù)集上開展了驗(yàn)證實(shí)驗(yàn)。R-k為返回置信度最高的k張行人圖像具有正確結(jié)果的概率，mAP為平均準(zhǔn)確率。將全局特征作為實(shí)驗(yàn)基線，記為GAP，基于語(yǔ)義部件對(duì)齊的局部特征記為PAF（Part Aligned Feature），跨域特征不變性記為Inv（Invariance）。在表1由DukeMTMC-reID→Market-1501數(shù)據(jù)集的跨域行人重識(shí)別實(shí)驗(yàn)中，聯(lián)合語(yǔ)義部件對(duì)齊后的局部特征和全局特征（GAP+PAF）較全局特征基線（GAP）mAP提高1.6%，R-1提高1.5%。而且無論對(duì)全局特征還是局部特征，加入跨域特征不變性（Inv）均提高了行人重識(shí)別的性能，其平均準(zhǔn)確率mAP分別提高13.1%和23.8%，R-1的性能分別提高了20.6%和29.8%。實(shí)驗(yàn)發(fā)現(xiàn)，聯(lián)合全局與局部特征和特征不變性取得了最優(yōu)的行人重識(shí)別性能，其R-1和mAP分別達(dá)到了77.6%和45.0%。同樣的實(shí)驗(yàn)結(jié)論在Market-1501→DukeMTMC-reID數(shù)據(jù)集的跨域行人重識(shí)別中得到了驗(yàn)證。

表1 在M arket-1501和DukeM TMC-reID 數(shù)據(jù)集上的跨域行人重識(shí)別消融實(shí)驗(yàn)Table 1 Ablation experim ent of cross-dom ain person re-identification on M arket-1501 and DukeM TMC-reID datasets

值得注意的是，相對(duì)于單域行人重識(shí)別，跨域行人重識(shí)別的性能均出現(xiàn)了顯著下降。從表1中可以觀察到，在Market-1501單域上本文行人重識(shí)別方法的平均準(zhǔn)確率mAP為67.0%，R-1為88.2%；但是在跨域DukeMTMC-reID作為源域，Market-1501作為目標(biāo)域，行人重識(shí)別的平均準(zhǔn)確率mAP下降到45.0%，R-1下降到77.6%。同理，Market-1501作為源域，DukeMTMC-reID作為目標(biāo)域，行人重識(shí)別的平均準(zhǔn)確率mAP也顯現(xiàn)出大幅性能下降。由此可以看出，跨域行人重識(shí)別仍然是一個(gè)重大挑戰(zhàn)。

2.2.2 特征模板池的重要性分析

為驗(yàn)證本文提出的特征模板池對(duì)跨域行人重識(shí)別的有效性，在全局與局部特征不變性的基礎(chǔ)上檢驗(yàn)特征模板池的作用。從表2中可以看出，添加特征模板池的方法優(yōu)于基于小批量的跨域行人重識(shí)別方法，其在R-1和mAP分別提高近11%和8.8%。但是，使用特征模板池的缺點(diǎn)是會(huì)增加有限的額外訓(xùn)練時(shí)間和GPU內(nèi)存的開銷。

表2 特征模板池與M ini-batch的比較Tab le 2 Com parison of featu re tem p late pooling m em ory and M ini-batch

2.3 對(duì)比實(shí)驗(yàn)

為橫向比較本文提出的基于局部語(yǔ)義特征不變性的跨域行人重識(shí)別有效性，在Market-1501、DukeMTMC-reID和MSMT17數(shù)據(jù)集上開展跨域行人重識(shí)別性能的對(duì)比驗(yàn)證。在Market-1501→MSMT17跨數(shù)據(jù)集的行人重識(shí)別實(shí)驗(yàn)中，表3顯示了本文方法相較于當(dāng)前一流的行人重識(shí)別方法ECN［44］，R-1提高0.3%，R-5提高0.8%，R-10提高1.2%，mAP提高0.4%。在DukeMTMC-reID→MSMT17跨數(shù)據(jù)集的實(shí)驗(yàn)中，本文方法相較于行人重識(shí)別方法ECN［44］，R-1提高0.4%，R-5提高0.3%，R-10提高0.8%，mAP提高0.5%。從表4中可以看到，在DukeMTMC-reID →Market-1501的跨數(shù)據(jù)集行人重識(shí)別實(shí)驗(yàn)中，行人重識(shí)別的性能R-1為77.6%，R-5為88.7%，R-10為92.0%，mAP為45.0%，相較于當(dāng)前一流的跨域行人重識(shí)別方法ECN［44］均有較為明顯的性能提升，分別提高2.5%、1.1%、0.4%和2.0%。在跨數(shù)據(jù)集Market-1501→DukeMTMC-reID的實(shí)驗(yàn)中，本文方法相較于行人重識(shí)別方法ECN［44］，R-1提高2.2%，R-5提高1.8%，R-10提高0.7%，mAP提高2.4%。由此可以看出，本文基于局部語(yǔ)義特征不變性的跨域行人重識(shí)別方法有效地提高了跨域行人重識(shí)別的性能。

表3 在M arket-1501和DukeM TM C-reID到M SM T17跨域數(shù)據(jù)集上與當(dāng)前先進(jìn)方法的實(shí)驗(yàn)比較Tab le 3 Experim ental com parison w ith other advanced m ethods from M arket-1501 and DukeM TM C-reID to M SM T17 cross-dom ain datasets

表4 在M arket-1501和DukeM TM C-reID跨域數(shù)據(jù)集上與當(dāng)前先進(jìn)方法的實(shí)驗(yàn)比較Tab le 4 Experim en tal com parison w ith other advanced m ethods on M arket-1501 and DukeM TM C-reID cross-dom ain datasets

3 結(jié)束語(yǔ)

本文通過弱監(jiān)督學(xué)習(xí)方式對(duì)齊行人語(yǔ)義特征，并結(jié)合局部特征與全局特征提高了行人的表征能力；聯(lián)合跨域不變性損失函數(shù)約束行人表觀特征的不變性提高了行人重識(shí)別的跨域適應(yīng)能力。但是，相較于單域行人重識(shí)別，由于源域與目標(biāo)域行人圖像存在的特征分布差異導(dǎo)致跨域行人重識(shí)別仍然具有較大的挑戰(zhàn)性。