基于多粒度特征生成對(duì)抗網(wǎng)絡(luò)的跨分辨率行人重識(shí)別

耿艷兵，廉永健

基于多粒度特征生成對(duì)抗網(wǎng)絡(luò)的跨分辨率行人重識(shí)別

耿艷兵，廉永健*

（中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051）（?通信作者電子郵箱lyj@nuc.edu.cn）

現(xiàn)有基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重識(shí)別（ReID）時(shí)，重建圖像在紋理結(jié)構(gòu)內(nèi)容的恢復(fù)和特征一致性保持方面均存在不足。針對(duì)上述問(wèn)題，提出基于多粒度信息生成網(wǎng)絡(luò)的跨分辨率行人ReID方法。首先，在生成器的多層網(wǎng)絡(luò)上均引入自注意力機(jī)制，聚焦多粒度穩(wěn)定的結(jié)構(gòu)關(guān)聯(lián)區(qū)域，重點(diǎn)恢復(fù)低分辨率（LR）行人圖像的紋理結(jié)構(gòu)信息；同時(shí)，在生成器后增加一個(gè)識(shí)別器，在訓(xùn)練過(guò)程中最小化生成圖像與真實(shí)圖像在不同粒度特征上的損失，提升生成圖像與真實(shí)圖像在特征上的一致性。然后，聯(lián)合自注意力生成器和識(shí)別器，與判別器交替優(yōu)化，在內(nèi)容和特征上改進(jìn)生成圖像。最后，聯(lián)合改進(jìn)的GAN和行人ReID網(wǎng)絡(luò)交替訓(xùn)練優(yōu)化網(wǎng)絡(luò)的模型參數(shù)，直至模型收斂。在多個(gè)跨分辨率行人數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提算法的累計(jì)匹配曲線（CMC）在其首選識(shí)別率（rank?1）上的準(zhǔn)確率較現(xiàn)有同類算法平均提升10個(gè)百分點(diǎn)，在提升SR圖像內(nèi)容一致性和特征表達(dá)一致性方面均表現(xiàn)更優(yōu)。

跨分辨率；行人重識(shí)別；生成對(duì)抗網(wǎng)絡(luò)；自注意力機(jī)制；多粒度特征

0 引言

行人重識(shí)別（Re?IDentification， ReID）［1］是對(duì)一定時(shí)間內(nèi)出現(xiàn)在不同監(jiān)控區(qū)域里同一行人的身份確認(rèn)，為行人跟蹤、行人檢索以及行為分析等研究提供技術(shù)支撐?，F(xiàn)有研究更多關(guān)注于高分辨率（High Resolution， HR）的行人圖像［2-4］，然而在實(shí)際監(jiān)控中，監(jiān)控距離和監(jiān)控環(huán)境的不同以及攝像頭質(zhì)量的差異，造成同一行人在不同的監(jiān)控視頻中具有明顯的分辨率差異。在這種情況下，高分辨率的行人圖像具有豐富的細(xì)節(jié)信息，而低分辨率（Low Resolution， LR）的行人圖像細(xì)節(jié)模糊，二者可有效提取的特征不一致，給行人的準(zhǔn)確重識(shí)別帶來(lái)挑戰(zhàn)。

針對(duì)跨分辨率圖像存在的特征表達(dá)不一致問(wèn)題，最初的辦法是對(duì)HR圖像下采樣或者對(duì)LR圖像插值上采樣，然而前者會(huì)造成細(xì)節(jié)信息的丟失，后者只是對(duì)現(xiàn)有的像素內(nèi)容進(jìn)行插值運(yùn)算，并不能恢復(fù)丟失的圖像細(xì)節(jié)。自2015年起，國(guó)內(nèi)已經(jīng)有研究者關(guān)注跨分辨率行人ReID的研究［5-7］，嘗試將HR和LR圖像特征映射到共同的特征空間，學(xué)習(xí)分辨率不變的特征表達(dá)，但由于存在于HR圖像中豐富的細(xì)節(jié)內(nèi)容在LR圖像大量丟失，這類方法為保持跨分辨率圖像特征在特征空間的一致性，而難以學(xué)習(xí)到細(xì)粒度的鑒別信息。文獻(xiàn)［7-14］的研究試圖借助超分辨率（Super Resolution， SR）重建技術(shù)恢復(fù)丟失的圖像細(xì)節(jié)。其中：Wang等［9］將半耦合字典學(xué)習(xí)模型用于圖像的SR重建，該方法雖然對(duì)復(fù)雜度低的圖像效果較好，但對(duì)紋理結(jié)構(gòu)豐富的圖像則效果一般。隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的廣泛應(yīng)用，Dong等［10］構(gòu)建了SRCNN，將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）用于圖像的SR重建，有效改善了重建圖像效果，但依然會(huì)損失部分細(xì)節(jié)信息。鑒于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）［15］在圖像生成和風(fēng)格遷移等領(lǐng)域的突出表現(xiàn)，Ledig等［11］提出基于GAN的圖像超分辨率（SRGAN）算法，重點(diǎn)研究圖像內(nèi)容在高頻細(xì)節(jié)上的信息恢復(fù)。上述研究為提升圖像視覺(jué)上的清晰度，關(guān)注重點(diǎn)為重建圖像在內(nèi)容細(xì)節(jié)信息方面的恢復(fù)，對(duì)保持重建圖像在特征一致性方面存在不足，無(wú)法滿足提升圖像識(shí)別性能的需要。

近年來(lái)，國(guó)內(nèi)也有研究者陸續(xù)嘗試將SR重建應(yīng)用于跨分辨率行人ReID問(wèn)題［16-19］，重點(diǎn)關(guān)注將SR重建后的圖像用于提升重識(shí)別的性能。其中，鑒于跨分辨率行人除了面臨特征表達(dá)不一致問(wèn)題外，同一行人不同圖像的表觀差異問(wèn)題也將影響重識(shí)別的準(zhǔn)確性，文獻(xiàn)［17-18］嘗試采用級(jí)聯(lián)SR和行人ReID的多任務(wù)聯(lián)合學(xué)習(xí)框架來(lái)解決這一問(wèn)題。Jiao等［17］構(gòu)建了SR重建和行人ReID聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)將LR行人圖像的SR重建和行人ReID任務(wù)聯(lián)合優(yōu)化，以提升跨分辨率行人ReID的準(zhǔn)確度。CSR?GAN［18］通過(guò)級(jí)聯(lián)多個(gè)GAN逐步恢復(fù)LR行人圖像的細(xì)節(jié)信息，以解決跨分辨率行人圖像在匹配過(guò)程中的特征空間不一致問(wèn)題。然而上述方法都需要在訓(xùn)練過(guò)程中預(yù)知圖像的分辨率大小，這在實(shí)際應(yīng)用中難以實(shí)現(xiàn)。Li等［19］提出跨分辨率對(duì)抗雙邊網(wǎng)絡(luò)，將學(xué)習(xí)分辨率不變特征表達(dá)和SR相結(jié)合，在學(xué)習(xí)分辨率不變表達(dá)的同時(shí)有效恢復(fù)LR圖像的細(xì)節(jié)信息；但是，由于通過(guò)級(jí)聯(lián)的模型向后傳播梯度的難度顯著增加，因此這種設(shè)計(jì)存在模型訓(xùn)練無(wú)效的問(wèn)題。Cheng等［20］提出了任務(wù)間的關(guān)聯(lián)機(jī)制，通過(guò)構(gòu)建關(guān)聯(lián)評(píng)論網(wǎng)絡(luò)，聯(lián)合學(xué)習(xí)SR網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)，增強(qiáng)二者的兼容性。上述方法驗(yàn)證了GAN在恢復(fù)圖像細(xì)節(jié)方面的優(yōu)勢(shì)，但在利用GAN生成HR圖像時(shí)，更多通過(guò)保持SR圖像與真實(shí)HR圖像在內(nèi)容上的一致性來(lái)提升生成圖像質(zhì)量。而在跨分辨率行人ReID應(yīng)用中，重點(diǎn)是能夠通過(guò)保持SR圖像與真實(shí)HR圖像在特征上的一致性，提升重識(shí)別的準(zhǔn)確性。

為此，本文提出一種基于多粒度信息生成網(wǎng)絡(luò)的跨分辨率行人ReID方法。該方法設(shè)計(jì)了一種新型的多粒度信息融合生成對(duì)抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)為提升生成圖像的紋理結(jié)構(gòu)細(xì)節(jié)信息，首先將自注意力機(jī)制引入到生成器中，同時(shí)在生成器后增加一個(gè)識(shí)別網(wǎng)絡(luò)，聯(lián)合生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)進(jìn)行多粒度信息融合，在訓(xùn)練過(guò)程中聯(lián)合最小化SR圖像和真實(shí)HR圖像在像素級(jí)內(nèi)容損失、中低層特征損失和高層語(yǔ)義損失，使生成的SR圖像盡可能保持與真實(shí)HR圖像在特征表達(dá)上的一致性，滿足識(shí)別的需要。

1 本文方法

1.1　框架概述

本文提出的基于多粒度信息生成網(wǎng)絡(luò)的跨分辨率行人ReID方法包含兩個(gè)網(wǎng)絡(luò)：多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)。整體框架如圖1所示。

圖1　本文方法的整體框架

圖1中的多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)部分由基于自注意力機(jī)制的生成網(wǎng)絡(luò)G、識(shí)別網(wǎng)絡(luò)I和判別網(wǎng)絡(luò)D組成。其中網(wǎng)絡(luò)G負(fù)責(zé)將LR的行人圖像生成HR的行人圖像，在此基礎(chǔ)上，網(wǎng)絡(luò)I通過(guò)識(shí)別生成的SR行人圖像的與真實(shí)的HR行人圖像在身份特征上的一致，確保生成的SR圖像在特征表達(dá)上能夠滿足識(shí)別的需要。網(wǎng)絡(luò)G和網(wǎng)絡(luò)I聯(lián)合用來(lái)估計(jì)真實(shí)圖像的數(shù)據(jù)分布，從而生成判別網(wǎng)絡(luò)D無(wú)法分辨的圖像；判別網(wǎng)絡(luò)D用以辨別一個(gè)樣本來(lái)自真實(shí)HR圖像數(shù)據(jù)而非SR圖像的概率。在訓(xùn)練過(guò)程中，兩者交替優(yōu)化，直至判別網(wǎng)絡(luò)無(wú)法“判偽”，達(dá)到納什均衡狀態(tài)。模型的具體訓(xùn)練過(guò)程將在1.4節(jié)進(jìn)行詳細(xì)說(shuō)明。

圖1中的行人ReID網(wǎng)絡(luò)以生成的SR圖像、相對(duì)于SR身份的正、負(fù)HR樣本組成三元組，輸入行人ReID網(wǎng)絡(luò)進(jìn)行特征提取，通過(guò)聯(lián)合最小化上述特征的三元損失和分類損失，反向傳播優(yōu)化行人ReID網(wǎng)絡(luò)的參數(shù)，提升行人ReID對(duì)表觀差異問(wèn)題的魯棒性。

上述兩個(gè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中采用交替優(yōu)化方式，提升跨分辨率行人ReID的準(zhǔn)確性。

1.2　多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)

本文首先介紹多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)。基于GAN的基礎(chǔ)框架，考慮到GAN在結(jié)構(gòu)信息生成方面劣于紋理細(xì)節(jié)信息的生成，為確保網(wǎng)絡(luò)G能夠在生成HR行人圖像的過(guò)程中恢復(fù)具有結(jié)構(gòu)關(guān)聯(lián)的區(qū)域，參考文獻(xiàn)［21-23］中提出的結(jié)合注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)，在進(jìn)行圖像SR重建時(shí)能夠有效重建圖像的結(jié)構(gòu)關(guān)聯(lián)區(qū)域，本文將自注意力機(jī)制引入到生成器G中，確保生成的圖像在紋理細(xì)節(jié)和結(jié)構(gòu)上都具備較好的生成能力。此外，本文在生成網(wǎng)絡(luò)G之后增加一個(gè)識(shí)別網(wǎng)絡(luò)I，通過(guò)最小化生成的SR行人圖像與真實(shí)的HR行人圖像在多粒度上的特征損失，提升生成的SR圖像在特征表達(dá)方面與真實(shí)HR圖像的一致性。

參考文獻(xiàn)［24］，生成網(wǎng)絡(luò)G的結(jié)構(gòu)如圖2下半部分框圖所示，包含3個(gè)卷積層、9個(gè)殘差塊和3個(gè)反卷積層。其中每個(gè)卷積層后面跟著一個(gè)實(shí)例規(guī)范化層（Instance Normalization， IN）和一個(gè)激活層ReLU。反卷積層也包含相同的IN和ReLU。其中，在每個(gè)卷積層都增加一個(gè)自注意力模型，自注意力模型的結(jié)構(gòu)如圖2上半部分框圖所示。

圖2　自注意力生成器的結(jié)構(gòu)

生成網(wǎng)絡(luò)的內(nèi)容損失可表示為生成圖像和真實(shí)圖像的像素級(jí)損失，即：

將生成網(wǎng)絡(luò)的內(nèi)容損失和識(shí)別網(wǎng)絡(luò)的識(shí)別損失加權(quán)融合即為生成損失：

判別網(wǎng)絡(luò)D的網(wǎng)絡(luò)結(jié)構(gòu)由5個(gè)卷積層組成，每個(gè)卷積層都跟隨一個(gè)歸一化（Batch Normalization， BN）層，其中前4個(gè)BN層均采用ReLU激活函數(shù)進(jìn)行非線性變換，最后一個(gè)BN層采用正切函數(shù)進(jìn)行數(shù)據(jù)的非線性處理。本文采用WFAN?GP［26］作為網(wǎng)絡(luò)D的判別損失，如式（4）所示：

其中：

因此，本文提出的基于多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)可以表示為：

1.3　行人重識(shí)別網(wǎng)絡(luò)

行人ReID網(wǎng)絡(luò)采用ImageNet［25］上預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)為基礎(chǔ)骨干網(wǎng)絡(luò)，本文采用聯(lián)合多任務(wù)損失函數(shù)［27］從多個(gè)角度優(yōu)化網(wǎng)絡(luò)模型參數(shù)。本文的多任務(wù)損失函數(shù)包含式（7）所示的softmax分類損失函數(shù)和式（8）所示的triplet三元組損失函數(shù)。。

最后，采用式（9）對(duì)softmax損失和三元組損失［28］進(jìn)行不同損失上的融合，以權(quán)衡不同損失函數(shù)對(duì)參數(shù)優(yōu)化的作用：

1.4　模型訓(xùn)練

本文對(duì)于生成對(duì)抗網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)的訓(xùn)練采用交替訓(xùn)練的方式進(jìn)行。首先使用原HR行人圖像預(yù)訓(xùn)練行人ReID網(wǎng)絡(luò)，然后固定其參數(shù)，進(jìn)行生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練。多粒度信息融合的生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練以攝像機(jī)B下的HR、SR行人對(duì)為輸入，對(duì)于模型中的生成網(wǎng)絡(luò)、識(shí)別網(wǎng)絡(luò)和判別網(wǎng)絡(luò)采用交替訓(xùn)練的方式進(jìn)行參數(shù)優(yōu)化，即在判別網(wǎng)絡(luò)參數(shù)固定的情況下，聯(lián)合優(yōu)化生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)，然后固定生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)的參數(shù)，優(yōu)化判別網(wǎng)絡(luò)的參數(shù)，直至模型收斂。根據(jù)式（6）所示的網(wǎng)絡(luò)優(yōu)化目標(biāo)函數(shù)，對(duì)生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的參數(shù)進(jìn)行交替優(yōu)化，具體如下：

1）初始化判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的參數(shù)；保持生成網(wǎng)絡(luò)的各項(xiàng)參數(shù)不變，先使用真實(shí)的數(shù)據(jù)集訓(xùn)練判別網(wǎng)絡(luò)，讓判別網(wǎng)絡(luò)獲得一個(gè)“標(biāo)準(zhǔn)”；再保持判別網(wǎng)絡(luò)的各項(xiàng)參數(shù)不變，訓(xùn)練生成網(wǎng)絡(luò)。

2）生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)的參數(shù)優(yōu)化：將LR行人圖像由模型中的生成網(wǎng)絡(luò)生成SR行人圖像，利用式（1）計(jì)算內(nèi)容損失；然后將生成SR圖像和真實(shí)HR圖像組成圖像對(duì)，輸入識(shí)別網(wǎng)絡(luò)，利用式（2）計(jì)算識(shí)別損失；最后通過(guò)計(jì)算式（3）的生成損失，進(jìn)行反向傳播進(jìn)行參數(shù)優(yōu)化。

3）將攝像機(jī)B下的HR圖像和生成的SR圖像輸入判別網(wǎng)絡(luò)D，利用式（4）計(jì)算判別損失，進(jìn)行反向傳播進(jìn)行網(wǎng)絡(luò)參數(shù)的優(yōu)化。

4）迭代步驟1）～3），直至判別網(wǎng)絡(luò)無(wú)法“判偽”，達(dá)到納什均衡狀態(tài)。

5）固定上述生成對(duì)抗網(wǎng)絡(luò)的模型參數(shù)，將生成的SR行人圖像與攝像機(jī)A下與其相對(duì)的HR行人正負(fù)樣本組成三元組，輸入行人ReID網(wǎng)絡(luò)，利用式（7）～（9）計(jì)算多任務(wù)損失，根據(jù)結(jié)果反向傳播進(jìn)行行人ReID網(wǎng)絡(luò)參數(shù)的優(yōu)化。

6）多粒度信息融合的生成網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)采用交替訓(xùn)練的方式進(jìn)行參數(shù)優(yōu)化，直至模型收斂。

2 實(shí)驗(yàn)與結(jié)果分析

2.1　數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文選用在跨分辨率行人ReID方面具有挑戰(zhàn)性的行人重識(shí)別數(shù)據(jù)集CUHK03、VIPeR、DukeMTMC?reID、Market1501和CAVIAR進(jìn)行實(shí)驗(yàn)驗(yàn)證。其中：CUHK03數(shù)據(jù)庫(kù)包括1 360個(gè)行人的13 164幅圖像，數(shù)據(jù)量大，拍攝范圍廣；VIPeR數(shù)據(jù)庫(kù)包含632個(gè)行人的1 264幅圖像，每個(gè)行人的兩幅圖像具有明顯的拍攝視角變化和光照變化；Maket1501數(shù)據(jù)集包含1 501個(gè)行人的32 668幅圖像，由于圖像來(lái)自5個(gè)高清攝像機(jī)和1個(gè)低清攝像機(jī)，部分圖像的分辨率差異明顯；DukeMTMC?reID數(shù)據(jù)集包含1 404個(gè)行人的36 411幅圖像，由8個(gè)攝像機(jī)同步拍攝，較CUHK03數(shù)據(jù)庫(kù)的拍攝角度變化更大、拍攝范圍更廣。

所有圖像統(tǒng)一調(diào)整為256×128像素大小。在缺少SR行人圖像庫(kù)的情況下，對(duì)CUHK03、VIPeR、DukeMTMC?reID和Market1501數(shù)據(jù)集，分別對(duì)其中一個(gè)攝像頭下的行人圖像，隨機(jī)采用｛2，3，4｝中的采樣率進(jìn)行下采樣，再通過(guò)雙三次插值到256×128像素，模擬得到低分辨率行人圖像。參照文獻(xiàn)［19-20］，將經(jīng)過(guò)下采樣處理過(guò)的上述數(shù)據(jù)庫(kù)分別命名為MLR?CUHK03、MLR?VIPeR、MLR?DukeMTMC?reID和MLR?Market1501。將上述每個(gè)數(shù)據(jù)庫(kù)中的行人平均分成兩部分，分別用于訓(xùn)練和測(cè)試。CAVIARED數(shù)據(jù)庫(kù)是在一個(gè)購(gòu)物中心從不同攝像頭獲取的視頻中選取的72個(gè)行人的1 221幅圖像，除了一些光照、姿態(tài)以及視角變化外，不同于其他庫(kù)最大的挑戰(zhàn)是圖像分辨率介于17×39像素到72×144像素之間，變化大，且大多圖像的分辨率普遍較低，本文去掉22個(gè)高分辨率行人的圖像，其余行人均分兩組，分別用于訓(xùn)練和測(cè)試。由于CAVIAR數(shù)據(jù)集本身包含大量的低分辨率圖像，本文采用真實(shí)的低分辨率行人圖像進(jìn)行模型訓(xùn)練。

2.2　消融實(shí)驗(yàn)

為了研究所提多粒度信息融合生成網(wǎng)絡(luò)的有效性，本文主要對(duì)組成該網(wǎng)絡(luò)的兩個(gè)關(guān)鍵部分：自注意力生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)在MLR?CUHK03數(shù)據(jù)集上分別開(kāi)展定量實(shí)驗(yàn)和定性驗(yàn)證。在定量實(shí)驗(yàn)中，本文參考現(xiàn)有圖像生成質(zhì)量的客觀評(píng)價(jià)方法，分別選用結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）、峰值信噪比（Peak Signal?to?Noise Ratio， PSNR）和學(xué)習(xí)感知圖像塊相似度（Learned Perceptual Image Patch Similarity， LPIPS）三個(gè)指標(biāo)評(píng)價(jià)本文方法生成SR行人圖像的質(zhì)量。此外，針對(duì)行人ReID的任務(wù)需要，還選用累計(jì)匹配曲線（Cumulative Match Characteristic， CMC）在rank?上的重識(shí)別準(zhǔn)確率評(píng)判模型的有效性。其中：SSIM用于量化評(píng)測(cè)兩幅圖像間的結(jié)構(gòu)相似程度，取值介于0到1之間，值越大圖像相似度越高；PSNR用于評(píng)測(cè)圖像的失真程度，值越大表示圖像失真越少；LPIPS用于度量圖像間的差異程度，值越低表示兩張圖像越相似；CMC在rank?上的重識(shí)別準(zhǔn)確率則表示匹配結(jié)果中第張圖是正確結(jié)果的概率。

2.2.1自注意力生成網(wǎng)絡(luò)分析

保持行人ReID網(wǎng)絡(luò)不變，本節(jié)首先驗(yàn)證自注意力模型在生成網(wǎng)絡(luò)中的有效性。從表1可知，相較于傳統(tǒng)GAN，在GAN上引入自注意力模型（即“GAN+自注意力”）后，生成的HR圖像在SSIM和PSNR兩個(gè)指數(shù)上有了明顯提升，而LPIPS下降明顯，生成圖像和真實(shí)圖像在像素級(jí)更為相似。生成的HR行人圖像用于行人ReID時(shí)，識(shí)別的準(zhǔn)確率較傳統(tǒng)GAN有了明顯的提升。而在GAN中引入識(shí)別網(wǎng)絡(luò)且只考慮高層語(yǔ)義損失（即“GAN+識(shí)別網(wǎng)絡(luò)（高層損失）”）時(shí)，其圖像的生成質(zhì)量相比“GAN+自注意力”也有明顯提升，再次驗(yàn)證了自注意力模型在圖像的紋理結(jié)構(gòu)等細(xì)節(jié)信息生成方面的優(yōu)勢(shì)。但是，當(dāng)生成的SR圖像用于行人ReID時(shí)，“GAN+自注意力”在rank?1上的識(shí)別準(zhǔn)確率明顯劣于“GAN+識(shí)別網(wǎng)絡(luò)（高層損失）”的識(shí)別準(zhǔn)確率，由此驗(yàn)證了本文所提識(shí)別網(wǎng)絡(luò)在保持生成SR圖像與真實(shí)HR圖像在特征一致上的有效性。

2.2.2識(shí)別網(wǎng)絡(luò)分析

本節(jié)進(jìn)一步分析所提出的識(shí)別網(wǎng)絡(luò)和該網(wǎng)絡(luò)在聯(lián)合特征損失和語(yǔ)義損失方面的有效性。

從表1可知，將本文所提的識(shí)別網(wǎng)絡(luò)和傳統(tǒng)GAN相結(jié)合時(shí)，為了確保生成的HR行人圖像的與真實(shí)的HR行人圖像在身份特征上的一致性，在只考慮識(shí)別網(wǎng)絡(luò)高層語(yǔ)義特征損失（即“GAN+識(shí)別網(wǎng)絡(luò)（高層損失）”）時(shí)生成的SR行人圖像用于行人ReID的準(zhǔn)確率也有了明顯的提升；但生成的SR圖像在SSIM和PSNR兩個(gè)指數(shù)上低于引入自注意力模型的GAN（即“GAN+自注意力”），且LPIPS明顯升高。由此驗(yàn)證了本文所提識(shí)別網(wǎng)絡(luò)能夠提升生成SR圖像與真實(shí)HR圖像在特征上的一致性，但在圖像生成質(zhì)量上略顯不足。

表1　多粒度信息融合生成對(duì)抗網(wǎng)絡(luò)在 MLR?CUHK03數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果

此外，在只考慮識(shí)別網(wǎng)絡(luò)中低層特征和內(nèi)容損失時(shí)（即“GAN+識(shí)別網(wǎng)絡(luò)（中低層損失）”），生成的SR行人圖像用于行人ReID時(shí)，識(shí)別的準(zhǔn)確率較“GAN+自注意力”提升明顯，由于在識(shí)別網(wǎng)絡(luò)中考慮了和自注意力類似的內(nèi)容損失，生成的SR圖像在SSIM、PSNR和LPIPS三個(gè)指數(shù)上與“GAN+自注意力”基本保持一致。由此驗(yàn)證了所提識(shí)別網(wǎng)絡(luò)在融合中低層信息時(shí)，不僅能夠提升生成SR圖像與真實(shí)HR圖像在特征上的一致性，還可生成較高質(zhì)量的SR圖像。

類似的結(jié)論可在引入自注意力機(jī)制的情況下得到，且在生成圖像的質(zhì)量和重識(shí)別準(zhǔn)確率上較上述方面有了更進(jìn)一步的提升。在計(jì)算識(shí)別網(wǎng)絡(luò)的損失函數(shù)時(shí)，同時(shí)考慮多粒度信息的特征損失（即同時(shí)計(jì)算高層語(yǔ)義損失和中低層特征損失），生成的HR圖像在SSIM和PSNR兩個(gè)指數(shù)上較單層特征損失提升明顯，而LPIPS明顯下降，說(shuō)明多粒度信息融合下的識(shí)別網(wǎng)絡(luò)能夠確保生成的HR行人圖像在像素級(jí)質(zhì)量更接近真實(shí)圖像；同時(shí)，這種情況下，生成的HR行人圖像用于行人ReID比對(duì)時(shí)，識(shí)別的準(zhǔn)確率提升明顯，說(shuō)明聯(lián)合識(shí)別網(wǎng)絡(luò)的生成網(wǎng)絡(luò)生成高分辨率圖像在特征表述方面也更接近于真實(shí)圖像。而同時(shí)聯(lián)合引入自注意力機(jī)制的生成網(wǎng)絡(luò)和多識(shí)別網(wǎng)絡(luò)，生成的高分辨率行人圖像的質(zhì)量在用于重識(shí)別時(shí)的準(zhǔn)確率達(dá)到最優(yōu)，驗(yàn)證了所提多粒度信息融合生成網(wǎng)絡(luò)的有效性。

2.2.3定性分析

為了進(jìn)一步驗(yàn)證本文所提多粒度信息融合生成網(wǎng)絡(luò)的兩個(gè)重要組件：自注意力生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)在生成圖像細(xì)節(jié)恢復(fù)上的有效性，在MLR?CUHK03數(shù)據(jù)集上通過(guò)可視化生成圖像定性分析上述兩個(gè)組件。

圖4　多粒度信息融合生成對(duì)抗網(wǎng)絡(luò)的不同組件在MLR?CUHK03數(shù)據(jù)集上的可視化結(jié)果

2.3　與現(xiàn)有方法的比較

本文與現(xiàn)有同類方法在不同數(shù)據(jù)集上的重識(shí)別性能在CMC上的比較結(jié)果如表2所示，通過(guò)比較每種算法首選識(shí)別準(zhǔn)確率（即rank?1）和正確匹配結(jié)果出現(xiàn)在前5位的識(shí)別準(zhǔn)確率（即rank?5），可以得到如下結(jié)論：

1）將現(xiàn)有基于HR行人的重識(shí)別方法直接用于跨分辨率的行人ReID，如CamStyle［29］和FD?GAN［30］，識(shí)別性能下降明顯，說(shuō)明待識(shí)別行人的分辨率差異導(dǎo)致的特征分布不一致會(huì)嚴(yán)重影響重識(shí)別的準(zhǔn)確性。

2）相較于現(xiàn)有SR行人ReID方法，本文算法明顯優(yōu)于基于字典學(xué)習(xí)的SR行人ReID算法SLD2L［7］，原因在于深度學(xué)習(xí)在特征表達(dá)學(xué)習(xí)方面明顯優(yōu)于傳統(tǒng)的特征學(xué)習(xí)方法，而且SLD2L只是在一個(gè)預(yù)定義的特征空間進(jìn)行跨分辨率的特征轉(zhuǎn)換；相對(duì)而言，SING［17］和CSR?GAN［18］相比SLD2L在性能上有了很大的提升，因?yàn)镾ING和CSR?GAN同時(shí)考慮到行人的超分圖像在內(nèi)容上的信息重建和特征匹配。因此，忽略了圖像在內(nèi)容上的信息（像素級(jí)）恢復(fù)，只對(duì)單一粒度上的特征空間轉(zhuǎn)換是不夠的。此外，雖然SING和CSR?GAN將SR和行人ReID級(jí)聯(lián)優(yōu)化，且CSR?GAN聯(lián)合多個(gè)GAN生成SR圖像，但是它們忽略了SR圖像在多粒度信息上的特征恢復(fù)，因此，本文所提多粒度信息融合生成網(wǎng)絡(luò)明顯優(yōu)于上述算法。

3）本文算法明顯優(yōu)于現(xiàn)有分辨率不變特征表達(dá)的跨分辨率行人ReID算法JUDEA［6］、SDF［31］和RAIN［5］，再一次驗(yàn)證基于GAN的SR重建思路有助于跨分辨率行人ReID性能的提升。

4）CAD和INTACT均考慮了將分辨率不變特征表達(dá)的學(xué)習(xí)任務(wù)與SR圖像細(xì)節(jié)恢復(fù)任務(wù)相結(jié)合進(jìn)行跨分辨率的行人ReID，但與它們相比，本文算法的重識(shí)別準(zhǔn)確率也有明顯的提升。原因是：①本文算法在GAN的生成網(wǎng)絡(luò)中引入了自注意力機(jī)制，更加關(guān)于圖像在鑒別性細(xì)節(jié)方面的重建，有利于提升低分辨率圖像在有效內(nèi)容上的細(xì)節(jié)恢復(fù)；②本文算法在GAN中增加了識(shí)別網(wǎng)絡(luò)，該網(wǎng)絡(luò)重點(diǎn)關(guān)注基于GAN重建后的圖像與真實(shí)圖像在特征表達(dá)上的一致性，通過(guò)最小化多粒度特征的損失函數(shù)，綜合考慮重建后的行人圖像與真實(shí)圖像在不同粒度上特征表達(dá)的一致性。因此，在圖像重建時(shí)關(guān)注圖像鑒別性內(nèi)容信息的恢復(fù)的同時(shí)，綜合考慮重建后的圖像在中高層紋理等特征和高層語(yǔ)義特征表達(dá)上的一致性，有助于提升跨分辨率行人ReID的性能。

但是，不同于SING和CSR?GAN均采用聯(lián)合生成對(duì)抗網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)的損失函數(shù)進(jìn)行參數(shù)優(yōu)化，本文在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，參照文獻(xiàn)［32］，每次使用已經(jīng)預(yù)訓(xùn)練好的自注意力生成對(duì)抗網(wǎng)絡(luò)模型引導(dǎo)行人ReID網(wǎng)絡(luò)的訓(xùn)練，以確保優(yōu)化后的參數(shù)性能達(dá)到更優(yōu)；不足之處是會(huì)增加有限的額外訓(xùn)練時(shí)間和GPU內(nèi)存，這將是下一步研究工作的重點(diǎn)。

表2　本文方法與現(xiàn)有同類方法在不同數(shù)據(jù)集上的CMC rank?1和rank?5準(zhǔn)確率 單位： %

3 結(jié)語(yǔ)

本文提出了一種基于多粒度信息融合生成網(wǎng)絡(luò)的跨分辨率行人重識(shí)別方法，聯(lián)合考慮行人的超分圖像優(yōu)化和匹配，將自注意力機(jī)制引入生成器以重點(diǎn)恢復(fù)圖像的紋理結(jié)構(gòu)信息，同時(shí)為了使SR重建后的信息有助于提升行人匹配性能，在生成器后增加一個(gè)識(shí)別網(wǎng)絡(luò)，聯(lián)合生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)，綜合圖像在多粒度上的信息重建，以滿足識(shí)別的需要。最后，本文對(duì)所構(gòu)建的多粒度信息生成網(wǎng)絡(luò)和行人ReID網(wǎng)絡(luò)采用交替訓(xùn)練的方式進(jìn)行參數(shù)優(yōu)化，直至模型收斂。實(shí)驗(yàn)結(jié)果表明本文方法在多個(gè)跨分辨率行人集上的重識(shí)別性能都優(yōu)于對(duì)比方法。此外，在跨分辨率行人重識(shí)別研究中，對(duì)圖像分辨率高低的判定也至關(guān)重要，僅借助圖像尺寸和質(zhì)量高低的定性定義是不夠合理的，結(jié)合定量界定圖像的分辨率，正確判定分辨率的高低并針對(duì)性提出解決方案，將是提升行人重識(shí)別算法應(yīng)用與真實(shí)監(jiān)控場(chǎng)景的關(guān)鍵問(wèn)題之一。

[1] 魏文鈺，楊文忠，馬國(guó)祥，等. 基于深度學(xué)習(xí)的行人再識(shí)別技術(shù)研究綜述［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（9）：2479-2492.（WEI W Y， YANG W Z， MA G X， et al. Survey of person re?identification technology based on deep learning［J］. Journal of Computer Applications， 2020， 40（9）：2479-2492.）

[2] CHANG X B， HOSPEDALES T M， XIANG T. Multi?level factorisation net for person re?identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2109-2118.

[3] CHEN D P， XU D， LI H S， et al. Group consistent similarity learning via deep CRF for person re?identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8649-8658.

[4] FARENZENA M， BAZZANI L， PERINA A， et al. Person re?identification by symmetry?driven accumulation of local features［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010：2360-2367.

[5] CHEN Y C， LI Y J， DU X F， et al. Learning resolution?invariant deep representations for person re?identification［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019：8215-8222.

[6] LI X， ZHENG W S， WANG X J， et al. Multi?scale learning for low?resolution person re?identification［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway：IEEE， 2015： 3765?3773.

[7] JING X Y， ZHU X K， WU F， et al. Super?resolution person re?identification with semi?coupled low?rank discriminant dictionary learning［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 695-704.

[8] 胡雪影，郭海儒，朱蓉. 基于混合深度卷積網(wǎng)絡(luò)的圖像超分辨率重建［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（7）： 2069-2076.（HU X Y， GUO H R， ZHU R. Image super?resolution reconstruction based on hybrid deep convolutional network［J］. Journal of Computer Applications， 2020， 40（7）：2069-2076.）

[9] WANG S L， ZHANG L， LIANG Y， et al. Semi?coupled dictionary learning with applications to image super?resolution and photo?sketch synthesis［C］// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE， 2012： 2216-2223.

[10] DONG C， LOY C C， HE K M， et al. Image super?resolution using deep convolutional networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）：295-307.

[11] LEDIG C， THEIS L， HUSZáR F， et al. Photo?realistic single image super?resolution using a generative adversarial network［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114.

[12] 歐陽(yáng)寧，梁婷，林樂(lè)平. 基于自注意力網(wǎng)絡(luò)的圖像超分辨率重建［J］. 計(jì)算機(jī)應(yīng)用， 2019， 39（8）：2391-2395.（OUYANG N， LIANG T， LIN L P. Self?attention network based image super?resolution［J］. Journal of Computer Applications， 2019， 39（8）：2391-2395.）

[13] 焦云清，王世新，周藝，等.基于神經(jīng)網(wǎng)絡(luò)的遙感影像超高分辨率目標(biāo)識(shí)別［J］.系統(tǒng)仿真學(xué)報(bào)，2007，19（14）：3223-3225.（JIAO Y Q， WANG S X， ZHOU Y，et al. Super?resolution target identification from remotely sensed imagery using Hopfield Neural Network［J］. Journal of System Simulation， 2007， 19（14）：3223-3225.）

[14] 潘志庚，鄭星，張明敏. 多分辨率模型生成中顏色和紋理屬性的處理［J］. 系統(tǒng)仿真學(xué)報(bào)， 2002， 14（11）：1506-1508， 1530.（PAN Z G， ZHENG X， ZHANG M M. Processing of color and texture attributes in multi?resolution modeling［J］. Journal of System Simulation， 2002， 14（11）：1506-1508， 1530.）

[15] 陳佛計(jì)，朱楓，吳清瀟，等. 生成對(duì)抗網(wǎng)絡(luò)及其在圖像生成中的應(yīng)用研究綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2021， 44（2）：347-369.（CHEN F J， ZHU F， WU Q X， et al. A survey about image generation with generative adversarial nets［J］. Chinese Journal of Computers， 2021， 44（2）：347-369.）

[16] HAN K， HUANG Y， SONG C F， et al. Adaptive super?resolution for person re?identification with low?resolution images［J］. Pattern Recognition， 2021， 114： No.107682.

[17] JIAO J N， ZHENG W S， WU A C， et al. Deep low?resolution person re?identification［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018：6967-6974.

[18] WANG Z， YE M， YANG F， et al. Cascaded SR?GAN for scale? adaptive low resolution person re?identification［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2018： 3891-3897.

[19] LI Y J， CHEN Y C， LIN Y Y，et al. Recover and identify： a generative dual model for cross?resolution person re?identification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8089-8098.

[20] CHENG Z Y， DONG Q， GONG S G， et al. Inter?task association critic for cross?resolution person re?identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2602-2612.

[21] 丁明航，鄧然然，邵恒. 基于注意力生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建方法［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2020， 29（2）：209-211.（DING M H， DENG R R， SHAO H. Image super?resolution reconstruction method based on attentive generative adversarial network［J］. Computer Systems and Applications， 2020， 29（2）：209-211.）

[22] 許一寧，何小海，張津，等. 基于多層次分辨率遞進(jìn)生成對(duì)抗網(wǎng)絡(luò)的文本生成圖像方法［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（12）：3612-3617.（XU Y N， HE X H， ZHANG J， et al. Text?to?image synthesis method based on multi?level progressive resolution generative adversarial networks［J］. Journal of Computer Applications， 2020， 40（12）：3612-3617.）

[23] 王雪松，晁杰，程玉虎. 基于自注意力生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建［J］. 控制與決策， 2021， 36（6）：1324-1332.（WANG X S， CHAO J， CHENG Y H. Image super?resolution reconstruction based on self?attention GAN［J］. Control and Decision， 2021， 36（6）：1324-1332.）

[24] 楊婉香，嚴(yán)嚴(yán)，陳思，等. 基于多尺度生成對(duì)抗網(wǎng)絡(luò)的遮擋行人重識(shí)別方法［J］. 軟件學(xué)報(bào)， 2020， 31（7）：1943-1958.（YANG W X， YAN Y， CHEN S， et al. Multi?scale generative adversarial network for person re?identification under occlusion［J］. Journal of Software， 2020， 31（7）：1943-1958.）

[25] DENG J， DONG W， SOCHER R， et al. ImageNet： a large?scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009：248-255.

[26] GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.

[27] LI W， ZHU X T， GONG S G. Person re?identification by deep joint learning of multi?loss classification［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 2194-2200.

[28] YUAN Y， CHEN W Y， YANG Y， et al. In defense of the triplet loss again： learning robust person re?identification with fast approximated triplet loss and label distillation［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1454-1463.

[29] ZHONG Z， ZHENG L， ZHENG Z D， et al. Camera style adaptation for person re?identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5157-5166.

[30] GE Y X， LI Z W， ZHAO H Y， et al. FD?GAN： pose?guided feature distilling GAN for robust person re?identification［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 1230-1241.

[31] WANG Z， HU R M， YU Y， et al. Scale?adaptive low?resolution person re?identification via learning a discriminating surface［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2016： 2669-2675.

[32] SUN Y F， ZHENG L， YANG Y， et al. Beyond part models： person retrieval with refined part pooling （and a strong convolutional baseline）［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11208. Cham： Springer， 2018： 501-518.

Cross?resolution person re?identification by generative adversarial network based on multi?granularity features

GENG Yanbing， LIAN Yongjian*

（，，030051，）

Existing Super Resolution （SR） reconstruction methods based on Generative Adversarial Network （GAN） for cross?resolution person Re?IDentification （ReID） suffer from deficiencies in both texture structure content recovery and feature consistency maintenance of the reconstructed images. To solve these problems， a cross?resolution pedestrian re?identification method based on multi?granularity information generation network was proposed. Firstly， a self?attention mechanism was introduced into multiple layers of generator to focus on multi?granularity stable regions with structural correlation， focusing on recovering the texture and structure information of the Low Resolution （LR） person image. At the same time， an identifier was added at the end of the generator to minimize the loss in different granularity features between the generated image and the real image during the training process， improving the feature consistency between the generated image and the real image in terms of features. Secondly， the self?attention generator and identifier were jointed， then they were optimized alternately with the discriminator to improve the generated image on content and features. Finally， the improved GAN and person re?identification network were combined to train the model parameters of the optimized network alternately until the model converged. Comparison Experimental results on several cross?resolution person re?identification datasets show that the proposed algorithm improves rank?1 accuracy on Cumulative Match Characteristic（CMC） by 10 percentage points on average， and has better performance in enhancing both content consistency and feature expression consistency of SR images.

cross?resolution; person Re?IDentification (ReID); Generative Adversarial Network (GAN); self?attention mechanism; multi?granularity feature

This work is partially supported by Natural Science Foundation of Shanxi Province （201901D111154）.

GENG Yanbing， born in 1980， Ph. D.， lecturer. Her research interests include image processing， pattern recognition， artificial intelligence.

LIAN Yongjian， born in 1975， Ph. D.， lecturer. His research interests include image processing， pattern recognition， artificial intelligence， virtual reality.

1001-9081（2022）11-3573-07

10.11772/j.issn.1001-9081.2021122124

2021?12?17；

2022?02?28；

2022?03?07。

山西省自然科學(xué)基金資助項(xiàng)目（201901D111154）。

TP391.41

A

耿艷兵（1980—），女，河南漯河人，講師，博士，CCF會(huì)員，主要研究方向：圖像處理、模式識(shí)別、人工智能；廉永健（1975—），男，山西平遙人，講師，博士，主要研究方向：圖像處理、模式識(shí)別、人工智能、虛擬現(xiàn)實(shí)。