基于動態(tài)前景聚焦與偽孿生網(wǎng)絡的跨分辨率行人重識別*

吉海瑞,張寶華

(內(nèi)蒙古科技大學 信息工程學院,內(nèi)蒙古 包頭 014010)

行人重識別(Person Re-identification,ReID)旨在研究同一身份行人在非重疊監(jiān)控場景下的匹配檢索問題.在實際場景中,不同攝像機捕獲的同一行人圖像分辨率差異顯著,直接跨分辨率匹配會使網(wǎng)絡性能下降.

為解決分辨率不匹配問題,JIAO等[1]人提出一種級聯(lián)超分辨率(Super Resolution,SR)模型和Re-ID子網(wǎng)絡的方法,通過多尺度的SR網(wǎng)絡重建低分辨率圖像中的高頻信息. WANG等[2]人通過級聯(lián)多個GAN網(wǎng)絡,通過尺度自適應放大因子逐步重建低分辨率圖像中的細節(jié),以解決跨分辨率圖像特征不一致問題.這些方法利用級聯(lián)圖像超分辨率或GAN網(wǎng)絡的優(yōu)勢解決跨分辨率問題,而SR和ReID聯(lián)合網(wǎng)絡的兼容性問題并未得到有效解決.為此,CHENG等[3]人利用超分辨率技術(shù)和行人重識別之間的底層關(guān)聯(lián)信息增強子網(wǎng)絡之間的兼容性,從訓練策略角度優(yōu)化超分辨率技術(shù)和行人重識別的聯(lián)合框架,以提高網(wǎng)絡性能.ZHANG等[4]人利用教師學生模型分階段訓練網(wǎng)絡,以減少跨分辨率圖像之間的特征分布差異.而這些方法卻忽略了如何在超分辨率重建過程中獲取有效的判別區(qū)域.

為此,提出了一種基于動態(tài)前景聚焦與偽孿生網(wǎng)絡的跨分辨率行人重識別算法.該算法利用動態(tài)前景聚焦超分辨率網(wǎng)絡,恢復低分辨率圖像.然后構(gòu)建偽孿生網(wǎng)絡,實現(xiàn)對不同粒度特征進行自適應特征提取,以學習細粒度局部特征和粗粒度全局特征.

1 基本原理

1.1 網(wǎng)絡框架

整體網(wǎng)絡框架由2部分組成,分別為動態(tài)前景聚焦超分辨率網(wǎng)絡(Dynamic Foreground Focusing Super Resolution, DFFSR)和偽孿生網(wǎng)絡(Pseudo Siamese Network, PSN)模塊,如圖1所示.

圖1 整體網(wǎng)絡架構(gòu)

1.2 DFFSR網(wǎng)絡

DFFSR網(wǎng)絡由編碼器(Encoder),動態(tài)感知模塊(Dynamic Perception Network, DPN)和解碼器(Decoder)3部分組成,其中,動態(tài)感知模塊是由n個Attention in Attention Block(A2B)網(wǎng)絡構(gòu)建而成鏈式子網(wǎng)絡,每個A2B由非注意力分支(Non-attention Branch),注意力分支(Attention Branch)和動態(tài)注意模塊(Dynamic Attention Module, DAM)3分支組成,如圖2所示.

圖2 動態(tài)前景聚焦網(wǎng)絡

首先,原圖像經(jīng)過編碼器學習得到中間特征Fc,通過動態(tài)感知模塊動態(tài)感知中間特征中的顯著區(qū)域,得到具有判別信息的中間特征Fd.其次,經(jīng)過解碼器進行超分辨率重建,得到超分辨率圖像.最后,利用高斯掩碼抑制背景雜波干擾.

編碼器用兩個以步幅為2的卷積層對輸入圖像進行下采樣,得到中間特征Fc,然后將其輸入到動態(tài)感知模塊,得到具有判別區(qū)域的中間特征Fd.公式如下:

(1)

式中:f(·)為非注意力分支和注意力分支與由輸入特征確定的動態(tài)權(quán)重相結(jié)合的函數(shù).

在每個A2B中,動態(tài)注意力模塊分支利用加權(quán)求和方式平衡注意力分支和非注意力分支,控制兩分支的動態(tài)加權(quán)貢獻,自動丟棄不重要的注意力特征.計算公式如下:

(2)

πn=fatt(xn) .

(3)

式中:fatt為動態(tài)注意力模塊計算函數(shù).

提取到具有判別性的中間特征后,通過解碼器對Fd進行重建.首先使用最近鄰插值對其上采樣,并在低層和高層之間添加跳躍連接,保留原始圖像中的視覺線索,提高重建圖像的質(zhì)量.最后對輸入圖像特征和重建后特征融合,生成超分辨率特征Fsr.

行人前景可以為行人重識別提供更多的特征信息,為了在行人前景上恢復更多視覺線索并抑制雜亂的背景,提出動態(tài)前景聚焦SR損失LDFFSR,計算公式如下:

(4)

1.3 PSN網(wǎng)絡

單獨應用DFFSR網(wǎng)絡不足以挖掘深層語義信息,并且低分辨率和高分辨率圖像傳達的視覺線索數(shù)量不同.為此,設計了PSN網(wǎng)絡進行分辨率自適應特征提取.在PSN網(wǎng)絡,首先利用Stage0、Stage1和Stage2提取特定分辨率特征圖的低頻信息;然后將Stage3和Stage4設置為具有共享參數(shù)的偽孿生網(wǎng)絡框架進行粗細粒度特征學習,實現(xiàn)分辨率自適應特征提取.

在細粒度分支,經(jīng)過Stage4后將n個局部特征向量連接成單個列向量,學習具有局部分辨率的判別特征:

(5)

進一步用于產(chǎn)生ID預測損失:

(6)

式中:Wj、Wyi分別為權(quán)重矩陣W(g的單個分類器)的第j列和第yi列對應的權(quán)值.

該分支采用難樣本挖掘三元組損失作為細粒度分支損失函數(shù)Lf_tri,對于batch中的每個特征fa,通過挖掘最難正負樣本對fp和fn來構(gòu)造三元組以計算細粒度分支損失.

在粗粒度分支,采用異中心三元組損失函數(shù)[5]作為粗粒度分支損失函數(shù)Lc_tri.對于每個行人,通過關(guān)注跨分辨率正中心對和最難(模態(tài)內(nèi)和模態(tài)間)負中心對.PSN模塊總損失為:

LPSN=Lf_tri+Lid(f)+Lc_tri+Lid(fc) .

(7)

式中:Lf_tri為細粒度三元組損失,Lid(f)為細粒度分支分類損失;Lc_tri為粗粒度三元組損失,Lid(fc)為粗粒度分支分類損失.

1.4 跨分辨率數(shù)據(jù)特征間的約束準則構(gòu)建

在目標函數(shù)構(gòu)建方面.行人重識別任務的目標是最小化同一個人圖像之間的距離,同時保持不同人圖像之間的較大距離.考慮到行人圖像分辨率的影響,將跨分辨率行人重識別的目標函數(shù)O定義為:

(8)

式中:Fsim為計算同一行人兩張圖像之間的特征距離函數(shù);Fdif為計算不同行人兩張圖像之間的特征距離函數(shù);r1和r2分別為距離計算中2個圖像的分辨率.

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集評估與評價標準

實驗所涉及的數(shù)據(jù)集包括2個用于傳統(tǒng)行人重識別任務的高分辨率數(shù)據(jù)集(MLR-Market-1501[6]、MLR-DukeMTMC-ReID[7]),2個以隨機的下采樣率對所有圖像進行預處理的合成數(shù)據(jù)集(MLR-Market-1501、MLR-DukeMTMC-ReID),和一個本身存在高低分辨率圖像的數(shù)據(jù)集:CAVIAR[8].

實驗采用首位命中率Rank-1和前5位命中率Ran-5作為實驗評估指標.

2.2 實驗配置與實驗細節(jié)

實驗是在2張NVIDIA GeForce RTX 2080Ti顯卡環(huán)境下實現(xiàn)的.實驗中采用PyTorch1.10.0框架,輸入圖像尺寸大小為256×128,網(wǎng)絡基本結(jié)構(gòu)為OSNet50[9],設置batch大小為64.采用Adam優(yōu)化器優(yōu)化參數(shù),模型初始學習率為3.5×10-5.

2.3 實驗結(jié)果分析

2.3.1消融實驗

首先,對DFFSR網(wǎng)絡進行有效性驗證.實驗在MLR-Market-1501數(shù)據(jù)集上進行.采用RestNet50作為特征提取模型,并且測試了不同的超分辨率方法(雙線性插值Bilinear,NLSN[10]和EMASRN+[11]),結(jié)果如表1所示.

表1 不同超分辨率模型的精度對比(準確率,%)

從表1中可以看出,在DFFSR網(wǎng)絡中僅應用注意力分支比僅應用非注意力分支稍有提升,可以得出注意力機制更有利于SR模型感知判別特征.當2個分支結(jié)合后,相對僅應用注意力分支,Rank-1和Rank-5分別提高了2.5%和0.8%,表明將2個分支結(jié)合更有利于低分辨率圖像的恢復,捕獲判別特征.在雙分支的基礎上應用動態(tài)注意力模塊后,精度明顯提升,這說明該模塊可以更好地抑制無效感知區(qū)域,增強對關(guān)鍵特征的感知能力.當結(jié)合高斯掩碼后,Rank-1和Rank-5提升至55.1%和73.6%,表明結(jié)合高斯掩碼后的DFFSR能有效地提取更多的圖像前景關(guān)鍵信息,緩解多分辨率圖像攜帶的高低頻信息特征差異,并且一定程度上增強了模型的檢索性能.通過與目前主流超分辨率模型(NLSN,EMASRN+)對比,算法有明顯提升.

其次,對PSN網(wǎng)絡進行有效性驗證.實驗在MLR-Market-1501數(shù)據(jù)集上進行.采用雙線性插值作為超分辨率重建模塊.為評估PSN網(wǎng)絡不同深度設置的影響,對其進行研究,結(jié)果如表2所示.由于OSNet50有5個殘差塊,表中的C0-S1234為將第一個殘差塊作為淺層,其余4個塊作為偽孿生網(wǎng)絡共享深層.其他方法也以同樣方式命名,其中C01234為沒有設置偽孿生網(wǎng)絡.

表2 PSN網(wǎng)絡不同深度設置的精度對比(準確率,%)

從表2可以看出,C01234在所有方法中性能最差,說明構(gòu)建偽孿生網(wǎng)絡是必要的,并且隨著淺層深度的增加和偽孿生網(wǎng)絡的深度的減小,識別性能先提高后降低.當淺層深度較小時,無法充分提取不同模態(tài)的模態(tài)特征.當淺層深度較大時,不同形態(tài)的2個分支過于獨立,提取的特征差異太大,C012-S34在2個數(shù)據(jù)集上性能最佳.因此實驗將OSNet50的前3個殘差塊設置為淺層,后2個殘差塊設置為偽孿生網(wǎng)絡架構(gòu).

將PSN網(wǎng)絡與四種特征提取模型進行對比,實驗結(jié)果如表3所示.

表3 不同特征提取模型的精度對比(準確率,%)

在表3中可以發(fā)現(xiàn),OSNet50比ResNet50精度少有提升,這是因為ResNet網(wǎng)絡具有下采樣特性,導致分辨率的降低.通過融合2個ResNet50和兩個OSNet50來增加網(wǎng)絡參數(shù)會比單獨1個分支帶來更多邊際改進,進一步提高了網(wǎng)絡精度,其中,Rank-1分別提高了1.5%和1.8%.在比較的方法中,PSN網(wǎng)絡取得了最好的性能,Rank-1比基線高出了6.3%,結(jié)果表明,PSN網(wǎng)絡可以更好地挖掘深層語義特征,增強對判別性特征的提取能力.

最后,進一步驗證DFFSR和PSN對公式(9)中定義的目標函數(shù)的影響.實驗在MLR-Market-1501和MLR-DukeMTMC-ReID數(shù)據(jù)集上進行.為簡單起見用基礎網(wǎng)絡ResNet作為特征提取器.結(jié)果如圖3所示.

圖3 DFFSR和PSN對目標函數(shù)的影響

在具有不同r1和r2組合的2個數(shù)據(jù)集上計算O(r1,r2),其中,圖(a)和(b)是在MLR-Market-1501數(shù)據(jù)集上進行的結(jié)果,圖(c)和(d)是在MLR-DukeMTMC-ReID數(shù)據(jù)集上進行的結(jié)果.圖(a)和(c)為固定r1=r2并將它們的值從0.25增加到1.可以觀察到,較低的分辨率會導致較大的O,從而導致較低的準確率.圖(b)和(d)為固定r2=1并將r1從0.25增加到1.可以得出,2個圖像分辨率差較大時,會降低識別精度.從圖中也可以發(fā)現(xiàn),DFFSR和PSN都降低了目標函數(shù)的值,并且都降低了原始曲線的斜率,意味著所提算法可更好地處理分辨率變化的行人圖像.結(jié)合DFFSR和PSN可帶來最佳性能.

2.3.2與現(xiàn)有主流算法比較

為了驗證所提算法的有效性,將其與最近的7種跨分辨率行人重識別算法(SING[1],CSR-GAN[2],INTACT[3],RIPR[12],CAD-Net[13],CAD-Net++[14]和B-F+RFD[15])比較.在表4中總結(jié)了3個數(shù)據(jù)集的實驗結(jié)果.

表4 與其他先進算法的精度對比(準確率,%)

從表4中可以看出,所提算法在3個數(shù)據(jù)集上的Rank-1和Rank-5指標均超越了之前算法,取得目前領(lǐng)先效果.這說明所提算法可以有效提取跨分辨率行人圖像的模態(tài)不變性特征,以實現(xiàn)更好的檢索與匹配.

3 結(jié)論

針對跨分辨率行人重識別場景復雜等問題,提出了一種跨分辨率行人重識別算法,通過動態(tài)前景聚焦超分辨率重建網(wǎng)絡恢復低分辨率圖像中缺失的判別性特征,通過構(gòu)建多粒度相互協(xié)同的偽孿生網(wǎng)絡實現(xiàn)了對超分辨率重建圖像的精細化識別.通過端到端訓練,使模型強有力地解決了多分辨率圖像特征不一致、網(wǎng)絡級聯(lián)訓練困難等問題.實驗結(jié)果表明,所提算法有效提高了多分辨率情況下的識別準確率,相比于主流算法具有一定優(yōu)勢.