基于多源域遷移學(xué)習(xí)的無(wú)監(jiān)督行人重識(shí)別方法

郭佳驁 劉在田 閏子龍 苗喬偉

近年來(lái)，人們對(duì)社會(huì)公共安全問(wèn)題的關(guān)注度不斷提高。視頻監(jiān)控系統(tǒng)的普及成為創(chuàng)建“平安城市”，提高人民社會(huì)安全感的有效保障。當(dāng)下，解決從監(jiān)控圖像與視頻中尋找已知人物的行人重識(shí)別（ Personre-identification）問(wèn)題被迅速提上日程，在人工智能領(lǐng)域，神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法的應(yīng)用成為解決此復(fù)雜問(wèn)題的重要途經(jīng)。

在深度學(xué)習(xí)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量被標(biāo)注的數(shù)據(jù)集樣本，而在大數(shù)據(jù)快速發(fā)展的今天，在短時(shí)間內(nèi)進(jìn)行大量的數(shù)據(jù)標(biāo)注工作來(lái)實(shí)現(xiàn)監(jiān)督學(xué)習(xí)是不現(xiàn)實(shí)的。無(wú)監(jiān)督遷移學(xué)習(xí)是指將數(shù)據(jù)標(biāo)注這種龐大而復(fù)雜的工程，通過(guò)程序交由計(jì)算機(jī)處理，處理方式可以通過(guò)遷移已有模型進(jìn)行訓(xùn)練。因此，提高無(wú)監(jiān)督學(xué)習(xí)的成效成為當(dāng)下亟待解決的關(guān)鍵問(wèn)題。

目前在無(wú)監(jiān)督研究領(lǐng)域，多數(shù)研究成果是基于遷移學(xué)習(xí)模塊，小部分研究涉及最新的注意力模塊的應(yīng)用，而在多源域方面，目前的研究鮮有涉及。本文通過(guò)結(jié)合“多源域”與“遷移學(xué)習(xí)”，研究行人重識(shí)別問(wèn)題，通過(guò)對(duì)注意力模塊的進(jìn)一步研究，將模塊進(jìn)行結(jié)合并論述多源域無(wú)監(jiān)督算法的可行性與應(yīng)用情況。

研究背景

當(dāng)下，社會(huì)公共安全問(wèn)題逐漸被人們重視，視頻監(jiān)控系統(tǒng)大量普及，實(shí)時(shí)監(jiān)控著人們?cè)诠矆?chǎng)所的行為，并作為安防安保建設(shè)工程的核心內(nèi)容。傳統(tǒng)監(jiān)控體系下的人工排查方式會(huì)耗費(fèi)大量人力物力，在大型監(jiān)控網(wǎng)絡(luò)中存在明顯的劣勢(shì)。因此結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行智能視頻監(jiān)控、跟蹤和檢索成為刑事偵查中亟待解決的重要課題。

行人重識(shí)別是利用計(jì)算機(jī)視覺(jué)技術(shù)判斷圖像，或者視頻序列中是否存在特定行人的技術(shù)，屬于在復(fù)雜視頻環(huán)境下的圖像處理和分析范疇。由于不同設(shè)備之間的差異，會(huì)造成圖像分辨率的差異與視覺(jué)模糊的效果，且行人會(huì)在監(jiān)控視頻中兼具剛性和柔性?xún)芍靥匦?，外觀(guān)易受穿著、姿態(tài)和光照等環(huán)境因素影響，使行人重識(shí)別成為計(jì)算機(jī)視覺(jué)領(lǐng)域中兼具研究?jī)r(jià)值與挑戰(zhàn)性的熱門(mén)課題。

傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)是建立在來(lái)自同一分布樣本集假設(shè)前提下的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。如果其測(cè)試數(shù)據(jù)集數(shù)據(jù)分布發(fā)生改變，那么預(yù)測(cè)分類(lèi)器就必須重新訓(xùn)練學(xué)習(xí)，從而適應(yīng)這種變化?！斑w移學(xué)習(xí)”方法的提出，旨在通過(guò)利用已有數(shù)據(jù)集的可遷移性，輔助目標(biāo)領(lǐng)域預(yù)測(cè)分類(lèi)模型的建立，從而減少對(duì)目標(biāo)領(lǐng)域帶標(biāo)記數(shù)據(jù)的需求。但是，目前遷移學(xué)習(xí)很依賴(lài)源領(lǐng)域與目標(biāo)領(lǐng)域之間的可遷移性關(guān)系，而多源遷移學(xué)習(xí)方法則是從多個(gè)源領(lǐng)域數(shù)據(jù)集中選擇合適的數(shù)據(jù)集進(jìn)行知識(shí)遷移以減少負(fù)遷移，從而避免單一領(lǐng)域數(shù)據(jù)集可能帶來(lái)的風(fēng)險(xiǎn)。

隨著深度學(xué)習(xí)的不斷發(fā)展，面對(duì)現(xiàn)實(shí)問(wèn)題時(shí)數(shù)據(jù)集越來(lái)越多，問(wèn)題也變得越來(lái)越復(fù)雜。當(dāng)有大規(guī)模數(shù)據(jù)集為測(cè)試數(shù)據(jù)集時(shí)，人工標(biāo)記后的訓(xùn)練數(shù)據(jù)集礙于效率與成本的問(wèn)題，難以滿(mǎn)足當(dāng)下對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度提升的要求。因此，無(wú)監(jiān)督遷移學(xué)習(xí)的研究對(duì)行人重識(shí)別重難題的解決有著關(guān)鍵作用。

研究方向與成果

無(wú)監(jiān)督領(lǐng)域：無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)提出后，網(wǎng)絡(luò)訓(xùn)練的效率大大提升，數(shù)據(jù)集的規(guī)模也越來(lái)越大。有學(xué)者提出了使用聚類(lèi)無(wú)監(jiān)督算法，該方法在無(wú)監(jiān)督領(lǐng)域是嶄新的方向，它根據(jù)數(shù)據(jù)的聚類(lèi)情況讓計(jì)算機(jī)學(xué)習(xí)到特征，大大減輕了數(shù)據(jù)標(biāo)注的壓力。但由于是簡(jiǎn)單的聚類(lèi)算法，很多特征計(jì)算機(jī)無(wú)法學(xué)習(xí)成功。因此，該方法雖然減輕了數(shù)據(jù)標(biāo)注壓力，但實(shí)際效果并不理想。

遷移學(xué)習(xí)模塊：遷移學(xué)習(xí)是深度學(xué)習(xí)發(fā)展的里程碑，提出了將針對(duì)某一問(wèn)題已有的訓(xùn)練模型，微調(diào)遷移后應(yīng)用到另一問(wèn)題上的新思路。這對(duì)無(wú)監(jiān)督學(xué)習(xí)的發(fā)展是一大突破，成功運(yùn)用遷移學(xué)習(xí)方法實(shí)現(xiàn)的算法往往并不復(fù)雜。

注意力模型：注意力模型方法的提出使得解決行人重識(shí)別問(wèn)題有了新方向，這是最新提出的圖像處理模塊，意在將指定圖像進(jìn)行判定，并根據(jù)特征選擇圖片中的一部分為注意力模塊進(jìn)行辨別。行人重識(shí)別算法涉及到實(shí)際應(yīng)用時(shí)，也會(huì)遇到更多不確定情況，目前在行人重識(shí)別問(wèn)題中，針對(duì)解決無(wú)監(jiān)督多源域遷移學(xué)習(xí)的問(wèn)題還沒(méi)有成熟的算法。前人為了綜合各個(gè)注意力模塊，提出了使用遷移學(xué)習(xí)進(jìn)行多源域數(shù)據(jù)集統(tǒng)一的方法，但該方法面臨數(shù)據(jù)樣本特征會(huì)在優(yōu)化過(guò)程中弱化，數(shù)據(jù)源域在訓(xùn)練中逐漸出現(xiàn)邊界消失，最后無(wú)法達(dá)到多源域訓(xùn)練目的等問(wèn)題。

核心技術(shù)與算法可行性

對(duì)多源域數(shù)據(jù)集的統(tǒng)一處理：當(dāng)前的無(wú)監(jiān)督遷移學(xué)習(xí)方法大部分都是單源域數(shù)據(jù)集訓(xùn)練，注意力模型的應(yīng)用也不廣，于是我們大膽提出假設(shè)，將遷移學(xué)習(xí)中的注意力模塊試用于多源域數(shù)據(jù)集范疇，并規(guī)范數(shù)據(jù)表示格式，使規(guī)范后的數(shù)據(jù)可以同時(shí)遷移多個(gè)模型進(jìn)行訓(xùn)練，以解決單源域數(shù)據(jù)訓(xùn)練使用效果不佳的問(wèn)題。通過(guò)大量訓(xùn)練，讓網(wǎng)絡(luò)學(xué)習(xí)到各個(gè)注意力模型信息，提高網(wǎng)絡(luò)在不同影響條件下對(duì)行人重識(shí)別問(wèn)題的健壯性，提高網(wǎng)絡(luò)的普適性，令網(wǎng)絡(luò)的判別效果達(dá)到新高度。

通過(guò)科研階段普遍認(rèn)可的三大數(shù)據(jù)集Market-1501，DukeMTMC-REID，CUHK03進(jìn)行評(píng)估。另外，還可以申請(qǐng)從有關(guān)部門(mén)獲取相關(guān)視頻圖像資源，進(jìn)行實(shí)際的適配性檢測(cè)，以證明所提出模型的準(zhǔn)確性、高效性與魯棒性。

基于深度學(xué)習(xí)的圖片特征提?。弘S著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的發(fā)展，時(shí)至今日有許多已成形的特征提取網(wǎng)絡(luò)。網(wǎng)絡(luò)的選取在研究中極為重要，通過(guò)多次不同實(shí)驗(yàn)，比較其效果得出各網(wǎng)絡(luò)的特點(diǎn)與優(yōu)越性，綜合已有數(shù)據(jù)分析后，本文認(rèn)為使用殘差網(wǎng)絡(luò)效果更加。因?yàn)镃NN網(wǎng)絡(luò)對(duì)圖像特征的提取，會(huì)隨網(wǎng)絡(luò)層數(shù)的增多提取到不同級(jí)別的特征，網(wǎng)絡(luò)越深提取到的特征越多，表達(dá)能力越強(qiáng)，深層的網(wǎng)絡(luò)提取到的特征會(huì)很抽象，并且存在語(yǔ)義信息。對(duì)于早期的特征提取網(wǎng)絡(luò)，不斷地增加深度，會(huì)出現(xiàn)梯度彌散或梯度爆炸的問(wèn)題，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練效果不增反減，也使得深度網(wǎng)絡(luò)不能很好地優(yōu)化。而殘差網(wǎng)絡(luò)的優(yōu)點(diǎn)是更容易優(yōu)化，且具有抗干擾性，能夠通過(guò)增加深度來(lái)不斷提高準(zhǔn)確率。

各樣本映射空間與全新的優(yōu)化方案：對(duì)多源域數(shù)據(jù)集樣本的映射處理，需要?jiǎng)?chuàng)新思維定義各數(shù)據(jù)樣本的映射結(jié)果，將樣本對(duì)應(yīng)的映射空間反映在全新的參量中，使多源域樣本映射結(jié)構(gòu)兼具數(shù)據(jù)多樣性與數(shù)據(jù)源域的獨(dú)立性，同時(shí)通過(guò)不斷優(yōu)化與目標(biāo)數(shù)據(jù)域的距離，使方法效果更佳。

關(guān)鍵問(wèn)題解決方案

多源域數(shù)據(jù)集的樣本的分辨率、樣本數(shù)的統(tǒng)一問(wèn)題

針對(duì)此問(wèn)題，可以對(duì)所有樣本進(jìn)行特定的格式化計(jì)算，消除數(shù)據(jù)集內(nèi)樣本屬性不同的問(wèn)題，且保證數(shù)據(jù)集樣本多樣性與數(shù)據(jù)源域的獨(dú)立性，以提高多源域數(shù)據(jù)集的訓(xùn)練效果。

神經(jīng)網(wǎng)絡(luò)特征提取效果低下的問(wèn)題

對(duì)此問(wèn)題，需要進(jìn)行不同網(wǎng)絡(luò)的嵌入對(duì)比實(shí)驗(yàn)，并對(duì)結(jié)果進(jìn)行分析討論，確定對(duì)解決行人重識(shí)別問(wèn)題適配性，更好地特征提取網(wǎng)絡(luò)模型，并嵌入算法中。

新定義樣本映射空間模塊與制定損失優(yōu)化方案的問(wèn)題

可通過(guò)定義權(quán)值參量的計(jì)算方法來(lái)反映數(shù)據(jù)集樣本的貢獻(xiàn)度與每個(gè)數(shù)據(jù)集和目標(biāo)域之間的關(guān)聯(lián)度，通過(guò)控制變量比較其結(jié)果，找出最合適的計(jì)算方法。結(jié)合貢獻(xiàn)度與關(guān)聯(lián)度這2個(gè)權(quán)值對(duì)應(yīng)模塊，可以使樣本的映射空間得到全新定義，更好地解決行人重識(shí)別問(wèn)題。

由于行人重識(shí)別問(wèn)題存在巨大的研究?jī)r(jià)值，很多專(zhuān)家學(xué)者都在提出自己的網(wǎng)絡(luò)算法與優(yōu)化觀(guān)點(diǎn)，目前無(wú)監(jiān)督遷移學(xué)習(xí)作為較難的問(wèn)題，其研究方向潛力巨大，當(dāng)前已有國(guó)際學(xué)者提出較為成熟的網(wǎng)絡(luò)體系。國(guó)內(nèi)也有學(xué)者在不斷改進(jìn)與探索，本文提出的網(wǎng)絡(luò)模型屬于理論研究階段，但可行性與準(zhǔn)確率情況，在數(shù)據(jù)的分析與以往的研究中，均證明改進(jìn)效果明顯，所以有理由相信，我們提出的理論網(wǎng)絡(luò)模型在行人重識(shí)別問(wèn)題上有更好的效果。

越來(lái)越多的研究證明，所提方向是正確可靠的，所以，可以將理論研究成果的算法逐步優(yōu)化并與實(shí)際結(jié)合，也能夠達(dá)到更加方便生活的目的，故存在很強(qiáng)的研究與應(yīng)用價(jià)值。