多階段特征重分布算法的小樣本目標(biāo)檢測(cè)

劉露露，賀占莊，馬 鐘，劉 彬，王 莉

(西安微電子技術(shù)研究所 西安 710065)

近年來，深度神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于多個(gè)計(jì)算機(jī)視覺任務(wù)，如圖像識(shí)別、目標(biāo)檢測(cè)等。深度神經(jīng)網(wǎng)絡(luò)的成功依賴于大量有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，然而大量標(biāo)簽數(shù)據(jù)的獲取在許多實(shí)際應(yīng)用場(chǎng)景，如軍事、醫(yī)療等是非常昂貴、甚至不可能的。因此，如何利用少量標(biāo)簽數(shù)據(jù)實(shí)現(xiàn)對(duì)目標(biāo)任務(wù)的學(xué)習(xí)，即小樣本學(xué)習(xí)(few-shot learning, FSL)，已成為目前深度學(xué)習(xí)的一個(gè)熱點(diǎn)及難點(diǎn)。

根據(jù)網(wǎng)絡(luò)學(xué)習(xí)方式不同，目前小樣本學(xué)習(xí)算法主要有以下幾類：數(shù)據(jù)增廣、遷移學(xué)習(xí)、元學(xué)習(xí)和度量學(xué)習(xí)?；跀?shù)據(jù)增廣的小樣本學(xué)習(xí)算法利用數(shù)據(jù)增廣策略以擴(kuò)充樣本數(shù)據(jù)，主要包括在圖像層進(jìn)行增廣和在圖像特征層進(jìn)行增廣兩種方式[1-4]?；跀?shù)據(jù)增廣的方法通過增加數(shù)據(jù)量的方式緩解樣本不足的問題，通常與其他小樣本學(xué)習(xí)算法結(jié)合起來應(yīng)用，因此本文不做特別研究?；谶w移學(xué)習(xí)的小樣本學(xué)習(xí)算法，通過在大量訓(xùn)練數(shù)據(jù)下學(xué)習(xí)相關(guān)域的知識(shí)，獲取一個(gè)性能較好的初始化模型，并將學(xué)習(xí)到的知識(shí)快速遷移到小樣本任務(wù)中，如IFT[5]，TransMatch[6]及LST[7]等。自文獻(xiàn)[8]提出MAML算法后，元學(xué)習(xí)算法就已廣泛應(yīng)用于小樣本任務(wù)中[9-12]?；谠獙W(xué)習(xí)的小樣本學(xué)習(xí)算法是一種與模型無關(guān)的方法，因而可以應(yīng)用于任何采用基于梯度下降算法優(yōu)化的模型中。元學(xué)習(xí)是一種特殊的遷移學(xué)習(xí)，算法針對(duì)小樣本任務(wù)對(duì)大量訓(xùn)練數(shù)據(jù)不斷進(jìn)行重采樣，以學(xué)習(xí)任務(wù)相關(guān)的元知識(shí)，然后利用元學(xué)習(xí)的思想設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練模式，將學(xué)習(xí)到的元知識(shí)快速泛化到小樣本任務(wù)中，如NTM[10]、MANN[11]及Reptile[12]等。基于度量學(xué)習(xí)的小樣本學(xué)習(xí)算法則是根據(jù)圖像特征間的相似性程度實(shí)現(xiàn)對(duì)圖像的分類，算法通常結(jié)合元學(xué)習(xí)的思想利用大量數(shù)據(jù)訓(xùn)練一個(gè)特征提取網(wǎng)絡(luò)，然后對(duì)特征采取某種相似性度量方式來獲取不同的度量表示，如孿生網(wǎng)絡(luò)[13]、匹配網(wǎng)絡(luò)[14]、原型網(wǎng)絡(luò)[15]及關(guān)系網(wǎng)絡(luò)[16]等。

小樣本學(xué)習(xí)的研究在近年來取得了不錯(cuò)的進(jìn)展，然而仍存在一些挑戰(zhàn)：1)目前針對(duì)小樣本學(xué)習(xí)的研究主要集中于圖像分類任務(wù)，對(duì)小樣本目標(biāo)檢測(cè)任務(wù)的研究較少；2)小樣本目標(biāo)檢測(cè)任務(wù)較之小樣本圖像分類任務(wù)有更大的挑戰(zhàn)?，F(xiàn)有小樣本目標(biāo)檢測(cè)算法大部分借助于小樣本圖像分類算法，如元學(xué)習(xí)[17-20]、遷移學(xué)習(xí)[21-24]等來實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。然而這兩種算法在小樣本目標(biāo)檢測(cè)任務(wù)上均存在一些問題：基于元學(xué)習(xí)的目標(biāo)檢測(cè)算法優(yōu)化難度較大，同時(shí)舍棄了對(duì)源域數(shù)據(jù)的檢測(cè)能力；基于遷移學(xué)習(xí)的算法需要源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)有一定的相似性，即小樣本目標(biāo)數(shù)據(jù)與大量訓(xùn)練數(shù)據(jù)有類似的分布，相似性越高，遷移效率越好。此外，基于元學(xué)習(xí)和遷移學(xué)習(xí)的算法在面對(duì)小樣本任務(wù)時(shí)均未考慮源域數(shù)據(jù)與小樣本目標(biāo)域數(shù)據(jù)間的分布差異，知識(shí)遷移效率較差，因而檢測(cè)精度較低。

因此，為了更好地將先驗(yàn)知識(shí)遷移到目標(biāo)任務(wù)中，提升小樣本目標(biāo)檢測(cè)任務(wù)的檢測(cè)性能，同時(shí)對(duì)源域類別仍有較好的檢測(cè)性能，本文提出了一種多階段特征向量重分布的小樣本目標(biāo)檢測(cè)算法。針對(duì)特征分布不一致的問題，本文提出了一種重分布變換算法，通過對(duì)特征向量進(jìn)行變換，使得源域特征和小樣本目標(biāo)域特征有相同或相似的分布；為了進(jìn)一步提高域知識(shí)的遷移效率，提出了一種多階段逐步微調(diào)的策略，將知識(shí)逐步遷移到目標(biāo)域中，從而實(shí)現(xiàn)對(duì)小樣本目標(biāo)任務(wù)的高精度檢測(cè)。

1 本文算法總體結(jié)構(gòu)

1.1 小樣本目標(biāo)檢測(cè)定義

小樣本任務(wù)旨在從源域數(shù)據(jù)集Db中學(xué)習(xí)域相關(guān)的知識(shí)，并利用少量目標(biāo)域數(shù)據(jù)集Ds將知識(shí)遷移到目標(biāo)域任務(wù)中。Ds為 目標(biāo)任務(wù)的訓(xùn)練集，Dq為目標(biāo)任務(wù)的測(cè)試集，用于衡量算法對(duì)小樣本任務(wù)的泛化能力。因此，小樣本任務(wù)的數(shù)據(jù)集D包含3 個(gè)部分：Db，Ds和Dq。 其 中，Ds和Dq共 同組成小樣本 目 標(biāo) 任 務(wù) 的 目 標(biāo) 域 數(shù) 據(jù) 集Dn。Db、Ds和Dq定義為：

式中，C表示數(shù)據(jù)集D的全部目標(biāo)類別；Cb為源域目標(biāo)類別；Cn為目標(biāo)域待檢測(cè)類別；x為輸入圖像；y表示每個(gè)候選區(qū)域ci及 其對(duì)應(yīng)的目標(biāo)類別li。若目標(biāo)域訓(xùn)練數(shù)據(jù)集Ds中 待檢測(cè)類別Cn包 含有N個(gè)類別，每個(gè)類別有K張圖像，則將該任務(wù)記為N?wayK?shot任務(wù)。小樣本目標(biāo)檢測(cè)任務(wù)中，通常取N=5，K={1,2,3,5,10}。

為了更加準(zhǔn)確地測(cè)試算法性能，減小數(shù)據(jù)泄露的風(fēng)險(xiǎn)，Db、Ds和Dq應(yīng)滿足：

1.2 方法概述

本文提出一種面向小樣本目標(biāo)檢測(cè)任務(wù)的域知識(shí)遷移模型，模型對(duì)候選區(qū)域特征進(jìn)行重分布變換以使得源域和目標(biāo)域有相似的特征分布，利用源域數(shù)據(jù)集Db和 目標(biāo)域數(shù)據(jù)集Dn進(jìn)行多階段學(xué)習(xí)，實(shí)現(xiàn)小樣本下域知識(shí)的高效遷移。本文選取廣泛使用的目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster RCNN[25]作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。

本文提出的算法模型MSFR 結(jié)構(gòu)如圖1 所示。第一階段利用大量源域數(shù)據(jù)Db學(xué)習(xí)域相關(guān)的知識(shí)，需對(duì)網(wǎng)絡(luò)的所有模塊進(jìn)行學(xué)習(xí)。后續(xù)階段訓(xùn)練旨在將學(xué)習(xí)到的源域知識(shí)逐步遷移到目標(biāo)域中，因而在知識(shí)遷移的過程中需凍結(jié)相關(guān)模塊的參數(shù)：其中，灰色部分和短線點(diǎn)部分表示在不同訓(xùn)練階段所需凍結(jié)參數(shù)的模塊；長(zhǎng)短線部分表示該階段需額外使用的數(shù)據(jù)，分類模塊使用余弦分類器。具體學(xué)習(xí)過程將在下面詳細(xì)介紹。

圖1 本文算法模型結(jié)構(gòu)圖

原Faster RCNN 網(wǎng)絡(luò)的候選區(qū)域分類模塊cls 使用全連接層分類器來實(shí)現(xiàn)，然而全連接層分類器旨在尋找類別間的最佳分類面，當(dāng)訓(xùn)練樣本較少時(shí)難以實(shí)現(xiàn)。為了更好地適用于小樣本任務(wù)，本文提出使用余弦相似性度量分類器代替原網(wǎng)絡(luò)中的全連接層分類器。設(shè)目標(biāo)類別數(shù)為c，則候選區(qū)域分類器需將候選區(qū)域分為c+1類(包含背景目標(biāo))，分類器cls 的權(quán)重矩陣W可以寫為[w1,w2,w3,···,wc+1]， 其中wj表 示類別j的權(quán)重向量。余弦分類器的計(jì)算如下：

式中，x表示輸入圖像；xi表 示輸入圖像的第i個(gè)候選區(qū)域；j表示目標(biāo)類別；fROI(xi) 表 示第i個(gè)候選區(qū)域的特征；di,j表 示候選區(qū)域xi與 目標(biāo)類別j的余弦相似性距離。

為了便于表述，本文將模型θ 記 為θ=θbc+θRPN+θcls+θReg， 其中， θbc表示特征提取模塊， θRPN表示候選區(qū)域提取模塊， θcls和 θReg表示分類模塊及回歸模塊。

2 特征向量重分布

根據(jù)中心極限定理，在許多實(shí)際應(yīng)用場(chǎng)景中，當(dāng)統(tǒng)計(jì)數(shù)據(jù)足夠多的情況下，許多統(tǒng)計(jì)變量都可近似用高斯分布來表示。同時(shí)，目前的深度學(xué)習(xí)算法都遵循數(shù)據(jù)獨(dú)立同分布這一基本假設(shè)，然而，在面對(duì)小樣本任務(wù)時(shí)，難以估計(jì)出樣本真正的分布。同時(shí)，在知識(shí)遷移過程中，若源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的分布相同或相似，遷移效率會(huì)得到有效提升；若二者的分布差異較大，則遷移效果較差?，F(xiàn)有小樣本目標(biāo)檢測(cè)算法均是將大量源域數(shù)據(jù)上學(xué)習(xí)到的知識(shí)遷移到小樣本目標(biāo)域任務(wù)中，但無法保證源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)有相同的數(shù)據(jù)分布。因此，本文提出一種特征向量重分布算法，將特征向量分布變換為高斯分布或類高斯分布，然后進(jìn)行后續(xù)的處理。

特征重分布變換函數(shù)需滿足以下條件：1)該變換函數(shù)為一個(gè)嚴(yán)格遞增的函數(shù)，即在變換后仍保持原數(shù)據(jù)的大小關(guān)系，只是數(shù)據(jù)的相對(duì)大小發(fā)生了改變。2)該變換函數(shù)是一個(gè)連續(xù)函數(shù)，使得原始數(shù)據(jù)中比較集中的數(shù)據(jù)在變換后仍比較集中。3)該變換函數(shù)是一個(gè)可導(dǎo)函數(shù)。

因此本文提出的重分布變換方式如式(4)所示，設(shè)原特征向量為x，重分布后的特征向量為y：

式中，x為 向量x的平均值；g=xλ+1；c為一個(gè)常數(shù)，用以保證輸入為一個(gè)恒大于零的數(shù)；λ ∈[?2,2]為一個(gè)超參，用于調(diào)整變換后的分布。

該變換的基本原理是：若向量x的各元素與向量均值xˉ間的差異較小，則減小元素間的相對(duì)距離；若向量x的各元素與向量均值xˉ間的差異較大，則增大元素間的相對(duì)距離；通過改變向量間元素的相對(duì)距離來改變其分布。參數(shù) λ直接作用于變換后元素間的相對(duì)距離，因此 λ對(duì)變換后的分布有著直接影響。

為了選取合適的 λ以得到最好的檢測(cè)精度，本文對(duì)λ ∈[?2,2]進(jìn)行遍歷，步長(zhǎng)為0.1。

3 多階段微調(diào)訓(xùn)練

Faster RCNN 網(wǎng) 絡(luò) 主 要 包 括 θbc、 θRPN、 θcls及θReg。其中， θbc用 于提取圖像特征； θRPN用于提取包含目標(biāo)的候選區(qū)域，該模塊僅對(duì)候選框中是否包含目標(biāo)進(jìn)行判斷，并不關(guān)心候選框包含何種目標(biāo)，因而這兩部分與具體檢測(cè)類別相關(guān)性較小；候選框分類模塊 θcls、 候選框回歸模塊 θReg則需識(shí)別候選框包含何種目標(biāo)并對(duì)目標(biāo)進(jìn)行精確定位，與待檢測(cè)類別密切相關(guān)[21]。因此，本文提出了一種多階段微調(diào)訓(xùn)練策略，以使得將學(xué)習(xí)到的域知識(shí)更好地遷移到目標(biāo)任務(wù)中。

3.1 第一階段基類模型訓(xùn)練

第一階段基類網(wǎng)絡(luò)學(xué)習(xí)過程中，利用源域數(shù)據(jù)集Db用于訓(xùn)練一個(gè)泛化能力較強(qiáng)的特征提取模塊和目標(biāo)候選區(qū)域提取模塊。在Faster RCNN 的基礎(chǔ)上，結(jié)合本文提出的特征向量重分布算法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，改進(jìn)后其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。算法對(duì)候選區(qū)域特征進(jìn)行重分布變換，使得同一類別間的特征分布保持一致或類似，以提高目標(biāo)檢測(cè)精度，候選區(qū)域分類器使用余弦相似性度量分類器。

圖2 第一階段基類模型訓(xùn)練

該階段網(wǎng)絡(luò)的損失函數(shù)L與文獻(xiàn)[25]保持一致，為：

式中，LRPN為 候選區(qū)域提取模塊的損失函數(shù)；Lcls為候選區(qū)域分類模塊的交叉熵?fù)p失函數(shù)；LReg為Smooth L1 損失函數(shù)。

3.2 第二階段微調(diào)訓(xùn)練

在基類模型訓(xùn)練完成后，特征提取模塊 θbc、候選區(qū)域提取模塊θRPN具有非常好的性能，且具有較好的泛化能力，因此在第二階段微調(diào)訓(xùn)練時(shí)將這幾個(gè)模塊的參數(shù)凍結(jié)(即參數(shù)在訓(xùn)練過程中不進(jìn)行更新)，只對(duì)候選區(qū)域分類 θcls及 回歸模塊 θReg進(jìn)行訓(xùn)練，其流程如圖3 所示。圖中，灰色部分表示在訓(xùn)練中需凍結(jié)的模塊，即凍結(jié)θbc+θRPN， 只對(duì) θcls和θReg進(jìn)行微調(diào)訓(xùn)練。

圖3 第二階段微調(diào)訓(xùn)練

第二階段微調(diào)過程中使用目標(biāo)域數(shù)據(jù)Ds訓(xùn)練，對(duì)于N?wayK?shot任 務(wù)，Ds數(shù) 據(jù)集包含N個(gè)類別，每個(gè)類別均只有K張圖像。

該階段微調(diào)訓(xùn)練的損失函數(shù)與基類訓(xùn)練的損失函數(shù)保持一致。但由于微調(diào)訓(xùn)練數(shù)據(jù)集Ds數(shù)量較少、微調(diào)過程只對(duì)模型的少數(shù)參數(shù)進(jìn)行更新等原因，若采用與第一階段訓(xùn)練過程中相同的學(xué)習(xí)率，微調(diào)模型難以跳出鞍點(diǎn)，使得模型難以收斂。因此，在該階段訓(xùn)練中，學(xué)習(xí)率設(shè)置為第一階段基類訓(xùn)練學(xué)習(xí)率的0.1 倍。

3.3 第三階段微調(diào)訓(xùn)練

在第二階段訓(xùn)練結(jié)束后，網(wǎng)絡(luò)對(duì)目標(biāo)類別Cn有了一定的檢測(cè)能力，但卻舍棄了對(duì)源域類別Cb的檢測(cè)性能；此外，雖然Faster RCNN 網(wǎng)絡(luò)的最后一層(分類、回歸模塊)對(duì)小樣本任務(wù)有非常重要的作用，但是對(duì)于新類別，候選區(qū)域提取模塊也起著至關(guān)重要的作用。因此本文提出在第二階段微調(diào)模型的基礎(chǔ)上進(jìn)行進(jìn)一步地學(xué)習(xí)，將候選區(qū)域提取模塊學(xué)習(xí)到的知識(shí)更好地遷移到小樣本任務(wù)中。該階段的網(wǎng)絡(luò)流程如圖4 所示。

圖4 第三階段微調(diào)訓(xùn)練

第三階段微調(diào)使用的數(shù)據(jù)Df由兩部分構(gòu)成，Ds和Db_f，其中，Ds為 第二階段訓(xùn)練數(shù)據(jù)，Db_f為對(duì)源域數(shù)據(jù)集Db進(jìn)行重采樣后組成的基類小樣本數(shù)據(jù)集。Db_f的采樣過程如下：針對(duì)N?wayK?shot任務(wù)，對(duì)源域數(shù)據(jù)集Db中 的每個(gè)類別li∈Cb隨機(jī)選取K個(gè)樣本，若源域類別Cb有Nb個(gè) 類別，則Db_f共有Nb×K張圖像。

同樣地，圖4 中灰色部分表示在訓(xùn)練中凍結(jié)θbc的參數(shù)。該階段微調(diào)訓(xùn)練的學(xué)習(xí)率設(shè)置為第一階段基類訓(xùn)練學(xué)習(xí)率的0.05 倍。

本文的算法流程實(shí)現(xiàn)如下：

1) 數(shù)據(jù)集準(zhǔn)備。源域訓(xùn)練集Db， 對(duì)Db進(jìn)行重采樣的少量數(shù)據(jù)集Db_f，目標(biāo)域數(shù)據(jù)集Ds。

2) 第一階段訓(xùn)練。訓(xùn)練過程如3.1 節(jié)所述，所得模型記為θ1=θbc_1+θRPN_1+θcls_1+θReg_1。

3) 第二階段訓(xùn)練。將 θ1的最后一層刪除并根據(jù)Ds的 類別數(shù)對(duì)最后一層進(jìn)行隨機(jī)賦值，記為 θ1′；凍結(jié) θ1′中 θbc和 θRPN的 參數(shù)，使用數(shù)據(jù)Ds對(duì) θ1′進(jìn)行訓(xùn)練。訓(xùn)練過程如3.2 節(jié)所述，所得模型記為θ2=θbc_1+θRPN_1+θcls_2+θReg_2。

4) 第三階段訓(xùn)練。將 θ1和 θ2進(jìn)行融合做為第三階 段 訓(xùn) 練 的 初 始 模 型 θ2′， 即θ2′=θbc_1+θRPN_1+(θcls_1+θcls_2)+(θReg_1+θReg_2) ， 可以看出， θ2′對(duì)源域類別和目標(biāo)域類別已具有一定的檢測(cè)能力；為了進(jìn)一步提高模型的檢測(cè)性能，進(jìn)行進(jìn)一步的微調(diào)訓(xùn)練：凍 結(jié) θ2′中 的 θbc_1，對(duì) 其 余 模 塊 參 數(shù) 進(jìn) 行 訓(xùn)練。訓(xùn)練過程如3.3 節(jié)所示。所得模型記為θ3=θbc_1+θRPN_3+θcls_3+θReg_3。

4 實(shí)驗(yàn)結(jié)果及分析

為了評(píng)估本文算法的有效性，在VOC 數(shù)據(jù)集上與目前多個(gè)小樣本目標(biāo)檢測(cè)方法進(jìn)行對(duì)比。

4.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

本節(jié)使用的VOC 數(shù)據(jù)集包括2007 和2012 兩個(gè)版本。VOC2007 包含20 類圖像共9 963 張，其中訓(xùn)練集5 011 張，測(cè)試集4 952 張。VOC2012 是VOC2007 數(shù)據(jù)集的升級(jí)版，共20 類11 530 張。本文主要研究N?wayK?shot任務(wù)下小樣本目標(biāo)檢測(cè)的精度，其中，N=5，K={1,2,3,5,10}。為了驗(yàn)證算法的魯棒性，本文對(duì)VOC 數(shù)據(jù)集進(jìn)行劃分，以構(gòu)造小樣本任務(wù)，劃分方式與文獻(xiàn)[14-20]保持一致。數(shù)據(jù)集的劃分共有3 種分組方式，每次劃分從VOC 數(shù)據(jù)集的20 個(gè)類別中選取15 類作為源域數(shù)據(jù)集Db進(jìn)行第一階段訓(xùn)練，其余5 類作為目標(biāo)域數(shù)據(jù)Dn， 小樣本待檢測(cè)目標(biāo)類別記為Cn。每個(gè)類從2007 和2012 版本的集合中隨機(jī)采樣K張圖像作為目標(biāo)域訓(xùn)練數(shù)據(jù)集Ds，該類別的其余圖像作為目標(biāo)域測(cè)試集Dq。精度衡量指標(biāo)使用AP50，置信度為0.5。本文實(shí)驗(yàn)環(huán)境為Ubuntu18.04，編程語言為Python1.6、Pytorch1.6 深度學(xué)習(xí)框架，顯卡為Nvidia v100s，顯卡支持為CUDA10.0。

特征提取網(wǎng)絡(luò)模塊使用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet101 模型。多階段訓(xùn)練時(shí)batchsize設(shè)置為16，優(yōu)化算法使用SDG。第一階段基類模型訓(xùn)練時(shí)，初始學(xué)習(xí)率設(shè)置為0.02，訓(xùn)練次數(shù)為20 000 次；第二階段微調(diào)訓(xùn)練時(shí)，初始學(xué)習(xí)率設(shè)置為0.002；第三階段微調(diào)訓(xùn)練時(shí)，初始學(xué)習(xí)率設(shè)置為0.000 1。

文獻(xiàn)[26]表明，當(dāng) λ =0.7時(shí)，該變換在小樣本圖像分類任務(wù)中取得了最好的效果。因此，本文在后續(xù)實(shí)驗(yàn)中，均選取上述超參。

4.2 精度分析

本節(jié)實(shí)驗(yàn)將對(duì)VOC 數(shù)據(jù)集3 種不同劃分方式分別記為Novel1、Novel2、Novel3。為了更好地衡量算法的整體檢測(cè)性能，本文采用文獻(xiàn)[18]中的評(píng)價(jià)指標(biāo)：其中，對(duì)源域類別的平均檢測(cè)精度記為bAp，目標(biāo)類別的平均檢測(cè)精度記為nAp，對(duì)VOC 數(shù)據(jù)集全部20 個(gè)類別的檢測(cè)精度記為Ap。

在不同劃分下，首先利用源域數(shù)據(jù)集Db進(jìn)行第一階段訓(xùn)練，算法對(duì)源域類別Cb的檢測(cè)精度如表1 所示。由表1 可知，特征重分布算法在大量訓(xùn)練數(shù)據(jù)下對(duì)目標(biāo)檢測(cè)精度略有影響，較之原Faster RCNN 網(wǎng)絡(luò)對(duì)源域類別的檢測(cè)精度提升約0.15%。

表1 第一階段源域類別檢測(cè)精度 %

在完成第一階段訓(xùn)練后，分別對(duì)不同劃分進(jìn)行第二、三階段的微調(diào)訓(xùn)練，對(duì)比結(jié)果如表2 所示，其中加黑部分為各任務(wù)下的最優(yōu)精度。

從表2 可以看出，本文算法在3 個(gè)劃分方式上對(duì)多個(gè)任務(wù)都達(dá)到了最好精度，較其余算法均有明顯提升，尤其是樣本少的時(shí)候提升更為明顯(如對(duì)1-3 shot 任務(wù))。在多個(gè)任務(wù)上，較其余最好精度提升了0.42%～9.06%，驗(yàn)證了本文算法的有效性；此外，在不同劃分下，隨著樣本數(shù)的增加，目標(biāo)檢測(cè)精度也隨之不斷提升。表3 為不同算法在VOC 數(shù)據(jù)集不同劃分不同任務(wù)下對(duì)新類別的檢測(cè)精度，其中加黑部分為各任務(wù)下對(duì)新類別的最優(yōu)精度。由表3 可以看出，各任務(wù)下本文算法對(duì)多數(shù)類別的檢測(cè)精度都有明顯提升。Meta-RCNN 對(duì)某些類別的檢測(cè)精度可以達(dá)到最優(yōu)，然而會(huì)損耗對(duì)其余類別的檢測(cè)精度。如對(duì)于Novel2 劃分下5-shot 任務(wù)，Meta-RCNN 對(duì)cow、horse 兩個(gè)類別達(dá)到了最優(yōu)精度，然而對(duì)bottle 的檢測(cè)精度最低，只有0.3%。此外，對(duì)于Novel2 劃分，本文算法和對(duì)比算法的檢測(cè)精度較之Novel1 和Novel3 均有較大差距。這是由于Novel2 中，新類別的形狀、顏色、尺寸等變化較大，目標(biāo)尺寸較小，僅使用5 個(gè)樣本難以學(xué)習(xí)到表征能力足夠的類別相關(guān)特征。而對(duì)于類間變化較小的類別，僅使用少量樣本如1-shot、2-shot，即可達(dá)到50%左右的精度。

表2 本文算法與現(xiàn)有算法在VOC 數(shù)據(jù)集不同任務(wù)上的精度對(duì)比 %

表3 本文算法與現(xiàn)有算法在VOC 數(shù)據(jù)集不同劃分不同任務(wù)下對(duì)新類別的檢測(cè)精度 %

%續(xù)表

由于本文算法在微調(diào)訓(xùn)練的數(shù)據(jù)集Df不僅包含目標(biāo)域數(shù)據(jù)集Ds，也包含源域數(shù)據(jù)Db_f，因此與基于元學(xué)習(xí)的算法在訓(xùn)練完成后只保留對(duì)新類別數(shù)據(jù)的檢測(cè)能力相比，本文算法在大幅提升對(duì)新類別檢測(cè)精度的同時(shí)，仍保留了對(duì)源域數(shù)據(jù)類別的檢測(cè)能力。3 種不同劃分 5?shot任務(wù)下對(duì)源域類別、目標(biāo)類別、全部類別的檢測(cè)精度如表4所示。

表4 同劃分方式下在5-shot 任務(wù)下的檢測(cè)性能 %

通過表3 和表4 可知，在不同劃分下本文算法對(duì)源域類別的檢測(cè)精度基本一致，平均可達(dá)到78.72%，較第一階段精度僅下降約3%左右，有效證明了本文算法在提升小樣本目標(biāo)檢測(cè)精度的同時(shí)，仍保持了對(duì)源域類別的檢測(cè)性能。

4.3 計(jì)算復(fù)雜度分析

與Faster RCNN 相比，本文提出的MSFR 網(wǎng)絡(luò)結(jié)構(gòu)有兩點(diǎn)改進(jìn)：特征重分布模塊和余弦相似度分類模塊。因此，本文針對(duì)這兩個(gè)模塊分別進(jìn)行復(fù)雜度分析。設(shè)候選區(qū)域特征維度為N，本實(shí)驗(yàn)中N=512。

特征重分布模塊：由式(4)可知，特征重分布模塊中包含加法、冪運(yùn)算、減法、除法4 種運(yùn)算，因此該模塊的計(jì)算量為FLOPs=4N=2 048

余弦相似度分類模塊：為了簡(jiǎn)化余弦相似度計(jì)算過程，本實(shí)驗(yàn)在進(jìn)行余弦相似度計(jì)算過程時(shí)，首先對(duì)wj和fROI(xi)進(jìn)行標(biāo)準(zhǔn)化處理，則式(3)簡(jiǎn)化為di,j=wj fROI(xi)?？梢钥闯?，簡(jiǎn)化后的余弦相似度計(jì)算與全連接層的計(jì)算一致。因此，該模塊中增加的計(jì)算量在于特征向量標(biāo)準(zhǔn)化計(jì)算過程。標(biāo)準(zhǔn)化計(jì)算包含減法、除法兩種運(yùn)算，則該模塊較之全連接分類器增加的計(jì)算量為F LOPs=2×2N=2 048。

MSFR 增 加 的 計(jì) 算 量 為 FLOPs=4 096。與Faster RCNN 相比，MSFR 額外增加的計(jì)算量可以忽略不計(jì)。

4.4 消融實(shí)驗(yàn)

為了驗(yàn)證特征向量重分布算法的有效性，本文對(duì)該模塊進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示。其中，MS 表示無特征重分布模塊的多階段學(xué)習(xí)算法，可以看出，特征向量重分布算法對(duì)小樣本目標(biāo)類別的檢測(cè)精度有著直接影響。較之無特征向量重分布模塊，本文算法在不同任務(wù)上對(duì)目標(biāo)類別的平均檢測(cè)精度提高了4.62%，樣本數(shù)量越少，提升越顯著，如對(duì)于K≤3的任務(wù)，精度提升最高達(dá)10.67%，平均提升5.89%。

為了驗(yàn)證特征重分布變換對(duì)特征分布的影響，本文在測(cè)試過程中提取重分布變換層輸入和輸出的特征向量，并對(duì)其特征分布進(jìn)行可視化分析，如圖5 所示。其中，圖5a 為特征變換前分布，圖5b為變換后的特征分布?？梢钥闯?，特征向量在變換前是一種長(zhǎng)尾分布，而經(jīng)重分布變換后的特征分布為一個(gè)類高斯分布。

圖5 VOC 數(shù)據(jù)集上5-shot 檢測(cè)結(jié)果示意圖

圖6 展示了本文算法在VOC 數(shù)據(jù)集上5-shot任務(wù)下對(duì)不同劃分中新類別的檢測(cè)結(jié)果示意圖?？梢钥闯?，本文算法在不同場(chǎng)景下對(duì)目標(biāo)類別都具有較好的檢測(cè)能力。

圖6 特征向量重分布變換

5 結(jié) 束 語

針對(duì)現(xiàn)有小樣本目標(biāo)檢測(cè)的研究未考慮數(shù)據(jù)分布知識(shí)遷移效率的影響及檢測(cè)精度較低的問題，本文提出了一種多階段特征重分布的小樣本目標(biāo)檢測(cè)算法，在VOC 數(shù)據(jù)集的大量實(shí)驗(yàn)都取得了較高的檢測(cè)精度。本文結(jié)論如下：1)提出了基于特征重分布算法的小樣本目標(biāo)檢測(cè)算法。該方法將特征向量分布變換為高斯分布或類高斯分布，以保證小樣本目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)有相同或相似的數(shù)據(jù)分布。2)提出了一種多階段微調(diào)訓(xùn)練策略，提高了知識(shí)遷移效率。該方法通過分階段凍結(jié)不同模塊參數(shù)，將不同模塊知識(shí)逐步遷移到小樣本任務(wù)中。本文算法在不同任務(wù)下對(duì)小樣本目標(biāo)域類別的檢測(cè)精度提高了0.42%～9.06%。尤其對(duì)典型的5-shot 任務(wù)，本文算法對(duì)源域類別的平均檢測(cè)精度達(dá)78.72%，較第一階段檢測(cè)精度僅下降2.60%；對(duì)小樣本目標(biāo)域類別的最高檢測(cè)精度可達(dá)56.66%。大量實(shí)驗(yàn)表明，本文算法在提升小樣本目標(biāo)檢測(cè)精度的同時(shí)，對(duì)源域類別的檢測(cè)性能未有顯著降低。

實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)于尺寸較小的目標(biāo)檢測(cè)精度較差。因此在將來的研究工作中，考慮使用注意力機(jī)制來抑制背景區(qū)域特征對(duì)目標(biāo)的干擾，以提高模型對(duì)小目標(biāo)的檢測(cè)性能，同時(shí)將本文算法推廣到紅外、遙感等圖像的小樣本目標(biāo)檢測(cè)任務(wù)中。