小樣本學(xué)習(xí)研究綜述*

趙凱琳 ,靳小龍 ,王元卓

1(中國(guó)科學(xué)院 計(jì)算技術(shù)研究所 網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100190)

2(中國(guó)科學(xué)院大學(xué) 計(jì)算機(jī)與控制學(xué)院,北京 100049)

隨著大數(shù)據(jù)時(shí)代的到來(lái),深度學(xué)習(xí)模型已經(jīng)在圖像分類、文本分類等任務(wù)中取得了先進(jìn)成果.但深度學(xué)習(xí)模型的成功,很大程度上依賴于大量訓(xùn)練數(shù)據(jù).而在現(xiàn)實(shí)世界的真實(shí)場(chǎng)景中,某些類別只有少量數(shù)據(jù)或少量標(biāo)注數(shù)據(jù),而對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)注將會(huì)消耗大量的時(shí)間和人力.與此相反,人類只需要通過(guò)少量數(shù)據(jù)就能做到快速學(xué)習(xí).例如,一個(gè)五六歲的小孩子從未見(jiàn)過(guò)企鵝,但如果給他看過(guò)一張企鵝的圖像,當(dāng)他進(jìn)入動(dòng)物園看到真正的企鵝時(shí),就會(huì)馬上認(rèn)出這是自己曾經(jīng)在圖像上見(jiàn)過(guò)的“企鵝”,這就是機(jī)器學(xué)習(xí)和人類學(xué)習(xí)之間存在的差距.受到人類學(xué)習(xí)觀點(diǎn)的啟發(fā)[1],小樣本學(xué)習(xí)(few-shot learning)[2,3]的概念被提出,使得機(jī)器學(xué)習(xí)更加靠近人類思維.

早在20 世紀(jì)八九十年代,就有一些研究人員注意到了單樣本學(xué)習(xí)(one-shot learning)的問(wèn)題.直到2003 年,Li等人[4]才正式提出了單樣本學(xué)習(xí)的概念.他們認(rèn)為:當(dāng)新的類別只有一個(gè)或幾個(gè)帶標(biāo)簽的樣本時(shí),已經(jīng)學(xué)習(xí)到的舊類別可以幫助預(yù)測(cè)新類別[5].小樣本學(xué)習(xí)也叫做少樣本學(xué)習(xí)(low-shot learning)[6],其目標(biāo)是從少量樣本中學(xué)習(xí)到解決問(wèn)題的方法.與小樣本學(xué)習(xí)相關(guān)的概念還有零樣本學(xué)習(xí)(zero-shot learning)[7]等.零樣本學(xué)習(xí)是指在沒(méi)有訓(xùn)練數(shù)據(jù)的情況下,利用類別的屬性等信息訓(xùn)練模型,從而識(shí)別新類別.

小樣本學(xué)習(xí)的概念最早從計(jì)算機(jī)視覺(jué)(computer vision)[8]領(lǐng)域興起,近幾年受到廣泛關(guān)注,在圖像分類任務(wù)中已有很多性能優(yōu)異的算法模型[9-11].但是在自然語(yǔ)言處理領(lǐng)域(natural language processing)[12]的發(fā)展較為緩慢,原因在于圖像和語(yǔ)言特性不同.圖像相比文本更為客觀,所以當(dāng)樣本數(shù)量較少時(shí),圖像的特征提取比文本更加容易[13].不過(guò)近年來(lái),小樣本學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域也有了一些研究和發(fā)展[14-16].根據(jù)所采用方法的不同,本文將小樣本學(xué)習(xí)分為基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)這3 種.基于模型微調(diào)的方法首先在含有大量數(shù)據(jù)的源數(shù)據(jù)集上訓(xùn)練一個(gè)分類模型,然后在含有少量數(shù)據(jù)的目標(biāo)數(shù)據(jù)集上對(duì)模型進(jìn)行微調(diào).但這種做法可能導(dǎo)致模型過(guò)擬合,因?yàn)樯倭繑?shù)據(jù)并不能很好地反映大量數(shù)據(jù)的真實(shí)分布情況.為解決上述過(guò)擬合的問(wèn)題,基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)的小樣本學(xué)習(xí)方法被提出.基于數(shù)據(jù)增強(qiáng)的方法是利用輔助數(shù)據(jù)集或者輔助信息增強(qiáng)目標(biāo)數(shù)據(jù)集中樣本的特征或擴(kuò)充對(duì)目標(biāo)數(shù)據(jù)集,使模型能更好地提取特征.本文根據(jù)學(xué)習(xí)方法的不同,將基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)方法進(jìn)一步細(xì)分為基于無(wú)標(biāo)簽數(shù)據(jù)、基于數(shù)據(jù)合成和基于特征增強(qiáng)這3 類方法.基于遷移學(xué)習(xí)的方法是目前比較前沿的方法,是指將已經(jīng)學(xué)會(huì)的知識(shí)遷移到一個(gè)新的領(lǐng)域中.本文根據(jù)學(xué)習(xí)框架,將基于遷移學(xué)習(xí)的方法細(xì)分為基于度量學(xué)習(xí)、基于元學(xué)習(xí)和基于圖神經(jīng)網(wǎng)絡(luò)(graph neural network)的方法.在度量學(xué)習(xí)的框架下,目前已有許多性能較好的小樣本學(xué)習(xí)模型,例如比較著名的原型網(wǎng)絡(luò)(prototypical network)[9]和匹配網(wǎng)絡(luò)(matching network)[17]等.基于元學(xué)習(xí)的方法不僅在目標(biāo)任務(wù)上訓(xùn)練模型,并且從許多不同的任務(wù)中學(xué)習(xí)元知識(shí),當(dāng)一個(gè)新的任務(wù)到來(lái)時(shí),利用元知識(shí)調(diào)整模型參數(shù),使模型能夠快速收斂.近年來(lái),隨著圖神經(jīng)網(wǎng)絡(luò)的興起,研究者將圖神經(jīng)網(wǎng)絡(luò)也應(yīng)用到小樣本學(xué)習(xí)中,取得了先進(jìn)的結(jié)果.

除了圖像分類和文本分類這兩個(gè)主要任務(wù),許多其他任務(wù)也面臨著小樣本問(wèn)題.在計(jì)算機(jī)視覺(jué)應(yīng)用中,利用小樣本學(xué)習(xí)進(jìn)行人臉識(shí)別[8,18,19]、食品識(shí)別[20]、表情識(shí)別[21]、手寫(xiě)字體識(shí)別[22,23]以及其他的圖像識(shí)別[24].在自然語(yǔ)言處理應(yīng)用中,使用小樣本方法實(shí)現(xiàn)對(duì)話系統(tǒng)[25]、口語(yǔ)理解[26],或者完成NLP 的基本任務(wù),例如word embedding[27].在多媒體領(lǐng)域應(yīng)用中,可以使用小樣本方法實(shí)現(xiàn)影像提取[28]和聲紋識(shí)別[29]等.在生物與醫(yī)學(xué)領(lǐng)域,可以應(yīng)用于疾病診斷[30,31]、臨床實(shí)驗(yàn)[32,33]、護(hù)士能力評(píng)價(jià)[34]、農(nóng)作物病害識(shí)別[35,36]、水量分析[37]等.在經(jīng)濟(jì)領(lǐng)域,可應(yīng)用于產(chǎn)品銷量預(yù)測(cè)[38]等.在工業(yè)與軍事領(lǐng)域,可應(yīng)用于齒輪泵壽命預(yù)測(cè)[39]、軍事目標(biāo)識(shí)別[40]和目標(biāo)威脅評(píng)估[41]等.

本文首先從基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)這3 種方法介紹小樣本學(xué)習(xí)的研究進(jìn)展,總結(jié)小樣本學(xué)習(xí)的幾個(gè)著名數(shù)據(jù)集以及已有模型在這些數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果;接下來(lái),本文對(duì)小樣本學(xué)習(xí)的研究現(xiàn)狀和主要挑戰(zhàn)進(jìn)行總結(jié);最后展望了未來(lái)的發(fā)展趨勢(shì).

1 基于模型微調(diào)的小樣本學(xué)習(xí)

基于模型微調(diào)的方法是小樣本學(xué)習(xí)較為傳統(tǒng)的方法,該方法通常在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練模型,在目標(biāo)小樣本數(shù)據(jù)集上對(duì)神經(jīng)網(wǎng)絡(luò)模型的全連接層或者頂端幾層進(jìn)行參數(shù)微調(diào),得到微調(diào)后的模型.若目標(biāo)數(shù)據(jù)集和源數(shù)據(jù)集分布較類似,可采用模型微調(diào)的方法.

為了使微調(diào)后的小樣本分類模型取得較好的效果,使用何種微調(diào)方法需要被考慮.Howard 等人[14]在2018年提出了一個(gè)通用微調(diào)語(yǔ)言模型(universal language model fine-tuning,簡(jiǎn)稱ULMFit).與其他模型不同的是,此方法使用了語(yǔ)言模型而非深度神經(jīng)網(wǎng)絡(luò).該模型分為3 個(gè)階段:(1) 語(yǔ)言模型預(yù)訓(xùn)練;(2) 語(yǔ)言模型微調(diào);(3) 分類器微調(diào).該模型的創(chuàng)新點(diǎn)在于改變學(xué)習(xí)速率來(lái)微調(diào)語(yǔ)言模型,主要體現(xiàn)在兩個(gè)方面.

1)傳統(tǒng)方法認(rèn)為,模型每一層學(xué)習(xí)速率相同;而ULMFit 中,語(yǔ)言模型的每一層學(xué)習(xí)速率均不相同.模型底層表示普遍特征,這些特征不需要很大調(diào)整,所以學(xué)習(xí)速率較慢;而高層特征更具有獨(dú)特性,更能體現(xiàn)出任務(wù)和數(shù)據(jù)的獨(dú)有特征,于是高層特征需要用更大的學(xué)習(xí)速率學(xué)習(xí).總體看來(lái),模型底層到最高層學(xué)習(xí)速率不斷加快.

2)對(duì)于模型中的同一層,當(dāng)?shù)螖?shù)變化時(shí),自身學(xué)習(xí)率也會(huì)相應(yīng)地產(chǎn)生變化.作者提出了斜三角學(xué)習(xí)率的概念,當(dāng)?shù)螖?shù)從0 開(kāi)始增加時(shí),學(xué)習(xí)速率逐漸變大;當(dāng)?shù)螖?shù)增長(zhǎng)到某個(gè)固定值時(shí),此時(shí)已經(jīng)學(xué)習(xí)到了足夠知識(shí),固定值之后的學(xué)習(xí)率又開(kāi)始逐步下降.

論文從縱向和橫向兩個(gè)維度學(xué)習(xí)速率的變化對(duì)語(yǔ)言模型進(jìn)行微調(diào),讓模型更快地在小樣本數(shù)據(jù)集上收斂;同時(shí),讓模型學(xué)習(xí)到的知識(shí)更符合目標(biāo)任務(wù).另外,Nakamura 等人[42]提出了一種微調(diào)方法,主要包含以下幾個(gè)機(jī)制:(1) 在小樣本類別上再訓(xùn)練的過(guò)程使用更低的學(xué)習(xí)率;(2) 在微調(diào)階段使用自適應(yīng)的梯度優(yōu)化器;3) 當(dāng)源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間存在較大差異性時(shí),可以通過(guò)調(diào)整整個(gè)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn).

基于模型微調(diào)的方法較簡(jiǎn)單,但是在真實(shí)場(chǎng)景中,目標(biāo)數(shù)據(jù)集和源數(shù)據(jù)集往往并不類似,采用模型微調(diào)的方法會(huì)導(dǎo)致模型在目標(biāo)數(shù)據(jù)集上過(guò)擬合.為解決模型在目標(biāo)數(shù)據(jù)集上過(guò)擬合的問(wèn)題,兩種解決思路被提出:基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)的方法.這兩種方法將在接下來(lái)的兩個(gè)章節(jié)中依次介紹.

2 基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)

小樣本學(xué)習(xí)的根本問(wèn)題在于樣本量過(guò)少,從而導(dǎo)致樣本多樣性變低.在數(shù)據(jù)量有限的情況下,可以通過(guò)數(shù)據(jù)增強(qiáng)(data augmentation)[43]來(lái)提高樣本多樣性.數(shù)據(jù)增強(qiáng)指借助輔助數(shù)據(jù)或輔助信息,對(duì)原有的小樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng).數(shù)據(jù)擴(kuò)充是向原有數(shù)據(jù)集添加新的數(shù)據(jù),可以是無(wú)標(biāo)簽數(shù)據(jù)或者合成的帶標(biāo)簽數(shù)據(jù);特征增強(qiáng)是在原樣本的特征空間中添加便于分類的特征,增加特征多樣性.基于上述概念,本文將基于數(shù)據(jù)增強(qiáng)的方法分為基于無(wú)標(biāo)簽數(shù)據(jù)、基于數(shù)據(jù)合成和基于特征增強(qiáng)的方法三種.接下來(lái),就這3 種方法分別介紹小樣本學(xué)習(xí)的進(jìn)展.

2.1 基于無(wú)標(biāo)簽數(shù)據(jù)的方法

基于無(wú)標(biāo)簽數(shù)據(jù)的方法是指利用無(wú)標(biāo)簽數(shù)據(jù)對(duì)小樣本數(shù)據(jù)集進(jìn)行擴(kuò)充,常見(jiàn)的方法有半監(jiān)督學(xué)習(xí)[44,45]和直推式學(xué)習(xí)[46]等.半監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域研究的重點(diǎn)問(wèn)題[47],將半監(jiān)督方法應(yīng)用到小樣本學(xué)習(xí)現(xiàn)在已經(jīng)有了許多嘗試.2016 年,Wang 等人[48]在半監(jiān)督學(xué)習(xí)的思想下,同時(shí)受到CNN 可遷移性的啟發(fā),提出利用一個(gè)附加的無(wú)監(jiān)督元訓(xùn)練階段,讓多個(gè)頂層單元接觸真實(shí)世界中大量的無(wú)標(biāo)注數(shù)據(jù).通過(guò)鼓勵(lì)這些單元學(xué)習(xí)無(wú)標(biāo)注數(shù)據(jù)中低密度分離器的diverse sets,捕獲一個(gè)更通用的、更豐富的對(duì)視覺(jué)世界的描述,將這些單元從與特定的類別集的聯(lián)系中解耦出來(lái)(也就是不僅僅能表示特定的數(shù)據(jù)集).作者提出了一個(gè)無(wú)監(jiān)督的margin最大化函數(shù)來(lái)聯(lián)合估計(jì)高密度區(qū)域的影響并推測(cè)低密度分離器.低密度分離器(LDS)模塊可以插入任何標(biāo)準(zhǔn)的CNN 架構(gòu)的頂層.除此之外,Boney 等人[49]在2018 年提出使用MAML[11]模型來(lái)進(jìn)行半監(jiān)督學(xué)習(xí),利用無(wú)標(biāo)簽數(shù)據(jù)調(diào)整嵌入函數(shù)的參數(shù),用帶標(biāo)簽數(shù)據(jù)調(diào)整分類器的參數(shù).MAML 算法本文將在第3.2 節(jié)詳細(xì)介紹.2018 年,Ren 等人[50]在原型網(wǎng)絡(luò)[9]的基礎(chǔ)上進(jìn)行改進(jìn),加入了無(wú)標(biāo)注數(shù)據(jù),取得了更高的準(zhǔn)確率.此模型本文將在第3.1 節(jié)進(jìn)行詳細(xì)介紹.

直推式學(xué)習(xí)可看作半監(jiān)督學(xué)習(xí)的子問(wèn)題.直推式學(xué)習(xí)假設(shè)未標(biāo)注數(shù)據(jù)是測(cè)試數(shù)據(jù),目的是在這些未標(biāo)記數(shù)據(jù)上取得最佳泛化能力.Liu 等人[51]使用了直推式學(xué)習(xí)的方法,在2019 年提出了轉(zhuǎn)導(dǎo)傳播網(wǎng)絡(luò)(transductive propagation network)來(lái)解決小樣本問(wèn)題.轉(zhuǎn)導(dǎo)傳播網(wǎng)絡(luò)分為4 個(gè)階段:特征嵌入、圖構(gòu)建、標(biāo)簽傳播和損失計(jì)算.該模型在特征嵌入階段,將所有的標(biāo)注數(shù)據(jù)和無(wú)標(biāo)注數(shù)據(jù)通過(guò)嵌入函數(shù)f映射到向量空間中;在圖構(gòu)建階段,使用構(gòu)建函數(shù)g將嵌入向量構(gòu)建為無(wú)向圖中的節(jié)點(diǎn),連邊權(quán)重由兩個(gè)節(jié)點(diǎn)計(jì)算高斯相似度得到;隨后,根據(jù)公式F*=(I-αS)(-1)Y來(lái)進(jìn)行標(biāo)簽傳播(其中,F*是標(biāo)簽預(yù)測(cè)結(jié)果,S是歸一化之后的連邊權(quán)重,Y是初始標(biāo)簽的矩陣),讓標(biāo)簽從標(biāo)注數(shù)據(jù)傳播到無(wú)標(biāo)注數(shù)據(jù);最后,通過(guò)交叉熵函數(shù)計(jì)算損失,用反向傳播更新嵌入函數(shù)和構(gòu)建函數(shù)的參數(shù).另外,Hou 等人[52]也提出了一個(gè)交叉注意力網(wǎng)絡(luò)(cross attention network),基于直推式學(xué)習(xí)的思想,利用注意力機(jī)制為每對(duì)類特征和查詢生成交叉注意映射對(duì)特征進(jìn)行采樣,突出目標(biāo)對(duì)象區(qū)域,使提取的特征更具鑒別性.其次,提出了一種轉(zhuǎn)換推理算法,為了緩解數(shù)據(jù)量過(guò)少的問(wèn)題,迭代地利用未標(biāo)記的查詢集以增加支持集,從而使類別特性更具代表性.

2.2 基于數(shù)據(jù)合成的方法

基于數(shù)據(jù)合成的方法是指為小樣本類別合成新的帶標(biāo)簽數(shù)據(jù)來(lái)擴(kuò)充訓(xùn)練數(shù)據(jù),常用的算法有生成對(duì)抗網(wǎng)絡(luò)(generative adversarial net)[53]等.Mehrotra 等人[54]將GAN 應(yīng)用到小樣本學(xué)習(xí)中,提出了生成對(duì)抗殘差成對(duì)網(wǎng)絡(luò)(generative adversarial residual pairwise network)來(lái)解決單樣本學(xué)習(xí)問(wèn)題.算法使用基于GAN 的生成器網(wǎng)絡(luò)對(duì)不可見(jiàn)的數(shù)據(jù)分布提供有效的正則表示,用殘差成對(duì)網(wǎng)絡(luò)作為判別器來(lái)度量成對(duì)樣本的相似性,如圖1 的流程圖所示.

· 輸入樣本為xt,為了防止生成器簡(jiǎn)單復(fù)制原樣本,首先對(duì)xt進(jìn)行破壞得到損壞樣本tx～,將x～t輸入到生成器G中得到生成樣本x,x的另一個(gè)來(lái)源是真實(shí)的數(shù)據(jù)集.

· 其次,xt空間變換后輸入到判別器D中,同時(shí)輸入的還有樣本x.

· 隨后,判別器會(huì)給出3 種判別結(jié)果:(1)x是真實(shí)樣本,并且x與xt不同;(2)x是真實(shí)樣本,并且x與xt相似;(3)x是假樣本.

Fig.1 An indicative figure of generative adversarial residual pairwise network[54]圖1 生成對(duì)抗殘差成對(duì)網(wǎng)絡(luò)示意圖[54]

除了基于GAN 的數(shù)據(jù)合成方法,Hariharan 等人[55]提出了一種新的方法,該方法分為兩個(gè)階段:表示學(xué)習(xí)階段和小樣本學(xué)習(xí)階段.

· 表示學(xué)習(xí)階段是指在含有大量數(shù)據(jù)的源數(shù)據(jù)集上學(xué)習(xí)一個(gè)通用的表示模型,在此階段中,作者提出一個(gè)新的損失函數(shù)——平方梯度量級(jí)損失來(lái)提升表示學(xué)習(xí)的效果.

· 小樣本學(xué)習(xí)階段是指在少量數(shù)據(jù)的新類別中微調(diào)模型,在此階段中,本文提出了生成新數(shù)據(jù)的方法來(lái)為小樣本類別進(jìn)行數(shù)據(jù)增強(qiáng).

作者認(rèn)為,屬于同一類別的兩個(gè)樣本之間存在著一個(gè)轉(zhuǎn)換.那么給定新類別的一個(gè)樣本x,通過(guò)這個(gè)轉(zhuǎn)換,生成器G可以生成屬于該類別的新樣本.

Wang 等人[56]將元學(xué)習(xí)與數(shù)據(jù)生成相結(jié)合,提出了通過(guò)數(shù)據(jù)生成模型生成虛擬數(shù)據(jù)來(lái)擴(kuò)充樣本的多樣性,并結(jié)合當(dāng)前比較先進(jìn)的元學(xué)習(xí)方法,通過(guò)端到端方法共同訓(xùn)練生成模型和分類算法.通過(guò)讓現(xiàn)有圖像的一些屬性和特征發(fā)生變化,如拍照姿態(tài)改變、光照改變、位置遷移等,遷移到新的樣本上,從而生成具有不同變化的新樣本圖像,實(shí)現(xiàn)數(shù)據(jù)的擴(kuò)充.此外,本模型可以套用任何元學(xué)習(xí)模型,具有靈活性.

但是現(xiàn)有的數(shù)據(jù)生成方法具有以下缺點(diǎn):(1) 沒(méi)有捕捉到復(fù)雜的數(shù)據(jù)分布;(2) 不能泛化到小樣本的類別;(3) 生成的特征不具有可解釋性.Xian 等人[57]為解決上述問(wèn)題,將變分編碼器(VAE)和GAN 進(jìn)行結(jié)合,充分利用了兩者的優(yōu)勢(shì)集成了一個(gè)新的網(wǎng)絡(luò)f-VAEGAN-D2.這個(gè)網(wǎng)絡(luò)再完成小樣本學(xué)習(xí)圖像分類的同時(shí),能夠?qū)⑸蓸颖镜奶卣骺臻g通過(guò)自然語(yǔ)言的形式表現(xiàn)出來(lái),具有可解釋性.Chen 等人[58]對(duì)此繼續(xù)研究,提出可以利用元學(xué)習(xí)對(duì)訓(xùn)練集的圖像對(duì)支持集進(jìn)行插值,形成擴(kuò)充的支持集集合:首先,從元訓(xùn)練集的集合中每一類隨機(jī)選擇幾個(gè)樣本,形成集合G;其次,針對(duì)某個(gè)任務(wù)提取支持集的特征,形成最近鄰分類器,對(duì)集合G中的所有圖像分類,找到概率最高的N個(gè)圖像;將對(duì)應(yīng)的圖像加權(quán)得到擴(kuò)充的圖像,圖像標(biāo)簽與原圖像保持一致;最后,用擴(kuò)充的支持集與查詢樣本計(jì)算分類損失,用來(lái)優(yōu)化權(quán)重生成子網(wǎng)絡(luò).

2.3 基于特征增強(qiáng)的方法

以上兩種方法都是利用輔助數(shù)據(jù)來(lái)增強(qiáng)樣本空間,除此之外,還可通過(guò)增強(qiáng)樣本特征空間來(lái)提高樣本的多樣性,因?yàn)樾颖緦W(xué)習(xí)的一個(gè)關(guān)鍵是如何得到一個(gè)泛化性好的特征提取器.Dixit 等人[59]提出了AGA(attributedguided augmentation)模型學(xué)習(xí)合成數(shù)據(jù)的映射,使樣本的屬性處于期望的值或強(qiáng)度.然而,將基于合成數(shù)據(jù)的網(wǎng)絡(luò)應(yīng)用到真實(shí)圖像中具有遷移學(xué)習(xí)的問(wèn)題,但之前的方法都不適用于具有姿態(tài)物體的遷移,AGA 是一個(gè)解決方法,但是它的軌跡是離散的,不能連續(xù).所以基于此,Liu 等人[60]提出了特征遷移網(wǎng)絡(luò)(FATTEN),用于描述物體姿態(tài)變化引起的運(yùn)動(dòng)軌跡變化.與其他特征提取不同的是,該方法對(duì)物品的外觀和姿態(tài)分別有一個(gè)預(yù)測(cè)器.網(wǎng)絡(luò)包括一個(gè)編碼器和一個(gè)解碼器,編碼器將CNN 對(duì)目標(biāo)圖像的特征x映射為一對(duì)外觀A(x)和姿態(tài)P(x)參數(shù),然后,解碼器需要這些參數(shù)產(chǎn)生相應(yīng)的特征向量x.

此外,Schwartz 等人[61]提出了Delta 編碼器,通過(guò)看到少量樣本來(lái)為不可見(jiàn)的類別合成新樣本,將合成樣本用于訓(xùn)練分類器.該模型既能提取同類訓(xùn)練樣本之間可轉(zhuǎn)移的類內(nèi)變形,也能將這些增量應(yīng)用到新類別的小樣本中,以便有效地合成新類樣本.但此方法的特征增強(qiáng)過(guò)于簡(jiǎn)單,無(wú)法顯著改善分類邊界[1].為解決這個(gè)問(wèn)題,Chen 等人[62]提出了一個(gè)雙向網(wǎng)絡(luò)TriNet,他們認(rèn)為,圖像的每個(gè)類別在語(yǔ)義空間中具有更豐富的特征,所以通過(guò)標(biāo)簽語(yǔ)義空間和圖像特征空間的相互映射,可以對(duì)圖像的特征進(jìn)行增強(qiáng).該模型用一個(gè)4 層卷積神經(jīng)網(wǎng)絡(luò)ResNet-18 提取圖像的視覺(jué)特征,再通過(guò)TriNet 的編碼器將視覺(jué)特征映射到語(yǔ)義空間,在語(yǔ)義空間中進(jìn)行數(shù)據(jù)增強(qiáng);之后,通過(guò)TriNet 的解碼器將增強(qiáng)后的語(yǔ)義特征映射回圖像的特征空間.例如,shark 這個(gè)類別在語(yǔ)義空間中與已知的一些類別fish,whale_shark 和halobios 距離較近,即代表它們的語(yǔ)義相似,TriNet 可借用這些鄰近類別的特征來(lái)調(diào)整網(wǎng)絡(luò)中用于特征提取的參數(shù),幫助模型更好地提取圖像特征.

但是在上面的方法中,分類網(wǎng)絡(luò)通常提取的特征只關(guān)注最具有判別性的區(qū)域,而忽略了其他判別性較弱的區(qū)域,不利于網(wǎng)絡(luò)的泛化.為了解決這個(gè)問(wèn)題,Shen 等人[63]提出可以把固定的注意力機(jī)制換成不確定的注意力機(jī)制M.輸入的圖像經(jīng)提取特征后進(jìn)行平均池化,分類得到交叉熵?fù)p失l.用l對(duì)M求梯度,得到使l最大的更新方向從而更新M.其次,將提取的特征與更新后的M相乘,得到對(duì)抗特征,得到分類損失l1;將初始特征再經(jīng)過(guò)多個(gè)卷積,得到一維特征對(duì)其分類,得到分類損失l2.這兩個(gè)分類器共享參數(shù),從而使得高層特征對(duì)底層特征具有一定的指導(dǎo)作用,從而優(yōu)化網(wǎng)絡(luò).

通過(guò)梳理基于數(shù)據(jù)增強(qiáng)的小樣本學(xué)習(xí)模型的研究進(jìn)展,可以思考未來(lái)的兩個(gè)改進(jìn)方向.

1)更好地利用無(wú)標(biāo)注數(shù)據(jù).由于真實(shí)世界中存在著大量的無(wú)標(biāo)注數(shù)據(jù),不利用這些數(shù)據(jù)會(huì)損失很多信息,更好、更合理地使用無(wú)標(biāo)注數(shù)據(jù),是一個(gè)非常重要的改進(jìn)方向.

2)更好地利用輔助特征.小樣本學(xué)習(xí)中,由于樣本量過(guò)少導(dǎo)致特征多樣性降低.為提高特征多樣性,可利用輔助數(shù)據(jù)集或者輔助屬性進(jìn)行特征增強(qiáng),從而幫助模型更好地提取特征來(lái)提升分類的準(zhǔn)確率.

3 基于遷移學(xué)習(xí)的小樣本學(xué)習(xí)

遷移學(xué)習(xí)是指利用舊知識(shí)來(lái)學(xué)習(xí)新知識(shí),主要目標(biāo)是將已經(jīng)學(xué)會(huì)的知識(shí)很快地遷移到一個(gè)新的領(lǐng)域中[64].舉例說(shuō)明:一個(gè)程序員在掌握了C 語(yǔ)言的前提下,能夠更快地理解和學(xué)習(xí)Python 語(yǔ)言.遷移學(xué)習(xí)主要解決的一個(gè)問(wèn)題是小樣本問(wèn)題.基于模型微調(diào)的方法在源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集分布大致相同時(shí)有效,分布不相似時(shí)會(huì)導(dǎo)致過(guò)擬合問(wèn)題.遷移學(xué)習(xí)則解決了這個(gè)問(wèn)題.遷移學(xué)習(xí)只需要源領(lǐng)域和目標(biāo)領(lǐng)域存在一定關(guān)聯(lián),使得在源領(lǐng)域和數(shù)據(jù)中學(xué)習(xí)到的知識(shí)和特征能夠幫助在目標(biāo)領(lǐng)域訓(xùn)練分類模型,從而實(shí)現(xiàn)知識(shí)在不同領(lǐng)域之間的遷移.一般來(lái)說(shuō),源領(lǐng)域和目標(biāo)領(lǐng)域之間的關(guān)聯(lián)性越強(qiáng),那么遷移學(xué)習(xí)的效果就會(huì)越好[65].近年來(lái),遷移學(xué)習(xí)這個(gè)新興的學(xué)習(xí)框架受到了越來(lái)越多研究人員的關(guān)注,很多性能優(yōu)異的小樣本算法模型被提出.在遷移學(xué)習(xí)中,數(shù)據(jù)集被劃分為3 部分:訓(xùn)練集(training set)、支持集(support set)和查詢集(query set).其中,訓(xùn)練集是指源數(shù)據(jù)集,一般包含大量的標(biāo)注數(shù)據(jù);支持集是指目標(biāo)領(lǐng)域中的訓(xùn)練樣本,包含少量標(biāo)注數(shù)據(jù);查詢集是目標(biāo)領(lǐng)域中的測(cè)試樣本.

隨著深度學(xué)習(xí)的發(fā)展,深度神經(jīng)網(wǎng)絡(luò)常被用來(lái)學(xué)習(xí)樣本的嵌入函數(shù),如卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)[66]、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)[67]和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory)等.在圖像分類任務(wù)中,常使用卷積神經(jīng)網(wǎng)絡(luò)作為嵌入網(wǎng)絡(luò),比較常用的變型包括VGG,Inception,Resnet 等.Wang 等人[68]基于遷移學(xué)習(xí)的思想,在2016 年提出了回歸網(wǎng)絡(luò)(regression network)來(lái)解決小樣本問(wèn)題.他們認(rèn)為:一個(gè)由少量樣本訓(xùn)練的模型和一個(gè)由大量樣本訓(xùn)練的模型之間存在一個(gè)通用的忽略類別的轉(zhuǎn)換T,這個(gè)轉(zhuǎn)換T由回歸網(wǎng)絡(luò)學(xué)習(xí)得到.通過(guò)T的轉(zhuǎn)換,可以把由小樣本訓(xùn)練得到的效果不佳的模型,映射為由大量樣本訓(xùn)練得到的效果較好的模型.兩個(gè)模型的轉(zhuǎn)換實(shí)質(zhì)上是模型參數(shù)的映射,即,將一個(gè)模型的權(quán)重映射到另一個(gè)模型.

近年來(lái),隨著遷移學(xué)習(xí)的興起,與之相關(guān)的模型也不斷涌現(xiàn).但是在以前的遷移學(xué)習(xí)算法中,源網(wǎng)絡(luò)中的某一層遷移到目標(biāo)網(wǎng)絡(luò)中的某一層是人工給定的,并且是將所有的特征映射都遷移,沒(méi)有考慮遷移到哪里和遷移多少的問(wèn)題.Jang 等人[69]專注于遷移學(xué)習(xí)中遷移什么(what)和遷移到哪里(where)的問(wèn)題,提出利用元學(xué)習(xí)來(lái)學(xué)習(xí)遷移特征映射的權(quán)重和遷移層的權(quán)重來(lái)解決這個(gè)問(wèn)題,同時(shí)提出了一步學(xué)習(xí)的策略,只用一步來(lái)適應(yīng)目標(biāo)數(shù)據(jù)集.該方法同時(shí)在小樣本數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),但是效果提升沒(méi)有大規(guī)模數(shù)據(jù)集多.根據(jù)遷移學(xué)習(xí)的方法不同,本文將其分為基于度量學(xué)習(xí)、基于元學(xué)習(xí)和基于圖神經(jīng)網(wǎng)絡(luò)的方法這3 類.接下來(lái)就這3 類方法中典型的算法模型及研究進(jìn)展進(jìn)行介紹.

3.1 基于度量學(xué)習(xí)的方法

在數(shù)學(xué)概念中,度量指衡量?jī)蓚€(gè)元素之間距離的函數(shù),也叫做距離函數(shù)[70].度量學(xué)習(xí)也稱為相似度學(xué)習(xí),是指通過(guò)給定的距離函數(shù)計(jì)算兩個(gè)樣本之間的距離,從而度量它們的相似度[71].在深度學(xué)習(xí)中,我們通常采用歐氏距離、馬氏距離和余弦相似度等[72,73]作為距離函數(shù).將度量學(xué)習(xí)的框架應(yīng)用到小樣本學(xué)習(xí)上,顧名思義,就是通過(guò)計(jì)算待分類樣本和已知分類樣本之間的距離,找到鄰近類別來(lái)確定待分類樣本的分類結(jié)果.基于度量學(xué)習(xí)方法的通用流程如圖2 所示,該框架具有兩個(gè)模塊:嵌入模塊和度量模塊,將樣本通過(guò)嵌入模塊嵌入向量空間,再根據(jù)度量模塊給出相似度得分.基于度量學(xué)習(xí)的方法通常采用episodic training,是指將數(shù)據(jù)集分為多個(gè)任務(wù)進(jìn)行訓(xùn)練,每個(gè)任務(wù)從訓(xùn)練集中隨機(jī)采樣C-wayK-shot 的樣本,即選出C個(gè)類別,每個(gè)類別含有K個(gè)樣本,通過(guò)多次采樣構(gòu)建多個(gè)任務(wù).當(dāng)進(jìn)行訓(xùn)練時(shí),將多個(gè)任務(wù)依次輸入到模型中,這就是episodic training.在測(cè)試時(shí),一般從剩余的樣本中選取一個(gè)batch 來(lái)進(jìn)行測(cè)試.

Koch 等人[74]在2015 年最先提出使用孿生神經(jīng)網(wǎng)絡(luò)(siamese neural network)進(jìn)行單樣本圖像識(shí)別.孿生神經(jīng)網(wǎng)絡(luò)是一種相似性度量模型,當(dāng)類別數(shù)多但每個(gè)類別的樣本數(shù)量少的情況下,可用于類別的識(shí)別.孿生神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)度量,進(jìn)而利用學(xué)習(xí)到的度量比較和匹配未知類別的樣本,兩個(gè)孿生神經(jīng)網(wǎng)絡(luò)共享一套參數(shù)和權(quán)重.其主要思想是:通過(guò)嵌入函數(shù)將輸入映射到目標(biāo)空間,使用簡(jiǎn)單的距離函數(shù)進(jìn)行相似度計(jì)算.孿生神經(jīng)網(wǎng)絡(luò)在訓(xùn)練階段最小化一對(duì)相同類別樣本的損失,最大化一對(duì)不同類別樣本的損失.該模型使用兩個(gè)CNN 提取輸入圖像的特征,將圖像映射成向量.輸入是一對(duì)樣本而不是單個(gè)樣本,同一類樣本標(biāo)簽為1,不同類為0;然后,通過(guò)交叉熵函數(shù)計(jì)算損失.對(duì)于單樣本學(xué)習(xí),訓(xùn)練集中每個(gè)類別只有一個(gè)樣本,所以測(cè)試集中的每張圖像和訓(xùn)練集中的每個(gè)樣本都組成一個(gè)樣本對(duì),依次輸入到孿生神經(jīng)網(wǎng)絡(luò)中,得到每對(duì)樣本的距離.選取距離最小的訓(xùn)練樣本的標(biāo)簽作為測(cè)試樣本的類別,從而完成分類.

Fig.2 Generalized flow chart of the metric learning based models[17]圖2 基于度量學(xué)習(xí)的模型通用流程圖[17]

Vinyals 等人[17]繼續(xù)就單樣本學(xué)習(xí)問(wèn)題進(jìn)行深入探討,在2016 年提出了匹配網(wǎng)絡(luò)(matching network),該網(wǎng)絡(luò)可將帶標(biāo)簽的小樣本數(shù)據(jù)和不帶標(biāo)簽的樣本映射到對(duì)應(yīng)的標(biāo)簽上.針對(duì)單樣本學(xué)習(xí)問(wèn)題,該模型使用LSTM將樣本映射到低維向量空間中,新樣本與每個(gè)帶標(biāo)簽樣本計(jì)算相似度,使用核密度估計(jì)函數(shù)(kernel density estimation)輸出預(yù)測(cè)標(biāo)簽.核密度估計(jì)函數(shù)專注于從數(shù)據(jù)樣本本身出發(fā)來(lái)研究數(shù)據(jù)的分布特征,是在概率論中用來(lái)估計(jì)未知的密度函數(shù),屬于非參數(shù)檢驗(yàn)方法.該模型在兩個(gè)方面進(jìn)行了創(chuàng)新.

· 一是在模型層面提出了匹配網(wǎng)絡(luò)的概念.匹配網(wǎng)絡(luò)使用公式計(jì)算目標(biāo)樣本與已知標(biāo)簽樣本之間的相似度,其中,支持集是待分類樣本,y? 是待分類樣本的預(yù)測(cè)標(biāo)簽.在此公式中,a可以看作注意力機(jī)制,yi看作約束于xi的記憶單元,即匹配網(wǎng)絡(luò)在計(jì)算中引入了外部記憶和注意力機(jī)制.

· 二是訓(xùn)練過(guò)程中保持訓(xùn)練集和測(cè)試集的匹配.這與機(jī)器學(xué)習(xí)中獨(dú)立同分布的概念相似,在保證訓(xùn)練集和測(cè)試集獨(dú)立同分布的條件下,訓(xùn)練模型在測(cè)試集上也能取得較好的效果.

Jiang 等人[75]基于匹配網(wǎng)絡(luò)的思想,將嵌入函數(shù)改進(jìn)為4 層的卷積神經(jīng)網(wǎng)絡(luò),分別采用雙向LSTM 和基于注意力機(jī)制的LSTM 算法深入提取訓(xùn)練樣本和測(cè)試樣本中更加關(guān)鍵和有用的特征并進(jìn)行編碼;最后,在平方歐氏距離上利用softmax非線性分類器對(duì)測(cè)試樣本分類.實(shí)驗(yàn)結(jié)果表明,改進(jìn)的匹配網(wǎng)絡(luò)在類別數(shù)更多而樣本數(shù)較少的復(fù)雜場(chǎng)景下具有更好的分類效果.

在基于度量學(xué)習(xí)的單樣本圖像分類方面,上述方法都是從圖像本身特征出發(fā),沒(méi)有考慮到分類標(biāo)簽這一信息.Wang 等人[76]認(rèn)為需要將圖像的分類標(biāo)簽納入考慮,并提出了多注意力網(wǎng)絡(luò)模型(multi-attention network).該模型使用GloVe Embedding 將圖像的標(biāo)簽嵌入到向量空間,通過(guò)構(gòu)建標(biāo)簽語(yǔ)義特征和圖像特征之間的注意力機(jī)制,得到一張圖像屬于該標(biāo)簽的特征主要集中于哪一個(gè)部分(單注意力)或哪幾個(gè)部分(多注意力),利用注意力機(jī)制更新該圖像的向量,最后通過(guò)距離函數(shù)計(jì)算相似度得到分類結(jié)果.

盡管上述模型已經(jīng)取得了較好的成果,但它們針對(duì)的都是單樣本學(xué)習(xí)問(wèn)題.為了進(jìn)一步深入解決小樣本問(wèn)題,Snell 等人[9]在2017 年提出了原型網(wǎng)絡(luò)(prototypical network).作者認(rèn)為,每個(gè)類別在向量空間中都存在一個(gè)原型(prototype),也稱作類別中心點(diǎn).原型網(wǎng)絡(luò)使用深度神經(jīng)網(wǎng)絡(luò)將圖像映射成向量,對(duì)于同屬一個(gè)類別的樣本,求得這一類樣本向量的平均值作為該類別的原型.通過(guò)不斷訓(xùn)練模型和最小化損失函數(shù),使得同一類別內(nèi)的樣本距離更為靠近,不同類別的樣本更為遠(yuǎn)離,從而更新嵌入函數(shù)的參數(shù).原型網(wǎng)絡(luò)的思路如圖3 所示,輸入樣本x,比較x的向量和每個(gè)類別原型的歐式距離.根據(jù)計(jì)算發(fā)現(xiàn),x與原型2 的距離更近,也就代表x與原型2 所代表的類別更為相似,于是將x分到類別2.

Fig.3 A case study of prototypical networks[9]圖3 原型網(wǎng)絡(luò)樣例[9]

原型網(wǎng)絡(luò)的思想和實(shí)現(xiàn)方法都十分簡(jiǎn)單明晰,但效果與之前的工作相比得到了一定的提升.但是僅僅使用標(biāo)注數(shù)據(jù)得到的結(jié)果不一定是準(zhǔn)確的,因?yàn)闃颖玖刻贂?huì)導(dǎo)致分類邊界偏差.針對(duì)這個(gè)不足之處,Ren 等人[50]于2018 年在原型網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行擴(kuò)展,使用了半監(jiān)督學(xué)習(xí)的思想,在訓(xùn)練集中加入了不帶標(biāo)簽的數(shù)據(jù)來(lái)改善分類邊界.實(shí)驗(yàn)證明:無(wú)標(biāo)簽數(shù)據(jù)的加入,提高了分類效果.原因在于:原型網(wǎng)絡(luò)只使用帶標(biāo)簽數(shù)據(jù)進(jìn)行原型的計(jì)算,但是帶標(biāo)簽數(shù)據(jù)數(shù)量較少導(dǎo)致了類別中心的計(jì)算不準(zhǔn)確;而改進(jìn)的網(wǎng)絡(luò)加入了無(wú)標(biāo)簽數(shù)據(jù)之后,對(duì)類別的原型進(jìn)行了修正,使得待分類樣本能夠得到正確的分類.論文中對(duì)這種使用半監(jiān)督方法的原型網(wǎng)絡(luò)提出了3 種變型.

· 第1 種,所有的無(wú)標(biāo)簽數(shù)據(jù)都屬于帶標(biāo)簽的數(shù)據(jù)所屬的類別.在這種假設(shè)下,將無(wú)標(biāo)簽數(shù)據(jù)和帶標(biāo)簽數(shù)據(jù)一起計(jì)算新的原型.

· 第2 種,無(wú)標(biāo)簽數(shù)據(jù)要么屬于帶標(biāo)簽數(shù)據(jù)所屬的類別,要么屬于一個(gè)另外的類——干擾類(distractor class).干擾類開(kāi)始以原點(diǎn)(0,0)作為原型,模型學(xué)習(xí)的是干擾類的半徑.

· 第3 種,無(wú)標(biāo)簽數(shù)據(jù)要么屬于已知的類別,要么被掩蓋(masked).這種變型的提出,是因?yàn)榈? 種假設(shè)的不合理性.第2 種假設(shè)下,把所有沒(méi)有標(biāo)簽的數(shù)據(jù)分到同一個(gè)類顯然是不符合實(shí)際場(chǎng)景的,所以作者又提出了一種新的算法:maskedK-means 算法.在這種假設(shè)下,論文用一個(gè)多層感知機(jī)(multi-layer perception,簡(jiǎn)稱MLP)來(lái)學(xué)習(xí)每個(gè)類的半徑和斜率,用這兩個(gè)參數(shù)和距離得到一個(gè)沒(méi)有標(biāo)簽的數(shù)據(jù)屬于每個(gè)類別的概率.

作者認(rèn)為:一個(gè)樣本離原型越遠(yuǎn),它就越容易被掩蓋.但是上面的網(wǎng)絡(luò)在計(jì)算時(shí)均沒(méi)有考慮樣本的權(quán)重,只是做了一個(gè)簡(jiǎn)單的平均數(shù)計(jì)算.在很多情況下,用來(lái)計(jì)算原型的樣本的重要程度是不同的,尤其當(dāng)樣本是噪聲數(shù)據(jù)的時(shí)候,體現(xiàn)的更為明顯.受到這個(gè)問(wèn)題的驅(qū)動(dòng),Gao 等人[77]提出了基于人工注意力的原型網(wǎng)絡(luò).相比于傳統(tǒng)的原型網(wǎng)絡(luò),該模型多了兩個(gè)部件:樣本級(jí)別的注意力機(jī)制和特征級(jí)別的注意力機(jī)制,來(lái)分別捕捉對(duì)分類更重要的樣本和特征.作者分別用含有0%,10%,30%和50%的噪聲數(shù)據(jù)集進(jìn)行了效果評(píng)測(cè),均比baseline 取得了更好的效果;并且噪聲越多,提升效果越好.說(shuō)明該模型具有很好的魯棒性.Sun 等人[78]也為解決這個(gè)問(wèn)題提出了層次注意力原型網(wǎng)絡(luò)(HAPN),比起傳統(tǒng)的原型網(wǎng)絡(luò)添加了特征級(jí)別、詞語(yǔ)級(jí)別和樣本級(jí)別的3 種注意力機(jī)制.詞語(yǔ)級(jí)別的注意力機(jī)制是文本分類中常用的方法,在這里不再贅述.基于人工注意力的原型網(wǎng)絡(luò)和層次注意力原型網(wǎng)絡(luò)均添加了樣本級(jí)別和特征級(jí)別的注意力機(jī)制,表明不同的樣本和特征對(duì)于分類任務(wù)的重要性確實(shí)不同,只做簡(jiǎn)單的平均計(jì)算是遠(yuǎn)遠(yuǎn)不夠的,需要對(duì)樣本的特征進(jìn)行加權(quán)處理.

上述模型都是基于距離函數(shù)來(lái)計(jì)算相似度,這樣雖然簡(jiǎn)單易操作,但有時(shí)候距離函數(shù)卻并不適用于一些特定的任務(wù).針對(duì)這個(gè)問(wèn)題,一些研究人員提出可以使用深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行度量[1].Sung 等人[79]在2018 年提出了一個(gè)新的模型——關(guān)系網(wǎng)絡(luò)(relation network,簡(jiǎn)稱RN),該模型分為兩個(gè)模塊:嵌入模塊和關(guān)系模塊.其中,嵌入模塊f是一個(gè)4 層的卷積神經(jīng)網(wǎng)絡(luò),用來(lái)學(xué)習(xí)樣本到低維向量空間的嵌入;關(guān)系模塊g是一個(gè)相似度比較模塊,使用ReLU 來(lái)進(jìn)行相似度計(jì)算,用來(lái)輸出兩個(gè)樣本的相似度得分.關(guān)系網(wǎng)絡(luò)在3 種問(wèn)題上作了討論.

1)單樣本學(xué)習(xí).每種類別有一個(gè)支持樣本x,嵌入向量為f(x),針對(duì)查詢樣本y獲得嵌入向量f(y),C(f(x),f(y))表示兩個(gè)向量的連接,將這個(gè)連接后的向量放到關(guān)系模塊g中,得到相似度打分,完成分類.

2)小樣本學(xué)習(xí).對(duì)于每一類的支持樣本,將它們的嵌入向量相加作為整個(gè)類別的特征映射.剩下的過(guò)程和單樣本學(xué)習(xí)相同.

3)零樣本學(xué)習(xí).對(duì)于沒(méi)有標(biāo)注樣本的問(wèn)題,利用每個(gè)類別的語(yǔ)義特征嵌入向量v,使用新的嵌入函數(shù)f2,得到這個(gè)類別的特征映射f2(v),剩下過(guò)程與上面相同.

在關(guān)系網(wǎng)絡(luò)的基礎(chǔ)上,Zhang 等人[10]提出了深度比較網(wǎng)絡(luò)(deep comparison network,簡(jiǎn)稱DCN),將嵌入學(xué)習(xí)分解為一系列模塊,并將每個(gè)模塊與一個(gè)關(guān)系模塊配對(duì).關(guān)系模塊利用相應(yīng)嵌入模塊的表示計(jì)算一個(gè)非線性度量對(duì)匹配進(jìn)行打分.為了保證所有嵌入模塊的特征都被使用,關(guān)系模塊被深度監(jiān)控.最后,通過(guò)學(xué)習(xí)噪聲調(diào)節(jié)器進(jìn)一步提高泛化性.Hilliard 等人[80]也使用了一種新的體系結(jié)構(gòu),拋棄了傳統(tǒng)的度量學(xué)習(xí)方法,通過(guò)訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)執(zhí)行類別之間的比較,而不是依賴于靜態(tài)度量比較.該網(wǎng)絡(luò)可以決定一個(gè)類的哪些方面對(duì)于分類比較重要,從而更好地區(qū)分類別邊界.

之前的方法注意力集中在一階統(tǒng)計(jì)量的概念表示上,Li 等人[81]提出了一個(gè)協(xié)方差度量網(wǎng)絡(luò)(CovaMNet),在基于小樣本分類任務(wù)的分布一致性上,利用了協(xié)方差表示和協(xié)方差矩陣,其中,協(xié)方差表示用來(lái)捕獲二階統(tǒng)計(jì)信息,協(xié)方差矩陣用來(lái)衡量query 樣本與新類別之間的分布一致性.但由于現(xiàn)有的方法忽略了局部特征的信息,為了捕捉局部特征,Li 等人[82]又提出了深度最近鄰神經(jīng)網(wǎng)絡(luò)(DN4).與其他方法的最大不同是:在最后一層用圖像到類別的局部描述符來(lái)代替圖像級(jí)別的特征測(cè)量,查詢樣本在進(jìn)行特征映射時(shí),為每個(gè)空間特征計(jì)算一個(gè)相似性.針對(duì)一個(gè)查詢樣本特征映射的每個(gè)空間特征,找到支持特征映射中最相近的K個(gè)特征來(lái)計(jì)算相似性,最后將所有位置相似性加和,得到此查詢樣本的相似性.

但是上面的方法是針對(duì)每個(gè)任務(wù)提取不同的特征,仍舊忽略了支持集中所有圖像之間的語(yǔ)義關(guān)系.受到這個(gè)想法的驅(qū)動(dòng),Li 等人[83]提出可以利用模型整合支持集中所有圖像的信息,從而找到最具有判別性的特征.

· 首先,根據(jù)支持集得到一個(gè)channel attention;隨后,對(duì)所有的圖像應(yīng)用channel attention,對(duì)于支持集中的圖像提取特征,經(jīng)過(guò)一個(gè)卷積層求得原型;將所有類連接,得到一個(gè)特征;再經(jīng)過(guò)卷積,得到一個(gè)channel attention.

· 其次,將支持集特征和查詢樣本特征經(jīng)過(guò)一個(gè)卷積層,與上述得到的attention 相乘,得到更具有判別性的特征.

· 最后,對(duì)于更新后的特征做度量學(xué)習(xí).

由上面的模型可以看出:基于度量學(xué)習(xí)的方法經(jīng)歷了從解決單樣本問(wèn)題到解決小樣本問(wèn)題再到同時(shí)解決小樣本問(wèn)題和零樣本問(wèn)題的變革,模型逐漸趨近于成熟;同時(shí),也經(jīng)歷了從基于傳統(tǒng)距離函數(shù)的方法到基于深度網(wǎng)絡(luò)的方法的改進(jìn).繼續(xù)采用基于傳統(tǒng)距離函數(shù)的方法很難在小樣本分類準(zhǔn)確率方面得到較大的提升,所以加強(qiáng)對(duì)基于神經(jīng)網(wǎng)絡(luò)進(jìn)行度量方法的研究,將是今后重點(diǎn)關(guān)注的方向.

3.2 基于元學(xué)習(xí)的方法

元學(xué)習(xí)(meta-learning)也叫做學(xué)會(huì)學(xué)習(xí)(learning to learn)[84],是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)前沿的研究框架,針對(duì)于解決模型如何學(xué)習(xí)的問(wèn)題.元學(xué)習(xí)的目的是讓模型獲得一種學(xué)習(xí)能力,這種學(xué)習(xí)能力可以讓模型自動(dòng)學(xué)習(xí)到一些元知識(shí).元知識(shí)指在模型訓(xùn)練過(guò)程之外可以學(xué)習(xí)到的知識(shí),比如模型的超參數(shù)、神經(jīng)網(wǎng)絡(luò)的初始參數(shù)、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和優(yōu)化器等[85].在小樣本學(xué)習(xí)中,元學(xué)習(xí)具體指從大量的先驗(yàn)任務(wù)中學(xué)習(xí)到元知識(shí),利用以往的先驗(yàn)知識(shí)來(lái)指導(dǎo)模型在新任務(wù)(即小樣本任務(wù))中更快地學(xué)習(xí).元學(xué)習(xí)中的數(shù)據(jù)集通常分為元訓(xùn)練集和元測(cè)試集,二者均包含了原始模型所需要的訓(xùn)練集和測(cè)試集.如圖4 所示,分類模型的數(shù)據(jù)集包括訓(xùn)練集和測(cè)試集;元學(xué)習(xí)模型的數(shù)據(jù)集包括元訓(xùn)練集和元測(cè)試集,其中,元訓(xùn)練集和元測(cè)試集均包含訓(xùn)練集和測(cè)試集.

Fig.4 Example of meta-learning dataset[86]圖4 元學(xué)習(xí)數(shù)據(jù)集實(shí)例[86]

早在2001 年,Hochreiter 等人[87]就證明了記憶神經(jīng)網(wǎng)絡(luò)可適用于元學(xué)習(xí).在此工作的基礎(chǔ)上,Santoro 等人[88]在2016 年提出了基于記憶增強(qiáng)的神經(jīng)網(wǎng)絡(luò)(memory-augmented neural networks,簡(jiǎn)稱MANN)來(lái)解決單樣本學(xué)習(xí)問(wèn)題.作者使用了神經(jīng)圖靈機(jī)(neural Turing machine,簡(jiǎn)稱NTM)[89]作為MANN 的基本模型,因?yàn)镹TM 作為一種可微的MANN,可以直接通過(guò)梯度下降進(jìn)行訓(xùn)練.神經(jīng)圖靈機(jī)既可以通過(guò)緩慢權(quán)重更新來(lái)實(shí)現(xiàn)長(zhǎng)期存儲(chǔ),又能夠通過(guò)記憶庫(kù)實(shí)現(xiàn)短期存儲(chǔ),這與元學(xué)習(xí)的思想完全一致.作者致力于讓神經(jīng)圖靈機(jī)學(xué)習(xí)到一種策略,這個(gè)策略可以指導(dǎo)NTM 將樣本類型放入到記憶庫(kù)中,同時(shí)指導(dǎo)它今后如何通過(guò)這些類型進(jìn)行預(yù)測(cè)或者分類.

MANN 是元學(xué)習(xí)方法在單樣本學(xué)習(xí)問(wèn)題上較早且較成功的一次嘗試,此后,應(yīng)用元學(xué)習(xí)框架解決小樣本問(wèn)題逐漸進(jìn)入人們的視野.在2017 年,Munkhdalai 等人[90]繼續(xù)采用元學(xué)習(xí)的框架來(lái)解決單樣本分類的問(wèn)題,并提出了一個(gè)新的模型——元網(wǎng)絡(luò)(meta network).元網(wǎng)絡(luò)主要分為兩個(gè)部分:base-learner 和meta-learner,還有一個(gè)額外的記憶塊,這個(gè)記憶塊可以幫助模型快速學(xué)習(xí).

Base-learner 在任務(wù)空間中學(xué)習(xí),meta-learner 在抽象的元空間中持續(xù)學(xué)習(xí)并且從不同的任務(wù)中獲取元知識(shí).當(dāng)新任務(wù)到來(lái)時(shí),base-learner 對(duì)當(dāng)前任務(wù)進(jìn)行分析,并將元信息反饋給meta-learner;Meta-learner 收到元信息之后,根據(jù)元信息對(duì)自身和base-learner 快速參數(shù)化.具體來(lái)說(shuō),元網(wǎng)絡(luò)分為一個(gè)緩慢權(quán)重化的過(guò)程和一個(gè)快速權(quán)重化的過(guò)程,在學(xué)習(xí)不同任務(wù)之間的泛化信息時(shí)權(quán)重更新緩慢,而當(dāng)對(duì)一個(gè)新任務(wù)快速適應(yīng)時(shí),則需要快速權(quán)重化.

雖然上面兩個(gè)工作已經(jīng)將元學(xué)習(xí)的框架帶進(jìn)了小樣本學(xué)習(xí)中,但是它們解決的都是單樣本問(wèn)題.為了使模型更加適用到小樣本分類問(wèn)題上,Finn 等人[11]在2017 年提出了未知模型的元學(xué)習(xí)方法(model-agnostic metalearning,簡(jiǎn)稱MAML).使用這個(gè)模型,從很少的數(shù)據(jù)中進(jìn)行少步數(shù)的訓(xùn)練,就可以得到較好的分類效果.MAML首先使用RNN 從所有任務(wù)的分布中來(lái)學(xué)習(xí)知識(shí),而不是僅僅學(xué)習(xí)單一任務(wù).MAML 致力于找到神經(jīng)網(wǎng)絡(luò)中對(duì)每個(gè)任務(wù)較為敏感的參數(shù),通過(guò)微調(diào)這些參數(shù),讓模型的損失函數(shù)快速收斂.模型的初始參數(shù)為θ,針對(duì)不同的任務(wù)分別計(jì)算損失,根據(jù)每個(gè)任務(wù)的損失更新對(duì)應(yīng)的模型參數(shù).MAML 的目標(biāo)是求得初始化參數(shù)θ,使得模型在面對(duì)新任務(wù)時(shí),能夠使用梯度下降的方法在很少的步數(shù)內(nèi)得到收斂.為了避免元學(xué)習(xí)器的偏移,并且提高元學(xué)習(xí)器的泛化性,Jamal 等人[91]提出了算法未知任務(wù)元學(xué)習(xí)法(task-agnostic meta-learning,簡(jiǎn)稱TAML).在這項(xiàng)工作中,為了避免元學(xué)習(xí)模型對(duì)訓(xùn)練任務(wù)過(guò)擬合,作者在輸出預(yù)測(cè)時(shí)加入了一個(gè)正則化項(xiàng).正則化要么會(huì)使預(yù)測(cè)具有更高的熵(即預(yù)測(cè)的概率不會(huì)看起來(lái)像一個(gè)獨(dú)熱矢量),要么使模型在不同任務(wù)之間的差異更小(即,在不同任務(wù)上表現(xiàn)相同).顯然,對(duì)于小樣本學(xué)習(xí)來(lái)說(shuō),有一個(gè)強(qiáng)大的正則化機(jī)制是十分重要的.本文作者在MAML 的基礎(chǔ)上測(cè)試了該方法,得到了更優(yōu)的性能.

MAML 在小樣本圖像分類任務(wù)中已經(jīng)得到了廣泛使用,但是在自然語(yǔ)言處理領(lǐng)域,小樣本學(xué)習(xí)的問(wèn)題還亟待解決.相比圖像分類的任務(wù),文本分類的任務(wù)更具有挑戰(zhàn)性,這和文本本身的性質(zhì)有關(guān).例如,使用微博評(píng)論做情感分析任務(wù),將會(huì)面臨拼寫(xiě)錯(cuò)誤、縮略詞等難題;而針對(duì)一張圖像,模型只需要提取它的圖像特征即可,因?yàn)閳D像是一個(gè)客觀的實(shí)體.由于上述原因,文本分類比圖像分類更具有挑戰(zhàn)性[13].不過(guò),近幾年文本方面的小樣本學(xué)習(xí)仍取得了一些突破性進(jìn)展[14-16].Xiang 等人[15]在2018 年將MAML 遷移到了文本領(lǐng)域,并且在方法中加入了注意力機(jī)制,提出了基于注意力機(jī)制的未知任務(wù)元學(xué)習(xí)法(attentive task-agnostic meta-learner,簡(jiǎn)稱ATAML).在文本分類中,不同的詞對(duì)于分類的重要程度不同.例如,對(duì)書(shū)的評(píng)論進(jìn)行情感分析的任務(wù)中,“我覺(jué)得這本書(shū)十分有趣”中的“有趣”,對(duì)于將這條評(píng)論判定為正面情感起著更重要的作用.注意力機(jī)制可以將文本中的詞語(yǔ)賦予不同的權(quán)重,使得對(duì)分類起著更重要作用的詞語(yǔ)能夠有更高的影響力.ATAML 主要分為兩個(gè)部分:一是忽略任務(wù)的表示學(xué)習(xí),二是面向任務(wù)的注意力學(xué)習(xí).第1 部分是在許多任務(wù)中學(xué)習(xí)一個(gè)通用的嵌入模型,將一段文本中的每個(gè)詞都表示為向量,模型參數(shù)為θE;第2 部分是針對(duì)特定的任務(wù)學(xué)習(xí)特定的參數(shù)θT,θT={θW,θATT},其中,θATT為注意力機(jī)制參數(shù),θW為分類器參數(shù).

但是MAML 存在著一些缺點(diǎn):一是訓(xùn)練時(shí)需要數(shù)量足夠多的任務(wù)才可以收斂;二是這種方法一般只適用于淺層網(wǎng)絡(luò),在深層網(wǎng)絡(luò)中泛化性較差,容易過(guò)擬合.Sun 等人[92]提出:可以讓MAML 只學(xué)習(xí)最后一層作為分類器,用所有訓(xùn)練數(shù)據(jù)預(yù)訓(xùn)練一個(gè)特征提取器,固定特征提取器.該算法利用了MAML 的思想,隨機(jī)初始化分類器W的參數(shù);然后針對(duì)每個(gè)任務(wù),利用支持集來(lái)優(yōu)化W,得到更新后的W;計(jì)算查詢集的損失,梯度更新W,以得到新的W.Liu 等人[93]也在MAML 上做了一些改進(jìn),他們認(rèn)為:對(duì)于一個(gè)元學(xué)習(xí)的任務(wù),超參數(shù)的設(shè)置是十分重要的.可以利用元學(xué)習(xí)對(duì)網(wǎng)絡(luò)中每一層學(xué)習(xí)一個(gè)超參數(shù),并且在通常情況下,一個(gè)分類器具有不穩(wěn)定性,可以在MAML的機(jī)制上學(xué)習(xí)如何融合多個(gè)分類器:首先,MAML 內(nèi)循壞更新初始參數(shù)多次,得到多個(gè)分類器;其次,在MAML 外循環(huán)優(yōu)化分類器的初始參數(shù)、超參數(shù)和多個(gè)分類器融合系數(shù).其中,測(cè)試集上的預(yù)測(cè)類別為多個(gè)分類器預(yù)測(cè)值加權(quán)求和,利用測(cè)試集的損失函數(shù)更新上述參數(shù).

為了更好地融入語(yǔ)義信息,Wang 等人[94]提出了任務(wù)感知特征嵌入網(wǎng)絡(luò)(TAFE-Net).在這項(xiàng)工作中,標(biāo)簽嵌入被用來(lái)預(yù)測(cè)數(shù)據(jù)特征提取模型的權(quán)重.該方法通過(guò)權(quán)重分解,做到只需要預(yù)測(cè)一個(gè)較低維的權(quán)重向量,使得權(quán)重預(yù)測(cè)更加簡(jiǎn)便.此外,該方法還通過(guò)嵌入損失使得語(yǔ)義嵌入和圖像嵌入對(duì)齊.除此之外,還有很多元學(xué)習(xí)的方法.例如,Ravi 等人[86]在2017 年提出了利用優(yōu)化器的元學(xué)習(xí)模型進(jìn)行小樣本圖像分類,該模型使用基于LSTM的元學(xué)習(xí)器學(xué)習(xí)優(yōu)化算法,用優(yōu)化算法的參數(shù)更新規(guī)則更新分類器的網(wǎng)絡(luò)參數(shù),使得分類器在小樣本數(shù)據(jù)上能取得較好的分類效果.同樣地,使用上述方法也可以幫助分類器學(xué)習(xí)到一個(gè)較好的初始化參數(shù),使得模型能夠在新的小樣本數(shù)據(jù)集上快速收斂.模型的具體流程如下:首先,元學(xué)習(xí)器給分類器一個(gè)初始化參數(shù)θ,將第1 個(gè)batch的數(shù)據(jù)輸入分類器進(jìn)行訓(xùn)練,得到當(dāng)前的損失和斜率,并將其反饋給元學(xué)習(xí)器;元學(xué)習(xí)器根據(jù)損失更新模型參數(shù),將更新后的參數(shù)傳給分類器.按照這個(gè)步驟循環(huán)迭代.因?yàn)樵獙W(xué)習(xí)器參數(shù)更新和LSTM 細(xì)胞狀態(tài)更新的過(guò)程十分相似,所以在此方法中,可以把LSTM 細(xì)胞單元更新的計(jì)算方法應(yīng)用到元學(xué)習(xí)器的參數(shù)更新中.Gidaris 等人[95]提出了一種方法,該方法包含一個(gè)基于注意力機(jī)制的權(quán)重生成器,同時(shí),在特征表示和類別權(quán)重向量之間重新設(shè)計(jì)一個(gè)CNN 作為余弦相似度函數(shù).先使用訓(xùn)練集訓(xùn)練得到特征提取器;然后對(duì)于新的小樣本數(shù)據(jù),通過(guò)一個(gè)元學(xué)習(xí)器來(lái)生成對(duì)應(yīng)的參數(shù)權(quán)重.在含有多個(gè)樣本時(shí),使用了注意力機(jī)制來(lái)選擇對(duì)應(yīng)的初始權(quán)重,而不是做一個(gè)簡(jiǎn)單的平均.

在上述基于元學(xué)習(xí)的方法中,元學(xué)習(xí)器從多個(gè)任務(wù)中學(xué)習(xí)知識(shí),但是對(duì)于不同的任務(wù)學(xué)習(xí)到的模型初始參數(shù)是相同的,忽略了不同任務(wù)之間的差異性.而在現(xiàn)實(shí)世界中,不同任務(wù)之間千差萬(wàn)別,基于這個(gè)前提,Yu 等人[16]在2018 年提出了多任務(wù)聚類的元學(xué)習(xí)法.該模型對(duì)所有任務(wù)進(jìn)行聚類,將不同的任務(wù)分成不同的簇,同一簇中的任務(wù)較為相似,它們共享一套分類器參數(shù).當(dāng)新任務(wù)到來(lái)時(shí),計(jì)算每個(gè)簇的分類器在當(dāng)前小樣本數(shù)據(jù)上的適應(yīng)效果,該適應(yīng)效果由適應(yīng)參數(shù)α表示;隨后,當(dāng)前分類任務(wù)的模型參數(shù)由所有簇的參數(shù)與α線性組合得到;最后輸出分類結(jié)果.

通過(guò)梳理近年來(lái)基于元學(xué)習(xí)的小樣本學(xué)習(xí)模型,不難看出:隨著元學(xué)習(xí)的興起,各種元學(xué)習(xí)方法層出不窮.元學(xué)習(xí)方法經(jīng)歷了從單樣本學(xué)習(xí)到小樣本學(xué)習(xí)的轉(zhuǎn)變,同時(shí)也從圖像領(lǐng)域遷移到了文本領(lǐng)域.元學(xué)習(xí)方法為小樣本學(xué)習(xí)帶來(lái)了很大突破,到今后很長(zhǎng)一段時(shí)間都將是小樣本學(xué)習(xí)的主流方法.研究人員可以設(shè)計(jì)新的元學(xué)習(xí)器,讓分類器在少量樣本上學(xué)得更快更好.

3.3 基于圖神經(jīng)網(wǎng)絡(luò)的方法

在計(jì)算機(jī)科學(xué)中,圖作為一種數(shù)據(jù)結(jié)構(gòu),由點(diǎn)和邊構(gòu)成.圖這種數(shù)據(jù)結(jié)構(gòu),具有表現(xiàn)力強(qiáng)和展示直觀的優(yōu)點(diǎn).隨著近年來(lái)機(jī)器學(xué)習(xí)的興起,機(jī)器學(xué)習(xí)逐漸被應(yīng)用到圖的分析上.圖神經(jīng)網(wǎng)絡(luò)是一種基于深度學(xué)習(xí)的處理圖領(lǐng)域信息的模型,由于其較好的性能和可解釋性,它最近已成為一種廣泛應(yīng)用的圖分析方法[96].圖神經(jīng)網(wǎng)絡(luò)有很多種變體,比較常用的有圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network)、門控圖神經(jīng)網(wǎng)絡(luò)(gated graph neural network)和圖注意力網(wǎng)絡(luò)(graph attention network)等.

Garcia 等人[97]在2018 年使用圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)小樣本圖像分類.在圖神經(jīng)網(wǎng)絡(luò)里,每一個(gè)樣本被看作圖中的一個(gè)節(jié)點(diǎn),該模型不僅學(xué)習(xí)每個(gè)節(jié)點(diǎn)的嵌入向量,還學(xué)習(xí)每條邊的嵌入向量.卷積神經(jīng)網(wǎng)絡(luò)將所有樣本嵌入到向量空間中,將樣本向量與標(biāo)簽向量連接后輸入圖神經(jīng)網(wǎng)絡(luò),構(gòu)建每個(gè)節(jié)點(diǎn)之間的連邊;然后通過(guò)圖卷積更新節(jié)點(diǎn)向量,再通過(guò)節(jié)點(diǎn)向量不斷更新邊的向量,這就構(gòu)成了一個(gè)深度的圖神經(jīng)網(wǎng)絡(luò).如圖5 所示,5 個(gè)不同的節(jié)點(diǎn)輸入到GNN 中,根據(jù)公式A 構(gòu)建邊,然后通過(guò)圖卷積更新節(jié)點(diǎn)向量,再根據(jù)A 更新邊,再通過(guò)一層圖卷積得到最后的點(diǎn)向量,最后計(jì)算概率.利用公式

Fig.5 Model process of GNN[97]圖5 GNN 模型流程圖[97]

上面的方法是對(duì)圖中的節(jié)點(diǎn)進(jìn)行分類,Kim 等人[98]從另一個(gè)方面進(jìn)行考慮,對(duì)圖中的邊進(jìn)行分類.首先,對(duì)圖中的邊特征向量進(jìn)行初始化,邊的特征向量有兩維:第1 維表示相連的兩個(gè)節(jié)點(diǎn)屬于同一類的概率,第2 維表示它們不屬于同一類的概率.隨后,用邊的特征向量更新節(jié)點(diǎn)向量,邊的兩維特征分別對(duì)應(yīng)節(jié)點(diǎn)的類內(nèi)特征和類間特征.經(jīng)過(guò)多次更新后,對(duì)邊進(jìn)行二分類,得到兩個(gè)節(jié)點(diǎn)是否屬于同一類.為了對(duì)傳統(tǒng)的GNN 進(jìn)行改進(jìn),Gidaris等人[99]在GNN 中加入了降噪自編碼器(DAE),以修正小樣本類別的權(quán)重.DAE 理論指出:對(duì)于被高斯噪聲干擾的輸入,DAE 能夠估算其輸入w的密度的能量函數(shù)p(w)的梯度.首先,在進(jìn)行訓(xùn)練時(shí)加入部分的高斯噪聲數(shù)據(jù)來(lái)防止過(guò)擬合,樣本經(jīng)過(guò)嵌入網(wǎng)絡(luò)之后,輸入到圖神經(jīng)網(wǎng)絡(luò)中作為節(jié)點(diǎn).根據(jù)未加入高斯噪聲的各類初始權(quán)值向量的余弦相似性,將最近的類連接起來(lái),而圖的兩個(gè)節(jié)點(diǎn)之間的邊的邊緣強(qiáng)度(邊的權(quán)值)就是兩個(gè)節(jié)點(diǎn)的余弦相似性的softmax 函數(shù)值,根據(jù)softmax 函數(shù)輸出結(jié)果.基于圖神經(jīng)網(wǎng)絡(luò)的方法相比基于度量學(xué)習(xí)和基于元學(xué)習(xí)的方法較少,但圖神經(jīng)網(wǎng)絡(luò)可解釋性強(qiáng)并且性能較好,可以思考如何對(duì)其進(jìn)行改進(jìn),從而提高分類準(zhǔn)確率.

4 數(shù)據(jù)集與實(shí)驗(yàn)

在小樣本圖像分類任務(wù)中,一些標(biāo)準(zhǔn)數(shù)據(jù)集被廣泛使用.單樣本學(xué)習(xí)最常用的是Omniglot 數(shù)據(jù)集[100],小樣本學(xué)習(xí)最常用的數(shù)據(jù)集是miniImageNet[101].除此之外,常用數(shù)據(jù)集還有CUB[102]、tieredImageNet[50]等,同時(shí),CIFAR-100、Stanford Dogs 和Stanford Cars 常用作細(xì)粒度小樣本圖像分類.接下來(lái)對(duì)每個(gè)數(shù)據(jù)集進(jìn)行簡(jiǎn)單介紹.

(1) Omniglot 包含50 個(gè)字母的1 623 個(gè)手寫(xiě)字符,每一個(gè)字符都是由20 個(gè)不同的人通過(guò)亞馬遜的Mechanical Turk[103]在線繪制的.

(2) miniImageNet 是從ImageNet[104]分割得到的,是ImageNet 的一個(gè)精縮版本,包含ImageNet 的100 個(gè)類別,每個(gè)類別含有600 個(gè)圖像.一般64 類用于訓(xùn)練,16 類用于驗(yàn)證,20 類用于測(cè)試.

(3) tieredImageNet 是Mengye 等人[50]在2018 年提出的新數(shù)據(jù)集,也是ImageNet 的子集.與miniImageNet不同的是,tieredImageNet 中類別更多,有608 種.

(4) CUB(caltech-UCSD birds)是一個(gè)鳥(niǎo)類圖像數(shù)據(jù)集,包含200 種鳥(niǎo)類,共計(jì)11 788 張圖像.一般130 類用于訓(xùn)練,20 類用于驗(yàn)證,50 類用于測(cè)試.

(5) CIFAR-100 數(shù)據(jù)集:共100 個(gè)類,每個(gè)類包含600 個(gè)圖像,分別包括500 個(gè)訓(xùn)練圖像和100 個(gè)測(cè)試圖像.CIFAR-100 中的100 個(gè)子類所屬于20 個(gè)父類,每個(gè)圖像都帶有一個(gè)子類標(biāo)簽和一個(gè)父類標(biāo)簽.

(6) Stanford Dogs:一般用于細(xì)粒度圖像分類任務(wù).包括120 類狗的樣本共計(jì)20 580 個(gè)圖像,一般70 類用于訓(xùn)練,20 類用于驗(yàn)證,30 類用于測(cè)試.

(7) Stanford Cars:一般用于細(xì)粒度圖像分類任務(wù).包括196 類車的樣本共計(jì)16 185 個(gè)圖像,一般130 類用于訓(xùn)練,17 類用于驗(yàn)證,49 類用于測(cè)試.

本文選取一些著名模型在上述數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果進(jìn)行總結(jié),所有方法都選取了5-way 1-shot(即5 個(gè)類別,每個(gè)類別具有1 個(gè)樣本)和5-way 5-shot(即5 個(gè)類別,每個(gè)類別具有5 個(gè)樣本)的結(jié)果進(jìn)行對(duì)比.圖像分類的任務(wù)一般使用CNN 作為嵌入網(wǎng)絡(luò),常用的有VGG,Inception 和Resnet 等.具體見(jiàn)表1.

Table 1 Comparison of precision in few-shot learning methods表1 小樣本學(xué)習(xí)方法準(zhǔn)確率對(duì)比

表1 選取了Omniglot 和miniImageNet 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果作為對(duì)比參考,因?yàn)槠渌臄?shù)據(jù)集使用次數(shù)較少,所以在此不多加討論.由表1 可看出,每個(gè)數(shù)據(jù)集中5-shot 的準(zhǔn)確率均比1-shot 的高.表明訓(xùn)練數(shù)據(jù)越多,學(xué)到的特征也越多,分類效果越好.在Omniglot 數(shù)據(jù)集上,所有模型在1-shot 場(chǎng)景下的準(zhǔn)確率都達(dá)到了97%,在5-shot任務(wù)下的準(zhǔn)確率均達(dá)到了98%,可提升空間較少;在miniImageNet 數(shù)據(jù)集上,不同模型之間的提升較大,在1-shot任務(wù)下效果最好的模型比效果最差的準(zhǔn)確率提升了15%左右,在5-shot 任務(wù)下準(zhǔn)確率提升了高達(dá)21%,表明在此數(shù)據(jù)集上還有較大的提升空間.

5 小樣本學(xué)習(xí)總結(jié)與展望

5.1 小樣本學(xué)習(xí)總結(jié)

由于真實(shí)世界的某些領(lǐng)域中樣本量很少或標(biāo)注樣本很少,而樣本標(biāo)注工作會(huì)耗費(fèi)大量時(shí)間和人力,近年來(lái),小樣本學(xué)習(xí)逐漸成為人們重點(diǎn)關(guān)注的問(wèn)題.本文介紹了圖像分類和文本分類兩個(gè)任務(wù)中小樣本學(xué)習(xí)的研究進(jìn)展,總體上看,小樣本圖像分類已有了許多性能優(yōu)異的算法模型,但小樣本文本分類仍是個(gè)亟待解決的問(wèn)題.根據(jù)小樣本學(xué)習(xí)方法的不同,本文將其分為基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)的方法這3 類,其中,基于數(shù)據(jù)增強(qiáng)的方法可以細(xì)分為基于無(wú)標(biāo)簽數(shù)據(jù)、基于數(shù)據(jù)合成和基于特征增強(qiáng)的方法這3 種,基于遷移學(xué)習(xí)的方法可以細(xì)分為基于度量學(xué)習(xí)、基于元學(xué)習(xí)和基于圖神經(jīng)網(wǎng)絡(luò)的方法這3 種.本文對(duì)以上幾種方法做了總結(jié),并且比較了它們的優(yōu)點(diǎn)和缺點(diǎn),具體見(jiàn)表2.

Table 2 Comparison of advantages and disadvantages in different few-learning methods表2 小樣本學(xué)習(xí)方法優(yōu)缺點(diǎn)對(duì)比

總體來(lái)說(shuō),小樣本學(xué)習(xí)研究已有很大進(jìn)展,但和人類分類準(zhǔn)確率相比還有很大差距.為了解決基于模型微調(diào)方法帶來(lái)的過(guò)擬合問(wèn)題,基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)的方法被提出.基于數(shù)據(jù)增強(qiáng)的方法是對(duì)小樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充或特征增強(qiáng),這種方法可以不對(duì)模型進(jìn)行參數(shù)調(diào)整,但是容易引入噪聲數(shù)據(jù).基于遷移學(xué)習(xí)的方法是將舊領(lǐng)域?qū)W到的知識(shí)遷移到新領(lǐng)域,并且不需要兩者之間有很強(qiáng)的關(guān)聯(lián)性,但關(guān)聯(lián)性越強(qiáng),遷移效果越好.在基于遷移學(xué)習(xí)的方法中,基于度量學(xué)習(xí)的方法最簡(jiǎn)單、容易操作,只需要通過(guò)距離來(lái)衡量樣本之間的相似度,但是學(xué)習(xí)到的知識(shí)太少.基于元學(xué)習(xí)比基于度量學(xué)習(xí)的方法學(xué)習(xí)能力更強(qiáng),可以學(xué)習(xí)到更多知識(shí).基于圖神經(jīng)網(wǎng)絡(luò)的方法在3 種方法中展示最為直觀、可解釋性較強(qiáng),但樣本總數(shù)變大時(shí),會(huì)導(dǎo)致計(jì)算復(fù)雜度增高.

5.2 小樣本學(xué)習(xí)挑戰(zhàn)

盡管近年來(lái)小樣本學(xué)習(xí)已經(jīng)得到深入研究,并且取得了一定進(jìn)展,但仍面臨著一些挑戰(zhàn).

(1) 強(qiáng)制的預(yù)訓(xùn)練模型[4]

在已有的小樣本學(xué)習(xí)方法中,不管是基于模型微調(diào)的方法還是基于遷移學(xué)習(xí)的方法,都需要在大量的非目標(biāo)數(shù)據(jù)集上對(duì)模型進(jìn)行預(yù)訓(xùn)練,致使“小樣本學(xué)習(xí)”一定程度上變成個(gè)偽命題.因?yàn)槟Ｐ偷念A(yù)訓(xùn)練依舊需要大量標(biāo)注數(shù)據(jù),從本質(zhì)上來(lái)看,與小樣本學(xué)習(xí)的定義背道而馳.從根本上解決小樣本問(wèn)題,就要做到不依賴預(yù)訓(xùn)練模型,可以研究利用其他先驗(yàn)知識(shí)而非模型預(yù)訓(xùn)練的方法.

(2) 深度學(xué)習(xí)的可解釋性

由于深度學(xué)習(xí)模型本身是一個(gè)黑盒模型,在基于遷移學(xué)習(xí)的小樣本深度學(xué)習(xí)模型中,人們很難了解到特征遷移和參數(shù)遷移時(shí)保留了哪些特征,使得調(diào)整參數(shù)更加困難[105].提高深度學(xué)習(xí)的可解釋性,能幫助理解特征遷移,在源領(lǐng)域和目標(biāo)領(lǐng)域之間發(fā)現(xiàn)合適的遷移特征[106].在此方面已有了一些工作[107].

(3) 數(shù)據(jù)集挑戰(zhàn)

現(xiàn)有的小樣本學(xué)習(xí)模型都需要在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練,圖像分類任務(wù)中已經(jīng)有了ImageNet 作為預(yù)訓(xùn)練數(shù)據(jù)集,而文本分類中,缺少類似的預(yù)訓(xùn)練數(shù)據(jù)集,所以需要構(gòu)建一個(gè)被各種任務(wù)廣泛使用的小樣本文本分類預(yù)訓(xùn)練數(shù)據(jù)集.同時(shí),在小樣本圖像分類任務(wù)中,miniImageNet 和omniglot 是兩個(gè)被廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集.但在小樣本文本分類任務(wù)中,不同工作所采用的目標(biāo)數(shù)據(jù)集千差萬(wàn)別,有很多都是網(wǎng)上爬取的數(shù)據(jù)集.所以,構(gòu)建一個(gè)適用于文本分類任務(wù)的小樣本目標(biāo)數(shù)據(jù)集是需要考慮的問(wèn)題.為解決這個(gè)問(wèn)題,Han 等人[108]在2018 年提出了一個(gè)小樣本關(guān)系抽取數(shù)據(jù)集FewRel,其中包含100 種分類,共70 000 個(gè)實(shí)例,規(guī)模和miniImageNet 相當(dāng).

(4) 不同任務(wù)之間復(fù)雜的梯度遷移[90]

在基于元學(xué)習(xí)的小樣本學(xué)習(xí)方法中,從不同任務(wù)中學(xué)習(xí)元知識(shí)的過(guò)程梯度下降較慢.將模型遷移到新任務(wù)中時(shí),由于樣本數(shù)量較少,所以期望模型能在目標(biāo)數(shù)據(jù)集上快速收斂,在此過(guò)程中,梯度下降較快.針對(duì)基于元學(xué)習(xí)的方法設(shè)計(jì)合理的梯度遷移算法,也是目前需要研究并亟待解決的問(wèn)題.

(5) 其他挑戰(zhàn)

在小樣本文本分類中,不同語(yǔ)言的分類難度不同.英文的文本分類比較成熟,但是中文分類由于分詞等問(wèn)題,目前還不是很成熟.另外,跨語(yǔ)種或者多語(yǔ)種的文本分類是一個(gè)難題,由于源語(yǔ)言與目標(biāo)語(yǔ)言的特征空間相差甚大,同時(shí),各國(guó)的語(yǔ)言、文字又包含了不同的語(yǔ)言學(xué)特征,這無(wú)疑加大了跨語(yǔ)言文本分類的難度[105].

5.3 小樣本學(xué)習(xí)展望

通過(guò)對(duì)當(dāng)前小樣本學(xué)習(xí)研究進(jìn)展的梳理,可以展望未來(lái)小樣本學(xué)習(xí)的發(fā)展方向.

1)在數(shù)據(jù)層面,嘗試?yán)闷渌闰?yàn)知識(shí)訓(xùn)練模型,或者更好地利用無(wú)標(biāo)注數(shù)據(jù).為了使小樣本學(xué)習(xí)的概念更靠近真實(shí),可以探索不依賴模型預(yù)訓(xùn)練、使用先驗(yàn)知識(shí)(例如知識(shí)圖譜)就能取得較好效果的方法.雖然在很多領(lǐng)域中標(biāo)注樣本數(shù)量很少,但真實(shí)世界中存在的大量無(wú)標(biāo)注數(shù)據(jù)蘊(yùn)含著大量信息,利用無(wú)標(biāo)注數(shù)據(jù)的信息訓(xùn)練模型,這個(gè)方向也值得深入研究.

2)基于遷移學(xué)習(xí)的小樣本學(xué)習(xí)面臨著特征、參數(shù)和梯度遷移的挑戰(zhàn).為更好地理解哪些特征和參數(shù)適合被遷移,需要提高深度學(xué)習(xí)的可解釋性;為使模型在新的領(lǐng)域新任務(wù)中快速收斂,需要設(shè)計(jì)合理的梯度遷移算法.

3)針對(duì)基于度量學(xué)習(xí)的小樣本學(xué)習(xí),提出更有效的神經(jīng)網(wǎng)絡(luò)度量方法.度量學(xué)習(xí)在小樣本學(xué)習(xí)中的應(yīng)用已經(jīng)相對(duì)成熟,但是基于距離函數(shù)的靜態(tài)度量方法改進(jìn)空間較少,使用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行樣本相似度計(jì)算將成為以后度量方法的主流,所以需要設(shè)計(jì)性能更好的神經(jīng)網(wǎng)絡(luò)度量算法.

4)針對(duì)基于元學(xué)習(xí)的小樣本學(xué)習(xí),設(shè)計(jì)更好的元學(xué)習(xí)器.元學(xué)習(xí)作為小樣本學(xué)習(xí)領(lǐng)域剛興起的方法,目前的模型還不夠成熟.如何設(shè)計(jì)元學(xué)習(xí)器,使其學(xué)習(xí)到更多或更有效的元知識(shí),也將是今后一個(gè)重要的研究方向.

5)針對(duì)基于圖神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí),探索更有效的應(yīng)用方法.圖神經(jīng)網(wǎng)絡(luò)作為這幾年比較火熱的方法,已經(jīng)覆蓋到很多領(lǐng)域,并且可解釋性強(qiáng)、性能好,但是在小樣本學(xué)習(xí)中應(yīng)用的模型較少.如何設(shè)計(jì)圖網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點(diǎn)更新函數(shù)和邊更新函數(shù)等方面,值得進(jìn)一步探究.

6)嘗試不同小樣本學(xué)習(xí)方法的融合.現(xiàn)有小樣本學(xué)習(xí)模型都是單一使用數(shù)據(jù)增強(qiáng)或遷移學(xué)習(xí)的方法,今后可以嘗試將二者進(jìn)行結(jié)合,從數(shù)據(jù)和模型兩個(gè)層面同時(shí)進(jìn)行改進(jìn),以達(dá)到更好的效果.同時(shí),近年來(lái),隨著主動(dòng)學(xué)習(xí)(active learning)[109]和強(qiáng)化學(xué)習(xí)(reinforcement learning)[110]框架的興起,可以考慮將這些先進(jìn)框架應(yīng)用到小樣本學(xué)習(xí)上.

6 結(jié)束語(yǔ)

由于真實(shí)世界中樣本稀缺的問(wèn)題,小樣本學(xué)習(xí)越來(lái)越受到人們的重視.隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的不斷發(fā)展,基于小樣本學(xué)習(xí)的分類問(wèn)題已經(jīng)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域有了深入的研究,并將在醫(yī)療領(lǐng)域(如疾病診斷)、金融領(lǐng)域(如資金異常)等不同領(lǐng)域展現(xiàn)出良好的應(yīng)用前景.本文對(duì)目前小樣本學(xué)習(xí)的研究進(jìn)展進(jìn)行了詳細(xì)闡述,同時(shí)分析了目前小樣本學(xué)習(xí)面臨的挑戰(zhàn),最后對(duì)其進(jìn)行了前景展望.