基于對(duì)比學(xué)習(xí)方法的小樣本學(xué)習(xí)

付海濤, 劉 爍, 馮宇軒, 朱 麗, 張競(jìng)吉, 關(guān) 路

(1.吉林農(nóng)業(yè)大學(xué) 信息技術(shù)學(xué)院, 長(zhǎng)春 130118；2.長(zhǎng)春理工大學(xué) 經(jīng)濟(jì)管理學(xué)院, 長(zhǎng)春 130022)

當(dāng)前深度學(xué)習(xí)的應(yīng)用大多數(shù)需要使用大規(guī)模的有標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí), 而實(shí)際中制作精確標(biāo)注且樣本均衡的數(shù)據(jù)集需要大量的人力成本, 且在很多應(yīng)用領(lǐng)域中數(shù)據(jù)的獲取和標(biāo)注可能還會(huì)遇到隱私和安全等方面的困難[1].實(shí)際應(yīng)用中很多數(shù)據(jù)在分布上存在長(zhǎng)尾分布的特征, 即數(shù)據(jù)種類(lèi)與數(shù)量分布不均衡, 某些種類(lèi)的數(shù)據(jù)量非常充足, 而另外一些種類(lèi)的數(shù)據(jù)量較少, 導(dǎo)致相同模型在數(shù)據(jù)分布的兩端表現(xiàn)不同[2].目前, 解決樣本數(shù)據(jù)不足或不均衡問(wèn)題的方法有許多, 如自監(jiān)督學(xué)習(xí)、對(duì)比學(xué)習(xí)、元學(xué)習(xí)、小樣本學(xué)習(xí)等, 其中小樣本學(xué)習(xí)是研究在樣本數(shù)量較少時(shí), 如何既能學(xué)習(xí)利用分類(lèi)特征又防止過(guò)擬合, 使機(jī)器學(xué)習(xí)系統(tǒng)能像人一樣可通過(guò)少量樣本的學(xué)習(xí)獲得較魯棒的判別能力[3].

數(shù)據(jù)增強(qiáng)是包括小樣本學(xué)習(xí)在內(nèi)很多技術(shù)都會(huì)采用的輔助方法, 其利用算法處理數(shù)據(jù)上采樣訓(xùn)練集從而改進(jìn)網(wǎng)絡(luò)訓(xùn)練, 以解決樣本缺乏或不均衡問(wèn)題[4].利用數(shù)據(jù)自適應(yīng)增強(qiáng)方法設(shè)計(jì)網(wǎng)絡(luò)求解模型, 通過(guò)噪聲、剪切、形變等方法增加新的數(shù)據(jù)用于訓(xùn)練, 但由于增強(qiáng)的數(shù)據(jù)與原數(shù)據(jù)具有特征的相似性, 本質(zhì)上是一種人類(lèi)知識(shí)的注入, 所以并未從根本上解決樣本匱乏導(dǎo)致的過(guò)擬合問(wèn)題[5]；基于遷移學(xué)習(xí)解決小樣本學(xué)習(xí)問(wèn)題, 先用充足的數(shù)據(jù)去訓(xùn)練原問(wèn)題的模型, 再利用目標(biāo)域中的少量數(shù)據(jù)進(jìn)行模型微調(diào)[6]; 此外, 還有從特征角度進(jìn)行遷移的方法, 如利用高級(jí)編碼器提取特征并應(yīng)用到小樣本目標(biāo)域中[7], 這類(lèi)方法可提高模型的泛化能力, 但模型極易遺忘經(jīng)驗(yàn)信息并依然會(huì)面臨過(guò)擬合問(wèn)題；結(jié)合元學(xué)習(xí)方法進(jìn)行小樣本學(xué)習(xí), 該類(lèi)方法利用任務(wù)或數(shù)據(jù)之間的共性使模型從少量樣本中進(jìn)行算法學(xué)習(xí), 并能快速獲得解決新任務(wù)的能力[8].為給模型找到更好的初始化, 可采用對(duì)參數(shù)進(jìn)行梯度調(diào)整再訓(xùn)練的方法[9], 這類(lèi)方法的分類(lèi)效果顯著, 但其過(guò)于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)降低模型效率, 模型訓(xùn)練通常需要大量時(shí)間.

為改進(jìn)小樣本學(xué)習(xí)的求解, 結(jié)合深度學(xué)習(xí)方法的特點(diǎn), 本文設(shè)計(jì)一種基于對(duì)比學(xué)習(xí)的小樣本網(wǎng)絡(luò)(contrastive networks for few-shot learning, CNFS)模型.針對(duì)小樣本數(shù)據(jù)量少且分布不均衡的特點(diǎn), 模型整體結(jié)構(gòu)上采用對(duì)比學(xué)習(xí)方法, 網(wǎng)絡(luò)的主體結(jié)構(gòu)使用類(lèi)孿生網(wǎng)絡(luò)結(jié)構(gòu)[10]；進(jìn)行對(duì)比學(xué)習(xí)前, 模型首先用數(shù)據(jù)增強(qiáng)方法并且在特征提取部分的網(wǎng)絡(luò)中采用經(jīng)典的深度卷積網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò), 增加了重疊池化結(jié)構(gòu)以加強(qiáng)特征提取[11]；在特征提取網(wǎng)絡(luò)后, 使用分類(lèi)網(wǎng)絡(luò)學(xué)習(xí)樣本之間的距離；針對(duì)對(duì)比學(xué)習(xí)模型訓(xùn)練時(shí)收斂慢和模型易過(guò)擬合的問(wèn)題, 參考元學(xué)習(xí)方法的思想設(shè)計(jì)網(wǎng)絡(luò)訓(xùn)練算法, 用嵌套循環(huán)在單組數(shù)據(jù)和小批量數(shù)據(jù)的規(guī)模上交替更新網(wǎng)絡(luò)參數(shù)[9], 使網(wǎng)絡(luò)能快速學(xué)習(xí)小樣本特征并不影響整體的收斂趨勢(shì), 從而較快完成C-wayK-shot(C類(lèi),K樣本)的小樣本學(xué)習(xí), 在每輪訓(xùn)練后都把正樣本的特征向量拉近, 把負(fù)樣本的特征向量拉遠(yuǎn), 且不影響整體的收斂性.實(shí)驗(yàn)結(jié)果表明, 該網(wǎng)絡(luò)在訓(xùn)練效率和準(zhǔn)確率上都有提高.

1 預(yù)備知識(shí)

1.1 小樣本學(xué)習(xí)

小樣本學(xué)習(xí)是一種致力于通過(guò)少量樣本, 甚至一個(gè)樣本的訓(xùn)練使系統(tǒng)獲得新分類(lèi)能力的深度學(xué)習(xí)方法, 即在少量樣本的基礎(chǔ)上解決實(shí)際問(wèn)題的機(jī)器學(xué)習(xí)方法.實(shí)際應(yīng)用中很多場(chǎng)景下的學(xué)習(xí)都屬于小樣本學(xué)習(xí), 如兒童通過(guò)畫(huà)本上的幾張圖像即可“認(rèn)識(shí)”老虎或者大象[12].這種通過(guò)少量的增量學(xué)習(xí)獲得新的分類(lèi)能力的方法, 稱作微調(diào)或知識(shí)蒸餾.小樣本學(xué)習(xí)的一個(gè)解決方案是結(jié)合元學(xué)習(xí)(meta learning)方法, 該方法在學(xué)習(xí)類(lèi)間區(qū)別時(shí)還要保證模型的泛化能力, 使能在現(xiàn)有模型的基礎(chǔ)上對(duì)新類(lèi)別進(jìn)行分類(lèi).小樣本學(xué)習(xí)的訓(xùn)練是在幾個(gè)種類(lèi)下針對(duì)少量樣本[13]進(jìn)行的.當(dāng)模型訓(xùn)練時(shí), 先從中選取C個(gè)類(lèi)別, 每類(lèi)選取K個(gè)樣本(樣本數(shù)量為C×K個(gè)), 這些數(shù)據(jù)構(gòu)成元學(xué)習(xí)模型的支持集；再?gòu)氖Ｓ囝?lèi)別抽取一些作為預(yù)測(cè)對(duì)象, 即C-wayK-shot問(wèn)題, 從C×K個(gè)樣本中學(xué)會(huì)區(qū)別C個(gè)類(lèi)別, 顯然增大C會(huì)增加難度, 增大K會(huì)降低難度.

1.2 對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)是一種空間映射方法, 其目標(biāo)在于通過(guò)學(xué)習(xí)編碼器對(duì)數(shù)據(jù)進(jìn)行編碼, 使編碼后的數(shù)據(jù)便于在隱空間聚類(lèi)[14].這里將對(duì)比學(xué)習(xí)的思想抽象, 如用空間視角考慮對(duì)比學(xué)習(xí), 如圖1所示.由圖1可見(jiàn), 正樣本間的距離小, 負(fù)樣本間的距離大, 對(duì)任意數(shù)據(jù)x, 如以其為錨點(diǎn), 則最終學(xué)習(xí)目的就是通過(guò)編碼器f使正樣本與錨點(diǎn)的距離遠(yuǎn)小于負(fù)樣本與錨點(diǎn)的距離.

1.3 孿生網(wǎng)絡(luò)

孿生網(wǎng)絡(luò)通常用于執(zhí)行訓(xùn)練樣本不充分的分類(lèi)任務(wù), 是一種在學(xué)習(xí)過(guò)程中對(duì)兩個(gè)需對(duì)比的輸入數(shù)據(jù)使用相同權(quán)重的同結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行處理的網(wǎng)絡(luò)結(jié)構(gòu).基于樣本相似度方法, 孿生網(wǎng)絡(luò)從輸入樣本中學(xué)習(xí)不同樣本的相似性度量[15], 在測(cè)試時(shí), 根據(jù)相似性程度判定樣本屬于哪一類(lèi)別.對(duì)比學(xué)習(xí)端到端方法如圖2所示.圖2中兩個(gè)子網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)完全相同, 在某些系統(tǒng)中甚至是由一個(gè)網(wǎng)絡(luò)并行調(diào)用了兩次實(shí)現(xiàn)的, 通過(guò)對(duì)成對(duì)的輸入樣本(x1,x2,y), 利用對(duì)比度損失函數(shù)進(jìn)行訓(xùn)練, 使同類(lèi)別的一對(duì)樣本間距離隨訓(xùn)練輪次不斷變小, 同時(shí)使不同類(lèi)間樣本距離變大.

圖1 對(duì)比學(xué)習(xí)方法示意圖Fig.1 Schematic diagram of contrastive learning method

圖2 對(duì)比學(xué)習(xí)端到端方法Fig.2 Contrastive learning by end-to-end ways

2 模型設(shè)計(jì)

2.1 多尺度特征提取

在深度神經(jīng)網(wǎng)絡(luò)的特征提取過(guò)程中, 通常越深層的網(wǎng)絡(luò)提取到的特征圖越抽象, 特征之間的關(guān)系也越復(fù)雜.在進(jìn)行圖像分類(lèi)時(shí), 神經(jīng)網(wǎng)絡(luò)會(huì)在一個(gè)小區(qū)域內(nèi)頻繁地進(jìn)行特征對(duì)比, 這種性質(zhì)使在對(duì)應(yīng)區(qū)域內(nèi)進(jìn)行最大值池化有助于突出特征.為防止小樣本學(xué)習(xí)中常見(jiàn)的過(guò)擬合問(wèn)題, 在特征嵌入部分設(shè)計(jì)了多尺度的重疊滑動(dòng)池化方式突出特征圖中的判別特征, 以這種簡(jiǎn)單方法對(duì)不同層次的特征進(jìn)行互補(bǔ).在小樣本圖像學(xué)習(xí)中, 常用的特征嵌入模塊是以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)構(gòu)成的, CNFS的設(shè)計(jì)中也采用了類(lèi)似的結(jié)構(gòu), 并且在此基礎(chǔ)上設(shè)計(jì)了復(fù)合的多尺度重疊滑動(dòng)池化層, 如圖3所示.

圖3 特征嵌入模塊Fig.3 Feature embedded module

為更好地突出特征圖中的分類(lèi)特征, 設(shè)計(jì)不同尺寸的池化核組合成一組多尺度重疊滑動(dòng)池化層.為網(wǎng)絡(luò)設(shè)計(jì)方便, 在保證網(wǎng)絡(luò)性能的前提下設(shè)計(jì)了不改變特征圖尺寸的滑動(dòng)池化層, 在該組合滑動(dòng)池化層中分別使用尺寸為6×6,6×2,2×6的3種卷積核.組合滑動(dòng)池化層在實(shí)現(xiàn)過(guò)程中由3層等尺寸的滑動(dòng)池化層組合而成： 第一層池化核為6×6, 特征圖填充為池化核同方向尺寸的一半[3,3], 步長(zhǎng)為[1,1]；第二層池化核大小為6×2, 填充仍然為池化核同方向尺寸的一半[3,1], 步長(zhǎng)為[1,1]；最后一層池化核大小為2×6, 填充仍然為同方向的池化核尺寸的一半[1,3], 步長(zhǎng)也為[1,1].這3種尺度依次對(duì)應(yīng)得到3種特征圖, 又因?yàn)槊繉硬介L(zhǎng)和填充設(shè)置一致, 所以它們分別輸出的特征圖在合并時(shí)不需要額外處理.利用這種多尺度池化方法不僅可獲得更精準(zhǔn)的特征, 還能提升整體網(wǎng)絡(luò)模型對(duì)圖像分類(lèi)的準(zhǔn)確率和檢測(cè)精度.

2.2 分類(lèi)度量模塊

在度量模塊中, 利用余弦相似度度量輸入特征數(shù)據(jù)的相似度.當(dāng)訓(xùn)練集有N個(gè)樣本時(shí), 對(duì)于任意一個(gè)樣本xi∈d, 給定一對(duì)樣本xi和xj(j=i+kmodN), 將經(jīng)過(guò)嵌入模塊后的特征向量記作X,Y, 其在特征空間的余弦相似度計(jì)算公式為

(1)

如果是二維空間, 可得如下形式：

(2)

對(duì)于多維特征向量, 利用嵌入空間中兩個(gè)特征的夾角余弦值衡量?jī)蓚€(gè)特征之間差異的大小, 相似度值越大表示兩個(gè)樣本越相似, 用公式表示為

(3)

2.3 損失函數(shù)

在孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比學(xué)習(xí)的過(guò)程中, 用于指導(dǎo)模型參數(shù)訓(xùn)練的損失函數(shù)衡量的不是圖像間分類(lèi)的距離, 而是特定圖像間的距離.因此, 采用如下的對(duì)比損失:

(4)

其中

(5)

式中Dn表示抽樣樣本對(duì)xn和xn+k的二范數(shù)距離,Y表示兩個(gè)樣本是否匹配的標(biāo)簽,Y=1表示輸入樣本相似,Y=0則表示不相似,m是設(shè)定的閾值,N是樣本個(gè)數(shù).所以對(duì)于孿生神經(jīng)網(wǎng)絡(luò), 當(dāng)輸入同一張圖像時(shí), 二者之間的距離小, 損失也?。划?dāng)輸入不是同一張圖像時(shí), 距離大, 損失也大.即要最小化相同類(lèi)數(shù)據(jù)之間的距離, 最大化不同類(lèi)之間的距離.而上述損失函數(shù)既可很好地表示輸入樣本間的相似匹配度, 也能更好地訓(xùn)練特征模型.

當(dāng)Y=1即樣本匹配, 損失函數(shù)的值需隨特征間的距離單調(diào)遞增, 損失函數(shù)為

(6)

當(dāng)Y=0即樣本不匹配時(shí), 損失函數(shù)的值需隨特征間的距離單調(diào)遞減, 損失函數(shù)為

(7)

2.4 整體模型構(gòu)建

基于對(duì)比學(xué)習(xí)和孿生網(wǎng)絡(luò)的小樣本識(shí)別算法的核心思想是在嵌入空間中學(xué)習(xí)圖像特征之間的距離或相似度函數(shù), 通過(guò)尋找鄰近類(lèi)別, 根據(jù)得到的待分類(lèi)樣本與已知分類(lèi)樣本之間的距離, 最終確定待分類(lèi)樣本的分類(lèi)結(jié)果.分類(lèi)算法主要分為兩個(gè)階段： 1) 分別提取支持集和查詢集的圖像特征, 并將圖像映射到特征嵌入空間；2) 比較支持集特征與查詢集特征之間的距離, 最后采用度量算法對(duì)測(cè)試圖像進(jìn)行分類(lèi).

圖4 CNFS整體模型框架Fig.4 Framework of CNFS model

目前, 大多數(shù)基于對(duì)比學(xué)習(xí)的小樣本模型仍存在識(shí)別率低的問(wèn)題, 這主要是因?yàn)槟Ｐ蛢H使用具有語(yǔ)義信息的頂層特征, 而忽略了對(duì)小樣本識(shí)別也至關(guān)重要的低層特征, 使得提取到的圖像特征不具有充分的表達(dá)能力, 對(duì)易混淆物體的識(shí)別也較困難.因此, 本文提出的系統(tǒng)基于對(duì)比學(xué)習(xí)的小樣本網(wǎng)絡(luò)CNFS模型, 并結(jié)合多尺度重疊滑動(dòng)池化, 整體模型框架如圖4所示.由圖4可見(jiàn), 本文模型框架由支持集(B)、查詢集(G)、特征嵌入模塊(J)和度量模塊(K)組成, 通過(guò)特征嵌入模塊提取到支持集和查詢集的特征并映射到特征空間中, 然后在度量模塊中計(jì)算樣本特征向量的余弦相似度, 相似度越高樣本越相似, 樣本間距離越近, 相反, 若相似度值低則表示樣本不相似, 距離也相對(duì)較遠(yuǎn).

2.5 模型訓(xùn)練

CNFS模型采用傳統(tǒng)的隨機(jī)批梯度下降方法時(shí)收斂速度較慢, 為更好地進(jìn)行C-wayK-shot的小樣本學(xué)習(xí), 本文設(shè)計(jì)了分層次更新參數(shù)的網(wǎng)絡(luò)訓(xùn)練算法.在K-shot(K個(gè)學(xué)習(xí)樣本)的學(xué)習(xí)任務(wù)下, 從B(G)分布中隨機(jī)采樣一個(gè)新任務(wù)Gi, 在任務(wù)Gi的樣本分布Xi中隨機(jī)采樣K個(gè)樣本, 用這K個(gè)樣本訓(xùn)練模型, 獲得損失, 實(shí)現(xiàn)對(duì)模型f的內(nèi)循環(huán)更新.然后再采樣Query(查詢)個(gè)樣本, 評(píng)估新模型的損失, 對(duì)模型f進(jìn)行外循環(huán)更新.重復(fù)上述過(guò)程, 最終使模型按任務(wù)分布B(G), 在訓(xùn)練時(shí)較快收斂, 并能得到泛化性良好的訓(xùn)練結(jié)果.

算法1模型訓(xùn)練算法.

B(G): 任務(wù)的分布;

α,β: 兩個(gè)學(xué)習(xí)率;

初始化參數(shù)集合0;

while

從目標(biāo)分布中抽取一批數(shù)據(jù)Gi←B(G);

forGi：

從集合Gi中隨機(jī)采樣K個(gè)數(shù)據(jù)D={Xj,Yj}；

end for

end while.

模型采用的損失函數(shù)為對(duì)比損失, 以式(4)的形式計(jì)算.在損失函數(shù)中引入閾值margin, 為控制不相似樣本間距離過(guò)大, 將范圍控制在0～margin內(nèi), 如果超過(guò)閾值, 則損失可視為0.圖5為損失函數(shù)值與樣本間特征距離的關(guān)系, 其中虛線表示相似樣本的損失值, 實(shí)線表示不相似樣本的損失值.

圖5 閾值損失函數(shù)Fig.5 Threshold loss function

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)操作系統(tǒng)為Ubuntu20, 程序設(shè)計(jì)語(yǔ)言為Python3.7, 采用機(jī)器學(xué)習(xí)框架Paddle Paddle的2.02版本, 硬件環(huán)境為CPU 4核, 內(nèi)存32 GB, 顯存32 GB, 磁盤(pán)512 GB, GPU Tesla V100.

3.2 實(shí)驗(yàn)數(shù)據(jù)與預(yù)處理

將模型在兩個(gè)小樣本學(xué)習(xí)常用的標(biāo)準(zhǔn)數(shù)據(jù)集Omniglot和MiniImageNet上進(jìn)行系統(tǒng)驗(yàn)證.數(shù)據(jù)集Omniglot是人類(lèi)手寫(xiě)符號(hào)集合, 包含50個(gè)不同的字母表共1 623類(lèi)手寫(xiě)字符, 每類(lèi)含有20個(gè)不同人手繪的20個(gè)灰度圖像數(shù)據(jù)樣本, 該數(shù)據(jù)集類(lèi)別較多但每類(lèi)樣本數(shù)據(jù)量很少, 適用于小樣本學(xué)習(xí).數(shù)據(jù)集MiniImageNet是Google公司的Deep Mind在大數(shù)據(jù)集ImageNet上構(gòu)造的小樣本標(biāo)準(zhǔn)數(shù)據(jù)集, 包含100個(gè)類(lèi)別, 每類(lèi)600張84×84的彩色圖像, 共60 000張.實(shí)驗(yàn)分別采用數(shù)據(jù)集Omniglot和MiniImageNet的訓(xùn)練集, 在訓(xùn)練集上進(jìn)行多種數(shù)據(jù)增強(qiáng), 如特定角度旋轉(zhuǎn)、加入噪聲(模糊增強(qiáng))、剪切拼貼(軟標(biāo)簽增強(qiáng))等方法將數(shù)據(jù)集擴(kuò)展到10倍數(shù)據(jù)量.實(shí)驗(yàn)數(shù)據(jù)集基本信息列于表1.

表1 實(shí)驗(yàn)數(shù)據(jù)集基本信息

實(shí)驗(yàn)基于5-way 1-shot, 表示在測(cè)試階段執(zhí)行5個(gè)分類(lèi)任務(wù), 每個(gè)類(lèi)別提供1個(gè)支持樣本, 將批處理大小設(shè)為600, 進(jìn)行2 000輪訓(xùn)練, 每輪訓(xùn)練隨機(jī)從訓(xùn)練集中取出50個(gè)類(lèi)別的字符圖像, 每類(lèi)字符取1張圖像作為支持樣本, 取5張圖像作為查詢樣本.驗(yàn)證模型時(shí), 隨機(jī)從訓(xùn)練集中取出5個(gè)類(lèi)別的字符圖像, 每類(lèi)字符取1張圖像作為支持樣本, 取15張圖像作為查詢樣本.為保證驗(yàn)證結(jié)果的可靠性, 多取一些樣本作為查詢集, 在實(shí)驗(yàn)中選取充分利用顯存的批量數(shù)據(jù)以提高訓(xùn)練效率.

3.3 實(shí)驗(yàn)結(jié)果及分析

在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集Omniglot和MiniImageNet上進(jìn)行分類(lèi)任務(wù)的交叉驗(yàn)證, 復(fù)現(xiàn)了經(jīng)典的小樣本方法MAML和TADAM, 并在相同的參數(shù)設(shè)置和軟硬件配置條件下與CNFS模型性能進(jìn)行比較.為凸顯小樣本學(xué)習(xí)的特殊性, 還將經(jīng)典的網(wǎng)絡(luò)VGG和Resnet引入到實(shí)驗(yàn)中.分別使用VGG,Resnet和改進(jìn)的CNFS模型在小樣本數(shù)據(jù)集上進(jìn)行分類(lèi)問(wèn)題比較實(shí)驗(yàn), 并進(jìn)行多個(gè)模型之間形成滑動(dòng)池化、小樣本優(yōu)化和按層次更新參數(shù)這3種方法的消融對(duì)比.各模型在進(jìn)行2 000輪訓(xùn)練保證收斂后, 在分類(lèi)任務(wù)的測(cè)試集上10輪測(cè)試平均準(zhǔn)確率結(jié)果列于表2.

表2 各模型消融實(shí)驗(yàn)結(jié)果對(duì)比

由表2可見(jiàn), 通用的分類(lèi)方法VGG和Resnet在小樣本數(shù)據(jù)集上的性能較差, 在同樣超參數(shù)設(shè)置下它們?cè)跍y(cè)試集上的預(yù)測(cè)效果都不如其在普通圖像分類(lèi)數(shù)據(jù)集上的性能.CNFS模型在數(shù)據(jù)集Omniglot和MiniImageNet上的性能不僅超過(guò)了通用的分類(lèi)方法, 也超過(guò)了經(jīng)典小樣本方法MAML和TADAM.模型使用多尺度池化獲得的特征信息不僅能解決低數(shù)據(jù)問(wèn)題, 而且還能使模型在不同尺度下獲得有利于圖像分類(lèi)的有效特征信息；通過(guò)對(duì)孿生神經(jīng)網(wǎng)絡(luò)輸入的成對(duì)樣本進(jìn)行相似度匹配, 得到待測(cè)樣本的類(lèi)別和準(zhǔn)確率.

綜上所述, 小樣本學(xué)習(xí)方法的主要目標(biāo)是訓(xùn)練一個(gè)泛化能力較強(qiáng)的特征處理器.改進(jìn)模型以對(duì)比學(xué)習(xí)為主要結(jié)構(gòu), 結(jié)合孿生網(wǎng)絡(luò)方法并在網(wǎng)絡(luò)中的特征嵌入部分加入多尺度滑動(dòng)池化方法, 模型訓(xùn)練部分采用類(lèi)似嵌套的小樣本元學(xué)習(xí)訓(xùn)練算法.在兩個(gè)經(jīng)典的小樣本數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn), 分別與常用的機(jī)器視覺(jué)模型和小樣本模型做交叉驗(yàn)證實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果證明了本文模型在同等條件下有更好的效果和泛化能力.