一種基于遷移學(xué)習(xí)的小樣本圖像分類方法

胡勝利，吳 季

(安徽理工大學(xué) 計算機科學(xué)與工程學(xué)院，安徽 淮南 232001)

深度學(xué)習(xí)在人工智能(Artificial Intelligence，AI)中屬于一個重要的分支，在圖像識別等領(lǐng)域取得了不錯的成績。在深度學(xué)習(xí)還未得到真正應(yīng)用之前，處理圖像的方法一般有閾值處理、邊緣、區(qū)域、圖論等。對人臉圖像進(jìn)行識別時，一般采用的是Haar-like特征+級聯(lián)分類器。這些傳統(tǒng)方法在處理圖像數(shù)據(jù)時，都需要進(jìn)行十分復(fù)雜的預(yù)處理工作(即特征提取工作)，不僅耗時長、精度低，而且破壞了許多圖像原有的特性。因深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)開始應(yīng)用于圖像處理中，解決了傳統(tǒng)人工特征提取圖像存在的種種問題。隨著深度學(xué)習(xí)的發(fā)展，相關(guān)神經(jīng)網(wǎng)絡(luò)模型也不斷推陳出新[1]，如 He等[2]將Resnet101應(yīng)用在深度卷積神經(jīng)網(wǎng)絡(luò)中，大大提高了圖像分類的準(zhǔn)確度。深度學(xué)習(xí)模型應(yīng)用在圖像處理中，可以得到極高的準(zhǔn)確率。Doon等[3]使用12層卷積神經(jīng)網(wǎng)絡(luò)(CNN)對CIFAR-10數(shù)據(jù)集進(jìn)行圖像識別，在測試中得到了87%的準(zhǔn)確率。但當(dāng)深度模型應(yīng)用于小樣本的圖像數(shù)據(jù)中時，訓(xùn)練學(xué)習(xí)效果不好，只有在訓(xùn)練樣本量很大時，才可以很好地泛化到不同的樣本[4]。而且，當(dāng)使用深度學(xué)習(xí)模型進(jìn)行高精度實驗時，需要用到的計算機硬件價格極其昂貴，在計算量中計算代價極大。所以，一般在訓(xùn)練小樣本的樣本數(shù)據(jù)時，運用遷移學(xué)習(xí)對深度模型進(jìn)行遷移訓(xùn)練，可以有效解決因樣本量少帶的來準(zhǔn)確率低等問題。

針對小樣本圖像分類的問題，本文采用遷移學(xué)習(xí)的方法，將深度卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于小樣本的圖像處理中，旨在為小樣本圖像分類提供一種新方法。

1 卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

圖像識別領(lǐng)域一般以卷積神經(jīng)網(wǎng)絡(luò)(CNN)為研究核心。該網(wǎng)絡(luò)的主要執(zhí)行內(nèi)容是選定一部分區(qū)域，提取到特征后將其傳遞到高層進(jìn)行信息綜合，主要層次包括輸入層、卷積層、激勵層、池化層、全連接層、輸出層。在提取特征的過程中，為了不讓圖像失真一般會填充零像素。這是因為相鄰的零像素不會在下一層激活其相應(yīng)的卷積單元[5]。CNN比BP神經(jīng)網(wǎng)絡(luò)多引入了感受野、權(quán)值共享和下采樣這3種新思想[6]。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是針對在圖像識別時因數(shù)據(jù)集量少無法使深度模型的訓(xùn)練任務(wù)從頭開始而開發(fā)出的一種新的機器學(xué)習(xí)方法[7]。遷移學(xué)習(xí)將已經(jīng)訓(xùn)練好的模型放到新的分類任務(wù)中再次進(jìn)行圖像識別，把之前所學(xué)習(xí)到的原有特征當(dāng)作新數(shù)據(jù)的特征再次進(jìn)行識別。其工作流程是先實例化基本模型并將預(yù)訓(xùn)練的權(quán)重加載到其中，再凍結(jié)模型中基礎(chǔ)層的所有層，然后在基礎(chǔ)模型的一層或多層的輸出之上創(chuàng)建一個新的全連接層或分類器層，最后在新的數(shù)據(jù)集上訓(xùn)練新的模型。Yang等[8]遷移了GoogleNet中Inception-V3的預(yù)訓(xùn)練模型，并且應(yīng)用在擁有10類水果的數(shù)據(jù)集中，得到了高于94%的訓(xùn)練和測試精度。

遷移學(xué)習(xí)目前研究的主要對象是源域和目標(biāo)域的場景。設(shè)源域為Ds,目標(biāo)域為Dt，其中域D由特征空間χ和邊緣分布概率ρx組成，每個輸入的樣本為X∈χ。遷移學(xué)習(xí)可以定義為：給定源域Ds、學(xué)習(xí)任務(wù)Ts、目標(biāo)域Dt和學(xué)習(xí)任務(wù)Tt，以獲取源域Ds和學(xué)習(xí)任務(wù)Ts中的知識來幫助提升目標(biāo)域中的預(yù)測函數(shù)ft(·)的學(xué)習(xí)為目的，其中Ds≠Dt或Ts≠Tt。

2 深度學(xué)習(xí)模型與數(shù)據(jù)增強

2.1 MobileNet-V2

MobileNet-V2是一個輕量級的卷積神經(jīng)網(wǎng)絡(luò)，它與一般的卷積神經(jīng)網(wǎng)絡(luò)相比，加入了深度可分離卷積和倒置殘差結(jié)構(gòu)。其中，深度可分離卷積的作用是將輸入的特征降低到原來的1/9～1/8，并通過1×1的卷積計算輸入通道的線性組合來構(gòu)建新的特征[9]。MobileNet-V2網(wǎng)絡(luò)將原先的MobileNet-V1網(wǎng)絡(luò)中的特征提取部分做了相應(yīng)的改進(jìn)，提出了倒置殘差結(jié)構(gòu)的方法。該方法使用1×1卷積進(jìn)行特征升維用來學(xué)習(xí)更多特征，然后使用了3×3的深度可分離卷積與1×1的卷積進(jìn)行降維，從而得到最優(yōu)的特征。加入殘差結(jié)構(gòu)可防止網(wǎng)絡(luò)加深之后發(fā)生梯度消失的現(xiàn)象。MobileNet-V2中還增加了線性瓶頸層，用于降低ReLu函數(shù)對特征造成的破環(huán)。

2.2 Inception-V3

Inception-V3網(wǎng)絡(luò)可以在不增加計算成本的基礎(chǔ)上擴張網(wǎng)絡(luò)，在相同的計算能力下提取更多的細(xì)微特征，提高訓(xùn)練效果。其設(shè)計理論主要是基于Hebbian原理和多尺度處理的直覺來增加網(wǎng)絡(luò)的深度和寬度[10]。

Inception基礎(chǔ)模塊如圖1所示。1×1卷積用于處理輸入圖像的尺寸，降低計算成本。Inception-V3模塊將5×5卷積替換成2個連續(xù)的3×3卷積，進(jìn)一步降低了計算成本。它與VGG網(wǎng)絡(luò)不同之處在于VGG網(wǎng)絡(luò)只是卷積層不斷堆疊，而Inception-V3中采用不同尺寸的卷積核，將感受野不斷放大，最后實現(xiàn)拼接，達(dá)到不同尺度的特征融合。Inception-V3的最大特點是將層與層之間的卷積計算進(jìn)行了擴展。

圖1 Inception基礎(chǔ)模塊

2.3 Xception

Xception模型是Inception-V3的一種改進(jìn)模型，主要引入了深度可分離卷積和殘差塊。與普通深度可分離卷積操作相反，Xception先進(jìn)行1×1的卷積操作，再進(jìn)行3×3的卷積。Xception模型可以將卷積神經(jīng)網(wǎng)絡(luò)的特征圖中跨通道相關(guān)性和空間相關(guān)性的映射完全解耦[11]。

2.4 數(shù)據(jù)增強

數(shù)據(jù)增強可解決數(shù)據(jù)中樣本量過少或者樣本類別不均衡的問題。而數(shù)據(jù)增強的方法主要從單樣本和多樣本2個角度出發(fā)，單樣本主要是樣本的顏色變換和形狀的幾何變換，多樣本主要是插值變換和混淆變換。一般在圖像處理中較實用的方法是Mix-up，對圖像和標(biāo)簽都進(jìn)行了線性插值，不僅增強了原始圖像數(shù)據(jù)集，還有效避免了模型過度擬合的風(fēng)險[12]。

針對貓狗數(shù)據(jù)集，本文主要采用的是單樣本的數(shù)據(jù)增強方法，對小樣本圖像數(shù)據(jù)進(jìn)行水平翻轉(zhuǎn)，按比例對圖像的角度進(jìn)行隨機旋轉(zhuǎn)、縮放、裁剪以及對圖像的高度和寬度按比例進(jìn)行調(diào)整。

3 遷移學(xué)習(xí)模型訓(xùn)練方法

在深度卷積神經(jīng)網(wǎng)絡(luò)中，當(dāng)遇到小樣本圖像數(shù)據(jù)時，通常會因樣本數(shù)據(jù)過少導(dǎo)致圖像識別效果不夠理想。若重新建立模型會消耗大量的人力，增加計算成本。遷移學(xué)習(xí)不僅可以學(xué)習(xí)到來自目標(biāo)數(shù)據(jù)集之外的圖像底層特征，還可以學(xué)習(xí)到訓(xùn)練目標(biāo)數(shù)據(jù)集上的高級特征，對提升圖像分類效果有極大幫助。為了證明遷移學(xué)習(xí)的效果，本文提出了一種基于遷移學(xué)習(xí)的小樣本圖像分類方法。該方法使用ImageNet數(shù)據(jù)集上訓(xùn)練而成的MobileNet-V2，Inception-V3和Xception的預(yù)訓(xùn)練模型。因為預(yù)訓(xùn)練的數(shù)據(jù)集和本次訓(xùn)練的貓狗圖像數(shù)據(jù)都屬于圖像數(shù)據(jù)，所以關(guān)于圖像的底層特征是可以被遷移的，符合遷移學(xué)習(xí)的條件。

基于遷移學(xué)習(xí)的小樣本圖像分類方法整體分為預(yù)訓(xùn)練和模型遷移2個部分，遷移學(xué)習(xí)流程如圖2所示。圖2中左半邊圖為預(yù)訓(xùn)練的流程，右半邊圖為將模型遷移訓(xùn)練的流程。

圖2 遷移學(xué)習(xí)流程

預(yù)訓(xùn)練流程的執(zhí)行過程與一般卷積神經(jīng)網(wǎng)絡(luò)的隨機初始化訓(xùn)練過程類似，當(dāng)模型達(dá)到收斂后即可輸出預(yù)訓(xùn)練模型。

模型遷移訓(xùn)練不僅需要將訓(xùn)練好的模型參數(shù)進(jìn)行遷移，還需要通過目標(biāo)數(shù)據(jù)集來微調(diào)網(wǎng)絡(luò)，使整個模型可以進(jìn)一步地適應(yīng)目標(biāo)任務(wù)。貓狗圖像分類任務(wù)的具體遷移訓(xùn)練方法步驟如下。

1)準(zhǔn)備數(shù)據(jù)集。預(yù)訓(xùn)練模型中應(yīng)用的是ImageNet數(shù)據(jù)集，將貓狗數(shù)據(jù)集作為目標(biāo)數(shù)據(jù)集并將其作為預(yù)訓(xùn)練模型的輸入。

2)選定模型。遷移訓(xùn)練選擇MobileNet-V2，Inception-V3和Xception 3種模型，對比3種遷移模型的優(yōu)劣性。

3)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)。首先根據(jù)遷移選擇的網(wǎng)絡(luò)特征將預(yù)訓(xùn)練模型中的特征進(jìn)行提取，應(yīng)用到目標(biāo)數(shù)據(jù)集中，并將預(yù)測的類別更改為實驗中所需要的類別；然后使用層數(shù)凍結(jié)、數(shù)據(jù)增強、Dropout等技術(shù)對遷移訓(xùn)練模型進(jìn)行參數(shù)調(diào)整；最后對網(wǎng)絡(luò)進(jìn)行微調(diào)，解凍部分層次，提取到的分類特征更貼切于目標(biāo)數(shù)據(jù)集，進(jìn)一步提升分類效果。

4 實驗設(shè)計與結(jié)果分析

4.1 實驗環(huán)境及數(shù)據(jù)集

選用Tensorflow框架，處理器為intel(R) Core(TM)i7-7500u CPU,RAM 為8 GB，顯卡為NVIDIA GeForce 940MX。實驗涉及2個數(shù)據(jù)集，一個是以ImageNet為源域數(shù)據(jù)集，由140萬張圖像和1 000個類別組成的大型數(shù)據(jù)集；另一個是以貓狗數(shù)據(jù)集為目標(biāo)域數(shù)據(jù)集，總共包含3 000張貓狗圖片。

4.2 實驗過程

將貓狗數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。其中，驗證集和訓(xùn)練集是同步完成的，這2個部分是在原有的舊樣本中進(jìn)行訓(xùn)練學(xué)習(xí)，而測試集是新的樣本，不參與舊知識的訓(xùn)練。在貓狗圖像分類實驗中，訓(xùn)練集是將遷移過來的深度模型與貓狗數(shù)據(jù)集中的數(shù)據(jù)樣本進(jìn)行擬合；驗證集是查看訓(xùn)練集訓(xùn)練后的模型，再次進(jìn)行驗證是否合理可行，并對該模型的泛化能力做初步地評估，有利于及時對訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行參數(shù)調(diào)整；測試集主要是用來測試微調(diào)后的網(wǎng)絡(luò)是否能很好地泛化到未被訓(xùn)練的樣本中，也就是微調(diào)后的網(wǎng)絡(luò)可以應(yīng)用于實際場景中，同時對于那些未知的樣本網(wǎng)絡(luò)也能進(jìn)行處理，對得到后的訓(xùn)練模型進(jìn)行深層次的評估。

4.2.1特征提取

特征提取是將在源域中預(yù)訓(xùn)練完成后的模型的訓(xùn)練權(quán)重進(jìn)行凍結(jié)，并將它遷移到訓(xùn)練目標(biāo)數(shù)據(jù)集中。這樣只需修改網(wǎng)絡(luò)最后的分類器，即可完成對小樣本圖像的訓(xùn)練。遷移學(xué)習(xí)進(jìn)行特征提取的目的是將源域中提取出的特征應(yīng)用到目標(biāo)域小樣本數(shù)據(jù)中，不僅簡化了特征提取步驟，而且能夠獲得性能更好的訓(xùn)練模型。特征提取的詳細(xì)步驟如下。

1)為了防止訓(xùn)練過程中修改預(yù)訓(xùn)練模型中的基礎(chǔ)權(quán)重信息，將MobileNet-V2，Xception和Inception-V3在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重作為目標(biāo)數(shù)據(jù)集的輸入，并凍結(jié)3種模型的頂層，建立基本模型。

2)對小樣本貓狗數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，以此來反映目標(biāo)數(shù)據(jù)集的更多細(xì)節(jié)，增加模型的泛化能力。

3)設(shè)置輸入圖片的尺寸為(100,100,3)，采用預(yù)處理方法將圖像像素從[0，255]調(diào)整至[-1,1]，并建立特征提取器，將(100,100,3)圖像轉(zhuǎn)換成(4,4,1 280)的特征塊。

4)將定義好的基本模型和特征提取器連接在一起構(gòu)建模型，對獲取到的特征向量進(jìn)行全局平均池化。

5)為了進(jìn)一步降低運算量，將Dropout設(shè)置為0.3，設(shè)置分類層，對貓狗圖像進(jìn)行分類，得出預(yù)測結(jié)果，構(gòu)建圖像分類模型。

在特征提取的實驗中，設(shè)置學(xué)習(xí)率為0.000 1，優(yōu)化器為Adam，損失函數(shù)為二進(jìn)制交叉熵，周期數(shù)為10，且3種網(wǎng)絡(luò)模型的參數(shù)設(shè)置相同。

4.2.2微調(diào)

在3種網(wǎng)絡(luò)模型完成訓(xùn)練集和驗證集的流程，且兩者的數(shù)據(jù)處于收斂狀態(tài)后，為了使目標(biāo)數(shù)據(jù)得到訓(xùn)練以更好地適應(yīng)目標(biāo)域，需要對這3種模型進(jìn)行微調(diào)，解凍全部或基本的模型。一般而言，對于圖像分類任務(wù)來說，模型底層包含的是圖像最基本的功能，幾乎可以應(yīng)用到任何類型的圖像，因此模型底層不需要進(jìn)行調(diào)整，依然處于凍結(jié)的狀態(tài)。微調(diào)是調(diào)整模型的頂層部分，將模型的頂層部分與后添加的分類層在小樣本的目標(biāo)域數(shù)據(jù)集中繼續(xù)進(jìn)行訓(xùn)練，調(diào)整預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重，以更好地適應(yīng)小樣本目標(biāo)數(shù)據(jù)，最終提升3種模型的分類精度。微調(diào)的詳細(xì)步驟如下。

1)MobileNet-V2模型總共有155層，設(shè)置前100層為底層部分并凍結(jié)，從第101層解除凍結(jié)，并與最后添加的全局平均池化層和分類層重新開始訓(xùn)練網(wǎng)絡(luò)的權(quán)重，并設(shè)置優(yōu)化器為RMSprop，學(xué)習(xí)率為0.000 01，周期數(shù)為10。

2)Inception-V3模型原特征提取層名為“mixed8”，為凍結(jié)狀態(tài)，將“mixed7”之后的層次進(jìn)行解凍， “mixed7”之前的層次依然處于凍結(jié)狀態(tài)，微調(diào)后模型的參數(shù)設(shè)置和MobileNet-V2相同。

3)解凍Xception模型的基本預(yù)訓(xùn)練模型，仍處于凍結(jié)的部分是BatchNorMalization層，即批標(biāo)準(zhǔn)化層。這是因為BatchNorMalization層的更新會使模型所學(xué)習(xí)的知識遭到破壞，因此解凍了基本模型，并且學(xué)習(xí)率按原訓(xùn)練模型的十分之一對整個模型進(jìn)行端到端的訓(xùn)練，所以，微調(diào)后的訓(xùn)練時間比Inception-V3和MobileNet-V2模型解凍部分層次的訓(xùn)練時間長，微調(diào)后模型的參數(shù)設(shè)置和MobileNet-V2相同。

4.3 實驗結(jié)果

在3種模型上應(yīng)用同一個目標(biāo)數(shù)據(jù)集同時進(jìn)行特征提取和微調(diào)，比較在微調(diào)操作前后的訓(xùn)練精度和損失變化。同時，將3種模型在新樣本測試集中進(jìn)行泛化，觀察測試精度和損失的變化情況。3種模型微調(diào)前后的精度與損失見表1， 3種模型在測試集上的精度與損失見表2。其中，精度為正確識別圖像和標(biāo)簽的概率；損失為預(yù)測標(biāo)簽和正確標(biāo)簽之間的差距。

表1 3種模型微調(diào)前后的精度與損失 %

表2 3種模型在測試集上的精度與損失 %

表1中的數(shù)據(jù)反映的是在整個訓(xùn)練周期中在第10個周期和第20個周期，也就是微調(diào)前后的最后一個周期上的訓(xùn)練精度以及損失情況。由表1可以看出，3種模型進(jìn)行微調(diào)后，精度和損失的變化都是極為可觀的，均有一定的提升。由表2可以看出， MobileNet-V2的測試精度最高，損失最低，說明MobileNet-V2模型在適應(yīng)新樣本的過程中泛化性能最好。

3種模型微調(diào)前后的精度與損失變化仿真圖如圖3～5所示。其中，每個小圖的中間線為微調(diào)前后兩者的分隔線。

(a) 精度變化曲線

(a) 精度變化曲線

(a) 精度變化曲線

從圖3～5可以看出，微調(diào)前后Inception-V3模型的精度最高，且精度提升變化最為明顯。Xception模型在精度提升方面已經(jīng)趨近于飽和狀態(tài)；Inception-V3模型在微調(diào)剛開始時精度上升明顯，MobileNet-V2模型仍然有精度提升的可能。

通過實驗可以看出，運用遷移學(xué)習(xí)的方法將遷移深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于小樣本的圖像處理中可以構(gòu)造出泛化性能很高的模型，大大減少了原深度模型訓(xùn)練時產(chǎn)生的過擬合問題。

5 結(jié)束語

將遷移學(xué)習(xí)的理念與深度模型的方法結(jié)合，應(yīng)用于小樣本數(shù)據(jù)處理中，不僅訓(xùn)練時間短，而且準(zhǔn)確率也很高。模型經(jīng)過微調(diào)后，泛化性能提高，更加適用于圖像分類處理?？梢赃m當(dāng)增加輸入數(shù)據(jù)集的大小以提升精度，但這樣會使訓(xùn)練時間延長，或者通過優(yōu)勢組合，繼續(xù)進(jìn)化模型，進(jìn)一步提高對特征提取感受野的范圍大小等。