基于遷移學習和卷積神經(jīng)網(wǎng)絡(luò)的野生鳥類識別

戚桂美，郁志宏，武卓悅，李艷玲，趙錦明

（1.內(nèi)蒙古師范大學 計算機科學技術(shù)學院，內(nèi)蒙古 呼和浩特 010022；2.內(nèi)蒙古農(nóng)業(yè)大學 機電工程學院，內(nèi)蒙古 呼和浩特 010010）

我國野生動物種類繁多，分布廣泛，對野生動物進行識別是野生保護工作的重要組成部分［1］。傳統(tǒng)的野生動物識別方法是利用紅外相機、無線遙感技術(shù)［2-4］對野生動物的種群分布、物種多樣性等進行人工識別，但存在識別效率低、檢測周期長的問題。近年來，隨著圖像處理技術(shù)的發(fā)展和計算機處理能力的提升，圖像處理技術(shù)被越來越多地應(yīng)用于動物的識別，并取得較高的識別率［5-6］。但這些方法通過人工提取特征，工作量大，且在邊緣獲取過程中很難找到一個合適的閾值將目標圖像和背景區(qū)分開來。深度學習中的卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network）在自動特征提取方面具有較強優(yōu)勢，它借助多個卷積核自動提取低層和高層特征，并對圖像的扭曲、翻轉(zhuǎn)等同樣適用。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用在人臉識別［7-8］，遙感圖像識別［9］以及農(nóng)作物識別［10］等。但卷積神經(jīng)網(wǎng)絡(luò)如要獲得更好的分類識別準確率，需要大量數(shù)據(jù)。而針對小樣本數(shù)據(jù)集，學者們提出了基于遷移學習的方法以滿足不同應(yīng)用場景中對識別準確率的要求。

遷移學習是將源域?qū)W習到的知識或模式應(yīng)用到相關(guān)目標域中。遷移學習有基于實例、特征、共享參數(shù)的遷移三種。其中，基于共享參數(shù)的遷移學習在農(nóng)業(yè)圖像［11-13］、遙感圖像［14-15］、醫(yī)學圖像［16-17］上取得良好成績，證明遷移學習可以將在源域（大規(guī)模數(shù)據(jù)集，如ImageNet、MINIST 等）上獲得的邊緣、顏色等特征遷移到目標域（小樣本數(shù)據(jù)集），從而提高模型的識別準確率。

內(nèi)蒙古自治區(qū)各大湖泊沼澤地是野生鳥類的主要聚集地。《內(nèi)蒙古野生鳥類》編錄內(nèi)蒙古野生鳥類466 種［18］，是內(nèi)蒙古自治區(qū)鳥類資源的重要參考資料。本文通過翻拍書籍中鳥類圖片，現(xiàn)場拍攝，網(wǎng)絡(luò)爬蟲獲得內(nèi)蒙古地區(qū)野生鳥類圖像。經(jīng)專家指導完成數(shù)據(jù)標注工作，構(gòu)建小樣本的野生鳥類數(shù)據(jù)集。標注后的數(shù)據(jù)集分別在簡單CNN、全新訓練VGG、遷移學習VGG、ResNet 進行訓練和測試。試驗結(jié)果表明，遷移學習VGG 在識別準確率、泛化能力、收斂速度方面均有突出表現(xiàn)。

1 試驗數(shù)據(jù)

1.1 數(shù)據(jù)采集

試驗數(shù)據(jù)來自以下三種方式：①利用華為手機，分辨率1 600×784 像素，采集境內(nèi)湖泊草原鳥類圖像；②使用手機翻拍《內(nèi)蒙古野生鳥類》書中圖像數(shù)據(jù)；③運行Python 爬蟲代碼從網(wǎng)絡(luò)扒取內(nèi)蒙古野生鳥類圖像。隊獲得的圖像在專家指導下對數(shù)據(jù)進行標注，共獲得有效數(shù)據(jù)1 264 張，從有效數(shù)據(jù)中選取數(shù)據(jù)量最多的四類：大鴇、天鵝、赤麻鴨、金雕，每類數(shù)量70～90 作為試驗數(shù)據(jù)，如表1 所示，部分鳥類示例如圖1 所示。

圖1 部分內(nèi)蒙古野生鳥類示例圖Fig.1 Examples of some wild birds in Inner Mongolia

表1 內(nèi)蒙古野生鳥類數(shù)據(jù)集表Tab.1 Data set of wild birds in Inner Mongolia

1.2 圖像數(shù)據(jù)預處理

網(wǎng)絡(luò)爬取圖像和翻拍、拍攝圖像分辨率有很大差異，為此，首先通過歸一化處理將數(shù)據(jù)圖像歸一化為224×224×3，將圖像數(shù)據(jù)按照7∶1 比例劃分為訓練集和測試集。為增大數(shù)據(jù)量，對于訓練部分圖像進行數(shù)據(jù)增強，主要應(yīng)用旋轉(zhuǎn)變換（旋轉(zhuǎn)角度90°、180°、270°）、鏡像變換和平移變換盡可能多的保留圖像的信息。

平移變換是將圖像的所有像素坐標分別加上指定的水平、垂直偏移量，像素（x，y）在水平和垂直方向的平移量分別為x0和y0，則經(jīng)過平移后像素坐標為

旋轉(zhuǎn)變換則是將原始圖像繞原點順時針旋轉(zhuǎn)θ角度，旋轉(zhuǎn)變換后的像素坐標為

2 鳥類識別模型的建立

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像的分類識別領(lǐng)域，不需要對數(shù)據(jù)進行復雜的前期預處理和特征提取，只需直接輸入原始圖像。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層、輸出層三部分構(gòu)成，其中隱藏層又包含卷積層（Conv）、池化層（Pool）和全連接層（Full）。卷積層中的卷積核獲得圖像的局部特征信息，權(quán)值共享。同一個卷積核可提取輸入圖像的一種特征，多個卷積核可以提取輸入圖像多個特征。卷積核對圖像的特征提取公式為

式中：σ是神經(jīng)元的激活函數(shù)；b是偏移量。

卷積神經(jīng)網(wǎng)絡(luò)開始訓練時，通過隨機初始化賦予各個卷積核和偏移量一個初值，然后運用大量標注數(shù)據(jù)采用反向傳遞的方法，調(diào)整卷積核和偏移值參數(shù)，使網(wǎng)絡(luò)效果逐步優(yōu)化。卷積層越深，越能學習到圖像的高層語義特征，需要的參數(shù)量也大幅增多。池化層一般通過最大池化或平均池化對特征圖進行降維。池化有可能丟失圖像特征精準絕對位置，但保留了其相對位置信息。全連接層則對卷積層和池化層提取的高維特征再進行降維和非線性變化，進行類別判斷。綜上所述，卷積神經(jīng)網(wǎng)絡(luò)對圖像中目標旋轉(zhuǎn)、縮放、扭曲具有較好的魯棒性。

2.2 基于遷移學習的卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

VGGNet（visual geometry group）［19］是2014 年ILSVRC 比賽分類 項目的第二名，因為其優(yōu)越的性能，隨后被應(yīng)用于各個領(lǐng)域［20-22］，VGG16 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 VGG16 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 VGG16 structure

VGG16 中有13 個卷積層，5 個最大池化，3 個全連接層。卷積層采用連續(xù)的幾個3×3 卷積核代替較大卷積核，在保證具有相同感受的前提下，提升了神經(jīng)網(wǎng)絡(luò)在圖像識別等任務(wù)上的效果。將VGG16 直接應(yīng)用在內(nèi)蒙古野生鳥類這個小樣本數(shù)據(jù)集上，必然會產(chǎn)生嚴重的過擬合，導致網(wǎng)絡(luò)在訓練數(shù)據(jù)集上識別率很高，在測試集上效果很差?？紤]到低層卷積核提取的是圖像的邊緣、輪廓等淺層特征，而這些淺層特征對所有的圖像識別任務(wù)具有普遍性，本文提出基于遷移學習的卷積神經(jīng)網(wǎng)絡(luò)提升野生鳥類識別模型的性能。

遷移學習是運用已有模型對不同但相關(guān)領(lǐng)域問題進行求解的一種新的機器學習方法［23］，應(yīng)用遷移學習中基于共享參數(shù)的方法進行內(nèi)蒙古野生鳥類的識別，具體實現(xiàn)過程如圖3 所示。利用ImageNet 對VGG16進行預訓練，提取圖像特征，從而實現(xiàn)對網(wǎng)絡(luò)參數(shù)的初始化。裁剪預訓練VGG16 全連接層和輸出層，只保留卷積層和池化層。將新構(gòu)建的全連接層和四分類輸出層與上一步的卷積層和池化層進行組合，得到一個改進的遷移學習VGG16 模型。最后使用野生鳥類數(shù)據(jù)集對新構(gòu)建VGG 進行訓練和測試，利用反向傳播對全連接層和輸出層進行微調(diào)，使模型適應(yīng)目標域數(shù)據(jù)的特征。

圖3 遷移學習過程示意圖Fig.3 Schematic diagram of transfer learning process

3 模型訓練和試驗結(jié)果分析

3.1 試驗環(huán)境

實驗環(huán)境的系統(tǒng)為win7 64-bit；處理器為Intel（R）Core（TM）i5-4210U CPU @1.70 GHz 2.40 GHz；IDE 為Pycharm 2018.1.4；庫為TensorFlow 1.7.0、Keras 2.2.4、numpy 1.14.6、open-python 4.0.0.21。

3.2 試驗設(shè)計

為驗證設(shè)計遷移學習模型的有效性，構(gòu)建以下四種模型：簡單卷積神經(jīng)網(wǎng)絡(luò)S-CNN；全新訓練的VGG；遷移學習VGG；ResNet50［24］。四種模型卷積層個數(shù)分別4，13，13，48。結(jié)合模型對數(shù)據(jù)量的要求，分別進行如下五次試驗：未增強數(shù)據(jù)+S-CNN；未增強數(shù)據(jù)+全新訓練VGG；未增強數(shù)據(jù)+遷移學習模型；增強數(shù)據(jù)+遷移學習模型；增強數(shù)據(jù)+ResNet50。根據(jù)試驗硬件條件，對模型訓練過程中的參數(shù)設(shè)置如表2 所示。

表2 卷積模型訓練參數(shù)Tab.2 Training parameters of CNN

3.3 試驗結(jié)果與分析

五次試驗的訓練輪次在代碼中都設(shè)置為80，同時使用“Early Stopping”函數(shù)實時監(jiān)測訓練過程中損失函數(shù)的值，當損失函數(shù)微調(diào)30 次后仍沒有下降就提前結(jié)束訓練。以識別準確率作為主要參考指標，以模型收斂快慢、是否過擬合等輔助指標對模型進行評價。當試驗中學習率設(shè)置為0.01 時，后四次試驗的訓練和測試準確率都停留在26% 左右，而在四種動物中選取一種的概率為25%。觀察此時的損失函數(shù)恒為0.005，網(wǎng)絡(luò)梯度消失，模型參數(shù)得不到更新。學習率設(shè)置為0.000 1 時，模型在訓練一定輪次后可以收斂。表3 是在訓練輪次、學習率、數(shù)據(jù)是否增強等因素影響下得到的訓練、測試準確率。

表3 模型在不同因素下訓練、測試準確率及識別速度Tab.3 Training and test accuracies under different training modes

3.3.1 卷積層數(shù)量對識別準確率影響 只有四層卷積層的S-CNN 模型在80 個輪次（epoch）里訓練準確率一直維持在45% 以下，這是由于網(wǎng)絡(luò)太淺，不能充分學習到深層特征。具有最多卷積層的ResNet50 在20 個輪次時訓練準確率高達99%，模型收斂最快。但是表3 中ResNet50 測試準確率相比遷移學習反而要低，原因在于ResNet50 需要參數(shù)多，存在過擬合，不適合小樣本數(shù)據(jù)集的圖像識別任務(wù)。遷移學習的模型在訓練50 輪次時，訓練準確率達到97% 以上，并且在測試集上也表現(xiàn)優(yōu)異，準確率達到96.97%。

3.3.2 數(shù)據(jù)增強對識別準確率影響 對遷移學習模型利用數(shù)據(jù)增強前和數(shù)據(jù)增強后的模型分別進行訓練，數(shù)據(jù)增強后每個輪次中的迭代（iteration）次數(shù)增多，模型能從一輪迭代中看到數(shù)據(jù)的“多面”，因此具有更快的收斂速度。而測試集上增強后模型的識別準確率比沒有數(shù)據(jù)增強反而低了2.27%，從而驗證數(shù)據(jù)增強對于遷移學習不具有有效性。

3.3.3 遷移學習對識別準確率的影響 增強前數(shù)據(jù)在全新訓練VGG 和遷移學習VGG 模型上進行試驗，遷移后的VGG 模型在訓練開始時，相比全新訓練VGG 模型具有較低的識別準確率，存在負遷移現(xiàn)象出現(xiàn)。在15 個輪次后，遷移學習模型的訓練準確率比全新訓練準確率更高。由表2 可知，全新訓練VGG16雖然在訓練集上準確率為95.7%，但是在測試集上只有78.78%，遠低于訓練集，證明小樣本數(shù)據(jù)集利用全新VGG16 進行識別存在嚴重過擬合。

綜上所述，卷積層個數(shù)越多在分類識別任務(wù)中效果越好。但是對于小樣本數(shù)據(jù)集來說，單純的提高網(wǎng)絡(luò)深度會帶來過擬合問題。進行數(shù)據(jù)增強雖然可以在一定程度上緩解這一問題，但大部分數(shù)據(jù)增強都是在空間變換和顏色變換，并不能根本上解決數(shù)據(jù)不足的問題，并延長了訓練時間。數(shù)據(jù)增強后模型在測試集上變現(xiàn)也欠佳。遷移學習是對預訓練模型的微調(diào)和再訓練，其學習率的設(shè)置不能太高，否則會導致網(wǎng)絡(luò)在駐點周圍徘徊，網(wǎng)絡(luò)得不到優(yōu)化。

4 結(jié)論

本文針對小樣本的內(nèi)蒙古野生鳥類數(shù)據(jù)集，設(shè)計了一種基于遷移學習機制的卷積神經(jīng)網(wǎng)絡(luò)。經(jīng)試驗驗證，基于遷移學習的卷積神經(jīng)網(wǎng)絡(luò)相比卷積層數(shù)少的S-CNN 和卷積層數(shù)多的ResNet，以及全新訓練的VGG 在測試集上識別準確率都要高。遷移學習模型相比參數(shù)隨機化的全新學習VGG，收斂速度更快，網(wǎng)絡(luò)泛化能力更強。

未來針對內(nèi)蒙古野生鳥類數(shù)據(jù)集的識別，工作重點是：

（1）本文選取的四種野生鳥類在形體特征上均具有較為明顯的區(qū)別。當鳥類之間相似性非常大時，需要結(jié)合注意力機制，對決定鳥類類別的關(guān)鍵區(qū)域進行重點特征提取，在此基礎(chǔ)上結(jié)合CNN 網(wǎng)絡(luò)進行識別。

（2）本文數(shù)據(jù)集和ImageNet 數(shù)據(jù)集具有很大相似性，所以遷移模型只需要對全連接層和輸出層進行微調(diào)。當目標域與源域數(shù)據(jù)差別較大時，需要對整個卷積神經(jīng)網(wǎng)絡(luò)進行微調(diào)。