基于樹木整體圖像和集成遷移學(xué)習(xí)的樹種識(shí)別

馮海林 胡明越 楊垠暉 夏 凱

(1.浙江農(nóng)林大學(xué)信息工程學(xué)院， 杭州 311300； 2.浙江省林業(yè)智能監(jiān)測(cè)與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室， 杭州 311300; 3.林業(yè)感知技術(shù)與智能裝備國家林業(yè)局重點(diǎn)實(shí)驗(yàn)室, 杭州 311300)

0 引言

地球上樹木種類繁多，對(duì)其進(jìn)行自動(dòng)分類識(shí)別在植物多樣性保護(hù)以及進(jìn)行植物學(xué)研究方面有重要意義，且具有重要的實(shí)際應(yīng)用價(jià)值。樹種識(shí)別具體包括葉片識(shí)別、花卉識(shí)別、樹皮紋理識(shí)別以及木材紋理識(shí)別等，是一項(xiàng)非常復(fù)雜的任務(wù)。研究樹種識(shí)別問題面臨諸多難點(diǎn)，如：①區(qū)分不同樹種的特征信息非常多：植物的形態(tài)、紋理、顏色等，基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法很難通過人工提取特征的方式提取到區(qū)分不同樹種的關(guān)鍵特征。②自然環(huán)境下復(fù)雜背景的植物圖像有很多噪聲干擾，對(duì)樹種圖像分割造成很大影響。③同一樹種在不同生長階段、不同季節(jié)也會(huì)表現(xiàn)出差異性。④樹種圖像數(shù)據(jù)庫不完善。盡管如此，國內(nèi)外學(xué)者在樹種識(shí)別問題上已經(jīng)進(jìn)行了很多研究，并取得了一定的進(jìn)展。

文獻(xiàn)[1]提出了基于多特征降維的植物葉片識(shí)別方法，首先通過Hu不變矩[2]、灰度共生矩陣、局部二值模式、Gabor濾波器等技術(shù)分別提取植物葉片的形狀、紋理特征，共得到2 183維特征參數(shù)，然后采用主成分分析(PCA)進(jìn)行降維，再使用支持向量機(jī)(SVM)分類器對(duì)降維后的數(shù)據(jù)進(jìn)行訓(xùn)練。文獻(xiàn)[3]開發(fā)了基于多特征融合的植物葉片識(shí)別系統(tǒng)，手動(dòng)提取了植物葉片的形狀、紋理以及顏色特征，然后使用SVM對(duì)葉片進(jìn)行分類，最終在構(gòu)建的葉片數(shù)據(jù)集上達(dá)到了91.41%的識(shí)別率。隨著深度學(xué)習(xí)的發(fā)展，文獻(xiàn)[4]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)與SVM以及softmax分類器相結(jié)合，設(shè)計(jì)了一個(gè)分層卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)，對(duì)植物葉片進(jìn)行識(shí)別，該網(wǎng)絡(luò)可以自主學(xué)習(xí)葉片特征，減少了人工干預(yù)的過程。該系統(tǒng)的訓(xùn)練數(shù)據(jù)來自PlantNet[5]葉片庫及自擴(kuò)展的葉片圖庫，共33 293幅圖像(共231種樹)。實(shí)驗(yàn)表明：該方法對(duì)單一背景的葉片圖像識(shí)別率達(dá)到90%左右，但是對(duì)復(fù)雜背景的葉片圖像識(shí)別率僅34.38%。近年來，隨著深度神經(jīng)網(wǎng)絡(luò)層數(shù)的增長，訓(xùn)練小樣本數(shù)據(jù)集易出現(xiàn)過擬合問題，所以基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的圖像識(shí)別方法逐漸得到應(yīng)用。文獻(xiàn)[6]提出了一種基于殘差網(wǎng)絡(luò)遷移學(xué)習(xí)的花卉識(shí)別系統(tǒng)，設(shè)計(jì)了一個(gè)152層的殘差網(wǎng)絡(luò)，先在ImageNet[7]數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后遷移到目標(biāo)花卉數(shù)據(jù)集上，訓(xùn)練得到了一個(gè)識(shí)別率90.8%的模型。文獻(xiàn)[8]也提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)植物葉片圖像識(shí)別方法，利用AlexNet[9]以及Inception-V3[10]預(yù)訓(xùn)練模型在ICL[11]葉片數(shù)據(jù)集的測(cè)試集上分別得到95.31%和95.40%的識(shí)別率。在國外，從2011年到2017年，CLEF(Cross language evaluation forum)論壇組織了7次植物識(shí)別相關(guān)比賽。在PlantCLEF 2017比賽中，MARIO設(shè)計(jì)的基于CNN的分類系統(tǒng)達(dá)到了88.5%的準(zhǔn)確率[12]。此外，基于木材的近紅外光譜圖像也被廣泛用于樹種識(shí)別問題中。文獻(xiàn)[13]利用木材的近紅外光譜數(shù)據(jù)，結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行樹種識(shí)別，但也存在不同樹種近紅外光譜數(shù)據(jù)難以獲得和成本較高等弊端。

本文提出一種基于樹木整體圖像和集成遷移學(xué)習(xí)的樹種識(shí)別方法。首先基于4種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(AlexNet、VggNet-16[14]、Inception-V3、ResNet-50[15])，由ImageNet數(shù)據(jù)集預(yù)訓(xùn)練好的模型，在自主構(gòu)建的TreesNet樹種圖像數(shù)據(jù)集上進(jìn)行遷移學(xué)習(xí)，訓(xùn)練出4個(gè)不同的分類模型，然后通過相對(duì)多數(shù)投票法和加權(quán)平均法建立集成模型。設(shè)計(jì)多類實(shí)驗(yàn)，結(jié)合實(shí)驗(yàn)數(shù)據(jù)對(duì)比4種深度卷積神經(jīng)網(wǎng)絡(luò)模型與集成模型在樹種識(shí)別上的性能差異，并將本文提出的樹種識(shí)別方法與傳統(tǒng)的圖像分類算法進(jìn)行分析比較，以期為復(fù)雜背景下的樹種識(shí)別問題提供解決思路。

1 數(shù)據(jù)集與數(shù)據(jù)增強(qiáng)

目前網(wǎng)絡(luò)上公開的用于植物識(shí)別的圖像數(shù)據(jù)集包括：PlantNet[5]、Leafsnap[16]以及Flavia[17]等，大都是植物葉片圖像數(shù)據(jù)集。還尚未有公開的樹木整體圖像數(shù)據(jù)集。所以本文采用自主拍攝和網(wǎng)絡(luò)爬取相結(jié)合的方式構(gòu)建了一個(gè)樹種圖像數(shù)據(jù)集TreesNet。樹的分類單位從大到小可依次分為門、綱、目、科、屬、種等，所以TreesNet數(shù)據(jù)集以門、綱、目、科、屬、種來劃分每一類樹。圖像按照不同樹種分別存放在不同文件夾下，文件夾以樹種名命名。同時(shí)，對(duì)這些數(shù)據(jù)(主要是網(wǎng)絡(luò)爬取的數(shù)據(jù))進(jìn)行了人工篩選，刪除掉標(biāo)簽與實(shí)際不符合的數(shù)據(jù)。本文實(shí)驗(yàn)數(shù)據(jù)取自TreesNet數(shù)據(jù)集的10種樹木，具體信息如表1所示。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別問題通常需要大規(guī)模的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)樣本，避免因模型過于復(fù)雜而數(shù)據(jù)量太少出現(xiàn)過擬合的問題。除了獲取更多的數(shù)據(jù)，過擬合問題的解決辦法還有很多，本文基于TreesNet數(shù)據(jù)集采用了數(shù)據(jù)增強(qiáng)的方法。實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)增強(qiáng)對(duì)解決過擬合問題有十分顯著的效果。

本文使用的數(shù)據(jù)增強(qiáng)方法具體包括以下幾種：①改變圖像的亮度、飽和度、對(duì)比度等。②對(duì)原始圖像進(jìn)行水平/垂直翻轉(zhuǎn)。③先采用最近鄰差值、雙線性差值、雙三次差值等方式對(duì)圖像進(jìn)行縮放，然后隨機(jī)裁剪圖像5個(gè)區(qū)域生成新的圖像。在實(shí)驗(yàn)中，使用上述數(shù)據(jù)增強(qiáng)方式的組合，將原始數(shù)據(jù)集擴(kuò)充了10倍。數(shù)據(jù)增強(qiáng)實(shí)例如圖1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)Tab.1 Experimental data

圖2 樹種圖像識(shí)別集成模型結(jié)構(gòu)Fig.2 Structure of tree species recognition ensemble model

圖1 數(shù)據(jù)增強(qiáng)實(shí)例Fig.1 Example of data augmentation

2 基于集成遷移學(xué)習(xí)的樹種識(shí)別方法

遷移學(xué)習(xí)是指利用已有的源領(lǐng)域信息對(duì)相關(guān)的目標(biāo)領(lǐng)域問題進(jìn)行求解[18]，目的是將已知的源領(lǐng)域?qū)W習(xí)到的有用信息應(yīng)用到目標(biāo)領(lǐng)域中[6]。 在深度學(xué)習(xí)中，CNN的訓(xùn)練通常需要使用大量的帶標(biāo)記的樣本，在小樣本集上一般是直接使用預(yù)訓(xùn)練好的模型進(jìn)行特征提取[19]。本文提出的基于集成遷移學(xué)習(xí)的樹種圖像識(shí)別模型結(jié)構(gòu)如圖2所示，首先使用AlexNet、VggNet-16、Inception-V3和ResNet-50這4種模型在ImageNet(包含120多萬幅共1 000種樹木類別的圖像)大型圖像數(shù)據(jù)集上訓(xùn)練得到預(yù)訓(xùn)練模型，預(yù)訓(xùn)練模型已經(jīng)具備了一些有助于圖像分類的基本特征(邊緣、顏色特征等)提取能力，然后將這些模型遷移到目標(biāo)樹種小數(shù)據(jù)集微調(diào)訓(xùn)練(finetune)出4個(gè)不同的分類模型,最后通過相對(duì)多數(shù)投票法和加權(quán)平均法建立集成模型。這4種模型都是基于卷積神經(jīng)網(wǎng)絡(luò)，并且在ILSVRC(ImageNet large scale visual recognition challenge)比賽中都取得了很大的成功(http:∥www.image-net.org/ challenges/LSVRC/2012/)。

2.1 卷積神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練

遷移學(xué)習(xí)首先需要在ImageNet大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練CNN,本文選取的AlexNet、VggNet-16、Inception-V3以及ResNet-50這4種網(wǎng)絡(luò)結(jié)構(gòu)都基于CNN,并且都具有一定的代表性。從AlexNet到ResNet-50,網(wǎng)絡(luò)的層數(shù)不斷增多，并且Inception-V3使網(wǎng)絡(luò)“變寬”，ResNet-50加入了“跨層連接”。CNN一般由輸入層、卷積層、池化層、全連接層以及輸出層組成。網(wǎng)絡(luò)層的深度可通過增加卷積層、池化層或者全連接層的個(gè)數(shù)來調(diào)節(jié)。通常情況下，卷積層和池化層可交替設(shè)計(jì)。

輸入層讀取圖像數(shù)據(jù)，產(chǎn)生一個(gè)特定尺寸的向量作為網(wǎng)絡(luò)的輸入。本文AlexNet網(wǎng)絡(luò)的輸入層圖像尺寸為227像素×227像素,VggNet-16和ResNet-50為224像素×224像素，Inception-V3為299像素×299像素。不同的輸入層圖像尺寸更利于多尺度圖像的識(shí)別。

卷積層目的在于特征提取，其過程可描述為

xi=act(xi-1?ki+bi)

(1)

式中xi——卷積神經(jīng)網(wǎng)絡(luò)第i層的特征圖

ki——第i層卷積核

bi——第i層的偏置向量

?——卷積運(yùn)算符號(hào)

act(·)——激活函數(shù)

常見的激活函數(shù)有sigmoid、tanh、ReLU以及LeakyReLU等。本文采用ReLU激活函數(shù)，公式為

act(x)=max(0,x)

(2)

池化層即下采樣層。池化后減小了原特征圖的尺寸，但同時(shí)不會(huì)過多丟失原特征圖的信息，所以在一定程度上提高了整個(gè)網(wǎng)絡(luò)運(yùn)算效率。并且，池化操作在一定范圍內(nèi)保證了平移不變性。常見的池化運(yùn)算有最大池化、均值池化和隨機(jī)池化。

輸出層采用softmax函數(shù)進(jìn)行歸一化。輸出的是一個(gè)n行1列的向量，n為類別數(shù)。通過softmax函數(shù)計(jì)算后每一行的數(shù)值代表圖像屬于該行所對(duì)應(yīng)類別的概率值。softmax函數(shù)表示為

(3)

式中wj——權(quán)重bj——偏置

在分類的任務(wù)中，一般使用交叉熵?fù)p失函數(shù)來評(píng)估真實(shí)值與預(yù)測(cè)值之間的差距，交叉熵公式為

(4)

式中m——輸入網(wǎng)絡(luò)的樣本數(shù)

yji——真實(shí)的標(biāo)簽

Closs——損失值

隨機(jī)梯度下降法(Stochastic gradient descent,SGD)在模型訓(xùn)練過程中用于參數(shù)的更新，其原始形式為

(5)

式中θ——模型需要更新的參數(shù)

α——學(xué)習(xí)率J(θ)——損失函數(shù)

近年來，出于加快模型收斂速度的考慮，梯度下降法出現(xiàn)了很多的變體，Adam(Adaptive moment estimation)是其中的一種， Adam是文獻(xiàn)[20]提出的一種自適應(yīng)學(xué)習(xí)率的梯度更新方法，Adam更少地依賴初始學(xué)習(xí)率的設(shè)置，并且有效地減少了出現(xiàn)局部最優(yōu)解的情況。本文通過實(shí)驗(yàn)也驗(yàn)證了使用Adam比使用SGD收斂得更快。所以，本文使用Adam自適應(yīng)學(xué)習(xí)率優(yōu)化算法。

2.2 模型遷移學(xué)習(xí)

完成4種CNN模型預(yù)訓(xùn)練，需要將預(yù)訓(xùn)練的CNN遷移到目標(biāo)樹種數(shù)據(jù)集TreesNet上進(jìn)行微調(diào)(finetune)。由于這4種網(wǎng)絡(luò)模型的結(jié)構(gòu)有所不同，所以使用預(yù)訓(xùn)練的模型對(duì)目標(biāo)數(shù)據(jù)進(jìn)行再訓(xùn)練的時(shí)候，選擇微調(diào)的網(wǎng)絡(luò)層也有所不同。

AlexNet模型是一個(gè)8層的網(wǎng)絡(luò)結(jié)構(gòu)，包含5個(gè)卷積層和3個(gè)全連接層。其中卷積層所使用的卷積核尺寸有11×11,也有3×3，這里將后面3個(gè)全連接層分別命名為fc6、fc7、fc8。VggNet-16模型在AlexNet的基礎(chǔ)上增加了網(wǎng)絡(luò)的深度，共有16層，由13個(gè)卷積層和3個(gè)全連接層構(gòu)成，同時(shí)卷積核的尺寸均取3×3。同樣地，這里也將最后3個(gè)全連接層分別命名為fc6、fc7、fc8。采用AlexNet和VggNet-16模型進(jìn)行微調(diào)訓(xùn)練時(shí)，保留所有卷積層的參數(shù)，然后分別訓(xùn)練后面的全連接層fc6～fc8。由于3個(gè)全連接層也有3種不同的組合方式([(fc6,fc7),fc8];[fc6,(fc7,fc8)];[(fc6,fc7, fc8)])，其中[(fc6,fc7),fc8]表示保留fc6、fc7的參數(shù)，只訓(xùn)練fc8層，其他依此類推。本文對(duì)這3種組合方式分別進(jìn)行實(shí)驗(yàn)。

Inception-V3模型由一般的卷積層、池化層以及3個(gè)Inception模塊組構(gòu)成。由于Inception模塊組的出現(xiàn)使得網(wǎng)絡(luò)“變寬”，這種寬的結(jié)構(gòu)會(huì)使得整個(gè)網(wǎng)絡(luò)的參數(shù)量大大減少。Inception-V3最后一層為卷積層，將卷積核的數(shù)目設(shè)置成種類數(shù)目，再通過softmax激活函數(shù)分類。使用Inception-V3模型進(jìn)行樹種識(shí)別的遷移學(xué)習(xí)時(shí)，只訓(xùn)練最后一層用于目標(biāo)樹種數(shù)據(jù)集的擬合，其余層參數(shù)直接采用預(yù)訓(xùn)練模型所習(xí)得的參數(shù)。另外，本文在Inception-V3模型的基礎(chǔ)上新增了一層全連接層，對(duì)模型進(jìn)行微調(diào)訓(xùn)練時(shí)，同時(shí)訓(xùn)練新增的全連接層和網(wǎng)絡(luò)的最后一層。本文也對(duì)這兩種方式分別進(jìn)行實(shí)驗(yàn)。

ResNet-50獨(dú)創(chuàng)性地加入了殘差結(jié)構(gòu)使得網(wǎng)絡(luò)能夠往更深的方向發(fā)展，共有50個(gè)卷積層，使用該模型進(jìn)行微調(diào)訓(xùn)練時(shí)，只訓(xùn)練最后一層全連接層。

基于這4種模型，本文采用上述微調(diào)的策略共訓(xùn)練出4個(gè)不同的分類模型。這4個(gè)模型具有一定的差異性，因此，本文集成4種模型，提出一種新的樹種識(shí)別方案。

2.3 模型集成策略

集成學(xué)習(xí)(Ensemble learning,EL)的一般思想是：先產(chǎn)生一組“個(gè)體學(xué)習(xí)器”，再用某種策略將它們結(jié)合起來。個(gè)體學(xué)習(xí)器通常由一個(gè)現(xiàn)有的學(xué)習(xí)算法從訓(xùn)練數(shù)據(jù)產(chǎn)生，如果個(gè)體學(xué)習(xí)器是同種類型的，例如全是基于神經(jīng)網(wǎng)絡(luò)的，此時(shí)也可稱個(gè)體學(xué)習(xí)器為基學(xué)習(xí)器。集成學(xué)習(xí)通過將多個(gè)學(xué)習(xí)器進(jìn)行結(jié)合，?？色@得比單一學(xué)習(xí)器顯著優(yōu)越的泛化性能。

本文在4個(gè)基學(xué)習(xí)器的基礎(chǔ)上，采用相對(duì)多數(shù)投票法和加權(quán)平均法兩種集成策略，得到最終的分類結(jié)果。4個(gè)基學(xué)習(xí)器分別為AlexNet、VggNet-16、Inception-V3和ResNet-50遷移訓(xùn)練出的模型。首先取得4個(gè)基學(xué)習(xí)器softmax層的結(jié)果，然后采用下面兩種集成方式：

(1)相對(duì)多數(shù)投票法(Vote-ensemble)。假設(shè)4個(gè)基分類器的輸出分別為Oi(i=1,2,3,4)，相對(duì)多數(shù)投票法[21]就是先統(tǒng)計(jì)4個(gè)基分類器輸出結(jié)果中相同結(jié)果的個(gè)數(shù)，最終輸出結(jié)果為相同個(gè)數(shù)最多的結(jié)果。當(dāng)個(gè)數(shù)一樣時(shí)，則隨機(jī)選擇一個(gè)結(jié)果為最終輸出結(jié)果。

(2)加權(quán)平均法(Weight-ensemble)。當(dāng)?shù)趇個(gè)基分類器的預(yù)測(cè)分類結(jié)果為

該矩陣每一行的數(shù)值代表分類器預(yù)測(cè)結(jié)果為該行所表示的樹種類別的概率，那么集成模型的分類輸出O可通過取各基分類器分類結(jié)果的平均值得到

(6)

其中

(7)

其中di的取值根據(jù)各個(gè)基分類器在測(cè)試集上的準(zhǔn)確率排序(di=1,2,3,4)來確定，準(zhǔn)確率最高的模型di=4，最低的模型di=1。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)在Windows 10 64位操作系統(tǒng)下進(jìn)行，其中神經(jīng)網(wǎng)絡(luò)的搭建、訓(xùn)練以及測(cè)試是利用Python語言調(diào)用TensorFlow[22]深度學(xué)習(xí)庫來實(shí)現(xiàn)的。服務(wù)器的配置為16 GB內(nèi)存的Intel Xeon E3-1225 v5 CPU，11 GB內(nèi)存的Nvidia GeForce GTX 1080 Ti GPU。

首先通過實(shí)驗(yàn)對(duì)比分析與圖像識(shí)別相關(guān)的深度神經(jīng)網(wǎng)絡(luò)(AlexNet、VggNet-16、Inception-V3以及ResNet-50)在樹種識(shí)別上的表現(xiàn)，分別直接進(jìn)行訓(xùn)練和微調(diào)訓(xùn)練，以此來對(duì)比兩種策略的優(yōu)劣。并且將本文提出的集成模型與4種基分類器的結(jié)果進(jìn)行對(duì)比。最后，為了對(duì)比本文設(shè)計(jì)的識(shí)別框架與其他分類系統(tǒng)的識(shí)別效果，將基于該方法進(jìn)行樹種識(shí)別的實(shí)驗(yàn)結(jié)果與傳統(tǒng)的KNN、SVM以及BP神經(jīng)網(wǎng)絡(luò)在本文構(gòu)建的數(shù)據(jù)集下得到的識(shí)別結(jié)果進(jìn)行了分析比較。

網(wǎng)絡(luò)模型的超參數(shù)設(shè)置如下：在微調(diào)訓(xùn)練模式下使用4種網(wǎng)絡(luò)模型在ImageNet數(shù)據(jù)集訓(xùn)練出來的參數(shù)來初始化權(quán)重，直接訓(xùn)練模式下使用標(biāo)準(zhǔn)差為0.001的高斯分布進(jìn)行初始化。使用Adam優(yōu)化器進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。初始學(xué)習(xí)率以及網(wǎng)絡(luò)迭代次數(shù)的設(shè)置，不同的網(wǎng)絡(luò)模型以及在不同的數(shù)據(jù)規(guī)模下有所區(qū)別。

表2為原始數(shù)據(jù)集下各模型部分參數(shù)的設(shè)置情況。包括：初始學(xué)習(xí)率、批大小、迭代次數(shù)以及各模型微調(diào)訓(xùn)練的網(wǎng)絡(luò)層。其中AlexNet和VggNet-16進(jìn)行微調(diào)時(shí)訓(xùn)練fc6、fc7和fc8 3個(gè)全連接層。 Inception-V3進(jìn)行微調(diào)時(shí)，在最后一層全連接層前面增加了一層全連接層并訓(xùn)練后面兩層。ResNet-50進(jìn)行微調(diào)時(shí)，只訓(xùn)練了最后一層全連接層。

數(shù)據(jù)增強(qiáng)后的網(wǎng)絡(luò)模型的迭代次數(shù)會(huì)做適當(dāng)調(diào)整。數(shù)據(jù)集越多，迭代次數(shù)設(shè)置越大。并且數(shù)據(jù)增強(qiáng)前和增強(qiáng)后的數(shù)據(jù)集均被隨機(jī)分為訓(xùn)練集和測(cè)試集兩部分，其中訓(xùn)練集占80%，測(cè)試集占20%。

表2 原始數(shù)據(jù)集下模型部分參數(shù)的設(shè)置Tab.2 Setting of part model parameters under original dataset

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用測(cè)試集的準(zhǔn)確率Ptop1(即識(shí)別的結(jié)果與圖像原始標(biāo)簽一致的準(zhǔn)確率)評(píng)價(jià)模型，其計(jì)算

公式為

(8)

式中t——測(cè)試集圖像的總數(shù)量

a——模型測(cè)試正確的數(shù)量

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1SGD和Adam訓(xùn)練效率對(duì)比

首先通過實(shí)驗(yàn)對(duì)比了使用SGD和Adam進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化的效率情況，采用AlexNet、VggNet-16、Inception-V3和ResNet-50這4種模型，分別使用SGD和Adam迭代訓(xùn)練8 000次，其他的參數(shù)設(shè)置保持一致。訓(xùn)練過程中使用TensorFlow[22]自帶的可視化工具Tensorboard記錄了訓(xùn)練的細(xì)節(jié)，并繪制了迭代次數(shù)與訓(xùn)練集、測(cè)試集Closs的變化曲線，結(jié)果如圖3所示。

圖3 分別使用SGD和Adam訓(xùn)練4種模型Closs值隨訓(xùn)練步數(shù)的變化情況Fig.3 Changes of loss value with training steps using SGD and Adam

從圖3可以看出，在訓(xùn)練相同次數(shù)的情況下，每種模型使用Adam，都會(huì)使Closs值下降得更低。也就是說，使用Adam能使模型更快收斂，提高了實(shí)驗(yàn)效率。

3.3.2遷移學(xué)習(xí)實(shí)驗(yàn)

使用AlexNet、VggNet-16、Inception-V3和ResNet-50這4種模型分別在原始樹種數(shù)據(jù)集(1X)以及數(shù)據(jù)增強(qiáng)后的樹種數(shù)據(jù)集(10X)進(jìn)行遷移訓(xùn)練時(shí)，保留卷積層的參數(shù)只對(duì)模型的全連接層進(jìn)行微調(diào)，并且對(duì)含有多個(gè)全連接層的模型也采用不同的組合方式分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示。由表3可知，模型訓(xùn)練的全連接層越多，準(zhǔn)確率越高。圖4為各模型微調(diào)訓(xùn)練過程中Closs值的變化情況，Closs值隨著模型迭代次數(shù)的增多，呈下降趨勢(shì)，直至收斂。

3.3.3模型集成前后結(jié)果對(duì)比

使用4種分類模型(AlexNet、VggNet-16、Inception-V3、ResNet-50)分別在原始樹種數(shù)據(jù)集以及數(shù)據(jù)增強(qiáng)后的樹種數(shù)據(jù)集上進(jìn)行直接訓(xùn)練(如AlexNet)，與上述遷移學(xué)習(xí)訓(xùn)練出最好結(jié)果的模型(如AlexNet-finetune)作比較，并且采用加權(quán)平均法和相對(duì)多數(shù)投票法兩種集成策略分別對(duì)直接訓(xùn)練和遷移學(xué)習(xí)訓(xùn)練生成的模型進(jìn)行集成。表4為基分類器和集成分類器在測(cè)試集上的準(zhǔn)確率實(shí)驗(yàn)結(jié)果,從表4可以看出:數(shù)據(jù)增強(qiáng)后的識(shí)別率均高于在原始數(shù)據(jù)集上直接訓(xùn)練得出的準(zhǔn)確率，由此可以說明數(shù)據(jù)增強(qiáng)的有效性。同時(shí)，從實(shí)驗(yàn)結(jié)果可以看出：采用遷移學(xué)習(xí)訓(xùn)練出的模型準(zhǔn)確率均高于直接訓(xùn)練的準(zhǔn)確率。并且，采用兩種策略集成后的模型準(zhǔn)確率均高于各個(gè)基分類器的準(zhǔn)確率，說明本文采取的集成策略對(duì)模型的準(zhǔn)確率有一定的提升效果，并且基于加權(quán)平均法的集成策略優(yōu)于相對(duì)多數(shù)投票法，準(zhǔn)確率達(dá)99.15%。

表3 4種不同模型遷移學(xué)習(xí)實(shí)驗(yàn)結(jié)果對(duì)比Tab.3 Comparison of four different models transfer learning results %

注: “AlexNet-fc8”表示只訓(xùn)練AlexNet模型的fc8層,“AlexNet-fc8,fc7”表示訓(xùn)練AlexNet模型的fc8和fc7層?！癆lexNet-fc8,fc7,fc6”表示訓(xùn)練AlexNet模型的fc8、fc7和fc6層。依此類推，VggNet-16模型與AlexNet模型表示含義一樣?！癐nception-V3”表示只訓(xùn)練Inception-V3模型的最后一層?！癐nception-V3-a1”表示在Inception-V3后面增加一個(gè)全連接層，然后訓(xùn)練后面兩層?！癛esNet-50”表示訓(xùn)練最后一層全連接層。

3.3.4本文方法與傳統(tǒng)方法對(duì)比

將傳統(tǒng)的KNN、SVM以及BP神經(jīng)網(wǎng)絡(luò)圖像分類系統(tǒng)應(yīng)用于本文構(gòu)建的原始數(shù)據(jù)集以及數(shù)據(jù)增強(qiáng)后的樹種數(shù)據(jù)集上，并與本文基于集成遷移學(xué)習(xí)的樹種識(shí)別方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖5所示。其中在圖像輸入之前采用了不同的特征提取方法對(duì)樹種圖像進(jìn)行了特征提取，如HSV顏色直方圖和方向梯度直方圖(Histogram of oriented gradient，HOG)。

從圖5可以看出，對(duì)于復(fù)雜背景下的樹木整體圖像識(shí)別問題，本文提出的基于集成遷移學(xué)習(xí)方法得到的樹種識(shí)別準(zhǔn)確率明顯高于傳統(tǒng)的圖像分類系統(tǒng)。主要由于傳統(tǒng)的識(shí)別方法依賴特征的手動(dòng)提取，難以基于實(shí)際數(shù)據(jù)和具體識(shí)別任務(wù)做自適應(yīng)最優(yōu)調(diào)整。而基于集成遷移學(xué)習(xí)的方法能夠自動(dòng)提取圖像的高層特征，更加利于復(fù)雜背景下的樹種識(shí)別。

圖4 原始數(shù)據(jù)集下各模型微調(diào)訓(xùn)練過程中的Closs值變化情況Fig.4 Loss changes during finetune of each model under original dataset

%

圖5 本文方法與傳統(tǒng)分類系統(tǒng)的識(shí)別率比較Fig.5 Comparison of tree species recognition accuracy in different classification systems

4 結(jié)束語

提出了一種基于集成遷移學(xué)習(xí)的方法，解決自然場(chǎng)景下拍攝的樹木整體圖像的識(shí)別問題。自主構(gòu)建了一個(gè)新的樹種圖像數(shù)據(jù)集TreesNet。通過實(shí)驗(yàn)對(duì)比了4種CNN模型在TreesNet樹種數(shù)據(jù)集上的測(cè)試結(jié)果。結(jié)果表明，利用數(shù)據(jù)增強(qiáng)可以有效地解決深度神經(jīng)網(wǎng)絡(luò)的過擬合問題，訓(xùn)練得到的模型擁有更好的泛化能力，識(shí)別準(zhǔn)確率更高，并且基于微調(diào)訓(xùn)練的效果優(yōu)于直接訓(xùn)練。采取集成策略提高了模型的準(zhǔn)確率，圖像識(shí)別準(zhǔn)確率達(dá)到99.15%。表明本文提出的方法相對(duì)于傳統(tǒng)的基于植物葉片的識(shí)別方法識(shí)別精度有較大提升，為后續(xù)進(jìn)一步研究提供了思路。