基于輕量化模型和遷移學(xué)習(xí)的花卉識(shí)別

王軍敏,林 輝

(平頂山學(xué)院 信息工程學(xué)院,河南 平頂山 467036)

0 引言

花卉識(shí)別在日常的花卉鑒賞、植物物種研究與保護(hù)、園林花圃智能化管理中具有重要的應(yīng)用價(jià)值.傳統(tǒng)依靠人工鑒別的方法需要具備豐富的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn),因此有必要設(shè)計(jì)一種快速、準(zhǔn)確的花卉識(shí)別系統(tǒng).尤其是隨著移動(dòng)終端設(shè)備特別是智能手機(jī)的廣泛使用,人們可通過(guò)智能手機(jī)拍攝花卉圖像,然后利用手機(jī)上的花卉識(shí)別系統(tǒng)獲取該花卉的類(lèi)別、栽培、花語(yǔ)等信息.但是,由于花卉種類(lèi)繁多,并且花卉圖像可能存在復(fù)雜背景、光照條件和尺度變化等諸多因素的干擾,使得花卉識(shí)別成為一項(xiàng)具有挑戰(zhàn)性的任務(wù).

傳統(tǒng)的機(jī)器學(xué)習(xí)方法主要依靠人工設(shè)計(jì)的特征描述算子提取花卉的形狀、紋理和顏色等特征,計(jì)算不同樣本之間的特征距離,利用分類(lèi)器對(duì)花卉的類(lèi)別進(jìn)行判定.例如,Nilsback和Zisserman[1]722先分割出花卉前景,再提取花卉的花瓣、邊緣形狀、紋理和顏色等特征并送入分類(lèi)器,識(shí)別精度達(dá)到72.80%.Angelova和Zhu[2]811在對(duì)花卉圖像進(jìn)行分割的基礎(chǔ)上,提取方向梯度直方圖特征并送入分類(lèi)器,識(shí)別精度達(dá)到80.70%.但是,傳統(tǒng)的機(jī)器學(xué)習(xí)方法存在算法設(shè)計(jì)復(fù)雜、泛化能力差和識(shí)別精度低等問(wèn)題.目前,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的圖像識(shí)別方法獲得了廣泛的研究,該類(lèi)方法可直接將原始圖像送入CNN模型獲得分類(lèi)結(jié)果,避免了傳統(tǒng)機(jī)器學(xué)習(xí)方法中復(fù)雜的圖像分割和特征提取算法設(shè)計(jì).例如,Liu等[3]110設(shè)計(jì)了一個(gè)包含5個(gè)卷積層和3個(gè)全連接(Fully-Connected, FC)層的CNN模型,在Oxford Flower-102花卉數(shù)據(jù)集上實(shí)現(xiàn)了84.02%的識(shí)別精度;Qin等[4]3110將注意力機(jī)制和線性判別損失函數(shù)相結(jié)合設(shè)計(jì)一種CNN模型,在Oxford Flower-102數(shù)據(jù)集上獲得了87.60%的識(shí)別精度;為了抑制復(fù)雜背景的干擾,吳迪等[5]55先利用顯著性檢測(cè)方法將花卉區(qū)域從背景圖像中分割出來(lái),再采用InceptionV3模型和遷移學(xué)習(xí)方法進(jìn)行花卉識(shí)別,識(shí)別精度達(dá)到 93.38%.雖然基于深度學(xué)習(xí)的方法能夠取得比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的識(shí)別效果,但是現(xiàn)有的深度學(xué)習(xí)方法存在模型體積大,不方便在移動(dòng)端或便攜式設(shè)備上部署,同時(shí)識(shí)別精度也有待進(jìn)一步提高的問(wèn)題.因此,筆者提出一種基于輕量化深度模型和遷移學(xué)習(xí)的花卉圖像識(shí)別方法,具有重要的應(yīng)用價(jià)值.

1 輕量化模型的設(shè)計(jì)

為了實(shí)現(xiàn)深度模型的輕量化,筆者采用MobileNetV2模型[6]作為骨干網(wǎng)絡(luò),在此基礎(chǔ)上設(shè)計(jì)花卉識(shí)別模型.MobileNetV2模型一方面采用深度可分離卷積代替?zhèn)鹘y(tǒng)的標(biāo)準(zhǔn)卷積,可顯著減少深度模型的計(jì)算量和參數(shù)規(guī)模;另一方面借鑒了ResNet模型[7]770的殘差結(jié)構(gòu),通過(guò)采用反向殘差模塊和線性瓶頸單元來(lái)提高模型的特征提取能力.反向殘差模塊先通過(guò)1×1的點(diǎn)卷積增大輸出通道的個(gè)數(shù),再利用3×3的深度卷積提取更加豐富的特征,最后利用1×1的點(diǎn)卷積實(shí)現(xiàn)通道降維;線性瓶頸單元主要是去掉每個(gè)反向殘差模塊最后一個(gè)ReLU6激活層,以便保留更多的低維和高維信息.筆者設(shè)計(jì)的花卉識(shí)別深度模型結(jié)構(gòu)如表1 所示,主要利用17個(gè)反向殘差模塊提取花卉圖像的多層次特征,利用全局平均池化(Global Average Pooling, GAP)層實(shí)現(xiàn)特征降維,利用Dropout層提高模型的泛化能力,利用FC層輸出當(dāng)前樣本對(duì)所有類(lèi)別的分類(lèi)得分,并將分類(lèi)得分最高的類(lèi)別判定為當(dāng)前樣本的所屬類(lèi)別.

表1 筆者設(shè)計(jì)的花卉識(shí)別深度模型結(jié)構(gòu)

2 遷移學(xué)習(xí)策略的設(shè)計(jì)

在現(xiàn)實(shí)場(chǎng)景的樣本分類(lèi)問(wèn)題中,深度學(xué)習(xí)方法通常面臨兩個(gè)重要的瓶頸問(wèn)題:1)很多應(yīng)用場(chǎng)景缺少大規(guī)模的訓(xùn)練樣本,無(wú)法對(duì)深度模型進(jìn)行充分的訓(xùn)練,導(dǎo)致深度模型的識(shí)別精度不高;2)對(duì)大規(guī)模訓(xùn)練樣本進(jìn)行充分訓(xùn)練時(shí),需要高性能的計(jì)算平臺(tái)和很長(zhǎng)的訓(xùn)練時(shí)間.為了解決上述問(wèn)題,可采用遷移學(xué)習(xí)的方法.遷移學(xué)習(xí)是將在一個(gè)源領(lǐng)域?qū)W習(xí)到的知識(shí)遷移應(yīng)用到另一個(gè)不同但相關(guān)的目標(biāo)領(lǐng)域的方法[8],其中,源領(lǐng)域通常具有大規(guī)模的訓(xùn)練樣本可利用,而目標(biāo)領(lǐng)域通常存在訓(xùn)練樣本數(shù)量不足的問(wèn)題.

針對(duì)花卉圖像識(shí)別問(wèn)題,如果從零開(kāi)始訓(xùn)練深度模型,需要收集大規(guī)模的花卉圖像訓(xùn)練樣本,并且需要高性能的計(jì)算平臺(tái)和很長(zhǎng)的訓(xùn)練時(shí)間,不利于深度學(xué)習(xí)方法的落地應(yīng)用;同時(shí),考慮到ImageNet數(shù)據(jù)集是含有大規(guī)模樣本的通用圖像數(shù)據(jù)集,該數(shù)據(jù)集也含有大量的花卉圖像.因此在該數(shù)據(jù)集上訓(xùn)練后的模型已經(jīng)具備了初步的花卉圖像特征提取能力,可利用遷移學(xué)習(xí)方法將ImageNet數(shù)據(jù)集上訓(xùn)練后的深度模型參數(shù)遷移應(yīng)用到花卉識(shí)別領(lǐng)域,從而有效解決將深度學(xué)習(xí)方法應(yīng)用于花卉識(shí)別時(shí)的瓶頸問(wèn)題.

筆者設(shè)計(jì)的遷移學(xué)習(xí)策略為:

1)將在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練好的MobileNetV2模型參數(shù)值遷移應(yīng)用于筆者設(shè)計(jì)的花卉識(shí)別深度模型骨干網(wǎng)絡(luò),使模型具備良好的初始花卉特征提取和識(shí)別能力,避免對(duì)大規(guī)模訓(xùn)練樣本、高性能訓(xùn)練平臺(tái)和長(zhǎng)時(shí)間訓(xùn)練的要求.

2)凍結(jié)花卉識(shí)別深度模型的特征提取模塊(即表1中的第0～20號(hào)模塊),利用現(xiàn)有的花卉圖像數(shù)據(jù)集對(duì)模型最后的FC層進(jìn)行微調(diào)訓(xùn)練,使FC層獲得較好的初始化參數(shù)值.

3)對(duì)花卉識(shí)別深度模型的17個(gè)反向殘差模塊進(jìn)行逐個(gè)凍結(jié),利用現(xiàn)有的花卉圖像數(shù)據(jù)集對(duì)FC層和可訓(xùn)練的反向殘差模塊進(jìn)行微調(diào)訓(xùn)練,使模型獲得最佳的花卉圖像識(shí)別能力.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用牛津大學(xué)Visual Geometry Group小組搜集整理的花卉圖像數(shù)據(jù)集Oxford flower-102,該數(shù)據(jù)集一共包含102類(lèi)花卉圖像,屬于大規(guī)模的花卉圖像數(shù)據(jù)集,每個(gè)花卉類(lèi)別的樣本數(shù)量為40～258張,該數(shù)據(jù)集中的花卉圖像種類(lèi)繁多,并且包含不同的照明條件和視角變化,存在復(fù)雜的背景干擾和形態(tài)、顏色變化等因素,使其成為一個(gè)極具挑戰(zhàn)性的花卉圖像識(shí)別數(shù)據(jù)集.筆者從每個(gè)類(lèi)別選擇10個(gè)樣本加入驗(yàn)證集,每類(lèi)10個(gè)樣本加入測(cè)試集,即最終構(gòu)建的驗(yàn)證集包含1 020個(gè)樣本,測(cè)試集包含1 020個(gè)樣本,其他樣本均作為訓(xùn)練集.

3.2 實(shí)驗(yàn)環(huán)境與超參數(shù)設(shè)置

實(shí)驗(yàn)采用的硬件環(huán)境為一臺(tái)計(jì)算機(jī)(Intel Core i5 CPU@3.10 GHz,16 GB RAM),顯卡Nvidia RTX2070S GPU, 軟件環(huán)境為Python 3.5, Pytorch 1.8.1.

超參數(shù)的設(shè)置如下:1)訓(xùn)練深度模型時(shí),采用性能較好且收斂速度快的Adam優(yōu)化器,損失函數(shù)選擇適用于多分類(lèi)的交叉熵?fù)p失函數(shù).2)最大的訓(xùn)練輪數(shù)設(shè)為50個(gè)Epoch.3)關(guān)于學(xué)習(xí)率的設(shè)置,考慮到如果學(xué)習(xí)率過(guò)大,可能會(huì)越過(guò)最優(yōu)值;反之,如果學(xué)習(xí)率太小,則優(yōu)化效率太低,可能導(dǎo)致模型長(zhǎng)時(shí)間無(wú)法收斂.因此,筆者采用動(dòng)態(tài)變化的學(xué)習(xí)率,即在訓(xùn)練初期采用較大的學(xué)習(xí)率,以便加快模型的訓(xùn)練和收斂;當(dāng)靠近最優(yōu)解時(shí)采用較小的學(xué)習(xí)率,以便更精確地收斂到最優(yōu)解.具體設(shè)置為前30個(gè)Epoch設(shè)學(xué)習(xí)率為0.001,隨后每經(jīng)過(guò)10個(gè)Epoch學(xué)習(xí)率變?yōu)樯洗蔚?.1倍.4)批尺寸設(shè)為32,即每次將一批(32個(gè))花卉圖像樣本送入模型進(jìn)行訓(xùn)練和驗(yàn)證.5)Dropout層的隨機(jī)連接概率設(shè)為p=0.2.

3.3 實(shí)驗(yàn)步驟

本文方法的具體實(shí)現(xiàn)步驟如下所述.

Step1 圖像的預(yù)處理和數(shù)據(jù)增強(qiáng).首先,對(duì)輸入圖像進(jìn)行隨機(jī)的左右翻轉(zhuǎn)、上下翻轉(zhuǎn),增加訓(xùn)練樣本的數(shù)量;然后,將圖像尺寸統(tǒng)一調(diào)整到 224×224像素;最后,將圖像數(shù)據(jù)歸一化為均值為0,標(biāo)準(zhǔn)差為1.

Step2 模型參數(shù)遷移.將在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練好的深度模型參數(shù)值根據(jù)參數(shù)匹配原則遷移到筆者設(shè)計(jì)的花卉識(shí)別深度模型骨干網(wǎng)絡(luò).

Step3 訓(xùn)練FC層.先凍結(jié)本文模型的第0～20號(hào)模塊,根據(jù)設(shè)置的優(yōu)化器、損失函數(shù)、訓(xùn)練輪數(shù)Epoch、動(dòng)態(tài)學(xué)習(xí)率、批尺寸等超參數(shù),對(duì)模型最后的FC層進(jìn)行5輪訓(xùn)練,使FC層獲得合理的初始化參數(shù)值.

Step4 逐級(jí)訓(xùn)練反向殘差模塊.先凍結(jié)本文模型的全部反向殘差模塊,將17個(gè)反向殘差模塊從后向前逐個(gè)解凍(即設(shè)為可訓(xùn)練),利用設(shè)定的超參數(shù)和數(shù)據(jù)增強(qiáng)后的花卉圖像數(shù)據(jù)集對(duì)整個(gè)模型進(jìn)行微調(diào)訓(xùn)練.

Step5 驗(yàn)證模型.利用花卉圖像的驗(yàn)證集對(duì)訓(xùn)練好的模型進(jìn)行驗(yàn)證,當(dāng)驗(yàn)證精度最高時(shí),表明模型獲得了最佳的花卉圖像識(shí)別能力,保存此時(shí)的模型,將其作為最佳的花卉識(shí)別模型.

Step6 測(cè)試模型.利用花卉圖像的測(cè)試集對(duì)保存的最佳花卉識(shí)別模型進(jìn)行測(cè)試,獲得測(cè)試識(shí)別精度.

3.4 實(shí)驗(yàn)結(jié)果及分析

3.4.1 模型的訓(xùn)練和驗(yàn)證效果

根據(jù)筆者設(shè)計(jì)的花卉識(shí)別深度模型和遷移學(xué)習(xí)策略,利用花卉圖像訓(xùn)練集和驗(yàn)證集對(duì)模型進(jìn)行訓(xùn)練和驗(yàn)證,對(duì)應(yīng)的訓(xùn)練和驗(yàn)證損失曲線、識(shí)別精度曲線分別如圖1和圖2所示.從圖1的損失曲線可以看出,訓(xùn)練和驗(yàn)證的損失值很小,并且能夠快速下降到0.4以下,表明模型具有較快的收斂速度;從圖2的識(shí)別精度曲線可以看出,模型的訓(xùn)練和驗(yàn)證識(shí)別精度較高,并且能夠快速提升到90%以上,表明模型具有較好的花卉識(shí)別能力.

圖1 訓(xùn)練和驗(yàn)證階段的損失曲線

圖2 訓(xùn)練和驗(yàn)證階段的識(shí)別精度曲線

3.4.2 凍結(jié)不同反向殘差模塊的影響

根據(jù)筆者設(shè)計(jì)的花卉識(shí)別深度模型和遷移學(xué)習(xí)策略,通過(guò)凍結(jié)不同的反向殘差模塊可獲得不同的遷移學(xué)習(xí)效果,表2給出了凍結(jié)不同反向殘差模塊個(gè)數(shù)N時(shí)本文模型在花卉圖像測(cè)試集上的識(shí)別精度.從表2可以看出,當(dāng)凍結(jié)全部反向殘差模塊(N=17)時(shí),模型的識(shí)別精度不夠理想,這是因?yàn)榇藭r(shí)反向殘差模塊的參數(shù)值均來(lái)自ImageNet數(shù)據(jù)集預(yù)先訓(xùn)練的模型參數(shù),缺乏針對(duì)花卉圖像的識(shí)別能力;當(dāng)凍結(jié)N=12個(gè)反向殘差模塊時(shí),模型的識(shí)別精度達(dá)到最高的97.76%,此時(shí)模型具有最佳的花卉圖像識(shí)別能力;當(dāng)凍結(jié)反向殘差模塊的個(gè)數(shù)N逐漸減少時(shí),模型的識(shí)別精度總體呈下降趨勢(shì),這是因?yàn)楝F(xiàn)有的花卉圖像數(shù)據(jù)集樣本個(gè)數(shù)較少,無(wú)法對(duì)深度模型進(jìn)行充分訓(xùn)練.所以,最終確定凍結(jié)N=12個(gè)反向殘差模塊,使本文模型具有最佳的花卉識(shí)別精度.

表2 凍結(jié)不同反向殘差模塊個(gè)數(shù)N的測(cè)試精度

3.4.3 不同方法的識(shí)別精度對(duì)比

為了展示本文方法的識(shí)別性能,將筆者提出的方法與其他先進(jìn)的方法進(jìn)行對(duì)比,它們?cè)贠xford flower-102花卉圖像數(shù)據(jù)集上的識(shí)別精度如表3所示.

表3 不同方法的識(shí)別精度對(duì)比

從表3可以看出,筆者提出的方法取得了最高的識(shí)別精度(97.76%),一致超過(guò)了其他方法(包括傳統(tǒng)的機(jī)器學(xué)習(xí)方法和目前先進(jìn)的深度學(xué)習(xí)方法)的識(shí)別精度,這表明筆者設(shè)計(jì)的深度模型結(jié)構(gòu)和遷移學(xué)習(xí)策略能夠更有效地提取富有鑒別力的花卉圖像特征,從而有效解決了現(xiàn)有方法識(shí)別精度不高的問(wèn)題.

此外,筆者設(shè)計(jì)的花卉識(shí)別深度模型具有輕量化的特點(diǎn),模型體積只有9.2 MB,與VGG-16模型的528 MB、VGG-19模型的549 MB、ResNet152模型的232 MB、InceptionResNetV2模型的215 MB相比,筆者設(shè)計(jì)的深度模型更適合在存儲(chǔ)空間和計(jì)算能力有限的嵌入式或移動(dòng)設(shè)備上部署和使用.

4 結(jié)論

筆者提出了一種基于MobileNetV2模型和遷移學(xué)習(xí)策略的花卉圖像識(shí)別方法,該方法能夠獲得良好的花卉識(shí)別精度,有效解決了將深度學(xué)習(xí)方法應(yīng)用于花卉識(shí)別領(lǐng)域時(shí)面臨的瓶頸問(wèn)題,不再需要大規(guī)模的花卉圖像訓(xùn)練樣本、高性能的計(jì)算平臺(tái)和很長(zhǎng)的訓(xùn)練時(shí)間;同時(shí),筆者構(gòu)建的花卉識(shí)別模型更加輕量化,模型體積只有9.2 MB,有利于在嵌入式或移動(dòng)設(shè)備上部署,具有重要的應(yīng)用價(jià)值.