基于VGG 卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)物特性識(shí)別與優(yōu)化路徑

龔建偉，孟博文，童昱恒，孔煜杰，譚儀慧

（北京師范大學(xué) 香港浸會(huì)大學(xué)聯(lián)合國(guó)際學(xué)院理工科技學(xué)院，廣東 珠海 519087）

0 引言

隨著圖像識(shí)別技術(shù)的不斷發(fā)展，如今圖像識(shí)別不僅可用于不同種類物體的識(shí)別，對(duì)于較為相似的物體也可以進(jìn)行準(zhǔn)確度較高的區(qū)分。在諸多圖像識(shí)別項(xiàng)目中，動(dòng)物識(shí)別具有較為特殊的意義，在智能家居、智慧牧業(yè)等諸多場(chǎng)合都有用武之地。目前雖然已有的圖像識(shí)別技術(shù)已經(jīng)可以較好地區(qū)分外貌差異較大的動(dòng)物，但是當(dāng)面臨長(zhǎng)相相似的動(dòng)物之時(shí)，快速、高效地進(jìn)行準(zhǔn)確識(shí)別仍是一項(xiàng)具有挑戰(zhàn)性的工作。貓、狗作為體型與外貌相對(duì)接近的動(dòng)物，對(duì)于圖片識(shí)別來說還是較有挑戰(zhàn)性的難題。如何在確保準(zhǔn)確度的同時(shí)又能提升識(shí)別準(zhǔn)確度，在識(shí)別速度和準(zhǔn)確度之間找到均衡，是諸多動(dòng)物圖像識(shí)別項(xiàng)目需要面臨的挑戰(zhàn)。

目前，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）自動(dòng)提取圖像特征，然后放入訓(xùn)練好的模型進(jìn)行識(shí)別，是圖片識(shí)別項(xiàng)目最為常用的手段［1-3］。Le Net 模型是非常經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型，不僅可用于識(shí)別顏色特征［4］，也可用于識(shí)別人臉［5］等彼此差別較小的圖像。隨著圖像識(shí)別技術(shù)日益進(jìn)步，人們意識(shí)到傳統(tǒng)的Le Net 模型已不能滿足圖像識(shí)別的需求，在精度等方面都有待提升。雖然L2 正則化和Dropout 優(yōu)化網(wǎng)絡(luò)等方法的引入，可以減輕Le Net 模型的過擬合問題［6］，基于Le Net 也可以搭建更好的混合激活函數(shù)卷積神經(jīng)網(wǎng)絡(luò)［7］，但對(duì)其它模型的探索還是被人們提上了日程。在諸多進(jìn)一步發(fā)展的CNN 模型中，VGG 模型是較具代表性的優(yōu)質(zhì)模型，其主要思路是通過增加卷積神經(jīng)網(wǎng)絡(luò)的深度和寬度來提升模型的性能［8］。雖然現(xiàn)有的VGG-16 等已經(jīng)是相當(dāng)優(yōu)秀的模型，但由于VGG模型的基礎(chǔ)架構(gòu)，使其所包含的權(quán)重參數(shù)數(shù)目相當(dāng)之大。因此，在此基礎(chǔ)上尋找改進(jìn)版的輕量級(jí)模型是許多圖像識(shí)別項(xiàng)目的工作［9］。設(shè)計(jì)合理的淺層VGG 模型不但訓(xùn)練耗時(shí)少、泛化能力強(qiáng)，且準(zhǔn)確度也有保障［10］。目前已有研究者嘗試在既有的VGG-16 模型基礎(chǔ)之上進(jìn)一步改進(jìn)以用于圖像識(shí)別，取得了較好的成效，這證明VGG 模型具有充分的改造潛力［11］。但VGG-16 模型對(duì)于動(dòng)物識(shí)別來說可能過于臃腫。本研究試圖構(gòu)建多種不同的輕量級(jí)VGG 模型并且驗(yàn)證準(zhǔn)確度，最終構(gòu)建出用于動(dòng)物識(shí)別時(shí)準(zhǔn)確度較高且足夠輕量級(jí)的VGG 模型。此外，在實(shí)驗(yàn)過程中亦可得到一些改進(jìn)思路與方向，這對(duì)未來研究者進(jìn)一步改進(jìn)模型也有所幫助。

1 技術(shù)描述

1.1 圖片處理

為了檢查導(dǎo)入的圖片是否正確，實(shí)驗(yàn)首先使用matplotlib 庫，繪制幾張導(dǎo)入后的圖片以進(jìn)行檢查。然后需要建立若干新目錄，并將圖片按一定比例隨機(jī)分配至測(cè)試集與訓(xùn)練集當(dāng)中。根據(jù)實(shí)驗(yàn)的設(shè)置，將有25%的數(shù)據(jù)被保留在測(cè)試集內(nèi)。在完成這一步之后，實(shí)驗(yàn)選擇利 用 Keras 庫中的ImageDataGenerator 在模型運(yùn)行時(shí)對(duì)圖片進(jìn)行預(yù)處理，以將其規(guī)范化為200×200 像素的圖片，有助于后面進(jìn)一步開展模型訓(xùn)練與預(yù)測(cè)工作。

1.2 模型構(gòu)建

在完成圖片的導(dǎo)入、展示與預(yù)處理之后，進(jìn)一步將圖片劃分為幾部分，并使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行圖像識(shí)別?？紤]到本次探究的目的，實(shí)驗(yàn)采用了傳統(tǒng)VGG 模型（全程使用3x3 的卷積和2x2 的max pooling）作為此次項(xiàng)目的基礎(chǔ)，傳統(tǒng)VGG 模型結(jié)構(gòu)簡(jiǎn)單且應(yīng)用性強(qiáng)，而且有較為明確的改進(jìn)方向。不僅如此，相較GoogLeNet 等模型，VGG 在遷移學(xué)習(xí)任務(wù)中的表現(xiàn)更好［12］，這意味著探究VGG 的改進(jìn)具有更深的意義。與其他模型相比，VGG 的優(yōu)勢(shì)在于其采用連續(xù)的小卷積核代替較大卷積核，以獲取更大的網(wǎng)絡(luò)深度［13］。

VGG 模型的突出特點(diǎn)是使用卷積塊和全鏈接塊來代替?zhèn)鹘y(tǒng)的卷積層與全連接層，這里的塊是由多個(gè)輸出通道相同的層構(gòu)成。max pooling 被用于劃分不同的塊，而既有的VGG 模型則根據(jù)網(wǎng)絡(luò)層數(shù)不同被分為VGG-11、VGG-13、VGG-16、VGG19 等。雖然既有模型層數(shù)較多且目前的諸多研究仍然側(cè)重以VGG-16 為基礎(chǔ)進(jìn)行改進(jìn)［14］，但直接使用更加輕量化的VGG 模型進(jìn)行圖像識(shí)別仍是可能的［15］。

為了節(jié)約資源，實(shí)驗(yàn)嘗試了單塊，以及兩塊、三塊、四塊與五塊的VGG 模型，不同塊的過濾器數(shù)量分別為32、64、128、256、512 個(gè)（均只有一個(gè)全連接層）。因?yàn)檫@是一個(gè)二分類問題，故class_mode 被指定為binary。為了檢查過擬合現(xiàn)象以及訓(xùn)練的成效，實(shí)驗(yàn)還繪制了損失曲線圖以及準(zhǔn)確率曲線圖，其中藍(lán)色曲線為訓(xùn)練集結(jié)果，橙色曲線為測(cè)試集結(jié)果。

1.3 圖像數(shù)據(jù)增強(qiáng)與Dropout

測(cè)試過程中發(fā)現(xiàn)，在識(shí)別準(zhǔn)確度提高的同時(shí)，也會(huì)存在較為明顯的過擬合現(xiàn)象，這是卷積神經(jīng)網(wǎng)絡(luò)的通病。不僅如此，由于貓與狗確實(shí)較為相近，因此準(zhǔn)確率也仍然有進(jìn)一步提升的空間。為了解決這一問題，實(shí)驗(yàn)嘗試了Dropout 正則化和圖像增強(qiáng)兩種技術(shù)。Dropout 正則化會(huì)丟棄一些網(wǎng)絡(luò)中的神經(jīng)元，以模擬不同結(jié)構(gòu)的網(wǎng)絡(luò)，其基礎(chǔ)特性在于節(jié)點(diǎn)刪除的完全隨機(jī)性［16］；而圖像增強(qiáng)則是改變圖像的視覺效果，從而增加訓(xùn)練集的數(shù)據(jù)量。應(yīng)用Dropout 前后的神經(jīng)網(wǎng)絡(luò)示意如圖1 所示：

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)軟硬件環(huán)境設(shè)定為：16 GB 計(jì)算機(jī)內(nèi)存，Windows10 64 位1909 版操作系統(tǒng)，搭載有Intel Xeon E3-1231v3 3.4 GHz 處理器與GTX960 顯卡；基于Python3.6 編程語言的TensorFlow 深度學(xué)習(xí)框架中集成的Keras 庫。

2.2 數(shù)據(jù)集檢查

在正式實(shí)驗(yàn)開始之前，由于貓狗并非同時(shí)導(dǎo)入系統(tǒng)，因此預(yù)先使用matplotlib 分別繪制數(shù)據(jù)集，以檢查圖像數(shù)據(jù)導(dǎo)入的正確行，如圖2、圖3 所示。

圖2 使用matplotlib 繪制的狗圖像數(shù)據(jù)集Fig.2 Dog images dataset drawn with matplotlib

圖3 使用matplotlib 繪制的貓圖像數(shù)據(jù)集Fig.3 Cat images dataset drawn with matplotlib

2.3 實(shí)驗(yàn)過程

2.3.1 Dropout 對(duì)比試驗(yàn)

實(shí)驗(yàn)首先基于5 000 張圖片數(shù)據(jù)集嘗試對(duì)雙塊模型進(jìn)行Dropout 正則化以模擬不同的網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)在每一次卷積中設(shè)定10%的Dropout 值，而在全連接層，這一數(shù)字被增加到35%。經(jīng)過測(cè)試可以發(fā)現(xiàn)，過擬合現(xiàn)象雖然有所減輕，但是準(zhǔn)確率確有明顯下降。如圖4 所示，對(duì)比三塊VGG 和三塊VGG+Dropout 的測(cè)試結(jié)果可以發(fā)現(xiàn)，雖然過擬合現(xiàn)象有所減輕，但是準(zhǔn)確率始終保持在較低水平。

圖4 三塊VGG 且無Dropout 與三塊VGG+Dropout 的對(duì)比Fig.4 Comparison between 3 block VGG model without dropout and 3 block VGG model+dropout

2.3.2 圖像增強(qiáng)實(shí)驗(yàn)

除Dropout 正則化之外，實(shí)驗(yàn)還考慮了圖像增強(qiáng)。為避免破壞圖片本體結(jié)構(gòu)，實(shí)驗(yàn)基于5 000 張圖片數(shù)據(jù)集選擇了一定的水平和垂直位移／水平翻轉(zhuǎn)來獲取更多的樣本，用以提升模型的準(zhǔn)確率。測(cè)試中嘗試了多種位移值，三塊VGG 所對(duì)應(yīng)的位移值為0.12，兩塊VGG 所設(shè)置的位移值為0.22，翻轉(zhuǎn)均被設(shè)置為True。

通過對(duì)比發(fā)現(xiàn)，三塊VGG 且有圖像增強(qiáng)時(shí)，過擬合現(xiàn)象顯著小于單純的三塊VGG 時(shí)的狀態(tài)；無圖像增強(qiáng)時(shí)，測(cè)試集準(zhǔn)確率大多時(shí)候都低于訓(xùn)練集，但有圖像增強(qiáng)之后有所不同。不僅如此，模型本身的準(zhǔn)確率并未受到太大影響。但令人遺憾的是，雖然模型訓(xùn)練時(shí)epoch 已被提升至40，但最終的準(zhǔn)確率仍然只有72.1%左右。兩塊VGG+圖像增強(qiáng)的最終準(zhǔn)確度為69.1%，較原先有明顯提升，證明了圖像增強(qiáng)的有效性，同時(shí)也可看到測(cè)試集曲線波動(dòng)仍然較大，如圖5所示。

圖5 三塊VGG+圖像增強(qiáng)與兩塊VGG+圖像增強(qiáng)的對(duì)比Fig.5 Comparison between 3 block VGG model+image data augmentation and 2 block VGG model+image data augmentation

2.3.3 VGG-16 模型實(shí)驗(yàn)

數(shù)據(jù)集樣本中若僅有5 000，在某些情境下或許顯得有些少，因此需要探究數(shù)據(jù)集數(shù)量是否影響了模型的準(zhǔn)確度。在與既有的VGG-16 對(duì)比之后不難發(fā)現(xiàn)，模型實(shí)際上仍有較多改進(jìn)空間。事實(shí)證明，VGG-16 在樣本數(shù)為5 000 的前提下依舊表現(xiàn)出色，僅僅兩個(gè)epoch 就可以達(dá)到很高的效能，但這與VGG-16 模型的復(fù)雜度有關(guān)，如圖6 所示。

圖6 VGG-16 測(cè)試結(jié)果Fig.6 Test results based on VGG-16 model

2.3.4 大樣本實(shí)驗(yàn)

對(duì)實(shí)驗(yàn)所設(shè)計(jì)的輕量級(jí)模型而言，采用包含2.5萬張圖片的數(shù)據(jù)集，結(jié)果如圖7 所示。在針對(duì)2.5萬張圖片的完整數(shù)據(jù)集進(jìn)行測(cè)試時(shí)可以發(fā)現(xiàn)，測(cè)試集曲線要顯著比5 000 張圖片時(shí)平緩。此外，三塊VGG+圖像增強(qiáng)和四塊VGG+圖像增強(qiáng)的準(zhǔn)確率都有所提升，分別達(dá)到了74.2%和78.5%的水平，這說明有更多樣本用于訓(xùn)練對(duì)提升準(zhǔn)確率很有幫助。

圖7 三塊VGG+圖像增強(qiáng)和四塊VGG+圖像增強(qiáng)的對(duì)比Fig.7 Comparison between 3 block VGG model+image data augmentation and 4 block VGG model+image data augmentation

2.3.5 單塊多卷積層模型實(shí)驗(yàn)

由于2.5 萬張圖片的數(shù)據(jù)集測(cè)試起來比較費(fèi)時(shí)，所以后續(xù)實(shí)驗(yàn)基于1 萬張圖片的數(shù)據(jù)集進(jìn)行測(cè)試。圖8 分別為四塊VGG 和三塊VGG，但是最后一個(gè)塊有兩個(gè)卷積層的測(cè)試結(jié)果。

圖8 四塊VGG 和三塊VGG 測(cè)試結(jié)果Fig.8 Comparison between 4 block VGG model and 3 block VGG model

兩個(gè)模型均出現(xiàn)了相當(dāng)明顯的過擬合現(xiàn)象。其中四塊VGG 的最終準(zhǔn)確率為75%，三塊VGG 的準(zhǔn)確率則為69.2%。雖然兩個(gè)模型均有4 個(gè)卷積層，但池化層的分布（用于劃分塊數(shù)）仍然對(duì)結(jié)果產(chǎn)生了巨大的影響。

2.3.6 四塊VGG+圖像增強(qiáng)模型實(shí)驗(yàn)

由上述結(jié)果可以看出，四塊VGG 的準(zhǔn)確率較5 000張圖片時(shí)（70.9%）有明顯提升，這說明其具有進(jìn)一步改進(jìn)的潛力。因此，實(shí)驗(yàn)嘗試了四塊VGG+圖像增強(qiáng)（偏移值設(shè)置為0.09）的模型，最終在經(jīng)過40 epochs的訓(xùn)練后，得到了83.3%的準(zhǔn)確度，如圖9所示。這一結(jié)果已經(jīng)超過了2007 年的SVM 分類器的水平［17］。

圖9 四塊VGG+圖像增強(qiáng)的測(cè)試結(jié)果Fig.9 Test results of 4 block VGG model+image data augmentation

3 結(jié)束語

從模型構(gòu)建結(jié)果來看，實(shí)驗(yàn)最終構(gòu)建得到的四塊VGG+圖像增強(qiáng)（偏移值設(shè)置為0.09）的模型準(zhǔn)確度在80%以上，對(duì)于輕量級(jí)模型而言，這一結(jié)果比較令人滿意。模型相對(duì)傳統(tǒng)的VGG-16 而言可算相當(dāng)輕量級(jí)的模型，在訓(xùn)練速度等方面都有顯著優(yōu)勢(shì)。因此，這一模型可以較好地滿足智慧牧業(yè)、社區(qū)監(jiān)控等應(yīng)用的需求。除此之外，實(shí)驗(yàn)所得到的方向性結(jié)論也可為試圖構(gòu)建輕量級(jí)VGG 模型的研究者提供一定幫助。