基于Faster R-CNN的美國白蛾圖像識別模型研究

薛大暄，張瑞瑞，陳立平*，陳梅香，徐 剛

(1. 首都師范大學(xué)信息工程學(xué)院，北京 100048；2. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097)

美國白蛾Hyphantriacunea為鱗翅目燈蛾科的一種昆蟲，是為害農(nóng)作物、林木、果樹、花卉等植物的食葉害蟲。近年，受氣候變化環(huán)境污染等影響，美國白蛾危害快速蔓延。美國白蛾成蟲適應(yīng)性強(qiáng)、繁殖量大、傳播途徑廣(陳學(xué)新等，2017；孔雪華，2010)，動態(tài)監(jiān)測并有針對性防治是提升白蛾防控的重要手段。及時的蟲情監(jiān)測和有效的早期防治能夠避免重大的經(jīng)濟(jì)和生態(tài)損失。在美國白蛾防治過程中，通過懸掛誘捕裝置，并對誘捕白蛾進(jìn)行識別、分類、計數(shù)是當(dāng)前蟲情動態(tài)監(jiān)測的主要方法。因白蛾發(fā)生范圍廣、預(yù)警區(qū)域大、誘捕數(shù)量多、混雜異類昆蟲多等特點，導(dǎo)致人工識別、分類、計數(shù)速度慢、耗時長、強(qiáng)度高、主觀性強(qiáng)。

隨著計算機(jī)技術(shù)的不斷發(fā)展，基于圖像處理技術(shù)的害蟲自動識別技術(shù)得到廣泛的研究。張紅濤等通過蟻群優(yōu)化算法從糧蟲17維形態(tài)學(xué)特征中自動提取出最優(yōu)特征子空間，采用支持向量機(jī)對糧蟲進(jìn)行分類(張紅濤，2002)。毛文華等利用幀間差分法來提取蝗蟲的形態(tài)特征因子，通過分類和構(gòu)建數(shù)學(xué)模型來統(tǒng)計蝗蟲數(shù)量(毛文華等，2008)。陳月華等首次將K均值聚類算法用于害蟲圖像的分類，運用合并和分裂相結(jié)合的區(qū)域生長算法分割害蟲和葉片(陳月華，2007)。通常自然環(huán)境下獲取的害蟲圖像背景噪聲較大，光線強(qiáng)度，姿態(tài)特征各不均勻，導(dǎo)致傳統(tǒng)的識別算法具有一定的局限性。基于深度學(xué)習(xí)的目標(biāo)識別方法利用端對端方法對圖像特征進(jìn)行自動提取，研究顯示利用深度學(xué)習(xí)方法對害蟲進(jìn)行識別效率高、識別時間快。楊國國等通過對整個圖像進(jìn)行顏色衰減加速運算，結(jié)合超像素區(qū)域之間的空間影響，利用Grab Cut算法進(jìn)行害蟲定位和分割(楊國國等，2017)。孫俊等提出一種結(jié)合批歸一化與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)識別模型(孫俊等，2017)。譚文學(xué)等設(shè)計深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對果蔬果體病理圖像識別方法，并提出彈性動量的參數(shù)學(xué)習(xí)方法(譚文學(xué)等，2017)。孫鈺等利用K-means聚類算法優(yōu)化Faster R-CNN，對任意姿態(tài)的紅脂大小蠹進(jìn)行目標(biāo)識別(孫鈺等，2019)。

本文以美國白蛾為研究對象，對自然環(huán)境下誘捕到的美國白蛾樣本進(jìn)行圖像識別技術(shù)研究，提出一種結(jié)合Inception_v2網(wǎng)絡(luò)的Faster R-CNN(Zengetal.，2018)美國白蛾識別改進(jìn)模型(ImprovedHyphantriacuneaRecognition Model，IHCDM)。該模型平衡處理速度和識別準(zhǔn)確率，能夠自動定位、識別美國白蛾蟲體，為白蛾的機(jī)器自動統(tǒng)計、篩選提供了參考方法。

1 材料與方法

1.1 實驗材料

美國白蛾樣本來源于北京市昌平區(qū)、海淀區(qū)。因美國白蛾自然環(huán)境下形態(tài)特殊，不同角度姿態(tài)差異大，使用Canon EOD 7 D相機(jī)采取正面、側(cè)面、斜側(cè)、背面4個角度樣本圖像。原始圖像像素大小2 736 px×3 648 px，將原始數(shù)據(jù)通過圖像預(yù)處理將像素縮減至600 px×1 024 px。

表1所示為構(gòu)建容量為3 500張數(shù)據(jù)集，其中包含小部分背景圖像1 300張，將數(shù)據(jù)集按照PASCAL VOC競賽的數(shù)據(jù)集劃分。其中2 600張用于構(gòu)建網(wǎng)絡(luò)訓(xùn)練集，450張用于構(gòu)建網(wǎng)絡(luò)驗證集，450張用于構(gòu)建網(wǎng)絡(luò)測試集。為了保證模型評價指標(biāo)的準(zhǔn)確性，訓(xùn)練集、驗證集、測試集樣本互斥。

表1 美國白蛾數(shù)據(jù)集種類及數(shù)量

通過LabelImg工具將訓(xùn)練集和驗證集中的樣本分別進(jìn)行標(biāo)注。標(biāo)注類別分兩種：美國白蛾、其他兩個類別，生成的xml文件包含五個重要參數(shù)(Name，Xmin，Ymin，Xmax，Ymax)。其中Name代表標(biāo)注的類別，Xmin，Ymin，Xmax，Ymax代表矩形框的左上角，右下角的位置坐標(biāo)，用于目標(biāo)識別算法中RPN網(wǎng)絡(luò)的回歸計算。

1.2 IHCDM模型

1.2.1經(jīng)典Faster R-CNN深度學(xué)習(xí)模型

Faster R-CNN識別算法中采用區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network，RPN)代替Selective Search算法(Renetal.，2015)，極大程度減少了生成候選框的時間。RPN網(wǎng)絡(luò)流程圖如下圖2所示(Qinetal.，2017)，RPN網(wǎng)絡(luò)提出一種錨點，錨點是原始圖片經(jīng)過卷積操作之后在特征圖(feature map)中感受野的中心，錨點用于解決邊界框長度不一致問題。在特征圖中采用一個3×3的滑動窗口進(jìn)行卷積操作，每一個滑動窗口會對錨點周圍產(chǎn)生多個候選框區(qū)域，每一個候選區(qū)域框包含前景背景得分和每一個候選區(qū)域框的位置信息(Fanetal.，2016)。假設(shè)每一次預(yù)測識別框的數(shù)量為k，分別進(jìn)行1×1卷積操作，在分類層得到2 k個的分?jǐn)?shù)，在回歸層得到4 k個位置坐標(biāo)信息。在默認(rèn)狀況下，用(0.5，1.0，2.0)三種比例和(8，16，32)下采樣倍數(shù)，得到k=9種不同的錨點。對于W×H大小的特征圖，總共有W×H×k個錨點。

(a)第一示例 (b)第二示例

圖2 RPN網(wǎng)絡(luò)流程圖Fig.2 Flow chart of RPN network

RPN網(wǎng)絡(luò)訓(xùn)練中對每個錨點分配一個二分類標(biāo)簽(是否為object)。以下這兩種錨點設(shè)置為正標(biāo)簽：1)與真實框(intersection-over-inion，IoU)最高的候選框；2)與真實框IoU大于0.7的候選框。對于某個錨點與真實框IoU大于0.3，則判定為負(fù)標(biāo)簽，其余IoU大于0.3和IoU小于0.7的候選框不參與訓(xùn)練(Chenetal.，2017)。對于圖像的損失函數(shù)定義如式1所示：

(1)

其中i是小批量數(shù)據(jù)的索引，pi是第i個錨點的目標(biāo)識別概率值。如果錨點映射的是正標(biāo)簽，則pi*為1，反之為0。目標(biāo)分類的損失函數(shù)是對二分類問題的對數(shù)損失，公式如式2所示：

Lcls(pi,pi*)=log[pipi*+(1-pi)(1-pi*)]

(2)

對于目標(biāo)回歸的損失函數(shù)定義如式3所示：

Lreg(ti,ti*)=∑i∈{x,y,w,h}smoothl1(ti-ti*)

(3)

對于邊界框回歸，ti是預(yù)測框的4個坐標(biāo)向量，其中包含{tx，ty，tw，th}，ti*是真實框的4個坐標(biāo)向量，公式計算如式4所示：

(4)

其中，(x,y)代表預(yù)測邊界框的中心點坐標(biāo)，(xa，ya)代表錨點包圍盒的中心點坐標(biāo)，(x*，y*)代表真實邊界框的中心點坐標(biāo)，w，h分別代表框?qū)捄透?。邊界框回歸的目的是讓預(yù)測候選框不斷接近真實邊界框的回歸。

1.2.2IHCDM模型

從AlexNet的8層網(wǎng)絡(luò)結(jié)構(gòu)到經(jīng)典Faster R-CNN網(wǎng)絡(luò)模型的VGG 16的網(wǎng)絡(luò)結(jié)構(gòu)，主流的網(wǎng)絡(luò)結(jié)構(gòu)突破大多數(shù)是增加網(wǎng)絡(luò)層數(shù)和神經(jīng)元數(shù)量。但是單純的增加深度和寬度會導(dǎo)致參數(shù)過多出現(xiàn)過擬合問題，網(wǎng)絡(luò)層數(shù)加深，參數(shù)計算量變多，導(dǎo)致計算機(jī)計算量過大，訓(xùn)練時間久，難以應(yīng)用。Inception_v2為解決以上問題，在神經(jīng)網(wǎng)絡(luò)中添加了多種不同的卷積層和池化層，將Inception_v1中5×5的卷積層分別用兩個3×3的卷積層代替，極大程度降低了參數(shù)數(shù)量，也加速了神經(jīng)網(wǎng)絡(luò)的計算，增加了神經(jīng)網(wǎng)絡(luò)對圖像尺寸的適用性。

本文將對比傳統(tǒng)識別模型，Inception_v2，ResNet 50(Rezendeetal.，2017)，ResNet 101等網(wǎng)絡(luò)模型，最終將VGG 16輸入模型替換為Inception_v2網(wǎng)絡(luò)結(jié)構(gòu)，并對IHCDM中學(xué)習(xí)率，迭代次數(shù)，訓(xùn)練集數(shù)量等超參數(shù)進(jìn)行調(diào)整，改進(jìn)后的識別框架如圖3所示。

圖3 IHCDM流程圖Fig.3 Chart of IHCDM model

1.2.3遷移學(xué)習(xí)

遷移學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域應(yīng)用十分廣泛，將已經(jīng)訓(xùn)練好的模型遷移到另一個模型中，幫助新模型進(jìn)行輔助訓(xùn)練。自然環(huán)境下，美國白蛾圖像數(shù)據(jù)體態(tài)特征均有差異。若進(jìn)行初始零訓(xùn)練，網(wǎng)絡(luò)模型難以收斂，損失值下降過慢(袁功霖等，2018)。本文實驗采用遷移學(xué)習(xí)提升IHCDM精度，遷移學(xué)習(xí)的優(yōu)點在于對美國白蛾圖像數(shù)據(jù)不需要初始學(xué)習(xí)特征，用訓(xùn)練好的預(yù)訓(xùn)練模型進(jìn)行共同的特性遷移，從而極大減少了模型訓(xùn)練過程并縮短了模型訓(xùn)練時間。

1.2.4超參數(shù)法

學(xué)習(xí)率是神經(jīng)網(wǎng)絡(luò)梯度下降算法中一個重要的參數(shù)，學(xué)習(xí)率過小會導(dǎo)致學(xué)習(xí)速度慢，導(dǎo)致收斂速度慢，易過擬合；學(xué)習(xí)率大對應(yīng)學(xué)習(xí)速度快，容易損失值爆炸。迭代次數(shù)是訓(xùn)練集在神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)次數(shù)，不同的迭代次數(shù)會產(chǎn)生不同的模型精度。本文實驗通過控制變量法對比學(xué)習(xí)率，迭代次數(shù)等超參數(shù)提升IHCDM精度。

1.2.5數(shù)據(jù)增強(qiáng)

對于成熟的神經(jīng)網(wǎng)絡(luò)而言，其中的參數(shù)都是數(shù)以百萬計，要使網(wǎng)絡(luò)識別模型足夠好，必須使用大量數(shù)據(jù)進(jìn)行訓(xùn)練。數(shù)據(jù)增強(qiáng)技術(shù)可以提高模型的泛化能力和魯棒性，防止模型過擬合。本文利用Keras深度學(xué)習(xí)框架中的ImageDataGenerator類對美國白蛾圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)角度、水平平移、垂直平移、填充模式等4種方法提高模型的泛化能力。

1.3 美國白蛾識別模型實驗設(shè)計

對比深度學(xué)習(xí)識別算法與傳統(tǒng)SVM+HOG算法，實驗對美國白蛾圖像數(shù)據(jù)進(jìn)行了SVM+HOG算法的傳統(tǒng)目標(biāo)識別，實驗結(jié)果表示深度學(xué)習(xí)目標(biāo)識別效果優(yōu)于傳統(tǒng)目標(biāo)識別算法?；谏疃葘W(xué)習(xí)的目標(biāo)識別中，訓(xùn)練集中圖像數(shù)據(jù)為單一的美國白蛾居多，從而導(dǎo)致網(wǎng)絡(luò)模型泛化能力較弱。針對以上問題，實驗通過以下幾種方法對網(wǎng)絡(luò)模型精度進(jìn)行改進(jìn)：1)增加一種識別背景類other；2)將原始卷積神經(jīng)網(wǎng)絡(luò)VGG替換為Inception_v2，對比ResNet 50、ResNet 101、inception+ResNet等網(wǎng)絡(luò)模型；3)對IHCDM中學(xué)習(xí)率，迭代次數(shù)等超參數(shù)進(jìn)行控制變量法對比；4)通過數(shù)據(jù)增強(qiáng)技術(shù)對IHCDM進(jìn)行精度提升。

1.4 美國白蛾識別模型評價方法

本文引入召回率(Recall)和均值平均精度(Mean Average Precision，mAP)做為IHCDM的評價指標(biāo)。其中召回率是針對樣本，表示樣本中的正樣本的個數(shù)有多少被正確預(yù)測，是樣本中的正例與所有樣本中正樣本的比例，計算如式5所示：

(5)

其中，TP(True Positives)代表把正樣本預(yù)測為正類，F(xiàn)N代表把正樣本預(yù)測為負(fù)類。

針對美國白蛾圖像，查準(zhǔn)率(Precision)可以計算模型精度，即為模型預(yù)測的TP數(shù)量除以真實圖像這一類目標(biāo)數(shù)量。通過識別模型類別N和查準(zhǔn)率來計算mAP值，計算公式如式6所示：

(6)

1.5 美國白蛾識別模型實驗平臺

本文通過對比不同深度學(xué)習(xí)框架中的模型設(shè)計、接口、部署、性能、架構(gòu)、設(shè)計等方面，采用Tensorflow框架作為本文的基礎(chǔ)框架。實驗環(huán)境配置如下：操作系統(tǒng)為Ubuntu 16.04，CPU為Intel Core i 5-8700，GPU為RTX 2070，Python版本為Python 3.6，內(nèi)存為16 G。

2 結(jié)果與分析

2.1 目標(biāo)識別方法性能對比

傳統(tǒng)識別利用HOG算法將美國白蛾圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征，并用SVM分類器進(jìn)行識別(任彧和顧成成，2011)。由于HOG特征不具備旋轉(zhuǎn)不變性以及滑動窗口提取特征區(qū)域效率比RPN網(wǎng)絡(luò)差，最后訓(xùn)練出來的模型識別真實圖像mAP為0.90。在深度學(xué)習(xí)的網(wǎng)絡(luò)模型中，利用4種不同的目標(biāo)識別網(wǎng)絡(luò)進(jìn)行對比，圖像分辨率為600×1 024，迭代次數(shù)為10 000，圖像總數(shù)據(jù)為1 400張。經(jīng)過在實驗平臺上8 h的訓(xùn)練，最終在測試集得到的mAP值如表2所示。從實驗測試集圖4結(jié)果可以看到，SSD模型對于小物體識別效率較低。本文提出的IHCDM損失值(Loss)為0.140，mAP為99.5%。研究結(jié)果顯示，在閾值為0.85下，IHCDM召回率達(dá)到最高為99.7%，對比其他識別模型，IHCDM模型mAP分別增加了9.5%，0.5%，0.4%，6.4%。

表2 目標(biāo)識別方法性能對比

(a)SSD第一檢測示例

(b)SSD第二檢測示例

2.2 遷移學(xué)習(xí)方法性能對比

實驗采用COCO數(shù)據(jù)集迭代200 000次的模型作為實驗的預(yù)訓(xùn)練模型。在圖像識別當(dāng)中，大部分?jǐn)?shù)據(jù)都存在著一定的相關(guān)性，實驗將利用原始的Faster R-CNN+Inception網(wǎng)絡(luò)模型已經(jīng)學(xué)習(xí)到的參數(shù)遷移到IHCDM當(dāng)中。如圖5所示，當(dāng)不采用遷移學(xué)習(xí)方法時，IHCDM在迭代次數(shù)為10 000時損失值趨近于0.4。采用遷移學(xué)習(xí)方法時，IHCDM損失值趨近于零，并且收斂快，識別效率高，對識別精度，訓(xùn)練速度都有很大的提升。

(a)模型未使用遷移學(xué)習(xí)

(b)模型使用遷移學(xué)習(xí)

2.3 超參數(shù)改進(jìn)方法性能對比

在模型訓(xùn)練中，學(xué)習(xí)率的不同影響訓(xùn)練中梯度下降幅度，從而導(dǎo)致模型訓(xùn)練效果不同。利用控制變量法保持其他超參數(shù)一定，對不同的學(xué)習(xí)率下的網(wǎng)絡(luò)模型進(jìn)行識別對比，并對測試集中的美國白蛾數(shù)據(jù)進(jìn)行識別，設(shè)定其閾值為0.85。如表3所示，當(dāng)學(xué)習(xí)率為0.002時，Loss最小值為0.016，召回率為99.8，mAP在損失函數(shù)最小的情況下達(dá)到99.5%。

表3 不同學(xué)習(xí)率的效率對比

在模型訓(xùn)練中，迭代次數(shù)直接影響模型訓(xùn)練的效果。在訓(xùn)練過程中，根據(jù)不同的迭代次數(shù)網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)。迭代次數(shù)過小則模型收斂困難，迭代次數(shù)過大，容易導(dǎo)致過擬合，設(shè)定其閾值為0.85。如圖4所示，當(dāng)?shù)螖?shù)為50 000次，損失值收斂，識別效果達(dá)到最優(yōu)，召回率為99.8%，mAP達(dá)到99.6%。

2.4 數(shù)據(jù)增強(qiáng)方法性能對比

本文通過用Keras中的ImageDataGenerator類對原始圖像數(shù)據(jù)進(jìn)行預(yù)處理操作，重新標(biāo)注后放入識別模型中訓(xùn)練。對于自然狀態(tài)下的美國白蛾，形態(tài)特征均不一樣，數(shù)據(jù)增強(qiáng)方法促使卷積神經(jīng)網(wǎng)絡(luò)更多學(xué)習(xí)圖像中不同的特征，對于模型識別

表4 不同的迭代次數(shù)效率對比

率有一定的提升。實驗結(jié)果表明，圖6中左側(cè)未使用數(shù)據(jù)增強(qiáng)技術(shù)，識別中部分美國白蛾未被正確識別，右側(cè)使用數(shù)據(jù)增強(qiáng)方法美國白蛾圖像全部被正確識別。數(shù)據(jù)增強(qiáng)技術(shù)提高了模型的泛化能力以及魯棒性，同時提高了目標(biāo)識別效率。

(a)模型未使用數(shù)據(jù)增強(qiáng)

3 結(jié)論與討論

本文采用深度學(xué)習(xí)方法，將目標(biāo)檢測方法對林業(yè)有害生物美國白蛾進(jìn)行識別，得到如下結(jié)論：

(1)構(gòu)建了端到端的美國白蛾檢測模型IHCDM，對比傳統(tǒng)檢測算法HOG+SVM，IHCDM模型比傳統(tǒng)目標(biāo)檢測算法檢測精度高9.6%，本研究驗證了深度學(xué)習(xí)在美國白蛾檢測中的可行性和有效性，極大程度減少了人工成本和工作量，提高了美國白蛾的檢測效率與預(yù)警實時性。

(2)IHCDM模型突破了小目標(biāo)昆蟲美國白蛾檢測的嚴(yán)格要求，避免了圖像預(yù)處理階段對于美國白蛾圖像特征提取的人工干預(yù)。對比ResNet 50、ResNet 101、SSD+Mobilenet_V1三種不同的卷積神經(jīng)網(wǎng)絡(luò)，檢測精度分別提高了0.5，0.4，6.4個百分點。

(3)采用遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)改進(jìn)IHCDM模型，改進(jìn)后的IHCDM模型對美國白蛾檢測精度能夠達(dá)到99.5%，運用控制變量法對IHCDM模型超參數(shù)進(jìn)行微調(diào)。當(dāng)學(xué)習(xí)率為0.002，迭代次數(shù)為50 000步時，損失函數(shù)值最小，IHCDM精度達(dá)到99.6%。對于單個目標(biāo)和多個目標(biāo)檢測下，IHCDM模型表現(xiàn)良好。在檢測效率，檢測速度和魯棒性方面，改進(jìn)后的IHCDM模型都有明顯優(yōu)勢。

(4)對比其他昆蟲研究，本文只針對單一物體進(jìn)行目標(biāo)檢測，論文不足之處體現(xiàn)在檢測樣本分類少。改進(jìn)后的IHCDM模型對于其他有害生物有一定的參考價值，對于其他有害生物的多目標(biāo)檢測應(yīng)當(dāng)是今后的研究重點。下一步，本研究將IHCDM模型與實際相結(jié)合，設(shè)計并開發(fā)一款有害生物檢測APP應(yīng)用來提高有害生物災(zāi)害預(yù)警的及時性，對林業(yè)有害生物災(zāi)害防治有很高的實用價值。