基于機(jī)器視覺和深度學(xué)習(xí)的稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)

張哲宇, 孫果鎵, 楊保軍, 劉淑華, 呂 軍, 姚 青, 唐 健

(1. 浙江理工大學(xué)信息學(xué)院, 杭州 310018; 2. 中國水稻研究所水稻生物學(xué)國家重點(diǎn)實(shí)驗(yàn)室, 杭州 310006)

我國是一個農(nóng)業(yè)害蟲重發(fā)頻發(fā)的國家。對田間害蟲種群進(jìn)行實(shí)時(shí)準(zhǔn)確監(jiān)測和精準(zhǔn)有效防控，可大大減少經(jīng)濟(jì)損失(劉冬等, 2014; 劉萬才等, 2020)。目前，我國田間害蟲種群監(jiān)測方法主要包括田間調(diào)查、昆蟲雷達(dá)(Westbrook, 2008; 江幸福等, 2019)、高空測報(bào)燈、蟲情測報(bào)燈(姜玉英等, 2020)以及性誘和食誘劑(和偉等, 2019; 楊留鵬等, 2020; 曾娟等, 2021)等。其中，性誘劑具有很強(qiáng)的靈敏性和專一性，環(huán)境友好，不僅作為農(nóng)業(yè)害蟲監(jiān)測的重要手段，也是生物防治主要方法之一(羅金燕等, 2016)。目前，常見性誘監(jiān)測設(shè)備與方法可分為2類：一類是簡易型性誘捕器+人工鑒定計(jì)數(shù)法；另一類是防逃逸裝置+光電計(jì)數(shù)法。這兩類誘捕器存在兩個問題：(1)簡易型性誘捕器價(jià)格便宜，但需定期到田間查看誘蟲量，費(fèi)時(shí)費(fèi)工，非實(shí)時(shí)，數(shù)據(jù)需人工上報(bào)，歷史數(shù)據(jù)難以追溯；(2)利用光電計(jì)數(shù)器計(jì)數(shù)害蟲準(zhǔn)確率偏低，因?yàn)槿斯ず铣傻男哉T劑無法保證高度專一性，一種害蟲不同地區(qū)性信息素成分比例可能存在差異(江南紀(jì)和王琛柱, 2019)，利用一種性誘劑在不同地區(qū)常引誘到多種相似種昆蟲(沈嘉彬等, 2019)，或誤入誘捕器的非目標(biāo)昆蟲而導(dǎo)致光電計(jì)數(shù)器對目標(biāo)害蟲計(jì)數(shù)不準(zhǔn)確(蘇小平等, 2018; 周愛萍, 2020)。

隨著機(jī)器視覺、圖像處理和深度學(xué)習(xí)等技術(shù)和方法在多個領(lǐng)域的成功應(yīng)用，有些學(xué)者研究機(jī)器視覺技術(shù)+粘蟲板進(jìn)行害蟲的性誘智能監(jiān)測，并將深度學(xué)習(xí)方法應(yīng)用到性誘害蟲圖像檢測中，取得了較好的檢測效果。Ding和Taylor(2016)建立了深度學(xué)習(xí)模型自動檢測粘蟲板圖像上的害蟲蘋果蠹蛾Cydiapomonella，取得了較好的檢測效果，但仍存在一些粘連害蟲漏檢和相似目標(biāo)誤檢的問題。Chulu等(2019)提出了一種利用深度學(xué)習(xí)方法識別性誘害蟲草地貪夜蛾的思路，但未給出圖像采集裝置和田間測試結(jié)果。Kim等(2018)利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)對性誘粘蟲板上的害蟲進(jìn)行自動識別，結(jié)果能監(jiān)測到大部分害蟲，但檢測框的位置不準(zhǔn)確，測試圖像較少。Sun等(2018)在實(shí)驗(yàn)室搭建了入侵害蟲紅脂大小蠹Dendroctonusvalens的性誘裝置，并提出改進(jìn)的RetinaNet模型識別6種小蠹蟲，但因引誘到其他相似種小蠹蟲而導(dǎo)致部分目標(biāo)害蟲誤檢，且該裝置在實(shí)際野外環(huán)境下，會遇到由于背景復(fù)雜和空間狹小等原因造成目標(biāo)粘連導(dǎo)致的漏檢問題。目前，上述設(shè)備和方法未能在田間獲得推廣應(yīng)用，主要存在如下問題：(1)粘蟲板長時(shí)間暴露在田間，容易粘連到很多非目標(biāo)昆蟲和雜質(zhì)，導(dǎo)致圖像背景復(fù)雜；(2)當(dāng)蟲量大的時(shí)候，粘蟲板上的害蟲容易出現(xiàn)粘連現(xiàn)象；(3)因人工合成的性誘劑專一性問題，可能同時(shí)誘捕到目標(biāo)害蟲和同類相似昆蟲，加上粘膠使它們姿態(tài)不一和鱗片脫落，造成視覺差異性小，難以獲得滿意的識別率。

本研究針對上述問題，以稻縱卷葉螟Cnaphalocrocismedinalis成蟲為性誘對象，建立稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)。該系統(tǒng)主要包括基于機(jī)器視覺的智能性誘捕器、基于深度學(xué)習(xí)的稻縱卷葉螟檢測模型、系統(tǒng)后端服務(wù)器和可視化的Web前端，實(shí)現(xiàn)田間稻縱卷葉螟性誘成蟲監(jiān)測數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性和數(shù)據(jù)可追溯。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集

1.1.1稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)：系統(tǒng)技術(shù)路線如圖1?；跈C(jī)器視覺的智能性誘捕器定時(shí)拍攝稻縱卷葉螟圖像，通過4G運(yùn)營商網(wǎng)絡(luò)將圖像上傳至云服務(wù)器，服務(wù)器收到圖像后，調(diào)用稻縱卷葉螟檢測模型，將檢測結(jié)果保存至數(shù)據(jù)庫，同時(shí)發(fā)送至Web前端，便于測報(bào)人員查看歷史圖像及模型檢測結(jié)果，實(shí)現(xiàn)數(shù)據(jù)可追溯。

圖1 稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)技術(shù)路線圖

為了便于系統(tǒng)的管理，降低耦合度，采用前后端分離的架構(gòu)模式進(jìn)行系統(tǒng)設(shè)計(jì)。系統(tǒng)后臺由采用MTV的架構(gòu)模式和開源Web應(yīng)用程序框架Django實(shí)現(xiàn)；數(shù)據(jù)庫采用目前使用最廣泛的關(guān)系型數(shù)據(jù)庫MySQL建立；Web前端設(shè)計(jì)采用Vue框架，利用JavaScript進(jìn)行前端數(shù)據(jù)交互、處理，利用HTML、CSS進(jìn)行頁面渲染。Web前端通過基于HTTP協(xié)議的Axios網(wǎng)絡(luò)請求向后臺申請網(wǎng)頁端數(shù)據(jù)(包括登陸接口、識別歷史接口等)，系統(tǒng)后臺收到請求后，進(jìn)行請求解析、用戶鑒權(quán)等后臺業(yè)務(wù)處理操作，并生成響應(yīng)數(shù)據(jù)返回Web前端，Web前端對響應(yīng)數(shù)據(jù)二次解析后，渲染至瀏覽器界面，實(shí)現(xiàn)稻縱卷葉螟性誘監(jiān)測結(jié)果的界面展示。

1.1.2基于機(jī)器視覺的智能性誘捕器設(shè)計(jì)：基于機(jī)器視覺的智能性誘捕器主要包括定焦工業(yè)相機(jī)(MV-CE100-30GC)、LED面光源、粘蟲板、太陽能板和搭載圖像4G傳輸模塊的安卓平板(圖2)。

圖2 基于機(jī)器視覺的智能性誘捕器設(shè)計(jì)圖

誘蟲區(qū)域設(shè)計(jì)為狹窄入口，上方設(shè)置遮雨罩遮擋雨水，下方放置誘蟲板和性誘劑，四周擋板和遮雨罩可減少害蟲進(jìn)入誘蟲區(qū)逃逸。相機(jī)拍攝粘蟲板圖像，平板將圖像上傳至云服務(wù)器。測報(bào)人員根據(jù)上傳的圖像查看粘蟲板上害蟲粘連情況，決定是否更換粘蟲板。

1.1.3圖像數(shù)據(jù)集：智能性誘捕器安裝于浙江省富陽區(qū)試驗(yàn)稻田(30.08°N，119.94°E)，誘芯為稻縱卷葉螟性誘劑(寧波紐康生物技術(shù)有限公司)。 2020-2021年共采集含有性誘害蟲圖像712幅,圖像尺寸為3 840×2 748像素。

將稻縱卷葉螟性誘成蟲圖像以8∶2比例分為訓(xùn)練集和測試集。利用LabelImg標(biāo)注工具對訓(xùn)練集圖像進(jìn)行害蟲標(biāo)定，將標(biāo)注區(qū)域的分類信息和坐標(biāo)信息保存在對應(yīng)的XML文件中。由于性誘劑的專一性問題和粘膠作用，粘蟲板上除了引誘到的目標(biāo)害蟲稻縱卷葉螟外，還可能包含甲殼蟲、蚊蟲等一些非鱗翅目昆蟲，它們與稻縱卷葉螟差異很大，使得粘蟲板背景變得復(fù)雜；同時(shí)還可能引誘到斜紋夜蛾Spodopteralitura和勞氏粘蟲Leucanialoreyi等未知名鱗翅目害蟲，這些害蟲與稻縱卷葉螟之間容易造成相互誤檢，本研究將這些鱗翅目害蟲稱為干擾害蟲。圖像數(shù)據(jù)集信息如表1所示。

表1 性誘害蟲數(shù)據(jù)信息

1.1.4圖像數(shù)據(jù)增強(qiáng)：為提高稻縱卷葉螟檢測模型的魯棒性和泛化能力，利用OpenCV算法對圖像數(shù)據(jù)進(jìn)行增強(qiáng)，包括圖像水平鏡像翻轉(zhuǎn)、圖像順時(shí)針90°旋轉(zhuǎn)、圖像均值化處理和圖像添加高斯噪聲4種方法(Lee, 1980)(圖3)。訓(xùn)練樣本量增加4倍。

圖3 圖像增強(qiáng)方法

1.2 稻縱卷葉螟自動檢測模型

1.2.1雙層架構(gòu)目標(biāo)檢測模型：稻縱卷葉螟自動檢測模型采用雙層網(wǎng)絡(luò)結(jié)構(gòu)。第一層為改進(jìn)的YOLOv3稻縱卷葉螟檢測模型，將性誘害蟲圖像輸入網(wǎng)絡(luò)后，得到稻縱卷葉螟和干擾害蟲區(qū)域回歸框的具體坐標(biāo)和分類置信度集合；為了減少目標(biāo)害蟲與干擾害蟲之間相互誤判，添加第二層細(xì)粒度圖像分類網(wǎng)絡(luò)DBTNet-101，對第一層檢測框內(nèi)的害蟲圖像進(jìn)行二次識別，提高稻縱卷葉螟檢測與識別的精度。雙層網(wǎng)絡(luò)框架如圖4。

圖4 稻縱卷葉螟的雙層網(wǎng)絡(luò)檢測?？蚣軋D

1.2.2改進(jìn)的YOLOv3性誘害蟲檢測模型：典型的單階段目標(biāo)檢測模型包括YOLO系列(Redmonetal., 2016; Redmon and Farhadi, 2017; Farhadi and Redmon, 2018)、SSD(Liu Wetal., 2016)等。YOLOv3檢測模型由特征提取網(wǎng)絡(luò)Darknet-53和上采樣特征融合模塊組成。檢測時(shí)，通過Darknet-53中的卷積層進(jìn)行錨點(diǎn)確定、錨點(diǎn)框內(nèi)的目標(biāo)分類和位置信息確定；通過上采樣特征融合模塊輸出3個尺度下的預(yù)測結(jié)果，可以改善小目標(biāo)在單一尺度下特征丟失的問題，同時(shí)對較大目標(biāo)有更好的檢測效果(Farhadi and Redmon, 2018)。

由于性誘害蟲圖像背景復(fù)雜，直接將YOLOv3模型用于檢測稻縱卷葉螟，存在目標(biāo)害蟲與干擾害蟲之間的相互誤檢和粘連目標(biāo)預(yù)測框丟失的問題。針對這兩個問題，本研究添加DropBlock正則化方法(Ghiasietal., 2018)來降低網(wǎng)絡(luò)過擬合程度，增強(qiáng)算法魯棒性，降低非目標(biāo)誤檢問題；采用DIoU-NMS(Zhengetal., 2020)非極大值抑制代替?zhèn)鹘y(tǒng)的NMS，可以有效減少粘連目標(biāo)預(yù)測框丟失情況。改進(jìn)后的YOLOv3檢測模型網(wǎng)絡(luò)框架如圖5。

圖5 改進(jìn)的YOLOv3檢測模型網(wǎng)絡(luò)框架

常見的正則化方法包括dropout正則化(Wageretal., 2013; Jindaletal., 2016)、L1、L2正則化(Park and Hastie, 2007; Cortesetal.,2009)和DropBlock正則化等方法。為降低過擬合程度，增強(qiáng)目標(biāo)檢測算法魯棒性，本研究使用DropBlock正則化方法。DropBlock方法在卷積操作前，隨機(jī)選取輸入層中目標(biāo)所在區(qū)域內(nèi)的像素點(diǎn)，根據(jù)預(yù)設(shè)block的大小，在選取點(diǎn)周圍設(shè)置drop區(qū)塊，將區(qū)塊內(nèi)所有像素值置零，如圖6，其中綠色區(qū)域?yàn)槟繕?biāo)區(qū)域，紅色點(diǎn)為隨機(jī)點(diǎn)，黑色區(qū)域?yàn)閐rop區(qū)塊。上述算法操作后將圖像送入網(wǎng)絡(luò)，增加網(wǎng)絡(luò)訓(xùn)練難度，減少網(wǎng)絡(luò)對某局部特征的依賴，從而避免過擬合現(xiàn)象。

圖6 DropBlock示意圖

由于目標(biāo)檢測結(jié)果包括所有高于置信度閾值的檢測框，存在較多的冗余框，需要采取非極大值抑制方法(NMS)去除冗余框。傳統(tǒng)的非極大值抑制方法利用兩個檢測框的交并比(IoU)作為量化單位，對交并比大于閾值的兩檢測框進(jìn)行置信度對比并保留置信度更高的檢測框，去除置信度較低的檢測框。傳統(tǒng)的非極大值抑制方法在篩選兩個重疊程度較高的目標(biāo)檢測框情況中，易發(fā)生檢測框定位不準(zhǔn)確的問題，從而導(dǎo)致目標(biāo)害蟲的漏檢。本研究采用包含距離信息的DIoU-NMS非極大值抑制作為去除冗余框的手段。 DIoU-NMS中的DIoU值計(jì)算如公式(1)。

(1)

式中，ρ代表歐氏距離，a和b分別表示兩個檢測框中心點(diǎn)，c表示包含兩框的最小矩形框的對角線歐氏距離長度(圖7)。

圖7 DIoU參數(shù)示意圖

利用DioU-NMS替換NMS，能有效抑制不合格的檢測框，同時(shí)最大程度保留正確的檢測結(jié)果。圖8給出兩種非極大值抑制方法對粘連害蟲的檢測結(jié)果，由此可見 DioU-NMS 可以有效地將兩個粘連的稻縱卷葉螟檢測出來。

圖8 NMS和DioU-NMS輸出結(jié)果圖

1.2.3深度雙線性變換網(wǎng)絡(luò)DBTNet-101：粘蟲板圖像中除了目標(biāo)害蟲稻縱卷葉螟成蟲，?；煊衅渌[翅目干擾害蟲，這些害蟲可能在體型或顏色上與目標(biāo)害蟲存在一定的相似性(圖9)，導(dǎo)致在第一層YOLOv3模型檢測結(jié)果中稻縱卷葉螟與干擾害蟲存在誤檢。在圖像識別任務(wù)中，相似物種分類任務(wù)通常被歸為細(xì)粒度分類。為了降低目標(biāo)害蟲和干擾害蟲之間相互誤檢，提高目標(biāo)害蟲的檢測率，在第一層網(wǎng)絡(luò)結(jié)構(gòu)后級聯(lián)了第二層的深度雙線性變換分類網(wǎng)絡(luò)DBTNet-101(Zhengetal., 2019)。

圖9 稻縱卷葉螟(A)與鱗翅目干擾害蟲(B-F)圖像

DBTNet-101是在分類網(wǎng)絡(luò)ResNet-101(Heetal., 2016)基礎(chǔ)上，添加深度雙線性轉(zhuǎn)換模塊，對基于目標(biāo)各個部位的語義信息分組后進(jìn)行雙線性計(jì)算操作，在不改變卷積特征維度的情況下，得到圖像豐富的細(xì)節(jié)特征表達(dá)。DBTNet-101由1個卷積層、33個卷積區(qū)塊、1個全連接層組成，其網(wǎng)絡(luò)架構(gòu)如圖10。

圖10 DBTNet-101網(wǎng)絡(luò)架構(gòu)

其中，“1×SG 1×1,2n+5”表示添加語義分組約束的1×1的卷積層，其輸出深度為2n+5；“1×GB,G=8”表示在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行雙線性計(jì)算操作，具體計(jì)算見公式(2)。

(2)

式中，x為輸入特征矩陣，A為經(jīng)過SG優(yōu)化的分組映射矩陣，G為分組數(shù)，Ij對應(yīng)第j組時(shí)為一個單位矩陣，其他為0。DBT卷積區(qū)塊輸入特征經(jīng)過語義分組后，按組進(jìn)行雙線性池化，即對特征向量進(jìn)行外積操作，最后整合各組特征得到最終的結(jié)果。

1.3 評價(jià)方法

為了客觀地評價(jià)本研究提出的稻縱卷葉螟雙層網(wǎng)絡(luò)檢測模型的檢測效果，使用精確率(precision)、召回率(recall)、F1作為評價(jià)指標(biāo)。其中，精確率表示模型識別害蟲中被正確識別為目標(biāo)害蟲的比例，召回率表示識別為目標(biāo)害蟲中被正確識別的害蟲比例，F(xiàn)1為二者的綜合評價(jià)，其計(jì)算公式如公式(3), (4)和(5)。

(3)

(4)

(5)

式中，TP(k)表示第k類害蟲被正確識別的害蟲數(shù)量，F(xiàn)P(k)表示干擾害蟲被誤判為第k類害蟲的數(shù)量，F(xiàn)N(k)表示第k類害蟲被識別為非k類害蟲的數(shù)量。

2 結(jié)果

2.1 模型檢測結(jié)果

用同一個訓(xùn)練集訓(xùn)練YOLOv3、改進(jìn)的YOLOv3和本研究提出的雙層網(wǎng)絡(luò)檢測模型，在同一個測試集上測試，結(jié)果見表2。

表2 不同模型對稻縱卷葉螟檢測的結(jié)果

由表2可知，改進(jìn)的YOLOv3對稻縱卷葉螟的識別精確率和召回率分別提高2.9%和1.8%，F(xiàn)1分值提高2.3%，雙層網(wǎng)絡(luò)檢測模型對稻縱卷葉螟識別的精確率和召回率分別為97.6%和98.6%，可以滿足稻縱卷葉螟性誘成蟲智能監(jiān)測的需求。

圖11展示了兩幅稻縱卷葉螟檢測結(jié)果圖。圖中存在較多的目標(biāo)害蟲稻縱卷葉螟和部分鱗翅目干擾害蟲，檢測模型將所有的目標(biāo)害蟲稻縱卷葉螟正確檢測出來，無誤檢和漏檢。

圖11 稻縱卷葉螟檢測結(jié)果圖

2.2 系統(tǒng)Web前端界面

稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)Web前端主要包括用戶登錄、性誘圖像智能識別、設(shè)備管理、用戶管理、識別歷史等功能。系統(tǒng)可定期自動采集稻縱卷葉螟圖像、準(zhǔn)確檢測與計(jì)數(shù)稻縱卷葉螟，用戶可通過Web前端查看稻縱卷葉螟檢測結(jié)果圖，實(shí)現(xiàn)了監(jiān)測數(shù)據(jù)可追溯。圖12展示了Web前端稻縱卷葉螟自動檢測結(jié)果圖列表。

圖12 稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)Web前端界面

3 討論

實(shí)時(shí)準(zhǔn)確地獲得農(nóng)業(yè)田間害蟲種群種類與數(shù)量是害蟲精準(zhǔn)測報(bào)的前提。目前，我國害蟲性誘測報(bào)方法仍舊需要測報(bào)員定期下田查看性誘粘蟲板上的害蟲數(shù)量，存在工作量大、效率低、數(shù)據(jù)難以追溯等問題。如何利用智能測報(bào)設(shè)備和方法減輕測報(bào)人員工作量，提高工作效率成為目前害蟲性誘測報(bào)亟需解決的問題。

近幾年機(jī)器視覺和深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)害蟲識別領(lǐng)域取得較多進(jìn)展(Liu ZYetal., 2016; Liuetal., 2019; Yaoetal., 2020)。傳統(tǒng)的機(jī)器視覺方法先利用閾值分割(Bhargavi and Jyothi, 2014)方法去除背景，在圖像中確定害蟲區(qū)域，然后使用機(jī)器學(xué)習(xí)(Jordan and Mitchell, 2015)方法，通過預(yù)先設(shè)定好的參數(shù)提取害蟲圖像特征(Lowe, 2004)，最后訓(xùn)練識別模型進(jìn)行害蟲的分類識別。然而，使用傳統(tǒng)的機(jī)器視覺識別方法進(jìn)行分類識別需要大量的前期工作來確定目標(biāo)圖像的分類特征，特別是在復(fù)雜背景且存在大量干擾目標(biāo)情況下，人工篩選特征參數(shù)耗時(shí)費(fèi)力。另外，使用單類特征往往識別效果不佳，而選取多特征融合時(shí)又會損失圖像的空間結(jié)構(gòu)信息，訓(xùn)練出來的模型魯棒性弱、泛化能力差。由于性誘粘蟲板圖像上存在背景復(fù)雜，混有干擾目標(biāo)害蟲，傳統(tǒng)的機(jī)器視覺識別方法無法獲得滿意的目標(biāo)害蟲檢測效果。目前，已有學(xué)者利用深度學(xué)習(xí)方法識別性誘害蟲，解決部分行業(yè)痛點(diǎn)(Ding and Taylor, 2016; Kim and Yoe, 2018; Sunetal., 2018; Chuluetal., 2019)。但上述方法仍舊無法有效解決粘連害蟲漏檢、目標(biāo)害蟲與干擾害蟲相互誤檢的問題。

針對上述問題，本研究建立了兩層網(wǎng)絡(luò)檢測模型，在模型中加入DropBlock正則化方法，降低神經(jīng)網(wǎng)絡(luò)過擬合程度，減少誤檢；在模型中加入DIoU-NMS非極大值抑制，減少漏檢；利用第二層DBTNet-101分類網(wǎng)絡(luò)對第一層檢測結(jié)果進(jìn)行校準(zhǔn)，降低目標(biāo)害蟲的誤檢。結(jié)果表明，粘蟲板圖像上的稻縱卷葉螟檢測精確率和召回率分別達(dá)到97.6%和98.6%，可以滿足稻縱卷葉螟智能性誘測報(bào)的需求。本研究建立的稻縱卷葉螟性誘智能監(jiān)測系統(tǒng)實(shí)現(xiàn)了稻縱卷葉螟性誘成蟲監(jiān)測的實(shí)時(shí)性和智能化，減輕了測報(bào)人員的工作量，監(jiān)測數(shù)據(jù)精確且可追溯。該系統(tǒng)可應(yīng)用于其他鱗翅目害蟲的智能性誘測報(bào)，只需要建立多類目標(biāo)害蟲的檢測模型就可實(shí)現(xiàn)。