利用顯著圖構(gòu)建注意力深度網(wǎng)絡(luò)檢測誘蟲板蔬菜害蟲

郭慶文，王春桃,2，肖德琴，黃 瓊,2

利用顯著圖構(gòu)建注意力深度網(wǎng)絡(luò)檢測誘蟲板蔬菜害蟲

郭慶文1，王春桃1,2※，肖德琴1，黃 瓊1,2

（1. 華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642；2. 廣州市智慧農(nóng)業(yè)重點(diǎn)實(shí)驗(yàn)室，廣州 510642）

為提高誘蟲板圖像蔬菜害蟲檢測精度，針對背景區(qū)域容易導(dǎo)致誤檢的問題基于顯著圖分析技術(shù)構(gòu)建了一種注意力深度網(wǎng)絡(luò)害蟲智能視覺檢測方法。首先通過顯著圖篩選出粗候選區(qū)域；然后在粗候選區(qū)域內(nèi)用全卷積神經(jīng)網(wǎng)絡(luò)精選出細(xì)候選區(qū)域；接著用神經(jīng)網(wǎng)絡(luò)分類器識別細(xì)候選區(qū)域害蟲種類，得到含有冗余的若干檢測框；最后用改進(jìn)的非極大值抑制消除冗余檢測框，實(shí)現(xiàn)誘蟲板圖像中目標(biāo)害蟲的檢測。針對小菜蛾和瓜實(shí)蠅展開試驗(yàn)，獲得86.40%的平均精度均值和0.111只的平均絕對計數(shù)誤差均值，所提方法平均精度均值比Faster R-CNN和YOLOv4分別高2.74和1.56個百分點(diǎn)，平均絕對計數(shù)誤差均值比Faster R-CNN和YOLOv4分別低0.006和0.003只；同時，消融試驗(yàn)中移除顯著圖注意力模塊后平均精度均值下降了4個百分點(diǎn)、平均絕對計數(shù)誤差均值增加了0.207只。試驗(yàn)結(jié)果表明，所提方法有效提高了誘蟲板圖像蔬菜害蟲檢測精度，其中，引入顯著圖注意力模塊對提升檢測精度有重要作用。

圖像識別；機(jī)器視覺；害蟲檢測；智能視覺檢測；深度學(xué)習(xí)；顯著圖

0 引 言

蔬菜在生長過程中易受農(nóng)業(yè)害蟲侵?jǐn)_，農(nóng)業(yè)害蟲防治工作直接關(guān)系蔬菜產(chǎn)業(yè)的良好發(fā)展[1-2]。害蟲數(shù)目統(tǒng)計是農(nóng)業(yè)害蟲防治理論研究的重要前提，也是害蟲防治效果評估的主要手段[3]。一方面，各蟲期作物害蟲的周期性統(tǒng)計數(shù)目可用于分析蟲情狀況；另一方面，在對照試驗(yàn)中通過比對各試驗(yàn)區(qū)域內(nèi)的害蟲數(shù)目可檢驗(yàn)相應(yīng)害蟲防治手段是否真實(shí)有效?，F(xiàn)階段，中國大部分地區(qū)普遍基于誘蟲板采用人工計數(shù)法估算單位面積區(qū)域內(nèi)的蔬菜害蟲數(shù)目，但該方法效率低下且勞動成本較高。對此，需要研發(fā)害蟲智能計數(shù)算法完成自動害蟲數(shù)目統(tǒng)計。

害蟲智能視覺檢測能夠?qū)D像中的害蟲進(jìn)行定位并貼上類別標(biāo)簽，進(jìn)而實(shí)現(xiàn)自動計數(shù)。近年來，國內(nèi)外學(xué)者針對害蟲智能視覺檢測進(jìn)行研究并取得了諸多成果。Yao等[4-5]研發(fā)了一款手持終端設(shè)備用于采集水稻圖像，且基于支持向量機(jī)設(shè)計出一種3層級聯(lián)檢測器計算圖像中各蟲期稻飛虱的數(shù)目。葉耀文[6]構(gòu)造了一種誘蟲板蔬菜害蟲檢測計數(shù)算法，該算法先利用HSV（即Hue、Saturation和Value）顏色空間提取黃/藍(lán)色誘蟲板主要區(qū)域，然后基于邊緣檢測生成感興趣區(qū)域，最后通過支持向量機(jī)自動辨識感興趣區(qū)域的害蟲類別。此外，Suo等[7]使用分水嶺算法和大津閾值法對蚜蟲圖像進(jìn)行分割，然后用邊緣檢測算子提取目標(biāo)特征信息，最后根據(jù)這些特征信息實(shí)現(xiàn)蚜蟲計數(shù)。上述方法主要依賴傳統(tǒng)機(jī)器學(xué)習(xí)算法。

相比傳統(tǒng)機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)算法具有更加優(yōu)秀的表征能力[8-11]，故將深度學(xué)習(xí)里的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）遷移應(yīng)用至農(nóng)業(yè)害蟲智能視覺檢測中已成為研究熱點(diǎn)。Liu等[12]使用圖像顯著性分析實(shí)現(xiàn)圖中作物害蟲的定位，然后用CNN分類器對感興趣區(qū)域里的害蟲進(jìn)行種類識別。Ding等[13]用CNN以全卷積形式構(gòu)造了一個滑動窗口式飛蛾檢測器，可用于統(tǒng)計捕蟲器里的飛蛾數(shù)目。Partel等[14]研發(fā)了一款農(nóng)機(jī)裝備用于拍捕樹木上的亞洲柑橘木虱，然后基于YOLO對機(jī)器視覺中的亞洲柑橘木虱進(jìn)行檢測并計數(shù)。為減少糧食損失，鄧壯來等[15]基于SSD利用多尺度卷積特征圖檢測各種體型的糧倉害蟲。另外，一些研究人員借用Faster R-CNN及其變種R-FCN實(shí)現(xiàn)了作物害蟲智能視覺檢測，取得了較高的害蟲檢測精度[16-22]。

雖然基于深度網(wǎng)絡(luò)的目標(biāo)檢測算法在害蟲智能視覺檢測中取得了巨大成功，但在檢測誘蟲板圖像蔬菜害蟲時這些算法容易在背景區(qū)域造成誤檢，檢測精度有待進(jìn)一步提升?？紤]到誘蟲板上的害蟲具有面積占比小、分布不均勻的特點(diǎn)，本文基于顯著圖分析[12,23]構(gòu)建一種注意力機(jī)制有效縮小誘蟲板待檢測范圍，從而使網(wǎng)絡(luò)更專注于處理害蟲區(qū)域，進(jìn)而緩解誤檢問題并最終提升檢測精度。首先算法基于顯著圖篩選出粗候選區(qū)域，然后使用兩階段網(wǎng)絡(luò)對目標(biāo)蔬菜害蟲進(jìn)行檢測，接著通過改進(jìn)的非極大值抑制算法（Non-Maximum Suppression，NMS）過濾冗余檢測框，使得一個檢測框僅對應(yīng)一只蔬菜害蟲，最終在檢測框基礎(chǔ)上實(shí)現(xiàn)害蟲自動計數(shù)。

1 材料與方法

1.1 試驗(yàn)材料

1.1.1 數(shù)據(jù)采集

本文于廣東省廣州市南沙區(qū)東升農(nóng)場展開相關(guān)試驗(yàn)。農(nóng)場田地面積約13 333 m2，本文在田間相應(yīng)位置部署了20臺如圖1b所示的蔬菜害蟲監(jiān)控設(shè)備[6]，每臺設(shè)備負(fù)責(zé)667 m2田地的監(jiān)控工作。該設(shè)備由害蟲誘捕裝置、太陽能供電裝置和攝像頭拍攝裝置組成；害蟲誘捕裝置的每塊誘蟲板均為35 cm×25 cm。本文采用人工方式定期對誘蟲板上的害蟲進(jìn)行清理以減輕害蟲腐爛尸體對蟲群數(shù)量監(jiān)測的影響。攝像頭拍攝裝置捕獲得到的誘蟲板圖像以JPEG格式存儲，圖像尺寸均為4 208×3 120像素，如圖1a所示。

1.1.2 數(shù)據(jù)標(biāo)注

本文用LabelImg軟件對誘蟲板圖像中的蔬菜害蟲進(jìn)行標(biāo)注。因LabelImg軟件能夠讀取的圖像大小有限，故原始誘蟲板圖像被進(jìn)一步切割成1 090×1 453像素的多幅小塊圖像，最終得到3 557張試驗(yàn)圖像。本文主要針對小菜蛾、瓜實(shí)蠅這2種蔬菜害蟲進(jìn)行檢測試驗(yàn)。如圖2所示，小菜蛾前后翅細(xì)長，緣毛較長，明顯特點(diǎn)是翅緣呈黃白色三度曲折的波浪紋；瓜實(shí)蠅呈黃褐色至紅褐色，與果實(shí)蠅和小型黃蜂較相似，中胸兩側(cè)各有1條較粗的黃色豎條斑，背面有并列的3條黃色縱紋，翅尖有1個明顯的圓形斑。害蟲標(biāo)注信息包括邊界框位置坐標(biāo)（min,min,max,max）和邊界框內(nèi)害蟲種類cls（即class）。最終，試驗(yàn)圖像數(shù)據(jù)集被劃分成2 134張訓(xùn)練圖像，38張驗(yàn)證圖像以及1 385張測試圖像。

1.2 害蟲智能視覺檢測方法

基于CNN的目標(biāo)檢測算法主要分為2類：兩階段方法和單階段方法。兩階段方法先通過處理密集錨點(diǎn)生成一組稀疏候選框，然后對稀疏候選框進(jìn)行細(xì)致分類。單階段方法通常通過直接處理密集網(wǎng)格來生成檢測框。單階段方法計算效率高，而兩階段方法普遍具有更高檢測精度[24]，故本文選用兩階段網(wǎng)絡(luò)實(shí)現(xiàn)誘蟲板圖像目標(biāo)害蟲的智能視覺檢測。

誘蟲板圖像大部分背景區(qū)域較簡單，因此人工計數(shù)時側(cè)重掃描的是誘蟲板上的顯著區(qū)域。借鑒誘蟲板圖像特點(diǎn)及人類視覺特性，本文利用顯著圖作為一種注意力機(jī)制引導(dǎo)網(wǎng)絡(luò)關(guān)注重要區(qū)域，通過預(yù)處理過濾掉簡單背景和小尺寸非目標(biāo)害蟲使誤檢率減低，進(jìn)而提升精確度。具體而言，在第一階段算法通過顯著圖得到粗候選區(qū)域，然后針對害蟲黏連問題在粗候選區(qū)域中打上密集錨點(diǎn)通過全卷積CNN得到一組細(xì)候選區(qū)域；在第二階段算法將細(xì)候選區(qū)域送入CNN分類器進(jìn)行害蟲類別預(yù)測。因算法采用錨點(diǎn)檢測方式，此時檢測框存在冗余，本文進(jìn)一步通過改進(jìn)的非極大值抑制方法消除冗余檢測框。本文算法如圖3所示。

1.2.1 第一階段候選區(qū)域生成模塊

如圖4所示，小菜蛾、瓜實(shí)蠅等蔬菜害蟲在誘蟲板圖像中具有高顯著性。為此，本文借鑒人類視覺特性，利用顯著圖技術(shù)有效過濾掉害蟲圖像中的無關(guān)區(qū)域，使網(wǎng)絡(luò)在后續(xù)階段更好地應(yīng)對復(fù)雜負(fù)樣例，并最終降低誤檢率。應(yīng)用顯著圖技術(shù)后，可以獲得蔬菜害蟲的粗候選區(qū)域，然后再針對目標(biāo)蔬菜蟲黏連問題通過錨點(diǎn)、滑動窗口、全卷積神經(jīng)網(wǎng)絡(luò)處理獲得細(xì)候選區(qū)域。這些步驟構(gòu)成本算法第一階段的候選區(qū)域生成模塊，具體細(xì)節(jié)描述如下：

1）用3×3大小的高斯核模糊原圖像得到圖像，其中和的大小皆為×；

2）將圖像轉(zhuǎn)換至LAB（即L*a*b*）顏色空間，LAB是國際照明委員會在1976年定義的色彩空間，其中“L*”代表感知亮度，“a*”和“b*”代表人類視覺的四種獨(dú)特顏色：紅色、綠色、藍(lán)色和黃色，用如下公式計算距離矩陣，即

式中是1×3大小的LAB均值向量，()表示LAB顏色空間的亮度通道，(A)和(B)表示LAB顏色空間的2個顏色通道，和分別表示行和列的索引值，和分別表示圖像的高和寬。

3）歸一化矩陣得到顯著圖，即

4）基于預(yù)設(shè)閾值和顯著圖得到掩碼圖，即

5）用連通圖處理矩陣，并保留面積大于預(yù)設(shè)閾值的候選框，這樣得到一組粗候選框={=(min,min,max,max)}，因一個粗候選區(qū)域內(nèi)可能存在多只黏連害蟲，需要進(jìn)一步的處理以得到細(xì)候選區(qū)域；

6）如圖3所示，為每個粗候選區(qū)域∈打上一組錨點(diǎn)，用2個全卷積神經(jīng)網(wǎng)絡(luò)bf和reg分別判斷每個錨點(diǎn)∈是否為1并回歸對應(yīng)的邊界框(min,min,max,max)得到細(xì)候選區(qū)域，令表示以錨點(diǎn)=(x,,y,)為中心的大小為×的滑動窗口，將reg的輸出(t,t,t,t)按如下方式轉(zhuǎn)換成=(min,p,min,p,max,p,max,p)格式，即

式中(x,y,w, h)表示滑動窗口的中心橫坐標(biāo)、中心縱坐標(biāo)、寬和高，(x,p,y,p,w, h)表示候選區(qū)域的中心橫坐標(biāo)、中心縱坐標(biāo)、寬和高。通過此步的處理，可以有效解決害蟲黏連的問題。

全卷積神經(jīng)網(wǎng)絡(luò)bf的訓(xùn)練數(shù)據(jù)構(gòu)造如下：如圖5a所示，對每個錨點(diǎn)，構(gòu)造個預(yù)設(shè)規(guī)格的錨框，即

記gt=(min,min,max,max)為人工標(biāo)注真實(shí)框，按公式（7）計算各錨框與人工標(biāo)注真實(shí)框的交并比值（intersection-over-union，IoU），即

式中area(·)是面積計算函數(shù)。設(shè)和是2個預(yù)設(shè)閾值，若存在IoU(ac(i),gt)≥，則將錨點(diǎn)標(biāo)注為1；若對全部∈{1, ...,}都存在IoU(ac(i),gt)<，則將錨點(diǎn)標(biāo)注為0。

全卷積神經(jīng)網(wǎng)絡(luò)reg的訓(xùn)練數(shù)據(jù)構(gòu)造如下：如圖5b所示，對每個錨點(diǎn)，若被bf判斷為0，則丟棄該錨點(diǎn)；否則按照公式（8）和（9）尋找與最符合的人工標(biāo)注真實(shí)框gt*，即有

記為預(yù)設(shè)閾值，當(dāng)且僅當(dāng)iogt(,*gt)≥時，錨點(diǎn)標(biāo)注如下：

為使網(wǎng)絡(luò)視野和掃描步長與害蟲尺寸相符合，本文在ZF-Net[25]網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行細(xì)微修改，從而構(gòu)造出網(wǎng)絡(luò)bf和reg，二者接收域大小為122×122像素，滑動步長為16像素。全卷積神經(jīng)網(wǎng)絡(luò)bf和reg的結(jié)構(gòu)配置如圖6所示，二者采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，圖中-(122, 122, 3)表示網(wǎng)絡(luò)輸入大小為122×122×3，conv-7-2-96-relu表示該層有96個大小為7×7、步長為2×2、激活函數(shù)為ReLU的卷積核，pool-3-2-max表示該層由大小為3×3、步長為2×2、激活函數(shù)為max的池化核組成。

1.2.2 第二階段檢測框生成模塊

在第一階段，本文通過注意力導(dǎo)向候選區(qū)域生成模塊得到粗候選框= {(min,min,max,max)}。在第二階段，本文使用VGG-16[26]網(wǎng)絡(luò)識別感興趣粗候選框∈內(nèi)的害蟲類別。具體而言，算法將從原圖中裁剪出來送入分類器網(wǎng)絡(luò)cls，得到類別標(biāo)簽cls：“非目標(biāo)害蟲”、“小菜蛾”或“瓜實(shí)蠅”，并將類別概率作為置信度conf（即confidence），組合成檢測框={(min,min,max,max, conf, cls)}。

卷積神經(jīng)網(wǎng)絡(luò)cls的訓(xùn)練數(shù)據(jù)構(gòu)造如下：記和為2個預(yù)設(shè)閾值，對每個候選區(qū)域∈，按照公式（8）和（9）尋找最佳人工標(biāo)注真實(shí)框*gt使得iogt(,gt)值最大。若iogt(,*gt) ≥，則將標(biāo)為*gt對應(yīng)真實(shí)類別；若iogt(,*gt) <，則將標(biāo)為“非目標(biāo)害蟲”。

1.2.3 改進(jìn)的非極大值抑制模塊

如圖3所示，本文所給害蟲檢測網(wǎng)絡(luò)采用滑動窗口方式生成檢測框，導(dǎo)致該階段的檢測框存在冗余，即一只蔬菜害蟲會對應(yīng)多個檢測框。此時，這些檢測框無法直接用于害蟲計數(shù)。為此，本文使用非極大值抑制[27]算法來消除冗余檢測框。非極大值抑制算法先計算2個檢測框0和1的交并比值IoU(0,1)。若IoU(0,1)高于預(yù)設(shè)閾值，則判定0和1重疊。若2個檢測框互相重疊，非極大值抑制算法保留置信度較高的那個檢測框，并刪除另外一個檢測框。最后，非極大值抑制不斷迭代上述步驟直至圖中不再出現(xiàn)重疊檢測框。

自然環(huán)境中的昆蟲具有類間差異小、類內(nèi)區(qū)別大的特點(diǎn)，傳統(tǒng)非極大值抑制算法在處理假正例時不夠穩(wěn)健。以圖7為例，錯誤檢測框的置信度高達(dá)0.907，與正確檢測框的置信度相差不大。假設(shè)此時有一個錯誤檢測框具有最高置信度，而大部分正確檢測框置信度較低，傳統(tǒng)非極大值抑制算法會用錯誤檢測框抑制掉所有正確檢測框，從而導(dǎo)致誤檢。為了緩解該問題，本文對傳統(tǒng)非極大值抑制算法進(jìn)行了優(yōu)化，形成改進(jìn)的非極大值抑制（Enhanced Non-Maximum Suppression，ENMS）算法。鑒于CNN能夠輸出絕大多數(shù)正確檢測框而錯誤檢測框僅是個別特例，ENMS通過聚合正確檢測框大幅度增加正確檢測框的置信度。ENMS算法細(xì)節(jié)描述如下：

1）記網(wǎng)絡(luò)模型所給檢測框?yàn)? {d= (min,min,max,max, conf, cls)}，將“非目標(biāo)害蟲”檢測框從中移除；

2）對剩余的每個檢測框d∈，使用下式找到其鄰居檢測框，即

并將d周圍的鄰居檢測框的置信度累加給d，即

公式（11）中s.t.是subject to的縮寫，表示預(yù)設(shè)閾值，d.cls表示檢測框d的害蟲類別，d.conf表示檢測框d的置信度；

3）用傳統(tǒng)非極大值抑制算法處理聚合后的檢測框；

4）記表示預(yù)設(shè)閾值，遍歷傳統(tǒng)非極大值抑制算法處理后的檢測框，若當(dāng)前檢測框置信度值高于，則保留該檢測框；否則丟棄該檢測框。

1.3 試驗(yàn)軟件環(huán)境

本文仿真試驗(yàn)的平臺為臺式計算機(jī)，所有算法均采用Python開源庫PyTorch進(jìn)行實(shí)現(xiàn)；其中Python版本為3.6，PyTorch版本為1.1.0。計算機(jī)處理器為Intel? Core? i7-8700 CPU，默頻為3.20 GHz，內(nèi)存大小為32 GB，硬盤大小為2 TB，含2塊GeForce GTX 1080 Ti GPU。計算機(jī)操作系統(tǒng)為Ubuntu 16.04 LTS，CUDA版本為9.0。

本文采用交叉驗(yàn)證法（cross-validation）選取最優(yōu)超參數(shù)，試驗(yàn)中相關(guān)超參數(shù)數(shù)值具體設(shè)置如下：高斯核大小為3×3，顯著圖轉(zhuǎn)掩碼圖時的激活閾值=0.1，粗候選框面積篩選保留閾值為200，在構(gòu)造訓(xùn)練數(shù)據(jù)時bf的標(biāo)注閾值=0.5和=0.1，reg的標(biāo)注閾值=0.4，cls的標(biāo)注閾值=0.6和=0.1。上述、、和為章節(jié)1.2.1中定義的變量，和為章節(jié)1.2.2中定義的變量。

本文算法所涉及的3個卷積神經(jīng)網(wǎng)絡(luò)bf、reg和cls皆使用PyTorch中的何氏初始法初始化權(quán)重參數(shù)。在訓(xùn)練時bf和cls采用帶動量的批量隨機(jī)梯度下降法（min-batch stochastic gradient descent of momentum）進(jìn)行學(xué)習(xí)，其中動量參數(shù)為0.9，批量大小為32；損失函數(shù)為L2正則化交叉熵?fù)p失，正則化參數(shù)為0.000 5。reg采用自適應(yīng)矩估計法（adaptive moment estimation）進(jìn)行學(xué)習(xí)，一階矩陣的指數(shù)衰減率為0.9，二階矩陣的指數(shù)衰減率為0.999，批量大小為32，損失函數(shù)為Smooth-L1損失。初始學(xué)習(xí)率為0.000 1，采用指數(shù)衰減法，衰減權(quán)重為0.95。在訓(xùn)練過程中，本文采用左右上下翻轉(zhuǎn)作為數(shù)據(jù)增廣策略。

1.4 性能評價指標(biāo)

在目標(biāo)檢測領(lǐng)域，一般采用平均精確度均值（Mean of Average Precision，mAP）作為算法檢測效果評價指標(biāo)，其值越高越好。為此，本文沿用該指標(biāo)作為算法檢測試驗(yàn)性能評價指標(biāo)。此外，本文采用平均絕對計數(shù)誤差均值（Average Mean Absolute Error，aMAE）作為算法計數(shù)結(jié)果準(zhǔn)確性的評價指標(biāo)，該值越小越好。考慮到不同算法對不同種類害蟲可能具有不同檢測偏好，本文亦根據(jù)精確度均值（Average Precision，AP）和絕對計數(shù)誤差均值（Mean Absolute Error，MAE）針對不同種類害蟲的檢測和計數(shù)結(jié)果展開單獨(dú)評價與分析。這些性能評價指標(biāo)的定義如下。

1.4.1 平均精確度平均值

試驗(yàn)指標(biāo)mAP值計算公式如下：

式中為蔬菜害蟲種類數(shù)。為精確率，為召回率，計算方式為：

式中TP為正確檢測框數(shù)目，F(xiàn)P為錯誤檢測框數(shù)目，F(xiàn)N為漏檢數(shù)目。記檢測方法輸出的第個檢測框?yàn)?i>d，其預(yù)測害蟲類別為cls，且預(yù)測置信度為conf。設(shè)人工標(biāo)注的第個真實(shí)邊界框?yàn)間t, k，其真實(shí)害蟲類別為clsgt, k，當(dāng)且僅當(dāng)以下3個條件成立時d被判定為TP，即：存在cls= clsgt, k且conf≥，其中是預(yù)設(shè)閾值；且存在IoU(d,gt,) ≥0.5；且第個真實(shí)邊界框?yàn)間t, k未被匹配過。檢測算法輸出的同類別檢測框數(shù)目減去TP即可得到FP，人工標(biāo)注的同類別檢測框數(shù)目減去TP即可得到FN。通過調(diào)控閾值的大小可以繪制出-曲線，進(jìn)而求取AP值，即-曲線與坐標(biāo)軸包圍的圖形面積，AP取值范圍為[0, 1]，通常用百分?jǐn)?shù)表示。

1.4.2 平均絕對計數(shù)誤差均值

假設(shè)總共有幅測試圖像，按如下方式計算MAE值：

式中n, p表示算法對第張圖像的害蟲預(yù)測數(shù)量，n, gt表示第張圖像的害蟲真實(shí)數(shù)量。利用公式（16）可以計算出各類蔬菜害蟲的MAE值，在此基礎(chǔ)上，本文進(jìn)一步計算aMAE值，即

2 結(jié)果與分析

為驗(yàn)證所提算法的有效性，本文基于相同數(shù)據(jù)集訓(xùn)練了SSD、R-FCN、CenterNet、Faster R-CNN和YOLOv4等主流優(yōu)秀深度目標(biāo)檢測算法，并將它們的測試結(jié)果與本文所提算法的測試結(jié)果進(jìn)行對比。試驗(yàn)結(jié)果如表1所示，本文在計算mAP和aMAE時類別數(shù)=2，即小菜蛾和瓜實(shí)蠅2種蔬菜害蟲。

表1 不同算法的測試結(jié)果

從表1可看出，本文算法、Faster R-CNN和YOLOv4對小菜蛾和瓜實(shí)蠅的檢測效果明顯優(yōu)于SSD、R-FCN和CenterNet；且本文算法mAP值比Faster R-CNN高2.74個百分點(diǎn)，比YOLOv4高1.56個百分點(diǎn)。由于本文算法是在Faster R-CNN的基礎(chǔ)上結(jié)合誘蟲板圖像蔬菜害蟲特點(diǎn)改進(jìn)而成，因此本文算法對2種目標(biāo)蔬菜害蟲的檢測效果皆優(yōu)于Faster R-CNN，即本文算法對小菜蛾的檢測AP值高出Faster R-CNN 1.86個百分點(diǎn)，而對瓜實(shí)蠅的檢測AP值則高出3.63個百分點(diǎn)。與YOLOv4相比，本文算法具有可比擬的mAP值，即本文算法對小菜蛾的檢測AP值比YOLOv4低0.49個百分點(diǎn)，但本文算法對瓜實(shí)蠅的檢測AP值則比YOLOv4高出3.61個百分點(diǎn)，總體上本文算法的mAP比YOLOv4的高1.64個百分點(diǎn)。

此外，由表1可知，F(xiàn)aster R-CNN、YOLOv4和本文算法aMAE值較低，它們對應(yīng)的aMAE值皆穩(wěn)定在每張圖0.11只左右；本文算法的aMAE值比Faster R-CNN小0.006只，而比YOLOv4小0.003只，本文算法略優(yōu)于Faster R-CNN和YOLOv4。與Faster R-CNN相比，在小菜蛾計數(shù)方面，本文算法的MAE值比Faster R-CNN小0.006只；在瓜實(shí)蠅計數(shù)方面，本文算法的MAE值比Faster R-CNN小0.006只，這表明本文對兩階段方法的優(yōu)化具有可行的積極作用。與YOLOv4相比，在小菜蛾計數(shù)方面本文算法MAE值比YOLOv4大0.01只，而在瓜實(shí)蠅計數(shù)方面本文算法MAE值比YOLOv4小0.017只，本文算法與YOLOv4在2種目標(biāo)蔬菜害蟲計數(shù)效果上各有優(yōu)劣。這主要是因?yàn)楸疚乃惴▋H取最后1級特征層用于害蟲檢測，而YOLOv4采用金字塔多級特征結(jié)構(gòu)和PAN（Path Aggregation Network）網(wǎng)絡(luò)處理各種尺寸的害蟲，在檢測尺寸變化較大的小菜蛾時YOLOv4比本文算法有更大優(yōu)勢。

為檢驗(yàn)顯著圖注意力模塊和改進(jìn)非極大值抑制的有效性，本文還開展了相關(guān)消融試驗(yàn)，結(jié)果如表2所示。表中“有顯著圖”的一行對應(yīng)本文所提完整算法，而“無顯著圖”的一行對應(yīng)去掉顯著圖注意力模塊（即圖3中的虛線模塊）后的算法。從表2可看出，當(dāng)本文算法去掉顯著圖注意力模塊后，mAP值下降了4個百分點(diǎn)，且mMAE值上升了0.207只；小菜蛾和瓜實(shí)蠅各自對應(yīng)的AP和MAE指標(biāo)都變差。這表明了顯著圖注意力模塊在優(yōu)化檢測精度和計數(shù)準(zhǔn)確性方面具有良好作用。

表2 顯著圖和非極大值抑制消融試驗(yàn)

另外，本文將ENMS算法與NMS[27]和soft-NMS[28]算法進(jìn)行對比。從表2可知，本文提出的ENMS具有最低的aMAE值，比NMS和soft-NMS分別低0.026和0.015只，小菜蛾和瓜實(shí)蠅各自的MAE值亦最低，表明ENMS的蔬菜害蟲計數(shù)準(zhǔn)確度最高。這是因?yàn)楸疚奶岢龅腅NMS算法通過檢測框聯(lián)動來有效增加正確檢測框的置信度，從而能有效抑制并過濾掉錯誤檢測框。對于mAP而言，NMS的mAP值最低，本文優(yōu)化的ENMS次之，soft-NMS的最高。通過分析，可以發(fā)現(xiàn)ENMS在檢測小菜蛾時AP值比soft-NMS低0.93個百分點(diǎn)，比NMS低0.75個百分點(diǎn)。這是因?yàn)镋NMS偏向于抑制并過濾錯誤檢測框來保證高精確率，雖然這能夠有效緩解虛假計數(shù)問題，但當(dāng)部分小菜蛾相對尺寸過小時，它們?nèi)菀滓蛑眯哦染酆喜粔蚨诲e誤過濾掉，從而導(dǎo)致召回率略有降低，進(jìn)而使-曲線下的面積減小，即使得AP值減小。相比之下，因瓜實(shí)蠅的相對尺寸都比較大，其對應(yīng)的AP值不會出現(xiàn)上述問題。這也從側(cè)面反映出AP值更高的算法其MAE值不一定更小，引入MAE指標(biāo)以綜合考察算法性能具有一定必要性。

為了更好地展現(xiàn)本文算法的效果，圖8給出了本文算法對不同密度害蟲圖像的檢測結(jié)果；因篇幅所限，這里僅選取部分關(guān)鍵細(xì)節(jié)圖進(jìn)行展示。其中，檢測框標(biāo)簽包括害蟲種類編號和置信度。由圖8可知，本文算法采用滑動窗口密集檢測方式能夠很好地切割黏連害蟲。此外，本文算法因引入注意力機(jī)制有效過濾掉背景雜質(zhì)而能夠更好地處理復(fù)雜負(fù)樣例，例如本文算法能夠?qū)⑸n蠅、食蟲虻等正確歸類為“非目標(biāo)害蟲”，從而較少產(chǎn)生誤檢問題，最終取得最高mAP值與最低mMAE值。

此外，圖9給出了本文算法在陰雨天氣所拍攝的誘蟲板圖像的害蟲檢測結(jié)果。由圖9可知，由于水珠光線的反射和散射等原因，攝像頭所捕獲的害蟲特征會有所衰減，導(dǎo)致機(jī)器甚至是人眼都亦難以辨別感興趣區(qū)域內(nèi)的害蟲種類。例如，如圖9中虛線框所示，有2只小菜蛾發(fā)生了漏檢，這將導(dǎo)致陰雨天氣時段本文算法的害蟲計數(shù)準(zhǔn)確性降低。因此，本文算法在未來仍需進(jìn)一步優(yōu)化以應(yīng)對各種復(fù)雜自然環(huán)境，例如：可以擴(kuò)充雨天誘蟲板圖像數(shù)據(jù)集，采用HSV顏色抖動（ColorJitter）對數(shù)據(jù)進(jìn)行增廣，通過增加擋雨功能改進(jìn)監(jiān)控設(shè)備等。

3 結(jié) 論

本文基于顯著圖分析技術(shù)提出了一種注意力深度網(wǎng)絡(luò)害蟲智能視覺檢測方法，并以誘蟲板圖像中的小菜蛾和瓜實(shí)蠅為例對所提方法進(jìn)行試驗(yàn)驗(yàn)證，主要結(jié)論如下：

1）所提方法平均精度均值為86.40%，比Faster R-CNN和YOLOv4分別高2.74和1.56個百分點(diǎn)；平均絕對計數(shù)誤差均值為0.111只，比Faster R-CNN和YOLOv4分別低0.006和0.003只。這表明所提方法明顯提升了誘蟲板圖像害蟲的檢測精度。

2）在消融試驗(yàn)中，當(dāng)移除顯著圖注意力模塊后，方法的平均精度均值下降了4個百分點(diǎn)，平均絕對計數(shù)誤差均值上升了0.207只。這表明顯著圖注意力模塊對提升誘蟲板圖像害蟲檢測精度起重要作用，能夠較好地解決背景區(qū)域中的誤檢問題。

3）改進(jìn)的非極大值抑制的平均絕對計數(shù)誤差均值比NMS和soft-NMS分別低0.026和0.015只。這表明改進(jìn)的非極大值抑制在去除錯誤檢測框方面更具優(yōu)勢，可以有效緩解虛假計數(shù)問題。

[1] 李振宇，肖勇，馮夏. 廣東蔬菜害蟲綜合治理研究進(jìn)展[J]. 廣東農(nóng)業(yè)科學(xué)，2020，47(12)：90-97.

Li Zhenyu, Xiao Yong, Feng Xia. Research progress in integrated management of vegetable pests in Guangdong[J]. Guangdong Agricultural Sciences, 2020, 47(12): 90-97. (in Chinese with English abstract)

[2] 陸宴輝，趙紫華，蔡曉明，等. 我國農(nóng)業(yè)害蟲綜合防治研究進(jìn)展[J]. 應(yīng)用昆蟲學(xué)報，2017，54(3)：349-363.

Lu Yanhui, Zhao Zihua, Cai Xiaoming, et al. Progresses on integrated pest management (IPM) of agricultural insect pests in China[J]. Chinese Journal of Applied Entomology, 2017, 54(3): 349-363. (in Chinese with English abstract)

[3] 王宏棟，韓冰，韓雙，等. 天敵治蟲和熊蜂授粉技術(shù)在大棚草莓上的應(yīng)用[J]. 中國生物防治學(xué)報，2021，37(2)：370-375.

Wang Hongdong, Han Bing, Han Shuang, et al. The application of natural enemy control and Bumblebee pollination technology on strawberry in greehouse[J]. Chinese Journal of Biological Control, 2021, 37(2): 370-375. (in Chinese with English abstract)

[4] Yao Qing, Xian Dingxiang, Liu Qingjie, et al. Automated counting of rice planthoppers in paddy fields based on image processing[J]. Journal of Integrative Agriculture, 2014, 13(8): 1736-1745.

[5] Yao Qing, Chen Guote, Wang Zheng, et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture, 2017, 16(7): 1547-1557.

[6] 葉耀文. 基于機(jī)器學(xué)習(xí)的蔬菜重大害蟲監(jiān)測計數(shù)算法及其應(yīng)用系統(tǒng)[D]. 廣州：華南農(nóng)業(yè)大學(xué)，2018.

Ye Yaowen. Major Vegetable Pest Counting Algorithm Based on Machine Learning[D]. Guangzhou: South China Agricultural University, 2018. (in Chinese with English abstract)

[7] Suo Xuesong, Liu Zi, Sun Lei, et al. Aphid identification and counting based on smartphone and machine vision[J]. Journal of Sensors, 2017, 2017: 3964376.

[8] Dai Jifeng, Li Yi, He Kaiming, et al. R-FCN: Object detection via region-based fully convolutional networks[C]// 30th Annual Conference on Neural Information Processing Systems (NIPS 2016). Barcelona, Spain: Neural Information Processing Systems Foundation, 2016: 379-387.

[9] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: Single shot multibox detector[C]// 14th European Conference on Computer Vision (ECCV 2016). Berlin, German: Springer Verlag, 2016: 21-37.

[10] Redmon Joseph, Divvala Santosh, Girshick Ross, et al. You only look once: Unified, real-time object detection[C]// Proceedings-29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016). New York, US: IEEE Computer Society, 2016: 779-788.

[11] Ren Shaoqian, He Kaiming, Girshick Ross, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] Liu Ziyi, Gao Junfeng, Yang Guoguo, et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J]. Scientific Reports, 2016, 6: 20410.

[13] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[14] Partel Victor, Nunes Leon, Stansly Phil, et al. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 162: 328-336.

[15] 鄧壯來，汪盼，宋雪樺，等. 基于SSD的糧倉害蟲檢測研究[J]. 計算機(jī)工程與應(yīng)用，2020，56(11)：214-218.

Deng Zhuanglai, Wang Pan, Song Xuehua, et al. Research on granary pest detection based on SSD[J]. Computer Engineering and Applications, 2020, 56(11): 214-218. (in Chinese with English abstract)

[16] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019, 2019: 4570808.

[17] Li Rui, Wang Rujing, Zhang Jie, et al. An effective data augmentation strategy for CNN-based pest localization and recognition in the field[J]. IEEE Access, 2019, 7: 160274-160283.

[18] Li Weilu, Chen Peng, Wang Bing, et al. Automatic localization and count of agricultural crop pests based on an improved deep learning pipeline[J]. Scientific Reports, 2019, 9: 7024.

[19] Liu Liu, Wang Rujing, Xie Chengjun, et al. PestNet: An end-to-end deep learning approach for large-scale multi-class pest detection and classification[J]. IEEE Access, 2019, 7: 45301-45312.

[20] Shen Yufeng, Zhou Huiling, Li Jiangtao, et al. Detection of stored-grain insects using deep learning[J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[21] Zhou Libo, Huang Tian, Guan Chunyun, et al. Real-time detection of cole diseases and insect pests in wireless sensor networks[J]. Journal of Intelligent & Fuzzy Systems, 2019, 37(3): 3513-3524.

[22] 肖德琴，黃一桂，張遠(yuǎn)琴，等. 基于改進(jìn)Faster R-CNN的田間黃板害蟲檢測算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2021，52(6)：242-251.

Xiao Deqin, Huang Yigui, Zhang Yuanqin, et al. Modified Faster R-CNN pest detection algorithm based on mobile application[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6): 242-251. (in Chinese with English abstract)

[23] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識別[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156-162. (in Chinese with English abstract)

[24] Liu Li, Ouyang Wanli, Wang Xiaogang, et al. Deep learning for generic object detection: A survey[J]. International Journal of Computer Vision, 2020, 128: 261-318.

[25] Zeiler Matthew D., Fergus Rob. Visualizing and understanding convolutional networks[C]// 13th European Conference on Computer Vision (ECCV 2014). Berlin, German: Springer Verlag, 2014: 818-833.

[26] Simonyan Karen, Zisserman Andrew. Very deep convolutional networks for large-scale image recognition[C]// 3rd International Conference on Learning Representations (ICLR 2015). San Diego, CA, US: International Conference on Learning Representations, 2015: 1-14.

[27] Girshick Ross, Donahue Jeff, Darrell Trevor, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2014). New York, US: IEEE Computer Society, 2014: 580-587.

[28] Bodla Navaneeth, Singh Bharat, Chellappa Rama, et al. Soft-NMS-Improving object detection with one line of code[C]//Proceedings-2017 IEEE International Conference on Computer Vision (ICCV 2017). United States: Institute of Electrical and Electronics Engineers Inc., 2017: 5562-5570.

Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images

Guo Qingwen1, Wang Chuntao1,2※, Xiao Deqin1, Huang Qiong1,2

(1.,,510642,; 2.,510642,)

Digital imaging has widely been used to detect pest diseases for crops in modern agriculture, particularly on deep learning and intelligent computer vision. However, accurate and rapid detection of insect pests in images still remains a great challenge in the crop field. In this study, a task-specified detector was developed to accurately detect vegetable pests of sticky trap images using an attention-driven deep network from saliency maps. Prevailing pest detectors were mainly adopted anchors to detect pests in sticky trap images. Nevertheless, the anchor-based detection accuracy depended mainly on the balance between positives and negatives, as well as the model training, due mainly to the relatively small sizes and distribution of crop insect pests in the sticky trap images. Therefore, a saliency map was established to filter simple background regions. An attention-driven neural network was also selected to better focus on key regions and then accurately detect crop insect pests of sticky trap images. Firstly, saliency maps and threshold-based techniques were employed to construct masks for rough region proposals, according to connected graphs of acquired masks. Secondly, two fully convolutional neural networks were used in a sliding window fashion to produce refined region proposals from rough region proposals, in order to deal with occlusion issues. Thirdly, each refined region proposal was then classified as one target pest category with a convolutional neural network classifier, thereby detecting the bounding boxes of target vegetable pests. Finally, an enhanced non-maximum suppression was utilized to eliminate the bounding boxes of redundant detection, where a target pest was captured by only one detection bounding box. As such, the target pest number was easily obtained to count the bounding boxes of rest detection during automatic management of vegetable insect pests. Furthermore, a piece of specific monitoring equipment was designed to evaluate the vegetable pest detector, where sticky trap images of two vegetable pestswere collected, including(Linnaeus) and(Coquillett). Several experiments were also conducted on the labeled data set of collected images. The results demonstrate that the vegetable pest detector achieved a mean average precision of 86.40% and an average mean absolute error of 0.111, indicating better performance than the commonly-used pest detectors, such as SSD, R-FCN, CenterNet, Faster R-CNN, and YOLOv4. In addition, two ablation experiments were carried out to verify the attention mechanism of saliency maps and the enhanced non-maximum suppression. It was found that the attention mechanism remarkably contributed to the detection accuracy and the performance of enhanced non-maximum suppression. In the future, both top- and low-level feature maps were required in a convolutional neural network, further enchancing the robustness of the attention mechanism in the vegetable pest detector.

image recognition; machine vision; pest detection; intelligent computer-vision-based detection; deep learning; saliency map

郭慶文，王春桃，肖德琴，等. 利用顯著圖構(gòu)建注意力深度網(wǎng)絡(luò)檢測誘蟲板蔬菜害蟲[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(19)：211-219.doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

Guo Qingwen, Wang Chuntao, Xiao Deqin, et al. Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 211-219. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

2021-07-09

2021-09-03

廣東省重點(diǎn)領(lǐng)域研發(fā)計劃（2019B020214002）；廣州市科技計劃項(xiàng)目（201904010196）

郭慶文，博士生，研究方向?yàn)檗r(nóng)業(yè)人工智能。Email：guoqingwen@stu.scau.edu.cn

王春桃，博士，副教授，研究方向?yàn)檗r(nóng)業(yè)人工智能、多媒體信息安全。Email：wangct@scau.edu.cn

10.11975/j.issn.1002-6819.2021.19.024

TP391.41

A

1002-6819(2021)-19-0211-09