摘要
為了實(shí)時(shí)智能監(jiān)測(cè)煙草倉(cāng)儲(chǔ)害蟲(chóng), 設(shè)計(jì)并實(shí)現(xiàn)了煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)。該系統(tǒng)由基于機(jī)器視覺(jué)的智能性誘捕器、性誘害蟲(chóng)識(shí)別模型、服務(wù)器和Web端系統(tǒng)平臺(tái)組成。智能性誘捕器通過(guò)性誘劑將害蟲(chóng)誘集至粘蟲(chóng)板, 機(jī)器視覺(jué)模塊每天定時(shí)采集一幅粘蟲(chóng)板圖像, 并通過(guò)4G網(wǎng)絡(luò)將圖像上傳至服務(wù)器。服務(wù)器接收到圖像后調(diào)用性誘害蟲(chóng)識(shí)別模型進(jìn)行害蟲(chóng)的檢測(cè)與識(shí)別, 并將檢測(cè)結(jié)果返回到Web客戶(hù)端。用戶(hù)可通過(guò)系統(tǒng)平臺(tái)Web端查看誘集的害蟲(chóng)圖像和數(shù)量。針對(duì)粘蟲(chóng)板圖像上的性誘害蟲(chóng)煙草甲Lasioderma serricorne和煙草粉螟Ephestia elutella, 建立了YOLOX-TP識(shí)別模型, 在YOLOX的基礎(chǔ)上添加了SEnet注意力機(jī)制。與Faster-RCNN、YOLOv4、YOLOX檢測(cè)模型相比, YOLOX-TP平均精確率和平均召回率最高, 達(dá)到98.97%和97.12%。煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)了煙草性誘害蟲(chóng)圖像的定時(shí)采集、害蟲(chóng)準(zhǔn)確檢測(cè)與計(jì)數(shù)、結(jié)果可視化和可追溯, 為煙草倉(cāng)儲(chǔ)害蟲(chóng)防治決策提供依據(jù)。
關(guān)鍵詞
煙草倉(cāng)儲(chǔ)害蟲(chóng);" 智能性誘捕器;" 煙草甲;" 煙草粉螟;" 害蟲(chóng)圖像;" YOLOX-TP模型
中圖分類(lèi)號(hào):
S 379.5; TP 274; TP 183
文獻(xiàn)標(biāo)識(shí)碼:" A
DOI:" 10.16688/j.zwbh.2024048
收稿日期:" 20240130""" 修訂日期:" 20240325
基金項(xiàng)目:
浙江省科技計(jì)劃(2022C02004)
致" 謝:" 參加本試驗(yàn)部分工作的還有江代禮、譚翰杰、張能和紀(jì)燁斌等同學(xué),特此一并致謝。
* 通信作者
E-mail:
q-yao@zstu.edu.cn
#
為并列第一作者
Design and implementation of an intelligent monitoring system for tobacco storage pests trapped by sex pheromone
LUO Haolun1," LI Guozhi1," YOU Yanchen1," LI Bin2," L Jun1," LI Wendong3," YAO Qing4*
(1. School of Information Science and Engineering, Zhejiang Sci-Tech University, Hangzhou" 310018, China;
2. Guizhou Aerospace Intelligent Agriculture Co., Ltd., Guiyang" 550000, China; 3. Agricultural Information
Center of Changchun City, Jilin Province, Changchun" 130051, China; 4. School of Computer
Science and Technology, Zhejiang Sci-Tech University, Hangzhou" 310018, China)
Abstract
For automatically monitoring tobacco storage pests in real-time, an intelligent monitoring system was designed and implemented. The system consists of a machine vision-based intelligent sex pheromone trap, a pest identification model, a server, and a Web-based platform. The intelligent trap attracts pests to a sticky board using sex pheromones, and the machine vision module captures an image of the sticky board at regular intervals every day. The image is then uploaded to the server via a 4G network. Once the server receives the image, it uses the pest identification model to detect and recognize the pests in the image, and returns the results to the network client. Users can view the images and quantities of trapped pests through the network platform. For accurately identifying the Lasioderma serricorne and Ephestia elutella on the sticky board images, a YOLOX-TP recognition model was developed, which incorporates the SEnet attention mechanism into the YOLOX framework. Compared with Faster-RCNN, YOLOv4, and YOLOX models, YOLOX-TP achieved the highest average precision and recall rates, reaching 98.97% and 97.12%, respectively. The intelligent monitoring system for tobacco storage pests achieves real-time image acquisition, accurate pest detection and counting, result visualization, and data traceability, providing a basis for decision-making in the monitoring and controlling tobacco storage pests.
Key words
tobacco storage pests;" intelligent trap based on sex pheromone;" Lasioderma serricorne;" Ephestia elutella;" pest images;" YOLOX-TP model
中國(guó)是全世界最大的煙草生產(chǎn)國(guó)與消費(fèi)國(guó),全球35%的煙草產(chǎn)出和32%的煙草銷(xiāo)售均在我國(guó)[1]。煙草行業(yè)正迅速發(fā)展,連續(xù)多年的稅收超過(guò)萬(wàn)億,成為國(guó)家財(cái)政的支柱產(chǎn)業(yè),其經(jīng)濟(jì)效益逐年增加。然而,我國(guó)每年因煙草倉(cāng)儲(chǔ)害蟲(chóng)為害損失的煙草占全國(guó)倉(cāng)儲(chǔ)總量的1.64%[1],帶來(lái)巨大的經(jīng)濟(jì)損失。此外,蟲(chóng)尸和蟲(chóng)糞的污染也會(huì)影響煙草原料,對(duì)成品卷煙的風(fēng)味產(chǎn)生不良影響。我國(guó)煙倉(cāng)中常見(jiàn)的害蟲(chóng)有30多種,主要有煙草甲Lasioderma serricorne、煙草粉螟Ephestia elutella、大谷盜Tenebroides mauritanicus、玉米象Sitophilus zeamais、赤擬谷盜Tribolium castaneum等,其中,煙草甲和煙草粉螟是煙草業(yè)最常見(jiàn)和為害最嚴(yán)重的2種倉(cāng)儲(chǔ)害蟲(chóng),占總蟲(chóng)量的90%以上[23]。害蟲(chóng)數(shù)量監(jiān)控是防控害蟲(chóng)的前提,廣泛應(yīng)用于農(nóng)業(yè)、食品安全、植物保護(hù)等領(lǐng)域[48]。為了減少煙草倉(cāng)儲(chǔ)害蟲(chóng)的為害并確保煙草品質(zhì),一些學(xué)者致力于研究如何監(jiān)測(cè)煙草倉(cāng)儲(chǔ)害蟲(chóng)[914]。
煙草倉(cāng)儲(chǔ)害蟲(chóng)因其體小且隱蔽性強(qiáng),常采用人工抽檢、性誘和光誘等方法進(jìn)行蟲(chóng)情監(jiān)測(cè)[15]。這些設(shè)備誘集到害蟲(chóng)后需要煙農(nóng)或煙技員定期進(jìn)行人工鑒定與計(jì)數(shù)。當(dāng)蟲(chóng)情達(dá)到防治指標(biāo)時(shí),采取熏蒸等措施進(jìn)行殺蟲(chóng)[16]。這種人工鑒定與計(jì)數(shù)害蟲(chóng)的方式實(shí)時(shí)性差、效率低、數(shù)據(jù)難以追溯。
研發(fā)倉(cāng)儲(chǔ)害蟲(chóng)智能監(jiān)測(cè)系統(tǒng)以及基于圖像的倉(cāng)儲(chǔ)害蟲(chóng)識(shí)別算法成為當(dāng)前研究的熱點(diǎn)[1721]。鐘維[17]在實(shí)驗(yàn)室環(huán)境下拍攝煙草害蟲(chóng)圖像,采用迭代閾值分割算法分割出單頭煙草害蟲(chóng),用SIFT、SURF、ORB特征算法提取了煙草害蟲(chóng)圖像的特征,并采用了改進(jìn)的KD-樹(shù)最近鄰查詢(xún)算法來(lái)匹配特征點(diǎn),成功實(shí)現(xiàn)了對(duì)煙青蟲(chóng)Helicoverpa assulta、煙綠蝽Nesidiocoris tenuis、煙草甲、天蛾Sphingidae、黃曲條跳甲Phyllotreta striolata等煙草害蟲(chóng)圖像的配準(zhǔn)識(shí)別。周繼來(lái)[18]使用工業(yè)相機(jī)拍攝性誘捕器捕獲的煙草甲,采用SVM算法實(shí)現(xiàn)了煙草甲的實(shí)時(shí)監(jiān)測(cè)。孫艘[19]設(shè)計(jì)了一種自動(dòng)蟲(chóng)情監(jiān)測(cè)系統(tǒng),該系統(tǒng)采用了性信息素、黑光燈誘集煙草甲,通過(guò)粘蟲(chóng)板捕獲煙草甲,并采集圖像,通過(guò)提取圖像中煙草甲的形狀、顏色和紋理等特征進(jìn)行顯著性分析,然后利用形態(tài)學(xué)處理方法來(lái)實(shí)現(xiàn)煙草甲的自動(dòng)識(shí)別,準(zhǔn)確率達(dá)99%。但該系統(tǒng)是在實(shí)驗(yàn)室環(huán)境下搭建,實(shí)際工作環(huán)境下存在灰塵、煙葉等雜質(zhì),誘集到的煙草甲存在粘連遮擋等問(wèn)題,這些均影響識(shí)別結(jié)果。楊光露等[20]為實(shí)現(xiàn)卷煙廠煙草甲的精確監(jiān)測(cè),通過(guò)手機(jī)和智能相機(jī)對(duì)卷煙廠內(nèi)放置的煙草甲引誘劑誘捕器進(jìn)行拍照獲取粘蟲(chóng)板上煙草甲圖像,使用CenterNet模型檢測(cè)煙草甲,準(zhǔn)確率達(dá)94%。張寶等[21]設(shè)計(jì)了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲智能監(jiān)測(cè)系統(tǒng),該系統(tǒng)包括硬件設(shè)計(jì)、算法設(shè)計(jì)與軟件設(shè)計(jì)3個(gè)部分,使用放置性信息素的煙草甲誘捕器誘捕煙草甲并進(jìn)行數(shù)據(jù)采集,通過(guò)攝像頭拍攝圖像,并采用改進(jìn)的CascadeR-CNN深度卷積網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)煙草甲的目標(biāo)檢測(cè),其準(zhǔn)確率達(dá)97.4%。上述研究利用煙草甲的性信息素和趨光性對(duì)煙草甲進(jìn)行誘捕和圖像識(shí)別,從而實(shí)現(xiàn)了煙草甲的智能監(jiān)測(cè)。
以上研究大多只針對(duì)煙草甲進(jìn)行實(shí)時(shí)性誘監(jiān)測(cè),未見(jiàn)同時(shí)監(jiān)測(cè)煙草甲與煙草粉螟的相關(guān)研究。煙草甲和煙草粉螟是煙草業(yè)最常見(jiàn)且為害最嚴(yán)重的2種倉(cāng)儲(chǔ)害蟲(chóng)。煙草甲屬于鞘翅目竊蠹科Anobiidae,體長(zhǎng)2~3 mm,體色褐色或赤褐色;煙草粉螟屬于鱗翅目螟蛾科Pyralidae,體長(zhǎng)5~7 mm,體色灰白色。雖然這2種害蟲(chóng)屬于不同目,但它們均通過(guò)性信息素吸引異性,實(shí)現(xiàn)交配繁殖后代。煙草甲和煙草粉螟的性信息素化學(xué)結(jié)構(gòu)存在顯著差異[22],前期試驗(yàn)研究結(jié)果表明,將2種性誘劑放在一起并沒(méi)有觀察到明顯的相互干擾和對(duì)誘集數(shù)量的影響,因此本研究利用1個(gè)性誘捕器同時(shí)放置2種性誘劑來(lái)誘集和監(jiān)測(cè)這2種害蟲(chóng)。為實(shí)時(shí)精準(zhǔn)智能監(jiān)測(cè)煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)煙草甲和煙草粉螟,設(shè)計(jì)并搭建了一套煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)。
1" 材料與方法
1.1" 煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)框架
煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)旨在通過(guò)集成機(jī)器視覺(jué)、深度學(xué)習(xí)、物聯(lián)網(wǎng)技術(shù),實(shí)現(xiàn)對(duì)倉(cāng)儲(chǔ)害蟲(chóng)的實(shí)時(shí)、高效和智能監(jiān)測(cè)。本系統(tǒng)的設(shè)計(jì)理念是以用戶(hù)為中心,提升監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性,同時(shí)減輕人工監(jiān)測(cè)的負(fù)擔(dān)。煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)主要由基于機(jī)器視覺(jué)的智能性誘捕器、性誘害蟲(chóng)識(shí)別模型、服務(wù)器和Web端系統(tǒng)平臺(tái)組成。性誘捕器通過(guò)害蟲(chóng)性誘劑誘集害蟲(chóng)至粘蟲(chóng)板,機(jī)器視覺(jué)模塊每天采集粘蟲(chóng)板圖像,并通過(guò)4G網(wǎng)絡(luò)將圖像上傳至服務(wù)器。服務(wù)器接收到圖像后調(diào)用性誘害蟲(chóng)識(shí)別模型進(jìn)行害蟲(chóng)的檢測(cè)與識(shí)別,并將檢測(cè)結(jié)果返回到Web客戶(hù)端。用戶(hù)可通過(guò)系統(tǒng)平臺(tái)Web端查看害蟲(chóng)誘集的信息。若一周誘捕到害蟲(chóng)數(shù)量超過(guò)30頭則進(jìn)行害蟲(chóng)預(yù)警,通過(guò)移動(dòng)設(shè)備通知相關(guān)人員,這種主動(dòng)預(yù)警方式有助于及時(shí)有效的害蟲(chóng)防控決策,減少經(jīng)濟(jì)損失。系統(tǒng)整體框架如圖1所示。
1.2" 基于機(jī)器視覺(jué)的智能性誘捕器
智能性誘捕器由工業(yè)相機(jī)、面光源、粘蟲(chóng)板和性誘劑組成。性誘劑置于粘蟲(chóng)板上, 煙草甲和煙草粉螟被誘集到粘蟲(chóng)板, 相機(jī)每天定時(shí)拍攝一幅粘蟲(chóng)板圖像, 隨后使用其內(nèi)置的4G模塊將照片傳輸?shù)椒?wù)器端。智能性誘捕器如圖2所示。具體的硬件包括:
1)工業(yè)相機(jī): 選用??低曋圃斓腗V-CE200-10GC工業(yè)相機(jī)作為拍攝相機(jī)。該相機(jī)采用Sony的IMX183傳感器, 拍攝時(shí)噪點(diǎn)低, 成像質(zhì)量?jī)?yōu)異, 每天定時(shí)拍攝一幅圖像后上傳至服務(wù)器端。
2)面光源: 選取今視光電科技的開(kāi)孔側(cè)面導(dǎo)光源JS-CBL-290-200-K35作為拍攝光源。其輸入電壓為24 V, 輸出最高功率可達(dá)16.8 W, 光照柔和且均勻, 有利于性誘害蟲(chóng)圖像的采集。
3)粘蟲(chóng)板和性誘劑: 在粘蟲(chóng)板上放置煙草甲和煙草粉螟2種性誘劑, 散發(fā)的性信息素之間互不干擾能夠引誘煙草粉斑螟和煙草甲成蟲(chóng)進(jìn)入誘蟲(chóng)區(qū)域后, 被粘蟲(chóng)板上的粘膠捕獲固定。
1.3 "圖像采集與數(shù)據(jù)集建立
2022年1月-12月將2臺(tái)煙草倉(cāng)儲(chǔ)害蟲(chóng)智能性誘捕器置于400 m2的煙草倉(cāng)庫(kù)中, 共采集含有煙草甲和煙草粉螟害蟲(chóng)(圖3)圖像共411幅, 每幅圖像大小為2 560×1 440像素(圖4)。使用LabelImg標(biāo)注工具對(duì)這些訓(xùn)練圖像進(jìn)行害蟲(chóng)標(biāo)定,將標(biāo)注區(qū)域的分類(lèi)信息和坐標(biāo)信息保存在相應(yīng)的XML文件中。按照8∶2的比例將煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測(cè)試集, 具體信息如表1所示。
1.4 "煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)
YOLOX[26]是YOLO系列的一個(gè)版本,引入的CSP結(jié)構(gòu)降低了計(jì)算和內(nèi)存成本,在主干網(wǎng)絡(luò)中引入橫向連接,有助于捕捉多尺度特征,這對(duì)于小目標(biāo)檢測(cè)和密集目標(biāo)檢測(cè)等任務(wù)尤其有效。根據(jù)網(wǎng)絡(luò)的寬度和深度劃分為YOLOX-s、YOLOX-m、YOLOX-l和YOLOX-x。
當(dāng)害蟲(chóng)發(fā)生高峰期或者粘板放置時(shí)間較長(zhǎng),害蟲(chóng)會(huì)出現(xiàn)粘連或部分遮擋,煙草粉螟顏色變淡等現(xiàn)象,且煙草甲蟲(chóng)體較小,本研究在YOLOX-l的基礎(chǔ)上,提出了煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)檢測(cè)模型YOLOX-TP,如圖5所示。YOLOX-TP模型由預(yù)測(cè)模塊和檢測(cè)
框抑制模塊組成。首先,將輸入圖片分辨率調(diào)整為640×640像素,并經(jīng)過(guò)CSPDarknet進(jìn)行特征提取,獲得3個(gè)有效特征層。在YOLOX的基礎(chǔ)上引入了squeeze-and-excitation network注意力機(jī)制模塊[23],以提高網(wǎng)絡(luò)的表示能力。然后,將處理后的3個(gè)有效特征層輸入FPN進(jìn)行上采樣和下采樣,以實(shí)現(xiàn)特征融合。通過(guò)YOLOHead對(duì)特征點(diǎn)進(jìn)行判斷,確定是否存在目標(biāo),并確定其對(duì)應(yīng)的目標(biāo)框類(lèi)別和位置,生成目標(biāo)檢測(cè)框。通過(guò)類(lèi)內(nèi)、內(nèi)間、閾值過(guò)濾等檢測(cè)框抑制方法去除冗余檢測(cè)框,最終得到圖中煙草甲和煙草粉螟的數(shù)量,實(shí)現(xiàn)計(jì)數(shù)功能。
由于煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)體型較小,每頭害蟲(chóng)在圖像中面積占比較小,較深的特征圖很難學(xué)習(xí)到小目標(biāo)的特征信息。為了提高小目標(biāo)的檢測(cè)效果,通過(guò)深入分析煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)的特征和檢測(cè)需求,對(duì)骨干網(wǎng)絡(luò)進(jìn)行了調(diào)整和改進(jìn),以更好地適應(yīng)小目標(biāo)害蟲(chóng)的檢測(cè)。在YOLOX-TP中引入了FPN,通過(guò)添加多尺度的特征金字塔,增強(qiáng)了模型對(duì)不同尺寸目標(biāo)的檢測(cè)能力。通過(guò)對(duì)數(shù)據(jù)集進(jìn)行分析,調(diào)整了Anchor大小,使其更好地匹配煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)的尺寸分布,提高了檢測(cè)的準(zhǔn)確性。在YOLOX-TP中引入了SEnet注意力機(jī)制[23],
如圖6所示。SEnet通過(guò)學(xué)習(xí)各通道的權(quán)重,實(shí)現(xiàn)了對(duì)重要特征的選擇性增強(qiáng)和對(duì)不重要特征的有效抑制,從而優(yōu)化了特征表示,具體過(guò)程如下。輸入特征圖經(jīng)過(guò)卷積層Ftr處理后,其尺寸變?yōu)閏2×h×w,隨后通過(guò)全局平均池化層Fsq將每個(gè)通道的空間信息壓縮成單一數(shù)值,得到尺寸為c2×1×1的全局特征描述z,對(duì)于z中第c個(gè)通道的權(quán)重按照公式(1)計(jì)算。接著,通過(guò)前饋網(wǎng)絡(luò)Fex,調(diào)整并生成權(quán)重參數(shù)W,用以衡量各通道的重要性,進(jìn)而得到整個(gè)通道的重要性權(quán)重向量s,如公式(2)所示。最終,原始特征圖與每個(gè)通道的權(quán)重s通過(guò)Fscale得到優(yōu)化后的特征表示x~,對(duì)于x~中第c個(gè)通道的特征表示按照公式(3)計(jì)算。SEnet通過(guò)這種通道注意力機(jī)制,顯著提升了網(wǎng)絡(luò)對(duì)圖像全局信息的理解能力,尤其是在小目標(biāo)檢測(cè)任務(wù)中,有效提高了模型的效率和泛化能力。
zc=Fsq(xc)=1h×w∑hi=1∑hi=1xc(i,j)(1)
s=Fex(z,W)=δ(g(z,W))=δ(w2ReL∪(w1,z))
(2)
x~c=Fscale(xc,sc)=sc·xc
(3)
其中,xc是輸入特征圖中的第c個(gè)通道,h和w分別是特征圖的高度和寬度,z是通過(guò)全局平均池化得到的每個(gè)通道的描述符,表示每個(gè)通道的全局信息,w1和w2是前饋網(wǎng)絡(luò)中全連接層的權(quán)重矩陣,ReLU是激活函數(shù),δ是Sigmoid函數(shù),用來(lái)將輸出限制在[0,1]區(qū)間內(nèi),sc是通過(guò)Fex計(jì)算出的第c個(gè)通道權(quán)重,是經(jīng)過(guò)加權(quán)后的第c個(gè)通道的特征表示。
1.5" 評(píng)價(jià)方法
為了客觀地評(píng)價(jià)本文提出的煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)識(shí)別模型的檢測(cè)效果,使用精確率(precision, P)、召回率(recall, R)、F1作為評(píng)價(jià)指標(biāo)。其中,精確率表示在
所有被分類(lèi)為目標(biāo)害蟲(chóng)的樣本中,被正確識(shí)
別的害蟲(chóng)數(shù)量所占的比例, 召回率表示在所有目標(biāo)害蟲(chóng)中, 被正確識(shí)別的害蟲(chóng)數(shù)量所占的比例。F1為二者的綜合評(píng)價(jià), 其計(jì)算公式如下:
P(k)=TP(k)TP(k)+FP(k)
(4)
R(k)=TP(k)TP(k)+FN(k)
(5)
F1(k)=2×P(k)×R(k)P(k)+R(k)
(6)
式中,TP(k)表示第k類(lèi)害蟲(chóng)被正確識(shí)別的害蟲(chóng)數(shù)量, FP(k)表示干擾害蟲(chóng)被誤判為第k類(lèi)害蟲(chóng)的數(shù)量,F(xiàn)N(k)表示第k類(lèi)害蟲(chóng)被識(shí)別為非k類(lèi)害蟲(chóng)的數(shù)量。
1.6" 系統(tǒng)平臺(tái)的搭建與部署
煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)軟件部分由服務(wù)器、Web端、性誘害蟲(chóng)識(shí)別模型組成。
1.6.1" 服務(wù)器端搭建
服務(wù)器主要功能包括接受并保存智能性誘捕器上傳的性誘害蟲(chóng)圖像、與Web端進(jìn)行信息的交互、數(shù)據(jù)庫(kù)信息的增刪改查操作, 以及性誘害蟲(chóng)識(shí)別模型的調(diào)用。具體實(shí)現(xiàn)方式如圖7所示。
煙草倉(cāng)儲(chǔ)害蟲(chóng)智能性誘捕器在采集圖像后,將其上傳至服務(wù)器,隨后調(diào)用YOLOX-TP模型執(zhí)行圖像檢測(cè),檢測(cè)結(jié)果以JSON格式返回,并在數(shù)據(jù)庫(kù)中進(jìn)行備份。在需要展示圖像識(shí)別結(jié)果時(shí),服務(wù)器從數(shù)據(jù)庫(kù)中檢索結(jié)果并將其返回。并通過(guò)HTTP協(xié)議完成Web端向服務(wù)器傳輸數(shù)據(jù)的過(guò)程。服務(wù)器端接受來(lái)自Web端的POST和GET請(qǐng)求,解析后將POST請(qǐng)求中的信息存儲(chǔ),從數(shù)據(jù)庫(kù)中檢索GET請(qǐng)求所需的數(shù)據(jù)并返回給Web端。系統(tǒng)采用Python編寫(xiě),基于Django框架構(gòu)建了算法服務(wù)端。采用了MySQL數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)包括倉(cāng)儲(chǔ)性誘害蟲(chóng)圖像、用戶(hù)管理、模型識(shí)別、數(shù)據(jù)分析、設(shè)備管理以及歷史識(shí)別結(jié)果。作為一種關(guān)系型數(shù)據(jù)庫(kù),MySQL的特性確保了系統(tǒng)能夠滿(mǎn)足實(shí)時(shí)性和可追溯性的需求。
1.6.2" 系統(tǒng)部署
模型與服務(wù)器端部署在具有Linux Ubuntu操作系統(tǒng)的服務(wù)器上。使用花生殼進(jìn)行內(nèi)網(wǎng)穿透,確保外部設(shè)備可以訪問(wèn)服務(wù)器,完成IP和端口號(hào)等配置,將主程序文件上傳至服務(wù)器,以便進(jìn)行后續(xù)的部署操作。在服務(wù)器環(huán)境中,進(jìn)行了Django程序的部署、MySQL數(shù)據(jù)庫(kù)的配置以及顯卡驅(qū)動(dòng)的安裝等操作。服務(wù)器參數(shù)如表2所示。
2" 結(jié)果與分析
2.1" 模型檢測(cè)結(jié)果與分析
使用相同數(shù)據(jù)集訓(xùn)練Faster-RCNN[24],YOLOv4[25],YOLOX-s、YOLOX-m、YOLOX-l和YOLOX-x[26]和改進(jìn)模型YOLOX-TP,在同一個(gè)測(cè)試集上進(jìn)行測(cè)試。
由表3可知,YOLOX-l和YOLOX-x有著相似的精確率,而YOLOX-x是YOLOX系列中最大的模型需要更多的計(jì)算資源,考慮到精度和速度之間的平衡,YOLOX-l對(duì)煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)識(shí)別精確率和召回率最高,選擇該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行害蟲(chóng)檢測(cè)。
YOLOX-TP檢測(cè)模型對(duì)目標(biāo)害蟲(chóng)的精確率和召回率都優(yōu)于其他模型,煙草甲與煙草粉螟的精確率分別為99.2%、98.74%,召回率分別為97.07%,97.17%。相較于改進(jìn)前的YOLOX-1精確率提高了5.01,0.87百分點(diǎn),召回率提高了10.81,0.89百分點(diǎn)。
圖7展示了不同模型對(duì)一幅含有46頭煙草甲和47頭煙草粉螟的目標(biāo)害蟲(chóng)檢測(cè)結(jié)果圖。從圖中可以
看到,F(xiàn)aster-RCNN共檢測(cè)出35頭煙草甲和44頭煙草粉螟,漏檢11頭煙草甲和3頭煙草粉螟。YOLOv4共檢測(cè)出37頭煙草甲和45頭煙草粉螟,漏檢9頭煙草甲和2頭煙草粉螟。YOLOX-1共檢
測(cè)出41頭煙草甲和46頭煙草粉螟,漏檢5頭煙草甲和1頭煙草粉螟。YOLOX-TP共檢測(cè)出45頭煙
草甲和46頭煙草粉螟,漏檢1頭煙草甲和1頭煙草粉螟,主要是因?yàn)楹οx(chóng)嚴(yán)重粘連造成的。本文建立的煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)自動(dòng)識(shí)別模型YOLOX-TP能正確檢測(cè)出絕大部分的煙草甲和煙草粉螟,準(zhǔn)確反映出2種倉(cāng)儲(chǔ)害蟲(chóng)發(fā)生量的變化,可應(yīng)用于煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)的智能監(jiān)測(cè)。
2.2" 系統(tǒng)平臺(tái)展示
煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)Web端主要包括用戶(hù)登錄、煙草倉(cāng)儲(chǔ)性誘害蟲(chóng)圖像識(shí)別結(jié)果圖、數(shù)據(jù)分析等功能。
2.2.1" 害蟲(chóng)檢測(cè)結(jié)果圖
用戶(hù)可以通過(guò)平臺(tái)選擇地區(qū)及設(shè)備,查看一定時(shí)間范圍內(nèi)的煙草甲和煙草粉螟檢測(cè)結(jié)果圖,可以看到每日煙草甲和煙草粉螟的增加量,如圖9所示。
2.2.2" 害蟲(chóng)數(shù)據(jù)分析
數(shù)據(jù)分析頁(yè)面展示了用戶(hù)選擇的某一段時(shí)間內(nèi)煙草甲和煙草粉螟每日誘集數(shù)折線圖和表格,該功能不僅幫助用戶(hù)更好地監(jiān)測(cè)和防控?zé)煵莺οx(chóng),還具有害
蟲(chóng)預(yù)警系統(tǒng)。當(dāng)害蟲(chóng)的周誘捕數(shù)量超過(guò)30頭,預(yù)警
系統(tǒng)將自動(dòng)通知用戶(hù),以便在蟲(chóng)情達(dá)到防治指標(biāo)時(shí),用戶(hù)可以及時(shí)采取適當(dāng)?shù)拇胧?,從而?shí)現(xiàn)及時(shí)的害蟲(chóng)管理決策,改善煙草倉(cāng)儲(chǔ)害蟲(chóng)的控制工作。
3" 結(jié)論
為了實(shí)現(xiàn)對(duì)煙草倉(cāng)儲(chǔ)害蟲(chóng)煙草甲和煙草粉螟的智能實(shí)時(shí)監(jiān)測(cè),利用機(jī)器視覺(jué)、物聯(lián)網(wǎng)和深度學(xué)習(xí)技術(shù)進(jìn)行害蟲(chóng)圖像采集與模型識(shí)別與計(jì)數(shù),并建立了煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)。該系統(tǒng)由基于機(jī)器視覺(jué)的智能性誘捕器、性誘害蟲(chóng)識(shí)別模型、服務(wù)器和Web端系統(tǒng)平臺(tái)組成。
針對(duì)煙草倉(cāng)儲(chǔ)害蟲(chóng)目標(biāo)樣本小且存在粘連遮擋問(wèn)題,建立了YOLOX-TP模型,在YOLOX基礎(chǔ)上融入了SEnet通道注意力機(jī)制。提高了對(duì)煙草甲這一小目標(biāo)的識(shí)別效果。與Faster-RCNN、YOLOv4、YOLOX-l檢測(cè)模型比較,改進(jìn)的YOLOX-TP模型對(duì)煙草甲和煙草粉螟的識(shí)別精確率分別達(dá)99.20%、98.74%,召回率分別達(dá)97.07%,97.17%。
煙草倉(cāng)儲(chǔ)害蟲(chóng)性誘智能監(jiān)測(cè)系統(tǒng)可及時(shí)準(zhǔn)確地提供煙草甲和煙草粉螟的每日發(fā)生量,煙草倉(cāng)儲(chǔ)管理者可以根據(jù)數(shù)據(jù)及時(shí)采取害蟲(chóng)防治措施,從而提高煙草產(chǎn)品的質(zhì)量。本研究也可為其他倉(cāng)儲(chǔ)害蟲(chóng)實(shí)時(shí)在線監(jiān)測(cè)提供技術(shù)參考。
參考文獻(xiàn)
[1]" 邱睿, 王海濤, 李成軍, 等. 煙草病蟲(chóng)害綠色防控技術(shù)研究進(jìn)展[J]. 河南農(nóng)業(yè)科學(xué), 2016, 45(11): 813.
[2]" 李華. 煙葉倉(cāng)儲(chǔ)害蟲(chóng)的發(fā)生與防治現(xiàn)狀[J]. 耕作與栽培, 2009, 29(6): 34.
[3]" 馬顯滔, 陳明, 劉亞琴, 等. 非密閉煙葉倉(cāng)庫(kù)煙草粉螟不同防治方法的防效[J]. 農(nóng)技服務(wù), 2023, 40(9): 5559.
[4]" 葛文杰, 趙春江. 農(nóng)業(yè)物聯(lián)網(wǎng)研究與應(yīng)用現(xiàn)狀及發(fā)展對(duì)策研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(7): 222230.
[5]" CHOWDHURY R, RAHMAN C, PREETOM S, et al. Identification and recognition of rice diseases and pests using convolutional neural networks [J]. Biosystems Engineering, 2020, 194(6): 112120.
[6]" DEVARE J, HAJARE N. A survey on ioT based agricultural crop growth monitoring and quality control [C]∥International conference on communication and electronics systems (ICCES), 2019: 16241630.
[7]" JIANG Honghua, ZHANG Chuanyin, QIAO Yongliang, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming [J]. Computers and Electronics in Agriculture, 2020, 174: 16891699.
[8]" LIU Yang, LIU Shuangqing, LIANG Yanpo, et al. Population dynamics of main tobacco pests in the field and management suggestions [J]. International Journal of Pest Management, 2020, 66(1): 4447.
[9]" 李石力, 李志偉, 何孝兵, 等. 煙草夜蛾科類(lèi)害蟲(chóng)發(fā)生特點(diǎn)和防治技術(shù)[J]. 植物醫(yī)生, 2015, 28(6): 4243.
[10]彭孟祥, 王建文, 李建勇, 等. 煙草主要蟲(chóng)害防治措施研究進(jìn)展[J]. 現(xiàn)代農(nóng)業(yè)科技, 2019 (9): 112114.
[11]李朝暉, 許僑, 蔡京偉, 等. 煙草甲的防治研究進(jìn)展[J]. 江蘇農(nóng)業(yè)科學(xué), 2021, 49(7): 3343.
[12]許子彬, 薛敏, 莫菊, 等. 倉(cāng)儲(chǔ)糧害蟲(chóng)防治研究進(jìn)展[J]. 糧食科技與經(jīng)濟(jì), 2021, 46(6): 7275.
[13]曾濤, 宗釗輝, 陳楨祿, 等. 煙草害蟲(chóng)綠色防控技術(shù)研究進(jìn)展[J]. 安徽農(nóng)業(yè)科學(xué), 2022, 50(1): 1517.
[14]徐慶, 董凌峰, 鮮明, 等. 基于視覺(jué)識(shí)別技術(shù)的煙草蟲(chóng)害監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 中國(guó)新技術(shù)新產(chǎn)品, 2023, 3(13): 1317.
[15]呂建華, 馬丹, 蘇新宏, 等. 三種非化學(xué)防治方法對(duì)煙草甲的控制作用[J]. 中國(guó)煙草科學(xué), 2016, 37(5): 4750.
[16]伍長(zhǎng)春, 黃萍, 薛卓聯(lián), 等. 磷化鋁、溴甲烷熏蒸處理和熱處理對(duì)陳皮倉(cāng)儲(chǔ)害蟲(chóng)的殺滅效果[J]. 生物災(zāi)害科學(xué), 2017, 40(4): 280283.
[17]鐘維. 基于改進(jìn)ORB算法對(duì)煙草蟲(chóng)害圖像配準(zhǔn)技術(shù)的研究[D]. 長(zhǎng)沙: 湖南師范大學(xué), 2015.
[18]周繼來(lái). 基于AI圖像識(shí)別的煙草制品蟲(chóng)情監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 電子技術(shù)與軟件工程, 2020, 9(17): 154155.
[19]孫艘. 煙草蟲(chóng)情圖像采集與監(jiān)測(cè)系統(tǒng)研究[D]. 武漢: 華中科技大學(xué), 2017.
[20]楊光露, 李春松, 李愿軍, 等. 基于CenterNet模型的煙草甲蟲(chóng)視覺(jué)檢測(cè)方法設(shè)計(jì)[J]. 中國(guó)煙草學(xué)報(bào), 2022, 28(6): 7784.
[21]張寶, 胡偉, 陳禹伶, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J]. 制造業(yè)自動(dòng)化, 2022, 44(10): 1520.
[22]臧云. 烯蟲(chóng)酯和LED燈對(duì)煙草甲和煙草粉螟的控制效果及其機(jī)理研究[D]. 北京: 中國(guó)農(nóng)業(yè)科學(xué)院, 2021.
[23]HU Jie, SHEN Li, SUN Gang, et al. Squeeze-and-excitation networks [J]. SAO/NASA Astrophysics Data System, 2017, 9(12): 15071519.
[24]WANG Ru, JIAO Lin, XIE Chengjun, et al. S-RPN: Sampling-balanced region proposal network for small crop pest detection [J]. Computers and Electronics in Agriculture, 2021, 187: 106290106312.
[25]ZHU Qinfeng, ZHENG Huifen, WANG Yuebing, t al. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 algorithm [J]. Sensors, 2020, 20(15): 43134330.
[26]ZHENG Ge, LIU Songtao, WANG Feng, et al. YOLOX: Exceeding YOLO series in 2021 [EB/OL]. (20210806) [20240130]. https:∥ui.adsabs.harvard.edu/abs/2021arXiv210708430G.
(責(zé)任編輯:楊明麗)