秦昌友 楊艷山 顧峰瑋 陳盼陽(yáng) 秦維彩
摘要:計(jì)算機(jī)視覺(jué)是一個(gè)涉及使機(jī)器“看到”的領(lǐng)域。該技術(shù)使用相機(jī)和計(jì)算機(jī)代替人眼來(lái)識(shí)別,跟蹤和測(cè)量目標(biāo)以進(jìn)行進(jìn)一步的圖像處理。隨著計(jì)算機(jī)視覺(jué)的發(fā)展,這種技術(shù)在現(xiàn)代農(nóng)業(yè)領(lǐng)域得到廣泛的應(yīng)用,并在其發(fā)展中發(fā)揮關(guān)鍵作用。首先,詳細(xì)闡述計(jì)算機(jī)視覺(jué)的概念、組成部分和工作原理。其次,介紹國(guó)內(nèi)外計(jì)算機(jī)視覺(jué)技術(shù)在水產(chǎn)養(yǎng)殖、畜牧養(yǎng)殖、農(nóng)作物生長(zhǎng)監(jiān)測(cè)、農(nóng)作物病蟲(chóng)害監(jiān)視、果蔬識(shí)別定位與采摘等領(lǐng)域的研究進(jìn)展與應(yīng)用情況。通過(guò)分析發(fā)現(xiàn),現(xiàn)有技術(shù)可以促進(jìn)現(xiàn)代農(nóng)業(yè)自動(dòng)化發(fā)展,實(shí)現(xiàn)低成本、高效率、高精度的優(yōu)勢(shì)。然而,未來(lái)技術(shù)將繼續(xù)向現(xiàn)代農(nóng)業(yè)新的應(yīng)用領(lǐng)域拓展,需要克服的技術(shù)問(wèn)題會(huì)更多。最后,系統(tǒng)總結(jié)和分析計(jì)算機(jī)視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)的應(yīng)用與挑戰(zhàn),探討未來(lái)的機(jī)遇和前景,為研究者提供最新的參考。
關(guān)鍵詞:計(jì)算機(jī)視覺(jué);圖像處理;現(xiàn)代農(nóng)業(yè);自動(dòng)化
中圖分類號(hào):S-1
文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):20955553 (2023) 12011910
Application and development of computer vision technology in modern agriculture
Qin Changyou1, Yang Yanshan1, Gu Fengwei2, Chen Panyang3, Qin Weicai1
(1. Suzhou Polytechnic Institute of Agriculture, Suzhou, 215008, China; 2. Nanjing Institute of Agricultural
Mechanization, Ministry of Agriculture and Rural Affairs, Nanjing, 210014, China; 3. Nanjing Institute of
Technology, Nanjing, 211167, China)
Abstract:
Computer vision is a field that involves enabling machines to “see”. This technology uses cameras and computers instead of human eyes to identify, track, and measure targets for further image processing. With the development of computer vision, this technology has found widespread applications in modern agriculture and has played a crucial role in its advancement. Firstly, the concept, components, and working principles of computer vision are detailed. Secondly, the research progress and applications of computer vision technology in areas such as aquaculture, livestock farming, crop growth monitoring, crop pest surveillance, and fruit and vegetable recognition, positioning, and harvesting are introduced both domestically and internationally. Through analysis, it is found that existing technology can promote the development of modern agricultural automation, realizing advantages of low cost, high efficiency, and high precision. However, future technologies will continue to expand into new application areas in modern agriculture, bringing about more technical challenges that need to be overcome. Finally, the paper systematically summarizes and analyzes the applications and challenges of computer vision technology in modern agriculture, discussing future opportunities and prospects, providing the latest references for researchers.
Keywords:
computer vision; image processing; modern agriculture; automation
0 引言
人工智能分支了許多領(lǐng)域,其中之一就是計(jì)算機(jī)視覺(jué),其在各種領(lǐng)域的應(yīng)用都在增長(zhǎng)。從未來(lái)的發(fā)展前景來(lái)看,農(nóng)業(yè)部門是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)有前途的應(yīng)用空間。在20世紀(jì)70年代末,計(jì)算機(jī)視覺(jué)技術(shù)才開(kāi)始應(yīng)用于農(nóng)業(yè)生產(chǎn)中。最初期其應(yīng)用范圍多為對(duì)植物進(jìn)行鑒別,以及對(duì)農(nóng)產(chǎn)品的品質(zhì)進(jìn)行檢測(cè)和分級(jí)等[1]。經(jīng)過(guò)多年的發(fā)展,目前已經(jīng)廣泛應(yīng)用在現(xiàn)代農(nóng)業(yè)的發(fā)展中,如水產(chǎn)養(yǎng)殖、畜牧養(yǎng)殖、設(shè)施裝備、農(nóng)作物生長(zhǎng)監(jiān)測(cè)、農(nóng)作物病蟲(chóng)害監(jiān)視、果蔬識(shí)別定位與采摘等領(lǐng)域。本文主要介紹了計(jì)算機(jī)視覺(jué)技術(shù)的基本工作原理以及系統(tǒng)組成,回顧近年來(lái)計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)生產(chǎn)領(lǐng)域中的應(yīng)用,同時(shí)簡(jiǎn)述了目前計(jì)算機(jī)視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)生產(chǎn)應(yīng)用中仍然存在的問(wèn)題以及未來(lái)的發(fā)展形勢(shì)[2]。
1 計(jì)算機(jī)視覺(jué)概述
自從計(jì)算機(jī)視覺(jué)技術(shù)出現(xiàn)以來(lái),已經(jīng)為多個(gè)行業(yè)解決問(wèn)題的技術(shù)手段并在實(shí)際應(yīng)用中取得不錯(cuò)的效果[3]。計(jì)算機(jī)視覺(jué)也稱機(jī)器視覺(jué),通過(guò)計(jì)算機(jī)模擬人類視覺(jué)識(shí)別外界圖像,提取信息進(jìn)行分析判斷。其基本原理是先通過(guò)傳感器來(lái)獲得目標(biāo)物的圖像信號(hào),然后圖像處理系統(tǒng)根據(jù)圖像的特征將圖像信號(hào)轉(zhuǎn)變成數(shù)字信號(hào),最后使用各種運(yùn)算和處理將這些信號(hào)轉(zhuǎn)變成目標(biāo)物的特征信息,由此實(shí)現(xiàn)對(duì)目標(biāo)物的檢測(cè)、識(shí)別和控制等。機(jī)器視覺(jué)系統(tǒng)基本上由三個(gè)元素組成:捕獲、處理和輸出,其簡(jiǎn)圖如圖1所示[4]。通過(guò)各終端之間的聯(lián)系,機(jī)器視覺(jué)技術(shù)能夠很好地進(jìn)行工作,最終會(huì)得到一些數(shù)字信號(hào),然后將數(shù)字信號(hào)經(jīng)過(guò)處理就能夠轉(zhuǎn)換成圖像[5]。
計(jì)算機(jī)視覺(jué)技術(shù)包含單目視覺(jué)技術(shù)和雙目立體視覺(jué)技術(shù)等,單目視覺(jué)是用一個(gè)相機(jī)來(lái)拍攝從而獲取物體的二維信息。因?yàn)樗挥幸粋€(gè)視角,沒(méi)有其他的視角來(lái)做輔助計(jì)算,依賴于訓(xùn)練和深度學(xué)習(xí)的方法,因此需要龐大的訓(xùn)練集。雙目立體視覺(jué)是模擬人眼從兩個(gè)不同角度觀察場(chǎng)景的方式,像人的眼睛能看到三維的物體,獲取物體長(zhǎng)度、寬度和深度的信息,通常使用兩個(gè)距離相隔較短的相機(jī)同時(shí)捕獲場(chǎng)景[6]。其基于三角測(cè)量原理,一個(gè)點(diǎn)的3D信息可以通過(guò)其從兩幅圖像中的視覺(jué)差異來(lái)獲得。在做視覺(jué)slam的時(shí)候,不管是單目視覺(jué)技術(shù),還是雙目立體視覺(jué)技術(shù),都有自己的優(yōu)點(diǎn)和缺點(diǎn),不能一概而論,要根據(jù)實(shí)際情況來(lái)選擇合適的視覺(jué)slam。雙目相機(jī)進(jìn)行三維重建的幾何形狀如圖2所示。
場(chǎng)景中的一個(gè)點(diǎn)(X,Y,Z)與它在兩個(gè)攝像機(jī)坐標(biāo)中的對(duì)應(yīng)點(diǎn)(ul,vl)和(ur,vr)之間的關(guān)系如式(1)、式(2)所示。
式中:
Ml——左側(cè)攝像機(jī)投影矩陣;
Mr——右側(cè)攝像機(jī)投影矩陣。
方程(1)和方程(2)用同質(zhì)坐標(biāo)表示,如式(3)所示。
因此,可以使用偽逆法重構(gòu)三維點(diǎn)X,如式(4)所示。
X=(ATA)-1ATB(4)
在兩臺(tái)相機(jī)的光軸平行的情況下(平行光軸雙目相機(jī)),點(diǎn)X可以簡(jiǎn)單地通過(guò)差距d計(jì)算出來(lái)。
式中:
b——基線距離。
2 計(jì)算機(jī)視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)中的應(yīng)用
與人類視覺(jué)相比,機(jī)器視覺(jué)技術(shù)具有很多優(yōu)點(diǎn),在智能制造領(lǐng)域應(yīng)用集中在識(shí)別、測(cè)量、定位和檢測(cè)。而在農(nóng)業(yè)生產(chǎn)環(huán)節(jié)中應(yīng)用更為廣泛,如水產(chǎn)養(yǎng)殖,畜牧養(yǎng)殖,農(nóng)產(chǎn)品檢測(cè)和分類,農(nóng)作物生長(zhǎng)監(jiān)測(cè),果蔬識(shí)別與采摘,農(nóng)作物病蟲(chóng)害監(jiān)視等,利用機(jī)器視覺(jué)技術(shù)可以提高生產(chǎn)率,實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)與管理的自動(dòng)化和智能化。在美國(guó)、日本、德國(guó)等發(fā)達(dá)國(guó)家圍繞農(nóng)業(yè)生產(chǎn)的應(yīng)用幾乎涉及全過(guò)程,各種基于機(jī)器視覺(jué)的田間農(nóng)機(jī)裝備被設(shè)計(jì)出來(lái)代替人類從事繁重的田間作業(yè),利用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)生產(chǎn)過(guò)程的數(shù)字化處理,使生產(chǎn)過(guò)程更加客觀和標(biāo)準(zhǔn)[7]。在中國(guó),機(jī)器視覺(jué)在現(xiàn)代農(nóng)業(yè)中的應(yīng)用主要集中在農(nóng)產(chǎn)品的檢測(cè)和分類上,如水果表面缺陷、水稻外觀以及農(nóng)作物中農(nóng)產(chǎn)品和雜草的識(shí)別等領(lǐng)域[8]。
2.1 計(jì)算機(jī)視覺(jué)技術(shù)在養(yǎng)殖行業(yè)中的應(yīng)用
2.1.1 計(jì)算機(jī)視覺(jué)技術(shù)在水產(chǎn)養(yǎng)殖中的應(yīng)用
目前水產(chǎn)養(yǎng)殖是最有前途的漁業(yè)市場(chǎng),53%的產(chǎn)品供人類消費(fèi),超過(guò)漁業(yè)的47%。魚群健康狀況是水產(chǎn)養(yǎng)殖的核心,科學(xué)管理監(jiān)測(cè)魚類的生長(zhǎng)條件和行為將減少由于疾病造成的經(jīng)濟(jì)損失。傳統(tǒng)檢測(cè)方法費(fèi)時(shí)費(fèi)力,不及時(shí)監(jiān)測(cè)容易導(dǎo)致水產(chǎn)養(yǎng)殖事故。近年來(lái)伴隨著我國(guó)5G通信、物聯(lián)網(wǎng)和傳感器等技術(shù)的不斷發(fā)展,傳統(tǒng)檢測(cè)魚群健康狀況的手段正在被基于計(jì)算機(jī)視覺(jué)技術(shù)的自動(dòng)化檢測(cè)方法所逐漸替代[910]。
機(jī)器視覺(jué)技術(shù)已廣泛應(yīng)用于漁業(yè),它將收集的信息提供給計(jì)算機(jī)進(jìn)行分析和決策,檢測(cè)結(jié)果可用于分析魚類行為、體重、長(zhǎng)度、數(shù)量,并確定魚類種類。在過(guò)去的二十年中,已經(jīng)提出了許多基于機(jī)器視覺(jué)的水產(chǎn)養(yǎng)殖技術(shù)[11]。如針對(duì)在進(jìn)行魚類識(shí)別時(shí)所遇到光照強(qiáng)度不同、背景發(fā)生變化以及不同物種在視覺(jué)上具有相似性等方面的問(wèn)題,丁順榮等[12]提出一種新的基于多特征相結(jié)合及粒子群優(yōu)化SVM的魚類分類方法。試驗(yàn)結(jié)果表明,該方法在不同屬魚類和同屬魚類的分類中準(zhǔn)確率分別為94.7%、63.6%。為了獲取魚群在水下的動(dòng)態(tài)感知信息和實(shí)現(xiàn)對(duì)其無(wú)損檢測(cè),李艷君等[13]提出立體視覺(jué)下動(dòng)態(tài)魚體尺寸測(cè)量方法。試驗(yàn)結(jié)果表明,與人工測(cè)量結(jié)果相比,魚體長(zhǎng)度和寬度的平均相對(duì)誤差分別為4.7%和9.2%左右。飼料浪費(fèi)一直制約著水產(chǎn)養(yǎng)殖的發(fā)展。Cao等[14]提出了一種基于機(jī)器視覺(jué)的水產(chǎn)養(yǎng)殖殘余飼料計(jì)數(shù)算法,試驗(yàn)結(jié)果表明,在渾濁水和進(jìn)料附著力的條件下,相對(duì)誤差仍能保持在10%左右。在水產(chǎn)養(yǎng)殖中,投飼技術(shù)決定了飼料轉(zhuǎn)化率和成本。但是現(xiàn)有喂料裝置的智能化程度并不是很高,無(wú)法根據(jù)魚的食欲自動(dòng)改變飼料量。Zhou[15]設(shè)計(jì)了一種基于機(jī)器視覺(jué)和進(jìn)料行為的送料控制器。試驗(yàn)結(jié)果表明,與傳統(tǒng)的喂料機(jī)相比,設(shè)計(jì)的控制器更加智能,可以減少飼料浪費(fèi)。為了對(duì)魚群由于外部或內(nèi)部因素的變化而產(chǎn)生的異常行為進(jìn)行監(jiān)控與報(bào)警,關(guān)輝等[16]提出一種基于機(jī)器視覺(jué)的智能魚群健康狀況監(jiān)測(cè)系統(tǒng)。通過(guò)無(wú)線傳感網(wǎng)監(jiān)測(cè)魚塘的水質(zhì)情況、攝像頭監(jiān)測(cè)魚類的行為。采用運(yùn)動(dòng)目標(biāo)跟蹤算法建立魚群游動(dòng)信息與健康狀況的模型,從而實(shí)現(xiàn)對(duì)起魚類健康狀況的實(shí)時(shí)監(jiān)測(cè)。為了建立比目魚面積與重量的相關(guān)性,Hwang等[17]基于機(jī)器視覺(jué)對(duì)比目魚模型進(jìn)行圖像處理。使用參考方程獲得與模型長(zhǎng)度相對(duì)應(yīng)的實(shí)際魚的重量,然后進(jìn)行回歸分析以推導(dǎo)出線性方程和功率方程的插值,這些方程顯示了比目魚的面積和重量之間的相關(guān)性。為了構(gòu)建魚苗自動(dòng)計(jì)數(shù)系統(tǒng),Ji等[18]基于機(jī)器視覺(jué)技術(shù)提出一種基于概率密度函數(shù)的匹配算法和動(dòng)態(tài)計(jì)數(shù)策略。試驗(yàn)結(jié)果表明,通過(guò)不同魚類和數(shù)量的數(shù)據(jù)集驗(yàn)證了該算法的有效性和魯棒性,平均計(jì)數(shù)準(zhǔn)確率高于97.9%。傳統(tǒng)的魚苗計(jì)數(shù)都是手工計(jì)算,需要大量的人力。黎袁富等[19]研究基于YOLOX魚苗的識(shí)別和計(jì)數(shù)進(jìn)行了研究。結(jié)果表明,YOLOX和YOLOv3在少量魚苗中的檢測(cè)結(jié)果具有很高的準(zhǔn)確性,其識(shí)別的準(zhǔn)確率和召回率都超過(guò)93.00%;當(dāng)魚苗數(shù)量較多時(shí),YOLOX魚苗的識(shí)別準(zhǔn)確率和召回率分別為96.99%、97.38%,比YOLOv3分別提高了1.19%和5.38%。
在大規(guī)模集約化水產(chǎn)養(yǎng)殖中,環(huán)境的復(fù)雜性使得圖像采集變得困難,因此,可用于魚類研究的公共數(shù)據(jù)集相對(duì)較少。此外對(duì)于試驗(yàn)結(jié)果的分析,研究人員使用不同的數(shù)據(jù)集,由于每個(gè)數(shù)據(jù)集都有不同的數(shù)據(jù)樣本量,這使得評(píng)估不同算法或分類器的性能變得困難。因此,未來(lái)研究人員必須統(tǒng)計(jì)更多魚類種類、獲得更高圖像質(zhì)量的公共開(kāi)源數(shù)據(jù)集。
2.1.2 計(jì)算機(jī)視覺(jué)技術(shù)在畜牧養(yǎng)殖中的應(yīng)用
隨著智慧畜牧業(yè)的發(fā)展,牧場(chǎng)的管理逐漸變得數(shù)字化和智能化。動(dòng)物的進(jìn)食、飲水、排泄等行為對(duì)于確定它們是否健康很重要。近年來(lái)計(jì)算機(jī)視覺(jué)的不斷發(fā)展,利用計(jì)算機(jī)視覺(jué)技術(shù)在圖像處理方面的優(yōu)勢(shì),通過(guò)格拉米安角場(chǎng)將一維活動(dòng)數(shù)據(jù)轉(zhuǎn)換為三維圖像,并利用深度學(xué)習(xí),將生成的圖像發(fā)送到MCNN,可以實(shí)現(xiàn)畜牧業(yè)中的精確個(gè)體識(shí)別,且具有良好的可靠性和穩(wěn)定性,在動(dòng)物行為方面具有很大的優(yōu)勢(shì),基于計(jì)算機(jī)視覺(jué)的精準(zhǔn)畜牧系統(tǒng)流程如圖3所示。
基于機(jī)器視覺(jué)技術(shù)的畜牧業(yè)能夠使用5G通信和傳感器等技術(shù)管理畜群。將傳感器和設(shè)備與智能軟件相結(jié)合,提取關(guān)鍵的農(nóng)業(yè)信息,然后提供管理策略,使農(nóng)民能夠自動(dòng)監(jiān)測(cè)動(dòng)物,以改善動(dòng)物健康、產(chǎn)量和環(huán)境影響。為實(shí)現(xiàn)對(duì)豬的高效識(shí)別,金耀等[20]提出一種基于機(jī)器視覺(jué)的生豬個(gè)體識(shí)別方法。采用基于YOLO v3的識(shí)別模型,并與Faster RCNN和SSD模型識(shí)別結(jié)果進(jìn)行比較,試驗(yàn)結(jié)果表明:基于YOLO v3模型對(duì)小豬仔和母豬的識(shí)別準(zhǔn)確率分別為95.99%、96.00%,召回率分別為84.09%、96.00%。Kashiha等[21]探討一種在實(shí)驗(yàn)條件下自動(dòng)識(shí)別豬圈內(nèi)標(biāo)記豬的可行性,并利用圖像處理進(jìn)行行為相關(guān)研究。試驗(yàn)結(jié)果表明,采用橢圓擬合算法對(duì)豬進(jìn)行定位,豬的平均準(zhǔn)確率為88.7%,所提出的技術(shù)還可以來(lái)監(jiān)測(cè)諸如休息之類的行為。Ahrendt等[22]研究了一個(gè)實(shí)時(shí)計(jì)算機(jī)視覺(jué)系統(tǒng),用于跟蹤散養(yǎng)在豬圈中的豬。在實(shí)驗(yàn)室和豬圈中進(jìn)行地試驗(yàn)證明了該系統(tǒng)的穩(wěn)健性:可以在較長(zhǎng)的時(shí)間跨度內(nèi)(超過(guò)8min)跟蹤至少3頭豬,而且不會(huì)在試驗(yàn)中失去對(duì)個(gè)別豬的跟蹤和識(shí)別。為了控制豬在出欄時(shí)的體重差異,張建龍等[23]基于LabVIEW開(kāi)發(fā)平臺(tái)和機(jī)器視覺(jué)技術(shù)開(kāi)發(fā)了育肥豬分群系統(tǒng),試驗(yàn)結(jié)果表明:該系統(tǒng)可以在代替人工調(diào)欄的同時(shí)控制豬的體重差異。Nasirahmadi等[24]利用二維成像系統(tǒng)以及深度學(xué)習(xí)方法來(lái)檢測(cè)豬的站立和躺臥姿勢(shì)。試驗(yàn)結(jié)果表明,R-FCN ResNet101方法能夠檢測(cè)出臥姿和站姿,對(duì)站姿、側(cè)臥和腹臥的平均精度分別為0.93、0.95和0.92。肉雞胴體淤血是一種品質(zhì)異常現(xiàn)象,給屠宰企業(yè)帶來(lái)較大的經(jīng)濟(jì)損失。趙正東等[25]采用三方位視覺(jué)采集(搭載三光源)系統(tǒng),搭建了一套肉雞胴體圖像采集裝置,研發(fā)了一種基于胴體子圖像局部顏色矩信息訓(xùn)練支持向量機(jī)模型結(jié)合相似性度量的技術(shù)方法。有效識(shí)別胴體淤血,實(shí)現(xiàn)視場(chǎng)對(duì)肉雞胴體的全覆蓋。為了實(shí)現(xiàn)對(duì)羊群數(shù)量的自動(dòng)計(jì)數(shù),尚絳嵐[26]基于雙線計(jì)數(shù)法,采用了YOLOv3目標(biāo)檢測(cè)算法與DeepSORT跟蹤算法相結(jié)合的方式。結(jié)果表明:改進(jìn)的YOLOv3檢測(cè)算法對(duì)羊群頭部數(shù)據(jù)集的檢測(cè)精度為90.12%;YOLOv3+DeepSORT跟蹤算法對(duì)羊頭部目標(biāo)進(jìn)行跟蹤比DeepSORT跟蹤算法成功率提高了11.77%,中心點(diǎn)誤差降低了1.43%。為了解決在限制欄條件下,對(duì)母豬的發(fā)情行為認(rèn)識(shí)過(guò)度依賴公豬和人工查情的低效問(wèn)題。薛鴻翔等[27]提出了一種基于改進(jìn)YOLO v5s算法的母豬發(fā)情行為識(shí)別方法。試驗(yàn)結(jié)果表明:深度學(xué)習(xí)法對(duì)母豬和仿生公豬交互行為的識(shí)別和檢測(cè)的平均準(zhǔn)確率為97.8%;以20s為判斷標(biāo)準(zhǔn),其發(fā)情誤差率為10%。白強(qiáng)等[28]提出SEPH-YOLOV5s模型對(duì)奶牛行為進(jìn)行識(shí)別,以解決奶牛群體行為數(shù)據(jù)復(fù)雜、目標(biāo)尺度變化大、行為多樣等因素對(duì)奶牛行為識(shí)別的影響。試驗(yàn)結(jié)果表明:與YOLOV5s模型相比,改良的SEPH-YOLOV5s模型的識(shí)別準(zhǔn)確率平均值比YOLOV5s提高了1.2個(gè)百分點(diǎn),識(shí)別奶牛多尺度行為的平均精度均值提高了0.8個(gè)百分點(diǎn),對(duì)奶牛行走識(shí)別的準(zhǔn)確率為4.9個(gè)百分點(diǎn)。
模型始終是開(kāi)發(fā)強(qiáng)大的計(jì)算機(jī)視覺(jué)系統(tǒng)的核心關(guān)注點(diǎn)之一。盡管許多先進(jìn)的基于CNN的計(jì)算機(jī)視覺(jué)系統(tǒng)被應(yīng)用于畜牧養(yǎng)殖。但只有少數(shù)研究探索了使用經(jīng)過(guò)訓(xùn)練的CNN架構(gòu)進(jìn)行畜牧養(yǎng)殖的有用信息,大多數(shù)研究主要集中在評(píng)估模型性能上[29]。由于單一學(xué)科的知識(shí)、時(shí)間和資源的限制,畜牧管理策略仍未得到改進(jìn)。計(jì)算機(jī)視覺(jué)系統(tǒng)的豐富研究和應(yīng)用需要多學(xué)科合作,以協(xié)同農(nóng)業(yè)工程、計(jì)算機(jī)科學(xué)和畜牧科學(xué)領(lǐng)域的專業(yè)知識(shí),以增強(qiáng)視覺(jué)系統(tǒng)并改進(jìn)畜牧行業(yè)的精確管理策略。
2.2 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)作物中的應(yīng)用
2.2.1 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)作物生長(zhǎng)監(jiān)測(cè)中的應(yīng)用
機(jī)器視覺(jué)作為植物生長(zhǎng)建模最重要的技術(shù)之一,其無(wú)損測(cè)量研究對(duì)加快農(nóng)作物生長(zhǎng)監(jiān)測(cè)具有重要意義[30]。根據(jù)精準(zhǔn)農(nóng)業(yè)的理念,作物在生長(zhǎng)階段的狀態(tài)是作物栽培任務(wù)和管理的重要信息。每個(gè)生長(zhǎng)階段的作物生長(zhǎng)信息是最佳栽培管理的最重要指標(biāo)之一。根據(jù)作物生長(zhǎng)和作物健康狀況,在精準(zhǔn)農(nóng)業(yè)中可以確定肥料和化學(xué)品的數(shù)量和品種。作物的生長(zhǎng)狀況受遺傳性狀和環(huán)境的綜合影響,因此可以用形態(tài)特征參數(shù)和生理機(jī)理指數(shù)來(lái)表示。傳統(tǒng)方法獲取形態(tài)特征參數(shù)和生理機(jī)理指標(biāo)有局限性。最近,利用機(jī)器視覺(jué)系統(tǒng)進(jìn)行連續(xù)快速無(wú)損測(cè)量的研究變得引人注目,基于計(jì)算機(jī)視覺(jué)的植物養(yǎng)護(hù)系統(tǒng)流程如圖4所示。
基于機(jī)器視覺(jué)技術(shù)的作物生長(zhǎng)監(jiān)測(cè)利用圖像和視頻技術(shù)采集作物的外觀特征(如葉子、芽、果實(shí)),并據(jù)此診斷成熟度、水分和養(yǎng)分缺乏等農(nóng)藝指標(biāo)。為實(shí)現(xiàn)蘋果樹(shù)葉片氮含量的快速無(wú)損檢測(cè),劉雙喜等[31]利用圖像處理方法,提取新梢葉節(jié)距這項(xiàng)植物形態(tài)學(xué)特征。建立出蘋果樹(shù)葉片氮含量檢測(cè)模型。試驗(yàn)驗(yàn)證,建立的隨機(jī)森林檢測(cè)模型決定系數(shù)為0.8386,均方根誤差為2.3769。為了在溫室中對(duì)番茄幼苗生長(zhǎng)過(guò)程進(jìn)行無(wú)損測(cè)量,Sun等[32]基于無(wú)損檢測(cè)圖像和圖像處理算法獲得番茄幼苗的葉面積。通過(guò)分析對(duì)比基于機(jī)器視覺(jué)的測(cè)量與人工測(cè)量的結(jié)果,葉面積的最佳相關(guān)系數(shù)為0.9822,表明該算法可用于番茄幼苗的無(wú)損測(cè)量。McCarthy等[33]開(kāi)發(fā)了一個(gè)機(jī)器視覺(jué)系統(tǒng),在相機(jī)視野內(nèi)的多個(gè)地塊中跟蹤植物高度。還利用顏色分割法識(shí)別出在每個(gè)地塊的樹(shù)冠表面的萌芽、樹(shù)冠覆蓋率和開(kāi)花狀態(tài)。對(duì)16個(gè)玉米和大豆地塊進(jìn)行了試驗(yàn)評(píng)估,并在一天內(nèi)檢測(cè)出玉米開(kāi)花日期、大豆高度和玉米高度等信息。Setyawan等[34]使用機(jī)器視覺(jué)方法進(jìn)行農(nóng)作物生長(zhǎng)狀況的監(jiān)測(cè),采用綠色通道Otsu過(guò)濾來(lái)檢測(cè)作物的生長(zhǎng)速度。試驗(yàn)結(jié)果表明,所提出的方法能夠監(jiān)測(cè)植物的生長(zhǎng)。為了獲得番茄作物最佳產(chǎn)量,了解光照、溫度、養(yǎng)分、水等環(huán)境因素的關(guān)系以及與作物生長(zhǎng)狀態(tài)的關(guān)系非常重要。Loresco等[35]采用圖像處理技術(shù)將番茄的生長(zhǎng)階段確定為葉期、開(kāi)花和結(jié)果。使用具有真陽(yáng)性率和假陰性率的混淆矩陣以及ROC來(lái)評(píng)估所開(kāi)發(fā)的決策支持系統(tǒng)。試驗(yàn)結(jié)果表明,在測(cè)定試驗(yàn)番茄圖像的生長(zhǎng)階段方面具有較高的性能。
作物生長(zhǎng)發(fā)育過(guò)程中養(yǎng)分吸收的變化會(huì)引起植物外觀、葉片顏色和質(zhì)地的變化??梢岳糜?jì)算機(jī)視覺(jué)收集植物發(fā)育信息,用于園藝系統(tǒng)控制、生物傳感器技術(shù)收集和作物發(fā)育過(guò)程監(jiān)測(cè)的管理。隨著計(jì)算機(jī)成本的不斷降低,視覺(jué)和圖像處理技術(shù)可以實(shí)現(xiàn)連續(xù)和非破壞性的監(jiān)測(cè),具有巨大的應(yīng)用潛力。
2.2.2 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)作物病蟲(chóng)害監(jiān)視中的應(yīng)用
農(nóng)作物最終的產(chǎn)量和品質(zhì)會(huì)受到其在生長(zhǎng)過(guò)程中由于病害侵襲而產(chǎn)生嚴(yán)重的影響,因而在作物病害防治中需要進(jìn)行病害識(shí)別和診斷[36]。植物病害由于致病種類不同,可產(chǎn)生病灶、孔洞等形狀、大小、顏色和質(zhì)地不同的癥狀。病害癥狀的特征直接反映了作物所患病害的類型和病害造成的危害程度。很多時(shí)候,在偏遠(yuǎn)地區(qū)并不容易請(qǐng)到能夠根據(jù)癥狀識(shí)別疾病的研究人員和專家。計(jì)算機(jī)視覺(jué)是處理這個(gè)問(wèn)題的關(guān)鍵,在使用圖像識(shí)別技術(shù)對(duì)疾病圖像進(jìn)行預(yù)處理后,提取出疾病圖像的顏色,紋理和形態(tài),使用有效的特征組合能正確和定量地對(duì)疾病進(jìn)行分類,基于計(jì)算機(jī)視覺(jué)病蟲(chóng)害診斷過(guò)程如圖5所示。
在農(nóng)作物的大規(guī)模種植中,作物的早期預(yù)防非常重要。如果不能提前預(yù)警,很可能造成大規(guī)模的病理變化和財(cái)產(chǎn)損失。為更快速、更精確識(shí)別美國(guó)白蛾幼蟲(chóng)網(wǎng)幕位置,魏晨等[37]以美國(guó)白蛾幼蟲(chóng)網(wǎng)幕為靶標(biāo)提出一種基于圖像閾值化和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的網(wǎng)幕圖像自動(dòng)化識(shí)別算法。試驗(yàn)表明:網(wǎng)幕識(shí)別的準(zhǔn)確率達(dá)到95%以上,單幅圖像的識(shí)別時(shí)間在200ms左右。Nancy等[38]提出一個(gè)農(nóng)業(yè)圖像實(shí)時(shí)分類的框架。使用此系統(tǒng),作物病害圖片分類和疾病預(yù)測(cè)變得更加容易,自動(dòng)葉病診斷系統(tǒng)利用計(jì)算機(jī)視覺(jué)、圖像處理和機(jī)器學(xué)習(xí)算法來(lái)分析受感染的葉病照片并預(yù)測(cè)病害,以提供準(zhǔn)確的診斷。晚疫病是馬鈴薯的一種嚴(yán)重病害,可造成減產(chǎn)甚至絕收。黨滿意基于機(jī)器視覺(jué)技術(shù)對(duì)馬鈴薯葉部晚疫病進(jìn)行檢測(cè),進(jìn)行馬鈴薯晚疫病的識(shí)別耗時(shí)最長(zhǎng)為9s,最短為3s[39]。為實(shí)現(xiàn)精準(zhǔn)施藥,提高油菜的產(chǎn)量和品質(zhì)。王珊提出一種基于HSV顏色空間的病斑面積占比方法。試驗(yàn)表明,該方法能夠有效地對(duì)葉片和莖稈的病害程度進(jìn)行分級(jí),其識(shí)別準(zhǔn)確率分別為94.25%和92.5%[40]。Zhang等[41]針對(duì)玉米常見(jiàn)病蟲(chóng)害、灰斑、褐斑,利用計(jì)算機(jī)視覺(jué)技術(shù)和支持向量機(jī)建立玉米灰斑、褐斑識(shí)別模型。仿真結(jié)果表明,該模型能夠有效識(shí)別玉米灰斑和褐斑,病害識(shí)別正確率達(dá)到86.1%[49]。Hua等[42]提出一種基于機(jī)器視覺(jué)的作物表面多特征決策融合疾病判別算法(PD R-CNN)。研究結(jié)果表明,PD R-CNN在病蟲(chóng)害發(fā)生過(guò)程中,花葉病監(jiān)測(cè)準(zhǔn)確率為88.0%,根腐病監(jiān)測(cè)準(zhǔn)確率為92.0%,白粉病監(jiān)測(cè)準(zhǔn)確率為88.0%,蚜蟲(chóng)監(jiān)測(cè)準(zhǔn)確率為86.0%。Agnihotri[43]為了實(shí)現(xiàn)識(shí)別水稻中存在的常見(jiàn)害蟲(chóng)。通過(guò)使用微處理器以及紅外攝像頭和普通攝像頭對(duì)田間可用的害蟲(chóng)進(jìn)行分類,該攝像頭將連接到飛越田地并識(shí)別害蟲(chóng)的四軸飛行器上。能夠識(shí)別大型害蟲(chóng),如老鼠,蛇,貓鼬,蜘蛛,它也成功地識(shí)別了小害蟲(chóng),如螟蟲(chóng),綠葉蟬,褐稻虱、白背稻虱、稻縱卷葉螟、粘蟲(chóng)等,減少了識(shí)別害蟲(chóng)的大量時(shí)間和人力。為實(shí)現(xiàn)蘋果病害的快速、準(zhǔn)確的鑒定。孫豐剛等[44]利用GHTR2-YOLOv5s技術(shù)和遷移學(xué)習(xí)技術(shù)提高模型收斂速度和精度。試驗(yàn)結(jié)果表明:GHTR2-YOLOv5s模型的參量值只有2.06MB,檢測(cè)速率為0.065s/張,比YOLOv5s高2.5倍,模型綜合推理mAP0.5可達(dá)0.909。
以上研究了利用機(jī)器視覺(jué)識(shí)別作物表面植物病蟲(chóng)害的情況。但目前這些方法識(shí)別類型并不豐富,模型升級(jí)空間小,不方便區(qū)分新病蟲(chóng)害。盡管基于機(jī)器視覺(jué)技術(shù)在控制害蟲(chóng)和植物病害領(lǐng)域發(fā)展迅速,但大多數(shù)現(xiàn)有方法是在受控環(huán)境條件下捕獲的公共數(shù)據(jù)集上顯示出其有效性,尚未探索其對(duì)現(xiàn)場(chǎng)植物病害檢測(cè)的能力。另一方面,大規(guī)?,F(xiàn)場(chǎng)公共數(shù)據(jù)集的稀缺性是開(kāi)發(fā)適用于各種植物病害的解決方案的主要瓶頸之一[45]。
2.2.3 計(jì)算機(jī)視覺(jué)技術(shù)在果蔬識(shí)別定位與采摘的應(yīng)用
果蔬采摘作為農(nóng)業(yè)生產(chǎn)鏈的一個(gè)至關(guān)重要的作用,其主要是一種手工和高度勞動(dòng)密集型的工作,需要在一年中非常特定的時(shí)間提供采摘者團(tuán)隊(duì)。由于勞動(dòng)生產(chǎn)率、揀選效率、成本等的提高,采摘與揀選機(jī)器人在果蔬生產(chǎn)領(lǐng)域得到了廣泛的應(yīng)用[46]。發(fā)展機(jī)械化、智能化收獲技術(shù),研究開(kāi)發(fā)基于機(jī)器視覺(jué)的果蔬識(shí)別定位與采摘機(jī)器人具有重要的意義[47]。
隨著時(shí)間的推移,世界上大多數(shù)國(guó)家都通過(guò)機(jī)器視覺(jué)技術(shù)開(kāi)發(fā)了智能采摘機(jī)器人來(lái)裝卸農(nóng)產(chǎn)品并檢測(cè)水果和定位問(wèn)題。針對(duì)目前一些識(shí)別設(shè)備體積大、成本高等問(wèn)題,陳品嵐等[48]提出一種基于樹(shù)莓派及SSD的柑橘識(shí)別系統(tǒng),通過(guò)機(jī)器視覺(jué)采集柑橘樹(shù)的相關(guān)數(shù)據(jù),對(duì)柑橘樹(shù)上的柑橘進(jìn)行識(shí)別及計(jì)數(shù)。試驗(yàn)結(jié)果表明:在訓(xùn)練次數(shù)為5、40、70、100次的情況下,其準(zhǔn)確率分別為57.4%、71.5%、85.2%、92.4%。水果識(shí)別和定位是水果采摘自動(dòng)化的核心問(wèn)題。Yin等[49]基于Faster R-CNN模型對(duì)自然環(huán)境中生長(zhǎng)的橙子進(jìn)行了檢測(cè)和識(shí)別,實(shí)現(xiàn)更高的檢測(cè)精度和速度。為了獲取多個(gè)目標(biāo)荔枝串的空間位置信息,陳燕等[50]研究了大視場(chǎng)下荔枝采摘機(jī)器人的視覺(jué)預(yù)定位方法。試驗(yàn)結(jié)果表明,基于雙目立體視覺(jué)的荔枝串預(yù)定位方法在3m的檢測(cè)距離下預(yù)定位的最大絕對(duì)誤差為36.602mm,平均絕對(duì)誤差為23.007mm,平均相對(duì)誤差為0.836%。Wang等[51]提出了一種基于機(jī)器視覺(jué)的智能采棉機(jī)器人(ICPR)設(shè)計(jì),研究了一種基于色差的優(yōu)化分割算法。結(jié)果表明,對(duì)棉花的識(shí)別精度較高,有助于提高采摘速度。為了解決番茄由于其非標(biāo)準(zhǔn)球形、多果重疊和莖葉遮擋等導(dǎo)致識(shí)別準(zhǔn)確率低問(wèn)題。馮俊惠等[52]設(shè)計(jì)一種視覺(jué)系統(tǒng)的成熟果實(shí)識(shí)別的Hough圓變換算法。試驗(yàn)結(jié)果表明,該算法對(duì)存在不同成熟周期的番茄果實(shí)識(shí)別率為87.5%、莖葉遮擋果實(shí)識(shí)別率為85%、多果重疊識(shí)別率為84.8%,三種情況同時(shí)存在的平均正確識(shí)別率為86.3%,平均運(yùn)行時(shí)間為398ms。對(duì)作物進(jìn)行準(zhǔn)確識(shí)別和精準(zhǔn)定位,是實(shí)現(xiàn)株間除草的技術(shù)關(guān)鍵和難點(diǎn)。馬志艷等[53]以苗期玉米為研究對(duì)象,提出了一種通過(guò)視覺(jué)技術(shù)對(duì)玉米幼苗進(jìn)行識(shí)別與定位的方法。試驗(yàn)結(jié)果表明,不同雜草分布量的玉米幼苗識(shí)別率為98.3%,定位誤差距離在10mm以內(nèi)的定位精準(zhǔn)度為85.9%。呂曉蓮等[54]通過(guò)對(duì)基于機(jī)器視覺(jué)的識(shí)別和定位方法,研究不同條件下采摘西紅柿的識(shí)別圖,試驗(yàn)結(jié)果表明,成熟果實(shí)的鑒定可以達(dá)到98%,定位誤差可以控制在15mm以內(nèi)。針對(duì)馬鈴薯芽眼檢測(cè)精度不高、實(shí)時(shí)性差的問(wèn)題,陳志偉[55]采用YOLOX技術(shù)進(jìn)行了馬鈴薯種薯芽眼的識(shí)別,試驗(yàn)結(jié)果表明,該方法的平均準(zhǔn)確率均值高達(dá)98.19%,準(zhǔn)確率為92.39%。此方法可以極大地提高馬鈴薯種薯芽眼的識(shí)別速度和準(zhǔn)確率。針對(duì)果樹(shù)運(yùn)輸系統(tǒng)中存在的障礙物和樹(shù)干探測(cè)精度問(wèn)題,Su等[56]提出一種基于YOLOv5s的改進(jìn)算法來(lái)檢測(cè)果樹(shù)的樹(shù)干和障礙物。將SE模塊添加到Y(jié)OLOv5s網(wǎng)絡(luò)中,利用K均值聚類算法對(duì)其進(jìn)行了訓(xùn)練。與YOLOv5s模型相比,該模型的平均檢測(cè)準(zhǔn)確率提高了1.30%,平均檢測(cè)時(shí)間縮短了2ms。
當(dāng)田間環(huán)境的光照和遮擋條件下作物環(huán)境不同時(shí),會(huì)影響識(shí)別和定位精度。此時(shí)應(yīng)用幾何特征、圖像特征、新的圖像算法和智能決策理論來(lái)解決問(wèn)題。此外由于農(nóng)業(yè)環(huán)境的復(fù)雜性和不確定性,視覺(jué)系統(tǒng)在應(yīng)用中仍然存在較大的定位誤差,而這些誤差的規(guī)律難以描述和補(bǔ)償。因此,需要結(jié)合機(jī)器人的控制系統(tǒng)和創(chuàng)新設(shè)計(jì)的機(jī)構(gòu)來(lái)提高視覺(jué)和機(jī)械容錯(cuò)技術(shù),實(shí)現(xiàn)精確的定位和操作[57]。
3 計(jì)算機(jī)視覺(jué)技術(shù)優(yōu)勢(shì)及未來(lái)展望
圖像在人類感知中起著非常重要的作用。然而,人類的感知僅限于電磁波譜的可見(jiàn)波段。機(jī)器視覺(jué)檢測(cè)技術(shù)可以覆蓋整個(gè)電磁波譜,從伽馬射線到無(wú)線電波。通過(guò)強(qiáng)大的視覺(jué)傳感器,巧妙設(shè)計(jì)的光傳輸方法和圖像處理算法,機(jī)器視覺(jué)可以完成許多人類視覺(jué)無(wú)法完成的任務(wù)。此外,機(jī)器視覺(jué)相較于人類視覺(jué)在工業(yè)應(yīng)用中還有許多優(yōu)勢(shì),如表1所示。
近年來(lái),機(jī)器視覺(jué)技術(shù)越來(lái)越多地用于農(nóng)業(yè)研究中,取得了一定的研究成果,并在實(shí)際生產(chǎn)中得到了應(yīng)用,但仍存在一些挑戰(zhàn)。
3.1 圖像處理的算法
分割是圖像處理的第一步,是特征提取和圖像分析的前提。 然而,在不同光照條件下,常用的算法往往會(huì)失效。此外,水果的顏色類似于某些植物的葉子顏色(如黃瓜),植物本身含有果實(shí)、葉子和莖使得目標(biāo)物被遮擋。所有這些因素都對(duì)現(xiàn)有的分割算法提出了新的挑戰(zhàn)[58]。此外,目前大多數(shù)研究都是針對(duì)靜態(tài)圖像處理。但在農(nóng)業(yè)領(lǐng)域,有許多情況需要實(shí)時(shí)的視頻處理,如農(nóng)業(yè)車輛的導(dǎo)航和動(dòng)物行為的監(jiān)控。因此,未來(lái)對(duì)實(shí)時(shí)識(shí)別算法的要求更高。
3.2 農(nóng)業(yè)數(shù)據(jù)的支持
在所調(diào)查的研究中,機(jī)器視覺(jué)的應(yīng)用需要經(jīng)過(guò)不斷的試驗(yàn)和大量的檢測(cè)樣本,其檢測(cè)結(jié)果準(zhǔn)確性取決于是否有大量的標(biāo)準(zhǔn)數(shù)據(jù)集來(lái)訓(xùn)練它。即使在相同的生長(zhǎng)條件下,不同的植物也有不同的參數(shù),所以單一植物的信息不具有代表性,不能作為決策的依據(jù)。此外,種植結(jié)構(gòu)(垂直種植或平面種植)和環(huán)境的不均勻性(空氣溫度、濕度、光照)也會(huì)導(dǎo)致不同地區(qū)的植物生長(zhǎng)條件不同。未來(lái)如何把這些因素都考慮進(jìn)去,形成農(nóng)業(yè)圖像分析的標(biāo)準(zhǔn)數(shù)據(jù)集,準(zhǔn)確顯示出植物的真實(shí)生長(zhǎng)狀態(tài),是促進(jìn)機(jī)器視覺(jué)在現(xiàn)代農(nóng)業(yè)發(fā)展的關(guān)鍵。
3.3 圖像采集的硬件
目前有的圖像是由數(shù)碼相機(jī)手動(dòng)拍攝的,這不可避免地造成了圖像質(zhì)量的不均衡。有的使用安裝在機(jī)器人上的工業(yè)相機(jī)來(lái)拍攝圖像,但防抖效果不佳。且相機(jī)的使用范圍有限,其無(wú)法通過(guò)攝像頭捕捉到在垂直空間生長(zhǎng)的植物。從長(zhǎng)遠(yuǎn)來(lái)看,作為視覺(jué)傳感器,圖像采集設(shè)備應(yīng)該和其他傳感器一樣。需要?jiǎng)?chuàng)造一些精度高、適用性強(qiáng)、成本低的產(chǎn)品。還需要在工廠設(shè)計(jì)一些配套設(shè)備,以滿足其不同應(yīng)用場(chǎng)景[59]。
4 結(jié)語(yǔ)
從計(jì)算機(jī)視覺(jué)的基本理論和農(nóng)業(yè)應(yīng)用的角度出發(fā),基于現(xiàn)代農(nóng)業(yè)的五個(gè)領(lǐng)域,即水產(chǎn)養(yǎng)殖、畜牧養(yǎng)殖、農(nóng)作物生長(zhǎng)監(jiān)測(cè)、病害監(jiān)視、果蔬識(shí)別定位與采摘,探討計(jì)算機(jī)視覺(jué)技術(shù)基礎(chǔ)和應(yīng)用熱點(diǎn),分析計(jì)算機(jī)視覺(jué)技術(shù)在未來(lái)農(nóng)業(yè)自動(dòng)化應(yīng)用中將面臨的挑戰(zhàn)。
1) 計(jì)算機(jī)視覺(jué)技術(shù)具有低成本,高效率和高精度的優(yōu)勢(shì),其作為一種新興技術(shù)將更好地應(yīng)用于農(nóng)業(yè)。
2) 隨著未來(lái)技術(shù)的不斷拓展,為實(shí)現(xiàn)技術(shù)的通用性和協(xié)調(diào)性,有必要改進(jìn)圖像處理的算法、建立大規(guī)模的數(shù)據(jù)集、優(yōu)化圖像采集的硬件等。
3) 一個(gè)真正有價(jià)值的農(nóng)業(yè)計(jì)算機(jī)視覺(jué)系統(tǒng)需具備實(shí)時(shí)性、魯棒性和準(zhǔn)確性。在實(shí)際研究中,應(yīng)考慮各種因素,結(jié)合人工智能和自動(dòng)控制學(xué)科的先進(jìn)知識(shí),在這個(gè)領(lǐng)域進(jìn)行系統(tǒng)研究。
參 考 文 獻(xiàn)
[1] 馬彥平, 白由路, 高祥照, 等. 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用與展望[J]. 中國(guó)農(nóng)業(yè)資源與區(qū)劃, 2009, 30(4): 21-27.
Ma Yanping, Bai Youlu, Gao Xiangzhao, et al. Application and expectation of computer vision technology in agriculture production [J]. Chinese Journal of Agricultural Resources and Regional Planning, 2009, 30(4): 21-27.
[2] 趙娜, 趙平, 高軼軍. 機(jī)器視覺(jué)技術(shù)在我國(guó)現(xiàn)代農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 天津農(nóng)學(xué)院學(xué)報(bào), 2015, 22(2): 55-58.
Zhao Na, Zhao Ping, Gao Yijun. Study on application of machine vision technology to modern agriculture in China [J]. Journal of Tianjin Agricultural University, 2015, 22(2): 55-58.
[3] 李娟, 朱學(xué)巖, 葛鳳麗, 等. 基于計(jì)算機(jī)視覺(jué)的水下海參識(shí)別方法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2020, 41(7): 171-177.
Li Juan, Zhu Xueyan, Ge Fengli, et al. Research on under water sea cucumber identification based Ion computer vision [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(7): 171-177.
[4] 周航, 杜志龍, 武占元, 等. 機(jī)器視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)裝備領(lǐng)域的應(yīng)用進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2017, 38(11): 86-92.
Zhou Hang, Du Zhilong, Wu Zhanyuan, et al. Application progress of machine vision technology in the field of modern agricultural equipment [J]. Journal of Chinese Agricultural Mechanization, 2017, 38(11): 86-92.
[5] 石衛(wèi)坤, 彭森. 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用與展望[J]. 農(nóng)家參謀, 2019(19): 23.
[6] 殷悅, 張慧春, 鄭加強(qiáng). 基于雙目立體視覺(jué)的植物三維重建系統(tǒng)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(3): 129-135.
Yin Yue, Zhang Huichun, Zheng Jiaqiang. Three dimensional reconstruction system of plant based on binocular stereo vision [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(3): 129-1335.
[7] 楊濤, 李曉曉. 機(jī)器視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)生產(chǎn)中的研究進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(3): 171-181.
Yang Tao, Li Xiaoxiao. Research progress of machine vision technology in modern agricultural production [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(3): 171-181.
[8] 郝文影. 計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)上的應(yīng)用[J]. 現(xiàn)代農(nóng)村科技, 2018(3): 92.
[9] 段延娥, 李道亮, 李振波, 等. 基于計(jì)算機(jī)視覺(jué)的水產(chǎn)動(dòng)物視覺(jué)特征測(cè)量研究綜述[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(15): 1-11.
Duan Yane, Li Daoliang, Li Zhenbo, et al. Review on visual characteristic measurement research of aquatic animals based on computer vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(15): 1-11.
[10] Li D, Du L. Recent advances of deep learning algorithms for aquacultural machine vision systems with emphasis on fish [J]. Artificial Intelligence Review, 2021, 55(5): 1-40.
[11] Daoliang Li, Qi Wang, Xin Li, et al. Recent advances of machine vision technology in fish classification [J]. ICES Journal of Marine Science, 2022, 79(2): 263-284.
[12] 丁順榮, 肖珂. 基于粒子群優(yōu)化SVM和多特征融合的魚類分類方法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2020, 41(11): 113-118, 170.
Ding Shunrong, Xiao Ke. Improving fish classification method in particle swarm optimization SVM and multi-feature fusion [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(11): 113-118, 170.
[13] 李艷君, 黃康為, 項(xiàng)基. 基于立體視覺(jué)的動(dòng)態(tài)魚體尺寸測(cè)量[J].農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(21): 220-226.
Li Yanjun, Huang Kangwei, Xiang Ji. Measurement of dynamic fish dimension based on stereoscopic vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(21): 220-226.
[14] Cao J, Xu L. Research on counting algorithm of residual feeds in aquaculture based on machine vision [C]. 2018 IEEE 3rd International Conference on Image, Vision and Computing, 2018: 498-503.
[15] Zhou C, Lin K, Xu D, et al. Computer vision and feeding behavior based intelligent feeding controller for fish in aquaculture[C]. Proceedings of the International Conference on Intelligent Agriculture, 2017: 113-122.
[16] 關(guān)輝, 許璐蕾. 基于機(jī)器視覺(jué)的智能魚群健康狀況監(jiān)測(cè)系統(tǒng)[J]. 物聯(lián)網(wǎng)技術(shù), 2019, 9(10): 13-14, 17.
[17] Hwang K H, Choi J W. Machine vision based weight prediction for flatfish[C]. 2018 18th International Conference on Control, Automation and Systems, 2018: 1628-1631.
[18] Ji D, Zhou J, Xu M, et al. Automatic counting algorithm of fry based on machine vision system [C]. 2021 WRC Symposium on Advanced Robotics and Automation (WRC SARA), 2021: 104-109.
[19] 黎袁富, 杜家豪, 莫家浩, 等. 基于YOLOX的魚苗檢測(cè)與計(jì)數(shù)[J]. 電子元器件與信息技術(shù), 2022, 6(5): 192-194.
[20] 金耀, 何秀文, 萬(wàn)世主, 等. 基于YOLO v3的生豬個(gè)體識(shí)別方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(2): 178-183.
Jin Yao,He Xiuwen, Wan Shizhu, et al. Individual pig identification method based on YOLO v3 [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(2): 178-183.
[21] Kashiha M, Bahr C, Ott S, et al. Automatic identification of marked pigs in a pen using image pattern recognition [J]. Computers and Electronics in Agriculture, 2013, 93: 111-120.
[22] Ahrendt P, Gregersen T, Karstoft H. Development of a real-time computer vision system for tracking loose-housed pigs [J]. Computers & Electronics in Agriculture, 2011, 76(2): 169-174.
[23] 張建龍, 莊晏榕, 周康, 等. 基于機(jī)器視覺(jué)的育肥豬分群系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(17): 174-181.
Zhang Jianlong, Zhuang Yanrong, Zhou Kang, et al. Design of automatic group sorting system for fattening pigs based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(17): 174-181.
[24] Nasirahmadi A, Sturm B, Edwards S, et al. Deep learning and machine vision approaches for posture detection of individual pigs [J]. Sensors, 2019, 19(17): 3738.
[25] 趙正東, 王虎虎, 徐幸蓮. 基于機(jī)器視覺(jué)的肉雞胴體淤血檢測(cè)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(16): 330-338.
Zhao Zhengdong, Wang Huhu, Xu Xinglian. Broiler carcass congestion detection technology using machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(16): 330-338.
[26] 尚絳嵐. 基于計(jì)算機(jī)視覺(jué)的智能牧場(chǎng)應(yīng)用研究[D]. 包頭: 內(nèi)蒙古科技大學(xué), 2020.
Shang Jianglan. Research on the application of intelligent pasture based on computer vision [D]. Baotou: Inner Mongolia University of Science & Technology, 2020.
[27] 薛鴻翔, 沈明霞, 劉龍申, 等. 基于改進(jìn)YOLO v5s的經(jīng)產(chǎn)母豬發(fā)情檢測(cè)方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(1): 263-270.
Xue Hongxiang, Shen Mingxia, Liu Longshen, et al. Estrus detection method of parturient sows based on improved YOLO v5s [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(1): 263-270.
[28] 白強(qiáng), 高榮華, 趙春江, 等. 基于改進(jìn)YOLOV5s網(wǎng)絡(luò)的奶牛多尺度行為識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(12): 163-172.
Bai Qiang, Gao Ronghua, Zhao Chunjiang, et al. Multi-scale behavior recognition method for dairy cows based on improved YOLOV5s network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(12): 163-172.
[29] Li Guoming, Huang Yanbo, Chen Zhiqian, et al. Practices and applications of convolutional neural network-based computer vision systems in animal farming: A review [J]. Sensors, 2021, 21(4).
[30] 劉雙喜, 孫林林, 王震, 等. 復(fù)雜背景下蘋果樹(shù)花量模糊聚類準(zhǔn)確估測(cè)模型[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2017, 38(8): 74-81.
Liu Shuangxi, Sun Linlin, Wang Zhen, et al. Fuzzy clustering accurate estimation model of apple tree flowers with complex background [J]. Journal of Chinese Agricultural Mechanization, 2017, 38(8): 74-81.
[31] 劉雙喜, 張磊, 張宏建, 等. 基于新梢葉節(jié)距的蘋果樹(shù)葉片氮含量檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2019, 40(7): 89-96.
Liu Shuangxi, Zhang Lei, Zhang Hongjian, et al. Nitrogen content tests for apple tree leaves based on leaf node pitches of shoots [J]. Journal of Chinese Agricultural Mechanization, 2019, 40(7): 89-96.
[32] Sun M, Si J, An D, et al, Nondestructive measurement of tomato seedlings during their growth based on machine vision [C]. 2006 Second International Symposium on Plant Growth Modeling and Applications, 2006: 255-258.
[33] McCarthy Alison, Raine Steven. Automated variety trial plot growth and flowering detection for maize and soybean using machine vision [J]. Computers and Electronics in Agriculture, 2022, 194: 106727.
[34] Setyawan R A, Basuki A, Wey C Y. Machine vision-based urban farming growth monitoring system [C]. 2020 10th Electrical Power, Electronics, Communications, Controls and Informatics Seminar, 2020: 183-187.
[35] Loresco P J, Valenzuela I, Gamara R P, et al. Growth stage identification for cherry tomato using image processing techniques [C]. 2020 IEEE 12th International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control, Environment, and Management, 2020: 1-6.
[36] 郭文娟, 馮全, 李相周. 基于農(nóng)作物病害檢測(cè)與識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型研究進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(10): 157-166.
Guo Wenjuan, Feng Quan, Li Xiangzhou. Research progress of convolutional neural network model based on crop disease detection and recognition [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(10): 157-166.
[37] 魏晨, 國(guó)樹(shù)金, 荊茂焱, 等. 美國(guó)白蛾幼蟲(chóng)網(wǎng)幕圖像識(shí)別算法及其視覺(jué)伺服系統(tǒng)研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(11): 62-68.
Wei Chen, Guo Shujin, Jing Maoyan, et al. Study on the in mage recognition algorithm and visual servo system of Hyphantria cunea larvae nets [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(11): 62-68.
[38] Nancy P,Pallathadka H, Naved M, et al. Deep learning and machine learning based efficient framework for image based plant disease classification and detection [C]. 2022 International Conference on Advanced Computing Technologies and Applications, 2022: 1-6.
[39] 黨滿意, 孟慶魁, 谷芳, 等. 基于機(jī)器視覺(jué)的馬鈴薯晚疫病快速識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(2): 193-200.
Dang Manyi, Meng Qingkui, Gu Fang, et al. Rapid recognition of potato late blight based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(2): 193-200.
[40] 王珊, 薛新宇, 郭祥雨. 基于機(jī)器視覺(jué)的油菜菌核病分級(jí)檢測(cè)研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(5): 47-53.
Wang Shan, Xue Xinyu, Guo Xiangyu. Classification and detection of rapeseed sclerotium disease based on machine vision [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(5): 47-53.
[41] Zhang Y, Ren T, Li C, et al. Research on recognition method of common corn diseases based on computer vision [C]. 2019 11th International Conference on Intelligent Human-Machine Systems and Cybernetics, 2019: 328-331.
[42] Hua S, Xu M, Xu Z, et al. Multi-feature decision fusion algorithm for disease detection on crop surface based on machine vision [J]. Neural Computing and Applications, 2022, 34(12): 9471-9484.
[43] Agnihotri V. Machine learning based pest identification in paddy plants [C]. 2019 3rd International Conference on Electronics, Communication and Aerospace Technology, 2019: 246-250.
[44] 孫豐剛, 王云露, 蘭鵬, 等. 基于改進(jìn)YOLOv5s和遷移學(xué)習(xí)的蘋果果實(shí)病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(11): 171-179.
Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(11): 171-179.
[45] Thakur Poornima Singh, Khanna Pritee, Sheorey Tanuja, et al. Trends in vision-based machine learning techniques for plant disease identification: A systematic review [J]. Expert Systems With Applications, 2022, 208: 118117.
[46] Li Z, Yuan X, Wang C. A review on structural development and recognition-localization methods for end-effector of fruit-vegetable picking robots [J]. International Journal of Advanced Robotic Systems, 2022, 4: 52.
[47] 成偉, 張文愛(ài), 馮青春, 等. 基于改進(jìn)YOLOv3的溫室番茄果實(shí)識(shí)別估產(chǎn)方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(4): 176-182.
Cheng Wei, Zhang Wenai, Feng Qingchun, et al. Method of greenhouse tomato fruit identification and yield estimation based on improved YOLOv3 [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 176-182.
[48] 陳品嵐, 張小花, 朱立學(xué), 等. 基于樹(shù)莓派及深度學(xué)習(xí)的柑橘識(shí)別系統(tǒng)設(shè)計(jì)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(9): 131-136.
Chen Pinlan, Zhang Xiaohua, Zhu Lixue, et al. Citrus recognition system design based on Raspberry Pi and deep learning [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(9): 131-136.
[49] Yin G, Xie Y, Yun J, et al. Based on machine vision fruit target detection method[J]. IOP Conference Series Earth and Environmental Science, 2020, 428: 012072.
[50] 陳燕, 王佳盛, 曾澤欽, 等. 大視場(chǎng)下荔枝采摘機(jī)器人的視覺(jué)預(yù)定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(23): 48-54.
Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Research on vision pre-positioning for litchi picking robot under large field of view [J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(23): 48-54.
[51] Wang M, Wei J, Yuan J, et al. A research for intelligent cotton picking robot based on machine vision [C]. 2008 International Conference on Information and Automation, 2008: 800-803.
[52] 馮俊惠, 李志偉, 戎有麗, 等. 基于改進(jìn)Hough圓變換算法的成熟番茄果實(shí)識(shí)別[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(4): 190-196.
Feng Junhui, Li Zhiwei, Rong Youli, et al. Identification of mature tomatoes based on an algorithm of modified circular Hough transform [J]. Journal of Chinese Agricultural Mechanization,2021, 42(4): 190-196.
[53] 馬志艷, 朱熠, 張徐康, 等. 基于視覺(jué)的玉米苗期作物識(shí)別與定位方法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2020, 41(9): 131-137.
Ma Zhiyan, Zhu Yi, Zhang Xukang, et al. Research on the method of crop recognition and location in maize seedlings stage based on vision [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(9): 131-137.
[54] 呂小蓮, 呂小榮, 盧秉福. 西紅柿采摘機(jī)器人視覺(jué)系統(tǒng)的設(shè)計(jì)與研究[J]. 傳感器與微系統(tǒng), 2010, 29(6): 21-24.
Lü Xiaolian, Lü Xiaorong, Lu Bingfu. Design and research on tomato-harvesting robot visual system [J]. Transducer and Microsystem Technologies, 2010, 29(6): 21-24.
[55] 陳志偉. 基于YOLOX的馬鈴薯種薯芽眼檢測(cè)與自動(dòng)切塊試驗(yàn)研究[D]. 泰安: 山東農(nóng)業(yè)大學(xué), 2022.
Chen Zhiwei. YOLOX-based potato seed potato sprout eye detection and automatic cutting test research [D]. Taian: Shandong Agricultural University, 2022.
[56] Su F, Zhao Y, Shi Y, et al. Tree trunk and obstacle detection in apple orchard based on improved YOLOv5s model [J]. Agronomy. 2022, 12(10): 2427.
[57] Tang Y, Chen M, Wang C, et al. Recognition and localization methods for vision-based fruit picking robots: A review [J]. Frontiers in Plant Science, 2020, 11: 510.
[58] Tian Z, Ma W, Yang Q, et al. Application status and challenges of machine vision in plant factory: A review [J]. Information Processing in Agriculture, 2022, 9(2): 195-211.
[59] 田志偉, 馬偉, 張梅, 等. 溫室智能裝備系列之一百三十植物工廠中機(jī)器視覺(jué)技術(shù)應(yīng)用現(xiàn)狀與挑戰(zhàn)[J].農(nóng)業(yè)工程技術(shù), 2022, 42(1): 36-45.