番茄采摘機(jī)器人目標(biāo)識(shí)別研究概述

摘要：番茄采摘機(jī)器人的技術(shù)發(fā)展對(duì)于智能化、無損化、快速化采摘番茄果實(shí)至關(guān)重要，而決定采摘效率的關(guān)鍵技術(shù)之一就是目標(biāo)識(shí)別技術(shù)。目前，不同的研究者針對(duì)番茄果實(shí)生長(zhǎng)的常規(guī)環(huán)境和非結(jié)構(gòu)化環(huán)境進(jìn)行了多角度的研究。本文在簡(jiǎn)要介紹不同學(xué)者對(duì)于目標(biāo)識(shí)別技術(shù)的研究?jī)?nèi)容后，指出現(xiàn)有的采摘機(jī)器人在實(shí)際應(yīng)用時(shí)面臨的問題和挑戰(zhàn)，并對(duì)將來番茄采摘機(jī)器人的目標(biāo)識(shí)別技術(shù)的發(fā)展趨勢(shì)進(jìn)行了詳細(xì)探討。

關(guān)鍵詞：番茄采摘；機(jī)器人；機(jī)器人目標(biāo)識(shí)別

引言

番茄在我國(guó)多個(gè)省份都有種植，目前，仍多采用人工采摘方式。在番茄的整個(gè)生長(zhǎng)周期內(nèi)，果實(shí)采摘是勞動(dòng)強(qiáng)度最大、耗時(shí)最長(zhǎng)的一個(gè)環(huán)節(jié)。隨著人口老齡化加劇以及非農(nóng)業(yè)人口的增長(zhǎng)，人工采摘的成本也在逐年增加。近年來，陸續(xù)出現(xiàn)了機(jī)械采摘的方式，通過利用目標(biāo)識(shí)別與定位技術(shù)、路徑規(guī)劃技術(shù)，以及末端執(zhí)行器的仿人手無損設(shè)計(jì)等，均有效提高了采摘機(jī)器人采摘作業(yè)的成功率。但由于農(nóng)業(yè)采摘機(jī)器人作業(yè)環(huán)境的特殊性、作業(yè)對(duì)象的復(fù)雜性，對(duì)機(jī)器人目標(biāo)識(shí)別、機(jī)械手的結(jié)構(gòu)等要求也在不斷提高。迄今為止，采摘機(jī)器人的發(fā)展基本上還停留在實(shí)驗(yàn)室階段，距離實(shí)際應(yīng)用還有一定的發(fā)展空間。國(guó)內(nèi)外學(xué)者針對(duì)番茄采摘機(jī)器人采摘過程中的目標(biāo)識(shí)別方法和精度做了大量的實(shí)驗(yàn)與研究，本文將主要從不同采摘環(huán)境下果實(shí)采摘的目標(biāo)識(shí)別定位進(jìn)行詳細(xì)探討。

1. 設(shè)施大棚番茄生長(zhǎng)環(huán)境特點(diǎn)

為方便進(jìn)行數(shù)據(jù)收集和機(jī)器部件的設(shè)計(jì)，大部分采摘實(shí)驗(yàn)均安排在設(shè)施大棚內(nèi)進(jìn)行。在設(shè)施培育環(huán)境下生長(zhǎng)的番茄，其生長(zhǎng)環(huán)境特點(diǎn)包括溫度、光照等多個(gè)方面，其中番茄生長(zhǎng)對(duì)光照有一定要求，需要通過調(diào)節(jié)光照強(qiáng)度和光照時(shí)間來滿足番茄的生長(zhǎng)需求。為提高生產(chǎn)效率，要求采摘機(jī)器人能在復(fù)雜的光照條件下工作。番茄具有無序生長(zhǎng)特性，且番茄的葉片通常較小且密集，對(duì)果實(shí)存在不同程度的遮擋，這使得精確獲取番茄目標(biāo)的空間位置變得非常困難。而想要實(shí)現(xiàn)番茄果實(shí)的有效采摘，就需要對(duì)果實(shí)進(jìn)行有效的識(shí)別和定位，才能夠進(jìn)行后續(xù)的機(jī)械臂操作和無損采摘，從而提高果實(shí)的采摘效率。不同的學(xué)者針對(duì)不同工作條件下的果實(shí)目標(biāo)識(shí)別進(jìn)行了深入的研究，通過使用不同的改進(jìn)算法，不斷提高采摘的成功率。

2. 不同環(huán)境下的目標(biāo)識(shí)別研究

采摘機(jī)器人收獲目標(biāo)的第一步，是要在作業(yè)環(huán)境中將果實(shí)從復(fù)雜的環(huán)境中識(shí)別出來。對(duì)于實(shí)驗(yàn)室模擬環(huán)境或者設(shè)施大棚、溫室環(huán)境中種植的番茄，我國(guó)的研究較早，目前已經(jīng)研發(fā)出不同的采摘機(jī)器人，并進(jìn)行了相應(yīng)的實(shí)驗(yàn)過程，得到了識(shí)別的成功率和最終采摘的成功率，為后續(xù)的進(jìn)一步算法優(yōu)化提供了有效的參考。

部分研究者對(duì)收集的圖像使用像素程序?qū)⒛繕?biāo)果實(shí)從復(fù)雜的背景中分離出來。周濤等人為了解決果實(shí)自動(dòng)采摘的問題，在實(shí)驗(yàn)室模擬環(huán)境中，通過雙目攝像機(jī)對(duì)果實(shí)信息進(jìn)行捕捉處理，利用RGB像素程序，對(duì)成熟番茄果實(shí)進(jìn)行顏色分割，通過形態(tài)學(xué)操作去噪完成目標(biāo)果實(shí)的識(shí)別，并確定目標(biāo)點(diǎn)的坐標(biāo)[1]。于豐華等人以溫室中番茄為研究對(duì)象，通過獲取到的RGB圖像，使用基于區(qū)域的全卷積網(wǎng)絡(luò)（region-based fully convolutional networks，R-FCN）技術(shù)，計(jì)算出番茄所在的矩形框，然后將深度信息與目標(biāo)檢測(cè)產(chǎn)生的二維信息融合，最終計(jì)算出番茄的點(diǎn)云中心位置[2]。盡管使用RGB顏色模型進(jìn)行顏色分割技術(shù)已經(jīng)比較成熟，但王曉楠等人認(rèn)為RGB顏色模型存在空間不穩(wěn)定，因此，針對(duì)目標(biāo)識(shí)別和定位系統(tǒng)進(jìn)行了系統(tǒng)的研究。通過CCD相機(jī)采集圖片，然后利用激光定位系統(tǒng)獲取果實(shí)的空間位置。為了將番茄與其他果實(shí)、枝葉有效分離，采用HIS顏色模型，減少亮度對(duì)色彩識(shí)別的干擾，有效地避免了色彩與亮度之間的問題，實(shí)現(xiàn)果實(shí)有效采摘[3]。楊延麗等人也通過LabVIEW圖像處理程序，利用HIS顏色模型的色調(diào)指數(shù)對(duì)番茄進(jìn)行分級(jí)，在二維坐標(biāo)上分別搜索番茄的位置和外部特征。若出現(xiàn)番茄重疊，程序還可使用圖像處理方法找到番茄的中心[4]。

隨著技術(shù)的發(fā)展，除了使用RGB和HIS顏色模型外，研究者還通過改進(jìn)算法來提高果實(shí)的識(shí)別率。2024年，林森等人針對(duì)溫室環(huán)境中由于遮擋和光線復(fù)雜等原因造成的果實(shí)識(shí)別和定位不準(zhǔn)確這一問題，將深度學(xué)習(xí)目標(biāo)檢測(cè)算法與深度相機(jī)相結(jié)合，提出一種獲取番茄在三維空間中協(xié)同位置的方法，用于溫室中采摘機(jī)器人執(zhí)行番茄定位和采摘任務(wù)[5]。顧祥德等人針對(duì)設(shè)施大棚的實(shí)際環(huán)境，設(shè)計(jì)了基于YOLOv5算法實(shí)現(xiàn)精準(zhǔn)識(shí)別果實(shí)位姿的視覺控制系統(tǒng)。由雙目相機(jī)檢測(cè)到目標(biāo)番茄的位姿并在圖像中生成像素位置，通過標(biāo)定好的坐標(biāo)轉(zhuǎn)換矩陣將像素坐標(biāo)變換到機(jī)械臂的空間坐標(biāo)系中，從而使機(jī)械手到達(dá)指定位置[6]。

除常規(guī)的工作環(huán)境外，還需要考慮采摘環(huán)境的多樣性。研究者通過設(shè)置不同的采摘條件進(jìn)行了詳細(xì)的實(shí)驗(yàn)，從而對(duì)采摘機(jī)器人的配置進(jìn)行改進(jìn)。

首先是光照條件，針對(duì)不同光照條件下的采摘工作，研究者利用不同的算法來提高識(shí)別的成功率。王瑾等人提出了一種將AdaBoost分類器和顏色特征分類器相結(jié)合用于番茄采摘機(jī)器人的目標(biāo)識(shí)別方法，該方法可以在復(fù)雜環(huán)境中的不同光照度下，準(zhǔn)確地識(shí)別出成熟的番茄，可以很好地解決目標(biāo)識(shí)別中成熟的番茄黏附性問題[7]。為提高采摘的工作效率，有時(shí)不得不在夜間環(huán)境進(jìn)行采摘，這對(duì)目標(biāo)識(shí)別又提出了新的要求。李劍鋒等人開發(fā)了一套專用的視覺夜間檢測(cè)系統(tǒng)，利用LED燈明場(chǎng)平行正面照明的光源空間布局方式，有效解決了采摘對(duì)象因照明不均導(dǎo)致圖像形成光斑的難題[8]。目前，北京中科原動(dòng)力科技有限公司開發(fā)的番茄采摘機(jī)器人，基于深度學(xué)習(xí)的視覺算法，對(duì)采摘果實(shí)進(jìn)行成熟度判別與毫米級(jí)3D空間位置識(shí)別，可實(shí)現(xiàn)全晝夜無人采摘作業(yè)，雙目立體視覺判別果實(shí)的成熟度并進(jìn)行精確定位，目標(biāo)檢測(cè)精度達(dá)95%，成熟度判斷正確率達(dá)98%，采摘成功率可達(dá)92%，單臺(tái)機(jī)器人服務(wù)面積可達(dá)10畝[9]。

其次，面對(duì)非結(jié)構(gòu)化采摘環(huán)境，還需要考慮到一些特殊的情況，如果實(shí)重疊或者畸形、惡劣天氣的影響等。郗厚印等人針對(duì)識(shí)別過程中果實(shí)重疊的問題，在分析RGB空間下番茄顏色特征的基礎(chǔ)上，采用一種基于改進(jìn)色差算子的OTSU分割方法得到番茄果實(shí)區(qū)域，然后通過凸包處理、泛洪填充、霍夫線檢測(cè)等方法得到番茄的真實(shí)輪廓，并利用最小二乘法對(duì)橢圓擬合得到番茄的輪廓線及計(jì)算質(zhì)心進(jìn)行立體匹配[10]。對(duì)于惡劣天氣，趙赫等人對(duì)YOLOv4網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn)，采用雨紋渲染清晰圖片模擬降雨天氣的數(shù)據(jù)增強(qiáng)方法，并提出了適合番茄的簡(jiǎn)化兩點(diǎn)式抓取表示法，在目標(biāo)檢測(cè)的同時(shí)生成抓取預(yù)測(cè)點(diǎn)及夾取軌跡，從而完成模型在惡劣天氣下的果實(shí)抓取任務(wù)[11]。

最后，為保證番茄在運(yùn)輸過程中減少損傷，常常在綠色成熟狀態(tài)時(shí)進(jìn)行采摘，這就對(duì)機(jī)器進(jìn)行果實(shí)識(shí)別又提出了新的要求。針對(duì)此情況，李寒等人提出了基于機(jī)器視覺的綠色番茄檢測(cè)和定位方法，該算法通過將紋理信息、顏色信息和番茄的形狀信息相結(jié)合，完成了對(duì)綠色果實(shí)的識(shí)別，解決了綠色番茄果實(shí)與葉子、莖稈等背景顏色接近難以識(shí)別的難題，滿足了番茄種植者對(duì)綠色果實(shí)自動(dòng)采摘的需求，為今后番茄采摘機(jī)器人采摘紅色和綠色成熟番茄提供了一定的參考[12]。針對(duì)非結(jié)構(gòu)化環(huán)境下番茄采摘過程中的目標(biāo)識(shí)別問題，張永宏等人提出一種改進(jìn)的YOLOv5算法，將識(shí)別平均精度提高至95.6%，解決了非結(jié)構(gòu)環(huán)境下番茄果實(shí)目標(biāo)識(shí)別精度低的問題，有效提高了受枝葉遮擋、果實(shí)重疊等因素干擾的果實(shí)目標(biāo)識(shí)別精度，以滿足采摘機(jī)器人的設(shè)計(jì)需求[13]。趙源深等人開發(fā)出一種基于非顏色編碼的番茄識(shí)別算法，獲得能夠識(shí)別成熟番茄的分類器，該分類器可以對(duì)光照條件的變化、果實(shí)粘連以及枝葉遮擋等狀態(tài)有較強(qiáng)的自適應(yīng)性和魯棒性，因此滿足采摘機(jī)器人對(duì)目標(biāo)識(shí)別的技術(shù)要求[14]。

3. 問題與趨勢(shì)

目前，在實(shí)際的采摘過程中，因?yàn)椴烧媾R的條件復(fù)雜多變，使得采摘過程的目標(biāo)識(shí)別精度并不能達(dá)到理想的100%。盡管研究人員不斷地更新技術(shù)，但在圖像采集、圖像處理、特征提取、分類算法以及環(huán)境因素等方面依然存在一些問題。

首先，在圖像采集方面，考慮到不同光照條件、遮擋物，以及相機(jī)的安裝位置和角度，都有可能導(dǎo)致圖像采集設(shè)備無法準(zhǔn)確捕捉番茄果實(shí)的特征，使得目標(biāo)果實(shí)無法被完整識(shí)別，或出現(xiàn)識(shí)別錯(cuò)誤的情況，從而影響后續(xù)的算法計(jì)算過程。

其次，在圖像處理方面，可能存在不同程度的噪聲干擾、色彩失真等問題，盡管現(xiàn)有的技術(shù)可以利用形態(tài)學(xué)操作去除噪聲，但仍無法百分百消除，從而影響后續(xù)的特征提取。而對(duì)于特征提取，如何選擇有效特征以及特征的數(shù)量，也至關(guān)重要。

最后，選擇合適的算法對(duì)于提高分類的準(zhǔn)確性和效率至關(guān)重要。目前，研究者積極應(yīng)用深度學(xué)習(xí)算法、YOLOv系列算法、RGB或HIS等顏色模型探索果實(shí)的識(shí)別過程，但因?yàn)椴烧膶?shí)時(shí)性要求，機(jī)器人需要在較短時(shí)間內(nèi)完成目標(biāo)識(shí)別任務(wù)，同時(shí)需要采集較大的數(shù)據(jù)集進(jìn)行訓(xùn)練，這就對(duì)分類算法提出了更高的要求。此外，番茄的生長(zhǎng)環(huán)境，如天氣的變化以及種植背景，可能包含多種植物、土壤、陰影等干擾因素，均增加了目標(biāo)識(shí)別的難度。為解決這些問題，研究人員采取了一系列措施，如優(yōu)化圖像采集設(shè)備、改進(jìn)圖像處理算法、選擇合適的特征提取方法和分類算法、構(gòu)建高質(zhì)量的數(shù)據(jù)集、提高算法的魯棒性和適應(yīng)性等。同時(shí)，還需要考慮機(jī)器人系統(tǒng)的整體設(shè)計(jì)和實(shí)現(xiàn)方式，以確保番茄采摘機(jī)器人能夠在復(fù)雜多變的環(huán)境中穩(wěn)定可靠地工作。然而，想要機(jī)器人從實(shí)驗(yàn)階段走到真正的使用階段，除考慮現(xiàn)有的技術(shù)瓶頸外，還需要考慮機(jī)器人的制造成本。

番茄采摘機(jī)器人目標(biāo)識(shí)別的發(fā)展趨勢(shì)主要體現(xiàn)在：隨著識(shí)別算法的不斷開發(fā)應(yīng)用和優(yōu)化，采摘機(jī)器人的采摘效率和識(shí)別精度也在不斷地提高。同時(shí)，采摘的實(shí)時(shí)性也得到了極大的提高。未來的采摘機(jī)器人將融合多種傳感器設(shè)備，以實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的多維度、高精度的識(shí)別。此外，將先進(jìn)的算法和多融合傳感器技術(shù)相結(jié)合，能夠加快視覺系統(tǒng)對(duì)信息的處理速度，同時(shí)，利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等不同類型的算法，不斷提高對(duì)成熟果實(shí)作物的識(shí)別精度，這些趨勢(shì)都將推動(dòng)番茄采摘機(jī)器人技術(shù)的不斷進(jìn)步。

結(jié)語(yǔ)

目前，我國(guó)的采摘機(jī)器人研發(fā)項(xiàng)目眾多，但距離產(chǎn)業(yè)化還有一定的要求。隨著農(nóng)業(yè)現(xiàn)代化的發(fā)展，對(duì)于采摘機(jī)器的使用和智能化的要求也越來越高。市場(chǎng)上，番茄果實(shí)大都以新鮮番茄的形式存在，而在采摘過程中保證花萼不受損害，更容易保證果實(shí)不受污染且更容易運(yùn)輸保存。因此，未來花萼未受損將成為我國(guó)溫室番茄果實(shí)采摘機(jī)器人研究的新方向。此外，在復(fù)雜環(huán)境中快速識(shí)別目標(biāo)，保證一次番茄單果采摘作業(yè)耗時(shí)達(dá)到或超過人工耗時(shí)（1-2秒），也是溫室番茄單果采摘機(jī)器人的目標(biāo)之一。隨著技術(shù)的更新，期望采摘機(jī)器人能夠更快更好地適應(yīng)不同的種植環(huán)境，從而實(shí)現(xiàn)番茄果實(shí)的快速、無損采摘。

參考文獻(xiàn)：

[1]周濤，張棟，周毛，等.番茄采摘機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)[J].安徽農(nóng)業(yè)科學(xué)，2018， 46（28）：182-185.

[2]于豐華，周傳琦，楊鑫，等.日光溫室番茄采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（1）：41-49.

[3]王曉楠，伍萍輝，馮青春，等.番茄采摘機(jī)器人系統(tǒng)設(shè)計(jì)與試驗(yàn)[J].農(nóng)機(jī)化研究，2016（4）：94-98.

[4]楊延麗.溫室番茄采摘機(jī)器人系統(tǒng)的研究[J].遼寧科技學(xué)院學(xué)報(bào)，2021， 23（4）：10-13，104.

[5]林森，許童羽，葛禹豪，等.基于改進(jìn)YOLOv5l的設(shè)施番茄3D信息檢測(cè)方法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2024，45（1）：274-284.

[6]顧德祥，吳旭亮，楊啟志.果蔬采摘機(jī)器人的設(shè)計(jì)與分析[J].農(nóng)業(yè)裝備技術(shù)，2024，50（4）：10-15.

[7]王瑾，王瑞榮，李曉紅.番茄采摘機(jī)器人目標(biāo)識(shí)別方法研究[J].江蘇農(nóng)業(yè)科學(xué)，2021，49（20）：217-222.

[8]李劍鋒，顏恒杰，楊啟志，等.番茄采摘機(jī)器人視覺夜間檢測(cè)系統(tǒng)研究[J].農(nóng)業(yè)裝備技術(shù)，2024，50（2）：19-22.

[9]北京中科原動(dòng)力科技有限公司.中科原動(dòng)力智農(nóng)番茄采摘機(jī)器人[EB/OL].[2025-01-07].https：//www.aiforcetech.com/productinfo/2054213.html？templateId =1602114#.

[10]郗厚印，張棟，周濤，等.采摘機(jī)器人識(shí)別抓取重疊番茄果實(shí)的方法研究[J].農(nóng)機(jī)化研究，2021，43（12）：17-23，50.

[11]趙赫，李衛(wèi)國(guó)，楊止謙.基于改進(jìn)YOLOv4的降雨天氣下番茄目標(biāo)與抓取位置檢測(cè)[J].江蘇農(nóng)業(yè)科學(xué)，2023，51（1）：202-210.

[12]李寒，張漫，高宇，等.溫室綠熟番茄機(jī)器視覺檢測(cè)方法[J].農(nóng)業(yè)工程學(xué)報(bào)， 2017（S1）：328-334.

[13]張永宏，李宇超，董天天，等.非結(jié)構(gòu)化環(huán)境下番茄采摘機(jī)器人目標(biāo)識(shí)別與檢測(cè)[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2024（4）：205-213.

[14]趙源深，貢亮，周斌，等.西紅柿采摘機(jī)器人非顏色編碼化目標(biāo)識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（7）：1-7.

作者簡(jiǎn)介：苗鳳麗，碩士研究生，助教，13782703637@163.com，研究方向：機(jī)器人。