柑橘果實(shí)采摘機(jī)器人目標(biāo)識(shí)別算法研究進(jìn)展

收稿日期：2024-04-15

基金項(xiàng)目：云南省科技廳重大科技專項(xiàng)（202302AE0900200105）；云南省科技廳科技計(jì)劃農(nóng)業(yè)聯(lián)合專項(xiàng)（202301BD070001-105）

作者簡(jiǎn)介：趙玉清（1975-），男，白族，云南大理人，碩士，教授，主要研究方向?yàn)橹悄苻r(nóng)業(yè)機(jī)械裝備。（E-mail）331863839@qq.com

通訊作者：張 悅，（E-mail）zyue1234@163.com

摘要： 水果采摘機(jī)器人作業(yè)是提高水果采摘效率，解決勞動(dòng)力短缺的重要途經(jīng)。準(zhǔn)確高效的柑橘果實(shí)采摘機(jī)器人已成為農(nóng)業(yè)機(jī)器人研究的熱點(diǎn)之一。目標(biāo)識(shí)別是柑橘果實(shí)采摘機(jī)器人精準(zhǔn)高效完成采摘作業(yè)的首要任務(wù)與關(guān)鍵技術(shù)。本文綜述了近年來(lái)應(yīng)用于柑橘果實(shí)采摘機(jī)器人中的傳統(tǒng)目標(biāo)識(shí)別算法、機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法，闡述了不同目標(biāo)識(shí)別算法的特征及應(yīng)用情況，最后指出當(dāng)前柑橘果實(shí)目標(biāo)識(shí)別算法存在的問(wèn)題，并對(duì)柑橘果實(shí)目標(biāo)識(shí)別算法發(fā)展趨勢(shì)進(jìn)行展望。

關(guān)鍵詞： 柑橘；采摘機(jī)器人；目標(biāo)識(shí)別；研究進(jìn)展

中圖分類號(hào)： TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1000-4440（2024）08-1552-09

Research progress on target recognition algorithms for citrus fruit picking robots

ZHAO Yuqing1，2，3， JIA Aoying1，3， WANG Baijuan4， DENG Hangyu1，3， XIANG Kaiming1，3， ZHANG Yue3，5

（1.Faculty of Mechanical and Electrical Engineering， Yunnan Agricultural University， Kunming 650201， China;2.Faculty of Transportation Engineering， Kunming University of Science and Technology， Kunming 650093， China;3.The Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province， Kunming 650201， China;4.College of Tea Science， Yunnan Agricultural University， Kunming 650201， China;5.College of Big Data， Yunnan Agricultural University， Kunming 650201， China）

Abstract： Fruit picking robot operation is an important way to improve fruit picking efficiency and solve labor shortage. Accurate and efficient citrus fruit picking robot has become one of the hotspots in agricultural robot research. Target recognition is the primary task and key technology for citrus fruit picking robots to complete picking operations accurately and efficiently. The traditional target recognition algorithms， machine learning algorithms and deep learning algorithms applied to citrus fruit picking robots in recent years were reviewed in this paper， and the characteristics and applications of different target recognition algorithms were discussed. Finally， the problems existing in the current citrus fruit target recognition algorithms were pointed out， and the future development trend of citrus fruit target recognition algorithms was prospected.

Key words： citrus;picking robot;target recognition;research progress

隨著國(guó)民經(jīng)濟(jì)水平的提升和居民生活質(zhì)量的提高，人們對(duì)水果的需求量和消費(fèi)量在日益增加[1]。柑橘是全球最重要的經(jīng)濟(jì)農(nóng)作物之一，是世界第一大類水果。自2012年起，中國(guó)柑橘的種植面積和產(chǎn)量均位居世界第一，2022年，中國(guó)柑橘果實(shí)總產(chǎn)量高達(dá)6.0×107 t[2]，約為全球總產(chǎn)量的25%。采摘是柑橘生產(chǎn)過(guò)程中復(fù)雜程度最高、勞動(dòng)力需求最大的一個(gè)環(huán)節(jié)。傳統(tǒng)的柑橘果實(shí)采收基本依賴人工作業(yè)，采摘效率低下，同時(shí)隨著中國(guó)人口老齡化，勞動(dòng)力短缺，導(dǎo)致人工采摘柑橘果實(shí)的生產(chǎn)成本增加和果農(nóng)收入減少[3]。為降低采摘成本，提高果農(nóng)收入，促進(jìn)中國(guó)柑橘產(chǎn)業(yè)更快更好發(fā)展，研制柑橘果實(shí)采摘機(jī)器人是當(dāng)前智慧種植的一個(gè)重要方向。

柑橘果實(shí)自動(dòng)采摘作業(yè)主要包括果實(shí)感知識(shí)別、精確定位和機(jī)械臂采摘3個(gè)部分。柑橘果實(shí)采摘機(jī)器人首先利用果實(shí)識(shí)別系統(tǒng)從復(fù)雜的果園環(huán)境中感知和識(shí)別可采摘的柑橘果實(shí)，其次通過(guò)定位技術(shù)確定柑橘果實(shí)的位置坐標(biāo)，最后根據(jù)果實(shí)的坐標(biāo)，機(jī)械臂按規(guī)定的路徑運(yùn)動(dòng)到相應(yīng)位置，通過(guò)末端執(zhí)行器完成采摘作業(yè)。其中，柑橘果實(shí)的識(shí)別是實(shí)現(xiàn)自動(dòng)采摘的首要任務(wù)，也是機(jī)器人完成精準(zhǔn)采摘的關(guān)鍵技術(shù)之一，對(duì)智慧種植有重要的意義[4]。柑橘果實(shí)目標(biāo)識(shí)別技術(shù)是采用視覺(jué)圖像采集、圖像分割與目標(biāo)識(shí)別等技術(shù)，從采集的圖像數(shù)據(jù)中識(shí)別出可采摘的柑橘目標(biāo)，并進(jìn)行相關(guān)信息的分析和處理[5]。目前柑橘果實(shí)目標(biāo)識(shí)別方法主要有傳統(tǒng)目標(biāo)識(shí)別方法、機(jī)器學(xué)習(xí)方法和基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)方法等3種[6]。

1 傳統(tǒng)目標(biāo)識(shí)別算法

傳統(tǒng)目標(biāo)識(shí)別算法是基于顏色、幾何形狀、紋理等特征對(duì)圖像進(jìn)行分割及識(shí)別目標(biāo)的檢測(cè)和分類[7]?；陬伾卣鞯母涕俟麑?shí)識(shí)別方法主要是通過(guò)選取合適的顏色模型，利用柑橘果實(shí)與背景的顏色差異進(jìn)行區(qū)分；基于紋理特征的柑橘識(shí)別方法主要是通過(guò)柑橘果實(shí)與背景的細(xì)微紋理、形狀及色彩差異進(jìn)行區(qū)分[8]。Kurtulmus等[9]采用顏色和Gabor紋理特征對(duì)未成熟柑橘果實(shí)進(jìn)行識(shí)別，測(cè)試集柑橘果實(shí)成功識(shí)別率為75.3%，模型對(duì)枝葉遮擋的柑橘果實(shí)識(shí)別精度較低。Lu等[10]利用數(shù)碼相機(jī)獲取不同天氣（晴天和陰天）和不同遮擋條件下樹冠內(nèi)的柑橘果實(shí)圖像，采用融合色差信息和歸一化RGB模型的圖像分割方法，通過(guò)檢測(cè)色差圖的邊緣以及這些邊緣的拐角點(diǎn)，構(gòu)建輪廓片段集合，根據(jù)輪廓片段的長(zhǎng)度、彎曲度和凹凸性選擇有效子集，并對(duì)有效輪廓片段組合分析和橢圓擬合，以恢復(fù)被遮擋的柑橘果實(shí)輪廓，該方法可有效恢復(fù)被遮擋柑橘果實(shí)圖像，相對(duì)誤差為5.27%，但邊緣特征處理方法較為復(fù)雜。鄒繼欣等[11]提出了基于DSP（數(shù)字信號(hào)處理技術(shù)）的柑橘果實(shí)自動(dòng)識(shí)別系統(tǒng)，該系統(tǒng)通過(guò)提取顏色空間中紅色色差分量，使用DSP對(duì)柑橘視頻數(shù)據(jù)進(jìn)行圖像分割、柑橘特征提取，成功識(shí)別出柑橘果實(shí)，該系統(tǒng)識(shí)別自然光環(huán)境下單個(gè)柑橘果實(shí)的時(shí)間小于40 ms且準(zhǔn)確率達(dá)96.26%，但光照不足時(shí)識(shí)別誤差較大。鄒偉[12]利用工業(yè)相機(jī)獲取柑橘果實(shí)圖像，采用HSV顏色模型檢測(cè)柑橘成熟度，準(zhǔn)確率達(dá)到90%以上。

上述研究中當(dāng)柑橘果實(shí)所在背景簡(jiǎn)單時(shí)，基于顏色、形狀和紋理特征的柑橘果實(shí)識(shí)別均取得了較高的精度，然而，在實(shí)際的果園環(huán)境中，常出現(xiàn)果實(shí)成簇重疊、枝條枝葉遮擋、光照變化等現(xiàn)象，在這些情況下，上述目標(biāo)識(shí)別方法的準(zhǔn)確率明顯下降。

2 基于機(jī)器學(xué)習(xí)的目標(biāo)識(shí)別算法

機(jī)器學(xué)習(xí)是一種利用信息（數(shù)據(jù)）或經(jīng)驗(yàn)優(yōu)化計(jì)算機(jī)算法的研究方法[13]，是人工智能的核心技術(shù)和實(shí)現(xiàn)手段。機(jī)器學(xué)習(xí)算法可分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)3大類。監(jiān)督學(xué)習(xí)是利用一組已知類別的樣本調(diào)整分類器的參數(shù)，實(shí)現(xiàn)目標(biāo)識(shí)別與分類[6]。方東玉[14]利用HSV顏色模型中S分量進(jìn)行圖像灰度處理，采用Canny邊緣檢測(cè)算法提取柑橘果實(shí)的周長(zhǎng)、面積與圓形度等信息作為特征參數(shù)輸入到支持向量機(jī)（SVM）分類器中進(jìn)行訓(xùn)練，驗(yàn)證集柑橘果實(shí)等級(jí)分類檢測(cè)準(zhǔn)確率達(dá)95%以上。李華[15]利用主成分分析（PCA）算法對(duì)柑橘果實(shí)顏色、形狀和紋理等31個(gè)特征進(jìn)行降維，比較KNN（K-近鄰）、SVM、MLP（多層感知機(jī)）和Adaboost（Adaptive Boosting）4種機(jī)器學(xué)習(xí)模型的分類效果，發(fā)現(xiàn)SVM的分類精度較好，準(zhǔn)確率達(dá)到93.43%。Lin等[16]利用深度濾波器和密度聚類方法將濾波后的圖像中相鄰點(diǎn)聚成簇，再基于貝葉斯分類器的圖像分割方法去除復(fù)雜的果園背景，構(gòu)建了一個(gè)基于顏色、梯度和幾何特征的支持向量機(jī)分類器，用于果園環(huán)境中柑橘果實(shí)的檢測(cè)，識(shí)別精確度為98.28%。申飄[17]為檢測(cè)柑橘果皮表面是否存在缺陷，構(gòu)建了基于改進(jìn)天鷹算法的支持向量機(jī)（IAO-SVM）分類模型，并與基于天鷹算法的支持向量機(jī)模型 （AO-SVM）、基于粒子群算法的支持向量機(jī)模型 （PSO-SVM）、誤差逆向傳播的神經(jīng)網(wǎng)絡(luò)模型 （BP）和SVM等機(jī)器學(xué)習(xí)模型相比較，發(fā)現(xiàn)IAO-SVM模型效果最好，分類準(zhǔn)確率達(dá)95.83%。Cai等[18]在相同的光照條件下采集柑橘圖像，利用變分模型去除柑橘圖像的噪聲，基于植物細(xì)胞群算法（PCSA）優(yōu)化2D-Otsu閾值分割算法，并利用混沌灰狼算法（CGWO）優(yōu)化DT-SVM模型，進(jìn)而實(shí)現(xiàn)柑橘果皮表面的缺陷識(shí)別，總體識(shí)別準(zhǔn)確率達(dá)96.71%。Behera等[19]將殘差網(wǎng)絡(luò)ResNet101的特征提取與SVM的分類相結(jié)合，對(duì)12個(gè)柑橘品種進(jìn)行分類，識(shí)別準(zhǔn)確率高達(dá)99.81%。半監(jiān)督學(xué)習(xí)是利用有限的已知樣本類別數(shù)據(jù)和大量的未知樣本類別數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練，常用于標(biāo)記樣本數(shù)量較少的情況[20]。為解決柑橘果實(shí)套袋后形狀發(fā)生變化導(dǎo)致的檢測(cè)困難問(wèn)題，呂佳等[21]采集了不同光照（順光、逆光、側(cè)光）和不同遮擋程度下的套袋柑橘果實(shí)圖像，提出一種基于教師學(xué)生模型的SPM-YOLO V5算法，結(jié)果發(fā)現(xiàn)，在無(wú)標(biāo)記樣本1 500張和有標(biāo)記樣本500張時(shí)檢測(cè)效果最佳，識(shí)別精確度達(dá)到85%，嚴(yán)重遮擋時(shí)總體識(shí)別精確度達(dá)到82.6%。Roy等[22]采集了不同光照（順光、逆光）和不同成熟度（紅色、綠色）下的蘋果果實(shí)圖像，利用半監(jiān)督聚類算法進(jìn)行任意形狀的蘋果樹簇中的蘋果數(shù)量估算，該方法對(duì)蘋果的計(jì)數(shù)準(zhǔn)確率為89%～98%。Ciarfuglia等[23]將弱邊界框標(biāo)簽訓(xùn)練分割算法和三維運(yùn)動(dòng)結(jié)構(gòu)算法相組合，形成一個(gè)完整的半監(jiān)督方法用于識(shí)別不同光照（晴天、陰天）時(shí)的葡萄串，該方法的平均精度均值（mAP0.5）達(dá)到77.23%。無(wú)監(jiān)督學(xué)習(xí)無(wú)需人工標(biāo)注，主要通過(guò)聚類算法實(shí)現(xiàn)目標(biāo)的檢測(cè)，其在小規(guī)模數(shù)據(jù)集上展現(xiàn)強(qiáng)大的優(yōu)勢(shì)[24]。姜欣悅[25]利用工業(yè)相機(jī)獲取柑橘成熟期不同天氣條件下（晴天和陰天）正午和黃昏的柑橘圖像，采用K-Means聚類算法分割圖像，利用基于梯度的Hough變換對(duì)單株柑橘果實(shí)進(jìn)行計(jì)數(shù)，柑橘果實(shí)平均識(shí)別率為92.7%。Sun等[26]改進(jìn)K-Means聚類算法，利用夜間采集的果園圖像，采用SVM模型識(shí)別果皮存在缺陷的柑橘果實(shí)，結(jié)果發(fā)現(xiàn)柑橘果實(shí)缺陷檢測(cè)準(zhǔn)確率為96.32%，精確率為95.24%，召回率為87.91%。

以上研究中采用SVM、深度濾波器、基于貝葉斯分類器等算法實(shí)現(xiàn)了柑橘果實(shí)目標(biāo)的自動(dòng)檢測(cè)及表面缺陷識(shí)別，識(shí)別準(zhǔn)確率和效率較傳統(tǒng)目標(biāo)識(shí)別算法有所提升，然而這些研究都是針對(duì)特定的數(shù)據(jù)集而展開，識(shí)別方法在不同場(chǎng)景下的通用性還有待提高，且其面對(duì)復(fù)雜的柑橘果園場(chǎng)景時(shí)識(shí)別能力不足。

3 基于深度學(xué)習(xí)目標(biāo)識(shí)別算法

深度學(xué)習(xí)算法是一種新興的、現(xiàn)代的圖像處理和數(shù)據(jù)分析技術(shù)，具有廣闊的應(yīng)用前景。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型是端到端的檢測(cè)模型，可將目標(biāo)的特征提取、特征選擇和特征分類融合在同一模型中[27]。深度學(xué)習(xí)模型在目標(biāo)識(shí)別方面具有獨(dú)特優(yōu)勢(shì)[28]?；谏疃葘W(xué)習(xí)的目標(biāo)識(shí)別算法可分為兩種：兩階段檢測(cè)與單階段檢測(cè)。

3.1 兩階段檢測(cè)

兩階段檢測(cè)是將目標(biāo)定位與目標(biāo)分類分開，先利用區(qū)域建議網(wǎng)絡(luò)（RPN）生成候選區(qū)域，再對(duì)這些區(qū)域進(jìn)行分類和定位，又稱為基于候選區(qū)域的檢測(cè)[29]。常見的兩階段目標(biāo)檢測(cè)模型有R-CNN[30]、Fast R-CNN[31]、Faster R-CNN、Mask R-CNN、Cascade R-CNN[32]。其中，F(xiàn)aster R-CNN為R-CNN系列的最新優(yōu)化模型，同時(shí)也是公認(rèn)的第一個(gè)真正實(shí)現(xiàn)端到端的深度學(xué)習(xí)檢測(cè)算法[33]。任會(huì)等[34]利用獲取的果園影像，比較了傳統(tǒng)目標(biāo)檢測(cè)方法與Faster R-CNN方法對(duì)柑橘果實(shí)的識(shí)別效果，發(fā)現(xiàn)無(wú)遮擋的情況下，傳統(tǒng)目標(biāo)檢測(cè)方法比深度學(xué)習(xí)方法更具優(yōu)勢(shì)，而在存在遮擋、果實(shí)重疊時(shí)，深度學(xué)習(xí)方法具有更好的識(shí)別效果。Yang等[35]利用雙目相機(jī)采集了不同時(shí)間（早、中、晚）和不同光照條件（前照燈、背光燈、側(cè)光燈）下的柑橘果園圖像，基于Mask R-CNN和分支段合并算法，開發(fā)了可同時(shí)檢測(cè)柑橘果實(shí)和分支的集成系統(tǒng)。在Mask R-CNN識(shí)別出的分塊掩膜區(qū)域的基礎(chǔ)上，計(jì)算掩膜區(qū)的最小外接矩形，得到更精確的邊界框，利用分支段合并算法重建分支和主干。該系統(tǒng)對(duì)柑橘果實(shí)的平均識(shí)別精度為88.15%。黃磊磊等[36]在Mask R-CNN中引入神經(jīng)網(wǎng)絡(luò)模塊（Pointrend）以解決在不同光照（正光、背光）條件下柑橘果實(shí)受到遮擋與重疊時(shí)的輪廓分割問(wèn)題，采用該方法對(duì)柑橘果實(shí)識(shí)別的平均精確度達(dá)93.66%，分割精確度達(dá)96.30%。Behera等[37]基于手機(jī)獲取自然環(huán)境下的柑橘圖像，利用平均交并比函數(shù)（MIoU）來(lái)代替?zhèn)鹘y(tǒng)的交并比（IoU）函數(shù)改進(jìn)Faster R-CNN模型并進(jìn)行柑橘果實(shí)識(shí)別，改進(jìn)后的模型對(duì)柑橘果實(shí)的識(shí)別精度達(dá)97.94%。Lu等[38]利用數(shù)碼相機(jī)采集自然環(huán)境中柑橘果園影像，采用深淺層特征融合的方法增加Mask R-CNN主干網(wǎng)絡(luò)在每個(gè)階段提取的特征信息量，并引入組合連接塊以減少通道數(shù)對(duì)Mask R-CNN進(jìn)行改進(jìn)，改進(jìn)后的Mask R-CNN模型對(duì)綠色柑橘的平均識(shí)別精度達(dá)95.36%，比原模型提高1.42%。Min等[39]通過(guò)對(duì)CNN不同層次注意力的考察，將不同層次注意力特征進(jìn)行整合形成一個(gè)綜合注意力，建立了一個(gè)多尺度注意力網(wǎng)絡(luò)（MSANet）用于水果果實(shí)的識(shí)別。孫國(guó)奇[40]利用深度相機(jī)（Azure Kinect DK）和數(shù)碼相機(jī)獲取不同天氣條件（晴天和陰天）、不同時(shí)間（上午和下午）柑橘果園圖像，采用加權(quán)雙向特征金字塔網(wǎng)絡(luò)（BiFPN）及MobileNet V3特征提取網(wǎng)絡(luò)對(duì)Mask R-CNN模型進(jìn)行優(yōu)化，改進(jìn)后的Mask R-CNN模型對(duì)柑橘果實(shí)的平均識(shí)別精度為87.99%，相較原算法提高2.38%。賈艷平等[41]利用數(shù)碼相機(jī)采集自然環(huán)境中不同的水果圖像，在Faster R-CNN框架中添加一個(gè)似然函數(shù)和一個(gè)正則化函數(shù)以保證每個(gè)卷積層的大小與核參數(shù)在合理范圍內(nèi)，進(jìn)而開展不同水果的識(shí)別，該算法對(duì)19種水果的整體識(shí)別準(zhǔn)確率達(dá)到99.69%，其中對(duì)橙果實(shí)識(shí)別率為77.30%。

上述研究大多針對(duì)采集圖像的屬性，通過(guò)對(duì)R-CNN模型的部分改進(jìn)以提升目標(biāo)識(shí)別的準(zhǔn)確率。雖然這些研究取得了一定的效果，但大多數(shù)是對(duì)算法的局部調(diào)整，并沒(méi)有形成一個(gè)通用的普適的改進(jìn)算法。

3.2 單階段檢測(cè)

單階段檢測(cè)則是省略生成候選區(qū)域的步驟，直接在特征圖上生成目標(biāo)的類概率和位置坐標(biāo)，再進(jìn)行分類回歸。單階段檢測(cè)過(guò)程相對(duì)于兩階段檢測(cè)過(guò)程更加簡(jiǎn)單。常見的單階段目標(biāo)檢測(cè)模型有YOLO、SSD[42]、MobileNet[43]、ShuffleNet[44]、Swin-Transformer[45]。其中，YOLO系列模型應(yīng)用最為廣泛。為實(shí)現(xiàn)柑橘果實(shí)產(chǎn)量的早期預(yù)測(cè)，宋中山等[46]利用手機(jī)在自然環(huán)境中采集不同天氣狀況（晴天、陰天）下的綠色柑橘圖像，采用密集連接的卷積網(wǎng)絡(luò)（DenseNet）替換YOLO V3模型中特征提取網(wǎng)絡(luò)Darknet53后的3個(gè)下采樣層，建立改進(jìn)的D-YOLO V3算法，其對(duì)綠色柑橘果實(shí)的識(shí)別精確率達(dá)83.01%，平均單張圖像識(shí)別時(shí)間為0.28 s。陳文康等[47]在YOLO V4的每個(gè)不同尺度特征的輸出層前增加調(diào)整層，修改回歸框損失函數(shù)，并對(duì)網(wǎng)絡(luò)中不重要的通道和網(wǎng)絡(luò)層進(jìn)行剪枝，建立改進(jìn)的YOLO V4模型，并將其與YOLO V4、MLKP（Multi-scale Location-aware Kernel Representation）和Cascade R-CNN 3種目標(biāo)檢測(cè)算法用于生長(zhǎng)期（青果期）和成熟期柑橘果實(shí)的識(shí)別，研究發(fā)現(xiàn)改進(jìn)后的YOLO V4模型在識(shí)別生長(zhǎng)期（青果期）柑橘果實(shí)時(shí)準(zhǔn)確率分別比YOLO V4、MLKP和Cascade R-CNN模型提高3個(gè)百分點(diǎn)、7個(gè)百分點(diǎn)和4個(gè)百分點(diǎn)，在識(shí)別成熟期柑橘果實(shí)時(shí)準(zhǔn)確率分別提高4個(gè)百分點(diǎn)、7個(gè)百分點(diǎn)和4個(gè)百分點(diǎn)，改進(jìn)后的YOLO V4算法識(shí)別平均準(zhǔn)確率達(dá)96.04%，且平均單張圖像的檢測(cè)時(shí)間為0.06 s。劉芳[48]采用LEIoU函數(shù)作為回歸框損失函數(shù)并優(yōu)化相關(guān)參數(shù)對(duì)YOLO V5模型進(jìn)行改進(jìn)，并用于柑橘果園圖像的識(shí)別，發(fā)現(xiàn)改進(jìn)后的算法對(duì)柑橘果實(shí)的平均識(shí)別精度高達(dá)98.9%，相較于原算法提高了2.7個(gè)百分點(diǎn)。Chen等[49]通過(guò)在YOLO V4網(wǎng)絡(luò)不同尺度特征的輸出層前加入SimAM（A simple，parameter-free attention module for convolutional neural networks）注意力模塊，在網(wǎng)絡(luò)頸部上采樣前加入深度可分離卷積模塊，采用基于科學(xué)控制的神經(jīng)網(wǎng)絡(luò)剪枝（SCOP）算法對(duì)網(wǎng)絡(luò)進(jìn)行剪枝，將其用于不同果實(shí)生長(zhǎng)階段柑橘果園圖像的識(shí)別，發(fā)現(xiàn)改進(jìn)后的算法對(duì)果實(shí)生長(zhǎng)期和成熟期輕微遮擋的柑橘果實(shí)識(shí)別準(zhǔn)確率分別為94.15%和95.32%，嚴(yán)重遮擋的柑橘果實(shí)識(shí)別準(zhǔn)確率分別為90.19%和91.02%。莊昊龍等[50]在YOLO V5的主干部分中引入SE注意力機(jī)制，采用DeepSort（Deep learning based SORT）算法為每個(gè)柑橘果實(shí)分配獨(dú)立的身份編號(hào)（ID），實(shí)現(xiàn)柑橘果實(shí)的精確計(jì)數(shù)，改進(jìn)后的算法對(duì)不同光照和不同遮擋情況下的柑橘果實(shí)平均識(shí)別準(zhǔn)確率達(dá)93.712%，比CenterNet、EfficientDet、SSD、YOLO V4、YOLOX等模型分別提高5.753個(gè)百分點(diǎn)、9.404個(gè)百分點(diǎn)、14.525個(gè)百分點(diǎn)、8.992個(gè)百分點(diǎn)、2.555個(gè)百分點(diǎn)。Jing等[51]在YOLO V7-tiny網(wǎng)絡(luò)基礎(chǔ)上引入BiFormer雙層路由注意力機(jī)制，并使用輕量化卷積GSConv代替常規(guī)卷積，在頸部網(wǎng)絡(luò)中加入VoVGSCSP模塊，并在主干網(wǎng)絡(luò)中采用部分卷積（PConv）代替簡(jiǎn)化的高效層聚合網(wǎng)絡(luò)（ELAN），建立了YOLO V7-tiny-BVP目標(biāo)識(shí)別網(wǎng)絡(luò)，并利用其對(duì)手機(jī)采集的不同光照、不同角度和不同遮擋條件下的柑橘圖像中的果實(shí)進(jìn)行識(shí)別，發(fā)現(xiàn)YOLO V7-tiny-BVP網(wǎng)絡(luò)對(duì)柑橘果實(shí)識(shí)別準(zhǔn)確率達(dá)97.9%，且其網(wǎng)絡(luò)參數(shù)量和占用空間比YOLO V7-tiny分別減少38.47%和4.6 MB。

自然環(huán)境下，柑橘園通常是遠(yuǎn)距離大視場(chǎng)，對(duì)該類場(chǎng)景識(shí)別時(shí)會(huì)存在柑橘果實(shí)被樹葉嚴(yán)重遮擋與小而密集柑橘果實(shí)漏檢的情況。為改善這些問(wèn)題，易詩(shī)等[52]利用感受野更小的CSPResNest50（Cross Stage Partial Network）網(wǎng)絡(luò)作為YOLO V4骨干網(wǎng)絡(luò)進(jìn)行主干特征提取，以提高小目標(biāo)的識(shí)別能力，并采用遞歸特征金字塔網(wǎng)絡(luò)進(jìn)行特征遞歸融合以提高被遮擋和密集分布的柑橘果實(shí)檢測(cè)精度，建立了基于特征遞歸融合YOLO V4網(wǎng)絡(luò)模型（FR-YOLO V4），并利用其對(duì)不同天氣條件和遮擋條件下采集柑橘果園圖像進(jìn)行果實(shí)識(shí)別，發(fā)現(xiàn)FR-YOLO V4算法對(duì)柑橘果實(shí)識(shí)別準(zhǔn)確率達(dá)94.6%，比原算法提高8.9個(gè)百分點(diǎn)。黃彤鑌等[53]為改善小柑橘果實(shí)漏檢問(wèn)題，在YOLO V5中引入注意力機(jī)制模塊（CBAM）并采用α-IoU函數(shù)作為邊界框回歸損失函數(shù)，建立了改進(jìn)的YOLO V5識(shí)別模型。并利用其對(duì)數(shù)碼相機(jī)采集的不同天氣和光照條件、不同焦距的柑橘果園圖像中的果實(shí)進(jìn)行識(shí)別，發(fā)現(xiàn)改進(jìn)后的算法對(duì)柑橘果實(shí)識(shí)別的平均精度為91.3%，比原算法提高1.6個(gè)百分點(diǎn)。Liu等[54]在YOLO V5主干網(wǎng)絡(luò)中引入?yún)f(xié)同注意力模塊（CA），利用BiFPN模塊代替原來(lái)的PANet模塊，并利用變分損失函數(shù)來(lái)計(jì)算模型損失，對(duì)YOLO V5模型進(jìn)行優(yōu)化并用于果園環(huán)境下的柑橘果實(shí)識(shí)別和計(jì)數(shù)，結(jié)果發(fā)現(xiàn)改進(jìn)后的模型對(duì)成熟期柑橘果實(shí)計(jì)數(shù)準(zhǔn)確率達(dá)96.08%，且平均每張圖像的識(shí)別時(shí)間僅為0.019 s。李子茂等[55]將可形變卷積網(wǎng)絡(luò)（Deformable convolution）引入YOLO V4模型，并在特征融合模塊增加新的檢測(cè)尺度并融合SimAM注意力機(jī)制，建立了DS-YOLO優(yōu)化算法以提高模型對(duì)小而密集柑橘果實(shí)的識(shí)別能力，不同天氣（晴天、陰天）條件下采集的柑橘圖像識(shí)別結(jié)果顯示DS-YOLO算法對(duì)綠色柑橘果實(shí)的識(shí)別精確率比YOLO V4算法提高8.75個(gè)百分點(diǎn)。周劍等[56]在YOLO V3的基礎(chǔ)上加入空間金字塔池化（SPP）模塊，使網(wǎng)絡(luò)能夠接受不同尺度的輸入特征，并對(duì)不同尺度的特征進(jìn)行提取，優(yōu)化后的YOLO V3-SPP算法對(duì)自然光照條件下的柑橘果實(shí)分級(jí)檢測(cè)精確率達(dá)95.08%。Li等[57]在YOLO V5中嵌入卷積塊注意力機(jī)制（CBAM），并對(duì)目標(biāo)邊界框損失函數(shù)進(jìn)行優(yōu)化，以提高網(wǎng)絡(luò)的特征提取能力和目標(biāo)框的定位精度，實(shí)現(xiàn)密植環(huán)境下柑橘果實(shí)的準(zhǔn)確識(shí)別，利用Apple2orange數(shù)據(jù)集對(duì)模型的優(yōu)化效果進(jìn)行驗(yàn)證，結(jié)果發(fā)現(xiàn)優(yōu)化后的模型對(duì)自然密植環(huán)境下的柑橘果實(shí)識(shí)別F1值為92.41%，相較于原算法提高2.81%。蹇川等[58]在YOLO V5s網(wǎng)絡(luò)中引入1個(gè)由3層上下文集成塊（Context Aggregation Block）組成的金字塔結(jié)構(gòu)特征提取層，實(shí)現(xiàn)模型的優(yōu)化，并利用其對(duì)不同天氣、不同時(shí)間和不同光照條件下采集的單株整樹、局部冠層圖像中的柑橘果實(shí)進(jìn)行識(shí)別，結(jié)果發(fā)現(xiàn)改進(jìn)后的YOLO V5s對(duì)柑橘果實(shí)識(shí)別的檢測(cè)準(zhǔn)確率與平均精度分別為98.21%與98.07%，對(duì)遮擋、重疊與小目標(biāo)柑橘果實(shí)的平均識(shí)別精度分別為99.4%、97.2%與98.0%。

自然環(huán)境下生長(zhǎng)的柑橘果實(shí)會(huì)受到枝條枝葉遮擋、光照度變化、果實(shí)重疊、未成熟綠色柑橘果實(shí)與枝葉背景顏色相似導(dǎo)致識(shí)別不清等問(wèn)題，湯旸等[59]在YOLO V3-tiny模型的基礎(chǔ)上，利用距離交并比函數(shù)（DIOU）替代原有的損失函數(shù)，采用MobileNetv3-Small作為主干特征提取網(wǎng)絡(luò)，引入簡(jiǎn)化的空間金字塔池化（SPP）和深度可分離卷積層，添加1個(gè)下采樣層將不同尺度間的特征信息充分融合，并引入Hard Swish激活函數(shù)，實(shí)現(xiàn)模型的優(yōu)化，優(yōu)化后的模型對(duì)柑橘果實(shí)的平均識(shí)別精度為96.52%，在光照充足且未遮擋、光照充足且遮擋、光照不足且未遮擋、光照不足且遮擋時(shí)的柑橘果實(shí)正確識(shí)別率分別比原模型提高0.7個(gè)百分點(diǎn)、6.5個(gè)百分點(diǎn)、3.2個(gè)百分點(diǎn)、7.7個(gè)百分點(diǎn)。楊國(guó)等[60]比較了基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLO V5s對(duì)自然環(huán)境中得到的黃色和綠色柑橘圖像中的果實(shí)識(shí)別效果，發(fā)現(xiàn)YOLO V5s模型的識(shí)別性能最好，其對(duì)黃色柑橘果實(shí)和綠色柑橘果實(shí)的平均識(shí)別精度分別達(dá)97.40%和97.20%，平均檢測(cè)速度分別為每秒27幀和32幀。Yang等[61]在YOLO V5s主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)之間加入雙向交叉注意力機(jī)制（BCAM），構(gòu)建BCo-YOLO V5網(wǎng)絡(luò)模型，并用其對(duì)COCO數(shù)據(jù)集和果園采集的柑橘圖像中的果實(shí)進(jìn)行識(shí)別，發(fā)現(xiàn)BCo-YOLO V5算法對(duì)柑橘果實(shí)的平均識(shí)別精度達(dá)97.70%，比原算法提高7.39個(gè)百分點(diǎn)。殷獻(xiàn)博等[62]根據(jù)不同卷積層提取特征的特點(diǎn)與不同注意力機(jī)制的作用，在YOLOX-Nano網(wǎng)絡(luò)引入多個(gè)注意力機(jī)制，進(jìn)行模型改進(jìn)，并對(duì)手機(jī)采集的不同天氣（晴天、陰天、小雨）和不同生長(zhǎng)階段的柑橘圖像中的柑橘新梢進(jìn)行識(shí)別，發(fā)現(xiàn)各改進(jìn)模型平均精度均值達(dá)87.14%。黃輝等[63]在YOLO V5的主干網(wǎng)絡(luò)中引入輕量化XZZMB+0m+eM3tObkoGL1ig==網(wǎng)絡(luò)Mobilenetv3、ShufflenetV2、Ghost等，在頸部（Neck）網(wǎng)絡(luò)中的C3部分融入注意力機(jī)制，并采用Ghost Conv模塊代替Conv模塊，進(jìn)行YOLO V5模型的優(yōu)化并用于柑橘果實(shí)識(shí)別，優(yōu)化后的模型對(duì)柑橘果實(shí)的平均識(shí)別精度（mAP0.5）達(dá)0.957。帖軍等[64]在YOLO V5主干網(wǎng)絡(luò)中添加混合注意力機(jī)制，改進(jìn)網(wǎng)絡(luò)模型特征融合結(jié)構(gòu)和分類損失函數(shù)，提出優(yōu)化的YOLO V5-SC模型。該模型能加強(qiáng)綠色柑橘果實(shí)特征信息的提取，提高綠色柑橘果實(shí)檢測(cè)精度。改進(jìn)后的YOLO V5-SC模型準(zhǔn)確率為91.74%，平均精度為95.09%，在自然環(huán)境下對(duì)綠色柑橘果實(shí)的識(shí)別具有更高的準(zhǔn)確率和更好的魯棒性。

針對(duì)自然環(huán)境中YOLO V4對(duì)柑橘果實(shí)識(shí)別時(shí)精度低、速度慢等問(wèn)題，劉潔等[65]利用MobileNet V2網(wǎng)絡(luò)替換的主干網(wǎng)絡(luò)CSPDarkNet、采用深度可分離卷積替代YOLO V4頸部結(jié)構(gòu)中的傳統(tǒng)卷積，對(duì)YOLO V4模型進(jìn)行改進(jìn)，改進(jìn)后的模型對(duì)不同天氣（晴天、陰天）、不同光照（順光、逆光）、不同角度（仰視、俯視、正面、側(cè)面）和不同遮擋程度下采集的柑橘果園圖像中果實(shí)平均識(shí)別精度達(dá)到97.24%，模型的平均檢測(cè)時(shí)間更短，模型更加輕量化。姜錕[66]在YOLO V4模型中引入SENet注意力模塊、設(shè)計(jì)CSPConv改進(jìn)頸部網(wǎng)絡(luò)結(jié)構(gòu)、重構(gòu)置信度損失函數(shù)、利用BN層的γ系數(shù)作為通道稀疏因子，構(gòu)建了YOLO V4-L識(shí)別模型，并用其對(duì)深度相機(jī)采集的果園中不同光照（正光、背光）、不同天氣（晴天、多云）和不同遮擋程度下的果園影像中的柑橘果實(shí)進(jìn)行識(shí)別，平均精度為95.78%，識(shí)別速度為每秒53.8幀。王乙涵[67]提出的LT-YOLO V7模型對(duì)YOLO V7進(jìn)行了4個(gè)方面的改進(jìn)，即使用輕量級(jí)特征提取網(wǎng)絡(luò)RepVGG作為主干網(wǎng)絡(luò)以加強(qiáng)復(fù)雜背景下柑橘果實(shí)特征提取能力，引入深度可分離卷積至頸部網(wǎng)絡(luò)以降低網(wǎng)絡(luò)參數(shù)量，采用通道注意力機(jī)制（ECA）提高檢測(cè)性能，使用soft DIoU_NMS（soft DIoU Non-Maximum Suppression）算法對(duì)預(yù)測(cè)框進(jìn)行優(yōu)化。優(yōu)化后的LT-YOLO V7模型對(duì)重度遮擋的柑橘果實(shí)平均識(shí)別精度為96.98%。Kong等[68]將動(dòng)態(tài)感知稀疏性的注意力機(jī)制BiFormer模塊引入YOLO V8s的骨干網(wǎng)絡(luò)，并在其Neck中增加1個(gè)小目標(biāo)檢測(cè)層，同時(shí)使用EIoU損失函數(shù)替代原來(lái)的損失函數(shù)，對(duì)YOLO V8s模型進(jìn)行改進(jìn)并用于數(shù)碼相機(jī)采集的不同光照（強(qiáng)光、背光）和不同遮擋情況下的柑橘果園圖像中的果實(shí)進(jìn)行識(shí)別，改進(jìn)后的YOLO V8s對(duì)柑橘果實(shí)的識(shí)別平均準(zhǔn)確率為94.7%。

為解決夜間環(huán)境下被遮擋的柑橘果實(shí)能夠被準(zhǔn)確識(shí)別的問(wèn)題，熊俊濤等[69]采用BiFPN模塊實(shí)現(xiàn)多尺度特征的交叉連接和融合，融入帶有Transformer結(jié)構(gòu)的C3TR模塊，引入CA模塊對(duì)YOLO V5s模型進(jìn)行優(yōu)化，提出BI-YOLO V5s算法。該算法對(duì)夜間采集的柑橘果園圖像中果實(shí)的識(shí)別平均準(zhǔn)確率為97.1%，檢測(cè)速度為每秒40幀。

柑橘果實(shí)表面缺陷不僅影響外觀與質(zhì)量，還會(huì)降低市場(chǎng)價(jià)值，因此，有效識(shí)別柑橘果實(shí)表面缺陷對(duì)保證柑橘果實(shí)質(zhì)量與市場(chǎng)競(jìng)爭(zhēng)力非常重要。孫寶霞等[70]利用YOLO V4深度學(xué)習(xí)模型，進(jìn)行夜間樹上柑橘果實(shí)表征的視覺(jué)檢測(cè)。模型對(duì)測(cè)試集的識(shí)別精確率為95.32%，比Faster R-CNN模型提高5.14個(gè)百分點(diǎn)。Feng等[71]在YOLOX中引入基于殘差和級(jí)聯(lián)的金字塔自底向上特征網(wǎng)絡(luò)（PAFPN）、后驗(yàn)注意力模塊（SE）以及Focal loss和CIoU損失函數(shù)，提出的MSDD-YOLOX算法對(duì)自然環(huán)境中柑橘果皮表面疤痕的識(shí)別準(zhǔn)確率為80.4%。賈雪瑩等[72]在YOLO V7的主干網(wǎng)絡(luò)中引入CA機(jī)制以增強(qiáng)對(duì)缺陷部分的識(shí)別能力，同時(shí)在網(wǎng)絡(luò)頭部中引入CT模塊，融合靜態(tài)和動(dòng)態(tài)上下文表征特征，以提升缺陷部分特征的表達(dá)能力，構(gòu)建的YOLO V7-CACT模型對(duì)果皮有缺陷的柑橘果實(shí)總體識(shí)別精度達(dá)94.4%，單幅柑橘圖像檢測(cè)時(shí)間為2.15 ms。

上述研究探討了YOLO算法對(duì)不同光照條件、不同果實(shí)遮擋程度柑橘果園圖像的識(shí)別效果及有缺陷柑橘果實(shí)的分級(jí)，總體均取得了較高的識(shí)別準(zhǔn)確率，但在柑橘果實(shí)面臨重度遮擋時(shí)的識(shí)別準(zhǔn)確性仍較低。

4 不同目標(biāo)識(shí)別算法的對(duì)比

傳統(tǒng)目標(biāo)識(shí)別算法計(jì)算簡(jiǎn)單，僅需要較少的標(biāo)記數(shù)據(jù)即可實(shí)現(xiàn)模型的調(diào)試和優(yōu)化，在小樣本單一場(chǎng)景下表現(xiàn)較穩(wěn)定。自然環(huán)境中生長(zhǎng)的柑橘果實(shí)未成熟時(shí)顏色呈綠色，與枝葉顏色相似，相比于顏色特征，利用紋理或形狀特征能更好地區(qū)分柑橘果實(shí)與背景。柑橘果實(shí)成熟時(shí)呈現(xiàn)鮮艷的橙色，與枝葉之間存在明顯的顏色差異，利用這種顯著的顏色差異可實(shí)現(xiàn)圖像的有效分割及目標(biāo)和背景的區(qū)分。當(dāng)柑橘果實(shí)受到光照變化產(chǎn)生陰影或柑橘果實(shí)成簇重疊時(shí)，利用紋理特征能較好地區(qū)分柑橘果實(shí)與背景，原因在于紋理特征是柑橘的質(zhì)地和紋路特征，在光照不均勻或果實(shí)重疊時(shí)，柑橘紋理特征變化較小。在果園復(fù)雜的背景條件下，傳統(tǒng)目標(biāo)識(shí)別算法在處理柑橘果實(shí)重疊、枝條遮擋與光照變化等復(fù)雜場(chǎng)景時(shí)，往往難以準(zhǔn)確地提取出有效信息。同時(shí)，傳統(tǒng)目標(biāo)識(shí)別算法依賴于主觀判斷，在更換識(shí)別目標(biāo)時(shí)需人工更改算法設(shè)置，缺乏泛化性。

機(jī)器學(xué)習(xí)算法是從數(shù)據(jù)中學(xué)習(xí)特征和模式，不需要人工干預(yù)和手動(dòng)調(diào)整參數(shù)，根據(jù)數(shù)據(jù)自動(dòng)調(diào)整模型參數(shù)從而實(shí)現(xiàn)對(duì)圖像的目標(biāo)識(shí)別與分類。相較于傳統(tǒng)目標(biāo)識(shí)別算法，機(jī)器學(xué)習(xí)算法有以下優(yōu)點(diǎn)：1）自適應(yīng)性較強(qiáng)，在面對(duì)不同遮擋程度的環(huán)境條件下，能夠更準(zhǔn)確地提取出有效的信息，提高識(shí)別準(zhǔn)確率；2）特征學(xué)習(xí)能力較強(qiáng)，具有學(xué)習(xí)數(shù)據(jù)中復(fù)雜特征與模式的能力，無(wú)需手動(dòng)提取特征，能夠更好地識(shí)別目標(biāo)的形狀、顏色等特征，提高識(shí)別準(zhǔn)確性；3）經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)模型具有較強(qiáng)的泛化能力，能適用于不同品種與生長(zhǎng)狀態(tài)的柑橘果實(shí)識(shí)別。機(jī)器學(xué)習(xí)算法在小規(guī)模數(shù)據(jù)集上可以取得較好的識(shí)別效果，但在處理大規(guī)模數(shù)據(jù)集與復(fù)雜任務(wù)時(shí)，檢測(cè)速度與精度較差，難以滿足實(shí)時(shí)性要求。

深度學(xué)習(xí)算法具有多層次的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以更好地處理一些復(fù)雜情況，提高目標(biāo)識(shí)別的準(zhǔn)確性和魯棒性。采用兩階段與單階段目標(biāo)檢測(cè)算法，在柑橘果實(shí)目標(biāo)識(shí)別上都取得了顯著的成就。不同生長(zhǎng)階段的柑橘果實(shí)會(huì)呈現(xiàn)不同的外觀和形狀特征，面對(duì)這種復(fù)雜環(huán)境，兩階段目標(biāo)檢測(cè)方法可以更準(zhǔn)確地識(shí)別和定位各類柑橘果實(shí)，提供更細(xì)致的目標(biāo)檢測(cè)和定位信息。單階段目標(biāo)檢測(cè)由于實(shí)時(shí)性較高，檢測(cè)速度較快，故適用于柑橘果實(shí)形狀規(guī)則、背景清晰的場(chǎng)景，由于單階段目標(biāo)檢測(cè)通常具有簡(jiǎn)單的模型結(jié)構(gòu)和較高的計(jì)算效率，所以適用于在嵌入式設(shè)備上的應(yīng)用。相較于傳統(tǒng)目標(biāo)識(shí)別算法與機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)算法在圖像分類、目標(biāo)檢測(cè)與位置識(shí)別等方面表現(xiàn)出明顯優(yōu)勢(shì)，尤其是在處理具有隨機(jī)分布、重疊遮擋與多樣形狀等非結(jié)構(gòu)化特征的自然環(huán)境中具有更高的準(zhǔn)確率，但深度學(xué)習(xí)算法需要大規(guī)模的標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練模型，訓(xùn)練時(shí)間較長(zhǎng)，計(jì)算資源消耗高，會(huì)增加計(jì)算成本。

5 發(fā)展趨勢(shì)

雖然傳統(tǒng)目標(biāo)識(shí)別算法、機(jī)器學(xué)習(xí)算法與深度學(xué)習(xí)算法在柑橘果實(shí)目標(biāo)識(shí)別方面均有廣泛的應(yīng)用，但近年來(lái)，深度學(xué)習(xí)算法在柑橘果實(shí)產(chǎn)量預(yù)測(cè)、遮擋重疊果實(shí)識(shí)別及表面缺陷果實(shí)檢測(cè)等方面的應(yīng)用不斷增加。然而，由于果園環(huán)境條件的復(fù)雜多變，目前的柑橘果實(shí)目標(biāo)識(shí)別模型的識(shí)別能力普適性不強(qiáng)。因此，結(jié)合多源數(shù)據(jù)，進(jìn)一步優(yōu)化和改進(jìn)現(xiàn)有算法和模型，仍是未來(lái)研究的重點(diǎn)。從目前柑橘果實(shí)目標(biāo)識(shí)別算法的發(fā)展趨勢(shì)看，以下2個(gè)方向需要重點(diǎn)關(guān)注：

（1）模型算法。一方面，隨著深度學(xué)習(xí)模型的不斷發(fā)展，以YOLO為代表的深度學(xué)習(xí)算法需要不斷改進(jìn)以適應(yīng)不斷變化的柑橘果實(shí)識(shí)別需求，可以通過(guò)在模型中引入注意力機(jī)制、改變特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化損失函數(shù)以及調(diào)整網(wǎng)絡(luò)深度和寬度等方法提高柑橘果實(shí)目標(biāo)識(shí)別的準(zhǔn)確率、加快識(shí)別速度，并降低漏檢率和誤檢率。另一方面，如何借鑒其他領(lǐng)域中表現(xiàn)卓越的大模型，如Transformer等，用于柑橘果實(shí)目標(biāo)識(shí)別，進(jìn)一步提升柑橘果實(shí)目標(biāo)識(shí)別的準(zhǔn)確率和效率。

（2）通用數(shù)據(jù)集。目前研究使用的數(shù)據(jù)集通常是根據(jù)特定研究目的所構(gòu)建。未來(lái)研究中可以構(gòu)建1個(gè)包含不同天氣條件（晴天、陰天）、不同光照條件（順光、逆光）、不同遮擋程度和果實(shí)重疊情況，并覆蓋多個(gè)生長(zhǎng)階段的多品種柑橘影像數(shù)據(jù)集。通過(guò)構(gòu)建這樣一個(gè)全面且多樣化的統(tǒng)一數(shù)據(jù)集，可以提高模型的泛化能力和魯棒性，使得訓(xùn)練出來(lái)的模型能夠更好地適應(yīng)實(shí)際的果園環(huán)境。此外，構(gòu)建數(shù)據(jù)集時(shí)還應(yīng)考慮數(shù)據(jù)的標(biāo)注質(zhì)量和標(biāo)準(zhǔn)化，確保數(shù)據(jù)集的質(zhì)量和可靠性。

參考文獻(xiàn)：

[1] 鄭 涵，羅 強(qiáng)，張益維，等. 柑橘采摘機(jī)器人目標(biāo)檢測(cè)算法研究進(jìn)展[J]. 南方農(nóng)業(yè)，2022，16（21）：119-122.

[2] 國(guó)家統(tǒng)計(jì)局. 2023中國(guó)統(tǒng)計(jì)年鑒[M]. 北京：中國(guó)統(tǒng)計(jì)出版社，2023.

[3] 李會(huì)賓，史 云. 果園采摘機(jī)器人研究綜述[J]. 中國(guó)農(nóng)業(yè)信息，2019，31（6）：1-9.

[4] 毛嘉威. 柑橘采摘機(jī)械臂及其控制系統(tǒng)設(shè)計(jì)[D]. 成都：四川農(nóng)業(yè)大學(xué)，2021.

[5] XIAO Y， TIAN Z， YU J， et al. A review of object detection based on deep learning[J]. Multimedia Tools and Applications，2020，79（33/34）：23729-23791.

[6] 孔翰博，王克強(qiáng)，蔡 肯，等. 基于機(jī)器視覺(jué)的采摘機(jī)器人目標(biāo)識(shí)別定位研究應(yīng)用進(jìn)展[J]. 電子技術(shù)與軟件工程，2022（10）：160-165.

[7] TIAN Y， YANG G， WANG Z， et al. Instance segmentation of apple flowers using the improved Mask R-CNN model[J]. Biosystems Engineering，2020，193：264-278.

[8] 宋懷波，尚鈺瑩，何東健. 果實(shí)目標(biāo)深度學(xué)習(xí)識(shí)別技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（1）：1-19.

[9] KURTULMUS F， LEE W S， VARDAR. A green citrus detection using ‘eigenfruit’， color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture，2011，78（2）：140-149.

[10]LU J， SANG N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture，2015，110：121-130.

[11]鄒繼欣，崔天時(shí)，邢 偉. 基于DSP的柑橘果實(shí)自動(dòng)識(shí)別系統(tǒng)[J]. 農(nóng)機(jī)化研究，2015，37（2）：166-170.

[12]鄒 偉. 基于機(jī)器視覺(jué)技術(shù)的柑橘果實(shí)成熟度分選研究[J]. 農(nóng)業(yè)與技術(shù)，2023，43（17）：41-44.

[13]張 珺. 基于機(jī)器學(xué)習(xí)的智能農(nóng)機(jī)采摘控制實(shí)驗(yàn)與仿真[J]. 集成電路應(yīng)用，2023，40（6）：70-72.

[14]方東玉. 基于SVM的柑橘品質(zhì)檢測(cè)技術(shù)[D]. 長(zhǎng)沙：中南林業(yè)科技大學(xué)，2016.

[15]李 華. 基于機(jī)器視覺(jué)的柑橘外觀品質(zhì)鑒定技術(shù)研究[D]. 鄭州：河南農(nóng)業(yè)大學(xué)，2024.

[16]LIN G， TANG Y， ZOU X， et al. In-field citrus detection and localisation based on RGB-D image analysis[J]. Biosystems Engineering，2019，186：34-44.

[17]申 飄. 基于圖像處理與機(jī)器學(xué)習(xí)的柑橘表面缺陷檢測(cè)研究[D]. 長(zhǎng)沙：中南林業(yè)科技大學(xué)，2023.

[18]CAI C， ZHOU G， LU C. Citrus surface defect identification based on PCS-2D-Otsu and CGWO-DT-SVM[J]. Multimedia Tools and Applications，2023，83（15）：43649-43672.

[19]BEHERA S K， ANITHA K， AMAT R， et al. ResNet101-SVM：hybrid convolutional neural network for citrus fruits classification[J]. Journal of Intelligent & Fuzzy Systems，2024，46（3）：7035-7045.

[20]BERTHELOT D， CARLINI N， GOODFELLOW I， et al. Mixmatch：a holistic approach to semi-supervised learning[C/OL]//WALLACH H， LAROCHELLE H， BAYGELZIMER A， et al. Advances in neural information processing systems32（NeurIPS 2019）. San Diego，USA：NeurIPS Foundation，2019. https：//arxiv.org/pdf/1905.02249v2.

[21]呂 佳，李帥軍，曾夢(mèng)瑤，等. 基于半監(jiān)督SPM-YOLO V5的套袋柑橘檢測(cè)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38（18）：204-211.

[22]ROY P， KISLAY A， PLONSKI P A， et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture，2019，164：104897.

[23]CIARFUGLIA T A， MOTOI I M， SARACENI L， et al. Weakly and semi-supervised detection， segmentation and tracking of table grapes with limited and noisy data[J]. Computers and Electronics in Agriculture，2023，205：107624.

[24]ALBELWI S. Survey on self-supervised learning：auxiliary pretext tasks and contrastive learning methods in imaging[J]. Entropy，2022，24（4）：551.

[25]姜欣悅. 基于圖像識(shí)別的單株成熟柑橘樹產(chǎn)量預(yù)估研究[J]. 南方農(nóng)機(jī)，2022，53（23）：66-68.

[26]SUN B， LIU K， FENG L， et al. The surface defects detection of citrus on trees based on a support vector machine[J]. Agronomy，2022，13（1）：43.

[27]趙永強(qiáng)，饒 元，董世鵬，等. 深度學(xué)習(xí)目標(biāo)檢測(cè)方法綜述[J]. 中國(guó)圖像圖形學(xué)報(bào)，2020，25（4）：629-654.

[28]董 戈. 基于深度學(xué)習(xí)和圖像處理的水果收獲機(jī)器人抓取系統(tǒng)[J]. 農(nóng)機(jī)化研究，2021，43（3）：260-264.

[29]WANG Z， UNDERWOOD J， WALSH K B. Machine vision assessment of mango orchard flowering[J]. Computers and Electronics in Agriculture，2018，151：501-511.

[30]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2014：580-587.

[31]GIRSHICK R. Fast R-cnn[C]// IEEE. Proceedings of the IEEE international conference on computer vision. New Jersey：IEEE Computer Society，2015：1440-1448.

[32]CAI Z， VASCONCELOS N. Cascade R-cnn：delving into high quality object detection[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6154-6162.

[33]楊 國(guó). 基于深度學(xué)習(xí)的自然環(huán)境下柑橘檢測(cè)研究[D]. 長(zhǎng)沙：中南林業(yè)科技大學(xué)，2023.

[34]任 會(huì)，朱洪前. 基于深度學(xué)習(xí)的目標(biāo)橘子識(shí)別方法研究[J]. 計(jì)算機(jī)時(shí)代，2021（1）：57-60，64.

[35]YANG C H， XIONG L Y， WANG Z， et al. Integrated detection of citrus fruits and branches using a convolutional neural network[J]. Computers and Electronics in Agriculture，2020，174：105469.

[36]黃磊磊，苗玉彬. 基于深度學(xué)習(xí)的重疊柑橘分割與形態(tài)復(fù)原[J]. 農(nóng)機(jī)化研究，2023，45（10）：70-75.

[37]BEHERA S K， RATH A K， SETHY P K. Fruits yield estimation using Faster R-CNN with MIoU[J]. Multimedia Tools and Applications，2021，80（12）：19043-19056.

[38]LU J， YANG R， YU C， et al. Citrus green fruit detection via improved feature network extraction[J]. Frontiers in Plant Science，2022，13：946154.

[39]MIN W， WANG Z， YANG J， et al. Vision-based fruit recognition via multi-scale attention CNN[J]. Computers and Electronics in Agriculture，2023，210：107911.

[40]孫國(guó)奇. 基于深度學(xué)習(xí)的果園環(huán)境下柑橘果實(shí)與枝干分割定位方法研究[D]. 桂林：廣西師范大學(xué)，2023.

[41]賈艷平，桑妍麗，李月茹. 基于改進(jìn)Faster R-CNN模型的水果分類識(shí)別[J]. 食品與機(jī)械，2023，39（8）：129-135.

[42]LIU W， ANGUELOV D， ERHAN D， et al. SSD：single shot multibox detector[C]//ECCV. European conference on computer vision 2016（Part I）. Amsterdam：Springer International Publishing，2016：21-37.

[43]HOWARD A G， ZHU M， CHEN B， et al. Mobilenets：efficient convolutional neural networks for mobile vision applications[Z/OL]. （2017-04-17）. http：//arxiv.org/abs/1704.04861.

[44]ZHANG X， ZHOU X， LIN M， et al. Shufflenet：an extremely efficient convolutional neural network for mobile devices[C]//IEEE：Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6848-6856.

[45]LIU Z， LIN Y， CAO Y， et al. Swin transformer：hierarchical vision transformer using shifted windows[C]//IEEE. Proceedings of the IEEE/CVF international conference on computer vision. New Jersey：IEEE Computer Society，2021：10012-10022.

[46]宋中山，劉 越，鄭 祿，等. 基于改進(jìn)YOLO V3的自然環(huán)境下綠色柑橘的識(shí)別算法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2021，42（11）：159-165.

[47]陳文康，陸聲鏈，劉冰浩，等. 基于改進(jìn)YOLO V4的果園柑橘檢測(cè)方法研究[J]. 廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，39（5）：134-146.

[48]劉 芳. 基于YOLO V5的柑橘果實(shí)目標(biāo)檢測(cè)研究[J]. 信息與電腦（理論版），2022，34（2）：152-154.

[49]CHEN W， LU S， LIU B， et al. Citrus YOLO：a algorithm for citrus detection under orchard environment based on YOLO V4[J]. Multimedia Tools and Applications，2022，81（22）：31363-31389.

[50]莊昊龍，周嘉灝，林毓翰，等. 基于改進(jìn)YOLO V5+DeepSort的柑橘果實(shí)識(shí)別與計(jì)數(shù)研究[J]. 南方農(nóng)機(jī)，2023，54（15）：9-13.

[51]JING J， ZHAI M， DOU S， et al. Optimizing the YOLO V7-Tiny model with multiple strategies for citrus fruit yield estimation in complex scenarios[J]. Agriculture，2024，14（2）：303.

[52]易 詩(shī)，李俊杰，張 鵬，等. 基于特征遞歸融合YOLO V4網(wǎng)絡(luò)模型的春見柑橘檢測(cè)與計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（18）：161-169.

[53]黃彤鑌，黃河清，李 震，等. 基于YOLO V5改進(jìn)模型的柑橘果實(shí)識(shí)別方法[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報(bào)，2022，41（4）：170-177.

[54]LIU X， LI G， CHEN W， et al. Detection of dense citrus fruits by combining coordinated attention and cross-scale connection with weighted feature fusion[J]. Applied Sciences，2022，12（13）：6600.

[55]李子茂，李嘉暉，尹 帆，等. 基于可形變卷積與SimAM注意力的密集柑橘檢測(cè)算法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2023，44（2）：156-162.

[56]周 劍，徐中貴，謝知音. 基于空間金字塔池化的YOLOv3的柑橘多分級(jí)研究[J]. 現(xiàn)代農(nóng)業(yè)裝備，2023，44（2）：35-43，97.

[57]LI C， MA W， LIU F， et al. Recognition of citrus fruit and planning the robotic picking sequence in orchards[J]. Signal， Image and Video Processing，2023，17（8）：4425-4434.

[58]蹇 川，鄭永強(qiáng)，劉艷梅，等. 目標(biāo)檢測(cè)算法YOLO V5s用于柑桔成熟果實(shí)檢測(cè)的改進(jìn)[J]. 中國(guó)南方果樹，2024，53（1）：224-231.

[59]湯 旸，楊光友，王焱清. 面向采摘機(jī)器人的改進(jìn)YOLO V3-tiny輕量化柑橘識(shí)別方法[J]. 科學(xué)技術(shù)與工程，2022，22（31）：13824-13832.

[60]楊 國(guó)，黃文靜，朱洪前，等. 自然環(huán)境下黃綠柑橘檢測(cè)通用模型的構(gòu)建[J]. 林業(yè)工程學(xué)報(bào)，2022，7（5）：134-141.

[61]YANG R， HU Y， YAO Y， et al. Fruit target detection based on BCo-YOLO V5 model[J]. Mobile Information Systems，2022，2022：8457173.

[62]殷獻(xiàn)博，鄧小玲，蘭玉彬，等. 基于改進(jìn)YOLO X-Nano算法的柑橘梢期長(zhǎng)勢(shì)智能識(shí)別[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2023，44（1）：142-150.

[63]黃 輝，蘇成悅，王銀海. 基于改進(jìn)YOLO V5的柑橘目標(biāo)識(shí)別研究[J]. 電腦與信息技術(shù)，2024，32（2）：27-29.

[64]帖 軍，趙 捷，鄭 祿，等. 改進(jìn)YOLO V5模型在自然環(huán)境下柑橘識(shí)別的應(yīng)用[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2024，26（7）：1-10.

[65]劉 潔，李 燕，肖黎明，等. 基于改進(jìn)YOLO V4模型的橙果識(shí)別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38（12）：173-182.

[66]姜 錕. 柑橘采摘機(jī)器人目標(biāo)識(shí)別、定位與采摘研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2023.

[67]王乙涵. 基于改進(jìn)YOLO V7的自然環(huán)境下柑橘果實(shí)識(shí)別與定位方法研究[D]. 成都：四川農(nóng)業(yè)大學(xué)，2023

[68]KONG D， WANG J， ZHANG Q， et al. Research on fruit spatial coordinate positioning by combining improved yolov8s and adaptive multi-resolution model[J]. Agronomy，2023，13（8）：2122.

[69]熊俊濤，霍釗威，黃啟寅，等. 結(jié)合主動(dòng)光源和改進(jìn)YOLO V5s模型的夜間柑橘檢測(cè)方法[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2024，45（1）：97-107.

[70]孫寶霞，梁翠曉，劉 凱，等. 夜間環(huán)境下樹上柑橘表征缺陷深度學(xué)習(xí)檢測(cè)方法[J]. 林業(yè)工程學(xué)報(bào)，2021，6（6）：148-155.

[71]FENG J， WANG Z， WANG S， et al. MSDD-YOLOX：An enhanced YOLO X for real-time surface defect detection of oranges by type[J]. European Journal of Agronomy，2023，149：126918.

[72]賈雪瑩，趙春江，周 娟，等. 基于改進(jìn)YOLO V7模型的柑橘表面缺陷在線檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2023，39（23）：142-151.

（責(zé)任編輯：石春林）