基于多傳感器信息融合的菠蘿果莖切割點(diǎn)位置檢測(cè)方法

關(guān)鍵詞 菠蘿； 采摘器； 果莖切割點(diǎn)； 位置檢測(cè)； 多傳感器信息融合； YOLOv5

菠蘿（Ananas comosus （L.） Merr.）采摘是一項(xiàng)任務(wù)繁重的工作，而當(dāng)前多依靠人工采摘［1］，采收環(huán)境惡劣，在進(jìn)行采摘時(shí)，果農(nóng)需要做好防護(hù)，尤其在炎熱的夏天，勞動(dòng)強(qiáng)度大。隨著現(xiàn)代數(shù)字化和信息化技術(shù)不斷融入到農(nóng)業(yè)生產(chǎn)中［2］，使用智能采摘機(jī)器人進(jìn)行田間采摘，可提高采摘效率，減輕勞動(dòng)強(qiáng)度，降低人工和時(shí)間成本。

菠蘿的采摘方式主要有切割式、擰斷式和掰斷式等3 種方式，圍繞3 種采摘方式研制的菠蘿采收機(jī)械可分為人工輔助機(jī)械式采摘裝置、采用驅(qū)動(dòng)裝置的菠蘿采摘設(shè)備和自動(dòng)收獲機(jī)［3-4］。筆者所在實(shí)驗(yàn)室設(shè)計(jì)了一種夾切一體的菠蘿采摘器，可搭載至采摘機(jī)器人上進(jìn)行田間自主采摘，該采摘器雖可輕松采摘菠蘿，但是需要切割刀準(zhǔn)確定位菠蘿果莖切割點(diǎn)位置，才能實(shí)現(xiàn)果實(shí)和果莖的有效分離［5-6］。

在對(duì)果梗采摘點(diǎn)定位研究中，可分為對(duì)果梗區(qū)域直接進(jìn)行采摘點(diǎn)識(shí)別或根據(jù)果實(shí)與果梗的連通關(guān)系預(yù)測(cè)采摘點(diǎn)位置2 種方式。在直接對(duì)果梗采摘點(diǎn)識(shí)別研究中，寧政通等［7］提出通過改進(jìn)掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，并結(jié)合區(qū)域生長(zhǎng)算法最后計(jì)算出葡萄果梗區(qū)域的最優(yōu)采摘點(diǎn)。Luo 等［8］研究了重疊葡萄串果梗切割點(diǎn)的檢測(cè)，將重疊葡萄簇像素區(qū)域劃分為2個(gè)獨(dú)立區(qū)域，然后確定葡萄果梗的感興趣區(qū)域，再使用幾何約束法確定每個(gè)果梗感興趣區(qū)域的切割點(diǎn)。Sun 等［9］提出一種基于多尺度特征融合的柑橘分枝關(guān)鍵點(diǎn)檢測(cè)，根據(jù)對(duì)柑橘果梗關(guān)鍵點(diǎn)檢測(cè)結(jié)果生成候選區(qū)域，從而實(shí)現(xiàn)果梗采摘點(diǎn)的快速識(shí)別。Chen等［10］提出了一種基于輕量級(jí)多特征融合的深度神經(jīng)網(wǎng)絡(luò)香蕉莖分割方法，可直接對(duì)香蕉莖采摘點(diǎn)進(jìn)行識(shí)別。

在通過果梗與果實(shí)連通關(guān)系進(jìn)而識(shí)別果梗采摘點(diǎn)的研究中，在識(shí)別柑橘果實(shí)后，根據(jù)果實(shí)質(zhì)心位置預(yù)測(cè)果梗所在區(qū)域，從而得到采摘點(diǎn)位置信息［11-13］。張勤等［14］通過目標(biāo)檢測(cè)算法，并利用番茄串與果梗的連通關(guān)系，快速識(shí)別可采摘點(diǎn)的感興趣區(qū)域，融合果梗區(qū)域深度圖和彩色圖信息，得到采摘點(diǎn)精確坐標(biāo)信息。戴寧［15］提出了一種圖像處理方法，基于柚掛果姿態(tài)和質(zhì)心位置確定感興趣區(qū)域，進(jìn)而通過果梗骨架信息提取確定柚子采摘點(diǎn)，實(shí)現(xiàn)對(duì)柚采摘點(diǎn)位置的識(shí)別。Bai 等［16］提出根據(jù)串番茄果實(shí)質(zhì)心坐標(biāo)和半徑，然后擬合出整串果實(shí)的輪廓線，再采用空間對(duì)稱樣條插值法和幾何分析法對(duì)果梗采摘點(diǎn)估計(jì)。

上述研究方法中均采用圖像處理方式獲取采摘點(diǎn)位置信息，但菠蘿植株葉片繁茂，裔芽及苞葉的影響導(dǎo)致果莖被嚴(yán)重遮擋，加上果莖與背景色相近，光照條件等因素影響，導(dǎo)致直接采用圖像處理難以準(zhǔn)確識(shí)別果莖切割點(diǎn)的位置，如何準(zhǔn)確判斷菠蘿果莖切割點(diǎn)位置是目前亟待解決的難題之一。

本研究探索一種多傳感器信息融合的菠蘿果莖切割點(diǎn)檢測(cè)方法，通過視覺圖像獲取菠蘿冠芽及果實(shí)長(zhǎng)度信息，通過光電傳感器再對(duì)菠蘿冠芽頂部位置進(jìn)行檢測(cè)，從而控制采摘器底部安裝的切割刀能準(zhǔn)確到達(dá)果莖切割點(diǎn)，并搭建試驗(yàn)臺(tái)進(jìn)行室內(nèi)試驗(yàn)，驗(yàn)證該方法的有效性，旨在為實(shí)現(xiàn)菠蘿智能化采摘提供技術(shù)支撐。

1 材料與方法

1.1 菠蘿物理特性

菠蘿屬于灌木類樹種，母株生長(zhǎng)的葉片茂盛且韌性強(qiáng)，葉片上布滿倒刺。菠蘿植株結(jié)構(gòu)如圖1 所示，可將其分為冠芽、葉片、果實(shí)、裔芽、苞葉、果莖，菠蘿果實(shí)的生長(zhǎng)位置處于劍狀葉叢中，在采摘時(shí)需要實(shí)現(xiàn)和果莖的分離，田間測(cè)量統(tǒng)計(jì)數(shù)據(jù)表明，菠蘿植株的高度在600～980 mm，菠蘿冠芽的高度在50～120 mm，果實(shí)高度在140～270 mm［6］。

1.2 菠蘿果莖切割點(diǎn)檢測(cè)方案設(shè)計(jì)

菠蘿果莖切割點(diǎn)檢測(cè)裝置由菠蘿采摘器、光電傳感器、Intel RealSense D455 深度相機(jī)、ArduinoUNO 控制器、神舟Z7 筆記本電腦等部分組成。該套裝置需搭載在田間采摘機(jī)器人上，如圖2 所示，作業(yè)時(shí)首先利用深度相機(jī)對(duì)菠蘿冠芽及果實(shí)進(jìn)行目標(biāo)檢測(cè)和長(zhǎng)度測(cè)量，即圖2 中a 到b 的距離為H，再由機(jī)械臂引導(dǎo)采摘器從菠蘿冠芽上方將其套住并緩慢下降，安裝在采摘器底部的光電傳感器對(duì)菠蘿冠芽頂部a 處進(jìn)行檢測(cè)，并作為采摘器下降的初始位置，控制采摘器沿菠蘿冠芽生長(zhǎng)方向進(jìn)行下降，運(yùn)動(dòng)距離為（H+S） mm，果實(shí)底部脫落層部分存在裔芽，為保證順利切割采摘，設(shè)置S 為運(yùn)動(dòng)距離補(bǔ)償余量，為10mm，使采摘器底部的切割刀準(zhǔn)確到達(dá)果莖切割點(diǎn)的位置并完成切割任務(wù)。

該套裝置所采用的菠蘿采摘器結(jié)構(gòu)如圖3 所示，主要由連接架、夾持機(jī)構(gòu)和切割機(jī)構(gòu)等組成［6］。為對(duì)菠蘿冠芽頂部準(zhǔn)確定位，在采摘器切割機(jī)構(gòu)下層圓環(huán)支架上，呈圓周陣列式均勻布置安裝3 組光電傳感器，以提高檢測(cè)精度，所采用的紅外對(duì)射式光電傳感器如圖4 所示，主要包括發(fā)射端和接收端，有效檢測(cè)距離為30 cm。

采摘器的工作過程為：當(dāng)機(jī)械臂帶動(dòng)采摘器抵達(dá)果莖切割點(diǎn)處并停止運(yùn)動(dòng)后，夾持機(jī)構(gòu)的夾持電機(jī)及減速器驅(qū)動(dòng)小齒輪開始順時(shí)針旋轉(zhuǎn)，與小齒輪嚙合的從動(dòng)齒環(huán)逆時(shí)針旋轉(zhuǎn)，進(jìn)而推動(dòng)與從動(dòng)齒環(huán)鉸接的L 形推桿旋轉(zhuǎn)，促使弧形夾指相向運(yùn)動(dòng)，對(duì)菠蘿果實(shí)進(jìn)行夾持，位于弧形夾指內(nèi)部的壓力傳感器感知夾持力變化，當(dāng)壓力傳感器測(cè)量值達(dá)到所設(shè)定閾值，弧形夾指停止運(yùn)動(dòng)，此時(shí)菠蘿果實(shí)處于夾持穩(wěn)定狀態(tài)，觸發(fā)切割機(jī)構(gòu)中切割電機(jī)及減速器工作，使切割刀對(duì)果莖進(jìn)行旋轉(zhuǎn)切割，切割完成后，切割電機(jī)反轉(zhuǎn)，刀具復(fù)位。

1.3 菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量方法

1）菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量流程。對(duì)菠蘿冠芽及果實(shí)進(jìn)行長(zhǎng)度測(cè)量，流程如圖5 所示。在進(jìn)行田間圖像采集后，先進(jìn)行預(yù)處理再送入網(wǎng)絡(luò)模型訓(xùn)練，訓(xùn)練后的目標(biāo)檢測(cè)網(wǎng)絡(luò)可對(duì)RGB 圖像中的菠蘿冠芽及果實(shí)進(jìn)行識(shí)別，并計(jì)算出圖像中菠蘿冠芽及果實(shí)所占的像素長(zhǎng)度信息，融合檢測(cè)目標(biāo)深度信息便可計(jì)算出菠蘿冠芽及果實(shí)長(zhǎng)度［17-20］。

但原始的目標(biāo)檢測(cè)網(wǎng)絡(luò)采用水平矩形框來確定目標(biāo)的位置和類別，而自然環(huán)境下生長(zhǎng)的菠蘿由于重力及外部環(huán)境等因素影響，會(huì)呈現(xiàn)出各種各樣的傾斜狀態(tài)，因此，采用多方向目標(biāo)檢測(cè)網(wǎng)絡(luò)具有的方向性［21-24］，對(duì)菠蘿冠芽及果實(shí)使用多方向矩形框進(jìn)行擬合，以減少冗余信息。

2）模型改進(jìn)。YOLOv5 作為基于端到端的深度學(xué)習(xí)目標(biāo)檢測(cè)典型算法，部署靈活性好、運(yùn)算速度快。其網(wǎng)絡(luò)結(jié)構(gòu)主要由骨干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）以及預(yù)測(cè)網(wǎng)絡(luò)（Prediction）組成。根據(jù)模型由小到大，YOLOv5 分成YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x。考慮到田間環(huán)境下識(shí)別任務(wù)的實(shí)時(shí)性和效率，所以采用參數(shù)量和計(jì)算量較少的YOLOv5s 模型進(jìn)行改進(jìn)。

為描述出不同傾斜狀態(tài)菠蘿冠芽及果實(shí)在圖像中的方向性信息，使用長(zhǎng)邊定義法表示旋轉(zhuǎn)框，標(biāo)注格式為［x，y，h，w，θ］，（x，y）為標(biāo)注框中心點(diǎn)的坐標(biāo)值，（h，w）為標(biāo)注框的長(zhǎng)度和寬度，θ 描述長(zhǎng)邊與坐標(biāo)軸中x 軸所成的夾角如圖6 所示，角度范圍為［0°，180°）。

但長(zhǎng)邊定義法會(huì)因?yàn)榻嵌戎芷谛缘拇嬖趯?dǎo)致邊界損失值激增，進(jìn)而增加了回歸的難度。為解決上述問題，采用環(huán)形平滑標(biāo)簽（circular smooth label，CSL），如圖7 所示，將角度損失值計(jì)算轉(zhuǎn)化為分類問題，傾斜角θ 一共劃分為0～179 共180 類，CSL 具體表達(dá)式為：

式（1）中，g （ x） 為窗口函數(shù)（本次選用高斯函數(shù)），r 為窗口函數(shù)的半徑，θ 為當(dāng)前邊界框的角度，通過設(shè)置窗口函數(shù)來對(duì)預(yù)測(cè)框和目標(biāo)框的傾斜角進(jìn)行平滑處理，避免由于角度周期性，而導(dǎo)致邊界損失值激增影響網(wǎng)絡(luò)訓(xùn)練。

3）引入注意力機(jī)制模塊。菠蘿田間背景復(fù)雜、菠蘿植株葉片繁茂會(huì)造成遮擋等因素影響檢測(cè)精度，通過引入注意力機(jī)制模塊（圖8），增強(qiáng)網(wǎng)絡(luò)感受野，減少背景信息的干擾，使網(wǎng)絡(luò)更關(guān)注于目標(biāo)特征信息，提升模型對(duì)目標(biāo)的提取能力。

卷積注意力機(jī)制（convolutional block attentionmodule，CBAM）是一種簡(jiǎn)單而有效的輕量級(jí)神經(jīng)網(wǎng)絡(luò)注意力模塊［25］，是通道注意力和空間注意力融合的注意力機(jī)制，使得模型可以自適應(yīng)地調(diào)整特征通道的重要性，進(jìn)而使得模型更加關(guān)注檢測(cè)目標(biāo)的特征，降低背景及空間分布不均等問題對(duì)檢測(cè)精度帶來的影響。因此，本研究算法嵌入該注意力機(jī)制模塊以增強(qiáng)模型對(duì)目標(biāo)的提取能力。

4）長(zhǎng)度測(cè)量實(shí)現(xiàn)原理。本研究算法所檢測(cè)到的菠蘿冠芽及果實(shí)是位于圖像坐標(biāo)系中，可根據(jù)深度圖讀取目標(biāo)物體到相機(jī)之間的距離，再經(jīng)過變換計(jì)算實(shí)際長(zhǎng)度。

使用圖像大小到物體大小的轉(zhuǎn)換模型原理，如圖9 所示，Oc-xc yc zc 為相機(jī)坐標(biāo)系，o-xy 為圖像坐標(biāo)系，Op-uv 為像素坐標(biāo)系。相機(jī)坐標(biāo)系是1 個(gè)以相機(jī)光心為原點(diǎn)Oc、以光軸zc 軸建立的1 個(gè)三維直角坐標(biāo)系，DF 為像素坐標(biāo)系中v 方向上目標(biāo)長(zhǎng)度像素值，CB 為菠蘿冠芽及果實(shí)實(shí)際長(zhǎng)度，Oc A 為相機(jī)光心到目標(biāo)物體之間的距離即圖像深度值。而深度值的獲取是根據(jù)Zhang［26］標(biāo)定法標(biāo)定相機(jī)后，將檢測(cè)到的菠蘿冠芽及果實(shí)RGB 圖像像素區(qū)域配準(zhǔn)到深度圖像中，提取深度圖像中目標(biāo)檢測(cè)框中心周圍30 個(gè)點(diǎn)的深度值，將這30 個(gè)深度值按數(shù)值從小到大排列，選取其中的中值作為相機(jī)到物體的距離。當(dāng)相機(jī)焦距f、相機(jī)到物體的距離、目標(biāo)長(zhǎng)度所占像素值確定時(shí)，根據(jù)三角形ABOc 和三角形oFOc、三角形BCOc 和三角形FDOc 相似可計(jì)算得出菠蘿冠芽及果實(shí)長(zhǎng)度。

1.4 菠蘿冠芽頂部檢測(cè)方法

在菠蘿采摘器下降過程中，會(huì)經(jīng)過菠蘿的冠芽頂部、冠芽、果實(shí)、果莖部位，如圖10 所示。安裝在采摘器下方光電傳感器經(jīng)過菠蘿不同部位時(shí)，電平信號(hào)變化情況如圖11 所示，當(dāng)處于冠芽頂部位置時(shí)，光電傳感器之間從沒有遮擋物到有遮擋物，傳感器電平信號(hào)變化明顯。

2 結(jié)果與分析

2.1 菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量結(jié)果

1）網(wǎng)絡(luò)模型訓(xùn)練與結(jié)果。2022 年5 月3 日至5日，在湛江市徐聞縣曲界鎮(zhèn)某菠蘿田進(jìn)行圖像采集。為提高圖像采集效率，采用具有高清像素拍照功能的智能手機(jī)進(jìn)行拍攝，距離菠蘿0.4～1.0 m，分別在晴天和陰天進(jìn)行圖像采集工作。針對(duì)自然光照、遮擋等復(fù)雜環(huán)境進(jìn)行多次采樣，共拍攝圖片2 682 張。為增強(qiáng)模型的魯棒性，對(duì)采集到的圖像進(jìn)行數(shù)據(jù)增強(qiáng)，通過逆時(shí)針90°、180°、270°旋轉(zhuǎn)、水平翻轉(zhuǎn)、圖像向內(nèi)或向外縮放、剪裁以及灰度處理等操作，對(duì)原始數(shù)據(jù)進(jìn)行擴(kuò)充，擴(kuò)充后得數(shù)據(jù)為3 660 張。使用roLa?belImg 對(duì)圖像進(jìn)行多方向旋轉(zhuǎn)框標(biāo)注后，按照主流的數(shù)據(jù)集劃分方法，將訓(xùn)練集、驗(yàn)證集、測(cè)試集隨機(jī)劃分為8∶1∶1。

為分析本研究改進(jìn)算法和原始算法對(duì)目標(biāo)檢測(cè)的差異，對(duì)采集到的數(shù)據(jù)集再用原始水平矩形框重新標(biāo)注，在保證訓(xùn)練迭代次數(shù)為500 次、初始學(xué)習(xí)率設(shè)置為0.01 等參數(shù)和設(shè)備一致的前提下，對(duì)原始算法和改進(jìn)后的算法模型進(jìn)行訓(xùn)練并對(duì)在相同的測(cè)試集上進(jìn)行結(jié)果對(duì)比。

實(shí)驗(yàn)平臺(tái)配置為：CPU：Intel Xeon Silver 4210×2，10 核20 線程，最大睿頻2.82 GHz；GPU：NVIDIAGeForce GTX3090，24 GB 顯存；運(yùn)行內(nèi)存64 GB；操作系統(tǒng)：Window10 專業(yè)版64 位操作系統(tǒng)；深度學(xué)習(xí)框架：Pytorch1.7；CUDA 版本：11.3；編程語(yǔ)言：Py?thon3.8。

檢測(cè)結(jié)果的準(zhǔn)確率（P）、召回率（R）、平均精度（mAP，后文中用PmA 表示）見表1。其中，YOLOv5為原始模型，CBAM-YOLOv5 為引入卷積注意力機(jī)制的模型，R-YOLOv5 為改進(jìn)旋轉(zhuǎn)框的模型，本研究算法則是結(jié)合了卷積注意力機(jī)制CBAM 和旋轉(zhuǎn)框的YOLOv5 模型。

由表1 可知，R-YOLOv5 比YOLOv5 的平均檢測(cè)精度提高了6.2 百分點(diǎn)，采用旋轉(zhuǎn)框標(biāo)注可減少冗余信息，進(jìn)一步提高網(wǎng)絡(luò)在訓(xùn)練時(shí)提取目標(biāo)特征的能力，提高了模型的檢測(cè)精度。在引入卷積注意力機(jī)制后，CBAM-YOLOv5 模型和本研究改進(jìn)模型的平均檢測(cè)精度都有所提升，說明引入卷積注意力機(jī)制后可提高模型對(duì)目標(biāo)特征的提取能力。本研究改進(jìn)后的網(wǎng)絡(luò)模型較之原始網(wǎng)絡(luò)模型準(zhǔn)確率、召回率、平均精度都有不同程度的提升，其中平均檢測(cè)精度提高了7.7 百分點(diǎn)，擁有更好的目標(biāo)檢測(cè)性能。

2）長(zhǎng)度測(cè)量結(jié)果。2023 年5 月15 日，為驗(yàn)證使用本研究改進(jìn)的算法對(duì)菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量方法的有效性，對(duì)60 個(gè)成熟度不一、大小不同的菠蘿進(jìn)行數(shù)據(jù)采集，深度相機(jī)擺放位置距菠蘿0.5～1.0 m；同時(shí)也用卷尺對(duì)菠蘿的冠芽頂部至果實(shí)底部長(zhǎng)度進(jìn)行人工測(cè)量，為減少人工測(cè)量誤差，取3 次測(cè)量平均值作為真實(shí)長(zhǎng)度數(shù)據(jù)。本研究改進(jìn)算法對(duì)菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值和人工測(cè)量值兩者間的相關(guān)性如圖12 所示，其中決定系數(shù)R2 約為0.89、均方根誤差RMSE 為4.52 mm。對(duì)自動(dòng)測(cè)量計(jì)算值和人工測(cè)量值進(jìn)行誤差分析，菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量平均絕對(duì)誤差為11.06 mm，平均相對(duì)誤差為4.35%，說明采用本方法能夠較為準(zhǔn)確地測(cè)量菠蘿冠芽及果實(shí)長(zhǎng)度。

2.2 菠蘿冠芽頂部檢測(cè)結(jié)果

2023 年3 月27 日，在中山神灣鎮(zhèn)某菠蘿田進(jìn)行光電信號(hào)采集試驗(yàn)，采用制作輕量化的亞克力板代替菠蘿采摘器下層圓環(huán)支架，將3 組光電傳感器呈圓周陣列式均布粘貼至支架上（圖13）。在距冠芽頂部30 mm 處開始下降，對(duì)田間12 個(gè)不同的菠蘿進(jìn)行信號(hào)采集，通過Arduino UNO 控制器的數(shù)字引腳讀取傳感器輸出的高低電平信號(hào)，并經(jīng)過信號(hào)采集軟件PLX-FAQ，可實(shí)時(shí)將電平信號(hào)傳輸至Excel 表格中進(jìn)行保存。

根據(jù)田間菠蘿的生長(zhǎng)狀態(tài)，可分為2 種，如圖14所示，豎直生長(zhǎng)的菠蘿冠芽、果實(shí)、果莖在同一條直線，傾斜生長(zhǎng)的菠蘿冠芽、果實(shí)和果莖不在同一條直線上。

在信號(hào)采集裝置經(jīng)過菠蘿冠芽頂部、冠芽、果實(shí)、果莖部位時(shí)，人為記錄到達(dá)相應(yīng)部位的時(shí)間。所采集到的3 組光電傳感器經(jīng)過上述2 種不同生長(zhǎng)狀態(tài)的菠蘿不同部位時(shí)，電平信號(hào)變化如圖15 所示，圖15 為其中2 個(gè)菠蘿的試驗(yàn)結(jié)果。

經(jīng)過冠芽頂部時(shí)，任意傳感器電平信號(hào)出現(xiàn)由高到低的變化，即定義為檢測(cè)到冠芽頂部。冠芽頂部葉片呈傘狀向外張開生長(zhǎng)，導(dǎo)致不同傳感器電平信號(hào)變化存在短暫的時(shí)間差異。之后經(jīng)過冠芽部位時(shí)，又出現(xiàn)高電平信號(hào)，是由于葉片與葉片之間的交叉間隙，致使傳感器之間產(chǎn)生光學(xué)通路造成出現(xiàn)短暫的高電平信號(hào)。

如圖15A 所示，經(jīng)過果實(shí)部位時(shí)，3 組光電傳感器之間的光學(xué)通路被遮擋，均輸出低電平信號(hào)。如圖15B 所示，經(jīng)過果實(shí)部位時(shí)，由于生長(zhǎng)傾斜，導(dǎo)致1號(hào)傳感器先被遮擋，從8.3 s 開始，傳感器之間的光學(xué)通路未被遮擋，輸出高電平信號(hào)。2、3 號(hào)傳感器被遮擋，均持續(xù)輸出低電平信號(hào)。

如圖15A 所示，經(jīng)過果莖部位時(shí)，3 組光電傳感器保持輸出低電平信號(hào)，導(dǎo)致果實(shí)和果莖處的電平信號(hào)相似，無(wú)法有效區(qū)分果實(shí)和果莖部位。如圖15B所示，經(jīng)過果莖部位時(shí)，1 號(hào)傳感器先輸出高電平信號(hào)，之后被遮擋，持續(xù)了一段時(shí)間的低電平信號(hào)，又輸出高電平信號(hào)。2 號(hào)傳感器之間的光學(xué)通路被遮擋，一直輸出低電平信號(hào)。3 號(hào)傳感器先輸出低電平信號(hào)，從17 s 開始輸出高電平信號(hào)。從17 s 開始，1、3號(hào)傳感器都無(wú)遮擋輸出高電平信號(hào)，根據(jù)果莖直徑比菠蘿果實(shí)直徑小的特點(diǎn)，可通過該電平信號(hào)判斷為已經(jīng)進(jìn)入果莖部位。但是信號(hào)帶有隨機(jī)性，所以不能作為到達(dá)果莖部位的檢測(cè)信號(hào)。

對(duì)采集到的所有試驗(yàn)結(jié)果的電平信號(hào)進(jìn)行分析發(fā)現(xiàn)，3 組光電傳感器在經(jīng)過冠芽頂部時(shí)，實(shí)際產(chǎn)生的電平信號(hào)變化和理想狀態(tài)下的電平信號(hào)變化一致，可以作為到達(dá)冠芽頂部的識(shí)別信號(hào)。但在冠芽、果實(shí)、果莖部位有差異，田間菠蘿生長(zhǎng)環(huán)境復(fù)雜、狀態(tài)各異，光電傳感器電平信號(hào)容易受到遮擋物的影響，僅通過光電傳感器電平信號(hào)變化難以對(duì)果莖部位準(zhǔn)確判斷。

2.3 臺(tái)架試驗(yàn)結(jié)果

為驗(yàn)證本研究所提出方法的有效性，2023 年7 月2 日，在華南農(nóng)業(yè)大學(xué)工程學(xué)院搭建試驗(yàn)臺(tái)（圖16），對(duì)小、中、大3 個(gè)不同的菠蘿模型及20 個(gè)真實(shí)菠蘿進(jìn)行試驗(yàn)。試驗(yàn)臺(tái)采用xyz 直角坐標(biāo)式機(jī)械臂帶動(dòng)菠蘿采摘器對(duì)菠蘿果莖切割點(diǎn)進(jìn)行檢測(cè)，深度相機(jī)固定在車架高度0.85 m 處，傾斜30°，用數(shù)據(jù)線將深度相機(jī)、Arduino UNO 控制器和神舟Z7 筆記本相連接，同時(shí)將3 組光電傳感器信號(hào)線與Arduino UNO 控制器上的7、8、9 三個(gè)數(shù)字引腳連接。

Arduino UNO 控制器控制z 軸機(jī)械臂帶動(dòng)菠蘿采摘器從菠蘿正上方以v=10 mm/s 勻速自動(dòng)向下降落，其中，z 軸的有效行程為700 mm，定位精度為±0.05 mm。在下降過程中檢測(cè)到光電傳感器電平信號(hào)發(fā)生變化時(shí)（到達(dá)冠頂），開始計(jì)時(shí)，使得采摘器在規(guī)定的時(shí)間t 內(nèi)下降一定距離后停止，t 的計(jì)算見公式（2），采摘器停止運(yùn)動(dòng)時(shí)，其底部切割刀到達(dá)的位置即為切割點(diǎn)。

式（2）中：H 即為菠蘿冠芽及果實(shí)長(zhǎng)度測(cè)量計(jì)算值，通過視覺圖像處理自動(dòng)獲得。

臺(tái)架試驗(yàn)結(jié)果見表2，其中序號(hào)1～3 號(hào)為菠蘿模型，序號(hào)4～23 號(hào)為真實(shí)菠蘿。S1 為菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值；S2 為菠蘿冠芽及果實(shí)長(zhǎng)度人工測(cè)量值；S3 為菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量誤差，其值為自動(dòng)測(cè)量計(jì)算值和人工測(cè)量值之間的差值；S4 為切割后殘留的果莖長(zhǎng)度，試驗(yàn)后經(jīng)人工測(cè)量獲得；S5 為冠芽頂部檢測(cè)誤差，其值為S4 與S3、S 之間的差值，可經(jīng)計(jì)算獲得。果實(shí)底部存在裔芽影響切割，則所檢測(cè)到的果莖切割點(diǎn)，距離果實(shí)底部脫落層10 mm 以上才符合標(biāo)準(zhǔn)。

試驗(yàn)誤差主要來源：菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量誤差、冠芽頂部檢測(cè)誤差。由表2 可知，菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量誤差在?24～28 mm，為主要誤差；菠蘿冠芽頂部檢測(cè)誤差在3～6 mm，為次要誤差。在23 次試驗(yàn)中，其中試驗(yàn)4、試驗(yàn)9、試驗(yàn)23 對(duì)果莖切割點(diǎn)檢測(cè)失敗。試驗(yàn)4 和試驗(yàn)9 冠芽頂部檢測(cè)誤差均為3 mm，試驗(yàn)23 冠芽頂部檢測(cè)誤差為5 mm，但菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值小于人工測(cè)量值且誤差較大，從而導(dǎo)致檢測(cè)到的切割點(diǎn)位置不在果莖處。

試驗(yàn)13 的菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量誤差最大，為28 mm，試驗(yàn)17 的菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值絕對(duì)誤差最小，為2 mm，平均自動(dòng)測(cè)量絕對(duì)誤差為7.56 mm，說明大部分菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值大于人工測(cè)量值。這是由于在進(jìn)行目標(biāo)檢測(cè)時(shí)，目標(biāo)檢測(cè)框的長(zhǎng)邊所占像素值總是大于實(shí)際菠蘿冠芽頂部至果實(shí)底部所占的像素值。23 次試驗(yàn)中僅有5 次試驗(yàn)出現(xiàn)菠蘿冠芽及果實(shí)長(zhǎng)度自動(dòng)測(cè)量計(jì)算值小于人工測(cè)量值，可能是菠蘿部分被葉片遮擋，導(dǎo)致長(zhǎng)度自動(dòng)測(cè)量計(jì)算值比人工測(cè)量值小。

綜合試驗(yàn)結(jié)果，所檢測(cè)到的菠蘿果莖切割點(diǎn)多數(shù)在距果實(shí)底部脫落層19～31 mm 內(nèi)，符合菠蘿采摘時(shí)果莖留存標(biāo)準(zhǔn)。采用該方法對(duì)菠蘿模型果莖切割點(diǎn)檢測(cè)成功率為100%，真實(shí)菠蘿果莖切割點(diǎn)檢測(cè)成功率為85%。

3 討論

本研究針對(duì)研制的菠蘿采摘器難以對(duì)菠蘿果莖切割點(diǎn)位置進(jìn)行準(zhǔn)確定位的問題，提出了一種多傳感器信息融合的方法。利用深度相機(jī)結(jié)合目標(biāo)檢測(cè)實(shí)現(xiàn)對(duì)菠蘿冠芽及果實(shí)長(zhǎng)度的測(cè)量，融合運(yùn)動(dòng)補(bǔ)償距離S，可獲得冠芽頂部至果莖處的長(zhǎng)度距離信息。結(jié)合3 組光電傳感器對(duì)冠芽頂部進(jìn)行檢測(cè)，當(dāng)光電傳感器信號(hào)出現(xiàn)變化，開始計(jì)時(shí)，在速度一定條件下，通過對(duì)菠蘿采摘器運(yùn)動(dòng)行程的時(shí)間控制，實(shí)現(xiàn)切割刀能準(zhǔn)確到達(dá)果莖切割點(diǎn)位置。搭建試驗(yàn)臺(tái)進(jìn)行臺(tái)架試驗(yàn)，結(jié)果表明該方法對(duì)真實(shí)菠蘿果莖切割點(diǎn)檢測(cè)成功率達(dá)到85%。

本研究提出的多傳感器信息融合方法可以準(zhǔn)確獲取果莖的切割點(diǎn)位置，能有效提高菠蘿采摘器采摘精度，為菠蘿采摘機(jī)器人進(jìn)行田間采摘提供一定的理論依據(jù)。但本研究未涉及田間試驗(yàn)，后期將繼續(xù)開展相關(guān)的研究，進(jìn)一步提高該方法在實(shí)踐應(yīng)用中的準(zhǔn)確性。