氣電混合驅(qū)動(dòng)全天候蘋果收獲機(jī)器人設(shè)計(jì)與試驗(yàn)

趙德安 吳任迪 劉曉洋 張小超 姬 偉

(1.江蘇大學(xué)電氣信息工程學(xué)院， 鎮(zhèn)江 212013； 2.中國農(nóng)業(yè)機(jī)械化科學(xué)研究院， 北京 100083)

0 引言

蘋果采摘屬于高度重復(fù)的體力勞動(dòng)，適合機(jī)器人完成[1-3]。隨著收入水平的提高和飲食結(jié)構(gòu)的調(diào)整，蘋果消費(fèi)需求將持續(xù)增加[4]，蘋果生產(chǎn)機(jī)械化也顯得愈發(fā)重要，其中采摘機(jī)器人是蘋果生產(chǎn)機(jī)械化的關(guān)鍵技術(shù)之一。

綜合國內(nèi)外文獻(xiàn)，大致有兩種方法來實(shí)現(xiàn)樹木果實(shí)采摘的機(jī)械化。第1種方法是使用搖動(dòng)和捕獲裝置收獲果實(shí)。文獻(xiàn)[5]利用拖拉機(jī)振動(dòng)器搖動(dòng)柑橘樹來收獲柑橘，試驗(yàn)中能夠在5 s內(nèi)收獲72%的果實(shí)；文獻(xiàn)[6]利用由液壓驅(qū)動(dòng)、并由拖拉機(jī)動(dòng)力輸出裝置驅(qū)動(dòng)振動(dòng)器收割開心果，在50 mm的振幅和20 Hz的頻率下獲得95.5%的收獲率。此類采摘方法雖然效率高，但只適合堅(jiān)果類果實(shí)的采摘，對蘋果、梨等果實(shí)易造成損傷，影響果實(shí)的商業(yè)價(jià)值[7]。第2種方法是采用機(jī)器人進(jìn)行選擇性采摘，是將機(jī)器視覺系統(tǒng)和機(jī)械手結(jié)合起來，以便在盡可能不損傷果實(shí)的情況下摘取果實(shí)[8]。在采摘過程中，果實(shí)的識別定位最為重要，研究人員為了解決動(dòng)態(tài)光照、遮擋和粘連等問題，使用了不同類型的傳感器以及與之配合的圖像處理技術(shù)[9]，比如彩色攝像頭、紅外攝像頭、激光測距儀等。文獻(xiàn)[10]利用機(jī)器視覺識別水果，激光測距傳感器確定距離，用末端執(zhí)行器夾住并旋轉(zhuǎn)果梗分離果實(shí)。為了節(jié)約成本，文獻(xiàn)[11-12]使用機(jī)器視覺中的差分物體尺寸方法和雙目立體圖像方法確定末端執(zhí)行器到果實(shí)的距離，并由此來建立果實(shí)的三維坐標(biāo)。

以上方法都是在理想實(shí)驗(yàn)室環(huán)境下進(jìn)行的，未在實(shí)際環(huán)境下進(jìn)行驗(yàn)證，算法受自然光的干擾影響較大。為了減少自然光對識別的干擾，文獻(xiàn)[13-14]在夜間受控的人工照明下使用雙攝像頭立體裝置進(jìn)行圖像采集，對蘋果園的作物進(jìn)行產(chǎn)量估算。文獻(xiàn)[15]運(yùn)用紅外攝像頭和彩色攝像頭識別樹冠內(nèi)遮擋的綠色蘋果，使用投票方案從2個(gè)圖像中確定需要檢測的特征來提高準(zhǔn)確率。除去基于顏色、形狀的識別，還有采用支持向量機(jī)或神經(jīng)網(wǎng)絡(luò)的識別方法[16-18]。

除了機(jī)器人中的視覺系統(tǒng)，機(jī)械設(shè)計(jì)同樣影響采摘?jiǎng)幼鞯臏?zhǔn)確性和采摘后果實(shí)的品質(zhì)。文獻(xiàn)[19]將手工采摘方法作為候選抓取技術(shù)進(jìn)行評估，利用在末端執(zhí)行器上的力傳感器和慣性測量單元獲取三指動(dòng)力抓握期間的正常接觸力以及圍繞前臂軸線的旋轉(zhuǎn)角度，針對每個(gè)蘋果品種開發(fā)出相對最佳的采摘方法。文獻(xiàn)[20]提出一個(gè)帶有真空驅(qū)動(dòng)柔性抓手的7自由度機(jī)械臂，由硅膠漏斗和內(nèi)置攝像頭組成的夾具能夠無損地抓取果實(shí)，可在一定程度上減少對目標(biāo)形狀的依賴。文獻(xiàn)[21-22]提出一種多末端收獲機(jī)器人，每個(gè)手臂都裝有末端執(zhí)行器，利用深度神經(jīng)網(wǎng)絡(luò)在自然光下識別目標(biāo)，通過動(dòng)態(tài)調(diào)度系統(tǒng)協(xié)調(diào)4個(gè)機(jī)械臂，采摘速度為5.5 s/個(gè)。文獻(xiàn)[23]基于可見/近紅外光譜檢測技術(shù)設(shè)計(jì)了蘋果內(nèi)部品質(zhì)分級機(jī)械手，實(shí)現(xiàn)了在夾持蘋果的同時(shí)準(zhǔn)確預(yù)測蘋果可溶性固形物的含量。

當(dāng)前的果樹采摘機(jī)器人應(yīng)用難點(diǎn)在于不穩(wěn)定的視覺識別和低效的抓取動(dòng)作。復(fù)雜環(huán)境對機(jī)器人搭載的視覺識別系統(tǒng)提出了很高的要求，魯棒性差的視覺識別限制了機(jī)器人的工作時(shí)長和范圍；現(xiàn)有采摘機(jī)器人的機(jī)械臂多由電機(jī)模塊組成，抓取時(shí)需要進(jìn)行復(fù)雜的定位動(dòng)作，導(dǎo)致抓取時(shí)間占整個(gè)采摘時(shí)間的比例很大。

本文討論采摘機(jī)器人快速柔性摘取蘋果的能力，快速且魯棒的視覺識別能力和能夠全天候長時(shí)間工作的能力。設(shè)計(jì)額外的氣動(dòng)源可使采摘過程中機(jī)械臂能夠快速并柔性抓取蘋果，提高整體的采摘速度。采用深度神經(jīng)網(wǎng)絡(luò)的視覺算法提高識別系統(tǒng)對變化光線和復(fù)雜環(huán)境的魯棒性，同時(shí)延長機(jī)器人的工作時(shí)間，以提高機(jī)器人的整體工作效率。

1 材料與方法

1.1 研究對象

本文設(shè)計(jì)的機(jī)器人需要全天候進(jìn)行作業(yè)，所以其搭載的視覺系統(tǒng)目標(biāo)是能夠識別各種環(huán)境下的蘋果，視覺算法需要有足夠的泛化性和魯棒性。

蘋果圖像采集地點(diǎn)是江蘇省徐州市豐縣大沙河鎮(zhèn)蘋果示范基地和山東省煙臺市蓬萊縣蘋果示范基地，采集時(shí)間為2018年10月24日13:00—20:00，采集時(shí)攝像頭的位置模仿末端執(zhí)行器所在的高度和姿勢。試驗(yàn)共采集圖像2 460幅，分辨率為640像素×480像素，其中訓(xùn)練集1 600幅，驗(yàn)證集860幅。

蘋果樹高度一般為3～5 m，直徑為1.5～3 m，并且呈主干形，蘋果分布均勻。設(shè)計(jì)的機(jī)械平臺需要能夠達(dá)到不同的高度，并且末端執(zhí)行器需要無損地將蘋果從樹上分離。

為了使蘋果收獲機(jī)器人具有商用價(jià)值。本文的設(shè)計(jì)策略是以采摘效率和低成本為最高優(yōu)先級，并將其作為評估整體性能的基準(zhǔn)。

1.2 系統(tǒng)構(gòu)成和流程

1.2.1整體系統(tǒng)組成

本文設(shè)計(jì)的蘋果收獲機(jī)器人由2自由度電動(dòng)移動(dòng)平臺和5自由度機(jī)械臂組成。機(jī)械臂包括1個(gè)手動(dòng)調(diào)節(jié)升降平臺、3個(gè)電機(jī)控制的腰部和大小臂部分、氣動(dòng)控制的小臂直動(dòng)推桿及末端執(zhí)行器部分、視覺識別部分、各個(gè)系統(tǒng)之間的通信部分以及整體控制中樞部分。機(jī)械臂內(nèi)各部分間關(guān)系如圖1所示。

視覺系統(tǒng)負(fù)責(zé)目標(biāo)蘋果的識別，包括攝像頭；氣動(dòng)系統(tǒng)負(fù)責(zé)小臂直動(dòng)推桿的升縮及末端執(zhí)行器的柔性抓取，包括氣動(dòng)直動(dòng)推桿、Festo氣動(dòng)裝置、紅外傳感器、壓力傳感器、割刀、抓手；電機(jī)系統(tǒng)負(fù)責(zé)機(jī)械臂的伺服控制，包括伺服驅(qū)動(dòng)器、電機(jī)及轉(zhuǎn)動(dòng)關(guān)節(jié)；通信系統(tǒng)將各個(gè)模塊產(chǎn)生的數(shù)據(jù)與主控機(jī)進(jìn)行交互。

1.2.2整體系統(tǒng)流程

本文的蘋果收獲機(jī)器人整體系統(tǒng)的運(yùn)行流程包含3個(gè)線程，分別是控制氣動(dòng)裝置和顯示調(diào)試界面的氣動(dòng)線程，控制電機(jī)驅(qū)動(dòng)機(jī)械臂移動(dòng)的電動(dòng)線程，以及刷新視頻流和檢測蘋果的機(jī)器視覺線程，三者之間的協(xié)同工作如圖2所示。

圖1 整體系統(tǒng)構(gòu)成

圖3 YOLO V3網(wǎng)絡(luò)結(jié)構(gòu)

圖2 整體系統(tǒng)流程圖

當(dāng)蘋果收獲機(jī)器人開始工作時(shí)，會(huì)同時(shí)啟動(dòng)3個(gè)線程，其中電動(dòng)線程的“等待目標(biāo)坐標(biāo)”和氣動(dòng)線程的“等待目標(biāo)對準(zhǔn)”會(huì)阻塞直到條件滿足，首先進(jìn)入搜尋狀態(tài)，此時(shí)機(jī)械臂以“Z”形往復(fù)運(yùn)動(dòng)，使得攝像頭的視野盡可能覆蓋有效的采摘范圍。當(dāng)攝像頭視野中出現(xiàn)蘋果時(shí)，機(jī)械臂的轉(zhuǎn)速降低進(jìn)入對準(zhǔn)模式。當(dāng)機(jī)械臂上的末端執(zhí)行器對準(zhǔn)蘋果之后，會(huì)啟動(dòng)氣動(dòng)裝置伸出末端執(zhí)行器，此時(shí)末端執(zhí)行器上的傳感器感應(yīng)到目標(biāo)之后抓緊目標(biāo)，抓手的抓力隨著壓力傳感器的數(shù)值變化自動(dòng)調(diào)節(jié)，使得能夠柔性抓取目標(biāo)。抓到一定緊度后啟動(dòng)割刀割斷果梗，接著收回末端執(zhí)行器，抓手松開目標(biāo)，使目標(biāo)從輸送管送到果籃。至此，一次采摘的循環(huán)完成，機(jī)器人重新進(jìn)入搜尋模式，繼續(xù)下一次采摘。

1.3 視覺系統(tǒng)

1.3.1識別網(wǎng)絡(luò)

為了讓視覺系統(tǒng)能夠檢測各種環(huán)境下的蘋果，具有足夠的魯棒性，讓視覺系統(tǒng)達(dá)到快速和魯棒的識別效果，選用深度卷積神經(jīng)網(wǎng)絡(luò)YOLO V3[24]實(shí)現(xiàn)蘋果檢測。深度神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)地學(xué)習(xí)目標(biāo)特征，實(shí)現(xiàn)端到端的目標(biāo)檢測，并且已經(jīng)被證明能夠檢測各種動(dòng)態(tài)環(huán)境下的目標(biāo)。對網(wǎng)絡(luò)模型進(jìn)行修剪，具體結(jié)構(gòu)如圖3所示。輸入的圖像通過卷積層提取特征，池化層降低維度，兩者交替放置得出輸出張量。由于檢測目標(biāo)單一，不需要過深的神經(jīng)網(wǎng)絡(luò)，相比于原算法，本文用VGG結(jié)構(gòu)代替殘差網(wǎng)絡(luò)，并將輸出張量的尺寸由3種縮減為2種，網(wǎng)絡(luò)在第4層淺層網(wǎng)絡(luò)處提取信息與第11層深層網(wǎng)絡(luò)進(jìn)行融合，最終輸出13×13和26×26兩種不同尺寸的預(yù)測張量。其目的是提高整體模型的召回率，使其能夠更好地檢測到蘋果粘連的情況。

設(shè)計(jì)了蘋果圖像采集試驗(yàn)，用于網(wǎng)絡(luò)訓(xùn)練和準(zhǔn)確性驗(yàn)證，采用PASCAL VOC數(shù)據(jù)集的格式并用LabelImg制作數(shù)據(jù)集。使用Darknet框架在GTX 1080 8G顯卡下進(jìn)行訓(xùn)練，訓(xùn)練時(shí)采用64個(gè)樣本作為一個(gè)處理單元，使用BN(batch normalization)進(jìn)行正則化，并且加入比例為0.5的丟棄層(dropout)，以保持每層提取特征的相互獨(dú)立，動(dòng)量(momentum)設(shè)置為0.9，權(quán)值衰減(decay)設(shè)置為0.000 5，起始學(xué)習(xí)率(learning rate)設(shè)為0.001，并在每迭代4 000次后衰減0.1倍。

總計(jì)訓(xùn)練12 000次，每100次輸出一次權(quán)值文件，其訓(xùn)練模型基于驗(yàn)證集計(jì)算出的平均準(zhǔn)確率(mean average precision,mAP)隨迭代次數(shù)的變化如圖4所示，可以看出mAP穩(wěn)定在92%。關(guān)于模型更具體的描述(如與其他算法的性能對比、實(shí)際測試集的評估和實(shí)際檢測圖像實(shí)例)參照文獻(xiàn)[24]。

1.3.2傳統(tǒng)機(jī)器視覺

雖然深度神經(jīng)網(wǎng)絡(luò)具有較高的準(zhǔn)確率和泛化能力，但是對計(jì)算力的要求較高，通常將其部署在并行計(jì)算能力強(qiáng)的GPU上運(yùn)行，用額外的成本換取檢測效率的提高。本文采用神經(jīng)網(wǎng)絡(luò)主要是為了應(yīng)對動(dòng)態(tài)變化的光照環(huán)境，但在實(shí)際試驗(yàn)中在一定的時(shí)間段內(nèi)環(huán)境光照不會(huì)發(fā)生劇烈變化，這時(shí)傳統(tǒng)的機(jī)器視覺算法也能夠得到穩(wěn)定的檢測結(jié)果，并且會(huì)消耗更少的計(jì)算資源，加快檢測速度。

圖4 mAP隨迭代次數(shù)的變化曲線

本文傳統(tǒng)視覺算法流程分為4個(gè)步驟：①將所采集的RGB圖像轉(zhuǎn)換至HSV空間，提取H分量，設(shè)置閾值為紅色范圍并二值化，初步分割出蘋果區(qū)域。②用開運(yùn)算消除細(xì)微的噪聲。③找到所有的連通區(qū)域。④利用最小外接矩形標(biāo)注各個(gè)連通區(qū)域，其中面積最大的矩形框設(shè)為當(dāng)前的主要目標(biāo)。其具體流程如圖5所示。算法最終會(huì)得到矩形框的尺寸及其中心點(diǎn)。由于該算法僅利用目標(biāo)顏色進(jìn)行識別，實(shí)際計(jì)算量非常小，遠(yuǎn)低于深度神經(jīng)網(wǎng)絡(luò)的算法。

圖5 蘋果檢測步驟

1.3.3算法融合

為了利用前面2種算法的優(yōu)勢，將兩者結(jié)合使用。視覺系統(tǒng)在運(yùn)行時(shí)會(huì)根據(jù)當(dāng)時(shí)環(huán)境的變化而切換算法，在復(fù)雜環(huán)境下啟用魯棒性更強(qiáng)的深度神經(jīng)網(wǎng)絡(luò)，而在單一環(huán)境下啟用速度更快的傳統(tǒng)機(jī)器視覺。其中視覺系統(tǒng)的切換需要在兩者之間設(shè)計(jì)一個(gè)算法進(jìn)行溝通，并以一定的閾值控制兩者的切換，閾值計(jì)算公式為

(1)

式中 (x、y)——目標(biāo)中心坐標(biāo)

w、h——目標(biāo)外包矩形框的寬度和高度

其中下標(biāo)1表示深度神經(jīng)網(wǎng)絡(luò)輸出結(jié)果，下標(biāo)2表示傳統(tǒng)機(jī)器視覺輸出結(jié)果。

這里將前者算法的檢測結(jié)果作為可靠數(shù)據(jù)，然后計(jì)算后者算法結(jié)果與前者的偏差，當(dāng)偏差τ越大時(shí)，說明傳統(tǒng)機(jī)器視覺的結(jié)果越不可信。當(dāng)τ大于τo時(shí)，會(huì)使用深度神經(jīng)網(wǎng)絡(luò)的結(jié)果作為系統(tǒng)檢測結(jié)果，反之將傳統(tǒng)機(jī)器視覺的結(jié)果作為系統(tǒng)檢測結(jié)果，τo是二者切換的閾值，初始算法設(shè)為深度神經(jīng)網(wǎng)絡(luò)算法。這樣的切換機(jī)制會(huì)在兩種情況下觸發(fā)：機(jī)器人工作10 min之后；末端執(zhí)行器采摘失敗2次之后。具體流程如圖6所示。

圖6 視覺系統(tǒng)切換流程圖

1.4 機(jī)械系統(tǒng)

1.4.1機(jī)械臂

圖7 采摘機(jī)械手結(jié)構(gòu)簡圖

機(jī)械結(jié)構(gòu)是由5自由度的PRRRP機(jī)械臂和末端執(zhí)行器構(gòu)成，如圖7所示。第1個(gè)自由度由升降平臺控制，用來調(diào)節(jié)整體機(jī)器人的高度，以適應(yīng)不同高度的果樹；第2個(gè)自由度由腰部電機(jī)控制，實(shí)現(xiàn)機(jī)械臂的x軸移動(dòng)；第3和第4個(gè)自由度由大臂和小臂電機(jī)控制，實(shí)現(xiàn)機(jī)械臂的y軸移動(dòng)；第5個(gè)自由度由氣動(dòng)推桿控制，以實(shí)現(xiàn)末端執(zhí)行器的伸縮。

機(jī)械臂在整個(gè)運(yùn)動(dòng)過程中負(fù)責(zé)將末端執(zhí)行器對準(zhǔn)目標(biāo)蘋果，它會(huì)在視覺系統(tǒng)獲得目標(biāo)坐標(biāo)后開啟對準(zhǔn)模式。因?yàn)橐曈X傳感器放置在末端執(zhí)行器的中央位置，屬于手眼模式，由此視覺系統(tǒng)傳回的目標(biāo)坐標(biāo)是局部坐標(biāo)。手眼模式的優(yōu)勢在于機(jī)械臂基于局部坐標(biāo)進(jìn)行工作，可以不斷地進(jìn)行位置的矯正判斷，相比于利用全局相機(jī)得到的精準(zhǔn)坐標(biāo)進(jìn)行一次性定位，手眼模式對機(jī)械結(jié)構(gòu)本身的精度要求很低，不會(huì)因?yàn)闄C(jī)械臂有稍微的磨損而無法正確地抓取到目標(biāo)。

機(jī)械臂控制模型如圖8所示，視覺系統(tǒng)在獲得目標(biāo)坐標(biāo)(xt,yt)之后，計(jì)算目標(biāo)到攝像頭圖像中心點(diǎn)的偏移ex、ey，由此可以計(jì)算出將目標(biāo)對準(zhǔn)中心點(diǎn)所需要的機(jī)械關(guān)節(jié)轉(zhuǎn)動(dòng)角，轉(zhuǎn)換關(guān)系為

(2)

式中 Δθ1、Δθ2、Δθ3——腰部、大臂、小臂電機(jī)轉(zhuǎn)動(dòng)角

k1、k2——機(jī)械臂的控制參數(shù)

Δd——將圖像中移動(dòng)的像素距離調(diào)整為電機(jī)轉(zhuǎn)動(dòng)角的系數(shù)

圖8 機(jī)械臂控制模型

1.4.2末端執(zhí)行器

收獲機(jī)器人采摘流程中，對采摘蘋果品質(zhì)影響最大的是末端執(zhí)行器的機(jī)械結(jié)構(gòu)。為了保護(hù)蘋果在采摘過程中不被損傷，需要使用具有柔性抓取能力的抓手，本文使用的末端執(zhí)行器的機(jī)械機(jī)構(gòu)如圖9所示。末端執(zhí)行器由兩個(gè)氣動(dòng)裝置驅(qū)動(dòng)，第1個(gè)氣動(dòng)裝置負(fù)責(zé)抓手的張開和閉合，第2個(gè)氣動(dòng)裝置負(fù)責(zé)割刀的圓周運(yùn)動(dòng)以割開果梗；同時(shí)上面附有3個(gè)傳感器：抓手同軸心的攝像頭、2個(gè)抓手內(nèi)側(cè)的紅外光電傳感器和壓力傳感器。

圖9 末端執(zhí)行器機(jī)械機(jī)構(gòu)

抓取蘋果分3個(gè)步驟：

(1)當(dāng)采摘流程進(jìn)入抓取蘋果階段時(shí)，接收到機(jī)械臂對準(zhǔn)目標(biāo)的信號之后，直動(dòng)推桿的啟動(dòng)裝置持續(xù)伸出末端執(zhí)行器，此時(shí)抓手上的紅外光電傳感器檢測到抓手目標(biāo)存在后停止直動(dòng)推桿的伸縮，并激活末端執(zhí)行器上的第1個(gè)氣動(dòng)裝置合并抓手，此時(shí)合并壓力會(huì)隨著壓力傳感器傳回壓力的逐漸增大而逐漸減小，其關(guān)系式[25]為

p=k3/(f+s)2

(3)

式中k3——?dú)鈮汗降膮?shù)

f——壓力傳感器轉(zhuǎn)換的壓力

s——從啟動(dòng)氣動(dòng)裝置開始的時(shí)間

p——供給氣動(dòng)裝置的氣壓

直到p為零時(shí)，完全抓住目標(biāo)。

(2)激活第2個(gè)氣動(dòng)裝置啟動(dòng)割刀割斷果梗，使蘋果與樹分離。

(3)收回直動(dòng)推桿，回到其初始位置激活第1個(gè)氣動(dòng)裝置張開抓手釋放蘋果，讓蘋果順著回收管道成功回收，其具體流程如圖10所示。

圖10 末端執(zhí)行器抓取流程圖

2 試驗(yàn)與結(jié)果分析

2.1 測試環(huán)境

蘋果收獲機(jī)器人試驗(yàn)地點(diǎn)位于實(shí)驗(yàn)室內(nèi)。試驗(yàn)對象是一棵高度仿真的蘋果樹，有錯(cuò)落的樹枝、大量的樹葉和顏色質(zhì)地不同的蘋果分布設(shè)置，蘋果樹和真實(shí)果樹尺寸一致，如圖11所示。

圖11 收獲機(jī)器人試驗(yàn)圖

除了以上介紹的機(jī)械部分，試驗(yàn)中的硬件包含負(fù)載機(jī)器人的底盤平臺、提供動(dòng)力的移動(dòng)電源和提供氣壓的空壓機(jī)、控制電機(jī)的伺服驅(qū)動(dòng)器、控制氣動(dòng)的伺服定位控制器、輔助照明光源等。機(jī)器人硬件組成如表1所示。

表1 試驗(yàn)硬件

工控機(jī)CPU為Intel Core i7-7700HQ，內(nèi)存8 GB，操作系統(tǒng)為Windows XP，使用編譯器為Visual Studio 2010，編譯語言為C++，人機(jī)交互界面使用MFC框架，使用的庫包括OpenCV3.4、Festo SDK、臺達(dá)SDK。其中視覺系統(tǒng)中深度神經(jīng)網(wǎng)絡(luò)運(yùn)行在Intel CPU的集成顯卡中，運(yùn)用openMP進(jìn)行加速檢測，傳統(tǒng)方法也同樣運(yùn)行在CPU上。

2.2 視覺試驗(yàn)

視覺試驗(yàn)單獨(dú)測試視覺系統(tǒng)中2種算法的運(yùn)行時(shí)間和用以調(diào)整機(jī)械臂對準(zhǔn)模式下的運(yùn)行頻率。先改變運(yùn)行邏輯單獨(dú)測試2種算法，測試2種算法在白天和黑夜環(huán)境下的運(yùn)行時(shí)間。將攝像頭對準(zhǔn)目標(biāo)持續(xù)檢測3 min，收集算法的運(yùn)行時(shí)間，計(jì)算出平均檢測單幅圖像所需的時(shí)間。為了實(shí)現(xiàn)在空曠環(huán)境下夜間識別的測試，使用黑色的幕布吸收光線來模擬夜間環(huán)境，以避免墻壁反光造成的二次光源。試驗(yàn)環(huán)境如圖12所示。

圖12 黑夜模擬環(huán)境

試驗(yàn)結(jié)果表明，傳統(tǒng)機(jī)器視覺運(yùn)行時(shí)間白天為10 ms，黑夜為9 ms，深度神經(jīng)網(wǎng)絡(luò)白天為60 ms，黑夜為55 ms。由于白天背景復(fù)雜，算法運(yùn)行時(shí)間普遍比黑夜長，傳統(tǒng)算法的效率約為深度神經(jīng)網(wǎng)絡(luò)算法的6倍。

為了模擬果園環(huán)境下的視覺識別，分別在白天和夜晚進(jìn)行視覺系統(tǒng)試驗(yàn)，其檢測結(jié)果和人工檢測結(jié)果進(jìn)行對比，人工檢測的目標(biāo)限定為離末端執(zhí)行器80 cm的可摘取蘋果。

打開機(jī)械臂掃描模式，每隔10 s將攝像頭采集的圖像及其檢測結(jié)果保存到工控機(jī)中，持續(xù)采集3 min，讓機(jī)器人掃描到大部分采摘區(qū)域。試驗(yàn)共進(jìn)行5次，從14:00開始，到22:00結(jié)束，將每次檢測蘋果的個(gè)數(shù)除以人工從圖像計(jì)數(shù)得到的個(gè)數(shù)作為試驗(yàn)的準(zhǔn)確率，結(jié)果如表2所示。

可以看出整體視覺檢測時(shí)間都較短，白天由于光照的復(fù)雜性，會(huì)采用深度神經(jīng)網(wǎng)絡(luò)作為主要的檢測算法，檢測時(shí)間較長，同時(shí)準(zhǔn)確率因?yàn)椴煌瑫r(shí)間段光照的變化而不同；黑夜在輔助光源下檢測時(shí)，單調(diào)的背景使得傳統(tǒng)機(jī)器視覺也能適用，檢測時(shí)間大幅下降，并且準(zhǔn)確率得到提高。本次試驗(yàn)得到系統(tǒng)總體識別準(zhǔn)確率為94.14%，白天單幅圖像平均檢測時(shí)間為66 ms，夜間單幅圖像平均檢測時(shí)間為11 ms，總體單幅圖像檢測時(shí)間為44 ms。

表2 視覺試驗(yàn)結(jié)果

2.3 采摘試驗(yàn)

蘋果收獲機(jī)器人需要評估采摘率和采摘時(shí)間2個(gè)參數(shù)，采摘率為收獲的蘋果占采摘范圍內(nèi)可視蘋果總數(shù)的比例；采摘時(shí)間為采摘單個(gè)蘋果需要的平均時(shí)間，包括各個(gè)工作環(huán)節(jié)的時(shí)間。

進(jìn)行采摘試驗(yàn)之前，在仿真樹的一面上隨機(jī)掛好蘋果。然后讓機(jī)器人進(jìn)入自動(dòng)采摘模式，采摘蘋果的同時(shí)在后臺記錄各個(gè)階段的運(yùn)行時(shí)間，進(jìn)行4次試驗(yàn)，其中第4次為夜間試驗(yàn)，每次試驗(yàn)蘋果懸掛的位置隨機(jī)，仿真樹也會(huì)旋轉(zhuǎn)一定角度。試驗(yàn)結(jié)果如表3所示，表中平均時(shí)間是指采摘單個(gè)蘋果所用時(shí)間的平均值。

表3 采摘試驗(yàn)結(jié)果

由表3可知，單個(gè)蘋果采摘時(shí)間為7.81 s，采摘率為81.25%。占用時(shí)間較長的是對準(zhǔn)和抓取階段，其中對對準(zhǔn)階段用時(shí)影響最大的是視覺識別的刷新速度和機(jī)械臂的轉(zhuǎn)動(dòng)精度，對抓取階段用時(shí)影響最大的是直動(dòng)推桿的移動(dòng)速度。相比于電動(dòng)推桿，氣動(dòng)直動(dòng)推桿動(dòng)作迅速，能夠顯著縮短采摘時(shí)間。在整個(gè)抓取動(dòng)作中，涉及到推桿的伸出和縮回，抓手的張開與閉合還有割刀的劃動(dòng)，這些動(dòng)作全部由氣動(dòng)實(shí)現(xiàn)需要2.69 s，對比文獻(xiàn)[26]電動(dòng)機(jī)器人的6 s，效率提高了近1倍。

相比于電動(dòng)推桿驅(qū)動(dòng)機(jī)器人[26]15.4 s的單個(gè)蘋果抓取時(shí)間，本文機(jī)器人抓取時(shí)間降低了48%。

所以采用的實(shí)時(shí)視覺系統(tǒng)和以氣動(dòng)作為動(dòng)力的抓取系統(tǒng)對整體采摘時(shí)間有極大的優(yōu)化作用。

3 結(jié)論

(1)設(shè)計(jì)了能夠自動(dòng)識別并采摘的蘋果收獲機(jī)器人。闡述了整體系統(tǒng)構(gòu)成、機(jī)械系統(tǒng)和視覺系統(tǒng)的設(shè)計(jì)，并針對視覺系統(tǒng)的識別能力、機(jī)器人的采摘效率和采摘速度進(jìn)行試驗(yàn)。

(2)相比于純電動(dòng)機(jī)器人，基于氣電混合動(dòng)力的機(jī)械臂設(shè)計(jì)使采摘效率得到大幅提升。視覺系統(tǒng)中2種算法的切換模式提高了系統(tǒng)對光線變化和復(fù)雜環(huán)境的魯棒性，機(jī)器人在不影響實(shí)時(shí)性的條件下增加了工作時(shí)長，同時(shí)搭載的輔助照明增加了機(jī)器人夜間工作的能力。

(3)視覺試驗(yàn)和采摘試驗(yàn)表明，視覺系統(tǒng)的總體識別準(zhǔn)確率為94.14%，時(shí)間為44 ms；采摘單個(gè)蘋果平均需要7.81 s，采摘率為81.25%，視覺系統(tǒng)和末端執(zhí)行器的優(yōu)化縮短了整體的采摘時(shí)間。