果蔬采摘?jiǎng)幼鞑杉到y(tǒng)設(shè)計(jì)與試驗(yàn)

摘要：為提高果蔬采摘機(jī)器人動(dòng)作的準(zhǔn)確性，建立一套可應(yīng)用于農(nóng)作物采摘的動(dòng)作數(shù)據(jù)庫(kù)?；谝曈X(jué)識(shí)別技術(shù)，結(jié)合農(nóng)業(yè)生產(chǎn)中對(duì)于果蔬采摘?jiǎng)幼髋袛嗟膶?shí)際需求進(jìn)行分析研究，分別從硬軟件設(shè)計(jì)的角度，設(shè)計(jì)一種針對(duì)果蔬采摘?jiǎng)幼鞯木C合采集系統(tǒng)。在硬件層面，重點(diǎn)介紹包括UPS電源、運(yùn)算主機(jī)、攝像頭等各部件的需求分析及選型結(jié)果。在軟件層面，介紹軟件系統(tǒng)總體架構(gòu)并將子功能模塊化處理，此外重點(diǎn)介紹各功能模塊間的軟硬件交互方式。最后以蘋果的采摘?jiǎng)幼鳛檠芯繉?duì)象，設(shè)計(jì)整機(jī)測(cè)試試驗(yàn)及動(dòng)作識(shí)別試驗(yàn)來(lái)檢驗(yàn)系統(tǒng)的完備性。試驗(yàn)結(jié)果表明，該動(dòng)作采集系統(tǒng)對(duì)于單一采摘?jiǎng)幼鞯淖R(shí)別具有較高的正確率，識(shí)別率達(dá)100%。

關(guān)鍵詞：果蔬采摘；動(dòng)作采集；視覺(jué)識(shí)別；動(dòng)作數(shù)據(jù)庫(kù)

中圖分類號(hào)：S225.92

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：20955553 （2024） 070034

07

Design and experiment of fruit and vegetable picking action collection system

Xiao Ying1， Xie Minglu2， Jing Yijia3， Tong Yifei3

（1. Beijing Polytechnic， Beijing， 100176， China; 2. Nanjing Institute of Agricultural Mechanization，

Ministry of Agriculture and Rural Affairs， Nanjing， 210014， China; 3. School of Mechanical Engineering，

Nanjing University of Science and Technology， Nanjing， 210094， China）

Abstract：

In order to improve the accuracy of action of fruit and vegetable picking robot， it is established a set of action database which can be applied to crop picking. Based on visual recognition technology， this paper analyzed and studied the actual needs of fruit and vegetable picking action judgment in agricultural production， and designed a comprehensive collection system for fruit and vegetable picking action from the perspective of hardware and software design. On the hardware level， the paper mainly introduced the demand analysis and selection results of various components including UPS power supply， computing host and camera. At the software level， it introduced the overall architecture of the software system and modularized the sub-functions. In addition， it focused on the interaction between the software and hardware among the functional modules. Finally， taking the apple picking action as the research object， the whole machine test and the action recognition test were designed to check the completeness of the system. The test results showed that the action acquisition system had a high accuracy for single picking action recognition， the recognition rate was 100%.

Keywords：

fruit and vegetable picking; action collection; visual recognition; action database

0 引言

農(nóng)機(jī)裝備中的各項(xiàng)技術(shù)在不斷發(fā)展，已逐漸使用智能機(jī)器人代替純?nèi)斯?shí)現(xiàn)農(nóng)業(yè)的現(xiàn)代化。智能采摘技術(shù)在我國(guó)自動(dòng)化控制的沖擊下不斷進(jìn)行創(chuàng)新，應(yīng)用于多場(chǎng)景、多特征的采摘機(jī)器人越來(lái)越受到農(nóng)業(yè)精準(zhǔn)設(shè)施裝備的青睞。該智能農(nóng)機(jī)裝備，可以極大地解放勞動(dòng)力，降低勞動(dòng)強(qiáng)度，提高采摘效率，進(jìn)而節(jié)約生產(chǎn)成本［1］。相比于常規(guī)的農(nóng)機(jī)裝備對(duì)復(fù)雜果蔬采摘的適用性較差，如機(jī)械爪類采摘機(jī)器人常因?yàn)椴烧獎(jiǎng)幼鞑粶?zhǔn)確而破壞果蔬品相。理想的采摘機(jī)械手需要具有一定的避障能力，避免碰傷果實(shí)。因此，如何優(yōu)化果蔬采摘機(jī)械手動(dòng)作精度是設(shè)計(jì)采摘機(jī)器人的重要環(huán)節(jié)之一［2］。為了使采摘機(jī)器人能夠?qū)崿F(xiàn)自主進(jìn)行作業(yè)，往往會(huì)為機(jī)器人嵌入機(jī)器學(xué)習(xí)系統(tǒng)，然而目前還沒(méi)有針對(duì)果蔬類農(nóng)作物采摘標(biāo)準(zhǔn)動(dòng)作的數(shù)據(jù)庫(kù)。綜上所述，研究基于視覺(jué)識(shí)別的果蔬類農(nóng)作物采摘?jiǎng)幼鞑杉到y(tǒng)，建立動(dòng)作捕捉數(shù)據(jù)庫(kù)，為實(shí)現(xiàn)果蔬類農(nóng)作物的精準(zhǔn)、安全采摘，對(duì)農(nóng)業(yè)裝備的現(xiàn)代化發(fā)展有著重要的意義。

伴隨著計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)的快速發(fā)展，視覺(jué)識(shí)別技術(shù)在安全防護(hù)、高級(jí)人機(jī)互動(dòng)、視頻搜索分析等方面均具有重要的實(shí)用價(jià)值和研究?jī)r(jià)值［3］。在農(nóng)業(yè)生產(chǎn)中，由于農(nóng)機(jī)裝備運(yùn)行場(chǎng)地的復(fù)雜性，所處環(huán)境光照情況的復(fù)雜性，以及單株果蔬上果實(shí)位置的不確定性，給圖像中操作者動(dòng)作的識(shí)別造成了一定的困難［4］。同時(shí)在農(nóng)機(jī)裝備果蔬采摘中，所設(shè)計(jì)的視覺(jué)識(shí)別系統(tǒng)應(yīng)能夠?qū)崿F(xiàn)對(duì)采摘過(guò)程中的視頻進(jìn)行自動(dòng)記錄，為果蔬采摘?jiǎng)幼髯R(shí)別提供有效的圖像數(shù)據(jù)支撐，給后續(xù)的算法與裝置調(diào)試提供數(shù)據(jù)反饋。

目前的果蔬采摘機(jī)器人研究方面，日本久保田株式會(huì)社在1988年開(kāi)發(fā)出一款使用吸盤和刀片采摘柑橘的收獲機(jī)器人［5］。中國(guó)農(nóng)業(yè)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)了一款番茄采摘機(jī)器人［6］，該機(jī)器人配置了雙目視覺(jué)系統(tǒng)，并在采集端采用了夾剪一體的氣動(dòng)式結(jié)構(gòu)，采摘成功率約為86%。此外，華南農(nóng)業(yè)大學(xué)葉敏［7］、陳燕［8］等在荔枝采摘機(jī)器人及末端執(zhí)行器方面做了許多研究工作。西北農(nóng)林科技大學(xué)張發(fā)年［9］、陳軍［10］等分別在獼猴桃采摘末端執(zhí)行器方面做了許多研究工作。

雖然學(xué)者們針對(duì)果蔬采摘機(jī)器人做了大量的研究和探索，但鮮有針對(duì)現(xiàn)實(shí)中工人的采摘?jiǎng)幼鬟M(jìn)行研究與分析。由于采摘機(jī)器人往往存在通用性較差、生產(chǎn)設(shè)計(jì)成本高的問(wèn)題，大部分采摘機(jī)器人仍處在實(shí)驗(yàn)室研究階段，市場(chǎng)上還沒(méi)有出現(xiàn)商業(yè)化的果實(shí)采摘機(jī)器人。因此，收集并分析工人采摘?jiǎng)幼?，為采摘機(jī)器人的動(dòng)作學(xué)習(xí)提供數(shù)據(jù)支撐、節(jié)省設(shè)計(jì)成本具有現(xiàn)實(shí)意義。

本文結(jié)合某實(shí)業(yè)公司果蔬采摘?jiǎng)幼鞑杉到y(tǒng)產(chǎn)品開(kāi)發(fā)的實(shí)際需求及配置要求，對(duì)系統(tǒng)進(jìn)行需求分析，從而提出系統(tǒng)的總體目標(biāo)和所要實(shí)現(xiàn)的功能。將整個(gè)采摘?jiǎng)幼鞑杉到y(tǒng)的總體設(shè)計(jì)劃分為兩個(gè)部分：硬件部分和軟件部分。詳細(xì)介紹系統(tǒng)硬件部分的關(guān)鍵技術(shù)，此外從功能層面闡述軟件部分的運(yùn)行邏輯以及各部分的信息流向。最后根據(jù)實(shí)際需求與參數(shù)設(shè)置，以及整個(gè)動(dòng)作采集系統(tǒng)的完成情況，對(duì)系統(tǒng)的實(shí)際工作情況進(jìn)行測(cè)試。

1 果蔬采摘?jiǎng)幼鞑杉到y(tǒng)總體設(shè)計(jì)

1.1 動(dòng)作采集系統(tǒng)需求分析

現(xiàn)有的自動(dòng)采摘方式一般具有5種形式：振動(dòng)式、氣動(dòng)式、剪切式、梳刷式以及采摘機(jī)器人［11］。前4種是通過(guò)外力搖晃或震蕩果蔬植株來(lái)實(shí)現(xiàn)采摘，這些采摘方式應(yīng)用于果蔬植株較小、果實(shí)分布于植株表層或果實(shí)堅(jiān)硬的農(nóng)作物；另一種則是以機(jī)械手加機(jī)械臂的形式，對(duì)果實(shí)進(jìn)行精準(zhǔn)采摘，雖然這種機(jī)器人采摘方式效率較低，但是果實(shí)保有率較高，且一般用于人工采集后的二次檢查復(fù)采。為使采摘機(jī)器人自主進(jìn)行作業(yè)，為機(jī)器人嵌入機(jī)器學(xué)習(xí)系統(tǒng)。采用機(jī)器學(xué)習(xí)的方法可以對(duì)采摘機(jī)器人的采摘?jiǎng)幼鬟M(jìn)行訓(xùn)練。然而目前沒(méi)有較好地應(yīng)用在機(jī)器學(xué)習(xí)領(lǐng)域針對(duì)農(nóng)作物采摘的動(dòng)作數(shù)據(jù)庫(kù)，因此建立一個(gè)具有針對(duì)性的動(dòng)作數(shù)據(jù)集具有一定的現(xiàn)實(shí)意義。此外，在擁有采摘?jiǎng)幼鲾?shù)據(jù)集的基礎(chǔ)上，可以實(shí)現(xiàn)驗(yàn)證采摘機(jī)器人動(dòng)作訓(xùn)練的效果，也可以采用多媒體技術(shù)，結(jié)合仿真軟件對(duì)動(dòng)作的執(zhí)行速度和準(zhǔn)確性進(jìn)行模擬仿真［12］。通過(guò)對(duì)仿真模擬數(shù)據(jù)的分析和總結(jié)，可以對(duì)動(dòng)作進(jìn)一步的訓(xùn)練和優(yōu)化，直到采摘機(jī)器人的動(dòng)作滿足設(shè)計(jì)需求，如圖1所示。

基于對(duì)上述問(wèn)題的分析，結(jié)合某實(shí)業(yè)公司開(kāi)發(fā)果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的實(shí)際需求，在清楚地明確了整個(gè)系統(tǒng)的注意事項(xiàng)（明確系統(tǒng)目標(biāo)、確定系統(tǒng)使命以及系統(tǒng)適用條件）之后，確定此次開(kāi)發(fā)的果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的主要功能如下。

1） 發(fā)送開(kāi)始、結(jié)束命令。

2） 錄制實(shí)時(shí)監(jiān)控視頻和簡(jiǎn)單糾錯(cuò)指示。

3） 調(diào)取果蔬采摘?dú)v史任務(wù)。

4） 利用人工智能技術(shù)，通過(guò)機(jī)器視覺(jué)識(shí)別操作人員肢體動(dòng)作特征，進(jìn)行合規(guī)性判定和計(jì)數(shù)。

5） 智能拍攝視頻并本地保存。

1.2 系統(tǒng)架構(gòu)總體設(shè)計(jì)

本果蔬采摘?jiǎng)幼鞑杉?xùn)練系統(tǒng)的應(yīng)用場(chǎng)景是以落葉喬木類農(nóng)作物的采摘環(huán)境作為研究對(duì)象。操作人員在進(jìn)行人臉識(shí)別后，匹配數(shù)據(jù)庫(kù)中的個(gè)人信息數(shù)據(jù)，系統(tǒng)在確認(rèn)完成信息匹配后，發(fā)送開(kāi)始指令，此時(shí)操作人員開(kāi)始進(jìn)行正常采摘工作。視頻錄制攝像頭獲取實(shí)時(shí)監(jiān)控視頻數(shù)據(jù)并進(jìn)行儲(chǔ)存，同時(shí)將獲取到的視頻數(shù)據(jù)傳遞到軟件層，由視覺(jué)識(shí)別系統(tǒng)進(jìn)行動(dòng)作識(shí)別，并與標(biāo)準(zhǔn)動(dòng)作進(jìn)行比對(duì)。根據(jù)對(duì)比結(jié)果將采摘結(jié)果計(jì)數(shù)，將識(shí)別結(jié)果超出標(biāo)準(zhǔn)范圍的動(dòng)作進(jìn)行記錄。最終將結(jié)果以及動(dòng)作比對(duì)結(jié)果返回PC或PAD終端。整個(gè)果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的流程如圖2所示。

2 果蔬采摘?jiǎng)幼鞑杉到y(tǒng)硬件設(shè)計(jì)

2.1 硬件系統(tǒng)總體架構(gòu)

通過(guò)面向果蔬采摘?jiǎng)幼髯R(shí)別的智能采集系統(tǒng)的功能需求和應(yīng)用的三項(xiàng)技術(shù)理論即：人臉檢測(cè)、動(dòng)作識(shí)別和RFID技術(shù)，可以分析出需要1臺(tái)計(jì)算機(jī)來(lái)存儲(chǔ)和處理數(shù)據(jù)，1臺(tái)視覺(jué)識(shí)別設(shè)備（通常使用攝像機(jī)來(lái)捕捉圖像），RFID讀寫(xiě)器和電子標(biāo)簽設(shè)備，電源，聯(lián)網(wǎng)設(shè)備，人機(jī)交互設(shè)備即觸摸屏等。分析相關(guān)設(shè)備之間的連接關(guān)系，例如是否需要連接電源，是否需要連接信號(hào)線，或者是無(wú)線連接。再通過(guò)分析和參照相關(guān)文件，果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的硬件架構(gòu)如圖3所示。

系統(tǒng)主要由UPS電源、運(yùn)算主機(jī)、攝像頭、無(wú)線路由器、RFID、風(fēng)扇、音響、手持平板、觸摸屏、接口面板、急停按鈕及機(jī)殼、腳輪等配件組成。

UPS電源：為系統(tǒng)各部件提供電源，主要輸出220 V（AC）和12 V（DC）；UPS蓄電池可保證設(shè)備運(yùn)行5 h以上。運(yùn)算主機(jī)：使用高性能邊緣計(jì)算主機(jī)，為系統(tǒng)計(jì)算機(jī)視覺(jué)及其他設(shè)備運(yùn)行提供運(yùn)算服務(wù)。其中攝像頭、觸摸屏、音箱、控制面板部分接口直接與運(yùn)算主機(jī)相連，負(fù)責(zé)運(yùn)算、存儲(chǔ)和處理數(shù)據(jù)。攝像頭：計(jì)算機(jī)視覺(jué)輸入部件，使用云臺(tái)攝像頭，可以智能調(diào)整攝像頭以達(dá)到更好的拍攝效果。無(wú)線路由器：使用加密網(wǎng)絡(luò)連接內(nèi)部和外部設(shè)備。連接的內(nèi)部設(shè)備有運(yùn)算主機(jī)、RFID，外部設(shè)備有手持平板。RFID：模塊內(nèi)部集成RFID讀寫(xiě)器和激活天線，接口面板預(yù)留激活天線接口。風(fēng)扇：散熱風(fēng)扇，共有4組，通過(guò)溫控器控制風(fēng)扇的工作狀態(tài)。音響：發(fā)聲設(shè)備，通過(guò)觸摸屏控制音量大小，實(shí)現(xiàn)智能語(yǔ)音播報(bào)。手持平板：作為主要交互設(shè)備，主要實(shí)現(xiàn)系統(tǒng)和管理人員的交互控制。觸摸屏：輔助交互設(shè)備?？刂泼姘澹簲U(kuò)展外接接口。急停按鈕：用于緊急情況下系統(tǒng)設(shè)備斷電。各模塊之間分為強(qiáng)電連接和弱電連接，強(qiáng)電又有220 V和12 V的，同時(shí)還有無(wú)線連接的設(shè)備，主要是通過(guò)平板電腦對(duì)整個(gè)果蔬采摘?jiǎng)幼髯R(shí)別系統(tǒng)的無(wú)線操控。

2.2 硬件系統(tǒng)集成

運(yùn)算主機(jī)是視覺(jué)識(shí)別處理運(yùn)算的核心，其他設(shè)備作為輸入輸出設(shè)備與運(yùn)算主機(jī)進(jìn)行交互。同時(shí)運(yùn)算主機(jī)承載系統(tǒng)軟件交互服務(wù)，并能夠儲(chǔ)存數(shù)據(jù)、音視頻和文檔資料。運(yùn)算處理主機(jī)搭載了4個(gè)USB3.1Gen2口，可以擴(kuò)展WiFi、4G、GPS等模塊，同時(shí)提高了系統(tǒng)和周邊配備的傳輸速度，可適用于各種天氣和環(huán)境的情況。該運(yùn)算主機(jī)配備有128 G高速固態(tài)硬盤+1 TB機(jī)械硬盤，以及8 GB內(nèi)存，數(shù)據(jù)傳輸速率可達(dá)到32 Gb/s。全鋁機(jī)箱散熱更高效，且具備一定的抗震能力，從而使得穩(wěn)定性強(qiáng)以及計(jì)算機(jī)的壽命更長(zhǎng)?？紤]到該運(yùn)算主機(jī)的工作環(huán)境包括室內(nèi)及室外，甚至較為極端的環(huán)境，將主機(jī)的工作溫度控制在-20 ℃～60 ℃，在主機(jī)中搭配液冷風(fēng)扇散熱。由于該主機(jī)的主要工作在于視頻數(shù)據(jù)的處理，為保證圖像處理的效果，GPU需配備1660Ti及以上設(shè)備。主機(jī)DP、DVI、HDMI接口一應(yīng)俱全，可以多顯示器同時(shí)輸出。

對(duì)于攝像頭工作環(huán)境、具體形狀尺寸等選型判斷遵照硬件部分集成的具體情況。

攝像機(jī)的具體參數(shù)規(guī)格如下。

1） 帶二軸云臺(tái)，可通過(guò)程序控制轉(zhuǎn)向，云臺(tái)控制使用PELCO_D協(xié)議。

2） 物理像素200萬(wàn)及以上，無(wú)畸變。

3） 工作溫度范圍-20 ℃～60 ℃。

4） 可自動(dòng)調(diào)焦（3～12 mm），支持3倍，最高不超過(guò)10倍變倍，可在2.5 m位置完整拍攝1 m×0.5 m區(qū)域。

5） 視頻使用USB傳輸。

6） 暗光下圖像噪點(diǎn)少，信噪比大于52 dB。具有較好的抗震防老化能力，搬運(yùn)不會(huì)導(dǎo)致攝像頭轉(zhuǎn)動(dòng)。

7） 在室外環(huán)境下使用，在陰天、晴天等情況下可自動(dòng)調(diào)整曝光度。

8） 尺寸不大于140 mm×140 mm×200 mm。

綜上所述，最終應(yīng)用于實(shí)際的攝像機(jī)選擇?？低?00萬(wàn)2.5寸網(wǎng)絡(luò)高清miniPTZ攝像球機(jī)，該攝像頭可以滿足上述對(duì)于攝像機(jī)的選型要求，并且經(jīng)過(guò)對(duì)比選優(yōu)，在相同價(jià)位下其使用壽命、材質(zhì)、售后服務(wù)等在與品牌的攝像頭的對(duì)比中占優(yōu)勢(shì)。

本系統(tǒng)將硬件部分包括運(yùn)算處理主機(jī)、攝像頭、RFID讀寫(xiě)器、路由器、接口面板、USP電源、風(fēng)扇、音響和顯示屏都被集成在1臺(tái)機(jī)器內(nèi)部，其中處理主機(jī)的CPU為i5八代四核處理器，內(nèi)存8 G，GTX1060Ti獨(dú)顯；路由器的無(wú)線傳輸速率為1 200 Mbps，無(wú)線網(wǎng)絡(luò)的支持頻率是2.4 G和5 G，有內(nèi)置天線；網(wǎng)絡(luò)攝像頭帶二軸云臺(tái)（水平和垂直兩個(gè)方向）；RFID讀寫(xiě)器的應(yīng)用編程接口為RS-232或TCP/IP，支持EPC global UHF Class 1 Gen 2/ISO 18000-6C/ISO 18000-6B；UPS電源為鋰電池（12 V，150 AH），交流輸出是220 V，正弦波（包含12 V，3 A以上DC輸出5個(gè)接口；220 V AC輸出1個(gè)接口，電池內(nèi)置保護(hù)板以及傳感器模塊實(shí)時(shí)顯示電池電量，提供接口供APP開(kāi)發(fā)）。

從內(nèi)部硬件集成方式及數(shù)據(jù)流轉(zhuǎn)的設(shè)計(jì)分析，主要的部分是攝像頭、音響以及接口面板與運(yùn)算主機(jī)之間通過(guò)信號(hào)線連接，再通過(guò)運(yùn)算主機(jī)與路由器之間的網(wǎng)線連接構(gòu)建起局域網(wǎng)，從而使各個(gè)設(shè)備連接到同一局域網(wǎng)中從而來(lái)進(jìn)行數(shù)據(jù)的傳輸；利用USP電源為各部件提供電源，通過(guò)電源線向運(yùn)算主機(jī)、音響、風(fēng)扇輸出220 V交流電壓，以及向觸摸屏、無(wú)線路由器、攝像頭、RFID輸出12 V直流電壓，保證各設(shè)備可運(yùn)行5 h以上；觸摸屏、顯示屏和運(yùn)算主機(jī)之間通過(guò)高清晰多媒體接口線（HDMI線）連接，以此保證較高質(zhì)量的視頻信號(hào)傳送。系統(tǒng)硬件集成框圖及數(shù)據(jù)流轉(zhuǎn)情況如圖4所示。

3 果蔬采摘?jiǎng)幼鞑杉到y(tǒng)軟件設(shè)計(jì)

3.1 軟件系統(tǒng)結(jié)構(gòu)

果蔬采摘?jiǎng)幼鞑杉到y(tǒng)對(duì)軟件部分的設(shè)計(jì)采用模塊化的思想［13］，根據(jù)具體的需求分析，將各模塊劃分為并行結(jié)構(gòu)，選擇適用于農(nóng)作物采摘的動(dòng)作識(shí)別功能模塊、人臉識(shí)別功能模塊、錄像功能模塊、Wi-Fi功能模塊、RFID讀寫(xiě)功能模塊、數(shù)據(jù)庫(kù)模塊以及語(yǔ)音播報(bào)功能模塊等，系統(tǒng)的結(jié)構(gòu)如圖5所示。

在進(jìn)行采摘的準(zhǔn)備階段，首先需要確定操作人員與電子標(biāo)簽的關(guān)系，將操作人員的人像信息與電子標(biāo)簽上的編號(hào)一一對(duì)應(yīng)。因此需要提前采集電子標(biāo)簽的編號(hào)信息和操作人員的基本信息，采集完成后存入數(shù)據(jù)庫(kù)系統(tǒng)中，用于測(cè)試前的身份對(duì)比識(shí)別。

本系統(tǒng)對(duì)讀取標(biāo)簽的要求較低，只需要能在相應(yīng)位置正確讀寫(xiě)到即可，因此讀寫(xiě)器的參數(shù)設(shè)置以及讀寫(xiě)器每次讀寫(xiě)時(shí)間的控制等方面無(wú)須進(jìn)行太過(guò)復(fù)雜的配置。

3.2 系統(tǒng)軟硬件交互

基于系統(tǒng)使用方便和能夠快捷啟動(dòng)等方面的因素來(lái)考慮，系統(tǒng)啟動(dòng)后，人們能夠根據(jù)顯示的信息來(lái)快速了解和掌握本系統(tǒng)的運(yùn)行情況，從而更加方便地控制和操作，為此果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的人機(jī)交互界面的屏幕顯示應(yīng)具備：WIFI設(shè)置相關(guān)功能；攝像頭連接、角度、焦距調(diào)整；電源相關(guān)設(shè)置；電池電量顯示；機(jī)器人內(nèi)部設(shè)備運(yùn)行、連接情況檢測(cè)顯示；動(dòng)作識(shí)別、人臉識(shí)別運(yùn)行情況檢測(cè)等。

3.3 軟件各模塊設(shè)計(jì)

3.3.1 動(dòng)作識(shí)別模塊設(shè)計(jì)

在對(duì)實(shí)際采集到的視頻數(shù)據(jù)進(jìn)行分析可以得出，對(duì)于骨架的提取需要從時(shí)間維度和空間維度兩個(gè)層面進(jìn)行考慮［14］?？臻g維度為采集到的視頻數(shù)據(jù)中某一幀內(nèi)的顯示出的骨架圖，顯示其空間分布；而在時(shí)間維度則是將相鄰關(guān)鍵幀的圖像中代表相同關(guān)節(jié)的點(diǎn)在時(shí)間層面連接起來(lái)，考慮其時(shí)間變化?？紤]到這兩種維度，為提高識(shí)別精度，則需要參考細(xì)化與卷積的思路：首先是經(jīng)過(guò)剝離，在保持原來(lái)的形狀的基礎(chǔ)上去掉部分點(diǎn)，直到得到圖像的骨架；其次如果是需要考慮動(dòng)態(tài)的二值化圖像輪廓，則需確定以某一個(gè)關(guān)節(jié)點(diǎn)作為卷積中心；之后選取需要在空間維度上參與卷積的關(guān)節(jié)結(jié)點(diǎn)，即在坐標(biāo)系中能夠組成一條邊的相鄰的點(diǎn)；接著選取相鄰關(guān)鍵幀中一副骨架內(nèi)相同的關(guān)節(jié)節(jié)點(diǎn)，作為時(shí)間維度上參與卷積的點(diǎn)；最后確定卷積中心并對(duì)參與卷積的點(diǎn)分別從兩個(gè)維度上進(jìn)行卷積，采集最終的結(jié)果。

通過(guò)獲取需要的某兩個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，計(jì)算出響應(yīng)的距離，如式（1）所示，可以直接使用這些距離特征來(lái)識(shí)別某些簡(jiǎn)單姿態(tài)，如抬手等。

dx，y，z=（xi－xj）2+（yi－yj）+（zi－zj）

（1）

式中：

x、y、z——

對(duì)應(yīng)關(guān)節(jié)點(diǎn)的空間具體位置。

通過(guò)繼續(xù)處理這些距離特征，根據(jù)多點(diǎn)之間的距離計(jì)算角度特征，使用余弦定理求出各關(guān)節(jié)點(diǎn)兩兩連線后的夾角，進(jìn)一步識(shí)別動(dòng)作細(xì)節(jié)。

分析視頻文件中的關(guān)鍵幀的基礎(chǔ)上，首先在圖像信息中提取出關(guān)節(jié)節(jié)點(diǎn)的二維坐標(biāo)，以此構(gòu)建骨架在二維坐標(biāo)中的向量，之后利用骨架提取算法來(lái)提取出骨架序列。由于在時(shí)間維度的骨架序列信息存在冗余，因此在對(duì)圖像進(jìn)行視覺(jué)識(shí)別處理之前，對(duì)于視頻信息的關(guān)鍵幀提取就顯得尤為重要。

綜上所述，在本次果蔬采摘?jiǎng)幼鞑杉到y(tǒng)的開(kāi)發(fā)項(xiàng)目中，對(duì)于視頻信息在按照規(guī)則提取出關(guān)鍵幀的基礎(chǔ)上，為實(shí)現(xiàn)最終的動(dòng)作識(shí)別，具體操作步驟如下。

1） 剔除背景信息，保留人體輪廓。

2） 找到二值化的圖像輪廓。

3）" 找到最大的人體輪廓。

4） 將最大的人體輪廓的凸包提取出來(lái)，并據(jù)此找到骨骼和關(guān)節(jié)的相對(duì)位置。

5） 定位關(guān)鍵點(diǎn)，包括骨骼與關(guān)節(jié)的相對(duì)位置，標(biāo)記出骨骼線和關(guān)節(jié)點(diǎn)。

6） 把提取的特征點(diǎn)和動(dòng)作特征字典中的進(jìn)行比對(duì)，然后判斷該訓(xùn)練動(dòng)作的完成度。特征字典主要包括以下幾個(gè)方面：人體中心點(diǎn)、骨骼長(zhǎng)度、骨骼數(shù)目、關(guān)節(jié)的坐標(biāo)點(diǎn)、關(guān)節(jié)的個(gè)數(shù)以及標(biāo)準(zhǔn)動(dòng)作下骨骼之間的角度。

在分析記錄具體動(dòng)作時(shí)，以采摘過(guò)程中常出現(xiàn)的下蹲動(dòng)作為例，主要需要檢測(cè)腿部有彎曲，且檢測(cè)hipleft、knee、ankle三關(guān)節(jié)點(diǎn)之間的夾角關(guān)系和距離關(guān)系，夾角小于160°，距離兩邊之和大于第三邊的1.2倍，證明識(shí)別到的動(dòng)作屬于下蹲動(dòng)作。

3.3.2 錄像功能模塊設(shè)計(jì)

將隨機(jī)附帶的電源適配器插入電源插座，攝像機(jī)一端與電源連接，另一端通過(guò)交換機(jī)與路由器相連接，并開(kāi)始自檢，待攝像機(jī)完全啟動(dòng)之后，電源指示燈顯示攝像機(jī)部署就緒。

設(shè)備自檢完成后，將攝像機(jī)和電腦配置在同一個(gè)局域網(wǎng)，即在電腦的IE瀏覽器上輸入網(wǎng)絡(luò)攝像機(jī)的IP地址，從而訪問(wèn)攝像機(jī)操作界面，在該操作界面上對(duì)錄像各部分功能模塊進(jìn)行設(shè)置與調(diào)試。

當(dāng)要選擇播放已經(jīng)錄制好的視頻文件時(shí)，則需設(shè)計(jì)一個(gè)錄像回放子模塊，在該子模塊中，單擊“回放”按鈕，隨后打開(kāi)“選擇視頻文件”的對(duì)話框，即將要播放的視頻確定好后，單擊“確定”按鈕，便可在該子模塊中觀看該視頻。能夠?qū)崿F(xiàn)錄像回放功能的子模塊需要用到了Windows Media Player控件。

錄像回放子模塊具體實(shí)現(xiàn)步驟如下。

1） 新建一個(gè)命名為Video Playback.cs的Windows窗體，目的在于實(shí)現(xiàn)回放已經(jīng)完成錄制的視頻文件的功能。

2） 通過(guò)設(shè)置“回放”按鈕，來(lái)實(shí)現(xiàn)對(duì)于該功能的控制。對(duì)要打開(kāi)的文件格式以及存儲(chǔ)的默認(rèn)路徑進(jìn)行設(shè)置后，打開(kāi)“選擇視頻文件”對(duì)話框，選擇需要回放的視頻文件，將這個(gè)視頻文件發(fā)送給Windows Media Player 1控件的統(tǒng)一定位資源上，指出文件位置以及需要對(duì)該視頻文件進(jìn)行的操作。

3） 選擇“關(guān)閉”程序，當(dāng)回放視頻播放完畢后，通過(guò)調(diào)用Close方法對(duì)當(dāng)前窗口進(jìn)行“關(guān)閉”的操作。

3.3.3 數(shù)據(jù)庫(kù)模塊設(shè)計(jì)

數(shù)據(jù)庫(kù)作為本系統(tǒng)軟件中不可缺少的一部分，在采摘?jiǎng)幼鞑杉到y(tǒng)中，操作人員的所有信息即人員姓名、操作項(xiàng)目、編號(hào)等個(gè)人資料以及采摘都需要用數(shù)據(jù)庫(kù)進(jìn)行管理并輸入輸出［15］。

本系統(tǒng)采用的是SQL Server數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)采摘結(jié)果以及操作人員的信息。具體過(guò)程為：創(chuàng)建名字為db_IMP.mdb的數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中包含操作人員表、采摘項(xiàng)目表和采摘結(jié)果表，共3個(gè)數(shù)據(jù)表。每張數(shù)據(jù)表的字段以及注釋如下。

1） 操作人員表。操作人員表主要用來(lái)記錄操作人員的個(gè)人信息，包含個(gè)人編號(hào)、個(gè)人姓名、性別、身高、體重、采摘項(xiàng)目名稱。

2） 采摘項(xiàng)目表。采摘項(xiàng)目表主要用來(lái)記錄項(xiàng)目的相關(guān)信息，包含采摘項(xiàng)目名稱和項(xiàng)目編號(hào)。

3） 采摘結(jié)果表。采摘結(jié)果表主要用來(lái)記錄操作人員在結(jié)束后的結(jié)果相關(guān)信息，包含個(gè)人編號(hào)、采摘項(xiàng)目名稱、采摘數(shù)量、損壞數(shù)量以及完成操作時(shí)間。

這三個(gè)實(shí)體之間的關(guān)系如圖6所示。

4 動(dòng)作采集系統(tǒng)測(cè)試

4.1 整機(jī)性能測(cè)試

為測(cè)試采摘?jiǎng)幼鞑杉到y(tǒng)整機(jī)工作的穩(wěn)定性，通過(guò)模擬不同的工作環(huán)境，綜合考察系統(tǒng)的散熱性、穩(wěn)定性、防水性和靈活性［16］。

在散熱性方面，將機(jī)器設(shè)置在陽(yáng)光充足的戶外或溫度較低的冷庫(kù)，開(kāi)機(jī)放置4 h后檢測(cè)系統(tǒng)的運(yùn)行情況，以此來(lái)模擬夏季與冬季的戶外工作情況。試驗(yàn)結(jié)果表明，機(jī)身上通風(fēng)口的合理設(shè)計(jì)以及在主機(jī)上搭配的用于散熱的液冷風(fēng)扇保證了在長(zhǎng)時(shí)間不同戶外工作環(huán)境下整機(jī)的正常工作。

在穩(wěn)定性方面，試驗(yàn)采用將處于開(kāi)機(jī)狀態(tài)的機(jī)器分別推著在室內(nèi)、平坦的水泥路、坎坷不平的土路以及草地上快速行走30 min，隨后檢查機(jī)器的各項(xiàng)性能。滾輪及機(jī)器內(nèi)部底層裝有彈簧減震器，同時(shí)各部分的接線選擇高性能連接器，保證連接線的密封性以及優(yōu)秀的機(jī)械性能與電氣性能。因此，在該項(xiàng)測(cè)試所有的測(cè)試結(jié)果中，液晶顯示屏、路由器、讀寫(xiě)器等電子元件均正常運(yùn)行，且各部分安裝的相對(duì)位置未發(fā)生改變。底部萬(wàn)向輪可以進(jìn)行鎖緊，保證在機(jī)身需要時(shí)，即使地面不平整，機(jī)身也可以實(shí)現(xiàn)靜止。

在防水性方面，在機(jī)身外殼連接處使用雙層橡膠密封件，對(duì)機(jī)身外殼各個(gè)螺絲孔進(jìn)行密封處理，同時(shí)在液晶顯示屏上采用防水膜。測(cè)試在戶外小雨的情況下，機(jī)器仍能正常運(yùn)行，但是中到大雨會(huì)導(dǎo)致機(jī)器內(nèi)部積水，影響機(jī)器正常運(yùn)行，因此因盡量避免下雨的情況下在戶外使用該設(shè)備。

在靈活性方面，機(jī)身底部搭載有4個(gè)滾輪，處于機(jī)身前部的2個(gè)減震萬(wàn)向輪，處于機(jī)身后部的是2個(gè)減震定向輪，同時(shí)在內(nèi)部部件集成上將質(zhì)量較大的部件布置在底部，使得整個(gè)設(shè)備重心靠下。因此，在機(jī)器前進(jìn)的過(guò)程中，機(jī)器能夠平穩(wěn)移動(dòng)并且前部的減震萬(wàn)向輪保證機(jī)器移動(dòng)的靈活性。

4.2 采摘?jiǎng)幼髯R(shí)別試驗(yàn)

為研究采摘?jiǎng)幼髯R(shí)別采集成功率，針對(duì)該動(dòng)作采集系統(tǒng)的核心功能設(shè)計(jì)試驗(yàn)。研究在進(jìn)行蘋果采摘時(shí)，拉、扭、拉+扭的動(dòng)作對(duì)果實(shí)采摘情況，每個(gè)動(dòng)作試驗(yàn)樣本為100個(gè)不同姿態(tài)，并選擇枝條強(qiáng)度相近的果實(shí)植株［17］，試驗(yàn)過(guò)程中盡量保持動(dòng)作速度與時(shí)間一致。并記錄各種動(dòng)作下果實(shí)的完整程度，以此作為判定采摘?jiǎng)幼餍Ч囊罁?jù)。

本次試驗(yàn)中，定義“拉動(dòng)作”為握住果實(shí)，沿著手臂方向拉動(dòng)速度為120 mm/s，動(dòng)作時(shí)間為0.5 s；定義“扭動(dòng)作”為握住果實(shí)，以手腕為軸轉(zhuǎn)動(dòng)果實(shí)，扭動(dòng)速度為90°/s，扭轉(zhuǎn)時(shí)間為1 s；定義“拉+扭動(dòng)作”為握住果實(shí)，以120 mm/s的速度拉動(dòng)30 mm，同時(shí)以手腕為軸轉(zhuǎn)動(dòng)果實(shí)，扭動(dòng)速度為90°/s，扭轉(zhuǎn)時(shí)間為1 s。試驗(yàn)結(jié)果如表1所示。

由表1可以看出，本動(dòng)作采集系統(tǒng)對(duì)于單一采摘?jiǎng)幼骶哂休^強(qiáng)的識(shí)別成功率，對(duì)于單一的“拉”或“扭”的采摘?jiǎng)幼骶?00%的識(shí)別成功率；對(duì)復(fù)合動(dòng)作的識(shí)別判定能力還有待改進(jìn)，對(duì)“拉+扭”的復(fù)合采摘?jiǎng)幼鞯淖R(shí)別成功率僅為73%；完整的采摘結(jié)果包括無(wú)損的果實(shí)及果梗，“拉”的動(dòng)作能保證果實(shí)不易損壞，但是卻容易使得果梗斷裂，采摘完整率為40%；“扭”的采摘?jiǎng)幼鲿?huì)有9%的果實(shí)損壞率，整體采摘完整率為62%；通過(guò)試驗(yàn)可知，“拉+扭”的復(fù)合采摘?jiǎng)幼髟诠麑?shí)的采集中較為可靠，果實(shí)完整率達(dá)79%，能較好地保存果實(shí)及果梗。

5 結(jié)論

1） 本文以視覺(jué)識(shí)別技術(shù)為核心，對(duì)視覺(jué)識(shí)別技術(shù)以及相關(guān)算法原理進(jìn)行探討，同時(shí)結(jié)合系統(tǒng)工程的方法，從硬件與軟件兩個(gè)層面，設(shè)計(jì)出可應(yīng)用于識(shí)別人工果蔬采摘活動(dòng)的動(dòng)作采集系統(tǒng)。

2） 在設(shè)計(jì)試驗(yàn)階段，以蘋果的采摘?jiǎng)幼鳛檠芯繉?duì)象，設(shè)計(jì)整機(jī)測(cè)試及動(dòng)作識(shí)別試驗(yàn)來(lái)檢驗(yàn)系統(tǒng)的完備性，試驗(yàn)結(jié)果表明該套動(dòng)作采集系統(tǒng)對(duì)于單一采摘?jiǎng)幼鞯淖R(shí)別具有較高的正確率，可以達(dá)到100%的識(shí)別成功率。但本果蔬采摘?jiǎng)幼鞑杉到y(tǒng)對(duì)于復(fù)雜采摘?jiǎng)幼鞯淖R(shí)別效果欠佳，僅為73%，識(shí)別能力仍有一定的改進(jìn)提升空間。

3） 識(shí)別結(jié)果顯示，在果實(shí)采摘時(shí)，采用“拉”的動(dòng)作能保證果實(shí)不易損壞，但是卻容易使得果梗斷裂，采摘完整率為40%；采用“扭”的采摘?jiǎng)幼鲿?huì)有9%的果實(shí)損壞率，整體采摘完整率為62%；“拉+扭”的復(fù)合采摘?jiǎng)幼髟诠麑?shí)的采集中較為可靠，果實(shí)完整率達(dá)79%，能較好地保存果實(shí)及果梗。

參 考 文 獻(xiàn)

［1］王麗麗， 郭艷玲， 王迪， 等. 果蔬采摘機(jī)器人研究綜述［J］. 林業(yè)機(jī)械與木工設(shè)備， 2009， 37（1）： 10-11， 14.

Wang Lili， Guo Yanling， Wang Di， et al. Overview of study on fruit and vegetable picking robots ［J］. Forestry Machinery and Woodworking Equipment， 2009， 37（1）： 10-11， 14.

［2］劉凡， 楊光友， 楊康. 農(nóng)業(yè)采摘機(jī)器人柔性機(jī)械手研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2019， 40（3）： 173-178.

Liu Fan， Yang Guangyou， Yang Kang. Research on flexible manipulator for agricultural picking robot ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（3）： 173-178.

［3］許傳威， 陳韓， 陶翔翔， 等. 基于視覺(jué)識(shí)別的智能跟隨系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)［J］. 電腦知識(shí)與技術(shù)， 2019， 15（27）： 204-207.

［4］徐雪峰， 黃余. 基于機(jī)器視覺(jué)的機(jī)器人智能采摘實(shí)驗(yàn)平臺(tái)開(kāi)發(fā)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2019， 40（12）： 177-183.

Xu Xuefeng， Huang Yu. Development of robotic intelligent picking experiment platform based on machine vision ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（12）： 177-183.

［5］近藤直， 田充司， 野口伸. 農(nóng)業(yè)機(jī)器人.II， 機(jī)構(gòu)與實(shí)例［M］. 北京： 中國(guó)農(nóng)業(yè)大學(xué)出版社， 2009.

［6］劉繼展. 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017， 48（12）： 1-18.

Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

［7］葉敏， 鄒湘軍， 羅陸鋒， 等. 荔枝采摘機(jī)器人雙目視覺(jué)的動(dòng)態(tài)定位誤差分析［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（5）： 50-56.

Ye Min， Zou Xiangjun， Luo Lufeng， et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（5）： 50-56.

［8］陳燕， 蔣志林， 李嘉威， 等. 夾剪一體的荔枝采摘末端執(zhí)行器設(shè)計(jì)與性能試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2018， 49（1）： 35-41.

Chen Yan， Jiang Zhilin， Li Jiawei， et al. Design and testing of litchi picking end-effector integrated clamping and cutting performance ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018，49（1）： 35-41.

［9］張發(fā)年. 獼猴桃無(wú)損采摘末端執(zhí)行器的設(shè)計(jì)與研究［D］. 咸陽(yáng)： 西北農(nóng)林科技大學(xué)， 2014.

Zhang Fanian. Research and design on the nondestructive end-effector of kiwifruit harvesting robot ［D］. Xianyang： Northwest A amp; F University， 2014.

［10］陳軍， 王虎， 蔣浩然， 等. 獼猴桃采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（10）： 151-154， 199.

Chen Jun， Wang Hu， Jiang Haoran， et al. Design of end-effector for kiwifruit harvesting robot ［J］. Transactions of the Chinese Society for Agricultural Machinery，2012， 43（10）： 151-154， 199.

［11］高文碩， 宋衛(wèi)東， 王教領(lǐng)， 等. 果蔬菌采摘機(jī)械研究綜述［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2020， 41（10）： 9-15.

Gao Wenshuo， Song Weidong， Wang Jiaoling， et al. Review on fruit， vegetable and fungus picking machinery ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（10）： 9-15.

［12］王貞. 面向維修操作的手部動(dòng)作捕捉及其運(yùn)動(dòng)控制仿真研究［D］. 長(zhǎng)沙： 國(guó)防科技大學(xué)， 2023.

Wang Zhen. Research on hand motion capture and motion control simulation for maintenance operations ［D］. Changsha： National University of Defense Technology， 2023.

［13］趙冠楠. 工業(yè)機(jī)器人機(jī)械本體模塊化設(shè)計(jì)及其部分軟件的開(kāi)發(fā)［D］. 秦皇島： 燕山大學(xué)， 2019.

Zhao Guannan. Modular design of industrial robot mechanical body and development of partial software ［D］. Qinghuangdao： Yanshan University， 2019.

［14］刁智華， 吳貝貝， 毋媛媛， 等. 基于圖像處理的骨架提取算法的應(yīng)用研究［J］. 計(jì)算機(jī)科學(xué)， 2016， 43（S1）： 232-235.

Diao Zhihua， Wu Beibei， Wu Yuanyuan， et al. Application research of skeleton extraction algorithm based on image processing ［J］. Computer Science， 2016， 43（S1）： 232-235.

［15］唐良暉. 基于Android的智能終端通信勘察設(shè)計(jì)系統(tǒng)數(shù)據(jù)庫(kù)模塊的設(shè)計(jì)與實(shí)現(xiàn)［D］. 北京： 北京郵電大學(xué)， 2018.

Tang Lianghui. Design and implementation of the database module of intelligent terminal communication survey system based on Android ［D］. Beijing： Beijing University of Posts and Telecommunications， 2018.

［16］陳勃琛， 郭廣廓， 董成舉， 等. 工業(yè)機(jī)器人性能測(cè)試技術(shù)發(fā)展綜述［J］. 自動(dòng)化與信息工程， 2022， 43（1）： 20-24， 48.

Chen Bochen， Guo Guangkuo， Dong Chengju， et al. Review of the progress in the performance test of industrial robots ［J］. Automation amp; Information Engineering， 2022， 43（1）： 20-24， 48.

［17］姬偉， 李俊樂(lè)， 楊俊， 等. 機(jī)器手采摘蘋果抓取損傷機(jī)理有限元分析及驗(yàn)證［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2015， 31（5）： 17-22.

Ji Wei， Li Junle， Yang Jun， et al. Analysis and validation for mechanical damage of apple by gripper in harvesting robot based on finite element method ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2015， 31（5）： 17-22.