基于RPi4B與OpenCV的自動摘果機器人的設計

鄂穎麗，郝傳柱，麻耀華

（山東華宇工學院 電氣工程學院，山東 德州 253034）

0 引 言

現(xiàn)如今，農(nóng)業(yè)機械的自動化、智能化程度越來越高，這同時影響著農(nóng)民生產(chǎn)的方式，農(nóng)業(yè)機器人設計與研究成為全球關注的焦點問題。隨著中國經(jīng)濟的快速發(fā)展以及科技的進步，反季節(jié)水果得到了大面積的推廣。我國草莓的種植面積已由2001年的2 000 多畝提高到了250 萬畝。我國2/3 以上的草莓種植方式為地壟式種植，雖然這種方式能夠提高草莓的產(chǎn)量，但是目前摘果方式均為人工端著一個器皿蹲在或深彎腰站在兩個地壟之間的溝里，嚴重影響摘果以及日常在草莓地里梳理多余的花果以及摘掉多余的葉子等作業(yè)的工作效率。

本文針對草莓自動摘果機器人功能及結構進行設計與研究，主要研究設計了以OpenCV+Python 技術為核心的草莓圖像的識別、采集與定位功能，以及草莓采摘機器人在地壟式草莓大棚的沿跡避障系統(tǒng)和草莓采摘的草莓莖切割技術。能夠基本實現(xiàn)對草莓成熟果實的識別、定位與摘取，對于研制出有實際應用價值的草莓自動采摘機器人具有十分重要的意義。

1 國內(nèi)外研究現(xiàn)狀和發(fā)展動態(tài)

目前，國內(nèi)主要草莓主要采摘方式為人工采摘方式或借助一些簡單的機械，在使用過程中，存在工作效率低、人工行走不方便等特點?，F(xiàn)如今各種草莓摘果還是由人工來完成的，沒有研發(fā)自動化機械裝置，主要是在改進一些輔助工具，例如背帶或者手推式小車等工具，雖然在裝置結構、原理等研究方面都獲得了一定的進展，但是這些工具未能達到自動采摘的目的且消耗大量體力。而且這些工具精度低、工作效率低、使用范圍無針對性，不適合用于草莓采摘。

國外比利時公司Octinion 雖然有一款草莓采摘機器人，但是由于無土種植機器體積過大，成本在100 萬左右，且使用前提是有配套的溫室大棚構造，對于傳統(tǒng)的平底種植（包括地壟式草莓種植方式）是無法使用的，不適合用于我國主流的草莓種植行業(yè)。

本文設計的草莓自動摘果機器人結構較小，總體高度控制在25 cm 以內(nèi)，使其更適合國內(nèi)地壟式種植方式，能夠實現(xiàn)小型農(nóng)業(yè)機械采摘。

2 機器人控制系統(tǒng)設計

2.1 控制器的選擇

RPi4B 憑借其體積小、功能強等優(yōu)點，逐漸廣泛應用于自動化控制中。RPi4B 是一款基于ARM 架構的微型電腦主板，其系統(tǒng)是基于Linux?？ò逯車? 個USB 接口和一個100 以太網(wǎng)接口，可連接網(wǎng)線。同時其擁有視頻模擬信號的HDMI 高清視頻輸出接口。RPi4B 相較于單片機來說，功能更強大，具有獨立的CPU、內(nèi)存和操作系統(tǒng)，可以直接進行編程和運行，更加智能，使用也更加方便。因此，本文所設計的草莓自動摘果機器人使用RPi4B 作為主控。該機器人擁有對成熟草莓的定位、摘取及沿跡避障等功能，需要控制多個運動舵機，采集多個紅外和力學傳感器數(shù)據(jù)以及處理采集視頻信息。根據(jù)系統(tǒng)整體功能需要，采用ARM 與RPi4B相結合的方式構建系統(tǒng)，利用基于PC 上位機的OpenCV，再用RPi4B 編譯OpenCV。RPi4B 開發(fā)板如圖1所示。

圖1 RPi4B-2G 開發(fā)板

OpenCV 是一種計算機視覺庫，可通過處理圖像和視頻來完成計算機視覺和學習的各種任務，通過顯示攝像頭輸入的信號讓機器人識別定位現(xiàn)實中的成熟草莓。

草莓摘果程序是用Python 語言編程的。PyCharm 是Python 的開發(fā)軟件，幫助用戶使用Python 語言進行有效的開發(fā)，是提升效率的工具。它采用了一個靈活的窗口管理系統(tǒng)，允許開發(fā)者使用多個監(jiān)視器并識別Python 語言，能夠為用戶提供一個良好的編譯環(huán)境。通過此軟件可以根據(jù)實際情況合理修改草莓摘果程序。PyCharm 編程操作界面如圖2所示。

圖2 PyCharm 編程操作界面

2.2 機器人控制系統(tǒng)的整體設計

該機器人包括上層控制系統(tǒng)和下層控制系統(tǒng)。

上層控制系統(tǒng)主要包括：OpenCV 的圖像處理模塊、圖像采集模塊、視頻解碼模塊、視頻編碼模塊、串行通信模塊等。

下層控制系統(tǒng)主要包括：RPi4B 主控模塊、電源模塊、切割采摘模塊、舵機驅動裝置、紅外傳感器模塊、串行通信模塊等。

上層控制系統(tǒng)和下層控制系統(tǒng)主要通過USB 連接傳送數(shù)據(jù)，完成設備之間實時的數(shù)據(jù)交換及實現(xiàn)人機交互等功能。

上層控制系統(tǒng)在視頻解碼模塊的工作下，將圖像采集模塊選定的視頻圖像數(shù)據(jù)由模擬信號轉化為數(shù)字信號，再利用OpenCV 進行數(shù)字信號處理、分析，實現(xiàn)草莓果實輪廓的提取和果實三維重心的位置計算等。將數(shù)字信息傳送到編碼器，編碼模塊將信號轉換成模擬信號后顯示出處理后的草莓果實的圖像，在這個過程中，電源繼電器會為機器提供電能。

下層控制系統(tǒng)的RPi4B 主控模塊通過串口接收到來自OpenCV 發(fā)送的草莓果實三維空間坐標數(shù)據(jù)，提取有效值后，機器人部件以三維移動的方式移動到待采摘草莓的正前方位置。之后通過RPi4B 主控模塊的控制來定位草莓莖，利用切割采摘的方法，切割下草莓果實以上5 cm 左右的草莓莖，將5 cm 的草莓莖切下來后對草莓莖進行抓取，最后將草莓果實送到采集箱中。在下層控制系統(tǒng)工作時，電源模塊向該系統(tǒng)提供電能，同時超聲波和紅外傳感器的沿跡避障模塊可以使機器人沿設定路徑在草莓田埂里移動，以有效防止壓傷草莓。

草莓摘果機器人系統(tǒng)結構框架圖如圖3所示。

圖3 草莓摘果機器人系統(tǒng)結構框架圖

3 草莓摘果機器人成熟果實識別模塊研究

草莓自動識別定位采用機器視覺技術進行視頻圖像的識別與定位。首先選定規(guī)定目標特性，視頻圖像一般在自然光下采集，由于成熟草莓顏色為深紅色與其背景的綠色草莓葉片和白色不成熟草莓顏色差別較大，能夠方便機器區(qū)分目標與背景圖像；其次是利用精確的圖像分割技術，達到去除背景并識別定位成熟草莓的目的。草莓摘果目標果實識別定位系統(tǒng)根據(jù)色調(diào)以及飽和度特征進行分割，力求提高成熟果實識別定位分割的成功率。

3.1 機器視覺中的顏色表示

根據(jù)色彩色度學，人們可以精準地辨別出物體顏色不一的不同部位。色度學目前有HSV、RGB、HIS 等顏色模型。目前在圖像處理中使用較多的是RGB 顏色空間，但是HSV 顏色空間卻比RGB 更接近人們對彩色的感知經(jīng)驗，直觀地表達顏色的色調(diào)、鮮艷程度和明暗程度，能更方便地在同一畫面中進行不同顏色的對比，常用于分割指定顏色的物體。HSV 顏色模型由色調(diào)H、飽和度S、明度V三部分組成。色調(diào)角度度量的取值范圍為0°～360°，紅色為0°，綠色為120°；飽和度表示顏色接近光譜色的程度，飽和度高，顏色則深而艷；明度表示顏色明亮的程度。本文研究的草莓自動識別與定位技術采用更容易跟蹤某種顏色的物體的HSV 顏色模型，HSV 顏色空間模型如圖4所示。

圖4 HSV 顏色空間模型

3.2 目標草莓的圖像識別與分割

草莓果實的成熟通常分成四個階段，即綠熟期、白熟期、轉色期與紅熟期。確定草莓成熟度的重要標準則是草莓果實的著色面積與深度。草莓在成熟過程中，果皮的顏色由淺到深，范圍由小到大，摘果上可以以此作為采摘的標準，即在果皮著色程度達75%～85%時采摘為宜。

草莓視頻圖像是通過CCD 攝像頭獲取的，運用OpenCV 識別技術，首先根據(jù)色域范圍設定顏色區(qū)間。然后打開視頻流，打開攝像頭，設定畫面寬度和高度。利用高斯濾波使畫面模糊，將圖片的色域轉換為HSV 的樣式，以便檢測。接下來設置閾值，去除背景，保留設置的紅色。通過邊緣檢測來確定識別物體的位置信息得到相對坐標；然后獲取最小外接逆三角形的三個頂點。最后繪制輪廓，獲取坐標、長度和角度。

機器視覺最核心的功能是對圖像的識別、定位與分割，這將直接決定目標草莓的精準識別和定位，從而影響草莓的采摘。而草莓生長環(huán)境改變，具體位置會發(fā)生變化，日照的變化以及背陰都會對視頻圖像的采集產(chǎn)生很大的影響，進而降低系統(tǒng)識別定位的準確率。

4 草莓自動摘果機器人總體結構設計

本文設計的草莓自動摘果機器人涉及單片機技術及控制原理、電機控制與應用、傳感器檢測技術、機械控制等多個技術領域。本文設計的草莓自動采摘機器人工作過程自動化，操作簡單，無須人工干預，在出現(xiàn)無法正常工作或該裝置電量過低時等工作異常時的故障報警。

基于RPi4B 和OpenCV 控制的地壟式種植草莓方式的自動摘果機器人設計包括切割采摘裝置、紅外避障系統(tǒng)和收集運輸裝置三個部分。摘果機器人采取上下雙層的構造，為每個功能模塊、控制器及電池的合理放置供給了充足的空間。其中，下層支架完成車體電源與電機的配合控制，上層云臺完成草莓識別與切割采摘設備的安放。

能源供應方面使用鋰電池，鋰電池使用壽命長，高低溫適應性強，充放電方便，可以穩(wěn)定地為采摘車作業(yè)提供能量。移動裝置中的電機選用370 直流減速電機，電機驅動原理如圖5所示。

圖5 移動設備電機驅動原理

切割采摘收集裝置包括有機械臂、刀片、平行機械爪、果實收集箱。其中，機械臂由U 型舵機支架、L 型舵機支架、云臺支架、金屬舵盤軸承及6 個ZP15S 舵機組成，該舵機具備體積小、精度高、耐堵防燒的特性。當發(fā)生堵轉時可以自我保護停止工作。旋轉角度270°，由20 ms 周期PWM脈沖信號進行控制，每個舵機具有單獨的ID，多個舵機串聯(lián)使用，布線簡單使用PID 算法實現(xiàn)舵機角度定位。為了防止機械手在采摘草莓果實過程中破壞草莓嬌嫩的果皮，草莓自動摘果機器人采用先切割草莓莖再進行采摘的方式，盡可能地保障草莓的品質(zhì)。具體實現(xiàn)方法是在原有的夾取機械爪的端部添加方形刀片，在機械爪抓取草莓莖的同時，刀片也將草莓莖切斷，即完成切割采摘的過程，切割采摘裝置如圖6所示。

圖6 切割采摘裝置示意圖

設計采用集成度高且功能強的RPi4B 為主控制器，同時設計包含紅外避障系統(tǒng)及收集運輸裝置，果籃裝滿后，利用收集運輸裝置將草莓運出大棚，不用人工進行搬運，省時省力，提升效率。

機器人自動摘果的第一步是利用移動設備和采摘器進行移動并尋找可識別目標；第二步是利用識別精度高的OpenCV 來實現(xiàn)草莓圖像的識別與定位，識別到顏色與飽和度在設定區(qū)間范圍內(nèi)的目標后，進行草莓輪廓繪制，獲取草莓三維坐標，然后計算草莓果實以上5 cm 左右的草莓莖位置，隨后編碼模塊再將位置信息進行簡單信息處理傳到控制器使機械爪能夠準確尋找草莓莖的位置；最后一步進行采摘切割并收集。這樣一個流程，就完成草莓的自動采摘過程。

同時設計包括兩種人機交互模式，第一種人機交互模式為自動采摘模式，人工打開電源開關并打開自動采摘開關，草莓自動摘果機器人即開啟無須人工干預的自動摘果模式，但是該模式草莓摘果的效率較低。第二種人機交互模式為人工輔助遙控摘果，通過手機顯示屏進行遠程實時視頻圖像傳輸，人工進行識別并下達摘果指令，完成摘果過程。這種人機交互模式可以有效降低人工工作強度，減少采摘員的勞損問題。設計的兩種人機交互方案流程如圖7所示。

圖7 人機交互設計方案流程圖

5 結 論

本文針對人工采摘草莓費力且勞動力缺乏等問題，設計了一款能夠識別并摘取草莓的地壟式草莓自動摘果機器人，旨在為農(nóng)民大眾提供一個自動化、智能化農(nóng)業(yè)環(huán)境，減少人工勞動強度，對我國地壟式草莓種植業(yè)的發(fā)展與自動化農(nóng)業(yè)機器人的研究具有一定的參考價值。