基于機器視覺的蔬果輔助采摘裝置系統(tǒng)設計與優(yōu)化

曹琨，張姍姍

河南牧業(yè)經(jīng)濟學院信息工程學院（鄭州 450044）

人工采摘是我國傳統(tǒng)采摘方法，存在效率低、成本高、安全風險大等問題[1]，采摘果實就直接識別抓取果實，必須先使機器人準確地識別蔬果和枝條障礙，才能兼顧采摘成功率、損傷率以及采摘時間三個目標。

楊文亮等[2]提出了一種基于氣壓驅動的球狀果實采摘機器人末端執(zhí)行器，其主要采用氣壓驅動兩平移手指夾持果實，再利用氣壓驅動旋轉刀片繞一側手指切割果柄，并分析了利用氣壓驅動實現(xiàn)果實夾持與果柄切割的優(yōu)點，樣機自制零件結構工藝性好，外購零件標準化程度高。遲穎[3]對果蔬采摘機械手進行了設計，以PLC控制器作為控制中心，對果蔬采摘器工作提供程序命令，控制其末端執(zhí)行器，果蔬收集裝置及移動裝置等實現(xiàn)果蔬采摘全自動化。王欣等[4]提出了一種以Kinect V2設備作為機器人的視覺部分來摘取果蔬的系統(tǒng)。采用Kinect V2視覺設備獲得空間的深度圖像，由相機的成像模型原理獲得果蔬的三維坐標，將數(shù)據(jù)傳遞給NAO機器人進行逆運動學分析，并對機器人抵達目標物進行路徑規(guī)劃和可行性分析，根據(jù)機器人和果蔬的三維空間相對位置關系，選取最佳的行走路徑和采摘策略。

前人的研究同時無法兼顧采摘成功率、損傷率以及采摘時間三個目標。為此，借鑒前人研究，結合機器視覺技術，研究一種綜合性能更高的蔬果輔助采摘裝置系統(tǒng)，以期提高蔬果采摘效率和質量。

1 基于機器視覺的蔬果輔助采摘裝置系統(tǒng)設計

1.1 蔬果輔助采摘裝置系統(tǒng)整體框架設計

基于機器視覺的蔬果輔助采摘裝置系統(tǒng)主要分為三部分，即前端機器視覺系統(tǒng)、中央控制系統(tǒng)和末端執(zhí)行系統(tǒng)，如圖1所示。

圖1 蔬果輔助采摘裝置系統(tǒng)整體框架圖

1) 前端機器視覺系統(tǒng)，主要工作是采集蔬果圖像和路障圖像，從而識別蔬果目標以及進行避障處理。

2) 中央控制系統(tǒng)，主要任務是控制和協(xié)調整個系統(tǒng)的運行，包括工控機、伺服電機、驅動器以及控制電路等。

3) 末端執(zhí)行系統(tǒng)，主要負責執(zhí)行命令，執(zhí)行設備具體包括移動平臺和采摘手兩個部分。移動平臺按照規(guī)劃路徑進行移動，達到指定地點后，采摘手根據(jù)采集到的圖像識別果蔬目標，完成采摘行為[5]。

1.2 系統(tǒng)硬件設計

1.2.1 前端機器視覺識別設備

機器視覺識別設備主要包括照明、鏡頭、相機、圖像采集卡、視覺處理單元、圖像分析單元、通訊、輸入/輸出等[6]。其中，鏡頭、相機是其中重要的圖像攝取裝置。系統(tǒng)中的鏡頭選擇日本Computer公司生產(chǎn)M0814-MP2。

為保證圖像的清晰度，系統(tǒng)中的攝像機選擇大恒公司的1394數(shù)字攝像機DH-HV1310FC/FM。該攝像機屬于1/1.8英寸逐行掃描CMOS，分辨率達到1 280×1 024萬像素，采集方式有連續(xù)采集、外觸發(fā)采集、軟觸發(fā)采集等多種方式，支持MONO8格式圖像輸出，支持10位緊湊格式輸出，支持任意AOI設置，支持多種開發(fā)工具，提供免費的SDK和豐富的二次開發(fā)實例[7]。

1.2.2 中央控制設備

中央控制設備中，主要有工控機、伺服電機、驅動器[8]。

1) 工控機。工控機是一種加固的增強型個人計算機，具有重要的計算機屬性和特征，起到中央控制的作用。系統(tǒng)中的工控機為DTB-1022-J1900，其特點是：Intel J1900芯片組；最大支持8 G內存；HDMI+VGA雙顯；1個Mini PCle插槽；8路GPIO；2個千兆網(wǎng)口；8個串口（2個485串口）；6個USB口（1個USB 3.0）；PS/2接口；12 V電源輸入。

2) 伺服電機。系統(tǒng)中選擇的伺服電機為輝盛Towerpro-MG995[9]，其特點是：速度，4.8 V@0.20 sec/60°和6.0 V@0.19 sec/60°；扭力，4.8 V@13 kg/cm和6.0V@15 kg/cm；電壓4.8～7.2 V；空載工作電流120 mA；堵轉工作電流1 450 mA；響應脈寬時間≤5 s；角度偏差，回中誤差0°，左右各45°，誤差≤3°；齒輪，5級金屬齒輪組。

3) 驅動器。系統(tǒng)中選擇的驅動器為VTS-400，具有良好控制面板設計、強大的電機適配能力、能夠兼容多種規(guī)格編碼器；豐富的擴展功能、豐富的通訊接口、豐富的多功能卡以及豐富的保護功能[10]。

1.2.3 末端執(zhí)行設備

1) 移動平臺。蔬果輔助采摘裝置的移動需要依托移動平臺來執(zhí)行。目前主要有履帶式和輪式兩種，兩種移動平臺各有特點，如表1所示[11]。

表1 兩種移動平臺特點

2) 采摘機械臂。采摘機械臂主要負責將末端機械手移動至果實相應的采摘點，主要由腰關節(jié)、肩關節(jié)、肘關節(jié)和腕關節(jié)組成，具有動作靈活、工作空間大等優(yōu)點[12]。系統(tǒng)中所使用的采摘機械臂型號和參數(shù)如表2所示。

表2 采摘機械臂型號和參數(shù)

3) 末端采摘機械手。末端采摘機械手是系統(tǒng)最末端的部分，主要由夾持機構、切割裝置以及傳感器組成，負責完成采摘動作13]。系統(tǒng)中的末端采摘機械手采用德國SCHUNK公司生產(chǎn)的EVG JJ HUB100，其特點是：長行程50 mm，靈活搬運目標物體；抓取力控制范圍在24～57 N之間；預定位能力，縮短工作行程，減少周期時間；帶外部電子感應元件；型材導軌，精確搬運各種目標物體。

1.3 系統(tǒng)軟件設計

在VC++6.0中開發(fā)完成，首先利用前端機器視覺識別設備中的相機和攝像頭進行圖像采集，之后利用圖像采集卡將其轉換成一定格式的圖像數(shù)據(jù)流，傳輸?shù)揭曈X處理單元，對圖像進行處理，然后將處理好的圖像在圖像分析單元中進行目標識別，最后根據(jù)結果指揮末端設備進行采摘操作[14]。

1) 攝像機標定子程序。攝像機標定的作用是求解相機內參數(shù)和外參數(shù)，以校正鏡頭畸變、確定相機的方位，是保證采摘成功的一道保障[15]。

建立標定需要的三個層次的坐標系統(tǒng)。世界坐標（xw,yw,zw）與攝像機坐標（x,y,z）之間的轉換。

式中：T是世界坐標系原點在攝像機坐標系中的坐標；R是正交旋轉矩陣。R滿足約束條件：

正交旋轉矩陣實際上只含有3個獨立變量Rx、Ry、Rz，再加上tx、ty、tz總共六個參數(shù)，它們決定了攝像機光軸在世界坐標系中的坐標，因此，這6個參數(shù)稱為攝像機的外部參數(shù)。

圖像坐標系與攝像機坐標系變換關系。攝像機坐標系中的一點在圖像物理坐標系（X,Y）中像點P坐標為：

其次坐標表示為：

將公式（4）圖像物理坐標系（u,v）進一步轉化為圖像坐系：

式中：u0、v0是圖像中心（光軸與圖像平面的交點）坐標；dx、dy分別為一個像素在X與Y方向上的物理尺寸；sx、sy分別為X與Y方向上的采樣頻率。

因此，可得物點p與圖像像素坐標系中像點pf的變換關系：

式中：fx、fy分別為X與Y方向的等效焦距；fx、fy、u0、v04個參數(shù)為攝像機的內部參數(shù)[16]。

世界坐標系與圖像坐標系變換關系。

轉化為齊次坐標為：

式中：M成為投影矩陣，是相機內參矩陣和相機外參矩陣的乘積。公式（8）是針孔模型或者中心投影的數(shù)學表達式。在攝像機內部參數(shù)確定的條件下，利用若干個已知的物點和相應的像點坐標，可以求解出攝像機的內部和外部參數(shù)[17]。

2) 圖像識別與定位子程序。

輸入采集蔬果圖像。轉換圖像的顏色空間。對圖像進行閾值分割。膨脹和腐蝕操作，利用腐蝕可以消除小顆粒噪聲形成的孤立噪點。

式中：B為簡單的集合形狀；I為要處理的目標圖片經(jīng)過灰度變換產(chǎn)生的圖像；腐蝕運算為Θ。

膨脹可以使區(qū)域內的孔結構消失，常用于消除內部空洞。

式中：⊕為膨脹運算。

Canny目標蔬果圖像邊緣檢測。隨機Hough圓檢測，分離出敏感的圖像特征。立體匹配。獲取蔬果目標三維坐標[18]。

3) 導航子程序。

攝像機初始化。采集導航路面圖像。選取RGB顏色空間，提取2G-R-B色差分量。RGB模型可以建立在空間直角坐標系里，將R作為y軸，G作為x軸，B作為z軸，RGB顏色空間可以表示為空間中的一個封閉正方體，變邊長為0～255。Otsu算法對圖像進行閾值分割。形態(tài)學開運算、閉運算去除噪聲。圖像周圍加黑色邊框。區(qū)域標記保留最大連通區(qū)域。計算圖像中路面中心點族坐標，繪制路面中心線。

改進Rough變換，結合最小二乘法，檢測導航中心線。計算橫向偏差和航行偏差。換算成移動平臺行進速度。主控制器向移動平臺發(fā)送電機轉速信號。是否達到目的地，若到達，完成此次導航；若沒有到達，則需要回到步驟2，重新進行導航，指導準確待待采摘地點[19]。

4) 抓取子程序。首先啟動線程，給伺服電機上電，然后控制末端采摘機械手靠近要采摘的蔬果，指導上面的觸覺傳感器感應到已經(jīng)碰觸到目標物的信號，這時機械手開始發(fā)力，抓取目標物，切割完成后，收縮推桿到初始位置，打開機械手，使蔬果實放入到指定的收集框內，最后復位末端機械手，結束整個線程[20-21]。

2 系統(tǒng)采摘性能測試與分析

為測試此次基于機器視覺的蔬果輔助采摘裝置系統(tǒng)是否能夠同時兼顧采摘成功率、損傷率以及采摘時間三個目標，進行蔬果采摘測試分析。

2.1 采摘裝置樣機

按照正文蔬果輔助采摘裝置系統(tǒng)設計方案，得到的蔬果輔助采摘裝置實物如圖2所示。

2.2 實驗環(huán)境與參數(shù)設置

為全面測試該系統(tǒng)的采摘質量，采摘蔬果參數(shù)設置如表3所示[22]。

圖2 蔬果采摘裝置樣機

表3 采摘蔬果參數(shù)設置

2.3 攝像機標定

按照正文方法，進行攝像機標定，標定結果如表4所示。

表4 攝像機標定結果

2.4 設計目標設定

系統(tǒng)設計目標設定如表5所示。

表5 目標設定

2.5 結果分析

1) 準確識別率。結果如表6所示。

表6 準確識別率

2) 定位誤差。從10種采摘蔬果中各選一種，測定其定位誤差，結果如表7所示。

表7 定位誤差

從表6和表7中可以看出，該系統(tǒng)完全達到了準確識別率和定位誤差目標，解決了由于識別率不高或識別后定位精度不高導致后續(xù)采摘質量不高的問題。

從圖3可以看出，在枝條末尾部分有分叉現(xiàn)象，即擬合曲線與實際的位置曲線距離有變大趨勢。由于蔬果的生長特性，越靠近蔬果枝條末端，蔬果生長狀況越差，果實變小，果梗變短。實際試驗中采用平均長度的方式進行擬合時，在靠近枝條末端時藍色曲線會在紅色曲線下端，即蔬果上移的距離大于實際距離。在靠近枝條根部時情況相反。

圖3 現(xiàn)場數(shù)據(jù)三維效果圖

3) 綜合得分。從表8可以看出，單目標采摘成功率、采摘損傷率、單個目標平均采摘時間不僅達到了目標，而且超額完成。綜合采摘性能得分為9.23分，證明了該系統(tǒng)在采摘性能上的優(yōu)秀性，完全兼顧了采摘成功率、損傷率以及采摘時間三個目標。

表8 綜合得分

3 結語

結合機器視覺技術，在前人研究經(jīng)驗的基礎上，進行了蔬果輔助采摘裝置系統(tǒng)設計與優(yōu)化研究。該系統(tǒng)初步具備自主采摘能力，但是由于蔬果采摘測試未在實際環(huán)境中進行，因此得到的測試結果具有一定的局限性，今后可以深入研究復雜環(huán)境下蔬果采摘，提高采摘裝置系統(tǒng)的通用性與智能性。