水果姿態(tài)圖像自動采集訓(xùn)練檢測儀設(shè)計

林 靜， 徐月華

(1. 茂名職業(yè)技術(shù)學(xué)院機電信息系，廣東 茂名 525000; 2. 廣東機電職業(yè)技術(shù)學(xué)院，廣東 廣州 510641)

0 引 言

獲取水果姿態(tài)信息在農(nóng)業(yè)生產(chǎn)中具有重要的研究意義，在水果自動化加工中如龍眼去核[1]、蓮子取芯[2]、杏果去核[3]、沙果去核[4]、柚子套袋[5]中都需要對水果定向擺放以提高加工效果和加工效率，在水果自動化套袋、采摘時需要完成目標檢測定位外，還需要獲取水果的姿態(tài)信息進一步調(diào)整機械手的動作，以更好地抓取或剪切[5-6]，因此獲取水果姿態(tài)信息在農(nóng)業(yè)自動化生產(chǎn)加工中具有重要的研究意義。隨著勞動力成本的增加和農(nóng)業(yè)智能化、自動化技術(shù)的發(fā)展，部分物理特征明顯的水果，如杏果、蘋果等軸向特征明顯，沙田柚的大小頭特征明顯[3，5]等，可利用其物理特性設(shè)計專門的自動化定向裝置，以滿足自動化加工的需求。但很多水果如龍眼品種多、形狀各異、大小頭特征不明顯[1]，蓮子通常呈圓球狀、蓮心處物理特征不明顯，則難以利用物理特征設(shè)計裝置實現(xiàn)定向[7]。

利用圖像特征進行目標識別、檢測、定位的機器視覺技術(shù)在水果自動化采摘、加工領(lǐng)域已經(jīng)獲得了應(yīng)用[6-8]，特別是隨著深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，圖像識別的準確率得到較大提高，但算法性能提升除了依靠算法模型，龐大的數(shù)據(jù)也是支撐算法模型性能提升的關(guān)鍵，如ImageNet已有千萬張的圖像數(shù)據(jù)[9]。但針對特定的應(yīng)用場景（如水果姿態(tài)圖像的識別檢測等）數(shù)據(jù)集非常有限，圖片數(shù)量非常少，即使采用遷移學(xué)習等相關(guān)技術(shù)可以降低特定場景圖像數(shù)量的要求，但仍需要幾百張圖片才能訓(xùn)練出可接受的結(jié)果，而人手工拍攝采集圖像的效率低、成本高、質(zhì)量差異大，并且采集的圖像還需要人工標注、工作量大。文獻[10]針對工件6D位姿估計采用對物體3D建模，構(gòu)建多角度多姿態(tài)圖片集，文獻[11]采用GAN技術(shù)對采集的圖片集訓(xùn)練生成模型，然后用模型生成新的圖片以擴容圖片集，上述方法對工件等差異小的目標是有效的，但對個體差異大的水果等生成圖片集的多樣性、真實性不足。目前的圖像采集系統(tǒng)主要滿足雙目深度圖像采集[12]，難以適用于多角度多姿態(tài)圖像的拍攝。因此，本文設(shè)計了一套自動化裝置以實現(xiàn)水果多姿態(tài)圖像的自動采集、訓(xùn)練、檢測。

1 系統(tǒng)設(shè)計思路

基于對多姿態(tài)水果圖像自動化采集的需求，進行了水果多姿態(tài)圖像智能采集裝置設(shè)計。該裝置將攝像頭安裝在三自由度機械臂末端，目標物放于可移動垂直十字滑臺和360°旋轉(zhuǎn)云臺構(gòu)成的水果放置臺上，通過它們的配合運動自動完成一組多姿態(tài)的水果圖像拍攝，并按姿態(tài)分類自動存入對應(yīng)文件夾完成標注，通過模塊化的深度神經(jīng)網(wǎng)絡(luò)輔助訓(xùn)練程序，實現(xiàn)水果姿態(tài)訓(xùn)練和檢測，構(gòu)成一個水果多姿態(tài)圖像的采集、訓(xùn)練、檢測一體化裝置。

系統(tǒng)由上位機和下位機兩部分構(gòu)成。上位機采用PC機開發(fā)，通過人機接口界面完成拍照參數(shù)的設(shè)置，控制攝像頭完成圖像的拍照、分類存儲，完成基于深度學(xué)習姿態(tài)分類訓(xùn)練參數(shù)的設(shè)置、姿態(tài)圖像分類模型訓(xùn)練及分類檢測。下位機由采用STM32F103單片機為控制器、三自由度機械臂構(gòu)成的攝像頭運動及控制模塊、可水平垂直運動的十字滑臺及360°旋轉(zhuǎn)的水果放置云臺構(gòu)成，由三者配合完成水果姿態(tài)圖像拍攝距離和拍攝姿態(tài)的控制。系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1 系統(tǒng)設(shè)計結(jié)構(gòu)示意圖

裝置通過控制絲杠組的運動使目標物移動到合適的位置，以滿足不同種類大小水果及應(yīng)用的拍攝距離需求。在上位機設(shè)置好拍攝距離等參數(shù)后，下位機控制垂直和水平絲杠組運動使目標物運動到對應(yīng)的距離位置，然后步進電機控制機械臂旋轉(zhuǎn)，帶動末端的攝像頭以目標物為圓心，以設(shè)定拍攝距離為半徑運動，控制機械臂末端的舵機帶動攝像頭旋轉(zhuǎn)，使攝像頭一直對準物體拍攝。

2 系統(tǒng)機械運動單元設(shè)計

2.1 機械運動結(jié)構(gòu)設(shè)計

系統(tǒng)機械機構(gòu)主要由三自由度機械臂構(gòu)成的攝像頭運動模塊、可水平垂直運動的十字滑臺及360°旋轉(zhuǎn)的水果放置云臺構(gòu)成。其中三自由度機械手采用SCARA結(jié)構(gòu)，采用交叉滾子軸承替代普通軸承，簡化了機械臂的連接結(jié)構(gòu)，采用帶行星減速箱的步進電機，在保證旋轉(zhuǎn)角度精度的同時，增加了機械臂的轉(zhuǎn)動力矩，通過角度編碼器的反饋形成閉環(huán)角度控制。絲杠十字滑臺是將兩個300 mm行程的梯形絲杠滑臺用倒丁字結(jié)構(gòu)連接而成，如圖2所示，在垂直絲杠滑臺上安裝有可水平360°旋轉(zhuǎn)的云臺，為保證圖像的拍攝效果，改造了云臺上的放置底板，并在云臺上設(shè)置了半圓狀背景罩以保證拍攝背景統(tǒng)一。

圖2 水果放置云臺的設(shè)計圖

2.2 機械運動關(guān)鍵參數(shù)計算

要完成圖像的拍攝，需在設(shè)置好拍攝距離等參數(shù)后，控制垂直和水平運動絲杠組運動到對應(yīng)的距離位置，然后控制SCARA機械臂運動到拍攝點，進一步調(diào)整末端的舵機角度使攝像頭保持對準目標，因此需要進行絲杠組和機械臂的運動參數(shù)計算。

圖3 拍攝目標位置運動范圍示意圖

圖4 機械臂旋轉(zhuǎn)角度計算示意圖

在拍攝過程中，拍攝角度是水果姿態(tài)分類的重要參數(shù)之一，系統(tǒng)控制攝像頭在上按照設(shè)定的姿態(tài)角度拍攝，即在圖中，當攝像頭運動到點拍攝時，是已知的，在圓心點坐標和半徑已知的條件下，點的坐標為

3 系統(tǒng)的軟件程序設(shè)計

3.1 圖像拍攝程序流程

在上位機設(shè)置好拍攝距離等參數(shù)后，將信息傳輸給下位機并啟動運動控制系統(tǒng)。下位機先控制垂直和水平運動絲杠組運動到對應(yīng)的距離位置，然后控制SCARA機械臂運動到對應(yīng)的拍攝點，進一步調(diào)整末端的舵機使攝像頭角度保持對準目標，發(fā)消息給上位機完成一次姿態(tài)圖像拍攝存儲，再通過云臺的旋轉(zhuǎn)和計算的運動軌跡控制機械臂的運動和攝像頭角度的旋轉(zhuǎn)，以實現(xiàn)一組多姿態(tài)水果圖像的自動采集，并將圖像傳入上位機存儲，預(yù)處理，作為標注的水果姿態(tài)數(shù)據(jù)集。在上位機編寫程序完成水果姿態(tài)的訓(xùn)練和檢測，系統(tǒng)工作流程如圖5所示。

圖5 水果姿態(tài)圖像采集流程圖

3.2 基于ResNet的水果姿態(tài)訓(xùn)練檢測

本文采用ResNet-50深度學(xué)習框架作為水果姿態(tài)分類檢測的算法模型，ResNet是一種泛化能力很強的網(wǎng)絡(luò)模型[13]，但網(wǎng)絡(luò)層數(shù)較多，需要數(shù)據(jù)量比較大，因此采用遷移學(xué)習的方法在ImageNet預(yù)訓(xùn)練的基礎(chǔ)上再進行訓(xùn)練生成模型參數(shù)[14]，預(yù)測時根據(jù)輸入的圖片采用遷移訓(xùn)練生成的模型參數(shù)，在采集圖像數(shù)量有限的情況下仍有比較好的識別分類效果，通過遷移學(xué)習可以用較少的數(shù)據(jù)和訓(xùn)練時間訓(xùn)練出高精度的特定水果的姿態(tài)信息檢測模型。數(shù)據(jù)訓(xùn)練目標檢測的流程如圖6所示。

圖6 水果姿態(tài)分類模型訓(xùn)練檢測流程圖

4 裝置的實驗與測試

4.1 圖像采集實驗

系統(tǒng)針對龍眼進行實驗，拍攝距離d為20 cm，如圖7所示，龍眼放置在云臺上，設(shè)機械臂沿對應(yīng)的90°圓弧每隔15°設(shè)定一個拍攝點，共7個，龍眼蒂部朝上朝下各放置一次，共14個角度姿態(tài)，同時云臺旋轉(zhuǎn)4個角度，角度間隔90°，一組共采集56張圖片，攝像頭型號為HD720。上位機PyTorch1.4.0算法框架，采用PyQt5設(shè)計程序界面，如圖8所示，在數(shù)據(jù)輸入模塊輸入采集設(shè)置信息后，啟動拍攝，正反面放置各拍一組，放置在56個文件夾中，訓(xùn)練和檢測過程中根據(jù)需要可對多個文件夾內(nèi)的圖片重新組合為一類，在分組模塊將采集圖片再次分類后進行訓(xùn)練，在檢測模塊輸入圖片即可輸出分類結(jié)果。拍攝一組56張圖片用時20 s。

圖7 姿態(tài)角度分類示意圖

圖8 上位機人機界面

4.2 水果姿態(tài)訓(xùn)練識別實驗

根據(jù)龍眼的特點和拍攝的情況，將采集的56組圖片，每組50張，分為5大類，圓弧拍攝角度相同，云臺旋轉(zhuǎn)角度不同的劃分為同一類，共有14個角度，對應(yīng)14小類。再將其中編號6、7劃為蒂部朝上類（400張），3、4、5劃分為蒂部傾斜向上類（600張），1、2、8、9劃為側(cè)放類（800張），10、11、12劃為底部傾斜向上類（600張），13、14劃為底部朝上類（400張），共5大類，其中訓(xùn)練集占90%，測試集占10%，采用ImageNet預(yù)訓(xùn)練的ResNet網(wǎng)絡(luò)訓(xùn)練，即凍結(jié)網(wǎng)絡(luò)前5個stage，僅訓(xùn)練最后一個stage的 FC層和 softmax層參數(shù)，BatchSize為32，Epoch為 100，采用 AlexNet、VGG-16、Inception等算法[15]網(wǎng)絡(luò)設(shè)置相同的BatchSize、Epoch，4種算法驗證集的準確率迭代曲線如圖9所示，其檢測準確率和所消耗時間如表1所示，本文算法經(jīng)過100次迭代，測試集的準確率總體上優(yōu)于其他3種算法，用時上僅多于AlexNet網(wǎng)絡(luò)，表明設(shè)計系統(tǒng)采用算法模型測試效果較好。

表1 4種算法龍眼姿態(tài)圖像分類訓(xùn)練結(jié)果

圖9 4種算法龍眼姿態(tài)圖像分類訓(xùn)練迭代曲線

5 結(jié)束語

1)利用機器視覺及人工智能技術(shù)獲取水果姿態(tài)信息，輔助對水果進行定向加工或采摘，是水果自動化加工采摘技術(shù)的發(fā)展趨勢。

2)本文將攝像頭安裝在SCARA機械臂上，并與放置在可移動云臺上的水果組合運動實現(xiàn)多姿態(tài)水果圖像的自動拍攝采集和存放標注，并以殘差網(wǎng)絡(luò)為基礎(chǔ)模型構(gòu)建了模塊化的水果姿態(tài)訓(xùn)練檢測模型程序。

3)以龍眼水果為對象進行水果姿態(tài)圖像采集和水果姿態(tài)圖像訓(xùn)練檢測實驗表明，裝置可實現(xiàn)1個水果正反放置2次，在20 s內(nèi)完成一組56張姿態(tài)圖像的拍攝存儲和標注，且水果姿態(tài)圖像檢測的準確率可達98.40%，滿足水果姿態(tài)圖像的自動采集、訓(xùn)練、檢測需求。

4)所設(shè)計的裝置如配合目標檢測和相應(yīng)的機械手，即可以進一步用于水果自動化定向加工和采摘等工業(yè)化應(yīng)用領(lǐng)域。