基于卷積神經(jīng)網(wǎng)絡(luò)的智能抓取系統(tǒng)研究

韓毅 郭圓輝 王旭彬

摘要：改革開放以來，國內(nèi)工業(yè)蓬勃發(fā)展。時至今日，現(xiàn)代工業(yè)化進程已經(jīng)成為未來工業(yè)發(fā)展的重中之重，而工業(yè)化中最為重要的環(huán)節(jié)即現(xiàn)代工業(yè)的智能化、自動化。智能機器人可以高效地完成自動抓取、搬運等工作。筆者研究了基于卷積神經(jīng)網(wǎng)絡(luò)的智能抓取系統(tǒng)，使其實現(xiàn)了目標分類、目標定位、目標抓取等功能。首先對需要抓取的目標使用卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到識別目標位置與分類信息的卷積神經(jīng)網(wǎng)絡(luò)模型;然后利用張正友標定法對深度相機進行標定，得到相機的內(nèi)參矩陣;隨后通過雙邊濾波對圖像進行降噪處理，將處理后的圖像輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，從卷積神經(jīng)網(wǎng)絡(luò)模型中得到目標的位置信息與分類信息;然后通過相機的內(nèi)外參信息逆向求解得到機械臂需要抓取的位置坐標信息;最后用機械臂完成抓取。在試驗的過程中，使用了dobot與realsense d435i進行驗證。試驗結(jié)果表明，該系統(tǒng)定位誤差較小，且有效地完成了目標抓取任務(wù)。

關(guān)鍵詞：計算機視覺;卷積神經(jīng)網(wǎng)絡(luò);機械臂

中圖分類號：TP391.41;TP242.2文獻標識碼：A文章編號：1003-5168（2021）35-0017-04

Study on Intelligent Grab System Based on Convolutional Neural Network

HAN YiGUO YuanhuiWANG Xubin（Department of Computer Science and Information Engineering， Anyang Institute of Technology， Anyang Henan 455000）

Abstract： Since the reform and opening up， domestic industrial construction has flourished. Today， today， the modern industrialization process has become the weight of the future industrial development. The most important part of in？ dustrialization is the intelligent and automation of modern industries. And smart robots can efficiently complete auto？ matic capture， handling， etc. This paper studies intelligent grabbing systems based on convolutional neural networks. Achieve job classification， target positioning， and goal. First， consolidation neural network training is used to identify the target position and classification information. The depth camera is then calibrated with the Zhang Zhengyou cali？ bration method to obtain an interior matrix of the camera. The image is then documented by bilateral filtering， and the processed image inputs the pre-training convolutional neural network model. Classification information of the loca？ tion information and the target of the target from the convolutional neural network model. Then， the position coordi？ nate information of the robot arm needs to be grabbed by the internal and external information of the camera. Finally， use the robot arm to accomplish. During the experiment， dobot is used to verify the realsense d435i. The experimental results show that the positioning error is small， and the target’s grab task is completed.

Keywords： computer vision;convolutional neural network;robotic arm

在智能工業(yè)化飛速發(fā)展的今天，智能機器人在工業(yè)制造中充當著重要角色，可以高效地替代人工，具有成本低、效率高等優(yōu)勢。但是在機器人的工作流程、施工方式、準確性及效果等方面依然有許多研究難題待攻克。

對目前大部分工業(yè)制造而言，使用機器人對目標進行抓取時需要采用統(tǒng)一位置、統(tǒng)一移動路線和統(tǒng)一抓取位置，然后按照預(yù)先準備的路線進行工作。該方案在實際應(yīng)用中存在較大的局限性，當外界環(huán)境發(fā)生改變或?qū)ぜM行更換時，需要對系統(tǒng)進行較大的修改，導(dǎo)致其維護成本較高。而戴健春等人提出的基于模板匹配的方法，雖然對工件的模板進行提取和匹配[1-3]，解決了傳統(tǒng)工業(yè)制造中固定路線、固定路徑的問題，但是在面對場景改變、物件更換等情況時，會出現(xiàn)系統(tǒng)修改困難、模板替換復(fù)雜等問題。

基于深度學(xué)習(xí)，將卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于機械臂的抓取中，實現(xiàn)了一種可以對目標進行分類和定位的智能機械臂分揀系統(tǒng)，并通過實驗驗證了本方法的可行性。

1智能抓取系統(tǒng)

本設(shè)計的智能抓取系統(tǒng)由深度相機（realsense d435i）、機械臂（dobot magician）與PC機（具有深度學(xué)習(xí)環(huán)境的計算機）組成，深度相機與機械臂實物分別如圖1、圖2所示。

機械臂與深度相機都放置于工作臺上方，工作臺由三部分組成：抓取區(qū)域、深度攝像頭放置區(qū)與機械臂放置區(qū)域。其中抓取區(qū)域放置一個7格×9格的黑白標定板，便于校正攝像頭畸變參數(shù);深度攝像頭使用支架固定于抓取區(qū)域正上方，負責采集抓取場景下的圖像數(shù)據(jù);機械臂負責完成對目標的抓取。機械臂抓取時，其工作流程如圖3所示。

首先進行深度相機的標定工作，使用攝像頭采集標定板的數(shù)據(jù)，隨后將這些圖像通過USB端口上傳至PC機，PC機使用張正友標定法對相機進行標定，并建立攝像機位姿數(shù)據(jù)與標定板位置數(shù)據(jù)的模型[4]。然后使用深度相機采集抓取區(qū)域的圖像數(shù)據(jù)，并將采集的圖像流上傳至PC機，PC機通過使用中值濾波對相機圖像數(shù)據(jù)進行調(diào)整。隨后將調(diào)整后的圖像信息輸入卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)模型輸出目標在圖像中的位姿數(shù)據(jù)，隨后根據(jù)通過標定建立起的數(shù)學(xué)模型計算出目標在標定板的位姿數(shù)據(jù)。最后將標定板的位姿數(shù)據(jù)轉(zhuǎn)換為機械臂抓取的位姿數(shù)據(jù)，并控制機械臂完成抓取任務(wù)。

2卷積神經(jīng)網(wǎng)絡(luò)目標識別

使用機械臂抓取不同顏色的立方體，首先要在場景下對目標進行識別，隨后根據(jù)目標的像素位置計算出目標的抓取位置。采用卷積神經(jīng)網(wǎng)絡(luò)對目標進行識別，首先需要進行模型訓(xùn)練，隨后根據(jù)模型進行目標的識別與定位。圖像數(shù)據(jù)處理算法包含以下幾個步驟：①卷積神經(jīng)網(wǎng)絡(luò)模型的選擇;②數(shù)據(jù)集的標定與處理;③卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與測試。

2.1卷積神經(jīng)網(wǎng)絡(luò)模型的選擇

目前使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標識別模型的大致思路有兩種：one-stage方法與two-stage方法。其中twostage方法思想為：先生成候選框，隨后映射到全連接層進行分類和回歸。而one-stage方法的思想為：放棄生成候選框的環(huán)節(jié)，直接從主干網(wǎng)絡(luò)中獲取目標的類別與位置信息。Two-stage方法的優(yōu)點是目標識別準確度較高，但其有一個明顯的弊端，即算法耗時較長。而本實驗中的抓取目標僅為普通的方塊，因此one-stage方法足以精確地完成識別工作。此外，目標識別環(huán)節(jié)耗時較長會直接影響機械臂工作的連續(xù)性，因此one-stage方法更適用于本系統(tǒng)。YOLO算法是一個典型的one-stage方法。

YOLO_v3框架如圖4所示，由相機采集的416 px×416 px×3 channel的RGB圖像作為網(wǎng)絡(luò)的輸入，輸出13×13×87與26×26×87的向量矩陣分別為YOLO_v3-tiny對目標預(yù)測的分類信息與位置信息[5]。

2.2數(shù)據(jù)集的標定與處理

通過移動攝像頭采集了一段時長為10 min的RGBD視頻，視頻中分別有不同方向與距離下的目標圖像數(shù)據(jù)，按照每2 s為一步的步長進行裁剪，得到300張目標圖像。隨后，對圖像進行標定，使用圖像標注軟件LabelMe在圖像中標記每個目標的位置信息并存儲到訓(xùn)練數(shù)據(jù)中。隨后，將圖片調(diào)整至416 px×416 px。通過平移、旋轉(zhuǎn)、裁剪等操作對數(shù)據(jù)進行增強，得到900張訓(xùn)練數(shù)據(jù)，部分訓(xùn)練數(shù)據(jù)如圖5所示。

2.3卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與測試

選取了80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，20%的數(shù)據(jù)作為測試數(shù)據(jù)，批量大小為32，訓(xùn)練次數(shù)為500，選擇GTX2080 TI GPU進行訓(xùn)練。得到的損失函數(shù)曲線如圖6所示。

從圖6的數(shù)據(jù)表現(xiàn)來看，隨著訓(xùn)練次數(shù)的增加，損失值已經(jīng)基本收斂。

隨后，深度相機的圖像數(shù)據(jù)經(jīng)過雙邊濾波處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入[6]，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后，得到目標的位置信息以及分類數(shù)據(jù)，將分類信息與位置繪制到圖像中，如圖7所示。

3試驗結(jié)果

以四軸機械臂dobot magician作為取機械臂，以intel realsense d435i為抓取場景采集裝置，采用配置為Intel i78750H+GTX 1050TI的PC處理圖像數(shù)據(jù)。其中處理平臺操作系統(tǒng)為Windows 10，基于Python 3.7與tensorflow 1.14.0開發(fā)出基于以上設(shè)備的自主抓取程序。

3.1相機標定實驗

使用張正友標定法對相機進行內(nèi)參矩陣求解，然后通過OpenCV角點提取得到相機與棋盤格的部分坐標信息，最后通過逆矩陣求解得到相機坐標系與機械臂坐標系之間的關(guān)系。

使用相機從不同方向拍攝棋盤格的圖像，然后使用OpenCV求出相機的內(nèi)參矩陣信息，相機采集的部分標定板圖像如圖8所示。

依照相機標定得到的內(nèi)參矩陣與外參矩陣，即可得到圖像與機械臂之間的點對點關(guān)系。

3.2目標物體分類定位與抓取實驗

以不同顏色的物塊為定位目標，在不同場景下對物塊進行分類、定位。以標定框的中心為抓取中心坐標原點，然后根據(jù)深度攝像頭的深度距離，計算出實際地面高度并進行轉(zhuǎn)換，得出目標物體的世界坐標，為下一個實驗中機械臂的抓取做準備。定位的目標結(jié)果如圖9所示。

如圖9所示，共檢測出6個不同的目標物體，將歐氏距離的大小作為評價指標，以棋盤格坐標系為實際坐標系，坐標測量結(jié)果如表1所示。

通過表1數(shù)據(jù)可知，預(yù)測坐標與實際坐標的歐氏距離范圍為（0.653 456 46，0.987 980 90），精度良好。

隨后通過PC機控制機械臂抓取目標物體，每個物體共進行了30次抓取測試，合計180次。在整個實驗中，平均抓取成功率為91.33%，具體實驗結(jié)果如表2所示。

4結(jié)語

在本系統(tǒng)設(shè)計中，將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)引入機械臂的智能抓取中，通過卷積神經(jīng)網(wǎng)絡(luò)對待抓取物體進行分類、定位等操作，隨后利用張正友標定法求出相機的焦距、變換矩陣等信息，進而求出圖像與機械臂的變換矩陣，實現(xiàn)了利用深度學(xué)習(xí)對物體的分類、定位、抓取。本方法相較于傳統(tǒng)方法中利用計算機視覺對物體進行輪廓匹配的方法具有較大的改進，有效地解決了傳統(tǒng)方法中不同物體需要不同的匹配方法、計算量較大、編碼復(fù)雜等問題，對現(xiàn)代工業(yè)機械臂抓取、物體分類抓取等應(yīng)用具有重要意義。

參考文獻：

[1]戴健春.基于RGB-D相機的工業(yè)機器人定位抓取技術(shù)與系統(tǒng)集成研究[D].重慶：重慶郵電大學(xué)，2018：1-72.

[2]苗彭.基于視覺的機械臂工件抓取系統(tǒng)研究[D].天津：天津理工大學(xué)，2019：1-64.

[3]姚啟才，汪地，廖茂生.基于機器視覺的機械臂智能抓取系統(tǒng)設(shè)計[J].計量與測試技術(shù)，2020（10）：28-33.

[4]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-1334

[5]REDMON J，F(xiàn)ARHADI A.YOLOv3： An incremental improvement[EB/OL].（2018-04-08）[2021-10-28].https：//arxiv.org/ abs/1804.02767.

[6]CHAUDHURY K N，SAGE D，UNSER M.Fast O（1） bilateral filtering using trigonometric range kernels[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2011（12）：3376.