基于視覺引導的機器人分揀系統(tǒng)研究

關(guān)鍵詞：機器人；機器視覺；N點標定；深度學習

中圖法分類號：TP391 文獻標識碼：A

1引言

隨著當今世界經(jīng)濟的快速發(fā)展，傳統(tǒng)制造業(yè)的轉(zhuǎn)型升級已迫在眉睫?！吨袊圃?025》要求加快發(fā)展新一代的智能制造裝備，未來制造業(yè)的發(fā)展方向必將是智能制造。工業(yè)機器人作為現(xiàn)代工業(yè)智能制造的典型代表，在噴涂、焊接、搬運以及裝配等多項作業(yè)中被廣泛應用。目前，工業(yè)機器人大多應用于批量的生產(chǎn)任務(wù)，操作人員通過示教和離線編程的方式，預先給機器人設(shè)置軌跡并進行工件的裝配。此情景下，要求工件的擺放位置固定已知，有時還需要一定的輔助限位裝置。因此，生產(chǎn)線缺乏靈活性和柔性。近年來，隨著機器視覺技術(shù)的快速發(fā)展與應用，加裝工業(yè)之眼后工業(yè)機器人可以更加智能、靈活地進行上下料、裝配等工作，目前的自動化生產(chǎn)線中，利用工業(yè)相機或智能相機等光學設(shè)備可以對目標零件進行快速識別和空間位置信息的獲取，進而引導機器人進行自主工作。這已經(jīng)成為工業(yè)生產(chǎn)中的一大趨勢。

隨著人工智能技術(shù)的發(fā)展，機器人與計算機視覺的結(jié)合越來越緊密，視覺引導機器人完成各種任務(wù)，如裝配、上下料等，越來越受到研究人員的關(guān)注，并取得了一系列的研究進展。機器人視覺系統(tǒng)主要作用是利用視覺設(shè)備識別出待處理的目標并獲取其位置信息，為機器人抓取、分揀以及裝配提供信息。利用工業(yè)相機等視覺設(shè)備獲取目標圖像信息，根據(jù)特征檢測識別出目標，引導機器人動作，因而檢測識別的精度影響機器人動作的成敗。目前，國內(nèi)外研究人員針對不同的目標產(chǎn)品檢測識別提出了大量的方法，主要分為基于傳統(tǒng)視覺處理方法和深度學習方法。

傳統(tǒng)視覺處理方法獲取目標的灰度、紋理、形狀、不變矩等特征作為依據(jù)實現(xiàn)目標的檢測。喬景慧等為了抓取不同型號和尺寸的電視機背板，采用模板匹配方法確定背板的型號和品質(zhì)，開發(fā)了視覺伺服自適應控制系統(tǒng)。朱穎等針對機器人作業(yè)環(huán)境復雜、物料的隨機擺放使得目標識別與定位精度低、實時性差等問題，提出改進幾何矩的移動機器人目標識別，將Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來獲取目標物料的準確位置。傳統(tǒng)的機器視覺算法具有處理簡單、速度快等優(yōu)勢，但針對復雜場景，如遮擋、光照不均等情況處理效果受限。另一方面，深度網(wǎng)絡(luò)方法因其強大的特征處理能力，被廣泛應用于各個領(lǐng)域的目標識別。仲訓杲等針對智能機器人抓取、判別問題，提出多模特征深度學習與融合的方法，將測試特征分布偏離訓練特征視為一類噪化，引入帶稀疏約束的降噪自動編碼（DAE），實現(xiàn)網(wǎng)絡(luò)權(quán)值學習，并以疊層融合策略，獲取初始多模特征的深層抽象表達，該方法可以提高深度網(wǎng)絡(luò)的魯棒性和抓取判別精確性。趙德安等利用YOLO神經(jīng)網(wǎng)絡(luò)實現(xiàn)了復雜環(huán)境下蘋果的識別。閆建偉等采用帶有殘差模塊的YOLO神經(jīng)網(wǎng)絡(luò)對刺梨果實進行了識別。以上處理流程及方法均是根據(jù)機器人完成不同任務(wù)時設(shè)計的，當應用于復雜目標分揀任務(wù)時適用性受限。

本文設(shè)計了一種基于深度學習的智能機器人分揀系統(tǒng)。搭建機器人視覺系統(tǒng)后，利用手眼標定方法確定機器人和相機的映射關(guān)系：利用機器人視覺系統(tǒng)采集并增強目標數(shù)據(jù)集，利用Labellmg完成目標類別的標注，訓練獲取YOLOv5網(wǎng)絡(luò)模型參數(shù)：結(jié)合變換矩陣，將網(wǎng)絡(luò)模型檢測到的目標像素坐標信息轉(zhuǎn)換至實際物理坐標；根據(jù)目標的類別，調(diào)用DobotMagicianPython接口，控制機械臂移動至該位置進行抓取操作。利用深度網(wǎng)絡(luò)檢測目標信息，可以避免人工設(shè)置特征的局限性，提高系統(tǒng)的魯棒性，實驗驗證了本文方法的有效性。

2本文系統(tǒng)

機器人分揀物料除了需要獲得物料類別信息之外，還需要識別出物料的位姿信息。本系統(tǒng)所處理的物料為對稱目標，因而需要識別抓取的位置信息。本文設(shè)計的智能機器人分揀系統(tǒng)工作流程為：通過2D相機對無序放置的物料實時拍照采集圖像，在上位機中經(jīng)過深度網(wǎng)絡(luò)處理后獲取物料類別和位置信息，發(fā)送給機器人進行智能分揀。智能機器人分揀系統(tǒng)主要包含硬件系統(tǒng)和軟件平臺兩大部分。

2.1硬件

本系統(tǒng)主要由機器人、大恒工業(yè)相機及鏡頭、環(huán)形光源、相機支架等組成，設(shè)備安裝情況如圖1所示。

將相機固定于相機支架上，此時相機相對于機器人是眼在手外的形式。由于目標在平臺上的位置是隨機的，因而相機拍照并檢測出位置信息后轉(zhuǎn)換為世界坐標，進而告知機器人需要移動的位置。本系統(tǒng)采用的機器人是Dobot Magician，其由底座、大臂、小臂、末端工具等組成。

2.2手眼標定

機器人視覺系統(tǒng)獲取的是目標的像素坐標，需要將像素坐標轉(zhuǎn)換為世界坐標，引導機器人進行移動。由于工件所處的平臺平面是固定的，因而本系統(tǒng)采用N點標定方法建立機器人和相機之間的轉(zhuǎn)換關(guān)系。N點標定的主要原理為已知N個點的圖像坐標以及對應的機械坐標，根據(jù)其獲取手眼對應的轉(zhuǎn)換矩陣，操作步驟如下。

首先，將標定板放置于相機視野之內(nèi)，獲取標定板的圖像，建立特征模板并利用模板匹配獲取標定板特征點像素坐標，選取9個特征點，記錄為（x，y）；其次，移動Dobot機械臂至上述九個點，記錄此時機械手末端的笛卡爾坐標，記為（x′，y′）；最后，將兩組坐標一一對應，調(diào)用Opencv中的estimateAffine2D函數(shù)計算手眼變換矩陣。獲取變換矩陣之后，對實時檢測到的工件位置轉(zhuǎn)換至機械手坐標進行抓取。

2.3深度網(wǎng)絡(luò)模型

2.3.1數(shù)據(jù)集制作

利用相機采集不同背景、不同光照條件下的各類目標圖像，同時考慮增加不同視角下目標圖像數(shù)據(jù)集。利用Labellmg等標記軟件實現(xiàn)不同目標的標注，獲取目標處于圖像中的位置及種類信息。

采用Mosaic數(shù)據(jù)增強方法對不同目標樣本數(shù)據(jù)集進行擴充，主要手段包含信息丟棄（隨機擦除、Cutout，Hide and Seek和MixUp手段）、空間轉(zhuǎn)換（主要有隨機縮放、裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)任意角度）、顏色扭曲（改變亮度、飽和度、對比度和噪聲）。

2.3.2網(wǎng)絡(luò)模型

本文采用的網(wǎng)絡(luò)模型為YOLOv5模型，網(wǎng)絡(luò)架構(gòu)主要由Backbone，Neck和Head等部分組成。

Backbone部分主要由Focus模塊和CSP模塊組成，F(xiàn)ocus模塊作用是對輸入圖像進行切片操作，將通道擴大了4倍后卷積得到下采樣圖，而CSP模塊可以大大增強深度網(wǎng)絡(luò)學習性能的同時大幅減少計算量。Neck部分包含F(xiàn)PN模塊和PAN模塊，通過將經(jīng)典的FPN層與自下而上的特征金字塔結(jié)合，實現(xiàn)了高層語義特征與底層位置特征相融合，使網(wǎng)絡(luò)能夠提取更加豐富的特征。網(wǎng)絡(luò)的Head部分由三個尺度的檢測層組成，輸出結(jié)果包含目標的類別、得分以及目標框的位置信息。最終輸出的位置信息經(jīng)手眼矩陣轉(zhuǎn)換后可傳輸至機器人實現(xiàn)移動。

3實驗

本系統(tǒng)使用的相機是大恒相機，因此，首先安裝大恒相機sdk的gxipy接口，建立相機和上位機的通信。

利用Python import調(diào)用Dobot機械臂動態(tài)鏈接庫DobotDll.dll.語句為import Dobot Dll Type as dType;利用dType.Set PTP Jump Params語句設(shè)置機械臂PTP運動模式參數(shù)，即設(shè)置門型運動時抬升高度和最大高度；通過dType.SetEndEffectorParams函數(shù)設(shè)置機械臂末端為吸盤；通過dType.SetPTPCmd語句設(shè)置機械臂初始位姿。采用Pytorch框架搭建YOLOv5模型，最終位置信息通過dType.SetPTPCmd語句傳輸至機器人。實驗中采用圓柱物塊表面粘貼不同目標圖片模擬待處理物料目標，分揀結(jié)果如表1所列。

由表1可知，本系統(tǒng)的分揀正確率都在98%以上，平均耗時1.5s。

4結(jié)束語

本文設(shè)計了基于視覺引導的機器人物料分揀系統(tǒng)。利用N點標定方法實現(xiàn)機械手和相機之間的對應轉(zhuǎn)換關(guān)系。面對復雜工業(yè)場景，尤其是光照變化、物料隨機位置，部分遮擋等情況，利用Pytorch框架構(gòu)建YOLOv5模型來處理。利用相機獲取物料類別信息后，將目標位置信息轉(zhuǎn)換為物理世界坐標進行分揀。實驗驗證了本文系統(tǒng)的有效性。

作者簡介：

張可抒（1996—），本科，助理工程師，研究方向：電氣潮流控制分析、公共管理、建設(shè)項目投資估算.設(shè)計方案技術(shù)經(jīng)濟論證和優(yōu)化、建設(shè)項目財務(wù)評價和經(jīng)濟評價等。