基于機(jī)器人的小件化工包裹精準(zhǔn)分揀實(shí)驗(yàn)

穆龍濤，任軍輝，趙明威，王建軍，周云飛

(1.陜西工業(yè)職業(yè)技術(shù)學(xué)院 機(jī)械工程學(xué)院，陜西 咸陽 712000；2.咸陽市新能源及微電網(wǎng)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，陜西 咸陽 712000;3.西安財(cái)經(jīng)大學(xué) 管理學(xué)院，陜西 西安710100)

化工行業(yè)是在高溫、高壓、易中毒、易燃易爆、強(qiáng)腐蝕性等惡劣的作業(yè)條件下進(jìn)行的，化學(xué)品原料的生產(chǎn)、存儲、使用對人體健康潛在危險(xiǎn)性極大，而且易造成人員傷亡。化工企業(yè)為了保證安全生產(chǎn)，采取全天派人安全值班，花費(fèi)大量財(cái)力人力，導(dǎo)致企業(yè)經(jīng)濟(jì)負(fù)擔(dān)沉重。對于化學(xué)品生產(chǎn)的作業(yè)環(huán)境中，機(jī)器人可有效的代替人工進(jìn)行高危環(huán)境作業(yè)，提高作業(yè)效率和安全性。特種機(jī)器人作業(yè)將是解決化工行業(yè)危險(xiǎn)作業(yè)和生產(chǎn)安全性的關(guān)鍵技術(shù)。

化學(xué)品原料的搬運(yùn)是生產(chǎn)中的一個(gè)主要環(huán)節(jié)，特種機(jī)器人能夠高效可靠完成高?；瘜W(xué)品分揀任務(wù)。目前化工行業(yè)的特種機(jī)器人處于發(fā)展階段，多項(xiàng)關(guān)鍵技術(shù)有待突破。化學(xué)品物流分揀、搬運(yùn)采用人工方式進(jìn)行，對員工的身體健康不利，并且分揀效率低、發(fā)生錯(cuò)誤率高的問題，極大地限制了作業(yè)效率。機(jī)器人進(jìn)行精準(zhǔn)識別抓取相關(guān)研究是機(jī)器人研究領(lǐng)域的一個(gè)的重要部分,也是機(jī)器人與環(huán)境交互和完成復(fù)雜任務(wù)的基礎(chǔ)。當(dāng)人類在面臨抓取任務(wù)時(shí),通常通過視覺系統(tǒng)進(jìn)行環(huán)境的感知、定位目標(biāo)物體和尋找合適的抓取部位,并完成抓取。機(jī)器人抓取任務(wù)涉及到環(huán)境感知和建模、動作規(guī)劃和執(zhí)行控制等多個(gè)方面,因此機(jī)器人自主抓取是一個(gè)具有挑戰(zhàn)性的研究方向。

本文對高?；瘜W(xué)品包裹分揀機(jī)器人關(guān)鍵技術(shù)進(jìn)行研究，結(jié)合機(jī)器人對任務(wù)環(huán)境進(jìn)行有效的感知,使機(jī)器人能夠獲取目標(biāo)包裹的最優(yōu)抓取部位,解決機(jī)器人抓取任務(wù)中需要的關(guān)鍵技術(shù)。未來對解決化工行業(yè)危險(xiǎn)性高、人力資源不足情況，對推進(jìn)制造業(yè)的發(fā)展具有重要的意義。

1 分揀機(jī)器人系統(tǒng)組成

文中所設(shè)計(jì)的化工產(chǎn)品用分揀機(jī)器人平臺，具體如圖1所示。

圖1 分揀機(jī)器人系統(tǒng)結(jié)構(gòu)Fig.1 Operation process of robot sorting system

由圖1可知，機(jī)器人平臺包括一套機(jī)器人主計(jì)算機(jī)模塊、深度相機(jī)圖像采集模塊(Azure Kinect)、機(jī)器視覺深度學(xué)習(xí)模塊、機(jī)器人操作系統(tǒng)(Robot Operation System，ROS)，機(jī)器人及其控制器、傳送帶、物料盤、末端執(zhí)行器等組成。

分揀機(jī)器人的末端執(zhí)行器是決定工作效率的關(guān)鍵器件，其主體部分采用聚酰胺纖維材料(尼龍)進(jìn)行3D打印制作，該材料有韌性，不易折斷，附著硅膠材料；且在抓取過程中不會造成損壞，并能防止脫落。

2 分揀機(jī)器人及運(yùn)動學(xué)求解

2.1 分揀運(yùn)行過程

分揀機(jī)器人系統(tǒng)組成

通過上述模塊集成為多關(guān)節(jié)型工業(yè)機(jī)器人分揀平臺。輸送裝置(傳送帶)將待分揀的包裹送至視覺檢測平臺，采集區(qū)域傳感器發(fā)送出發(fā)指令信號，視覺系統(tǒng)獲取包裹圖像信息。包裹的外形輪廓圖像及位置信息，控制系統(tǒng)將獲取的包裹信息進(jìn)行處理，將待分揀包裹的位置和姿態(tài)(簡稱“位姿”)信息傳輸給機(jī)器人控制器，由機(jī)械臂進(jìn)行精準(zhǔn)分揀，最后將包裹按照大小放置在分揀放置區(qū)。分揀機(jī)器人系統(tǒng)運(yùn)行過程，具體如圖2所示。

圖2 分揀機(jī)器人系統(tǒng)運(yùn)行過程Fig.2 Operation process of robot sorting system

工作原理

首先通過主系統(tǒng)啟動，傳動帶運(yùn)送物品，主計(jì)算機(jī)采集待分揀物品圖像，通過機(jī)器視覺信息處理，準(zhǔn)確判斷物品類型和空間位置；其次將獲取的位置信息傳輸給下位機(jī)，由工業(yè)機(jī)械臂移動末端執(zhí)行器到達(dá)目標(biāo)位置。最后末端執(zhí)行器采用氣動方式進(jìn)行操作，通過吸取的方式，完成化工品的分揀搬運(yùn)工作。

2.2 運(yùn)動學(xué)求解

采用機(jī)器人臂長為500 mm,其機(jī)器人連桿和關(guān)節(jié)參數(shù)模型為DENAVIT-HARTENBERG PARAMETERS(D-H)，具體參數(shù)如表1所示。運(yùn)動學(xué)求解可以得到機(jī)器人每一個(gè)連桿的變換矩陣，用表示。將機(jī)器人的D-H參數(shù)帶入到矩陣中，計(jì)算出包裹分揀機(jī)器人的運(yùn)動學(xué)方程。

表1 分揀機(jī)器人的D-H參數(shù)表Tab.1 D-H parameters of sorting robot

將變換矩陣變成6值坐標(biāo)[，，，，，]，如式(1)所示。

(1)

由表1可知，-1為沿軸，從移動到+1的距離；-1為沿軸，從旋轉(zhuǎn)到+1的角度；為沿軸，從-1旋轉(zhuǎn)到的距離；為沿軸，從-1旋轉(zhuǎn)到的角度。

根據(jù)包裹目標(biāo)位置進(jìn)行逆運(yùn)動學(xué)求解，由分揀吸盤系統(tǒng)的位置計(jì)算關(guān)節(jié)角度，采用解析法求解分揀機(jī)器人的解析解，分揀機(jī)器人 6自由度有限解，計(jì)算求解變換矩陣過程的中間矩陣。分揀機(jī)器人逆運(yùn)動學(xué)中的雅克比矩陣推導(dǎo)也由矩陣得到。

3 分揀驗(yàn)證試驗(yàn)

3.1 實(shí)驗(yàn)平臺與方法

實(shí)驗(yàn)平臺

研究選用圖像識別軟件訓(xùn)練平臺為聯(lián)想ThinkStation P520c工作站，安裝Windows 10和Ubuntu 18.04雙系統(tǒng)，其工作參數(shù)為Intel(R)Xeon-2145CPU8核處理器、3.7 GHz、Intel C422系列芯片組、64G DDR4 2 666 MHz、硬盤256 GB SSD+ 2TB SATA、顯卡Nvidia TITAN RTX 24 GB DDR5顯存。軟件安裝包括配套開源機(jī)器人操作系統(tǒng)ROS melodic、Python 3.0，OpenCV。包裹分揀采用文中“1 分揀機(jī)器人系統(tǒng)組成”提到的分揀機(jī)器人驗(yàn)證試驗(yàn)平臺，具體如圖3所示。

實(shí)驗(yàn)方法

試驗(yàn)方法采用對比法，把包裹分為3個(gè)組，每組分別為30件包裹；分別統(tǒng)計(jì)分揀機(jī)器人的目標(biāo)識別準(zhǔn)確率、抓取成功率，采用秒表統(tǒng)計(jì)分揀時(shí)間，最終取平均值，評價(jià)分揀機(jī)器人的試驗(yàn)效果。

分揀機(jī)器人試驗(yàn)平臺包裹識別準(zhǔn)確率的計(jì)算方法：

(2)

式中：是準(zhǔn)確識別的包裹數(shù)量；是總包裹數(shù)量。

包裹分揀成功率的計(jì)算方法：

(3)

式中：是成功分揀的包裹數(shù)量；是總包裹數(shù)量。

平均分揀時(shí)間的計(jì)算方法：

(4)

式中：是分揀一筐包裹的時(shí)間，末端執(zhí)行器處于其初始位置時(shí)開始，將全部包裹分揀完畢后結(jié)束；為一筐包裹數(shù)量。

3.2 包裹抓取試驗(yàn)結(jié)果與分析

在陜西工業(yè)職業(yè)技術(shù)學(xué)院工程訓(xùn)練中心和校內(nèi)物流分揀站，在進(jìn)行分揀機(jī)器人試驗(yàn)平臺進(jìn)行驗(yàn)證試驗(yàn)，具體如圖3所示。

圖3 分揀機(jī)器人驗(yàn)證試驗(yàn)平臺Fig.3 Sorting robot verification experiment platform

由圖3可以得知，首先，圖像識別方法采用已訓(xùn)練完備卷積神經(jīng)網(wǎng)絡(luò)模型(AlexNet)，將建立包裹圖像識別模型導(dǎo)入到分揀機(jī)器人試驗(yàn)平臺控制系統(tǒng)。隨機(jī)選取包裹試驗(yàn)樣本圖像，采用機(jī)器人對包裹圖像進(jìn)行識別與定位，以驗(yàn)證本分揀機(jī)器人目標(biāo)識別算法的魯棒性；其次，利用深度相機(jī)識別物體目標(biāo)包裹和空間坐標(biāo)定位，相機(jī)標(biāo)定變換得到包裹的坐標(biāo)信息，將定位坐標(biāo)位置(,,)，數(shù)據(jù)傳輸至機(jī)器人控制。最后，分揀機(jī)器人進(jìn)行包裹抓取，機(jī)器人末端執(zhí)行器將包裹放置在搬運(yùn)箱中，重復(fù)相同動作，直至本次分揀任務(wù)完成停止作業(yè)。

分別統(tǒng)計(jì)3個(gè)組驗(yàn)證試驗(yàn)包裹識別個(gè)數(shù)、分揀成功率、工作時(shí)間。3個(gè)組試驗(yàn)中包裹的準(zhǔn)確識別個(gè)數(shù)分別為29件、28件、30件，識別準(zhǔn)確率分別為96.67%、96.33%、100%；包裹圖像識別時(shí)間較短，識別時(shí)間控制在(0.12±0.10)s；抓取成功率分別為91.72%、90.35%、91.02%，平均值為91.03%。分揀時(shí)間是一批次包裹全部分揀完成后的平均時(shí)間，單個(gè)包裹分揀時(shí)間約為1.12 s。分揀試驗(yàn)性能指標(biāo)統(tǒng)計(jì)結(jié)果，具體如表2所示；不同類型包裹的分揀結(jié)果，具體如圖4所示。

表2 分揀試驗(yàn)性能指標(biāo)統(tǒng)計(jì)結(jié)果Tab.2 Performance index statistics of sorting verification test

(a)相同尺寸的包裹 (b)不同尺寸的包裹 圖4 包裹分揀驗(yàn)證試驗(yàn)結(jié)果Fig.4 Robot sorting test results

4 討論

分揀機(jī)器人篇平臺采用卷積神經(jīng)網(wǎng)絡(luò)(AlexNet)進(jìn)行包裹圖像識別，其準(zhǔn)確率為96.3%，識別平均時(shí)間為0.12 s，相比相同參數(shù)的設(shè)備識別準(zhǔn)確率高出(0.20±0.05)%，識別時(shí)間減少0.2 s，在圖像識別速度上占有一定優(yōu)勢。

分揀試驗(yàn)中機(jī)器人抓取成功率平均值為91.03%，單個(gè)包裹分揀時(shí)間為1.12 s。相較于其他抓取方法的抓取成功率基本相當(dāng)。在具有定位位置誤差的情況下，末端執(zhí)行器采用從上至下作業(yè)方式進(jìn)行分揀，末端執(zhí)行器前段安裝彈簧限位裝置，可以消除冗余誤差為(3.5±1.0)cm。

分揀機(jī)器人在作業(yè)過程中存在包裹分揀失敗情況，主要原因是包裹中心位置判斷錯(cuò)誤，導(dǎo)致抓取過程中有掉落的情況。采用逆運(yùn)動學(xué)求解過程中對運(yùn)動學(xué)解進(jìn)行優(yōu)化，對機(jī)器人運(yùn)行速度有待進(jìn)一步的提高。針對分揀機(jī)器人運(yùn)行中出現(xiàn)不同位姿狀態(tài)，求解過程存在一定卡頓，運(yùn)行順暢性還需進(jìn)一步提高。

5 結(jié)語

本文結(jié)合視覺圖像識別和機(jī)器人運(yùn)動規(guī)劃與控制搭建了分揀機(jī)器人平臺，該系統(tǒng)實(shí)現(xiàn)了小件包裹包裹精準(zhǔn)識別方法，并獲取了小件包裹包裹質(zhì)心點(diǎn)位置坐標(biāo)，機(jī)器人控制系統(tǒng)通過目標(biāo)位置引導(dǎo)機(jī)器人進(jìn)行抓取，實(shí)現(xiàn)機(jī)器人分揀小件包裹的功能。本次試驗(yàn)驗(yàn)證了此識別方法和機(jī)器人精準(zhǔn)分揀方法的準(zhǔn)備性，包裹圖像識別準(zhǔn)確率平均值為96.67%，包裹分揀成功達(dá)91.03%，單個(gè)包裹分揀時(shí)間為1.12 s。后續(xù)還需對多目標(biāo)視覺的空間位置獲取方法、數(shù)據(jù)管理以及分揀路徑規(guī)劃等做進(jìn)一步研究。

致謝：感謝陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃(項(xiàng)目編號：2021JQ-896)等項(xiàng)目提供經(jīng)費(fèi)支持。