基于機(jī)器視覺的全自動(dòng)機(jī)械手臂

詹天宇 于金旭 楊安琪

摘 要：基于機(jī)器視覺的全自動(dòng)機(jī)械手臂通過含有卷積神經(jīng)網(wǎng)絡(luò)的SSD目標(biāo)檢測算法識(shí)別出目標(biāo)物體，利用雙目攝像頭獲得目標(biāo)物的坐標(biāo)信息，獲得坐標(biāo)信息后進(jìn)行計(jì)算。利用moveit中的KDL算法進(jìn)行運(yùn)動(dòng)逆解，利用逆解獲得的實(shí)時(shí)空間坐標(biāo)轉(zhuǎn)化為電機(jī)的控制信號(hào)，控制步進(jìn)電機(jī)轉(zhuǎn)動(dòng)，讓機(jī)械臂運(yùn)動(dòng)到目標(biāo)位置并通過機(jī)械手抓取目標(biāo)物體。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);機(jī)器視覺;運(yùn)動(dòng)逆解;步進(jìn)電機(jī)控制

1 研究現(xiàn)狀

如今，中國正成為世界機(jī)器視覺發(fā)展最活躍的地區(qū)之一，應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、天文、公安、交通、安全、科研等國民經(jīng)濟(jì)的各個(gè)行業(yè)。其原因是中國已經(jīng)成為全球制造業(yè)的加工中心，高要求的零部件加工及其相應(yīng)的先進(jìn)生產(chǎn)線，使許多具有國際先進(jìn)水平的機(jī)器視覺系統(tǒng)和應(yīng)用經(jīng)驗(yàn)也進(jìn)入了中國。

工業(yè)機(jī)器人是近幾十年發(fā)展起來的一種高科技自動(dòng)化生產(chǎn)設(shè)備。它的特點(diǎn)是可通過編程來完成各種預(yù)期的作業(yè)任務(wù)，在構(gòu)造和性能上兼有人和機(jī)器各自的優(yōu)點(diǎn)，尤其體現(xiàn)了人的智能和適應(yīng)性。機(jī)械手作業(yè)的準(zhǔn)確性和在各種環(huán)境中完成作業(yè)的能力，在國民經(jīng)濟(jì)等領(lǐng)域有著廣闊的發(fā)展前景。

國內(nèi)仿人形機(jī)器人研究起步較晚，2000年國防科學(xué)技術(shù)大學(xué)研制的“先行者”是我國第一臺(tái)仿人形機(jī)器人。其后，北京理工大學(xué)于2002年研制的仿人機(jī)器人“BHR”，突破了系統(tǒng)集成技術(shù)，實(shí)現(xiàn)了無外接電纜的行走，可在未知地面上穩(wěn)定行走。哈爾濱工業(yè)大學(xué)研制開發(fā)的“HIT”系列雙足步行機(jī)器人實(shí)現(xiàn)了前/后行、側(cè)行、轉(zhuǎn)彎、上下臺(tái)階及上斜坡等動(dòng)作。北京理工大學(xué)2011年研制成功的“匯童5”仿人機(jī)器人，具有視覺、語音對(duì)話、力覺、平衡覺等功能，突破了基于高速視覺的靈巧動(dòng)作控制、全身協(xié)調(diào)自主反應(yīng)等關(guān)鍵技術(shù)，成為具有“高超”運(yùn)動(dòng)能力的機(jī)器人健將。

2 方案設(shè)計(jì)

雙目立體視覺是機(jī)器人視覺技術(shù)的一個(gè)重要分支[1]，即不同位置的兩臺(tái)攝像機(jī)水平向前拍攝同一場景，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲取該點(diǎn)的空間位置信息?；陔p目視覺平臺(tái)的研究主要包括攝像機(jī)的標(biāo)定、圖像處理、立體匹配、三維重建及運(yùn)動(dòng)分析等。通過圖像采集與對(duì)目標(biāo)標(biāo)定，對(duì)采集到內(nèi)存中的圖像進(jìn)行處理。

首先，利用神經(jīng)網(wǎng)絡(luò)對(duì)大數(shù)據(jù)的強(qiáng)大分析能力，將采集到的大量圖像數(shù)據(jù)進(jìn)行訓(xùn)練[2]。程序?qū)?shí)時(shí)數(shù)據(jù)的不斷分析，以及自我的不斷優(yōu)化，程序能夠?qū)崟r(shí)檢測并定位出目標(biāo)物體在平面上的X，Y坐標(biāo)。通過搭載在手臂上的雙目攝像頭獲得對(duì)應(yīng)的RGB數(shù)據(jù)進(jìn)行分析，經(jīng)過ROS系統(tǒng)求解獲得圖像的深度，經(jīng)過變換與融合，獲得實(shí)際物體在三維空間中的XYZ的坐標(biāo)信息，并傳輸給機(jī)械執(zhí)行控制系統(tǒng)[3]。

在控制系統(tǒng)中，結(jié)合圖像識(shí)別系統(tǒng)給出的坐標(biāo)信息，STM32發(fā)出控制信號(hào)，控制機(jī)械手使其能夠完成基本的運(yùn)動(dòng)控制[4]。首先，將機(jī)械手要抓取的目標(biāo)物做成一個(gè)模板，模板要盡可能的小，即包含目標(biāo)物的主要特征。然后，利用模板匹配的方法確定實(shí)時(shí)圖像當(dāng)中目標(biāo)物所在的位置，并記下目標(biāo)物中心點(diǎn)的圖像坐標(biāo)。最后，將匹配出的目標(biāo)物所在的區(qū)域顯示到控制界面上。目標(biāo)物的空間坐標(biāo)確定以后，其相對(duì)于機(jī)械手當(dāng)前的位置也可求得，由此可以得到機(jī)械手運(yùn)動(dòng)到目標(biāo)物所在位置所需的進(jìn)給量。單片機(jī)控制機(jī)械手運(yùn)動(dòng)到目標(biāo)物所在位置，抓取目標(biāo)物，并放到指定的位置。

3 技術(shù)路線

3.1機(jī)械手臂硬件及控制

3.2手指抓力算法

3.3 CNN卷積神經(jīng)網(wǎng)絡(luò)

4 總結(jié)

基于機(jī)器視覺的全自動(dòng)機(jī)械手臂能夠完成人手無法完成的高危險(xiǎn)性及高精度的作業(yè)，通過機(jī)器視覺系統(tǒng)能夠完成對(duì)機(jī)械手控制系統(tǒng)的閉環(huán)控制。憑借著硬件實(shí)現(xiàn)簡單、軟件算法優(yōu)化空間大、精確度高等優(yōu)勢，機(jī)器視覺系統(tǒng)將取代傳統(tǒng)傳感器控制系統(tǒng)成為發(fā)展趨勢。

參考文獻(xiàn)：

[1]姜華，孫勇.基于SSD和TensorFlow的圖像識(shí)別與定位算法[J].計(jì)算機(jī)時(shí)代，2019（6）：71-75.

[2]李繼秀，李嘯天，劉子儀.基于SSD卷積神經(jīng)網(wǎng)絡(luò)的公交車下車人數(shù)統(tǒng)計(jì)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2019，28（3）：51-58.

[3]廖煒豪.基于ROS的工業(yè)機(jī)械臂運(yùn)動(dòng)控制器的設(shè)計(jì)與實(shí)現(xiàn)[D].廣州：華南理工大學(xué)，2019.

[4]劉磊，余汾芬.基于STM32的機(jī)械臂運(yùn)動(dòng)控制系統(tǒng)設(shè)計(jì)研究[J].井岡山大學(xué)學(xué)報(bào)，2019（1）：73-77.

作者簡介：

詹天宇（1999-），男，漢族，湖北荊門人，黑龍江科技大學(xué)本科在讀，研究方向：自動(dòng)控制;

于金旭（1997-），男，漢族，黑龍江牡丹江人，黑龍江科技大學(xué)本科畢業(yè)，研究方向：機(jī)器視覺;

楊安琪（1999-），男，漢族，山西呂梁人，黑龍江科技大學(xué)本科在讀，研究方向：電子電路;

（黑龍江科技大學(xué) ?黑龍江 ?哈爾濱 ?150027）