基于OpenMV和Arduino的智能機械臂操控平臺

王策 劉帥克 郭霆 趙茂靜 王冰浩

摘要： 本文針對基于OpenMV與Arduino兩大模塊的智能機械臂操控平臺的設計進行研究，其主要是利用OpenMV的識別功能與Arduino的控制功能，識別后夾取并到指定區(qū)域?qū)⑽矬w放下，所使用的設計方案與制作方法具有一定的研究意義與實用意義。同時作為工業(yè)生產(chǎn)機器人，它結(jié)合了機械自動化、電子技術、電子信息技術、自動控制系統(tǒng)及人工智能技術等多種多樣的近期科研成果。本次設計的智能機械臂操控平臺從識別準確率與控制精準度都有著較好發(fā)揮，提升了工業(yè)生產(chǎn)的效率，在傳統(tǒng)機械臂的改造與優(yōu)化中也邁出了關鍵的一步。

關鍵詞： OpenMV識別? 機械臂? 可程序編程? Arduino控制

Intelligent manipulator control platform based on OpenMV and Arduino

WANG Ce1? ? LIU Shuaike 1? ? GUO Ting 1*? ?ZHAO Maojing1? ?WANG Binghao1

（1.College of Mechanical and Electrical Engineering，Heilongjiang Institute of Technology，Harbin，Heilongjiang Province，150050 China）

Abstract： This paper studies the design of the intelligent manipulator control platform based on the two modules of OpenMV and Arduino. It mainly uses the identification function of OpenMV and the control function of Arduino to grasp the object after identification and put it down in the designated area. The design used The scheme and production method have certain research significance and practical significance. At the same time， as an industrial production robot， it combines various recent scientific research achievements such as mechanical automation， electronic technology， electronic information technology， automatic control system and artificial intelligence technology. The intelligent manipulator control platform designed this time has a good performance in recognition accuracy and control accuracy， improving the efficiency of industrial production， and has also taken a key step in the transformation and optimization of traditional manipulators.

Key Words：OpenMV identification; Mechanical arm; Programmable; Arduino control

近些年，大家對非生產(chǎn)制造機械臂的科學研究日漸活躍。機器視覺在工業(yè)機器人上應用不僅使機器人能夠獲知目標物體的形狀、位置、姿態(tài)、類型和運動狀況等信息，還能相應地對這些信息進行識別和處理[1]。在僅依靠視覺系統(tǒng)且與物體接觸的情況下，就可以實現(xiàn)對目標物體的識別和定位，簡化機器人的程序流程，提高生產(chǎn)效率[2]。

類似于視覺系統(tǒng)與傳統(tǒng)機械臂相結(jié)合的課題，已然成為現(xiàn)代機械改革的熱點問題之一，其中不乏有像日本的精工愛普生公司（Seiko Epson Corporation）所研制的Epson G6-553S帶視覺功能的機器人[3]，瑞士的ABB公司的ABB集成視覺系統(tǒng)等優(yōu)秀產(chǎn)品的出現(xiàn)，其應用在高速度或高精度領域，同時在工業(yè)生產(chǎn)反面也有不俗的發(fā)揮。

與此同時，我國相關企業(yè)在該領域也有相應的研究，其主要分布在長三角和珠三角地區(qū)，一般是做系統(tǒng)集成的企業(yè)，規(guī)模大些公司的核心研發(fā)一般集中在北上廣深超一線城市，目前也開始逐步布局中上游。

同時OpenMV是一個開源、低成本、功能強大的視覺模塊。OpenMV上的機器視覺算法包括尋找色塊、人臉檢測、眼球跟蹤、邊緣檢測、標志跟蹤等，所以該智能平臺選用OpenMV視覺模塊。

本文研究的智能機械臂操控平臺將視覺系統(tǒng)與傳統(tǒng)機械臂進行有機結(jié)合，通過OpenMV進行智能識別，將物體的顏色、形狀等信息轉(zhuǎn)換成數(shù)字信號傳輸給機械臂，輔助機械臂完成指定位置區(qū)域的物品抓取工作，可以有效提高物品抓取的精度以及工作效率進而降低成本。

1 載體機械臂的結(jié)構(gòu)設計

在智能機械臂操控平臺的研發(fā)過程中，通過基于OpenMV技術在普通機械臂上增加視覺識別功能，識別成功后，將傳感器上獲取的信息與Arduino Uno R3主控開發(fā)板進行通訊，進而反饋后處理信息對機器人進行動作操控。

研發(fā)工業(yè)生產(chǎn)機器人的手也被稱作尾端電動執(zhí)行器，這是機械臂組成的重要組成部分。本文選用步進電機電機作為機器人平臺移動的驅(qū)動源。步進電機驅(qū)動器根據(jù)外來的控制脈沖和方向信號，通過其內(nèi)部的邏輯電路控制步進電機的繞組以一定的時序正向或反向通電，使得電機正向/反向旋轉(zhuǎn)或者鎖定，而步進電機驅(qū)動器是將脈沖電流變換為角速度的電動執(zhí)行器，如圖1所示。

本文中的機械臂由包含手、腕、臂、柱等構(gòu)件的執(zhí)行器、推動和實行健身運動的傳動系統(tǒng)及計算機指令操控的控制系統(tǒng)構(gòu)成，而構(gòu)成這一系統(tǒng)需要3個部分：圖紙和打印;編程;調(diào)試和組裝。智能機械臂的制作流程如圖2所示。

智能機械臂操控平臺的原理是利用OpenMV技術在普通機械臂上增加視覺識別功能，OpenMV識別成功后，信息將傳輸?shù)紸rduino Uno R3主控開發(fā)板，Arduino Uno R3按程程序?qū)︱?qū)動裝置進行控制。智能機械臂的調(diào)試過程如圖3所示。

根據(jù)工作要求，機械爪的開度范圍設計為0～90°。機械結(jié)構(gòu)的基本要求是選擇刀具參數(shù)的依據(jù)，也是根據(jù)機械設計依據(jù)選擇參數(shù)的參考[4]。根據(jù)齒輪標準初步選取標準參數(shù)如下：壓力角α為20°，齒頂高系數(shù)ha*為1，齒頂尖系數(shù)c*為 0.25（標準齒輪）;并且此執(zhí)行裝置為低速及對精度要求也較低，即精度等級選擇為 9 級精度，速度v≤3m/s;材料選擇按上述分析，選擇HT200硬度為200HBW;初選齒數(shù)為Z1=10;Z2=15。按齒面接觸疲勞強度設計，如式1。

（1）

根據(jù)工作條件查表，選取載荷系數(shù)K=1.2。

（1）齒輪的傳遞扭矩T，如式（2）、式（3）所示

（2）

（3）

末端執(zhí)行器提升質(zhì)量要大于1kg，即以2kg為基礎進行計算：F=20N，可得結(jié)論p=0.06kW。

（4）

經(jīng)過式（4）計算，可得n=955r/min，即T=600N·m。

（2）根據(jù)齒寬系數(shù)表，ψ=1

（3）根據(jù)材料的彈性系數(shù)表Z≤143.7 ;標準齒Z=2.5;

（4）依據(jù)齒面強度查得傳動齒輪的觸及疲憊屈服極限 =330MPa;

（5）計算應力循環(huán)次數(shù)N，如式（5）所示。

N=60njLh? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （5）

N=60×5×1×（12×300×6）=6.5×102

（6）由接觸疲勞壽命系數(shù)圖查得L=1.

（7）計算許用接觸應力：

取無效幾率為1%，安全性能S=1，由傳動齒輪的許用接觸壓力公式（6）計算，計算可得。

（6）

[ ] = 363MPa

（8）計算齒輪分度圓直徑d，如式（7）。

（7）

（9）確定齒輪參數(shù)，運用式（8），計算齒輪模數(shù)。

（8）

由圓柱齒輪標準模數(shù)系列表選取模數(shù)m為2mm，應用式（9）可得分度圓直徑，進而應用式（10）可得齒寬參數(shù)。

d=20mm? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （9）

b=10mm? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

根據(jù)齒輪參數(shù)利用UG的有限元分析如圖4所示。

根據(jù)有限元分析來看，齒輪的內(nèi)邊緣承載較大應力，其次在兩個齒輪的嚙合部分應力要大于齒輪其他非嚙合部分，通過計算得出應力較大的部分應力值為231.37MPa并且根據(jù)結(jié)構(gòu)強度要求，許用應力為363MPa，根據(jù)強度校核計算能夠看出齒輪強度符合許用條件，選用齒輪參數(shù)為：

（1）m1=2 壓力角=20°分度圓d=20 齒頂高ha=2 齒根高hf=3 全齒高h=4

（2）m1=2 壓力角=20°分度圓d=30 齒頂高ha=2 齒根高hf=3 全齒高h=4。

本文中載體機械臂的控制結(jié)構(gòu)，多方面對比下選用步進電機與舵機，電源方面選用LSX-25-12型開關電源與LM2596S DC-DC可調(diào)降壓模塊。

2 實現(xiàn)機械臂可視化的基本過程

智能操控平臺在工作時，需要利用視覺識別系統(tǒng)分析處理數(shù)值來操控載體機械臂。本文介紹利用基于OpenMV軟件開發(fā)的一種圖像信號處理軟件系統(tǒng)，對可夾取的物體進行識別及夾取運輸。

視覺識別攝像頭安裝在操控載體運動機械臂的一個前端感光執(zhí)行器上，當所有的需要主機夾取的各種物品同時進入并達到視覺攝像頭智能識別指定區(qū)域的范圍時候，通過圖像識別控制系統(tǒng)處理采集到的圖像，并自動識別并輸出主機所需要被夾取到的物品，返回后將參數(shù)輸入到總線的控制管理系統(tǒng)內(nèi)，從而可以使載體機械臂實時得到夾取物品的位置參數(shù)并對其進行準確的自動搬運[5]。主機選取一個OpenMV4h7作為主機硬件感光控制器，采用所有OpenMV主機自帶的兩個ov7725感光控制元件的視覺攝像頭，觸摸監(jiān)控屏的顯示屏作為控制系統(tǒng)屏對圖像進行顯示與用戶界面控制操作，先期調(diào)試采用移動計算機軟件進行系統(tǒng)編程與硬件調(diào)試。圖5和圖6是OpenMV視覺識別系統(tǒng)的程序圖及效果圖。

采用基于OpenMV軟件開發(fā)的處理系統(tǒng)，通過利用前端圖像執(zhí)行器上的多個攝像頭自動獲得所符合需求的夾取的單個物品的二維色彩圖像，使用圖像增強分析技術對其進行圖像優(yōu)化，再通過利用基于lab夾取圖像的二維色彩閾度特性分析來精確分割夾取物品與圖像背景。解決方案由二維圖像數(shù)據(jù)采集、圖像增強、lab圖像色彩閾度數(shù)值特性分割、圖像識別模塊組成。

在對圖像增強的處理過程中首先需要采取原始物品局部圖像銳化，調(diào)用函數(shù)“placimg.laplacian（）”對經(jīng)過圖像增強獲取后處理得到的原始圖像處理過的物品圖像局部輪廓圖像中的輪廓軌跡進行銳化后并補償進行處理。原始物品局部圖像銳化補償處理主要目的之一也就是為了能夠讓原始處理物品圖像的某些重要細節(jié)如物品局部輪廓邊緣、頂點等更加清晰、突出、尖銳，是一種可以用于銳化補償物品局部圖像輪廓、突出物品局部邊緣輪廓邊界完整信息的能使圖像輪廓處理良好的新方法。銳化后的處理物品局部圖像輪廓比之前處理原圖平滑，增強了原始處理物品圖像中原始處理物品的輪廓局部圖像輪廓局緣邊界完整信息，將原始處理物品的圖像輪廓局部邊界完整的信息通過圖像檢測結(jié)果表現(xiàn)顯示出來。

由于經(jīng)過圖像色彩增強圖像銳化后的彩色圖像很有可能還是會直接銳化造成新的色彩變而圖像中的顏色或者質(zhì)量變化可能也會有一定的變化幅度或者降低，使得彩色圖像不逼真，且經(jīng)過圖像增強過的彩色圖像也有可能會對彩色圖像銳化處理過程中的視頻噪聲和圖像點差等元素可能有一定的幅度影響或者放大[6]。故此，通過彩色后的單或雙邊彩色視頻信號濾波對彩色圖像功能可以直接進行銳化后的處理，調(diào)用函數(shù)“：aimg.bilateral（）”，對銳化后的彩色圖像功能可以直接進行彩色后的單或雙邊彩色視頻信號濾波合并進行銳化處理。

基于OpenMV的顏色識別與追蹤算法[7]，關鍵在于進行圖像二值化.二值化圖像是經(jīng)過二值化后的圖像，有黑、白兩種狀態(tài)二值化在圖像識別中非常常見，通過OpenMV標準庫中sensor .snapshot（）獲取圖像，進行二值化處理后再通過閾值編輯器調(diào)整得到想要識別顏色的LAB顏色空間閾值。圖7是閾值編輯器檢測示例，通過OpenMVIDE軟件中的閾值編輯器離線設置LAB數(shù)值為（44，95.-23.-90.58.-11），可以得到綠色圓形小球的二值化圖像，其中的白色索即為被跟蹤的像索點，記下當前閾值，通過閾值比對來判斷顏色，小于定值即可認定顏色。

OpenMV對色塊追蹤的實現(xiàn)所采用的方法是CamShift算法，該算法以Mean- Shift算法為基礎，具備自主調(diào)節(jié)搜索窗口適應目標大小的能力，優(yōu)點是可以隨跟蹤視頻中目標尺寸的變化而變化。

由于RGB色彩空間對光線條件的改變比較敏感，因此將輸入圖像轉(zhuǎn)換到HSV顏色空間，在轉(zhuǎn)換后的HSV顏色空間里選擇初始搜索窗口作為目標區(qū)域，分離出H分量做該區(qū)域的顏色直方圖模型[7]。接著把目標區(qū)域內(nèi)的像索點與得到的顏色直方圖模型像素點進行對比，可以得到該像索點是目標像素點的概率，區(qū)域外的概率為0;把得到的相似概率轉(zhuǎn)換為0～255的灰度值即可得到反向投影圖，反向投影圖中越亮的點表示相似概率越大。

在OpenMV視覺系統(tǒng)完成識別之后，將OpenMV和Arduino如圖8形式連接，OpenMV將所識別物品信息進行處理傳輸至Arduino控制板[8]，Arduino執(zhí)行相應信息來控制機械臂的行動，實現(xiàn)機械臂的可視化。

3 結(jié)語

本次設計的利用OpenMV結(jié)合機械臂所設計的視覺機器人工作站根據(jù)在無人參與的要求下，并在其基礎上做了一些改進，使其更加靈活、穩(wěn)定，讓其更加符合需求，并在一定程度上做出了一些小小的創(chuàng)新，采用此機械臂完全可以完成脫機需求，如果運用到實際中效果可能會更加驚艷。本次設計進行了脫機運行，可以在沒有電腦控制的情況下自行運行，實現(xiàn)自主識別抓取。

參考文獻

[1] Lu Hao， Liu Junxiu， Luo Yuling et al. An autonomous learning mobile robot using biological reward modulate STDP[J].Neurocomputing，2021，458.

[2] 張佳路，任彬，趙增旭.基于顏色識別的智能物料搬運機器人[J].自動化應用，2020（1）：59-61.

[3] 王樂.基于視覺伺服的工業(yè)機器人控制技術研究[D].南京：南京林業(yè)大學，2012.

[4] 苗淑杰，劉喜平.機械設計基礎[M].北京：北京大學出版社，2012.

[5] 李思熠，王少坤.基于 OpenMV 和 Arduino 的智能巡線機器人[J].科技與創(chuàng)新，2020（22）：50-53.

[6] 楊超.數(shù)字圖像增強技術研究與實現(xiàn)[J].電腦編程技巧與維護，2018（9）：138-139.

[7] 張平.基于OpenMV的輔助進食機械手系統(tǒng)的研究與設計[D].南昌：江西理工大學，2019.

[8] 黃凱文，趙煜，黃玲，等.基于機械視覺的Arduino智能物流配送車 [J].河南科技.2021，40（22）：20-23.

基金項目：黑龍江省自然科學基金（項目編號：LH2021D015）;黑龍江工程學院博士基金（項目編號：2017BJ11）;黑龍江工程學院大學生創(chuàng)新創(chuàng)業(yè)項目（項目編號：201911802051）

作者簡介：王策（2000—），男，本科在讀，研究方向為工業(yè)機器人技術。劉帥克（2002—），男，本科在讀，研究方向為工業(yè)機器人技術;

通信作者簡介：郭霆（1982—），男，博士，講師，研究方向為機器人結(jié)構(gòu)優(yōu)化及流體動力學。E-mail：gt_hljit@foxmail.com