基于手勢交互的機(jī)械臂軌跡示教系統(tǒng)

摘? 要：為了解決傳統(tǒng)機(jī)械臂示教方式上手難度高、效率低、人機(jī)交互系統(tǒng)不友好的問題，結(jié)合機(jī)器視覺與神經(jīng)網(wǎng)絡(luò)，提出一種基于手勢交互的機(jī)械臂軌跡示教系統(tǒng)。該系統(tǒng)通過機(jī)器視覺定位指尖位置，記錄下指尖的運(yùn)動(dòng)軌跡并將其用于機(jī)械臂的軌跡示教;通過卷積神經(jīng)網(wǎng)絡(luò)識(shí)別靜態(tài)手勢，用于與機(jī)械臂進(jìn)行如抓取、放置、開始示教等動(dòng)作的人機(jī)交互。系統(tǒng)通過ROS（機(jī)器人操作系統(tǒng)）與機(jī)械臂通信，驅(qū)動(dòng)機(jī)械臂完成示教軌跡的復(fù)現(xiàn)。通過設(shè)計(jì)實(shí)驗(yàn)對(duì)系統(tǒng)的性能進(jìn)行評(píng)估，結(jié)果顯示本示教系統(tǒng)具有編程難度低、易用性好、項(xiàng)目部署周期短的優(yōu)點(diǎn)，可用于復(fù)雜軌跡的示教工作，極大地提升了機(jī)械臂示教工作的效率。

關(guān)鍵詞：機(jī)械臂;軌跡示教;機(jī)器視覺;神經(jīng)網(wǎng)絡(luò);人機(jī)交互

中圖分類號(hào)：TP391.4? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Manipulator Trajectory Teaching System based on Gesture Interaction

HUA Aoyang

（College of Mechanical Engineering， University of Shanghai for Science and Technology， Shanghai 200082， China）

huaaoyang@126.com

Abstract： Aiming at the problems of difficulty to learn， low efficiency and unfriendly human-computer interaction system in traditional manipulator teaching methods， this paper proposes to establish a gesture interaction-based manipulator trajectory teaching system combining machine vision and neural network. Fingertip position is located through machine vision， and the movement trajectory of the fingertip is recorded and used for teaching manipulator trajectory. Convolutional neural network is used to identify static gestures， which are used for Human-computer interaction with the manipulator's actions， such as grasping， placing， and teaching. The system communicates with the manipulator through ROS （Robot Operating System）， and drives the manipulator to complete the reproduction of the teaching trajectory. The performance of the system is evaluated through experiment designing. Results show that this teaching system has the advantages of low programming difficulty， user-friendliness， and short project deployment cycle. It can be used for teaching complex trajectories， which greatly improves teaching efficiency of the manipulator.

Keywords： manipulator; trajectory teaching; machine vision; neural network; human-computer interaction

1? ?引言（Introduction）

近年來，我國制造業(yè)發(fā)展經(jīng)歷了從制造大國向制造強(qiáng)國的轉(zhuǎn)型升級(jí)。機(jī)械臂是現(xiàn)代工業(yè)生產(chǎn)管理過程中的重要組成部分，由于機(jī)械臂具有工作精度高、重復(fù)能力強(qiáng)、能在惡劣的環(huán)境下進(jìn)行操作等優(yōu)點(diǎn)，被廣泛應(yīng)用于零部件的焊接、噴涂、裝配等工業(yè)任務(wù)中。目前，機(jī)械臂主要包含在線示教及離線示教兩種示教方式。在線示教主要通過示教盒進(jìn)行逐點(diǎn)位示教或直接拖動(dòng)機(jī)械臂示教;離線示教主要是用計(jì)算機(jī)輔助設(shè)計(jì)軟件制作三維模型，并導(dǎo)入各機(jī)械臂廠家的仿真軟件中進(jìn)行軌跡示教[1]。傳統(tǒng)示教方法具有操作復(fù)雜、人機(jī)交互的友好性不高、不同品牌操作方式不同、示教精度依賴于工人熟練度等缺點(diǎn)，因此提出一種簡單高效的機(jī)械臂示教辦法是當(dāng)前機(jī)械臂研究的熱點(diǎn)與難點(diǎn)。

隨著機(jī)器學(xué)習(xí)和機(jī)器視覺技術(shù)的發(fā)展，機(jī)械臂演繹編程為人機(jī)交互提供了新的解決辦法，是降低機(jī)械臂示教復(fù)雜性的重要途徑[1]。機(jī)械臂演繹編程是通過對(duì)人的示教動(dòng)作進(jìn)行觀測、學(xué)習(xí)，從而自動(dòng)生成程序及運(yùn)動(dòng)軌跡的過程，具有難度低、人機(jī)交互便捷、操作靈活等優(yōu)點(diǎn)。本文將手勢交互與機(jī)械臂軌跡示教相結(jié)合，開發(fā)了一個(gè)利用手指進(jìn)行軌跡示教，基于手勢識(shí)別進(jìn)行人機(jī)交互的機(jī)械臂示教系統(tǒng)。本系統(tǒng)通過相機(jī)獲取圖像，基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別模塊識(shí)別不同的輸入手勢以實(shí)現(xiàn)人機(jī)交互?；跈C(jī)器視覺的指尖識(shí)別模塊可以準(zhǔn)確地識(shí)別指尖的位置，將其生成的軌跡用于機(jī)械臂的軌跡示教，此方法具有上手簡單、人機(jī)交互友好、軌跡準(zhǔn)確率高等優(yōu)點(diǎn)，在示教復(fù)雜軌跡時(shí)能極大地提高工作效率。

2? ?示教系統(tǒng)的設(shè)計(jì)（Design of teaching system）

根據(jù)機(jī)械臂在日常生產(chǎn)中的應(yīng)用場景，本示教系統(tǒng)由指尖識(shí)別、手勢識(shí)別兩個(gè)部分組成。首先通過相機(jī)獲取圖像數(shù)據(jù)，接著對(duì)圖像進(jìn)行濾波降噪處理。圖像處理模塊用于識(shí)別、跟蹤指尖的軌跡，手勢識(shí)別主要用于與機(jī)械臂進(jìn)行人機(jī)交互。最后根據(jù)指尖的路徑、示教過程中的手勢以及機(jī)械臂手眼標(biāo)定后得到的各項(xiàng)參數(shù)生成機(jī)械臂的運(yùn)動(dòng)軌跡。系統(tǒng)的流程圖如圖1所示。

3? ?運(yùn)動(dòng)指尖識(shí)別（Movement fingertip recognition）

本系統(tǒng)是從視頻中獲取動(dòng)態(tài)的指尖點(diǎn)軌跡，因此需要將移動(dòng)的手指作為前景從靜態(tài)的背景中分割出來，常見的運(yùn)動(dòng)物體的分割方法有幀間差分法以及背景消除法。由于幀間差分法不能提取運(yùn)動(dòng)物體的完整區(qū)域，存在較大的空洞，移動(dòng)速度的快慢也會(huì)影響運(yùn)動(dòng)物體的提取質(zhì)量，而背景消除法對(duì)運(yùn)動(dòng)速度不敏感且穩(wěn)定性高，因此更加適合運(yùn)動(dòng)物體的準(zhǔn)確提取。

3.1? ?背景消除

背景消除法是把當(dāng)前圖像與背景圖像作差分，通過設(shè)置差分后圖像的閾值，將視頻中運(yùn)動(dòng)的物體作為前景提取出來[2]。背景消除的流程如圖2所示。

若為t時(shí)刻的一幀圖像，為背景模型，為背景消除后的圖像，T為固定閾值，那么在t時(shí)刻背景分割的公式為：

（1）

運(yùn)動(dòng)物體的提取效果十分依賴背景模型的建立，如何獲取一個(gè)高質(zhì)量的背景模型，是背景消除法的關(guān)鍵和難點(diǎn)。常見的背景消除法有基于混合高斯模型背景的減除法（GMM）、基于鄰近算法（KNN）的背景分割算法、平均背景法等。由于平均背景法具有工作原理簡單、可靠性高等優(yōu)點(diǎn)，故本系統(tǒng)采用平均背景法進(jìn)行背景消除。平均背景法是通過累加足夠幀數(shù)的圖片，計(jì)算每個(gè)像素的平均值及其平均差得到背景的統(tǒng)計(jì)模型，通過設(shè)置合理的高低閾值，來分割圖像的前景與背景。實(shí)驗(yàn)中原圖像與分割后得到的前景圖像如圖3所示。

3.2? ?指尖檢測

從視頻中獲取前景之后，由于前景圖片存在一定的噪聲，因此首先需要對(duì)其進(jìn)行開運(yùn)算、閉運(yùn)算、濾波等操作以減少噪聲，隨后對(duì)指尖部位進(jìn)行定位。目前常用的手部定位提取方法有基于膚色分割的手部提取、基于深度相機(jī)的深度閾值提取。本系統(tǒng)利用背景差分所得的前景圖像，基于輪廓查找及凸包算法對(duì)指尖定位。其主要算法流程如圖4所示。

3.2.1? ?圖像的預(yù)處理

為了抑制圖像中的噪聲，本系統(tǒng)采用中值濾波、形態(tài)學(xué)算法來處理圖像。中值濾波是將像素替換為圍繞這個(gè)像素的矩形框內(nèi)的中值像素，常用于去除圖像中的椒鹽噪聲。圖像形態(tài)學(xué)算法主要使用開運(yùn)算、閉運(yùn)算，開運(yùn)算是對(duì)圖像先進(jìn)行腐蝕然后膨脹，主要用于消除圖像中小的噪聲;閉運(yùn)算是將特征區(qū)域先進(jìn)行膨脹然后腐蝕處理，可以填充特征區(qū)域內(nèi)部的細(xì)小空洞。

3.2.2? ?基于手部輪廓檢測與凸包算法的指尖提取

在基于中值濾波及形態(tài)學(xué)處理之后，下一步就是提取手部輪廓，進(jìn)而利用凸包算法找到指尖點(diǎn)。本系統(tǒng)利用OpenCV（計(jì)算機(jī)視覺公開庫）中的findContours函數(shù)進(jìn)行輪廓查找，通過提取最長的輪廓線來確定手掌區(qū)域;接著用凸包算法將找到的輪廓用點(diǎn)連接起來構(gòu)成一個(gè)凸多邊形;最后通過尋找凸多邊形各個(gè)點(diǎn)中縱向像素值的最小值來確定指尖點(diǎn)的位置。手的輪廓圖與手部的凸多邊形如圖5所示。

4? ?基于神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別（Gesture recognition based on neural network）

人機(jī)交互功能是決定一個(gè)系統(tǒng)“友善”程度的重要指標(biāo)，常見的人機(jī)交互方式包括鼠標(biāo)鍵盤輸入、觸屏點(diǎn)擊、語音識(shí)別等?？紤]到在機(jī)械臂示教過程中使用鼠標(biāo)鍵盤等設(shè)備進(jìn)行人機(jī)交互所帶來的不便，本系統(tǒng)開發(fā)了一套基于機(jī)器視覺和卷積神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別模塊作為人機(jī)交互的接口。通過手勢可以控制機(jī)械臂示教的開始與結(jié)束，以及物體的抓取與放置功能，提升了本系統(tǒng)的人機(jī)交互能力與操作的便攜性。

4.1? ?手勢識(shí)別方案設(shè)計(jì)

本系統(tǒng)的手勢識(shí)別模塊共分為四個(gè)步驟：（1）通過相機(jī)采集圖像，并將手勢識(shí)別區(qū)域中的手勢分割出來。（2）通過圖像濾波處理去除噪點(diǎn)，向下采樣制作訓(xùn)練用的數(shù)據(jù)集。（3）訓(xùn)練神經(jīng)網(wǎng)絡(luò)。（4）采集圖像信息。（5）輸出手勢結(jié)果。根據(jù)系統(tǒng)在實(shí)際工作中的需要，本系統(tǒng)共設(shè)計(jì)了四個(gè)不同的手勢分別對(duì)應(yīng)停止示教、開始示教、抓取與放置四個(gè)功能。四個(gè)手勢如圖6所示。每個(gè)手勢經(jīng)過分割、濾波、下采樣的操作以后，得到32×32像素的灰度圖片。

4.2? ?卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與訓(xùn)練

本系統(tǒng)采用LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行手勢識(shí)別。LeNet-5是一種經(jīng)典的七層卷積網(wǎng)絡(luò)結(jié)構(gòu)，用于手寫數(shù)字識(shí)別且取得了令人矚目的成績，是最早用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)[3]。該網(wǎng)絡(luò)由兩個(gè)卷積層、兩個(gè)池化層，以及三個(gè)全連接層組成。整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖7所示。

卷積神經(jīng)網(wǎng)絡(luò)相對(duì)于傳統(tǒng)圖像處理的手勢識(shí)別算法具有提取圖像特征效率高、分類準(zhǔn)確率高、分類速度快等優(yōu)點(diǎn)，一般包含輸入層、卷積層、池化層以及全連接層四個(gè)部分。卷積層和池化層是用于提取圖像特征的核心模塊[4]。卷積層通過卷積核與所對(duì)應(yīng)的圖像區(qū)域進(jìn)行卷積提取圖片的特征。本系統(tǒng)的神經(jīng)網(wǎng)絡(luò)包含兩個(gè)卷積層，卷積核的數(shù)量分別為32 個(gè)、64 個(gè)。由于卷積核的大小對(duì)分類的結(jié)果具有較大的影響，采用較大的卷積核會(huì)導(dǎo)致手部特征喪失，較小的卷積核又會(huì)降低網(wǎng)絡(luò)訓(xùn)練、識(shí)別的效率[4]，因此為了保留盡可能多的圖形特征同時(shí)兼顧網(wǎng)絡(luò)的運(yùn)算速度，本系統(tǒng)對(duì)兩個(gè)卷積層分別使用5×5、3×3大小的卷積核，提高了網(wǎng)絡(luò)的性能[2]。

卷積運(yùn)算提取到的圖像特征是線性的，但真正的樣本往往是非線性的，為此引入非線性激活函數(shù)來解決，使得每個(gè)像素點(diǎn)可以用0—1的任何數(shù)值來代表，模擬更為細(xì)微的變化。激活函數(shù)一般具有非線性、連續(xù)可微、單調(diào)性等特性。本系統(tǒng)卷積層采用ReLu激活函數(shù)。ReLu激活函數(shù)的表達(dá)式為：

（2）

池化層主要用于壓縮圖像的大小，提取圖像的主要特征，簡化網(wǎng)絡(luò)的計(jì)算。池化對(duì)輸出的上層進(jìn)行下采樣的過程，會(huì)減少參數(shù)矩陣的尺寸并保留有用的信息，從而減少最后全連層中的參數(shù)數(shù)量。池化常用的方式一般有兩種，分別為最大池化與均值池化，本文采用卷積核大小為2×2的最大池化采樣，抑制了網(wǎng)絡(luò)的過擬合，提高了模型的非線性映射能力[5]。

全連接層居于整個(gè)網(wǎng)絡(luò)的尾部，是卷積神經(jīng)網(wǎng)絡(luò)的“分類器”，在卷積層與第一層全連接時(shí)，卷積、池化所產(chǎn)生的特征圖會(huì)被展開為一維的特征向量，后面的全連接層的每個(gè)神經(jīng)元都與所有上層神經(jīng)元相連[6]，將前面層級(jí)所提取到的特征進(jìn)行非線性組合得到輸出。全連接層的表達(dá)式為：

（3）

式中，x為輸入的值，w為每個(gè)輸入所對(duì)應(yīng)的權(quán)重系數(shù)，b為偏置項(xiàng)，是一個(gè)常數(shù)。全連接層連接所有特征輸出至輸出層，輸出層使用歸一化指數(shù)函數(shù)輸出分類的結(jié)果標(biāo)簽[2]。

5? ?實(shí)驗(yàn)驗(yàn)證（Experimental verification）

為了對(duì)本示教系統(tǒng)性能進(jìn)行評(píng)估，本節(jié)設(shè)計(jì)了傳統(tǒng)示教方法與使用本系統(tǒng)示教方法的對(duì)比實(shí)驗(yàn)。通過記錄機(jī)械臂的軌跡、示教所需的時(shí)間以及使用者在示教過程中的滿意程度等，從效率、精度、易用性等三個(gè)維度與傳統(tǒng)的用示教盒示教作對(duì)比，以驗(yàn)證本系統(tǒng)的優(yōu)越性，同時(shí)發(fā)現(xiàn)它的不足之處。

5.1? ?示教系統(tǒng)平臺(tái)搭建

實(shí)驗(yàn)的硬件組成包含一部相機(jī)、一臺(tái)機(jī)械臂、一臺(tái)預(yù)裝Ubuntu 16.04操作系統(tǒng)以及ROS（機(jī)器人操作系統(tǒng)）的筆記本電腦。在使用系統(tǒng)進(jìn)行示教前需要先完成相機(jī)標(biāo)定、機(jī)械臂與相機(jī)間的手眼標(biāo)定以及示教系統(tǒng)與機(jī)械臂的通信[7]。手勢示教的流程是首先加載卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練好的手勢模型，接著由工業(yè)相機(jī)實(shí)時(shí)采集示教的畫面，操作者用右手在示教區(qū)域進(jìn)行示教，系統(tǒng)會(huì)實(shí)時(shí)捕獲手指指尖的位置。左手在手勢識(shí)別區(qū)域進(jìn)行人機(jī)交互，通過手勢來控制機(jī)器人完成開始示教、停止示教、物體的抓取與放置等操作。搭建實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)圖如圖8所示。

5.2? ?實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)的方案為：在實(shí)驗(yàn)臺(tái)上平鋪一張A4大小的白紙，在紙上畫一個(gè)矩形，分別使用傳統(tǒng)的示教盒以及本示教系統(tǒng)對(duì)同一軌跡進(jìn)行軌跡示教，兩種示教方法如圖9所示。示教結(jié)束后，機(jī)械臂會(huì)復(fù)現(xiàn)示教的軌跡，與此同時(shí)，機(jī)械臂末端的筆會(huì)在白紙上記錄下機(jī)械臂的運(yùn)行軌跡。最后，分別對(duì)這兩種示教方法進(jìn)行評(píng)估，通過測量在特定點(diǎn)位的位置偏移量來評(píng)估示教的精度，通過測量示教所需的時(shí)長來評(píng)估示教的效率，通過不同操作者的調(diào)查問卷對(duì)示教系統(tǒng)的易用性進(jìn)行評(píng)價(jià)[8]。

5.3? ?實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)共安排了四名同學(xué)分別用兩種示教方式進(jìn)行軌跡示教，在軌跡上取若干個(gè)采樣點(diǎn)，記錄在每個(gè)采樣點(diǎn)實(shí)際軌跡與理想軌跡的平均偏移量、最大偏移量以及每次示教所需的總時(shí)長。使用示教盒示教產(chǎn)生的相關(guān)數(shù)據(jù)詳情如表1所示。

使用本系統(tǒng)示教產(chǎn)生的相關(guān)數(shù)據(jù)詳情如表2所示。

通過對(duì)比兩種編程方式所用的總時(shí)長以及最終實(shí)際軌跡與理想軌跡之間的偏差，可以得出以下結(jié)論：傳統(tǒng)的方法需要在逐點(diǎn)位示教之后才能生成一段完整的軌跡，對(duì)新手操作者來說易用性不高且操作煩瑣。本系通過手勢即可與機(jī)器人交互，借助滑動(dòng)手指即可完成示教，具有操作簡單、效率高等優(yōu)點(diǎn)。另一方面，本系統(tǒng)無論在平均誤差還是最大誤差方面，對(duì)比傳統(tǒng)方法都是不盡人意的[9]，除了操作者由于操作產(chǎn)生的隨機(jī)誤差以外，相機(jī)標(biāo)定時(shí)所帶來的相機(jī)標(biāo)定誤差、用手眼標(biāo)定來確定機(jī)械臂與相機(jī)位置關(guān)系所產(chǎn)生的位置誤差、機(jī)械臂生產(chǎn)制造以及日常磨損產(chǎn)生的誤差等都使得規(guī)劃的軌跡誤差偏大[4]。因此，后期研究可以采用精度更高的相機(jī)標(biāo)定算法、手眼標(biāo)定算法及機(jī)械臂誤差補(bǔ)償算法來減少系統(tǒng)誤差。

6? ?結(jié)論（Conclusion）

使用傳統(tǒng)的示教方法進(jìn)行示教存在費(fèi)時(shí)費(fèi)力、專業(yè)基礎(chǔ)要求高、人機(jī)交互性能差等問題，這些缺點(diǎn)阻礙了機(jī)械臂進(jìn)一步的發(fā)展。為了解決上述問題，本文基于機(jī)器視覺及機(jī)器學(xué)習(xí)提出了一種簡單高效的機(jī)械臂示教系統(tǒng)。該系統(tǒng)利用背景消除法、輪廓檢測法以及凸包算法識(shí)別并追蹤手指的位置，將手指的位置點(diǎn)轉(zhuǎn)換為機(jī)械臂的運(yùn)動(dòng)軌跡。為了便于人機(jī)交互，本系統(tǒng)搭建了基于LeNet-5的視覺手勢交互模塊，設(shè)計(jì)了四種交互手勢用于與機(jī)械臂進(jìn)行人機(jī)交互。該網(wǎng)絡(luò)具有95.8%的識(shí)別準(zhǔn)確率，友好的人機(jī)交互接口降低了機(jī)器人示教的上手難度，提高了示教的效率。最后通過與傳統(tǒng)的示教盒示教作比較，驗(yàn)證了本系統(tǒng)在保證軌跡精度的同時(shí)具有更高的工作效率以及更簡潔的操作邏輯。

參考文獻(xiàn)（References）

[1] 李致豪.基于視覺手勢交互的協(xié)作機(jī)器人示教系統(tǒng)研究[D].長春：長春工業(yè)大學(xué)，2020.

[2] 李炳臻，劉克，顧佼佼，等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)時(shí)代，2021（04）：8-12.

[3] 周忠祥，胡晉，王越，等.機(jī)器人演示編程技術(shù)的研究進(jìn)展[J].自動(dòng)化博覽，2020，37（06）：48-57.

[4] 張宏達(dá).基于球桿示教筆的機(jī)器人軌跡演示編程系統(tǒng)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2020.

[5] 段中興，白楊.結(jié)合深度學(xué)習(xí)的機(jī)器人示教系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測量與控制，2020，28（11）：164-169.

[6] 譽(yù)洪生.面向工業(yè)裝配演示編程的動(dòng)作識(shí)別[D].杭州：浙江大學(xué)，2017.

[7] 葉必鵬.基于視覺的多機(jī)器人室內(nèi)協(xié)同SLAM算法的研究與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[8] HU H S， ABDUI S. Static hand gesture recognition using neural networks[J]. Artificial Intelligence Review， 2014， 41（2）：147-181.

[9] SUN P， FREUND R M. Computation of minimum-volume covering ellipsoids[J]. Operations Research， 2014， 52（5）：690-706.

作者簡介：

花傲陽（1995-），男，碩士生.研究領(lǐng)域：圖像處理.