基于本體手勢-觸覺感知的機器手抓取

張曉鵬，張陽陽，李莉萍，趙 吉，張東彥

(安徽大學 互聯(lián)網(wǎng)學院，安徽 合肥 230039)

0 引言

近年來，面向主從協(xié)同操作的主從映射式遙操作機器人技術(shù)成為研究熱點之一[1-5]，主從協(xié)同作業(yè)、操作信息雙向傳遞及協(xié)同以及在機器人遙操作系統(tǒng)中的力反饋是操作者感知被抓物體物理特性及掌握主從式遙操作的關(guān)鍵點?；谟嬎銠C視覺、數(shù)據(jù)手套及反饋裝置的主從手映射技術(shù)的研究已經(jīng)取得了較大的進展[6-10],可穿戴傳感器引起了學者們的研究興趣[11-15],同時，基于觸覺反饋技術(shù)的遙操作機器人技術(shù)也已經(jīng)取得了較大的成果[16-20]。Nicolis D等人[21]研究了遙操作機器人中的視覺伺服，為操作者提供有關(guān)遠程位置的信息并協(xié)助執(zhí)行任務，提出了一個由兩個機器人手臂組成的遠程操作系統(tǒng)，并且配備了一個手持式攝像機傳感器。通過對攝像機的自主調(diào)節(jié)來實現(xiàn)無遮擋任務的執(zhí)行，進一步將遮擋避免作為一個約束進行遙操作優(yōu)化。Qiu S等人[22]提出了一種基于視覺反饋的外骨骼機器人遙操作控制方法，視覺反饋鏈接由攝像機捕獲的視頻實現(xiàn)，將壓縮后的圖像作為反饋信息。Yang C等人[23]利用表面肌電信號提取操作者的肌肉激活信息，通過觸覺和視覺反饋來感知對外部環(huán)境的變化，人類操作者自然會對各種肌肉活動做出反應；同時通過肌肉活動信息來調(diào)節(jié)機器人手臂的剛度，期望機器人能夠以更高的智能水平完成重復或不確定的任務。毛磊東等人[24]針對智能抓取機器人在軟抓取過程中對三軸力感知和滑移識別的要求，提出了一種由碳、石墨烯納米片和硅橡膠制造的柔性三軸觸覺傳感器。

本研究在前期基于柔性可拉伸傳感器的數(shù)據(jù)手套的主從手遙操作研究基礎(chǔ)上[25]，進一步基于觸覺感知-視觸雙模態(tài)反饋信息，研究主從手映射式遙操作機器人穩(wěn)定抓取系統(tǒng)，本文設(shè)計的反饋系統(tǒng)由視覺反饋和力觸覺反饋兩部分組成。視覺反饋采用計算機顯示技術(shù)，實時反饋機器人靈巧手抓取物體的力的大小。基于電刺激的力反饋模塊用于反饋機器人靈巧手抓取物體的作業(yè)狀態(tài)。機器人靈巧手的抓取狀態(tài)由觸覺感知裝置捕捉，為已有的研究基礎(chǔ)；構(gòu)建了實驗平臺，驗證基于觸覺感知及視-觸雙模態(tài)反饋系統(tǒng)反饋機器人靈巧手抓取的作業(yè)狀態(tài)、抓取力度的有效性。同時增強了操作者對于主從手映射式機器人遙操作的本體感及臨場感，實現(xiàn)了對目標物體的穩(wěn)定抓取。

1 系統(tǒng)平臺構(gòu)建

1.1 觸覺感知裝置構(gòu)建

本文采用的數(shù)據(jù)手套為已有的研究基礎(chǔ)[26]。另外將5個可拉伸傳感器布置于機器人靈巧手的關(guān)節(jié)處，捕捉靈巧手抓取過程中的關(guān)節(jié)角度特征，如圖1(a)所示。文中選用的壓力傳感器在已有研究基礎(chǔ)之上進一步陣列化，如圖1(b)所示，感知機器人靈巧手在抓取物體過程中的觸覺感知信息。

(b) 穩(wěn)定

(a) 手滑動

(a) 可拉伸傳感器陣列

(b) 壓力傳感器陣列

1.2 遙操作方法論述

主從手手勢映射流程如圖2所示，首先對特征信息進行歸一化預處理：

圖2 主從手手勢映射流程Fig.2 Master slave hand gesture mapping process

(1)

式中x，y分別為轉(zhuǎn)換前后的值，maxSensor、minSensor分別為采集數(shù)據(jù)的最大值和最小值。傳感器的歸一化輸出與關(guān)節(jié)角度之間存在一一對應的關(guān)系，為此，對傳感器的電學輸出信號及關(guān)節(jié)角度進行標定。

(2)

(3)

(4)

(5)

(6)

(7)

機器人靈巧手的近端指關(guān)節(jié)的角速度ωi是遙操作過程中的一個關(guān)鍵參數(shù)。自適應角速度控制的目的是實現(xiàn)精確的姿態(tài)映射和安全的抓取，防止因抓取速度過快而破壞目標。本文使用的靈巧手由直流刷伺服電機驅(qū)動，電機的速度可以由驅(qū)動信號的占空比控制。

2 基于觸覺感知及反饋的靈巧手抓取

2.1 抓取狀態(tài)識別

本文利用長短期記憶網(wǎng)絡(Long Short-Term Memory)算法結(jié)合動態(tài)時間規(guī)整(Dynamic Time Warping)的模型。與前向神經(jīng)網(wǎng)絡類似，LSTM網(wǎng)絡訓練采用誤差反向傳播算法(Back Propagation)，但由于LSTM處理序列數(shù)據(jù)，在使用BP算法時需要將誤差在整個時間序列中傳播回來[27-28]。采用基于LSTM及DTW結(jié)合的方法訓練和測試數(shù)據(jù)進行標記。對于圖3所示的LSTM，每個輸入向量由61個1步采樣的動態(tài)窗口構(gòu)成，隱藏層由20個節(jié)點組成，輸出由9個節(jié)點組成。為了訓練LSTM，分類代表LSTM觀測結(jié)果，抓取狀態(tài)標簽代表LSTM真實狀態(tài)。同一類別抓取狀態(tài)包含不一致的信息序列，因此采集的樣本的時間序列特征不一致。DTW算法建立一種科學的時間序列比對方法，使測試模式的特征與參考模式之間的路徑相匹配。

即使同一人重復相同的行為，也不可能再現(xiàn)完全一致的時間序列。在這種復雜情況下，傳統(tǒng)的歐氏距離法在計算兩個時間序列之間的距離時并不十分有效。假設(shè)有兩個實驗時間序列Ri和Rj:Ri=(r1,r2,…，ri)是測試模式特征向量序列。Rj=(r1,r2,…，rj)是參考模式特征向量序列。其中i，j代表時間序列號。

P(RT)=[P1(R1)，P1(R2)，…，P1(RT)，…，PN(R1)，

PN(R2)，…，PN(RT)]。

(8)

時間特征空間是在時間T統(tǒng)一時間線程P下，將輸出與時間窗口拼接而成，N是傳感器的序列號，如式(8)所示。路徑W用于定義Ri和Rj之間的映射。W=(w1,w2,…,wk,…，wK),max(i,j)≤K≤i+j-1。變量K代表最終的翹曲路徑，wk=(i，j)，K是第i個試驗模式特征向量和第j個參考模式特征向量之間的第K個映射增益。因此，最小翹曲函數(shù)可以描述：

(9)

利用動態(tài)規(guī)劃方法求出路徑的遞推，該遞推定義了累積距離L(Ri，Rj)和當前核距離N(Ri，Rj)。

L(Ri,Rj)=N(Ri,Rj)+min{L(Ri-1,Rj-1),

(10)

圖3給出了單元結(jié)構(gòu)，展示出門操作和所提出混合模型的整體結(jié)構(gòu)。

圖3 基于DTW/LSTM/BPTT的抓取狀態(tài)識別混合模型的工作流程Fig.3 Work flow of DTW/LSTM/BPTT-based grasping state recognition hybrid model

其基本單元定義為式(11)～式(16)：

ft=σ(Wf·[ht-1,xt]+bf),

(11)

it=σ(Wi·[ht-1,xt]+bi),

(12)

(13)

(14)

ot=σ(W0·[ht-1,xt]+b0),

(15)

ht=ottanh(Ct)，

(16)

(17)

(18)

LSTM遺忘門描述:

(19)

(20)

LSTM單元及描述:

(21)

(22)

LSTM輸出門描述為:

(23)

(24)

單元輸出:

(25)

基于BPTT反向傳播更新過程描述:

(26)

(27)

反向傳播LSTM單元輸出描述:

(28)

反向傳播更新過程中LSTM輸出門描述:

(29)

(30)

計算單元、遺忘門及輸入門:

(31)

(32)

(33)

式中，wij表示神經(jīng)元i到j的連接權(quán)，用a、b分別表示輸入和輸出，l、φ、w表示輸入門、遺忘門、輸出門。wcl、wcφ、wcω分別表示從單元到輸入門、遺忘門、輸出門權(quán)重。sc表示神經(jīng)元c的狀態(tài)，f表示控制門激活函數(shù)，g和h分別表示輸入和輸出激活函數(shù)。I表示輸入層的神經(jīng)元，K表示輸出層的神經(jīng)元，H表示隱藏層的神經(jīng)元。

2.2 視-觸雙模態(tài)反饋系統(tǒng)

本文提出了基于觸覺感知-視觸雙模態(tài)反饋的遙操作機器人抓取系統(tǒng)，如圖4所示。靈巧手作業(yè)狀態(tài)為手指滑動 (FD)、手指穩(wěn)定 (FS)、手指晃動 (FW)、手掌滑動 (PD)、手掌穩(wěn)定 (PS)、手掌晃動 (PW)、手滑動 (HD)、手穩(wěn)定 (HS)、手晃動 (HW)9種作業(yè)狀態(tài)，電刺激反饋裝置采用3個電刺激點布置在人手小臂處。

圖4 遙操作機器人抓取策略Fig.4 Grasping strategies for teleoperated robots

3 實驗

機械手角速度和驅(qū)動信號占空比標定曲線如圖5所示，壓力傳感器相對阻力隨壓力變化曲線如圖6所示。

圖5 角速度和驅(qū)動信號標定曲線Fig.5 Relationship of angular velocity and driving signals

圖6 壓力傳感器相對阻力隨壓力變化曲線Fig.6 Relative resistance change under increasing pressure

手勢映射處于第一階段，手勢映射增益系數(shù)k1=1(式(5))。占空比T=10，機器人關(guān)節(jié)角速度為2.5 °/s。 機器人手接觸目標物體，進入第二階段，手勢映射系數(shù)k2=0.25。占空比T=5，靈巧手關(guān)節(jié)角速度為1 °/s。食指指尖觸覺傳感器的響應曲線如圖7所示。因此，當機器人指尖接觸到目標物體時，關(guān)節(jié)的角速度開始減小如圖8所示。實驗對象被機械手成功穩(wěn)定地抓取。主從手指關(guān)節(jié)角最大測量誤差值小于2°，如圖9所示，橫坐標為時間序列，縱坐標為靈巧手角度相應。

圖7 機器人指尖壓力傳感器響應Fig.7 Pressure sensor response of the robotic index fingertip

圖8 食指關(guān)節(jié)自適應角速度控制Fig.8 Adaptive angular velocity control of index finger joint

圖9 關(guān)節(jié)測量誤差Fig.9 Error measurements of index joints angles

如圖10所示，在連續(xù)事件之間仍有未標記的樣本[29]，圖中x軸、y軸、z軸分別表示感知序列、傳感器序列和傳感器輸出。觀測值可用于評價LSTM的躍遷和發(fā)射概率。訓練的LSTM模型的轉(zhuǎn)移和發(fā)射概率矩陣的示例如圖11和圖12所示。不同抓取狀態(tài)下，對觸覺序列進行處理和分析。每個樣本組限定500個樣本，得到900個觸覺序列樣本，500個樣本。對每種抓取狀態(tài)的50組樣本，隨機抽取30組樣本作為訓練集，其余20組作為測試集。

(c) 擺動

(d) 手指滑動

(e) 穩(wěn)定和

(f) 擺動

(g) 手掌滑動

(h) 穩(wěn)定

圖11 LSTM模型轉(zhuǎn)移概率矩陣Fig.11 Transition probability matrix of LSTM model

圖12 LSTM模型發(fā)射概率矩陣Fig.12 Emission probability matrix of LSTM model

因此，共有480組訓練集樣本和420組測試集樣本。采用準確性、敏感性和特異性3個性能指標并取平均值以評估整體性能。性能結(jié)果可以通過實驗事件和預測事件之間的±n個樣本的時間公差來計算。當采樣率為100 Hz時，±1個樣本的誤差等于10 ms內(nèi)的定時誤差。在估計過程中，采用留一個交叉驗證的方法[30]來估計LSTM模型的泛化能力。除一名參與者外，其余參與者的數(shù)據(jù)全部用于培訓，其余參與者的數(shù)據(jù)作為測試數(shù)據(jù)。與N倍交叉驗證相比，在驗證過程中，主體間變異的混合效應最大化。每個參與者的每次試驗都重復驗證過程，以便最終使每個數(shù)據(jù)集便于使用。

如表1所示，實現(xiàn)抓取狀態(tài)的編號及反饋，其中標簽1、2、3為人手上的3個電刺激反饋點標簽。表2展示了不同反饋方式下靈巧手抓取不同物體的遙操作性能及指尖平均壓力大小，實驗次數(shù)為20次?？梢钥闯?，基于視-觸雙模態(tài)反饋系統(tǒng)具有更好的遙操作抓取性能。表3展示不同用戶使用此遙操作系統(tǒng)，同樣具有較好的性能。

表1 電刺激反饋對應抓取狀態(tài)表Tab.1 Corresponding grabbing states of electrical stimulation feedback

表2 遙操作抓取對比實驗Tab.2 Comparative experiments of teleoperation grab

表3 系統(tǒng)性能Tab.3 System performance values %

4 結(jié)論

本文采用數(shù)據(jù)手套及壓力傳感器陣列作為機器人靈巧手作業(yè)信息的獲取手段，結(jié)合視-觸雙模態(tài)反饋，采用上位機實時顯示的方式解析機器人作業(yè)狀態(tài)，同時構(gòu)建了基于電刺激的力觸覺臨場感反饋模型，實現(xiàn)對機器人靈巧手的精準控制及抓握作業(yè)情況和握力的再現(xiàn)，增加操作者的本體感。針對不同的用戶使用情況進行了實驗。結(jié)果表明，基于視-觸雙模態(tài)反饋及觸覺感知能夠?qū)崿F(xiàn)對觸覺力的大小及遙操作機器人作業(yè)狀態(tài)更優(yōu)的反饋性能，普遍提高了主從手遙操作機器人盲抓取作業(yè)的成功率，實現(xiàn)了操作者在視覺受阻礙狀況下對機器人靈巧手進行遙操作并完成穩(wěn)定抓取的任務。