基于深度學(xué)習(xí)的六足機(jī)器人梅花樁行走步態(tài)研究

余麗娟 傅匯喬 胡勇 謝曉軒

摘 要

本文將非結(jié)構(gòu)環(huán)境抽象為梅花樁，開(kāi)展六足機(jī)器人行走梅花樁的步態(tài)研究。以三足步態(tài)為基礎(chǔ)，選擇六足機(jī)器人行走梅花樁的最佳策略。本文利用深度學(xué)習(xí)對(duì)梅花樁進(jìn)行識(shí)別，再利用強(qiáng)化訓(xùn)練獲取機(jī)器人機(jī)體質(zhì)心從起點(diǎn)到終點(diǎn)的運(yùn)動(dòng)軌跡。采用馬爾科夫決策過(guò)程進(jìn)行步態(tài)設(shè)計(jì)，最終完成機(jī)器人在梅花樁上行走的運(yùn)動(dòng)規(guī)劃。

關(guān)鍵詞

六足機(jī)器人;深度學(xué)習(xí);梅花樁;步態(tài)設(shè)計(jì)

中圖分類號(hào)： TP242 ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A

DOI：10.19694/j.cnki.issn2095-2457 . 2020 . 08 . 18

0 引言

具有冗余自由度等眾多優(yōu)勢(shì)使六足機(jī)器人成為當(dāng)下研究的熱點(diǎn)。早在上個(gè)世紀(jì)，國(guó)外就已經(jīng)產(chǎn)生了一批技術(shù)成熟的六足機(jī)器人。而我國(guó)相對(duì)于國(guó)外對(duì)六足機(jī)器人的研究起步較晚，但是其技術(shù)也逐漸變得成熟，越來(lái)越完善[1]。

近幾年，智能機(jī)器人掀起了一股熱潮。機(jī)器人技術(shù)迅速發(fā)展，機(jī)器人被大量用于搶險(xiǎn)救災(zāi)、勘察軍情、農(nóng)田灌溉、高危環(huán)境作業(yè)等，機(jī)器人能夠在非結(jié)構(gòu)環(huán)境中更高效地作業(yè)是如今各界研究的重點(diǎn)以及難點(diǎn)[2-3]。因此，本文進(jìn)行了六足機(jī)器人在梅花樁上行走的步態(tài)設(shè)計(jì)研究。

1 基于深度學(xué)習(xí)的識(shí)別

自從深度學(xué)習(xí)作為機(jī)器人研究的新方向之后，其在智能機(jī)器人領(lǐng)域顯出了重要性[4]。近幾年來(lái)，在目標(biāo)檢測(cè)和識(shí)別等任務(wù)中用深度學(xué)習(xí)相關(guān)算法顯著提升了精確度，所以以深度學(xué)習(xí)為主流的算法得到外界的廣泛應(yīng)用[5]。

在對(duì)象識(shí)別任務(wù)來(lái)看，深度學(xué)習(xí)的方法頗受歡迎，而在現(xiàn)實(shí)應(yīng)用中也收獲了重大的突破。剛開(kāi)始卷積神經(jīng)網(wǎng)絡(luò)CNN會(huì)對(duì)對(duì)象的突出部分進(jìn)行收集，再對(duì)既定目標(biāo)進(jìn)行定位和識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)在用于手寫(xiě)體識(shí)別之后，迅速被業(yè)界所接受[6]。第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)是1987年由Alexander Waibel等提出的時(shí)間延遲網(wǎng)絡(luò)（Time Delay Neural Network， TDNN）[7]。再之后深層次的AlexNet網(wǎng)絡(luò)[8]取得更加優(yōu)秀的成績(jī)，成為了卷積神經(jīng)網(wǎng)絡(luò)猛速發(fā)展的奠基石。

2 梅花樁行走步態(tài)規(guī)劃

對(duì)于二維和三維梅花樁這兩種對(duì)象地形，通過(guò)研究當(dāng)中已知的梅花樁地形環(huán)境信息，根據(jù)六足機(jī)器人足端作業(yè)范圍對(duì)梅花樁進(jìn)行判定，挑選出其足端可安全穩(wěn)定行走的區(qū)域。然后對(duì)六足機(jī)器人行走梅花樁進(jìn)行強(qiáng)化訓(xùn)練，得出從起點(diǎn)到終點(diǎn)的全部可行路線和區(qū)域。

六足機(jī)器人在進(jìn)行搶險(xiǎn)救災(zāi)、勘察軍情、農(nóng)田灌溉、高危環(huán)境作業(yè)等任務(wù)時(shí)，其所在的作業(yè)環(huán)境大多數(shù)是溝壑、丘陵、山地、叢林等一些非結(jié)構(gòu)地形。因此，為了讓六足機(jī)器人能夠順利適應(yīng)在各種非結(jié)構(gòu)環(huán)境中的作業(yè)，則需要適當(dāng)分析其在行走過(guò)程中遇到的各種非結(jié)構(gòu)環(huán)境的特點(diǎn)信息，從而設(shè)計(jì)出六足機(jī)器人適應(yīng)不一樣的非結(jié)構(gòu)環(huán)境的最佳步態(tài)。

本文針對(duì)具有錯(cuò)綜復(fù)雜的地貌地形特點(diǎn)的自然環(huán)境，將六足機(jī)器人在非結(jié)構(gòu)環(huán)境中有效落點(diǎn)形成的非連續(xù)區(qū)域近似抽象為分布不均勻的梅花樁地形，六足機(jī)器人足端的一個(gè)可落區(qū)域就是各個(gè)梅花樁的頂端表面。

根據(jù)六足機(jī)器人在梅花樁上前行時(shí)的平穩(wěn)度標(biāo)準(zhǔn)，提出三角形的最優(yōu)內(nèi)切圓半徑方法來(lái)選取足端落點(diǎn)。支撐三角形變小，六足機(jī)器人在行進(jìn)過(guò)程中的平穩(wěn)度就會(huì)相對(duì)變小，支撐三角形變大，六足機(jī)器人在行進(jìn)過(guò)程中的平穩(wěn)度就會(huì)相對(duì)變大[9]。

馬爾科夫決策過(guò)程意指當(dāng)對(duì)著一些可以隨時(shí)，一些能夠由負(fù)責(zé)人決定的事情中，如何采取方法抉擇的過(guò)程[10]。負(fù)責(zé)人通過(guò)間接性地或連續(xù)地查探動(dòng)態(tài)網(wǎng)絡(luò)，依據(jù)所察看到的動(dòng)態(tài)網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)，最后選擇一個(gè)可使用的動(dòng)作進(jìn)行實(shí)現(xiàn)。

因?yàn)槿悴綉B(tài)是六足機(jī)器人行進(jìn)最經(jīng)常使用，而且速度最快、效率最好的步態(tài)，所以以三足步態(tài)為基礎(chǔ)對(duì)六足機(jī)器人開(kāi)展算法流程分析。按照六足機(jī)器人以三足步態(tài)行進(jìn)時(shí)的步態(tài)交換情況，定義開(kāi)始的狀態(tài)下六條腿的位置狀態(tài)為S0，接下來(lái)的狀態(tài)下六足機(jī)器人六條腿的位置狀態(tài)為S1，最后的狀態(tài)下六條腿的位置狀態(tài)為St，因此對(duì)六足機(jī)器人做如下定義：

控制開(kāi)始時(shí)，六足機(jī)器人復(fù)原到最初狀態(tài)，然后輸出一個(gè)動(dòng)態(tài)，然后增加命令，依據(jù)坐標(biāo)計(jì)算六足機(jī)器人質(zhì)量中心的行動(dòng)區(qū)域，得到其質(zhì)量中心對(duì)著一個(gè)方向平行移動(dòng)到最大距離。如果大于目標(biāo)邊緣，則命令當(dāng)時(shí)質(zhì)量中心與前一個(gè)坐標(biāo)一樣，授予合適的負(fù)值，重新定義。如果與終點(diǎn)的間距小于適應(yīng)值，授予正值。接著開(kāi)始下一個(gè)環(huán)節(jié)。在500個(gè)訓(xùn)練回合后，六足機(jī)器人從起點(diǎn)到終點(diǎn)的總步數(shù)收斂到30步左右。

3 結(jié)論

本文將非結(jié)構(gòu)環(huán)境抽象為梅花樁，再經(jīng)過(guò)對(duì)梅花樁地形的實(shí)驗(yàn)分析，建立了深度學(xué)習(xí)、強(qiáng)化訓(xùn)練的外框，針對(duì)六足機(jī)器人在梅花樁上前行提出了足端落點(diǎn)三角形的方法，依據(jù)其方法來(lái)選取六足機(jī)器人前行時(shí)的適當(dāng)足端落點(diǎn)。然后根據(jù)已經(jīng)了解到的非結(jié)構(gòu)地形，創(chuàng)建合適六足機(jī)器人前行約束的梅花樁環(huán)境，然后采取深度學(xué)習(xí)和強(qiáng)化訓(xùn)練的方式取得了六足機(jī)器人在梅花樁上前行時(shí)的質(zhì)量中心的最佳路線，最后利用馬爾科夫決策過(guò)程選取六足機(jī)器人足端落點(diǎn)，完善六足機(jī)器人在梅花樁上前行時(shí)的步態(tài)設(shè)計(jì)。

參考文獻(xiàn)

[1]王偉，儲(chǔ)澤楠.六足機(jī)器人的步態(tài)規(guī)劃研究[J].計(jì)算機(jī)時(shí)代，2019（12）：8-11.

[2]李滿宏，張明路，張建華，田穎，馬艷悅.基于增強(qiáng)學(xué)習(xí)的六足機(jī)器人自由步態(tài)規(guī)劃[J].機(jī)械工程學(xué)報(bào)，2019.55（5）：36-44.

[3]雪鋒，郭振武，王斌銳，王凌，金英連.基于帶反饋Hopf振蕩器的六足機(jī)器人斜坡步態(tài)發(fā)生器設(shè)計(jì)[J].機(jī)械工程學(xué)報(bào)，2018.54（21）：41-48.

[4]羅海波，許凌云，惠斌，常錚.基于深度學(xué)習(xí)的目標(biāo)跟蹤方法研究現(xiàn)狀與展望[J].紅外與激光工程，2017，46（05）：14-20.

[5]李旭冬，葉茂，李濤.基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)研究綜述[J].計(jì)算機(jī)應(yīng)用研究， 2017， 34（10）：2881-2886.

[6]李滿宏，張明路，張建華，et al.基于增強(qiáng)學(xué)習(xí)的六足機(jī)器人自由步態(tài)規(guī)劃[J].機(jī)械工程學(xué)報(bào)， 2019，55（5）：36-44.

[7]Waibel， A.， 1987. Phoneme recognition using time-delay neural networks. Meeting of the Institute of Electrical， Information and Communication Engineers （IEICE）. Tokyo， Japan.

[8] Kume A， Matsumoto E ， Takahashi K ， et al. Map-based Multi-Policy Reinforcement Learning： Enhancing Adaptability of Robots by Deep Reinforcement Learning[J]. 2017.

[9]趙龍海.六足步行機(jī)器人自然地形下全方位運(yùn)動(dòng)規(guī)劃策略研究[D]，2013.

[10]（加），霍華德，M.等.多智能體機(jī)器學(xué)習(xí)：強(qiáng)化學(xué)習(xí)方法[M].機(jī)械工業(yè)出版社，2017.