基于深度強(qiáng)化學(xué)習(xí)的機(jī)械臂避障路徑規(guī)劃研究

李廣創(chuàng) 程良倫

摘? 要：為了解決現(xiàn)有的機(jī)械臂焊接系統(tǒng)調(diào)整動作的難度大，缺乏靈活性的問題，本文采用了深度強(qiáng)化學(xué)習(xí)算法來解決機(jī)械臂的路徑規(guī)劃問題;該方法使用一個三層的DNN網(wǎng)絡(luò)，輸入為機(jī)械臂的狀態(tài)信息，輸出為機(jī)械臂的運(yùn)動關(guān)節(jié)角度，通過離線訓(xùn)練，機(jī)械臂能夠自行訓(xùn)練出一條接近于最優(yōu)的運(yùn)動軌跡，能夠成功地避開障礙物到達(dá)目標(biāo)點(diǎn);仿真在一個三自由度點(diǎn)焊機(jī)器人的模擬平臺上進(jìn)行，仿真實(shí)驗(yàn)表明，采用深度強(qiáng)化學(xué)習(xí)技術(shù)的機(jī)械臂能為焊接機(jī)械臂規(guī)劃出一條無碰撞的路徑，具有較強(qiáng)的避障能力。

關(guān)鍵詞：機(jī)械臂;強(qiáng)化學(xué)習(xí);碰撞檢測;路徑規(guī)劃

中圖分類號：TP391.9? ? ?文獻(xiàn)標(biāo)識碼：A

Abstract：In order to solve the difficulty of adjusting the existing mechanical arm welding system and the lack of flexibility，this paper adopts a deep reinforcement learning algorithm to solve the path planning problem of the mechanical arm;the method uses a three-layer DNN network with the input of mechanical state information and the output of the joint angle of the arm.Through offline training，the mechanical arm can be trained to move a nearly optimal motion trajectory and successfully avoid obstacles to reach the target point;the simulation is carried out in a three-degree-of-freedom welding robot simulation platform.The simulation experiment shows that the mechanical arm with deep reinforcement learning technology can plan a collision-free path for the welding mechanical arm and has strong obstacle avoidance ability.

Keywords：mechanical arm;reinforcement learning;collision detection;path planning

1? ?引言（Introduction）

在集裝箱的焊接作業(yè)中，為了實(shí)現(xiàn)高效的作業(yè)需求，焊接機(jī)械臂大規(guī)模地應(yīng)用到集裝箱生產(chǎn)線中，而作業(yè)的空間存在較多的障礙物，需要在自動化焊接的過程中考慮碰撞的避免，為了順利地執(zhí)行焊接作業(yè)，對機(jī)械臂的避障路徑規(guī)劃的研究十分有必要。

針對機(jī)械臂的避障路徑規(guī)劃的問題，國內(nèi)外很多學(xué)者都進(jìn)行了深入的研究。賈慶軒等人[1]將笛卡爾空間障礙向構(gòu)型空間障礙進(jìn)行轉(zhuǎn)換，然后使用A*算法進(jìn)行無碰撞路徑規(guī)劃。張?jiān)品宓热薣2]采用將機(jī)械臂從J空間（Joint Space）中隨機(jī)采樣后通過正向運(yùn)動學(xué)映射到C空間（Configuration Space），然后采用改進(jìn)的RRT算法進(jìn)行路徑規(guī)劃。姬偉等人[3]采用人工勢場法進(jìn)行機(jī)械臂的路徑規(guī)劃，在障礙物處人工模擬一個斥力場，在目標(biāo)點(diǎn)處模擬一個引力場，機(jī)械臂在這兩個場的作用下運(yùn)動。韓濤等人[4]采用遺傳算法來進(jìn)行機(jī)械臂的路徑規(guī)劃。尹建軍等人[5]將機(jī)械臂工作空間映射到平面的二維空間，再在平面空間上使用A*算法進(jìn)行路徑規(guī)劃，但是該方法只能使用與指定的場景，缺乏靈活性。以上的這些方法需要精確的環(huán)境構(gòu)建模型，在復(fù)雜的工業(yè)環(huán)境下不能很好地適用。

在本文中，采用強(qiáng)化學(xué)習(xí)的方法來解決避障路徑規(guī)劃的問題，這個方法可以使用一個通用的框架來解決指定的任務(wù)。對于高維空間的復(fù)雜任務(wù)，例如機(jī)械臂系統(tǒng)，基于強(qiáng)化學(xué)習(xí)的無模型方法可以解決這樣的問題。如利用DQN技術(shù)對三個關(guān)節(jié)的機(jī)械手臂進(jìn)行端對端的控制[6]，用將深度強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于七自由度機(jī)械臂的插孔任務(wù)中[7]。q-learning是一個經(jīng)典的強(qiáng)化學(xué)習(xí)方法，由于q-learning算法需要一個巨大的Q表，導(dǎo)致在高維空間占用的內(nèi)存巨大，并且不易收斂，因此，本文使用一種DQN的算法。與以往大多數(shù)碰撞檢測算法不同，這個方法是一個無模型的方法，不需要針對每一種場景來建模，因此具有良好的通用性，該方法分為離線軌跡生成和在線應(yīng)用。最后通過仿真，對本文提出的方法的有效性進(jìn)行了驗(yàn)證。

2? 強(qiáng)化學(xué)習(xí)基礎(chǔ)（Foundation of reinforcementlearning）

2.1? ?馬爾科夫決策過程

大多數(shù)強(qiáng)化學(xué)習(xí)算法可以在同一個框架下描述，這個框架稱為馬爾科夫決策過程，簡稱MDP。一個完整的馬爾科夫決策過程可以利用元組（S，A，P，R，γ）來表示。其中S是狀態(tài)集，A是動作集，P是狀態(tài)轉(zhuǎn)移概率，也就是對應(yīng)著環(huán)境和智能體模型，R為回報(bào)函數(shù)，γ為折扣因子，用于計(jì)算累計(jì)回報(bào)R[8，9]，累計(jì)回報(bào)的計(jì)算公式為，其中0≤γ≤1。

定義策略π為在給定狀態(tài)S時(shí)，動作集上的分布。

定義狀態(tài)—動作值函數(shù)為：累計(jì)回報(bào)在狀態(tài)s和動作a處的期望值：

強(qiáng)化學(xué)習(xí)的目標(biāo)是給定一個馬爾科夫決策過程，尋找最優(yōu)策略π，使該決策下的累計(jì)回報(bào)期望最大，即：

2.2? ?q-learning算法

機(jī)械臂的避障屬于強(qiáng)化學(xué)習(xí)的控制問題，控制問題可以表示為：給定強(qiáng)化學(xué)習(xí)的五個要素：狀態(tài)集S、動作集A、即時(shí)獎勵R、衰減因子γ、探索率，求解最優(yōu)的動作價(jià)值函數(shù)和最優(yōu)策略。

q-learning算法是一種使用時(shí)序差分求解強(qiáng)化學(xué)習(xí)控制問題的方法，這一類強(qiáng)化學(xué)習(xí)的問題求解不需要環(huán)境的狀態(tài)轉(zhuǎn)化模型，是不基于模型的強(qiáng)化學(xué)習(xí)問題求解方法。它屬于時(shí)序差分中的離線控制方法，也即會使用兩個控制策略，一個策略用于選擇新的動作，另一個策略用于更新價(jià)值函數(shù)[9，10]。

第一個策略，它先用策略在當(dāng)前狀態(tài)S選擇出動作A，執(zhí)行動作A得到S';第二個策略，基于狀態(tài)S'，使用貪婪法選擇A'，也就是說，選擇使Q（S'，a）最大的動作A'來更新價(jià)值函數(shù)。用數(shù)學(xué)公式表示為：

此時(shí)選擇的動作只會參與價(jià)值函數(shù)的更新，不會真正的執(zhí)行。價(jià)值函數(shù)更新后，新的執(zhí)行動作需要基于狀態(tài)S'，基于策略一，用策略重新選擇得到用表格表示的動作價(jià)值函數(shù)，使用貪婪策略，即每次尋找最優(yōu)的動作便可以得到機(jī)械臂的控制。

2.3? ?深度Q網(wǎng)絡(luò)（DQN）

在q-learning算法中，動作價(jià)值函數(shù)Q（S，a）對應(yīng)著一張表，索引對應(yīng)著狀態(tài)-行為對。值函數(shù)的迭代更新對應(yīng)實(shí)際上就是這張表的迭代更新，當(dāng)狀態(tài)空間的維數(shù)很大，或者狀態(tài)空間是連續(xù)空間，則此時(shí)值函數(shù)無法用一張表格來表示，此時(shí)可以用函數(shù)逼近的方法來表示價(jià)值函數(shù)，這個函數(shù)可以用參數(shù)w來表示，最常見的表示方法是使用神經(jīng)網(wǎng)絡(luò)[11]，具體的形式為：。

一般情況，使用的網(wǎng)絡(luò)結(jié)構(gòu)為輸入是狀態(tài)S的特征向量，動作集合有多少個動作，神經(jīng)網(wǎng)絡(luò)就有多少個輸出，中間的結(jié)構(gòu)可以DNN、CNN、RNN等，沒有特別的限制。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要帶標(biāo)簽的樣本，DQN使用經(jīng)驗(yàn)回放技巧來解決這個問題，也即將每次和環(huán)境交互得到的獎勵與狀態(tài)更新情況都保存在經(jīng)驗(yàn)池D中，然后從經(jīng)驗(yàn)池D中采樣m個樣本用于后面目標(biāo)Q值的更新。

在神經(jīng)網(wǎng)絡(luò)中使用作為輸入，得到所有動作對應(yīng)的Q值輸出。用策略在當(dāng)前Q值輸出中選擇對應(yīng)的動作A，在狀態(tài)S執(zhí)行當(dāng)前動作A，得到新狀態(tài)S'下，對應(yīng)的特征向量，獎勵R和終止?fàn)顟B(tài)標(biāo)志is_end;也即5元組：，它對應(yīng)的目標(biāo)Q值為：

由此，根據(jù)反向傳播準(zhǔn)則，可以使用均方差損失函數(shù)來更新神經(jīng)網(wǎng)絡(luò)的參數(shù)。

同時(shí)，為了減少目標(biāo)Q值和當(dāng)前Q值的相關(guān)性，DQN使用兩個結(jié)構(gòu)完全相同的網(wǎng)絡(luò)，一個“當(dāng)前網(wǎng)絡(luò)Q”用來選擇動作和更新模型參數(shù)，另一個“目標(biāo)網(wǎng)絡(luò)Q'”用來計(jì)算目標(biāo)Q值。目標(biāo)網(wǎng)絡(luò)Q'的網(wǎng)絡(luò)參數(shù)不需要迭代更新，而是每隔一段時(shí)間從當(dāng)前網(wǎng)絡(luò)Q復(fù)制過來，即延時(shí)更新。

3? 機(jī)械臂避障系統(tǒng)（Obstacle avoidance system of the mechanical arm）

3.1? ?空間機(jī)械臂模型

本文將深度強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于機(jī)械臂的路徑規(guī)劃中，首先要對機(jī)械臂進(jìn)行建模，機(jī)械臂采用D-H法建立數(shù)學(xué)模型，如圖1和圖2所示。機(jī)械臂相鄰連杠的關(guān)系用一個4*4的齊次變換矩陣來描述，旋轉(zhuǎn)關(guān)節(jié)的齊次變換矩陣的一般形式為：

機(jī)械臂末端位置和姿態(tài)的求解是正運(yùn)動學(xué)問題，表示為各個相鄰齊次變換矩陣的連乘，機(jī)械臂的正運(yùn)動學(xué)方程為：。

3.2? ?碰撞檢測

三維空間障礙物一般具有不規(guī)則的形狀，為了分析專注于核心問題的分析，將三維障礙物簡化為空間球體。強(qiáng)化學(xué)習(xí)每一步需要檢測當(dāng)前機(jī)械臂與環(huán)境的狀態(tài)，也即需要判斷機(jī)器人的當(dāng)前位置是否與障礙物發(fā)生碰撞，設(shè)球形障礙物的中心為，半徑為;圓柱體機(jī)械臂的半徑為;機(jī)械臂軸線的兩個端點(diǎn)分別為、，如圖3所示。

設(shè)障礙物到直線的投影點(diǎn)為：

直線的方向向量為：

根據(jù)AB的空間直線方程，得：

根據(jù)障礙物與投影點(diǎn)的連線與直線相交得：

根據(jù)上面兩式可以求出投影點(diǎn)坐標(biāo);進(jìn)而確定障礙物到機(jī)械臂的距離：

障礙物到端點(diǎn)的距離：

碰撞檢測算法的描述為：

（1）對于每個軸

a.若障礙物的投影在線段區(qū)域內(nèi)，即，則計(jì)算球心到線段AB的距離，如果，則判斷為安全，否則判斷為碰撞。

b.若障礙物的投影不在線段的區(qū)域內(nèi)，即，則計(jì)算球心到端點(diǎn)的距離，如果，則判斷為安全，否則判斷為碰撞。

（2）若三個軸都不與障礙物發(fā)生碰撞，則判斷為安全，否則判斷為碰撞。

3.3? ?機(jī)械臂避障系統(tǒng)相關(guān)參數(shù)的設(shè)定

獎勵r：機(jī)械臂每執(zhí)行一個動作，環(huán)境會產(chǎn)生一個獎勵，獎勵函數(shù)的設(shè)置至關(guān)重要，直接影響著算法是否能收斂，針對機(jī)械臂路徑規(guī)劃問題，希望機(jī)械臂能順利避開障礙物并到達(dá)目標(biāo)點(diǎn)，同時(shí)產(chǎn)生的步數(shù)盡量少，因此獎勵函數(shù)的設(shè)置為：

狀態(tài)s：機(jī)械臂與環(huán)境的交互產(chǎn)生的狀態(tài)，分別用下面的變量表示：末端點(diǎn)的坐標(biāo)，第三個端點(diǎn)的坐標(biāo)，是否碰撞，是否到達(dá)目標(biāo)點(diǎn)，末端點(diǎn)與目標(biāo)點(diǎn)的距離，第三個端點(diǎn)與目標(biāo)點(diǎn)的距離。將狀態(tài)量用一個向量的形式表示為：。

行為a：機(jī)械臂的行為是關(guān)節(jié)的轉(zhuǎn)動的角度，用一個向量的形式表示為：。

3.4? ?基于DQN的械臂路徑規(guī)劃算法的實(shí)施

本文采用三層DNN的網(wǎng)絡(luò)作為DQN的網(wǎng)絡(luò)主體，其具體的機(jī)械臂避障路徑規(guī)劃算法描述如下：

隨機(jī)初始化所有的動作和狀態(tài)對應(yīng)的價(jià)值Q，隨機(jī)初始化當(dāng)前Q網(wǎng)絡(luò)的所有參數(shù)w，初始化目標(biāo)網(wǎng)絡(luò)Q'的參數(shù)w'=w，清空經(jīng)驗(yàn)回放集合D

1）從環(huán)境中獲得機(jī)械臂的初始狀態(tài)S。

4.1? ?實(shí)驗(yàn)配置

本文的仿真環(huán)境在MATLAB和python下搭建，在MATLAB下完成機(jī)械臂及碰撞檢測模型的搭建，在python下完成深度強(qiáng)化學(xué)習(xí)模型的搭建。

神經(jīng)網(wǎng)絡(luò)的輸入是機(jī)械臂的狀態(tài)，用一個10維向量表示：;輸出為機(jī)械臂的角度轉(zhuǎn)動量，本文允許機(jī)械臂的轉(zhuǎn)角為。

DQN迭代的最大輪數(shù)設(shè)置為10000輪，每一輪最大的步數(shù)設(shè)置為250步;本文設(shè)置的機(jī)械臂3個杠長為[50，100，100]，起點(diǎn)坐標(biāo)為（118.3，-68.3，13.3）;終點(diǎn)坐標(biāo)為（50，70，30）。障礙物1的坐標(biāo)為（40，30，30），障礙物2的坐標(biāo)為（70，-20，60），障礙物的半徑為20，為了簡化起見，將機(jī)械臂設(shè)置為點(diǎn)桿模型。

4.2? ?實(shí)驗(yàn)結(jié)果與分析

機(jī)械臂經(jīng)過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，每一步輸出一個最大Q值得動作，然后使用正運(yùn)動學(xué)來控制機(jī)械臂的行走;機(jī)械臂的避障結(jié)果如圖4所示：機(jī)械臂經(jīng)過強(qiáng)化學(xué)習(xí)模型的訓(xùn)練，成功地避開兩個障礙物，到達(dá)目標(biāo)點(diǎn)，機(jī)械臂的運(yùn)動步數(shù)為32步，接近于最優(yōu);從圖5可以看出，機(jī)械臂每一輪的累計(jì)回報(bào)逐漸增加，大約在6300輪迭代后收斂;從圖6可以看出，機(jī)械臂每一輪的迭代步數(shù)逐漸減少，并最終穩(wěn)定收斂。

5? ?結(jié)論（Conclusion）

本文以點(diǎn)焊機(jī)械臂為研究對象，將機(jī)械臂在三維空間的自動點(diǎn)焊轉(zhuǎn)化為機(jī)械臂的避障路徑規(guī)劃問題。本文首先介紹了強(qiáng)化學(xué)習(xí)的基本原理，然后通過建立機(jī)械臂模型，采用深度強(qiáng)化學(xué)習(xí)的方法進(jìn)行機(jī)械臂避障路徑規(guī)劃的求解，分別在MATLAB和TensorFlow平臺上建立機(jī)械臂模型和強(qiáng)化學(xué)習(xí)模型;仿真結(jié)果表明，通過一定的訓(xùn)練步驟，機(jī)械臂能順利規(guī)劃處一條無碰撞的焊接路徑。相比于傳統(tǒng)的規(guī)劃方法，本文的基于強(qiáng)化學(xué)習(xí)的規(guī)劃方法簡單，而且具有較高的通用性。

參考文獻(xiàn)（References）

[1] 賈慶軒，陳鋼，孫漢旭，等.基于A～*算法的空間機(jī)械臂避障路徑規(guī)劃[J].機(jī)械工程學(xué)報(bào)，2010，46（13）：109-115.

[2] 張?jiān)品澹R振書，孫華剛，等.基于改進(jìn)快速擴(kuò)展隨機(jī)樹的機(jī)械臂路徑規(guī)劃[J].火力與指揮控制，2016，41（05）：25-30.

[3] 姬偉，程風(fēng)儀，趙德安，等.基于改進(jìn)人工勢場的蘋果采摘機(jī)器人機(jī)械手避障方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（11）：253-259.

[4] 韓濤，吳懷宇，杜釗君，等.基于遺傳算法的機(jī)械臂實(shí)時(shí)避障路徑規(guī)劃研究[J].計(jì)算機(jī)應(yīng)用研究，2013，30（05）：1373-1376.

[5] 尹建軍，武傳宇，Yang Simon X，等.番茄采摘機(jī)器人機(jī)械臂避障路徑規(guī)劃[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（12）：171-175;157.

[6] Wonchul Kim，Taewan Kim，et al.Three-link Planar Arm Control Using Reinforcement Learning[C].International Conference on Ubiquitous Robots and Ambient Intelligence，2017：424-428.

[7] Tadanobu Inoue，Giovanni De Magistris，et al.Deep Reinforcement Learning for High Precision Assembly Tasks[C].IEEE International Conference on Intelligent Robots and Systems，2017：819-825.

[8] 劉全，翟建偉，章宗長，等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（01）：1-27.

[9] Kober，Jens，J.Andrew Bagnell，et al.Reinforcement learning in robotics：A survey[C].The International Journal of Robotics Research，2013：1238-1274.

[10] 方小菊.基于強(qiáng)化學(xué)習(xí)的采摘機(jī)器人采摘臂避碰設(shè)計(jì)[J].農(nóng)機(jī)化研究，2017，39（11）：198-202.

[11] 王曌，胡立生.基于深度Q學(xué)習(xí)的工業(yè)機(jī)械臂路徑規(guī)劃方法[J].化工自動化及儀表，2018，45（02）：141-145;171.

作者簡介：

李廣創(chuàng)（1994-），男，碩士生.研究領(lǐng)域：機(jī)器學(xué)習(xí)，機(jī)器人.

程良倫（1965-），男，博士，教授.研究領(lǐng)域：人工智能，工業(yè)大數(shù)據(jù).