基于強(qiáng)化學(xué)習(xí)的變電站巡檢路徑規(guī)劃算法

馬松玲，陳起源，康佳歡

(西安建筑科技大學(xué)機(jī)電工程學(xué)院，陜西 西安 710000)

1 引言

變電站是電力傳輸與分配的樞紐，電網(wǎng)的《變電站智能機(jī)器人巡檢系統(tǒng)運(yùn)維規(guī)范》中對(duì)油浸式變壓器、斷路器、隔離開關(guān)等 28 類設(shè)備的巡視點(diǎn)位以及巡檢項(xiàng)目進(jìn)行了詳細(xì)規(guī)定[1]。由于變電站運(yùn)維工作量大，工作風(fēng)險(xiǎn)高，出于安全和節(jié)省人力成本的考慮，巡檢機(jī)器人的應(yīng)用日益廣泛[2]。面向在不同變電站下多種電器的巡檢任務(wù)，巡檢機(jī)器人的正常工作依賴于有效合理的路徑規(guī)劃[3]。現(xiàn)有的巡檢機(jī)器人路徑規(guī)劃方法大多依賴于環(huán)境建模[4]，其優(yōu)點(diǎn)是機(jī)器人能夠理解環(huán)境，利用地圖對(duì)所有檢測(cè)點(diǎn)進(jìn)行遍歷，能夠?qū)崿F(xiàn)全局最優(yōu)的路徑規(guī)劃[5]；其缺點(diǎn)是變電站一旦由于后期維護(hù)導(dǎo)致檢測(cè)點(diǎn)發(fā)生變化，需要對(duì)變電站環(huán)境和檢測(cè)點(diǎn)進(jìn)行重新建模與標(biāo)定，具有較高的維護(hù)成本[6]。巡檢機(jī)器人運(yùn)行過程中，由于累積誤差導(dǎo)致機(jī)器人對(duì)自身定位存在較大偏差，導(dǎo)致機(jī)器人實(shí)際巡檢路徑與規(guī)劃的最優(yōu)巡檢路徑存在偏離，不僅需要變電站工作人員進(jìn)行定期校準(zhǔn)，而且存在較大的安全風(fēng)險(xiǎn)[7]。同時(shí)，當(dāng)巡檢機(jī)器人需要在不同變電站進(jìn)行遷移和快速部署時(shí)，基于環(huán)境建模的方法也導(dǎo)致巡檢機(jī)器人的遷移代價(jià)較高，不利于其推廣使用。針對(duì)于此，強(qiáng)化學(xué)習(xí)被用來實(shí)現(xiàn)無環(huán)境模型下的機(jī)器人路徑規(guī)劃。然而，傳統(tǒng)強(qiáng)化學(xué)習(xí)通過維護(hù)狀態(tài)-行為-期望回報(bào)映射的Q表來實(shí)現(xiàn)最佳決策的迭代尋優(yōu)，存在維數(shù)災(zāi)難問題，難以應(yīng)用于大規(guī)模變電站環(huán)境。近年來，研究表明在未創(chuàng)建地圖情況下利用深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)移動(dòng)機(jī)器人的導(dǎo)航是完全可行的，且利用在柵格化地圖中初步實(shí)現(xiàn)了路徑規(guī)劃[8]。深度強(qiáng)化學(xué)習(xí)是一種結(jié)合了強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)(Qlearning)[9]和深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)的算法。深度強(qiáng)化學(xué)習(xí)采用卷積神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)模型，網(wǎng)絡(luò)參數(shù)需通過強(qiáng)化學(xué)習(xí)反復(fù)調(diào)整，達(dá)到神經(jīng)網(wǎng)絡(luò)對(duì)Q 表建模的目的。深度強(qiáng)化學(xué)習(xí)能夠?qū)?qiáng)化學(xué)習(xí)的決策能力和深度學(xué)習(xí)的感知能力相融合[10]。然而，基于深度強(qiáng)化學(xué)習(xí)的方法普遍以圖像作為輸入，使用較為復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，這對(duì)機(jī)器人平臺(tái)的計(jì)算能力提出了較高的要求。針對(duì)上述問題，本文提出了一種基于多層感知機(jī)的強(qiáng)化學(xué)習(xí)框架以及巡檢路徑規(guī)劃方法。該方法不需要對(duì)環(huán)境進(jìn)行事先建模，能夠使得巡檢機(jī)器人完成遍歷檢測(cè)點(diǎn)的巡檢任務(wù)。

2 基于改進(jìn)強(qiáng)化學(xué)習(xí)的訓(xùn)練路徑規(guī)劃方法

2.1 強(qiáng)化學(xué)習(xí)算法基本原理

對(duì)Q表的學(xué)習(xí)是強(qiáng)化學(xué)習(xí)算法中的重要部分。Q表存儲(chǔ)某一個(gè)時(shí)刻的狀態(tài)下，采取動(dòng)作能夠獲得收益的期望，即環(huán)境會(huì)根據(jù)機(jī)器人的動(dòng)作反饋相應(yīng)的獎(jiǎng)賞。強(qiáng)化學(xué)習(xí)算法的主要思想是將狀態(tài)和動(dòng)作構(gòu)建成一張表來存儲(chǔ)Q值，然后根據(jù)Q值來選取能夠獲得最大收益的動(dòng)作。針對(duì)無環(huán)境模型的任務(wù)場(chǎng)景，Q學(xué)習(xí)一般使用融合了蒙特卡洛和動(dòng)態(tài)規(guī)劃的時(shí)間差分法進(jìn)行學(xué)習(xí)，利用貝爾曼方程對(duì)馬爾科夫過程求解最優(yōu)策略：

(1)

式中，Qπ(s，a)為狀態(tài)-動(dòng)作值函數(shù)，用來表示在策略π上，在狀態(tài)s下執(zhí)行動(dòng)作a后得到的累積獎(jiǎng)勵(lì)值，π*表示最優(yōu)策略，γ是折扣累積獎(jiǎng)賞值，T(s，a，s′)表示執(zhí)行動(dòng)作a后狀態(tài)s變?yōu)闋顟B(tài)s′的概率；R(s，a，s′)表示在狀態(tài)s下采取了動(dòng)作a后得到的獎(jiǎng)勵(lì)，依照此策略行動(dòng)能獲得最佳預(yù)期獎(jiǎng)勵(lì)值。

在強(qiáng)化學(xué)習(xí)算法在解空間進(jìn)行探索的過程中，根據(jù)(1)式，Q表的迭代過程為

Q(s，a)←Q(s，a)+α(r+γmaxa′Q(s′，a′)-Q(s，a))

(2)

Q表即狀態(tài)—?jiǎng)幼髦岛瘮?shù)Q(s，a)，α是學(xué)習(xí)率，γ是折扣因子，r和s′分別是在狀態(tài)s下選擇動(dòng)作a后得到的即時(shí)獎(jiǎng)勵(lì)和下一個(gè)狀態(tài)，a′是在當(dāng)前策略下機(jī)器人處于狀態(tài)s′時(shí)選擇的動(dòng)作，max(s′，a′)是狀態(tài)s′對(duì)應(yīng)的最大累積獎(jiǎng)勵(lì)值。算法訓(xùn)練目標(biāo)是為了獲取到最優(yōu)化的Q值。通過對(duì)Q表的不斷更新能夠建立每個(gè)狀態(tài)下對(duì)應(yīng)的可選行為的回報(bào)值。根據(jù)更新后的Q表可以實(shí)現(xiàn)環(huán)境狀態(tài)和最優(yōu)行為的映射。

2.2 機(jī)器人狀態(tài)-最優(yōu)行為映射模型

當(dāng)解空間規(guī)模較大時(shí)，傳統(tǒng)基于Q表維護(hù)的方法難以實(shí)現(xiàn)有效的狀態(tài)-行為映射建模。本文采用多層感知機(jī)(Multi-Layer Perception，MLP)實(shí)現(xiàn)對(duì)機(jī)器人狀態(tài)-最優(yōu)行為映射的學(xué)習(xí)，以替代傳統(tǒng)的Q表模型。MLP神經(jīng)網(wǎng)絡(luò)以低維向量為輸入，具有計(jì)算效率高的特點(diǎn)，能夠滿足巡檢機(jī)器人在環(huán)境探索過程中進(jìn)行更加高效訓(xùn)練的需求。與深度強(qiáng)化學(xué)習(xí)將地圖作為環(huán)境和機(jī)器人的狀態(tài)輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練不同，本文重新定義了低維度機(jī)器人實(shí)時(shí)狀態(tài)作為的輸入，以機(jī)器人的最優(yōu)運(yùn)動(dòng)控制量作為預(yù)測(cè)輸出，如圖1所示。

圖1 機(jī)器人狀態(tài)-最優(yōu)行為映射的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型

本文選用三層神經(jīng)網(wǎng)絡(luò)，每層32個(gè)神經(jīng)元，MLP每個(gè)神經(jīng)元的值的前向傳遞公式為

ni，j=f(∑jni-1，j*wj+bj)

(3)

其中：w為神經(jīng)網(wǎng)絡(luò)中每層的連接權(quán)重值，b是該神經(jīng)元的偏置值，f是激活函數(shù)，nij是代表第i層第j個(gè)神經(jīng)元的值。

激活函數(shù)采用雙曲正切函數(shù)

(4)

針對(duì)機(jī)器人巡檢任務(wù)，本文設(shè)計(jì)的狀態(tài)輸入和行為輸出量如下：

1)狀態(tài)輸入量一：機(jī)器人到巡檢目標(biāo)檢測(cè)點(diǎn)之間的距離。將檢測(cè)點(diǎn)設(shè)置為一個(gè)信號(hào)發(fā)射器，巡檢機(jī)器人在信號(hào)輻射范圍內(nèi)都可以接收到該信號(hào)，障礙物對(duì)于信號(hào)的阻擋衰減和反射阻礙在仿真中忽略不計(jì)，如圖2所示。

圖2 巡檢目標(biāo)檢測(cè)點(diǎn)設(shè)計(jì)

根據(jù)輻射信號(hào)衰減關(guān)系，輻射強(qiáng)弱和距離的平方分之一成正比，可以得到巡檢機(jī)器人與檢測(cè)點(diǎn)傳感器的距離為

(5)

式中，d為巡檢機(jī)器人與檢測(cè)點(diǎn)之間的距離，γ為信號(hào)的衰減程度。

2) 狀態(tài)輸入量二：檢測(cè)點(diǎn)的遍歷標(biāo)志位。本文設(shè)置nc個(gè)檢測(cè)點(diǎn)，標(biāo)記為nc1、nc2…nc3，機(jī)器人已知檢測(cè)點(diǎn)的數(shù)量，每個(gè)檢測(cè)點(diǎn)對(duì)應(yīng)的到達(dá)標(biāo)記值初始化為0。在仿真環(huán)境中模擬當(dāng)機(jī)器人與檢測(cè)點(diǎn)距離小于0.1時(shí)，認(rèn)為機(jī)器人經(jīng)過了該檢測(cè)點(diǎn)，則該目標(biāo)點(diǎn)對(duì)應(yīng)的到達(dá)標(biāo)記變?yōu)?。如果全部nc個(gè)點(diǎn)遍歷，則表明遍歷任務(wù)成功結(jié)束，本文將檢測(cè)點(diǎn)的經(jīng)歷信號(hào)做為神經(jīng)網(wǎng)絡(luò)的第二組輸入。

3) 狀態(tài)輸入量三：機(jī)器人對(duì)環(huán)境障礙物的感知距離信息。仿真環(huán)境地圖設(shè)置為10×10個(gè)單位，超聲波傳感器檢測(cè)到的空間距離范圍設(shè)定為(0，20)，機(jī)器人搭載12個(gè)環(huán)形設(shè)置的超聲波傳感器。它們檢測(cè)到的距離信息為神經(jīng)網(wǎng)絡(luò)的第三組輸入。

圖3 超聲波傳感器搭載設(shè)計(jì)

4) 狀態(tài)輸入量四：機(jī)器人歷史運(yùn)動(dòng)行為。機(jī)器人會(huì)存儲(chǔ)過去nstorage步的傳感器信息，不足以達(dá)到幫助機(jī)器人識(shí)別檢測(cè)點(diǎn)方向的目的，所以機(jī)器人還需要記錄過去nstorage步的歷史動(dòng)作。如圖4所示，歷史動(dòng)作的表達(dá)和計(jì)算方式如下：

圖4 檢測(cè)點(diǎn)大致方向分析

如圖所示，巡檢機(jī)器人由A點(diǎn)移動(dòng)到B點(diǎn)，與檢測(cè)點(diǎn)的距離從b變化到a，b、a由檢測(cè)點(diǎn)傳感器得出，為已知量，機(jī)器人內(nèi)部存儲(chǔ)器能夠記錄前nstorage步動(dòng)作，所以距離c對(duì)于機(jī)器人來說也是已知量，根據(jù)公式

(6)

α角與機(jī)器人掌握的距離信息有著明確的邏輯關(guān)系，所以本文將機(jī)器人前兩次動(dòng)作輸出做為神經(jīng)網(wǎng)絡(luò)的第四組輸入。

5) 狀態(tài)輸出量：機(jī)器人左右輪的角速度控制量。本文主要針對(duì)兩輪的巡檢機(jī)器人，因此通過左右輪的角速度變化實(shí)現(xiàn)對(duì)機(jī)器人狀態(tài)的轉(zhuǎn)移。

2.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

巡檢機(jī)器人必須到達(dá)每個(gè)檢測(cè)點(diǎn)并對(duì)重要設(shè)備進(jìn)行拍照和檢測(cè)任務(wù)，在強(qiáng)化學(xué)習(xí)框架下，本文建立新的獎(jiǎng)勵(lì)函數(shù)來實(shí)現(xiàn)無碰撞的遍歷巡檢效果。

利用獎(jiǎng)勵(lì)函數(shù)可以針對(duì)機(jī)器人的每步行為動(dòng)作進(jìn)行打分，是誘導(dǎo)機(jī)器人實(shí)現(xiàn)避障和遍歷檢測(cè)點(diǎn)的關(guān)鍵[8]，本文設(shè)計(jì)了一種獎(jiǎng)勵(lì)函數(shù)

(7)

式中：rste為機(jī)器人行走步數(shù)的負(fù)獎(jiǎng)勵(lì)，nste為機(jī)器人移動(dòng)的步數(shù)；rmov為機(jī)器人移動(dòng)距離的負(fù)獎(jiǎng)勵(lì)；Lstr為機(jī)器人從A點(diǎn)移動(dòng)到B點(diǎn)的直線距離；rnearcol為機(jī)器人接近碰撞時(shí)的負(fù)獎(jiǎng)勵(lì)；dr-o(t)為t時(shí)刻機(jī)器人與最近障礙物間的距離；dnearcol為機(jī)器人接近碰撞時(shí)的距離；rapp為機(jī)器人靠近檢測(cè)點(diǎn)時(shí)的距離；dwin為機(jī)器人被認(rèn)為到達(dá)檢測(cè)點(diǎn)的距離；dr-t(t)為t時(shí)刻機(jī)器人與目標(biāo)檢測(cè)點(diǎn)間的距離；nnew為機(jī)器人新到達(dá)檢測(cè)點(diǎn)的個(gè)數(shù)；rnew為機(jī)器人到達(dá)新檢測(cè)點(diǎn)的獎(jiǎng)勵(lì)；rall為到達(dá)所有檢測(cè)點(diǎn)的獎(jiǎng)勵(lì)；rcol為出現(xiàn)碰撞情況的負(fù)獎(jiǎng)勵(lì)；rout為出現(xiàn)超時(shí)情況的負(fù)獎(jiǎng)勵(lì)，具體參數(shù)如下

表1 獎(jiǎng)勵(lì)函數(shù)具體參數(shù)值

對(duì)機(jī)器人的移動(dòng)進(jìn)行負(fù)獎(jiǎng)勵(lì)是為了避免機(jī)器人無意義的移動(dòng)[9]，巡檢需要有效率的遍歷檢測(cè)點(diǎn)的路線。對(duì)機(jī)器人的移動(dòng)進(jìn)行負(fù)獎(jiǎng)勵(lì)是為了避免機(jī)器人無意義的移動(dòng)[11]，巡檢需要有效率的遍歷檢測(cè)點(diǎn)的路線。對(duì)于經(jīng)過新的檢測(cè)點(diǎn)和臨界靠近新的檢測(cè)點(diǎn)設(shè)置較大額度獎(jiǎng)勵(lì)是為了鼓勵(lì)機(jī)器人追求到達(dá)檢測(cè)點(diǎn)，到達(dá)一個(gè)新的檢測(cè)點(diǎn)的正獎(jiǎng)勵(lì)和機(jī)器人移動(dòng)帶來的負(fù)獎(jiǎng)勵(lì)組合起來就可以鼓勵(lì)機(jī)器人不僅趨向于到達(dá)新的檢測(cè)點(diǎn)，還要走最短路徑，以更快的獲得獎(jiǎng)勵(lì)。對(duì)于碰撞的負(fù)獎(jiǎng)勵(lì)和臨近碰撞的負(fù)獎(jiǎng)勵(lì)可以誘導(dǎo)出機(jī)器人的避障效果。對(duì)于超時(shí)的情況設(shè)置負(fù)獎(jiǎng)勵(lì)是為了使機(jī)器人工作更有效率，使機(jī)器人學(xué)習(xí)到能夠規(guī)劃出更有效率的的遍歷檢測(cè)點(diǎn)的運(yùn)動(dòng)路線。遍歷的最高額獎(jiǎng)勵(lì)設(shè)置明確了機(jī)器人的最終目標(biāo)，如果單一設(shè)置這個(gè)獎(jiǎng)勵(lì)就會(huì)陷入稀疏獎(jiǎng)勵(lì)的誤區(qū)當(dāng)中，但本文的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)方法對(duì)機(jī)器人靠近新的檢測(cè)點(diǎn)，到達(dá)新的檢測(cè)點(diǎn)都設(shè)置了獎(jiǎng)勵(lì)，使獎(jiǎng)勵(lì)設(shè)置的更為密集，幫助機(jī)器人能夠從易到難完成最終的目標(biāo)。基于前述定義的網(wǎng)絡(luò)模型和獎(jiǎng)勵(lì)函數(shù)，利用較為成熟的近端策略優(yōu)化[12]對(duì)整個(gè)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練。強(qiáng)化學(xué)習(xí)過程如下圖5 所示。其中，策略預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)于本文2.2節(jié)提出的網(wǎng)絡(luò)模型。值函數(shù)預(yù)測(cè)網(wǎng)絡(luò)為多層神經(jīng)網(wǎng)絡(luò)模型。

圖5 本文強(qiáng)化學(xué)習(xí)模型

PPO1參數(shù)如下表所示：

表2 PPO1參數(shù)表

3 實(shí)驗(yàn)結(jié)果與分析

3.1 仿真環(huán)境

為驗(yàn)證本文所提出方法的性能，本文在仿真環(huán)境中進(jìn)行巡檢路徑規(guī)劃實(shí)驗(yàn)。本文在OpenAI Gym[13]中建立了仿真環(huán)境，搭建了10×10的仿真場(chǎng)景。OpenAI Gym是一種較為通用的強(qiáng)化學(xué)習(xí)平臺(tái)。根據(jù)巡檢機(jī)器人兩輪運(yùn)動(dòng)學(xué)模型定義了機(jī)器人，以空心小圈表示。其搭載了超聲波傳感器，具有檢測(cè)距離的功能。在環(huán)境中定義了隨機(jī)障礙物，賦予其不能被機(jī)器人穿過，不能被超聲波穿透，機(jī)器人過度靠近會(huì)發(fā)生碰撞的規(guī)則，以實(shí)心矩形表示。進(jìn)一步定義了檢測(cè)點(diǎn)傳感器，用黑點(diǎn)表示，機(jī)器人靠近時(shí)會(huì)顯示其輻射范圍圈。仿真環(huán)境如圖6所示。

圖6 仿真環(huán)境

3.2 仿真結(jié)果分析

在巡檢機(jī)器人起點(diǎn)、障礙物位置與大小、檢測(cè)點(diǎn)位置與個(gè)數(shù)不變的情況下，通過調(diào)整巡檢機(jī)器人的訓(xùn)練次數(shù)，設(shè)置對(duì)比實(shí)驗(yàn)驗(yàn)證本文方法的效果。訓(xùn)練結(jié)果如圖7所示。

圖7 仿真結(jié)果對(duì)比

從圖7可以看出，在獎(jiǎng)勵(lì)函數(shù)的誘導(dǎo)下，隨著訓(xùn)練次數(shù)的增加，機(jī)器人經(jīng)歷的檢測(cè)點(diǎn)數(shù)量逐漸增加，路徑效率不斷提高。且因?yàn)楠?jiǎng)勵(lì)函數(shù)對(duì)于碰撞和臨界碰撞的有效負(fù)獎(jiǎng)勵(lì)設(shè)置，即使在訓(xùn)練次數(shù)較少的情況下，機(jī)器人依然具有避障的功能。進(jìn)一步對(duì)訓(xùn)練過程中機(jī)器人所獲得的獎(jiǎng)勵(lì)進(jìn)行可視化展示，如圖8所示。

圖8 獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖

由上圖可以看出，訓(xùn)練前期因?yàn)闄C(jī)器人尚處于探索環(huán)境階段，無法判斷什么樣的動(dòng)作會(huì)取得高分，所以每次動(dòng)作獲得的獎(jiǎng)勵(lì)較低，甚至可能因?yàn)榕鲎伯a(chǎn)生負(fù)獎(jiǎng)勵(lì)。隨著訓(xùn)練的深入，神經(jīng)網(wǎng)絡(luò)的輸入有更多的先驗(yàn)知識(shí)進(jìn)入，到達(dá)檢測(cè)點(diǎn)的概率會(huì)提升，機(jī)器人每次動(dòng)作獲得的獎(jiǎng)勵(lì)不斷增加。在訓(xùn)練后期，機(jī)器人達(dá)到了一直保持收益高獎(jiǎng)勵(lì)的狀態(tài)，證明了巡檢機(jī)器人通過MLP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)可以達(dá)到遍歷檢測(cè)點(diǎn)和避障的目標(biāo)。

3.3 算法泛化性實(shí)驗(yàn)結(jié)果分析

針對(duì)于變電站后期升級(jí)會(huì)產(chǎn)生的變化，現(xiàn)設(shè)置更改障礙物、改變檢測(cè)點(diǎn)位置、改變起點(diǎn)位置的對(duì)比實(shí)驗(yàn)，驗(yàn)證本文方法是否能夠保證機(jī)器人的自適應(yīng)性：

圖9 算法泛化性仿真結(jié)果對(duì)比

其對(duì)應(yīng)的獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖如下

圖10 獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖

實(shí)驗(yàn)結(jié)果表明：在機(jī)器人起點(diǎn)、檢測(cè)點(diǎn)的位置以及障礙物大小、數(shù)量和方位發(fā)生一定范圍的改變時(shí)，巡檢機(jī)器人依然可以通過自學(xué)習(xí)，在不直接理解環(huán)境的情況下，完成遍歷檢測(cè)點(diǎn)且全程無碰撞的目標(biāo)，證明了本文采用的方法能夠保證巡檢機(jī)器人的自適應(yīng)能力。

4 總結(jié)

本文提出了一種基于強(qiáng)化學(xué)習(xí)的機(jī)器人巡檢路徑規(guī)劃算法。在強(qiáng)化學(xué)習(xí)框架下，提出了有效的策略學(xué)習(xí)模型和獎(jiǎng)勵(lì)函數(shù)。將超聲波傳感器所獲取的與障礙物的距離信息、機(jī)器人與檢測(cè)點(diǎn)的距離和機(jī)器人的動(dòng)作歷史等作為多層感知器神經(jīng)網(wǎng)絡(luò)的輸入，提出了相適應(yīng)的連續(xù)獎(jiǎng)勵(lì)函數(shù)，使用近端策略優(yōu)化對(duì)學(xué)習(xí)模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)巡檢機(jī)器人左右兩輪的在線角速度最優(yōu)控制量進(jìn)行決策。最后，在OpenAI Gym環(huán)境中建立算法仿真環(huán)境，對(duì)巡檢機(jī)器人進(jìn)行仿真學(xué)習(xí)訓(xùn)練，仿真結(jié)果驗(yàn)證了本文算法能夠使得巡檢機(jī)器人實(shí)現(xiàn)遍歷檢測(cè)點(diǎn)和全程無碰撞的目標(biāo)，并且具有較高的可泛化性。