應(yīng)用深度強(qiáng)化學(xué)習(xí)的壓邊力優(yōu)化控制

張新艷， 郭 鵬， 余建波

(同濟(jì)大學(xué) 機(jī)械與能源工程學(xué)院, 上海 201804)

板材拉深成形作為一種基礎(chǔ)零部件制造工藝，被廣泛應(yīng)用于汽車、機(jī)電、輕工和航空航天等諸多領(lǐng)域. 拉深成形通過(guò)壓邊力(blank holder force，BHF)來(lái)控制金屬材料的流動(dòng)，從而影響最終成品的成形質(zhì)量. 在拉深過(guò)程中采用恒定的壓邊力容易導(dǎo)致起皺與破裂等質(zhì)量缺陷，因此在拉深過(guò)程中合理地控制壓邊力參數(shù)就成為防止起皺、破裂和提高成品質(zhì)量的重要手段之一.

在壓邊力控制領(lǐng)域，最優(yōu)化理論與有限元模擬相結(jié)合是一類常用的方法. Ghouati等[1]提出了網(wǎng)格法與單純形法相結(jié)合的優(yōu)化方法，其計(jì)算效率高，能夠有效減少有限元仿真次數(shù)，但無(wú)法保證所求的解在可行域內(nèi). 包友霞等[2]在Ghouati提出的優(yōu)化方法的基礎(chǔ)上進(jìn)行改進(jìn)，使得優(yōu)化過(guò)程中各變量點(diǎn)始終保持在可行域內(nèi)，保證了解的可行性. 孫成智等[3]提出了一種集成了有限元模擬與自適應(yīng)響應(yīng)面法(adaptive response surface method，ARSM)的優(yōu)化設(shè)計(jì)方法，并且應(yīng)用信賴域模型管理來(lái)調(diào)節(jié)設(shè)計(jì)空間的變化，保證優(yōu)化過(guò)程的收斂. Hillmann等[4]將成形極限圖上各點(diǎn)到成形極限和起皺極限距離的加權(quán)和作為目標(biāo)函數(shù)，以壓邊力作為設(shè)計(jì)變量，在有限元仿真環(huán)境下采用BFGS優(yōu)化方法對(duì)壓邊力進(jìn)行優(yōu)化. Scott等[5]以極限應(yīng)變作為目標(biāo)函數(shù)，以壓邊力作為設(shè)計(jì)變量，在ABAQUS仿真環(huán)境下利用靈敏度分析方法對(duì)盒形件進(jìn)行優(yōu)化. 以上方法準(zhǔn)確性較高，但數(shù)值模擬速度無(wú)法滿足優(yōu)化迭代要求，限制了方法的使用，并且最佳壓邊力搜索方向也難以確定.

神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于處理壓邊力控制問(wèn)題中的非線性關(guān)系. Senn等[6]采用近似動(dòng)態(tài)規(guī)劃方法來(lái)進(jìn)行壓邊力控制，利用神經(jīng)網(wǎng)絡(luò)來(lái)擬合系統(tǒng)動(dòng)力學(xué)以及價(jià)值函數(shù). 黃玉萍等[7]通過(guò)建立徑向基網(wǎng)絡(luò)，以應(yīng)力、應(yīng)變和減薄率作為輸入，壓邊力曲線作為輸出，構(gòu)建了壓邊力優(yōu)化模型. Qian等[8]和Manabe等[9]利用神經(jīng)網(wǎng)絡(luò)進(jìn)行材料參數(shù)和工藝參數(shù)的在線識(shí)別，并結(jié)合彈塑性理論預(yù)測(cè)壓邊力大小. 汪銳等[10]通過(guò)將模糊控制技術(shù)與神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)建模糊神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)來(lái)進(jìn)行壓邊力的智能控制.

傳統(tǒng)的壓邊力控制方法往往需要對(duì)拉深過(guò)程進(jìn)行建模或依賴一些先驗(yàn)知識(shí). Dornheim等[11]提出了一種無(wú)模型的壓邊力控制方法，避免了系統(tǒng)模型的擬合. 該方法將神經(jīng)擬合Q迭代(neural fittedQiteration, NFQ)算法與有限元仿真相結(jié)合，為每個(gè)控制步長(zhǎng)建立一個(gè)Q值網(wǎng)絡(luò). 然而NFQ是一種基于價(jià)值的強(qiáng)化學(xué)習(xí)算法，只能用于離散動(dòng)作空間的控制問(wèn)題，無(wú)法用于連續(xù)動(dòng)作空間的控制問(wèn)題. 綜合以上分析，目前壓邊力控制領(lǐng)域還存在難以獲得精確動(dòng)力學(xué)模型以及壓邊力控制效果無(wú)法達(dá)到最優(yōu)化的問(wèn)題.

本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的壓邊力優(yōu)化控制模型，提高了壓邊力的控制效果；引入一種新的策略網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提高了深度強(qiáng)化學(xué)習(xí)在壓邊力控制任務(wù)中的控制效果；將壓邊力理論知識(shí)引入網(wǎng)絡(luò)訓(xùn)練中，用理論壓邊力公式進(jìn)行回放經(jīng)驗(yàn)池的初始化，提高了壓邊力策略的學(xué)習(xí)效率；以一個(gè)圓筒件的拉深成形過(guò)程為分析對(duì)象，通過(guò)有限元仿真驗(yàn)證了本文提出的壓邊力優(yōu)化控制模型的有效性.

1 理論背景

1.1 馬爾科夫決策過(guò)程

強(qiáng)化學(xué)習(xí)(reinforcement learning，RL)問(wèn)題一般由馬爾科夫決策過(guò)程(Markov decision process，MDP)進(jìn)行建模[12]. 通常將MDP定義成一個(gè)四元組(S,A,r,p)，其中：1)S為所有系統(tǒng)狀態(tài)集合，st∈S表示智能體(agent)在時(shí)刻t的系統(tǒng)狀態(tài)；2)A為動(dòng)作集合，at∈A表示agent在時(shí)刻t所采取的動(dòng)作；3)r為回報(bào)函數(shù)，r(st,at)表示在狀態(tài)st下采取動(dòng)作at后的獎(jiǎng)勵(lì)值；4)p為狀態(tài)轉(zhuǎn)移概率分布函數(shù).p(st+1|st,at)表示在狀態(tài)st下采取動(dòng)作at后轉(zhuǎn)移到下一狀態(tài)st+1的概率.

在強(qiáng)化學(xué)習(xí)中，定義策略π：S→A為狀態(tài)空間到動(dòng)作空間的一個(gè)映射. 在每個(gè)離散步長(zhǎng)t，agent在當(dāng)前狀態(tài)st下根據(jù)策略π采取動(dòng)作at，接收到回報(bào)值r(st,at)并轉(zhuǎn)移到下一狀態(tài)st+1. 定義Rt為從t時(shí)刻開(kāi)始到T時(shí)刻情節(jié)(episode)結(jié)束時(shí)的累積回報(bào)值：

式中：γ∈[0,1]為折扣率，用來(lái)確定短期回報(bào)的優(yōu)先程度.

1.2 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)的目標(biāo)是尋找到一個(gè)最優(yōu)策略πφ(參數(shù)為φ)來(lái)最大化期望回報(bào)值J(φ)=Esi～pπ,ai～π[R0][13]. 在行動(dòng)者-評(píng)論家(actor-critic)框架中，策略網(wǎng)絡(luò)(actor)通過(guò)確定性策略梯度[14](deterministic policy gradient，DPG)進(jìn)行網(wǎng)絡(luò)更新：

φJ(rèn)(φ)=Es～pπ[aQπ(s,a)|a=π(s)φπφ(s)],

式中：Qπ(s,a)=Esi～pπ,ai～π[Rt|s,a]為動(dòng)作值函數(shù)(critic)，表示在遵循策略π情況下，在狀態(tài)s采取動(dòng)作a后的期望回報(bào)值.

Q學(xué)習(xí)(Q-learning)使用時(shí)間差分算法進(jìn)行動(dòng)作值函數(shù)的學(xué)習(xí)，通過(guò)迭代貝爾曼方程求解Q函數(shù)：

Qπ(st,at)=r(st,at)+γEst+1,at+1[Qπ(st+1,at+1)],at+1～π(st+1).

對(duì)于巨大的狀態(tài)空間，通常使用一個(gè)可微的函數(shù)近似器Qθ(s,a)估計(jì)動(dòng)作值，其參數(shù)為θ. 深度Q學(xué)習(xí)[15](DeepQ-learning，DQN)算法采用了“目標(biāo)網(wǎng)絡(luò)”技術(shù)，在更新過(guò)程中使用另一個(gè)網(wǎng)絡(luò)Qθ′(s,a)計(jì)算目標(biāo)值：

yt=r(st,at)+γQθ′(st+1,at+1),at+1～πφ′(st+1).

式中動(dòng)作at+1根據(jù)目標(biāo)策略網(wǎng)絡(luò)πφ′進(jìn)行選擇. 獲得目標(biāo)值后，DQN通過(guò)最小化損失函數(shù)L(θ)進(jìn)行動(dòng)作值網(wǎng)絡(luò)參數(shù)的更新：

L(θ)=Est,at,r(st,at),st+1[(yt-Qθ(st,at))2].

2 基于深度強(qiáng)化學(xué)習(xí)的壓邊力控制策略優(yōu)化算法

通過(guò)將雙延遲深度確定性策略梯度[16](twin delayed deep deterministic policy gradient，TD3)與結(jié)構(gòu)化控制網(wǎng)絡(luò)[17](structured control network，SCN)相結(jié)合，本文提出了SCN-TD3算法用于壓邊力控制策略的學(xué)習(xí).

2.1 雙延遲深度確定性策略梯度

TD3是一種actor-critic框架的深度強(qiáng)化學(xué)習(xí)算法，在深度確定性策略梯度[18](deep deterministic policy gradient，DDPG)的基礎(chǔ)上拓展而來(lái). 為了解決actor-critic框架算法中的Q值過(guò)估計(jì)問(wèn)題，TD3采用3個(gè)關(guān)鍵技術(shù)提高算法的穩(wěn)定性和性能.

1)actor-critic框架下的剪裁雙Q學(xué)習(xí).受深度雙Q學(xué)習(xí)[19](double deepQ-learning，DDQN)啟發(fā)，TD3使用當(dāng)前actor網(wǎng)絡(luò)選擇最優(yōu)動(dòng)作，使用目標(biāo)critic網(wǎng)絡(luò)評(píng)估策略：

yt=r(st,at)+γQθ′(st+1,πφ(st+1)).

在actor-critic框架中，目標(biāo)actor與目標(biāo)critic網(wǎng)絡(luò)采用的“軟更新”[18]方式使得當(dāng)前網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)過(guò)于相似，無(wú)法有效分離動(dòng)作選擇與策略評(píng)估. 因此，算法保持了一對(duì)actor網(wǎng)絡(luò)(πφ1，πφ2)和一對(duì)critic網(wǎng)絡(luò)(Qθ1，Qθ2). 其中，πφ1根據(jù)Qθ1進(jìn)行優(yōu)化，πφ2根據(jù)Qθ2進(jìn)行優(yōu)化：

(1)

如果critic網(wǎng)絡(luò)Qθ1與Qθ2相互獨(dú)立，那么根據(jù)式(1)能有效避免由于策略更新所導(dǎo)致的偏差. 然而Qθ1與Qθ2在計(jì)算目標(biāo)值時(shí)互相使用，并且基于相同的回放經(jīng)驗(yàn)進(jìn)行更新，因此兩者并不互相獨(dú)立. 為了進(jìn)一步減小偏差，TD3使用了剪裁雙Q學(xué)習(xí)(Clipped DoubleQ-learning)算法計(jì)算目標(biāo)值：

2)策略延遲更新.在深度強(qiáng)化學(xué)習(xí)算法中，目標(biāo)網(wǎng)絡(luò)被用于提供一個(gè)穩(wěn)定學(xué)習(xí)目標(biāo). 通過(guò)多步更新，critic網(wǎng)絡(luò)能逐漸減小與目標(biāo)Q值之間的誤差;然而,在critic網(wǎng)絡(luò)高誤差情況下,進(jìn)行actor網(wǎng)絡(luò)的更新會(huì)導(dǎo)致策略的離散行為. 因此,actor網(wǎng)絡(luò)的更新頻率應(yīng)低于critic網(wǎng)絡(luò)的更新頻率，保證actor網(wǎng)絡(luò)能在Q值誤差較低的情況下進(jìn)行更新，提高actor網(wǎng)絡(luò)的更新效率. TD3在critic網(wǎng)絡(luò)每進(jìn)行d次更新后，進(jìn)行一次actor網(wǎng)絡(luò)的更新.

3)目標(biāo)策略平滑正則化.由于TD3中采用的是確定性策略，進(jìn)行critic更新時(shí)目標(biāo)值很容易受函數(shù)近似誤差的影響，導(dǎo)致目標(biāo)值不準(zhǔn)確. 因此TD3引入了一個(gè)正則化方法來(lái)減少目標(biāo)值的方差，通過(guò)自舉相似狀態(tài)動(dòng)作對(duì)的估計(jì)值進(jìn)行Q值估計(jì)平滑化：

yt=r(st,at)+Εε[Qθ′(st+1,πφ′(st+1)+ε)].

TD3通過(guò)向目標(biāo)策略添加一個(gè)隨機(jī)噪聲，并且在mini-batches上取平均的方法實(shí)現(xiàn)平滑正則化：

ε～clip(N(0,σ),-c,c).

2.2 結(jié)構(gòu)化控制網(wǎng)絡(luò)

受傳統(tǒng)非線性控制理論啟發(fā)，文獻(xiàn)[17]提出了結(jié)構(gòu)化控制網(wǎng)絡(luò)(structured control network，SCN),將actor-critic框架中的策略網(wǎng)絡(luò)分為非線性部分與線性部分兩個(gè)部分. 將上述兩個(gè)部分的動(dòng)作值相加得到最終動(dòng)作：

πφ(s)=πn(s)+πl(wèi)(s).

式中:線性項(xiàng)πl(wèi)(s)=K·s+b，K與b為線性控制增益矩陣與偏置項(xiàng). 非線性項(xiàng)πn(s)為一個(gè)全連接多層神經(jīng)網(wǎng)絡(luò)，并去除輸出層的偏置項(xiàng). 這種簡(jiǎn)單的結(jié)構(gòu)變化能夠有效地提升深度強(qiáng)化學(xué)習(xí)的性能，在機(jī)器人控制以及視頻游戲等領(lǐng)域均取得了比原網(wǎng)絡(luò)結(jié)構(gòu)更加優(yōu)異的表現(xiàn).

2.3 理論壓邊力知識(shí)

在壓邊力控制領(lǐng)域，研究人員通過(guò)板材成形理論以及對(duì)拉深過(guò)程的簡(jiǎn)化假設(shè)，推導(dǎo)了圓筒件拉深過(guò)程的有效壓邊力區(qū)間. 通過(guò)預(yù)先確定有效壓邊力區(qū)間，能夠得到相對(duì)合理的壓邊力曲線.

如圖1所示，板材拉深過(guò)程的有效壓邊力范圍由上限壓邊力Qrup與下限壓邊力Qfwr組成.Qrup表示在拉深過(guò)程中保證工件不產(chǎn)生破裂缺陷的最大壓邊力,Qfwr表示在拉深過(guò)程中保證工件法蘭邊不產(chǎn)生起皺缺陷的最小壓邊力. 其中，

[1-μK1(α)]-2ωI(α)-J(α)}.

式中:μ為拉深過(guò)程中毛坯與模具間的摩擦因數(shù)，n為材料的硬化指數(shù)，σb為材料的抗拉強(qiáng)度，r為材料的厚向異性系數(shù).RB、RC、F(α)、K1(α)、ω、I(α)與J(α)是隨著拉深過(guò)程變化的變量，具體物理意義與計(jì)算方式參見(jiàn)文獻(xiàn)[20].

式中:t0為板材厚度，B為材料的強(qiáng)度系數(shù)，y0為單波的最大撓度，r0為法蘭內(nèi)半徑，m為拉深系數(shù)，F(xiàn)(n,m,ρ)與Fm(λm)為隨拉深過(guò)程變化的兩個(gè)變量，具體物理意義與計(jì)算方式參見(jiàn)文獻(xiàn)[21].

圖1中位于上限壓邊力與下限壓邊力之間的3條壓邊力曲線是由3種深度強(qiáng)化學(xué)習(xí)算法優(yōu)化學(xué)習(xí)得到的. 可以看出，它們?cè)谡麄€(gè)拉深過(guò)程中始終保持在Qrup與Qfwr之間，保證了最終成品不產(chǎn)生質(zhì)量缺陷.

圖1 有效壓邊力Fig.1 Effective blank holder force

2.4 算法描述

本文將SCN-TD3與有限元仿真相結(jié)合，構(gòu)建了基于深度強(qiáng)化學(xué)習(xí)的壓邊力控制策略優(yōu)化算法, 算法描述如下.

輸入：有限元模型

輸出：actor網(wǎng)絡(luò)πφ

第1步：初始化critic網(wǎng)絡(luò)Qθ1與Qθ2的參數(shù)θ1與θ2，以及actor網(wǎng)絡(luò)的參數(shù)φ

第2步：初始化目標(biāo)網(wǎng)絡(luò)參數(shù)：θ1′←θ1，θ2′←θ2，φ′←φ

第3步：初始化回放經(jīng)驗(yàn)B

第4步：For episode = 1,Mdo

第5步：初始化有限元模型狀態(tài)s1

第6步：Fort= 1,Tdo

第7步：選擇動(dòng)作at，

at←πφ(st)+ε,ε～N(0,σ)

第8步：在有限元模型中執(zhí)行at，輸出st+1與rt

第9步：將轉(zhuǎn)移經(jīng)驗(yàn)存儲(chǔ)到回放經(jīng)驗(yàn)中，(st,at,r(st,at),st+1)→B

第11步：利用目標(biāo)網(wǎng)絡(luò)得到動(dòng)作

第13步：根據(jù)梯度

第14步：Iftmoddthen

第15步：根據(jù)梯度

第16步：更新目標(biāo)網(wǎng)絡(luò)

θi′←τθi+(1-τ)θi′，φ′←τφ+(1-τ)φ′

第17步：End if

第18步：End for

第19步：End for

3 基于深度強(qiáng)化學(xué)習(xí)的拉深控制模型

3.1 問(wèn)題描述

本文針對(duì)板材拉深過(guò)程進(jìn)行壓邊力控制優(yōu)化，得到成形質(zhì)量合格的成品件. 如圖2所示，板材拉深裝置主要由毛坯、沖頭、壓邊圈和凹模4部分組成. 毛坯被放置在壓邊圈與凹模法蘭之間，由壓邊圈夾緊. 整個(gè)加工過(guò)程被分為5個(gè)控制步長(zhǎng)，每個(gè)控制步長(zhǎng)內(nèi)壓邊力的大小相等，沖頭以恒定速度向下沖壓，將毛坯壓入凹模腔體. 本文將板材拉深控制過(guò)程建模成離散時(shí)間的馬爾科夫決策過(guò)程，以板材內(nèi)部的Mises應(yīng)力分布作為系統(tǒng)狀態(tài)s，每個(gè)控制步長(zhǎng)內(nèi)的壓邊力大小作為系統(tǒng)動(dòng)作a. 由于本文所建立的有限元模型被劃分為527個(gè)單元，使用全體單元的Mises應(yīng)力分布作為系統(tǒng)狀態(tài)會(huì)使得狀態(tài)空間過(guò)于龐大，不利于問(wèn)題的有效求解. 因此，本文采用圖2標(biāo)記的部分有限元的Mises應(yīng)力作為系統(tǒng)狀態(tài)，在反應(yīng)系統(tǒng)狀態(tài)特征的同時(shí)將系統(tǒng)狀態(tài)縮小為27維.

圖2 拉深模型Fig.2 Deep drawing finite element model

3.2 壓邊力控制模型

壓邊力控制模型如圖3所示，主要由環(huán)境與智能體兩部分組成. 其中，環(huán)境由有限元模型與成本函數(shù)組成；智能體由兩個(gè)價(jià)值網(wǎng)絡(luò)以及一個(gè)策略網(wǎng)絡(luò)組成. 環(huán)境接受到動(dòng)作a，根據(jù)前一時(shí)刻環(huán)境狀態(tài)得到當(dāng)前的回報(bào)r與觀察值s并將其輸入智能體，智能體輸出下一步長(zhǎng)動(dòng)作，開(kāi)始下一次交互. 智能體在與環(huán)境進(jìn)行交互的過(guò)程中利用深度強(qiáng)化學(xué)習(xí)算法不斷地更新網(wǎng)絡(luò)參數(shù)，最終學(xué)習(xí)到一個(gè)最優(yōu)的壓邊力控制策略.

圖3 壓邊力控制模型Fig.3 Blank holder force control model

3.2.1 有限元模型

本文建立的板材拉深仿真模型如圖4所示. 通過(guò)假設(shè)模型對(duì)稱性與材料各向同性，建立了1/4的板材拉深三維模型，并將拉深過(guò)程劃分為6個(gè)離散的時(shí)間步長(zhǎng). 其中前5個(gè)為控制步長(zhǎng)，完成向下拉深過(guò)程，最后1個(gè)步長(zhǎng)為卸載步長(zhǎng)，沖頭恢復(fù)到原始位置同時(shí)將壓邊力卸載. 模型根據(jù)上一步長(zhǎng)的狀態(tài)與輸入的壓邊力值，計(jì)算出下一步長(zhǎng)的狀態(tài).

圖4 有限元模型Fig.4 Finite element model

有限元模型由3個(gè)剛體部件與1個(gè)可變形毛坯組成. 剛體部件分別為沖頭、凹模和壓邊圈. 沖頭半徑Rp為25 mm，沖頭圓角半徑rp為4 mm，凹模內(nèi)徑Rd為26.2 mm，凹模圓角半徑rd為6 mm. 圓形毛坯厚度H為1 mm，半徑R0為50 mm. 毛坯材料屬性為彈塑性材料，材料為08F低碳鋼[22]. 材料的彈性模型為線彈性模型，塑性模型為符合Mises屈服準(zhǔn)則的各向同性模型. 毛坯的有限元單元類型為可變形的4節(jié)點(diǎn)4邊形殼單元(S4R).

沖頭以恒定速度4 mm/s向下沖壓，將毛坯壓入凹模腔中，拉深深度S為20 mm. 壓邊力在每個(gè)控制步長(zhǎng)開(kāi)始時(shí)給出，在每個(gè)控制步長(zhǎng)內(nèi)壓邊力保持不變，均勻施加在壓邊圈上. 壓邊力變化范圍為5 000～13 000 N.

本文用ABAQUS進(jìn)行有限元模型的搭建. 在線優(yōu)化控制環(huán)境中，智能體基于當(dāng)前得到的系統(tǒng)狀態(tài)來(lái)設(shè)置動(dòng)作. 為了符合在線優(yōu)化控制環(huán)境的要求，保證有限元模型的有效性與可重用性，使用了ABAQUS腳本與分析重啟動(dòng)技術(shù).

3.2.2 回報(bào)函數(shù)

回報(bào)函數(shù)僅由終止?fàn)顟B(tài)產(chǎn)生的回報(bào)值組成. 控制目標(biāo)為生產(chǎn)出的工件內(nèi)部應(yīng)力低,材料厚度充足,并且材料利用率低. 針對(duì)以上3個(gè)目標(biāo)，分別建立評(píng)價(jià)指標(biāo)函數(shù)并通過(guò)三者的加權(quán)和得出總的質(zhì)量評(píng)價(jià)函數(shù)[11].

有限元模型由527個(gè)單元組成. 根據(jù)有限元仿真輸出的Mises應(yīng)力分布云圖、厚度分布云圖與U1位移分布云圖，可以得到最終成品每個(gè)單元的Mises應(yīng)力值mi(i=1,2,...,527)、單元厚度hi(i=1,2,...,527)以及毛坯邊在x軸方向上的位移d. 根據(jù)以上的數(shù)據(jù)，建立成本函數(shù)：

Cb(sT)=-minhi，

Cc(sT)=-d.

最后，本文以加權(quán)調(diào)和平均的形式給出總的質(zhì)量評(píng)價(jià)函數(shù)：

式中權(quán)重值wi用于控制各個(gè)成本項(xiàng)的重要性，本文中權(quán)重wi均為1.

4 實(shí)驗(yàn)與結(jié)果分析

受硬件因素影響，實(shí)際實(shí)驗(yàn)驗(yàn)證十分困難. 本文參考文獻(xiàn)[11]的壓邊力控制仿真實(shí)驗(yàn)設(shè)計(jì)，利用圓筒件拉深成形的有限元仿真進(jìn)行實(shí)驗(yàn).

4.1 訓(xùn)練過(guò)程分析

在SCN-TD3中，策略網(wǎng)絡(luò)與價(jià)值網(wǎng)絡(luò)的結(jié)構(gòu)均為4層神經(jīng)網(wǎng)絡(luò)，隱藏層節(jié)點(diǎn)為300. DDPG與TD3的網(wǎng)絡(luò)結(jié)構(gòu)與SCN-TD3一致. SCN-TD3算法中，學(xué)習(xí)率為0.000 1，探索率σ為0.1，目標(biāo)動(dòng)作噪聲方差σ'為0.2，目標(biāo)動(dòng)作截?cái)嘀礳為0.2，策略網(wǎng)絡(luò)更新間隔d為2. DDPG和TD3的參數(shù)與SCN-TD3一致. 訓(xùn)練過(guò)程中，算法在每個(gè)訓(xùn)練步長(zhǎng)進(jìn)行10次網(wǎng)絡(luò)更新.

圖5為不同算法回報(bào)值隨訓(xùn)練步長(zhǎng)數(shù)的變化情況. 本文將各控制步長(zhǎng)下壓邊力的相鄰訓(xùn)練步長(zhǎng)的差作為算法收斂的判斷依據(jù). 當(dāng)連續(xù)100個(gè)訓(xùn)練步長(zhǎng)下，各壓邊力相鄰訓(xùn)練步長(zhǎng)的差均<1 000 N時(shí)，認(rèn)為算法收斂. 在SCN-TD3控制下，回報(bào)值大約在第1 500個(gè)步長(zhǎng)收斂，而在DDPG與TD3控制下，回報(bào)值大約在第1 800與第1 700個(gè)步長(zhǎng)收斂. 從回報(bào)值的整體變化趨勢(shì)上看，SCN-TD3控制下的回報(bào)值收斂最快，并且最終收斂到的回報(bào)值水平高于TD3. TD3控制下的回報(bào)值收斂略快于DDPG，并且最終收斂到的回報(bào)值水平高于DDPG. 這主要是由于1)TD3算法中采用的剪裁雙Q學(xué)習(xí)、延遲策略更新和目標(biāo)策略平滑正則化這3種技術(shù)，有效地緩解了價(jià)值網(wǎng)絡(luò)的過(guò)估計(jì)問(wèn)題以及過(guò)估計(jì)問(wèn)題給策略網(wǎng)絡(luò)更新所帶來(lái)的影響; 2)策略網(wǎng)絡(luò)的非線性結(jié)構(gòu)與線性結(jié)構(gòu)能夠同時(shí)結(jié)合全局控制與局部控制的優(yōu)點(diǎn). 各算法的優(yōu)勢(shì)對(duì)比如表1所示.

圖5 回報(bào)值隨訓(xùn)練步長(zhǎng)變化Fig.5 Variation of episode reward with step

表1 算法優(yōu)勢(shì)對(duì)比Tab.1 Comparison of different algorithms

在訓(xùn)練過(guò)程中，每5個(gè)訓(xùn)練episode結(jié)束后，利用當(dāng)前的策略網(wǎng)絡(luò)進(jìn)行10次拉深仿真控制，取平均值作為驗(yàn)證回報(bào)值. SCN-TD3得到的最優(yōu)驗(yàn)證回報(bào)值為1.928 8，而DDPG與TD3控制下的最優(yōu)驗(yàn)證回報(bào)值分別為1.602 9與1.690 8. 各算法最優(yōu)驗(yàn)證回報(bào)值所對(duì)應(yīng)的壓邊力控制策略如表2所示.

表2 最優(yōu)控制策略Tab.2 Optimal control policy N

4.2 訓(xùn)練過(guò)程壓邊力變化分析

為了探究壓邊力在訓(xùn)練過(guò)程中的變化情況，本文給出了DDPG、TD3與SCN-TD3控制下各控制步長(zhǎng)的壓邊力隨訓(xùn)練步長(zhǎng)的變化情況(見(jiàn)圖6). 由圖6可知，在訓(xùn)練的早期,步長(zhǎng)2到步長(zhǎng)5的壓邊力聚集在最小值5 000附近，3種算法均陷入局部最優(yōu). 隨著訓(xùn)練的進(jìn)行，算法逐漸跳出局部最優(yōu)點(diǎn)，最終收斂于一定的壓邊力水平. SCN-TD3控制下各步長(zhǎng)壓邊力收斂速度均快于其他兩者，體現(xiàn)了SCN-TD3在性能上的優(yōu)勢(shì).

圖6 各控制步長(zhǎng)壓邊力變化Fig.6 Variation of blank holder force with each control step

4.3 成品質(zhì)量分析

根據(jù)DDPG、TD3以及SCN-TD3學(xué)習(xí)到的最優(yōu)壓邊力控制策略，在ABAQUS中分別進(jìn)行板材仿真拉深. 根據(jù)仿真結(jié)果輸出的Mises應(yīng)力分布云圖、厚度分布云圖與U1位移分布云圖，進(jìn)行成品質(zhì)量分析. Mises應(yīng)力分布云圖展示了成品各有限元單元的Mises應(yīng)力分布情況. 根據(jù)圖7～9，可以得到三者的內(nèi)部應(yīng)力項(xiàng)指標(biāo)分別為4 221、4 475以及3 708. 從總體分布上看，TD3控制下的成品的內(nèi)部應(yīng)力和最小，DDPG控制下的成品的內(nèi)部應(yīng)力和最大.

圖7 SCN-TD3控制下的Mises應(yīng)力分布云圖Fig.7 Mises stress distribution under SCN-TD3

圖8 DDPG控制下的Mises應(yīng)力分布云圖Fig.8 Mises stress distribution under DDPG

圖9 TD3控制下的Mises應(yīng)力分布云圖Fig.9 Mises stress distribution under TD3

厚度分布云圖體現(xiàn)了成品各處厚度的分布情況. 根據(jù)圖10～12，SCN-TD3控制下成品的最小厚度為0.858 4 mm，DDPG控制下成品的最小厚度為0.853 3 mm，TD3控制下成品的最小厚度為0.850 3 mm. SCN-TD3控制下的成品厚度最為充足，TD3控制下的成品厚度最薄.

圖10 SCN-TD3控制下的厚度分布云圖Fig.10 Thickness distribution under SCN-TD3

U1位移分布云圖表示成品的每個(gè)有限元單元在x軸向上的位移. 根據(jù)圖13～15可知，SCN-TD3控制下成品的法蘭邊位移為7.781 7 mm，DDPG控制下成品的法蘭邊位移為8.0837 mm，TD3控制下成品的法蘭邊位移為7.944 6 mm. 表明SCN-TD3控制下的材料消耗比DDPG與TD3都要小.

圖11 DDPG控制下的厚度分布云圖Fig.11 Thickness distribution under DDPG

圖12 TD3控制下的厚度分布云圖Fig.12 Thickness distribution under TD3

圖14 DDPG控制下的U1位移分布云圖Fig.14 U1 displacement distribution under DDPG

圖15 TD3控制下的U1位移分布云圖Fig.15 U1 displacement distribution under TD3

由于成本函數(shù)的組成為內(nèi)部應(yīng)力項(xiàng)、最小厚度項(xiàng)與材料消耗項(xiàng)的調(diào)和平均，因此盡管SCN-TD3在內(nèi)部應(yīng)力和指標(biāo)上的表現(xiàn)不如TD3，但是其在3個(gè)成本項(xiàng)中的綜合表現(xiàn)最優(yōu). 綜合以上分析可知，相較于DDPG與TD3，SCN-TD3控制下成品的內(nèi)部應(yīng)力和較小，材料最小厚度充足，材料消耗程度最低，總體質(zhì)量最優(yōu).

4.4 理論知識(shí)對(duì)于訓(xùn)練過(guò)程的影響

根據(jù)圖1的理論有效壓邊力區(qū)間產(chǎn)生多條可行的壓邊力軌跡以及轉(zhuǎn)移經(jīng)驗(yàn). 將有效壓邊力產(chǎn)生的轉(zhuǎn)移經(jīng)驗(yàn)加入初始經(jīng)驗(yàn)回放池，達(dá)到將理論知識(shí)引入壓邊力策略優(yōu)化過(guò)程的目的.

通過(guò)對(duì)各控制步長(zhǎng)所對(duì)應(yīng)拉深行程下的有效壓邊力區(qū)間進(jìn)行隨機(jī)采樣，得到了1 000條有效壓邊力軌跡及5 000個(gè)有效轉(zhuǎn)移經(jīng)驗(yàn). 為了探究理論知識(shí)對(duì)于訓(xùn)練過(guò)程的影響，控制初始轉(zhuǎn)移經(jīng)驗(yàn)中有效壓邊力轉(zhuǎn)移經(jīng)驗(yàn)所占比例分別為0%、25%、50%、75%和100%，輸出所對(duì)應(yīng)的回報(bào)值隨訓(xùn)練步長(zhǎng)的變化情況，如圖16所示.

圖16 不同比例有效轉(zhuǎn)移經(jīng)驗(yàn)下的回報(bào)值變化

Fig.16 Variation of episode reward with different percentages of efficient transition experience

由圖16可知，隨著有效轉(zhuǎn)移經(jīng)驗(yàn)所占比例的增加，訓(xùn)練過(guò)程中回報(bào)值的收斂越來(lái)越迅速，在50%達(dá)到最快收斂速度，隨后收斂速度隨有效轉(zhuǎn)移經(jīng)驗(yàn)所占比例的增加開(kāi)始下降. 這表明，在初始經(jīng)驗(yàn)回放中添加適量的有效轉(zhuǎn)移經(jīng)驗(yàn)?zāi)軌驗(yàn)榫W(wǎng)絡(luò)的訓(xùn)練提供一個(gè)良好的初始訓(xùn)練數(shù)據(jù)，讓策略網(wǎng)絡(luò)的參數(shù)更快地往回報(bào)值高的參數(shù)空間進(jìn)行梯度下降. 然而當(dāng)初始回放經(jīng)驗(yàn)中的有效轉(zhuǎn)移經(jīng)驗(yàn)過(guò)多時(shí)，由于缺少低回報(bào)值的轉(zhuǎn)移經(jīng)驗(yàn)，策略網(wǎng)絡(luò)的更新無(wú)法有效地遠(yuǎn)離低回報(bào)值的參數(shù)空間，反而使得回報(bào)值收斂速度下降. 根據(jù)以上分析可知，在初始經(jīng)驗(yàn)回放池中保持經(jīng)驗(yàn)樣本的多樣性有助于策略網(wǎng)絡(luò)的訓(xùn)練.

5 結(jié) 論

1)本文將深度強(qiáng)化學(xué)習(xí)與有限元仿真進(jìn)行集成，建立了板材拉深過(guò)程壓邊力控制模型，避免了系統(tǒng)動(dòng)態(tài)的擬合.

2)對(duì)策略網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改進(jìn)，并將壓邊力理論知識(shí)引入網(wǎng)絡(luò)訓(xùn)練中，建立了一個(gè)更加有效的深度強(qiáng)化學(xué)習(xí)算法，提高了成品的成形質(zhì)量.

3)有限元仿真實(shí)驗(yàn)驗(yàn)證了本文所提出的SCN-TD3算法的有效性，并與DDPG與TD3算法進(jìn)行了壓邊力控制效果比較. 實(shí)驗(yàn)表明，SCN-TD3控制下成品的內(nèi)部應(yīng)力和較小，材料最小厚度充足，材料消耗程度最低，總體質(zhì)量最優(yōu).