基于DDPG算法的電動(dòng)拖拉機(jī)雙電機(jī)耦合傳動(dòng)參數(shù)優(yōu)化*

張勇剛，劉孟楠，胥文翔，徐立友

(1.河南科技大學(xué)車輛與交通工程學(xué)院,河南洛陽,471003; 2.洛陽拖拉機(jī)研究所有限公司,河南洛陽,471039)

0 引言

中國正處于綠色農(nóng)業(yè)的轉(zhuǎn)型時(shí)期,在碳達(dá)峰、碳中和的環(huán)境政策下,農(nóng)業(yè)機(jī)械對(duì)排放與效率的要求變得更加嚴(yán)格[1]。農(nóng)業(yè)生產(chǎn)中對(duì)農(nóng)作物產(chǎn)量和品質(zhì)的要求越來越高,在農(nóng)業(yè)機(jī)械領(lǐng)域?qū)ν侠瓩C(jī)的精準(zhǔn)控制與自動(dòng)化作業(yè)提出了更高的要求,而電動(dòng)拖拉機(jī)在精準(zhǔn)控制和綠色農(nóng)業(yè)中發(fā)揮著重要作用,因此提高電動(dòng)拖拉機(jī)的傳動(dòng)系統(tǒng)性能已經(jīng)成為重要的研究方向[2-3]。

國內(nèi)外學(xué)者已經(jīng)在電動(dòng)拖拉機(jī)做了大量的工作,Chen等[4]提出了一種基于雙電機(jī)耦合驅(qū)動(dòng)模式的電動(dòng)拖拉機(jī)動(dòng)力傳動(dòng)系統(tǒng)參數(shù)匹配與優(yōu)化設(shè)計(jì)方法;李書苑等[5]對(duì)多種雙電機(jī)耦合方案進(jìn)行參數(shù)化建模,有限元分析,并結(jié)合動(dòng)力學(xué)評(píng)估最終選出一種最優(yōu)傳動(dòng)方案;Li等[6]建立了雙電機(jī)電動(dòng)拖拉機(jī)傳動(dòng)系統(tǒng)的數(shù)學(xué)模型,采用對(duì)偶的協(xié)調(diào)控制策略對(duì)電機(jī)驅(qū)動(dòng)系統(tǒng)進(jìn)行設(shè)計(jì),得到了雙電機(jī)的功率分配規(guī)律;徐立友等[7]采用基于模塊的設(shè)計(jì)方法,搭建了可滿足90 km以下的電動(dòng)拖拉機(jī)綜合測試平臺(tái),為電動(dòng)拖拉機(jī)測試提供了設(shè)備支撐;盛繼新等[8]采用雙擋機(jī)械自動(dòng)變速器(AMT)的傳動(dòng)方案,建立了多目標(biāo)遺傳算法的參數(shù)匹配模型,為優(yōu)化雙速比自動(dòng)變速器提供了參考。

綜上所述,雙電機(jī)耦合傳動(dòng)系統(tǒng)經(jīng)過不斷的論證和發(fā)展逐漸成為電動(dòng)拖拉機(jī)一種主流的傳動(dòng)方案,但是傳動(dòng)系統(tǒng)耦合速比的優(yōu)化研究較少;本文以東方紅1804拖拉機(jī)為研究對(duì)象,通過靜態(tài)計(jì)算在滿足拖拉機(jī)各項(xiàng)性能的前提下求出傳動(dòng)系列最小傳動(dòng)比;然后利用Simscape搭建雙電機(jī)耦合傳動(dòng)模型,并且在Simulink中搭建電動(dòng)拖拉機(jī)仿真環(huán)境;在靜態(tài)優(yōu)化的基礎(chǔ)上,采用DDPG算法在運(yùn)輸模式與旋耕模式對(duì)雙電機(jī)耦合傳動(dòng)比進(jìn)行動(dòng)態(tài)優(yōu)化,得到傳動(dòng)比的最優(yōu)值。

1 雙電機(jī)耦合傳動(dòng)結(jié)構(gòu)方案

電動(dòng)拖拉機(jī)雙電機(jī)耦合傳動(dòng)系統(tǒng)結(jié)構(gòu)三維模型如圖1所示。驅(qū)動(dòng)電機(jī)和PTO電機(jī)連接在變速器的前部;主輸入軸和副輸入軸一端連接在變速器殼體上,另一端分別連接在行星架太陽輪上;行星架作為動(dòng)力輸出元件,分別輸出給主減速器和PTO軸。

圖1 電動(dòng)拖拉機(jī)動(dòng)力耦合三維結(jié)構(gòu)

雙電機(jī)耦合傳動(dòng)原理如圖2所示,當(dāng)PTO軸負(fù)載較大時(shí),主電機(jī)動(dòng)力將通過中間軸傳遞給PTO軸;當(dāng)驅(qū)動(dòng)軸負(fù)荷較大時(shí),PTO電機(jī)將動(dòng)力通過中間軸傳遞給驅(qū)動(dòng)軸;最終驅(qū)動(dòng)力通過主減速器傳遞到后橋;在運(yùn)輸模式和旋耕模式下,兩個(gè)同步器和兩個(gè)制動(dòng)器能夠組合出四種動(dòng)力傳遞路線。

圖2 雙電機(jī)驅(qū)動(dòng)系統(tǒng)原理圖

2 傳動(dòng)系統(tǒng)驅(qū)動(dòng)模式與參數(shù)計(jì)算

2.1 驅(qū)動(dòng)模式

拖拉機(jī)有三種典型工作模式即運(yùn)輸模式、耕犁模式、旋耕模式,其中運(yùn)輸模式和耕犁模式都屬于大負(fù)荷拖拽作業(yè),并且動(dòng)力都是通過驅(qū)動(dòng)輪輸出,因此在優(yōu)化計(jì)算中只計(jì)算一種模式[9]。

在運(yùn)輸模式下,PTO軸無動(dòng)力輸出;當(dāng)拖拉機(jī)需求的動(dòng)力較小時(shí),動(dòng)力由驅(qū)動(dòng)電機(jī)單獨(dú)提供;此時(shí)為驅(qū)動(dòng)電機(jī)單獨(dú)驅(qū)動(dòng);動(dòng)力由主電機(jī)傳遞到驅(qū)動(dòng)軸,齒圈鎖死,通過主減速器傳遞到車輪;利用杠桿法[10]與圖論法[11]得出轉(zhuǎn)速與轉(zhuǎn)矩,計(jì)算如式(1)所示。

(1)

式中:nq——驅(qū)動(dòng)電機(jī)輸出轉(zhuǎn)速,r/min;

nb——輸出到半軸的轉(zhuǎn)速,r/min;

Tq——驅(qū)動(dòng)電機(jī)輸出轉(zhuǎn)矩,N·m;

Tb——輸出到半軸的轉(zhuǎn)矩,N·m;

k——行星輪系特性參數(shù);

ia——主減速器傳動(dòng)比。

當(dāng)拖拉機(jī)需求的動(dòng)力超過驅(qū)動(dòng)電機(jī)的高效區(qū)間時(shí),PTO電機(jī)參與驅(qū)動(dòng),轉(zhuǎn)矩、轉(zhuǎn)速計(jì)算如式(2)所示。

(2)

式中:np——PTO電機(jī)輸出轉(zhuǎn)速,r/min;

i56——PTO電機(jī)輸入軸到中間軸傳動(dòng)比,r/min;

i78——中間軸到驅(qū)動(dòng)軸齒圈傳動(dòng)比,r/min;

Tp——PTO電機(jī)輸出轉(zhuǎn)矩,N·m。

在旋耕模式下,拖拉機(jī)驅(qū)動(dòng)輪既要輸出驅(qū)動(dòng)力,PTO軸又要輸出旋轉(zhuǎn)動(dòng)力;要同時(shí)考慮兩種動(dòng)力輸出;但是考慮到旋耕模式下,拖拉機(jī)前進(jìn)阻力較小,動(dòng)力主要從PTO輸出,因此主要討論P(yáng)TO的動(dòng)力輸出。

當(dāng)PTO功率需求較小時(shí)由PTO電機(jī)單獨(dú)提供動(dòng)力,PTO轉(zhuǎn)速、轉(zhuǎn)矩計(jì)算如式(3)所示。

(3)

當(dāng)PTO軸負(fù)荷超過PTO電機(jī)的高效區(qū)間時(shí),驅(qū)動(dòng)電機(jī)將一部分動(dòng)力傳遞到PTO軸,PTO軸轉(zhuǎn)矩、轉(zhuǎn)速計(jì)算如式(4)所示。

(4)

根據(jù)拖拉機(jī)的典型工作模式,切換相應(yīng)的控制器,改變動(dòng)力耦合方式,對(duì)于運(yùn)輸模式和旋耕模式,驅(qū)動(dòng)系統(tǒng)元件動(dòng)作順序如表1所示。

表1 不同作業(yè)工況電動(dòng)拖拉機(jī)控制元件動(dòng)作表

2.2 傳動(dòng)系統(tǒng)參數(shù)選取

為同時(shí)滿足彎曲疲勞強(qiáng)度和接觸疲勞強(qiáng)度,齒輪模數(shù)按齒根彎曲疲勞強(qiáng)度設(shè)計(jì);分度圓直徑按齒面接觸疲勞強(qiáng)度設(shè)計(jì)。

(5)

式中:d1t——試算分度圓直徑;

KHt——試選載荷系數(shù);

φd——齒寬系數(shù);

T1——主動(dòng)齒輪傳遞轉(zhuǎn)矩;

u——傳動(dòng)比;

ZH——區(qū)域系數(shù);

ZE——彈性影響系數(shù);

Zε——重合度系數(shù);

Zβ——螺旋角系數(shù);

σH——接觸疲勞許用應(yīng)力。

利用以上計(jì)算方法,參考東方紅1804拖拉機(jī)性能參數(shù),根據(jù)拖拉機(jī)作業(yè)功率需求和變速器結(jié)構(gòu)原理圖通過靜力學(xué)計(jì)算得出齒輪參數(shù)配置表,如表2所示。

表2 動(dòng)力耦合裝置主要參數(shù)

3 仿真模型搭建

3.1 電機(jī)效率模型

動(dòng)力系統(tǒng)采用了兩臺(tái)永磁同步電機(jī),選擇合適的型號(hào),避免功率過剩造成浪費(fèi)[12];本文根據(jù)東方紅1804拖拉機(jī)的功率需求,通過動(dòng)力匹配得到驅(qū)動(dòng)電機(jī)和PTO電機(jī)主要參數(shù),如表3所示。

表3 雙電機(jī)耦合傳動(dòng)系統(tǒng)主要參數(shù)

為了獲得電機(jī)效率模型,搭建了測試平臺(tái),通過臺(tái)架試驗(yàn)測出轉(zhuǎn)速、轉(zhuǎn)矩和母線電壓、電流,電機(jī)效率計(jì)算式如式(6)所示。

(6)

式中:Pout——電機(jī)機(jī)械輸出效率;

Pin——電機(jī)輸出功率;

U——母線電壓;

I——母線電流;

Tm——電機(jī)轉(zhuǎn)矩;

nm——電機(jī)轉(zhuǎn)速。

通過試驗(yàn)測出電機(jī)在對(duì)應(yīng)轉(zhuǎn)速和轉(zhuǎn)矩下效率的數(shù)據(jù),驅(qū)動(dòng)電機(jī),PTO電機(jī)效率如圖3所示。根據(jù)電機(jī)效率模型得出驅(qū)動(dòng)電機(jī)高效工作區(qū)間集中在800～2 500 r/min,PTO電機(jī)高效工作區(qū)間集中在2 000～4 500 r/min;符合拖拉機(jī)工作需求。

(a) 驅(qū)動(dòng)電機(jī)

3.2 搭建DDPG算法模型

深度確定性策略梯度網(wǎng)絡(luò)(Deep Deterministic Polity Gradient,DDPG)算法是一種無模型、非策略的強(qiáng)化學(xué)習(xí)方法;能夠利用模型的輸入和輸出數(shù)據(jù)在自我學(xué)習(xí)的基礎(chǔ)上建立被控對(duì)象的數(shù)學(xué)模型,通過系統(tǒng)反饋給被控對(duì)象并實(shí)現(xiàn)最優(yōu)控制。DDPG算法是DQN和策略梯度的結(jié)合算法,不僅可以實(shí)現(xiàn)DQN單步更新,而且保持了確定性政策梯度數(shù)據(jù)的高利用率和優(yōu)勢的趨同;觀測空間支持連續(xù)與非連續(xù)兩種狀態(tài),動(dòng)作空間支持連續(xù)狀態(tài);非常適合電動(dòng)拖拉機(jī)耦合傳動(dòng)的狀態(tài)仿真;DDPG算法流程與模型配置如圖4所示。

圖4 模型與優(yōu)化算法工作流程

函數(shù)的目標(biāo)值為執(zhí)行獎(jiǎng)勵(lì)值與未來折扣到當(dāng)前獎(jiǎng)勵(lì)的和;為了計(jì)算累積獎(jiǎng)勵(lì),智能體將下一個(gè)觀測從抽樣經(jīng)驗(yàn)傳遞給目標(biāo)動(dòng)作來計(jì)算下一個(gè)動(dòng)作,在通過將下一個(gè)動(dòng)作傳遞到critic來獲得累積獎(jiǎng)勵(lì)。通過最小化所有采集應(yīng)驗(yàn)的損失來更新critic參數(shù)。使用下面的采樣策略梯度更新執(zhí)行參數(shù),以最大化預(yù)期折扣回報(bào)。

(7)

式中:Gai——critic輸出相對(duì)于actor網(wǎng)絡(luò)計(jì)算的動(dòng)作的梯度;

Gπi——actor輸出相對(duì)于actor參數(shù)的梯度;

?θ——每個(gè)批次計(jì)算的獎(jiǎng)勵(lì)值;

M——每個(gè)批次計(jì)算個(gè)數(shù);

Si——觀測值;

θ——隨機(jī)參數(shù)值。

在獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)中考慮了4個(gè)參數(shù),分別是驅(qū)動(dòng)電機(jī)的效率、PTO電機(jī)效率、目標(biāo)車速跟隨誤差和總傳動(dòng)比,并由4個(gè)參數(shù)構(gòu)建獎(jiǎng)勵(lì)函數(shù),如式(8)所示。

r=-(0.1Ed+0.1Ep+0.3Es+0.05R2)+100B

(8)

式中:r——單次循環(huán)獎(jiǎng)勵(lì)值;

Ed——驅(qū)動(dòng)電機(jī)效率;

Ep——PTO電機(jī)效率;

Es——實(shí)際車速與目標(biāo)車速的差值;

R——耦合傳動(dòng)比;

B——?jiǎng)幼骺臻g邊界值。

在m腳本中配置算法環(huán)境、仿真時(shí)間和步長;構(gòu)建critic和actor深度網(wǎng)絡(luò)框架,使用rlDDPGAgent函數(shù)生成智能體,配置智能體訓(xùn)練參數(shù);在simulink中搭建算法模型,為算法訓(xùn)練創(chuàng)建環(huán)境接口;設(shè)置觀測器模塊,評(píng)價(jià)器模塊和動(dòng)作模塊。

3.3 雙電機(jī)耦合驅(qū)動(dòng)系統(tǒng)模型

耦合傳動(dòng)模塊如圖5所示。

(a) Simscape物理模型

在SOLIDWORKS中構(gòu)建動(dòng)力耦合機(jī)構(gòu)參數(shù)化模型;將模型文件導(dǎo)入Simscape中;調(diào)整模塊位置關(guān)系,添加轉(zhuǎn)動(dòng)約束與齒輪約束,添加物理驅(qū)動(dòng)信號(hào),驗(yàn)證傳動(dòng)系統(tǒng)符合設(shè)計(jì)要求。添加驅(qū)動(dòng)力后運(yùn)行物理模型,輸入軸將在驅(qū)動(dòng)電機(jī)扭矩的作用下進(jìn)行轉(zhuǎn)動(dòng),經(jīng)過齒輪傳動(dòng)將動(dòng)力從行星架輸出,通過測量輸出驗(yàn)證模型。

3.4 搭建電動(dòng)拖拉機(jī)仿真環(huán)境

設(shè)置電動(dòng)拖拉機(jī)為后輪驅(qū)動(dòng),添加魔術(shù)公式輪胎,路面傾斜角度為,忽略空氣阻力;建模中僅考慮拖拉機(jī)縱向力構(gòu)建拖拉機(jī)參數(shù)化模型[13-14]。通過采集駕駛員加速踏板、制動(dòng)踏板和PTO操縱開關(guān)的信號(hào),在Stateflow實(shí)現(xiàn)工作模式切換,仿真環(huán)境模型如圖6所示。

圖6 電動(dòng)拖拉機(jī)仿真環(huán)境模型

仿真環(huán)境中分別建立了駕駛員模型,雙電機(jī)模型,傳動(dòng)系統(tǒng)模型,拖拉機(jī)運(yùn)動(dòng)模型以及模式切換模型。

4 齒輪速比仿真分析

在傳動(dòng)系統(tǒng)結(jié)構(gòu)和動(dòng)力選型參數(shù)確定以后,齒輪速比的選擇是影響拖拉機(jī)性能的重要因素,齒輪速比的優(yōu)化是一個(gè)多目標(biāo)多變量優(yōu)化問題[15-18];在靜態(tài)優(yōu)化的基礎(chǔ)上借助拖拉機(jī)動(dòng)態(tài)工況能夠調(diào)節(jié)齒輪速比在可行域的偏移,求出在動(dòng)態(tài)優(yōu)化約束條件下的最優(yōu)值。

4.1 運(yùn)輸模式

訓(xùn)練采用兩種代表工況,在運(yùn)輸模式下,拖拉機(jī)被施加恒定載荷,車速從0加速到20 km/h過程中,PTO電機(jī)動(dòng)力經(jīng)過Z5/Z6,Z7/Z8與驅(qū)動(dòng)電機(jī)動(dòng)力耦合傳遞到驅(qū)動(dòng)軸。在訓(xùn)練過程中兩個(gè)電機(jī)的功率耦合關(guān)系由DDPG算法訓(xùn)練生成,保證每對(duì)傳動(dòng)比都匹配適合的功率耦合關(guān)系,排除固定的功率耦合關(guān)系對(duì)不同傳動(dòng)比的影響,提高最優(yōu)傳動(dòng)比的可靠性。訓(xùn)練結(jié)果如圖7所示。

(a) 評(píng)價(jià)值與訓(xùn)練周期關(guān)系

在訓(xùn)練次數(shù)接近500次時(shí)評(píng)價(jià)值逐漸趨于穩(wěn)定,此時(shí)獎(jiǎng)勵(lì)最大,兩對(duì)齒輪傳動(dòng)比如圖7(b)所示;可以看出此時(shí)Z5/Z6速比逐漸穩(wěn)定在3.2,Z7/Z8速比逐漸穩(wěn)定在2.5;根據(jù)仿真結(jié)果得出運(yùn)輸模式下優(yōu)化后的傳動(dòng)比相比優(yōu)化前降低了0.7;通過傳動(dòng)系統(tǒng)參數(shù)匹配,確定Z5/Z6的齒數(shù)比為30/96,Z7/Z8的齒數(shù)比為34/80。通過優(yōu)化前后仿真對(duì)比得到驅(qū)動(dòng)電機(jī)和PTO電機(jī)控制關(guān)系與效率,如圖8所示。

(a) 靜態(tài)優(yōu)化Z5/Z6=26/93,Z7/Z8=31/99

動(dòng)態(tài)優(yōu)化下拖拉機(jī)最先加速到20 km,比靜態(tài)優(yōu)化下提前0.3 s;加速過程與勻速行駛過程中靜態(tài)優(yōu)化下電機(jī)平均效率為82%,動(dòng)態(tài)優(yōu)化下電機(jī)平均效率為92%,電機(jī)效率提升了10%。

4.2 旋耕模式

在旋耕模式下,對(duì)PTO軸施加固定載荷,拖拉機(jī)加速到15 km/h后勻速前進(jìn),此時(shí)拖拉機(jī)工作模式由1迅速切換為2,驅(qū)動(dòng)電機(jī)部分動(dòng)力經(jīng)過Z1/Z2和Z3/Z4傳遞到PTO軸;拖拉機(jī)加速到15 km/h后并保持勻速行駛。經(jīng)過訓(xùn)練得到最佳傳動(dòng)比關(guān)系如圖9所示,經(jīng)過500次仿真,Z1/Z2的速比穩(wěn)定在2.6,Z3/Z4穩(wěn)定在2.2,由傳動(dòng)系統(tǒng)參數(shù)匹配確定Z1/Z2的齒數(shù)比為34/88,Z3/Z4的齒數(shù)比為36/79。旋耕模式下優(yōu)化后的傳動(dòng)比降低了1.6。

(a) 旋耕模式訓(xùn)練次數(shù)

分別在兩種不同的傳動(dòng)比下,仿真得出對(duì)應(yīng)的驅(qū)動(dòng)電機(jī)和PTO電機(jī)的控制規(guī)律與效率,如圖10所示。PTO軸采用定轉(zhuǎn)速輸出模式,從仿真結(jié)果得出,在動(dòng)態(tài)優(yōu)化和靜態(tài)優(yōu)化下PTO軸都能很快地達(dá)到350 r/min,并且能夠保持穩(wěn)定輸出;動(dòng)態(tài)計(jì)算下拖拉機(jī)2.5 s時(shí)達(dá)到目標(biāo)車速15 km/h,靜態(tài)優(yōu)化下3.5 s時(shí)達(dá)到目標(biāo)車速,加速時(shí)間提前了1 s;動(dòng)態(tài)計(jì)算下驅(qū)動(dòng)電機(jī),PTO電機(jī)工作的平均效率為95%,比靜態(tài)優(yōu)化下提高了5%。

(a) 靜態(tài)Z1/Z2=31/99,Z3/Z4=29/93

5 結(jié)論

1) 依據(jù)東方紅1804拖拉機(jī)參數(shù),通過靜態(tài)計(jì)算確定電機(jī)選型與雙電機(jī)耦合傳動(dòng)系統(tǒng)速比;然后對(duì)雙電機(jī)耦合傳動(dòng)系統(tǒng)建模,采用DDPG算法,以耦合傳動(dòng)比最小,加速時(shí)間最短,電機(jī)效率最高構(gòu)建目標(biāo)函數(shù);通過Simscape搭建拖拉機(jī)傳動(dòng)系統(tǒng)模型關(guān)聯(lián)到Simulink中創(chuàng)建的拖拉機(jī)仿真環(huán)境;迭代過程中自動(dòng)匹配電機(jī)耦合規(guī)律,排除因固定耦合規(guī)律對(duì)不同傳動(dòng)比的影響。

2) 選擇在較大負(fù)荷下的運(yùn)輸模式和旋耕模式進(jìn)行優(yōu)化,動(dòng)態(tài)優(yōu)化結(jié)果顯示:在運(yùn)輸模式下,傳動(dòng)比下降了10.9%,拖拉機(jī)從0～20 km/h時(shí)間提前了13.6%,電機(jī)綜合效率提升10%。在旋耕模式下,傳動(dòng)比下降了25%,拖拉機(jī)從0～15 km/h時(shí)間提前了28.5%,電機(jī)綜合效率提升5%,PTO跟隨性能優(yōu)化前后基本保持一致。