基于SAC的永磁同步電機(jī)智能控制算法*

鄢 霞,何 勇,張慶銘,姚凱學(xué),楊秀文

(1.貴州大學(xué)a.公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室;b.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,貴陽(yáng) 550025;2.貴州民族大學(xué)數(shù)據(jù)科學(xué)與信息工程學(xué)院,貴陽(yáng) 550025)

0 引言

永磁同步電機(jī)(permanent magnet synchronous motor,PMSM)具有尺寸小、控制方便、轉(zhuǎn)矩精度高和動(dòng)態(tài)性能好等優(yōu)點(diǎn),在工業(yè)領(lǐng)域具有極其廣泛的應(yīng)用,如航空航天、工業(yè)機(jī)器人等領(lǐng)域[1]。當(dāng)永磁同步電機(jī)應(yīng)用于高精度控制系統(tǒng)時(shí),需要更快的響應(yīng)速度、更高的轉(zhuǎn)速精度和更寬的調(diào)速范圍。所以,PMSM的速度控制是一個(gè)重要的研究問題。PID控制方法是最早發(fā)展起來(lái)的控制策略之一,被廣泛應(yīng)用于工業(yè)過程控制[2]。但是在PMSM系統(tǒng)中,當(dāng)電機(jī)負(fù)載轉(zhuǎn)矩?zé)o規(guī)則變化、內(nèi)部參數(shù)易變等情況時(shí),使用PID方法難以實(shí)現(xiàn)精確控制[3]。因此,研究PMSM中的智能控制對(duì)提高系統(tǒng)的總體性能有著重要的現(xiàn)實(shí)意義。

深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning,DRL)不依賴于具體的環(huán)境內(nèi)部信息,它憑借深度學(xué)習(xí)對(duì)復(fù)雜環(huán)境的感知和理解能力,使用誤差反向傳播優(yōu)化目標(biāo)函數(shù);同時(shí)憑借強(qiáng)化學(xué)習(xí)在序列決策問題中的優(yōu)勢(shì)定義控制策略[4]。DRL在一定程度上能夠解決一些復(fù)雜的自動(dòng)化控制問題。因此,DRL適用于存在大擾動(dòng)和參數(shù)易變的PMSM系統(tǒng)模型。

目前,國(guó)內(nèi)外學(xué)者對(duì)PMSM的智能控制問題有不少研究。RAHAYU、GAO等[5-8]提出基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法實(shí)現(xiàn)PMSM的智能控制,如利用粒子群優(yōu)化算法、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)方法調(diào)整電機(jī)PID控制參數(shù)。這些方法一定程度上解決了電機(jī)在負(fù)載時(shí)傳統(tǒng)控制方法人工經(jīng)驗(yàn)調(diào)參的不足。但基于神經(jīng)網(wǎng)絡(luò)的PID控制方法應(yīng)用于電機(jī)的參數(shù)調(diào)整存在訓(xùn)練模型較大。因此,SONG等[9]基于深度強(qiáng)化學(xué)習(xí)DQN(deep Q-networks,DQN)算法提出一種PMSM的轉(zhuǎn)速控制方法,該方法將轉(zhuǎn)速控制建模為馬爾可夫決策問題,并將實(shí)際轉(zhuǎn)速大小和轉(zhuǎn)速誤差作為輸入,預(yù)測(cè)下一時(shí)刻的最佳轉(zhuǎn)速,從而得到相應(yīng)的最優(yōu)調(diào)節(jié)方案。雖然DQN方法在PMSM的轉(zhuǎn)速控制中取得了不錯(cuò)效果,但該方法局限于處理離散動(dòng)作問題。對(duì)于具有非線性、多變量、強(qiáng)耦合的PMSM系統(tǒng)而言,其控制效果無(wú)疑大打折扣。因此,有相關(guān)研究對(duì)其進(jìn)行優(yōu)化,即引入深度確定性策略梯度(deep deterministic policy gradient,DDPG)方法,其在DQN基礎(chǔ)上擴(kuò)展到用于處理連續(xù)動(dòng)作問題。CHEN、張振宇等[10-13]基于DDPG算法提出一種自適應(yīng)控制方法應(yīng)用在電機(jī)和伺服系統(tǒng)中,其主要思想是利用DDPG智能控制器代替?zhèn)鹘y(tǒng)PID控制中的速度回路和電流回路實(shí)現(xiàn)控制。實(shí)驗(yàn)結(jié)果顯示該算法能有效提升電機(jī)和伺服系統(tǒng)的快速性、穩(wěn)定性及抗干擾能力。雖然該算法在控制電機(jī)上有較好的性能,但訓(xùn)練時(shí)存在對(duì)超參數(shù)敏感、探索能力弱、容易陷入局部最優(yōu)和過估計(jì)等問題,進(jìn)而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過擬合以及收斂較慢。

綜上所述,針對(duì)上述方法的不足,本文引入最大熵DRL算法(soft actor-critic,SAC),該方法具有較好的探索能力、魯棒性和泛化能力。另外,其在目標(biāo)函數(shù)中加入信息熵,使策略更加隨機(jī)化,當(dāng)系統(tǒng)面對(duì)干擾時(shí)更容易做出調(diào)整,與此同時(shí)還能提高訓(xùn)練速度。因此,本文通過建立PMSM數(shù)學(xué)模型,根據(jù)模型特點(diǎn)確定q軸電壓為動(dòng)作輸出,設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù),并通過系統(tǒng)數(shù)據(jù)訓(xùn)練得到SAC代理直接替換傳統(tǒng)PID控制中的速度環(huán)實(shí)現(xiàn)PMSM的智能控制。

1 PMSM模型的建立

本文智能控制的對(duì)象為PMSM,首先給出PMSM的數(shù)學(xué)模型,然后在MATLAB/Simulink上搭建仿真環(huán)境。由于直接對(duì)PMSM微分方程進(jìn)行分析較為復(fù)雜,所以采用坐標(biāo)變化法對(duì)其進(jìn)行簡(jiǎn)化[14]。因此,本文只對(duì)d-q軸進(jìn)行分析,d-q軸下電機(jī)的電壓方程為:

(1)

此外,d-q軸下磁鏈方程為:

(2)

將式(2)代入式(1)得到:

(3)

式中:ud、uq表示d、q軸的電壓,id、iq表示d、q軸的電流,Ld、Lq表示d、q軸的電感,ψd、ψq表示d、q軸的磁鏈,ψf表示永磁體磁鏈,Rs表示定子電阻,ωe表示電機(jī)的電角速度。

在PID控制中,通常需用控制電流的方式實(shí)現(xiàn)電子換相功能,但從式(3)中可知,d-q軸電流具有較強(qiáng)的耦合關(guān)系。為實(shí)現(xiàn)d-q軸電流靜態(tài)解耦,需要將d軸電流設(shè)置為id=0,因此得到:

(4)

根據(jù)式(4)可知,d軸電壓僅與iq有關(guān),僅控制iq就能得到轉(zhuǎn)矩大小。并且當(dāng)id=0時(shí)也可降低PMSM的損耗?；谝陨嫌懻?建立了PMSM模型,為后續(xù)搭建仿真環(huán)境奠定基礎(chǔ)。

2 基于SAC智能控制器的設(shè)計(jì)

SAC是一種DRL算法,它具有穩(wěn)定性好、探索能力強(qiáng)和魯棒性高等特點(diǎn),可以有效防止策略過早地收斂到一個(gè)糟糕的局部最優(yōu)解[15]。同時(shí),SAC克服了DQN以及DDPG算法在智能控制中存在的不足。因此,本文提出一種用SAC算法實(shí)現(xiàn)PMSM的智能控制方法。圖1為基于SAC智能控制的原理圖。由圖1可知,將基于SAC智能控制分為兩個(gè)模塊,首先是SAC智能控制器模塊,該模塊替換傳統(tǒng)PID控制中的速度環(huán)直接輸出q軸電壓。緊接著將d-q軸電壓經(jīng)過坐標(biāo)轉(zhuǎn)換、空間矢量脈寬調(diào)制模塊和逆變器實(shí)現(xiàn)控制PMSM,并通過PMSM反饋實(shí)際電機(jī)轉(zhuǎn)速實(shí)現(xiàn)智能控制。

圖1 基于SAC智能控制原理

對(duì)于傳統(tǒng)PID控制,當(dāng)存在負(fù)載轉(zhuǎn)矩?zé)o規(guī)則變化時(shí),易導(dǎo)致控制系統(tǒng)出現(xiàn)超調(diào)現(xiàn)象。與傳統(tǒng)PID不同,SAC智能控制器因引入最大熵可以使策略更加隨機(jī)化,而且在訓(xùn)練時(shí)熵最大化使得策略可以更好的泛化各種擾動(dòng),使得在實(shí)驗(yàn)驗(yàn)證時(shí)即使出現(xiàn)負(fù)載轉(zhuǎn)矩?zé)o規(guī)則變化等情況時(shí),算法也不會(huì)出現(xiàn)超調(diào)現(xiàn)象。這表明該方法能充分利用系統(tǒng)輸入輸出數(shù)據(jù)之間的關(guān)系實(shí)現(xiàn)PMSM的高性能智能控制。

2.1 狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

2.1.1 狀態(tài)空間(State Space)

狀態(tài)空間是環(huán)境中所有可能狀態(tài)的集合,通過狀態(tài)空間使PMSM能夠制定更好的智能控制策略。

(5)

2.1.2 動(dòng)作空間(Action Space)

動(dòng)作是智能體根據(jù)狀態(tài)做出的決策。在本文的SAC智能控制器中,將uq作為連續(xù)動(dòng)作輸出,與DDPG智能控制的確定性策略方法相比,SAC智能控制器是隨機(jī)策略方法,每個(gè)狀態(tài)下輸出的動(dòng)作不同,可以增加智能控制器的抗干擾能力,使PMSM控制系統(tǒng)更穩(wěn)定。因此本文動(dòng)作空間定義為:

at={uq}

(6)

2.1.3 獎(jiǎng)勵(lì)函數(shù)(Reward Function)

獎(jiǎng)勵(lì)為智能體在當(dāng)前狀態(tài)st下采取某個(gè)動(dòng)作at后環(huán)境給予的反饋信號(hào)。獎(jiǎng)勵(lì)值越大,表明在當(dāng)前狀態(tài)下采取該動(dòng)作是有利的;相反則表明動(dòng)作與實(shí)際輸出存在較大誤差。為了提高PMSM的控制性能,本文中獎(jiǎng)勵(lì)定義為:

(7)

式中:|e(t)|表示參考速度與實(shí)際速度之間的誤差,通過大量實(shí)驗(yàn)驗(yàn)證,當(dāng)ε=-1/1000,χ=2000,η=-100時(shí),所得到的獎(jiǎng)勵(lì)函數(shù)能較好的引導(dǎo)SAC代理找到最優(yōu)策略。當(dāng)誤差絕對(duì)值大于χ=2000時(shí),將會(huì)得到η=-100的負(fù)獎(jiǎng)勵(lì),表明此時(shí)的動(dòng)作在當(dāng)前狀態(tài)下已偏離正確動(dòng)作范圍,即懲罰。當(dāng)誤差絕對(duì)值小于χ=2000時(shí)表明智能體在學(xué)習(xí)正確的策略,能夠做出正確動(dòng)作,此時(shí)得到正獎(jiǎng)勵(lì)。

2.2 SAC智能控制算法

對(duì)于傳統(tǒng)的DRL算法,如DQN、DDPG等,其學(xué)習(xí)目標(biāo)是直接學(xué)習(xí)一個(gè)策略使得累加的獎(jiǎng)勵(lì)期望值最大化為:

(8)

但SAC與一般DRL算法存在區(qū)別,前者將信息熵加入到目標(biāo)函數(shù)中作為待優(yōu)化的目標(biāo)之一。具體地,SAC嘗試讓智能體的預(yù)期回報(bào)最大化,同時(shí)也讓策略熵最大化,即在最大化獎(jiǎng)勵(lì)的同時(shí)使智能體盡可能采取隨機(jī)的動(dòng)作,以增加智能體的魯棒性和探索能力[16]。SAC的優(yōu)化目標(biāo)為:

(9)

式中:π*表示最優(yōu)策略,st和at分別為t時(shí)刻的狀態(tài)值和動(dòng)作值,H(π(·|st))表示在st時(shí),策略π采取動(dòng)作的熵值,熵值越高表明策略給出的動(dòng)作不確定性越大,從而獲得更強(qiáng)的魯棒性和探索能力。為了控制熵對(duì)策略的影響,引入溫度系數(shù)α進(jìn)行調(diào)控,其決定熵相對(duì)于獎(jiǎng)勵(lì)的重要程度,控制策略的隨機(jī)程度[17]。

SAC算法包含1個(gè)Actor網(wǎng)絡(luò)和4個(gè)Qi(i=1,2)Critic網(wǎng)絡(luò)。Actor負(fù)責(zé)與PMSM環(huán)境交互,QiCritic負(fù)責(zé)輔助Actor的訓(xùn)練,指導(dǎo)Actor執(zhí)行較好的行為策略。其算法的迭代過程主要分為兩個(gè)階段,即策略評(píng)估和策略提升,具體過程如圖2所示。

圖2 SAC算法流程圖

根據(jù)圖2可知,Actor觀察環(huán)境狀態(tài)st,并依據(jù)當(dāng)前狀態(tài)st執(zhí)行動(dòng)作at,當(dāng)前動(dòng)作at作用于環(huán)境后,使環(huán)境狀態(tài)發(fā)生改變并進(jìn)入下一狀態(tài)st+1,同時(shí)獲得環(huán)境反饋的獎(jiǎng)勵(lì)rt。定義et={st,at,st+1,rt}表示一條經(jīng)驗(yàn)樣本數(shù)據(jù),并將其存入經(jīng)驗(yàn)池(experience replay buffer,ERB)中以供網(wǎng)絡(luò)參數(shù)的訓(xùn)練更新。當(dāng)ERB中存儲(chǔ)的樣本數(shù)據(jù)達(dá)到一定數(shù)量后,從ERB中隨機(jī)取出小批量樣本(mini-batch)分別更新Actor和QiCritic網(wǎng)絡(luò)參數(shù)。而對(duì)于QiCritic目標(biāo)網(wǎng)絡(luò)參數(shù)是定期的把QiCritic網(wǎng)絡(luò)的參數(shù)以軟更新的方式進(jìn)行。

(1)策略評(píng)估。策略評(píng)估指在策略網(wǎng)絡(luò)Actor的網(wǎng)絡(luò)參數(shù)固定不變的情況下,更新軟QiCritic網(wǎng)絡(luò)參數(shù)的過程。因此,對(duì)于SAC中的軟Qi函數(shù)Qθ(st,at)需要更新的網(wǎng)絡(luò)參數(shù)為θ。軟Qi函數(shù)使用軟貝爾曼殘差最小為:

(10)

V(st)=Eat～π[Q(st,at)-αlogπ(at|st)]

(11)

同時(shí)對(duì)參數(shù)θ的更新方式是使用梯度進(jìn)行優(yōu)化:

(12)

(13)

(2)策略提升。策略提升指在軟QCritic網(wǎng)絡(luò)參數(shù)不變的情況下,更新策略網(wǎng)絡(luò)Actor的網(wǎng)絡(luò)參數(shù)的過程。具體為使用式(9)求解最大化熵正則化獎(jiǎng)勵(lì)的優(yōu)化。其優(yōu)化過程為:

(14)

式中:Z(s)是歸一化常數(shù),表示為:

(15)

為使網(wǎng)絡(luò)的參數(shù)是正向更新的,即當(dāng)前更新步的參數(shù)相比于前一更新步的參數(shù)更優(yōu)。因此,使用KL(kullback leibler,KL)散度衡量前后更新步網(wǎng)絡(luò)參數(shù)的差異[16]為:

(16)

軟策略迭代拓展到更實(shí)用的函數(shù)近似設(shè)定下時(shí),它采用在價(jià)值函數(shù)和策略函數(shù)之間進(jìn)行交替優(yōu)化的方式學(xué)習(xí),而不僅僅通過估計(jì)策略π的Q值來(lái)提升策略。與確定性策略算法相比,SAC網(wǎng)絡(luò)輸出的并不是一個(gè)確定的可執(zhí)行動(dòng)作,而是一個(gè)分布函數(shù),對(duì)分布函數(shù)進(jìn)行采樣得到可執(zhí)行的動(dòng)作。控制策略的目標(biāo)函數(shù)為:

Jπ(φ)=Est～D[Eat～πφ[αlog(πφ(at|st))-Qθ(st,at)]]

(17)

由于SAC中Actor網(wǎng)絡(luò)輸出的策略是一個(gè)分布,動(dòng)作at是根據(jù)策略采樣得到,無(wú)法對(duì)其進(jìn)行直接求導(dǎo),因此需使用重新參數(shù)化技巧進(jìn)行重構(gòu)[16]為:

at=fφ(εt,st)

(18)

式中:εt是一個(gè)單位高斯分布,f是一個(gè)關(guān)于ε的表達(dá)式。通過式(18)得到控制策略的優(yōu)化目標(biāo)函數(shù)為:

Jπ(φ)=Est～D,εt～N[αlog(πφ(fφ(εt;st|st))-
Qθ(st,fφ(εt;st))]

(19)

同理,利用式(19)即可對(duì)參數(shù)φ使用隨機(jī)梯度進(jìn)行優(yōu)化得到:

(20)

式中:▽?duì)毡硎緦?duì)φ進(jìn)行求導(dǎo),▽at表示對(duì)at進(jìn)行求導(dǎo)。類似地,策略網(wǎng)絡(luò)更新其網(wǎng)絡(luò)參數(shù)的實(shí)現(xiàn)過程為:

(21)

隨著策略逐漸變得更好,熵可能會(huì)在任務(wù)之間和訓(xùn)練期間發(fā)生不可預(yù)測(cè)的變化。此時(shí),需要自動(dòng)更新超參數(shù)溫度系數(shù)α,在最大化預(yù)期收益的同時(shí)策略應(yīng)該滿足最小熵的約束。通過最小化相同的目標(biāo)函數(shù)來(lái)學(xué)習(xí)每一步的最佳溫度參數(shù),即可得到計(jì)算α的梯度目標(biāo)為:

(22)

同理,溫度系數(shù)α更新其網(wǎng)絡(luò)參數(shù)的實(shí)現(xiàn)過程為:

(23)

最后得到更新目標(biāo)網(wǎng)絡(luò)權(quán)重的實(shí)現(xiàn)過程為:

(24)

式中:τ表示目標(biāo)網(wǎng)絡(luò)更新步長(zhǎng)。綜上所述,本文基于SAC智能控制算法具體過程如表1所示。

表1 最大熵SAC智能控制算法

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文使用MATLAB/Simulink對(duì)SAC智能控制算法進(jìn)行仿真分析。在本節(jié)中,首先需要根據(jù)第一節(jié)所建立的數(shù)學(xué)模型搭建仿真環(huán)境,搭建仿真環(huán)境使用的主要參數(shù)如表2所示。

表2 永磁同步電機(jī)參數(shù)

利用表2參數(shù)在MATLAB/Simulink上搭建仿真環(huán)境,圖3為SAC智能控制系統(tǒng)架構(gòu)圖。

圖3 SAC智能控制系統(tǒng)架構(gòu)圖

根據(jù)圖3可知,SAC智能控制系統(tǒng)架構(gòu)包含3個(gè)模塊,分別是PMSM模塊、處理模塊和DRL代理模塊。其中,PMSM模塊包括環(huán)境的內(nèi)部信息,當(dāng)其運(yùn)行時(shí),將產(chǎn)生式(5)中定義的環(huán)境狀態(tài)信息并提交給處理模塊。處理模塊將處理環(huán)境觀測(cè)信息st,并反饋DRL代理模塊做出的決策動(dòng)作所得到的獎(jiǎng)勵(lì)rt以及是否終止訓(xùn)練等信息。DRL代理模塊則根據(jù)處理模塊中的觀測(cè)信息st,做出具體的速度控制策略,輸出具體的電壓值uq。

另外,在本文搭建的DRL代理網(wǎng)絡(luò)模型包含一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層,且相關(guān)層的主要網(wǎng)絡(luò)參數(shù)說明如表3所示。

表3 SAC智能控制器的訓(xùn)練參數(shù)

3.2 實(shí)驗(yàn)結(jié)果對(duì)比分析

本文在恒速和變速條件下,比較并分析了傳統(tǒng)PID控制、DDPG智能控制方法和SAC智能控制方法的性能,驗(yàn)證了SAC智能控制適用于PMSM調(diào)速系統(tǒng)。

3.2.1 恒速

考慮到負(fù)載對(duì)系統(tǒng)的干擾,本文將電機(jī)的給定轉(zhuǎn)速設(shè)置為Nref=1000 r/min的恒速狀態(tài),分別對(duì)比空載、負(fù)載和負(fù)載突變情況下上述3種方法的控制性能。其中,藍(lán)線表示設(shè)置的參考值,綠色虛線表示傳統(tǒng)PID控制,紅色虛線表示SAC智能控制以及黑色虛線表示DDPG智能控制。當(dāng)負(fù)載轉(zhuǎn)矩TL=0 N·m,此時(shí)空載啟動(dòng)的仿真結(jié)果如圖4所示。

圖4 恒速空載速度對(duì)比圖 圖5 恒速負(fù)載速度對(duì)比圖

從圖4可知,在空載下啟動(dòng),就波動(dòng)幅度和跟蹤速度而言,PID的最大速度誤差和收斂時(shí)間分別約為200 rpm和0.12 s。DDPG的最大速度誤差和收斂時(shí)間分別約為150 rpm和0.09 s。而SAC的最大速度誤差和收斂時(shí)間最小分別約為90 rpm和0.05 s。

當(dāng)負(fù)載轉(zhuǎn)矩設(shè)置為TL=50 N·m,在負(fù)載下的仿真結(jié)果如圖5所示。

從圖5可知,在負(fù)載下啟動(dòng),波動(dòng)幅度和收斂時(shí)間分別是PID的最大速度誤差和收斂時(shí)間分別約為270 rpm和0.15 s。DDPG的最大速度誤差和收斂時(shí)間分別約為210 rpm和0.13 s。而SAC的最大速度誤差和收斂時(shí)間最小,分別約為180 rpm和0.1 s。綜上分析表明SAC智能控制器沒有實(shí)現(xiàn)速度超調(diào),能快速跟蹤到參考速度。

當(dāng)負(fù)載轉(zhuǎn)矩啟動(dòng)時(shí)TL=0 N·m,在0.5 s時(shí)突變?yōu)門L=50 N·m,如圖6所示為3種方法的對(duì)比結(jié)果圖。

圖6 恒速負(fù)載突變速度對(duì)比圖

從圖6可知,箭頭所指為負(fù)載轉(zhuǎn)矩TL在0.5 s時(shí)突變的放大。在0 s時(shí)波動(dòng)幅度和收斂時(shí)間與圖4、圖5分析一致。在0.5 s時(shí)負(fù)載轉(zhuǎn)矩突變,3種算法均發(fā)生不同幅度的波動(dòng),PID的波動(dòng)幅度最大速度誤差約為18 rpm;DDPG波動(dòng)幅度最大速度誤差約為7 rpm,而SAC的波動(dòng)幅度最大速度誤差約為5 rpm,是3種方法里最穩(wěn)定的。從以上分析結(jié)果表明,在突變負(fù)載的條件下,SAC具有較好的抗干擾能力和魯棒性。

3.2.2 變速

為進(jìn)一步證明所提出的SAC智能控制方案的有效性,本文的另一種工況是轉(zhuǎn)速基于正弦波變化。其中,給定的參考轉(zhuǎn)速信號(hào)振幅在[500,1500] rpm之間呈正弦規(guī)律變化,正弦波的交流頻率為10 Hz。

與恒速驗(yàn)證的情況相同,首先是負(fù)載轉(zhuǎn)矩TL=0 N·m,空載啟動(dòng)得到速度的變化情況如圖7所示。

圖7 變速空載速度對(duì)比圖 圖8 變速負(fù)載速度對(duì)比圖

另一種是負(fù)載轉(zhuǎn)矩變?yōu)門L=50 N·m,其速度的變化情況如圖8所示。

從圖7和圖8可以清晰地觀察到。在初始啟動(dòng)時(shí),SAC智能控制的跟蹤性能明顯優(yōu)于另兩種方法。傳統(tǒng)的PID方法不能及時(shí)跟蹤設(shè)定的正弦參考速度信號(hào),在圖7、圖8中PID方法最大的速度誤差約為200 rpm,圖7需要0.1 s才收斂至參考速度,圖8需要0.15 s才收斂。與此相對(duì)應(yīng)的是DDPG,波動(dòng)幅度最大的速度誤差是105 rpm,收斂時(shí)間約為0.09 s。但SAC的波動(dòng)幅度最小,最大的速度誤差才85 rpm,收斂時(shí)間約為0.07 s即可快速收斂至參考值。綜上分析可知,即使轉(zhuǎn)速成正弦波變化,無(wú)論是空載啟動(dòng)還是在負(fù)載的情況下,SAC依然能夠快速跟蹤到設(shè)定的參考速度信號(hào)。

最后是負(fù)載轉(zhuǎn)矩在啟動(dòng)時(shí)TL=0 N·m,到0.5 s時(shí)突變?yōu)門L=50 N·m。如圖9所示為3種方法的實(shí)驗(yàn)結(jié)果對(duì)比圖。

圖9 變速負(fù)載突變速度對(duì)比圖

從圖9可知,在0 s時(shí)波動(dòng)幅度和收斂時(shí)間與圖7、圖8相同。與此同時(shí),當(dāng)負(fù)載轉(zhuǎn)矩TL在0.5 s突變時(shí),PID方法出現(xiàn)較大波動(dòng)且需要0.1 s后才能再次收斂至參考值。但基于DDPG和SAC的智能控制卻能保持很好的穩(wěn)定性,這表明智能控制在存在負(fù)載轉(zhuǎn)矩突變的情況下也沒有實(shí)現(xiàn)超調(diào)并且具有很好的跟蹤性能。

根據(jù)以上仿真結(jié)果分析可知,SAC智能控制方法相比于傳統(tǒng)的PID控制方法和DDPG方法而言,該方法在平均最大速度誤差分別提高約54.8%和24%,平均收斂時(shí)間分別提高約37.8%和27.8%。這表明SAC控制在遵循參考速度時(shí)具有更好的穩(wěn)定性和更高的跟蹤精度。此外,它可以顯著提高在負(fù)載轉(zhuǎn)矩突變等干擾下的魯棒性,增加了PMSM速度控制系統(tǒng)的整體伺服性能。

4 結(jié)束語(yǔ)

本文針對(duì)永磁同步電機(jī)存在干擾大、參數(shù)時(shí)變等導(dǎo)致傳統(tǒng)PID方法難以滿足系統(tǒng)控制需求問題。通過引入SAC算法,替換傳統(tǒng)PID控制中的速度環(huán),直接輸出電壓實(shí)現(xiàn)智能控制。首先建立永磁同步電機(jī)數(shù)學(xué)模型,然后設(shè)計(jì)SAC智能控制器,并在MATLAB/Simulink搭建仿真模型,最后在變負(fù)載和變轉(zhuǎn)速的不同情況下實(shí)現(xiàn)3種方法的實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明,相較于PID方法和DDPG智能控制而言,SAC智能控制方法可以增強(qiáng)對(duì)負(fù)載擾動(dòng)的魯棒性,具有較好的穩(wěn)定性,能夠提高PMSM速度控制系統(tǒng)的跟蹤性能。