基于BP神經(jīng)網(wǎng)絡(luò)的HPPC低溫SOC優(yōu)化估計(jì)①

唐 豪,張振東,吳 兵

(上海理工大學(xué) 機(jī)械工程學(xué)院,上海 200093)

在中國,很多地區(qū)的冬季溫度都在0 度左右,并且隨著電動汽車在國內(nèi)的普及,其核心部件鋰電池的低溫特性應(yīng)該滿足在特定環(huán)境下的使用要求.如何在低溫狀態(tài)下實(shí)時(shí)顯示估計(jì)鋰電池的實(shí)時(shí)容量對與電池狀態(tài)管理至關(guān)重要.電動汽車動力電池組荷電狀態(tài)(State Of Charge,SOC)、電池組健康狀態(tài)(State Of Health,SOH)、放電深度(Depth Of Discharge,DOD)、能量狀態(tài)(State Of Energy,SOE)、剩余壽命(ResidUal Life,RUL)等電池管理系統(tǒng)(Battery Management System,BMS)參數(shù)對鋰電池實(shí)施運(yùn)行狀態(tài)分析起到支撐作用[1].如何精準(zhǔn)預(yù)測電動汽車鋰電池實(shí)時(shí)荷電狀態(tài)對電池狀態(tài)管理,電池壽命,電池的保護(hù)是至關(guān)重要的,正確的電動汽車鋰電池實(shí)時(shí)荷電狀態(tài)精準(zhǔn)預(yù)測應(yīng)用在電動汽車產(chǎn)業(yè)領(lǐng)域上能夠大大提升電動汽車電池的安全性以及壽命.因此,準(zhǔn)確的預(yù)測電池的荷電狀態(tài)SOC 有利于推動電動汽車技術(shù)的進(jìn)步.電池的SOC與電池兩端的電壓,充放電時(shí)電池的瞬態(tài)電流,電池的溫度,電阻,電池的實(shí)驗(yàn)工況有關(guān).如何在每個(gè)瞬時(shí)精準(zhǔn)預(yù)測在當(dāng)前電流電壓下的電池實(shí)時(shí)SOC是工業(yè)界上一大難題.BP 具有較強(qiáng)的非線性映射能力,以及有不錯(cuò)的非線性泛化能力,但在網(wǎng)絡(luò)層數(shù)增加時(shí)容易陷入局部最小以及梯度離散的情況[2].傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)解決的是一個(gè)復(fù)雜非線性化問題,神經(jīng)網(wǎng)絡(luò)的權(quán)值大小是通過沿局部改善的方向逐漸進(jìn)行調(diào)整的,這樣會使算法陷入局部極值,權(quán)值收斂到局部極小點(diǎn),從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗.有效設(shè)計(jì)BP 神經(jīng)網(wǎng)絡(luò)能夠加強(qiáng)對學(xué)習(xí)率的約束、對梯度的影響以及減少訓(xùn)練損失.王晨等[3]基于粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)估算動力電池SOC,結(jié)果顯示該方法具有較高的精度以及收斂速度,并且粒子群優(yōu)化算法缺乏速度的動態(tài)性調(diào)節(jié),容易陷入局部最優(yōu),不易收斂精度低,參數(shù)控制也較為困難.因此在這里提出了基于HPPC 實(shí)驗(yàn)工況數(shù)據(jù)為基礎(chǔ)的一種構(gòu)建以全連接層為基底的,選取Nadam 優(yōu)化算法以及Log-cosh 損失函數(shù)的網(wǎng)絡(luò)模型構(gòu)建方法.

1 深度前饋網(wǎng)絡(luò)總體架構(gòu)設(shè)計(jì)

深度前饋網(wǎng)絡(luò)設(shè)計(jì)的難點(diǎn)在于如何確定不同層所具有的單元數(shù),以及單元間的連接方式.深度前饋神經(jīng)網(wǎng)絡(luò),以輸入層,隱藏層,輸出層為基礎(chǔ)網(wǎng)絡(luò)架構(gòu),通過損失函數(shù)度量真實(shí)值與預(yù)測值之間的損失,進(jìn)一步通過梯度下降法求取權(quán)重系數(shù)矩陣W與偏倚向量b.測試樣本通過輸入層傳入所獲得的逼近函數(shù),輸出測試結(jié)果.圖1為對深度神經(jīng)網(wǎng)絡(luò)化模型基礎(chǔ)構(gòu)架模糊化描述,將輸入簡化為電流電壓,每兩層的節(jié)點(diǎn)采用全連接的方式,共有L層網(wǎng)絡(luò)層,輸出節(jié)點(diǎn)為SOC,wL(L?1)為每兩層之間的連接權(quán)重.

針對實(shí)驗(yàn)工況數(shù)據(jù)進(jìn)行深度神經(jīng)網(wǎng)絡(luò)化模型基礎(chǔ)構(gòu)架具體化構(gòu)建.

基于圖1所示全連接型深度神經(jīng)網(wǎng)絡(luò)化模型模糊化基礎(chǔ)構(gòu)架,本文以鋰電池的電壓U和電流I 以及時(shí)間節(jié)點(diǎn)T為輸入,電荷狀態(tài)SOC為輸出,搭建符合HPPC工況實(shí)驗(yàn)的數(shù)據(jù)集具體化深度網(wǎng)絡(luò)模型,對于具體化深度網(wǎng)絡(luò)模型則具有3 個(gè)神經(jīng)網(wǎng)絡(luò)輸入元,并且對模糊化深度前饋網(wǎng)絡(luò)層數(shù)與節(jié)點(diǎn)數(shù)進(jìn)行數(shù)值具體化.

圖1 深度前饋神經(jīng)網(wǎng)絡(luò)構(gòu)架

首先,進(jìn)行BP 神經(jīng)網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)以及層數(shù)的選取.對于網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)以及層數(shù)的選取都是基于深度前饋網(wǎng)絡(luò)總體全連接式模糊化架構(gòu)的條件下進(jìn)行的.

關(guān)于BP 神經(jīng)網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)問題的討論有以下幾個(gè)方法:

1)張清良等[4]學(xué)者指出對于神經(jīng)網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)、輸入節(jié)點(diǎn)、輸出節(jié)點(diǎn)與分類數(shù)的關(guān)系為:

式中,Nhid為隱藏層節(jié)點(diǎn)數(shù);Nin為輸入結(jié)點(diǎn)數(shù);Nout為輸出節(jié)點(diǎn)數(shù);Nc為分類數(shù).

2) Nielsen[5]在1987年提出了Kolmogorov 定理,給定任一連續(xù)函數(shù):

式中,f可以精準(zhǔn)地用一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn),隱藏層的節(jié)點(diǎn)數(shù)與輸入層節(jié)點(diǎn)數(shù)之間的關(guān)系為:

式中,n為輸入層節(jié)點(diǎn)數(shù);S為隱藏層節(jié)點(diǎn)數(shù).

3)隱含層節(jié)點(diǎn)數(shù)設(shè)計(jì)的經(jīng)驗(yàn)公式[6]:

式中,n為輸入層節(jié)點(diǎn)數(shù);m為輸出層節(jié)點(diǎn)數(shù);d為1 ～10之間的整數(shù).

針對Dense 全連接層為主體自主構(gòu)建的非線性深度前饋網(wǎng)絡(luò)以及HPPC 工況所采取的40 萬條數(shù)據(jù)量,因此BP 神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)以及網(wǎng)絡(luò)層數(shù)的設(shè)計(jì)至關(guān)重要.相比于式(1)與式(3)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)選取方法由于經(jīng)驗(yàn)式(4)計(jì)算得到的節(jié)點(diǎn)數(shù)最能夠使收斂速度以及網(wǎng)絡(luò)精度提升,所以采用經(jīng)驗(yàn)式(4)疊加網(wǎng)絡(luò)層數(shù)以及網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的方法來選取最佳的網(wǎng)絡(luò)結(jié)構(gòu)模型.

輸入層節(jié)點(diǎn)數(shù)n為3,輸出層節(jié)點(diǎn)數(shù)m為1,所以對于不同層隱含層節(jié)點(diǎn)數(shù)取值范圍在3～13.分別取隱含層從1～5 疊加,每層隱含層節(jié)點(diǎn)數(shù)分別取自3～13,進(jìn)行神經(jīng)網(wǎng)絡(luò)層的訓(xùn)練,每次訓(xùn)練60 輪,得到不同層數(shù)隱含層的MAE 值與Loss 值如表1.

表1 基于Adam、Log-cosh 不同層數(shù)與節(jié)點(diǎn)數(shù)對比

表1所示再設(shè)計(jì)BP 深度前饋網(wǎng)絡(luò)時(shí),依據(jù)經(jīng)驗(yàn)式(4),采用疊加網(wǎng)絡(luò)層數(shù)以及網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的方法可以發(fā)現(xiàn)在隱藏層數(shù)為3 層,隱藏節(jié)點(diǎn)數(shù)為11-9-12 時(shí)所取得的模型效果最好,MAE 值為0.0309,Loss 值為0.0009.因此在接下來的優(yōu)化實(shí)驗(yàn)中,采取此種深度網(wǎng)絡(luò)模型來進(jìn)行后續(xù)實(shí)驗(yàn)操作.

2 深度前饋網(wǎng)絡(luò)模型優(yōu)化

2.1 優(yōu)化器的選取

優(yōu)化器是用來計(jì)算更新影響模型訓(xùn)練和輸出的權(quán)重系數(shù)矩陣W與偏倚向量b,通過優(yōu)化損失函數(shù),減小loss 值,提升模型的準(zhǔn)確度.

對于自適應(yīng)學(xué)習(xí)率優(yōu)化算法則有AdaGrad、RMSProp、Adam、Nadam 等.

在上世紀(jì)50年代提出的SGD[7]隨機(jī)梯度下降算法梯度下降速度快,但因?yàn)閰?shù)更新頻繁,會造成損失函數(shù)嚴(yán)重震蕩,不易收斂.

2011年提出的AdaGrad 算法[8],在學(xué)習(xí)率的變化化過程中進(jìn)行了調(diào)整,對于具有不同偏導(dǎo)參數(shù)學(xué)習(xí)率下降效果不同.

2012年提出的RMSProp 算法[9]修改AdaGrad 算法在非凸設(shè)定效果下更好,改變梯度積累為指數(shù)加權(quán)的移動平均.

2014年提出的Adam 算法[10],動量直接并入了梯度一節(jié)據(jù)估計(jì),對于超參數(shù)有很好的魯棒性.

Nadam 算法[11],在Adam 基礎(chǔ)上加入NAG 思想,對學(xué)習(xí)率有了更強(qiáng)的約束,同時(shí)對梯度的更新也有更直接的影響.它的具體更新如下:

式中,θ為初始參數(shù);H?1為Hessian 逆;g為估計(jì)梯度.

下面將對5 種優(yōu)化器應(yīng)用在模型效果最好的8 層隱藏模型中,進(jìn)行對比選取最優(yōu)優(yōu)化器進(jìn)行實(shí)驗(yàn).圖2為5 種優(yōu)化器對比.

圖2 基于Log-cosh 各類優(yōu)化器對比

由圖2可知,在選定的神經(jīng)網(wǎng)絡(luò)框架下,以Nadam作為優(yōu)化器,使得學(xué)習(xí)率有了更強(qiáng)的約束,作為Nesterov accelerated gradient與Adam 的結(jié)合算法,在訓(xùn)練中達(dá)到的效果更優(yōu).并且相對于SGD,AdaGrad、RMSProp、Adam 這4 種優(yōu)化器,Nadam 優(yōu)化器所達(dá)到的MAE,MSE與損失值都為最小值,MAE為0.0524,MSE為0.0042,Loss為0.0125,因此選取Nadam 優(yōu)化器作為模型優(yōu)化器.這是基于Log-cosh 損失函數(shù)的優(yōu)化效果,為了進(jìn)一步提升整個(gè)訓(xùn)練效果,將對損失函數(shù)進(jìn)行優(yōu)化.

2.2 損失函數(shù)的優(yōu)化選擇

在神經(jīng)網(wǎng)絡(luò)中,損失函數(shù)是要優(yōu)化的目標(biāo),是用來評價(jià)網(wǎng)絡(luò)模型預(yù)測值與真實(shí)值Y之間的誤差,損失值L(Y,)越小,模型的性能就越好,針對數(shù)據(jù)類型,以及要得到的回歸參數(shù)SOC,對應(yīng)采取Loss 值最小的損失函數(shù).

1) MSE是預(yù)測值與真實(shí)值之間的歐氏距離值,這種方法計(jì)算簡單,是一種很好的相似形度量標(biāo)準(zhǔn).

2) MAE 就是直接計(jì)算出顯著性圖譜與真值Groundtruth 之間的平均絕對誤差,是對數(shù)據(jù)的絕對誤差求平均.

3) Huber 損失(平滑平均絕對誤差)[12]結(jié)合MSE,MAE 的優(yōu)點(diǎn),一階可導(dǎo)當(dāng)損失很小時(shí)采用平方損失,當(dāng)損失很大時(shí)采用絕對損失,他會由于梯度的逐漸減小落在最小值的附近,對于異常點(diǎn)的魯棒性更加.

4) Log-cosh 損失[13]是回歸任務(wù)中另一個(gè)函數(shù),他所預(yù)測的是誤差的雙曲線余弦的對數(shù).他的損失函數(shù)定義公式如下:

式中,L(Y,)為損失值;N為樣本數(shù);為預(yù)測值;yi為真實(shí)值.

下面將對4 種損失函數(shù)應(yīng)用在模型效果最好的3 層隱藏模型中,使用測試數(shù)據(jù)進(jìn)行評估對比選取最優(yōu)損失函數(shù)進(jìn)行實(shí)驗(yàn).表2為4 種損失函數(shù)對比.

表2 基于Log-cosh 各類優(yōu)化器對比

4種損失函數(shù)的Loss 隨迭代次數(shù)Epoch 變化曲線如圖3.

圖3 4 種損失函數(shù)的Loss 變化曲線

由表2與圖3可以看出將Log-cosh 作為損失函數(shù)進(jìn)行模型的優(yōu)化所得到的Loss 最小,損失曲線也更為平滑連接.

2.3 過擬合解決措施

對于HPPC 低溫工況下測得的數(shù)據(jù),將PAU 停止工作階段數(shù)據(jù)進(jìn)行剔除,將CHA 充電階段與DCH 放電階段數(shù)據(jù)按照6:1 的比例劃分為訓(xùn)練集與測試集.

過擬合的表現(xiàn)為,在訓(xùn)練數(shù)據(jù)上表現(xiàn)較好,在測試集中泛化能力較差,圖4為沒有解決過擬合問題的訓(xùn)練集與測試集的誤差表現(xiàn).

過擬合措施有L-M 法,提前停止法,正則化等[14].

由圖4可以看出,訓(xùn)練集誤差可以忽略不計(jì),但是測試集誤差出現(xiàn)懸崖式突變值.為了減小測試誤差,采用正則化方法進(jìn)行權(quán)重衰減.

圖4 無過擬合訓(xùn)練測試誤差曲線

圖5為采用正則化措施后解決過擬合問題的訓(xùn)練集與測試集的誤差表現(xiàn).

圖5 過擬合訓(xùn)練測試誤差曲線

可以看出正則化之后的訓(xùn)練誤差與測試誤差都保持在合理范圍之內(nèi).

3 深度神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

深度神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建需要一定的數(shù)學(xué)模型作為基礎(chǔ).首先對于模型進(jìn)行初始化連接權(quán)值與節(jié)點(diǎn)閾值,再進(jìn)行數(shù)據(jù)樣本的輸入.進(jìn)行前向傳播,通過模型進(jìn)行隱含層節(jié)點(diǎn)輸出計(jì)算與輸出層輸出計(jì)算,計(jì)算隱含層與輸出層的誤差,進(jìn)行反向傳播,更新連接權(quán)值與節(jié)點(diǎn)閾值,在模型中使用L1 正則化與L2 正則化聯(lián)合解決過擬合問題,進(jìn)行60 次迭代訓(xùn)練.

整個(gè)神經(jīng)網(wǎng)絡(luò)深度模型內(nèi)部流程如圖6.

圖6 深度模型流程圖

對于模型數(shù)學(xué)過程推導(dǎo)如下.

輸入樣本有電流I和電壓U 兩個(gè)輸入特征,一個(gè)SOC 輸出特征,數(shù)據(jù)集整個(gè)輸入樣本訓(xùn)練集表現(xiàn)形

式為T={(x11,x12,y1),(x21,x22,y2),···,(xm1,xm2,ym)}xi1,xi2∈R2×m,yi∈R1×m.對于模型傳播過程如下,采用模型中某兩層的傳播方式作為代表.

1)正向傳播過程.

式中,Zl為第l層的輸出;WlT為第l層的權(quán)重;Xl?1為第l層的輸入.

對于正向傳播過程的輸入有兩種形式,第一層隱藏層的輸入為U和I.對于其他層的隱藏層的輸入如下:

式中,Ah為第h+1層的輸入;σ為激活函數(shù);為預(yù)測輸出值.

下面計(jì)算所要優(yōu)化的成本函數(shù).采取的損失函數(shù)為Log-cosh.損失函數(shù)的表達(dá)式為式(6)所示.成本函數(shù)如下式所示:

2)反向傳播過程.

在反向傳播過程中使用Nadam 優(yōu)化算法,w,b的更新如式(10)、式(11),符號說明表如表3.

表3 符號說明表

更新w,b參數(shù):

4 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用HPPC 測試方法,在0 度低溫下通過對充放電電壓U,充放電電流I,充放電功率P 進(jìn)行監(jiān)測,通過深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測得到實(shí)時(shí)SOC.實(shí)驗(yàn)采用的鋰電池電池容量為42 Ah.實(shí)驗(yàn)測得415 287 組測試數(shù)據(jù),對于數(shù)據(jù)需要進(jìn)行數(shù)據(jù)的預(yù)處理,首先對數(shù)據(jù)進(jìn)行篩選,將停止工作的電流電壓數(shù)據(jù)進(jìn)行剔除,只保留充電與放電的數(shù)據(jù),再進(jìn)行缺失值處理,缺失值用缺失值前后的數(shù)據(jù)平均進(jìn)行填充,再將數(shù)據(jù)輸入模型之前最后進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化的處理,以減小數(shù)據(jù)的分散度.在經(jīng)過數(shù)據(jù)預(yù)處理后得到高質(zhì)量數(shù)據(jù)樣本,對于處理后的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行劃分設(shè)置,由于是時(shí)間序列形式的數(shù)據(jù),因此將前15 000 行數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),將后2500 行數(shù)據(jù)作為測試數(shù)據(jù).使用模型對數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測.圖7為實(shí)驗(yàn)所測得各個(gè)監(jiān)測參數(shù)隨時(shí)間變化的曲線圖.

圖7 參數(shù)變化圖

由圖中可以看出電流電壓功率存在負(fù)值與的情況,表明在負(fù)值時(shí)放電,在正值時(shí)電池處于充電狀態(tài).

實(shí)驗(yàn)進(jìn)行SOC 訓(xùn)練預(yù)測采用的處理器為Intel(R)Core(TM)i7-8750H-CPU@2.20 GHz-2.21 GHz.實(shí)驗(yàn)進(jìn)行5 次交叉驗(yàn)證,SOC 預(yù)測得出誤差如表4,表4中的平均絕對誤差為MAE 值.

由表4可以看出SOC 預(yù)測值與真實(shí)值的平均誤差基本維持在0.04 左右.模型訓(xùn)練運(yùn)行時(shí)間為19.9 秒,對于60 次迭代來說,平均每次迭代花費(fèi)0.33 秒,所運(yùn)行的時(shí)間較短,因此采用基于SGD 擴(kuò)展的使用動量和自適應(yīng)學(xué)習(xí)率來加快收斂速度Nadam 優(yōu)化算法以及Log-cosh 損失函數(shù)優(yōu)化完善的模型,在進(jìn)行正則化處理之后,可以大大提升SOC 預(yù)測精度.

表4 誤差表

由HPPC 試驗(yàn)所得到的實(shí)驗(yàn)數(shù)據(jù),設(shè)計(jì)擁有1 層輸入層,3 層隱藏層,1 層輸出層的深度前饋神經(jīng)網(wǎng)絡(luò),采用Log-cosh 損失函數(shù)與Nadam 優(yōu)化器進(jìn)行模型精度的提升,使用正則化進(jìn)行過擬合處理.得到的損失值為0.0125,相對于其他SOC 估計(jì)算法,精確性大大提升.表5為BP 神經(jīng)網(wǎng)絡(luò),RBF 神經(jīng)網(wǎng)絡(luò),線性回歸,支持向量機(jī)四種算法MAE 平均絕對誤差對比表.

表5 算法對比表

圖8為BP 神經(jīng)網(wǎng)絡(luò),RBF 神經(jīng)網(wǎng)絡(luò),線性回歸,支持向量機(jī)4 種算法訓(xùn)練運(yùn)行時(shí)間對比圖.可以看出所設(shè)計(jì)的BP 深度前饋神經(jīng)網(wǎng)絡(luò)在訓(xùn)練精度上遠(yuǎn)遠(yuǎn)超過其他算法,每輪所需時(shí)間也僅只有0.33 s.

圖8 時(shí)間對比圖

5 結(jié)論

由在HPPC 工況下進(jìn)行實(shí)驗(yàn)得到的實(shí)驗(yàn)數(shù)據(jù),參考以往的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)計(jì)經(jīng)驗(yàn),運(yùn)用數(shù)學(xué)規(guī)劃方法對不同節(jié)點(diǎn)數(shù)以及隱藏層數(shù)的深度前饋神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行設(shè)計(jì)以及性能分析,選擇了隱藏層數(shù)為3 層,隱藏節(jié)點(diǎn)數(shù)為11-9-12 時(shí)的模型,完整的網(wǎng)絡(luò)模型結(jié)構(gòu)為3-11-9-12-1.同時(shí)為了加強(qiáng)對學(xué)習(xí)率的約束,以及加強(qiáng)對梯度的更新的影響,采用了基于SGD 擴(kuò)展的使用NAG動量和自適應(yīng)學(xué)習(xí)率來加快收斂速度的Nadam 優(yōu)化算法.為了提升SOC 預(yù)測的精確度,采用了Log-cosh 作為模型的損失函數(shù).為了提升模型在測試時(shí)的精度,通過正則化措施解決模型的過擬合問題.經(jīng)實(shí)驗(yàn)測試實(shí)現(xiàn)了在不同電壓電流條件下所預(yù)測的SOC 誤差在0.04左右,損失函數(shù)曲線過度更加平滑,損失值更小.

模型在強(qiáng)有力的數(shù)學(xué)理論支撐下,在經(jīng)過前向傳播與后向傳播獲得結(jié)果最優(yōu)損失函數(shù)參數(shù),達(dá)到理想的模型預(yù)測精度.在與其他模型算法進(jìn)行精度與運(yùn)行時(shí)間的對比上,本模型能夠較為精準(zhǔn)的為在充放電狀態(tài)下的電動汽車SOC 提供可靠的實(shí)時(shí)容量預(yù)測,具有較大的參考價(jià)值.