基于改進(jìn)Transformer 的鋰電池剩余壽命預(yù)測

樸博暉，彭俊榮，楊一鵬，別 瑜，王曉海

（武漢船用電力推進(jìn)裝置研究所，武漢 430064）

0 引言

隨著電力電子和新能源技術(shù)的快速發(fā)展，鋰離子電池在工程上得到了廣泛的應(yīng)用。然而，隨著充放電周期的增加，容量通常會(huì)降低，如果無法準(zhǔn)確預(yù)測電池剩余壽命，便無法保證產(chǎn)品的安全性等其他方面。因此，鋰電池壽命的準(zhǔn)確預(yù)測至關(guān)重要。

在預(yù)測RUL 時(shí)，RVM[1]等機(jī)器學(xué)習(xí)模型和MLP 等深度學(xué)習(xí)模型被廣泛應(yīng)用。然而針對鋰電池?cái)?shù)據(jù)呈現(xiàn)序列結(jié)構(gòu)且具有強(qiáng)時(shí)間關(guān)聯(lián)性的特點(diǎn)，基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的多種模型都表現(xiàn)出了良好的性能，包括GRU[2]和LSTM[3]等，針對長序列Transformer[4]更具競爭力。但目前仍然存在以下兩個(gè)問題：基于RNN 的網(wǎng)絡(luò)以循環(huán)的方式對序列數(shù)據(jù)進(jìn)行建模，由于長期依賴會(huì)導(dǎo)致性能下降；上述方法將原始數(shù)據(jù)直接輸入網(wǎng)絡(luò)模型，但原始數(shù)據(jù)大多帶有較強(qiáng)的噪聲，導(dǎo)致預(yù)測結(jié)果不準(zhǔn)確。

本文基于Transformer 設(shè)計(jì)了一種全新的網(wǎng)絡(luò)結(jié)構(gòu)，在兩個(gè)數(shù)據(jù)集下針對本文模型和其他基準(zhǔn)模型進(jìn)行了實(shí)驗(yàn)，并驗(yàn)證了模型的可行性和準(zhǔn)確性。本文提出的方法對于鋰電池RUL 預(yù)測具有一定的指導(dǎo)意義。

1 p-Transformer

本文主要對鋰離子電池剩余使用壽命的預(yù)測方法進(jìn)行研究，提出了一種全新的模型p-Transformer，在Transformer 的前面添加了前置編碼器，其架構(gòu)如圖 1 所示。首先簡要介紹Transformer 模型原理，而后介紹改進(jìn)部分的前置編碼器。

圖1 p-Transformer 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.1 Transformer

Transformer 由具有多層結(jié)構(gòu)的編碼器和解碼器組成，且每層都包括一個(gè)多頭自注意力(Multi-Head Self-Attention)和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network, FNN)子層。編碼器將輸入序列映射到高維，而后將其饋送到解碼器生成輸出序列。由此，可以從電池歷史數(shù)據(jù)中學(xué)習(xí)容量退化的長期依賴關(guān)系。

多頭自注意力機(jī)制將單個(gè)自注意力機(jī)制拆分為多個(gè)子空間，并在每個(gè)子空間上執(zhí)行自注意力機(jī)制，從而更好地捕捉不同層次的特征。具體來說，將輸入序列和上下文向量分別轉(zhuǎn)換為h組查詢(Query)、鍵(Key)和值(Value)[5]，得到h組注意力矩陣A1,A2,...,Ah，經(jīng)拼接得到增廣矩陣AεRn×hd，然后通過線性變換轉(zhuǎn)換為最終加權(quán)和向量CεRn×d。

其中，Selfattention表示單個(gè)自注意力機(jī)制，Concat表示拼接操作，分別表示第i組查詢、鍵和值的權(quán)重矩陣，0W表示線性變換的權(quán)重矩陣。令(Hi) =(Q,K,V)。

前饋神經(jīng)網(wǎng)絡(luò)子層由兩個(gè)線性變換和一個(gè)激活函數(shù)組成，其中第一個(gè)線性變換將輸入向量轉(zhuǎn)換為一個(gè)中間表示向量，第二個(gè)線性變換將中間表示向量轉(zhuǎn)換為最終表示向量。具體來說，將輸入向量x在FNN 子層中表示為：

則可由Hi當(dāng)前得到下一個(gè)預(yù)測結(jié)果Hi1+：

1.2 前置編碼器

鋰電池原始輸入數(shù)據(jù)具有一定程度的噪聲，且在進(jìn)行充放電時(shí)更為明顯。在大多數(shù)方法中，原始數(shù)據(jù)不做任何處理直接輸入網(wǎng)絡(luò)，其中的噪聲數(shù)據(jù)會(huì)嚴(yán)重影響預(yù)測精度。為了保持穩(wěn)定性和魯棒性，輸入數(shù)據(jù)在進(jìn)入網(wǎng)絡(luò)前需經(jīng)過去噪處理。預(yù)處理前置編碼器將高維特征編碼為低維特征，進(jìn)行數(shù)據(jù)壓縮降維并提取深層非線性特征，而后經(jīng)過解碼器去除噪聲并對原始數(shù)據(jù)進(jìn)行重構(gòu)。模塊結(jié)構(gòu)如圖2 所示。

圖2 前置編碼器簡易結(jié)構(gòu)圖

為了減少輸入數(shù)據(jù)的分布變化對網(wǎng)絡(luò)的影響，需要對數(shù)據(jù)進(jìn)行歸一化處理。設(shè)C0為額定容量，x={x1,x2,...,xn}表示長度為n的輸入序列，將其映射到(0,1]，即：

其中，W、b、f和y分別表示前置編碼器輸出層的權(quán)重、偏置、激活函數(shù)和輸出。

其中：W'、b'、f'和分別表示前置解碼器輸出層的權(quán)重、偏置、映射函數(shù)和輸出。

在該前置編碼器網(wǎng)絡(luò)中，ReLU 和Sigmoid函數(shù)分別作為編碼器和解碼器的激活函數(shù)。目標(biāo)函數(shù)定義如下：

結(jié)合前述過程，通過數(shù)據(jù)輸入歸一化、去噪降維并經(jīng)過Transformer 層，得到最終目標(biāo)函數(shù)(11)，通過訓(xùn)練使損失函數(shù)誤差最小，得到模型結(jié)果。

給定h個(gè)注意力機(jī)制層，將最后一個(gè)單元(cell)學(xué)習(xí)到的結(jié)果映射為Transformer 的預(yù)測：

其中，Wpre、bpre、f和Hh分別表示預(yù)測層的權(quán)重、偏置、映射函數(shù)和輸入。

2 評價(jià)指標(biāo)

為了從多角度對模型性能進(jìn)行評估，本文基于Park 等人[6]的研究，選擇了相對誤差(Relative Error, RE)、均方根誤差(Root Mean Squared Error,RMSE)和平均絕對誤差(Mean Absolute Error,MAE)三種評價(jià)指標(biāo)，定義如下所示：

3 實(shí)驗(yàn)及結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

本文使用鋰電池領(lǐng)域認(rèn)可度較高的兩個(gè)公共數(shù)據(jù)集NASA[7]和CALCE[8]。其中，NASA 包含四種不同鋰離子電池的數(shù)據(jù)，每個(gè)電池重復(fù)充電、放電和阻抗測量三種操作。

實(shí)驗(yàn)環(huán)境為：Python3.7、Pytorch1.8.0 和Windows 下i7 處理器。模型可變參數(shù)包括：學(xué)習(xí)率lr、自注意力層數(shù)L、隱藏層大小h和任務(wù)比重a。通過反復(fù)實(shí)驗(yàn)確定在該實(shí)驗(yàn)環(huán)境下，最優(yōu)參數(shù)為：

3.2 實(shí)驗(yàn)結(jié)果

在同樣的數(shù)據(jù)集、實(shí)驗(yàn)環(huán)境和模型參數(shù)的情況下，實(shí)現(xiàn)了以下基準(zhǔn)方法的鋰電池RUL 預(yù)測，并與本文的模型進(jìn)行了比較，結(jié)果如表1 和表2所示。下表列出了所有方法的三重指標(biāo)數(shù)值，并標(biāo)注了最優(yōu)結(jié)果，其中RE、RMSE 和MAE 分別代表相對誤差、均方根誤差和平均絕對誤差。

表1 NASA 數(shù)據(jù)集下多種模型的評價(jià)結(jié)果

表2 CALCE 數(shù)據(jù)集下多種模型的評價(jià)結(jié)果

此外，為了探究前置編碼器的去噪效果，在相同實(shí)驗(yàn)環(huán)境下，將無前置編碼器的模型與p-Transformer 進(jìn)行對比，結(jié)果如圖3 和圖4 所示：

圖3 NASA 數(shù)據(jù)集下，無前置編碼器與p-Transformer的對比結(jié)果

圖4 CALCE 數(shù)據(jù)集下，無前置編碼器與p-Transformer的對比結(jié)果

3.3 結(jié)果分析

從表1和表2可以看出，本文的模型實(shí)驗(yàn)效果相對最好。該模型能夠從鋰電池序列中提取有價(jià)值的信息，且該模型具有穩(wěn)定性和魯棒性。

與GRU相比，本文模型在NASA數(shù)據(jù)集下的均方根誤差較大，最可能的原因是兩個(gè)數(shù)據(jù)集的序列長度不同。GRU比Transformer比更擅長從短序列中學(xué)習(xí)特征，這也是Transformer的不足。此外，由圖5和圖6可以看出，在Transformer網(wǎng)絡(luò)基礎(chǔ)上加入前置編碼器進(jìn)行去噪，可以得到更好的性能，這是由于前置編碼器去除了大部分原始數(shù)據(jù)的噪聲信號，使得預(yù)測結(jié)果與真實(shí)數(shù)據(jù)更為接近，誤差更小，從而更準(zhǔn)確地預(yù)測鋰電池的RUL。

4 結(jié)論

本文提出了一種基于Transformer 的優(yōu)化模型預(yù)測鋰電池RUL，模型通過前置編碼器對輸入數(shù)據(jù)進(jìn)行去噪并降維壓縮，而后利用Transformer網(wǎng)絡(luò)學(xué)習(xí)容量衰落的特征。與其他基準(zhǔn)方法相比，本文提出的模型可以較低的相對誤差、均方根誤差和平均絕對誤差得分較為準(zhǔn)確地預(yù)測鋰電池RUL，性能更加優(yōu)秀。本文所做研究對于鋰電池RUL 預(yù)測具有一定的參考意義。在后續(xù)研究中，可以針對去噪問題設(shè)計(jì)性能更好的模型結(jié)構(gòu)。此外，針對電池?cái)?shù)據(jù)序列長短不一的問題，可以設(shè)計(jì)算法黑盒來適應(yīng)不同長度序列的鋰電池?cái)?shù)據(jù)。