基于Conv-Attention-MLP的新能源汽車電池異常檢測(cè)方法

陳旭東 何宏 周焱平

摘?要：?針對(duì)于新能源汽車電池異常信號(hào)的檢測(cè)，傳統(tǒng)異常檢測(cè)方法對(duì)多個(gè)維度電池?cái)?shù)據(jù)檢測(cè)精度低、泛化性差等問題，本文提出一種融合了卷積（Conv）、自注意力機(jī)制（Attention）和多層感知器（MLP）的Conv-Attention-MLP深度神經(jīng)網(wǎng)絡(luò)方法，該方法首先對(duì)多個(gè)維度的時(shí)序數(shù)據(jù)使用特征卷積進(jìn)行降維，再利用多頭自注意力機(jī)制（MultiHead-Self-Attention，?MSA）對(duì)數(shù)據(jù)的時(shí)間不同步以及數(shù)據(jù)邏輯之間的重建模，最后經(jīng)過多層感知機(jī)（MLP）的連續(xù)線性映射與非線性運(yùn)算，產(chǎn)生復(fù)雜的分段映射，以達(dá)到更好的擬合效果。實(shí)現(xiàn)了對(duì)多個(gè)維度電池?cái)?shù)據(jù)的有效檢測(cè)，提高了模型對(duì)于多樣化數(shù)據(jù)的準(zhǔn)確性和穩(wěn)健性。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)異常檢測(cè)方法，在vloongs數(shù)據(jù)集上Conv-Attention-MLP模型表現(xiàn)效果更加優(yōu)越，展現(xiàn)出更高精度和更強(qiáng)的魯棒性。

關(guān)鍵詞：深度學(xué)習(xí)?異常檢測(cè)?自注意力機(jī)制?模型融合

中圖分類號(hào)：U472;TP274

The?Anomaly?Detection?Method?for?New?Energy?Vehicle?Batteries?Based?on?Conv-Attention-MLP

CHEN?Xudong??HE?Hong*??ZHOU?Yanping

College?of?Computer?and?Communication，?Hunan?Institute?of?Engineering，?Xiangtan，?Hunan?Province，?411104?China

Abstract：?For?the?detection?of?abnormal?signals?in?new?energy?vehicle?batteries，?traditional?anomaly?detection?methods?have?issues?such?as?low?detection?accuracy?and?poor?generalization?in?multi-dimensional?battery?data.?This?paper?proposes?a?Conv-Attention-MLP?deep?neural?network?method?which?integrates?convolution?（Conv），?the?self-attention?mechanism?（Attention）?and?the?multi-layer?perceptron?（MLP）.?The?method?first?uses?feature?convolution?to?reduce?the?dimensionality?of?multi-dimensional?time-series?data，?then?uses?the?multihead?self-attention?（MSA）?mechanism?to?recmodel?the?asynchrony?of?data?time?and?the?interrelationships?among?data?logic，?and?finally?uses?the?continuous?linear?mapping?and?non-linear?operation?of?the?multi-layer?perceptron?（MLP）?to?generate?complex?piecewise?mapping，?so?as?to?achieve?better?fitting?results，?which?realizes?the?effective?detection?of?multiple-dimensional?battery?data，?and?enhances?the?model's?accuracy?and?robustness?for?diverse?data.?Experimental?results?demonstrate?that?compared?to?traditional?anomaly?detection?methods，?the?the?Conv-Attention-MLP?model?has?better?performance?on?the?vloongs?dataset，?showcasing?higher?precision?and?stronger?robustness.

Key?Words：?Deep?learning;?Anomaly?detection;?Self-attention?mechanism;?Model?merging

鋰電池因高能量密度、輕便、低自放電率廣用于汽車，但特殊情況下可能發(fā)生熱失控，危及駕駛?cè)藛T。目前，新能源汽車電池異常檢測(cè)算法主要分為兩類。無監(jiān)督學(xué)習(xí)算法如聚類算法可處理多維特征[1]，但缺乏實(shí)時(shí)監(jiān)測(cè)能力。神經(jīng)網(wǎng)絡(luò)算法如LSTM在處理時(shí)序性數(shù)據(jù)方面表現(xiàn)優(yōu)異[2]，但存在梯度消失和梯度爆炸問題。結(jié)合兩者的新算法，如VAE-LSTM-DTW[3]，能有效判斷異常，但仍缺乏實(shí)時(shí)性和邊緣部署的效率。

近年來計(jì)算機(jī)視覺方面的不斷發(fā)展，對(duì)圖像處理主要采用卷積神經(jīng)網(wǎng)絡(luò)，卷積層使得模型擁有強(qiáng)大的建模能力。Transformer[4]是一種革命性的深度學(xué)習(xí)模型，其中的自注意力機(jī)制（Self-Attention）使得模型能夠在處理序列對(duì)不同位置的信息進(jìn)行加權(quán)。如徐浩森等人提出的基于自注意力機(jī)制的卷積循環(huán)網(wǎng)絡(luò)語音降噪[5]；張偉雄等人提出的時(shí)序自注意力機(jī)制對(duì)遙感數(shù)據(jù)時(shí)間序列分類[6]。本文在傳統(tǒng)Self-Attention網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)出一種融合了卷積、自注意力機(jī)制和多層感知器的Conv-Attention-MLP深度神經(jīng)網(wǎng)絡(luò)方法，相較于單一方法模型有以下優(yōu)勢(shì)：（1）卷積層將有效捕捉時(shí)間序列中的局部特征和模式；（2）自注意力機(jī)制能夠提取電池?cái)?shù)據(jù)的上下文信息，增強(qiáng)模型的全局建模能力；（3）?多層感知器引入了非線性映射，對(duì)特征進(jìn)行更高級(jí)別的抽象，有助于學(xué)習(xí)更復(fù)雜的數(shù)據(jù)表示。

1?模型與原理

Conv-Attention-MLP?模型，可分為三部分如圖1所示。

卷積部分由三層卷積構(gòu)成，使n個(gè)單維特征數(shù)據(jù)通過等長(zhǎng)卷積核進(jìn)行卷積，將數(shù)據(jù)降維，提取來自不同特征的一維數(shù)據(jù)關(guān)鍵性特征。卷積計(jì)算能夠有效地挖掘時(shí)序數(shù)據(jù)的相關(guān)性，通過卷積中的歸納偏置能力提取時(shí)序數(shù)據(jù)中的局部關(guān)聯(lián)特征。此方法可取代一般異常檢測(cè)模型中直接堆疊線性層的做法，有助于減少模型參數(shù)量，并提高推理速度。

本文在以?pointwise（點(diǎn)級(jí)特征）為前提、基于重建的電池異常檢測(cè)任務(wù)中提出一種網(wǎng)絡(luò)模型結(jié)構(gòu)。通過結(jié)合自注意力機(jī)制，在序列重建過程中構(gòu)建一層掩碼，以增強(qiáng)模型對(duì)電池時(shí)序數(shù)據(jù)中異常點(diǎn)處上下文語義信息的表征能力。減輕異常檢測(cè)任務(wù)中正常模式對(duì)異常模式的主導(dǎo)，增加模型對(duì)于電車異常數(shù)據(jù)的全局建模能力，提升模型精度。

多層感知機(jī)（MLP）能夠通過多層的非線性變換學(xué)習(xí)到更復(fù)雜的數(shù)據(jù)表示，并在各種任務(wù)中表現(xiàn)出強(qiáng)大的建模能力和適應(yīng)性。使得模型對(duì)于被控對(duì)象的系統(tǒng)參數(shù)變化和外界的干擾具有很好的魯棒性，能夠處理復(fù)雜的多輸入、多輸出非線性系統(tǒng)。

1.1?多個(gè)維度特征卷積

卷積層是深度學(xué)習(xí)中的一種關(guān)鍵層次，一般用于計(jì)算機(jī)視覺以及圖像處理任務(wù)，對(duì)輸入二維數(shù)據(jù)進(jìn)行特征提取。本文所描述的卷積結(jié)構(gòu)如圖2所示，與處理一維時(shí)序數(shù)據(jù)的卷積不同，第一層卷積針對(duì)n個(gè)電池特性數(shù)據(jù)，并考慮了來自m條不同行數(shù)據(jù)的相關(guān)性。這里的卷積核大小為m*n，在橫向維度上應(yīng)用了循環(huán)填充[m/2]*2行，以確保在卷積過程中數(shù)據(jù)長(zhǎng)度保持不變。這一操作不僅降低了數(shù)據(jù)維度，減少了模型的復(fù)雜性和計(jì)算成本，同時(shí)也保留了數(shù)據(jù)的關(guān)聯(lián)性和重要信息。后面兩個(gè)卷積層所使用的卷積核都為1*1大小，最后將得到的多個(gè)維度數(shù)據(jù)合并為一個(gè)二維張量。

1.2?自注意力機(jī)制

近期的研究中，證實(shí)了自注意力機(jī)制在二維圖像中表現(xiàn)優(yōu)秀，能夠有效計(jì)算不同像素之間的關(guān)聯(lián)性。在時(shí)序數(shù)據(jù)中將數(shù)據(jù)轉(zhuǎn)化為類似于圖像的二維張量，通過自注意力機(jī)制處理圖像的方式，計(jì)算每個(gè)像素（或指二維張量中的元素）之間的關(guān)系。考慮到電池?cái)?shù)據(jù)中，異常片段中必然存在時(shí)間上的某種聯(lián)系，且不同數(shù)據(jù)之間也可能產(chǎn)生內(nèi)在聯(lián)系。本模型將電池多個(gè)維度的時(shí)序性數(shù)據(jù)經(jīng)過卷積處理拼合成二維張量，通過注意力機(jī)制捕捉同一數(shù)據(jù)時(shí)間不同步以及不同的數(shù)據(jù)特征之間的聯(lián)系，提升了異常檢測(cè)和特征提取的效果。本文中多頭自注意力機(jī)制（MultiHead-Self-Attention，MSA）結(jié)構(gòu)如圖3所示，對(duì)輸入數(shù)據(jù)進(jìn)行處理，通過（key，query，value）三元組對(duì)全局信息進(jìn)行有效捕捉，最終返回一個(gè)權(quán)重值。將輸入特征分別乘以三個(gè)矩陣、和（通過訓(xùn)練獲得）得到Q、K、V三個(gè)矩陣；Q是query，是輸入的信息；K和V成組出現(xiàn)，通常是原始文本等已有的信息；引入一個(gè)表示自注意力機(jī)制有多少頭，將Q、K、V分別與矩陣、、相乘得到、、（），多頭自注意力公式如（1）（2）所示。

其中公式（1）中表示K的維度，用于控制點(diǎn)積的尺度，以提高模型的穩(wěn)定性和訓(xùn)練效果。公式（2）中MSA是多頭自注意力機(jī)制（MultiHead?Self-Attention），用于連接兩個(gè)或多個(gè)數(shù)組，是權(quán)重矩陣。操作會(huì)將多頭自注意力的特征拼合，但是不同的頭在計(jì)算時(shí)經(jīng)過了不同的線性變換，所產(chǎn)生不同子空間的特征。需要對(duì)多頭特征進(jìn)行融合，匹配特征子空間。

1.3?多層感知機(jī)模塊

MLP是一種高度自適應(yīng)的信息處理系統(tǒng)[7]，具備強(qiáng)大的并行處理能力。由連續(xù)的線性映射和非線性標(biāo)量函數(shù)來執(zhí)行，這些連續(xù)的映射和非線性運(yùn)算匹配特征空間，產(chǎn)生復(fù)雜的分段映射，以達(dá)到更好的擬合效果。本文中的MLP結(jié)構(gòu)如圖4所示，包括兩層線性層，通過第一層隱藏層其權(quán)重為，偏置為，輸入，（）經(jīng)過線性映射為。將中間結(jié)果輸入非線性高斯誤差激活函數(shù)（GeLU），GeLU是一個(gè)光滑的函數(shù)[8]，圖形類似于S形曲線，在整個(gè)是實(shí)數(shù)范圍內(nèi)均有非零的梯度，在深度神經(jīng)網(wǎng)絡(luò)中不容易導(dǎo)致梯度消失問題，平滑性有助于更穩(wěn)定的梯度傳播和更快的收斂。

1.4?模型損失計(jì)算

交叉熵?fù)p失（Cross-Entropy?Loss）通常用于分類問題中，它衡量了模型的預(yù)測(cè)與實(shí)際標(biāo)簽之間的差異。在異常檢測(cè)這樣的二分類問題上，模型輸出最后的預(yù)測(cè)結(jié)果只有兩種情況，對(duì)于每個(gè)類別所得到的概率為，則有公式（3）所示。

公式（3）中表示樣本的標(biāo)簽，正類為1，負(fù)類為0，表示樣本i預(yù)測(cè)為正類的概率。本文采用Mixup的方式對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，假設(shè)是一個(gè)樣本，是該樣本對(duì)應(yīng)的標(biāo)簽；是另一個(gè)樣本，是這樣本對(duì)應(yīng)的標(biāo)簽。是由參數(shù)的貝塔分布計(jì)算出的混合系數(shù)，計(jì)算過程如公式（4）（5）所示。

其中是指貝塔分布，是和混合后的樣本。將混合后的輸入模型進(jìn)行前向傳播，形式上給定一個(gè)已知參數(shù)的模型，用表示到的映射，對(duì)混合后的有公式（6）：

公式（7）中Loss是模型的整體損失，它是由模型前向傳播出來的結(jié)果，與其兩個(gè)混合樣本的真實(shí)標(biāo)簽之間的加權(quán)損失和，表示前面的貝塔分布。

2?模型訓(xùn)練與數(shù)據(jù)處理

2.1?數(shù)據(jù)獲取與預(yù)處理

本文使用了昇科能源公司開源的新能源汽車電池信號(hào)數(shù)據(jù)集vloongs，由28389個(gè)訓(xùn)練樣本和6234個(gè)測(cè)試樣本構(gòu)成。每個(gè)訓(xùn)練樣本為元組類型分為數(shù)據(jù)（data）部分和元數(shù)據(jù)（metadata），根據(jù)對(duì)數(shù)據(jù)集的特征分析，發(fā)現(xiàn)電池的正異常樣本在元數(shù)據(jù)中里程特征上存在的一定聯(lián)系如圖5、圖6所示。將特征整合，每一列數(shù)據(jù)包含9個(gè)維度特征（電壓、電流、電池SOC、最大單電壓、最小單電壓、最大溫度，最小溫度、時(shí)間戳以及里程數(shù)）。元數(shù)據(jù)包括數(shù)據(jù)標(biāo)簽（00表示正常、01表示異常），測(cè)試樣本在元數(shù)據(jù)部分沒有標(biāo)簽值。

數(shù)據(jù)的九個(gè)維度的特征分布很不均勻，結(jié)果容易呈現(xiàn)長(zhǎng)尾分布。在數(shù)據(jù)的預(yù)處理方面，將特征縮放到0到1的范圍，讓數(shù)據(jù)歸一化，這有助于確保各個(gè)特征對(duì)模型的權(quán)重貢獻(xiàn)相對(duì)平衡。受限于訓(xùn)練樣本數(shù)量較少，容易造成模型的過擬合，Mixup引入了數(shù)據(jù)的隨機(jī)性，通過將兩個(gè)不同的電池時(shí)序數(shù)據(jù)混合在一起，可以讓模型學(xué)習(xí)到更一般化的特征，而不是記住訓(xùn)練數(shù)據(jù)的特定樣本，降低了模型的過擬合風(fēng)險(xiǎn)，同時(shí)Mixup可以增強(qiáng)樣本之間的關(guān)聯(lián)性，適應(yīng)不同樣本的變化差異。

實(shí)驗(yàn)配置如下：硬件方面CPU?Intel?Xeon（R）?Platinum?8255C，GPU?RTX3080（10GB），軟件方面采用Ubuntu?18.04操作系統(tǒng)，Pytorch深度學(xué)習(xí)框架，編程語言為Python。

2.2?評(píng)價(jià)指標(biāo)

本文在分類模型性能采用精確度（Accuracy，ACC）作為評(píng)估指標(biāo)。用來衡量模型在整個(gè)數(shù)據(jù)集上正確分類樣本的比例。

其中，公式（8）中TP表示正確分類的正類別樣本數(shù)量，TN表示正確分類的負(fù)類別樣本數(shù)量，F(xiàn)P表示將負(fù)類別樣本錯(cuò)誤分類為正類別的數(shù)量，F(xiàn)N表示將正類別樣本錯(cuò)誤分類為負(fù)類別的數(shù)量。

3?實(shí)驗(yàn)與驗(yàn)證

針對(duì)于本文所提出的Conv-Attention-MLP模型，進(jìn)行了大量的實(shí)驗(yàn)，對(duì)比記錄了模型在vloongs數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

3.1?模型層次設(shè)定

在模型的層次中所使用的激活函數(shù)、Dropout參數(shù)以及數(shù)據(jù)預(yù)處理都會(huì)影響模型的精度。模型激活函數(shù)有兩處：一處在模型的卷積層部分，另一處在多層感知機(jī)（MLP）中，將模型激活函數(shù)設(shè)定為Sigmoid或者分別在卷積層和MLP中使用ReLU與GeLU。Dropout中的設(shè)定取值會(huì)直接影響模型的隨機(jī)失活程度，良好的數(shù)據(jù)預(yù)處理則有助于提升模型的魯棒性。如表1中所示，模型在卷積層使用ReLU、MLP中使用GeLU作為激活函數(shù)、Dropout值設(shè)定為（0.2，0.2，0）模型的精度最高。

3.2?模型表現(xiàn)

為了使實(shí)驗(yàn)更有說服力，本文對(duì)比了四種融合模型在vloongs數(shù)據(jù)集下的驗(yàn)證集和測(cè)試集性能表現(xiàn)。這四種對(duì)比模型分別是自編碼器與多頭自注意力機(jī)制模型（AutoEncoder-Multi-headed?Self-attention，AE-MSA）、長(zhǎng)短時(shí)記憶與自編碼器融合模型（Long?short-term?memory-AutoEncoder，LSTM-AE）、多頭自注意力機(jī)制與多層感知機(jī)模型（MSA-MLP）以及融合卷積、自注意力機(jī)制與全連接層融合模型（Conv-MSA-FC）。上述四種模型與本文所提出的模型表現(xiàn)如表2所示，由此可知本文所提出的模型在相同的訓(xùn)練輪次下在Accuracy有更好的表現(xiàn)，測(cè)試集精度達(dá)0.8657。另外一個(gè)觀察是，在對(duì)比驗(yàn)證集和測(cè)試集后，發(fā)現(xiàn)本模型在驗(yàn)證集和測(cè)試集上的精度損失僅為0.0137，遠(yuǎn)低于其他融合模型。由此可見，Conv-Attention-MLP模型不僅在精度方面表現(xiàn)出色，其魯棒性也高于其他模型。換句話說，本模型能更好地適應(yīng)數(shù)據(jù)的變化。

4?結(jié)語

本研究提出了一種基于模型融合Conv-Attention-MLP網(wǎng)絡(luò)，旨在對(duì)多個(gè)維度的新能源汽車電池?cái)?shù)據(jù)進(jìn)行檢測(cè)。該方法在卷積層中采用多種卷積核對(duì)多個(gè)維度的電池?cái)?shù)據(jù)降維，從而有效減輕了計(jì)算負(fù)擔(dān)。在多頭自注意力機(jī)制中，考慮了時(shí)間步之間以及數(shù)據(jù)邏輯之間的相互關(guān)系，以重新構(gòu)建特征空間。同時(shí)，在多層感知機(jī)的線性映射與非線性計(jì)算過程中，產(chǎn)生復(fù)雜的分段映射，使得特征擬合效果更加出色。本研究在vloongs新能源汽車電池?cái)?shù)據(jù)集上取得了令人矚目的結(jié)果，Accuracy達(dá)到了86.57%。此外，Mixup數(shù)據(jù)預(yù)處理方式通過對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行混合，擴(kuò)增了數(shù)據(jù)的多樣性，從而有效緩解了數(shù)據(jù)不平衡和過擬合問題。這種方法的引入使得我們的模型能夠更好地應(yīng)對(duì)真實(shí)世界中各種復(fù)雜的電池工作狀態(tài)和環(huán)境變化。未來，我們將進(jìn)一步探索并整合其他有效的數(shù)據(jù)處理技術(shù)，以進(jìn)一步提升該方法在電池?cái)?shù)據(jù)檢測(cè)領(lǐng)域的應(yīng)用性能。

參考文獻(xiàn)

• 馬速良，武亦文，李建林，等.聚類分析架構(gòu)下基于遺傳算法的電池異常數(shù)據(jù)檢測(cè)方法[J].電網(wǎng)技術(shù)，2023，47（2）：859-867.
• 孫潔，劉夢(mèng)，劉曉悅，等.LSTM神經(jīng)網(wǎng)絡(luò)算法對(duì)鋰電池故障信號(hào)檢測(cè)的研究[J].?現(xiàn)代電子技術(shù)，2022，45（3）：73-77.
• 郭鐵峰，賀建軍，申帥，等.基于動(dòng)態(tài)規(guī)整與改進(jìn)變分自編碼器的異常電池在線檢測(cè)方法[J/OL].?電子與信息學(xué)報(bào)，2023，（6）：1-10.[2024-02-06].http：//kns.cnki.net/kcms/detail/11.4494.TN.20230629.1011.002.html.
• 周麗娟，毛嘉寧.視覺Transformer識(shí)別任務(wù)研究綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2023，28（10）：2969-3003.
• 徐浩森，姜囡，齊志坤.基于注意力機(jī)制的卷積循環(huán)網(wǎng)絡(luò)語音降噪[J].科學(xué)技術(shù)與工程，2022，22（5）：1950-1957.?
• 張偉雄，唐娉，張正.基于時(shí)序自注意力機(jī)制的遙感數(shù)據(jù)時(shí)間序列分類[J].遙感學(xué)報(bào)，2023，27（8）：1914-1924.
• 方偉，江金光，謝東鵬.基于MLP神經(jīng)網(wǎng)絡(luò)改進(jìn)組合導(dǎo)航算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2021，42（1）：65-69
• 郝建紅，范宗皓，王暉.基于ELU卷積神經(jīng)網(wǎng)絡(luò)的視頻煙霧檢測(cè)[J].燕山大學(xué)學(xué)報(bào)，2020，44（4）：397-402
• 葉之騫，鐘紫鵬，鄧永聰，等.基于Mixup數(shù)據(jù)增強(qiáng)的CNN-GRU深度學(xué)習(xí)電火花線切割放電狀態(tài)識(shí)別[J].機(jī)械，2023，50（9）：8-15.