一種結(jié)合注意力機制的IGBT失效預(yù)測方法研究

蔣 闖，艾 紅，陳雯柏，劉輝翔，馬 航

(北京信息科技大學(xué) 自動化學(xué)院, 北京 100192)

0 引言

絕緣柵雙極晶體管(insulated gate bipolar transistor，IGBT)在現(xiàn)代能源、航空航天等領(lǐng)域有著廣泛的應(yīng)用，為保證設(shè)備的安全可靠運行，對IGBT的失效預(yù)測具有重要意義。IGBT可靠性分析的方法主要有兩類，基于物理模型的方法和基于數(shù)據(jù)驅(qū)動的方法[1]。目前，基于數(shù)據(jù)驅(qū)動方法的研究中對輸入?yún)?shù)選擇多種多樣。Li等[2]通過溫度循環(huán)方法對IGBT模塊進行老化試驗，獲得集電極發(fā)射極通態(tài)電壓Vce(on)和電流Ice作為老化參數(shù)，提出了一種基于粒子濾波理論的方法來預(yù)測 IGBT的性能。Ge等[3]分析并選取集電極發(fā)射極的瞬態(tài)尖峰電壓作為失效特征參數(shù)，提出了一種基于自回歸遞歸網(wǎng)絡(luò)概率預(yù)測的IGBT剩余使用壽命預(yù)測方法。值得注意的是，IGBT失效過程中會引起多個監(jiān)測參數(shù)變化，目前研究多是采用單參數(shù)或雙參數(shù)作為輸入，會丟失IGBT老化失效過程中的一些特征信息。本文中采用集電極發(fā)射極電壓Vce作為失效參數(shù)，輔以集電極發(fā)射極電流Ice，柵極電壓Vg，柵極發(fā)射極電壓Vge作為輸入?yún)?shù)進行預(yù)測。

研究表明，使用長短時記憶網(wǎng)絡(luò)(long short term memory，LSTM)[4-5]方法的時間序列預(yù)測分析已經(jīng)取得了很好的性能。在IGBT的可靠性分析領(lǐng)域，Li等[1]提出了一種能夠有效處理時間序列數(shù)據(jù)的LSTM網(wǎng)絡(luò)來預(yù)測IGBT剩余使用壽命。高偉等[6]提出了一種基于三層LSTM網(wǎng)絡(luò)的IGBT故障預(yù)測方法。但是，傳統(tǒng)的LSTM在預(yù)測中仍然存在一些局限性，它只使用上次時間步長的學(xué)習(xí)特征進行回歸或分類[7]，沒有專注到所有時間步更重要的特征。

本文中提出一種基于注意力機制的LSTM與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的融合模型LACNN用于IGBT失效預(yù)測。模型中的交叉連接結(jié)構(gòu)，不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數(shù)據(jù)經(jīng)由CNN和LSTM-Attention組成的雙通道結(jié)構(gòu)保留兩者的優(yōu)勢。不但增加模型的信息挖掘能力，還可以保留長依賴關(guān)系。為了使輸入數(shù)據(jù)包含退化過程較為全面的信息，實驗采用IGBT多參數(shù)指標作為輸入，同時注意力機制來學(xué)習(xí)特征和時間步的重要性，并為更重要的特征分配更大的權(quán)值。該方法通過NASA AMES實驗室提供的開放數(shù)據(jù)集(獲取網(wǎng)址http://ti.arc.nasa.gov/tech/dash/diagnostics-and-prognostics)進行驗證并通過和傳統(tǒng)的深度學(xué)習(xí)方法對比，證明了所提方法的有效性。

1 IGBT失效和老化試驗

1.1 IGBT失效分析

目前發(fā)現(xiàn)的IGBT失效是由引線鍵合剝離、芯片焊接退化、柵極氧化物退化和封裝分層機制引起的。圖1表示了IGBT的故障來源，其中有61%的故障是由較高的穩(wěn)態(tài)溫度和溫度循環(huán)引起的[8]。

在工作過程中，IGBT暴露在溫度循環(huán)中，由于反復(fù)的熱應(yīng)力，鋁絲和硅片的熱膨脹系數(shù)之間的不匹配在鋁絲粘結(jié)界面上產(chǎn)生了應(yīng)力，這些應(yīng)力會使模具和封裝部件發(fā)生膨脹和收縮，導(dǎo)致變形和退化，最終導(dǎo)致IGBT失效[9]。

圖1 IGBT故障來源

1.2 加速老化試驗

正常工況條件下，IGBT器件從開始工作到老化失效一般會經(jīng)歷幾千小時的時間。為了分析器件退化性能，Greg等[10]設(shè)計了一個能夠在柵控功率晶體管上進行魯棒性實驗的加速老化系統(tǒng)，以總結(jié)和分析預(yù)測指標。功率循環(huán)加速老化試驗和熱循環(huán)加速老化試驗是目前廣泛應(yīng)用于功率器件長期性能測試的標準可靠性加速老化試驗方法，熱循環(huán)加速老化試驗控制流程如圖2所示。

圖2 加速老化試驗控制流程框圖

在加速老化試驗中，IGBT被反復(fù)打開和關(guān)閉，直到外殼溫度達到之前設(shè)定的最大值Tmax。當溫度達到Tmax時，關(guān)閉設(shè)備直到溫度下降到Tmin。然后設(shè)備在溫度Tmax和Tmin之間循環(huán)。熱電偶模塊包括T型熱電偶和信號調(diào)理電路，實現(xiàn)對功率器件表面溫度的測量，是加速老化試驗中的關(guān)鍵模塊。傳感器電信號采集則是對實驗過程中IGBT的電流、電壓等的監(jiān)測。加速老化試驗的主要目的是識別設(shè)備開始運行至故障失效過程中隨運行時長變化的參數(shù)，其變化可以映射為設(shè)備的退化過程。在實際工程中監(jiān)測這些前兆參數(shù)，就可以實現(xiàn)合適的診斷和預(yù)測算法，以提供故障的早期預(yù)警，并預(yù)測設(shè)備的剩余使用壽命[11]。

2 LACNN融合模型

LSTM 能夠處理具有復(fù)雜時間關(guān)聯(lián)性的數(shù)據(jù)，而CNN具有強大的特征提取能力。本文中使用交叉連接的方式結(jié)合兩者的特點并引入注意力機制提出了LACNN融合模型。

2.1 模型分析

文獻[12]證明，在時間序列問題上增加CNN網(wǎng)絡(luò)可以提高LSTM的性能。引入CNN網(wǎng)絡(luò)以提高模型的特征提取能力，不同于以往研究的CNN與LSTM并行使用，采用LSTM后接CNN串聯(lián)的結(jié)構(gòu)。借鑒深度殘差網(wǎng)絡(luò)[13](deep residual network，ResNet)中的交叉連接思想在網(wǎng)絡(luò)結(jié)構(gòu)件間使用跳連，使數(shù)據(jù)中的時間與空間信息得到充分利用。在首層使用LSTM能夠很好地保留原始數(shù)據(jù)中對預(yù)測任務(wù)有重要影響的時間信息，在其后引入的在自然語言處理中起重要作用的注意力機制，則彌補LSTM只使用上次時間步長的學(xué)習(xí)特征進行回歸預(yù)測的缺點。最后接入CNN網(wǎng)絡(luò)深度挖掘數(shù)據(jù)特征，大大增加模型的預(yù)測精度，構(gòu)建LACNN融合模型如圖3所示。

模型的輸入數(shù)據(jù)是多個時間步的多個物理量，雖然比單指標輸入含有更全面的特征，但是也夾雜了大量無用信息且加大了計算資源。因此，引入注意力機制分配有限的信息處理資源給更重要的部分，提升學(xué)習(xí)效率的同時也提高了預(yù)測的精度，并增強了模型可解釋性。模型中LSTM能夠?qū)W習(xí)到長期依賴性的信息，而CNN可以在提取時不改變特征，它們的組合提高了模型整體的精度，增強了處理非線性數(shù)據(jù)的能力。提出的模型主要包含一個LSTM-Attention部分和一個CNN部分，從它們中提取的特征被組合以生成最終結(jié)果，以下將詳細說明其結(jié)構(gòu)。

圖3 LACNN融合模型

首先采用滑動時間窗口法處理數(shù)據(jù)。大小為Nw的窗口沿著時間序列滑動，每滑動一個單元，反饋滑塊內(nèi)的數(shù)據(jù)，作為預(yù)測模型的輸入，二維數(shù)據(jù)經(jīng)過時間窗口處理后，每個樣本尺寸為(Nw，m)，其中Nw表示窗口大小，m表示特征數(shù)量[14]。滑動窗口的步長可根據(jù)需求設(shè)定，為得到更多數(shù)據(jù)，步長設(shè)置為1。

遺忘門：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

輸入門：

(2)

(3)

輸出門：

(4)

Attention層為更重要的特征或時間步分配更大的權(quán)值，即對ht進行分配權(quán)重并計算最終結(jié)果。假設(shè)LSTM網(wǎng)絡(luò)對一個樣本學(xué)習(xí)到的特征可以表示為H=(h1,h2,h3,…,hd)T，T是該轉(zhuǎn)置操作。其中hi∈Rn，n為特征的序列步數(shù)。圖4為Attention內(nèi)部結(jié)構(gòu)。

圖4 Attention內(nèi)部結(jié)構(gòu)

根據(jù)自注意機制，第i個輸入特征hi的不同順序步驟的重要性可以表示為si=φ(WThi+b)，其中W和b分別是權(quán)重矩陣和偏差向量，φ(·)是得分函數(shù)。在得到第i個特征向量的得分后，可以使用softmax函數(shù)進行歸一化，如式(5)所示[7]:

(5)

注意機制的最終輸出特征O可以表示為：

O=H?A

(6)

式中：A=(a1,a2,a3,…,ad)，?是元素乘法的操作。

Attention層得到的特征送入CNN層，使用卷積核大小為1，沿著時間維度進行一維卷積。CNN對輸出特征O進行卷積操作，其特征映射可以用式(7)表示為：

cj=f(wj°O+b)

(7)

式中： ° 表示點積；wj表示窗口向量；b∈R表示偏置項；f表示非線性變換函數(shù)。

實驗中選擇Relu作為非線性函數(shù)。在模型中，使用n個過濾器生成如下特征映射：

W=[c1，c2，c3，…，cn]

(8)

式中：ci為第i個過濾器生成的特征映射。

最后，將Attention的輸出與CNN層的輸出拼接，得到融合的特征M=[O,W]，最后在全連接層后添加一個神經(jīng)元，代表預(yù)測失效參數(shù)的輸出值。對失效特征參數(shù)的預(yù)測是一個典型的回歸問題，因此提出方法的損失函數(shù)設(shè)置為均方誤差(mean square error，MSE)損失。給定預(yù)測和真實值，可以計算訓(xùn)練數(shù)據(jù)上的MSE損失并反向傳播，生成每一層(如LSTM層、注意力層和CNN層)的誤差梯度。然后，根據(jù)誤差梯度，對模型各層參數(shù)采用自適應(yīng)優(yōu)化算法進行優(yōu)化?？紤]到深度學(xué)習(xí)模型中的過擬合問題，需要采用適當?shù)恼齽t化技術(shù)。

2.2 過程分析

根據(jù)以上描述，LACNN模型的訓(xùn)練和測試過程歸納為算法1，如下所示。

算法1

1) 輸入：

數(shù)據(jù)預(yù)處理，對NASA提供的數(shù)據(jù)進行分析，最終提取出本實驗需要的數(shù)據(jù)集。預(yù)處理后的信號樣本x={xi∈RN×L×M∣i=1,…,K}其中i表示訓(xùn)練數(shù)據(jù)集中的索引，N是樣本數(shù)，L是每個樣本的時間步數(shù)，M是通道數(shù)。

2) 初始化：

初始化各層參數(shù)。

3) 前向傳播：

數(shù)據(jù)首先送入LSTM層，對時間信息進行編碼，并保留LSTM層的隱層狀態(tài)，然后Attention層分配權(quán)重，最后加入CNN網(wǎng)絡(luò)學(xué)習(xí)更全面的特征。

使用 Dropout層來避免過擬合。

使用損失函數(shù)MSE計算損失。

4) 反向傳播：

使用Adam優(yōu)化算法計算誤差梯度并調(diào)整各層權(quán)值。

5) 循環(huán)：

不斷循環(huán)3和4直到最大迭代次數(shù)或誤差精度滿足要求。

6) 輸出：

經(jīng)過訓(xùn)練的LACNN模型。

提出的基于注意力機制的IGBT失效預(yù)測方法為：對集電極發(fā)射極電壓、集電極發(fā)射極電流、門極發(fā)射極電壓和門極電壓進行數(shù)據(jù)分析篩選，選定IGBT關(guān)斷時刻的各項參數(shù)作為研究對象與失效指標，建立LACNN融合模型對失效參數(shù)進行預(yù)測。在實際工程中對比失效參數(shù)預(yù)測結(jié)果與IGBT實際運行過程中產(chǎn)生的數(shù)據(jù)，確定差異值，若差異值大于最大誤差值ε，將當前誤差超出次數(shù)加一，當誤差超出次數(shù)大于次數(shù)閾值n，生成失效報警信息，工作人員根據(jù)報警信息對IGBT進行檢修與更換。其中，ε為模型訓(xùn)練結(jié)束時的最大誤差，n設(shè)置為與窗口大小等同。

3 實驗與分析

3.1 實驗設(shè)置

3.1.1數(shù)據(jù)分析

使用美國宇航局研宄中心的老化數(shù)據(jù)對IGBT失效預(yù)測問題進行研究。該加速熱老化實驗條件如表1所示[10]。

表1 IGBT熱加速老化實驗條件

從開始至器件出現(xiàn)故障失效，實驗共經(jīng)歷 180 min左右的時間，采集到瞬態(tài)電壓數(shù)據(jù)418組，每組數(shù)據(jù)包含集電極發(fā)射極電流、柵極電壓、集電極發(fā)射極電壓等。完整的集電極發(fā)射極電壓Vce變化趨勢如圖5所示。

圖5 集電極發(fā)射極電壓變化趨勢

圖5中橫坐標表示采樣點數(shù)(按時間順序)，縱坐標表示集電極發(fā)射極電壓Vce，隨著老化試驗的進行，Vce外包絡(luò)線呈下降趨勢。研究發(fā)現(xiàn)，圖中呈現(xiàn)下降趨勢的點就是關(guān)斷瞬間的集電極發(fā)射極尖峰峰值電壓，如果尖峰較高，可能會發(fā)生過電壓擊穿，導(dǎo)致失效。因此檢測并預(yù)測 IGBT 的關(guān)斷尖峰電壓具有十分重要的意義。

第50、150、300、400組的IGBT開關(guān)一次完整數(shù)據(jù)如圖6所示?？梢杂^察到IGBT關(guān)斷過程中集電極發(fā)射極電壓會出現(xiàn)瞬時尖峰，且峰值逐漸變小。為更直觀地體現(xiàn)，圖7在同一坐標系下給出了跳變時刻附近的電壓數(shù)據(jù)值?？梢院苊黠@看出尖峰電壓值在IGBT退化過程中呈下降趨勢，因此，集電極發(fā)射極關(guān)斷瞬間尖峰峰值電壓Vce-peak可以作為IGBT失效預(yù)測依據(jù)。

圖6 集電極發(fā)射極開關(guān)一次電壓信號

圖7 集電極發(fā)射極瞬態(tài)峰值

提取每組數(shù)據(jù)的尖峰電壓值，共獲得418組失效參數(shù)指標，如圖8所示，圖中橫坐標表示釆樣周期，縱坐標表示IGBT退化過程中集電極發(fā)射極實時關(guān)斷尖峰電壓值。

圖8 集電極發(fā)射極實時關(guān)斷尖峰電壓值曲線

3.1.2評價標準

為評價模型的性能，文中采用如下評價標準：平均絕對誤差(mean absolute error，MAE)、均方根誤差(root mean square error，RMSE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)和決定系數(shù)(coefficient of determination，R2)。

(9)

(10)

(11)

(12)

3.2 結(jié)果與分析

3.2.1參數(shù)影響

1) 窗口大小分析：在數(shù)據(jù)預(yù)處理過程中，窗口大小是最重要的參數(shù)之一。為了評估這個參數(shù)的影響，實驗過程中用不同的窗口大小(3、6、9、12) 來實現(xiàn)所提出的方法。為了實驗結(jié)果的嚴謹性又設(shè)置較小窗口4和較大窗口32作為實驗對照?？紤]到參數(shù)初始化時的隨機性，每組參數(shù)下的模型運行10次，RMSE與MAPE結(jié)果箱線圖如圖9所示。

實驗結(jié)果表明，更大的窗口可以包含來自數(shù)據(jù)集更多的信息，以便于準確預(yù)測，但是在窗口增大到一定數(shù)值后在測試數(shù)據(jù)集上的性能反而會下降，這可能是由于當窗口含有太多信息時對于文中數(shù)據(jù)集過擬合造成的。在實際應(yīng)用中需要通過對訓(xùn)練數(shù)據(jù)交叉驗證，對不同的數(shù)據(jù)集選擇不同的窗口大小。根據(jù)實驗結(jié)果，采用窗口大小6時模型最優(yōu)。

圖9 LACNN在不同窗口大小條件下的實驗結(jié)果

2) 隱層節(jié)點數(shù)分析：在模型中，LSTM是直接與輸入數(shù)據(jù)相連的網(wǎng)絡(luò)層，因此它的隱層節(jié)點數(shù)對建立的神經(jīng)網(wǎng)絡(luò)模型性能影響很大?？紤]到LSTM的結(jié)構(gòu)以及輸入數(shù)據(jù)維度為4，選擇4、16、64、128、256、512作為節(jié)點數(shù)目。訓(xùn)練模型得到的RMSE以及平均每個epoch所需要的時間t(單位ms)如圖10所示。

圖10 使用不同隱層節(jié)點數(shù)的實驗結(jié)果曲線

實驗結(jié)果表明，適當增加節(jié)點數(shù)目可以提高模型性能。這是因為這一層中的節(jié)點代表了之前所有數(shù)據(jù)的特征，當節(jié)點數(shù)目增加時，網(wǎng)絡(luò)所能表達的特征更加的全面。然而，節(jié)點數(shù)目超過一定的值，模型在測試集上的性能不再提升或略有下降，且訓(xùn)練時長大大增加，這不利于最優(yōu)模型的建立。因此，選擇LSTM隱層節(jié)點數(shù)為128所得到的模型為最優(yōu)。

由于篇幅限制，主要展示以上實驗結(jié)果。對于所提出的LACNN模型，經(jīng)實驗分析后結(jié)構(gòu)參數(shù)如表2所示。

表2 模型參數(shù)

3.2.2模型對比

為了驗證所提方法中采用多參數(shù)輸入并引入注意力機制的有效性，分別構(gòu)建LSTM和LSTM-Attention模型，然后使用這2個模型來驗證測試集中的部分數(shù)據(jù)。預(yù)測結(jié)果如圖11所示。

圖11 模型預(yù)測曲線

圖11中橫坐標是采樣周期，縱坐標是失效特征參數(shù)。由圖11可知，LSTM-Attention預(yù)測的結(jié)果比單獨使用LSTM的預(yù)測結(jié)果更加精確，由表3可知RMSE提升了1.27%。證明采用多指標預(yù)測并引入Attention機制在IGBT失效預(yù)測任務(wù)中能提高模型精度。

為解決僅使用LSTM網(wǎng)絡(luò)進行訓(xùn)練不能全面學(xué)習(xí)到數(shù)據(jù)中深層特征的問題，進一步提高模型預(yù)測精度，模型中加入CNN網(wǎng)絡(luò)層，構(gòu)建LACNN模型，極大提升對特征提取與處理的能力。選擇數(shù)據(jù)集的90%作為訓(xùn)練，10%作為預(yù)測，圖12為LACNN模型在測試集的誤差分布直方圖。橫坐標表示預(yù)測值與實際值之間的差值，縱坐標表示與誤差區(qū)域相對應(yīng)數(shù)據(jù)的數(shù)量。由圖12可知，預(yù)測誤差分布主要在區(qū)間[-0.05，0.05]且主要集中在0.004附近，證明所提模型預(yù)測精度符合要求。

圖12 預(yù)測誤差分布直方圖

以MAE、RMSE、MAPE、R2作為評價指標，在NASA的公開數(shù)據(jù)集上進行驗證，不同預(yù)測模型的性能如表3所示。LSCNN指的是帶有交叉連接結(jié)構(gòu)的LSTM-CNN模型。

表3 不同預(yù)測模型的性能

由表3可知，在處理帶有時間序列信息的回歸預(yù)測問題上，LSTM的表現(xiàn)明顯優(yōu)于CNN和傳統(tǒng)模型。而相比于使用單一的LSTM網(wǎng)絡(luò)，CNN-LSTM、LSTM-CNN、LSCNN和LSTM-Attention都有更好的表現(xiàn)，證明在IGBT失效預(yù)測任務(wù)中可以通過CNN和Attention來增強LSTM的性能，主要原因是CNN具有提取數(shù)據(jù)深度特征的能力，Attention則可以專注于更重要的特征和時間步長，從而提升LSTM的性能。而在LSTM-CNN、CNN-LSTM與LSCNN三者中，LSCNN的效果最好。因此在LSTM-CNN框架下將交叉連接結(jié)構(gòu)與Attention兩者結(jié)合構(gòu)建LACNN融合模型，并應(yīng)用到IGBT的失效預(yù)測中，預(yù)測精度得到巨大提升。結(jié)果如下，RMSE：0.020 8，MAE：0.016 5，MAPE：0.213 7，R2：0.987 9，表明所提LACNN模型對IGBT失效特征參數(shù)預(yù)測的精度更高。

4 結(jié)論

1) 交叉連接結(jié)構(gòu)不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數(shù)據(jù)經(jīng)由CNN和LSTM-Attention組成的雙通道結(jié)構(gòu)保留兩者的優(yōu)勢。不但增加模型的信息挖掘能力，還可以保留長依賴關(guān)系，而且融合的多層級特征提升了模型的泛化性與魯棒性。

2) 在IGBT失效預(yù)測任務(wù)中采用多參數(shù)輸入并引入注意力機制不僅可以彌補傳統(tǒng)的LSTM只使用上次時間步的學(xué)習(xí)特征進行回歸預(yù)測的問題，還可以解決單變量輸入包含信息太少不能精確預(yù)測失效參數(shù)變化趨勢的問題。