基于并行SDAE?Seq2Seq模型的軸承壽命預(yù)測(cè)方法

張俊杰 王海瑞 李亞 朱貴富

基金項(xiàng)目：國(guó)家自然科學(xué)基金（批準(zhǔn)號(hào)：61863016，61263023）資助的課題。

作者簡(jiǎn)介：張俊杰（1999-），碩士研究生，從事智能診斷技術(shù)的研究。

通訊作者：王海瑞（1969-），教授，博士研究生導(dǎo)師，從事智能診斷、邊緣計(jì)算的研究，hrwang88@163.com。

引用本文：張俊杰，王海瑞，李亞，等.基于并行SDAE?Seq2Seq模型的軸承壽命預(yù)測(cè)方法[J].化工自動(dòng)化及儀表，2024，

51（3）：427-437.

摘 要 基于數(shù)據(jù)驅(qū)動(dòng)的軸承壽命預(yù)測(cè)方法大多需要人工提取退化特征，而且對(duì)于不同工況下的軸承需要進(jìn)行針對(duì)性優(yōu)化，也是依賴專家知識(shí)和經(jīng)驗(yàn)進(jìn)行特征提取。為此，提出一種并行堆疊降噪自動(dòng)編碼器算法（PSDAE）來(lái)提取軸承退化特征，并結(jié)合Seq2Seq模型預(yù)測(cè)軸承剩余壽命。通過(guò)PSDAE直接對(duì)原始振動(dòng)信號(hào)進(jìn)行降噪、降維，得到退化特征，通過(guò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練自動(dòng)獲得不同工況下的軸承退化特征。其次，引入注意力機(jī)制，將提取的特征輸入Seq2Seq模型進(jìn)行訓(xùn)練，并在PHM2012數(shù)據(jù)集上驗(yàn)證模型的預(yù)測(cè)效果。實(shí)驗(yàn)結(jié)果表明：PSDAE通過(guò)并行集成方式降低了模型的訓(xùn)練參數(shù)和整體誤差，提取的退化特征在單調(diào)性和可預(yù)測(cè)性方面優(yōu)于堆疊降噪自動(dòng)編碼器（SDAE），使用該退化特征有效減少了Seq2Seq模型的預(yù)測(cè)誤差，提高了預(yù)測(cè)得分，具有更好的預(yù)測(cè)效果和穩(wěn)定性。

關(guān)鍵詞 并行堆疊降噪自動(dòng)編碼器算法 壽命預(yù)測(cè) 滾動(dòng)軸承 特征提取 注意力機(jī)制 Seq2Seq模型

中圖分類號(hào) TP202.1?? 文獻(xiàn)標(biāo)志碼 A?? 文章編號(hào) 1000?3932（2024）03?0427?11

軸承被廣泛應(yīng)用于旋轉(zhuǎn)機(jī)械，任何軸承故障都會(huì)使機(jī)械系統(tǒng)偏離正常狀態(tài)[1]。因此，對(duì)軸承進(jìn)行健康監(jiān)測(cè)和剩余使用壽命（RUL）預(yù)測(cè)意義重大。傳統(tǒng)的可靠性評(píng)估方法依賴于概率統(tǒng)計(jì)數(shù)據(jù)，無(wú)法對(duì)單個(gè)軸承設(shè)備進(jìn)行個(gè)性化的可靠性評(píng)估[2]。而通過(guò)專家知識(shí)和手動(dòng)提取特征數(shù)據(jù)的方法，又難以解決當(dāng)前機(jī)械設(shè)備數(shù)據(jù)量龐大、信息密度低及時(shí)效性較差等問(wèn)題[3～5]。

近年來(lái)，由于全球計(jì)算機(jī)算力的驟增，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)（CV）和自然語(yǔ)言處理（NLP）領(lǐng)域取得了極大的進(jìn)展，一些用于CV和NLP領(lǐng)域的深度學(xué)習(xí)技術(shù)也可以應(yīng)用于軸承的故障預(yù)測(cè)和健康管理（PHM）。采用基于數(shù)據(jù)驅(qū)動(dòng)的方法對(duì)軸承溫度、振幅、負(fù)載等信號(hào)進(jìn)行采集分析，然后用于軸承的剩余壽命預(yù)測(cè)，可極大地減少對(duì)專家知識(shí)的依賴，也可避免基于模型驅(qū)動(dòng)的方法過(guò)于復(fù)雜、難以建立準(zhǔn)確有效數(shù)學(xué)模型等問(wèn)題[6]。在基于數(shù)據(jù)驅(qū)動(dòng)的軸承壽命預(yù)測(cè)問(wèn)題上，文獻(xiàn)[7]提出基于數(shù)據(jù)增強(qiáng)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，將原始的18維時(shí)域信號(hào)和頻域信號(hào)增強(qiáng)為108維后，用CNN處理高維特征，實(shí)現(xiàn)軸承RUL的預(yù)測(cè)。文獻(xiàn)[8]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)-雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（CNN?BiLSTM）模型提取更深層的故障特征，對(duì)深層特征進(jìn)行SoftMax回歸，實(shí)現(xiàn)了軸承的故障類別診斷。文獻(xiàn)[9]通過(guò)卷積自編碼網(wǎng)絡(luò)提取頻域特征，用k?means聚類和評(píng)價(jià)指標(biāo)挑選出優(yōu)質(zhì)特征，最后通過(guò)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short?Term Memory，LSTM）進(jìn)行剩余壽命預(yù)測(cè)。這些方法需要對(duì)軸承原始數(shù)據(jù)進(jìn)行特征提取和處理，依賴于專家知識(shí)和經(jīng)驗(yàn)進(jìn)行特征提取。綜上所述，針對(duì)軸承的剩余壽命預(yù)測(cè)和健康監(jiān)測(cè)，傳統(tǒng)的統(tǒng)計(jì)特征難以反映整個(gè)軸承的退化過(guò)程，并且缺乏單調(diào)性、趨勢(shì)性和魯棒性，仍然需要對(duì)軸承樣本進(jìn)行特征提取，以提高剩余壽命預(yù)測(cè)的準(zhǔn)確性和可靠性，此過(guò)程需要人工介入，增加了預(yù)測(cè)模型的人工成本，同時(shí)也限制了預(yù)測(cè)模型的適用性。

筆者提出一種用于預(yù)測(cè)軸承剩余使用壽命的方法，即利用并行堆疊降噪自動(dòng)編碼器（Parallel Stacked Denoising Autoencoder，PSDAE）結(jié)合序列到序列模型（Sequence to Sequence，Seq2Seq）提取退化特征并預(yù)測(cè)健康度指標(biāo)。通過(guò)不同工況下的軸承振動(dòng)數(shù)據(jù)訓(xùn)練PSDAE神經(jīng)網(wǎng)絡(luò)模型后，直接使用神經(jīng)網(wǎng)絡(luò)提取退化特征，不用再依賴專家經(jīng)驗(yàn)和知識(shí)提取時(shí)域、頻域和時(shí)頻域的各種特征，免去人工特征處理步驟。

1 并行SDAE?Seq2Seq模型

1.1 堆疊降噪自動(dòng)編碼器

降噪自動(dòng)編碼器（Denoising Autoencoder，DAE）是一種神經(jīng)網(wǎng)絡(luò)模型，它利用反向傳播算法使網(wǎng)絡(luò)的輸出值和輸入值盡可能相等。DAE由一個(gè)編碼器和一個(gè)解碼器組成，將初始數(shù)據(jù)x加入噪聲破壞后得到輸入層的數(shù)據(jù)[x][～]。編碼器通過(guò)函數(shù)f將[x][～]映射為隱藏層的數(shù)據(jù)y，確定性映射y通過(guò)權(quán)重和偏置決定，即有：

y=f（[x][～]）=s（W[x][～]+b）（1）

其中，W為m×n的權(quán)重矩陣;b是m維的偏置向量;s表示[x][～]和W以及偏置向量b所做的矩陣運(yùn)算。

編碼器通過(guò)映射函數(shù)將輸入的n×i矩陣[x][～]壓縮為低維數(shù)據(jù)。解碼器則通過(guò)函數(shù)g（y）將y反向映射為z：

z=g（y）=s（W′y+b′）（2）

其中，W′是重建解碼器的權(quán)重矩陣;b′是重建的偏置向量。

為了使編碼器的輸入和解碼器的輸出盡可能相等，需要對(duì)（W′，b′）和（W，b）迭代更新，以最小化重構(gòu)誤差l（x，z）。降噪自動(dòng)編碼器的結(jié)構(gòu)如圖1所示。

當(dāng)輸入數(shù)據(jù)的維度和編碼器的輸出維度相差過(guò)大時(shí)，隱藏層和輸入層間的神經(jīng)元差距極大，會(huì)增加模型的訓(xùn)練時(shí)間，并且可能導(dǎo)致過(guò)擬合。為了克服這個(gè)問(wèn)題，文獻(xiàn)[10]提出了堆疊降噪自動(dòng)編碼器（Stacked Denoising Autoencoder，SDAE）。SDAE的結(jié)構(gòu)類似于多層感知機(jī)，如圖2所示，通過(guò)堆疊多個(gè)DAE減少了每個(gè)DAE的權(quán)重參數(shù)和訓(xùn)練時(shí)間，SDAE網(wǎng)絡(luò)可以較好地捕獲信號(hào)分布的潛在特征，通過(guò)對(duì)原始數(shù)據(jù)的破壞和重建，實(shí)現(xiàn)對(duì)信號(hào)特征的壓縮和更新。

1.2 融合注意力機(jī)制的Seq2Seq模型

1.2.1 Seq2Seq模型和注意力機(jī)制

Seq2Seq模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種重要變體，由編碼器和解碼器組成[11]，可以將原始序列數(shù)據(jù)轉(zhuǎn)換到另外一個(gè)序列，對(duì)時(shí)序數(shù)據(jù)具有很好的處理能力，并且輸入序列和輸出序列長(zhǎng)度是任意的。編碼器通過(guò)計(jì)算將一個(gè)輸入序列{y}轉(zhuǎn)換為上下文變量c，然后解碼器通過(guò)c逐步生成目標(biāo)序列T。因此，在第t個(gè)時(shí)間步時(shí)，T的條件概率為：

P（T|T，T，…，T，c）=g（h，T，c）（3）

其中，h是時(shí)間步t的隱變量;g（·）是SoftMax激活函數(shù)。

如圖3a所示，解碼器通過(guò)變量c作為初始的隱變量，可以得到任意t時(shí)刻之前所有時(shí)間序列的信息，再結(jié)合所有的輸入{y，k≤N}，讓模型可以得到準(zhǔn)確的預(yù)測(cè)結(jié)果。但是當(dāng)時(shí)間序列過(guò)長(zhǎng)時(shí)，RNN編碼器輸出的最后一個(gè)隱變量會(huì)遺忘掉早期信息，只攜帶最近的信息，在這樣的情況下注意力機(jī)制可以很好地改善RNN的這個(gè)問(wèn)題。如圖3b所示，注意力機(jī)制起到了一個(gè)控制門的效果，a是一個(gè)長(zhǎng)度和輸出隱變量長(zhǎng)度一致的向量，它可以通過(guò)權(quán)重讓解碼器在每一個(gè)時(shí)間步的預(yù)測(cè)過(guò)程中，從隱變量h中獲取最合適的信息。如圖3b所示，在每一個(gè)時(shí)間步中，a是根據(jù)當(dāng)前目標(biāo)隱變量h和編碼器的每一個(gè)隱變量h來(lái)計(jì)算的。

框架簡(jiǎn)圖

1.2.2 門控循環(huán)單元GRU

在Seq2Seq模型中，通過(guò)兩個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)作為編碼器和解碼器來(lái)處理時(shí)間序列數(shù)據(jù)，實(shí)現(xiàn)RUL預(yù)測(cè)。然而，普通的循環(huán)神經(jīng)網(wǎng)絡(luò)模型在長(zhǎng)時(shí)間序列預(yù)測(cè)中存在梯度消失和梯度爆炸的問(wèn)題，難以捕獲當(dāng)前變量與之前變量的相關(guān)性，為解決這個(gè)問(wèn)題，文獻(xiàn)[12]提出了LSTM。門控循環(huán)單元（Gated Recurrent Unit，GRU）作為L(zhǎng)STM的簡(jiǎn)化變體，減少了需要訓(xùn)練的參數(shù)量，降低了過(guò)擬合風(fēng)險(xiǎn)，同時(shí)在訓(xùn)練數(shù)據(jù)較大的情況下可以極大地縮短訓(xùn)練時(shí)長(zhǎng)。因此，本研究在Seq2Seq模型中使用GRU作為編碼器和解碼器。

如圖4所示，GRU中定義了兩個(gè)門——重置門r和更新門z。r和h作哈達(dá)瑪積后通過(guò)tanh激活函數(shù)來(lái)控制候選隱藏狀態(tài)[h][～]，然后將z和h的哈達(dá)瑪積與（1-z）和[h][～]的哈達(dá)瑪積相加得到隱藏狀態(tài)h。h表示上一時(shí)刻的隱藏狀態(tài)，y表示當(dāng)前時(shí)刻的輸入。

圖4中：

r=σ（yW+hW+b）（4）

z=σ（yW+hW+b）（5）

[h][～]=tanh（yW+（r☉h）W+b）（6）

h=z☉h+（1-z）☉[h][～]（7）

其中，σ表示Sigmoid激活函數(shù)，用于將兩個(gè)門的輸出控制在0～1之間;W和b分別表示相應(yīng)變量所對(duì)應(yīng)的權(quán)重和偏置矩陣。

通過(guò)重置門和更新門結(jié)構(gòu)，GRU可以有效過(guò)濾無(wú)用的時(shí)間序列信息，捕獲當(dāng)前變量的長(zhǎng)期依賴關(guān)系。重置門是一個(gè)和隱藏狀態(tài)長(zhǎng)度一樣的向量，它通過(guò)Sigmoid激活函數(shù)輸出一個(gè)0～1的值，來(lái)決定有多少信息不能傳遞到下一時(shí)刻，根據(jù)式（6），極端情況下如果r逼近0，那么歷史信息將不會(huì)用于候選隱變量的計(jì)算。更新門和重置門一樣，但需要訓(xùn)練的權(quán)重和偏置向量不同，它決定了有多少過(guò)去的信息可以傳遞到下一時(shí)刻，當(dāng)更新門逼近0的情況下，傳遞到下一個(gè)時(shí)刻的信息由候選隱藏狀態(tài)決定。

1.3 PSDAE?Seq2Seq模型

SDAE解決了DAE模型容易過(guò)擬合、訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題，但也帶來(lái)了一些新問(wèn)題：通過(guò)堆疊多個(gè)DAE，并將每個(gè)DAE的隱藏層作為下一個(gè)DAE的輸入層，SDAE將編碼過(guò)程分解為多個(gè)部分，減少了每個(gè)DAE輸入層和隱藏層之間神經(jīng)元數(shù)量的差距，然而當(dāng)輸入數(shù)據(jù)的維度較大時(shí)，第1層的訓(xùn)練參數(shù)會(huì)非常龐大，使得輸出層的信號(hào)和原始信號(hào)間的誤差較大，容易出現(xiàn)過(guò)擬合，這會(huì)導(dǎo)致最終的編碼結(jié)果與原始信號(hào)間的誤差較大，無(wú)法捕捉到原始信號(hào)的潛在特征。

本研究通過(guò)并行集成的思想，在堆疊結(jié)構(gòu)的第1層中構(gòu)造多個(gè)DAE，每個(gè)DAE從原始信號(hào)的特征域中抽取m個(gè)采樣數(shù)據(jù)，對(duì)其進(jìn)行降噪編碼。原始的軸承數(shù)據(jù)是一個(gè)N×M的矩陣（其中，N表示軸承的采樣次數(shù);M表示每個(gè)時(shí)刻的采樣數(shù)據(jù)量，且N

0.1 s內(nèi)的2 560個(gè)振動(dòng)信號(hào)，如果一個(gè)軸承的使用壽命為28 000 s，那么用于PSDAE模型的原始數(shù)據(jù)就是一個(gè)28000×2560的矩陣。并行DAE的降噪過(guò)程如圖5所示。將每個(gè)時(shí)間點(diǎn)采集的振動(dòng)信號(hào)分為5段，將第1段信號(hào)x經(jīng)過(guò)破壞、壓縮、重建后得到還原后的信號(hào)z，根據(jù)兩者的誤差l（x，z）更新編碼器權(quán)重得到最好的編碼結(jié)果y，以此類推，得到所有分段信號(hào)的編碼結(jié)果y～y。然后，根據(jù)5個(gè)編碼器的誤差計(jì)算編碼結(jié)果的權(quán)重，誤差越小的權(quán)重越大，將y～y按照權(quán)重加權(quán)融合后得到最后的編碼結(jié)果y。

基于上述方法構(gòu)造并行降噪編碼器，作為堆疊降噪編碼器的第1層，通過(guò)多個(gè)DAE將原始數(shù)據(jù)拆分，降低每個(gè)DAE的神經(jīng)元數(shù)量，減少需要訓(xùn)練的參數(shù)量，從而降低總體誤差。用訓(xùn)練好的并行堆疊降噪編碼器對(duì)原始數(shù)據(jù)進(jìn)行特征提取，將每個(gè)軸承的退化特征作為Seq2Seq模型的輸入，通過(guò)退化特征預(yù)測(cè)軸承的健康指標(biāo)。

如圖6所示，在得到退化特征后，模型首先通過(guò)一個(gè)卷積層作為特征壓縮器，將時(shí)間序列壓縮到合適的大小，可以有效縮短訓(xùn)練時(shí)長(zhǎng)，減少梯度消失和爆炸風(fēng)險(xiǎn)。然后通過(guò)GRU編碼器編碼特征序列，輸出隱藏狀態(tài)h。最后，GRU解碼器對(duì)整個(gè)序列進(jìn)行解碼，一步一步地輸出所預(yù)測(cè)的健康狀態(tài)，在每一步中，根據(jù)編碼器提供的整個(gè)信息的呈現(xiàn)進(jìn)行注意力評(píng)分，以找出最重要的信息。

2 預(yù)測(cè)流程

2.1 數(shù)據(jù)預(yù)處理與退化特征提取

為了方便處理軸承信號(hào)，將原始數(shù)據(jù)中每個(gè)軸承的數(shù)據(jù)都轉(zhuǎn)換為一個(gè)N×M的矩陣。為了減少對(duì)先驗(yàn)知識(shí)的依賴和人工計(jì)算的過(guò)程，本研究使用一種簡(jiǎn)單的健康指標(biāo)，根據(jù)t時(shí)刻的剩余使用壽命RUL除以初始的剩余使用壽命RUL得到對(duì)應(yīng)的健康指標(biāo)HI，將健康指標(biāo)作為預(yù)測(cè)模型的預(yù)測(cè)標(biāo)簽。通過(guò)HI得到預(yù)測(cè)模型標(biāo)簽的同時(shí)還可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的歸一化，將數(shù)據(jù)縮放至[0，1]，消除單位對(duì)數(shù)據(jù)的限制，便于不同指標(biāo)之間的比較。此外，數(shù)據(jù)的歸一化可以提高模型的收斂速度，降低梯度爆炸的風(fēng)險(xiǎn)。HI的計(jì)算式如下：

HI=（8）

原始的軸承振動(dòng)信號(hào)通常是多維數(shù)據(jù)，而且可能存在噪聲。為了提取軸承的退化特征，本研究采用PSDAE對(duì)振動(dòng)信號(hào)進(jìn)行降噪編碼。這種方法通過(guò)并行編碼的方式減少了首層編碼器的神經(jīng)元數(shù)量和權(quán)重參數(shù)，從而提高了特征提取的效率。PSDAE包括1層并行DAE網(wǎng)絡(luò)和3層DAE網(wǎng)絡(luò)，能夠從原始振動(dòng)信號(hào)中提取出一維的軸承退化特征。

堆疊結(jié)構(gòu)的第1層中，將原始信號(hào)的2 560個(gè)采樣維度的數(shù)據(jù)x分割為5個(gè)512維的數(shù)據(jù)，將每段數(shù)據(jù)重復(fù)地破壞、重建得到新的數(shù)據(jù)，將數(shù)據(jù)拼接后即可得到重建后的2 560維度的數(shù)據(jù)z，再根據(jù)二者間的損失函數(shù)L（x，z）調(diào)整并行降噪編碼器的參數(shù)，直到誤差收斂。最后將模型的隱藏層作為下一層的輸入，對(duì)特征逐層編碼，得到最終的退化特征。

2.2 預(yù)測(cè)軸承HI

通過(guò)PSDAE降噪編碼后，獲得了一個(gè)退化趨勢(shì)明顯的時(shí)序特征，將其放入Seq2Seq模型中，以軸承健康指標(biāo)HI作為標(biāo)簽進(jìn)行預(yù)測(cè)。經(jīng)過(guò)GRU編碼器編碼后，通過(guò)注意力機(jī)制調(diào)節(jié)隱藏層權(quán)重，再通過(guò)GRU解碼器對(duì)每個(gè)時(shí)刻的HI進(jìn)行預(yù)測(cè)，最終獲得每個(gè)時(shí)間點(diǎn)的預(yù)測(cè)HI。通過(guò)對(duì)HI曲線進(jìn)行線性回歸，可以得到最終的軸承壽命終止點(diǎn)，從而預(yù)測(cè)軸承的剩余使用壽命。整個(gè)模型的預(yù)測(cè)流程如圖7所示。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)

本研究選用的實(shí)驗(yàn)數(shù)據(jù)為滾動(dòng)軸承加速壽命臺(tái)架試驗(yàn)采集的振動(dòng)加速度數(shù)據(jù)，來(lái)源于電器電子工程師協(xié)會(huì)在2012年舉辦的PHM挑戰(zhàn)賽[13]。實(shí)驗(yàn)數(shù)據(jù)來(lái)自PRONOSTIA平臺(tái)，通過(guò)加速軸承性能退化實(shí)驗(yàn)得到軸承的全壽命周期振動(dòng)數(shù)據(jù)。數(shù)據(jù)集包含3種工況下的17個(gè)滾動(dòng)軸承振動(dòng)數(shù)據(jù)，分別命名為Bearing1?1～Bearing1?7，Bearing2?1～

2?7，Bearing3?1～Bearing3?3。數(shù)據(jù)每隔10 s采集一次，每次的采樣頻率為25.6 kHz，采樣時(shí)間為

0.1 s，每次采集2 560個(gè)振動(dòng)加速度。具體的實(shí)驗(yàn)過(guò)程和其他信息詳見(jiàn)文獻(xiàn)[13]。

本次實(shí)驗(yàn)使用3種工況下的所有軸承數(shù)據(jù)（表1），數(shù)據(jù)集中包含了所有軸承的全壽命周期振動(dòng)信號(hào)數(shù)據(jù)，但是對(duì)于測(cè)試集的軸承，也提供了非全壽命周期的振動(dòng)信號(hào)數(shù)據(jù)。本研究使用全壽命周期的軸承作為訓(xùn)練集，非全壽命周期的軸承作為測(cè)試集。缺乏最后階段的振動(dòng)信號(hào)無(wú)疑會(huì)提高軸承剩余壽命預(yù)測(cè)的難度，但是更符合實(shí)際工業(yè)生產(chǎn)的要求，模型需要根據(jù)其他軸承的退化過(guò)程以及當(dāng)前軸承前期的振動(dòng)信號(hào)，預(yù)測(cè)軸承后期的失效時(shí)刻，這樣的預(yù)測(cè)更加有利于生產(chǎn)設(shè)備的維護(hù)和更換。

3.2 模型參數(shù)

為了獲得更好的預(yù)測(cè)模型，筆者根據(jù)前人經(jīng)驗(yàn)設(shè)置了模型的超參數(shù)。對(duì)于并行降噪自動(dòng)編碼器，對(duì)每一層的編碼器和解碼器逐層訓(xùn)練，參數(shù)設(shè)置為：隨機(jī)失活概率（dropout）為0.1，迭代次數(shù)（epoch）為200，學(xué)習(xí)率0.02，編碼器的激活函數(shù)為Sigmoid，解碼器使用線性函數(shù)作為激活函數(shù)，模型損失函數(shù)為MSE（Mean Squared Error），分支大?。╞atchsize）設(shè)為256。分層訓(xùn)練完之后再對(duì)整個(gè)模型進(jìn)行訓(xùn)練，學(xué)習(xí)率設(shè)置為0.005，batchsize為128（即訓(xùn)練過(guò)程中一次輸入模型的一組樣本的具體樣本數(shù)量為128），其余超參數(shù)沒(méi)有改變。

根據(jù)文獻(xiàn)[14]將GRU編碼器重置門的初始偏置設(shè)置為1，這樣有利于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)時(shí)的時(shí)間依賴性。損失函數(shù)使用MSE，使用Adam優(yōu)化算法作為參數(shù)優(yōu)化器，將初始學(xué)習(xí)率設(shè)置為0.005。注意力機(jī)制的計(jì)算方法使用concat。筆者模型的具體參數(shù)見(jiàn)表2。

3.3 退化特征提取效果評(píng)估

軸承剩余使用壽命預(yù)測(cè)屬于回歸預(yù)測(cè)任務(wù)，軸承的退化過(guò)程本質(zhì)上是一個(gè)隨機(jī)連續(xù)變化的過(guò)程，一個(gè)良好的退化特征可以幫助模型建立有效的健康指標(biāo)，提高RUL預(yù)測(cè)的準(zhǔn)確性。因此，良好的退化特征應(yīng)該滿足兩個(gè)指標(biāo)：

a. 曲線的單調(diào)性（Monotonicity，Mon）。退化過(guò)程是一個(gè)不可逆的過(guò)程，因此特征應(yīng)該具有一定的單調(diào)性，單調(diào)性可以定量反映曲線的變化趨勢(shì)，退化特征曲線的單調(diào)性對(duì)于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練具有重要意義，單調(diào)性較好的退化特征可以降低模型訓(xùn)練的誤差，在反向傳播過(guò)程中幫助神經(jīng)網(wǎng)絡(luò)的權(quán)重很快確定下來(lái)，降低模型訓(xùn)練的難度。

b. 曲線的可預(yù)測(cè)性（Prognosability，Prog）。對(duì)于軸承壽命預(yù)測(cè)，退化特征在軸承失效時(shí)刻的可變性會(huì)對(duì)壽命預(yù)測(cè)的難度和準(zhǔn)確度造成影響。當(dāng)軸承失效時(shí)刻的特征變化較為明顯時(shí)，可以讓神經(jīng)網(wǎng)絡(luò)更容易獲取退化特征和時(shí)間序列的潛在關(guān)系，從而更準(zhǔn)確地預(yù)測(cè)健康指標(biāo)。

特征單調(diào)性的計(jì)算式為：

Mon=

（9）

sgn（t）=1?? ，t>0

0?? ，t=0

-1，t<0（10）

其中，N是測(cè)試集中第j個(gè)軸承的時(shí)間序列長(zhǎng)度，sgn（·）是階躍函數(shù)。

特征的可預(yù)測(cè)性計(jì)算式為：

Prog=exp

-，j=1，2，…，M（11）

其中，x表示第j個(gè)軸承的退化特征的值。

實(shí)驗(yàn)過(guò)程中，為了驗(yàn)證并行堆疊降噪自動(dòng)編碼器特征提取的效果，與普通堆疊降噪自動(dòng)編碼器、主成分分析方法（PCA）進(jìn)行對(duì)比。模型訓(xùn)練完畢后，將3種方法在測(cè)試集的全壽命振動(dòng)數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，得到3種方法提取的降維數(shù)據(jù)。由于篇幅有限，因此圖8僅展示3種方法在Bearing1?3和Bearing1?5上的效果。

對(duì)比分析圖8中3種方法的特征提取結(jié)果可以發(fā)現(xiàn)，SDAE和PSDAE提取的特征單調(diào)性和可預(yù)測(cè)性都優(yōu)于PCA。PSDAE相比于SDAE在軸承的失效時(shí)刻特征變化更明顯，可變性明顯優(yōu)于SDAE，而且特征在失效時(shí)刻前更加平穩(wěn)，特征的單調(diào)性也更加優(yōu)秀。實(shí)驗(yàn)結(jié)果證明PSDAE提取的特征更加有利于軸承健康指標(biāo)的預(yù)測(cè)。

表3給出了PSDAE模型和另外兩種模型的單調(diào)性和可預(yù)測(cè)性兩個(gè)指標(biāo)的對(duì)比結(jié)果。

3.4 RUL預(yù)測(cè)性能評(píng)估指標(biāo)

為了比較不同模型對(duì)RUL的預(yù)測(cè)性能，需要一個(gè)客觀恰當(dāng)?shù)脑u(píng)估指標(biāo)。本研究使用IEEE PHM挑戰(zhàn)賽中的評(píng)分函數(shù)來(lái)評(píng)估筆者模型的性能。通過(guò)如下公式來(lái)計(jì)算模型的得分：

Er=100×（12）

A=exp（-ln（0.5）·（

Er/5）），

Er≤0

exp（ln（0.5）·（

Er/20）），

Er>0（13）

Score=A（14）

其中，RUL和ActRUL分別表示模型預(yù)測(cè)的第i個(gè)軸承的剩余使用壽命和真實(shí)的剩余使用壽命;Er表示每個(gè)軸承預(yù)測(cè)結(jié)果的百分比誤差，根據(jù)Er可以得到測(cè)試集中單個(gè)軸承的得分A，對(duì)測(cè)試集所有軸承的A求平均可以得到模型的預(yù)測(cè)效果評(píng)估指標(biāo)Score。評(píng)分函數(shù)的變化如圖9所示。

從圖9中可以看出，當(dāng)誤差Er為正時(shí)，得分要更高，這意味著提前預(yù)測(cè)比延遲預(yù)測(cè)更有價(jià)值。考慮到現(xiàn)實(shí)情況，當(dāng)模型進(jìn)行準(zhǔn)確的提前預(yù)測(cè)時(shí)可以有效減少損失，而延遲預(yù)測(cè)則缺少實(shí)用價(jià)值，因此這個(gè)評(píng)價(jià)函數(shù)是比較公平的。但是在對(duì)模型的預(yù)測(cè)準(zhǔn)確性評(píng)估方面，這個(gè)評(píng)價(jià)函數(shù)不能明顯反映各個(gè)模型之間的差別，因此筆者對(duì)模型的平均誤差Er和平均絕對(duì)誤差|Er|指標(biāo)也進(jìn)行了計(jì)算，用于體現(xiàn)不同模型在準(zhǔn)確性和穩(wěn)定性方面的差別，二者的計(jì)算式為：

Er=Er

|Er|=|Er|

3.5 模型預(yù)測(cè)結(jié)果分析

為了證明PSDAE?Seq2Seq模型的有效性，通過(guò)PRONOSTIA平臺(tái)的數(shù)據(jù)集設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。通過(guò)訓(xùn)練數(shù)據(jù)集訓(xùn)練提出的模型之后，每一個(gè)測(cè)試軸承的RUL可以通過(guò)第2節(jié)描述的預(yù)測(cè)過(guò)程獲得，每一個(gè)測(cè)試軸承的預(yù)測(cè)誤差Er和實(shí)際得分A如圖10所示。圖10展示了測(cè)試數(shù)據(jù)集中共11個(gè)軸承的預(yù)測(cè)結(jié)果，可以看出，軸承1?4、1?5和1?6發(fā)生了延遲預(yù)測(cè)，預(yù)測(cè)的RUL大于實(shí)際RUL，3個(gè)軸承的預(yù)測(cè)誤差為負(fù)數(shù)，因此3個(gè)軸承的得分較低。而且由于3個(gè)軸承的實(shí)際RUL較小，除以它之后得到了較高的百分比誤差。除了這3個(gè)軸承（1?4、1?5、1?6）之外，筆者模型在其他軸承上的預(yù)測(cè)誤差都比較好。

為了進(jìn)一步驗(yàn)證PSDAE?Seq2Seq模型的性能，對(duì)使用SDAE融合優(yōu)化的Seq2Seq模型、使用頻域特征的Seq2Seq模型進(jìn)行對(duì)比，并且與文獻(xiàn)[15～17]中的相似工作進(jìn)行對(duì)比，結(jié)果見(jiàn)表4，可以看出，第4列是筆者模型的預(yù)測(cè)RUL，第2列（當(dāng)前時(shí)間）的值表示模型使用了多少個(gè)時(shí)間點(diǎn)的樣本信號(hào)進(jìn)行預(yù)測(cè)，Er、Er、Er分別表示PSDAE?Seq2Seq、SDAE?Seq2Seq和普通Seq2Seq模型的誤差，最后3列數(shù)據(jù)是文獻(xiàn)[15～17]的實(shí)驗(yàn)結(jié)果。

可以看出，筆者模型相較于其他模型，平均絕對(duì)誤差和得分都是最高的。對(duì)比使用PSDAE的模型和使用SDAE的模型，使用PSDAE的模型的平均誤差和平均絕對(duì)誤差的值明顯要高于使用SDAE的模型，主要原因是SDAE模型的誤差較大，退化特征中包含的潛在信息較少，導(dǎo)致不同軸承間預(yù)測(cè)準(zhǔn)確性差異較大，降低了預(yù)測(cè)模型的穩(wěn)定性和總體的準(zhǔn)確性。此外，模型對(duì)3種工況下的軸承都有較好的預(yù)測(cè)得分，這是由于PSDAE模型通過(guò)訓(xùn)練后可以有效提取各種工況下軸承的退化特征，可以較好地提取不同工況振動(dòng)信號(hào)中的潛在信息，在3種工況下都能提取出具有良好單調(diào)性和可預(yù)測(cè)性的退化特征。

從每個(gè)軸承的對(duì)比結(jié)果來(lái)看，筆者方法相較于其他方法在大部分軸承上的預(yù)測(cè)誤差相差不大，但是個(gè)別軸承的預(yù)測(cè)精度相比于其他方法略有不足，說(shuō)明筆者的方法可以適用于多種工況下的軸承壽命預(yù)測(cè)?？傮w來(lái)說(shuō)，筆者模型給出了最準(zhǔn)確的預(yù)測(cè)結(jié)果，在工程應(yīng)用中更有價(jià)值，模型的預(yù)測(cè)更加穩(wěn)定，但是精度有待提高。

4 結(jié)束語(yǔ)

在對(duì)軸承進(jìn)行壽命預(yù)測(cè)時(shí)，由于軸承的個(gè)體差異，每個(gè)軸承的特征之間差異性較大，需要依賴大量的人工先驗(yàn)知識(shí)。SDAE模型可以對(duì)軸承振動(dòng)信號(hào)進(jìn)行自動(dòng)降噪編碼，但是當(dāng)數(shù)據(jù)維度較大時(shí)，誤差較大，收斂速度較慢。針對(duì)上述問(wèn)題，筆者提出了基于PSDAE?Seq2Seq模型的軸承壽命預(yù)測(cè)方法，經(jīng)過(guò)實(shí)驗(yàn)后得到以下結(jié)論：

a. 通過(guò)PSDAE模型可以有效提取不同工況下的軸承特征，且退化特征的單調(diào)性和可預(yù)測(cè)性較好，不用再對(duì)振動(dòng)信號(hào)進(jìn)行特征工程處理，有效降低了對(duì)人工經(jīng)驗(yàn)和專家知識(shí)的依賴。

b. 采用PSDAE模型提取退化特征有利于降低模型的誤差。通過(guò)并行堆疊的方式降低了編碼器輸入層特征的維度，減少了訓(xùn)練參數(shù)，可以有效降低堆疊降噪編碼器的誤差。

c. PSDAE?Seq2Seq模型相比于SDAE?Seq2Seq模型，預(yù)測(cè)結(jié)果的平均誤差降低了54.4%，在不同工況下的預(yù)測(cè)效果也較為穩(wěn)定，具有更好的適用性和穩(wěn)定性。

d. PSDAE?Seq2Seq模型預(yù)測(cè)結(jié)果更加準(zhǔn)確、穩(wěn)定，但是在對(duì)單個(gè)軸承的絕對(duì)精確度預(yù)測(cè)方面仍有待提高。

參 考 文 獻(xiàn)

[1] JIA F，LEI Y G，LIN G，et al.Deep neural networks：A promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data[J].Mechanical Systems and Signal Processing，2016，72：303-315.

[2]?? 何正嘉，曹宏瑞，訾艷陽(yáng)，等.機(jī)械設(shè)備運(yùn)行可靠性評(píng)估的發(fā)展與思考[J].機(jī)械工程學(xué)報(bào)，2014，50（2）：171-186.

[3]??? BARALDI P，CANNARILE F，DI MAIO F，et al.Hierarchical k?nearest neighbors classification and binary differential evolution for fault diagnostics of automotive bearings operating under variable conditions[J].Engineering Applications of Artificial Intelligence，2016，56：1-13.

[4]??? FEI S.Fault diagnosis of bearing under varying load conditions by utilizing composite features self?adaptive reduction?based RVM classifier[J].Journal of Vibration Engineering & Technologies，2017，5（3）：269-276.

[5]??? 雷亞國(guó)，賈峰，孔德同，等.大數(shù)據(jù)下機(jī)械智能故障診斷的機(jī)遇與挑戰(zhàn)[J].機(jī)械工程學(xué)報(bào)， 2018，54（5）：94-104.

[6]?? ZAREI J，TAJEDDINI M A，KARIMI H R.Vibration analysis for bearing fault detection and classification using an intelligent filter[J].Mechatronics，2014，24（2）：151-157.

[7]??? 鄒旺，吉暢，陳偉興，等.基于數(shù)據(jù)增強(qiáng)和卷積神經(jīng)網(wǎng)絡(luò)的多軸承剩余壽命預(yù)測(cè)[J].機(jī)械設(shè)計(jì)，2021，38（8）：84-90.

[8]??? 董紹江，李洋.基于CNN?BiLSTM的滾動(dòng)軸承變工況故障診斷方法[J].振動(dòng)·測(cè)試與診斷，2022，42（5）：1009-1016.

[9]??? 李海浪，鄒益勝，曾大懿，等.一種基于特征聚類和評(píng)價(jià)的軸承壽命預(yù)測(cè)新方法[J].振動(dòng)與沖擊，2022，41（5）：141-150.

[10]?? VINCENT P， LAROCHELLE H， LAJOIE I，et al.Stacked denoising autoencoders：Learning useful representations in a deep network with a local denoising criterion[J].Journal of Machine Learning Research，2010（12）：3371-3408.

[11]?? SUTSKEVER I，ORIOL V， QUOC V L. Sequence to sequence learning with neural networks[J].Advances in Neural Information Processing Systems，2014，27：9-22.

[12]??? HOCHREITER S，SCHMIDHUBER J.Long Short?Term Memory[J].Neural Computation，1997，9（8）：1735-1780.

[13]?? NECTOUX P，GOURIVEAU R，MEDJAHER K，et al.Pronostia：An experimental platform for bearings accelerated degradation tests[C]//IEEE International Conference on Prognostics and Health Management.Piscataway，NJ：IEEE，2012.

[14]?? JOZEFOWICZ R，ZAREMBA W，SUTSKEVER I.An empirical exploration of recurrent network architectures[C]//International Conference on Machine Learning.PMLR，2015：2342-2350.

[15]??? SUTRISNO E，OH H，VASAN A S S.et al.Estimation of remaining useful life of ball bearings using data driven methodologies[C]//IEEE Conference on Prognostics and Health Management.Piscataway，NJ：IEEE，2012：1-7.

[16]??? HINCHI A Z，TKIOUAT M.Rolling element bearing remaining useful life estimation based on a convolutional long?short?term memory network[J].Procedia Computer Science，2018，127：123-132.

[17]?? HONG S，ZHOU Z，ZIO E，et al.Condition assessment for the performance degradation of bearing based on a combinatorial feature extraction method[J].Digital Signal Processing，2014，27：159-166.

（收稿日期：2023-09-19，修回日期：2023-11-06）

DOI：10.20030/j.cnki.1000?3932.202403009

Bearing Life Prediction Method Based on Parallel SDAE?Seq2Seq Model

ZHANG Jun?jiea， WANG Hai?ruia， LI Yaa， ZHU Gui?fub

（ a. Faculty of Information Engineering and Automation ; b. Information Technology Construction

Center， Kunming University of Science and Technology）

Abstract ??Most data?driven bearing life prediction methods need to manually extract degradation features， and for bearings under different working conditions， targeted optimization is needed， including relying on expert knowledge and experience to extract features. In this paper， a parallel stacked denoising autoencoder （PSDAE） algorithm was proposed to extract bearing degradation features， including having the Seq2Seq model combined to predict remaining life of the bearing. Through making use of PSDAE directly de?noise and dimensionally reduce original vibration signals， the degradation features were obtained， including automatically obtaining bearing degradation features under different working conditions through both learning and training of the neural network. In addition， the attention mechanism was introduced and the extracted features were input into the Seq2Seq model for training， and the prediction effect of the model was verified on the PHM2012 dataset. The experimental results show that， the PSDAE reduces training parameters and overall error of the model through parallel integration， and the extracted degradation features are better than stacked denoising autoencoder （SDAE） in terms of monotonicity and predictability. The use of the degradation features effectively reduces prediction error of the Seq2Seq model， improves prediction score and has better prediction effect and stability.

Key words?? PSDAE， life prediction， rolling bearing，features extracting， attention mechanism， Seq2Seq model