基于SAE與深度Q網(wǎng)絡(luò)的旋轉(zhuǎn)機械故障診斷*

王登峰，胡 浩，吳建德

(1.鄭州信息科技職業(yè)學(xué)院機電工程學(xué)院，鄭州 450046;2.昆明理工大學(xué)信息工程與自動化學(xué)院，昆明 650500;3.貴陽學(xué)院機械工程學(xué)院，貴陽 550005)

0 引言

旋轉(zhuǎn)機械目前被廣泛用于包括石油、能源和化學(xué)工業(yè)在內(nèi)的各種工業(yè)應(yīng)用領(lǐng)域，機械故障可能會造成巨大經(jīng)濟損失甚至災(zāi)難性事故[1]。隨著可靠性相關(guān)理論的發(fā)展，旨在監(jiān)測、評估、診斷和預(yù)測機械健康狀態(tài)的研究引起了學(xué)者們的廣泛關(guān)注[2-5]。

深度學(xué)習(xí)作為一種機器學(xué)習(xí)算法，可以通過多個非線性變換和近似復(fù)非線性函數(shù)，從原始數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)層次表示，實現(xiàn)故障診斷[6]。但是，它仍然存在兩個主要缺陷：①無法在原始數(shù)據(jù)和相應(yīng)的故障模式之間建立直接的線性或非線性映射，且這些故障診斷方法的性能取決于構(gòu)建和訓(xùn)練深度模型的質(zhì)量。②這種方法的訓(xùn)練機制主要基于監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)，這意味著診斷算法需要專家系統(tǒng)以便專門學(xué)習(xí)不同的故障模式[7-8]。

深度強化學(xué)習(xí)(deep reinforcement learning, DRL)涉及強化學(xué)習(xí)和深度學(xué)習(xí)的結(jié)合，這種結(jié)合使人工代理可以直接從原始數(shù)據(jù)中學(xué)習(xí)其知識和經(jīng)驗。深度學(xué)習(xí)能使代理感知環(huán)境，而強化學(xué)習(xí)能使代理學(xué)習(xí)應(yīng)對現(xiàn)實問題的最佳策略[9-10]?？紤]到上述問題，提出了一種基于堆疊式自動編碼器(stackable automatic encoder, SAE)與深度Q網(wǎng)絡(luò)(deep Q network, DQN)的深度強化學(xué)習(xí)機械故障診斷方法。

1 深度Q網(wǎng)絡(luò)

1.1 Q學(xué)習(xí)

作為一種無模型的強化學(xué)習(xí)算法，Q學(xué)習(xí)也可以被視為一種異步動態(tài)編程方法[11]。Q學(xué)習(xí)代理的學(xué)習(xí)過程可以概括為三個步驟：①代理基于對當前狀態(tài)的觀察嘗試行動；②環(huán)境會立即回饋有關(guān)行動的反饋，包括獎勵或罰金；③算法使用Bellman方程基于獎勵、行動和狀態(tài)來更新Q表。

Q學(xué)習(xí)算法可用于通過Q函數(shù)學(xué)習(xí)Q表的每個值。Q函數(shù)定義為：

Qπ(st,at)=E[Rt+1+γRt+2+γ2Rt+3+…|St,at]

(1)

其中，Qπ(st,at)是狀態(tài)st采取動作at的Q值，Rt是每個時間步長的獎勵，γ是折現(xiàn)率。Q函數(shù)將狀態(tài)和動作作為輸入，并反饋其預(yù)期的未來獎勵。Q學(xué)習(xí)算法使用Bellman方程更新Q(s,a)，如下所示[12]：

(2)

1.2 深度Q網(wǎng)絡(luò)

DQN可以是新開發(fā)的端到端的強化學(xué)習(xí)代理，它利用DNN來映射動作和狀態(tài)之間的關(guān)系，能夠直接從原始數(shù)據(jù)中學(xué)習(xí)抽象表達[13]。與DQN代理相比，傳統(tǒng)Q學(xué)習(xí)代理的最嚴重缺陷在于處理包含大量狀態(tài)與動作的問題時，使用Q表來映射動作和狀態(tài)之間的關(guān)系可能會導(dǎo)致維數(shù)災(zāi)。因此，本文使用一個深層的CNN來逼近最佳Q函數(shù)，而不是使用Q表。另外，當Q函數(shù)通過非線性函數(shù)逼近器表示時，增強學(xué)習(xí)會變得不穩(wěn)定或發(fā)散。因此，引入了兩種稱為記憶重放和迭代更新的策略來克服此類缺陷。

記憶重放通過消除觀察序列中的相關(guān)性，并通過隨機化數(shù)據(jù)來平滑數(shù)據(jù)分布的變化來解決該問題。迭代更新通過定步長逼近目標值更新Q值從而減少Q(mào)值和目標值之間的相關(guān)性。首先，記憶重放在每個時間步驟存儲代理的經(jīng)驗，以便形成一個包含一定數(shù)量經(jīng)驗的名為記憶的集合。在時間步驟t的單次經(jīng)驗et定義為et=(st,at,rt,st+1)在時間步驟t處的記憶定義為Dt，其中Dt={e1,...,et}。然后，在更新DQN代理時，經(jīng)驗重放會從記憶中隨機抽取經(jīng)驗，從而達到平滑數(shù)據(jù)分布的目的。

通常使用函數(shù)逼近器估算動作-值函數(shù)。DQN使用CNN作為函數(shù)逼近器，權(quán)重作為Q網(wǎng)絡(luò)。因此，可以通過減少Bellman方程中的均方誤差，然后再通過在迭代處更新參數(shù)來訓(xùn)練Q網(wǎng)絡(luò)。在每次迭代改變的損失函數(shù)定義為：

Li=Es,a,r[(Es′[y|s,a]-Q(s,a;θi))2]

(3)

區(qū)分與權(quán)重有關(guān)的損失函數(shù)的結(jié)果為以下形式：

(4)

2 基于DQN的端到端故障診斷方法

為了實現(xiàn)基于DRL的故障診斷方法，設(shè)計了一個故障診斷仿真模型[14-17]，通過該模型可以將監(jiān)督學(xué)習(xí)問題轉(zhuǎn)換為強化學(xué)習(xí)問題。這種環(huán)境可被視為“故障診斷博弈”模型，故障診斷博弈的流程如圖1所示。

圖1 故障診斷博弈模型流程

對于諸如Q學(xué)習(xí)的原始強化學(xué)習(xí)方法，由于這些方法表示狀態(tài)的能力有限，所以僅基于振動信號很難區(qū)分和識別旋轉(zhuǎn)機械的狀態(tài)。考慮SAE提取滾動軸承的故障特征中的廣泛應(yīng)用，因此在本文中使用了堆疊自動編碼器 DNN來感知振動信號中存在的故障信息。SAE可以有效提取故障特征有兩個重要原因。首先是SAE可以通過逐層自學(xué)學(xué)習(xí)原始信號的表示。第二個原因是稀疏約束可以通過限制每個自動編碼器的參數(shù)空間來防止過度擬合。

算法1中說明了用于訓(xùn)練基于SAE的DQN的算法。訓(xùn)練過程包括兩個單獨的部分。第一個是SAE的預(yù)培訓(xùn)，第二個是DQN代理的培訓(xùn)。雖然已經(jīng)完成了代理的訓(xùn)煉過程，但是代理的輸出層需要確定Q值的最大值，然后輸出相應(yīng)的操作，才能夠獲得診斷旋轉(zhuǎn)機械故障的代理。此時，在訓(xùn)練和測試過程中，輸入數(shù)據(jù)均為原始振動信號。即本文使用的方法實現(xiàn)了端到端故障診斷。完整方法的流程圖如圖2所示。

圖2 所提出方法的流程圖

3 使用提出的方法進行故障診斷

3.1 案例1：滾動軸承的故障診斷

3.1.1 數(shù)據(jù)說明

本文中使用的滾動軸承的故障數(shù)據(jù)是來源于凱斯西儲大學(xué)軸承失效實驗[16]。該數(shù)據(jù)集包括正常軸承和故障軸承的滾動軸承測試數(shù)據(jù)。實驗的動力產(chǎn)生器是兩馬力的電動機，振動數(shù)據(jù)是從驅(qū)動端收集的加速度數(shù)據(jù)，在電動機軸承的近端測量的采樣頻率為48 kHz。滾動軸承故障注入的實驗設(shè)備如圖3所示。收集了4個條件下的數(shù)據(jù)，包括一個正常條件(N)和3個故障條件(F)。故障條件是外圈故障(OF)、內(nèi)圈故障(IF)和滾軸故障(RF)。 另外，引入滾動軸承的故障都是單點故障。此外，故障直徑的受損程度不同，包括0.007 in、0.014 in、0.021 in和0.028 in。

圖3 代理在滾動軸承數(shù)據(jù)集故障診斷訓(xùn)練過程中的分數(shù)

為了驗證該方法的有效性，根據(jù)載荷將振動數(shù)據(jù)分為4組(S1、S2、S3和S4)。每組包含10種故障模式，根據(jù)故障直徑和故障位置劃分。S1、S2和S3分別包含一個馬力、兩個馬力和三個馬力負載下的所有故障模式。每個故障集有12 000個樣本，每個樣本包含400個數(shù)據(jù)點。數(shù)據(jù)集都是未經(jīng)預(yù)處理的原始振動信號。S4是S1、S2和S3的并集，它在所有負載下都有36 000個樣本。

3.1.2 診斷結(jié)果

在訓(xùn)練過程中，SAE網(wǎng)絡(luò)具有4層，包括一個輸入層，兩個訓(xùn)練過的編碼器和一個輸出層。輸入樣本的維數(shù)決定輸入層的單位數(shù)，第一個編碼器和第個二編碼器的單位數(shù)分別為128和32，Q值的維數(shù)決定輸出層的單位數(shù)。編碼器中使用的激活函數(shù)是ReLU，反向傳播函數(shù)使用的是Adam。此外，還利用防止過度擬合并提高訓(xùn)練效率的L1正則化來約束、限制神經(jīng)單位權(quán)重的參數(shù)空間。每個自動編碼器的最大訓(xùn)練時期為200，DQN代理的訓(xùn)練時期為2000，每個時期包含512輪診斷博弈。DQN代理的重放記憶大小為64。為了測試和驗證所提出方法的性能，將10倍交叉驗證應(yīng)用于4個數(shù)據(jù)集，每10輪計算獎勵的平均值。圖3顯示了DQN代理在訓(xùn)練過程中的進度曲線。此外，診斷后的結(jié)果總結(jié)在圖4中。

故障診斷代理為正確答案時得一分，為錯誤答案時減一分，這意味著在512輪博弈中，總得分在-512～512點之間。在博弈開始時，由于缺乏任何先驗知識和經(jīng)驗作為參考，DQN代理處于隨機猜測階段。由于故障診斷結(jié)果具有10個類別，所以代理獲得正確答案的概率只有0.1。因此，在開始時，得分約為-460分。隨著培訓(xùn)過程的進行，代理將從自己的歷史經(jīng)驗和分數(shù)變化中學(xué)習(xí)。如圖3所示，分數(shù)隨著訓(xùn)練而增加，并且在接近最后時期時達到近512分。上述提到的分數(shù)與獎勵相同，它們被用作評估代理性能的反饋。通過每個時期的總獎勵可以來觀察DQN代理向全局極值的收斂，因為診斷的準確性直接反映在總獎勵上。當總獎勵足夠高并開始振蕩時，可以認為DQN代理的訓(xùn)練過程已完成。

圖4說明受過訓(xùn)練的代理可以在多種情況下有效地診斷故障。10倍交叉驗證的定量結(jié)果顯示在表1中。為了說明所提出方法的性能和有效性，還使用基于監(jiān)督學(xué)習(xí)訓(xùn)練的SAE模型，通過10倍交叉驗證來處理相同的數(shù)據(jù)集。輸入層和兩個自動編碼器與DQN代理的相應(yīng)層相同。輸出層有10個節(jié)點，并使用softmax函數(shù)輸出分類結(jié)果。該模型的訓(xùn)練過程包括自動編碼器的逐層預(yù)訓(xùn)練和整個SAE模型的微調(diào)。總體而言，兩種方法均達到了很好的診斷準確性和穩(wěn)定性。在訓(xùn)練集上，所提出的方法能夠以接近100%的準確度正確區(qū)分樣本，而SAE-Softmax方法可以正確區(qū)分所有樣本。在測試集上，這兩種方法的準確性和相應(yīng)的標準偏差非常接近。計算數(shù)據(jù)集S1、S2、S3和S4的兩種方法之間差異的絕對值分別為0.006 9、0.012、0.012 6和0.007 5。考慮到基于監(jiān)督學(xué)習(xí)的方法在確認樣本及其對應(yīng)標簽之間的關(guān)系方面具有優(yōu)勢，因此該結(jié)果說明了所提出方法的有效性。另外，測試精度的最大標準偏差為0.014 4，這表明該方法可以對故障樣本進行穩(wěn)定的分類。具體來說，數(shù)據(jù)集S4的情況是4個數(shù)據(jù)集中最復(fù)雜的，它包含3個不同負載下10種健康狀況的原始振動信號。所提出的方法能夠在工作條件下區(qū)分故障模式。而除了在數(shù)據(jù)集S4上進行測試的平均準確度之外，SAE-Softmax方法在所有實驗中的性能均優(yōu)于所提出的方法?？傊?，結(jié)果表明，所提出的方法可以訓(xùn)練基于DNN的代理學(xué)習(xí)如何僅使用原始振動信號來診斷滾動軸承的故障，而與故障類別、嚴重性和工作條件無關(guān)。

本文使用的SAE模型可以感知原始振動信號，并且是端到端故障診斷方法的前端。為了進一步了解代理如何學(xué)習(xí)診斷故障并驗證代理挖掘故障特征的能力，利用t分布隨機鄰域嵌入(t-distributed stochastic neighbor embedding,t-DSNE)來對DQN代理內(nèi)部的SAE模型的輸出進行可視化[17]。第二個編碼器的輸出被視為代理學(xué)習(xí)到的特征，因為DQN代理的輸出層是一個輸出Q值的線性層。因此，在案例1中，從單個樣本中提取的特征向量的維數(shù)為32。

表1 滾動軸承數(shù)據(jù)集的診斷結(jié)果(平均準確度±標準偏差)

(a) S1數(shù)據(jù)集

(b) S2數(shù)據(jù)集

(c) S3數(shù)據(jù)集

(d) S4數(shù)據(jù)集圖4 滾動軸承數(shù)據(jù)集的10倍交叉驗證的診斷結(jié)果

3.2 案例2：液壓泵故障診斷

3.2.1 數(shù)據(jù)說明

案例2中使用的液壓泵數(shù)據(jù)是從7個燃油輸送泵中收集的，兩個常見的故障，即滑動件松動和閥板磨損，已被物理式地注入泵中。液壓泵的振動信號由加速度傳感器從泵的端面獲取，并具有528 rpm的穩(wěn)定電機速度和1024 Hz的采樣率。表2中匯總了泵的狀態(tài)。每個泵收集了兩個樣本，每個樣本包含1024個點，總共收集了14個樣本。

表2 泵數(shù)據(jù)集的描述

使用512點長度的滑動窗口將傳感信號的每個樣本連續(xù)重新排列為一個包含500組數(shù)據(jù)的新樣本。重組后的數(shù)據(jù)集匯總在表3中。三種不同健康狀態(tài)下的樣本構(gòu)成了案例2的數(shù)據(jù)集，其中有7 000個樣本需要區(qū)分。另外，進行10次交叉驗證以評估所提出方法的性能和泛化能力。

表3 泵數(shù)據(jù)集的診斷結(jié)果

3.2.2 診斷結(jié)果

由于對數(shù)據(jù)集使用了10倍交叉驗證進行驗證，因此進行了10次試驗，其中隨機選擇了10%的樣本進行測試，選擇了90%的樣本進行了訓(xùn)練。針對案例2，提出的方法性能通過10倍交叉驗證的相應(yīng)偏差的平均精度來進行評估。

由于案例2包含泵的三種健康狀態(tài)，代理可以得出三分之一的正確答案。因此，即使分數(shù)在開始時約為-314，但隨著訓(xùn)練過程的進行，分數(shù)增加到512分。表3顯示了10次交叉驗證的平均準確度和相應(yīng)的標準差。訓(xùn)練和測試的平均準確度均為100%，這意味著所提出的方法可以正確分類每種故障模式的樣本。與案例1相似，使用SAE-Softmax模型來診斷故障，其診斷結(jié)果比所提出的方法稍差?？紤]到將嚴重故障注入液壓泵核心部件的安全隱患，故障模式和嚴重性的變化并不像案例1那樣復(fù)雜。但是，信號是從7個不同的泵中收集的，并且傳感器的采樣率遠低于案例1。因此，案例2從3個角度說明了所提出方法在多個設(shè)備、樣本相對較少的條件下能夠?qū)崿F(xiàn)對旋轉(zhuǎn)機械故障進行有效診斷。結(jié)果表明，所提出的方法和基于SAE-Softmax的方法都可以利用有限振動信號的持續(xù)而有效地對不同液壓泵的狀態(tài)進行分類。這說明所提出的方法具有從原始傳感信號中挖掘與故障模式相關(guān)的特征的能力。

因為在DQN內(nèi)部的SAE中添加了稀疏限制后，具有相同健康狀況但有少許差異的樣本可能會導(dǎo)致不同位置的神經(jīng)元被激活。這會導(dǎo)致高維空間中的特征彼此相距較遠。但是激活的神經(jīng)元都與相同的輸出相關(guān)，即它們?nèi)匀豢梢员粴w為同一類別。綜合來看，基于SAE的原始信號感知和基于DQN的自學(xué)式體驗學(xué)習(xí)的結(jié)合是所提出的方法能夠取得如此優(yōu)異效果的關(guān)鍵原因。案例研究表明，提出的方法和基于SAE-Softmax的方法都可以對旋轉(zhuǎn)機械的健康狀態(tài)進行分類。另外考慮到監(jiān)督學(xué)習(xí)算法前期需要儲備的先驗知識，提出方法的效率超過基于監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)方法。

4 結(jié)論

本文提出了一種一種基于堆疊式自動編碼器與深度Q網(wǎng)絡(luò)相結(jié)合的深度強化學(xué)習(xí)旋轉(zhuǎn)機械故障診斷方法，使用滾動軸承和液壓泵數(shù)據(jù)集對該方法進行實驗驗證，可得出如下結(jié)論：

(1)通過結(jié)合強化學(xué)習(xí)的自主學(xué)習(xí)能力和深度學(xué)習(xí)的感知能力，提出的基于深度強化學(xué)習(xí)的方法可以實現(xiàn)旋轉(zhuǎn)機械端到端故障診斷方法。在保證了診斷精度與可靠性的前提下，該方法大大減少了對故障診斷的先驗知識和專家經(jīng)驗的依賴。

(2)通過設(shè)計故障診斷博弈環(huán)境，該方法可以成功地使用DRL獲得智能故障診斷代理。能夠有效建立無監(jiān)督診斷模型，并且有較好的診斷效果。

(3)故障診斷代理受益于記憶回放和基于獎勵的反饋機制，僅基于弱反饋就能夠了解不同故障模式與原始振動信號之間的非線性映射關(guān)系，為旋轉(zhuǎn)機械的故障診斷問題提供了一種更通用和智能的解決方案的方法和思想。