元學(xué)習(xí)在旋轉(zhuǎn)機(jī)械故障診斷中的應(yīng)用綜述

李金科

（西安石油大學(xué)機(jī)械工程學(xué)院，陜西西安 710065）

近年，許多研究將深度學(xué)習(xí)技術(shù)應(yīng)用到旋轉(zhuǎn)機(jī)械故障診斷領(lǐng)域，以實(shí)現(xiàn)故障的識(shí)別、分類，便于健康檢測(cè)。盡管深度神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)從原始振動(dòng)信號(hào)中提取深度特征，實(shí)現(xiàn)了從原始信號(hào)到診斷的自動(dòng)端到端過(guò)程。深度學(xué)習(xí)的有效性很大程度上取決于大量訓(xùn)練數(shù)據(jù)，然而，現(xiàn)實(shí)中大量標(biāo)記訓(xùn)練數(shù)據(jù)難以獲取，標(biāo)注難度大，且深度學(xué)習(xí)模型的泛化能力弱。對(duì)于深度神經(jīng)網(wǎng)絡(luò)而言，在不使用大量測(cè)試數(shù)據(jù)的情況下很難提取訓(xùn)練和測(cè)試數(shù)據(jù)的共同特征，這常常限制了深度學(xué)習(xí)模型的廣泛應(yīng)用。此外，工況變化也會(huì)降低故障識(shí)別精度。當(dāng)在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好的深度模型應(yīng)用于新的工況故障識(shí)別時(shí)，也必須重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)。因此亟需尋求一種超參數(shù)優(yōu)化少、訓(xùn)練數(shù)據(jù)量小、泛化能力強(qiáng)的方法，以滿足實(shí)際應(yīng)用中快速準(zhǔn)確的故障診斷要求。因此滿足樣本量少、泛化能力好的元學(xué)習(xí)方法引起了故障診斷領(lǐng)域研究者的關(guān)注，并在近幾年中得到了應(yīng)用。

本文中主要介紹了元學(xué)習(xí)的基本概念和分類，及其在旋轉(zhuǎn)機(jī)械故障診斷中的應(yīng)用，調(diào)研了故障診斷中元學(xué)習(xí)的最新研究情況，并對(duì)這些元學(xué)習(xí)方法進(jìn)行了分析和總結(jié)，對(duì)其未來(lái)研究方向提出了展望，以期為相關(guān)領(lǐng)域的研究者提供一些思路。

1 元學(xué)習(xí)

1.1 元學(xué)習(xí)的基本概念

元學(xué)習(xí)（Meta-learning）的目的是在2 個(gè)層次上學(xué)習(xí)元知識(shí)，其中內(nèi)部層次的學(xué)習(xí)將基本學(xué)習(xí)者的支持集作為輸入，外部層次的學(xué)習(xí)在元任務(wù)中輸入元學(xué)習(xí)者的查詢集，通過(guò)跨任務(wù)的迭代雙層優(yōu)化，模型學(xué)習(xí)元知識(shí)快速適應(yīng)所需任務(wù)，因此元學(xué)習(xí)又被稱為“學(xué)會(huì)如何學(xué)習(xí)”。

1.2 元學(xué)習(xí)的分類及應(yīng)用

元學(xué)習(xí)方法致力于如何有效地獲取元知識(shí)來(lái)指導(dǎo)最優(yōu)參數(shù)的搜索。從這個(gè)角度來(lái)看，關(guān)于元學(xué)習(xí)的工作可以分為以下3 類。

1.2.1 基于優(yōu)化的元學(xué)習(xí)

基于優(yōu)化的方法是學(xué)習(xí)模型參數(shù)，優(yōu)化初始化的元知識(shí)，這使得模型能夠快速適應(yīng)新任務(wù)。因此，這種方法為任意一種深度模型提供了一種學(xué)習(xí)范式，因此模型不可知。

基于優(yōu)化的元學(xué)習(xí)旨在為所有給定的故障識(shí)別任務(wù)提供全局共享的初始化，以便在僅使用少量樣本進(jìn)行微調(diào)后，模型能夠快速適應(yīng)新任務(wù)。ZHANG 等[1]提出了一個(gè)基于元優(yōu)化的元學(xué)習(xí)少樣本軸承故障診斷模型，利用內(nèi)外雙層循環(huán)優(yōu)化網(wǎng)絡(luò)參數(shù)，其網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化過(guò)程解決了LI等[2]提出的滾動(dòng)軸承故障診斷中的數(shù)據(jù)稀缺和數(shù)據(jù)不平衡問(wèn)題，并且在診斷人為造成的軸承故障時(shí)，相對(duì)于LI等[2]提出的基于連體網(wǎng)絡(luò)的模型，使用具有可學(xué)習(xí)內(nèi)層循環(huán)學(xué)習(xí)率的MAML（Model-Agnostic Meta-Learning，模型無(wú)關(guān)的元學(xué)習(xí)）模型可以將準(zhǔn)確率提升到97%。此外，由于CWRU（Case Western Reserve University，凱斯西儲(chǔ)大學(xué)）數(shù)據(jù)集只包含來(lái)自人為制造的軸承缺陷的振動(dòng)數(shù)據(jù)，這與實(shí)際工況中缺陷隨時(shí)間變化的情況不一致。因此，ZHANG等[1]還將提出的方法應(yīng)用于Paderborn 數(shù)據(jù)集，以探究MAML 在面對(duì)真實(shí)軸承故障時(shí)的泛化能力。實(shí)驗(yàn)結(jié)果表明，與目前其他最先進(jìn)的少樣本學(xué)習(xí)方法相比，MAML 在5 類別、10 類別均表現(xiàn)更好。

1.2.2 基于度量的元學(xué)習(xí)

基于度量的元學(xué)習(xí)可以分別用于少樣本和跨域故障診斷中的故障識(shí)別，它可以學(xué)習(xí)少數(shù)故障樣本支持的特征或嵌入空間，以識(shí)別未知樣本的故障類別。簡(jiǎn)而言之，支持集的樣本不提供用于更新參數(shù)的故障信息，而是被視為要與查詢樣本進(jìn)行比較的類原型。利用度量函數(shù)例如歐幾里得距離、余弦距離等來(lái)計(jì)算樣本之間的距離從而進(jìn)行分類識(shí)別。近年來(lái)對(duì)基于度量的方法進(jìn)行了大量的研究，如Matching Net[3]、Pro-totypical Net[4]和Relation Net[5]，以上度量方法在故障診斷中的應(yīng)用也得到了廣泛的研究。

LI等[6]提出了一種新的深度學(xué)習(xí)方法——多尺度動(dòng)態(tài)融合原型簇網(wǎng)絡(luò)（Multiscale Dynamic Fusion Prototypical Cluster Network，MFPCN），其引入了多尺度動(dòng)態(tài)融合模塊，利用閥門機(jī)制調(diào)制不同尺度的特征，對(duì)有限的訓(xùn)練樣本提取出更多可區(qū)分的特征，彌補(bǔ)了Snell 等提出的原型網(wǎng)絡(luò)（ProNet）在有限標(biāo)記樣本下提取機(jī)械振動(dòng)信號(hào)特征能力較弱的缺點(diǎn)[6]。此外LI等[6]還提出原型模糊c 均值聚類算法，利用未標(biāo)記樣本信息生成精細(xì)化原型，為基于度量的原型最近鄰分類器提供了更精確的距離度量基準(zhǔn)。最后，采用聯(lián)合學(xué)習(xí)模式對(duì)模型進(jìn)行訓(xùn)練，使聯(lián)合損失在最近鄰分類和全局分類2 個(gè)耦合任務(wù)上表現(xiàn)良好。經(jīng)過(guò)大量實(shí)驗(yàn)表明，LI等[6]提出的MFPCN 方法優(yōu)于傳統(tǒng)的深度學(xué)習(xí)方法WDCNN（Deep Convolutional Neural Networks with Wide First-layer Kernel，首層寬卷積深度神經(jīng)網(wǎng)絡(luò)），在少樣本故障分類任務(wù)中平均準(zhǔn)確率提高了18%以上。此外，LI等[6]還將該方法應(yīng)用于實(shí)際風(fēng)電場(chǎng)中少量標(biāo)記樣本下的風(fēng)力發(fā)電機(jī)行星齒輪箱健康診斷，測(cè)試精度優(yōu)于其他模型算法。實(shí)驗(yàn)結(jié)果表明，該方法在強(qiáng)噪聲條件下比其他算法具有更好的魯棒性。

1.2.3 基于模型的元學(xué)習(xí)

基于模型的方法借助于神經(jīng)網(wǎng)絡(luò)從任務(wù)中提取元知識(shí)，其中ω可以表示歷史數(shù)據(jù)、優(yōu)化策略等。因此，存在另一個(gè)通常由網(wǎng)絡(luò)參數(shù)化的小空間來(lái)提供引導(dǎo)信息。為了實(shí)現(xiàn)少樣本和跨域的故障診斷，診斷模型必須利用歷史數(shù)據(jù)來(lái)指導(dǎo)新工況中的診斷?；谀Ｐ偷脑獙W(xué)習(xí)就是這樣一種方法，它有一個(gè)外部存儲(chǔ)模塊來(lái)集成以前的故障消息。該模塊在給出新數(shù)據(jù)時(shí)進(jìn)行更改，并對(duì)查詢集的樣本進(jìn)行預(yù)測(cè)。因此，在大多數(shù)情況下，這種方法是以順序方式實(shí)現(xiàn)的，適用于時(shí)間序列數(shù)據(jù)。即元學(xué)習(xí)器fω的知識(shí)被提供給基礎(chǔ)學(xué)習(xí)器gθ，用于快速自適應(yīng)。大多數(shù)基于模型的方法具有存儲(chǔ)知識(shí)的存儲(chǔ)模塊，這使得任務(wù)特定的適應(yīng)更加容易，并限制了基礎(chǔ)學(xué)習(xí)器的參數(shù)空間，但在故障診斷中，基于模型的元學(xué)習(xí)沒(méi)有得到廣泛的研究。

2 元學(xué)習(xí)與其他技術(shù)的融合

上述的元學(xué)習(xí)策略及模型在一定程度上提升了在小樣本條件下深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)故障診斷的性能，但仍有改善空間。近期，除了在深度學(xué)習(xí)中結(jié)合元學(xué)習(xí)外，一些研究嘗試將元學(xué)習(xí)與半監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)中的領(lǐng)域泛化等新技術(shù)結(jié)合用于提高模型的泛化能力以及在小樣本中的診斷精度，并取得了良好的效果，網(wǎng)絡(luò)的泛化性能和魯棒性也得到了進(jìn)一步改善和提高。

XU 等[7]提出了CUMCA（Constructing Unsupervised Meta-learning Tasks with Clustering and Augmentation，利用聚類和增廣構(gòu)建無(wú)監(jiān)督元學(xué)習(xí)任務(wù)）方法，利用聚類嵌入方法和數(shù)據(jù)增強(qiáng)函數(shù)構(gòu)造任務(wù)，在元學(xué)習(xí)的內(nèi)外層之間建立了一種新的數(shù)據(jù)增強(qiáng)函數(shù)，進(jìn)一步對(duì)增強(qiáng)數(shù)據(jù)在內(nèi)外層中的作用進(jìn)行了理論分析，并在MiniImagenet 和Omniglot 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該方法通過(guò)構(gòu)造合適的無(wú)監(jiān)督任務(wù)分布，使得無(wú)標(biāo)記數(shù)據(jù)集構(gòu)建的無(wú)監(jiān)督元學(xué)習(xí)任務(wù)與監(jiān)督元學(xué)習(xí)方法測(cè)試精度和泛化能力均接近。特別是在Omniglot 數(shù)據(jù)集的實(shí)驗(yàn)中，CUMCA 與監(jiān)督元學(xué)習(xí)MAML 的性能差異小于1%。

ZHAO 等[8]提出了一種基于記憶的多源元學(xué)習(xí)（Memory-based Multi-source Meta-Learning，MML）框架，在訓(xùn)練中模擬域泛化的訓(xùn)練—測(cè)試過(guò)程，有效地提高了模型在不可見(jiàn)域上的泛化能力。此外，該模型引入了一個(gè)基于內(nèi)存的模塊和MetaBN（Meta-Batch Normalization，元批量標(biāo)準(zhǔn)化方法）以充分利用元學(xué)習(xí)的優(yōu)勢(shì)并得到進(jìn)一步的改進(jìn)。經(jīng)過(guò)大量的實(shí)驗(yàn)證明，該方法能有效提高模型對(duì)不可見(jiàn)域的泛化能力，在4種大規(guī)模ReID 數(shù)據(jù)集上的泛化性能優(yōu)于現(xiàn)有方法。

3 研究展望

綜上，通過(guò)整理近年元學(xué)習(xí)在小樣本故障診斷中的研究可以發(fā)現(xiàn)，雖然元學(xué)習(xí)在解決樣本數(shù)量較少的故障診斷方面發(fā)揮了重要作用，但距離實(shí)際應(yīng)用仍有一定差距，還有很多問(wèn)題需要進(jìn)一步研究、探討和解決。下文從小樣本故障診斷目前所面臨的問(wèn)題入手，分析了現(xiàn)有解決方法的不足，并對(duì)相關(guān)領(lǐng)域未來(lái)的研究方向及需要解決的問(wèn)題進(jìn)行了總結(jié)和展望。

3.1 元學(xué)習(xí)算法計(jì)算復(fù)雜

盡管如前所述元學(xué)習(xí)在故障診斷中引起了廣泛關(guān)注，但元學(xué)習(xí)的方法擴(kuò)展和應(yīng)用仍存在一些問(wèn)題和挑戰(zhàn)。此前元學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合在不同類型中發(fā)展了很多，但每種類型都有其優(yōu)缺點(diǎn)。一般來(lái)說(shuō)，基于優(yōu)化的元學(xué)習(xí)由于雙層學(xué)習(xí)而具有最佳的任務(wù)泛化能力，基于度量的元學(xué)習(xí)簡(jiǎn)單，并且可以有效避免元優(yōu)化中的參數(shù)特性導(dǎo)致的過(guò)度擬合，而基于模型的元學(xué)習(xí)器中的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)靈活多變。由于基于優(yōu)化的方法需要實(shí)現(xiàn)內(nèi)層和外層學(xué)習(xí)，所以計(jì)算時(shí)間長(zhǎng)。此外，元學(xué)習(xí)器在多次內(nèi)層學(xué)習(xí)后進(jìn)行更新，這需要記憶用于元參數(shù)反向傳播的中間梯度信息，對(duì)計(jì)算機(jī)的性能要求高。對(duì)于一些基于度量的方法，當(dāng)測(cè)試任務(wù)與訓(xùn)練任務(wù)差異較大時(shí)，這些方法的測(cè)試精度和泛化能力將顯著降低。基于模型的元學(xué)習(xí)相較于其他2 種泛化能力較弱。

本文認(rèn)為，為了減少計(jì)算時(shí)間以及降低對(duì)計(jì)算機(jī)的性能要求，可采用自適應(yīng)學(xué)習(xí)率策略，簡(jiǎn)化計(jì)算的同時(shí)保持模型和泛化能力。如何更好地相結(jié)合，來(lái)提高泛化能力和預(yù)測(cè)精度的同時(shí)，降低計(jì)算量和資源使用量是值得進(jìn)一步研究的問(wèn)題。

3.2 故障數(shù)據(jù)采集困難

在實(shí)際工程中，由于機(jī)械設(shè)備的工作條件、機(jī)械結(jié)構(gòu)和時(shí)間序列數(shù)據(jù)的時(shí)間特性，數(shù)據(jù)采集既昂貴又耗時(shí)。同時(shí)采集數(shù)據(jù)的質(zhì)量取決于信號(hào)傳輸、傳感器性能、采樣頻率等，很難獲取絕對(duì)干凈且分布一致的數(shù)據(jù)。而將元學(xué)習(xí)應(yīng)用到故障診斷中時(shí)，從一個(gè)任務(wù)到另一個(gè)任務(wù)的泛化在大多數(shù)情況下需要多個(gè)訓(xùn)練集進(jìn)行訓(xùn)練，然而通常不可能同時(shí)有區(qū)別地收集這么多類別的豐富的故障數(shù)據(jù)，或是收集的故障數(shù)據(jù)質(zhì)量差等問(wèn)題，這將導(dǎo)致模型訓(xùn)練效果差。

對(duì)于此問(wèn)題，本文認(rèn)為可以結(jié)合遷移學(xué)習(xí)，使用已有圖像數(shù)據(jù)集來(lái)輔助模型進(jìn)行預(yù)訓(xùn)練，再將信號(hào)轉(zhuǎn)化為時(shí)頻圖，結(jié)合元學(xué)習(xí)框架對(duì)模型進(jìn)行微調(diào)，解決樣本類別過(guò)多不易采集的問(wèn)題。對(duì)于質(zhì)量較低的樣本數(shù)據(jù)，可以使用異常點(diǎn)剔除、均值插補(bǔ)等數(shù)據(jù)清洗方式先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，或者采用數(shù)據(jù)增強(qiáng)等方式對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充。如何有效地結(jié)合數(shù)據(jù)處理或遷移學(xué)習(xí)中的方法是未來(lái)解決樣本數(shù)據(jù)采集困難的重要手段和研究方向。

4 結(jié)束語(yǔ)

元學(xué)習(xí)在類別較少的跨域故障診斷中的泛化和小樣本問(wèn)題解決中取得了顯著的成功，但是由于計(jì)算成本高、基礎(chǔ)理論研究的欠缺以及故障數(shù)據(jù)采集等問(wèn)題，使其得到進(jìn)一步推廣變得困難。近年來(lái)，一些研究將元學(xué)習(xí)框架和深度學(xué)習(xí)、域泛化相結(jié)合，或與其他技術(shù)相結(jié)合，解決了小樣本故障診斷和跨域故障診斷的問(wèn)題。本文首先闡明了元學(xué)習(xí)的相關(guān)概念，并從數(shù)學(xué)優(yōu)化的角度將故障診斷中的元學(xué)習(xí)算法分為3 類：基于優(yōu)化、基于度量和基于模型，并對(duì)這些研究進(jìn)行了調(diào)查和總結(jié)，證明了元學(xué)習(xí)方法在故障診斷中的有效性，然后分析了現(xiàn)有研究的不足，對(duì)未來(lái)研究方向進(jìn)行了展望。總之，元學(xué)習(xí)方法對(duì)于小樣本的故障診斷和跨域故障診斷是一種有效的方式，但要達(dá)到實(shí)際工程應(yīng)用，仍有一些問(wèn)題亟待解決和進(jìn)一步的探索。