基于分層特征注意力解耦的農(nóng)機(jī)軸承故障診斷

邢清桂 吳凱 周洪斌

摘要：鑒于農(nóng)機(jī)設(shè)備實(shí)際運(yùn)行中的工況具有時(shí)變性，提出一種基于分層特征注意力解耦的農(nóng)機(jī)軸承故障診斷算法。利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)改進(jìn)的Transformer網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，并按照Transformer的Multi-head機(jī)制構(gòu)造農(nóng)機(jī)軸承故障數(shù)據(jù)的分層特征集；利用交叉注意力機(jī)制挖掘不同層特征間的關(guān)聯(lián)關(guān)系，強(qiáng)化農(nóng)機(jī)軸承故障特征的表達(dá)能力；借助農(nóng)機(jī)軸承故障診斷多標(biāo)簽將混合特征解耦為多個(gè)獨(dú)立的軸承故障特征集，并利用解耦后的特征預(yù)測(cè)對(duì)應(yīng)的標(biāo)簽，實(shí)現(xiàn)待測(cè)農(nóng)機(jī)軸承故障類型的診斷。結(jié)果表明，所提出的模型可以實(shí)現(xiàn)平均96.58%的識(shí)別精度，并且可以細(xì)粒度地對(duì)多種軸承故障進(jìn)行診斷。

關(guān)鍵詞：農(nóng)機(jī)軸承；故障診斷；分層特征；交叉注意力；特征解耦

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 05-0140-07

收稿日期：2023年7月22日? 修回日期：2023年8月19日*基金項(xiàng)目：國(guó)家自然科學(xué)基金（51575498）

第一作者、通訊作者：邢清桂，女，1982年生，河北唐山人，碩士，高級(jí)講師；研究方向?yàn)檗r(nóng)業(yè)機(jī)械工程、智慧農(nóng)業(yè)。E-mail： xingqgui@sina.com

Fault diagnosis of agricultural machinery bearing based on hierarchical

feature attention decoupling

Xing Qinggui1， Wu Kai2， Zhou Hongbin3

（1. Hebei Locomotive Technician College， Tangshan， 064000， China; 2. Hebei Light Structural Equipment

Design and Manufacturing Technology Innovation Center， Qinhuangdao， 066004， China;

3. School of Mechanical and Power Engineering， Zhengzhou University， Zhengzhou， 450001， China）

Abstract：

In view of the time-varying working conditions in the actual operation for agricultural machinery equipment， a fault diagnosis algorithm of agricultural? machinery bearing based on hierarchical feature attention decoupling was proposed. Firstly， a Transformer network improved by Long Short-Term Memory （LSTM） neural network was used as the backbone network， and a hierarchical feature set of agricultural machinery bearing fault data was constructed according to the Multi-head mechanism of Transformer. Then， a cross-attention mechanism was employed to explore the correlations between different layers of features， and enhance the expression ability of agricultural machinery bearing fault features. Finally， by employing the multi-label diagnosis of agricultural? machinery bearing faults， the mixed features were decoupled into multiple independent sets of bearing fault features. The decoupled features were used to predict corresponding labels， and achieve the diagnosis of various types of agricultural machinery bearing faults. The experimental results showed that the proposed model can achieve an average recognition accuracy of 96.58% and can diagnose multiple types of bearing faults in a fine-grained manner.

Keywords：

agricultural machinery bearings; fault diagnosis; hierarchical feature; cross-attention; feature decoupling

0 引言

農(nóng)業(yè)機(jī)械作為現(xiàn)代農(nóng)業(yè)的重要支撐裝備，運(yùn)行可靠性和穩(wěn)定性對(duì)整個(gè)農(nóng)業(yè)生產(chǎn)具有至關(guān)重要的意義。農(nóng)機(jī)設(shè)備故障診斷技術(shù)成為農(nóng)機(jī)維修和保養(yǎng)的重要環(huán)節(jié)，而農(nóng)機(jī)軸承故障是導(dǎo)致農(nóng)機(jī)設(shè)備損壞的主要原因之一［1， 2］。近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，利用人工智能技術(shù)實(shí)現(xiàn)農(nóng)機(jī)軸承故障的自動(dòng)診斷得到廣泛關(guān)注［3， 4］。然而，農(nóng)機(jī)設(shè)備在實(shí)際運(yùn)行中的工況有時(shí)變性，傳統(tǒng)使用混合特征難以精確識(shí)別出每一種故障，使得現(xiàn)有的農(nóng)機(jī)軸承故障診斷算法面臨很大的挑戰(zhàn)。因此，利用人工智能技術(shù)實(shí)現(xiàn)農(nóng)機(jī)軸承故障的自動(dòng)診斷對(duì)推動(dòng)農(nóng)業(yè)信息化建設(shè)、智慧農(nóng)業(yè)發(fā)展具有重要的研究意義與實(shí)際應(yīng)用價(jià)值。

傳統(tǒng)的農(nóng)機(jī)軸承故障診斷主要借助專家經(jīng)驗(yàn)，通過(guò)聽(tīng)音、觀察和檢查等方式進(jìn)行故障診斷［5， 6］。然而，該類方法具有很大的局限性，不僅容易誤判和漏判，而且專家維修費(fèi)用高昂，且難以推廣應(yīng)用。近年來(lái)，隨著深度學(xué)習(xí)相關(guān)理論與技術(shù)的快速發(fā)展，利用深度學(xué)習(xí)相關(guān)技術(shù)解決農(nóng)機(jī)軸承故障成為智慧農(nóng)業(yè)領(lǐng)域新的研究熱點(diǎn)。如劉振華等［7］針對(duì)信息利用不充分的問(wèn)題，提出了一種結(jié)合不同尺度的滾動(dòng)軸承故障診斷新方法，通過(guò)提取軸承振動(dòng)信號(hào)的全局和局部特征建立決策模型，在開源的多個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，試驗(yàn)結(jié)果也驗(yàn)證了所設(shè)計(jì)模型的有效性。趙小強(qiáng)等［8］針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)提取的特征魯棒性不強(qiáng)問(wèn)題，提出了一種多特征融合的機(jī)械軸承故障診斷方法，主要借助Swin Transformer提取了軸承在局部空間中的特征。類似地，徐碩等［9］從特征提取角度改善現(xiàn)有機(jī)械軸承故障診斷效果不佳的問(wèn)題。蘇樹智等［10］借助全局和局部特征來(lái)增大不同類之間的距離，縮小類間距離，有效提高了特征表達(dá)的魯棒性，通過(guò)在開源數(shù)據(jù)集上進(jìn)行測(cè)試，試驗(yàn)結(jié)果也驗(yàn)證了所設(shè)計(jì)模型的有效性。Bian等［11］借助熵理論提出了一種基于度量學(xué)習(xí)的農(nóng)機(jī)軸承振動(dòng)信號(hào)復(fù)雜性和隨機(jī)性方法，通過(guò)緩解振動(dòng)信號(hào)的噪聲干擾，有效增強(qiáng)了特征的魯棒性，通過(guò)在多個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，驗(yàn)證了所設(shè)計(jì)模型的高效性，并且該方法在軸承故障診斷中得到了廣泛應(yīng)用。

雖然，上述模型可以有效檢測(cè)出農(nóng)機(jī)軸承的故障，并輔助人工進(jìn)行故障類型的診斷；然而，該類基于深度神經(jīng)網(wǎng)絡(luò)的故障診斷模型主要利用混合特征集建立診斷模型，并且僅對(duì)故障與健康狀態(tài)進(jìn)行二分類，極易導(dǎo)致故障漏報(bào)或誤報(bào)。

為此，本文針對(duì)上述混合特征噪聲干擾大導(dǎo)致的診斷精度不佳問(wèn)題，提出一種基于分層特征注意力解耦的農(nóng)機(jī)軸承故障診斷新方法。首先，利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)改進(jìn)的Transformer網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，將農(nóng)機(jī)軸承故障數(shù)據(jù)映射到深度特征空間；然后，利用Transformer的Multi-head機(jī)制建立分層特征集，并采用注意力機(jī)制強(qiáng)化特征的表達(dá)的魯棒性；最后，根據(jù)農(nóng)機(jī)軸承故障診斷多標(biāo)簽將混合特征進(jìn)行解耦，并利用解耦特征預(yù)測(cè)對(duì)應(yīng)的農(nóng)機(jī)軸承故障類型。

1 農(nóng)機(jī)軸承故障診斷方法

本文提出基于分層特征注意力解耦的農(nóng)機(jī)軸承故障診斷模型主要包括特征提取、關(guān)聯(lián)特征挖掘、特征解耦合故障診斷模塊。其中，在特征提取階段采用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）改進(jìn)的Transformer網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，并借助Multi-head機(jī)制構(gòu)造分層特征集；關(guān)聯(lián)特征挖掘模塊利用注意力機(jī)制挖掘分層特征的上下文語(yǔ)義關(guān)聯(lián)，強(qiáng)化特征表達(dá)的魯棒性；特征解耦模塊借助農(nóng)機(jī)軸承故障診斷多標(biāo)簽將混合特征分離為多個(gè)單一特征，并利用單一特征預(yù)測(cè)對(duì)應(yīng)的標(biāo)簽；故障診斷模塊利用softmax函數(shù)輸出對(duì)應(yīng)故障的概率，并利用交叉熵?fù)p失函數(shù)優(yōu)化網(wǎng)絡(luò)模型。

1.1 特征提取

1.1.1 Transformer

Transformer是一種可以直接處理時(shí)間序列的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，較好地緩解了長(zhǎng)距離依賴編碼的問(wèn)題［12］，在機(jī)器翻譯、情感分析和問(wèn)答、長(zhǎng)短期交通流預(yù)測(cè)等任務(wù)中取得了顯著的成效。受Transformer網(wǎng)絡(luò)在處理時(shí)序數(shù)據(jù)中的成功啟發(fā)，此處采用Transformer作為主干網(wǎng)絡(luò)，并借助Multi-head機(jī)制［13］構(gòu)造分層特征集，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

Transformer網(wǎng)絡(luò)由多個(gè)編碼塊堆疊而成，每個(gè)編碼快包含多頭注意力機(jī)制（Multi-head）。此處，利用每個(gè)編碼塊的單頭注意力機(jī)制的輸出特征構(gòu)造分層特征集，具體計(jì)算如式（1）和式（2）所示。

zl=pos+En（el）

（1）

Fol=FFN（LN（zl））

（2）

式中：

pos——位置編碼；

En（·）——編碼塊；

el——農(nóng)機(jī)軸承故障信號(hào)映射特征。

1.1.2 LSTM

得益于輸入門、輸出門和遺忘門的設(shè)計(jì)，長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM在時(shí)序信號(hào)處理方面具有顯著的優(yōu)勢(shì)［14， 15］，圖2給出了長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM的內(nèi)部結(jié)構(gòu)。

2.2 試驗(yàn)環(huán)境

所有試驗(yàn)均在11th Gen Intel（R） Core（TM） i7-11700 @ 2.50GHz Windows 10操作系統(tǒng)上進(jìn)行，編程語(yǔ)言采用Python，編輯器采用Pycharm，顯卡為NVIDIA RTX 3090 Ti 24GB。模型基于Pytorch深度學(xué)習(xí)框架，初始學(xué)習(xí)率為0.001，每迭代訓(xùn)練50次學(xué)習(xí)率下降0.000 5，優(yōu)化器采用Adam。

此外，為了分析不同Batch、Multi-head頭數(shù)、迭代次數(shù)對(duì)模型整體性能的影響，進(jìn)行了對(duì)比試驗(yàn)如圖6、圖7所示?？梢钥闯?，當(dāng)Batch為12、head數(shù)為8、迭代次數(shù)為400時(shí)，模型的綜合診斷精度最佳，為此，后續(xù)所有試驗(yàn)均設(shè)定Batch為12、head數(shù)為8、迭代次為600。

2.3 結(jié)果與分析

2.3.1 二分類結(jié)果

為驗(yàn)證所提出模型的有效性，在相同的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)下與當(dāng)前主流的基于時(shí)間序列的農(nóng)機(jī)軸承故障診斷模型進(jìn)行對(duì)比試驗(yàn)，詳細(xì)結(jié)果如表2所示。

由表2可知，所提出模型相較于當(dāng)前主流的基于時(shí)間序列的農(nóng)機(jī)軸承故障診斷模型，在精準(zhǔn)率Precision、召回率Recall和F1值方面，綜合優(yōu)勢(shì)明顯。具體地，在Precision方面，相比Transformer模型，提升了3.47%；在Recall方面，提升了4.08%；在F1方面提升了2.86%。究其原因是：（1）所提出模型不僅集成了Transformer網(wǎng)絡(luò)在位置編碼階段的優(yōu)勢(shì)，而且采用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM改進(jìn)了Transformer，進(jìn)一步強(qiáng)化了模型在時(shí)間序列屬性上的特征捕獲能力，這有助于強(qiáng)化模型捕獲農(nóng)機(jī)軸承振動(dòng)信號(hào)的上下文時(shí)序特征；（2）所提出模型分別提取了每個(gè)注意力頭的特征，這有助于豐富軸承故障特征的表達(dá)；（3）采用特征解耦的方式緩解了混合特征噪聲大導(dǎo)致的誤報(bào)和漏報(bào)問(wèn)題。

2.3.2 故障多分類結(jié)果

為了進(jìn)一步驗(yàn)證所設(shè)計(jì)模型在多種農(nóng)機(jī)軸承故障數(shù)據(jù)集上的診斷效果，分別選擇當(dāng)前經(jīng)典的時(shí)間序列軸承故障診斷模型LSTM、GRU、RNN、BiLSTM、CNN和Transformer網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，詳細(xì)結(jié)果如表3～表5所示。

可以看出，所提出模型對(duì)外圈損壞（W）、保持架損壞（B）、滾動(dòng)體損壞（G）、內(nèi)圈損壞（N）和正常狀態(tài)（Z）的診斷精度均保持在95.00%以上，尤其是對(duì)于正常狀態(tài)的診斷效果最佳。主要原因是正常狀態(tài)的噪聲信息對(duì)模型的干擾較小，并且正常狀態(tài)的特征與故障特征的類間差異性較大。

此外，為了直觀展示所提出模型對(duì)于5種農(nóng)機(jī)軸承狀態(tài)的診斷效果，給出圖8所示的混淆矩陣。

2.4 消融試驗(yàn)

為分析不同組件在所提出的農(nóng)機(jī)軸承故障診斷模型綜合性提升中扮演的角色，設(shè)計(jì)表6所示的消融試驗(yàn)。此處，將僅利用LSTM網(wǎng)絡(luò)并利用Softmax函數(shù)組建的模型作為基線模型，所有試驗(yàn)均基于正常與故障二分類數(shù)據(jù)集。

1） 在序號(hào)1-2、3-4、5-6、7-8和9-10組對(duì)比試驗(yàn)中可以看出，特征解耦模塊對(duì)模型整體識(shí)別性能的提升效果顯著，主要原因是原始混合特征噪聲干擾較大，導(dǎo)致提取的混合特征魯棒性和泛化性能不強(qiáng)；解耦后的每維特征代指故障和正常狀態(tài)明確，有效緩解了噪聲的干擾。

2） 雖然使用單一LSTM或Transformer網(wǎng)絡(luò)可以診斷出部分農(nóng)機(jī)軸承的故障，但僅考慮軸承振動(dòng)信號(hào)的上下文時(shí)序或位置信息不足以充分表示軸承當(dāng)前狀態(tài)信息，進(jìn)而影響軸承診斷的性能。

3） 相比單頭注意力，多頭注意力更進(jìn)一步地考慮不同Patch塊編碼特征間的上下文關(guān)聯(lián)，這有助于建立更魯邦和泛化的特征表示，增強(qiáng)模型細(xì)粒度地捕獲農(nóng)機(jī)軸承的故障信號(hào)特征。

3 結(jié)論

本文探究基于時(shí)間序列機(jī)制的LSTM改進(jìn)Transformer網(wǎng)絡(luò)對(duì)農(nóng)機(jī)軸承故障特征的提取能力，并分析混合特征解耦對(duì)農(nóng)機(jī)軸承故障診斷性能的影響，旨在緩解傳統(tǒng)農(nóng)機(jī)軸承故障診斷模型提取的特征噪聲干擾大，導(dǎo)致診斷效果不佳的問(wèn)題。通過(guò)在經(jīng)典的滾動(dòng)軸承6205-2RS數(shù)據(jù)集上進(jìn)行測(cè)試。

1） 在經(jīng)典的滾動(dòng)軸承6205-2RS數(shù)據(jù)集上，所提出模型在二分類任務(wù)上可以實(shí)現(xiàn)97.58%的診斷精度；在軸承故障多分類任務(wù)上可以實(shí)現(xiàn)95.59%以上的診斷精度。

2） 所提出模型利用LSTM改進(jìn)Transformer網(wǎng)絡(luò)，在保留農(nóng)機(jī)軸承振動(dòng)信號(hào)相鄰位置編碼的同時(shí)，強(qiáng)化模型對(duì)時(shí)序信號(hào)長(zhǎng)距離建模的能力。

3） 雖然混合特征可以實(shí)現(xiàn)農(nóng)機(jī)軸承故障與正常狀態(tài)的分類，但混合特征解耦的細(xì)粒度特征有助于提升模型對(duì)多種故障類型的診斷精度。

在未來(lái)工作中，將嘗試改進(jìn)Transformer網(wǎng)絡(luò)，構(gòu)造輕量級(jí)的主干網(wǎng)絡(luò)；利用因果卷積提取農(nóng)機(jī)軸承故障在空間維度的時(shí)序特征，并利用時(shí)序特征和空間時(shí)序特征構(gòu)造多尺度特征，進(jìn)一步增強(qiáng)特征表達(dá)的魯棒性。

參 考 文 獻(xiàn)

［1］ Sadoughi M， Hu Chao. Physics-based convolutional neural network for fault diagnosis of rolling element bearings ［J］. IEEE Sensors Journal， 2019， 19（11）： 4181-4192.

［2］ Choudhary A， Mian T， Fatima S. Convolutional neural network based bearing fault diagnosis of rotating machine using thermal images ［J］. Measurement， 2021， 176： 109196.

［3］ Iunusova E， Gonzalez M K， Szipka K， et al. Early fault diagnosis in rolling element bearings： Comparative analysis of a knowledge-based and a data-driven approach ［J］. Journal of Intelligent Manufacturing， 2023， 4（2）： 1-21.

［4］ 張志宇， 章翔峰， 姜宏. 基于MCKD-NMD的滾動(dòng)軸承故障診斷［J］. 組合機(jī)床與自動(dòng)化加工技術(shù)， 2023， 592（6）： 93-96， 101.

Zhang Zhiyu， Zhang Xiangfeng， Jiang Hong. Research on fault diagnosis method of rolling bearing based on MCKD-NMD ［J］. Modular Machine Tool & Automatic Manufacturing Technique， 2023， 592（6）： 93-96， 101.

［5］ 李夢(mèng)男， 李琨， 吳聰. 基于IWAE的不平衡數(shù)據(jù)集下軸承故障診斷研究［J］. 機(jī)械強(qiáng)度， 2023， 45（3）： 569-575.

Li Mengnan， Li Kun， Wu Cong. Research on bearing fault diagnosis under unbalanced data set based on IWAE ［J］. Journal of Mechanical Strength， 2023， 45（3）： 569-575.

［6］ Jun Zhu， Nan Chen， Changqing， et al. A new deep transfer learning method for bearing fault diagnosis under different working conditions ［J］. IEEE Sensors Journal， 2019， 20（15）： 8394-8402.

［7］ 劉振華， 吳磊， 張康生. 基于多尺度特征交叉融合注意力的滾動(dòng)軸承故障診斷方法［J/OL］.軸承： 1-8［2024-05-11］. http：//kns.cnki.net/kcms/detail/41.1148.th.20230526.1718.002.html.

［8］ 趙小強(qiáng)， 郭?？? 多特征融合的滾動(dòng)軸承故障診斷［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2023， 39（13）： 80-88.

Zhao Xiaoqiang， Guo Haike. Fault diagnosis of rolling bearing using multi-feature fusion ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2023， 39（13）： 80-88.

［9］ 徐碩， 鄧艾東， 楊宏強(qiáng)， 等. 基于改進(jìn)殘差網(wǎng)絡(luò)的旋轉(zhuǎn)機(jī)械故障診斷 ［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（7）： 409-418.

Xu Shuo， Deng Aidong， Yang Hongqiang， et al. Rotating machinery fault diagnosis method based on improved residual networks ［J］. ACTA Energiae Solaris Sinica， 2023， 44（7）： 409-418.

［10］ 蘇樹智， 張茂巖， 方賢進(jìn)， 等. 基于全局—局部歐拉彈性判別投影的旋轉(zhuǎn)機(jī)械故障診斷方法［J］. 振動(dòng)與沖擊， 2023， 42（11）： 65-74.

Su Shuzhi， Zhang Maoyan， Fang Xianjin， et al. Fault diagnosis method of rotating machinery based on global-local Euler elastic discriminant projection ［J］. Journal of Vibration and Shock， 2023， 42（11）： 65-74.

［11］ Bian Jun， Jing Laixing， Liu Yanqiu. Application and optimization of entropy in diagnosis for agricultural machinery bearing fault ［C］. International Conference on Agri-Photonics and Smart Agricultural Sensing Technologies （ICASAST 2022）. SPIE， 2022， 12349： 112-119.

［12］ Liu Wenkai， Zhang Zhigang， Zhang Jiarui， et al. A novel fault diagnosis method of rolling bearings combining convolutional neural network and transformer ［J］. Electronics， 2023， 12（8）： 1838.

［13］ 王譽(yù)翔， 鐘智偉， 夏鵬程， 等. 基于改進(jìn)Transformer的復(fù)合故障解耦診斷方法［J］. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）， 2023， 57（5）： 855-864.

Wang Yuxiang， Zhong Zhiwei， Xia Pengcheng， et al. Compound fault decoupling diagnosis method based on improved Transformer ［J］. Journal of Zhejiang University （Engineering Science）， 2023， 57（5）：855-864.

［14］ Wang Yuxiang， Zhong Zhiwei， Xia Pengcheng， et al. Compound fault decoupling diagnosis method based on improved transformer ［J］. Journal of Zhejiang University （Engineering Science）， 2023， 57（5）：855-864.

［15］ Jin Guoqiang， Zhu Tianyi， Akram M W， et al. An adaptive anti-noise neural network for bearing fault diagnosis under noise and varying load conditions ［J］. IEEE Access， 2020， 8： 74793-74807.

［16］

Sun Haibin， Fan Yueguang. Fault diagnosis of rolling bearings based on CNN and LSTM networks under mixed load and noise ［J］. Multimedia Tools and Applications， 2023，