基于WPCE-CNN的音頻感知提升機(jī)健康狀況研究 ①

李敬兆， 邢夢(mèng)垚

(安徽理工大學(xué)a.電氣與信息工程學(xué)院,b.計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001)

0 引 言

“智慧礦山”在我國(guó)的大力推行，已逐漸形成安全、高效和可持續(xù)發(fā)展的智能化新型礦山，“自動(dòng)化減人”已成為主流[1]。國(guó)外針對(duì)提升機(jī)聲信號(hào)的研究早在上世紀(jì)80年代中期已經(jīng)開始，上世紀(jì)90年代發(fā)展較快，目前廣泛應(yīng)用于工業(yè)領(lǐng)域。雖然國(guó)內(nèi)的初始研究階段較晚，但近些年大批學(xué)者在音頻特征提取、提升機(jī)狀態(tài)監(jiān)測(cè)[2]等相關(guān)方面進(jìn)行了深層次研究。薛珊[3]等對(duì)音頻數(shù)據(jù)進(jìn)行MFCC+GFCC特征提取，通過CNN對(duì)無人機(jī)進(jìn)行識(shí)別，準(zhǔn)確率達(dá)96.5%。樓劍陽[4]等提出提取音頻小波系數(shù)和神經(jīng)網(wǎng)絡(luò)識(shí)別的模型，準(zhǔn)確率達(dá)97.3%。張梅[5]等提出最小二乘支持向量機(jī)模型，對(duì)音頻先訓(xùn)練，再預(yù)測(cè)，故障識(shí)別率更高。礦井提升機(jī)體型巨大，依靠人工定期拆卸檢測(cè)的方式顯然并不科學(xué)，且只能起到“過后”診斷的效果。但聲學(xué)信號(hào)不受限制[6]，且蘊(yùn)含著大量的振動(dòng)信息[7]，將聲學(xué)信號(hào)進(jìn)行處理和分析，可以提前預(yù)防故障發(fā)生。針對(duì)以上研究存在的問題，本文提出WPCE-CNN的音頻感知提升機(jī)健康狀況研究方案，該方案布置多類型感知節(jié)點(diǎn)[8]，通過應(yīng)用數(shù)據(jù)采集、小波包分解、卷積神經(jīng)網(wǎng)絡(luò)和云服務(wù)端融合等技術(shù)，實(shí)現(xiàn)互聯(lián)網(wǎng)與提升機(jī)多感融合預(yù)警的目標(biāo)，為智慧礦山建設(shè)奠定了堅(jiān)實(shí)的基礎(chǔ)。

1 總體設(shè)計(jì)

基于小波包分解和卷積神經(jīng)網(wǎng)絡(luò)的提升機(jī)噪聲故障預(yù)警研究的方案，分為下位機(jī)和上位兩部分，下位機(jī)實(shí)時(shí)采集音頻數(shù)據(jù)并對(duì)其進(jìn)行小波包分解，提取二維特征系數(shù)矩陣，再通過本文設(shè)計(jì)的CNN模型診斷分析出4類故障等級(jí)，上傳云端服務(wù)器且實(shí)時(shí)傳遞上位機(jī)及時(shí)提醒維護(hù)人員。此結(jié)構(gòu)結(jié)合先進(jìn)的網(wǎng)絡(luò)技術(shù)和自動(dòng)化邊-云融合技術(shù)，進(jìn)行礦井提升機(jī)設(shè)備故障的實(shí)時(shí)預(yù)警監(jiān)測(cè)?？偧軜?gòu)如圖1所示。

圖1 總架構(gòu)

1.1 邊緣感知層

邊緣感知層：由多類傳感器和嵌入式微型計(jì)算機(jī)組成，位于系統(tǒng)最底層，擔(dān)負(fù)著數(shù)據(jù)采集，預(yù)處理與傳輸?shù)墓δ?。感知?jié)點(diǎn)包括溫度、煙霧、濕度和音頻傳感器，其中音頻傳感器采用抗干擾性能強(qiáng)的音頻采集設(shè)備。是實(shí)現(xiàn)礦井設(shè)備預(yù)警系統(tǒng)分析、診斷、預(yù)警和通信的基礎(chǔ)。

1.2 網(wǎng)絡(luò)通信層

網(wǎng)絡(luò)通信層：主要用于礦井中數(shù)據(jù)實(shí)時(shí)遠(yuǎn)程傳輸，構(gòu)建強(qiáng)壯的信息傳輸網(wǎng)絡(luò)，保障信息采集與傳輸?shù)膶?shí)時(shí)性和穩(wěn)定性，對(duì)于提高監(jiān)測(cè)效率尤為重要，采用抗干擾能力強(qiáng)、傳輸范圍廣的無線傳輸技術(shù)。

1.3 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層：主要由數(shù)據(jù)處理模塊和數(shù)據(jù)存儲(chǔ)模塊構(gòu)成。數(shù)據(jù)存儲(chǔ)模塊主要為預(yù)警系統(tǒng)提供數(shù)據(jù)存儲(chǔ)環(huán)境。數(shù)據(jù)處理模塊包含數(shù)據(jù)的管理和預(yù)警模型，滿足了迅速處理大量數(shù)據(jù)和及時(shí)反饋的需求。

1.4 用戶應(yīng)用層

用戶應(yīng)用層：應(yīng)用層直接面向客戶的需求，將各功能封裝在一起，為人機(jī)交互提供溝通的橋梁。系統(tǒng)基于B/S架構(gòu)，借助強(qiáng)大的物聯(lián)網(wǎng),C#，Mysql，Uniapp等技術(shù)，實(shí)現(xiàn)對(duì)提升機(jī)的實(shí)時(shí)監(jiān)測(cè)和預(yù)警功能。

2 功能與分析

2.1 小波包系數(shù)提取

小波包分解是一種同時(shí)對(duì)低頻和高頻部分完全分解的算法[9]，既可以得到低頻帶近似系數(shù)也可以得到高頻帶細(xì)節(jié)系數(shù)，避免了冗余和疏漏。小波包函數(shù)的選擇是小波包分解應(yīng)用在故障診斷中的關(guān)鍵，本文采用消失矩db4小波對(duì)信號(hào)進(jìn)行分解。對(duì)已獲得的近似和細(xì)節(jié)兩組小波系數(shù)進(jìn)行遞歸計(jì)算，得到各個(gè)頻段信息，如圖2所示。

小波包的分解是利用一組高低通濾波器對(duì)信號(hào)卷積運(yùn)算，高低通濾波器數(shù)學(xué)公式(1)：

公式中θ(d)表示尺度函數(shù)，p(t)表示小波變換函數(shù),為了表示兩個(gè)圖形的相似性，選擇〈.,.〉作為內(nèi)積運(yùn)算，d和t是變量。

(1)

對(duì)各頻帶上的一維離散信號(hào)和分解層上的小波系數(shù)進(jìn)行迭代，其中M0,0表示初始離散信號(hào)，長(zhǎng)度為G，{Mi,j(n),n=1,2,…,G/2i}表示分解過程中的第i個(gè)分解層和第j個(gè)頻帶的小波系數(shù)。公式(2)如下：

(2)

圖2 通過db4小波基函數(shù)得到小波系數(shù)矩陣

2.2 CNN結(jié)構(gòu)

(Convolutional Neural Networks)是一種高效識(shí)別圖像的算法，其在音頻領(lǐng)域的應(yīng)用也有顯著效果，是一種特殊的前饋式神經(jīng)網(wǎng)絡(luò)。局部感受野、權(quán)值共享和池化層(Pooling)為CNN的三個(gè)核心思想[10]，在其共同作用下，有效的減少了卷積過程中的參數(shù)，降低模型過擬合問題。構(gòu)成CNN中主要的三個(gè)部分分別為卷積層、池化層和全連接層，同時(shí)還可以添加批量歸一化層(Batch Normalization)和激活函數(shù)，增加模型的魯棒性。

CNN網(wǎng)絡(luò)的核心是卷積層，卷積核對(duì)最近一層輸入數(shù)據(jù)展開有規(guī)律的卷積運(yùn)算，按照層次遍歷的思想對(duì)二維數(shù)據(jù)矩陣進(jìn)行滑動(dòng)計(jì)算，獲取數(shù)據(jù)局部區(qū)域與卷積核的點(diǎn)積結(jié)果存入新的二維數(shù)據(jù)矩陣中，重復(fù)相同的卷積運(yùn)算操作直到結(jié)束，將最終結(jié)果傳入下一層。權(quán)值共享是卷積層的重要特征，也是CNN的優(yōu)勢(shì)，對(duì)不同的局部感受野用具有相同卷積窗口權(quán)值參數(shù)的卷積核進(jìn)行遍歷，有效減少卷積過程中的參數(shù)和所需的內(nèi)存，避免了由于參數(shù)爆炸而導(dǎo)致的過擬合現(xiàn)象。

(3)

池化層也稱下采樣層，對(duì)卷積層獲取的特征值進(jìn)行下采樣，本文選擇了最大池化操作，減少神經(jīng)網(wǎng)絡(luò)參數(shù)量，防止過擬合。池化公式(4)如下：W代表池化層的寬度，F(xiàn)表示卷積核大小，S為步長(zhǎng)。

(4)

批量歸一化層，可以避免梯度爆炸，使得回傳至淺層的導(dǎo)數(shù)、參數(shù)和大多數(shù)層的輸出比較穩(wěn)定。批量歸一化公式(5)如下：其中yi為規(guī)范化的結(jié)果，xi為第i個(gè)特征映射圖。γ和β為學(xué)習(xí)到的重構(gòu)參數(shù)，可以還原成原始層的特征。均值μβ和方差σβ為批量歸一化層計(jì)算出來，公式(6)如下，ε為提高σβ歸一化的穩(wěn)定性，最終將輸入值歸到μβ=0和σβ=1的標(biāo)準(zhǔn)正態(tài)分布區(qū)間內(nèi)。

(5)

(6)

全連接層扮演著“分類器”的角色，其本質(zhì)是舍棄空間的部分連接，設(shè)置卷積核為1×1大小在特征通道上的卷積核。矩陣向量乘積是將特征數(shù)據(jù)映射到標(biāo)記空間，也是全連接層的核心操作。全連接公式(7)如下：其中，wij表示權(quán)值，bj表示偏置

yj=wijxi+bj

(7)

2.3 基于WPCE-CNN的音頻監(jiān)測(cè)模型構(gòu)建

圖3是將初始信號(hào)通過小波包分解后的一維樣本特征，轉(zhuǎn)化為二維輸入樣本的過程。首先，定義256個(gè)數(shù)據(jù)為一個(gè)區(qū)間樣本;然后，區(qū)間樣本通過小波包分解獲得多個(gè)相等且對(duì)應(yīng)的一維系數(shù)矩陣，第8層的256個(gè)數(shù)據(jù)正是我們需要的小波系數(shù)。最后，將一維小波系數(shù)矩陣轉(zhuǎn)化成維度為16×16二維輸入樣本。

圖3 小波包分解變成二維小波系數(shù)矩陣

本文CNN一共包括3個(gè)Block層、3個(gè)最大池化層、1個(gè)帶有Relu激活函數(shù)全連接層和1個(gè)softmax分類層，如圖4所示。CNN的具體參數(shù)如表1所示，Block1(3×3×64),Block2(3×3×96)和Block3(3×3×128)分別表示卷積核為3×3，維度為64、卷積核為3×3，維度為96和卷積核為3×3，維度為128的網(wǎng)絡(luò)層，并且都應(yīng)用了BN和Relu激活函數(shù)，Block的網(wǎng)絡(luò)層如圖5所示。Maxpool(2×2)和Maxpool(3×3)分別表示濾波器尺寸為2×2和3×3的最大池化層。 最后一個(gè)Block層輸出的數(shù)據(jù)通過最大池化層，首先輸入到維度為1024并帶有Relu激活函數(shù)的全連接層FC(1024)(Relu)中，最后通過維度為6的Softmax分類函數(shù)輸出。

圖4 CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖5 Block的網(wǎng)絡(luò)層

表1 神經(jīng)網(wǎng)絡(luò)的各種參數(shù)

3 實(shí)驗(yàn)結(jié)果和分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)備

本文數(shù)據(jù)集利用凱斯西儲(chǔ)大學(xué)(Case Western Reserve University)提供的軸承故障數(shù)據(jù)。數(shù)據(jù)采集于軸承電機(jī)的驅(qū)動(dòng)端，電動(dòng)機(jī)為1.5kW，采樣率48kHz。

本文使用的操作系統(tǒng)為Window10，CPU采用i9-10900K，顯卡2080Ti，開發(fā)環(huán)境為Pytorch。每個(gè)損傷點(diǎn)取460800個(gè)加速度值，由小波包分解得到1800×16×16個(gè)二維小波特征值，輸入到CNN中，再?gòu)闹羞x擇500個(gè)數(shù)據(jù)和1300個(gè)數(shù)據(jù)分別作為測(cè)試集和訓(xùn)練集。

3.2 結(jié)果與分析

Block層對(duì)二維小波特征值進(jìn)行初步提取，不同的層數(shù)影響著實(shí)驗(yàn)結(jié)果，本文分別對(duì)Block1,Block2,Block3和Block4四種不同層數(shù)進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率結(jié)果如表2所示。其中，Block3準(zhǔn)確率最高，為97.7%。

表2 Block準(zhǔn)確率結(jié)果

將本文的方法與CNN預(yù)測(cè)結(jié)果和WPDEC-CNN預(yù)測(cè)結(jié)果進(jìn)行比較，CNN的預(yù)測(cè)準(zhǔn)確率為95.4%,WPDEC-CNN預(yù)測(cè)準(zhǔn)確率為97.5%，本文提出的小波包分解與CNN結(jié)合的準(zhǔn)確率為97.7%，說明本文方法可以提高故障識(shí)別的準(zhǔn)確率。

a) CNN

4 提升機(jī)健康狀況研究的實(shí)際應(yīng)用

將本文提出的WPCE-CNN音頻故障檢測(cè)模型，應(yīng)用在實(shí)際煤礦提升機(jī)電機(jī)音頻故障檢測(cè)中。由于，故障只需要4個(gè)故障等級(jí)分類，因此將分類器Softmax(6)改為Softmax(4)并且再次訓(xùn)練。

4.1 PC端功能

圖7為PC端可視化界面，通過前后端分離技術(shù)，利用云服務(wù)器響應(yīng)速度快和穩(wěn)定性好的優(yōu)點(diǎn)，為礦井巡查人員提供24h的提升機(jī)預(yù)警服務(wù)。主界面有4個(gè)主要區(qū)域，分別為報(bào)警信息區(qū)域、態(tài)勢(shì)匯總區(qū)域、設(shè)備狀態(tài)區(qū)域和提升機(jī)實(shí)時(shí)數(shù)據(jù)區(qū)域。

圖7 應(yīng)用層PC端

4.2 移動(dòng)端功能

圖8為移動(dòng)端可視化界面，以小程序?yàn)殚_發(fā)環(huán)境。主界面區(qū)域顯示溫度、濕度、煙霧和音頻故障數(shù)據(jù)。若出現(xiàn)預(yù)警信息，則通過微信自帶的訂閱通知，提醒巡檢人員。

5 小 結(jié)

本文主要是基于小波包分解和卷積神經(jīng)網(wǎng)絡(luò)的提升機(jī)音頻故障研究。因此，我們?cè)O(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)，通過db4小波函數(shù)，將提取到的二維小波矩陣，傳給卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。實(shí)驗(yàn)表明，相比較傳統(tǒng)CNN，本文所提的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率更高，達(dá)到97.7%。該系統(tǒng)投入使用后巡檢人員不再限制時(shí)間與區(qū)域，都可以實(shí)時(shí)對(duì)設(shè)備進(jìn)行監(jiān)測(cè)。