一種基于特征點(diǎn)提取的揚(yáng)聲器異常聲檢測(cè)方法?

宋華建 穆瑞林 周子奇

(1 天津科技大學(xué)機(jī)械工程學(xué)院 天津 300222)

(2 天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線(xiàn)監(jiān)控重點(diǎn)實(shí)驗(yàn)室 天津 300222)

0 引言

揚(yáng)聲器異常聲檢測(cè)是揚(yáng)聲器出廠前必須進(jìn)行的重要流程。傳統(tǒng)的異常聲檢測(cè)采用專(zhuān)業(yè)聲音檢聽(tīng)員以人耳檢測(cè)為主，由于檢聽(tīng)員存在易疲勞、主觀性強(qiáng)、長(zhǎng)時(shí)間工作損害聽(tīng)覺(jué)系統(tǒng)等問(wèn)題，傳統(tǒng)檢測(cè)方法已很難滿(mǎn)足高精度、大批量快速檢測(cè)的需求[1]。近年來(lái)大量學(xué)者對(duì)揚(yáng)聲器異常聲檢測(cè)方法進(jìn)行研究，Brunet等[2]應(yīng)用短時(shí)傅里葉變換分析揚(yáng)聲器響應(yīng)信號(hào)的時(shí)頻圖，并對(duì)合格揚(yáng)聲器與故障揚(yáng)聲器時(shí)頻圖做頻譜差異性分析；Wang 等[3]將揚(yáng)聲器響應(yīng)信號(hào)短時(shí)傅里葉變換時(shí)頻圖進(jìn)行區(qū)域劃分，并用高階頻率均值大小反映揚(yáng)聲器的異常聲差異程度；Temme 等[4]基于人耳感知模型對(duì)揚(yáng)聲器異常聲檢測(cè)進(jìn)行探究；李宏斌等[5]提出基于短時(shí)傅里葉變換的揚(yáng)聲器異常聲檢測(cè)方法，并構(gòu)建分割矩陣，通過(guò)與黃金樣本對(duì)應(yīng)矩陣的距離判斷揚(yáng)聲器是否存在異常聲故障；張平等[6]提出聲頻質(zhì)量感知評(píng)價(jià)(Perceptual evaluation of audio quality, PEAQ)算法在揚(yáng)聲器異常聲檢測(cè)中的應(yīng)用，將人耳聽(tīng)覺(jué)模型巧妙地應(yīng)用于檢測(cè)系統(tǒng)的構(gòu)建，并在實(shí)驗(yàn)室條件下對(duì)該方法的可行性進(jìn)行了驗(yàn)證；祝仰寬等[7]在揚(yáng)聲器異常聲故障檢測(cè)方法研究中提出時(shí)頻圖各階能量均值在檢測(cè)中的應(yīng)用，并將待測(cè)揚(yáng)聲器各階諧波帶能量均值與標(biāo)準(zhǔn)能量差值做比較得出結(jié)論；周靜雷等[8]提出VMD-Hilbert 變換在揚(yáng)聲器異常聲檢測(cè)中的應(yīng)用，對(duì)比得出其變換所得時(shí)頻矩陣與標(biāo)準(zhǔn)矩陣的差異更大；周曉東等[9]探究了窗函數(shù)在異常聲檢測(cè)中的應(yīng)用，并針對(duì)不同窗函數(shù)特性做了對(duì)照分析；郭慶等[10]提出基于心里模型和支持向量機(jī)的揚(yáng)聲器異常聲檢測(cè)方法，通過(guò)對(duì)檢測(cè)系統(tǒng)及相關(guān)參數(shù)的優(yōu)化，得到了較好的檢測(cè)效果并可實(shí)現(xiàn)部分異常聲故障的分類(lèi)。

上述檢測(cè)方法中，未充分考慮整體檢測(cè)系統(tǒng)數(shù)據(jù)處理量及檢測(cè)效率，對(duì)系統(tǒng)運(yùn)算量要求較大。且基于短時(shí)傅里葉變換的檢測(cè)方法在檢測(cè)模型構(gòu)建過(guò)程中存在有效特征不確定性，高次諧波均值法及諧波帶內(nèi)能量均值法均在對(duì)大量數(shù)據(jù)進(jìn)行平均化處理的基礎(chǔ)上進(jìn)行，使有效特征被平均化處理。本文基于改進(jìn)尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform, SIFT)算法提取特征點(diǎn)，以小樣本統(tǒng)計(jì)學(xué)原理構(gòu)建有限數(shù)量特征點(diǎn)模板，可有效降低數(shù)據(jù)處理量；對(duì)特征區(qū)域的歸類(lèi)，還可實(shí)現(xiàn)揚(yáng)聲器故障分類(lèi)。

1 檢測(cè)信號(hào)的提取及分割

揚(yáng)聲器異常聲可能由多種問(wèn)題產(chǎn)生；在本研究中針對(duì)普通揚(yáng)聲器的異常聲樣本與合格樣本進(jìn)行區(qū)分。根據(jù)揚(yáng)聲器特性以及檢測(cè)需求，設(shè)計(jì)對(duì)數(shù)回掃信號(hào)激勵(lì)揚(yáng)聲器發(fā)聲；經(jīng)傳聲器聲電轉(zhuǎn)換后由采集卡采集，截取信號(hào)有效數(shù)據(jù)做短時(shí)傅里葉變換得到如圖1所示時(shí)頻圖，具體方法見(jiàn)文獻(xiàn)[5]。

圖1 揚(yáng)聲器時(shí)頻圖Fig.1 Time-frequency spectrum of loudspeaker

為進(jìn)一步分析，本研究對(duì)上述時(shí)頻圖進(jìn)行分割處理。基本過(guò)程如下：提取50 個(gè)合格揚(yáng)聲器經(jīng)短時(shí)傅里葉變換所得矩陣Ma(a= 1,2,··· ,50)的各列最大值所在位置，即：max(Ma(i,j)),(i=1,2,3,···)，記錄對(duì)應(yīng)點(diǎn)縱坐標(biāo)j值，確定各列極大值點(diǎn)Aa(i,j)位置，并在該點(diǎn)上下各取一點(diǎn)Aa(i,j+1)及Aa(i,j ?1)，將所有Aa點(diǎn)填入矩陣Ma的同型零矩陣內(nèi)得到矩陣Na，以式(1)求取基波帶矩陣，并將矩陣內(nèi)大于0 的元素均替換為1，構(gòu)建基波帶模板矩陣。

式(1)中，NJ為基波帶模板矩陣，Na為單個(gè)揚(yáng)聲器基波帶矩陣，a為合格揚(yáng)聲器編號(hào)。

以基波帶矩陣NJ內(nèi)賦值點(diǎn)A做如下位置變換A(i,b×j?1)，A(i,b×j)，A(i,b×j+1)，b=2,3,4,···得到單諧波帶提取模板矩陣Nb，將N1至N7相疊加并做平滑處理得到諧波帶模板矩陣NX，其時(shí)頻圖如圖2(a)所示；將七階以上部分作為高次諧波域模板矩陣NG，其時(shí)頻圖如圖2(b)所示。

圖2 特征分割模板Fig.2 Segmentation template of feature points

2 特征點(diǎn)提取及模型建立

2.1 算法實(shí)現(xiàn)

由Lowe[11]提出的SIFT 算法具有較好的魯棒性，且相較于深度卷積神經(jīng)網(wǎng)絡(luò)可提取出較精確的特征點(diǎn)位置并進(jìn)行特征匹配。

在本研究中，以合格揚(yáng)聲器及異常聲揚(yáng)聲器二維時(shí)頻圖為待處理樣本，應(yīng)用尺度可變高斯函數(shù)(如式(2))[12]，與揚(yáng)聲器二維時(shí)頻圖進(jìn)行卷積(如式(3))[11]，完成空間尺度變換。

式(2)中，G(x,y,σ)為高斯卷積核，σ為高斯變換因子(本研究中取0.6)，x為像素點(diǎn)橫坐標(biāo)，y為像素點(diǎn)縱坐標(biāo)。

式(3)中，L(x,y,σ)為高斯尺度空間，Ma(x,y)為揚(yáng)聲器二維時(shí)頻圖矩陣。

為了進(jìn)一步精確提取穩(wěn)定的特征點(diǎn)，利用不同尺度的高斯核與揚(yáng)聲器二維時(shí)頻圖卷積生成高斯差分尺度空間：

式(4)中，D(x,y,σ)為高斯差分尺度空間，k為傳遞因子。

式(5)中，i為空間金字塔個(gè)數(shù)，n為金字塔層數(shù)。

利用式(5)的原則構(gòu)建空間金字塔，由于本研究所涉及時(shí)頻圖大小、方向均有較強(qiáng)的一致性，故選空間金字塔數(shù)量i=5，層數(shù)n取3，構(gòu)建空間金字塔。進(jìn)一步提取極值點(diǎn)，以中間層采樣點(diǎn)為中心構(gòu)建3×3×3 的采樣空間如圖3 所示，將空間內(nèi)的其余26點(diǎn)與采樣點(diǎn)比較，如果采樣點(diǎn)為極大值或極小值，則保留此采樣點(diǎn)。

圖3 采樣空間[11]Fig.3 Sample space[11]

對(duì)尺度空間進(jìn)行泰勒展開(kāi)得式(6)，對(duì)其求導(dǎo)得式(7)，將其值置為0 則可求得對(duì)應(yīng)x值，同理可得出y值，確定其位置信息。

由于本研究中時(shí)頻圖不存在旋轉(zhuǎn)問(wèn)題，不考慮旋轉(zhuǎn)方向?qū)μ卣鼽c(diǎn)提取的影響，直接進(jìn)行特征點(diǎn)的匹配，并輸出所提取出的總特征點(diǎn)位置，以及兩時(shí)頻圖相匹配的特征點(diǎn)位置。

選取3 位專(zhuān)業(yè)聲音檢聽(tīng)員均認(rèn)證合格的揚(yáng)聲器10 支，3 位專(zhuān)業(yè)聲音檢聽(tīng)員均認(rèn)證存在異常聲的揚(yáng)聲器20 支。應(yīng)用上述方法分別提取每支合格揚(yáng)聲器特征點(diǎn)并填入矩陣Ma的同型零矩陣內(nèi)，得到合格揚(yáng)聲器特征矩陣Pa(a取1,2,···,10)；并將每個(gè)合格揚(yáng)聲器分別與20 支異常聲揚(yáng)聲器做特征點(diǎn)匹配，將所提取的匹配特征點(diǎn)填入矩陣Ma的同型零矩陣內(nèi)，得到匹配特征矩陣Qa,k(k表示異常聲揚(yáng)聲器編號(hào)，取1,2,···,20)，此矩陣反映出合格揚(yáng)聲器與異常聲揚(yáng)聲器相關(guān)性較大特征點(diǎn)。將合格揚(yáng)聲器與異常聲揚(yáng)聲器相關(guān)性較大的特征點(diǎn)從合格揚(yáng)聲器總特征點(diǎn)中剔除，得到合格揚(yáng)聲器特征點(diǎn)矩陣Za(即Za=Pa ?Qa,k)。

2.2 特征點(diǎn)分析處理

將上文所述剔除相關(guān)性特征點(diǎn)的10 支合格揚(yáng)聲器特征點(diǎn)矩陣進(jìn)行疊加處理，如式(8)所示，構(gòu)建揚(yáng)聲器特征矩陣，其分布情況如圖4所示。

圖4 整體特征點(diǎn)分布情況Fig.4 The distribution of feature points on the time-frequency spectrum

式(8)中，Z為揚(yáng)聲器特征矩陣，Za為剔除相關(guān)性特征點(diǎn)的合格揚(yáng)聲器特征矩陣。

造成揚(yáng)聲器異常聲的原因較多，其響應(yīng)時(shí)頻圖特征存在差異性。為進(jìn)一步減少中間狀態(tài)樣本數(shù)量，對(duì)特征矩陣進(jìn)行諧波帶域及高次諧波域劃分，應(yīng)用式(9)提取諧波帶域特征點(diǎn)矩陣，并將該矩陣置于諧波帶矩陣NX，其分布情況如圖5(a)所示，其特征點(diǎn)主要集中于諧波帶內(nèi)，文獻(xiàn)[6]即基于揚(yáng)聲器諧波帶進(jìn)行分析并得出檢測(cè)結(jié)果，已經(jīng)初步驗(yàn)證諧波帶內(nèi)有效信息較多。

圖5 特征分布情況Fig.5 The distribution of feature points

式(9)中，Zx為諧波域特征點(diǎn)矩陣，NX為諧波帶域模板矩陣。

應(yīng)用式(10)提取其高次諧波特征點(diǎn)矩陣，并對(duì)高次諧波域做進(jìn)一步分割；將其分割為左右共振區(qū)以及中間區(qū)域3部分，分布如圖5(b)所示，特征點(diǎn)主要集中于共振區(qū)域。

式(10)中，Zg為高次諧波特征點(diǎn)矩陣，NG為高次諧波域模板矩陣。

2.3 檢測(cè)模型建立

將上文所提取揚(yáng)聲器特征矩陣Z作為特征提取模板，對(duì)3 位專(zhuān)業(yè)聲音檢聽(tīng)員均認(rèn)證合格的50 支揚(yáng)聲器進(jìn)行特征提取，將所提取賦值特征點(diǎn)按其在矩陣中每列縱坐標(biāo)從小到大的順序進(jìn)行排列，連接排列后特征點(diǎn)構(gòu)建揚(yáng)聲器特征曲線(xiàn)；將50條合格揚(yáng)聲器特征曲線(xiàn)疊加，提取上下邊界值得到如圖6 所示合格揚(yáng)聲器特征曲線(xiàn)邊界，并將其作為檢測(cè)模型的檢測(cè)域構(gòu)建全特征點(diǎn)檢測(cè)模塊。若被測(cè)揚(yáng)聲器特征曲線(xiàn)超出檢測(cè)域點(diǎn)數(shù)低于所設(shè)定最小閾值，如圖7(a)所示，則判定該揚(yáng)聲器為合格產(chǎn)品；若超出檢測(cè)域點(diǎn)數(shù)高于所設(shè)定最大閾值，如圖7(b)所示，則判定該揚(yáng)聲器為異常聲產(chǎn)品；否則判定為中間狀態(tài)，需進(jìn)一步處理。

圖6 全檢測(cè)域Fig.6 Complete detection area

圖7 全檢測(cè)域特征曲線(xiàn)分布Fig.7 Feature curve distribution in the complete detection area

為進(jìn)一步確定全特征點(diǎn)檢測(cè)模塊中結(jié)果為中間狀態(tài)揚(yáng)聲器樣本的合格性，應(yīng)用全特征點(diǎn)檢測(cè)模塊的構(gòu)建方法，依次對(duì)分割后的特征區(qū)域構(gòu)建諧波帶特征點(diǎn)檢測(cè)模塊、高次諧波左共振區(qū)特征點(diǎn)檢測(cè)模塊、高次諧波中間區(qū)域特征點(diǎn)檢測(cè)模塊以及高次諧波右共振區(qū)特征點(diǎn)檢測(cè)模塊。應(yīng)用上述各模塊依次對(duì)中間狀態(tài)揚(yáng)聲器樣本進(jìn)行檢測(cè)，其中任何模塊判斷該樣本存在故障，即認(rèn)定該揚(yáng)聲器存在異常聲，經(jīng)過(guò)多模塊協(xié)同檢測(cè)，可進(jìn)一步提升檢測(cè)系統(tǒng)檢測(cè)精度。

本文將開(kāi)膠(揚(yáng)聲器盆架與振膜的粘結(jié)不充分，導(dǎo)致發(fā)聲時(shí)氣壓發(fā)生改變，造成揚(yáng)聲器異常聲故障產(chǎn)生)、擦聲圈(聲圈與永磁場(chǎng)同心度誤差較大，導(dǎo)致聲圈往復(fù)運(yùn)動(dòng)時(shí)與場(chǎng)心柱發(fā)生擦碰，造成揚(yáng)聲器異常聲故障產(chǎn)生)；小聲(聲圈的有效長(zhǎng)度不足或永磁場(chǎng)強(qiáng)度較弱，導(dǎo)致系統(tǒng)額定阻抗增大，造成揚(yáng)聲器異常聲故障產(chǎn)生)等揚(yáng)聲器時(shí)頻特征點(diǎn)進(jìn)行統(tǒng)計(jì)，對(duì)該類(lèi)型故障揚(yáng)聲器專(zhuān)有特征點(diǎn)進(jìn)行歸類(lèi)提取。選取上述3 種故障揚(yáng)聲器各10支，統(tǒng)計(jì)其專(zhuān)有特征點(diǎn)，用上文所述檢測(cè)模型構(gòu)建方法進(jìn)行模型建立。圖8(a)～(c)分別為開(kāi)膠樣本、擦聲圈樣本、小聲樣本在開(kāi)膠故障專(zhuān)用檢測(cè)模板中的分布情況，根據(jù)待測(cè)樣本特征曲線(xiàn)在特征檢測(cè)域的分布及超出檢測(cè)域數(shù)量情況，確定揚(yáng)聲器故障原因。擦聲圈及小聲揚(yáng)聲器特征檢測(cè)域也以此方法進(jìn)行構(gòu)建，不再贅述。

圖8 開(kāi)膠特征檢測(cè)域Fig.8 Detection area of chip features

3 實(shí)驗(yàn)及結(jié)果分析

以圖9 所示原理圖搭建檢測(cè)系統(tǒng)，采集所需數(shù)據(jù)并完成調(diào)試驗(yàn)證工作；在本實(shí)驗(yàn)系統(tǒng)中，每支待測(cè)揚(yáng)聲器樣本僅需提取207 個(gè)特征點(diǎn)進(jìn)行分析處理。先后對(duì)已知合格性的3 批某型號(hào)揚(yáng)聲器共676 支進(jìn)行檢測(cè)，揚(yáng)聲器樣本屬性如表1 所示，檢測(cè)結(jié)果如表2所示。

圖9 實(shí)驗(yàn)檢測(cè)原理圖Fig.9 Schematic diagram of experimental measurement

表1 揚(yáng)聲器樣本屬性Table 1 Properties of loudspeakers

表2 檢測(cè)結(jié)果Table 2 Detection result

表2 中合格樣本誤判：將合格揚(yáng)聲器判斷為異常聲產(chǎn)品；故障樣本誤判：將異常聲揚(yáng)聲器判斷為合格品；合格樣本中間態(tài)：未判斷出合格性的合格揚(yáng)聲器樣本；故障樣本中間態(tài)：未判斷出合格性的異常聲揚(yáng)聲器樣本。

先后對(duì)某型號(hào)已知故障類(lèi)型為開(kāi)膠、擦聲圈、小聲以及未知故障類(lèi)型揚(yáng)聲器各20 支進(jìn)行分類(lèi)檢測(cè)，結(jié)果如表3所示。

由表1～2 可初步分析得出，對(duì)企業(yè)影響較大的異常聲揚(yáng)聲器誤判為合格品僅占0.15%，待進(jìn)一步人工確定的中間態(tài)揚(yáng)聲器占比1.78%，有效檢出率為97.63%，異常聲檢測(cè)效果明顯。根據(jù)表3 檢測(cè)結(jié)果可初步判定，本文所采用檢測(cè)方法對(duì)揚(yáng)聲器異常聲分類(lèi)精度可達(dá)95%。

表3 分類(lèi)檢測(cè)結(jié)果Table 3 Classification detect result

結(jié)果分析：相較于文獻(xiàn)[7]所述檢測(cè)方法，檢測(cè)449 支揚(yáng)聲器樣本，中間態(tài)樣本占182 支，有效檢出率僅約60%；同樣基于短時(shí)傅里葉變換所得時(shí)頻圖進(jìn)行分析，本文所構(gòu)建揚(yáng)聲器異常聲檢測(cè)模型對(duì)于異常聲揚(yáng)聲器的有效檢出率約97%，遠(yuǎn)高于文獻(xiàn)[7]所述能量均值法；初步驗(yàn)證本文所述特征提取算法可降低短時(shí)傅里葉變換自身誤差對(duì)檢測(cè)系統(tǒng)的影響。對(duì)本實(shí)驗(yàn)中的誤判揚(yáng)聲器樣本進(jìn)行了特征分析，發(fā)現(xiàn)其特征曲線(xiàn)僅有小部分特征點(diǎn)差異性較大，未達(dá)到系統(tǒng)設(shè)定檢測(cè)閾值；其成因?yàn)闄z測(cè)模型構(gòu)建過(guò)程中，對(duì)該類(lèi)型異常聲故障樣本的特征提取較少，未能充分提取其異常聲故障特征，造成檢測(cè)過(guò)程中被誤判為合格樣本。文獻(xiàn)[13]所述變分模態(tài)分解能量熵算法對(duì)于揚(yáng)聲器異常聲故障的平均識(shí)別率為96.3%，而本文所述時(shí)頻特征提取算法的識(shí)別率最高為95%，相較變分模態(tài)分解能量熵算法存在一定差距；其成因主要為基于短時(shí)傅里葉變換的時(shí)頻分析法存在系統(tǒng)誤差，本文所述特征提取算法雖進(jìn)一步降低了其影響，但仍存在部分系統(tǒng)誤差對(duì)檢測(cè)系統(tǒng)識(shí)別精度的干擾。

4 結(jié)論

本文基于改進(jìn)SIFT 算法對(duì)揚(yáng)聲器時(shí)頻圖提取特征點(diǎn)，分析處理后構(gòu)建特征點(diǎn)法，并將其應(yīng)用于揚(yáng)聲器異常聲的檢測(cè)。經(jīng)過(guò)初步實(shí)驗(yàn)驗(yàn)證，可得出如下結(jié)論：

(1)特征點(diǎn)法可應(yīng)用于揚(yáng)聲器異常聲檢測(cè)系統(tǒng)，并進(jìn)行部分故障的分類(lèi)。

(2)本系統(tǒng)在少量特征數(shù)據(jù)處理的情況下仍能獲得預(yù)期檢測(cè)效果。

(3)本文所述基于時(shí)頻特征提取方法可在一定程度上降低短時(shí)傅里葉變換所產(chǎn)生系統(tǒng)誤差對(duì)檢測(cè)精度的影響。

本文所述方法仍需做大量驗(yàn)證實(shí)驗(yàn)，進(jìn)一步確定本系統(tǒng)的檢測(cè)精度及穩(wěn)定性；本文所構(gòu)建檢測(cè)系統(tǒng)基于普通揚(yáng)聲器，對(duì)于低頻揚(yáng)聲器的研究尚顯不足，后續(xù)研究將進(jìn)一步針對(duì)低頻揚(yáng)聲器特征進(jìn)行分析。