基于小波時頻圖與輕量級卷積神經(jīng)網(wǎng)絡(luò)的螺栓連接損傷識別

卓德兵，曹 暉

(1. 重慶大學(xué)土木工程學(xué)院，重慶 400045；2. 重慶大學(xué)山地城鎮(zhèn)建設(shè)與新技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400045；3. 吉首大學(xué)土木工程與建筑學(xué)院，張家界 427000)

螺栓連接廣泛應(yīng)用于工程結(jié)構(gòu)，尤其是鋼結(jié)構(gòu)和組合結(jié)構(gòu)。在服役期內(nèi)，結(jié)構(gòu)遭遇的不可避免的振動和沖擊等外部作用會導(dǎo)致螺栓連接狀態(tài)的改變，出現(xiàn)松動、滑移甚至脫落等問題，從而降低結(jié)構(gòu)的剛度、破壞結(jié)構(gòu)的完整性，危及結(jié)構(gòu)安全[1]。因此，螺栓連接狀態(tài)的監(jiān)測，對于保證結(jié)構(gòu)安全、避免重大安全事故和降低事故危害性具有重要意義。

目前，常用的螺栓連接損傷檢測方法分為基于模態(tài)和基于阻抗兩類[2]。螺栓松動會改變結(jié)構(gòu)連接狀態(tài)，從而導(dǎo)致結(jié)構(gòu)模態(tài)參數(shù)發(fā)生相應(yīng)的變化[3]。將實(shí)測的結(jié)構(gòu)模態(tài)參數(shù)與基準(zhǔn)參數(shù)比較，從而判斷螺栓連接狀態(tài)是基于模態(tài)的檢測方法的基本原理。然而，結(jié)構(gòu)的低階振動參數(shù)和低頻段傳遞特性等特征參量對螺栓連接損傷這樣的局部特性變化不夠敏感[4]。如果要提高特征參量的靈敏度，就需要在高頻段甚至極高頻段準(zhǔn)確測量和識別結(jié)構(gòu)的模態(tài)參數(shù)，這在目前還存在很大困難。此外，結(jié)構(gòu)模態(tài)參數(shù)的識別多是基于線彈性振動的假設(shè)，會不可避免地過濾掉重要的非線性振動現(xiàn)象。這使得其在螺栓連接狀態(tài)監(jiān)測上存在先天不足[5 ? 6]。

基于阻抗的方法是比較結(jié)構(gòu)監(jiān)測狀態(tài)與基準(zhǔn)狀態(tài)下的高頻段阻抗譜，判別螺栓連接的損傷程度。自Sun等[7]首次提出應(yīng)用壓電阻抗方法監(jiān)測桁架結(jié)構(gòu)的節(jié)點(diǎn)狀態(tài)以來，不少學(xué)者研究了基于該方法的螺栓連接狀態(tài)的監(jiān)測和辨識[8 ? 10]。這種方法受到測點(diǎn)數(shù)量的制約。以具有大量的連接節(jié)點(diǎn)和螺栓的鋼桁架為例，同時監(jiān)測所有的節(jié)點(diǎn)，需要大量的傳感器，經(jīng)濟(jì)性不佳[2]。而且與基于模態(tài)的方法一樣，基于阻抗的技術(shù)往往對激勵和實(shí)測環(huán)境有嚴(yán)格的要求，比如通常需要結(jié)構(gòu)的某些功能暫時中斷，這給在線監(jiān)測造成了困難[1 ? 2]。此外，這類方法使用的采集設(shè)備通常較大或昂貴(或二者兼具)，不利于實(shí)際應(yīng)用[7 ? 9]。

近年來，利用聲音信號進(jìn)行損傷檢測的技術(shù)愈發(fā)興起。聲音信號具有時間分辨率高，傳播具有全向性且不受能見度限制等優(yōu)點(diǎn)[11]。不同于傳統(tǒng)的振動信號測量，需要將傳感器固定于被測物體表面且對布點(diǎn)有較高的要求，聲音測量屬于非接觸式測量，采用的傳聲器測量裝置受空間限制少、安裝方便且造價相對較低[12]，并能夠有效避免加速度傳感器測量時普遍存在的飽和及失效現(xiàn)象。Garcia-Perez等[13]基于高分辨率光譜分析的多信號分類算法，利用聲音信號對存在單個故障的感應(yīng)電動機(jī)的故障狀態(tài)進(jìn)行識別。Amarnath等[14]采用決策樹機(jī)器學(xué)習(xí)方法，對從軸承現(xiàn)場附近采集的聲音信號進(jìn)行分析處理，實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械軸承故障診斷。Madhusudana等[15]提出了一種基于決策樹和聲信號小波變換技術(shù)的故障診斷方法，可以對銑刀表面粗糙度、尺寸公差和刀具狀態(tài)進(jìn)行識別和監(jiān)控。Lu等[16]提出了一種基于瞬態(tài)聲信號分析的變速器軸承故障診斷方法，該方法可以準(zhǔn)確地估計(jì)故障引起的脈沖的相位信息，為實(shí)現(xiàn)變速電機(jī)軸承故障診斷提供了一種簡單有效的方法。瞿金秀等[17]構(gòu)建了一種基于聲音信號的結(jié)構(gòu)損傷識別模型，并將該模型應(yīng)用于實(shí)驗(yàn)懸臂梁和鐵路轉(zhuǎn)轍機(jī)動作桿的裂紋損傷識別。

基于聲音信號的損傷識別方法研究目前大多集中在旋轉(zhuǎn)機(jī)械領(lǐng)域，借鑒傳統(tǒng)的語音識別技術(shù)，即通過人為選取特征參數(shù)，采用決策樹、支持向量機(jī)等方法進(jìn)行建模，識別損傷狀態(tài)下的聲音信號。依靠人工選取的特征往往比較單一并帶有較強(qiáng)的主觀性。決策樹和支持向量機(jī)屬于淺層模型，需要進(jìn)行復(fù)雜的調(diào)參，且每個方法都是針對具體應(yīng)用，泛化能力及魯棒性較差，影響了其實(shí)用性[18]。近年來，得益于計(jì)算機(jī)硬件水平的提升，尤其是云計(jì)算和大規(guī)模GPU并行計(jì)算的發(fā)展，以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)在圖像分類、目標(biāo)檢測和圖像分割等計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出了巨大的優(yōu)越性[19]，更多更深的卷積神經(jīng)網(wǎng)絡(luò)如AlexNet(2012年)、VGGNet(2014年)、GoogleNet(2014年)、ResNet(2015年)等相繼被提出[20 ? 22]。深度學(xué)習(xí)技術(shù)主要依靠數(shù)據(jù)驅(qū)動進(jìn)行特征提取，通過學(xué)習(xí)大量樣本得到深層的、特定的特征表示，對樣本集的表征更高效和準(zhǔn)確，魯棒性更強(qiáng)，泛化能力更好。目前，利用深度卷積神經(jīng)網(wǎng)絡(luò)解決工程問題成為了眾多領(lǐng)域的研究熱點(diǎn)[23 ? 27]。深度卷積神經(jīng)網(wǎng)絡(luò)在聲學(xué)建模方面也取得了飛速的發(fā)展，并逐漸成為語音識別的主流模型[28]。在非語音信號識別中，如環(huán)境聲音識別[29]，變壓器聲紋識別[30]，深度學(xué)習(xí)也有一定的應(yīng)用。

本文以振動環(huán)境下螺栓連接結(jié)構(gòu)為研究對象，提出基于聲音信號的螺栓連接損傷智能識別方法。對于常年處于振動環(huán)境中的鋼桁架結(jié)構(gòu)，如載人索道支架，當(dāng)結(jié)構(gòu)桿件的連接螺栓發(fā)生松動時，螺栓連接界面在鋼絲繩和吊籃激勵作用下發(fā)生碰撞而發(fā)出特有的聲音信號。與普通旋轉(zhuǎn)機(jī)械故障產(chǎn)生的聲音信號不同，螺栓松動發(fā)出的聲音信號具有典型的時變非線性特征，同時考慮到工程結(jié)構(gòu)所處室外環(huán)境噪聲干擾嚴(yán)重，本文將小波時頻圖與輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2相結(jié)合，充分發(fā)揮小波時頻分析處理非平穩(wěn)信號的優(yōu)勢和MobileNetv2強(qiáng)大的圖像分類能力，實(shí)現(xiàn)基于聲音信號的螺栓連接損傷識別。

1 螺栓松動損傷識別原理

1.1 聲音信號的預(yù)處理

首先，對麥克風(fēng)采集的聲音信號進(jìn)行分幀、加窗處理，同時求取各幀信號的短時能量。

假設(shè)x(n)為麥克風(fēng)接收到的聲音信號離散序列，ω(n) 為窗函數(shù)，L為幀長，inc為幀移，N為分幀后的總幀數(shù)，則第i幀信號xi(n)可以表示為：

第i幀信號xi(n) 的短時能量E(i)定義如下：

1.2 小波時頻分析

經(jīng)分幀加窗處理之后，對聲音信號進(jìn)行連續(xù)小波變換。連續(xù)小波變換的公式如下：

式中，母小波ψ 采用Complex Morlet小波。Complex Morlet是一種常用的復(fù)值小波，與其它小波相比，該小波在時頻兩域均具有良好的分辨率，在時頻圖上反映的時頻聚集性好，適合于處理非平穩(wěn)的聲音信號。

將聲音信號進(jìn)行連續(xù)小波變換生成為時頻圖，需要用到matlab小波工具箱中的cwt( )、scal2frq( )、imagesc( )等函數(shù)，其步驟為：首先確定小波基和尺度，并利用cwt( )求小波系數(shù)coefs，然后用scal2frq( )將尺度序列轉(zhuǎn)換為實(shí)際頻率序列f，最后結(jié)合時間序列t，用imagesc(t,f,abs(coefs))畫出小波時頻圖。

1.3 MobileNetv2輕量級卷積神經(jīng)網(wǎng)絡(luò)

自從2006年Hinton等[31]在《Science》上首次提出深度學(xué)習(xí)的概念，深度神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)能力得到了廣泛關(guān)注。在深度學(xué)習(xí)領(lǐng)域中，已經(jīng)驗(yàn)證的典型成熟算法有卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、生成對抗網(wǎng)絡(luò)(GANs)、深度強(qiáng)化學(xué)習(xí)(RL)等。其中CNN是深度學(xué)習(xí)最為典型的網(wǎng)絡(luò)模型，一般由卷積層、池化層和全連接層等組成，CNN通過構(gòu)建多個能夠提取輸入數(shù)據(jù)特征的卷積核，結(jié)合稀疏連接、權(quán)重共享、空間或時間上的降采樣，對輸入數(shù)據(jù)進(jìn)行逐層卷積及池化，逐級提取隱藏在數(shù)據(jù)之中的拓?fù)浣Y(jié)構(gòu)特征。

然而，經(jīng)典的CNN由于模型參數(shù)和運(yùn)算量龐大，分析時需要占用大量的存儲空間且對計(jì)算機(jī)硬件要求高。在工程應(yīng)用中，很多設(shè)備(如移動、嵌入式設(shè)備)的計(jì)算能力和存儲空間都很有限，難以運(yùn)行這樣的模型，不利于CNN技術(shù)的工程普及。為了能夠讓深度網(wǎng)絡(luò)適應(yīng)這些設(shè)備，2017年，Howard等[32]提出了輕量級CNN網(wǎng)絡(luò)MobileNetv1。MobileNetv1的核心層使用了一種稱之為Separable Convolution的操作來替代傳統(tǒng)的標(biāo)準(zhǔn)卷積，該網(wǎng)絡(luò)在保證計(jì)算精度基本不降低(或小幅降低)的前提下大幅減少模型參數(shù)與運(yùn)算量。2018年，Sandler等[33]又進(jìn)一步提出了MobileNetv2。MobileNetv2網(wǎng)絡(luò)在卷積過程中使用了一種名為Inverted Residuals and Linear Bottlenecks的結(jié)構(gòu)，如圖1所示，解決了上一版本中Separable Convolution存在的輸入層Kernel數(shù)量固定的瓶頸，而且模型更小，準(zhǔn)確率更高。

圖1 MobileNetv2卷積過程Fig.1 Convolution process of MobileNetv2

本文采用的網(wǎng)絡(luò)結(jié)構(gòu)模型為MobileNetv2模型，如表1所示。

在表1中，擴(kuò)展因子用于調(diào)整輸入圖像的大小，同一序列中的所有層具有相同的輸出通道數(shù)，除第一層外，其他層的步長為1；所有空間卷積使用3×3的核。

表1 網(wǎng)絡(luò)結(jié)構(gòu)模型Table 1 Network structure model

1.4 基于小波時頻圖與MobileNetv2的螺栓松動識別方法

基于小波時頻圖與MobileNetv2的螺栓松動識別方法結(jié)構(gòu)圖如圖2所示。該方法分為訓(xùn)練和測試兩個階段，訓(xùn)練階段是利用傳聲器采集足夠數(shù)量的螺栓松動聲音信號和環(huán)境噪聲信號，通過信號處理方法提取聲音信號的小波時頻圖作為輸入，利用設(shè)置好參數(shù)的MobileNetv2進(jìn)行訓(xùn)練得到螺栓松動識別模型。測試階段則是利用訓(xùn)練好的模型對輸入的未知信號進(jìn)行識別。

圖2 小波時頻圖- MobileNetv2螺栓松動損傷識別方法結(jié)構(gòu)圖Fig.2 Structural diagram of bolt loosening damage identification method based on wavelet time frequency diagrams and MobileNetv2

2 鋼桁架試驗(yàn)

2.1 試驗(yàn)簡介

試驗(yàn)?zāi)Ｐ蜑橐晃挥谑彝獾仄荷系恼呅武摴芩芙Y(jié)構(gòu)，如圖3所示。模型邊長為1.5 m，高度為6 m，共四層，底層距離地面高度為0.5 m，其余三層高度為1.8 m。塔身立柱采用直徑為16 cm的Q235無縫鋼管，所有的水平桿件和斜桿均采用等邊角鋼L40×4，各桿件端部與立柱節(jié)點(diǎn)板間采用2個M20螺栓連接(如圖3(a))，每根立柱與地面采用四個地腳螺栓連接。模型每層有6個節(jié)點(diǎn)，4層共計(jì)24個連接節(jié)點(diǎn)。為便于下文分析，對各節(jié)點(diǎn)統(tǒng)一編號，如圖3(b)所示，如Ji4表示第i層第4個節(jié)點(diǎn)。

本試驗(yàn)數(shù)據(jù)采集系統(tǒng)由拾音設(shè)備、數(shù)據(jù)采集設(shè)備及計(jì)算機(jī)組成。拾音設(shè)備為放置于模型底部中心位置的8個麥克風(fēng)組成的環(huán)形麥克風(fēng)陣列，陣列直徑20 cm，距地面20 cm。麥克風(fēng)采用MPA416全指向性麥克風(fēng)，數(shù)據(jù)采集模塊采用PXI動態(tài)信號測試分析儀，如圖3所示。

試驗(yàn)步驟如下：

步驟1：損傷工況、噪聲工況及復(fù)雜工況的模擬。通過松動不同位置、不同數(shù)量以及不同程度的螺栓，模擬10種損傷工況，如表2所示。通過一放置于J12節(jié)點(diǎn)位置處的手機(jī)控制的藍(lán)牙音箱(見圖3(c))模擬蟬鳴聲、音樂聲、下雨聲和語音4種常見環(huán)境噪聲工況。通過組合工況6+蟬鳴聲、工況6+下雨聲構(gòu)造2種復(fù)雜工況。

表2 損傷工況Table 2 Damage cases

步驟2：模型激振。采用小型偏心式激振器進(jìn)行激振，當(dāng)測試第1層～第2層節(jié)點(diǎn)時，激振器固定于J12與J13節(jié)點(diǎn)之間的橫桿位置處。當(dāng)測試第3層～第4層節(jié)點(diǎn)時，激振器固定于J32與J33節(jié)點(diǎn)之間的橫桿位置處，如圖3(e)所示。

圖3 試驗(yàn)?zāi)Ｐ图皽y試系統(tǒng)Fig.3 Test model and test system

步驟3：信號采集。利用PXI動態(tài)信號測試分析儀分別采集10種損傷工況、4種噪聲工況以及2種復(fù)雜工況共計(jì)16種工況的聲音信號，信號采樣頻率為20 kHz。

2.2 聲音信號小波時頻分析

對采集到的各工況聲音信號進(jìn)行分幀、加窗處理，并分析其短時能量。分幀的幀長取1024點(diǎn)，幀移取512點(diǎn)，加漢寧窗。采用Complex Morlet進(jìn)行連續(xù)小波變換，其中帶寬參數(shù)和小波中心頻率均取3，尺度序列長度取256。

圖4～圖6分別給出了時長為1 s的蟬鳴聲、下雨聲、工況6聲音信號的典型波形圖和相應(yīng)的38幀短時能量分布圖，以及利用短時能量最大的信號幀分析得到的功率譜圖和小波時頻圖。從圖4～圖6的功率譜圖可以看出，三類信號的頻率成分非常豐富，其中蟬鳴聲頻率主要分布在2000 Hz附近和3000 Hz～4000 Hz，下雨聲主要分布在1000 Hz～3000 Hz，而螺栓松動聲音的頻率在0 Hz～4000 Hz均有分布。因此，很難根據(jù)功率譜圖的特征識別各工況下的聲音信號。

圖4 蟬鳴聲信號圖及短時能量最大幀的分析結(jié)果Fig.4 Cicada sound signal diagram and analysis results of frame with the largest short-time energy

圖5 下雨聲信號圖及短時能量最大幀的分析結(jié)果Fig.5 Rain sound signal diagram and analysis results of frame with the largest short-time energy

圖6 工況6信號圖及短時能量最大幀的分析結(jié)果Fig.6 Signal diagram of Case 6 and analysis results of frame with the largest short-time energy

與功率譜圖不同，小波時頻圖顯示了信號頻率成分隨時間的變化。小波時頻圖通過冷暖顏色反映信號各頻率成分?jǐn)y帶的能量大小，顏色越暖能量越大。從圖4～圖6中可以看出，三種信號的小波時頻圖暖色部分大多呈現(xiàn)不規(guī)則塊狀分布，且沿時間軸的顏色變化也十分復(fù)雜。這樣的時頻圖很難通過人工判斷或常規(guī)的模式識別方法找出其規(guī)律，從而辨別各工況下螺栓松動聲音信號。對此，輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2可以發(fā)揮其強(qiáng)大的圖像分類功能。

2.3 數(shù)據(jù)集構(gòu)造

數(shù)據(jù)是深度學(xué)習(xí)的“原材料”，學(xué)習(xí)結(jié)果的好壞與數(shù)據(jù)的規(guī)模和質(zhì)量密切相關(guān)。對本文設(shè)定的16種工況聲音信號重復(fù)實(shí)測3次，依次對麥克風(fēng)接收到的聲音信號進(jìn)行分幀、加窗預(yù)處理，根據(jù)短時能量大小選擇特定數(shù)目的信號幀，進(jìn)而進(jìn)行小波時頻分析構(gòu)造數(shù)據(jù)集。本文在進(jìn)行數(shù)據(jù)集構(gòu)建時每一工況選取的典型信號時長為15 s，經(jīng)分幀后共計(jì)有584幀信號。去除短時能量低于某一特定閾值的信號幀，選擇短時能量偏大的500幀信號進(jìn)行小波時頻分析獲得其小波時頻圖。將每一個小波時頻圖作為一個樣本，可以得到一個由500個典型樣本構(gòu)成的數(shù)據(jù)集。

圖6展示的是工況6采集到的一段時長為1 s的聲音信號，其中前半部分為激振器信號(含弱環(huán)境干擾)，后半部分為螺栓松動信號。從圖6中可以看出，激振器信號的短時能量(約為0.2)要明顯小于螺栓松動信號。因此，為了排除激振器信號對最終結(jié)果的影響，提高分析效率，本文取一個稍微偏大的預(yù)警閥值T=0.5，即僅選擇T≥0.5的信號幀進(jìn)行小波時頻分析。

對16種工況聲音信號分析得到的各小波時頻圖進(jìn)行歸類并標(biāo)注，其中10種損傷工況依次用A～J表示，4種噪聲工況用K～N表示，2種復(fù)雜工況用O和P表示。每個數(shù)據(jù)集按照8∶1∶1的比例隨機(jī)劃分出400個樣本作為訓(xùn)練集，用以訓(xùn)練模型參數(shù)。50個樣本作為驗(yàn)證集，用來對模型的參數(shù)進(jìn)行調(diào)優(yōu)并初步評估模型的準(zhǔn)確性，剩余的50個樣本作為測試集，用于評價模型的泛化能力。因此，最終構(gòu)造的數(shù)據(jù)集為8000個樣本，其中訓(xùn)練集樣本為6400個，驗(yàn)證集和測試集樣本各為800個。

3 模型訓(xùn)練

MobileNetv2卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時需要設(shè)置的參數(shù)主要有BatchSize、learning_rate、Dropout、Epochs、num_classes等。綜合考慮訓(xùn)練集樣本特征和大小、計(jì)算機(jī)硬件水平、網(wǎng)絡(luò)結(jié)構(gòu)的深度和復(fù)雜度等因素，設(shè)定BatchSize為32、learning_rate為0.0005、Dropout為0.2、Epochs為100、num_classes為16、損傷函數(shù)采用交叉熵(Cross-Entropy)損失函數(shù)。MobileNetv2模型運(yùn)行的計(jì)算機(jī)平臺及編程環(huán)境如表3所示。

表3 計(jì)算機(jī)平臺及環(huán)境配置Table 3 Computer platform and environment configuration

圖7展示了當(dāng)輸入模型的樣本幀長分別取128、256、512、1024和2048時，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率(Accuracy)和損失值(Loss)隨著迭代次數(shù)(Epochs)的變化曲線圖。從圖7中可以看出，當(dāng)幀長在1024以內(nèi)時，樣本的幀長對模型訓(xùn)練結(jié)果影響較大，幀長越長，模型的準(zhǔn)確率越高，收斂速度越快，識別結(jié)果越穩(wěn)定，相應(yīng)最終損失值越??；而當(dāng)幀長大于1024時，其改善效果不再明顯。因此，幀長設(shè)定為1024。

圖7 樣本幀長對MobileNetv2模型識別結(jié)果的影響Fig.7 Influence of sample frame length on recognition results of MobileNetv2 model

從圖7中還可以看出，當(dāng)?shù)螖?shù)在20以內(nèi)時，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率曲線和損失值曲線都變化較快；當(dāng)?shù)螖?shù)位于20和50區(qū)間時，其曲線變化速度明顯放緩；而當(dāng)?shù)螖?shù)大于50時，曲線變化則基本趨于穩(wěn)定。如圖7中幀長為1024的情況，當(dāng)?shù)螖?shù)為1～20時，其訓(xùn)練集準(zhǔn)確率由63%提高到99%，損失值由1.06降為0.03，驗(yàn)證集準(zhǔn)確率由92%提高到99%，損失值由0.23降為0.0004；而當(dāng)?shù)螖?shù)等于100時，兩類準(zhǔn)確率均達(dá)到100%，損失值則趨近于0。

此外，本文還將MobileNetv2模型的訓(xùn)練結(jié)果與AlexNet、VGG16、GoogleNet與ResNet50等經(jīng)典的圖像識別CNN模型的訓(xùn)練結(jié)果進(jìn)行了比較。各模型訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率曲線和損失值曲線如圖8所示，經(jīng)100次迭代以后的識別結(jié)果如表4所示。

圖8 MobileNetv2模型與不同CNN模型的訓(xùn)練結(jié)果對比Fig.8 Comparison of training results between MobileNetv2 and other CNN models

表4 各模型迭代100次的分類準(zhǔn)確率和損失值Table 4 Classification accuracy and loss of each model after 100 iterations

從圖8和表4中不難看出，MobileNetv2模型與其它4種方法在經(jīng)過100次迭代以后都已經(jīng)收斂，其中從訓(xùn)練集和驗(yàn)證集準(zhǔn)確率來看，MobileNetv2最好，其最終準(zhǔn)確率都達(dá)到了100%，ResNet50和VGG16次之，而GoogleNet和AlexNet相對較差，尤其是后者驗(yàn)證集準(zhǔn)確率不到99%。從識別穩(wěn)定性來看，MobileNetv2和ResNet50最好，其識別準(zhǔn)確率和損失值曲線除了在少數(shù)位置出現(xiàn)波動以外，總體非常穩(wěn)定。而其它三者相對較差，尤其是GoogleNet和AlexNet出現(xiàn)了較大程度的波動。因此，可以看出，相較于其它幾種模型，MobileNetv2無論是在識別準(zhǔn)確率還是在穩(wěn)定性方面的表現(xiàn)都更為優(yōu)異。

為了考察MobileNetv2模型對計(jì)算設(shè)備存儲的占用情況，本文對比分析了各模型經(jīng)100次迭代后的總參數(shù)量和分析過程生成的權(quán)重文件大小，如表5所示。結(jié)果表明：MobileNetv2模型的權(quán)重文件和總參數(shù)量都遠(yuǎn)遠(yuǎn)小于其它四類模型的權(quán)重文件和總參數(shù)量，證明了其在移動設(shè)備或嵌入式設(shè)備中應(yīng)用的優(yōu)越性。

表5 各模型100次迭代后的總參數(shù)量和權(quán)重文件大小Table 5 Total parameters and weight file size of each model after 100 iterations

4 模型測試

為了檢驗(yàn)經(jīng)過上述訓(xùn)練之后得到的MobileNetv2模型的有效性及泛化能力，采用一組全新的測試集對模型進(jìn)行測試。測試集的構(gòu)造方法如2.3節(jié)所示。

本文采用混淆矩陣(Confusion matrix)、精確率(Precision)、召回率(Recall)和特異度(Specificity)四個指標(biāo)來衡量模型對測試樣本的分類準(zhǔn)確程度[27]，分析結(jié)果如圖9和表6所示。

圖9 混淆矩陣Fig.9 Confusion matrix

表6 分類精確率、召回率和特異度Table 6 Precision, recall and specificity

分析發(fā)現(xiàn)，訓(xùn)練得到的MobileNetv2模型對測試樣本分類準(zhǔn)確率達(dá)到99.8%，錯誤率僅為0.2%。其中，除了標(biāo)簽A、I和N有1個樣本，C有2個樣本，E有3個樣本，J有8個樣本被錯分到其它類別以外，其它標(biāo)簽的50個測試樣本全部被正確識別并分類。通過表6可以看出，盡管標(biāo)簽L對應(yīng)的50樣本全部被準(zhǔn)確識別，但由于標(biāo)簽G有2個樣本被錯分為L，因此，其精確率和特異度分別為0.943和0.996。對于標(biāo)簽C，盡管只有2個樣本被錯分為I，但由于E有3個樣本，I有1個樣本，J有2個樣本被錯分為C，因此，其精確率只有0.873，而召回率和特異度分別為0.96和0.991，以此類推。

上述結(jié)果表明：本文所采用的基于小波時頻圖的MobileNetv2模型不僅能識別不同類型的環(huán)境噪聲信號，還能很好地區(qū)分不同位置、不同數(shù)目和松動程度的螺栓松動聲音信號。

5 結(jié)論

針對目前大型結(jié)構(gòu)螺栓連接狀態(tài)監(jiān)測的困難，本文采用聲音信號識別的思路，提出了基于小波時頻圖與輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2的螺栓松動識別方法。

(1)該方法通過對采集到的聲音信號進(jìn)行預(yù)處理和連續(xù)小波變換得到小波時頻圖，以小波時頻圖作為樣本對輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)螺栓松動聲音信號的識別。

(2)對一鋼桁架模型的室外試驗(yàn)研究表明，該方法充分發(fā)揮了小波時頻分析在處理非平穩(wěn)信號方面的優(yōu)勢和MobileNetv2強(qiáng)大的圖像分類能力，能實(shí)現(xiàn)對不同環(huán)境噪聲信號，不同位置、數(shù)目和松動程度的螺栓松動聲音信號的精準(zhǔn)識別。

(3)該方法不僅識別準(zhǔn)確率高、穩(wěn)定性好，而且對計(jì)算和存儲的要求低，便于應(yīng)用于移動設(shè)備和嵌入式設(shè)備。

進(jìn)一步的研究工作，將對具有更多的損傷工況和處在更加復(fù)雜的環(huán)境下的模型進(jìn)行試驗(yàn)，并將考慮對工作狀態(tài)下的大型鋼桁架結(jié)構(gòu)進(jìn)行實(shí)測。