小波分解和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)相融合的水聲目標(biāo)識別方法

黃擎， 曾向陽

(西北工業(yè)大學(xué) 航海學(xué)院，陜西 西安 710072)

水聲目標(biāo)分類識別技術(shù)是水聲探測領(lǐng)域的關(guān)鍵技術(shù)，也是水聲信號處理中的重點和難點[1]。通常將水聲目標(biāo)識別過程分為特征提取和分類決策2個相對獨(dú)立的部分。針對這2部分均已開展了大量的研究，提出的各種算法的有效性也得到了證明。但分步處理的方法未考慮提取的特征與分類器之間的“耦合”作用，因而構(gòu)建的識別系統(tǒng)性能難以達(dá)到最優(yōu)。

近年來，深度學(xué)習(xí)[2-3]在機(jī)器學(xué)習(xí)領(lǐng)域異軍突起，與傳統(tǒng)方法不同，深度學(xué)習(xí)只需要輸入含有豐富目標(biāo)特性的信息，通過逐層學(xué)習(xí)挖掘，從而可通過自動提取出最具有鑒別力的抽象信息進(jìn)行識別。從系統(tǒng)連接的角度看，深度學(xué)習(xí)中的特征提取和模式識別是一個整體，避免了傳統(tǒng)方法由于分步執(zhí)行特征提取和模式識別導(dǎo)致的系統(tǒng)“耦合”作用，能進(jìn)一步提升識別系統(tǒng)的性能。目前，最常見的深度學(xué)習(xí)算法-卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)已開始在水聲信號處理[4]和水聲圖像處理[5-6]方面得到廣泛地應(yīng)用。CNN可通過結(jié)合局部感知區(qū)域、共享權(quán)重、空間或時間上的池化降采樣3大特點來充分利用數(shù)據(jù)本身包含的局部性等特征在保證一定程度上的位移不變性[7]的基礎(chǔ)上來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，這使得CNN可用于水聲目標(biāo)識別。本文針對深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中會產(chǎn)生內(nèi)部協(xié)方差偏移(internal covariate shift，ICS)以及隨機(jī)梯度算法在局部極值附近的擺動幅度較大、優(yōu)化速度較慢的問題，引入批量標(biāo)準(zhǔn)化層(batch normalization，BN)和自適應(yīng)力矩估計(adaptive moment estimation，Adam)梯度優(yōu)化算法對CNN進(jìn)行改進(jìn)。

CNN可直接輸入信號的波形或頻譜，考慮到小波分析在非平穩(wěn)信號處理中的優(yōu)勢，本文將其與改進(jìn)CNN算法融合，提出一種名為WAVEDEC_CNN的水聲目標(biāo)識別方法。該方法首先將原始信號用小波分解進(jìn)行預(yù)處理(不同于傳統(tǒng)的基于小波分解的小波去噪方法，本文提出的方法不對分解后的小波系數(shù)進(jìn)行任何處理)；再輸入改進(jìn)的CNN對目標(biāo)進(jìn)行識別。在實驗驗證階段，先將本文提出的方法與MFCC特征提取+SVM分類器方法進(jìn)行對比；然后與無預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)(NO_CNN)、小波包分解預(yù)處理結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(WPDEC_CNN)以及經(jīng)驗?zāi)B(tài)分解預(yù)處理結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(EMD_CNN)的方法進(jìn)行對比。

1 WAVEDEC_CNN識別方法

本文提出一種名為WAVEDEC_CNN的水聲目標(biāo)識別方法。該方法將小波分解和基于梯度優(yōu)化和層批量歸一化改進(jìn)的CNN算法融合。

1.1 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)

與深度學(xué)習(xí)中的傳統(tǒng)框架相比，卷積神經(jīng)網(wǎng)絡(luò)是局部連接并且權(quán)值共享，大大減小了網(wǎng)絡(luò)參數(shù)，同時池化層下采樣通過減少網(wǎng)絡(luò)節(jié)點數(shù)，可進(jìn)一步減小參數(shù)數(shù)量。這對于高維輸入數(shù)據(jù)尤為重要。同時，CNN利用卷積層進(jìn)行信號的增強(qiáng)，并利用池化層獲得具有位移、時移或旋轉(zhuǎn)不變的特征，最后通過全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。從整體上看，卷積層和池化層的交替使用可以使模型具有良好的穩(wěn)健特性。

與傳統(tǒng)的CNN不同，本文提出的模型在卷積和池化層之間引入了批量標(biāo)準(zhǔn)化層。由于CNN 每層的輸入都受到前面所有層參數(shù)的影響，網(wǎng)絡(luò)參數(shù)的微小變化會隨著網(wǎng)絡(luò)的深化而放大，這使得訓(xùn)練變得復(fù)雜。為解決這一問題，本文采用自適應(yīng)力矩估計對梯度進(jìn)行優(yōu)化。該方法易于實現(xiàn)，計算效率高，對內(nèi)存的需求小，不受梯度的對角調(diào)整的影響，可用于數(shù)據(jù)和/或參數(shù)很大的問題。

1.1.1 參數(shù)優(yōu)化方法

白化輸入可以加快網(wǎng)絡(luò)收斂速度，在此基礎(chǔ)上Loffe[8]提出可以在網(wǎng)絡(luò)任意隱層加入BN層來減小訓(xùn)練過程中的內(nèi)部協(xié)方差偏移，從而防止梯度消失，同時，該模型允許使用更大的學(xué)習(xí)率，從而加快網(wǎng)絡(luò)收斂速度。

(1)

(2)

(3)

式中：yi為標(biāo)準(zhǔn)化后的輸出，γ和β為與BN層高斯分布有關(guān)的可學(xué)習(xí)的超參數(shù)。參數(shù)更新：

(4)

(5)

根據(jù)均值和方差的梯度可以獲得反向傳播過程中BN層輸出結(jié)果的梯度：

(6)

BN層與高斯分布有關(guān)的超參數(shù)梯度：

(7)

由于識別過程中，無法直接獲得測試樣本的均值和方差。因此識別過程BN層使用訓(xùn)練過程中各批量的均值E[x]和方差Var[x]的無偏估計，參數(shù)設(shè)置為：

(8)

識別過程中高斯分布超參數(shù)設(shè)置為：

(9)

識別過程中測試樣本更新公式為：

y=γ′·zi+β′

(10)

1.1.2 Adam梯度優(yōu)化方法

Kingma[9]提出Adam梯度優(yōu)化算法。該方法將動量法和均方根傳播算法相結(jié)合，優(yōu)化了隨機(jī)梯度算法在局部極值附近的擺動幅度較大和優(yōu)化速度較慢的問題。

Adam梯度下降過程中動量法和均方根傳播算法中權(quán)重和偏差初始值均設(shè)為0。vdw和vdb表示動量法中權(quán)重和偏差一階矩指數(shù)加權(quán)平均數(shù)，sdw和sdb表示均方根傳播算法中權(quán)重和偏差二階矩指數(shù)加權(quán)平均數(shù)。初始化方法為：

(11)

Adam梯度下降過程動量法vdw和vdb參數(shù)更新為：

(12)

式中β1表示一階矩累加的指數(shù)。

Adam梯度下降過程均方根傳播算法sdw和sdb參數(shù)更新公式為：

(13)

式中β2表示二階矩累加的指數(shù)。

Adam算法權(quán)重W和b更新公式為：

(14)

式中α表示學(xué)習(xí)率。

1.2 小波分解和改進(jìn)神經(jīng)卷積神經(jīng)網(wǎng)絡(luò)融合方法

CNN已開始在水聲目標(biāo)識別方面得到廣泛地應(yīng)用，考慮到小波分析在非平穩(wěn)信號處理中的優(yōu)勢，本文將其與改進(jìn)的CNN算法融合，提出了一種名為WAVEDEC_CNN的水聲目標(biāo)識別方法。

小波分析與加固定窗的短時傅里葉分析方法不同，可以用不同形狀的窗函數(shù)(小波基函數(shù))分析處理信號，從而實現(xiàn)低頻處獲取較高的頻率分辨力、高頻處獲取較高的時間分辨力。

小波基函數(shù)定義為：

(15)

式中φ(t)為基小波或者母小波函數(shù)，經(jīng)過尺度因子a和平移因子b變換后的φa,b(t)統(tǒng)稱為小波。

對于離散情況：

φj,k(t)=2-j/2φ(2-j/t-k)j,k∈Z

(16)

采用離散小波變換(DWT)表示分解原始時域波形信號，得到原始信號的近似(低頻)成分和細(xì)節(jié)(高頻)成分。小波分解表示將原始信號經(jīng)過DWT變換后的低頻成分再進(jìn)行DWT變換，循環(huán)次數(shù)由分解層數(shù)決定。

多層小波分解預(yù)處理后，將每層小波系數(shù)拼接作為CNN網(wǎng)絡(luò)的輸入。由此得到的WAVEDEC_CNN方法原理圖如圖1所示。

圖1 WAVEDEC_CNN原理Fig.1 Schematic diagram of the WAVEDEC_CNN

圖1上半部分表示以3層小波分解為例，對時域信號進(jìn)行預(yù)處理。其中cA1、cA2和cA3表示的是每層分解的低頻近似信息；cD1、cD2和cD3表示的是每層分解的高頻細(xì)節(jié)信息。下半部分表示的是卷積神經(jīng)網(wǎng)絡(luò)模型，每層數(shù)字表示該層尺寸，相鄰層連接線的數(shù)字表示濾波器尺寸。

pre_wavedec=[cA3,cD3,cD2,cD1]

(17)

小波分解重構(gòu)誤差由下面公式給出：

(18)

式中：norm2表示求向量的2范數(shù)。datareci表示每層小波系數(shù)重構(gòu)的時域信號。

以3層小波分解預(yù)處理為例，原始信號、小波分解重構(gòu)信號和本文使用卷積神經(jīng)網(wǎng)絡(luò)輸入如圖2所示。

圖2從上至下分別表示原始信號、重構(gòu)信號和由式(17)得到的卷積神經(jīng)網(wǎng)絡(luò)輸入樣本。原始信號和重構(gòu)信號經(jīng)式(18)計算的重構(gòu)誤差為1.7×10-11。說明小波分解沒有丟失信息。從最下面的圖可以看出能量主要集中在該樣本的前部分。這是因為原始信號是某段民船輻射噪聲信號，民船輻射噪聲信號主要集中在低頻部分，而由式(17)可以看出該樣本的前部分主要表示的是原始信號的低頻信息cA3。

圖3為原始信號3層小波分解的cA3、cD1、cD2和cD3系數(shù)圖。

圖3分別表示第3層分解的低頻信息和逐層分解的高頻信息。其中低頻信息整體幅度最大，這是因為原始信號能量主要集中在低頻部分。這與圖2中樣本結(jié)果一致。

結(jié)合圖2和圖3，小波分解預(yù)處理不僅不會丟失信息，同時將原始信號自動按頻帶劃分，與原始信號比較，更能凸顯信號特點。這對目標(biāo)識別是有利的。

圖2 信號小波分解預(yù)處理結(jié)果Fig.2 Result diagram of the signal with the wavelet decomposition preprocessing

圖3 3層小波分解系數(shù)Fig.3 Coefficient diagram of 3-layer wavelet decomposition

最后在改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段，聯(lián)合優(yōu)化交叉熵?fù)p失函數(shù)J：

(19)

式中：y(i)表示第i類真實標(biāo)簽；xwdec(i)表示經(jīng)過離散小波變換預(yù)處理的輸入樣本；fnet(·)表示本文改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)。

2 實測數(shù)據(jù)實驗

本文實驗數(shù)據(jù)集來自課題組在丹江口水庫湖試獲取的數(shù)據(jù)。數(shù)據(jù)包含4個水面目標(biāo)：鐵皮船1、快艇2、快艇3和快艇4。湖底布放2個8元線列陣，采樣頻率為48 kHz。每艘船繞行2個陣列3圈，每圈截取21段(每段10 s)數(shù)據(jù)，共4×3×21×10=2 520 s。每圈取14段作為訓(xùn)練集，剩余7段作為測試集。將每段信號按0.1 s分幀，每幀為1個樣本，因此，訓(xùn)練集樣本總數(shù)為16 800，測試集樣本總數(shù)為8 400。

超參數(shù)設(shè)置：學(xué)習(xí)率0.01；每次實驗訓(xùn)練30輪，每輪采用批量梯度下降法求梯度，每個批量為100。重復(fù)實驗50次，每次實驗都隨機(jī)初始化權(quán)重。梯度優(yōu)化算法為adam算法，一階矩估計的指數(shù)衰減率為0.9；二階矩估計的指數(shù)衰減率為0.999。L2正則項為10-4。CNN隱藏層設(shè)置3個卷積層、池化層和一個全連接層。卷積層濾波器為1×4，步長為1。濾波器數(shù)目分別為16,32和64。池化層為1×4，采用最大池化，步長為4。

圖4～7為實驗結(jié)果。其中圖4表示的是重復(fù)實驗50次，每次的識別結(jié)果。圖5表示從湖試數(shù)據(jù)截取的84段聲音文件的識別結(jié)果。圖6表示每艘船的識別結(jié)果。圖7表示的是本文所用的各種深度學(xué)習(xí)方法識別結(jié)果的混淆矩陣結(jié)果圖。表1是實驗結(jié)果和運(yùn)行時間，包括從湖試截取的聲音文件構(gòu)建樣本集用的時間和用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和識別的時間。

圖4 識別結(jié)果對比Fig.4 Comparison diagram of the recognition results

圖5 不同水聲數(shù)據(jù)識別結(jié)果對比Fig.5 Comparison diagram of different underwater acoustic

圖6 不同船識別結(jié)果對比Fig.6 Comparison diagram of different ships recognition results

結(jié)合圖4和表1可以看出，本文提出的WAVEDEC_CNN方法識別效果最優(yōu)。識別率較NO_CNN、WPDEC1_CNN和EMD_CNN等方法分別提升了4.41%、3.23%和12.81%。其中WPDEC1_CNN方法和WPDEC2_CNN分別執(zhí)行了10層和4層小波包分解。雖然小波分解預(yù)處理耗費(fèi)了一定時間，但是總的運(yùn)行時間反而最短。

與WAVEDEC_CNN對比，雖然WPDEC_CNN的頻帶劃分更為精細(xì)，但是相同的分解層數(shù)條件下，執(zhí)行DWT的次數(shù)遠(yuǎn)高于WAVEDEC_CNN。以分解層數(shù)N=10為例，WAVEDEC_CNN執(zhí)行了10次DWT運(yùn)算，WPDEC1_CNN執(zhí)行了210-1=1 023次DWT運(yùn)算。因此構(gòu)建樣本集時WPDEC1_CNN方法花費(fèi)大量時間，從表1可得約為WAVEDEC_CNN方法的118.5倍。同時WPDEC1_CNN方法表示的信號維度較大，用CNN進(jìn)行訓(xùn)練消耗更多時間，約為WAVEDEC_CNN方法的6.99倍，大約需要9.46 h。雖然WPDEC_CNN方法和WAVEDEC_CNN方法重構(gòu)誤差都是小量級的(以某一樣本為例，重構(gòu)誤差量級為10-12)，但是預(yù)處理后數(shù)據(jù)的維度大大提升，信息過于分散，識別率反而下降3.23%。因此，設(shè)置另外一組對比實驗，設(shè)置N=4，記為WPDEC2_CNN。在此分解層數(shù)下，WPDEC2_CNN方法執(zhí)行DWT運(yùn)算為15次，構(gòu)建樣本集時間僅為WAVEDEC_CNN方法的3.33倍，約為原來的2.8%。實驗結(jié)果表明其識別率較N=10時下降了0.75%，比WAVEDEC_CNN方法下降了3.98%。這說明較低的分解層數(shù)，雖然可以大幅度降低WPDEC_CNN的運(yùn)行時間，甚至和WAVEDEC_CNN方法相媲美，但是分解層數(shù)較低時，其對低頻的劃分反而不如WAVEDEC_CNN方法精細(xì)，識別率低于本文提出的方法。NO_CNN運(yùn)行時間也較短，但是識別率相比WPDEC_CNN方法下降4.41%。

從實驗結(jié)果可以看出，EMD_CNN方法識別效果最差。雖然經(jīng)驗?zāi)B(tài)分解后的殘余信號分量較少，重構(gòu)誤差也較低，但是EMD_CNN方法沒有明確的基函數(shù)，分解過程存在模態(tài)混疊效應(yīng)[10]。表現(xiàn)為對于不同的樣本，其每階模態(tài)表示的信號瞬時頻率的頻帶范圍可能不一樣，導(dǎo)致識別結(jié)果最差。

圖7表示的是每種方法某次實驗結(jié)果的混淆矩陣。因為表1深度學(xué)習(xí)識別結(jié)果是50次實驗的平均值而且方差均較小，所以這些混淆矩陣也是具有代表性的?；煜仃囉蚁陆墙Y(jié)果表示的是準(zhǔn)確率?；煜仃囍凶钕旅?行前4列結(jié)果分別表示每類目標(biāo)的召回率，最右邊1列前4行中數(shù)字表示每類目標(biāo)的精確率?；煜仃囆斜硎镜氖穷A(yù)測為行數(shù)對應(yīng)類別的數(shù)目。每一列表示的是當(dāng)前預(yù)測結(jié)果真實類標(biāo)為對應(yīng)列數(shù)。對角線上前4個結(jié)果分別表示每類預(yù)測正確的樣本數(shù)。

圖7(a)到(c)可以看出，WPDEC1_CNN和WPDEC2_CNN方法相比WAVEDEC_CNN方法，在第3類和第4類目標(biāo)上存在明顯的錯分問題，其精確率均較低。對于第3類，WPDEC1_CNN和WPDEC2_CNN方法分別把80和172個樣本錯分為第4類，WAVEDEC_CNN方法僅為27個。對于第4類，WPDEC1_CNN和WPDEC2_CNN方法分別把127和112個樣本錯分為第3類，WAVEDEC_CNN方法僅為18個。說明本文提出的WPDEC1_CNN方法增加了第3類和第4類之間的區(qū)分度。

圖7(d)可以看出，對于EMD_CNN方法，由于存在模態(tài)混疊效應(yīng)，其各類精確率均最低。特別是第3類和第4類，存在嚴(yán)重的錯分問題。對于第3類，將323個樣本錯分為第4類，占第3類樣本數(shù)323/2 100=15.3%。對于第4類，將396個樣本錯分為第3類，占第4類樣本數(shù)396/2 100=18.9%。

從圖6可以看出，除了EMD_CNN方法外，其他方法對于船1不同圈的識別效果都較好，分別為95.65%、96.60%、95.49%和95.75%，本文提出的框架效果最好，對比其他方法識別率至少提升0.95%。這是因為船1為鐵皮船，船2到船4為不同型號的快艇，鐵皮船和快艇目標(biāo)特性差異較大。從圖5可以看出，對于第59段聲音樣本幾種方法識別率差別較大，因此，對其專門進(jìn)行分析。圖8(a)為第59段聲音文件，它來自船3第3圈。各方法識別結(jié)果分別為31.14%、61.74%、40.70%、34.32%。圖8(b)為第60段聲音文件，同樣來自船3第3圈。各方法識別結(jié)果分別為80.22%、92.42%、67.76%、78.42%。每段聲音文件長度為10 s。

圖8 第59段和第60段聲音文件STFT圖Fig.8 STFT diagram of the 59th segment and 60th segment of underwater data

對比圖8(a)和圖8(b)可以看出，第59段和60段聲音在1 000 Hz以內(nèi)時頻分布基本一致。但是第59段聲音文件在1.465 kHz處存在干擾，大約持續(xù)7 s。這可能是其他方法在第59段聲音處識別效果較差的原因。這也說明本文提出的WAVEDEC_CNN抗干擾能力較強(qiáng)。

3 結(jié)論

1)與NO_CNN、WPDEC_CNN和EMD_CNN相比，本文提出的識別框架的識別率有明顯的提升。

2)WPDEC_CNN方法雖然重構(gòu)誤差較低，但預(yù)處理和網(wǎng)絡(luò)訓(xùn)練需要花費(fèi)大量時間。EMD_CNN由于存在模態(tài)混疊反而效果最差。但是這些方法識別性能都優(yōu)于傳統(tǒng)的識別方法。

因為不同小波基構(gòu)造的小波濾波器性能可能不一樣，同時較高的分解層數(shù)，可以獲得較為精細(xì)的頻帶劃分，能否更好的區(qū)分干擾和目標(biāo)，因此下一步將更加深入的研究不同小波基和不同的分解層數(shù)對識別結(jié)果的影響。