基于深度學(xué)習(xí)的艦船輻射噪聲多特征融合分類

倪俊帥，趙 梅，胡長青

(1.中國科學(xué)院聲學(xué)研究所東海研究站，上海201815；2.中國科學(xué)院大學(xué)，北京100049)

0 引言

艦船輻射噪聲的分類屬于復(fù)雜的分類問題。由于大量采集艦船輻射噪聲數(shù)據(jù)較為不易，再加上艦船航行工況的復(fù)雜性，因此艦船輻射噪聲的識(shí)別是在有限樣本甚至是小樣本的條件下完成的。艦船輻射噪聲中含有豐富的特征信息，有些信息表征著艦船不變的物理特性，有些信息則與艦船的工況或狀態(tài)相關(guān)。這些時(shí)域或者頻域的特征可以通過一定的手段提取出來，用于艦船的分類與識(shí)別工作。由于艦船輻射噪聲的主體是寬帶平穩(wěn)隨機(jī)信號(hào)[1]，其時(shí)域特征不穩(wěn)定，因此在時(shí)域特征上進(jìn)行分類很難得到較高的正確率。艦船輻射噪聲的頻域特征相對(duì)穩(wěn)定，以往的研究多采用DEMON譜分析和梅爾倒譜系數(shù)分析等方法[2-5]提取相應(yīng)的頻域特征，然后采用一定的分類手段進(jìn)行分類。隨著深度學(xué)習(xí)在語音識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域取得的一系列成果[6-8]，近年來深度學(xué)習(xí)也被廣泛地應(yīng)用于艦船輻射噪聲的分類與識(shí)別。

國內(nèi)外對(duì)艦船輻射噪聲深度學(xué)習(xí)分類已有較多的相關(guān)研究，取得了一定的成果。朱可卿等[9]提取了艦船輻射噪聲的頻譜、梅爾倒譜系數(shù)和線譜等特征，繪制圖像并用卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)進(jìn)行分類，得出了深度學(xué)習(xí)方法可以有效提高艦船輻射噪聲分類正確率的結(jié)論。張少康等[10]提出了一種基于梅爾倒譜系數(shù)的長短時(shí)記憶網(wǎng)絡(luò)分類方法，具備一定的智能化水下目標(biāo)分類識(shí)別能力。朱成名等[11]改進(jìn)了梅爾倒譜系數(shù)提取方法，在信號(hào)預(yù)處理階段，采用正弦窗代替?zhèn)鹘y(tǒng)方法使用的漢明窗來進(jìn)行頻譜估計(jì)，獲得了梅爾倒譜系數(shù)并用深度學(xué)習(xí)的方法進(jìn)行分類，提高了噪聲環(huán)境下分類識(shí)別的正確率。曾賽等[12]提出一種水下目標(biāo)多模態(tài)深度學(xué)習(xí)的分類識(shí)別方法。針對(duì)水聲信號(hào)的一維時(shí)域模態(tài)和二維頻域模態(tài)特征，建立一種多模態(tài)特征融合的深度學(xué)習(xí)結(jié)構(gòu)，結(jié)合了長短時(shí)記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，提高了分類正確率。然而，在一種特征上進(jìn)行分類嚴(yán)重限制了深度學(xué)習(xí)的特征提取，進(jìn)而限制了艦船輻射噪聲分類正確率的提高；將艦船輻射噪聲分類轉(zhuǎn)化為圖像分類有一定的誤差，部分細(xì)節(jié)特征無法通過圖像表現(xiàn)出來。

本文為了改善分類系統(tǒng)的性能、進(jìn)一步提高艦船輻射噪聲分類的正確率，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的多特征融合分類方法。文章提取了艦船輻射噪聲的頻譜特征、梅爾倒譜系數(shù)和功率譜特征，采用了基于誤差反向傳播(Back Propagation,BP)算法的具有多個(gè)輸入分支的深度神經(jīng)網(wǎng)絡(luò)，同時(shí)直接對(duì)3種特征參數(shù)進(jìn)行學(xué)習(xí)分類。文章在實(shí)測艦船輻射噪聲數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)，選用了兩種訓(xùn)練集和驗(yàn)證集的劃分方法，對(duì)比了不同信噪比下多特征融合分類方法和在一種特征上進(jìn)行分類方法的正確率。

1 特征提取

1.1 梅爾倒譜系數(shù)提取

梅爾(Mel)倒譜系數(shù)提取是一種基于人耳聽覺特性的特征提取方法，頻率軸上按Mel頻率尺度不均勻劃分是梅爾倒譜系數(shù)提取的重要特點(diǎn)[13]。Mel頻率與實(shí)際頻率f的關(guān)系可用式(1)來描述：

梅爾倒譜系數(shù)計(jì)算過程的具體步驟如下：

(1) 對(duì)艦船輻射噪聲信號(hào)進(jìn)行分幀、預(yù)加重及漢明窗處理，再進(jìn)行傅里葉變換得到其頻譜。然后，設(shè)計(jì)三角形帶通濾波器進(jìn)行濾波。濾波器的頻率特性為

帶通濾波器輸出為

(2) 對(duì)濾波器的輸出取對(duì)數(shù)，再進(jìn)行離散余弦變換，得到梅爾倒譜系數(shù)：

1.2 頻譜和功率譜特征提取

頻譜特征提取是最簡單的頻域特征提取方法，對(duì)艦船輻射噪聲數(shù)據(jù)加漢明窗處理后做若干點(diǎn)的離散傅里葉變換即可得到其頻譜。艦船輻射噪聲的功率譜描述了艦船輻射噪聲的信號(hào)功率在頻域的分布情況，在不考慮海洋信道影響的前提下，反映了艦船的物理特性。假定艦船輻射噪聲主體為平穩(wěn)的各態(tài)歷經(jīng)的隨機(jī)過程，采用周期圖法對(duì)艦船輻射噪聲信號(hào)做功率譜估計(jì)。為了減少噪聲譜對(duì)艦船輻射噪聲功率譜特征參數(shù)提取的影響，本文采用了一種類似于短時(shí)能量分析的平均功率譜特征提取方法。首先在頻率軸上對(duì)功率譜進(jìn)行截取。艦船輻射噪聲的能量主要集中在低頻部分，因此低頻段對(duì)應(yīng)的特征參數(shù)能夠有效地反映艦船輻射噪聲的基本特性。提取艦船輻射噪聲的功率譜特征參數(shù)時(shí)要舍去直流分量，一般情況下，頻率截取下限為5 Hz，上限為500 Hz。然后對(duì)截取的部分做加窗求和取平均值處理，即可得到艦船輻射噪聲的平均功率譜[14]。假設(shè)截取部分對(duì)應(yīng)的頻率下限為fl，上限為fh，提取特征參數(shù)的維度為Ma，則窗寬La為

每個(gè)窗內(nèi)點(diǎn)數(shù)為Na，平均功率譜特征參數(shù)為

2 多特征融合

2.1 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks, DNN)有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，其內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為輸入層、隱藏層和輸出層，其結(jié)構(gòu)如圖1所示。

圖1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of a deep neural network

對(duì)一個(gè)M+1層的深度神經(jīng)網(wǎng)絡(luò)，將輸入層記作“層0”，將輸出層記作“層M”。在0～M層中[15]：

其中，Zm為激勵(lì)向量，Vm為激活向量，Wm為權(quán)重矩陣，Bm為偏差系數(shù)。V0為輸入特征向量，第0層的神經(jīng)元個(gè)數(shù)由V0的維度決定。

由于艦船輻射噪聲分類屬于多分類任務(wù)，輸出層神經(jīng)元個(gè)數(shù)由分類數(shù)決定，每個(gè)輸出層神經(jīng)元代表一類，n∈{1,???,N}，其中N為類的個(gè)數(shù)。輸出層采用softmax函數(shù)作為激活函數(shù)進(jìn)行歸一化，第n個(gè)輸出神經(jīng)元的值代表輸入特征向量屬于類n的概率PDNN(n|V0)，表達(dá)式為

訓(xùn)練過程要最小化期望損失函數(shù)，損失函數(shù)的輸入為網(wǎng)絡(luò)預(yù)測值和真實(shí)目標(biāo)值。采用交叉熵訓(xùn)練準(zhǔn)則和誤差反向傳播(BP)算法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。如前，深度神經(jīng)網(wǎng)絡(luò)層數(shù)為M+1，假設(shè)訓(xùn)練樣本數(shù)為Lz，分類數(shù)為N，訓(xùn)練過程的損失函數(shù)可表示為

2.2 特征融合網(wǎng)絡(luò)

多特征融合可以通過具有多個(gè)輸入分支的深度神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，每一個(gè)輸入分支可以用來學(xué)習(xí)一種特征。不同的輸入分支通過一個(gè)連接層結(jié)合并與隱藏層和輸出層相連[16]。多輸入深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

將第k個(gè)輸入分支的第i層表示為，最后一層表示為。連接層記作V0，可以看作后一個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入層，則

圖2 多輸入深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Multi-input deep neural network structure diagram

學(xué)習(xí)過程先利用輸入分支上的多個(gè)隱藏層對(duì)特征進(jìn)行抽象，然后將各輸入分支的底層抽象特征通過連接層進(jìn)行融合，接著再對(duì)融合特征進(jìn)行深度學(xué)習(xí)，最后在網(wǎng)絡(luò)的輸出層得到分類結(jié)果。相比于分別對(duì)不同的特征逐一進(jìn)行學(xué)習(xí)分類，然后對(duì)所得結(jié)果做加權(quán)平均或取最大值，最終得到分類結(jié)果的方法，具有多個(gè)輸入分支的深度神經(jīng)網(wǎng)絡(luò)可以同時(shí)查看所有可用的輸入模態(tài)，從而聯(lián)合學(xué)習(xí)更加精確的數(shù)據(jù)模型。艦船輻射噪聲分類的流程如圖3所示。

圖3 艦船輻射噪聲多特征分類流程Fig.3 Multi-feature classification process of ship radiated noise

3 實(shí)驗(yàn)結(jié)果

實(shí)測目標(biāo)為12艘不同的艦船，按噸位大小可分為A、B、C、D四類，每類艦船各有3艘。獲取目標(biāo)艦船的輻射噪聲并進(jìn)行預(yù)處理共得到數(shù)據(jù)1 440段，每類目標(biāo)各有360段，采樣率為均32 000 Hz，每段數(shù)據(jù)長度均為1 s。根據(jù)數(shù)據(jù)所屬的艦船目標(biāo)種類為各段信號(hào)添加標(biāo)簽，A類艦船的數(shù)據(jù)標(biāo)簽為0，B類艦船的數(shù)據(jù)標(biāo)簽為1，C類艦船的數(shù)據(jù)標(biāo)簽為2，D類艦船的數(shù)據(jù)標(biāo)簽為3。

提取各段信號(hào)的梅爾倒譜系數(shù)。根據(jù)1.1節(jié)特征參數(shù)提取方法，fh=16 000 Hz，取M=160，對(duì)每段信號(hào)進(jìn)行處理，歸一化后去除兩個(gè)低頻和高頻分量，可以得到包含156個(gè)梅爾倒譜系數(shù)的一維數(shù)組。提取各段信號(hào)的頻譜特征。根據(jù)1.2節(jié)特征參數(shù)提取方法，對(duì)各段信號(hào)做N點(diǎn)的離散傅里葉變換，取N=32 000。取譜值的模并進(jìn)行歸一化處理，然后選取頻率3～240 Hz對(duì)應(yīng)的部分，從而得到包含238個(gè)頻譜特征參數(shù)的一維數(shù)組。提取各段信號(hào)的功率譜特征。根據(jù)1.2節(jié)特征參數(shù)提取方法，對(duì)各段信號(hào)做功率譜估計(jì)，然后截取5～500 Hz的部分，再以2 Hz為窗寬對(duì)截取部分加窗求和處理并歸一化，可以得到包含247個(gè)功率譜特征參數(shù)的一維數(shù)組。將4類艦船輻射噪聲數(shù)據(jù)提取的頻譜特征、梅爾倒譜系數(shù)特征和功率譜特征用圖像來表示，如圖4～6所示。

圖4 4類艦船輻射噪聲數(shù)據(jù)的頻譜特征參數(shù)Fig.4 Spectral characteristics of radiated noise data for four types of ships

圖5 4類艦船輻射噪聲數(shù)據(jù)的梅爾倒譜系數(shù)Fig.5 Mel cepstrum coefficients of radiated noise data for four types of ships

圖6 4類艦船輻射噪聲數(shù)據(jù)的功率譜特征參數(shù)Fig.6 Power spectral characteristics of radiated noise data for four types of ships

首先，在一種特征上進(jìn)行分類。設(shè)計(jì)單輸入單輸出的深度神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)有3個(gè)隱藏層，每個(gè)隱藏層有10個(gè)神經(jīng)元。輸入層神經(jīng)元的個(gè)數(shù)為輸入特征向量的維度，輸出層神經(jīng)元的個(gè)數(shù)為標(biāo)簽向量的維度。以梅爾倒譜系數(shù)特征為例，采用監(jiān)督式學(xué)習(xí)，在梅爾倒譜系數(shù)特征樣本集中隨機(jī)抽取80%的樣本作為訓(xùn)練集，分50個(gè)批次對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以剩余的樣本作為驗(yàn)證集進(jìn)行驗(yàn)證，網(wǎng)絡(luò)迭代30次，正確率約為98.48%，學(xué)習(xí)和分類過程用時(shí)約3.54 s。同樣選取功率譜特征樣本集進(jìn)行相同實(shí)驗(yàn)，正確率約為98.03%，學(xué)習(xí)和分類過程用時(shí)約3.57 s。選取頻譜特征樣本集進(jìn)行相同實(shí)驗(yàn)，正確率約為98.14%，學(xué)習(xí)和分類過程用時(shí)約3.55 s。

然后，同時(shí)在3種特征上進(jìn)行分類。設(shè)計(jì)具有3個(gè)輸入分支的多輸入深度神經(jīng)網(wǎng)絡(luò)，如圖7所示，輸入層1的神經(jīng)元個(gè)數(shù)等于梅爾倒譜系數(shù)特征向量的維度，輸入層2的神經(jīng)元個(gè)數(shù)等于功率譜特征向量的維度，輸入層3的神經(jīng)元個(gè)數(shù)等于頻譜特征向量的維度。3個(gè)輸入分支上各有兩個(gè)隱藏層，每個(gè)隱藏層有10個(gè)神經(jīng)元。3個(gè)輸入分支通過連接層與一個(gè)具有10個(gè)神經(jīng)元的隱藏層相連接。

圖7 多輸入深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Structure of multi-input deep neural network

按對(duì)應(yīng)標(biāo)簽合并3個(gè)不同特征的樣本集，合并后的樣本集樣本容量為1 440。在新的樣本集中隨機(jī)抽取80%的樣本作為訓(xùn)練集，分50個(gè)批次對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以剩余的樣本作為驗(yàn)證集進(jìn)行驗(yàn)證，網(wǎng)絡(luò)迭代30次。采用監(jiān)督式學(xué)習(xí)，3個(gè)輸入層分別輸入梅爾特征向量、功率譜特征向量和頻譜特征向量，以向量化的標(biāo)簽作為輸出。正確率約為99.85%，學(xué)習(xí)和分類過程用時(shí)約3.56 s。該過程訓(xùn)練精度和驗(yàn)證精度曲線、訓(xùn)練損失和驗(yàn)證損失曲線如圖8和圖9所示。

圖8 訓(xùn)練精度和驗(yàn)證精度曲線Fig.8 Training accuracy and validation accuracy curve

圖9 訓(xùn)練損失和驗(yàn)證損失曲線Fig.9 Training loss and validation loss curves

在本實(shí)驗(yàn)所選用的艦船輻射噪聲數(shù)據(jù)集上，采用多輸入深度神經(jīng)網(wǎng)絡(luò)，同時(shí)學(xué)習(xí)3種特征再進(jìn)行分類。采用此方法的分類正確率有一定的提高，比僅學(xué)習(xí)梅爾倒譜系數(shù)特征參數(shù)時(shí)的分類正確率提高了1.37%，比僅學(xué)習(xí)功率譜特征參數(shù)時(shí)的分類正確率提高了1.82%，比僅學(xué)習(xí)頻譜特征參數(shù)時(shí)的分類正確率提高了1.71%。通過訓(xùn)練損失和驗(yàn)證損失曲線可知網(wǎng)絡(luò)擬合良好，網(wǎng)絡(luò)有效提取并學(xué)習(xí)了樣本的深層特征，具有較好的穩(wěn)定性。

對(duì)獲取的艦船輻射噪聲原始數(shù)據(jù)進(jìn)行加噪聲處理后再進(jìn)行實(shí)驗(yàn)，所加噪聲為隨機(jī)噪聲，其均值為0、方差為1。實(shí)驗(yàn)結(jié)果如表1所示。

由表1可見，艦船輻射噪聲原始數(shù)據(jù)加噪聲后再進(jìn)行實(shí)驗(yàn)，4種分類方法的正確率均隨著信噪比的降低而減小。加噪聲后，本文方法的正確率依然高于在一種特征上進(jìn)行分類的方法的正確率，即

表1 不同信噪比下各分類方法的正確率Table 1 Accuracy rate of three classification methods under different signal to noise ratios

隨著信噪比的降低，本文方法在分類正確率上的優(yōu)勢更加明顯。當(dāng)信噪比為0 dB時(shí)，本文方法得到的正確率較在其中一種特征上進(jìn)行學(xué)習(xí)分類得到的正確率至少高出2.15%；當(dāng)信噪比為-10 dB時(shí)，正確率至少高出2.98%；當(dāng)信噪比為-20 dB時(shí)，正確率至少高出10.83%。此外，相比于對(duì)不同的特征逐個(gè)進(jìn)行學(xué)習(xí)再對(duì)結(jié)果做融合判決的多特征分類方法，本文方法不僅能夠獲得較高的正確率，而且在分類性能上也有明顯的提高。

在實(shí)際的分類工作中，對(duì)于同類未知艦船目標(biāo)，我們可以在已知的艦船輻射噪聲數(shù)據(jù)上進(jìn)行訓(xùn)練，然后用訓(xùn)練好的模型對(duì)未知艦船進(jìn)行分類。改變訓(xùn)練集和驗(yàn)證集進(jìn)一步實(shí)驗(yàn)。對(duì)于四類艦船，將A類艦船記為A1、A2和A3，B類艦船記為B1、B2和B3，C類艦船記為C1、C2和C3，D類艦船記為D1、D2和D3。以A1、A2、B1、B2、C1、C2、D1和D2的樣本作為訓(xùn)練集，用來模擬已知艦船，以A3、B3、C3和D3的樣本作為驗(yàn)證集，用來模擬未知艦船，在不改變神經(jīng)網(wǎng)絡(luò)參數(shù)和訓(xùn)練方法的前提下進(jìn)行實(shí)驗(yàn)。不加噪聲時(shí)，采用梅爾倒譜系數(shù)、功率譜特征和頻譜特征得到的分類正確率分別約為89.78%、85.42%和88.33%，采用多特征融合分類得到的分類正確率約為95.13%，比在一種特征下進(jìn)行分類的正確率至少高出5.35%。

4 結(jié) 論

本文針對(duì)艦船輻射噪聲分類問題，引入了具有多個(gè)輸入分支的深度神經(jīng)網(wǎng)絡(luò)，提取了艦船輻射噪聲的3種特征進(jìn)行學(xué)習(xí)分類，并將分類結(jié)果與在一種特征上進(jìn)行學(xué)習(xí)的分類結(jié)果做了對(duì)比。結(jié)果表明，該方法提高了正確率，是一種可行的分類方法。多種特征在并行學(xué)習(xí)過程中節(jié)省了學(xué)習(xí)和分類的時(shí)間，并且在多次實(shí)驗(yàn)過程中艦船輻射噪聲分類的正確率結(jié)果具有較好的穩(wěn)定性。同時(shí)，它還適用于采用其他特征提取方法后的艦船輻射噪聲樣本的分類。對(duì)于采用更多種類的特征提取方法，可以通過增加深度融合網(wǎng)絡(luò)的輸入分支數(shù)量來解決。