王夢琪 黃漢明 吳業(yè)正 王鵬飛
摘要:選用2010年2月—2016年12月發(fā)生在北京順義及河北三河等首都圈鄰近區(qū)域的117個地震事件(包括54個天然地震事件和63個非天然地震事件——爆炸事件)作為研究對象,利用文章所提出的多尺度注意殘差網(wǎng)絡(luò)對其中的天然地震事件和爆炸事件波形進行二分類。首先,對原始地震波形進行簡單預(yù)處理并截取成相同長度的地震時序數(shù)據(jù),直接將其作為網(wǎng)絡(luò)模型的輸入;其次,選用含有殘差模塊的深度神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò),利用深度神經(jīng)網(wǎng)絡(luò)對特征的自動提取能力,省略了傳統(tǒng)波形分類需要提前提取時域波形的特征作為分類算法輸入的步驟;然后,融合通道注意力機制(ECA)并對其進行改進,將空間維度的信息融入通道信息,優(yōu)化了網(wǎng)絡(luò)對關(guān)鍵信息的關(guān)注,更好地聚焦重要特征;最后,使用空間金字塔池化代替最大池化進行多尺度特征融合,得到更多的特征信息,構(gòu)成多尺度注意殘差網(wǎng)絡(luò)。實驗結(jié)果表明,最高分類準(zhǔn)確率為97.11%,平均分類準(zhǔn)確率為96.53%,證明了多尺度注意殘差網(wǎng)絡(luò)在地震波形分類任務(wù)中的有效性,為震源類型識別工作提供了一種新的方法。
關(guān)鍵詞:
天然地震; 人工爆炸; 殘差模塊; 注意力機制; 空間金字塔池化
中圖分類號: P315????? 文獻標(biāo)志碼:A?? 文章編號: 1000-0844(2024)03-0724-10
DOI:10.20000/j.1000-0844.20220605001
Seismic waveform classification based on a multiscale attention residual network
WANG Mengqi, HUANG Hanming, WU Yezheng, WANG Pengfei
(College of Computer Science and Engineering & College of Software, Guangxi Normal University, Guilin 541004, Guangxi, China)
Abstract:?A total of 117 seismic events (54 natural earthquakes and 63 explosions) that occurred in the Capital Circle Region (Shunyi, Beijing, Sanhe, and Hebei) from February 2010 to December 2016 were selected in this paper. The multiscale attention residual network was proposed and used to classify the waveforms of earthquakes and explosions. The original seismic waveform was simply preprocessed and intercepted into seismic time series data with the same length, which was directly used as the input of the network model. Then, the deep neural network with the residual module was selected as the basic network. The step of advanced extraction of time-domain waveform features as the input of classification algorithm in traditional waveform classification can be omitted by using the automatic feature extraction ability of the deep neural network. Next, the efficient channel attention mechanism was integrated and improved, after which information from the spatial dimension was integrated into the channel information, thus optimizing the network's attention to key information and resulting in better concentration on essential features. Finally, the multiscale feature fusion was performed using spatial pyramid pooling instead of maximum pooling to obtain more feature information. Ultimately, a multiscale attention residual network was formed. Experimental results show that the highest classification accuracy of the multiscale attention residual network is 97.11%, and the average classification accuracy is 96.53%. The results demonstrate the effectiveness of this approach in seismic waveform classification and provide a new optional approach for seismic-source type identification.
Keywords:earthquakes; explosion; residual module; attention mechanism; spatial pyramid pooling
0 引言
隨著全球范圍大規(guī)模部署地震觀測儀器,人類已進入了地震大數(shù)據(jù)時代。地震臺站網(wǎng)絡(luò)持續(xù)不斷地收集著大量地震觀測波形數(shù)據(jù),但不同臺站的連續(xù)波形記錄質(zhì)量參差不齊,如何對不同來源的震動信號進行及時識別并分類,是一個非常棘手的問題。因此,高效、高精度、普適性強的波形分類算法研究在地震大數(shù)據(jù)時代愈加重要和必要。
傳統(tǒng)地震波形分類常選擇一個明顯的地球物理特征當(dāng)作判據(jù),比如P/S震幅比、震源深度、P波初至?xí)r刻等,提取出待識別波形的相關(guān)特征,與判據(jù)特征進行匹配,然后用匹配算法或機器學(xué)習(xí)算法計算相關(guān)性,再根據(jù)結(jié)果確定波形類別[1-6]。Baker[7]提出利用小波分析,從已發(fā)生的地面運動中提取最大速度脈沖,結(jié)合脈沖最早到達時與絕對振幅作為分類的依據(jù)。Shahi等[8]以此為基礎(chǔ),提出使用兩個正交分量的連續(xù)小波變換來識別最有可能包含脈沖的方向,然后利用小波變換的結(jié)果,從選定的方向中提取脈沖,最后利用支持向量機(Support Vector Machine,SVM)進行識別分類。馮雪玲等[9]在特定尺度上對地震波形信號使用復(fù)Morlet小波變換,進行微地震信號自動檢測。隨著科學(xué)技術(shù)的發(fā)展,機器學(xué)習(xí)也被應(yīng)用到地震波形識別和分類中,大大提高了地震波形的識別速度和分類準(zhǔn)確率。Bauer等[10]使用連續(xù)小波變換沿水平方向計算信號屬性,然后根據(jù)小波變換特征的相似性進行聚類分析,通過地震相分類和建模得到三種不同的小波變換模式。近年來,深度學(xué)習(xí)的發(fā)展方興未艾,隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)的發(fā)展,其在地震波形分類模式中進行分類的可行性已逐步得到論證。趙明等[11]將8 900個汶川余震事件作為檢測數(shù)據(jù),證明了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在地震波形自動分類與識別方面的可行性。蔡涵鵬等[12]采用半監(jiān)督算法,在降低待分類樣本維數(shù)的同時增強了相同類別樣本的相似性,并在此基礎(chǔ)上采用K均值獲得地震相圖,顯著提高了分類速度與精確率。陳潤航等[13]在三分量地震波形的垂直分量中提取出梅爾頻率倒譜系數(shù)圖,將其作為卷積神經(jīng)網(wǎng)絡(luò)的輸入對地震波形進行分類,最終取得了良好的效果。黎炳君等[14]利用短時傅里葉變換(Short-Time Fourier Transform,STFT)對地震信號進行處理,生成時頻圖譜,再將其轉(zhuǎn)化為灰度圖像作為CNN的輸入,有效提升了地震分類的準(zhǔn)確率。Liao等[15]利用了連續(xù)小波變換提取地震波形的特征,將其輸入卷積神經(jīng)網(wǎng)絡(luò)進行微調(diào),達到了自動識別地震初至?xí)r的目的。
目前大多數(shù)地震波形分類方法往往需要提前進行波形特征提取,再將提取出的特征作為分類算法的輸入。然而提前提取特征這一步驟耗時較多,并且在選擇合適特征時也會摻雜較多的人為主觀因素。為了解決以上問題,同時提升深度神經(jīng)網(wǎng)絡(luò)對于地震波形重要特征的聚焦和分析能力,本文提出一種基于多尺度注意殘差網(wǎng)絡(luò)的地震波形分類算法。選用2010年2月—2016年12月發(fā)生在北京順義及河北三河等首都圈臨近區(qū)域的117件地震事件作為研究對象,對其中54件天然地震事件與63件人工爆炸事件的波形進行二分類,通過五折交叉驗證方法進行測試,驗證本文所提出的多尺度注意殘差網(wǎng)絡(luò)的分類效果,同時使用查準(zhǔn)率(Precision)、查全率(Recall)以及綜合評價指標(biāo)F1值(F1-Measure)對其進行評估。
1 網(wǎng)絡(luò)模型介紹
1.1 深度殘差神經(jīng)網(wǎng)絡(luò)
He等[16]提出的深度殘差神經(jīng)網(wǎng)絡(luò)(Residual Neural Network,ResNet)繼承了卷積神經(jīng)網(wǎng)絡(luò)局部連接、權(quán)值共享和下采樣這三大優(yōu)點。通過引入殘差模塊(Residual Block)、使用短路連接(Shortcut)和恒等映射(Identify)的方法,解決了網(wǎng)絡(luò)收斂速度慢以及加深層數(shù)導(dǎo)致網(wǎng)絡(luò)性能降低的問題。殘差網(wǎng)絡(luò)模型的基本結(jié)構(gòu)如圖1所示。
網(wǎng)絡(luò)模型中的一層可以看作y=G(x),殘差網(wǎng)絡(luò)的一個殘差塊可以描述為G(x)=x+H(x)。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)很難擬合為G(x)=x,因此通過短路連接將問題轉(zhuǎn)化為擬合殘差函數(shù)H(x)=G(x)-x。在單位映射中,y=x是觀測值,而G(x)是預(yù)測值,則用來描述預(yù)測值與觀測值之間差距的H(x)就是殘差。令H(x)=0,即可得到最優(yōu)映射G(x)。
卷積層是殘差網(wǎng)絡(luò)的關(guān)鍵組件,通過卷積運算提取特征。卷積運算最關(guān)鍵的就是濾波器。濾波器本質(zhì)上就是一個由數(shù)值參數(shù)構(gòu)成且大小固定的數(shù)組。卷積層的工作過程可以由式(1)表示:
y=δ(W*x+b) (1)
式中:y為卷積層的輸出;δ為激活函數(shù);W為權(quán)重矩陣;*為卷積操作;x為卷積層的輸入;b為偏置項。
激活函數(shù)選用ReLU函數(shù)。ReLU函數(shù)有著收斂速度快、計算成本相對低的優(yōu)點。其運算公式為:
f(x)=max(0,x) (2)
Softmax函數(shù)多用在輸出層,計算公式如式(3)所示。由于其輸出結(jié)果是0~1之間的概率值,因此多用于多分類模型中。
f(yi)=eyi∑ni=0eyi (3)
式中:y為輸出向量;yi為y中第i個輸出;n表示網(wǎng)絡(luò)的多個輸出。
損失函數(shù)選擇交叉熵?fù)p失函數(shù)(Cross-Entropy Loss Function)。交叉熵可以測量同一隨機變量中概率分布的不同程度,也可以衡量真實與預(yù)測概率分布之間的差異。交叉熵的值越小意味著模型預(yù)測的效果越好,與Softmax結(jié)合可以更好地發(fā)揮作用。交叉熵的計算公式為:
L(x)=-∑nk=1pk(x)lg[qk(x)] (4)
式中:n為分類問題中的類別個數(shù);pk(x)為真實類別值;qk(x)為預(yù)測類別值;k表示第k種類型。
1.2 注意力機制
注意力機制可以幫助模型更好地關(guān)注重要信息,更好地識別地震波形特征,一般可以分為軟注意力和硬注意力。其中軟注意力更為常用,主要包括通道域注意力、空間域注意力與混合域注意力。通道域注意力可以理解為讓神經(jīng)網(wǎng)絡(luò)更關(guān)注“什么”,較經(jīng)典的有擠壓和激勵網(wǎng)絡(luò)[17](Squeeze-and-Excitation Networks,SENet)的有效通道注意力[18](Efficient Channel Attention,ECA)。ECA相比于SENet減少了參數(shù)量,提升了速度和精確度。Cao等[19]對SENet進行了改進,結(jié)合簡易非局部模塊(Simplified Non-Local Block),提出了GCNet(Global Context Network)。簡易非局部模塊的主要作用是從其他位置聚焦信息,從而增強當(dāng)前位置的特征。本文在分析了多數(shù)模型優(yōu)缺點的基礎(chǔ)上,受GCNet的啟發(fā)對ECA模塊進行改進,使用簡易非局部模塊提取空間特征,并與通道特征相結(jié)合,提出一種非局部有效通道注意力(Non-local Efficient Channel Attention,NECA)模塊。
ECA模塊通過考慮每個通道以及k個近鄰來捕獲局部跨通道交互信息,結(jié)構(gòu)如圖2(a)所示。ECA通過不降維的逐通道全局平均池化(Global Average Pooling,GAP)以及卷積核大小為k的卷積操作來實現(xiàn)特征提取,其中卷積核k的大小代表了局部跨信道交互的覆蓋率。ECA僅通過通道域來聚焦需要重點關(guān)注的區(qū)域,但地震波形數(shù)據(jù)存在噪音干擾多且不同種類波形相似度過高的問題,ECA會將部分干擾信息當(dāng)作重要信息去關(guān)注,從而導(dǎo)致網(wǎng)絡(luò)識別精確度下降、推理退化等問題。為了解決上述問題,本文提出了NECA注意力模塊,其結(jié)構(gòu)如圖2(b)所示。該模塊使用簡易非局部模塊替代ECA注意力模塊中的全局平均池化操作,通過引入特征映射之間的關(guān)聯(lián)信息,來獲取更多的整體特征。在原本僅關(guān)注通道域信息的基礎(chǔ)上,增加了空間特征信息,從而使網(wǎng)絡(luò)模型能夠更好地聚焦到需要重點關(guān)注的區(qū)域,并且模型復(fù)雜度沒有大幅增加。
簡易非局部模塊結(jié)構(gòu)如圖3(a)所示。其中,上分支展示了簡易非局部模塊融合特征映射的空間維度信息,并將其壓縮為包含所有特征映射對應(yīng)位置信息相關(guān)度的單張?zhí)卣鲌D的過程,借此可以實現(xiàn)全局上下文信息的聯(lián)合響應(yīng),其結(jié)果與下分支結(jié)果相乘,可得到每個特征映射的權(quán)值之和,計算公式如下:
σ(x)=∑w,hi=1,j=1exp(Lxij)∑w,hk=1,l=1exp(Lxkl)xij (5)
式中:x表示輸入數(shù)據(jù);w表示寬度;h表示高度;L表示線性變換矩陣。
全局平均池化的結(jié)構(gòu)如圖3(b)所示。GAP將全局N個特征圖進行池化操作,將每個特征圖轉(zhuǎn)化成一個值,計算公式如下:
g(x)=1w×h∑w,hi=1,j=1xij (6)
二者相比,GAP操作根據(jù)每個特征圖獨立提取信息,不能有效利用不同特征映射之間的位置相關(guān)信息。簡易非局部模塊則是重點關(guān)注各個特征映射的空間位置信息,并且獲取某個重要位置對于全局位置的影響,在通道信息的基礎(chǔ)上結(jié)合空間信息。
NECA模塊后續(xù)使用可自適應(yīng)確定的卷積核大小為k的卷積完成跨通道信息交互,k可以通過通道數(shù)C來確定,如式(7)所示。
k=ψ(C)=log2(C)γ+bγodd (7)
式中:C表示通道數(shù)的數(shù)量;- -odd表示k只能取奇數(shù);γ和b分別取2和1。
與ECA模塊相比,NECA模塊能夠關(guān)注到空間維度的信息,可以更大規(guī)模地獲取全局上下文信息,并且能夠長距離獲取相關(guān)性,進一步提升對于地震波形信號的分類能力。
1.3 空間金字塔池化
2014年He等[20]提出空間金字塔池化(Spatial Pyramid Pooling,SPP),不僅解決了網(wǎng)絡(luò)對輸入尺寸的限制,并且可以固定輸出的大小,方便輸入后續(xù)的網(wǎng)絡(luò)層??臻g金字塔池化的基本思想就是使用不同尺度的池化獲得不同大小的感受野,從而提取多尺度的特征。多尺度本質(zhì)上是對信號不同粒度的采樣,通常不同尺度的特征提取可以獲得不同的特征,從而得到更強大的特征表達。
由于某同一事件對應(yīng)地震波形數(shù)據(jù)樣本量有限,無法為網(wǎng)絡(luò)模型訓(xùn)練提供大量的數(shù)據(jù)樣本,因此網(wǎng)絡(luò)模型在訓(xùn)練時所能學(xué)習(xí)到的特征是有限的。為了緩解以上問題,本文使用空間金字塔池化模塊作為多尺度模塊替代原網(wǎng)絡(luò)模型中的全局最大池化,以獲得更多的特征。
空間金字塔模塊的運算過程如下所示。首先,根據(jù)輸入數(shù)據(jù)的大小和池化數(shù)量,通過公式(8)、(9)計算池化層中核的寬度kw和高度kh。
kw=wn (8)
kh=hn (9)
式中:w表示輸入數(shù)據(jù)的寬度;h表示輸入數(shù)據(jù)的高度;n表示池化數(shù)量。
其次,根據(jù)得到的核的寬度與核的高度,計算步長大小。
sw=kwwn (10)
sh=khhn (11)
式中:sw表示寬度方向的步長;sh表示高度方向的步長。
然后,計算填充數(shù)量。
pw=kw×n-w+12 (12)
ph=kh×n-h+12 (13)
式中:pw表示寬度方向的填充數(shù)量;ph表示高度方向的填充數(shù)量。
然后,通過池化層輸出尺寸公式,計算輸出尺寸。
wout=w+kw+2×pwsw+1 (14)
wout=h+kh+2×phsh+1 (15)
最后,將空間金字塔模塊中各個池化層的輸出數(shù)據(jù)展開并進行拼接,即可得到最終輸出。
1.4 網(wǎng)絡(luò)模型構(gòu)建
本文選用深度殘差神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)。在實際應(yīng)用中,網(wǎng)絡(luò)模型卷積核的大小、輸入數(shù)據(jù)的形式以及通道數(shù)量均可以根據(jù)實際效果進行調(diào)整,以求得更好的結(jié)果。另外,過深的網(wǎng)絡(luò)可能會放大誤差,從而影響訓(xùn)練效果,因此需要選擇合適的層數(shù)。本文按照Tian等[21]提出的有關(guān)注意力機制的插入建議,將注意力機制嵌入每個殘差模塊中,組成注意殘差模塊。注意殘差模塊的結(jié)構(gòu)如圖4所示,其包含2個卷積層、1個注意力模塊和1個短路連接。其中,圖4(b)中n的取值由具體網(wǎng)絡(luò)層數(shù)而定。
本文使用空間金字塔池化替代全局最大池化,構(gòu)成多尺度注意殘差網(wǎng)絡(luò),其結(jié)構(gòu)如圖5所示。
本文所采用的網(wǎng)絡(luò)模型中4個殘差模塊的卷積層參數(shù)各不相同,具體參數(shù)如表1所列。注意殘差模塊中所使用的卷積核大小均為3,不同之處在于步長與通道數(shù)量。步長為2的卷積核將輸入數(shù)據(jù)的邊長減少了一半,為了使其能與原始輸入數(shù)據(jù)直接相加,需要在短路連接中加入一個卷積核大小為1、步長為2的卷積操作,使得二者的張量維數(shù)相等。
多尺度注意殘差網(wǎng)絡(luò)以地震時序信號作為輸入,輸入大小為4 096×1,經(jīng)過第一層卷積核大小為7、步長為4的卷積操作后,得到1 024點一維向量的輸出。將其輸入空間金字塔池化模塊,經(jīng)過三個不同的最大池化層,分別得到4×4×1 024、2×2×1 024、1×1×1 024的特征向量。將這些向量拼接起來可以得到21 504維度的特征向量,也就是空間金字塔池化模塊的輸出。將該向量輸入注意殘差模塊1,經(jīng)過兩層卷積核大小為3的卷積層將會生成通道數(shù)為64的512點一維向量,第2至第4個的注意殘差模塊通道數(shù)依次為128、256和512,經(jīng)過該模塊中的兩個卷積核大小為3的卷積層后,由于步長的變化,將會依次生成通道數(shù)為128的256點一維向量、通道數(shù)為256的128點一維向量,以及通道數(shù)為512的64點一維向量。將注意殘差模塊4所輸出的特征向量作為全局平均池化層的輸入,經(jīng)過Softmax函數(shù),輸出0表示信號類型為人工爆炸波形,輸出1表示信號類型為天然地震波形。
2 數(shù)據(jù)處理與實驗
2.1 數(shù)據(jù)選取與預(yù)處理
本文數(shù)據(jù)來源于中國地震局地球物理研究所“國家數(shù)字測震臺網(wǎng)數(shù)據(jù)備份中心”[22],是發(fā)生在2010年2月—2016年12月北京順義及河北三河等首都圈臨近區(qū)域的地震事件,震級在1.5~2.8范圍內(nèi),包含天然地震事件54個和人工爆炸事件63個,共117個。本文所使用的數(shù)據(jù)為三分量地震波形,三分量即南北分量、東西分量和垂直分量,一般垂直分量用于接受縱波,兩個水平分量用于接受橫波,不同的傳播方向蘊含了不同維度的特征。
原始地震數(shù)據(jù)往往存在數(shù)據(jù)不穩(wěn)定及數(shù)據(jù)過于離散等問題。為使得數(shù)據(jù)更加穩(wěn)定,首先使用差分法對數(shù)據(jù)進行去趨勢化處理。
為了解決波形持續(xù)時間不相等的問題,提升網(wǎng)絡(luò)學(xué)習(xí)地震波形特征的能力,將地震波形重采樣長度統(tǒng)一為采樣點個數(shù)為4 096的數(shù)據(jù)系列(采樣率保持不變,仍為100 Hz)進行截取,并且截取的波段中一定包含一次確定事件,最終共得到2 440條天然地震波形數(shù)據(jù)、2 061條人工爆炸波形數(shù)據(jù)。傳統(tǒng)的地震信號分類識別過程中往往需要提前對地震波形進行特征提取操作,不僅耗費大量資源且在此過程中容易受到人為因素影響。本文對數(shù)據(jù)進行上述預(yù)處理操作后,直接將其作為網(wǎng)絡(luò)訓(xùn)練模型的輸入,既能最大程度的保留信息,又可簡化地震波形分類步驟。
由于可用的樣本相對較少,為了防止樣本信息太少導(dǎo)致網(wǎng)絡(luò)模型過擬合現(xiàn)象的出現(xiàn),本文采用5折交叉驗證法,將2 440個天然地震樣本、2 061個人工爆炸樣本劃分為5個獨立等量的子集,每個數(shù)據(jù)子集約包含488個天然地震樣本、412個人工爆炸樣本。其中80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),用于模型訓(xùn)練,余下的20%作為測試集,用于模型測試。數(shù)據(jù)集劃分情況如表2所列。
2.2 實驗設(shè)置與評估指標(biāo)
本文使用Python 3.7.4語言,通過Tensorflow-GPU 2.4.1深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)模型,使用的硬件環(huán)境為:Intel(R) Core(TM) i7-10700KF@3.80 GHz 3.79 GHz的CPU;NVIDIA GeForce RTX 3080的GPU,GPU加速軟件為CUDA11.1和CUDNN8.0.5,運行內(nèi)存為32 G,顯存為10 G。
選用大小為4 096×1的實驗數(shù)據(jù)作為輸入,Batch size定為64,使用Adam優(yōu)化器優(yōu)化網(wǎng)絡(luò)模型,初始學(xué)習(xí)率定為0.001,每5 000步發(fā)生一次衰減,使用Keras框架中的“ExponentialDecay”函數(shù)對學(xué)習(xí)率進行衰減,迭代循環(huán)訓(xùn)練次數(shù)(epoch)定為1 000輪。
為評估本文方法在地震信號分類任務(wù)上的性能,選擇傳統(tǒng)機器學(xué)習(xí)模型支持向量機和多層感知機作為兩種對比模型,分別選用SKLearn庫中的LinearSVC和MLPClassifier算法作為實驗對比算法。對LinearSVC使用網(wǎng)格搜索進行超參數(shù)選擇,其中懲罰系數(shù)C的取值范圍為[0.001,10],核函數(shù)類型kernel取值范圍為[“rbf”,“l(fā)inear”,“poly”,“sigmoid”],最終確定C為7.315,kernel為sigmoid。MLPClassifier的激活函數(shù)選用ReLU函數(shù),正則化參數(shù)alpha選擇0,隱藏層層數(shù)選擇兩層,分別含有30個和20個神經(jīng)元。
為了更好地評估網(wǎng)絡(luò)模型的性能,本文選用查準(zhǔn)率、查全率以及綜合評價指標(biāo)F1值作為性能指標(biāo)對模型進行評價。查準(zhǔn)率是指檢測出的某類特征數(shù)量與檢測出的所有特征數(shù)量的比率,計算公式如下:
P(%)=TPTP+FP (16)
式中:P表示查準(zhǔn)率;TP(True Positive)表示被模型預(yù)測為正的樣本數(shù)量,即正確分類的天然地震信號數(shù)量;FP(False Positive)表示被模型預(yù)測為正的負(fù)樣本數(shù)量,即錯誤分類的天然地震信號數(shù)量。
查全率是指檢測出的某類特征數(shù)量和數(shù)據(jù)集中所有的該類特征數(shù)量的比率,計算公式如下:
R(%)=TPTP+FN (17)
式中:R表示查全率;FN(False Negative)表示被模型預(yù)測為負(fù)的正樣本,即錯誤分類的人工爆炸信號數(shù)量。
F1值是準(zhǔn)確率和召回率的調(diào)和平均值,計算公式如下:
F1(%)=2×P×RP+R (18)
式中:F1表示F1值;P表示查準(zhǔn)率;R表示查全率。
2.3 消融實驗與有效性實驗
本文使用方法主要包含NECA注意力模塊與SPP模塊兩個模塊。采用五折交叉驗證法對本文方法進行測試,得到最高分類準(zhǔn)確率為97.11%,平均分類準(zhǔn)確率為96.53%。為了進一步驗證每個模塊的有效性,對上述兩個模塊進行消融實驗,并分為三種情況:(1) 所有模塊均不采用;(2) 僅采用NECA模塊;(3) 采用NECA模塊+SPP模塊。以上三種變體實驗均在本文處理的地震波形數(shù)據(jù)集上進行五折交叉驗證實驗,結(jié)果如表3所列。
從表3中可以看到,僅采用NECA模塊的情況下,地震信號識別分類的平均準(zhǔn)確率可達95.96%,相比于所有模塊都不采用的情況,平均準(zhǔn)確率提升了3.41%;同時采用NECA模塊和SPP模塊的情況下,最高準(zhǔn)確率可達97.11%,平均準(zhǔn)確率可達96.53%,比所有模塊都不采用的情況分別提升了3.83%和3.98%,相比于僅采用NECA模塊的情況,分別提升了0.55%和0.57%。
除了比較三種不同情況下的地震信號分類準(zhǔn)確率,本文采用上述三種評估指標(biāo)對模型進行評估,結(jié)果如圖6所示。從圖6中可以看出,加入NECA模塊和SPP模塊后,查準(zhǔn)率、查全率以及F1值都有了明顯的提升。僅采用NECA模塊的情況下,查準(zhǔn)率、查全率以及F1值的平均得分均可達到96%以上,相比于所有模塊均不采用的情況下三個指標(biāo)的平均得分提升較多。同時采用NECA模塊和SPP模塊的情況下,三個評估指標(biāo)的最高得分均高于97%,其中平均查全率相比于所有模塊都不采用的情況有大幅度提升,相比于僅采用NECA模塊的情況也有小幅提升。
圖6 不同變體網(wǎng)絡(luò)模型評估指標(biāo)結(jié)果對比
Fig.6 Comparison between results of different evaluationindicators for different network models
為進一步證明本文所設(shè)計的NECA模塊的有效性,選用ECA注意力模塊、CBAM(Convolutional Block Attention Module)注意力模塊、GCNet注意力模塊與NECA注意力模塊進行對比實驗(表4)。在五次測試中,NECA模塊的分類準(zhǔn)確率最高可達96.56%,平均準(zhǔn)確率達到了95.96%,比ECA模塊分別提升了0.95%和1.08%。相比于CBAM模塊和GCNet模塊,NECA模塊也都有著更優(yōu)的分類表現(xiàn)。
使用三種評估指標(biāo)對不同注意力模塊進行評估,評估結(jié)果如圖7所示。從圖7中可以看出,NECA模塊的平均查準(zhǔn)率、平均查全率和平均F1值均優(yōu)于其他三個模塊。雖然GCNet模塊的最高查準(zhǔn)率和最高F1值優(yōu)于NECA模塊,但GCNet模塊的平均查準(zhǔn)率和平均F1值略低于NECA模塊,說明NECA模塊的性能比GCNet模塊更加穩(wěn)定。
2.4 與其他分類網(wǎng)絡(luò)對比
為測試本文方法與其他方法在準(zhǔn)確率上的差異,選用傳統(tǒng)的SVM、多層感知器(Multilayer Perceptron,MLP),以及黎炳君等[13]提出的使用STFT處理波形得到時頻譜灰度圖并輸入進卷積神經(jīng)網(wǎng)絡(luò)的方法(STFT+CNN)作為對比目標(biāo),分別進行五折交叉實驗。SVM與MLP分別選用SKLearn庫中的LinearSVC和MLPClassifier算法作為實驗對比算法。STFT+CNN方法首先需要對本文預(yù)處理后的數(shù)據(jù)進行加窗處理,然后對每個窗內(nèi)信號進行傅里葉變換,并生成32×32的時頻譜圖,提取其灰度圖像特征作為CNN的輸入,其中CNN由3個卷積核大小都為5×5的卷積層、3個池化層的池化窗口都為2×2的最大池化,以及神經(jīng)元個數(shù)為1 024個的全連接層組成。相關(guān)實驗結(jié)果如表5所列。
從表5中可以看出,使用SVM所得到的平均分類準(zhǔn)確率為78.40%,使用MLP所得到的平均分類準(zhǔn)確率為83.67%。本文方法相比二者,平均分類準(zhǔn)確率分別提升了18.13%和12.86%。由于本文沒有對波形數(shù)據(jù)提前進行特征提取,而是將波形數(shù)據(jù)直接輸入進網(wǎng)絡(luò)進行訓(xùn)練,傳統(tǒng)的分類網(wǎng)絡(luò)不能自主學(xué)習(xí)到波形的特征,所以使用SVM和MLP得到的分類準(zhǔn)確率較低。與傳統(tǒng)機器學(xué)習(xí)算法的分類結(jié)果對比,證明了本文網(wǎng)絡(luò)模型可以更好地在較復(fù)雜的信息中提取到有效信息,并且其對特征的刻畫能力更強。同時,將本文所用波形數(shù)據(jù)按照STFT+CNN分類網(wǎng)絡(luò)的方法進行處理與分類測試,雖然最高分類準(zhǔn)確率可達97.13%,比本文方法的最高準(zhǔn)確率高出0.02%,但是STFT+CNN方法的平均分類準(zhǔn)確率僅為93.97%,本文方法提升了2.76%,證明了在分類方面本文方法的泛化性更強,在地震波形分類任務(wù)中有著良好的表現(xiàn)。
使用查準(zhǔn)率、查全率和F1值對本文方法以及上述三種方法進行評估,評估結(jié)果如圖8所示。
從圖8中可以看出,本文方法與SVM、MLP兩種傳統(tǒng)機器學(xué)習(xí)方法相比,查準(zhǔn)率、查全率、F1值的得分均有大幅度提升;與同樣是采用深度學(xué)習(xí)的STFT+CNN方法相比,這三個指標(biāo)的最高得分相差不大,但是STFT+CNN方法的F1值最低得分和平均得分與本文方法相比落后較多,說明了本文方法在地震信號分類上更為穩(wěn)定??偟膩碚f,本文方法的查全率、查準(zhǔn)率和F1值的平均得分均高于其他三種網(wǎng)絡(luò)模型,進一步證明了其在地震分類任務(wù)方面的有效性。
3 結(jié)論
本文將2010年2月—2016年12月發(fā)生在北京順義及河北三河等首都圈臨近區(qū)域的地震事件作為研究對象,提出了一種基于多尺度注意殘差網(wǎng)絡(luò)方法對其中的天然地震與人工爆炸波形進行二分類,分析其分類效果,得出的主要結(jié)論如下:
(1) 利用深度學(xué)習(xí)方法可以自動提取特征的優(yōu)點,將簡單預(yù)處理后的地震波形數(shù)據(jù)直接輸入網(wǎng)絡(luò)模型,省略了傳統(tǒng)地震信號分類方法依賴的提前特征提取步驟,優(yōu)化了地震信號分類流程;
(2) 提出了NECA注意力模塊,將空間域信息融入后續(xù)的通道信息交互中,解決了通道域聚焦重點區(qū)域而將部分干擾信息當(dāng)作重要信息導(dǎo)致的識別精確度下降、推理退化等問題。加入NECA的網(wǎng)絡(luò)模型分類準(zhǔn)確率平均可達95.96%,與其他注意力模塊效果相比有一定提升。
(3) 使用空間金字塔池化對特征進行了不同尺寸的多尺度池化,解決了由于某一事件對應(yīng)地震波形數(shù)據(jù)樣本量有限的問題。使用空間金字塔池化,分類平均準(zhǔn)確率提升了0.57%。
本文方法對于天然地震和人工爆炸地震波形分類的準(zhǔn)確率最高可達97.11%,平均分類準(zhǔn)確率為96.53%。與傳統(tǒng)機器學(xué)習(xí)方法相比,本文方法的分類準(zhǔn)確率至少提升了12.86%,證明了該方法對特征的刻畫能力更強;與其他深度學(xué)習(xí)方法相比,本文方法無需提前提取特征,步驟簡單,耗時較少,并且分類準(zhǔn)確率平均提升了2.76%,證明了其在天然地震與人工爆炸波形分類問題上的有效性和實用性。
致謝:感謝中國地震局地球物理研究所“國家數(shù)字測震臺網(wǎng)數(shù)據(jù)備份中心”為本研究提供地震波形數(shù)據(jù)。
參考文獻(References)
[1] 黃漢明,邊銀菊,盧世軍,等.V-SVC算法在地震與爆破識別及窗長度選取中的應(yīng)用[J].地震地磁觀測與研究,2010,31(3):24-31.
HUANG Hanming,BIAN Yinju,LU Shijun,et al.V-SVC algorithm applied in earthquake and explosion recognition and the choice of window length[J].Seismological and Geomagnetic Observation and Research,2010,31(3):24-31.
[2] 潘常周,靳平,肖衛(wèi)國.利用克里金技術(shù)標(biāo)定新疆及附近地區(qū)P/S震相幅值比及其在地震事件識別中的應(yīng)用[J].地震學(xué)報,2007,29(6):625-634.
PAN Changzhou,JIN Ping,XIAO Weiguo.Calibration of P/S amplitude ratios for seismic events in Xinjiang and adjacent areas based on a Bayesian Kriging method[J].Acta Seismologica Sinica,2007,29(6):625-634.
[3] 王婷婷,邊銀菊.振幅衰減特性在地震與爆破識別中的應(yīng)用[J].地震學(xué)報,2015,37(1):169-179.
WANG Tingting,BIAN Yinju.Amplitude attenuation and its application to earthquake and explosion discrimination[J].Acta Seismologica Sinica,2015,37(1):169-179.
[4] LU Y,PANAGIOTOU M.Characterization and representation of near-fault ground motions using cumulative pulse extraction with wavelet analysis[J].Bulletin of the Seismological Society of America,2014,104(1):410-426.
[5] ZHAO D H,WANG H W,WANG D,et al.Quantitative classification of near-fault ground motions selected by energy indicators[J].Structures,2022,35:780-791.
[6] GHAFFARZADEH H.A classification method for pulse-like ground motions based on S-transform[J].Natural Hazards,2016,84(1):335-350.
[7] BAKER J W.Quantitative classification of near-fault ground motions using wavelet analysis[J].Bulletin of the Seismological Society of America,2007,97(5):1486-1501.
[8] SHAHI S K,BAKER J W.An efficient algorithm to identify strong-velocity pulses in multicomponent ground motions[J].Bulletin of the Seismological Society of America,2014,104(5):2456-2466.
[9] 馮雪玲,劉東亞,李志海.基于小波互相關(guān)的微地震信號檢測方法研究[J].大地測量與地球動力學(xué),2019,39(9):982-986.
FENG Xueling,LIU Dongya,LI Zhihai.Research on microseismic signal detection method based on wavelet cross-correlation[J].Journal of Geodesy and Geodynamics,2019,39(9):982-986.
[10] BAUER K,NORDEN B,IVANOVA A,et al.Wavelet transform-based seismic facies classification and modelling:application to a geothermal target horizon in the NE German Basin[J].Geophysical Prospecting,2020,68(2):466-482.
[11] 趙明,陳石,Dave Yuen.基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的地震波形自動分類與識別[J].地球物理學(xué)報,2019,62(1):374-382.
ZHAO Ming,CHEN Shi,DAVE Y.Waveform classification and seismic recognition by convolution neural network[J].Chinese Journal of Geophysics,2019,62(1):374-382.
[12] 蔡涵鵬,任海洋,吳慶平,等.基于半監(jiān)督算法的快速地震波形分類[C]//CPS/SEG北京2018國際地球物理會議暨展覽電子論文集.北京:中國石油學(xué)會石油物探專業(yè)委員會,2018:1060-1063.
CAI Hanpeng,REN Ocean,WU Qingping,et al.Fast seismic waveform classification based on semi-supervised algorithm[C]//CPS/SEG.Proceedings of Beijing 2018 International Geophysical Conference and Exhibition Electronic.Beijing:Petroleum Geophysical Exploration Professional Committee of the Chinese Petroleum Society,2018:1060-1063.
[13] 陳潤航,黃漢明,柴慧敏.地震和爆破事件源波形信號的卷積神經(jīng)網(wǎng)絡(luò)分類研究[J].地球物理學(xué)進展,2018,33(4):1331-1338.
CHEN Runhang,HUANG Hanming,CHAI Huimin.Study on the discrimination of seismic waveform signals between earthquake and explosion events by convolutional neural network[J].Progress in Geophysics,2018,33(4):1331-1338.
[14] 黎炳君,黃漢明,王婷婷,等.基于STFT和CNN的地震信號分類識別研究[J].地球物理學(xué)進展,2021,36(4):1404-1411.
LI Bingjun,HUANG Hanming,WANG Tingting,et al.Research on seismic signal classification and recognition based on STFT and CNN[J].Progress in Geophysics,2021,36(4):1404-1411.
[15] LIAO X F,CAO J X,HU J T,et al.First arrival time identification using transfer learning with continuous wavelet transform feature images[J].IEEE Geoscience and Remote Sensing Letters,2020,17(11):2002-2006.
[16] HE K M,ZHANG X Y,REN S Q,et al.Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016:770-778.
[17] HU J E,SHEN L,SUN G.Squeeze-and-excitation networks[C]//IEEE.Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT:IEEE,2018:7132-7141.
[18] WANG Q L,WU B G,ZHU P F,et al.ECA-net:efficient channel attention for deep convolutional neural networks[C]//IEEE.Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle,WA,USA:IEEE,2020:11534-11542.
[19] CAO Y E,XU J R,LIN S,et al.GCNet:non-local networks meet squeeze-excitation networks and beyond[C]//IEEE.Proceedings of 2019 IEEE/CVF International Conference on Computer Vision Workshop.Seoul,Korea (South):IEEE,2019:1971-1980.
[20] HE K M,ZHANG X Y,REN S Q,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.
[21] TIAN Y L,SUN C,POOLE B,et al.What makes for good views for contrastive learning?[C]//NeurIPS.Proceedings of the 34th International Conference on Neural Information Processing Systems.Vancouver,BC,Canada:ACM,2020:6827-6839.
[22] 鄭秀芬,歐陽飚,張東寧,等.“國家數(shù)字測震臺網(wǎng)數(shù)據(jù)備份中心”技術(shù)系統(tǒng)建設(shè)及其對汶川大地震研究的數(shù)據(jù)支撐[J].地球物理學(xué)報,2009,52(5):1412-1417.
ZHENG Xiufen,OUYANG Biao,ZHANG Dongning,et al.Technical system construction of Data Backup Centre for China Seismograph Network and the data support to researches on the Wenchuan earthquake[J].Chinese Journal of Geophysics,2009,52(5):1412-1417.
(本文編輯:賈源源)
基金項目:國家自然科學(xué)基金(41264001);專項資金(075440);廣西重點研發(fā)計劃(桂科AB18126045)
第一作者簡介:王夢琪(1996-),女,碩士研究生,研究方向為深度學(xué)習(xí)與信號處理。E-mail:clearlovecw@163.com。
通信作者:黃漢明(1966-),男,博士,教授,研究方向為信號處理和模式識別。E-mail:huanghm@gxnu.edu.cn。
王夢琪,黃漢明,吳業(yè)正,等.基于多尺度注意殘差網(wǎng)絡(luò)的地震波形分類研究[J].地震工程學(xué)報,2024,46(3):724-733.DOI:10.20000/j.1000-0844.20220605001
WANG Mengqi,HUANG Hanming,WU Yezheng,et al.Seismic waveform classification based on a multiscale attention residual network[J].China Earthquake Engineering Journal,2024,46(3):724-733.DOI:10.20000/j.1000-0844.20220605001