基于多頭自注意力機制和卷積神經(jīng)網(wǎng)絡的結(jié)構損傷識別研究

張健飛， 黃朝東， 王子凡

(河海大學 力學與材料學院，南京 210098)

為了保證工程結(jié)構的安全和正常使用，需要及時發(fā)現(xiàn)結(jié)構損傷并進行維修處理?；谡駝拥慕Y(jié)構損傷識別方法利用結(jié)構的振動測試信號進行結(jié)構整體損傷狀況檢測，相較于傳統(tǒng)的無損檢測方法具有很大的優(yōu)越性[1]，但在實際應用過程中，會不同程度地遇到模型依賴性強、系統(tǒng)容錯性差、易受環(huán)境影響等問題。人工神經(jīng)網(wǎng)絡由大量相互連接的簡單神經(jīng)處理單元組成，可以不依賴于模型，具有較強的容錯性和魯棒性以及學習聯(lián)想能力等特征，因而在結(jié)構損傷識別領域受到了廣泛的關注。人工神經(jīng)網(wǎng)絡用于結(jié)構損傷識別的基本原理就是通過建立特征參數(shù)與結(jié)構損傷狀態(tài)之間的輸入、輸出映射關系來實現(xiàn)損傷識別。目前已經(jīng)構建了許多結(jié)構動力特征作為神經(jīng)網(wǎng)絡的輸入?yún)?shù)，如：固有頻率[2]、振型[3]和模態(tài)曲率[4]等，然而這些人為設計的特征參數(shù)并不一定是最優(yōu)的，難以在不同類型的損傷識別中都取得最優(yōu)效果[5]。

以卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)為代表的深度學習網(wǎng)絡可以直接從原始輸入數(shù)據(jù)中挖掘抽象的內(nèi)在特征，避免了人為主觀因素的影響，具有良好的泛化能力。CNN是一類包含卷積計算的深度前饋神經(jīng)網(wǎng)絡，其所具有的局部連接、權值共享及池化操作等特性可以有效地降低網(wǎng)絡的復雜度，減少訓練參數(shù)的數(shù)目，從而使模型具有強魯棒性和容錯能力，已經(jīng)在計算機視覺、語音識別等領域得到了廣泛應用[6]。在結(jié)構損傷識別領域，近年來CNN也得到了較多的研究。羅雨舟等[7]通過構建CNN模型對有限元數(shù)值模擬生成的結(jié)構多點加速度信號進行特征提取，實現(xiàn)損傷診斷，并研究了結(jié)構在不同激勵類型作用下和不同噪聲強度下的損傷診斷精度。李雪松等[8]以IASC-ASCE SHM Benchmark結(jié)構的數(shù)值模擬數(shù)據(jù)為研究對象，用CNN直接從加速度信號中自動提取特征，并提出混合噪聲訓練模式，加強特征抗噪能力，取得了良好的識別效果。李書進等[9]以多層框架結(jié)構節(jié)點損傷位置的識別問題為研究對象，構建了基于原始信號和傅里葉頻域信息的一維CNN模型和基于小波變換數(shù)據(jù)的二維CNN模型。Khodabandehlou等[10]以一座鋼筋混凝土公路橋縮尺模型振動臺試驗測得的加速度信號作為輸入數(shù)據(jù)，采用二維CNN對結(jié)構損傷進行識別，取得了很好的識別效果，并檢驗了網(wǎng)絡對微小損傷的魯棒性和敏感性。Lin等[11]采用CNN從簡支梁有限元模擬生成的加速度數(shù)據(jù)中提取損傷特征，在有噪聲情況和多損傷情況下取得了很高的損傷識別精度，同時通過隱層可視化對所提取的特征進行了物理解釋。Liu等[12]將傳遞函數(shù)和一維CNN相結(jié)合對結(jié)構損傷識別方法進行了研究，并以ASCE Benchmark結(jié)構動力響應的傳遞函數(shù)作為CNN的輸入數(shù)據(jù)，對方法的有效性進行了驗證，通過與時間序列和FFT (fast Fourier transform)數(shù)據(jù)相比較，顯示了傳遞函數(shù)數(shù)據(jù)中獲取的特征具有更高的損傷敏感性。楊建喜等[13]提出一種聯(lián)合CNN和長短期記憶網(wǎng)絡(long-short term memory, LSTM)的橋梁結(jié)構損傷識別方法，以結(jié)構振動加速度響應為輸入，通過 CNN 模型提取多時間窗口內(nèi)傳感器拓撲相關性特征，通過LSTM 模型進一步提取時間維度特征，并以某連續(xù)剛構橋縮尺模型的試驗數(shù)據(jù)對方法進行了檢驗，取得了良好的效果。Yang等[14]將結(jié)構振動加速度信號作為多變量時間序列，并行輸入CNN和雙向門控循環(huán)單元提取數(shù)據(jù)特征，然后將這兩種網(wǎng)絡獲得的特征進行組合后用于結(jié)構損傷識別，并通過數(shù)值試驗和連續(xù)剛構橋縮尺模型試驗驗證了方法相較于CNN和LSTM等方法的優(yōu)越性。

注意力機制本質(zhì)上和人類視覺機制類似，其核心目標是從眾多信息中選擇出對當前任務目標更關鍵的信息，使得模型在訓練過程中關注重點特征，避免非敏感特征的影響。自注意力機制是注意力機制的一種變體，用于捕捉數(shù)據(jù)或特征自身內(nèi)部的相關性。多頭自注意力機制最初被用于機器翻譯，它通過對多次計算得到的自注意力特征的組合，實現(xiàn)不同位置處的數(shù)據(jù)在不同子空間中的表征，從而使得模型可以在多個不同表征子空間中學習到相關的信息[15]。

本文以結(jié)構振動加速度信號作為輸入數(shù)據(jù)，聯(lián)合多頭自注意力機制和CNN，提出了一種基于多頭自注意力的CNN模型(multi-head self-attention based CNN，CNN-MA)，通過CNN提取加速度信號中的局部特征，通過引入多頭自注意力機制，在多個不同表征子空間中抽取出信號中重要的全局信息，提高結(jié)構損傷識別的效果。

1 基于多頭自注意力的CNN模型

本文構建的基于多頭自注意力的CNN模型依次由輸入層、若干個卷積和池化層、多頭自注意力層、全局池化層和Softmax分類層堆疊組成，如圖1所示。模型中輸入層輸入結(jié)構受到動力作用后各個測點上產(chǎn)生的加速度信號；卷積層和池化層提取輸入加速度信號中的短期局部特征并實現(xiàn)降維；多頭自注意力層通過關注池化層輸出序列在不同位置、不同表征子空間中的關鍵信息，學習長期全局特征；全局池化層對序列各個位置的信息進行匯總并壓縮；最后將全局池化層的輸出經(jīng)過全連接層后再通過Softmax進行分類，類別數(shù)對應損傷模式的個數(shù)，每個神經(jīng)元輸出對應不同損傷模式的發(fā)生概率，最大發(fā)生概率對應的損傷模式即為預測的損傷模式。為了分析CNN-MA的性能，本文與CNN、CNN-LSTM和CNN-BiLSTM(bidirectional LSTM)等模型進行了比較，各模型結(jié)構見圖1。

圖1 模型結(jié)構Fig.1 Structure of the models

1.1 輸入層

本文直接以結(jié)構在外界動力荷載作用下的測點加速度信號作為輸入數(shù)據(jù)，由于是多測點問題，因此輸入數(shù)據(jù)可以看作向量時間序列fi(i=1,2,…,N)。其中fi=(fi,1,fi,2,…,fi,L)為L個測點在時刻i的加速度值組成的向量，序列長度N=測試時長×采樣頻率。在輸入模型之前，輸入的加速度信號需要進行樣本化和標準化處理。樣本化就是將測點加速度信號序列分割成長度為T的若干段子序列si(i=1,2,…,T)，作為模型的訓練和測試樣本，T的取值一般至少使得樣本包含一個結(jié)構特征自振周期的加速度采樣值。生成樣本后，本文對樣本進行Z-Score標準化，其計算如式(1)所示。

(1)

式中：μ為時間序列si(i=1,2,…,T)的均值；σ為標準方差。

1.2 卷積層和池化層

(2)

(3)

典型的激活函數(shù)有sigmoid、tanh和ReLU等，本文采用ReLU激活函數(shù)。

(4)

式中，Ri為第i個位置處數(shù)值周邊的鄰近區(qū)域，常見的池化操作有取平均值和取最大值，本文采用最大池化。

通過卷積和池化計算得到的CNN輸出序列數(shù)據(jù)為xi(i=1,2,…,M)，其中xi=(xi,1,xi,2,…,xi,P)，P為最后一層卷積層的特征圖個數(shù)，輸出序列的長度M由卷積核尺寸、池化尺寸和步長等參數(shù)具體確定。

1.3 LSTM層

LSTM是循環(huán)神經(jīng)網(wǎng)絡(recurrent neural networks, RNN)的一種變體，主要用于處理序列數(shù)據(jù)，能夠保持數(shù)據(jù)中的時序依賴關系。它通過引入了門控單元，解決了普通RNN長程依賴、梯度消失或梯度爆炸等問題，已經(jīng)在自然語言處理等領域得到成功應用。LSTM使用記憶細胞來代替一般網(wǎng)絡中的隱藏層細胞，記憶細胞的輸入和輸出都由一些門控單元來控制，這些門控單元控制流向隱藏層單元的信息。其中：遺忘門決定從上一個細胞狀態(tài)中遺忘什么信息，輸入門將新的信息選擇性的記錄至細胞狀態(tài)中，輸出門將信息傳遞出去。本文采用的LSTM網(wǎng)絡細胞結(jié)構，如圖2所示。

圖2 LSTM細胞結(jié)構Fig.2 Structure of LSTM cell

圖2中的i，f，c，o，h分別為輸入門、遺忘門、細胞狀態(tài)、輸出門以及隱藏層的輸出向量，其計算方法如式(5)～式(9)所示。

it=σ(Wxixt+Whiht-1+Wcict-1+bi)

(5)

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)

(6)

ct=ftct-1+ittanh(Wxcxt+Whcht-1+bc)

(7)

ot=σ(Wxoxt+Whoht-1+Wcoct+bo)

(8)

ht=ottanh(ct)

(9)

式中：下標x，i，f，c，o，h分別為輸入層、輸入門、遺忘門、細胞狀態(tài)、輸出門以及隱藏層；W和b分別為對應的權重矩陣以及偏置；t為時刻。

通過LSTM層計算得到的輸出序列數(shù)據(jù)為oi(i=1,2,…,M)，其中oi=(oi,1,oi,2,…,oi,D),D為輸出門維度。

在有些問題中，當前時刻的輸出不僅和之前的狀態(tài)有關，還可能和未來的狀態(tài)有關系。此時可以采用雙向LSTM(bidirectional LSTM, BiLSTM)，將輸入序列按照正序和反序分別輸入LSTM，然后將正向和反向LSTM的輸出相結(jié)合作為最終的輸出，常用的結(jié)合方式有求和、求積、平均和拼接等，本文采用拼接的結(jié)合方式，此時的輸出向量維度為2D。

1.4 多頭自注意力層

注意力可以描述為查詢向量和一系列鍵-值向量對與輸出向量之間的映射，其中：輸出向量通過值向量的加權求和得到，每個值向量的加權系數(shù)通過計算查詢向量與對應的鍵向量之間的匹配度而得到，本文中的加權系數(shù)通過計算查詢向量和鍵向量之間的尺度化點積得到。當查詢向量、鍵向量和值向量屬于相同的序列時稱為自注意力。對于一系列查詢向量的注意力計算，通常為了提高計算效率將查詢向量、鍵向量和值向量組合成查詢矩陣、鍵矩陣和值矩陣進行運算，如式(10)和圖3所示。多頭自注意力層首先采用不同的線性投影矩陣將維度為M×d的輸入矩陣映射為h組矩陣，每組矩陣包含3個不同的矩陣：查詢矩陣Q、鍵矩陣K和值矩陣V，矩陣Q和K的維度為M×dk，矩陣V的維度為M×dv。然后對這h組矩陣分別按照式(10)進行自注意力運算，最后將自注意力運算得到的h個輸出矩陣拼接后投影為一個維度為M×d的輸出矩陣R，如式(11)和圖4所示。

(10)

R=Multihead(Q,K,V)=
Concat(head1,head2,…,headh)Whr

(11)

式中，線性投影矩陣Whr∈hdv×d。

多頭自注意力層輸出數(shù)據(jù)為ri(i=1,2,…,M)，其中向量ri=(ri,1,ri,2,…,ri,d)。

圖3 尺度化點積注意力Fig.3 Scaled dot-product attention

圖4 多頭注意力Fig.4 Multi-head Attention

1.5 全局池化層

全局池化一般分為全局最大池化和全局平均池化，全局池化可以起到減少參數(shù)、防止過擬合的作用。本文采用全局平均池化，即計算向量時間序列中向量各個元素在時間域上的平均值，如式(12)所示，得到輸出向量g=(g1,g2,…,gD)。

(12)

1.6 Softmax分類層

最后將全局池化層的輸出向量輸入全連接層后再通過Softmax進行分類，類別的數(shù)量等于損傷模式的個數(shù)nd。Softmax分類層將輸入數(shù)據(jù)轉(zhuǎn)化為一個概率分布，其計算如式(14)所示，然后根據(jù)概率最大的原則進行模式識別。

g′=Wgg′g

(13)

(14)

式中，全連接層的權重系數(shù)矩陣Wgg′∈nd×D。

1.7 基于CNN-MA的結(jié)構損傷識別

本文提出的基于CNN-MA的結(jié)構損傷識別方法首先采集結(jié)構上各個測點的振動加速度信號；然后將這些加速度信號進行預處理，即對其進行標準化后分割成一系列具有一定長度的子信號；再將這些子信號及其對應的損傷狀態(tài)按照一定的比例劃分成訓練集、驗證集和測試集；采用訓練集進行模型的訓練，采用驗證集進行模型的驗證，根據(jù)驗證結(jié)果進行模型結(jié)構和超參數(shù)的優(yōu)化；最后將測試集輸入訓練好的模型進行損傷識別，測試模型泛化性能。整個結(jié)構損傷識別的流程如圖5所示。本文基于其他模型的結(jié)構損傷識別流程與CNN-MA相同。

圖5 結(jié)構損傷識別流程圖Fig.5 Flow chart of structural damage identification

由式(2)可知，CNN隱藏層中每一個神經(jīng)元只與相鄰層局部區(qū)域的神經(jīng)元相連，這個局部區(qū)域被稱為局部感受野，也就是某一個隱藏層中神經(jīng)元只學習了其局部感受野范圍內(nèi)的特征，而要學習整個序列的全部特征，需要堆疊多個隱藏層，從而使得CNN模型變得復雜，訓練難度變大。將CNN與LSTM(BiLSTM)相結(jié)合的目的就是通過LSTM(BiLSTM)將當前時刻之前(之后)的信息壓縮后傳遞給當前時刻，從而能夠獲取全局特征，但是這種信息壓縮會一定程度上導致有用信息的丟失。而CNN-MA將卷積池化層輸出序列中每一個向量與序列中的全部向量進行自注意力運算，從而使得每個向量中除了包含局部特征也包含全局特征。

2 試驗驗證

2.1 數(shù)值試驗

2.1.1 數(shù)據(jù)生成與預處理

為了測試CNN-MA模型的性能，本文首先建立了一個懸臂梁有限元模型進行數(shù)值試驗，懸臂梁材質(zhì)為鋼材，長1 200 mm，方形截面尺寸為20 mm×20 mm，底部為固定端，頂部為自由端。在懸臂梁一側(cè)不同高程處設置深2 mm的水平裂縫(記為C1～C6)模擬不同位置的損傷，另一側(cè)設置7個測點(記為m1～m7)記錄懸臂梁水平向加速度，懸臂梁裂縫位置和測點位置如圖6所示。每種損傷模式為不同位置處的單個裂縫，如表1所示。

圖6 懸臂梁裂縫位置和測點圖(mm)Fig.6 Positions of the cracks and accelerometers on the cantilever beam (mm)

表1 數(shù)值試驗中懸臂梁的損傷模式Tab.1 Damage patterns of the cantilever beam in numerical test

通過在懸臂梁底部施加水平向白噪聲加速度模擬環(huán)境激勵，按照表2所示的損傷情況，生成7種不同損傷模式下7個測點上時長為30 s的加速度響應信號，有限元計算時間步長取為0.000 1 s，采用Rayleigh阻尼，則每種損傷模式可得到一個長度為300 000、維度為7的加速度信號序列。然后從每個信號序列中隨機抽取1 000個長度為1 024、維度為7的子序列作為模型的輸入樣本序列，共得到7×1 000=7 000個樣本序列。

表2 各個模型超參數(shù)取值范圍Tab.2 Range of the hyper-parameters of the models

在實測信號中，噪聲總是存在的，這些噪聲一般可以假設為符合高斯分布的白噪聲[16]。本文在有限元計算得到的加速度信號中加入白噪聲數(shù)據(jù)來模擬實測信號，即

(15)

2.1.2 模型結(jié)構和參數(shù)

神經(jīng)網(wǎng)絡模型的結(jié)構和超參數(shù)對其性能具有很大的影響，為了獲取較優(yōu)的網(wǎng)絡結(jié)構和超參數(shù)，本文在beam-n00數(shù)據(jù)集上采用網(wǎng)格搜索的方法比較了各個模型在不同網(wǎng)絡結(jié)構下多種超參數(shù)組合的性能，各模型的超參數(shù)取值范圍，見表2。模型超參數(shù)優(yōu)選時的性能指標采用5-折交叉驗證確定，即將數(shù)據(jù)集平均分成5組，其中每一組子集數(shù)據(jù)分別作為驗證集，其余的4組子集數(shù)據(jù)作為訓練集，以得到的5組驗證集上的損傷識別準確率的平均值作為模型性能評價的指標。

對于CNN模型，比較了包含2個卷積池化層的網(wǎng)絡結(jié)構(2層結(jié)構)和包含3個卷積池化層的網(wǎng)絡結(jié)構(3層結(jié)構)在卷積核數(shù)量、卷積核尺寸和池化尺寸3個超參數(shù)的不同組合下的損傷識別性能，每種結(jié)構共計18種超參數(shù)組合，比較結(jié)果如表3所示?？梢钥闯觯涸诒纠胁煌某瑓?shù)組合對識別準確率的影響較大，過大的卷積核尺寸會導致識別失敗，增加卷積池化層數(shù)量反而會降低識別準確率；當CNN模型采用2層結(jié)構，卷積核數(shù)、卷積尺寸和池化尺寸分別取30，32和4時損傷識別準確率最高。

表3 CNN在不同結(jié)構和超參數(shù)組合下的識別準確率Tab.3 Accuracy of CNN with different structures and hyper-parameters 單位：%

對于CNN-LSTM和CNN-BiLSTM模型，比較了包含一個卷積池化層的網(wǎng)絡結(jié)構(1層結(jié)構)和包含2個卷積池化層的網(wǎng)絡結(jié)構(2層結(jié)構)，每一種結(jié)構比較了卷積核數(shù)量、卷積核尺寸、池化尺寸和LSTM(BiLSTM)輸出維度4個超參數(shù)不同組合下的損傷識別性能，共計54種超參數(shù)組合，比較結(jié)果如表4和表5所示?？梢钥闯觯?層結(jié)構和2層結(jié)構在本例中的識別準確率總體上差別不大，但是同種結(jié)構在不同超參數(shù)組合下差異較大；CNN-LSTM模型采用1層結(jié)構，卷積核數(shù)量、卷積核尺寸、池化尺寸和輸出維度分別取30，64，8和40時識別準確率達到最大；CNN-BiLSTM模型采用1層結(jié)構，卷積核數(shù)量、卷積核尺寸、池化尺寸和輸出維度分別取50，32，8和40時識別準確率達到100%。

表4 CNN-LSTM在不同結(jié)構和超參數(shù)組合下的識別準確率Tab.4 Accuracy of CNN-LSTM with different structures and hyper-parameters 單位：%

表5 CNN-BiLSTM在不同結(jié)構和超參數(shù)組合下的識別準確率Tab.5 Accuracy of CNN-BiLSTM with different structures and hyper-parameters 單位：%

對于CNN-MA模型，比較了包含1層卷積池化層的網(wǎng)絡結(jié)構(1層結(jié)構)和包含2層卷積池化層的網(wǎng)絡結(jié)構(2層結(jié)構)在卷積核數(shù)量、卷積核尺寸和池化尺寸3個超參數(shù)不同組合下的損傷識別性能，共計18種超參數(shù)組合，比較結(jié)果如表6所示。隨后以較優(yōu)的網(wǎng)絡結(jié)構和超參數(shù)為基礎，比較了模型自注意力計算次數(shù)分別取1，2，3，5和10時的損傷識別性能，比較結(jié)果如表7所示。可以看出：增加卷積池化層在本例中不能提高識別準確率，不同超參數(shù)組合對模型性能有較大影響，模型采用1層結(jié)構時多個超參數(shù)組合的識別準確率達到100%，其中卷積核數(shù)量、卷積核尺寸和池化尺寸3個超參數(shù)分別取30，32，4時不僅識別準確率達到最大，而且模型最為簡單，在此基礎上自注意力計算次數(shù)取3和5時識別準確率均達到100%。

表6 CNN-MA在不同結(jié)構和超參數(shù)組合下的識別準確率Tab.6 Accuracy of CNN-MA with different structures and hyper-parameters 單位：%

表7 不同自注意力計算次數(shù)下的識別準確率Tab.7 Identification accuracy using different number of heads 單位：%

根據(jù)以上各個模型結(jié)構和超參數(shù)的比選結(jié)果，綜合考慮識別準確率和計算效率選定各個模型較優(yōu)的結(jié)構和超參數(shù)。CNN-MA模型的第1層是輸入層，對數(shù)據(jù)進行預處理后輸入模型；第2層是一維卷積和池化層，包含30個尺寸為32的卷積核和尺寸為4的最大池化層；第3層是多頭自注意力層，其中查詢向量、鍵向量和值向量的維度均為10，自注意力計算次數(shù)為3；第4層是全局平均池化層；第5層是Softmax分類層，類別數(shù)對應損傷模式的個數(shù)，每個輸出對應不同損傷模式的發(fā)生概率。除了與CNN-MA模型相同的輸入層、全局池化層和Softmax分類層外，CNN模型包含2層一維卷積和池化層，每一層包含30個尺寸為32的卷積核和尺寸為4的最大池化層；CNN-LSTM模型包含一層由30個尺寸為64的卷積核和尺寸為8的最大池化層組成的一維卷積池化層以及輸出維度為40的LSTM層；CNN-BiLSTM模型包含一層由50個尺寸為32的卷積核和尺寸為8的最大池化層組成的一維卷積池化層以及正反向輸出維度為40、拼接后的最終輸出維度為80的BiLSTM層。

各模型訓練時批尺寸設為64，訓練次數(shù)設為50次，訓練時保存訓練過程中的最優(yōu)模型用于損傷識別。各模型在本例中的需要學習的參數(shù)個數(shù)，如表8所示，其中MA-CNN模型參數(shù)最少。由于模型越復雜、參數(shù)越多，越容易過擬合，因此對于復雜的模型需要更多的訓練數(shù)據(jù)或者采用正則化等技術抑制過擬合的發(fā)生，本文提出的MA-CNN模型由于參數(shù)更少，因此更加容易訓練、泛化性能更好。

表8 各模型參數(shù)數(shù)量Tab.8 Number of the parameters of the models

2.1.3 試驗結(jié)果

將樣本按照8∶1∶1的比例劃分，分別作為模型的訓練集、驗證集和測試集，訓練集和驗證集用于模型的訓練，測試集用于測試模型的泛化性能。各個模型在訓練集和驗證集上的訓練曲線，如圖7～圖9所示，圖7～圖9中：橫坐標epoch為訓練次數(shù)，縱坐標accuracy為訓練準確率?？梢钥闯觯焊鱾€模型在訓練集和驗證集上的訓練曲線基本吻合，未出現(xiàn)過擬合現(xiàn)象；在無噪聲數(shù)據(jù)上各模型的訓練準確率都達到100%，隨著噪聲的增大，各個模型準確率在訓練集、驗證集和測試集上仍能保持較高水平，但均有所下降；CNN-MA模型的收斂速度最快，其余模型收斂較慢，各模型都出現(xiàn)了不同程度的震蕩現(xiàn)象，但是CNN-MA最穩(wěn)定，這是因為CNN-MA模型復雜度最小，易于訓練。各個模型在不同噪聲水平數(shù)據(jù)集上的準確率，如表9所示。由表9可知：隨著噪聲水平的提高，CNN-MA的準確率最高，其次是CNN-LSTM和CNN-BiLSTM，CNN的準確率最低。為了進一步檢驗各模型的泛化性能，本文在測試集的每一種損傷模式下隨機抽取了100個樣本，用于測試各個模型的損傷識別性能。各個模型在測試集各種損傷模式下的識別性能，如表10所示。由表10可知：根據(jù)概率最大損傷判別法則，各個模型在本例數(shù)據(jù)集上均能準確識別出7種不同的損傷模式，說明各模型均具有較好的抗噪性；隨著噪聲水平的提高，各個模型的損傷識別精度存在不同程度的下降，CNN-MA模型受噪聲影響程度最小，抗噪性最好，其次是CNN-LSTM和CNN-BiLSTM，CNN的識別準確率受到噪聲影響最大。

圖7 各模型在無噪聲數(shù)值試驗數(shù)據(jù)上的訓練曲線FIg.7 Training curves of the models on numerical test data without noise

圖8 各模型在含2%噪聲數(shù)值試驗數(shù)據(jù)上的訓練曲線FIg.8 Training curves of the models on numerical test data with 2% noise

圖9 各模型在含5%噪聲數(shù)值試驗數(shù)據(jù)上的訓練曲線FIg.9 Training curves of the models on numerical test data with 5% noise

表9 各模型在懸臂梁數(shù)值試驗數(shù)據(jù)上的準確率Tab.9 Accuracy of the Models on numerical test data of cantilever beam 單位：%

表10 各模型在懸臂梁數(shù)值試驗測試集上的損傷識別概率Tab.10 Damage identifying probability of the models on numerical test data of cantilever beam

2.2 振動臺試驗

為了進一步驗證方法的有效性，本文利用實驗室中的懸臂梁振動臺試驗數(shù)據(jù)對模型進行測試和比較。試驗所選用的懸臂梁材料和幾何參數(shù)以及邊界約束條件同第2.1節(jié)，損傷采用人工切割縫模擬，包括不同裂縫數(shù)量和不同裂縫深度等5種損傷模式，如表11所示。試驗采用電動振動臺產(chǎn)生的隨機激勵模擬有限帶寬白噪聲振動，激勵的功率譜密度取0.1(m/s2)2/Hz，激振頻率帶寬為5～1 000 Hz。懸臂梁從自由端到固定端布置7個加速度傳感器采集懸臂梁水平加速度，測點布置見圖6，試驗裝置如圖10所示。

表11 振動臺試驗懸臂梁損傷模式Tab.11 Damage patterns of cantilever beam in shaking table test

圖10 懸臂梁振動臺試驗裝置圖Fig.10 Device for shaking table test of cantilever beam

懸臂梁各個測點的加速度信號采樣頻率為5 000 Hz，每一種損傷模式下采集時長為30 s的加速度信號，即每個測點記錄150 000個時刻點的數(shù)據(jù)，從而每種損傷模式可得到一個長度為150 000、維度為7的加速度信號序列。然后從每個序列中隨機抽取1 000個長度為1 024、維度為7的子序列作為樣本，共得到5×1 000=5 000個樣本，按照8∶1∶1的比例劃分成訓練集、驗證集以及測試集。

各個模型在訓練集和驗證集上的訓練曲線，如圖11所示。由圖11可知：各個模型在經(jīng)過一定次數(shù)的訓練后均能達到較高的訓練準確率，訓練集和驗證集的訓練曲線基本一致，沒有過擬合現(xiàn)象；CNN-MA收斂速度最快、穩(wěn)定性好，CNN的收斂速度最慢但是較為穩(wěn)定，CNN-LSTM和CNN-BiLSTM的穩(wěn)定性較差，震蕩比較嚴重。各個模型在訓練集、驗證集和測試集上的準確率，如表12所示。由表12可知：各個模型在本例的試驗數(shù)據(jù)上均取得了較好的訓練效果，準確率在90%以上；CNN-MA模型在訓練集、驗證集和測試集上都達到了100%，CNN-LSTM和CNN-BiLSTM在測試集上的識別準確率均在95%以上，CNN的識別準確率最低。

圖11 各模型在懸臂梁振動臺試驗數(shù)據(jù)上的訓練曲線FIg.11 Training curves of the models on shaking table test data of cantilever beam

表12 各模型在懸臂梁振動臺試驗數(shù)據(jù)上的準確率Tab.12 Accuracy of the models on shaking table test data of cantilever beam 單位：%

訓練好的各種模型在測試集上對各種損傷模式的識別精度，如表13所示。由表13可知：CNN-MA和CNN-LSTM模型對于各個損傷模式的識別均達到很高的精度，CNN和CNN-BiLSTM模型識別模式2和模式3時精度相對偏低。各種模型識別各種損傷模式的混淆矩陣，如圖12所示。由圖12可知：CNN-MA和CNN-LSTM能夠不受干擾、非常準確地識別所有的損傷模式，可以準確捕捉到相近模式之間的差別，具有很好的損傷識別性能；其他模型在識別損傷模式2和模式3時會出現(xiàn)一定程度的相互干擾：CNN在識別模式2時，100個樣本中90個識別正確，10個被誤判成模式3，在識別模式3時69個識別正確，31個誤判為模式2；CNN-BiLSTM識別模式2時，100個樣本中87個樣本識別正確，13個樣本誤判成模式3，識別模式3時88個識別正確，12個誤判為模式2。

表13 各模型在振動臺試驗數(shù)據(jù)測試集上的損傷識別概率Tab.13 Damage identifying probability of the models on test data set from shaking table test

圖12 振動臺試驗數(shù)據(jù)測試集上的損傷識別混淆矩陣Fig 12 Confusion matrix for damage identification on test data set from shaking table test

3 結(jié) 論

本文基于多頭自注意力機制和CNN，以結(jié)構的振動加速度信號為輸入，構建了一種結(jié)構損傷識別的CNN-MA模型，并通過網(wǎng)格搜索給出了模型結(jié)構和超參數(shù)取值的建議。模型通過CNN提取加速度信號中的局部特征，通過多頭自注意力機制對信號中不同位置和不同表征空間中的重要信息進行關注，學習信號中的全局特征。在懸臂梁數(shù)值試驗和振動臺試驗中，CNN-MA模型由于復雜度低，更加易于訓練；由于能夠?qū)崿F(xiàn)對重要信息的關注、減少次要因素的干擾，與CNN，CNN-LSTM和CNN-BiLSTM等其他模型相比，CNN-MA模型具有更高的損傷識別精度和抗噪性以及更強的辨識能力和抗混淆能力。目前，本文僅對簡單結(jié)構的損傷模式識別進行了研究，對于復雜工程結(jié)構的損傷識別以及損傷程度判別等問題需要做進一步研究。此外，CNN-MA模型與其他神經(jīng)網(wǎng)絡模型一樣存在模型優(yōu)化問題，本文僅對有限的網(wǎng)絡結(jié)構和超參數(shù)組合進行了比選，需要進一步研究高效的模型結(jié)構和超參數(shù)的優(yōu)選方法。