基于一維堆疊卷積自編碼器的分布式應(yīng)變裂縫檢測①

嚴國萍,陳 禹,李雨沖,閆昭帆

(長安大學 信息工程學院,西安 710064)

橋梁裂縫的產(chǎn)生和發(fā)展往往體現(xiàn)橋梁的健康狀態(tài),全面、盡早、準確地發(fā)現(xiàn)表面裂縫對橋梁安全運營具有重大意義.傳統(tǒng)上利用超聲波、X射線、紅外線等傳感器來識別土木結(jié)構(gòu)內(nèi)部或表面是否存在裂縫,它們本質(zhì)上是點式傳感器,很難一次性測量出全尺度信息[1,2].近年來,基于布里淵時域分析(BOTDA)的光纖傳感器被廣泛應(yīng)用[3].分布式光纖傳感器能夠以厘米級的空間分辨率一次測量獲取橋梁數(shù)百甚至上千米全尺度表面上的分布式應(yīng)變.在分布式光纖傳感器所測得的分布式應(yīng)變數(shù)據(jù)中,裂縫區(qū)域會表現(xiàn)為異常,通過檢測分布式應(yīng)變的異常來發(fā)現(xiàn)橋梁表面裂縫.在測量過程中為了測量更多的應(yīng)變細節(jié),通常會配置盡量小的空間分辨率,所以測得應(yīng)變數(shù)據(jù)的信噪比(SNR)較低,導致源自裂縫損傷處的應(yīng)變異常難以被發(fā)現(xiàn)[4].在早期,異常模式發(fā)現(xiàn)是基于概率統(tǒng)計模型來實現(xiàn)的[5].使用統(tǒng)計學方法來實現(xiàn)異常檢測必須要確定適合數(shù)據(jù)的分布模型,設(shè)置模型參數(shù),但實際情況是,往往無法知道數(shù)據(jù)集所遵循的標準分布類型,或許數(shù)據(jù)本身就不服從任何的標準分布.此外改進的基于距離的異常點檢測算法、基于密度的局部異常點檢測算法[6–8].它們以歐氏距離作為異常評判標準,但這兩種方法在面對海量數(shù)據(jù)時,計算復雜度高,具有潛在的局限性.隨著模式識別領(lǐng)域中深度學習方法的迅速發(fā)展,深度學習算法開始被應(yīng)用到異常檢測中來[9],如基于神經(jīng)網(wǎng)絡(luò)的方法,此方法采用自適應(yīng)學習算法對異?；顒雍头钱惓；顒舆M行特征提取,訓練結(jié)束后提供待測數(shù)據(jù)進行異常檢測[10,11].此方法不需要對原始數(shù)據(jù)作統(tǒng)計假設(shè),有很好的抗干擾能力.自動編碼器(AutoEncoder,AE)是典型的神經(jīng)網(wǎng)絡(luò)之一,它可以被看作是一個三層全連接網(wǎng)絡(luò),具有出色的抗噪聲特征表征能力[12,13].但是當數(shù)據(jù)更加復雜時,單層編碼器無法有效的提取復雜數(shù)據(jù)的特征.因此,Hinton等[14]將多個AE逐層堆疊構(gòu)成一個堆疊自編碼器用于對高維數(shù)據(jù)進行降維和特征提取.卷積神經(jīng)網(wǎng)絡(luò)是一類前向傳播的神經(jīng)網(wǎng)絡(luò),通過若干個卷積核挖掘特征的局部相關(guān)性,卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了權(quán)值共享,降低了深度神經(jīng)網(wǎng)絡(luò)的計算代價并且更易于訓練[15,16].卷積神經(jīng)網(wǎng)絡(luò)多被利用于處理圖像,但是最近的一些研究也將其引入到對序列數(shù)據(jù)的挖掘中[17,18].

受此啟發(fā),本文充分挖掘到自動編碼器自動提取高質(zhì)量特征表征的能力,卷積神經(jīng)網(wǎng)絡(luò)可以利用多個卷積核提取多個特征.所以,結(jié)合自動編碼器與卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢,本文提出一種基于一維堆疊卷積自編碼器(Stacking Convolutional AutoEncoder,SCAE)的分類檢測方法來處理低信噪比的分布式應(yīng)變裂縫檢測.該方法首先將應(yīng)變序列標準化后劃分為等長的子序列,所有的子序列可以分為兩類,一類是從存在裂縫的結(jié)構(gòu)表面獲得的裂縫應(yīng)變子序列(CS),另一類是從正常的結(jié)構(gòu)表面獲得的非裂縫子序列(NS),然后利用SCAE對這些子序列進行自適應(yīng)的特征提取,最后將SCAE提取的特征作為Softmax分類器的輸入來進行分類,以達到檢測的目的.微小裂縫檢測是基于CS/NS二元分類的結(jié)果實現(xiàn)的.該方法在人為制造微小裂縫的15米工字鋼梁上進行了驗證.

1 模型與算法

本文設(shè)計的基于一維堆疊卷積自編碼器的分布式應(yīng)變裂縫檢測過程的具體算法流程如圖1,圖中數(shù)據(jù)預處理部分的虛線框表示子序列截取,特征提取部分的橢圓虛線框表示池化窗口,矩形虛線表示卷積核.

圖1 所提出方法的3個部分

第1部分為數(shù)據(jù)預處理部分,將分布式光纖傳感器感測到的應(yīng)變序列進行標準化,使用滑動窗口將其截取為多個子序列,作為第2部分的輸入樣本數(shù)據(jù).

第2部分為特征提取部分,此部分由一維堆疊卷積自編碼器的3個卷積層(Conv)和3個池化層(Pool)構(gòu)成,用以提取輸入子序列具有噪聲魯棒性和高分辨率特征,并將其輸入第3部分.

第3部分為分類部分,將提取到的高分辨率的特征表征輸入Softmax分類器,得到兩個概率,p(crack|x)表示當前特征表征判斷為裂縫的概率,p(noncrack|x)表示當前特征表征判斷為非裂縫的概率,根據(jù)兩個概率的大小,來判斷是否該子序列為裂縫.

1.1 數(shù)據(jù)預處理

本文首先采用模式識別中常用的z-score標準化方法對采集的分布式光纖應(yīng)變數(shù)據(jù)進行標準化,其公式為:是獨立測量中的第i個分布式應(yīng)變序列.μi為Si的均值;σi為Si的標準差.S?i則為Si標準化后的數(shù)據(jù).

由于應(yīng)變序列數(shù)據(jù)點與點之間并不獨立,很多異常都是存在于子序列中,所以本文關(guān)注應(yīng)變序列子序列的異常檢測,運用具有固定長度的滑動窗口,把應(yīng)變序列分為若干子序列進行異常檢測,該方法不僅能夠觀測單個數(shù)據(jù)點的異常情況,還可對整個應(yīng)變序列中所有子序列進行異常檢測.正樣本選取以裂縫點{80,200,362,482}為中心的樣本視為最佳正樣本,步長為1,滑動窗口大小為24,將距離最佳正樣本最近的7個樣本標記為正樣本,其他數(shù)據(jù)全部標記為負樣本.具體的樣本擴增情況圖2所示.

圖2 樣本擴增

1.2 一維卷積堆疊自編碼器(SCAE)

自動編碼器是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型,它可以學習到輸入數(shù)據(jù)的隱含特征,這稱為編碼,同時用學習到的新特征重構(gòu)出原始輸入數(shù)據(jù),稱之為解碼.單層AE可以被認為是一個三層全連接神經(jīng)網(wǎng)絡(luò),分別為輸入層,隱藏層,輸出層.卷積自編碼器(Convolutional AutoEncoder,CAE)其核心思想是將AE中全連接網(wǎng)絡(luò)換為卷積神經(jīng)網(wǎng)絡(luò).一維堆疊卷積自編碼器由多個一維CAE分層堆疊而成,前一個CAE編碼器的輸出為后一個CAE的輸入,第一個CAE的輸入為預處理后應(yīng)變子序列.一維卷積自編碼器可以獲取噪聲魯棒性強,可判別性高的特征,主要是因為其模型堆疊起來的深層結(jié)構(gòu)與單層自動編碼器相比,具有更強的特征表征能力.每一層CAE的編碼器對輸入數(shù)據(jù)進行映射,解碼器對編碼數(shù)據(jù)進行映射,映射后的數(shù)據(jù)是輸入數(shù)據(jù)的近似.解碼器和編碼器同時訓練,不斷的最小化重構(gòu)誤差,得到最優(yōu)模型.此外其網(wǎng)絡(luò)模型采用了卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)相比于全連接網(wǎng)絡(luò)的優(yōu)勢在于它采用了局部連接、參數(shù)共享、多個卷積核、池化.局部連接主要是卷積層的節(jié)點和其前一層的部分節(jié)點相連接,用來學習局部特征,這種局部連接的方式減少了大量的參數(shù)數(shù)量,加快了學習速率;參數(shù)共享是指每一個卷積核在遍歷整個數(shù)據(jù)時,卷積核的參數(shù)不變,這樣的機制最大的作用就是很大限度地減少了運算量;使用多個卷積核是因為一個核的參數(shù)是固定的,其提取的特征也會單一化,使用多個卷積核有利于提取多特征;池化層其實是一個下采樣的過程,主要是為了降低維度并保留特征的有效信息,減小過擬合,同時提高模型的容錯性.

圖3是由兩個CAE堆疊的SCAE模型,其中X為第一個CAE的輸入,其大小為w×1.圖中左邊虛線框部分,每一個卷積和池化表示一次CAE的編碼過程.其公式如下所示:

圖3 一維堆疊卷積自編碼

上式中,Xi=hi?1,2(i=1,2,···,n),當i=1 時,Xi=X.hi,1,hi,2分 別表示為第i個編碼器中卷積后的數(shù)據(jù)和池化后的數(shù)據(jù),hi,2也是第i個編碼器輸出的特征;?表示卷積;W為卷積核,其大小為kw×1,數(shù)目為kn;b為偏置向量;sf為激活函數(shù);p ool表示池化.圖中右邊虛線框部分表示一次CAE的解碼過程.解碼的具體過程如下:

上式中,為輸入Xi的重構(gòu)數(shù)據(jù);和為第i個卷積自編碼器解碼過程中的第一個卷積的偏置和卷積核;和為第i個卷積自編碼器解碼過程中第二次卷積的偏置和卷積核,其中卷積核的數(shù)量為1,因此最終重構(gòu)出的大小與輸入Xi一致;上采樣得到的特征為;sg是解碼器中的激活函數(shù),與編碼器中一致.本文使用ReLu函數(shù)作為激活函數(shù).

單層CAE模型的目標是最小化輸入數(shù)據(jù)Xi與重構(gòu)數(shù)據(jù)的誤差,其損失函數(shù)如下所示:

其中,i表示堆疊卷積自編碼器中第i個CAE,M表示訓練過程中輸入樣本的總數(shù).

1.3 Softmax分類器

Softmax是一個基于概率的多類分類器[19].數(shù)據(jù)集{(z1,y1),(z2,y2),···,(zM,yM)}中共包含M個樣本,分為K個類別,對于給定的輸入樣本zm,Softmax分類器會基于式(7)判斷屬于每一類別的概率,輸出一個分類標簽ym.

其中,om是輸入zm的輸出類別;w=[w1,w2,···,wK]T是模型的參數(shù),需要通過訓練數(shù)據(jù)來優(yōu)化;對概率分布進行歸一化,使得所有類別的概率和為1.

1.4 預訓練和微調(diào)算法

用于二分類的一維SCAE和Softmax中的卷積核的權(quán)重和自由參數(shù)都是需要調(diào)整的.本文采用預訓練和微調(diào)來調(diào)整其參數(shù).預訓練分為兩個階段,第一個階段是對堆疊自編碼器中的3個CAE單獨訓練,訓練目標是最小化公式(6)中的損失函數(shù).第二階段是將訓練好的3個單層CAE以圖3方式堆疊起來,再對Softmax進行預訓練.通過最小化交叉熵函數(shù)L2對其優(yōu)化.

其中,M表示數(shù)據(jù)集中共包含M個樣本,K表示類別,zm為一維SCAE輸出的第m個子序列的特征,w=[w1,w2,···,wK]T為Softmax回歸模型的自由參數(shù).在預訓練之后,對整個模型進行微調(diào),以重新優(yōu)化SCAE中所有編碼器以及Softmax分類器的自由參數(shù).本文中微調(diào)是將一維SCAE中各CAE編碼器和Softmax作為一個整體去微調(diào)它們的自由參數(shù).通過最小化交叉熵函數(shù)L3對其優(yōu)化.

整個模型為oi=H(Xm;Θ),Θ為模型中所有需要訓練的的參數(shù),Xm為 輸入的第m個子序列.

2 實 驗

2.1 實驗數(shù)據(jù)

本文中使用的數(shù)據(jù)由實驗室搭建試驗臺采集,實驗臺由工字梁、分布式光纖應(yīng)變傳感器和光納儀組成,如圖4所示.

圖4 實驗臺布局示意圖

工字梁鋼結(jié)構(gòu)由三段長度分別為4.575 m、5.85 m和4.575 m的工字鋼拼接而成,兩個拼接接頭處有張口寬度可調(diào)的人造裂縫,通過在工字鋼結(jié)構(gòu)兩端施加配重,微小裂縫的裂縫張口寬度(COD)會相應(yīng)的從0逐漸增加.分布式光纖傳感器一去一回平行地粘附在鋼結(jié)構(gòu)上表面,由此每個裂縫被獨立感測兩次,分布式應(yīng)變數(shù)據(jù)呈現(xiàn)4個裂縫損傷.

本文中的分布式應(yīng)變測量分為2個組,設(shè)置為兩個不同的空間分辨率(SR),分別為10 cm和20 cm.其中兩個分組中又各分為5個case,一共10個case,每個case中獨立測量20次,具體測得的裂縫張口寬度見表1.

表1 鋼梁應(yīng)變測量的10種情況

2.2 數(shù)據(jù)預處理

首先采用1.1節(jié)中z-score標準化方法對采集的數(shù)據(jù)進行標準化,標準化后如圖5所示,圖5(a)是分布式應(yīng)變序列case3,case5,case7獨立測量20條數(shù)據(jù)中的其中1條,圖5(b)是對3條應(yīng)變序列標準化后的序列數(shù)據(jù).

圖5 標準化的分布式應(yīng)變序列

使用1.1節(jié)中樣本擴增的方法對數(shù)據(jù)樣本進行擴增,經(jīng)過數(shù)據(jù)樣本擴增之后,一共得到108 400個子序列樣本,其中正樣本子序列有5120個,負樣本子序列有103 280個.把擴增后子序列取40%作為訓練集,20%作為驗證集,40%作為測試集,用于本文模型的訓練、驗證與測試.

2.3 模型參數(shù)設(shè)置

在模型中主要的參數(shù)設(shè)置如表2所示,主要包括卷積自編碼器中每個卷積層中的卷積核大小、卷積核數(shù)量以及步長.池化層中池化窗口大小以及步長.

表2 模型參數(shù)設(shè)置

(1)輸入為24×1的一維分布式應(yīng)變子序列;

(2)網(wǎng)絡(luò)共有3個卷積層,其卷積核數(shù)目為分別為64、128和256,卷積核大小均為 3 ×1,卷積層中,步長為1,同時兩側(cè)進行大小為1的零填充,因此每層卷積后的尺寸與輸入尺寸相同;

(3)網(wǎng)絡(luò)共有3個池化層,每層使用平均池化,池化窗口大小均為2×1.池化層中,步長為2,因此每次池化后輸出尺寸是輸入尺寸的1/2;

(4)卷積后的特征要經(jīng)過Flatten過程,將得到的多特征圖“壓平”為一個一維序列.將其輸入Softmax分類器分類.

2.4 模擬鋼梁實驗結(jié)果及分析

預訓練和微調(diào)兩個過程都是通過最小化損失函數(shù)來得到最優(yōu)自由參數(shù).預訓練過程是單獨調(diào)整各個CAE以及Softmax的自由參數(shù).微調(diào)是把SCAE 中各CAE編碼器和Softmax作為一個整體去調(diào)整自由參數(shù).自由參數(shù)調(diào)整的準確性體現(xiàn)在迭代過程中,損失不斷降低,趨于收斂時得到的自由參數(shù)是最優(yōu)的.圖6是微調(diào)過程中,訓練集(train)和驗證集(val)的損失變化曲線,實線表示訓練集的損失變化曲線,虛線表示驗證集損失變化曲線.本文設(shè)置的微調(diào)迭代次數(shù)為400次,從圖中可以看出,迭代240次后,訓練集和驗證集的損失已經(jīng)慢慢趨于穩(wěn)定,運用了早停法(early stopping)策略實際迭代288次,保留迭代288次后的參數(shù)作為最優(yōu)模型參數(shù).早停法是驗證集在訓練好的模型的表現(xiàn),當驗證集連續(xù)迭代幾次后,損失增大,停止訓練,這樣就能避免繼續(xù)訓練導致過擬合的問題.

圖6 微調(diào)損失變化

t-SNE算法是一種典型的降維和數(shù)據(jù)可視化的方法[20,21].為了直觀的看出一維堆疊自編碼器模型參數(shù)調(diào)整的準確性以及在訓練好的模型中所提取特征的可分辨性.本文使用t-SNE算法將輸出特征可視化到二維空間,圖7是t-SNE可視化圖,圖中*是正樣本,o是負樣本,圖7(a)是對原始輸入樣本數(shù)據(jù)可視化,可以看出,正負樣本混合在一起;圖7(b)是對一維堆疊卷積自編碼器第3個CAE輸出特征的可視化,可以看出,經(jīng)過深層網(wǎng)絡(luò)訓練后,正負樣本的特征可辨識分離度變得明顯.因此,所提出的基于SCAE的模型具有提取可識別特征的能力.

圖7 t-SNE可視化圖

將測試集送入訓練好的模型中進行分類檢測.為了說明本文方法相較于全連接網(wǎng)絡(luò)的優(yōu)勢和預訓練對檢測結(jié)果的影響.將本文方法與堆疊自編碼器(SAE)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的檢測結(jié)果進行了比較,其比較結(jié)果如表3所示,本文CNN的結(jié)構(gòu)與SCAE的結(jié)構(gòu)相同,但在其訓練過程中,沒有進行預訓練的階段只有對整體進行了微調(diào).SAE是由3個AE堆疊起來,在訓練過程中,對每一層AE進行預訓練,預訓練的過程分為兩個階段,第一個階段是對每一層的AE獨立訓練,優(yōu)化參數(shù).第二個階段對3個一維AE逐一訓練后將AE堆疊起來,并利用堆疊后隱藏層輸出的特征對Softmax進行預訓練.最后對整體進行微調(diào).表中兩種方法所使用的訓練集、驗證集以及測試集相同.

表3 不同深度學習方法比較

表3中FN為假陰性,表示裂縫子序列被檢測為非裂縫,FP為假陽性,表示為非裂縫子序列被檢測為裂縫,FP與FN出現(xiàn)的總和記為Error.Acc為準確率,表示預測正確的樣本的占總樣本數(shù)的比重.從表中可以看出本文方法準確率最高.

本文方法用于微小裂縫檢測,因此假陰性(FN)很重要.從表中可以看出有22個裂縫子序列誤檢為非裂縫,將分類后的結(jié)果定位到光纖應(yīng)變序列.當SR=10 cm時有16個檢錯的子序列出現(xiàn)的case3的第二和第三個裂縫部分,有3個檢錯的子序列出現(xiàn)在case3的第四個個裂縫上,有3個檢錯的子序列出現(xiàn)在case5的第二個個裂縫上.其他的case中,所有的裂縫子序列都被正確的檢測.當SR=20 cm時,所有的裂縫都被正確的檢測.結(jié)果表明,本文方法能夠有效的檢測微裂縫,但性能受空間分辨率的影響.

3 總結(jié)

本文針對具有人為裂縫工字鋼梁表面上的分布式應(yīng)變,提出了一種基于一維堆疊自編碼器的微小裂縫檢測方法.該方法將裂縫檢測當作一種二分類問題.通過逐層堆疊3個CAE來構(gòu)建深度SCAE模型,利用該模型從分段的應(yīng)變子序列中自動提取高質(zhì)量判別性高的特征表征.將Softmax附加至最后一個CAE后,以特征表征作為輸入,對原始輸入應(yīng)變子序列做出分類決策.實驗結(jié)果驗證了本文方法的有效性,其檢測性能受空間分辨率的影響,當SR為20 cm時,可以準確檢測出23 μm及以上的微小裂縫,取得好的檢測效果.但當SR=10 cm時,因為數(shù)據(jù)信噪比較低,對COD為23 μm的微小裂縫無法完全檢測.因此在未來的工作中探索如何消除空間分辨率對裂縫檢測的影響是必要的.