橋梁結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)異常值處理方法

岳加利，郝 靜，盧海林，余 勇，孫舒暢，李培軒

武漢工程大學(xué)土木工程與建筑學(xué)院，湖北 武漢430074

橋梁結(jié)構(gòu)健康監(jiān)測(cè)領(lǐng)域的研究與應(yīng)用已發(fā)展了近30年，近年來愈發(fā)受到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注［1］。而橋梁健康監(jiān)測(cè)系統(tǒng)每天都會(huì)采集海量監(jiān)測(cè)數(shù)據(jù)，這些監(jiān)測(cè)數(shù)據(jù)往往存在很多噪聲信息和異常值，甚至?xí)驗(yàn)楦鞣N干擾導(dǎo)致數(shù)據(jù)失效［2-4］。若使用帶干擾的監(jiān)測(cè)數(shù)據(jù)直接進(jìn)行后續(xù)研究，將會(huì)降低結(jié)論的可靠性和準(zhǔn)確性，不利于橋梁健康狀態(tài)的準(zhǔn)確評(píng)估與安全預(yù)警［5］。因此，亟需對(duì)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行處理與分析。

顏飛等［6］提出一種橋梁建筑質(zhì)量運(yùn)營(yíng)監(jiān)測(cè)數(shù)據(jù)處理方法，運(yùn)用Hadoop平臺(tái)執(zhí)行清洗監(jiān)測(cè)數(shù)據(jù)、剔除無關(guān)數(shù)據(jù)和補(bǔ)齊缺失數(shù)據(jù)；Fu等［7］提出一種非常有效的故障數(shù)據(jù)恢復(fù)“三步走”策略，使用估計(jì)值或采用校正函數(shù)處理值（如均值處理、平滑趨勢(shì)項(xiàng)處理等）替換了故障數(shù)據(jù)；韓曉健等［8］采用改進(jìn)的數(shù)據(jù)跳躍法剔除某疊合梁橋健康監(jiān)測(cè)數(shù)據(jù)的粗差，解決了監(jiān)測(cè)數(shù)據(jù)中多級(jí)異常跳躍的問題；吳運(yùn)宏等［9］針對(duì)橋梁健康監(jiān)測(cè)系統(tǒng)中的數(shù)據(jù)異常問題，提出基于微簇的數(shù)據(jù)流異常檢測(cè)框架，該方法在湖北某大橋的數(shù)據(jù)檢測(cè)上表現(xiàn)出了較好的異常識(shí)別能力；Yi等［10］闡述了異常監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)特征及其表現(xiàn)形式，并給出異常數(shù)據(jù)產(chǎn)生的部分原因；涂成楓等［11］利用應(yīng)變閾值和小波細(xì)節(jié)系數(shù)進(jìn)行異常信號(hào)識(shí)別，并通過多尺度關(guān)聯(lián)性分析對(duì)各頻率組分下的橋梁應(yīng)變進(jìn)行分類，確定了溫度對(duì)應(yīng)變的影響；Moyo等［12］基于小波變換對(duì)大跨度橋梁應(yīng)變數(shù)據(jù)進(jìn)行分析，利用小波系數(shù)時(shí)間序列的變化識(shí)別了監(jiān)測(cè)數(shù)據(jù)中的異常信號(hào)。

綜合相關(guān)研究發(fā)現(xiàn)：一方面，國(guó)內(nèi)外已有研究對(duì)海量橋梁監(jiān)測(cè)數(shù)據(jù)的有效性關(guān)注較少，處理異常數(shù)據(jù)時(shí)缺少對(duì)數(shù)據(jù)分布形式的考量；另一方面，大多主觀割裂了監(jiān)測(cè)過程和處理過程，分析數(shù)據(jù)時(shí)采用的方法依賴于復(fù)雜的領(lǐng)域知識(shí)，不利于實(shí)際的工程應(yīng)用。針對(duì)以上問題，本文基于灰色關(guān)聯(lián)度評(píng)估海量監(jiān)測(cè)數(shù)據(jù)的有效性，采用改進(jìn)箱型圖剔除和補(bǔ)全異常數(shù)據(jù)，對(duì)溫度和應(yīng)變進(jìn)行相關(guān)性分析，并基于Spearman相關(guān)系數(shù)驗(yàn)證了改進(jìn)箱型圖的可靠性和優(yōu)越性。

1 數(shù)據(jù)處理原理

1.1 基于灰色關(guān)聯(lián)度的有效性評(píng)估

判斷監(jiān)測(cè)數(shù)據(jù)的有效性是橋梁健康監(jiān)測(cè)的首要工作，一旦數(shù)據(jù)出現(xiàn)問題將會(huì)給后續(xù)的監(jiān)測(cè)、預(yù)警和評(píng)估工作帶來很大的困擾［13］。同截面同類型傳感器的正常數(shù)據(jù)序列應(yīng)具有一定的關(guān)聯(lián)性，本文采用MATLAB分析同截面同類型傳感器獲得的數(shù)據(jù)序列，基于灰色關(guān)聯(lián)度對(duì)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行有效性評(píng)估。

采用灰色關(guān)聯(lián)度方法定量描述橋梁監(jiān)測(cè)數(shù)據(jù)各參數(shù)的相互關(guān)系或變化趨勢(shì)，工作量小、易于掌握，且能夠較簡(jiǎn)便地判斷海量監(jiān)測(cè)數(shù)據(jù)的有效性［14-15］。具體步驟如下：

1.2 基于改進(jìn)箱型圖的異常值剔除與補(bǔ)全

箱型圖是利用數(shù)據(jù)的最大值、最小值、中位數(shù)、上四分位數(shù)與下四分位數(shù)來描述數(shù)據(jù)的一種方法，對(duì)數(shù)據(jù)的分布形式無要求。應(yīng)用拉格朗日插值法對(duì)箱型圖改進(jìn)后能夠直接替換異常值，既簡(jiǎn)化了處理過程又能夠得到客觀準(zhǔn)確的結(jié)果。箱型圖各部分如圖1所示。

圖1 箱型圖示意Fig.1 Schematic of box plot

拉格朗日插值法通過使用多項(xiàng)式函數(shù)近似輸入與輸出之間的關(guān)系。對(duì)于n+1個(gè)樣本點(diǎn)（x0，y0），···，（xi，yi），···，（xn，yn），在［a，b］內(nèi)給定任意x，可計(jì)算出x處對(duì)應(yīng)的估計(jì)值，其公式如下：

式中，Ln（x）為拉格朗日插值多項(xiàng)式，i是n+1個(gè)數(shù)，yi是xi處的函數(shù)值，xi、xj為互異節(jié)點(diǎn)，li（x）為基函數(shù)。

改進(jìn)的箱型圖進(jìn)行異常值處理的主要步驟為：步驟1，求解數(shù)據(jù)的上分位數(shù)QU、下分位數(shù)QL與中位 數(shù)；步 驟2，設(shè)定Max=QU+1.5（QU-QL）、Min=QL-1.5（QU-QL）；步驟3，如果滿足date＞Max或者date＜Min則判定為異常值；步驟4，刪除異常值，并采用拉格朗日插值法補(bǔ)全因此產(chǎn)生的空缺值；步驟5，重復(fù)步驟1～步驟4，檢驗(yàn)異常值處理情況。

2 工程背景

武漢市某三跨（49 m+72 m+42 m）預(yù)應(yīng)力混凝土變截面連續(xù)梁橋，上部結(jié)構(gòu)為單箱單室箱梁，頂板寬12.49 m，懸臂長(zhǎng)2.5 m，頂板懸臂端部厚22 cm，懸臂根部厚60 cm。如圖2所示，已在主橋中跨和邊跨的1/2截面處安裝了應(yīng)變傳感器和溫度傳感器。應(yīng)變傳感器為振弦應(yīng)變計(jì)，共2個(gè)（S1和S2）分別安裝在箱梁內(nèi)部底板的左右兩側(cè)；溫度傳感器為數(shù)字溫度計(jì)，共15個(gè)，T1安裝在鋪裝層內(nèi)，T2～T6安裝在翼緣根部的混凝土內(nèi)，T7安裝在翼緣板下部，T8～T11貫穿腹板，T12～T15安裝在底板上。應(yīng)變測(cè)點(diǎn)截面和溫度測(cè)點(diǎn)截面數(shù)據(jù)相同，傳感器布置如圖3所示。

圖2 梁橋立面圖（單位：m）Fig.2 Elevation of beam bridge（unit：m）

圖3 傳感器布置圖（單位：cm）Fig.3 Diagram of sensor layout（unit：cm）

3 數(shù)據(jù)處理分析

3.1 有效性評(píng)估

分別選取為期30 d（2020-12-27-2021-01-25）的應(yīng)變數(shù)據(jù)與溫度數(shù)據(jù)進(jìn)行關(guān)聯(lián)度分析。應(yīng)變數(shù)據(jù)共有2組，以其中一組數(shù)據(jù)為參考序列，另一組數(shù)據(jù)為比較序列，算得r1-2=0.932 3，位于0.9～1的區(qū)間內(nèi)。溫度數(shù)據(jù)共有15組，以第一組數(shù)據(jù)為參考序列，其余14組數(shù)據(jù)均為比較序列，求得灰色關(guān)聯(lián)度如表1所示。

表1 溫度灰色關(guān)聯(lián)度Tab.1 Temperaturegrey correlation

從表1可知，14組溫度比較序列與參考序列所計(jì)算的灰色關(guān)聯(lián)度位于0.9～1的區(qū)間內(nèi)。分別從應(yīng)變數(shù)據(jù)和溫度數(shù)據(jù)中選擇50組數(shù)據(jù)作為樣本數(shù)據(jù)，根據(jù)文獻(xiàn)［16］中的閾值公式rij-2 ||σij計(jì)算有效性閾值。經(jīng)檢驗(yàn)，靜應(yīng)變數(shù)據(jù)和溫度數(shù)據(jù)均滿足有效性要求。

3.2 異常值剔除和補(bǔ)全

采用箱型圖對(duì)通過有效性評(píng)估的溫度數(shù)據(jù)與應(yīng)變數(shù)據(jù)進(jìn)行異常值檢測(cè)，并采用改進(jìn)后的箱型圖進(jìn)行異常值剔除和補(bǔ)全。如圖4和圖5所示，溫度數(shù)據(jù)表現(xiàn)正常，而應(yīng)變數(shù)據(jù)存在異常值。應(yīng)變數(shù)據(jù)經(jīng)過改進(jìn)箱型圖處理后得到圖6，可以看出應(yīng)變數(shù)據(jù)趨于平穩(wěn)，處理效果較好，有利于后續(xù)橋梁狀態(tài)評(píng)估與安全預(yù)警。

圖4 溫度數(shù)據(jù)分析：（a）異常值檢測(cè)，（b）監(jiān)測(cè)曲線Fig.4 Temperature data analysis：（a）outlier detection，（b）monitoring curve

圖5 原始應(yīng)變數(shù)據(jù)分析：（a）異常值檢測(cè)，（b）監(jiān)測(cè)曲線Fig.5 Raw strain data analysis：（a）outlier detection，（b）monitoring curve

圖6 改進(jìn)箱型圖處理后的應(yīng)變數(shù)據(jù)分析：（a）異常值檢測(cè)，（b）監(jiān)測(cè)曲線Fig.6 Analysis of strain data processed by improved box plot：（a）outlier detection，（b）monitoring curve

3.3 相關(guān)性分析

在橋梁實(shí)際運(yùn)營(yíng)中，溫度是影響應(yīng)變的主要因素之一，文獻(xiàn)［17-18］通過分析溫度和應(yīng)變數(shù)據(jù)發(fā)現(xiàn)溫度和應(yīng)變呈較強(qiáng)的相關(guān)性。為了消除不同量綱和量綱單位給溫度和應(yīng)變分析過程帶來的不利影響，按照公式（xmax為監(jiān)測(cè)數(shù)據(jù)最大值，xmin為監(jiān)測(cè)數(shù)據(jù)最小值，μ為監(jiān)測(cè)數(shù)據(jù)均值，σ為監(jiān)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)差）對(duì)數(shù)據(jù)進(jìn)行歸一化和標(biāo)準(zhǔn)化處理［19］。處理后的溫度與應(yīng)變趨勢(shì)圖如圖7所示。

圖7 溫度與應(yīng)變相關(guān)性分析：（a）S1處，（b）S2處Fig.7 Correlation analysis of temperature and strain：（a）S1，（b）S2

可以發(fā)現(xiàn)，經(jīng)過歸一化和標(biāo)準(zhǔn)化處理的溫度數(shù)據(jù)和應(yīng)變數(shù)據(jù)的數(shù)值都處于［0，1］之間，兩者曲線的變化趨勢(shì)一致，說明溫度數(shù)據(jù)和應(yīng)變數(shù)據(jù)的相關(guān)性較強(qiáng)。

3.4 對(duì)比驗(yàn)證

Spearman相關(guān)系數(shù)通常也稱為斯皮爾曼秩相關(guān)系數(shù)，它根據(jù)原始數(shù)據(jù)的排序位置估計(jì)2個(gè)變量之間的關(guān)聯(lián)程度與方向，對(duì)樣本的分布形式與容量大小無嚴(yán)格要求，適用于橋梁健康監(jiān)測(cè)數(shù)據(jù)分析［20］。

假設(shè)2個(gè)隨機(jī)變量分別為X、Y，它們的元素個(gè)數(shù)均為n，2個(gè)隨機(jī)變量的第i（1≤i≤n）個(gè)值分別用Xi、Yi表示。對(duì)X、Y進(jìn)行排序，得到2個(gè)元素集合x、y，其中元素xi、yi分別為Xi在X中的排行以及Yi在Y中的排行。Spearman相關(guān)系數(shù)根據(jù)公式rs=1-計(jì)算。

分別求得基于原始數(shù)據(jù)、拉依達(dá)準(zhǔn)則處理的數(shù)據(jù)和改進(jìn)箱型圖處理的數(shù)據(jù)中S1處和S2處的溫度和應(yīng)變之間的Spearman相關(guān)系數(shù)，如表2所示。其中，基于拉依達(dá)準(zhǔn)則處理后的數(shù)據(jù)與原始數(shù)據(jù)的相關(guān)系數(shù)相差不大，而基于改進(jìn)箱型圖處理后的數(shù)據(jù)相關(guān)系數(shù)明顯提高，表明使用該方法去除異常數(shù)據(jù)能取得較好效果。

表2 溫度和應(yīng)變的Spearman相關(guān)系數(shù)Tab.2 Spearman correlation coefficients of temperature and strain

4 結(jié) 論

本文以武漢市某混凝土連續(xù)梁橋健康監(jiān)測(cè)系統(tǒng)為依托，對(duì)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行處理和分析，得到以下結(jié)論：

（1）基于灰色關(guān)聯(lián)度方法對(duì)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行有效性評(píng)估：同截面的2組應(yīng)變數(shù)據(jù)的關(guān)聯(lián)度為0.932 3，同截面的15組溫度數(shù)據(jù)的關(guān)聯(lián)度位于0.9～1的區(qū)間內(nèi)，并且均通過有效性檢驗(yàn)，說明應(yīng)變數(shù)據(jù)和溫度數(shù)據(jù)有效。

（2）經(jīng)過改進(jìn)箱型圖處理后，溫度和應(yīng)變數(shù)據(jù)都獲得了較好的平穩(wěn)性。采用改進(jìn)的箱型圖不僅可檢測(cè)出異常數(shù)據(jù)，而且能將其直接剔除與補(bǔ)全，既簡(jiǎn)化了處理過程又能夠得到相對(duì)準(zhǔn)確的結(jié)果。

（3）分析歸一化和標(biāo)準(zhǔn)化處理后的溫度與應(yīng)變數(shù)據(jù)，發(fā)現(xiàn)溫度和應(yīng)變的相關(guān)性較高。進(jìn)而，分別求出基于原始數(shù)據(jù)、拉依達(dá)準(zhǔn)則處理后的數(shù)據(jù)和改進(jìn)箱型圖處理后的數(shù)據(jù)中兩組溫度和應(yīng)變之間的Spearman相關(guān)系數(shù)，結(jié)果表明采用改進(jìn)箱型圖對(duì)異常數(shù)據(jù)進(jìn)行剔除與補(bǔ)全具有較好效果。