針對(duì)滑坡位移監(jiān)測(cè)的數(shù)據(jù)預(yù)處理方法研究

王勇　董欣悅　劉先林　劉定祥

摘要：文章以滑坡變形監(jiān)測(cè)中最常見(jiàn)的位移實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)為例，采用卡爾曼濾波、拉依達(dá)準(zhǔn)則、最小二乘法等方式對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)現(xiàn)異常值的識(shí)別與數(shù)據(jù)的波動(dòng)平滑，以減少數(shù)據(jù)的異常波動(dòng)干擾，更準(zhǔn)確反映滑坡變形過(guò)程，為預(yù)警系統(tǒng)提供更科學(xué)有效的數(shù)據(jù)。

關(guān)鍵詞：滑坡;拉依達(dá)準(zhǔn)則;卡爾曼濾波;數(shù)據(jù)預(yù)處理

中圖分類號(hào)：U416.1+63

0 引言

滑坡是常見(jiàn)的地質(zhì)災(zāi)害，在我國(guó)山區(qū)，每年都有滑坡災(zāi)害發(fā)生，造成巨大的生命財(cái)產(chǎn)損失。為減少滑坡災(zāi)害影響，實(shí)現(xiàn)提前感知與防范，可對(duì)滑坡進(jìn)行實(shí)時(shí)自動(dòng)化變形監(jiān)測(cè)。但在實(shí)際監(jiān)測(cè)過(guò)程中，有許多客觀環(huán)境和人為因素導(dǎo)致測(cè)量數(shù)據(jù)有各類誤差因而使得預(yù)測(cè)結(jié)果出現(xiàn)偏差。因此，為了保證滑坡災(zāi)害預(yù)測(cè)的準(zhǔn)確性，應(yīng)該先對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理，從而達(dá)到更為理想的數(shù)據(jù)曲線，提高預(yù)警的準(zhǔn)確率。本文針對(duì)滑坡自動(dòng)化監(jiān)測(cè)中的位移數(shù)據(jù)，采用拉依達(dá)準(zhǔn)則來(lái)判斷數(shù)據(jù)采集過(guò)程中所出現(xiàn)的粗大誤差，進(jìn)行異常數(shù)據(jù)剔除，再利用卡爾曼濾波對(duì)數(shù)據(jù)進(jìn)行去噪，使得數(shù)據(jù)的噪聲減小，從而降低擬合時(shí)的誤差，最終將數(shù)據(jù)用最小二乘法進(jìn)行擬合，得到更為準(zhǔn)確、平滑的數(shù)據(jù)曲線，能夠直觀地為預(yù)警系統(tǒng)提供更科學(xué)的數(shù)據(jù)，提高預(yù)警的準(zhǔn)確率。

1 異常數(shù)據(jù)識(shí)別

1.1 基于拉依達(dá)準(zhǔn)則的識(shí)別方法

在對(duì)滑坡進(jìn)行實(shí)時(shí)監(jiān)測(cè)時(shí)獲取的數(shù)據(jù)往往會(huì)因?yàn)楦鞣N客觀和人為因素導(dǎo)致異常值，例如設(shè)備本身會(huì)產(chǎn)生一定的誤差，也可能因環(huán)境、氣溫的變化產(chǎn)生誤差。而在數(shù)據(jù)采集時(shí)，若監(jiān)測(cè)體系被破壞、人為操作誤差或者碰動(dòng)儀器也會(huì)引起監(jiān)測(cè)序列中產(chǎn)生較大異常值。對(duì)于數(shù)據(jù)樣本中的異常偏離點(diǎn)，在預(yù)處理中往往會(huì)采取剔除處理。常用的異常數(shù)據(jù)判別法則有拉依達(dá)準(zhǔn)則、肖維勒準(zhǔn)則、格拉布斯準(zhǔn)則、狄克遜準(zhǔn)則、t檢驗(yàn)和極差法等。拉伊達(dá)準(zhǔn)則，又稱3σ準(zhǔn)則，其適用于樣本數(shù)量n≥10并且可以計(jì)算樣本數(shù)據(jù){X}（i=1，2，…，n）的算術(shù)平均值X—和標(biāo)準(zhǔn)差的情況。針對(duì)服從正態(tài)分布的測(cè)量時(shí)間序列，對(duì){X}以30為控制限構(gòu)建控制限區(qū)間 （μ-3σ ，μ+3σ）進(jìn)行異常值識(shí)別。本次試驗(yàn)所采用的數(shù)據(jù)體量足夠大且數(shù)據(jù)總體服從正態(tài)分布，故采用無(wú)須查表的簡(jiǎn)便的拉依達(dá)準(zhǔn)則。拉依達(dá)準(zhǔn)則將在區(qū)間內(nèi)的數(shù)據(jù)定義為正常數(shù)據(jù)，將不屬于區(qū)間內(nèi)的數(shù)據(jù)定義為變形數(shù)據(jù)。

由于此時(shí)的置信概率為99.73%，基本滿足統(tǒng)計(jì)特性，因此可以有效地判別大偏移數(shù)據(jù)在監(jiān)測(cè)序列中的異常值存在情況。

對(duì)于裂縫計(jì)所給定的測(cè)量次數(shù)充分大的樣本數(shù)據(jù)，可以采取拉依達(dá)準(zhǔn)則來(lái)判斷殘余誤差，從而進(jìn)行異常值剔除。

通過(guò)計(jì)算出樣本標(biāo)準(zhǔn)差σ后，根據(jù)拉伊達(dá)準(zhǔn)則確定一個(gè)控制限區(qū)間（μ-3σ，μ+3σ），對(duì)超出該區(qū)間的數(shù)據(jù)認(rèn)為是粗大誤差予以剔除。

1.2 異常位移數(shù)據(jù)識(shí)別

以滑坡監(jiān)測(cè)中常見(jiàn)的裂縫計(jì)實(shí)時(shí)數(shù)據(jù)為例。該原始數(shù)據(jù)中存在某些數(shù)據(jù)因客觀環(huán)境、人為因素等原因所造成的裂縫計(jì)位移，從而導(dǎo)致某些采集值異常偏大。這種在觀測(cè)過(guò)程中所產(chǎn)生的不符合正態(tài)分布的粗大誤差，會(huì)導(dǎo)致在對(duì)數(shù)據(jù)進(jìn)行擬合時(shí)的均值產(chǎn)生整體偏移。而使用拉依達(dá)準(zhǔn)則進(jìn)行判別，可對(duì)數(shù)據(jù)中的異常值進(jìn)行剔除。某滑坡隱患點(diǎn)的裂縫原始監(jiān)測(cè)數(shù)據(jù)如圖1所示。

如圖2所示，為經(jīng)過(guò)拉依達(dá)算法剔除異常數(shù)據(jù)后的效果圖，可以看到在82 500次、87 500次、92 500次和97 500次附近的特小和特大異常數(shù)據(jù)均被識(shí)別且剔除，并保持了正常數(shù)據(jù)的完整性。

2 數(shù)據(jù)平滑與擬合

2.1 卡爾曼濾波去噪方法

卡爾曼濾波是一種軟件濾波方法，其基本思想是以信號(hào)和噪聲狀態(tài)空間模型作為最佳估計(jì)標(biāo)準(zhǔn)，利用前一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測(cè)值來(lái)更新?tīng)顟B(tài)向量的估計(jì)值，找出當(dāng)前時(shí)刻的估計(jì)值，并根據(jù)既定的系統(tǒng)方程和觀測(cè)方程對(duì)最小平均方差進(jìn)行估計(jì)。

傳統(tǒng)濾波算法有中位值濾波、算數(shù)平均濾波等。本次采用卡爾曼濾波是由于滑坡位移數(shù)據(jù)的實(shí)時(shí)變化性，卡爾曼濾波的核心是預(yù)測(cè)和更新，與傳統(tǒng)的頻域?yàn)V波不同，其為一種狀態(tài)預(yù)測(cè)的時(shí)域?yàn)V波，對(duì)于滑坡的監(jiān)測(cè)有一定的時(shí)效性，監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)出一種動(dòng)態(tài)的過(guò)程。采用卡爾曼濾波去噪可以使數(shù)據(jù)更加精準(zhǔn)，從而更客觀地反映滑坡變形過(guò)程，為預(yù)警系統(tǒng)提供更科學(xué)有效的數(shù)據(jù)?？柭鼮V波的兩個(gè)基本方程為：

通過(guò)計(jì)算k時(shí)刻噪聲協(xié)方差矩陣Qk，觀測(cè)矩陣Hk及觀測(cè)噪聲協(xié)方差矩陣Rk來(lái)達(dá)到預(yù)測(cè)k時(shí)刻狀態(tài)向量估計(jì)值及其協(xié)方差矩陣、更新k時(shí)刻濾波增益矩陣Kk+，從而以“預(yù)測(cè)-更新”的周期來(lái)實(shí)現(xiàn)。接著構(gòu)建出觀測(cè)向量yk，可以達(dá)到更新k時(shí)刻狀態(tài)向量估計(jì)值及其協(xié)方差矩陣的目的。

式中：Rk[DW]——第k時(shí)刻觀測(cè)噪聲協(xié)方差矩陣。

卡爾曼濾波的估計(jì)值要通過(guò)反向?yàn)V波進(jìn)行最優(yōu)的固定區(qū)間平滑處理，需要計(jì)算出k時(shí)刻反向?yàn)V波增益矩陣Kk-和反向?yàn)V波狀態(tài)向量估計(jì)值及其協(xié)方差矩陣。

式中：

K——用于加權(quán)平均的平滑增益矩陣;

x+和P+——正向?yàn)V波估計(jì)中的xk和Pk;

x-和P-——反向?yàn)V波估計(jì)中的xk+1和Pk+1;

xs和Ps——平滑后的待估參數(shù)估計(jì)值及其協(xié)方差矩陣。

2.2 去噪方法應(yīng)用

算法中通過(guò)在實(shí)例變量中存儲(chǔ)各種矩陣來(lái)實(shí)現(xiàn)過(guò)濾器，所有卡爾曼濾波器都以“預(yù)測(cè)-更新”周期運(yùn)行。使用方法或函數(shù) “predict（）” 實(shí)現(xiàn)的 predict 步驟使用狀態(tài)轉(zhuǎn)換矩陣F來(lái)預(yù)測(cè)下一個(gè)時(shí)間段（epoch）的狀態(tài)。狀態(tài)存儲(chǔ)為高斯 （x，P），其中x是狀態(tài)（列）向量，P是其協(xié)方差。協(xié)方差矩陣Q指定過(guò)程協(xié)方差。使用方法或函數(shù)“update（）”實(shí)現(xiàn)的更新步驟將具有協(xié)方差的測(cè)量值z(mì)合并到狀態(tài)估計(jì)值（x，P） 中。

圖3所示為裂縫數(shù)據(jù)通過(guò)卡爾曼濾波去噪算法后的效果，能明顯看出數(shù)據(jù)噪聲減小，濾波后曲線更加平滑。

2.3 最小二乘擬合方法

最小二乘法通過(guò)最小化真實(shí)值和預(yù)測(cè)值的誤差（殘差）的平方和來(lái)尋找數(shù)據(jù)的最佳函數(shù)匹配，利用最小二乘法可以較好地進(jìn)行數(shù)據(jù)擬合。

對(duì)于在時(shí)間x得到的觀測(cè)值y，假設(shè)存在以下的函數(shù)關(guān)系：

式中：c1，c2，…，cm——m個(gè)需要通過(guò)實(shí)驗(yàn)來(lái)確定的參數(shù)。

對(duì)于n>m，設(shè)測(cè)量過(guò)程中的系統(tǒng)誤差可忽略或已修正，則在xi時(shí)的觀測(cè)值yi圍繞著期望值f（xi;c1，c2，…，cm） 波動(dòng)，其分布可認(rèn)為符合正態(tài)分布，則yi的概率密度為：

式中：σ——正態(tài)分布標(biāo)準(zhǔn)誤差。

對(duì)于n組觀測(cè)數(shù)據(jù)（xi，yi），i=1，2，3，…，n，若n≤m，則將數(shù)據(jù)代入式（14），無(wú)法確定所有參數(shù)。

考慮到各次測(cè)量相互獨(dú)立，則yi的似然函數(shù)為：

2.4 數(shù)據(jù)擬合實(shí)現(xiàn)

由于在濾波去噪后的數(shù)據(jù)仍然較為跳動(dòng)，故而在卡爾曼濾波去噪的基礎(chǔ)下對(duì)算法進(jìn)行了改進(jìn)，添加了最小二乘法的曲線擬合，選取擬合曲線時(shí)按照偏差平方和最小的原則，并且采用二項(xiàng)式方程為擬合曲線。

圖4所示為使用了最小二乘法擬合后的數(shù)據(jù)曲線圖。由圖4可見(jiàn)擬合后的曲線相比于使用單一卡爾曼濾波去噪后的曲線更加平滑。

3 結(jié)語(yǔ)

為給滑坡預(yù)警系統(tǒng)提供更準(zhǔn)確、平滑的數(shù)據(jù)，本文探究了利用拉依達(dá)準(zhǔn)則剔除異常數(shù)據(jù)、卡爾曼濾波去除數(shù)據(jù)中噪聲與最小二乘法對(duì)數(shù)據(jù)曲線進(jìn)行擬合的數(shù)據(jù)預(yù)處理方法。在實(shí)際監(jiān)測(cè)現(xiàn)場(chǎng)裂縫數(shù)據(jù)上進(jìn)行試驗(yàn)并取得了不錯(cuò)的效果，能夠使數(shù)據(jù)曲線更加平滑，從而達(dá)到提升滑坡預(yù)警模型準(zhǔn)確率的目的。

參考文獻(xiàn)

[1][ZK（#]張振慧，張正江，胡桂廷，等. 基于拉依達(dá)準(zhǔn)則與線性擬合的改進(jìn)型無(wú)跡卡爾曼濾波粗大誤差補(bǔ)償算法[J]. 計(jì)算機(jī)測(cè)量與控制，2019，27（11）：153-156，162.

[2]盛敏漢，儲(chǔ)日升，危自根. 四川理縣西山村滑坡微震探測(cè)[C]. 2016中國(guó)地球科學(xué)聯(lián)合學(xué)術(shù)年會(huì)論文集，2016.

[3]王 振，白星振，馬夢(mèng)白，等. 一種基于數(shù)據(jù)預(yù)處理和卡爾曼濾波的溫室監(jiān)測(cè)數(shù)據(jù)融合算法[J]. 傳感技術(shù)學(xué)報(bào)，2017，30（10）：1 525-1 530.

[4]張 敏，袁 輝. 拉依達(dá)（PauTa）準(zhǔn)則與異常值剔除[J]. 鄭州工業(yè)大學(xué)學(xué)報(bào)，1997，18（1）：84-88.

[5]龍 悅，徐光黎，高幼龍，等. 數(shù)據(jù)預(yù)處理在滑坡位移相關(guān)分析中的應(yīng)用[J]. 地質(zhì)科技情報(bào)，2012（2）：125-130.

[6]李華清，張志雄. 地形變測(cè)量誤差分析與處理[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2021（4）：102-103.

作者簡(jiǎn)介：

王 勇（1973—），高級(jí)工程師，主要從事工程項(xiàng)目管理工作;

董欣悅（2000—），主要從事數(shù)字信號(hào)處理相關(guān)工作;

劉先林（1982—），碩士，高級(jí)工程師，主要從事巖土工程勘察設(shè)計(jì)與科研工作;

劉定祥（1999—），主要從事數(shù)值分析與算法類研究工作。