大壩位移監(jiān)測中的粗差剔除方法

花勝強(qiáng)，胡少英，羅孝兵，高 磊，鄭健兵

(南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院)，江蘇南京211106)

大壩位移監(jiān)測中的粗差剔除方法

花勝強(qiáng)，胡少英，羅孝兵，高 磊，鄭健兵

(南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院)，江蘇南京211106)

針對大壩位移監(jiān)測中常用粗差剔除法存在的問題提出了一種新型的粗差剔除方法。首先，根據(jù)層次分析法得到Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet準(zhǔn)則、四分點(diǎn)準(zhǔn)則的權(quán)重系數(shù)，并設(shè)定好粗差判定閾值；其次，根據(jù)原始觀測資料建立大壩位移的偏最小二乘回歸模型，得出樣本對應(yīng)的殘差序列；然后根據(jù)四個準(zhǔn)則依次判定出所有疑似粗差的測值；最后，按照此4種準(zhǔn)則的權(quán)重系數(shù)，加權(quán)綜合得到每個測值的粗差概率值，并與粗差判定閾值對比，得到最后的粗差集并剔除。該方法綜合考慮了多種粗差數(shù)據(jù)識別方法，權(quán)衡了誤判和漏判的可能性，為剔除大壩位移數(shù)據(jù)中的粗差提供了一種更為科學(xué)合理的方法。

大壩位移監(jiān)測；粗差剔除；Dixon準(zhǔn)則；Grubbs準(zhǔn)則；Chauvenet準(zhǔn)則；四分點(diǎn)準(zhǔn)則

0 引 言

大壩的位移量是大壩安全監(jiān)測的主要指標(biāo)之一，在大壩整體性態(tài)評估中具有十分重要的意義，其異常測值尤其應(yīng)受到特別的重視和分析，而由測量系統(tǒng)和人為操作等因素引起的異常值，應(yīng)將其視為粗差予以剔除，以避免干擾后續(xù)的分析和評估[1]。

所謂粗差，是指在大壩位移量的時間序列中，與相鄰時間的測值存在明顯差異的突變點(diǎn)，其成因一般與大壩的真實(shí)性態(tài)和環(huán)境量的變化無直接關(guān)聯(lián)。當(dāng)前粗差剔除的常用方法按照原理主要分為統(tǒng)計分析法、有限元法和專家經(jīng)驗(yàn)法。其中，統(tǒng)計分析法主要基于已有的觀測數(shù)據(jù)，分析門檻較低，易于實(shí)現(xiàn)[2]。

1 行業(yè)現(xiàn)狀

目前業(yè)界內(nèi)普遍的粗差剔除方法，主要包括專家經(jīng)驗(yàn)法和統(tǒng)計模型法。專家經(jīng)驗(yàn)法主要依賴水工安全監(jiān)測專家的工程經(jīng)驗(yàn)來判定粗差，過于偏重歷史經(jīng)驗(yàn)和專家知識，缺乏客觀依據(jù)，定量分析說明不足，且效率底下，在重復(fù)性大數(shù)據(jù)量工況下難以勝任；統(tǒng)計模型法主要依賴于某一種確定的策略，例如根據(jù)極值、變幅、與擬合值殘差的大小等，對數(shù)據(jù)的利用不夠全面和深入，存在較大誤判和漏判的風(fēng)險，且對工程經(jīng)驗(yàn)和專家知識利用不足，精度有待提升。

2 新型大壩位移數(shù)據(jù)的粗差剔除方法原理及流程

本文提出了一種新型大壩位移數(shù)據(jù)的粗差剔除方法。首先，根據(jù)層次分析法得到Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet準(zhǔn)則、四分點(diǎn)準(zhǔn)則的權(quán)重系數(shù)，并設(shè)定好粗差判定閾值。其次，根據(jù)原始觀察資料建立大壩位移的偏最小二乘回歸模型，得出樣本對應(yīng)的殘差序列，并計算位移序列的均值和標(biāo)準(zhǔn)差。然后，根據(jù)Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet準(zhǔn)則、四分點(diǎn)準(zhǔn)則依次判定出所有疑似粗差的測值。最后，按照此4種準(zhǔn)則的權(quán)重系數(shù)，加權(quán)綜合得到每個測值的粗差概率值，并與粗差判定閾值對比，得到最后的粗差集并剔除，詳細(xì)步驟說明如下[3-5]：

(1)基于層次分析法得出各個準(zhǔn)則，并設(shè)定粗差判定閾值。首先，構(gòu)造Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet準(zhǔn)則、四分點(diǎn)準(zhǔn)則這4種準(zhǔn)則的判斷矩陣Q，其中各元素值Qij的取值定義見表1。為保證相對重要性的傳遞一致性，需要對判斷矩陣Q進(jìn)行檢定，以防止相對重要性出現(xiàn)不自洽的現(xiàn)象。檢定方法是歸一化判斷矩陣Q，并求出Q的最大本征值λmax及對應(yīng)的本征向量M，從而計算一致性系數(shù)

CR=(λmax-n)/[(n-1)×RI]

(1)

式中，n為矩陣的階，值為4；RI為矩陣平均隨機(jī)一致性指標(biāo)，取值為0.9。本文提出的方法以CR取值不大于0.1作為判斷權(quán)重分配合理的標(biāo)準(zhǔn)；如果不滿足，應(yīng)調(diào)整判斷矩陣Q中相關(guān)元素的取值，直至滿足為止，這樣所得到的本征向量M的4個元素的絕對值，即為對應(yīng)的4個準(zhǔn)則的權(quán)重系數(shù)。其次，設(shè)定判斷一個測值為疑似粗差的閾值，范圍應(yīng)小于4個準(zhǔn)則的權(quán)重系數(shù)和。這樣，對于每個測值，如果在某種準(zhǔn)則下的判定結(jié)果為疑似粗差，則累加該準(zhǔn)則對應(yīng)的權(quán)重系數(shù)，最后得到該測值的權(quán)重系數(shù)和，與粗差判定閾值對比，達(dá)到或者超過即為粗差。4個準(zhǔn)則的相對重要性及粗差閾值的設(shè)定機(jī)制，可靈活的根據(jù)實(shí)際樣本的數(shù)據(jù)特性和質(zhì)量來調(diào)整，并能更好地結(jié)合專家知識和歷史經(jīng)驗(yàn)，提高對于不同工程的在地化判定精度。

表1 判斷矩陣Q中元素的取值定義

(2)計算位移序列的均值、標(biāo)準(zhǔn)差及基于回歸模型的殘差序列。首先，根據(jù)原位移測值序列，計算其均值和標(biāo)準(zhǔn)差。其次，確定回歸模型的樣本空間，根據(jù)大壩水平位移基礎(chǔ)成因理論，影響大壩位移的因子包括庫水位H、氣溫T、時效t等，效應(yīng)量即為位移量數(shù)據(jù)，使用偏最小二乘法進(jìn)行回歸擬合，得到回歸模型及對應(yīng)的擬合值序列，并和原始位移值作差從而計算出相應(yīng)的殘差序列。最后，相對于正常值，粗差的殘差通常更為顯著，因此可以根據(jù)殘差來判定測值是否為粗差。

(3)根據(jù)Dixon準(zhǔn)則判定疑似粗差。對于原位移測值序列升序排序，得到新的序列X，記D=(Xn-Xn-2)/(Xn-X3)，對于序列中第k個測值，如果滿足D

(4)根據(jù)Grubbs準(zhǔn)則判定疑似粗差。對于每個測值對應(yīng)的殘差V，當(dāng)和原位移序列的標(biāo)準(zhǔn)差S滿足|V|≥G(n，a)×S時，即判定該測值為疑似粗差。其中，n為原位移測值的總長度；a為顯著性水平，一般采用0.05；G(n，a)值則通過查Grubbs臨界值表得出。

(5)根據(jù)Chauvenet準(zhǔn)則判定疑似粗差。對于每個測值對應(yīng)的殘差V，當(dāng)和序列的標(biāo)準(zhǔn)差S滿足|V|≥Z(n)×S時，即判定該測值為疑似粗差。其中，n為原位移測值的總長度；Z(n)通過查肖維勒系數(shù)表可得。

(6)根據(jù)四分點(diǎn)法則判定疑似粗差。對于殘差序列按照升序進(jìn)行排序，記Q1為新序列中值，Q2為新序列首值到Q1的中值，Q3為Q1到新序列末值的中值，則每個測值對應(yīng)的殘差V滿足V≥4×Q3-Q1，或V≤4×Q1-3×Q3時，即判定該測值為疑似粗差。

(7)4種準(zhǔn)則的判定結(jié)果綜合加權(quán)。對于每一個測值，都有4個疑似粗差判定結(jié)果，將結(jié)果為疑似粗差的準(zhǔn)則的權(quán)重系數(shù)相加，再與粗差判定閾值相比，達(dá)到或者超過，即判定該測值為粗差。這樣可以綜合Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet 準(zhǔn)則、四分點(diǎn)準(zhǔn)則這4種準(zhǔn)則來剔除粗差，權(quán)衡了漏判和誤判的風(fēng)險，達(dá)到最佳精度。

3 實(shí) 例

以湖南某混凝土壩2012年汛期壩頂某點(diǎn)的水平位移自動化監(jiān)測為例，共有325條有效原始記錄。設(shè)定4個準(zhǔn)則的相對重要性均為1，閾值為2。選取的回歸因子包括：①水位H，分別取當(dāng)日至昨日平均、前2～4天平均、前5～10天平均3個時段的H、H2、H3、H4共12個因子。②溫度T，分別為當(dāng)日至昨日平均，溫度諧波因子sin(2πt/365)、cos(2πt/365)、sin(4πt/365)、cos(4πt/365)共5個。③時效t及l(fā)nt共2個。通過偏最小二乘回歸得到回歸方程，并計算出均值為0.093 mm、標(biāo)準(zhǔn)差為1.29，以及對應(yīng)殘差序列。4個準(zhǔn)則的執(zhí)行結(jié)果分別為，Dixon準(zhǔn)則過濾出6條，Grubbs準(zhǔn)則過濾出10條、Chauvenet準(zhǔn)則過濾出14條、四分點(diǎn)準(zhǔn)則過濾出4條，符合條件的共有10條。

此外，分析可以發(fā)現(xiàn)，Chauvenet準(zhǔn)則與Grubbs準(zhǔn)則的接受域相對較窄，在本例中，符合四分點(diǎn)準(zhǔn)則粗差判斷的均符合此兩種法則。因此，在樣本數(shù)量較大并傾向于較為寬松的粗差剔除時，可以降低二者的相對重要性系數(shù)，否則可以提高。

4 結(jié) 語

新型大壩位移數(shù)據(jù)的粗差剔除方法綜合考慮了多種粗差識別方法，權(quán)衡了誤判和漏判的可能性，為剔除大壩位移數(shù)據(jù)中的粗差提供了一種科學(xué)、合理的方法，其流程和特點(diǎn)總結(jié)如下：

(1)可以根據(jù)專家經(jīng)驗(yàn)來設(shè)定4個粗差判定準(zhǔn)則的相對重要性系數(shù)及粗差判定閾值，并在后續(xù)的實(shí)踐中加以訓(xùn)練而得到調(diào)優(yōu)。

(2)計算出位移序列的均值、標(biāo)準(zhǔn)差，以及基于回歸分析的殘差序列，分別使用Dixon準(zhǔn)則、Grubbs準(zhǔn)則、Chauvenet準(zhǔn)則、四分點(diǎn)準(zhǔn)則從多個角度來衡量和篩選疑似粗差。

(3)根據(jù)預(yù)先設(shè)定的各個準(zhǔn)則的權(quán)重系數(shù)，來綜合投票得出每個測值可能為粗差的概率，達(dá)到或者超過粗差閾值即判定為粗差。

綜上所述，該方法能更充分的利用專家知識、歷史經(jīng)驗(yàn)和測量數(shù)據(jù)，更全面地權(quán)衡粗差剔除中的誤判和漏判風(fēng)險，且算法清晰，易于實(shí)現(xiàn)，魯棒性好，能成為大壩安全管理中更為可靠的決策輔助手段。

[1] 吳中如. 水工建筑物安全監(jiān)控理論及其應(yīng)用[M]. 北京: 高等教育出版社, 2003．

[2] 錢小剛, 蔣波, 陳健. 大壩安全信息管理系統(tǒng)改進(jìn)與應(yīng)用[J]. 水力發(fā)電, 2014, 40(8)： 25- 27．

[3] 周元春, 甘孝清, 李端有. 大壩安全監(jiān)測數(shù)據(jù)粗差識別技術(shù)研究[J]. 長江科學(xué)院院報, 2011(2)： 16- 20．

[4] 李嘯嘯, 蔣敏, 吳震宇, 等. 大壩安全監(jiān)測數(shù)據(jù)粗差識別方法的比較與改進(jìn)[J]. 中國農(nóng)村水利水電, 2011(3)： 102- 105．

[5] 景繼, 顧沖時. 數(shù)學(xué)形態(tài)濾波在大壩安全監(jiān)控數(shù)據(jù)粗差檢測中的應(yīng)用[J]. 武漢大學(xué)學(xué)報, 2009(9)： 1126- 1129．

AGrossErrorEliminationMethodforDamDisplacementMonitoring

HUA Shengqiang, HU Shaoying, LUO Xiaobing, GAO Lei, ZHENG Jianbing

(NARI Group Corporations (State Grid Electric Power Research Institute), Nanjing 211106, Jiangsu, China)

A new method for gross error elimination of dam displacement monitoring data is proposed. Firstly, the weight coefficients of Dixon criterion, Grubbs criterion, Chauvenet criterion and four-point criterion are obtained according to analytic hierarchy process, and the threshold of gross error judgment is set. Secondly, the partial least squares regression model of dam displacement data is established based on original observation data and corresponding residual sequence is obtained. Thirdly, all the suspected gross errors are determined by the four criterions. Finally, the gross error set is gotten and eliminated by the weighted sum of gross error probability of each criterion result compared to the threshold. This method comprehensively considers a variety of gross error data recognition methods, and weighs the possibility of miscarriage of justice and missed judgment, that provides a more scientific and reasonable method to eliminate the gross error of dam displacement monitoring data．

dam displacement monitoring; gross error elimination; Dixon criterion; Grubbs criterion; Chauvenet criterion; four-point criterion

TP698.1

A

0559- 9342(2017)09- 0110- 03

2017- 01- 18

花勝強(qiáng)(1982—)，男，江蘇靖江人，高級工程師，主要研究方向?yàn)閿?shù)據(jù)挖掘和大壩安全監(jiān)測．

(責(zé)任編輯焦雪梅)