基于模板滑窗處理測(cè)量數(shù)據(jù)中野值的方法*

李紅軍，呂紹杰，張永華，葉旭鳴

(1 國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院， 長(zhǎng)沙 410073； 2 天津津航計(jì)算技術(shù)研究所， 天津 300308)

0 引言

大量的研究數(shù)據(jù)表明，無論是基于最小二乘理論的模型參數(shù)估計(jì)、各種經(jīng)典濾波方法及其改進(jìn)的方法(如KF、EKF、UKF等)，還是頻譜分析中的極大熵譜估計(jì)技術(shù)，對(duì)采樣數(shù)據(jù)中包含的野值反應(yīng)都極為敏感[1]。而由經(jīng)驗(yàn)和統(tǒng)計(jì)理論可知，即使是高精度的測(cè)量設(shè)備，在受到多種偶然因素的影響后也往往包含有較大的隨機(jī)誤差，一般偏離目標(biāo)真值1%～5%，嚴(yán)重時(shí)甚至達(dá)10%～20%的誤差[2]。測(cè)量數(shù)據(jù)中出現(xiàn)的這些野值對(duì)數(shù)據(jù)的處理存在很大影響，如在目標(biāo)跟蹤中，野值會(huì)導(dǎo)致濾波發(fā)散，目標(biāo)丟失[3]。因此，針對(duì)測(cè)量數(shù)據(jù)中連續(xù)出現(xiàn)多個(gè)野值，依據(jù)測(cè)量數(shù)據(jù)的前后相關(guān)性和變化規(guī)律，提出了一種基于模板滑窗濾除測(cè)量數(shù)據(jù)中野值的方法，消除野值對(duì)測(cè)量數(shù)據(jù)處理工作的影響。

1 算法描述

測(cè)量數(shù)據(jù)中野值出現(xiàn)的形式如圖1，孤立型、斑點(diǎn)型野值示意圖如圖2。文中的算法流程如圖3所示，首先設(shè)置滑動(dòng)模板窗口大小及系數(shù)值，窗口的大小依據(jù)所處理的數(shù)據(jù)需要來設(shè)置，滑動(dòng)模板的系數(shù)依據(jù)最小二乘原理獲得；隨后滑動(dòng)模板窗口，卷積計(jì)算預(yù)估值；再把預(yù)估值與實(shí)際測(cè)量值進(jìn)行比較，如滿足誤差限要求，則判斷為真實(shí)值，計(jì)數(shù)器增加，模板滑動(dòng)一位，否則判為野值點(diǎn)，進(jìn)入下一步；下一步判斷前兩個(gè)測(cè)量點(diǎn)是否為野值點(diǎn)，如不是，則預(yù)估值直接替代測(cè)量的野值點(diǎn)，且計(jì)數(shù)器增加，如是，則轉(zhuǎn)入連續(xù)野值點(diǎn)判別。

圖1 測(cè)量數(shù)據(jù)中野值出現(xiàn)的不同形式示意圖

圖2 不同類型野值示意圖

圖3 算法流程圖

1.1 設(shè)置滑動(dòng)模板窗口長(zhǎng)度和系數(shù)值

(1)

式中：

(2)

設(shè)置滑動(dòng)模板的系數(shù)值如下：

aj=c1+c2j,j=1，2，…，n

(3)

則滑動(dòng)模板窗口長(zhǎng)度為5的系數(shù)a1=-0.2，a2=0，a3=0.2，a4=0.4，a5=0.6，如圖4所示。

圖4 滑動(dòng)模板窗口長(zhǎng)度和對(duì)應(yīng)的系數(shù)值

1.2 滑動(dòng)模板與對(duì)應(yīng)測(cè)量數(shù)據(jù)卷積

將滑動(dòng)模板最右端對(duì)準(zhǔn)要進(jìn)行野值判別點(diǎn)的前一個(gè)數(shù)據(jù)，滑動(dòng)模板上的各個(gè)系數(shù)與滑動(dòng)模板下各對(duì)應(yīng)測(cè)量數(shù)據(jù)相乘，并將所有乘積相加，得到滑動(dòng)模板卷積的結(jié)果，即預(yù)測(cè)值。

(4)

重復(fù)上述步驟，使得滑動(dòng)模板在測(cè)量數(shù)據(jù)中遍歷，直至處理完所有的測(cè)量數(shù)據(jù)。

1.3 設(shè)置閾值并比較預(yù)測(cè)值與測(cè)量值

1.4 基于測(cè)量數(shù)據(jù)變化規(guī)律進(jìn)行連續(xù)測(cè)量點(diǎn)判別

從式(3)和圖4可知，滑動(dòng)模板的系數(shù)之和為1，模板第1個(gè)系數(shù)與第3個(gè)系數(shù)的大小相等，符號(hào)相反；第2個(gè)系數(shù)為零；第4個(gè)系數(shù)與第5個(gè)系數(shù)之和為1。也就是說估計(jì)值中權(quán)重最大的是第5個(gè)系數(shù)對(duì)應(yīng)的值，其次是第4個(gè)系數(shù)對(duì)應(yīng)的值，這也說明了相鄰兩個(gè)數(shù)據(jù)之間的相關(guān)性最大，數(shù)據(jù)相距越遠(yuǎn)相關(guān)性越小。因此，當(dāng)野值連續(xù)出現(xiàn)小于3個(gè)時(shí)，不進(jìn)行判斷，當(dāng)野值連續(xù)出現(xiàn)大于2個(gè)時(shí)，進(jìn)行判斷，第3個(gè)估計(jì)值則根據(jù)連續(xù)實(shí)測(cè)值的變化趨勢(shì)估測(cè)該時(shí)刻位置的測(cè)量值，當(dāng)判斷連續(xù)3個(gè)為預(yù)測(cè)值時(shí)，取第1個(gè)預(yù)測(cè)值前面連續(xù)5個(gè)點(diǎn)，求取其平均值，將第3個(gè)預(yù)測(cè)值減去計(jì)算出的平均值，從而得到新的預(yù)測(cè)值?；瑒?dòng)模板窗口按照采樣時(shí)間在測(cè)量數(shù)據(jù)中逐位移動(dòng)，遍歷全部測(cè)量數(shù)據(jù)，直至測(cè)量數(shù)據(jù)采樣結(jié)束。

2 實(shí)驗(yàn)結(jié)果及分析

文中進(jìn)行了仿真實(shí)驗(yàn)和試驗(yàn)測(cè)量數(shù)據(jù)驗(yàn)證算法的有效性，其中采用的滑動(dòng)模板窗口長(zhǎng)度為5，對(duì)應(yīng)的系數(shù)為a1=-0.2，a2=0，a3=0.2，a4=0.4，a5=0.6。試驗(yàn)數(shù)據(jù)如圖5所示，仿真數(shù)據(jù)如圖6所示，其中仿真數(shù)據(jù)人工模擬加入了孤立型野值點(diǎn)、連續(xù)型野斑點(diǎn)，連續(xù)型野斑點(diǎn)包括振蕩型野斑點(diǎn)，大小幅值遞增或遞減型野斑點(diǎn)，幅值相等型野斑點(diǎn)。處理結(jié)果如圖5～圖12所示。

圖5 試驗(yàn)數(shù)據(jù)和野值剔除結(jié)果

圖6 仿真數(shù)據(jù)和野值剔除結(jié)果

圖7 仿真數(shù)據(jù)中孤立型野值點(diǎn)處放大圖

圖8 仿真數(shù)據(jù)中小幅值遞增或遞減型野斑點(diǎn)處放大圖

圖9 試驗(yàn)數(shù)據(jù)中孤立型野值點(diǎn)處放大圖

圖10 仿真數(shù)據(jù)中振蕩型野斑點(diǎn)處放大的圖

圖11 仿真數(shù)據(jù)中幅值相等型野值點(diǎn)處放大圖

圖12 仿真數(shù)據(jù)中大幅值遞增或遞減型野斑點(diǎn)處放大圖

圖5是試驗(yàn)數(shù)據(jù)野值剔除結(jié)果，其中尖銳突出為孤立型野值點(diǎn)，粗直線為剔除野值后的數(shù)據(jù)。圖6 是仿真數(shù)據(jù)野值剔除結(jié)果，其中粗直線表示的是處理后的結(jié)果。圖7、圖8、圖10、圖11、圖12是仿真數(shù)據(jù)野值剔除結(jié)果放大圖，圖9是試驗(yàn)數(shù)據(jù)野值剔除結(jié)果放大圖?？梢钥闯觯惴ㄗ赃m應(yīng)性強(qiáng)，能夠處理不同類型的野值點(diǎn)，證明該算法有效。

3 結(jié)論

針對(duì)測(cè)量數(shù)據(jù)中存在連續(xù)出現(xiàn)多個(gè)野值，依據(jù)測(cè)量數(shù)據(jù)的前后相關(guān)性和變化規(guī)律，提出了一種基于模板滑窗濾除測(cè)量數(shù)據(jù)中野值的方法，消除了連續(xù)多個(gè)野值對(duì)測(cè)量數(shù)據(jù)處理工作的影響，避免了連續(xù)野值造成誤估計(jì)情況的發(fā)生。試驗(yàn)結(jié)果表明，該算法自適應(yīng)性增強(qiáng)，能夠處理不同類型的野值點(diǎn)，而且簡(jiǎn)單有效，可以實(shí)際應(yīng)用。