環(huán)境自動監(jiān)測網絡的數(shù)據(jù)異常值標識方法及系統(tǒng)

楊瑞鳳 季心紅

（宿州市環(huán)境保護監(jiān)測站安徽宿州23400）

環(huán)境自動監(jiān)測網絡的數(shù)據(jù)異常值標識方法及系統(tǒng)

楊瑞鳳 季心紅

（宿州市環(huán)境保護監(jiān)測站安徽宿州23400）

本文介紹一種環(huán)境自動監(jiān)測網絡的數(shù)據(jù)異常值標識方法及系統(tǒng)，方法包括：根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構；根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。本方法增設了模式跟蹤數(shù)據(jù)和標識演繹標識，并提出了實時數(shù)據(jù)平臺的異常值識別算法，溯源效率高、精確度高、全面、可靠、科學和準確，可廣泛應用于環(huán)境監(jiān)測領域。

環(huán)境自動檢測網絡；數(shù)據(jù)異常值；識別

環(huán)境自動監(jiān)測網絡是環(huán)境質量科學表征的重要數(shù)據(jù)來源，其目的是獲得高質量的環(huán)境監(jiān)測數(shù)據(jù)，并由此推斷整個環(huán)境現(xiàn)有的質量特征。環(huán)境自動監(jiān)測網絡除了擁有一般環(huán)境監(jiān)測的要素外，自身還具備基站長期實時不間斷監(jiān)測、基站與實時數(shù)據(jù)平臺數(shù)據(jù)同步對接、實時數(shù)據(jù)平臺對海量數(shù)據(jù)自動分析統(tǒng)計等特點。針對環(huán)境自動監(jiān)測網絡獨有的技術特點，研發(fā)異常值標識技術，將提升環(huán)境自動監(jiān)測網絡數(shù)據(jù)審核工作的科學性和邏輯性，極大提高了環(huán)境自動監(jiān)測網絡的數(shù)據(jù)質量，保證數(shù)據(jù)審核質量和效率。

1 現(xiàn)有技術不足

1.1 數(shù)據(jù)標識的不完善

目前對網絡數(shù)據(jù)的異常值采取在其后嵌入數(shù)據(jù)標識的技術方法。這種方法可有效地避免異常值納入數(shù)據(jù)統(tǒng)計，但因其對質控工作溯源時沒有對異常值的原因（如儀器質控和外界環(huán)境因素等）進行垂直的追蹤，平臺數(shù)據(jù)管理人員無法追蹤判斷數(shù)據(jù)質量的真實情況。為解決此問題，數(shù)據(jù)管理人員需查詢基站的工作日志和詢問基站維護人員，質控工作的溯源工作效率低下且導致容易因詢問導致出錯[1]。

1.2 識別來源的缺失或不統(tǒng)一

環(huán)境自動監(jiān)測網絡的數(shù)據(jù)異常值的來源包括基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別和平臺人工審核等，這四種來源在網絡的數(shù)據(jù)審核體系里是互相聯(lián)系、互相制約和不可割裂的，應作為一個系統(tǒng)整體的有機結合[2]。

但目前仍沒有相關的技術把四類數(shù)據(jù)標識歸納統(tǒng)一，導致不同階層的數(shù)據(jù)審核者往往只能考慮一個來源的數(shù)據(jù)標識，不夠全面和可靠。

1.3 環(huán)境自動監(jiān)測實時數(shù)據(jù)平臺統(tǒng)計算法的缺失

實時數(shù)據(jù)平臺識別異常值的技術源自統(tǒng)計學、軟件工程和計算機科學。統(tǒng)計學對統(tǒng)計數(shù)據(jù)異常值的識別雖有很多研究成果，但大多是從數(shù)學的角度并針對一些特殊分布例如多維正態(tài)分布、r分布等來實現(xiàn)的。然而，環(huán)境自動監(jiān)測數(shù)據(jù)大多不符合這些分布，難以直接采用這些研究成果來進行檢驗和識別。因此環(huán)境自動監(jiān)測實時數(shù)據(jù)平臺缺乏能檢查和審核統(tǒng)計數(shù)據(jù)可靠性和準確性的統(tǒng)計算法[3]。

此外，目前的異常值識別技術將監(jiān)測數(shù)據(jù)的異常值直接刪除，很難容納統(tǒng)計學理論識別異常值的方法。因為統(tǒng)計學理論能推算監(jiān)測數(shù)據(jù)里的異常值，但不代表該異常值在真實環(huán)境是絕對錯誤的，如果直接刪除被推算為異常的數(shù)據(jù)則不尊重客觀現(xiàn)實，不夠科學和準確。

2 解決思路及辦法

2.1 總體思路

環(huán)境自動監(jiān)測網絡的數(shù)據(jù)異常值標識方法設計思路如圖1所示。

圖1 環(huán)境自動檢測網絡的數(shù)據(jù)異常標識方法設計思路圖

2.2 概念描述

2.2.1 根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構。其中，來源類型標識根據(jù)數(shù)據(jù)的來源進行定義，包括網絡命令標識、基站系統(tǒng)標識、基站儀器自動執(zhí)行命令標識、基站人工審核標識、實時數(shù)據(jù)平臺標識；所述模式標識用于對基站自動監(jiān)測網絡各種形式的信息進行表征、描述和分類，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成，包括監(jiān)測數(shù)據(jù)狀態(tài)標識、質控質保任務標識和基站監(jiān)測系統(tǒng)及儀器故障標識；所述刪除標識，用于表示不能參與統(tǒng)計的監(jiān)測數(shù)據(jù)，具體數(shù)據(jù)格式為：刪除標識/來源類型標識。

2.2.2 根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。其中，模式跟蹤數(shù)據(jù)標識包括結果導向標識和過程導向標識；結果導向標識的數(shù)據(jù)結構為：模式標識（特征標識1，特征標識2，……，特征標識n）/來源類型標識；結果導向標識的生成過程為：選擇結果導向標識的數(shù)據(jù)結構，然后把代表結果的模式標識、以及與該模式標識相關聯(lián)的特征標識1到特征標識n導入到選擇的數(shù)據(jù)結構中；特征標識是指基站監(jiān)測系統(tǒng)開發(fā)者定義的關于系統(tǒng)、儀器的狀況標識或基站采集系統(tǒng)的環(huán)境狀況標識，特征標識1，特征標識2，……，特征標識n是指與代表結果的模式標識相關聯(lián)的特征標識；過程導向標識的數(shù)據(jù)結構為：模式標識（數(shù)值基準標識1，數(shù)值過程標識1，……，數(shù)值基準標識1，數(shù)值過程標識m）/來源類型標識；所述過程導向標識的生成過程為：選擇過程導向標識的數(shù)據(jù)結構；然后把代表過程的模式標識、以及與該模式標識產生過程相關聯(lián)的基準標識1，數(shù)值過程標識1……數(shù)值基準標識1，數(shù)值過程標識m導入到選擇的數(shù)據(jù)結構中；基準標識是指執(zhí)行質控任務時所采用標準樣品的濃度值，數(shù)值過程標識是執(zhí)行質控任務時監(jiān)測儀器測標準樣品所得的結果濃度值，數(shù)值過程標識1，數(shù)值過程標識2，……，數(shù)值過程標識m是指與代表過程的模式標識相關聯(lián)的數(shù)值過程標識，且數(shù)值過程標識m按數(shù)據(jù)標識產生過程的時間先后順序排列；演繹標識是指容納統(tǒng)計學理論識別異常值的標識，具體數(shù)據(jù)格式為：演繹標識/來源類型標識；所述演繹標識并不參與數(shù)據(jù)統(tǒng)計，只用于反映和記錄計算機智能診斷出來的異常值，若人工診斷確認該異常值為真實的異常值，演繹標識會自動轉為刪除標識。

2.3 識別過程及步驟

根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構，對基站層異常值進行識別的步驟如圖2所示。

圖2 基站層面異常值識別流程圖

步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結構，對平臺層異常值進行識別這一步驟，其包括：

圖3 平臺層異常值識別流程圖

步驟B中采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步這一步驟，其包括：

S1、基站與平臺建立socket連接；S2、判斷是否需要同步數(shù)據(jù)標識數(shù)據(jù)庫，若是，則執(zhí)行步驟S3，反之，則執(zhí)行步驟S4；S3、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求，并在平臺同意修改和同步標識匹配檢查完成后向平臺發(fā)送數(shù)據(jù)標識記錄數(shù)據(jù)包，從而使平臺進行應答修改；S4、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求，并在基站同意修改后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包，從而使基站進行應答修改。

上述步驟S3，包括：S31、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求；S32、平臺發(fā)出同意修改請求的響應；S33、基站接收到同意響應后向平臺發(fā)送同步標識為last的數(shù)據(jù)標識數(shù)據(jù)包M；S34、平臺檢查數(shù)據(jù)包M是否與平臺同步數(shù)據(jù)庫中的同步標識為last的數(shù)據(jù)匹配，若是則執(zhí)行步驟S35，反之，則順序執(zhí)行步驟S36～S38；S35、基站向平臺傳輸同步標識為next的數(shù)據(jù)包及其后的數(shù)據(jù)，然后結束同步過程；S36、服務器向基站發(fā)送平臺同步標識為last的數(shù)據(jù)包L；S37、基站在基站同步數(shù)據(jù)庫中搜索與數(shù)據(jù)包L匹配的數(shù)據(jù)記錄，并把搜索到的匹配數(shù)據(jù)的同步標識修改為last，同時基站把下一時刻數(shù)據(jù)記錄的同步標識修改為next；S38、基站向平臺傳輸同步標識為next的數(shù)據(jù)標識記錄數(shù)據(jù)包R及其后的數(shù)據(jù)，然后結束同步過程。

其中步驟S4，包括：S41、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求；S42、基站發(fā)出同意修改的響應；S43、平臺在接收到同意的響應后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包；S44、平臺通知基站數(shù)據(jù)包發(fā)送完畢，基站應答；S45、基站根據(jù)修改數(shù)據(jù)包修改基站的數(shù)據(jù)標識知識庫。

3 結語

3.1 一種全新結構的數(shù)據(jù)標識類型—模式跟蹤數(shù)據(jù)標識，能有效地記錄監(jiān)測網絡質控的歷史過程，為質控工作的溯源提供技術依據(jù)，提高了溯源的工作效率，降低了出錯率；根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，使不同級別的數(shù)據(jù)審核者在進行審核時能整體考慮四個來源的數(shù)據(jù)標識，更加全面和可靠；增設了演繹標識，不直接刪除監(jiān)測數(shù)據(jù)的異常值，而是為監(jiān)測數(shù)據(jù)的異常值賦予演繹標識，以輔助數(shù)據(jù)實時平臺數(shù)據(jù)管理人員準確識別監(jiān)測數(shù)據(jù)的異常值是否為真實的異常值，能容納統(tǒng)計學理論識別異常值的方法，更加科學和準確；

3.2 采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步，能保證平臺層和基站層的數(shù)據(jù)標識能同步更新以及對基站層的數(shù)據(jù)標識知識庫進行修改。進一步，采用經改進帶有同步標識的同步算法實現(xiàn)基站層異常值和平臺層異常值的同步，能防止平臺服務器因停電等因素而導致的數(shù)據(jù)丟失故障，而且可以對基站人工修改的數(shù)據(jù)標識進行更新，更加安全和方便。進一步，提出了環(huán)境自動監(jiān)測實時數(shù)據(jù)異常值數(shù)據(jù)識別的完整算法，能很好地對負值、超出儀器量程范圍的值、連續(xù)不變的值、基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)進行識別，同時能很好地容納統(tǒng)計學理論在平臺異常值自動識別中的運用，更加可靠和科學。

[1]李艷萍,張浩,周國棟.完善環(huán)境監(jiān)測技術監(jiān)督體系的思考[J].環(huán)境監(jiān)測管理與技術,2014,26(6):5-8.

[2]李蔚,胡昊,徐富春,等.大數(shù)據(jù)解析技術在大氣環(huán)境監(jiān)測中的應用研究[J].中國環(huán)境監(jiān)測,2015,31(3)：118-122．

[3]魏晶茹,馬瑜,白冰,等.基于PSO-SVM算法的環(huán)境監(jiān)測設局異常檢測和缺失補缺[J].環(huán)境監(jiān)測管理與技術,2016,28（4）：53-56+68.

楊瑞鳳（1983—），女，漢族，安徽宿州人，本科，工程師，從事監(jiān)測分析工作。