數(shù)據(jù)融合技術(shù)在環(huán)境監(jiān)測中的運用探究

唐龍彪　唐友姣

摘 要：隨著信息技術(shù)的不斷發(fā)展，人們將越來越多新穎的技術(shù)運用到日常環(huán)境監(jiān)測工作中。針對環(huán)境指標(biāo)的不同，在信息描述上有著不同的差別，所收集到的數(shù)據(jù)也不同。因此，闡述了日常環(huán)境監(jiān)測中數(shù)據(jù)融合技術(shù)的具體運用狀況。

關(guān)鍵詞：數(shù)據(jù)融合技術(shù)；環(huán)境監(jiān)測；信息技術(shù)；信息技術(shù)

中圖分類號：TP79 文獻標(biāo)識碼：A DOI：10.15913/j.cnki.kjycx.2017.05.144

1 關(guān)于數(shù)據(jù)融合技術(shù)概述

1.1 定義

作為新型的數(shù)據(jù)處理技術(shù)中的一種，數(shù)據(jù)融合最早在20世紀(jì)70年代初期出現(xiàn)，最開始這種技術(shù)主要是在軍事領(lǐng)域得以應(yīng)用，所謂“數(shù)據(jù)融合”，事實上是指人腦進行信息處理的方式，在中樞神經(jīng)的運用下傳送信息至大腦中隨后對信息進行綜合處理，從而控制和判斷外部環(huán)境的過程。數(shù)據(jù)融合依托于特定的算法，能將多傳感器在時間或空間上的數(shù)據(jù)互補或有效組合，其目的是為了獲得被測對象一致性的描述或解釋，從而獲取可信度更高、更加準(zhǔn)確的監(jiān)測結(jié)論的過程。

1.2 關(guān)鍵技術(shù)

由于在數(shù)據(jù)融合中有著不同的數(shù)據(jù)源信息描述方式以及數(shù)據(jù)格式，如圖1所示，因此，數(shù)據(jù)融合會在合適工具的利用下統(tǒng)一轉(zhuǎn)換數(shù)據(jù)格式，轉(zhuǎn)換完成后的數(shù)據(jù)能夠在MAPREDUCE的幫助下將不同信息源之間的信息相關(guān)性找出來，分析相關(guān)結(jié)果，并將其作為融合數(shù)據(jù)輸入到計算中；在DS證據(jù)論的幫助下將不同數(shù)據(jù)源重組，從分析相關(guān)性結(jié)果，將得出的數(shù)據(jù)作為融合計算輸入，針對不同來源的數(shù)據(jù)因素采取DS證據(jù)論證的辦法將各個因素之間的關(guān)系和信息進行融合；將得出的融合結(jié)果輸入，并儲存到相應(yīng)的數(shù)據(jù)庫中。

2 設(shè)計環(huán)境監(jiān)測系統(tǒng)

2.1 關(guān)于省級環(huán)境監(jiān)測系統(tǒng)

水環(huán)境監(jiān)測站點存在于環(huán)境監(jiān)測系統(tǒng)中，能夠分成2個部分，一個是手工監(jiān)測站點，另一個是手工監(jiān)測站點。其中，有24個是自動監(jiān)測站點，297個是手工監(jiān)測站點。該環(huán)節(jié)主要內(nèi)容是對水環(huán)境數(shù)據(jù)進行采集，比如石油類排放量、pH值以及氨氮排放量等。設(shè)置有24個大氣監(jiān)測站點是對顆粒物、CO2以及NOX等進行監(jiān)測，其中，還涉及到眾多的污染源信息以及針對不同污染問題所進行的應(yīng)急交通處理信息，比如應(yīng)急物資狀況、應(yīng)急車輛等，面對這些龐大的數(shù)據(jù)，需要將這些信息存儲到本地系統(tǒng)中，并做好安全管理工作，避免網(wǎng)絡(luò)中斷的情況出現(xiàn)，以防有數(shù)據(jù)丟失問題發(fā)生。如果有網(wǎng)絡(luò)中斷問題出現(xiàn)，則需要在下一次恢復(fù)網(wǎng)絡(luò)時將補送數(shù)據(jù)發(fā)送到數(shù)據(jù)中心網(wǎng)絡(luò)中，并儲存到本地數(shù)據(jù)系統(tǒng)之后在網(wǎng)絡(luò)作用下向遠(yuǎn)程數(shù)據(jù)中心傳送。

2.2 設(shè)計數(shù)據(jù)融合環(huán)境監(jiān)測系統(tǒng)

從系統(tǒng)的整體架構(gòu)出發(fā)，其通常被分成3層，按照從上到下的秩序，分別是應(yīng)用層、核心功能層、平臺層，如圖2所示。其中，按照數(shù)據(jù)來源可以將應(yīng)用層分成是大氣環(huán)境數(shù)據(jù)融合與水環(huán)境數(shù)據(jù)融合，依托于MAPREDUCE框架這一大數(shù)據(jù)技術(shù)的作用，平臺層在SPOOP以及HIVE的利用下能夠?qū)OSQL中的關(guān)系型數(shù)據(jù)庫進行傳輸和轉(zhuǎn)換，隨后將其儲存在HDFS文件系統(tǒng)中。當(dāng)所有的機器都在集群中分布，并經(jīng)過ZOOkeeper的審核后，才能對該集群進行有效管理。

3 設(shè)計模塊

3.1 關(guān)于數(shù)據(jù)采集模塊

存在于環(huán)境監(jiān)測系統(tǒng)之中的數(shù)據(jù)采集模塊能被分成2大部分，其中一個是利用數(shù)據(jù)采集儀器對監(jiān)測站點某一時間點中所涉及到的COD、水環(huán)境pH值和鹽度等數(shù)據(jù)的監(jiān)測，并在Oracle這一關(guān)系型數(shù)據(jù)庫的利用下將相關(guān)數(shù)據(jù)存儲到本地數(shù)據(jù)庫中。不同的站點還需要在網(wǎng)絡(luò)編程的幫助下將收集到的數(shù)據(jù)向遠(yuǎn)程數(shù)據(jù)中心傳送，遠(yuǎn)程數(shù)據(jù)中心即NoSQL數(shù)據(jù)存儲方式。

3.2 關(guān)于規(guī)則構(gòu)建模塊

在相關(guān)準(zhǔn)則的依托下所進行的數(shù)據(jù)預(yù)處理有關(guān)的抽取、清洗和轉(zhuǎn)換等工作。一般情況下，清洗準(zhǔn)則都是在國家出臺的相關(guān)業(yè)務(wù)準(zhǔn)則下制訂的，比如COD含量、pH值的范圍等。為了保證數(shù)據(jù)再處理過程中的安全性，對于那些不符合準(zhǔn)則要求的數(shù)據(jù)，需要重新進行過濾處理。對于轉(zhuǎn)換規(guī)則的操作則是需要統(tǒng)一處理數(shù)據(jù)，比如TXT、XML等文件統(tǒng)一轉(zhuǎn)換成TXT格式的文件。在處理某些污染物（命名有差異）或?qū)ξ廴疚锖繂挝贿M行統(tǒng)一時，均需要在相關(guān)標(biāo)準(zhǔn)下進行。在抽取規(guī)則環(huán)節(jié)，需要在污染物類型、監(jiān)測站點編號以及監(jiān)測時間段維度等內(nèi)容的標(biāo)準(zhǔn)下進行。

3.3 關(guān)于數(shù)據(jù)預(yù)處理模塊

就數(shù)據(jù)預(yù)處理模塊而言，其提取于關(guān)系型數(shù)據(jù)庫中，是相關(guān)性分析前所進行的操作，因此，這一環(huán)節(jié)的數(shù)據(jù)預(yù)處理模塊不僅能使相關(guān)模塊數(shù)據(jù)的合理性、有效性得到保證，還能夠使整個處理過程的安全性提高，如圖3所示。這一操作需要在MapReduce框架的幫助下進行，通過Task Tracker與Job Tracker將主從結(jié)構(gòu)組成。其中，Task Tracke的作用在于任務(wù)執(zhí)行，而Job Tracker的作用則在于任務(wù)分配和啟動。

4 結(jié)果展示

從環(huán)境監(jiān)測系統(tǒng)中有關(guān)于風(fēng)速、溫度以及濕度對于大氣監(jiān)測值融合的最終結(jié)果來看，大氣監(jiān)測值每隔5 s便需要更新一次。此時，需要每隔2 h計算一次平均概率分配值，隨后在風(fēng)速、溫度以及濕度等監(jiān)測值的參考下將基本的一個概率分配值得出來，最后再通過DS進行驗證計算。

5 結(jié)束語

綜上所述，本文主要是在數(shù)據(jù)融合技術(shù)的有效應(yīng)用下，對存儲于環(huán)境監(jiān)測中龐大的數(shù)據(jù)進行處理，并將存在于其中的問題進行有效解決，在各個傳感器間的性能以及協(xié)調(diào)性幫助下，逐步提升整個監(jiān)測系統(tǒng)的準(zhǔn)確性和效率。

參考文獻

[1]李恒燦，李權(quán)才.數(shù)據(jù)融合技術(shù)在環(huán)境監(jiān)測中的應(yīng)用[J].中國農(nóng)機化，2011（04）.

[2]劉衛(wèi)萍，王寧，周曉磊.數(shù)據(jù)融合技術(shù)在環(huán)境監(jiān)測領(lǐng)域的應(yīng)用[J].計算機系統(tǒng)應(yīng)用，2016（06）.

[3]陸猛.數(shù)據(jù)融合技術(shù)在環(huán)境監(jiān)測中的應(yīng)用[J].科技風(fēng)，2014（08）.

〔編輯：張思楠〕