韓立 李蘭秀 張明偉 吳麗英
摘 要:文章從智慧環(huán)境監(jiān)測(cè)產(chǎn)生的海量原始數(shù)據(jù)入手,提出一種基于大數(shù)據(jù)獲取、存儲(chǔ)、管理、分析的智能監(jiān)測(cè)分析方法,并通過(guò)聚類(lèi)算法、關(guān)聯(lián)特征挖掘環(huán)境保護(hù)中的隱含信息,旨在更好地發(fā)揮環(huán)境保護(hù)的作用,提升環(huán)境監(jiān)測(cè)管理的水平,促進(jìn)環(huán)保事業(yè)的發(fā)展。
關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)挖掘;環(huán)境監(jiān)測(cè);智能決策
0? ? 引言
隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展,不可避免地帶來(lái)了環(huán)境的惡化,影響了人民的生活質(zhì)量。十九大報(bào)告中將生態(tài)文明建設(shè)提高到前所未有的高度,“十四五”關(guān)于環(huán)保方面提出加快推動(dòng)綠色低碳發(fā)展。持續(xù)改善環(huán)境質(zhì)量,增強(qiáng)全社會(huì)生態(tài)環(huán)保意識(shí),深入打好污染防治攻堅(jiān)戰(zhàn)。由此可見(jiàn),環(huán)境監(jiān)控行業(yè)受到越來(lái)越多的重視,對(duì)環(huán)境進(jìn)行監(jiān)測(cè)和保護(hù)已經(jīng)刻不容緩。環(huán)境監(jiān)測(cè)工作是環(huán)境保護(hù)工作中不可或缺也是極為基礎(chǔ)的一部分,對(duì)于環(huán)境管理有著十分重要的意義。對(duì)于環(huán)境監(jiān)測(cè)工作而言,環(huán)境監(jiān)測(cè)數(shù)據(jù)是其中十分重要的一項(xiàng)內(nèi)容,它對(duì)于所有的環(huán)境決策都有著指導(dǎo)性的作用。對(duì)環(huán)境大數(shù)據(jù)進(jìn)行分類(lèi)、存儲(chǔ)、分析并進(jìn)行傳輸和深度挖掘,找出其中的隱含信息,給用戶(hù)及環(huán)保部門(mén)提供智能決策支持,這是比較難的深度課題。
1? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘在智慧環(huán)境監(jiān)測(cè)中的重要性
信息化的發(fā)展現(xiàn)代智能化的需求促使大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)的產(chǎn)生。隨著環(huán)境問(wèn)題日益突出,環(huán)境監(jiān)測(cè)數(shù)據(jù)不再是對(duì)單個(gè)或者某一類(lèi)型的數(shù)據(jù)進(jìn)行處理,智慧環(huán)境監(jiān)測(cè)采集的原始數(shù)據(jù)類(lèi)型多樣,且具有實(shí)時(shí)性和動(dòng)態(tài)性,環(huán)境管理歷史數(shù)據(jù)來(lái)源渠道廣闊,格式不統(tǒng)一,時(shí)效性強(qiáng),數(shù)據(jù)比較分散,區(qū)域性強(qiáng),環(huán)保工作人員對(duì)數(shù)據(jù)的需求越來(lái)越高,傳統(tǒng)的信息分析與預(yù)測(cè)方法不能對(duì)大量復(fù)雜的環(huán)境信息進(jìn)行深層次分析,傳統(tǒng)的信息管理模式已不能滿(mǎn)足環(huán)境管理工作對(duì)信息處理的需求,大數(shù)據(jù)能夠?yàn)榄h(huán)境監(jiān)測(cè)與優(yōu)化治理提供全方位的數(shù)據(jù)資源支持,把格式復(fù)雜的數(shù)據(jù)格式轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式[1],構(gòu)成環(huán)境監(jiān)測(cè)檔案并進(jìn)行儲(chǔ)存保管,可以實(shí)時(shí)查詢(xún)及監(jiān)控查看,對(duì)所有環(huán)境信息了解工作需求,明確工作問(wèn)題,定位解決問(wèn)題。可以將歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)結(jié)合處理,存儲(chǔ),分類(lèi),分析和處理,不斷生成新的數(shù)據(jù)資源庫(kù),可以提高效率,質(zhì)量,促進(jìn)各部門(mén)的共享,具有較高的應(yīng)用價(jià)值。數(shù)據(jù)挖掘技術(shù)可以突破傳統(tǒng)意義上單調(diào)的監(jiān)測(cè)工作形式,科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢(shì),可以對(duì)大量環(huán)境數(shù)據(jù)進(jìn)行分析,利用聚類(lèi)分析、關(guān)聯(lián)規(guī)則從中發(fā)現(xiàn)未知的隱含的,對(duì)決策有用的潛在信息,為其提供智能的決策支持,制定相應(yīng)的方案,及時(shí)響應(yīng)交解決各類(lèi)問(wèn)題,提高的工作效率。
2? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘
大數(shù)據(jù)(Big Data)是一個(gè)專(zhuān)門(mén)應(yīng)對(duì)大量數(shù)據(jù)的領(lǐng)域,把大量的數(shù)據(jù)收集到一起,形成數(shù)據(jù)的集合,特點(diǎn)是數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、自動(dòng)收集數(shù)據(jù)、自動(dòng)存儲(chǔ)和更新,實(shí)時(shí)性強(qiáng),是一種在獲取、存儲(chǔ)、管理、分析等方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合。數(shù)據(jù)挖掘(Data Mining)屬于數(shù)據(jù)分析的一部分,把對(duì)從未處理過(guò)的、大量的數(shù)據(jù)中每一個(gè)數(shù)據(jù)的探索和分析,從中進(jìn)行關(guān)聯(lián)分析等提取隱含信息的一種過(guò)程,把大數(shù)據(jù)的價(jià)值挖掘出來(lái),給決策者提供智能支持,主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個(gè)步驟。
3? ? 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘
數(shù)據(jù)倉(cāng)庫(kù)是為了支持復(fù)雜的分析和決策以提高分析效率,將數(shù)據(jù)從不同的位置不同區(qū)域組織在一起的一個(gè)過(guò)程,能夠及時(shí)、準(zhǔn)確、合理的對(duì)環(huán)境進(jìn)行調(diào)查和分析,所獲取的數(shù)據(jù)必須地標(biāo)準(zhǔn)化、動(dòng)態(tài)化的管理,把所研究地區(qū)的生態(tài)環(huán)境進(jìn)行調(diào)控和檢測(cè),實(shí)現(xiàn)多部門(mén)共享的目的,從而為該地區(qū)的生產(chǎn)和發(fā)展提供有效的支持與服務(wù),數(shù)據(jù)倉(cāng)庫(kù)三層,即分段、集成和訪(fǎng)問(wèn)。
數(shù)據(jù)挖掘是數(shù)據(jù)倉(cāng)庫(kù)的一種重要運(yùn)用,數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)二者相結(jié)合,以當(dāng)前環(huán)境信息系統(tǒng)為基礎(chǔ),并充分利用歷史數(shù)據(jù),對(duì)環(huán)境決策支持系統(tǒng)模型進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析,包括系統(tǒng)的邏輯層次、數(shù)據(jù)架構(gòu)和功能模塊、數(shù)據(jù)的多維度、多層次的查詢(xún)和分析深入分析,能更好地挖掘潛藏在數(shù)據(jù)中有價(jià)值的信息[2]。
4? ? 基于大數(shù)據(jù)和數(shù)據(jù)挖掘的智慧環(huán)境監(jiān)測(cè)模式
4.1? 實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)與即時(shí)響應(yīng)
實(shí)時(shí)監(jiān)測(cè)與即時(shí)響應(yīng)是智慧環(huán)境監(jiān)測(cè)中最基本的功能,是基于計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)的,是用于實(shí)現(xiàn)現(xiàn)場(chǎng)監(jiān)測(cè)與反饋的環(huán)境監(jiān)控功能,環(huán)境監(jiān)測(cè)與治理的關(guān)鍵在于對(duì)環(huán)境數(shù)據(jù)的搜集、分析與處理,全方面采集信息的大數(shù)據(jù)和對(duì)采集原數(shù)據(jù)再加工和再分析必須運(yùn)用現(xiàn)代化信息技術(shù),借助大數(shù)據(jù)在環(huán)境監(jiān)測(cè)中的應(yīng)用,可對(duì)環(huán)境監(jiān)測(cè)數(shù)據(jù)進(jìn)行合理分類(lèi),以圖像、數(shù)據(jù)庫(kù)的模式進(jìn)行實(shí)時(shí)展示,在環(huán)境數(shù)據(jù)統(tǒng)計(jì)管理中發(fā)揮重要作用。大數(shù)據(jù)分析可以做到對(duì)所有更新的實(shí)時(shí)數(shù)據(jù)進(jìn)行即時(shí)響應(yīng)[3],一旦出現(xiàn)環(huán)境中某個(gè)值超標(biāo),即可進(jìn)行即時(shí)響應(yīng)并進(jìn)行相應(yīng)的處理,建立能夠?qū)崿F(xiàn)后臺(tái)數(shù)據(jù)資源的不斷更新與前臺(tái)查詢(xún)、分析和處理的即時(shí)相應(yīng)的關(guān)聯(lián)系統(tǒng)。
4.2? 通過(guò)分析數(shù)據(jù)預(yù)測(cè)大氣環(huán)境
大數(shù)據(jù)技術(shù)的應(yīng)用可以顯著提高大氣環(huán)境預(yù)測(cè)的準(zhǔn)確性,可以在短時(shí)間內(nèi)對(duì)大量信息做出非常準(zhǔn)確的判斷[4]。將大量的信息在平臺(tái)上充分地聯(lián)系在一起,根據(jù)各種需要結(jié)合數(shù)據(jù)之間的關(guān)聯(lián)和變化特點(diǎn)進(jìn)行總結(jié)分析,并獲取有效的預(yù)測(cè),提升數(shù)據(jù)分析的效率,從中預(yù)測(cè)未來(lái)城市的大氣環(huán)境變化,以此為各行各業(yè)及人們的出行提供有效依據(jù),利用數(shù)據(jù)挖掘技術(shù)將隱性的信息顯性化,通過(guò)圖表、數(shù)據(jù)參數(shù)、數(shù)據(jù)查詢(xún)等綜合形式展示給用戶(hù),提升環(huán)境監(jiān)測(cè)管理水平,促進(jìn)環(huán)保事業(yè)的發(fā)展。
4.3? 構(gòu)建科學(xué)完善的環(huán)境監(jiān)測(cè)預(yù)警體系
環(huán)境監(jiān)測(cè)預(yù)警體系能夠全面反映環(huán)境質(zhì)量狀況和變化趨勢(shì),是做好環(huán)保工作的根本保證,通過(guò)數(shù)據(jù)挖掘技術(shù)可以建立完整先進(jìn)的環(huán)境監(jiān)測(cè)預(yù)警體系,應(yīng)對(duì)未來(lái)各種環(huán)境污染,滿(mǎn)足環(huán)境管理的要求,為環(huán)境保護(hù)服務(wù)。
預(yù)警系統(tǒng)的建立,包括接近臨界值的預(yù)警和達(dá)到臨界值的報(bào)警,關(guān)鍵預(yù)警臨界值的界定,通過(guò)關(guān)聯(lián)算法對(duì)監(jiān)測(cè)環(huán)境數(shù)據(jù)進(jìn)行分析,分析出環(huán)境數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,選定合理的臨界值,科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢(shì)智能預(yù)警、報(bào)警。將獲得的預(yù)警監(jiān)測(cè)因子的數(shù)值與預(yù)警監(jiān)測(cè)因子的臨界值進(jìn)行對(duì)比,滿(mǎn)足一個(gè)或者多個(gè)報(bào)警條件時(shí),系統(tǒng)通過(guò)短信、電子郵件等方式向用戶(hù)、管理員等發(fā)出警報(bào),通知其及時(shí)采取應(yīng)對(duì)和處理措施。報(bào)警功能包括設(shè)備故障,環(huán)境異常,電源斷電等,對(duì)事件進(jìn)行應(yīng)急處置,首先確定事件的各類(lèi),同時(shí)根據(jù)風(fēng)險(xiǎn)的對(duì)象和等級(jí)提出相應(yīng)的應(yīng)急措施。通過(guò)系統(tǒng)的運(yùn)行,可以檢驗(yàn)預(yù)警和報(bào)警臨界值設(shè)定,將數(shù)據(jù)加入到環(huán)境監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù),形成臨界值數(shù)據(jù),以備后續(xù)進(jìn)行深度數(shù)據(jù)挖掘,為以后應(yīng)急方案提供參考[5]。
首先,對(duì)數(shù)據(jù)倉(cāng)庫(kù)中形成的各種海量數(shù)據(jù)進(jìn)行分析,獲取超閾值因子及其參數(shù)。將超閾值參數(shù)及發(fā)生風(fēng)險(xiǎn)事件的坐標(biāo)輸入分析模型及模型耦合系統(tǒng),進(jìn)行模擬預(yù)測(cè),獲得影響模型,在影響模型中對(duì)風(fēng)險(xiǎn)事件進(jìn)行風(fēng)險(xiǎn)分析,對(duì)超閾值因子及其數(shù)值進(jìn)行分析,獲得風(fēng)險(xiǎn)監(jiān)測(cè)因子,即確定對(duì)風(fēng)險(xiǎn)產(chǎn)生影響的各種參數(shù),通過(guò)分析各參數(shù)對(duì)風(fēng)險(xiǎn)的影響程序的不同,確定各參數(shù)的風(fēng)險(xiǎn)權(quán)重,給參數(shù)附加風(fēng)險(xiǎn)權(quán)重后,計(jì)算出含風(fēng)險(xiǎn)權(quán)重在內(nèi)的風(fēng)險(xiǎn)等級(jí)數(shù)據(jù),通過(guò)對(duì)比風(fēng)險(xiǎn)等級(jí)數(shù)據(jù),確定風(fēng)險(xiǎn)等級(jí),發(fā)出等級(jí)信號(hào)。其次,依托環(huán)境大數(shù)據(jù)建立預(yù)警機(jī)制,能夠讓環(huán)境治理變得更具精確,有效規(guī)避環(huán)境治理風(fēng)險(xiǎn),從全局的角度出發(fā)把握環(huán)境發(fā)展趨勢(shì),提前發(fā)現(xiàn)環(huán)境問(wèn)題并做出相應(yīng)對(duì)策。
4.4? 數(shù)據(jù)共享提供智能決策支持
智能決策的前提是監(jiān)測(cè)環(huán)境大數(shù)據(jù)的共享,形成基于云計(jì)算環(huán)境大數(shù)據(jù)信息資源庫(kù),創(chuàng)新思路提升大數(shù)據(jù)技術(shù)的應(yīng)用價(jià)值,利用數(shù)據(jù)挖掘技術(shù)建立服務(wù)模型,通過(guò)對(duì)所有的數(shù)據(jù)進(jìn)行分析和整理,預(yù)估其中的風(fēng)險(xiǎn),尋找規(guī)律,建立關(guān)聯(lián),從而建立云環(huán)境下數(shù)據(jù)的探索和分析結(jié)構(gòu),對(duì)其合理開(kāi)發(fā),優(yōu)化配置,可實(shí)現(xiàn)全面智能化檢測(cè),精準(zhǔn)化管理,反饋后可實(shí)現(xiàn)即時(shí)響應(yīng),遠(yuǎn)程監(jiān)控和診斷,從而實(shí)現(xiàn)環(huán)境的可持續(xù)管理,為環(huán)境監(jiān)測(cè)與治理提供更加科學(xué)合理的決策,推進(jìn)對(duì)環(huán)境大數(shù)據(jù)資源的全面融合[6]。
環(huán)境監(jiān)測(cè)海量數(shù)據(jù)形成數(shù)據(jù)倉(cāng)庫(kù),利用大數(shù)據(jù)技術(shù)進(jìn)行獲取、存儲(chǔ)、管理和分析,改變了傳統(tǒng)的環(huán)境監(jiān)測(cè)管理方法,可以提升環(huán)保工作的效率與質(zhì)量,提高信息管理水平,提升監(jiān)測(cè)與預(yù)測(cè)工作的科學(xué)性和完善性,為政策的制定提供科學(xué)的理論支持;通過(guò)聚類(lèi)分析、關(guān)聯(lián)規(guī)則等方法對(duì)環(huán)境數(shù)據(jù)進(jìn)行深度數(shù)據(jù)挖掘,為環(huán)境監(jiān)測(cè)數(shù)據(jù)監(jiān)管工作提供新的思路,可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、智能預(yù)警、環(huán)境預(yù)測(cè)等智能決策支持,對(duì)環(huán)境執(zhí)法部門(mén)與監(jiān)測(cè)有著重要的促進(jìn)作用,為環(huán)境管理提供智能決策支持,推進(jìn)環(huán)境評(píng)測(cè)工作的精準(zhǔn)性。
[參考文獻(xiàn)]
[1]賈俊乾,張帥.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用探討[J].資源節(jié)約與環(huán)保,2018(3):86-88.
[2]陳志泊,韓慧,王建新.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社,2009.
[3]李立.環(huán)境空氣監(jiān)測(cè)數(shù)據(jù)分析及處理方法[J].環(huán)境與發(fā)展,2019(1):162-163.
[4]李璐.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用研究[J].環(huán)境與發(fā)展,2018(6):169.
[5]朱習(xí)文.環(huán)境保護(hù)大數(shù)據(jù)應(yīng)用技術(shù)分析與研究[J].科學(xué)技術(shù)創(chuàng)新,2018(23):75-76.
[6]林選福.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用[J].環(huán)境與發(fā)展,2018(7):123-124.
(編輯 姚 鑫)
無(wú)線(xiàn)互聯(lián)科技2021年10期