基于大數(shù)據(jù)平臺(tái)的PM2.5監(jiān)測(cè)預(yù)警系統(tǒng)研究

曹 騮，吳修文

（南京云創(chuàng)存儲(chǔ)科技有限公司 南京210014）

1 社會(huì)背景

近兩年，在工業(yè)污染、汽車尾氣等因素的影響下，城市的環(huán)境污染日益嚴(yán)重，空氣中的細(xì)顆粒物（PM2.5）濃度越來越高，全國很多城市都受到霧霾的困擾，霧霾現(xiàn)象嚴(yán)重，給百姓的日常生活造成了極大的困擾，引發(fā)業(yè)界和專家們的強(qiáng)烈關(guān)注。

目前，國內(nèi)的環(huán)境監(jiān)測(cè)中心站點(diǎn)數(shù)量相對(duì)較少且呈分散分布，很難提供全方位的環(huán)境監(jiān)測(cè)數(shù)據(jù)。環(huán)境監(jiān)測(cè)數(shù)據(jù)能夠在宏觀上反映整個(gè)城市PM2.5的情況，卻不能從微觀上反映某個(gè)局部區(qū)域或是特定區(qū)域PM2.5的濃度，因此，需要增加環(huán)境監(jiān)測(cè)站點(diǎn)的建設(shè)數(shù)量，提供更多的實(shí)時(shí)環(huán)境監(jiān)測(cè)數(shù)據(jù)。

基于大數(shù)據(jù)平臺(tái)的PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)能夠作為現(xiàn)有環(huán)境監(jiān)測(cè)站點(diǎn)的有力補(bǔ)充，可以準(zhǔn)確、及時(shí)、全面地反映環(huán)境質(zhì)量現(xiàn)狀及發(fā)展趨勢(shì)，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學(xué)依據(jù)。PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)突破了傳統(tǒng)的監(jiān)測(cè)方法，運(yùn)用創(chuàng)新的設(shè)計(jì)理念，使環(huán)保與云計(jì)算技術(shù)有機(jī)結(jié)合，架構(gòu)大數(shù)據(jù)處理平臺(tái)，采用大數(shù)據(jù)挖掘與分析方法，結(jié)合城市地形、天氣情況、人口密度、交通路況以及工業(yè)產(chǎn)值等元素，為系統(tǒng)地研究改善大氣環(huán)境質(zhì)量起到了重大的創(chuàng)新支撐作用。

2 PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)

2.1 系統(tǒng)架構(gòu)

云創(chuàng)存儲(chǔ)的PM2.5 云監(jiān)測(cè)平臺(tái)通過超大規(guī)模部署PM2.5 監(jiān)測(cè)節(jié)點(diǎn)對(duì)環(huán)境進(jìn)行實(shí)時(shí)監(jiān)測(cè)，通過云計(jì)算（數(shù)據(jù)立方）分析處理大規(guī)模的PM2.5 監(jiān)測(cè)的數(shù)據(jù)，利用PM2.5 監(jiān)測(cè)和預(yù)警系統(tǒng)可以做到及時(shí)的污染預(yù)警，并且通過郵件、APP 等數(shù)據(jù)推送方式進(jìn)行空氣污染自動(dòng)報(bào)警，能夠幫助人們做好污染防護(hù)工作，最大程度地降低空氣污染。通過對(duì)海量歷史數(shù)據(jù)進(jìn)行智能分析，能夠演化到PM2.5的污染過程，并且追溯污染源頭，進(jìn)而治理PM2.5 污染源頭，有效抑制污染源，保護(hù)空氣環(huán)境。PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)總體架構(gòu)如圖1 所示。

PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)由前端的PM2.5 云監(jiān)測(cè)儀和后端的大數(shù)據(jù)處理平臺(tái)組成，它突破了傳統(tǒng)的監(jiān)測(cè)方法，運(yùn)用創(chuàng)新的設(shè)計(jì)理念，使環(huán)保與大數(shù)據(jù)技術(shù)有機(jī)結(jié)合，架構(gòu)海量數(shù)據(jù)處理平臺(tái)。

2.2 可大規(guī)模部署的PM2.5 云監(jiān)測(cè)儀

PM2.5 云監(jiān)測(cè)儀由設(shè)備箱、傳感器、主控板、電源和無線通信平臺(tái)組成。傳感器將采集到的電信號(hào)通過線材傳輸給主控板，主控板進(jìn)行信號(hào)解析、算法分析和數(shù)據(jù)量化后，將數(shù)據(jù)通過無線通信方式（GPRS）傳輸?shù)皆破脚_(tái)。PM2.5 云監(jiān)測(cè)儀可以大規(guī)模部署，每個(gè)儀器均可以將采集到的數(shù)據(jù)傳輸?shù)皆破脚_(tái)進(jìn)行處理。PM2.5 云監(jiān)測(cè)儀的安裝部署方式方便，可以部署在戶外的立桿或者墻壁上，這種部署方式和傳統(tǒng)的部署方式完全不同，符合超大規(guī)模部署的條件，并且PM2.5 云監(jiān)測(cè)儀完全基于云平臺(tái)，可以同時(shí)接入成千上萬的PM2.5 云監(jiān)測(cè)儀。PM2.5 云監(jiān)測(cè)節(jié)點(diǎn)實(shí)物如圖2 所示。

2.3 PM2.5 大數(shù)據(jù)處理平臺(tái)

通過大規(guī)模部署PM2.5 云監(jiān)測(cè)儀，針對(duì)PM2.5監(jiān)測(cè)建立基于大數(shù)據(jù)處理的PM2.5 云監(jiān)測(cè)平臺(tái)。PM2.5 云監(jiān)測(cè)儀檢測(cè)到PM2.5的相關(guān)信息，通過GPRS 進(jìn)行無線數(shù)據(jù)傳輸，傳輸?shù)皆破脚_(tái)，成千上萬的實(shí)時(shí)數(shù)據(jù)在數(shù)據(jù)接收服務(wù)器上進(jìn)行數(shù)據(jù)接收、解析和預(yù)處理，將數(shù)據(jù)存入數(shù)據(jù)立方中進(jìn)行云處理和云存儲(chǔ)。

數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)是一種處理海量數(shù)據(jù)的高效分布式軟硬件集合的云處理平臺(tái)，該平臺(tái)可以從TB 級(jí)乃至PB 級(jí)的數(shù)據(jù)中挖掘出有用的信息，并對(duì)這些海量信息進(jìn)行快捷、高效的處理。平臺(tái)支持100 Gbit/s 以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引，秒級(jí)響應(yīng)客戶請(qǐng)求，秒級(jí)完成數(shù)據(jù)處理、查詢和分析工作。平臺(tái)可以對(duì)入口數(shù)據(jù)進(jìn)行實(shí)時(shí)索引，對(duì)數(shù)據(jù)進(jìn)行分析、清理、分割，并將其存儲(chǔ)在云存儲(chǔ)系統(tǒng)上，不僅在入庫和檢索時(shí)具有非常高的性能優(yōu)勢(shì)，還可以支持?jǐn)?shù)據(jù)深度挖掘和商業(yè)智能分析等業(yè)務(wù)。

數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)的技術(shù)優(yōu)勢(shì)主要包括以下6個(gè)方面。

（1）匯總歷史監(jiān)控?cái)?shù)據(jù)

該系統(tǒng)能夠?qū)η|級(jí)的海量歷史數(shù)據(jù)進(jìn)行匯總處理。

（2）原始數(shù)據(jù)實(shí)時(shí)入庫、生成索引

該系統(tǒng)能夠?qū)υ急O(jiān)控?cái)?shù)據(jù)流進(jìn)行實(shí)時(shí)處理并生成索引。

（3）原始監(jiān)控?cái)?shù)據(jù)上報(bào)

該系統(tǒng)能夠?qū)η|級(jí)的海量上報(bào)監(jiān)控?cái)?shù)據(jù)進(jìn)行上報(bào)處理。

（4）數(shù)據(jù)秒級(jí)查詢能力

高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級(jí)查詢速度。

（5）數(shù)據(jù)存儲(chǔ)、計(jì)算

該系統(tǒng)能夠存儲(chǔ)千億級(jí)別的數(shù)據(jù)，完成各種復(fù)雜的業(yè)務(wù)應(yīng)用計(jì)算。

（6）實(shí)時(shí)業(yè)務(wù)響應(yīng)

具有高效、實(shí)時(shí)的數(shù)據(jù)通道，對(duì)于監(jiān)控、告警等實(shí)時(shí)業(yè)務(wù)，提供秒級(jí)響應(yīng)時(shí)間。

數(shù)據(jù)立方云計(jì)算一體機(jī)管理系統(tǒng)和PM2.5 預(yù)警平臺(tái)靜態(tài)分別如圖3 和圖4 所示。

2.4 應(yīng)用大數(shù)據(jù)技術(shù)的必要性

由于分散在城市周圍大量的PM2.5 監(jiān)控點(diǎn)（100～10 000個(gè)） 需要實(shí)時(shí)地并發(fā)上傳大量PM2.5數(shù)據(jù)，同時(shí)需要存儲(chǔ)和處理海量的PM2.5 歷史數(shù)據(jù)，采用傳統(tǒng)的方案顯然難以滿足存儲(chǔ)數(shù)據(jù)和分析處理數(shù)據(jù)的需求。

PM2.5 云監(jiān)測(cè)平臺(tái)會(huì)產(chǎn)生海量的數(shù)據(jù)。假如一個(gè)城市部署了5 000個(gè)監(jiān)測(cè)點(diǎn)，每個(gè)點(diǎn)每5 s 上報(bào)一次數(shù)據(jù)，一天會(huì)產(chǎn)生8.64 億條記錄，一年就會(huì)產(chǎn)生3 153.6 億條記錄，10年就會(huì)產(chǎn)生3 萬億條記錄。從趨勢(shì)分析角度看，長(zhǎng)期保存歷史數(shù)據(jù)是必要的。傳統(tǒng)的數(shù)據(jù)庫無法支撐如此多的數(shù)據(jù)量，必須使用云計(jì)算數(shù)據(jù)庫。

（1）存儲(chǔ)層

存儲(chǔ)層使用云創(chuàng)存儲(chǔ)公司的cStor 云存儲(chǔ)系統(tǒng)。cStor 具有眾多優(yōu)勢(shì)，如超低功耗、極高的性價(jià)比、通用、高可靠、免維護(hù)等，可廣泛應(yīng)用于有大量數(shù)據(jù)存儲(chǔ)需求的場(chǎng)合。存儲(chǔ)量大，每個(gè)標(biāo)準(zhǔn)機(jī)架的最高容量是國際先進(jìn)水平的3 倍，可達(dá)1 024 TB 以上；功耗很低，cStor 每個(gè)節(jié)點(diǎn)只需幾瓦功率，與業(yè)界典型值200 W 相差甚遠(yuǎn)；成本較低，硬件與運(yùn)營成本只有同類產(chǎn)品的幾分之一。目前，cStor 云存儲(chǔ)系統(tǒng)已成功應(yīng)用于智慧交通、視頻監(jiān)控、動(dòng)漫制作和數(shù)字地球等多個(gè)領(lǐng)域。

（2）處理層

處理層使用Intel 云創(chuàng)數(shù)據(jù)立方云計(jì)算一體機(jī)以及數(shù)據(jù)立方云計(jì)算分布式數(shù)據(jù)庫，即可解決海量數(shù)據(jù)的高速入庫、關(guān)聯(lián)查詢和快速索引等問題，使萬億條記錄級(jí)的數(shù)據(jù)查詢能夠?qū)崿F(xiàn)秒級(jí)處理。

總體而言，PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)利用數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)對(duì)海量監(jiān)測(cè)數(shù)據(jù)進(jìn)行挖掘和分析，可以為執(zhí)法者提供法律依據(jù)，從而為改善大氣污染提供技術(shù)支持。

3 成功案例

作為“1831”物聯(lián)網(wǎng)建設(shè)工程的試點(diǎn)區(qū)，江蘇省環(huán)保廳選取昆山市千燈鎮(zhèn)化工園區(qū)，在重點(diǎn)污染區(qū)域大規(guī)模部署環(huán)境質(zhì)量監(jiān)測(cè)傳感器，通過查詢海量歷史數(shù)據(jù)并加以智能分析，追溯工業(yè)區(qū)的污染源頭所在位置，并監(jiān)測(cè)污染的過程，同時(shí)，視頻攝像頭能夠攝錄污染視頻，數(shù)據(jù)與錄像相結(jié)合，更方便環(huán)保部門進(jìn)行環(huán)境管理和整頓，實(shí)現(xiàn)“執(zhí)法有據(jù)”。通過結(jié)合大數(shù)據(jù)處理平臺(tái)和PM2.5監(jiān)測(cè)預(yù)警平臺(tái)，對(duì)大規(guī)模的PM2.5 監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析處理，能夠?qū)崟r(shí)地進(jìn)行預(yù)警，降低污染對(duì)環(huán)境的危害。

（1）需求分析

在昆山市千燈鎮(zhèn)化工園試點(diǎn)區(qū)化工企業(yè)的儲(chǔ)罐區(qū)、生產(chǎn)區(qū)等區(qū)域布設(shè)PM2.5 質(zhì)量監(jiān)測(cè)傳感器，監(jiān)控點(diǎn)視頻與省廳的聯(lián)網(wǎng)，實(shí)現(xiàn)視頻監(jiān)控聯(lián)網(wǎng)集成，保證所有的信息采集點(diǎn)能夠?qū)F(xiàn)有的視頻信息和監(jiān)測(cè)數(shù)據(jù)傳輸?shù)绞d監(jiān)控中心。

（2）建設(shè)目標(biāo)

根據(jù)江蘇省生態(tài)環(huán)境監(jiān)控系統(tǒng)建設(shè)的總體要求，開展基于云計(jì)算技術(shù)的PM2.5 監(jiān)測(cè)預(yù)警平臺(tái)建設(shè)工作，編制監(jiān)測(cè)數(shù)據(jù)、視頻集成技術(shù)規(guī)范，建設(shè)中需要選擇化工企業(yè)的儲(chǔ)罐區(qū)、生產(chǎn)區(qū)設(shè)置多個(gè)監(jiān)控傳感器，聯(lián)網(wǎng)集成并提供各類視頻信息和監(jiān)測(cè)數(shù)據(jù)的調(diào)用接口，通過后臺(tái)開展風(fēng)險(xiǎn)源視頻監(jiān)控?cái)?shù)據(jù)采集、存儲(chǔ)、分析、評(píng)價(jià)等試點(diǎn)工作，建設(shè)生態(tài)環(huán)境監(jiān)控系統(tǒng)空氣環(huán)境質(zhì)量監(jiān)測(cè)預(yù)警平臺(tái)。

（3）建設(shè)思路

PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)通過PM2.5 檢測(cè)設(shè)備和前端特征因子采集設(shè)備進(jìn)行相關(guān)信息的采集，然后通過GPRS 進(jìn)行無線數(shù)據(jù)傳輸，在有公網(wǎng)IP 服務(wù)器上接收數(shù)據(jù)并對(duì)數(shù)據(jù)做初步處理，再將數(shù)據(jù)存入數(shù)據(jù)立方，在數(shù)據(jù)立方中進(jìn)行存儲(chǔ)和計(jì)算。通過視頻攝像終端設(shè)備拍攝排放污染的全過程，可以檢測(cè)到每個(gè)點(diǎn)的污染情況，經(jīng)過Web 服務(wù)器和視頻服務(wù)器進(jìn)行最后的數(shù)據(jù)處理和公布。用戶在Web 頁面和移動(dòng)終端可以實(shí)時(shí)查看并了解所有監(jiān)測(cè)點(diǎn)的監(jiān)控視頻和PM2.5的實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)，即所謂的“有圖有真相”，生動(dòng)形象地展示了空氣污染情況及相關(guān)數(shù)據(jù)，為環(huán)保部門管理工作和工業(yè)區(qū)的環(huán)境整頓工作做好技術(shù)支持。軟件是該系統(tǒng)的靈魂，控制著前端數(shù)據(jù)的采集、中間數(shù)據(jù)的傳輸、管理平臺(tái)的數(shù)據(jù)處理、預(yù)警系統(tǒng)的運(yùn)行及預(yù)警處理預(yù)案的啟動(dòng)。

（4）建設(shè)成果

PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)在江蘇省環(huán)保局固定風(fēng)險(xiǎn)源監(jiān)測(cè)項(xiàng)目上成功應(yīng)用，并擬作為PM2.5 監(jiān)測(cè)領(lǐng)域的示范工程。該平臺(tái)已經(jīng)在南京環(huán)保局進(jìn)行驗(yàn)證，誤差率小于5%，現(xiàn)已計(jì)劃在南京市進(jìn)行全面的推廣應(yīng)用。

2013年9月，PM2.5 云監(jiān)測(cè)平臺(tái)在秦皇島市環(huán)境保護(hù)檢測(cè)站、海港區(qū)環(huán)保局、北戴河區(qū)新華社療養(yǎng)院、山海關(guān)區(qū)環(huán)境保護(hù)局監(jiān)測(cè)站、北方玻璃工業(yè)園、石門鎮(zhèn)、撫寧縣石門寨鎮(zhèn)人民政府7個(gè)監(jiān)控點(diǎn)完成部署。

2014年5月，河北省環(huán)保廳已經(jīng)完成了前期的測(cè)試，并制定了大規(guī)模部署的計(jì)劃，目前已完成300 套的網(wǎng)絡(luò)化布設(shè)，實(shí)現(xiàn)了當(dāng)?shù)豍M2.5 數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)與預(yù)警的效果，得到當(dāng)?shù)丨h(huán)保部門的一致好評(píng)。

截至目前，南京云創(chuàng)存儲(chǔ)科技有限公司已先后與南京、昆山、鎮(zhèn)江、石家莊、秦皇島等城市環(huán)保部門建立了良好的關(guān)系，其他城市的業(yè)務(wù)也在持續(xù)進(jìn)展中。相信在不久的將來，PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)定能在全國遍地開花。

4 數(shù)據(jù)精確度實(shí)驗(yàn)

2013年10月1日～10月21日，PM2.5 監(jiān)測(cè) 設(shè)備在草場(chǎng)門進(jìn)行的實(shí)驗(yàn)監(jiān)測(cè)數(shù)據(jù)與某市環(huán)境監(jiān)測(cè)中心站（以下簡(jiǎn)稱“市站”）的PM2.5 例行監(jiān)測(cè)數(shù)據(jù)（β 射線+DHS，型號(hào)BM1020）進(jìn)行對(duì)比分析。監(jiān)測(cè)預(yù)警平臺(tái)與市站PM2.5 監(jiān)測(cè)數(shù)據(jù)相關(guān)性檢驗(yàn)結(jié)果和監(jiān)測(cè)預(yù)警平臺(tái)與市站監(jiān)測(cè)PM2.5 小時(shí)濃度變化趨勢(shì)分別如圖5 和圖6 所示。

5 結(jié)束語

作為南京云創(chuàng)存儲(chǔ)科技有限公司典型的環(huán)保應(yīng)用產(chǎn)品，PM2.5 質(zhì)量監(jiān)測(cè)預(yù)警系統(tǒng)在江蘇省昆山市千燈鎮(zhèn)工業(yè)園區(qū)的成功試點(diǎn)建設(shè)，為江蘇省環(huán)保廳“1831”物聯(lián)網(wǎng)建設(shè)工程提供了技術(shù)支撐，充分體現(xiàn)了大數(shù)據(jù)技術(shù)與環(huán)保的高度結(jié)合。

這套基于大數(shù)據(jù)平臺(tái)的PM2.5 監(jiān)測(cè)預(yù)警系統(tǒng)設(shè)置了幾百個(gè)儀器，包括特征因子檢測(cè)器、視頻監(jiān)控?cái)z像頭、PM2.5 傳感器等，并通過海量科學(xué)數(shù)據(jù)的分析對(duì)比，在宏觀和微觀上反映了工業(yè)園區(qū)每個(gè)點(diǎn)以及工業(yè)園區(qū)的整體PM2.5 情況，為園區(qū)的環(huán)境保護(hù)提供科學(xué)有效的信息化支持，取得了以下經(jīng)濟(jì)效益和社會(huì)效益。

①根據(jù)環(huán)境質(zhì)量標(biāo)準(zhǔn)，評(píng)價(jià)環(huán)境質(zhì)量；

②及時(shí)查找破壞環(huán)境的行為，第一時(shí)間通知執(zhí)法人員，第一時(shí)間處理；

③根據(jù)污染分布情況，追蹤尋找污染源，為實(shí)現(xiàn)監(jiān)督管理、控制污染提供依據(jù)；

④構(gòu)建云計(jì)算海量數(shù)據(jù)處理平臺(tái)，存儲(chǔ)本區(qū)域海量數(shù)據(jù)，積累監(jiān)測(cè)資料，為研究環(huán)境容量、實(shí)施目標(biāo)管理、總量控制、預(yù)測(cè)預(yù)報(bào)環(huán)境質(zhì)量提供數(shù)據(jù)；

⑤為保護(hù)環(huán)境、保護(hù)人類健康、合理使用自然資源、制訂環(huán)境標(biāo)準(zhǔn)、法規(guī)、規(guī)劃等服務(wù)。