海量數(shù)據(jù)快速可視化技術(shù)在節(jié)能減排監(jiān)管系統(tǒng)中的應(yīng)用

陸建偉，周升，張珂珩，王飛

（1.國網(wǎng)浙江省電力公司電力科學(xué)研究院，杭州310014；2.江蘇瑞中數(shù)據(jù)股份有限公司，南京210009）

海量數(shù)據(jù)快速可視化技術(shù)在節(jié)能減排監(jiān)管系統(tǒng)中的應(yīng)用

陸建偉1，周升1，張珂珩2，王飛2

（1.國網(wǎng)浙江省電力公司電力科學(xué)研究院，杭州310014；2.江蘇瑞中數(shù)據(jù)股份有限公司，南京210009）

隨著電力行業(yè)節(jié)能減排工作的推進(jìn)，節(jié)能減排監(jiān)管數(shù)據(jù)爆炸式增長。為保證節(jié)能減排監(jiān)管系統(tǒng)的正常運(yùn)行，需要對(duì)海量數(shù)據(jù)進(jìn)行可視化監(jiān)控，以定位問題的根源。基于海量數(shù)據(jù)的快速可視化技術(shù)，能實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的綜合分析，實(shí)現(xiàn)節(jié)能減排、能源合理利用的創(chuàng)新。通過總結(jié)電力行業(yè)節(jié)能減排監(jiān)管系統(tǒng)中的海量數(shù)據(jù)的特點(diǎn)，介紹海量數(shù)據(jù)的快速可視化技術(shù)，重點(diǎn)討論了如何利用實(shí)時(shí)數(shù)據(jù)庫的通知服務(wù)和本地緩存，來實(shí)現(xiàn)海量數(shù)據(jù)快速可視化技術(shù)在節(jié)能減排監(jiān)管系統(tǒng)中的應(yīng)用。

海量數(shù)據(jù)；快速可視化；節(jié)能減排

隨著浙江省電力行業(yè)節(jié)能減排工作的逐步推進(jìn)，尤其是發(fā)電廠脫硫系統(tǒng)、脫硝系統(tǒng)的建設(shè)和推廣，產(chǎn)生了大量實(shí)時(shí)數(shù)據(jù)，繼而沉淀形成了海量歷史數(shù)據(jù)[1]，這些數(shù)據(jù)是節(jié)能減排優(yōu)化和監(jiān)管的重要基礎(chǔ)。面對(duì)如此龐大的數(shù)據(jù)量，傳統(tǒng)的門戶系統(tǒng)由于直接訪問數(shù)據(jù)庫將導(dǎo)致訪問速率過慢，已越來越無法滿足對(duì)這些數(shù)值結(jié)果進(jìn)行可視化分析的需求。為保證節(jié)能減排監(jiān)管系統(tǒng)的正常運(yùn)行[2]，需要對(duì)海量數(shù)據(jù)進(jìn)行可視化監(jiān)控，以定位問題的根源。浙江省節(jié)能減排監(jiān)管系統(tǒng)采用海量數(shù)據(jù)快速可視化技術(shù)，通過對(duì)海量數(shù)據(jù)的萃取、統(tǒng)計(jì)分析、圖形化等手段，將節(jié)能減排概況清晰地展示在用戶面前。

1 節(jié)能減排工作中的數(shù)據(jù)特點(diǎn)

電力行業(yè)節(jié)能減排中的海量數(shù)據(jù)與其他行業(yè)產(chǎn)生的數(shù)據(jù)相比有以下特點(diǎn)：

（1）數(shù)據(jù)量巨大。每臺(tái)運(yùn)行中的機(jī)組都將產(chǎn)生大量數(shù)據(jù)，將各發(fā)電企業(yè)所有機(jī)組的運(yùn)行相關(guān)數(shù)據(jù)都采集起來，數(shù)據(jù)量極為可觀。

（2）數(shù)據(jù)類型多。節(jié)能減排監(jiān)管系統(tǒng)的數(shù)據(jù)包括節(jié)能和環(huán)化兩部分。節(jié)能數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、爐側(cè)的經(jīng)濟(jì)性計(jì)算數(shù)據(jù)、機(jī)側(cè)的經(jīng)濟(jì)性計(jì)算數(shù)據(jù)、電氣的經(jīng)濟(jì)性計(jì)算數(shù)據(jù)等。環(huán)化數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、脫硫數(shù)據(jù)、脫硝數(shù)據(jù)等。每類數(shù)據(jù)又包含很多指標(biāo)，例如基礎(chǔ)數(shù)據(jù)包括機(jī)組負(fù)荷、總風(fēng)量、爐膛負(fù)壓、燃煤發(fā)電量、燃?xì)獍l(fā)電量、供熱量、機(jī)組MFT信號(hào)、機(jī)組RB信號(hào)、電除塵投運(yùn)信號(hào)、油槍投運(yùn)信號(hào)、引風(fēng)機(jī)開度或頻率等。

（3）數(shù)據(jù)產(chǎn)生快。通常發(fā)電廠的機(jī)組都處在連續(xù)運(yùn)行狀態(tài)，產(chǎn)生的實(shí)時(shí)數(shù)據(jù)也將不斷增長，增加了可視化技術(shù)應(yīng)用的難度，即如何保證在數(shù)據(jù)快速增長的情況下運(yùn)用可視化技術(shù)，將數(shù)據(jù)的變化準(zhǔn)確實(shí)時(shí)地展示出來。

（4）計(jì)算分析復(fù)雜。鍋爐熱效率、汽機(jī)熱效率、廠用電率等參數(shù)都需要通過復(fù)雜的公式計(jì)算。以鍋爐熱效率為例，需要采集主蒸汽流量、主蒸汽溫度、主蒸汽壓力、再熱蒸汽流量、給水溫度、給水壓力、給煤量等多項(xiàng)數(shù)據(jù)來進(jìn)行計(jì)算。

2 海量數(shù)據(jù)的快速可視化技術(shù)

數(shù)據(jù)可視化技術(shù)是處理計(jì)算或?qū)崪y(cè)數(shù)據(jù)的方法之一，它運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或者圖像后在屏幕上顯示出來，并進(jìn)行交互處理，為研究、使用人員提供直觀的方式來理解大量數(shù)據(jù)所蘊(yùn)含的豐富內(nèi)容，發(fā)現(xiàn)通常通過數(shù)值信息發(fā)現(xiàn)不了的現(xiàn)象[3]。現(xiàn)代可視化技術(shù)的概念更為寬泛，是指以計(jì)算機(jī)圖形技術(shù)為基礎(chǔ)，通過計(jì)算機(jī)生成對(duì)人體視覺刺激的圖像，以便于人們接受、理解原始數(shù)據(jù)和信息的技術(shù)方法[4]。它作為一門交叉學(xué)科涵蓋了許多研究領(lǐng)域，包括計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)視覺及人機(jī)交互技術(shù)等。

數(shù)據(jù)可視化技術(shù)拓展了傳統(tǒng)的圖表功能，使用戶對(duì)數(shù)據(jù)的剖析更為清晰[5]。數(shù)據(jù)經(jīng)過可視化處理和專業(yè)的加工后，最終為用戶呈現(xiàn)出動(dòng)態(tài)的、圖形化的、令人印象深刻的可視化結(jié)果。目前數(shù)據(jù)可視化技術(shù)的應(yīng)用主要包括：呈現(xiàn)多維混搭信息的可視化應(yīng)用、揭示數(shù)據(jù)關(guān)聯(lián)趨勢(shì)的可視化新服務(wù)、有助發(fā)散形象思維的可視化新工具以及提供數(shù)據(jù)可視化交流社區(qū)的可視化新平臺(tái)，這些數(shù)據(jù)可視化的手段以及可視化過程都有各自的特征。隨著用戶對(duì)數(shù)據(jù)分析需求的增長，對(duì)數(shù)據(jù)可視化的要求也變得越來越強(qiáng)烈，通過可視化映射可以有效地呈現(xiàn)想要獲得的數(shù)據(jù)，更便捷地理解其中的含義，進(jìn)而做出決策。

3 海量數(shù)據(jù)快速可視化應(yīng)用實(shí)例

在浙江省電力行業(yè)節(jié)能減排監(jiān)管系統(tǒng)中，將電廠采集的實(shí)時(shí)數(shù)據(jù)，經(jīng)過計(jì)算統(tǒng)計(jì)服務(wù)的加工，最終通過報(bào)表和圖表等一系列動(dòng)態(tài)、圖形化的形式展現(xiàn)給用戶。例如報(bào)表，在用戶的實(shí)際業(yè)務(wù)應(yīng)用中，通常需要按年、季、月、周、日等時(shí)間段查找相關(guān)數(shù)據(jù)，并進(jìn)行分析對(duì)比。浙江省節(jié)能減排監(jiān)管系統(tǒng)提供的歷史報(bào)表工具，能根據(jù)用戶需求開發(fā)業(yè)務(wù)報(bào)表，以查詢到任意對(duì)象、任意時(shí)刻的歷史數(shù)據(jù)，以及任意時(shí)刻的歷史斷面，并可導(dǎo)出數(shù)據(jù)，實(shí)現(xiàn)系統(tǒng)運(yùn)行數(shù)據(jù)的“全息”保存和查詢，以滿足節(jié)能減排的業(yè)務(wù)需求。

現(xiàn)已開發(fā)完成的節(jié)能監(jiān)管報(bào)表包括能耗報(bào)表、平均能耗指標(biāo)排序報(bào)表、節(jié)能查詢報(bào)表、基礎(chǔ)信息報(bào)表；減排報(bào)表包括全省實(shí)時(shí)總覽報(bào)表、設(shè)施投運(yùn)報(bào)表、電廠排放報(bào)表、全省排放報(bào)表、電廠上報(bào)報(bào)表、環(huán)化信息錄入報(bào)表、基礎(chǔ)信息報(bào)表；線損統(tǒng)計(jì)報(bào)表包括線損數(shù)據(jù)錄入報(bào)表、月統(tǒng)計(jì)報(bào)表等。

同時(shí)，監(jiān)管系統(tǒng)提供實(shí)時(shí)監(jiān)控畫面及組態(tài)工具，通過監(jiān)控畫面和組態(tài)畫面實(shí)時(shí)刷新測(cè)點(diǎn)數(shù)據(jù)，直觀地向用戶展示電廠能耗和排放情況。

浙江節(jié)能減排監(jiān)管系統(tǒng)應(yīng)用B/S架構(gòu)、服務(wù)訂閱、本地緩存機(jī)制等技術(shù)達(dá)到快速可視化，加快門戶訪問速率，性能得到指數(shù)級(jí)提升。

3.1 B/S架構(gòu)

浙江省電力行業(yè)節(jié)能減排監(jiān)管系統(tǒng)是基于B/S結(jié)構(gòu)的Web門戶系統(tǒng)，可為用戶提供實(shí)時(shí)、高效的服務(wù)通道[6]。浙江省節(jié)能減排監(jiān)管系統(tǒng)門戶可為用戶提供訪問實(shí)時(shí)數(shù)據(jù)中心各種信息資源的入口，具有強(qiáng)大的Web瀏覽功能，對(duì)各類應(yīng)用服務(wù)、參數(shù)、圖形、報(bào)表、實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)等提供靈活、豐富、多樣的信息展示，使任何被整合到系統(tǒng)中的信息都能以一定的方式進(jìn)行瀏覽和查詢，并提供歷史追溯與反演、斷面查詢等高級(jí)應(yīng)用功能。

系統(tǒng)的維護(hù)和升級(jí)方式簡(jiǎn)單，可以在任何地方進(jìn)行操作而不用安裝任何專門的軟件?？蛻舳肆憔S護(hù)，系統(tǒng)的擴(kuò)展性強(qiáng)，可隨時(shí)擴(kuò)展系統(tǒng)范圍、增添更多功能，為后臺(tái)的監(jiān)管及系統(tǒng)的拓展提供便利。

3.2 服務(wù)訂閱

實(shí)時(shí)數(shù)據(jù)庫的通知服務(wù)是指向訂閱服務(wù)訂閱所需測(cè)點(diǎn)，如果訂閱測(cè)點(diǎn)的數(shù)據(jù)發(fā)生變化，通知服務(wù)自動(dòng)將數(shù)據(jù)推送到訂閱服務(wù)端。

浙江省電力行業(yè)節(jié)能減排監(jiān)管系統(tǒng)可方便、快捷地提取節(jié)能減排實(shí)時(shí)數(shù)據(jù)，生成各種報(bào)表，并在門戶網(wǎng)站上展示?？梢韵蚝Ｑ笖?shù)據(jù)庫訂閱測(cè)點(diǎn)，并維護(hù)這些測(cè)點(diǎn)的斷面。查詢某一報(bào)表時(shí)，通過事件觸發(fā)使海迅數(shù)據(jù)庫主動(dòng)推送數(shù)據(jù)。

3.3 本地緩存機(jī)制

本地緩存是指將客戶機(jī)本地的物理內(nèi)存劃分出一部分空間，用來存儲(chǔ)客戶機(jī)回寫到服務(wù)器的數(shù)據(jù)，本地緩存又稱為本地回寫[7]。該技術(shù)的應(yīng)用使得客戶機(jī)回寫的數(shù)據(jù)不必先寫入服務(wù)器硬盤，而是將回寫數(shù)據(jù)先寫入本地回寫緩存，當(dāng)緩存空間達(dá)到一定的閾值時(shí)，再將數(shù)據(jù)回寫到服務(wù)器。有了本地回寫緩存功能之后，大大降低了服務(wù)器讀寫壓力和網(wǎng)絡(luò)負(fù)載。

通常的門戶系統(tǒng)是直接訪問數(shù)據(jù)庫，獲得數(shù)據(jù)后以頁面報(bào)表等形式展示給用戶。當(dāng)數(shù)據(jù)量非常大時(shí)，比如達(dá)千萬點(diǎn)的海迅數(shù)據(jù)庫，如果門戶報(bào)表每次都要遍歷數(shù)據(jù)庫來查找需要的測(cè)點(diǎn)，將導(dǎo)致讀取速率下降。為此，節(jié)能減排監(jiān)管系統(tǒng)充分利用了實(shí)時(shí)數(shù)據(jù)庫的通知服務(wù)和內(nèi)部緩存機(jī)制，將測(cè)點(diǎn)數(shù)據(jù)緩存在服務(wù)器端，以減少訪問數(shù)據(jù)庫的次數(shù)和時(shí)間，提高數(shù)據(jù)訪問性能。測(cè)點(diǎn)維護(hù)模塊根據(jù)用戶訪問記錄，保留常用訪問測(cè)點(diǎn)。當(dāng)測(cè)點(diǎn)較多時(shí)，將刪除測(cè)點(diǎn)隊(duì)列中相對(duì)不常用的測(cè)點(diǎn)。測(cè)點(diǎn)訂閱模塊根據(jù)測(cè)點(diǎn)維護(hù)的測(cè)點(diǎn)隊(duì)列向通知服務(wù)模塊訂閱通知。數(shù)據(jù)監(jiān)聽接收實(shí)時(shí)數(shù)據(jù)庫推送過來的更新值。緩存管理根據(jù)測(cè)點(diǎn)隊(duì)列維護(hù)內(nèi)部緩存。

當(dāng)數(shù)據(jù)管理模塊接收到業(yè)務(wù)請(qǐng)求時(shí)，先查找內(nèi)存中有無緩存，如果沒有就直接查詢數(shù)據(jù)庫。同時(shí)測(cè)點(diǎn)維護(hù)模塊記錄請(qǐng)求測(cè)點(diǎn)，判斷是否向通知服務(wù)訂閱。通知服務(wù)根據(jù)訂閱的測(cè)點(diǎn)向數(shù)據(jù)監(jiān)聽模塊推送測(cè)點(diǎn)的值。如果在緩存中存在測(cè)點(diǎn)值，則直接從緩存中讀取。在減排系統(tǒng)正常運(yùn)行情況下，很多指標(biāo)變化幅度較小甚至不變化，因此這種通知服務(wù)的策略將極大地減少訪問數(shù)據(jù)庫的次數(shù)，節(jié)省訪問數(shù)據(jù)庫的時(shí)間。數(shù)據(jù)訪問的工作流程如圖1所示。

圖1 工作流程

同時(shí)，在B/S架構(gòu)下，會(huì)有不同的客戶同時(shí)訪問服務(wù)器，但由于客戶群體相對(duì)固定，很可能訪問的是相同的數(shù)據(jù)，即重復(fù)的測(cè)點(diǎn)，因此本地緩存機(jī)制可以大大加快每個(gè)用戶的訪問速率，升級(jí)用戶體驗(yàn)。

4 結(jié)語

將海量數(shù)據(jù)快速可視化技術(shù)應(yīng)用到節(jié)能減排監(jiān)管系統(tǒng)中，使監(jiān)管部門可以深入觀察各發(fā)電企業(yè)節(jié)能減排情況，對(duì)實(shí)時(shí)監(jiān)控和及時(shí)調(diào)整有極大的幫助[8]。應(yīng)用基于海量數(shù)據(jù)的快速可視化技術(shù)完成海量數(shù)據(jù)的綜合分析，實(shí)現(xiàn)節(jié)能減排、能源合理利用的創(chuàng)新，能夠充分體現(xiàn)“資源共享、低投入、低消耗、低排放和高效率”，已在實(shí)際應(yīng)用中展示出良好的實(shí)用效果。

[1]李榮融.中央企業(yè)節(jié)能減排監(jiān)督管理暫行辦法[EB/OL]. http∶//www.gov.cn/gongbao/content/2010/content-1694232. htm.

[2]胥傳普，楊立兵，劉福斌.關(guān)于節(jié)能降耗與電力市場(chǎng)聯(lián)合實(shí)施方案的探討[J].電力系統(tǒng)自動(dòng)化，2007，31（23）∶99-103.

[3]劉勘，周曉崢，周洞汝.數(shù)據(jù)可視化的研究與發(fā)展[J].計(jì)算機(jī)工程，2002，28（08）∶1-2.

[4]劉大海.海量數(shù)據(jù)可視化方法的研究[D].天津：天津大學(xué)，2009.

[5]王媛媛，丁毅，孫媛媛，等.數(shù)據(jù)可視化技術(shù)的實(shí)現(xiàn)方法研究[J].現(xiàn)代電子技術(shù)，2007（04）∶71-74.

[6]張恩平.基于B/S架構(gòu)的代理人綜合管理系統(tǒng)的開發(fā)與研究[D].上海：華東師范大學(xué)，2008.

[7]單中元.面向集群系統(tǒng)的分布式緩存機(jī)制的研究[D].沈陽：東北大學(xué)，2010.

[8]韓麗娜.數(shù)據(jù)可視化技術(shù)及其應(yīng)用展望[J].煤礦現(xiàn)代化，2005（06）∶39-40.

（本文編輯：龔皓）

Application of Big Data Rapid Visualization Technology in Energy-saving and Emission Reduction Supervision System of Power Industry

LU Jianwei1，ZHOU Sheng1，ZHANG Keheng2，WANG Fei2
（1.State Grid Zhejiang Electric Power Research Institute，Hangzhou 310014，China；2.China Real-time Database Limited Company，Nanjing 210009，China）

With the advancement of energy saving and emission reduction in power industry,regulatory data of energy saving and emission reduction sees explosive growth.In order to ensure normal operation of energy saving and emission reduction supervision system，big data should be supervised visually to locate source of problems.The big data-based rapid visualization technology can realize comprehensive analysis on big data and innovations of energy conservation and emissions reduction as well as rational utilization of energy.By summarizing characteristics of big data in energy saving and emission reduction supervision system of power industry，this paper introduces big data rapid visualization technology and mainly discusses how to use the notification service and local caching of real-time database to realize the application of big data rapid visualization technology in energy saving and emission reduction supervision system.

big data；rapid visualization；energy-saving and emission reduction

TP311.13

：B

：1007-1881（2014）06-0029-03

2013-10-11

陸建偉（1982-），男，浙江富陽人，工程師，從事電力環(huán)保工作。