李 鑫,王建珍
(1.山西天然氣股份有限公司信息部,山西 太原 030032;2.山西工程科技職業(yè)大學(xué),山西 晉中 030619)
大數(shù)據(jù)時代,數(shù)據(jù)的價值如同黃金、石油,是社會發(fā)展和變革的動力。大數(shù)據(jù)將重構(gòu)信息技術(shù)體系和能源產(chǎn)業(yè)格局,為能源行業(yè)和能源互聯(lián)網(wǎng)的發(fā)展帶來契機。能源互聯(lián)網(wǎng)是能源企業(yè)發(fā)展的高級階段,能源互聯(lián)網(wǎng)綜合運用先進的電力電子技術(shù), 信息技術(shù)和智能管理技術(shù),將傳統(tǒng)電網(wǎng)、氣網(wǎng)、熱網(wǎng)、油網(wǎng)、交通網(wǎng)等多種能源網(wǎng)絡(luò)互聯(lián)互通、融為一體,共享互濟[1]。
美國政府2012年率先宣布開啟“大數(shù)據(jù)研究與開發(fā)計劃”。美國電力科學(xué)研究院(EPRI) 2013年開啟了輸電網(wǎng)現(xiàn)代化示范項目(TMD)、配電網(wǎng)現(xiàn)代化示范項目(DMD)大數(shù)據(jù)研究項目。C3Energy的能源大數(shù)據(jù)分析引擎平臺用戶評價良好,Opower的云數(shù)據(jù)平臺幫助電力公司建立更穩(wěn)定的客戶關(guān)系。
加拿大新布倫瑞克的PowerShift Atlantic項目可以控制熱水器、空調(diào)、通風(fēng)機、制冷系統(tǒng),持續(xù)跟蹤風(fēng)力發(fā)電的動態(tài),保持實時性、平衡性,進一步探索能源互聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用。
德國聯(lián)邦經(jīng)濟和技術(shù)部在6個開啟未來能源系統(tǒng)技術(shù)促進計劃示范項目中,利用大數(shù)據(jù)技術(shù),提出了促進可再生能源發(fā)展、能源服務(wù)、能源交易融入能源互聯(lián)網(wǎng)的初步解決方案。
國際電工委員會(IEC)智慧能源系統(tǒng)委員會定義:智慧能源系統(tǒng)以智能電網(wǎng)為核心,以先進的信息通信技術(shù)(ICT)為支撐,實現(xiàn)電網(wǎng)、氣網(wǎng)、熱網(wǎng)、油網(wǎng)系統(tǒng)的互通、交互,可適應(yīng)大規(guī)模新能源接入[6-8]。
我國2012年就在國家層面將大數(shù)據(jù)作為科技創(chuàng)新主攻方向。國家電網(wǎng)為實現(xiàn)各信息系統(tǒng)之間的數(shù)據(jù)集成融合,率先設(shè)計了公共信息模型。2013年,國家電網(wǎng)開展了多項大數(shù)據(jù)應(yīng)用關(guān)鍵技術(shù)研究,項目研究涉及輸變電運行管理、智能配電網(wǎng)、用電與能效、電力信息與通信、決策支持等專業(yè)領(lǐng)域。2014年,國家電網(wǎng)公司在電網(wǎng)設(shè)備狀態(tài)監(jiān)測、客戶服務(wù)信息等方面開啟了營銷大數(shù)據(jù)應(yīng)用場景分析和應(yīng)用規(guī)劃試點研究[9]。
作為國家的戰(zhàn)略性能源,化石燃料天然氣以年均1.9%的速度快速增長,未來投資規(guī)模上升空間大[10]。但國內(nèi)油氣行業(yè)大數(shù)據(jù)技術(shù)應(yīng)用水平處于萌芽狀態(tài),僅停留在數(shù)據(jù)采集、存儲的初級階段,沒有上升到大數(shù)據(jù)挖掘的高級階段。大數(shù)據(jù)技術(shù)是信息技術(shù)應(yīng)用創(chuàng)新的核心技術(shù),信息技術(shù)應(yīng)用創(chuàng)新發(fā)展是助力國家經(jīng)濟發(fā)展的新動能。大數(shù)據(jù)技術(shù)必將成為油網(wǎng)、氣網(wǎng)能源行業(yè)發(fā)展的新契機,能源互聯(lián)網(wǎng)中的大數(shù)據(jù)發(fā)展蓄勢待發(fā)。
從能源生產(chǎn)配送消費的過程看,能源互聯(lián)網(wǎng)中的數(shù)據(jù)體量大,數(shù)據(jù)源覆蓋能源生產(chǎn)、能源傳輸、能源交易、能源消費各個環(huán)節(jié),與數(shù)以億計的設(shè)備和系統(tǒng)相關(guān),在這些設(shè)備和系統(tǒng)的運行過程中,會產(chǎn)生大量的數(shù)據(jù)。
其次,傳承Internet核心技術(shù),能源互聯(lián)網(wǎng)也具有開放、參與、交互的特性,與政策機制、價格、用戶心理等眾多外部數(shù)據(jù)相關(guān)聯(lián)??紤]這些因素,可以將能源互聯(lián)網(wǎng)中的數(shù)據(jù)劃分為5類,這5類數(shù)據(jù)共同構(gòu)成了能源互聯(lián)網(wǎng)中的大數(shù)據(jù)。
1) 反映能源生產(chǎn)的數(shù)據(jù);
2) 反映能源配送、轉(zhuǎn)換的數(shù)據(jù);
3) 反映能源消費、交易和調(diào)控的數(shù)據(jù);
4) 對能源互聯(lián)網(wǎng)有影響的社會經(jīng)濟環(huán)境數(shù)據(jù);
5) 表征能源互聯(lián)網(wǎng)的參與者(人)特征的數(shù)據(jù)。
大數(shù)據(jù)技術(shù)是組成整個能源互聯(lián)網(wǎng)的技術(shù)基石。大數(shù)據(jù)貫穿于能源互聯(lián)網(wǎng)的整個生命周期,具有完備性、復(fù)雜性、關(guān)聯(lián)性、規(guī)律性、實時性等基本特征。
1) 能源互聯(lián)網(wǎng)中的大數(shù)據(jù)體量巨大,蘊含巨大的價值。
2) 能源互聯(lián)網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜,包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù),種類繁多。
3) 能源互聯(lián)網(wǎng)大數(shù)據(jù)實時性要求高、增長快。例如:能源生產(chǎn)、轉(zhuǎn)換和消費要求實時完成,數(shù)據(jù)的分析結(jié)果也要求具有實時性。
通過對能源互聯(lián)網(wǎng)中的大數(shù)據(jù)進行分析,可對能源生產(chǎn)、配送、轉(zhuǎn)換和消費各個階段進行科學(xué)預(yù)測,有效管理,發(fā)現(xiàn)潛在風(fēng)險,保證安全性和經(jīng)濟性。
能源互聯(lián)網(wǎng)涉及大數(shù)據(jù)、云計算、智能傳感、新能源發(fā)電、儲能等相關(guān)技術(shù),這些技術(shù)最終都會通過能源互聯(lián)平臺進行連接,成為能源互聯(lián)網(wǎng)的技術(shù)鏈、生態(tài)鏈。
能源互聯(lián)網(wǎng)中的大數(shù)據(jù)處理過程可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲及處理、數(shù)據(jù)分析、數(shù)據(jù)解讀、數(shù)據(jù)應(yīng)用6個環(huán)節(jié)。數(shù)據(jù)存儲及處理是數(shù)據(jù)分析和數(shù)據(jù)解讀的前提,而數(shù)據(jù)分析和數(shù)據(jù)解讀緊密聯(lián)系、相互印證,共同幫助用戶實現(xiàn)對大數(shù)據(jù)的深層次洞察與多維度掌控,并為數(shù)據(jù)應(yīng)用提供了知識基礎(chǔ)[11]。
大數(shù)據(jù)及大數(shù)據(jù)技術(shù)在能源互聯(lián)網(wǎng)中的應(yīng)用就是把Internet技術(shù)和Internet思維與傳統(tǒng)能源行業(yè)業(yè)務(wù)進行深度整合。
1) 為多能源系統(tǒng)協(xié)同規(guī)劃及運行提供輔助決策
能源互聯(lián)網(wǎng)中,需要實現(xiàn)電網(wǎng)、油網(wǎng)、氣網(wǎng)和交通系統(tǒng)網(wǎng)絡(luò)的互聯(lián)互通,共享共濟。需要建立電網(wǎng)與其他能源系統(tǒng)的一體化數(shù)據(jù)融合系統(tǒng),實現(xiàn)大數(shù)據(jù)挖掘,完成決策支持,保證多種能源的生產(chǎn)與配送。
2) 推動能源互聯(lián)網(wǎng)中商業(yè)模式的創(chuàng)新
利用大數(shù)據(jù)技術(shù),分析能源互聯(lián)網(wǎng)中不同類型的參與者在能源生產(chǎn)、交易、消費中的社會心理,并充分考慮地域、氣候、收入、受教育程度、居住環(huán)境、政策機制等各種影響因素,為形成合理的能源互聯(lián)網(wǎng)商業(yè)模式提供決策支持。
3) 為能源互聯(lián)網(wǎng)的安全穩(wěn)定運行提供相應(yīng)數(shù)據(jù)支撐。
利用大數(shù)據(jù)技術(shù),對能源互聯(lián)網(wǎng)實時運行數(shù)據(jù)和歷史數(shù)據(jù)進行深層數(shù)據(jù)挖掘,分析能源互聯(lián)網(wǎng)的運行和變化規(guī)律,實現(xiàn)對能源互聯(lián)網(wǎng)運行狀態(tài)的全局掌控,提高能源互聯(lián)網(wǎng)運行的安全性和可靠性。
4) 提高能源互聯(lián)網(wǎng)的管理水平[12]。
利用大數(shù)據(jù)技術(shù),可從海量數(shù)據(jù)中挖掘出能源互聯(lián)網(wǎng)生產(chǎn)和消費中能量損失的原因,提升能源生產(chǎn)和消費效率。
5) 有利于能源互聯(lián)網(wǎng)信息資產(chǎn)的管理和共享
利用大數(shù)據(jù)技術(shù),對能源互聯(lián)網(wǎng)中分散的數(shù)據(jù)進行集成管理,保持數(shù)據(jù)之間的聯(lián)系,保證數(shù)據(jù)的系統(tǒng)性和完整性,反映能源互聯(lián)網(wǎng)整體運行情況,促進能源數(shù)據(jù)共享。
本人所在的山西天然氣股份有限公司隸屬于山西省國新能源發(fā)展集團有限公司,作為氣化山西的主力軍,公司將傳統(tǒng)能源行業(yè)與新興信息技術(shù)相結(jié)合,天然氣系統(tǒng)供、輸、銷全產(chǎn)業(yè)能源互聯(lián)網(wǎng)生態(tài)鏈已經(jīng)初具規(guī)模,同時布局了神策數(shù)據(jù)根基平臺。
神策數(shù)據(jù)根基平臺是面向業(yè)務(wù)的全端數(shù)據(jù)基礎(chǔ)平臺。該平臺可以實時采集、治理、存儲、查詢、展示數(shù)據(jù),并搭載數(shù)據(jù)智能引擎,高效積累數(shù)據(jù)資產(chǎn),賦能業(yè)務(wù)應(yīng)用場景,助力企業(yè)構(gòu)建扎實的數(shù)據(jù)根基,實現(xiàn)數(shù)字化經(jīng)營。
通過使用數(shù)據(jù)根基平臺提供的數(shù)據(jù)工具,可以對公司業(yè)務(wù)運營數(shù)據(jù)進行分析。海量數(shù)據(jù)通過數(shù)據(jù)分析工具分類建模,數(shù)據(jù)挖掘,輸出直觀的可視化數(shù)據(jù)圖表,使公司決策層和使用層能多角度分析數(shù)據(jù),了解公司業(yè)務(wù)真實運營情況,數(shù)據(jù)分析初見成效。但是隨著時間推移,一些問題逐漸凸顯。
在實際工作中,能源企業(yè)缺乏大數(shù)據(jù)應(yīng)用的整體構(gòu)想、缺乏專門的大數(shù)據(jù)技術(shù)人才,大數(shù)據(jù)應(yīng)用的廣度、深度遠遠不夠。
1) 數(shù)據(jù)平臺提供的成型數(shù)據(jù)工具無法“因地制宜”,無法滿足企業(yè)復(fù)雜業(yè)務(wù)數(shù)據(jù)分析的實際需求。
2) 能源互聯(lián)網(wǎng)數(shù)據(jù)增長迅速,因數(shù)據(jù)體量累計導(dǎo)致的數(shù)據(jù)分析運行速率明顯下降。這種數(shù)據(jù)分析模式無法適應(yīng)日益增長的對于數(shù)據(jù)本身內(nèi)容的需求,需要一個高效的數(shù)據(jù)抽取與分析引擎。
3) 數(shù)據(jù)分析不僅僅是對人的分析,如何將數(shù)據(jù)、人、場景相結(jié)合,通過感知、理解、決策而行動更加重要。
1) 二次開發(fā)。能源數(shù)據(jù)分析平臺種類很多,能全面考慮能源企業(yè)數(shù)據(jù)應(yīng)用需求的平臺幾乎沒有,也不可能有,在這樣的現(xiàn)狀下,企業(yè)應(yīng)采取的最重要的措施是引進大數(shù)據(jù)技術(shù)專業(yè)人才,結(jié)合能源企業(yè)數(shù)據(jù)應(yīng)用需求,在大數(shù)據(jù)平臺上進行滿足企業(yè)數(shù)據(jù)應(yīng)用需求的二次開發(fā)。
2) 考慮公司運營業(yè)務(wù)數(shù)據(jù)的體量,可以將正式數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)出到備用數(shù)據(jù)庫后配合Hadoop轉(zhuǎn)存,經(jīng)過ETL形成數(shù)據(jù)集,大大節(jié)省在數(shù)據(jù)工具上加載數(shù)據(jù)的時間。另外,數(shù)據(jù)中心建設(shè)也是炊米之源,刻不容緩。
3) 從業(yè)務(wù)角度看待事物。在業(yè)務(wù)場景中有人使用數(shù)據(jù)時會創(chuàng)建價值。當數(shù)據(jù)投入使用時,這就是價值所在。因此,責(zé)任不在數(shù)據(jù)創(chuàng)建者身上,而在于價值創(chuàng)造者如何利用數(shù)據(jù)。在實現(xiàn)數(shù)據(jù)價值運作時,從業(yè)務(wù)角度而不是技術(shù)角度來看待事物非常重要。
大數(shù)據(jù)技術(shù)在能源互聯(lián)網(wǎng)構(gòu)建及運行過程中扮演海量數(shù)據(jù)管理與分析的角色,是保障能源互聯(lián)網(wǎng)經(jīng)濟運行的關(guān)鍵因素之一。但是,我國能源互聯(lián)網(wǎng)大數(shù)據(jù)研究及其應(yīng)用剛剛起步,方興未艾,仍面臨很多困難,需要能源企業(yè)制定全面合理的發(fā)展戰(zhàn)略,才能推動業(yè)務(wù)與技術(shù)的雙重進步。