智能電網(wǎng)監(jiān)控運行大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)規(guī)范和數(shù)據(jù)處理

冷喜武, 陳國平, 蔣 宇, 張家琪, 曹越峰

(1. 國家電網(wǎng)有限公司, 北京市100031; 2. 國網(wǎng)江蘇省電力有限公司, 江蘇省南京市 210024;3. 國網(wǎng)物資有限公司, 北京市 100120; 4. 南瑞集團(國網(wǎng)電力科學研究院)有限公司, 江蘇省南京市 211106)

0 引言

隨著智能電網(wǎng)的快速發(fā)展,電網(wǎng)業(yè)務數(shù)據(jù)呈現(xiàn)快速增長態(tài)勢,數(shù)據(jù)中蘊含的高價值信息并未得到充分利用,運行管理中存在著“數(shù)據(jù)海量、信息匱乏”的現(xiàn)象,大數(shù)據(jù)分析技術有助于電網(wǎng)用戶快速、高效地處理海量數(shù)據(jù)。面對具有多源、高維、先驗、異構(gòu)等特征的電力大數(shù)據(jù),需要抽取高質(zhì)量的電網(wǎng)運行數(shù)據(jù),整合外部環(huán)境數(shù)據(jù),進行有效的數(shù)據(jù)管理,進而提升電網(wǎng)海量數(shù)據(jù)的計算效率和綜合分析能力,實現(xiàn)由單一監(jiān)視向全局分析、由人工經(jīng)驗分析向智能決策的轉(zhuǎn)變,為電網(wǎng)實時決策和管理提供有價值的信息[1-3]。

為了推動大數(shù)據(jù)分析技術在調(diào)控機構(gòu)的落地,2016年國家電網(wǎng)公司按照“數(shù)據(jù)到模型、模型到應用”的技術路線,開展智能電網(wǎng)監(jiān)控運行大數(shù)據(jù)分析系統(tǒng)(簡稱監(jiān)控大數(shù)據(jù)系統(tǒng))的建設及應用研究試點。試點范圍包括江蘇、浙江、天津、四川、遼寧5個省級電網(wǎng),截至2017年底調(diào)度管理范圍內(nèi)含變電站9 876座、發(fā)電廠8 304座,轄區(qū)總用戶1.1億戶。

在監(jiān)控大數(shù)據(jù)系統(tǒng)調(diào)研過程中發(fā)現(xiàn)如下問題。

1)傳輸協(xié)議不一致。試點的5個省級電網(wǎng)以100 GB/d的速度產(chǎn)生信息,需要接入監(jiān)控主站的數(shù)據(jù)量巨大,所用的遠動通信協(xié)議眾多,有IEC 60870-5-101協(xié)議、IEC 60870-5-104協(xié)議、循環(huán)遠動協(xié)議(CDT協(xié)議)等,分層分類存儲的數(shù)據(jù)源需要規(guī)范、高效地接入監(jiān)控主站。

2)業(yè)務數(shù)據(jù)不一致。目前各級調(diào)控中心大多采用局部應用方式推進信息系統(tǒng)的建設,缺乏面向全局業(yè)務數(shù)據(jù)的規(guī)范標準,在電網(wǎng)業(yè)務分析的應用現(xiàn)狀上,存在功能建設和管理顆粒度不一致的問題。多源系統(tǒng)的建設現(xiàn)狀決定了業(yè)務描述的多樣性,通過標準規(guī)范體系的建設有助于解決多源數(shù)據(jù)異構(gòu)和多樣化應用對數(shù)據(jù)的需求問題。

3)計算效率不高。由于大數(shù)據(jù)技術需要對累積的大量歷史數(shù)據(jù)進行整體分析,計算量巨大,而且監(jiān)控業(yè)務的毫秒級實時性要求,意味著計算速率的高要求。針對大數(shù)據(jù)處理效率不高的問題,傳統(tǒng)的解決辦法是通過Hadoop平臺整合系統(tǒng)現(xiàn)有的計算能力和存儲資源,利用MapReduce并行編程模型處理海量數(shù)據(jù)[5-7],基本上都是從計算機技術角度去解決計算效率低下的問題,沒有從業(yè)務應用角度發(fā)掘數(shù)據(jù)計算的巨大潛力。

在監(jiān)控大數(shù)據(jù)系統(tǒng)的研究與應用中,針對數(shù)據(jù)傳輸協(xié)議不統(tǒng)一、業(yè)務數(shù)據(jù)不一致的問題,通過數(shù)據(jù)標準的定義和規(guī)范,實現(xiàn)業(yè)務數(shù)據(jù)的標準管理,利用通用服務協(xié)議規(guī)范通信傳輸協(xié)議,提升源端數(shù)據(jù)匯集效率。針對大數(shù)據(jù)處理效率不高的問題,本文提出采用全壽命數(shù)據(jù)標簽、數(shù)據(jù)虛擬化提升數(shù)據(jù)源管控水平,并建立流式計算和批量計算的混合計算模式,提升系統(tǒng)的整體計算水平和監(jiān)控運行大數(shù)據(jù)分析及應用的效率。

1 數(shù)據(jù)規(guī)范與處理總體框架

系列文章從總體設計及應用、數(shù)據(jù)規(guī)范及處理、應用模型構(gòu)建3個方面,對智能電網(wǎng)監(jiān)控運行大數(shù)據(jù)系統(tǒng)進行了深入探索和研究。本文主要討論數(shù)據(jù)規(guī)范及處理,包括規(guī)范數(shù)據(jù)接入和全過程數(shù)據(jù)處理兩部分,其總體框架如圖1所示。規(guī)范數(shù)據(jù)接入是對源端的多源多維數(shù)據(jù)從數(shù)據(jù)規(guī)范與傳輸上進行規(guī)范和標準,主要包括模型命名、設備信息、數(shù)據(jù)結(jié)構(gòu)的規(guī)范;對已經(jīng)實現(xiàn)規(guī)范的多源多維數(shù)據(jù),采用通用服務協(xié)議實現(xiàn)多個業(yè)務系統(tǒng)之間的交互。全過程數(shù)據(jù)處理是對規(guī)范化后數(shù)據(jù)的計算分析,包括通過數(shù)據(jù)標簽的預處理過程來實現(xiàn)源端數(shù)據(jù)業(yè)務特征提取;定義元數(shù)據(jù)、生成數(shù)據(jù)清單和可交付數(shù)據(jù)集以實現(xiàn)數(shù)據(jù)的對象化和數(shù)據(jù)管理;基于批量計算和流式計算的混合計算技術，以支撐不同應用場景對業(yè)務計算的要求。通過規(guī)范數(shù)據(jù)接入和全過程數(shù)據(jù)處理的實現(xiàn)，來支撐監(jiān)控大數(shù)據(jù)系統(tǒng)的大數(shù)據(jù)分析。

圖1 數(shù)據(jù)規(guī)范和數(shù)據(jù)處理總體框架Fig.1 Overall framework of data specification and data processing

1.1 數(shù)據(jù)規(guī)范

監(jiān)控大數(shù)據(jù)分析系統(tǒng)接入的數(shù)據(jù)分散在跨部門的多個業(yè)務系統(tǒng),包括調(diào)度管理系統(tǒng)(OMS)、能量管理系統(tǒng)(EMS)等大運行系統(tǒng),生產(chǎn)管理系統(tǒng)(PMS)、輸變電在線監(jiān)測系統(tǒng)、山火監(jiān)測系統(tǒng)、雷電監(jiān)測系統(tǒng)和覆冰監(jiān)測系統(tǒng)等大檢修系統(tǒng),用電采集系統(tǒng)和營銷95598系統(tǒng)等大營銷系統(tǒng),以及氣象臺支撐的氣象系統(tǒng)等。

針對多個業(yè)務系統(tǒng)的數(shù)據(jù)源,通過模型命名規(guī)范實現(xiàn)對電網(wǎng)調(diào)控領域各業(yè)務應用系統(tǒng)電力設備的統(tǒng)一規(guī)范命名;通過設備信息規(guī)范實現(xiàn)對電網(wǎng)設備全路徑名稱和物理設備標識的對象化;通過數(shù)據(jù)結(jié)構(gòu)規(guī)范實現(xiàn)對模型和設備等對象的標準管理。

1.2 數(shù)據(jù)傳輸

通用服務協(xié)議是一種適用于各級電網(wǎng)調(diào)度控制中心,各類發(fā)電廠、變電站內(nèi)部及相互間的數(shù)據(jù)交互,同時適用于各類電力監(jiān)控系統(tǒng)及設備的設計、開發(fā)、建設、運行、維護等各個環(huán)節(jié)的通信協(xié)議,能夠屏蔽系統(tǒng)間交互方式的差異,實現(xiàn)將分布式、分層次存儲在源端的規(guī)范數(shù)據(jù),高效地提取到監(jiān)控大數(shù)據(jù)系統(tǒng)。通用服務協(xié)議能夠有效消除專業(yè)壁壘和技術差異,提高數(shù)據(jù)接入的方便性,提升數(shù)據(jù)傳輸?shù)慕?jīng)濟性,為監(jiān)控大數(shù)據(jù)分析提供強有力的支撐。

1.3 數(shù)據(jù)預處理

監(jiān)控運行業(yè)務數(shù)據(jù)具有種類繁多、結(jié)構(gòu)復雜、數(shù)據(jù)量大的特性,通過數(shù)據(jù)虛擬化技術隱藏數(shù)據(jù)的存儲位置與方式、訪問接口等細節(jié),實現(xiàn)數(shù)據(jù)的集成管理并提供統(tǒng)一的訪問接口[8-9]。在實現(xiàn)數(shù)據(jù)虛擬化的過程中,對接入監(jiān)控大數(shù)據(jù)系統(tǒng)的監(jiān)控信息、調(diào)管設備、調(diào)控業(yè)務等數(shù)據(jù),系統(tǒng)采用打標簽技術,根據(jù)專業(yè)需求、人員主觀性,添加不同業(yè)務、時間維度的標簽,實現(xiàn)對多源多維數(shù)據(jù)的分類標識,抽象表達設備對象的信息全貌,支撐后期開展高效分析。

1.4 數(shù)據(jù)交付

針對多專業(yè)、跨部門的不同數(shù)據(jù)需求,本文提出安全、靈活的可交互數(shù)據(jù)集技術,基于數(shù)據(jù)集的數(shù)據(jù)交付是指源數(shù)據(jù)和目標數(shù)據(jù)之間的映射關系建立,以數(shù)據(jù)集為交換單元,實現(xiàn)從源數(shù)據(jù)向目標數(shù)據(jù)的集成。通過數(shù)據(jù)交換過程中數(shù)據(jù)集的引入,對數(shù)據(jù)集提出規(guī)范、統(tǒng)一的描述?？山桓稊?shù)據(jù)集[10-11]可以根據(jù)組織機構(gòu)的需要自動生成并進行數(shù)據(jù)交互,也能夠響應大數(shù)據(jù)分析功能自動提供數(shù)據(jù)服務。

1.5 數(shù)據(jù)計算

監(jiān)控大數(shù)據(jù)分析應用,是從多源、多維、全時間域的調(diào)控業(yè)務相關數(shù)據(jù)中,通過挖掘算法開展關聯(lián)信息分析,主動挖掘出有價值的決策信息。大數(shù)據(jù)集的分析應用,對傳統(tǒng)的計算方式帶來了新的挑戰(zhàn):一是更加關注歷史數(shù)據(jù)的分析,增加了單次計算的數(shù)據(jù)訪問總量;二是毫秒級實時數(shù)據(jù)的接入,增加了實時計算的困難。

本文提出批量計算技術和流式計算技術相結(jié)合的混合計算技術架構(gòu),為平臺提供滿足統(tǒng)計、分析、搜索及挖掘需求的基礎計算服務。

2 規(guī)范數(shù)據(jù)接入技術

面對多源、高維、先驗、異構(gòu)的源端數(shù)據(jù),規(guī)范數(shù)據(jù)接入技術完成從規(guī)范模型命名、規(guī)范設備對象、規(guī)范數(shù)據(jù)結(jié)構(gòu)和規(guī)范通信傳輸協(xié)議等方面實現(xiàn)數(shù)據(jù)的標準管理,夯實上層應用的數(shù)據(jù)基礎。

2.1 規(guī)范模型命名

模型命名規(guī)范范圍包括電壓等級、調(diào)控機構(gòu)、廠站、線路等輸電網(wǎng)一、二次設備和配電網(wǎng)一、二次設備及量測設備,涵蓋了電網(wǎng)調(diào)控領域各業(yè)務應用系統(tǒng),詳細命名規(guī)范如圖2所示。

圖2 模型命名規(guī)范化技術Fig.2 Standardized naming technology for models

1)設備模型命名主要分為3個部分:設備類型、電壓等級及設備編號。常規(guī)設備命名為便于運行人員讀取和理解,采用了自然語言描述,如1 000千伏Ⅰ段母線。為提高監(jiān)控大數(shù)據(jù)系統(tǒng)讀取設備模型的效率,本文設計了設備模型速讀碼,同類設備采用同等長度的英文字符,以提高設備的讀取和匹配效率。速讀碼分別針對設備類型、10 kV及以上電壓等級、設備編號設計了完整的簡記符號,將三段簡記符號連接后得到該設備的速讀碼,該編碼不僅具有唯一性,而且代表特定含義,無需額外的對照表即可解碼,適合大規(guī)模計算使用。

2)數(shù)據(jù)模型命名設計遵循了層次性、準確性、唯一性規(guī)則,確保對電網(wǎng)設備的調(diào)管關系、廠站、電壓等級、間隔等電網(wǎng)結(jié)構(gòu)及管理結(jié)構(gòu)的分層描述。同時,對設備對象的類型、屬性等信息進行準確描述,使得電網(wǎng)內(nèi)所有設備名稱具備唯一性,以支撐全調(diào)控領域一、二次電網(wǎng)設備模型在不同業(yè)務應用系統(tǒng)之間模型數(shù)據(jù)的統(tǒng)一交換和共享。

2.2 規(guī)范設備信息

設備信息規(guī)范主要包括電網(wǎng)設備全路徑名稱規(guī)范和物理設備標識規(guī)范。

1)電網(wǎng)設備全路徑名稱規(guī)范的范圍包括對電網(wǎng)、廠站、站內(nèi)設備以及輸配電線路及其線上設備兩部分。電網(wǎng)設備全路徑名稱規(guī)范設計中滿足分隔規(guī)則、分層規(guī)則及唯一性規(guī)則[12-13]。分隔規(guī)則采用特殊符號作為層次結(jié)構(gòu)的名稱項的分隔標記,分層規(guī)則將電網(wǎng)、設備按自然結(jié)構(gòu)分層次排列,標識電網(wǎng)或設備的層次關系；唯一性規(guī)則要求設備命名在全網(wǎng)范圍內(nèi)唯一,具有唯一標識電網(wǎng)設備的作用。

2)物理設備標識規(guī)范的范圍包括機構(gòu)類(如電網(wǎng)、公司、調(diào)控機構(gòu)等),容器類(如設備容器、廠商、系統(tǒng)等),一次設備,二次設備,通用IT設備類等。為保證電網(wǎng)調(diào)度物理設備在調(diào)度系統(tǒng)中(縱向)和跨專業(yè)(橫向)的全局唯一,在不影響應用系統(tǒng)正常運行的前提下,采用數(shù)據(jù)交互共享的編碼規(guī)則(即ID編碼規(guī)則),生成電網(wǎng)物理設備對象的唯一標識。

電網(wǎng)物理設備對象的編碼規(guī)范用于確保數(shù)據(jù)的全網(wǎng)唯一不重復,ID內(nèi)容一旦生成不隨數(shù)據(jù)屬性變化而改變,ID作為調(diào)度系統(tǒng)各應用間橫向、縱向交互的身份確認碼使用。其示例如圖3所示,設備對象ID采用“四段式”編碼方式[14-15],四段分別由數(shù)據(jù)對象大類編碼、數(shù)據(jù)對象小類編碼、組織機構(gòu)代碼和序列號組成,采用字符型存儲。

圖3 物理設備標識編碼示例Fig.3 Example of identification code for physical device

數(shù)據(jù)對象大類編碼,用于區(qū)分數(shù)據(jù)對象大類型,如01代表容器、13代表變電設備、27代表廠站自動化設備;數(shù)據(jù)對象小類編碼,可以細化區(qū)分數(shù)據(jù)對象具體類型,根據(jù)不同設備大類獨立進行小類編碼。圖3中0101代表發(fā)電廠、1301代表變壓器、2709代表RTU。組織機構(gòu)代碼,在《中華人民共和國行政區(qū)劃代碼標準》的基礎上，依據(jù)電網(wǎng)機構(gòu)的特點進行編碼擴展,用于區(qū)分不同的調(diào)度單位,序列號由小到大順序編碼,以確保物理設備編碼的唯一性。圖3中330000代表浙江省、130600代表河北保定、990100代表國調(diào)。

2.3 規(guī)范數(shù)據(jù)結(jié)構(gòu)

在規(guī)范模型命名和設備信息的基礎上,將電網(wǎng)調(diào)度直接使用的電力一次設備、二次設備、電力設備容器,以及與調(diào)度緊密相關的組織機構(gòu)、周邊環(huán)境等內(nèi)容作為對象,以一張或多張數(shù)據(jù)庫表的方式統(tǒng)一描述,并定義其元數(shù)據(jù),進行標準管理,提高數(shù)據(jù)存儲及使用的效率。

2.4 靜態(tài)數(shù)據(jù)點召技術

變電站靜態(tài)數(shù)據(jù)是變電設備在運行過程中,站內(nèi)自動化系統(tǒng)(子站系統(tǒng))生成的,沒有上送到調(diào)度端,就地存儲在變電站的各類設備及電網(wǎng)的遙測、遙信信息。當前,子站與主站的通信方式中多采用IEC 60870-5-101/104協(xié)議,其中IEC 60870-5-101協(xié)議采用串行通信方式,IEC 60870-5-104 協(xié)議采用以太網(wǎng)TCP/IP通信方式,這兩種協(xié)議只能發(fā)送狀態(tài)、采樣、控制等數(shù)據(jù)信息,對于信息的描述沒有涉及,導致監(jiān)控大數(shù)據(jù)系統(tǒng)無法對源端數(shù)據(jù)完全再現(xiàn),也不利于分析設備運行的深層次問題[16-17],不利于監(jiān)控大數(shù)據(jù)系統(tǒng)充分挖掘變電站靜態(tài)數(shù)據(jù)的價值。

已發(fā)布電力系統(tǒng)通用服務協(xié)議提供一系列服務,實現(xiàn)包括模型、廠站圖形、遙信、遙測等各類數(shù)據(jù)傳輸,并實現(xiàn)控制功能[18]。變電站靜態(tài)數(shù)據(jù)點召就是充分利用通用服務協(xié)議的擴展性,開通除監(jiān)控信息表外的第二數(shù)據(jù)交互方式。首先在變電站側(cè)對變電站靜態(tài)數(shù)據(jù)進行規(guī)范,然后主站通過通用服務協(xié)議提供的接口召喚變電站靜態(tài)數(shù)據(jù),基于業(yè)務需要,對靜態(tài)數(shù)據(jù)實現(xiàn)多點、分時段召喚,實現(xiàn)重要數(shù)據(jù)源按需采集,為監(jiān)控大數(shù)據(jù)分析應用提供數(shù)據(jù)支撐。

基于通用服務協(xié)議的數(shù)據(jù)點召具備以下特點。

1)面向通用服務協(xié)議的一系列接口服務注冊,實現(xiàn)服務消費者和服務提供者間的信息交互。

2)支持預定義和自定義數(shù)據(jù)類型交互,對于單一類型或簡單結(jié)構(gòu)類型的數(shù)據(jù)交互,可采用公共預定義數(shù)據(jù)類型,對于復雜類型的數(shù)據(jù)交互,可采用自定義數(shù)據(jù)類型。同時,還需支持流式數(shù)據(jù)交互,能夠?qū)崿F(xiàn)文件、圖像等的傳輸。

3)實現(xiàn)面向服務的請求響應式服務和訂閱發(fā)布式服務的接口調(diào)用方式,支持跨域數(shù)據(jù)服務調(diào)用。

電力系統(tǒng)規(guī)模龐大、建設運行時間長、設備多樣、通信方式多樣,因此數(shù)據(jù)源端規(guī)范成為電力大數(shù)據(jù)分析應用開展的基礎,多源、高維、先驗、異構(gòu)的電力生數(shù)據(jù)首先需經(jīng)規(guī)范之后,才能轉(zhuǎn)化為計算機系統(tǒng)可以識別、運算處理的有效數(shù)據(jù)。本文提出數(shù)據(jù)規(guī)范技術,以支撐后續(xù)數(shù)據(jù)處理及分析應用的開展。

3 全過程數(shù)據(jù)處理技術

針對源端規(guī)范接入監(jiān)控大數(shù)據(jù)系統(tǒng)的數(shù)據(jù),本文提出從監(jiān)控數(shù)據(jù)打業(yè)務標簽,到基于標簽數(shù)據(jù)的數(shù)據(jù)集交付、再到數(shù)據(jù)混合計算模式的全過程數(shù)據(jù)處理技術體系,強化數(shù)據(jù)的業(yè)務特征,提高數(shù)據(jù)查詢和計算效率,為后續(xù)的高級分析應用奠定了基礎。

3.1 自薦式自適應全壽命數(shù)據(jù)標簽技術

考慮監(jiān)控業(yè)務數(shù)據(jù)的復雜性,本文提出了面向監(jiān)控信息、設備臺賬、業(yè)務應用的全壽命數(shù)據(jù)標簽技術,以滿足數(shù)據(jù)在不同階段的業(yè)務要求。標簽是在數(shù)據(jù)物理表之上構(gòu)建的邏輯描述,具有時間維度和業(yè)務維度的自適應能力[19],能夠根據(jù)歷史統(tǒng)計自動推薦業(yè)務標簽,具備標簽自薦能力,實現(xiàn)多源多維數(shù)據(jù)分類標識。

監(jiān)控大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)標簽是由業(yè)務專家和數(shù)據(jù)管理者對業(yè)務模型進行梳理和抽象,是將業(yè)務專家的經(jīng)驗與業(yè)務模型進行顯式表達和固化的過程。監(jiān)控大數(shù)據(jù)系統(tǒng)提供了一套基于標簽的衍生與組合的邏輯方法,用戶通過簡單選擇,可將已有的標簽通過組合生成更高層次的標簽,多標簽的分類技術方法可參考附錄A。

以監(jiān)控設備為例,在監(jiān)控大數(shù)據(jù)系統(tǒng)的具體標簽方式包括:①圍繞遙信重要影響及分析因素打標簽,包括檢修、告警抑制、超期復歸、未復歸等;②圍繞遙測的常用分析指標打標簽,包括電壓越限、數(shù)據(jù)跳變、重載70%等;③圍繞設備臺賬的重點關注方向打標簽,包括重復檢修、存在缺陷、重點關注設備、存在重大風險設備等。隨著監(jiān)控設備全壽命周期范圍內(nèi)的業(yè)務狀態(tài)變化,系統(tǒng)具備自動分析數(shù)據(jù)物理表結(jié)構(gòu)和歷史數(shù)據(jù)的業(yè)務邏輯,自動推薦合適的數(shù)據(jù)標簽。

利用標簽技術的擴展性強、檢索快、分析快的特點,大幅提高海量遙測、遙信數(shù)據(jù)的檢索及查詢速度。以標簽中心為基礎,建立大數(shù)據(jù)資源之上的統(tǒng)一邏輯模型,可以在“標簽”這種邏輯模型視圖上,結(jié)合畫像分析、規(guī)則預警、文本挖掘、個性化推薦、關系網(wǎng)絡等多個業(yè)務場景的數(shù)據(jù)服務模塊,通過接口的方式實現(xiàn)分析應用的快速搭建。

以用戶畫像為例,本文進一步描述標簽技術的應用過程,用戶畫像即用戶信息標簽化,是真實用戶的虛擬代表,是根據(jù)用戶的真實數(shù)據(jù)挖掘出的標簽化用戶模型[20]。在監(jiān)控大數(shù)據(jù)系統(tǒng)中,用戶就是變電站設備,通過標簽集合的建立可以在數(shù)學模型中描述業(yè)務流程體系、電網(wǎng)實時狀態(tài)、設備健康狀況等需求與數(shù)據(jù)的關聯(lián)關系。用戶畫像形成后,標簽集合可以為調(diào)度管理類、生產(chǎn)類數(shù)據(jù)和營銷類數(shù)據(jù)提供共性屬性關聯(lián),查找存在于不同業(yè)務對象之間的相關性或因果結(jié)構(gòu)。

3.2 基于數(shù)據(jù)集的數(shù)據(jù)交付技術

通過對標簽的歸集,生成交互數(shù)據(jù)的元數(shù)據(jù),對數(shù)據(jù)結(jié)構(gòu)進行統(tǒng)一管理,系統(tǒng)自動生成數(shù)據(jù)源清單,便于對交互數(shù)據(jù)源進行安全管控。數(shù)據(jù)虛擬化將異構(gòu)、多源的數(shù)據(jù)集,基于對數(shù)據(jù)資源的邏輯虛擬化,通過一個邏輯抽象層集成管理、整合各個數(shù)據(jù)源。監(jiān)控大數(shù)據(jù)系統(tǒng)針對不同的業(yè)務功能、專業(yè)報表等,提供適用的數(shù)據(jù)服務,用戶只需要提出數(shù)據(jù)的需求,不需要關心數(shù)據(jù)的存儲位置和訪問權限等,根據(jù)歷史數(shù)據(jù)、數(shù)據(jù)源使用記錄,自動生成數(shù)據(jù)源清單和元數(shù)據(jù),實現(xiàn)用戶以完全透明的方式訪問所有的數(shù)據(jù)源,為監(jiān)控大數(shù)據(jù)系統(tǒng)提供靈活、多角度和全方位的公共數(shù)據(jù)訪問,實現(xiàn)數(shù)據(jù)即服務的目標,支撐大數(shù)據(jù)級的數(shù)據(jù)交互需求,如圖4所示。

圖4 自定義可交付數(shù)據(jù)集示意圖Fig.4 Schematic diagram of self-defined deliverable dataset

元數(shù)據(jù)是描述信息資源或數(shù)據(jù)對象的數(shù)據(jù), 通過元數(shù)據(jù)定義實現(xiàn)電力調(diào)度數(shù)據(jù)的簡單高效管理,實現(xiàn)電力調(diào)度通用數(shù)據(jù)的標準設計,為管理交互數(shù)據(jù)需要設計數(shù)據(jù)集元模型[14]。數(shù)據(jù)源清單,是對標簽的組織機構(gòu)屬性、使用數(shù)據(jù)源的功能屬性、使用數(shù)據(jù)源的業(yè)務應用屬性等關鍵字進行關鍵字提取、歸集形成數(shù)據(jù)源清單?？山换?shù)據(jù)集,為了滿足監(jiān)控大數(shù)據(jù)分析應用對于數(shù)據(jù)及其傳輸?shù)男枨?將數(shù)據(jù)的發(fā)布認為是提供一種定向的發(fā)布服務,為業(yè)務場景分析提供基礎數(shù)據(jù)支撐。根據(jù)不同的組織機構(gòu)、業(yè)務應用、具體分析功能的數(shù)據(jù)交互任務需求,逐一進行有針對性的數(shù)據(jù)發(fā)布。

為了實現(xiàn)面向業(yè)務需求的可交互數(shù)據(jù)集,監(jiān)控大數(shù)據(jù)系統(tǒng)采用數(shù)據(jù)虛擬化技術和基于標簽的源數(shù)據(jù)管理,通過對用戶及歷史數(shù)據(jù)使用情況的分析,進行數(shù)據(jù)集推送,從而滿足同類用戶及同類業(yè)務應用對數(shù)據(jù)源的需求。

3.3 混合式數(shù)據(jù)計算技術

監(jiān)控大數(shù)據(jù)系統(tǒng)不僅要對歷史數(shù)據(jù)進行深入分析和挖掘,還需要面對故障異常下雪崩式數(shù)據(jù)報送,尤其是面向全網(wǎng)的“全、快、準”實時計算要求,這對傳統(tǒng)的計算方式來說是新的挑戰(zhàn)。根據(jù)監(jiān)控業(yè)務的工作特點,基于大數(shù)據(jù)批量計算和流式計算的優(yōu)點,對大數(shù)據(jù)計算技術進行優(yōu)化,提出正常情況下定時批量計算增量數(shù)據(jù)、緊急情況下流式計算的混合式數(shù)據(jù)計算技術[21-22]。

監(jiān)控大數(shù)據(jù)系統(tǒng)提出批量計算技術和流式計算技術相結(jié)合的混合計算技術架構(gòu),為平臺提供滿足統(tǒng)計、分析、搜索及挖掘需求的基礎計算服務,如圖5所示。

圖5 混合式數(shù)據(jù)計算處理示意圖Fig.5 Schematic diagram of hybrid data computing

1)批量計算技術

大數(shù)據(jù)批量計算是一種適用于大規(guī)模并行批處理作業(yè)的分布式云計算服務。批量計算不同于傳統(tǒng)計算模式,采用分布式的思想,把需要計算的數(shù)據(jù)分割為多個數(shù)據(jù)處理節(jié)點進行計算,可以減小數(shù)據(jù)傳輸?shù)馁Y源開銷,待計算結(jié)束之后將各節(jié)點的計算結(jié)果進行匯總,得到最終的計算輸出[23-24]。批量計算技術能夠支持大規(guī)模的并發(fā)作業(yè),系統(tǒng)自動完成數(shù)據(jù)加載和作業(yè)調(diào)度、并彈性縮放計算資源。如圖5所示,批量計算流程包括了數(shù)據(jù)采集、數(shù)據(jù)預處理、分布式文件存儲和分布式批量計算。

2)流式計算技術

流式計算無需先對數(shù)據(jù)進行存儲,是在數(shù)據(jù)到來后直接對數(shù)據(jù)進行計算并及時反饋結(jié)果。在監(jiān)控業(yè)務中,一是對毫秒級精度調(diào)度控制系統(tǒng)(D5000系統(tǒng))數(shù)據(jù)的分析應用,需要進行實時性的計算;二是在極端災害氣象和重大電網(wǎng)故障情況下,調(diào)控機構(gòu)需要啟動實時的大數(shù)據(jù)分析計算,需要實時的流式計算。如圖5所示,流式計算流程包括了數(shù)據(jù)采集、數(shù)據(jù)預處理、共享內(nèi)存和分布式流式計算,包括了負載均衡和中間結(jié)果回寫功能,以支撐緊急情況下的分析計算。實踐表明,流式計算對于大規(guī)模數(shù)據(jù)的實時處理速度較傳統(tǒng)計算方法大幅提高。流式計算共享批量計算的數(shù)據(jù)源、電網(wǎng)模型、預處理過程和分布式計算邏輯,在運轉(zhuǎn)時,采用性能較高的內(nèi)存計算,即計算模塊直接與存儲在內(nèi)存中的數(shù)據(jù)進行交換,相比于批量計算,減少了頻繁的數(shù)據(jù)庫操作和磁盤I/O讀寫,大大提高了計算效率,但隨之帶來的是資源的大量占用和消耗。

3)混合式計算技術

本文提出的混合式計算技術特點在于,正常情況下采用周期批量計算,減少計算資源的占用,當電網(wǎng)遭遇極端災害和發(fā)生故障的緊急情況下,需要實時關注分析計算的結(jié)果,采用流式計算模式。采用基于批量計算和流式計算相結(jié)合的混合式計算技術來平衡監(jiān)控大數(shù)據(jù)分析應用對于實時計算的需求,以及系統(tǒng)持續(xù)運轉(zhuǎn)對于計算資源的較多消耗和占用。在混合式計算模式下,批量計算和流式計算不僅可以共享數(shù)據(jù)資源和計算資源,還可以共享計算結(jié)果,即流式計算的結(jié)果可以回寫到數(shù)據(jù)庫中,供批量計算調(diào)用,避免重復處理和計算。實踐表明,采用混合計算技術,既可以滿足調(diào)控運行人員對實時計算業(yè)務的需求,又可以有效降低系統(tǒng)對于全局計算資源的消耗。

4 應用案例

本文提出的基于數(shù)據(jù)規(guī)范、通用服務協(xié)議、數(shù)據(jù)標簽、數(shù)據(jù)集及混合計算技術的監(jiān)控大數(shù)據(jù)分析系統(tǒng),是全國首套實際上線運行的電力調(diào)控實時大數(shù)據(jù)分析系統(tǒng),在近兩年電網(wǎng)大數(shù)據(jù)分析試點運行中取得了良好的運行效果。

以臺風路徑預警及監(jiān)視功能為例,需要實現(xiàn)臺風軌跡預警監(jiān)視功能、受影響變電站預警監(jiān)視功能、風圈電網(wǎng)設備故障異常預警及視頻監(jiān)視功能、重要用戶受災預警監(jiān)視功能。涉及大運行數(shù)據(jù):跳閘線路、失穩(wěn)斷面、重載線路/變壓器、故障設備視頻等,大檢修數(shù)據(jù):故障設備、浸水變電站、跳閘線路等,大營銷數(shù)據(jù):損失負荷、重要用戶停電、恢復重要用戶供電時間等。目前D5000系統(tǒng)中缺乏大檢修和大營銷數(shù)據(jù),也不包含故障設備視頻數(shù)據(jù),因此靠傳統(tǒng)單一系統(tǒng)、單一數(shù)據(jù)源無法實現(xiàn)臺風路徑預警及監(jiān)視功能。

本文提出的智能電網(wǎng)監(jiān)控運行大數(shù)據(jù)分析系統(tǒng)首先實現(xiàn)了多源多維數(shù)據(jù)源的匯集,通過數(shù)據(jù)規(guī)范實現(xiàn)了異構(gòu)數(shù)據(jù)的計算機識別及對象化,最后通過數(shù)據(jù)處理技術實現(xiàn)了實時、高效的計算處理。

在計算效率提升方面,首先以3.1節(jié)數(shù)據(jù)標簽技術的應用為例。傳統(tǒng)變電站監(jiān)控系統(tǒng)需要掃描全部變電站、全部用戶和處理全部視頻流。監(jiān)控大數(shù)據(jù)系統(tǒng)通過歷史浸水變電站標簽、廠站視頻事故前后幀標簽、重要用戶標簽等業(yè)務特征的標簽提取,大幅減少數(shù)據(jù)計算復雜度。

表1所示為傳統(tǒng)數(shù)據(jù)處理技術和全過程數(shù)據(jù)處理技術的效率提升對比。可以看出經(jīng)過打標簽后,浸水變電站監(jiān)測范圍由3 107個下降到25個,重要用戶的監(jiān)測范圍由4 400萬戶下降到1 200戶,數(shù)據(jù)檢索效率得到顯著提升。廠站視頻提取,傳統(tǒng)業(yè)務處理是對故障設備前后1 h的視頻處理,按照25幀/s計算,需要處理90 000(25×60×60)幀,在監(jiān)控大數(shù)據(jù)系統(tǒng)中,僅提取故障設備前后2幀圖像分析,大幅提升了視頻文件處理效率。

表1 臺風路徑預警及監(jiān)視功能數(shù)據(jù)處理效率對比Table 1 Comparison of data processing efficiency of early warning and surveillance function for typhoon paths

進一步以3.3節(jié)混合式數(shù)據(jù)計算技術的應用為例。表2闡述了流式計算、批量計算在不同維度下的對比分析[21]。

表2 計算模式對比Table 2 Comparison of calculation modes

從表2可以看出,流式計算存在實時性的優(yōu)點,但也存在資源消耗大的缺點,嚴重情況下,能夠影響系統(tǒng)其他業(yè)務模塊的使用體驗,批量計算雖然不存在資源消耗大的問題,但是計算有一定的延遲,不能滿足電網(wǎng)監(jiān)控實時計算的業(yè)務要求。本文提出的混合計算方法有效兼顧了流式計算的時效性和批量計算的低資源消耗性,能夠支撐監(jiān)控大數(shù)據(jù)系統(tǒng)在不同場景下的應用需求。

5 結(jié)語

開展大數(shù)據(jù)分析，數(shù)據(jù)源端規(guī)范是基礎，高效的計算、分析是關鍵。本文提出了包含數(shù)據(jù)源端規(guī)范、通用服務協(xié)議、全壽命數(shù)據(jù)標簽、數(shù)據(jù)集和混合計算模式的技術架構(gòu)，規(guī)范了數(shù)據(jù)接入，提升了全過程處理效率，支撐了上層四大應用中心的多源、多維、全時間數(shù)據(jù)需求，推動監(jiān)控員由“被動的人工經(jīng)驗依賴”向“主動的人工智能輔助”角色轉(zhuǎn)變，由簡單機械的被動監(jiān)視角色到主動異常發(fā)現(xiàn)的分析師角色轉(zhuǎn)變，提高了整體監(jiān)控運行質(zhì)效。系統(tǒng)從2016年7月到2018年4月，經(jīng)過國家電力調(diào)度控制中心在江蘇、浙江、天津、四川、遼寧5個省級電網(wǎng)組織開展的試點運行，驗證了系統(tǒng)運行穩(wěn)定、可靠。另一方面，系統(tǒng)自2017年12月至2018年4月共發(fā)布1 130項大數(shù)據(jù)預警，經(jīng)核查其中由設備異常引起的960項，已全部完成設備消缺，其余通過加強管理措施完成整改，夯實了電網(wǎng)運行的安全基礎。

本文提出的監(jiān)控大數(shù)據(jù)分析系統(tǒng)，尚未采用資源虛擬化和應用服務化技術，未能發(fā)揮出計算資源的最大效益。后期將進一步研究大數(shù)據(jù)分析系統(tǒng)與調(diào)控“云”平臺的融合技術[25]，始終堅持以數(shù)據(jù)源的“寬”采集、多源數(shù)據(jù)的“快”處理和運行分析的“準”研判為總體思路，持續(xù)推動監(jiān)控大數(shù)據(jù)系統(tǒng)的優(yōu)化完善，支撐特高壓大電網(wǎng)的安全運行。

附錄見本刊網(wǎng)絡版(http://www.aeps-info.com/aeps/ch/index.aspx)。