電網(wǎng)實時數(shù)據(jù)中臺設(shè)計與研究

王 震，楊 濤，葛士輝，郎濟瑩

（山東魯軟數(shù)字科技有限公司 山東 濟南 250000）

0 引言

當前，能源電力發(fā)展面臨著保障安全可靠供應(yīng)，加快清潔低碳轉(zhuǎn)型、助力實現(xiàn)“雙碳”目標的重大戰(zhàn)略任務(wù)。電網(wǎng)企業(yè)以建設(shè)中國特色能源互聯(lián)網(wǎng)企業(yè)為目標，打造企業(yè)中臺，實現(xiàn)能力共享、數(shù)據(jù)共享，支持快速應(yīng)用搭建，推進高質(zhì)量發(fā)展［1］。 同時，加快構(gòu)建新型電力系統(tǒng)，提升可觀測性、可描述性和可控制性，實現(xiàn)系統(tǒng)數(shù)據(jù)共享和數(shù)字化透明電網(wǎng)。

經(jīng)過多年發(fā)展，電網(wǎng)企業(yè)已建成調(diào)度自動化、配電自動化、用電信息采集等覆蓋各個電壓等級的采集測控系統(tǒng)，以及訂單管理系統(tǒng)、生產(chǎn)管理系統(tǒng)、營銷業(yè)務(wù)應(yīng)用等覆蓋各環(huán)節(jié)業(yè)務(wù)的信息系統(tǒng)，基本能夠滿足傳統(tǒng)電網(wǎng)安全運行、生產(chǎn)管理和客戶服務(wù)的需要。 然而，與新型電力系統(tǒng)全環(huán)節(jié)透明化［2］要求相比，還存在很多不足［3］。 在采集系統(tǒng)建設(shè)方面，電網(wǎng)企業(yè)尚未實現(xiàn)感知層終端、通道、安全防護等資源統(tǒng)一規(guī)劃和管理［4］，存在跨專業(yè)重復(fù)建設(shè)和“一數(shù)多源、一數(shù)多采”的現(xiàn)象，各專業(yè)僅開展采集數(shù)據(jù)邏輯和數(shù)據(jù)流轉(zhuǎn)等前置服務(wù)建設(shè)，未考慮其他專業(yè)數(shù)據(jù)需求；在采集數(shù)據(jù)共享方面，存在接口調(diào)整代價高和時效性不足等問題，無法滿足各專業(yè)高即時性業(yè)務(wù)需求［5］。

電網(wǎng)企業(yè)“十四五”數(shù)字化規(guī)劃旨在提升數(shù)據(jù)實時處理能力，實現(xiàn)分鐘級數(shù)據(jù)同步和億萬級數(shù)據(jù)計算能力，支持準實時業(yè)務(wù)場景。 通過構(gòu)建流批一體化實時處理能力，融合實時和離線數(shù)據(jù)，滿足動態(tài)多源異構(gòu)數(shù)據(jù)需求。 針對新型電力系統(tǒng)建設(shè)的實時數(shù)據(jù)應(yīng)用需求，統(tǒng)籌內(nèi)外資源，開展基于企業(yè)中臺的實時數(shù)據(jù)共享技術(shù)研發(fā)與應(yīng)用［6］。優(yōu)化數(shù)據(jù)流轉(zhuǎn)和共享方式，解決時效性和共享服務(wù)能力問題，全面提升數(shù)據(jù)中臺的實時數(shù)據(jù)共享支撐能力。

本文通過實時數(shù)據(jù)計算和基于Open API 實時數(shù)據(jù)共享系統(tǒng)功能模塊化研究，建立電網(wǎng)實時數(shù)據(jù)中臺，并以此為技術(shù)底座搭建實時數(shù)據(jù)共享服務(wù)中心。 該平臺對于數(shù)據(jù)實時采集、處理并通過服務(wù)實現(xiàn)高速共享，可滿足各專業(yè)實時數(shù)據(jù)計算、存儲、共享等業(yè)務(wù)應(yīng)用需求。 實時數(shù)據(jù)中臺為調(diào)度、設(shè)備、營銷等專業(yè)提供高速實時數(shù)據(jù)共享服務(wù)，形成可復(fù)制、可推廣的實時數(shù)據(jù)中臺產(chǎn)品，向其他能源行業(yè)相關(guān)企業(yè)推廣應(yīng)用，助力新型電力系統(tǒng)“源網(wǎng)荷儲”協(xié)同互動。

1 流批一體

實時數(shù)據(jù)中臺采用Flink 組件實現(xiàn)數(shù)據(jù)的流批一體計算，適應(yīng)不同時效性需求。 流式計算適用于高時效性、低延遲性業(yè)務(wù)場景，如實時數(shù)據(jù)分析等。 批量處理適用于對數(shù)據(jù)時效性不高的業(yè)務(wù)場景，如天報表、年報表等。

Flink 的核心應(yīng)用程序編程接口（ application programming interface， API），最初針對特定場景設(shè)計，盡管應(yīng)用程序編程接口／結(jié)構(gòu)化查詢語言已實現(xiàn)流處理和批處理的統(tǒng)一API，但底層API 仍需選擇DataStream API 和DataSet API。 為此，將這兩種API 合并成統(tǒng)一API 帶來以下優(yōu)點：（1）作業(yè)可自由切換執(zhí)行模式，無需重寫代碼；（2）可復(fù)用同一作業(yè)處理實時和歷史數(shù)據(jù)；（3）流和批可共用connector，輕松實現(xiàn)流批混合執(zhí)行。

2 Open API

在互聯(lián)網(wǎng)時代，開放平臺通過提供開放API，將網(wǎng)站服務(wù)封裝為易識別的數(shù)據(jù)接口，使第三方開發(fā)者無須改變源代碼就能夠增加功能或使用資源。 實時數(shù)據(jù)中臺基于Open API 提供實時數(shù)據(jù)共享發(fā)布功能，統(tǒng)一管理數(shù)據(jù)并對外提供服務(wù)調(diào)用和消息訂閱，提高系統(tǒng)的靈活性和可擴展性，推動創(chuàng)新應(yīng)用的快速發(fā)展。

3 中臺設(shè)計

3.1 中臺架構(gòu)設(shè)計

如圖1 所示，中臺架構(gòu)分為數(shù)據(jù)接入層、數(shù)據(jù)緩存層、共享服務(wù)層和應(yīng)用層。 具體為：（1）數(shù)據(jù)接入層將主網(wǎng)調(diào)度、配電自動化和用采系統(tǒng)等源端系統(tǒng)量測數(shù)據(jù)接入中臺，支持MySQL、MongoDB、Kafka、API 等類型數(shù)據(jù)接入。（2）數(shù)據(jù)緩存層使用Kafka 等，用于緩存數(shù)據(jù)，實現(xiàn)在高并發(fā)下，能夠最大程度降低對數(shù)據(jù)庫服務(wù)器的壓力。 （3）共享服務(wù)層根據(jù)配置規(guī)則處理數(shù)據(jù)，并通過API 和消息隊列對外提供服務(wù)。 共享服務(wù)層包括數(shù)據(jù)計算、數(shù)據(jù)存儲、對外服務(wù)三個模塊，實現(xiàn)數(shù)據(jù)去重、解析、映射和關(guān)聯(lián)計算，支持多種數(shù)據(jù)存儲方式，提供Open API、Rest API 和SDK等服務(wù)方式。 （4）應(yīng)用層是由實時數(shù)據(jù)中臺服務(wù)對象組成，包括調(diào)度、營銷和配電等業(yè)務(wù)系統(tǒng)應(yīng)用。

圖1 中臺架構(gòu)設(shè)計

3.2 中臺功能設(shè)計

中臺統(tǒng)籌各專業(yè)實時數(shù)據(jù)共享應(yīng)用需求，包含從數(shù)據(jù)源端接入到中臺的數(shù)據(jù)計算以及數(shù)據(jù)共享的全流程功能。具體來說，實時數(shù)據(jù)中臺主要包括實時數(shù)據(jù)共享服務(wù)、數(shù)據(jù)運營管理、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)仿真與孿生等功能。 下面介紹每個功能的功能項及功能項描述。

3.2.1 實時數(shù)據(jù)共享

實時數(shù)據(jù)共享服務(wù)是實時數(shù)據(jù)中臺的基礎(chǔ)，包含數(shù)據(jù)接入、數(shù)據(jù)計算、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)對外共享五塊功能。 具體功能設(shè)置如表1 所示。

表1 實時數(shù)據(jù)共享功能項

3.2.2 數(shù)據(jù)運營管理

該功能目的在于建立數(shù)據(jù)管理全流程閉環(huán)一體化運營能力，實現(xiàn)精細化運營管理。 具體實現(xiàn)功能如表2所示。

表2 數(shù)據(jù)運營管理功能項

3.2.3 數(shù)據(jù)資產(chǎn)管理

該功能旨在構(gòu)建數(shù)據(jù)資產(chǎn)分析展示模塊，實現(xiàn)數(shù)據(jù)服務(wù)的便捷查詢和靈活獲取。 具體功能如表3 所示。

表3 數(shù)據(jù)資產(chǎn)管理功能項

3.2.4 數(shù)字仿真與孿生

基于仿真技術(shù)實現(xiàn)數(shù)據(jù)質(zhì)量校驗和數(shù)據(jù)補齊，同時為各應(yīng)用提供仿真校驗服務(wù)；融合實時數(shù)據(jù)與仿真模型，為數(shù)字孿生電網(wǎng)建設(shè)提供基礎(chǔ)支撐。 具體功能如表4 所示。

表4 數(shù)字仿真與孿生功能項

4 應(yīng)用實踐

以實時數(shù)據(jù)中臺為基礎(chǔ)，構(gòu)建企業(yè)級實時數(shù)據(jù)共享服務(wù)中心。 該中心實時匯聚新型電力系統(tǒng)全環(huán)節(jié)采集的量測數(shù)據(jù)，提供高實時數(shù)據(jù)和高性能算力服務(wù)，支持各專業(yè)的實時共享共用。 實時數(shù)據(jù)共享服務(wù)中心的功能截圖如圖2 所示。

圖2 實時數(shù)據(jù)共享服務(wù)中心部分截圖

4.1 典型場景簡介

4.1.1 分布式光伏精益化管理

實時數(shù)據(jù)中臺匯聚電網(wǎng)全環(huán)節(jié)的曲線數(shù)據(jù)，提供分布式光伏數(shù)據(jù)服務(wù)。 地市調(diào)度系統(tǒng)利用量測數(shù)據(jù)進行分布式光伏在線觀測、功率預(yù)測、安全監(jiān)控等應(yīng)用，推動新能源精益化管理。

4.1.2 新一代應(yīng)急指揮災(zāi)情監(jiān)測

實時數(shù)據(jù)中臺為新一代應(yīng)急提供主網(wǎng)開關(guān)變位信息、設(shè)備狀態(tài)事件、停電事件等實時監(jiān)控告警信息，并結(jié)合高級空間分析能力，支持災(zāi)損恢復(fù)和災(zāi)情監(jiān)測模塊。

4.1.3 配網(wǎng)故障定位搶修

實時數(shù)據(jù)中臺通過配電自動化系統(tǒng)、用采系統(tǒng)和95598 等數(shù)據(jù)源，獲取準實時的電氣運行數(shù)據(jù)、臺區(qū)停復(fù)電事件和停送電計劃信息。 利用這些數(shù)據(jù)進行綜合分析，以支持供電服務(wù)開展主動搶修業(yè)務(wù)。 通過緊密配合標準化流程，實現(xiàn)故障處置并協(xié)同運轉(zhuǎn)電網(wǎng)，實現(xiàn)高效搶修和優(yōu)質(zhì)服務(wù)的目標。

4.2 典型場景應(yīng)用示例

以分布式光伏精益化管理應(yīng)用為例介紹基于企業(yè)級數(shù)據(jù)共享服務(wù)，場景功能放在“透明電網(wǎng)”一級菜單設(shè)置下。 平臺內(nèi)應(yīng)用截圖如圖3 所示。

圖3 平臺應(yīng)用截圖

在數(shù)據(jù)接入準備階段，需要映射用采系統(tǒng)與配電系統(tǒng)化系統(tǒng)中的數(shù)據(jù)，并實現(xiàn)物聯(lián)采集、模型標準、數(shù)據(jù)存儲和計算服務(wù)的統(tǒng)一模式。 接入實時數(shù)據(jù)中臺后，獲取用戶的曲線類數(shù)據(jù)和事件類數(shù)據(jù)。 同時，通過數(shù)據(jù)中臺實時獲取分布式光伏用戶臺賬類數(shù)據(jù)。

接入原始數(shù)據(jù)后，對數(shù)據(jù)進行加工，實現(xiàn)去重、過濾、關(guān)聯(lián)等操作，轉(zhuǎn)變?yōu)榭蓱?yīng)用的“熟數(shù)據(jù)”。

實時數(shù)據(jù)共享服務(wù)提供近三天的分布式光伏量測數(shù)據(jù)共享，采用列式存儲和數(shù)據(jù)總線，滿足低延遲、高吞吐量的要求，并將超過三天的數(shù)據(jù)按需歸檔至數(shù)據(jù)中臺。

完成上述步驟后，實現(xiàn)數(shù)據(jù)共享服務(wù)。 利用實時數(shù)據(jù)中臺進行分布式光伏數(shù)據(jù)加工處理和分析，通過API、應(yīng)用集成和消息訂閱服務(wù)發(fā)布計算結(jié)果，實現(xiàn)數(shù)據(jù)一次計算多次共享，提高處理效率和數(shù)據(jù)獲取速度。

4.3 成效對比分析

平臺實現(xiàn)70 萬＋分布式光伏數(shù)據(jù)的實時接入與共享，時延控制在10 s 左右（未使用中臺前約40 s）。 試點區(qū)域智能電表采集至調(diào)度業(yè)務(wù)應(yīng)用總時延可控制到1 min（未使用中臺前約3 min）。 大批量獲取數(shù)據(jù)場景下，如某市縣電量平衡計算，獲取90%以上分布式光伏用戶數(shù)據(jù)耗時4.5 min（未使用中臺前約10 min）。 三類場景的成效對比如圖4 所示。

圖4 成效對比

通過圖4 可見，實時數(shù)據(jù)中臺的應(yīng)用帶來了顯著的時間成效提升。 光伏數(shù)據(jù)接入和調(diào)取時延縮短至使用中臺前的1／4，電表信息采集到調(diào)度應(yīng)用時延縮短至使用中臺前的約1／3，電量平衡業(yè)務(wù)計算時延縮短至使用中臺前的約1／2。 實時數(shù)據(jù)中臺采用流批一體的計算方式，確保低延時的數(shù)據(jù)處理，并通過高速的服務(wù)發(fā)布方式為應(yīng)用端提供快速調(diào)用的API。 相較于未使用中臺前，時間成效提升超過200%。

5 結(jié)論

本文基于流批一體和Open API 技術(shù)，利用現(xiàn)有數(shù)據(jù)中臺搭建了高效的企業(yè)級實時數(shù)據(jù)共享服務(wù)。 通過對典型應(yīng)用場景的分析，相較于原有共享模式，該平臺提升了200%以上的效率。 研究成果可為調(diào)度、設(shè)備、營銷等專業(yè)提供高速實時數(shù)據(jù)共享服務(wù)，并形成可復(fù)制、可推廣的實時數(shù)據(jù)中臺產(chǎn)品。 推廣應(yīng)用將助力新型電力系統(tǒng)實現(xiàn)“源網(wǎng)荷儲”的協(xié)同互動。