基于大數(shù)據(jù)平臺(tái)的新能源企業(yè)智慧中臺(tái)搭建

李文燕，石 宇，陳 釗，潘 博，楊成龍，彭順峰

(國(guó)電電力內(nèi)蒙古新能源開發(fā)有限公司，呼和浩特 010020)

0 引言

近年來，為改善中國(guó)能源結(jié)構(gòu)，新能源行業(yè)扮演著不可或缺的角色，風(fēng)電作為新能源發(fā)電的重要部分，截至2020年底，在中國(guó)，風(fēng)電的并網(wǎng)裝機(jī)容量達(dá)28153萬kW，同比增長(zhǎng)34.6%，占全國(guó)發(fā)電總裝機(jī)容量的12.79%[1]。隨著風(fēng)電行業(yè)的迅猛發(fā)展，風(fēng)電場(chǎng)規(guī)模不斷擴(kuò)大，但這也導(dǎo)致其對(duì)風(fēng)電機(jī)組的遠(yuǎn)程監(jiān)控產(chǎn)生壓力，通常一個(gè)風(fēng)電場(chǎng)需要對(duì)上百臺(tái)風(fēng)電機(jī)組進(jìn)行遠(yuǎn)程監(jiān)控，人力、物力耗費(fèi)較大，且監(jiān)控系統(tǒng)積累的大量風(fēng)電機(jī)組運(yùn)行數(shù)據(jù)無法得到有效利用，降低了風(fēng)電場(chǎng)的運(yùn)行效率。

隨著大數(shù)據(jù)時(shí)代的到來[2]，機(jī)器學(xué)習(xí)的興起帶動(dòng)了工業(yè)領(lǐng)域的智能潮[3]。當(dāng)今，數(shù)據(jù)越來越受到重視，但多元化的數(shù)據(jù)在提供豐富信息量的同時(shí)，無形中也增加了對(duì)其進(jìn)行學(xué)習(xí)、利用的難度。數(shù)據(jù)中臺(tái)是一個(gè)可以使數(shù)據(jù)更集中、有序并能得到充分利用的平臺(tái)，其實(shí)現(xiàn)了對(duì)現(xiàn)有信息資源和應(yīng)用系統(tǒng)的充分整合，打破了信息孤島，提高了協(xié)調(diào)效率和工作效率[4]。

針對(duì)風(fēng)電場(chǎng)無法有效利用風(fēng)電機(jī)組遠(yuǎn)程監(jiān)控系統(tǒng)產(chǎn)生的大量數(shù)據(jù)的問題，本文搭建了一套基于大數(shù)據(jù)平臺(tái)的新能源企業(yè)智慧中臺(tái)[5]，并對(duì)該智慧中臺(tái)的業(yè)務(wù)架構(gòu)及技術(shù)構(gòu)架進(jìn)行了介紹。

1 大數(shù)據(jù)平臺(tái)

1.1 大數(shù)據(jù)平臺(tái)的基本功能

大數(shù)據(jù)平臺(tái)的系統(tǒng)軟件選用國(guó)產(chǎn)的成熟的企業(yè)級(jí)一站式多模型數(shù)據(jù)管理平臺(tái)——TDH套件。大數(shù)據(jù)平臺(tái)采用基于Linux操作系統(tǒng)的Hadoop &Spark技術(shù)架構(gòu)，部署在容器云上，可方便快速地實(shí)現(xiàn)資源和軟件節(jié)點(diǎn)的擴(kuò)展，最大能夠擴(kuò)展至1000個(gè)節(jié)點(diǎn)，數(shù)據(jù)量支持可達(dá)2000萬個(gè)采集點(diǎn)以上。本項(xiàng)目根據(jù)新能源企業(yè)裝機(jī)規(guī)模和數(shù)據(jù)情況部署了6個(gè)大數(shù)據(jù)節(jié)點(diǎn)，未來隨著數(shù)據(jù)量和業(yè)務(wù)量的增加，可進(jìn)行平滑擴(kuò)展。

大數(shù)據(jù)平臺(tái)的功能需要包含以下幾個(gè)方面。

1)大數(shù)據(jù)接口集群：大數(shù)據(jù)接口主要用于風(fēng)電機(jī)組、電氣設(shè)備、風(fēng)功率等的實(shí)時(shí)數(shù)據(jù)的分布式采集，大數(shù)據(jù)平臺(tái)負(fù)責(zé)開發(fā)與其他系統(tǒng)集成的接口，平臺(tái)為與集控中心相關(guān)聯(lián)的系統(tǒng)提供數(shù)據(jù)接口支持。

2)大數(shù)據(jù)實(shí)時(shí)計(jì)算集群：主要用于支撐實(shí)時(shí)數(shù)據(jù)檢索、異常數(shù)據(jù)判別和實(shí)時(shí)數(shù)據(jù)在線計(jì)算。

3)大數(shù)據(jù)存儲(chǔ)集群：主要用于存儲(chǔ)所有的風(fēng)電歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和關(guān)系數(shù)據(jù)。

4)大數(shù)據(jù)分析集群：對(duì)大數(shù)據(jù)進(jìn)行報(bào)表分析、可視化分析和建模分析，實(shí)現(xiàn)管理區(qū)的實(shí)時(shí)監(jiān)視、歷史查詢，以及經(jīng)濟(jì)運(yùn)行的統(tǒng)計(jì)分析、大數(shù)據(jù)建模的分析與挖掘。

1.2 數(shù)據(jù)挖掘服務(wù)

大數(shù)據(jù)平臺(tái)需提供數(shù)據(jù)挖掘服務(wù)，其應(yīng)包括但不限于以下內(nèi)容：

1)提供多種數(shù)學(xué)統(tǒng)計(jì)方法與機(jī)器學(xué)習(xí)算法庫，以滿足數(shù)據(jù)分析與挖掘工作的需求；

2)提供可對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)測(cè)的流式機(jī)器學(xué)習(xí)算法；

3)根據(jù)用戶需求，提供人性化的自定義的分布式數(shù)據(jù)挖掘算法；

4)將Tensorflow、MXNet等主流深度學(xué)習(xí)框架與Hadoop & Spark體系相融合，通過相關(guān)專業(yè)人員搭建深度神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)等模型，并使用海量數(shù)據(jù)樣本訓(xùn)練模型，得到模型參數(shù)后再輸入到模型，以提升算法的準(zhǔn)確度；

5)內(nèi)置豐富的深度學(xué)習(xí)算子，不僅需涵蓋常用算法，還需支持自定義算法；

6)需支持R語言、python語言接口；

7)需提供圖形化拖拽工具進(jìn)行模型構(gòu)建、訓(xùn)練、預(yù)測(cè)與檢驗(yàn)，在工具中支持算子與模型管理，降低數(shù)據(jù)挖掘開發(fā)門檻；

8)支持PMML標(biāo)準(zhǔn)，以滿足在不同系統(tǒng)的使用與模型的部署；

9)支持多種算子庫管理，包括分布式數(shù)據(jù)預(yù)處理算子庫、分布式特征工程算子庫、分布式機(jī)器學(xué)習(xí)算子庫、深度學(xué)習(xí)算子庫、自定義算子庫等；

10)支持模型協(xié)作開發(fā)與管理。

1.3 智慧中臺(tái)管理開發(fā)工具及服務(wù)能力

大數(shù)據(jù)平臺(tái)提供的基礎(chǔ)工具及針對(duì)企業(yè)需求提供的數(shù)據(jù)資產(chǎn)目錄服務(wù)具體包括以下幾個(gè)方面。

1)搜索功能：基于分布式數(shù)據(jù)倉庫對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一歸集和整理，在數(shù)據(jù)資產(chǎn)目錄服務(wù)可通過數(shù)據(jù)挖據(jù)或搜索引擎對(duì)庫表、文件、Schema(即XML Schema，XSD)、業(yè)務(wù)術(shù)語、模型和標(biāo)簽進(jìn)行搜索。

2)數(shù)據(jù)的聚合與展示：平臺(tái)提供的業(yè)務(wù)功能是由數(shù)據(jù)資產(chǎn)目錄服務(wù)對(duì)大數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)進(jìn)行聚合和展示，并可通過列表、搜索、詳情、標(biāo)簽、操作歷史等方式展示數(shù)據(jù)信息。

3)數(shù)據(jù)的探索和分析：數(shù)據(jù)資產(chǎn)目錄服務(wù)支持對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)探索，了解更多的數(shù)據(jù)細(xì)節(jié)，同時(shí)可以將數(shù)據(jù)接入平臺(tái)提供的數(shù)據(jù)分析工具、建模工具等進(jìn)行探索式分析。

4)數(shù)據(jù)的血緣與影響分析：數(shù)據(jù)資產(chǎn)目錄服務(wù)借助大數(shù)據(jù)平臺(tái)在數(shù)據(jù)的導(dǎo)入、使用、轉(zhuǎn)換、生成等全鏈路對(duì)數(shù)據(jù)進(jìn)行標(biāo)定和記錄，可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的操作歷史進(jìn)行追蹤，同時(shí)也可以做血緣分析和影響分析。

5)數(shù)據(jù)源管理：用戶通過數(shù)據(jù)資產(chǎn)目錄服務(wù)能夠定制策略，添加、管理和刪除各種應(yīng)用系統(tǒng)的數(shù)據(jù)源，可對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析，對(duì)數(shù)據(jù)操作進(jìn)行審計(jì)，對(duì)數(shù)據(jù)的錄入頻率、管理規(guī)則進(jìn)行不同的設(shè)置。

6)數(shù)據(jù)權(quán)限管控：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持靈活的數(shù)據(jù)權(quán)限管理，支持對(duì)數(shù)據(jù)在大數(shù)據(jù)平臺(tái)層級(jí)、租戶層級(jí)等進(jìn)行細(xì)粒度權(quán)限管控；用戶自主申請(qǐng)，數(shù)據(jù)管理人員通過工單進(jìn)行權(quán)限審批。

7)數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持制定的數(shù)據(jù)質(zhì)量規(guī)則，同時(shí)在數(shù)據(jù)傳輸過程中根據(jù)數(shù)據(jù)質(zhì)量規(guī)則進(jìn)行質(zhì)量管控。

8)業(yè)務(wù)術(shù)語：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持業(yè)務(wù)字典功能，支持用戶定義的業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、數(shù)據(jù)分類等功能；能對(duì)業(yè)務(wù)術(shù)語和技術(shù)元數(shù)據(jù)進(jìn)行管理。

9)數(shù)據(jù)操作審計(jì)：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要記錄所有的數(shù)據(jù)操作，方便以后進(jìn)行審計(jì)工作，并且該服務(wù)需具有按照設(shè)定的規(guī)則對(duì)危險(xiǎn)或禁止的操作進(jìn)行特別標(biāo)記或報(bào)警的能力。

2 新能源企業(yè)智慧中臺(tái)的業(yè)務(wù)構(gòu)架

新能源企業(yè)智慧中臺(tái)的業(yè)務(wù)構(gòu)架主要由智能監(jiān)控層、智能平臺(tái)、智慧應(yīng)用層組成，具體如圖1所示。

2.1 智能監(jiān)控層

該層需要實(shí)現(xiàn)對(duì)某個(gè)風(fēng)電場(chǎng)的實(shí)時(shí)監(jiān)控及之后多個(gè)風(fēng)電場(chǎng)的遠(yuǎn)程集中值班監(jiān)控，具體需具備以下功能：1)需與風(fēng)電場(chǎng)的數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(SCADA)/風(fēng)電機(jī)組的可編程邏輯控制器(PLC)實(shí)現(xiàn)通信的可靠性與反應(yīng)速度；2)可實(shí)現(xiàn)全量數(shù)據(jù)的全樣本采集；3)可保證多個(gè)風(fēng)電場(chǎng)SCADA(C/S)控制架構(gòu)的可靠性；4)可實(shí)現(xiàn)智能值班(運(yùn)行狀態(tài)檢測(cè)、故障報(bào)警、風(fēng)險(xiǎn)預(yù)警、智能啟停等)；5) 實(shí)現(xiàn)對(duì)場(chǎng)站、風(fēng)電機(jī)組的大部件及塔筒的全面智能感知。

2.2 智能平臺(tái)

需建設(shè)基于大數(shù)據(jù)的智慧應(yīng)用支持平臺(tái)，具體需包括以下內(nèi)容：1)數(shù)據(jù)存儲(chǔ)組件、移動(dòng)應(yīng)用組件、智能建模組件；2)數(shù)據(jù)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)集成；3)應(yīng)用開發(fā)組件、配置管理組件、可視化展示組件。

2.3 智慧應(yīng)用層

需建設(shè)新能源企業(yè)的智慧發(fā)電應(yīng)用系統(tǒng)，包括以下組成部分：1)管理區(qū)智能監(jiān)屏，其包括智能監(jiān)視、智能決策、智能值守、智能報(bào)表；2)資產(chǎn)管理、領(lǐng)導(dǎo)駕駛艙和移動(dòng)應(yīng)用等生產(chǎn)運(yùn)營(yíng)管理系統(tǒng)；3)智能運(yùn)行、智能檢修、智能安全、圖像識(shí)別等大數(shù)據(jù)人工智能應(yīng)用系統(tǒng)；4)條件供應(yīng)、市場(chǎng)交易、專家支持等智能協(xié)同應(yīng)用系統(tǒng)。

3 新能源企業(yè)智慧中臺(tái)的技術(shù)構(gòu)架

新能源企業(yè)智慧中臺(tái)選用了中國(guó)技術(shù)領(lǐng)先的一體化“互聯(lián)網(wǎng)+”應(yīng)用平臺(tái)，采用基于Hadoop & Spark技術(shù)架構(gòu)的微服務(wù)架構(gòu)平臺(tái)。為了更好的支撐上層應(yīng)用，智慧中臺(tái)會(huì)封裝一層基礎(chǔ)服務(wù)，涵蓋流計(jì)算引擎、迭代運(yùn)算引擎、數(shù)據(jù)挖掘引擎、圖計(jì)算引擎、并行運(yùn)算引擎、數(shù)據(jù)可視化引擎、分布式數(shù)據(jù)共享服務(wù)引擎、全文檢索引擎，以及微服務(wù)引擎等；此外，智慧中臺(tái)的建設(shè)除了遵照國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)之外，還重點(diǎn)建立了企業(yè)的新能源數(shù)據(jù)體系規(guī)范。規(guī)范涵蓋數(shù)據(jù)接入、數(shù)據(jù)接口、平臺(tái)建設(shè)、數(shù)據(jù)安全等一系列標(biāo)準(zhǔn)規(guī)范。

新能源企業(yè)智慧中臺(tái)整體的技術(shù)架構(gòu)包括數(shù)據(jù)源層、數(shù)據(jù)接入層、數(shù)據(jù)支撐層(主題數(shù)據(jù)庫、數(shù)據(jù)處理及分析、數(shù)據(jù)存儲(chǔ))、應(yīng)用層和展示層，具體如圖2所示。

圖2 新能源企業(yè)智慧中臺(tái)的技術(shù)構(gòu)架圖Fig. 2 Technical framework of new energy enterprise smart middle platform

1)數(shù)據(jù)源層。數(shù)據(jù)源層主要涵蓋生產(chǎn)運(yùn)行領(lǐng)域的自動(dòng)化設(shè)備與系統(tǒng)的運(yùn)行數(shù)據(jù)(大多數(shù)為實(shí)時(shí)類生產(chǎn)數(shù)據(jù)，并主要通過集控系統(tǒng)接入)、經(jīng)營(yíng)管理領(lǐng)域的信息化系統(tǒng)數(shù)據(jù)(大多數(shù)為企業(yè)經(jīng)營(yíng)管理類的生產(chǎn)數(shù)據(jù))，以及互聯(lián)網(wǎng)、外部系統(tǒng)數(shù)據(jù)(多數(shù)為外部系統(tǒng)數(shù)據(jù))等。

2)數(shù)據(jù)接入層。數(shù)據(jù)接入層主要負(fù)責(zé)將數(shù)據(jù)源的數(shù)據(jù)接入數(shù)據(jù)平臺(tái)，并進(jìn)行數(shù)據(jù)的傳輸與清洗。數(shù)據(jù)接入涵蓋數(shù)據(jù)統(tǒng)一接口平臺(tái)，包括：配置管理端、采集調(diào)度框架及各種采集驅(qū)動(dòng)程序，可實(shí)現(xiàn)集控系統(tǒng)數(shù)據(jù)、現(xiàn)場(chǎng)數(shù)據(jù)、經(jīng)營(yíng)管理數(shù)據(jù)、在線填報(bào)數(shù)據(jù)和其他數(shù)據(jù)接入數(shù)據(jù)中心。

3)數(shù)據(jù)支撐層。數(shù)據(jù)支撐層即平臺(tái)存儲(chǔ)層，可提供平臺(tái)的核心功能，存儲(chǔ)介質(zhì)根據(jù)聚焦的數(shù)據(jù)業(yè)務(wù)不同而采用不同的技術(shù)平臺(tái)做支撐；海量且需要并行運(yùn)算的數(shù)據(jù)可存儲(chǔ)在HDFS之類的存儲(chǔ)介質(zhì)上(比如：HIVE倉庫和HBASE數(shù)據(jù)庫等)；需要迭代運(yùn)算或高速運(yùn)算的數(shù)據(jù)可存儲(chǔ)在內(nèi)存網(wǎng)格中；實(shí)時(shí)監(jiān)控類數(shù)據(jù)可存儲(chǔ)在實(shí)時(shí)數(shù)據(jù)庫中；事務(wù)型OLTP類的業(yè)務(wù)采用Mysql數(shù)據(jù)庫作為支撐。數(shù)據(jù)標(biāo)準(zhǔn)化處理作為數(shù)據(jù)平臺(tái)貫穿始終的數(shù)據(jù)標(biāo)尺，對(duì)數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量的管控和提升起著決定性的作用。

4)應(yīng)用層。應(yīng)用層主要為本期實(shí)現(xiàn)和后期規(guī)劃建設(shè)的智慧發(fā)電應(yīng)用，并為各業(yè)務(wù)單位提供業(yè)務(wù)支撐能力。應(yīng)用重點(diǎn)集中在實(shí)時(shí)監(jiān)測(cè)、生產(chǎn)分析、功率預(yù)測(cè)、智能運(yùn)行、智能檢修、資產(chǎn)管理、智能安全、智能營(yíng)銷、專家系統(tǒng)、VR培訓(xùn)、圖像識(shí)別和移動(dòng)應(yīng)用等方面。

5)展示層。展示層以應(yīng)用層為基礎(chǔ)，整合數(shù)據(jù)服務(wù)和技術(shù)組件，以H5/SVG、綜合報(bào)表、移動(dòng)終端、3D等方式展示，能更精準(zhǔn)、快速、直觀地將數(shù)據(jù)分層結(jié)構(gòu)及統(tǒng)計(jì)分析的結(jié)果進(jìn)行綜合展示。

4 結(jié)論

本文針對(duì)風(fēng)電場(chǎng)無法有效利用風(fēng)電機(jī)組遠(yuǎn)程監(jiān)控系統(tǒng)產(chǎn)生的大量數(shù)據(jù)的問題，搭建了一套基于大數(shù)據(jù)平臺(tái)的新能源企業(yè)智慧中臺(tái)。該智慧中臺(tái)有助于有效、合理的利用數(shù)據(jù)，實(shí)現(xiàn)新能源企業(yè)的智慧化運(yùn)營(yíng)，并有利于集中存儲(chǔ)海量新能源數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)指標(biāo)體系、統(tǒng)一管理數(shù)據(jù)資產(chǎn)、實(shí)現(xiàn)數(shù)據(jù)融合共享，以支撐各應(yīng)用系統(tǒng)，充分發(fā)揮大數(shù)據(jù)平臺(tái)在新能源企業(yè)管理與運(yùn)營(yíng)中的優(yōu)勢(shì)。