基于大數(shù)據(jù)平臺(tái)的電價(jià)業(yè)務(wù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

在分析了電力營銷業(yè)務(wù)系統(tǒng)面臨的問題的基礎(chǔ)上，闡述了電價(jià)分析系統(tǒng)建設(shè)的意義，描述了系統(tǒng)的總體架構(gòu)和主要技術(shù)，介紹了該系統(tǒng)的建設(shè)與實(shí)踐經(jīng)驗(yàn)。該系統(tǒng)的建設(shè)。本文結(jié)合大數(shù)據(jù)平臺(tái)優(yōu)勢，實(shí)現(xiàn)了多源數(shù)據(jù)的高度融合共享和深度挖掘分析，對探究電力信息化建設(shè)具有重要的實(shí)際和指導(dǎo)意義。

【關(guān)鍵詞】電網(wǎng)營銷 電價(jià)分析 大數(shù)據(jù)

隨著電價(jià)業(yè)務(wù)的不斷拓展和用戶數(shù)據(jù)量的迅猛增長，實(shí)現(xiàn)對電價(jià)業(yè)務(wù)數(shù)據(jù)的深入挖掘與高效運(yùn)用顯得越來越重要。然而，隨著業(yè)務(wù)的不斷發(fā)展和對電價(jià)業(yè)務(wù)管理的要求不斷提高，迫切需要提升對價(jià)格政策的把握與執(zhí)行管理水平。因此，通過設(shè)計(jì)適合各級(jí)電價(jià)業(yè)務(wù)人員使用的電價(jià)業(yè)務(wù)分析系統(tǒng)，對推動(dòng)和支撐電價(jià)業(yè)務(wù)管理，實(shí)現(xiàn)輸配電價(jià)改革的管理目標(biāo)，進(jìn)一步推動(dòng)和完善輸配電價(jià)分析系統(tǒng)的建設(shè)具有重要的意義。

1 平臺(tái)架構(gòu)

電價(jià)業(yè)務(wù)分析系統(tǒng)，主要基于大數(shù)據(jù)平臺(tái)和“全國統(tǒng)一電力市場技術(shù)支撐系統(tǒng)”、“營銷業(yè)務(wù)應(yīng)用系統(tǒng)”，其中大數(shù)據(jù)平臺(tái)提供計(jì)算資源、存儲(chǔ)資源、應(yīng)用集成技術(shù)、數(shù)據(jù)分析技術(shù)、應(yīng)用展現(xiàn)技術(shù)等一體化資源服務(wù)。

平臺(tái)通過獲取相關(guān)系統(tǒng)的輸配電計(jì)量點(diǎn)檔案、測點(diǎn)檔案、電能信息等數(shù)據(jù)，采用自動(dòng)和手動(dòng)觸發(fā)獲取方式，實(shí)現(xiàn)輸配電相關(guān)的計(jì)量點(diǎn)數(shù)據(jù)、測點(diǎn)數(shù)據(jù)、電價(jià)等數(shù)據(jù)抽取。通過對抽取數(shù)據(jù)的匯集、同步轉(zhuǎn)換，完成對結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、分析及處理。系統(tǒng)總體架構(gòu)如圖1所示。

2 主要技術(shù)

2.1 數(shù)據(jù)采集與接入

數(shù)據(jù)采集與接入服務(wù)主要負(fù)責(zé)將全國統(tǒng)一電力市場技術(shù)支撐系統(tǒng)和營銷業(yè)務(wù)應(yīng)用系統(tǒng)的部分相關(guān)數(shù)據(jù)接入至大數(shù)據(jù)平臺(tái)中，包括數(shù)據(jù)抽取、數(shù)據(jù)消息隊(duì)列管理、補(bǔ)招數(shù)據(jù)接入等三大模塊。具體的流程如圖2。

2.1.1 數(shù)據(jù)抽取

數(shù)據(jù)抽取模塊通過訪問全國統(tǒng)一電力市場技術(shù)支撐系統(tǒng)和營銷業(yè)務(wù)系統(tǒng)的源端數(shù)據(jù)庫，分別抽取歷史數(shù)據(jù)和增量數(shù)據(jù)。從數(shù)據(jù)源抽取的數(shù)據(jù)不一定完全滿足大數(shù)據(jù)平臺(tái)的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等，因此有必要對抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。抽取的數(shù)據(jù)經(jīng)過處理生成約定標(biāo)準(zhǔn)格式的E文件。E文件的格式可以根據(jù)不同的需求進(jìn)行更改，包括E文件的命名、數(shù)據(jù)行數(shù)、接入的字段等。

2.1.2 數(shù)據(jù)消息隊(duì)列管理

通過應(yīng)用分布式消息隊(duì)列可有效屏蔽沖擊，對數(shù)據(jù)進(jìn)行異步緩沖。設(shè)置數(shù)據(jù)在分布式消息隊(duì)列中的存儲(chǔ)結(jié)構(gòu)，實(shí)現(xiàn)高速寫入，并降低轉(zhuǎn)換開銷；同時(shí)需實(shí)現(xiàn)基于分布式消息隊(duì)列的故障恢復(fù)機(jī)制，以確保數(shù)據(jù)不丟失。

2.1.3 補(bǔ)招數(shù)據(jù)接入

由于某些原因，系統(tǒng)可能存在數(shù)據(jù)丟失的情況。所以，針對丟失的數(shù)據(jù)，要提供數(shù)據(jù)接入的接口，用以維護(hù)數(shù)據(jù)的完整性。

2.2 數(shù)據(jù)存儲(chǔ)

系統(tǒng)中的不同類型的數(shù)據(jù)，接入至大數(shù)據(jù)平臺(tái)后，需要具備易存儲(chǔ)、查詢效率高的特點(diǎn)。數(shù)據(jù)存儲(chǔ)基于HBase集群實(shí)現(xiàn)。對于表名規(guī)則，可以按照時(shí)間進(jìn)行分表，數(shù)據(jù)量較小的可以按月分表，數(shù)據(jù)量較大的可以每月分一張表，其表名規(guī)則為“系統(tǒng)代碼_業(yè)務(wù)類型代碼+6月年月時(shí)間/4月年份”；在設(shè)計(jì)rowkey規(guī)則時(shí)，可結(jié)合時(shí)間等固定屬性形成靈活可配置的復(fù)合行鍵，這樣可以使得同一時(shí)刻點(diǎn)同一設(shè)備下的相關(guān)數(shù)據(jù)鄰近；對于列名規(guī)則，一個(gè)列族下有多個(gè)列，列名取屬性值。例如，對于計(jì)量設(shè)備數(shù)據(jù)，列名可以取計(jì)量表的設(shè)備ID。

2.3 數(shù)據(jù)分析

數(shù)據(jù)分析基于大數(shù)據(jù)平臺(tái)中的分布式計(jì)算引擎Spark實(shí)現(xiàn)。結(jié)合Apache Spark中適用于數(shù)據(jù)分析的工具庫，將已采集到的電力數(shù)據(jù)作為訓(xùn)練的數(shù)據(jù)集，運(yùn)用合適的監(jiān)督學(xué)習(xí)算法，從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)模型，當(dāng)新的電力數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)模型預(yù)測結(jié)果。根據(jù)業(yè)務(wù)需求，將相關(guān)的業(yè)務(wù)數(shù)據(jù)進(jìn)行分析，得出相應(yīng)的指標(biāo)參數(shù)，輔助業(yè)務(wù)運(yùn)營與決策。

2.4 主要應(yīng)用

基于大數(shù)據(jù)平臺(tái)的電價(jià)分析系統(tǒng)，在對相關(guān)業(yè)務(wù)的趨勢把握、關(guān)鍵因素分析和用電規(guī)律展示，都發(fā)揮著重要的角色。

2.4.1 電價(jià)關(guān)鍵指標(biāo)分析

營銷業(yè)務(wù)應(yīng)用系統(tǒng)包含的種類包括客戶檔案數(shù)據(jù)、抄表數(shù)據(jù)以及電費(fèi)數(shù)據(jù)等多種數(shù)據(jù)，基于這些單一數(shù)據(jù)對電價(jià)的分析，往往難以達(dá)到理想的效果。結(jié)合大數(shù)據(jù)平臺(tái)的分布式計(jì)算引擎，將多種類型的數(shù)據(jù)進(jìn)行關(guān)聯(lián)組合分析，以多個(gè)維度作為特征值，進(jìn)行電價(jià)的分析。

2.4.2 力調(diào)電費(fèi)分析

力調(diào)電費(fèi)，指供電公司根據(jù)客戶一段時(shí)間內(nèi)（如一個(gè)月或年）所使用的有無功電量來計(jì)算其平均功率因數(shù)，并據(jù)此收取的相關(guān)電費(fèi)。電費(fèi)單上的力調(diào)電費(fèi)的計(jì)費(fèi)數(shù)量，是根據(jù)功率因數(shù)的高低，加收得總電費(fèi)的百分?jǐn)?shù)（即“調(diào)整率”），這個(gè)“調(diào)整率”根據(jù)相應(yīng)功率因數(shù)的高低是不同的，功率因數(shù)高，費(fèi)率就低，功率因數(shù)低，費(fèi)率就高。

若某月有功電量是M，無功電量是N，功率因數(shù)是T，則月平均功率因數(shù)是：

若功率因數(shù)標(biāo)準(zhǔn)是0.9，則將實(shí)際功率因數(shù)與其進(jìn)行比較來減收電費(fèi)和增收電費(fèi)。根據(jù)電網(wǎng)需要， 可將客戶在一段時(shí)間范圍內(nèi)（1年以上）所使用的有無功電量，基于大數(shù)據(jù)平臺(tái)，進(jìn)行統(tǒng)計(jì)分析，更好地把握客戶尤其是大客戶的用電規(guī)律。同時(shí)根據(jù)用戶的用電規(guī)律，結(jié)合對應(yīng)供電公司的發(fā)展?fàn)顩r，完善功率因數(shù)調(diào)整電費(fèi)表。

2.4.3 其他應(yīng)用

基于系統(tǒng)的電價(jià)業(yè)務(wù)數(shù)據(jù)分析成果，依托于大數(shù)據(jù)平臺(tái)強(qiáng)大的存儲(chǔ)能力和計(jì)算能力、并結(jié)合營銷業(yè)務(wù)系統(tǒng)的建設(shè)經(jīng)驗(yàn)，開展上網(wǎng)電價(jià)變動(dòng)因素分析、大用戶分析、兩部制電價(jià)執(zhí)行分析、標(biāo)桿電價(jià)分析、環(huán)保電價(jià)執(zhí)行分析、峰谷分時(shí)電價(jià)執(zhí)行、電價(jià)碼自助查詢、上網(wǎng)側(cè)自助查詢、專項(xiàng)輔助服務(wù)價(jià)格測算等應(yīng)用的研究與實(shí)現(xiàn)。

3 平臺(tái)建設(shè)

電價(jià)業(yè)務(wù)分析系統(tǒng)，依托于某網(wǎng)省大數(shù)據(jù)平臺(tái)建設(shè)及電價(jià)信息化建設(shè)主要成果，實(shí)現(xiàn)大數(shù)據(jù)量輸配電價(jià)的分析。接入數(shù)據(jù)71.6億條，數(shù)據(jù)量達(dá)2.3TB；構(gòu)建了典型的電價(jià)分析與查詢等綜合應(yīng)用，補(bǔ)充了現(xiàn)有營銷業(yè)務(wù)應(yīng)用系統(tǒng)在數(shù)據(jù)處理和分析應(yīng)用方面的不足，逐步完善面向領(lǐng)導(dǎo)層的關(guān)鍵指標(biāo)分析、面向業(yè)務(wù)管理層的購售輸專題分析、面向操作層的自助查詢分析及自動(dòng)分析報(bào)告功能體系。

4 結(jié)束語

基于全國統(tǒng)一電力市場技術(shù)支撐系統(tǒng)和營銷業(yè)務(wù)應(yīng)用系統(tǒng)，結(jié)合大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)、列式數(shù)據(jù)庫、分布式計(jì)算引擎等基礎(chǔ)組件，實(shí)現(xiàn)了基于輸配電價(jià)的電價(jià)預(yù)測、監(jiān)控分析、自助查詢，解決了傳統(tǒng)分析型應(yīng)用數(shù)據(jù)反復(fù)抽取、冗余存儲(chǔ)的功能，同時(shí)也為高效并實(shí)時(shí)地掌握電價(jià)發(fā)展趨勢開拓了思路，并提供了精細(xì)化的可視化展現(xiàn)形式，提升對電價(jià)業(yè)務(wù)的分析和判斷能力，滿足各級(jí)電價(jià)業(yè)務(wù)人員對輸配電價(jià)分析的實(shí)際需求。

參考文獻(xiàn)

[1]宮宇，呂金壯.大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評(píng)估中的應(yīng)用[J].南方電網(wǎng)技術(shù)，2014（06）：74-77

[2]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（01）：146-169.

[3]劉芳.基于數(shù)據(jù)挖掘的電網(wǎng)數(shù)據(jù)只能分析的研究與實(shí)現(xiàn)[D].西北大學(xué)，2008.

作者簡介

張珂珩（1972-），男，高級(jí)工程師。主要研究方向?yàn)殡娏Υ髷?shù)據(jù)處理技術(shù)研究開發(fā)、建設(shè)運(yùn)行和技術(shù)管理。

作者單位

江蘇瑞中數(shù)據(jù)股份有限公司 江蘇省南京市 210012endprint