基于電力光纖入戶的大數(shù)據(jù)應用

鄒京希+曹敏+王德傾

伴隨著社會經(jīng)濟和信息技術的快速發(fā)展，電力光纖到戶的發(fā)展為電力監(jiān)控設備主站系統(tǒng)或用戶對實時信息的監(jiān)測查詢成為現(xiàn)實，本文基于電力光纖入戶獲取的大量設備終端實時數(shù)據(jù)信息，結合電網(wǎng)公司內(nèi)部系統(tǒng)相關歷史存儲數(shù)據(jù)，運用大數(shù)據(jù)分析計算技術，構建大數(shù)據(jù)分析服務應用。

【關鍵詞】電力光纖 光纖入戶 大數(shù)據(jù)應用

電力光纖到戶是指在使用低壓通信的同時接入網(wǎng)中使用光纖復合低壓電纜，將光纖隨低壓電力線敷設，實現(xiàn)電力與通信雙業(yè)務，配合開展智能電網(wǎng)發(fā)展的重要技術。

國家發(fā)展改革委、國家能源局下發(fā)《關于促進智能電網(wǎng)發(fā)展的指導意見》，要求加快智能電網(wǎng)的建設，開展智能計量技術應用，完善多元化計量模式和互動功能。推動智能電網(wǎng)建設，電力光纖到戶是關鍵，電力光纖到戶搭建了小區(qū)公共服務平臺，為智能電網(wǎng)配用電側的信息采集、智能互動用電等業(yè)務應用提供了有力支持，同時利用富余帶寬為社區(qū)公共服務建設提供基礎。電力光纖到戶將獲取配網(wǎng)線路的監(jiān)控設備、用戶端智能電表、家庭智能用電設備等大量實時數(shù)據(jù)，特別是智能電表上的電流、電壓及每15分鐘的凍結表底電量數(shù)據(jù)及時上傳至主站系統(tǒng)，實現(xiàn)信息的實時采集、監(jiān)測，并結合電力企業(yè)的內(nèi)部營銷業(yè)務域、生產(chǎn)業(yè)務域及計量自動化業(yè)務域數(shù)據(jù)，應用大數(shù)據(jù)技術構建智能分析服務應用，將優(yōu)化電網(wǎng)的運行和管控，提高供電可靠性，提升客戶服務水平。

1 現(xiàn)狀分析

面對新形勢新挑戰(zhàn)，我國提出了加快建設以特高壓電網(wǎng)為骨干網(wǎng)架，各級電網(wǎng)協(xié)調(diào)發(fā)展，形成以信息化、自動化、互動化為特征的智能電網(wǎng)，努力實現(xiàn)我國傳統(tǒng)電網(wǎng)到現(xiàn)代電網(wǎng)的升級和跨越。

國家電網(wǎng)已開展電力光纖入戶智能小區(qū)/樓宇建設，基本通過在低壓通信接入網(wǎng)中采用光纖復合低壓電纜（OPLC），將光纖隨低壓電力線鋪設。光纖到戶主要集中在新小區(qū)，老舊小區(qū)智能電網(wǎng)的需求大多依靠電力線寬帶載波實現(xiàn)。南方電網(wǎng)在電力光纖入戶上已做好頂層設計，并開展相關課題研究和示范應用，按照規(guī)劃預計到2020年，全網(wǎng)電表自動抄表率達到95%。

通過電力光纖到戶，可發(fā)揮光纖信息通道功能，實現(xiàn)居民家里用水、用電、用氣等信息的快速采集，為電力用戶用電情況查詢、業(yè)務辦理及用電分析服務等基本服務功能，但目前基于大數(shù)據(jù)技術的光纖入戶應用基本處于探索研究階段，本文將根據(jù)云南電網(wǎng)有限責任公司的信息化現(xiàn)狀對基于光纖入戶的大數(shù)據(jù)技術服務分析應用進行研究探索，以構建大數(shù)據(jù)的光纖入戶信息分析服務應用平臺，提供電網(wǎng)運營管控和客戶服務功能應用。

2 技術架構設計

光纖入戶信息的大數(shù)據(jù)技術應用架構設計分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層及服務應用層構成，如圖1信息服務分析應用總體設計所示。

信息服務分析應用總體設計主要針對電力行業(yè)的營銷數(shù)據(jù)、計量自動化數(shù)據(jù)、生產(chǎn)數(shù)據(jù)及現(xiàn)場設備數(shù)據(jù)的不同數(shù)據(jù)形式進行集成，包括關系型、非關系型及流數(shù)據(jù)等，通過技術組件MapReduce、Spark、Storm等大數(shù)據(jù)技術，并結合聚類（距離算法、kmeans算法）和關聯(lián)（邏輯樹、神經(jīng)網(wǎng)絡）等算法實現(xiàn)信息的分析，為應用提供實時信息查詢、設備狀態(tài)監(jiān)測及用電分析服務等功能應用。

2.1 離線數(shù)據(jù)集成實現(xiàn)

2.1.1 集成架構設計

離線數(shù)據(jù)主要包含各子系統(tǒng)存量數(shù)據(jù)及增量數(shù)據(jù)，數(shù)據(jù)集成主要通過ETL實現(xiàn)跨系統(tǒng)、異構數(shù)據(jù)集成?？鐦I(yè)務系統(tǒng)的異構數(shù)據(jù)源之間數(shù)據(jù)差異性大，不僅存在結構化數(shù)據(jù)，而且存在大量半結構數(shù)據(jù)及非結構數(shù)據(jù)；同時，異構數(shù)據(jù)的ETL操作要求數(shù)據(jù)在抽取和加載的過程中進行遠程傳輸，本方案針對離線跨系統(tǒng)異構數(shù)據(jù)采用基于Kettle構建ETL集成模型。對分散在各業(yè)務系統(tǒng)中的現(xiàn)有數(shù)據(jù)進行抽取、轉換、清洗和加載。如圖2離線數(shù)據(jù)集成架構所示。

數(shù)據(jù)抽取過程包括數(shù)據(jù)剖析、增量數(shù)據(jù)捕獲以及數(shù)據(jù)抽取三個環(huán)節(jié)。數(shù)據(jù)剖析是對源數(shù)據(jù)中數(shù)據(jù)結構及其內(nèi)容的統(tǒng)計分析；增量數(shù)據(jù)捕獲是實現(xiàn)增量數(shù)據(jù)抽取的解決方案；數(shù)據(jù)獲取則是對源數(shù)據(jù)的獲取。

2.1.2 離線數(shù)據(jù)計算

針對系統(tǒng)應用到的離線數(shù)據(jù)計算框架主要采用MapReduce及Spark組件。離線批量處理主要針對營銷客戶用電相關數(shù)據(jù)和計量自動化設備監(jiān)測歷史數(shù)據(jù)，由于其數(shù)據(jù)的有序性和準確性相對較高，能充分挖掘用戶用電行為習慣及設備運行特征，使數(shù)據(jù)分析挖掘價值更貼近實際，為決策等提供有效的數(shù)據(jù)依據(jù)。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算，適用于分析如電力企業(yè)的幾年營銷業(yè)務域、生產(chǎn)業(yè)務域或計量自動化等大量歷史存儲數(shù)據(jù)，其技術實現(xiàn)原理如圖3所示。

Spark是UC Berkeley AMP lab所開源的類HadoopMapReduce的通用并行框架，Spark擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法，其技術實現(xiàn)原理如圖4所示。

2.2 實時數(shù)據(jù)集成實現(xiàn)

2.2.1 集成架構設計

用電用戶對用電信息的實時信息查詢及電力企業(yè)內(nèi)部人員對設備的實時運行監(jiān)測是電力行業(yè)實時性要求較高的常規(guī)業(yè)務工作，特別是對設備實時運行的分析統(tǒng)計和故障預測應用是保證供電可靠性重要手段，實時數(shù)據(jù)集成架構如圖5所示，服務應用分析平臺實時數(shù)據(jù)集成主要針對光纖通道直接接入智能電表數(shù)據(jù)、家庭智能家居和配網(wǎng)線路上的各類監(jiān)測設備數(shù)據(jù)，基于SOA的Web service集成接口實現(xiàn)數(shù)據(jù)的采集，再通過多任務進程及分區(qū)方式進行流數(shù)據(jù)的接入計算。

2.2.2 流式數(shù)據(jù)計算

流式計算中，無法確定數(shù)據(jù)的到來時刻和到來順序，也無法將全部數(shù)據(jù)存儲起來。因此，不再進行流式數(shù)據(jù)的存儲，而是當流動的數(shù)據(jù)到來后在內(nèi)存中直接進行數(shù)據(jù)的實時計算。流式計算主要針對計量設備的電流、電壓、表底數(shù)據(jù)及潮流等信息通過電力光纖通道傳輸至服務分析應用主站平臺服務器進行實時流式計算，通過移動應用及系統(tǒng)主站提供可視化展示。

2.3 數(shù)據(jù)處理

信息服務分析服務平臺建立不同的數(shù)據(jù)分析處理模型，主要包括聚類和分類算法模型的應用，找出用電行為和設備運行的規(guī)律特征，并不斷的訓練和驗證分析模型的準確度，實現(xiàn)電力數(shù)據(jù)的大數(shù)據(jù)價值挖掘。

聚類分析能將高維數(shù)據(jù)集合劃分為很多類，使得同一類內(nèi)數(shù)據(jù)對象相似度最高，類與類之間的數(shù)據(jù)對象的相似度最小即相異度最大。kmeans算法的應用以用電用戶用電量為分類依據(jù)，設定0-50、50-100等不同層次的用電量，即為K值，建立相似或相似關系，通過計算機對所有用戶進行逐一比對；將所有用戶進行歸類，以繳費時間為分類依據(jù)進行二次聚類，根據(jù)繳費的及時率設置用電用戶的優(yōu)質等級，經(jīng)過二次組合分類即可快速的在所有用電用戶中科學的篩選出優(yōu)質的用電用戶，實現(xiàn)用電行為特征的分析挖掘。

根據(jù)主站系統(tǒng)獲取的大量的設備運行數(shù)據(jù)和非運行數(shù)據(jù)，采用設備狀態(tài)評估大數(shù)據(jù)挖掘分析方法，基于多元多維度數(shù)據(jù)進行狀態(tài)評估，重點考察設備狀態(tài)量（ 包括設備權限、故障的結果性狀態(tài)量） 之間的關聯(lián)性。根據(jù)配網(wǎng)線路監(jiān)測設備、智能電表、家庭智能用電設備等實時信息的采集，結合歷史運行計量設備數(shù)據(jù)實現(xiàn)大數(shù)據(jù)的設備狀態(tài)運行評估等應用，為運行決策提供重要數(shù)據(jù)支撐，提高供電可靠性。

3 結語

本文基于電力光纖通道獲取的生產(chǎn)設備運行實時數(shù)據(jù)，并結合電力營銷、生產(chǎn)及計量業(yè)務相關歷史數(shù)據(jù)，采用大數(shù)據(jù)挖掘分析技術，通過對實時運行數(shù)據(jù)流式處理和歷史數(shù)據(jù)的批量處理，構建大數(shù)據(jù)分析服務應用并進行示范，實現(xiàn)大數(shù)據(jù)技術在電力光纖入戶領域的應用，增強電網(wǎng)運行管控和客戶服務能力。

參考文獻

[1]趙丹陽，帥繼先，郝婷婷.關于電力光纖到戶關鍵技術的綜述[J].商品與質量，2016（40）.

[2]國家發(fā)展改革委 國家能源局.《關于促進智能電網(wǎng)發(fā)展的指導意見》.發(fā)改運行[2015]1518號.

[3] 喬學明，翟穎，孟平，張蓉蓉，王超.基于光纖到戶的智能互動用電技術研究與應用[J].電力信息與通信技術，2013（10）.

[4]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算：關鍵技術及系統(tǒng)實例[J].軟件學報，2014（25）.

[5]劉莉，王剛，翟登輝.k-means 聚類算法在負荷曲線分類中的應用[J].電力系統(tǒng)保護與控制，2011（23）.

[6]宮宇，呂金壯.大數(shù)據(jù)挖掘分析在電力設備狀態(tài)評估中的應用[J].南方電網(wǎng)技術，2014（06）.

作者單位

1.云南電網(wǎng)有限責任公司電力科學研究院 云南省昆明市 650217

2.云南云電同方科技有限公司 云南省昆明市 650217