大數(shù)據(jù)分析在供電企業(yè)中的應用研究

邱爽

摘 要：科技的發(fā)展使數(shù)據(jù)的積累速度大幅提高，如何有效利用這些海量數(shù)據(jù)已成為影響企業(yè)核心競爭力的主要因素。本文通過大數(shù)據(jù)分析電力系統(tǒng)營銷數(shù)據(jù)，以提升供電企業(yè)的服務質(zhì)量，指引供電企業(yè)的發(fā)展方向。隨著大數(shù)據(jù)處理技術的發(fā)展、供電數(shù)據(jù)的積累及政策的導向，供電企業(yè)可以提出具有前瞻性的供電解決方案，獲得更為準確的用電需求信息，提高供電企業(yè)運行效率，提供企業(yè)管控能力。

關鍵詞：供電企業(yè)；大數(shù)據(jù)分析；大數(shù)據(jù)處理；用電信息；處理效率

中圖分類號：TM93 文獻標識碼：A

大數(shù)據(jù)（Big Data）又稱為海量數(shù)據(jù)，這些數(shù)據(jù)在未經(jīng)處理前不具備任何參考價值，無法作為參考或輔助決策的依據(jù)。但這些數(shù)據(jù)只要經(jīng)過恰當?shù)奶幚砼c分析就能將海量數(shù)據(jù)轉化為有參考價值的數(shù)據(jù)，從而提升企業(yè)的服務水平及競爭力。

大數(shù)據(jù)的分析及應用與現(xiàn)今生活息息相關，涉及交通、購物、天氣、刑偵、電力等眾多領域，將不同類型的數(shù)據(jù)收集并加以分析，極有可能挖掘出以往不為人知的信息與模式。

例如在不侵犯個人隱私法規(guī)的前提下，利用數(shù)字醫(yī)療記錄進行健康趨勢分析或疾病關鍵因素分析與控制等，通過上述數(shù)據(jù)即可建立周圍因素與健康之間的關系模型；網(wǎng)上購物網(wǎng)站利用數(shù)據(jù)分析可找出消費者喜好的產(chǎn)品，通過系統(tǒng)向消費者推薦同類商品，增加消費者購買的可能性；電力系統(tǒng)大數(shù)據(jù)分析從用戶注冊、繳費完成（包括現(xiàn)金繳費、銀聯(lián)繳費、代扣等）至核銷對賬的完成，所有類型數(shù)據(jù)均存儲在系統(tǒng)中，構成電力營銷系統(tǒng)大數(shù)據(jù)，使企業(yè)的信息管理更加便捷，同時能有效的識別和分析潛在風險，并制定相應的防范措施。

1 大數(shù)據(jù)的概念及意義

大數(shù)據(jù)又稱海量數(shù)據(jù)，是指無法在一定時間內(nèi)用常規(guī)軟件處理的數(shù)據(jù)集合。

近年來，隨著大數(shù)據(jù)處理與應用技術研究的深入，如何將大數(shù)據(jù)轉換為企業(yè)生產(chǎn)力和競爭力是目前電力企業(yè)改革的趨勢。

目前，對大數(shù)據(jù)的定義應具有以下5V特點：

1.1 數(shù)據(jù)量

數(shù)據(jù)量是大數(shù)據(jù)的最基本特征；物聯(lián)網(wǎng)數(shù)據(jù)及使用者主動、被動分享的數(shù)據(jù)快速的累積，很容易是數(shù)據(jù)量達到TB或PB等級；海量數(shù)據(jù)給處理工作帶來了挑戰(zhàn)，不僅是數(shù)據(jù)的提取，資料的管理與存儲，更重要的是有效挖掘出隱藏在此數(shù)據(jù)里的重要信息。

1.2 多樣性

大數(shù)據(jù)不僅強調(diào)數(shù)據(jù)量的大小，還涉及數(shù)據(jù)類型的改變，具體可分為三類：結構化數(shù)據(jù)、半結構化數(shù)據(jù)以及非結構化數(shù)據(jù)；所謂結構化數(shù)據(jù)可用二維表結構表述，并可存儲在數(shù)據(jù)庫中，而非結構化數(shù)據(jù)將無法以預定的數(shù)據(jù)模型存入數(shù)據(jù)庫表中。

1.3 數(shù)據(jù)的時效性

傳統(tǒng)的數(shù)據(jù)分析注重對歷史數(shù)據(jù)的分析與挖掘，并且所有分析數(shù)據(jù)都以日或月為基準單位產(chǎn)生，然后進行生產(chǎn)計劃決策，但隨著技術更新速度的加快，這類過長的歷史數(shù)據(jù)以無法滿足市場的需要，所以企業(yè)必須實時分析所擁有的最新數(shù)據(jù)。

1.4 數(shù)據(jù)的可靠性

過去數(shù)據(jù)在分析前均經(jīng)過預處理，可保證數(shù)據(jù)的可靠度，如果處理企業(yè)實時數(shù)據(jù)，數(shù)據(jù)測量往往受到不同外在因素影響而產(chǎn)生不同形態(tài)的誤差，甚至測量數(shù)據(jù)不完整，導致品質(zhì)不良，影響分析結果。

1.5 數(shù)據(jù)價值

所收集的大數(shù)據(jù)期望可以帶來能被利用的價值，將大數(shù)據(jù)經(jīng)過適當?shù)奶幚矸治觯M而得到各種應對方法。

針對供電企業(yè)的海量數(shù)據(jù)，傳統(tǒng)的通過單機處理或使用一般數(shù)據(jù)庫進行處理和分析已經(jīng)不能滿足企業(yè)的需求。

基于此，本文以Hadoop分散式平臺與Hadoop兩大核心技術——MapReduce分散式算法與HDFS分布式文件系統(tǒng)，對供電企業(yè)大數(shù)據(jù)進行存儲、處理與分析。

2 供電企業(yè)大數(shù)據(jù)處理平臺

Hadoop是針對MapReduce框架所實現(xiàn)一個具有分散式運算框架的開放式平臺，包含有著名的分布式文件系統(tǒng)（HDFS）、分散式數(shù)據(jù)處理框架（MapReduce），分散式以Column-Oriented數(shù)據(jù)存儲系統(tǒng)（HBse），提供可靠、高效、可伸縮的分散式處理平臺。

2.1 分散式儲存

通過Hadoop將數(shù)臺電腦布置用于采集企業(yè)運行數(shù)據(jù)，并將數(shù)據(jù)存儲在由HDFS自動分配的數(shù)據(jù)存儲區(qū)，并建立備份，防止用于采集的電腦發(fā)生故障或錯誤時造成數(shù)據(jù)丟失，提高容錯性。

2.2 分散式運算

Hadoop平臺采用原始的MapReduce分散式處理方法處理結構化大數(shù)據(jù)，并利用分布式電腦歸集分散的運算，將運算工作分割成許多任務分散在各個執(zhí)行。提供高度的可靠性運算，降低網(wǎng)絡傳輸需求基負載平衡。

雖然HadoopMapReduce在大數(shù)據(jù)處理密集型批處理數(shù)據(jù)上非常成功，但由于每執(zhí)行一個MapReduce任務需要在數(shù)據(jù)收集環(huán)境內(nèi)，初始化一個任務并通過網(wǎng)絡指派工作內(nèi)容，且每次MapReduce任務執(zhí)行完畢后都需要執(zhí)行I/O任務，將結果輸出至HDFS。因此，MapReduce不適合在低延遲要求或高迭代運算上應用。

Spark是一種機遇內(nèi)存運算框架且與Hadoop兼容，Spark的運算特性適合迭代運算，Spark再函數(shù)運算后并不會將結果輸出，減少I/O任務執(zhí)行次數(shù)，進而增加效率，因此Spark特別適合于反復迭代的機器學習機算法及交叉式對比分析。

2.3 分散式數(shù)據(jù)庫

NoSQL根據(jù)存儲方式可分為Key-value數(shù)據(jù)庫、Column-oriented數(shù)據(jù)庫、Document-oriented數(shù)據(jù)庫及Graph-oriented數(shù)據(jù)庫。

3 供電企業(yè)大數(shù)據(jù)應用案例

目前很多行業(yè)已經(jīng)采用大數(shù)據(jù)解決方案來處理海量數(shù)據(jù)帶來的各類問題，且各自發(fā)展出具有前瞻性的應用，這些企業(yè)以Hadoop作為其處理海量數(shù)據(jù)的平臺，例如：

1）供電企業(yè)將售電數(shù)據(jù)記錄文件導入至具有600節(jié)點的Hadoop數(shù)據(jù)庫中存儲，進行用電信息分析，供電峰值分析和售電價格分析等；

2）供電企業(yè)對用電信息進行統(tǒng)計整理，尋找出用電客戶的特點，利用大數(shù)據(jù)對電能進行精準營銷，對用電大戶采取避峰開工的用電建議，維護電網(wǎng)安全運行。

3）根據(jù)用戶用電數(shù)據(jù)、電網(wǎng)故障數(shù)據(jù)及電流峰值分析，判斷電力系統(tǒng)中最易發(fā)生故障的環(huán)境，在電力檢修過程中重點檢查。

4）根據(jù)企業(yè)用電特征及電網(wǎng)運行特點，制定最適合企業(yè)經(jīng)濟性和電力系統(tǒng)安全的用電規(guī)則，使企業(yè)經(jīng)濟效益最大化，同時還能保證設備供電電壓的穩(wěn)定性和可靠度。

在數(shù)據(jù)處理過程中，協(xié)同過濾是大數(shù)據(jù)處理中最常用的方法，其主要是利用使用者對使用者或物品對物品之間的相似度去預測使用者對某種物品的評分。

因此，協(xié)同過濾可分為兩部分，第一部分為基于使用者的協(xié)同過濾，第二種是基于物品的協(xié)同過濾。兩部分的流程相同，只是一個針對使用者，另一個針對物品。

4 供電大數(shù)據(jù)系統(tǒng)結構

隨著科技的發(fā)展，數(shù)據(jù)的收集與處理系統(tǒng)將成為企業(yè)未來解決方案及競爭力的核心基礎，其包含四大技術即時串聯(lián)分析、建模統(tǒng)計查詢、分散存儲提取、服務整合包裝，提供電力企業(yè)從生產(chǎn)到銷售整個過程的數(shù)據(jù)收集，分析直至效率統(tǒng)計與預測，具體技術如下：

4.1 即時串聯(lián)分析

該技術系統(tǒng)主要構建于即時分析軟件Apache Storm上；Storm是一個以分散式、容錯、連續(xù)即時串聯(lián)處理為目的的免費開源軟件，可簡單、可靠的處理大量的數(shù)據(jù)。適合以Strom開發(fā)的應用類型如：即時分析、線上機器學習、持續(xù)運算、分散式RPC等等，Strom具有高度容錯性，保證每次數(shù)據(jù)都會處理，而且速度很快。另外對于使用者來說，Strom的設置與維護運行都非常方便，并且可以使用多種語言編寫應用程序。故Strom具有以下重要特性：編寫結構簡單、可快速擴展性、高可靠度、高容錯性、支持多種程序語言開發(fā)。

4.2 建模統(tǒng)計查詢

該技術主要建立統(tǒng)計軟件R與其相關的整合工具Deploy；R是一個程序語言、統(tǒng)計計算與繪圖的整合環(huán)境，提供非常多的統(tǒng)計工具，包含線性與非線性模型、統(tǒng)計分析、時間序列分析、分類分析、集群分析等工具。其特點是免費、開放且占有率高，可實現(xiàn)跨平臺運行，包括Windows、Linux等多種平臺。

4.3 分散存儲提取

該技術建立在HDFS之上，HDFS是Hadoopecosystem中數(shù)據(jù)存儲管理的基礎，將分散的儲存數(shù)據(jù)整合成一個具有容錯能力、高效率且超大容量為一體的儲存環(huán)境，在Hadoop系統(tǒng)中大量的數(shù)據(jù)和運算時產(chǎn)生的暫時數(shù)據(jù)，都存放在這個分散式的檔案系統(tǒng)上。

4.4 服務整合包裝

該技術主要搭建在Node.js之上，Node.js是為一個事件驅動I/O伺服端的JavaScript環(huán)境，目的提供撰寫可擴展的網(wǎng)絡程序，如Web服務。是一種高效，易擴展的網(wǎng)站應用程序開發(fā)框架。

為了讓開發(fā)者能夠更好開發(fā)高延展性的網(wǎng)絡服務，不需要經(jīng)過太多復雜的調(diào)校、效能調(diào)整及程序修改，就能滿足網(wǎng)絡服務在不同發(fā)展階段對效率的要求。

實際的能效實時監(jiān)控，收集供電企業(yè)供電數(shù)據(jù)，并經(jīng)過收集伺服器運行串聯(lián)分析等技術模塊對該運行數(shù)據(jù)進行提取、生產(chǎn)管理數(shù)據(jù)對比、統(tǒng)計分析處理、預測建模等步驟，以即時監(jiān)控供電網(wǎng)絡的運行效率，當供電數(shù)據(jù)超過由預測模型給定的安全范圍時，給予效能異常的即時報警處理。

5 結論

在大數(shù)據(jù)時代如果能分析出有價值的信息，就能為企業(yè)帶來更大的競爭力，同時為企業(yè)的發(fā)展指明方向。

就供電企業(yè)而言，精準的用電數(shù)據(jù)可給出發(fā)電企業(yè)準確的發(fā)電數(shù)據(jù)，從而使發(fā)電企業(yè)以最優(yōu)化的配置進行電能生產(chǎn)，在保證用電企業(yè)正常運轉的同時，使發(fā)電企業(yè)經(jīng)濟效益最大化，從而降低能耗，實現(xiàn)節(jié)能減排的目的。

此外，從大數(shù)據(jù)分析中提取出的有用信息可幫助供電企業(yè)指明企業(yè)的發(fā)展方向，同時可提高供電企業(yè)的服務水平及供電品質(zhì)，提高企業(yè)競爭力。