基于云計算的電力大數(shù)據(jù)分析技術與應用

齊冬利 馬輝

（國網偃師市供電公司，河南 偃師 471900）

計算機網絡科技不斷發(fā)展，使得各個領域也逐漸開始重視如何才能更高效的利用計算機技術，進而促進其快速發(fā)展。其中，電力企業(yè)通過利用云計算技術，有效的提高了對電力大數(shù)據(jù)進行分析的效率，并通過利用其將以往煩瑣的分析模式加以取代，提升了大數(shù)據(jù)分析的質量，有效推進了電力領域的發(fā)展進程。

一、電網發(fā)展基于云計算大數(shù)據(jù)的意義

在電網系統(tǒng)中應用云計算，可以根據(jù)云計算的結果數(shù)據(jù)發(fā)現(xiàn)目前在電網系統(tǒng)過程中運行所存在的一些問題。發(fā)現(xiàn)了問題的所在處，工作人員就會對此進行有目的地維修和整改，從而確保電網系統(tǒng)運行的穩(wěn)定和安全。所以將云計算應用到電網系統(tǒng)中是非常有必要的。因此，電網系統(tǒng)中的工作人員要深刻認識到云計算的重要性，重視云計算大數(shù)據(jù)的結果。根據(jù)這個數(shù)據(jù)結果，采取措施完善電網系統(tǒng)，推動電力企業(yè)的發(fā)展。

二、電力大數(shù)據(jù)特征

（一）體量大

電力大數(shù)據(jù)即智能電網在發(fā)電、輸配電、營銷管理等階段中產生的數(shù)據(jù)，現(xiàn)代智能電網建設越來越完善，設備傳感器以及智能電表等終端數(shù)據(jù)收集設備已經被廣泛的應用，所采集到的數(shù)據(jù)信息也會呈現(xiàn)指數(shù)級的激增。

（二）高速化

現(xiàn)代電力大數(shù)據(jù)無論是從數(shù)據(jù)采集方面還是從數(shù)據(jù)分析方面上看，都具備高速化特征，以高速狀態(tài)迅速完成，這主要是由用戶終端數(shù)量的不斷增加所決定的，要求國內電網內大數(shù)據(jù)分析設備能夠滿足每秒數(shù)十萬次的計算和分析。

（三）類型多

電力大數(shù)據(jù)不僅包括了傳統(tǒng)結構化數(shù)據(jù)，還涉及到生產管理、營銷等系統(tǒng)，進而產生了大量的音視頻資料等半結構化、非結構化數(shù)據(jù)。數(shù)據(jù)自身的多樣性特點，決定了數(shù)據(jù)存儲以及處理技術的多樣性。就與云計算環(huán)境對電力大數(shù)據(jù)技術應用進行研究，需要基于不同類型的數(shù)據(jù)來進行分析，選擇相應的處理技術作為支持，爭取充分發(fā)揮出數(shù)據(jù)信息的功能性，為后期的發(fā)展決策提供可靠支持。

三、基于云計算的電力大數(shù)據(jù)分析技術與應用

（一）分析系統(tǒng)

基于云計算的電力大數(shù)據(jù)分析系統(tǒng)，是在固定的計算結構體系的基礎上而創(chuàng)建起來的，需要運用各種具有實效性的數(shù)據(jù)分析程序，并通過將云計算所收集的信息加以整合，進而將其合理融入進各種程序升級過程當中，以促進相應程序進行更高效率的升級，同時也可以經由電力數(shù)據(jù)的起點，研究、創(chuàng)新出更優(yōu)質的程序、軟件等。此外，通過上述操作的實施，既有助于對電力系統(tǒng)進行更科學的調控，也有利于使其更趨于智能化。利用云計算對大數(shù)據(jù)電力數(shù)據(jù)進行科學統(tǒng)計，可以有效的凸顯出各個環(huán)節(jié)工作中所應重視的主要內容，使得相應環(huán)節(jié)的工作量得以減少、難度得以降低。此外，電力系統(tǒng)的感應設備、電表等基礎性設施，均可以通過運用固定的頻率，依據(jù)一定規(guī)律進行具體的數(shù)據(jù)收集以及整理，并最終可以將其準確的輸送回數(shù)據(jù)終端。而對數(shù)據(jù)收集的整體過程而言，問題以及錯誤現(xiàn)象的出現(xiàn)是難以避免的，其主要表現(xiàn)為：信息收集錯誤以及信息處理異常，這種現(xiàn)象的出現(xiàn)會導致用電信息采集工作無法良好的遵循周期性原則進行。因此，為了良好的解決這種狀況，工作人員可以通過建立完善的檔案數(shù)據(jù)庫，將電力系統(tǒng)中的靜態(tài)信息進行統(tǒng)一收集，再通過運用多種有效的方式以及手段，將所存儲信息拷貝進云計算系統(tǒng)中，以達到有效降低數(shù)據(jù)相關性影響的作用。

（二）電力大數(shù)據(jù)的分析技術

由于數(shù)據(jù)倉庫的工具存在一定的缺陷，不利于電網系統(tǒng)工作，所以需要對數(shù)據(jù)倉庫的工具進行整改，使其可以達到電力企業(yè)的發(fā)展需求。傳統(tǒng)的數(shù)據(jù)倉庫工具在使用上多有不便，特別是在搜索帶有索引性的文件時。當需要用到某份文件時，數(shù)據(jù)的倉庫工具只能對所有文件進行掃描，這不僅不利于數(shù)據(jù)對系統(tǒng)的分析性能，還在很大程度上浪費了資源。而電力大數(shù)據(jù)可以有效地解決這個問題，其具有非常強的搜索查詢功能。電力大數(shù)據(jù)在原來的數(shù)據(jù)倉庫工具基礎上加強了對命令的多維度查詢功能，可以通過對數(shù)據(jù)的分析、解讀之后從而快速檢測出所要查詢的指令，并經過搜索之后可以快速得出查詢的內容。由于在這個過程中，數(shù)據(jù)的倉庫工具需要對信息指令進行解讀、分析，涉及到了翻譯、檢索功能，因此倉庫的工具需要自帶翻譯功能，這樣才能快速檢索出需要的文件。此外，伴隨著電力系統(tǒng)中相關的軟件的升級更新之后，更新之前和更新之后的數(shù)據(jù)必然會發(fā)生變化。為了使得檢索文件時可以快速、準確，數(shù)據(jù)的倉庫工具還應該具備自動更新數(shù)據(jù)的功能。對于舊的數(shù)據(jù)應該及時更新，并能快速儲存下來。

（三）系統(tǒng)主要模塊

（1）HDFS模塊。即分布式文件系統(tǒng)模塊，主要包括一個元數(shù)據(jù)服務器和多個數(shù)據(jù)服務器，為電力大數(shù)據(jù)分析系統(tǒng)的關鍵模塊之一，主要負責對各類電力大數(shù)據(jù)進行持久化存儲。在模塊運行時，會將文件分成為64MB的數(shù)據(jù)塊，然后分布在各個數(shù)據(jù)服務器上，其中每個數(shù)據(jù)塊均存在3個副本，并被分布在各個節(jié)點上。如果存在某副本不可訪問，系統(tǒng)將會可以自動創(chuàng)建新副本，保證負載的均衡性。（2）Hive。Hive為一種數(shù)據(jù)倉庫系統(tǒng)，主要負責進行大數(shù)據(jù)的分析計算。其提供了類SQL查詢語言HiveQL，可以向數(shù)據(jù)分析人員來提供熟悉接口，提高系統(tǒng)操作的可行性與高效性。并且，Hive解析器可以將HQL查詢編譯成一組MapReduce程序。（3）開發(fā)工具集。主要由并行ETL工具、SQL翻譯以及任務管理等多種工具，系統(tǒng)管理可以利用開發(fā)工具來實現(xiàn)Web圖形化界面或者是系統(tǒng)配置管理的簡化處理等。

結語

計算機技術的不斷發(fā)展，也預示其將會在日后進入更多地生活領域和經濟領域中去。云計算的電力大數(shù)據(jù)分析和應用，也將會在日后的電力企業(yè)中得到更大的普及和發(fā)展。在以后的電力企業(yè)發(fā)展中，電力企業(yè)首先要重視云計算的電力大數(shù)據(jù)分析技術，認識到其對電力發(fā)展具有重要的推動作用。其次還要不斷地研究云計算的電力大數(shù)據(jù)分析技術，將其更好地應用到現(xiàn)代電力企業(yè)發(fā)展中，提高電力對國民的服務質量，推動我國的電力企業(yè)步入一個新的發(fā)展階段。