智能電網大數據處理技術現狀與挑戰(zhàn)

張碩

摘要：本文首先闡述了目前的智能電網大數據處理技術現狀，接著分析了智能電網大數據平臺和應用框架，最后對新時代智能電網大數據處理技術的機遇與挑戰(zhàn)進行了探討。

關鍵詞：智能電網;大數據處理技術;現狀

近年來，隨著科學技術的進步和發(fā)展，人們對資源的開發(fā)利用越來越快，全球能源問題日益嚴重。其中，人們使用最多的能源無疑是電力。然而，在電力傳輸過程中仍然存在著大量的耗散現象。因此，許多國家都對智能電網進行了研究，以便對當前的電網進行技術改造。

一、目前智能電網大數據處理技術現狀

（一）數據集成技術

智能電網大數據具有數據量大、類型大、速度快、分布廣泛的特點。這些特點給大規(guī)模數據處理帶來了很大的困難。因此，為了處理智能網格的大數據，第一點是通過數據提取、轉換、剔除和校正來集成數據源。其中，由于大型數據在智能網格中的集成涉及多種類型的應用系統(tǒng)，且這些系統(tǒng)具有復雜的類型和特征，因此在數據大小、數據類型和實時需求上存在較大差異，而且單靠哪種技術是很難的。因此，有必要結合各種技術，綜合考慮各種因素，建立一個一致、完整、有效的智能電網大數據系統(tǒng)。以交換、變換、道路為例。主要環(huán)節(jié)有三個步驟：一是數據提取，從源數據源系統(tǒng)中提取數據到目標數據源系統(tǒng);二是數據轉換和處理。根據業(yè)務要求，將上一步獲得的數據轉換為目的地數據源要求的格式，并對錯誤和不一致的數據進行清理和處理;最后，數據被加載，轉換后的數據被加載到目標數據源。

（二）數據運輸與存儲技術

在數據采集和分析過程中，一個重要的問題是如何傳輸和存儲數據，數據需要完整準確。使用數據壓縮可以減少數據傳輸量，但重點是采用哪種方法。另一方面，數據壓縮和解壓的過程也需要占用資源和成本，因此必須合理安排。對于不同的情況和不同大小的數據，應根據數據的重要性、實時性和速度選擇不同的算法進行壓縮和解壓縮。

對于數據的存儲，目前使用分布式文件系統(tǒng)。智能網格中的數據是大而多樣的，所以首先要做的就是對數據進行分類，然后分開存儲。有些數據具有很強的及時性，必須單獨存儲。可以建立一個實時數據庫系統(tǒng)。在網格數據中，非結構化數據的比例會逐漸增加，但在存儲中，非結構化數據無法直接存儲，需要在存儲前轉換為結構化數據。

（三）并行數據庫

并行數據庫是一種數據庫。它屬于基于mpp和集群并行計算環(huán)境的高性能新一代數據庫系統(tǒng)。該數據庫能夠保證數據存儲的安全性和網絡運行的穩(wěn)定性，在不影響系統(tǒng)正常工作的前提下實現多用戶的同步訪問，并能快速處理數據。然而，尚不充分的是并行數據庫系統(tǒng)僅適用于結構數據。必須首先將非結構數據轉換為結構數據。數據庫存儲容量有限，可擴展性差，限制了系統(tǒng)對數據的存儲和分析能力。

（四）云計算技術

在互聯(lián)網相關服務增長、使用和交互模式的基礎上，由于信息處理的方便和簡單，云計算技術應運而生。它主要涉及虛擬化資源。這些資源需要通過互聯(lián)網提供。這類數據通常是動態(tài)的，容易擴展。選擇云計算最重要的原因是它可以存儲大量的數據而不用擔心存儲空間不足和使用數據并行處理技術。分布式文件系統(tǒng)也是云計算核心思想的反映。然而，如上所述，云計算缺乏及時性，有時影響到數據的及時分析和處理，降低了效率，需要進一步改進。云計算平臺雖然可以實現數據存儲空間的大擴展，但數據的保密性較差，安全性無法保證。當有重要的資料儲存時，例如資料的遺失與破壞，會造成重大的損失。

二、智能電網大數據平臺和應用框架

（一）大數據平臺的建立

由于智能網格大數據應用程序需要統(tǒng)一的數據訪問、清理、存儲和管理，這些功能是通過構建大數據來實現的。智能電網大數據的核心平臺分為基本資源、數據管理、數據存儲、數據分析和處理、平臺服務和平臺控制五個部分。其中，數據分析和處理是大型數據平臺的核心。根據具體業(yè)務要求，該部分除了提供基本的批處理和流處理功能外，還可以實現圖形計算、內存計算、數據挖掘、統(tǒng)計分析、機器學習等一般的數據分析算法包或工具功能。

（二）應用框架的建設

現時，由于電力公司的各業(yè)務部均有各自的資訊系統(tǒng)，他們會從不同時段收集不同的資料，并記錄特定時段的資料，因此它們不能反映網格對象的所有屬性。在數據共享方面存在困難。目前迫切需要建立一個統(tǒng)一的數據模型，以存儲和管理智能電網各個環(huán)節(jié)的數據。因此，在實踐中，通過電力系統(tǒng)的穩(wěn)定分析和控制、電力傳輸和轉換設備的故障診斷、負荷預測、用戶行為分析等具體步驟，實現了與智能電網業(yè)務系統(tǒng)的實時數據收集和數據交互，以及社會經濟形勢的分析和預測。

三、新時代智能電網大數據處理技術的機遇與挑戰(zhàn)

（一）數據的時效性

在智能網格中，數據量很大，因此傳輸、存儲和分析往往需要很長時間，但有些數據需要及時處理，但現有的云計算平臺不符合要求。并行數據庫系統(tǒng)的數據存儲容量不能滿足要求。因此，數據處理的速度變得越來越重要和迫切。

（二）可視化分析技術

數據收集和處理在數據庫和相關系統(tǒng)中進行，但最終會顯示給用戶。龐大的數據流使用戶無法直觀地理解它，需要使它成為一種易于理解的方式，如文本、圖片等，在這個過程中，重要的信息需要篩選并轉換成圖片和其他形式，在屏幕上顯示，以實現與用戶的交互。

（三）異構多數據源

隨著智能電網的逐步發(fā)展，將有越來越多的數據來源。例如，在電網中發(fā)電、輸電和用電等方面產生了大量的數據。需要及時收集所有這些數據，數據的結構和處理方式也日益不同。因此，如何處理多個數據源和多個數據結構已成為我們需要解決的問題。

四、結束語

本文主要介紹了智能電網大數據技術的基礎、現狀和存在的問題?？梢姡磥碇悄茈娋W大數據技術的大規(guī)模應用已成為必然。因此，我們應該密切關注智能電網大數據處理技術的發(fā)展，找到最佳解決方案。

參考文獻：

[1]葉展勇，黎素云，俞曉彤.智能電網大數據處理技術與挑戰(zhàn)[J].電子技術與軟件工程，2019（10）.

[2]李寶玉，戴羽.智能電網大數據處理技術現狀與挑戰(zhàn)[J].科技經濟市場，2018（04）.

[3]何永波.智能電網大數據處理技術現狀與挑戰(zhàn)[J].科學大眾（科學教育），2018（11）.

[4]張嘯宇.智能電網大數據處理技術現狀[J].中國科技信息，2018（21）.