大數(shù)據(jù)技術(shù)在電力行業(yè)中的應(yīng)用分析

孫目

摘要：本文簡(jiǎn)述了大數(shù)據(jù)的來源和特點(diǎn)，簡(jiǎn)要分析了大數(shù)據(jù)的相關(guān)技術(shù)，闡述了大數(shù)據(jù)技術(shù)在電力行業(yè)的典型應(yīng)用，論述了大數(shù)據(jù)技術(shù)對(duì)電力行業(yè)進(jìn)一步發(fā)展的重要性。

關(guān)鍵詞：智能電網(wǎng);電力系統(tǒng);大數(shù)據(jù)技術(shù);電力行業(yè)

1電力大數(shù)據(jù)技術(shù)分析

1.1云計(jì)算技術(shù)

Google是處理大數(shù)據(jù)技術(shù)最典型的公司，2006年首次提出云計(jì)算的概念。云計(jì)算是網(wǎng)絡(luò)計(jì)算[9]，是一種基于互聯(lián)網(wǎng)的計(jì)算方法。它可以根據(jù)需要向計(jì)算機(jī)終端和相關(guān)設(shè)備提供信息，并使用服務(wù)提供商提供的計(jì)算機(jī)基礎(chǔ)設(shè)施進(jìn)行計(jì)算和資源。具體來說，就是通過網(wǎng)絡(luò)云將海量數(shù)據(jù)處理成不同類型的小程序，由服務(wù)器系統(tǒng)對(duì)小程序進(jìn)行分析，并將結(jié)果反饋給用戶[10]。云計(jì)算的核心內(nèi)容是利用互聯(lián)網(wǎng)在網(wǎng)站上為用戶提供云計(jì)算、數(shù)據(jù)存儲(chǔ)等服務(wù)，讓用戶可以利用網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理。

云計(jì)算技術(shù)是大數(shù)據(jù)分析和處理的基礎(chǔ)，也是大數(shù)據(jù)應(yīng)用的基礎(chǔ)平臺(tái)。云計(jì)算是基于先進(jìn)的互聯(lián)網(wǎng)技術(shù)，其實(shí)現(xiàn)形式眾多，主要通過以下幾種形式：服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）。對(duì)于云計(jì)算技術(shù)來說，海量數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)并行處理是關(guān)鍵內(nèi)容。具體技術(shù)有分布式文件系統(tǒng)和MapReduce技術(shù)，這兩種技術(shù)都是Google提出的。

DFS系統(tǒng)是分布式文件系統(tǒng)，主要是指文件系統(tǒng)管理的資源不與本地節(jié)點(diǎn)直接相連，而是利用網(wǎng)絡(luò)與節(jié)點(diǎn)（可以簡(jiǎn)單理解為計(jì)算機(jī)）相連;或者是由幾個(gè)不同的邏輯磁盤分區(qū)或卷標(biāo)組合而成的完整的分層文件系統(tǒng)。分布式文件系統(tǒng)可以為系統(tǒng)提供高吞吐量的數(shù)據(jù)訪問，適合大數(shù)據(jù)處理。DFS的一個(gè)開源實(shí)現(xiàn)是HDFS，它是Hadoop架構(gòu)的基礎(chǔ)，也支持以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

MapReduce是Google為大規(guī)模數(shù)據(jù)并行計(jì)算提出的編程模型，便于在分布式系統(tǒng)上運(yùn)行程序。映射函數(shù)用于將一組鍵值對(duì)映射到一組新的鍵值對(duì)，并指定了一個(gè)并發(fā)的減少函數(shù)來確保所有映射的鍵值對(duì)共享同一個(gè)鍵組。Hadoop提供了MapReduce的開源實(shí)現(xiàn)，也是目前應(yīng)用最廣泛的大數(shù)據(jù)技術(shù)。為了實(shí)現(xiàn)MapReduce編程模型的高效應(yīng)用，誕生了許多更高級(jí)的查詢語言，如Hive。這些先進(jìn)的查詢語言使得模型更適合數(shù)據(jù)的并行處理，促進(jìn)了大數(shù)據(jù)技術(shù)的發(fā)展。

1.2數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)

在處理和分析大數(shù)據(jù)的過程中，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)起著非常重要的作用。從大量數(shù)據(jù)中挖掘隱藏的、以前未知的、潛在有價(jià)值的信息，為相關(guān)決策提供參考。在電力大數(shù)據(jù)的分析中，主要分為三類，即關(guān)聯(lián)分析、聚類方法和分類方法。

關(guān)聯(lián)分析的研究始于Apriori算法，它是指在相關(guān)數(shù)據(jù)載體中的項(xiàng)目集或?qū)ο蠹g尋找頻繁模式、關(guān)聯(lián)、相關(guān)性或因果結(jié)構(gòu)。挖掘頻繁項(xiàng)集后，需要挖掘頻繁項(xiàng)集中大于最小置信度閾值的關(guān)聯(lián)規(guī)則。將頻繁項(xiàng)集分為前后兩部分，然后計(jì)算規(guī)則的前后部分的置信度。如果大于最小置信度閾值，則為強(qiáng)關(guān)聯(lián)規(guī)則。廣泛使用的關(guān)聯(lián)分析方法有Apriori算法和FP-growth算法。

聚類方法是數(shù)據(jù)挖掘中最早使用的算法之一，也廣泛應(yīng)用于各種數(shù)據(jù)庫(kù)中。將物理或抽象對(duì)象的集合劃分為由相似對(duì)象組成的多個(gè)類的過程稱為聚類。傳統(tǒng)的聚類方法包括劃分法、層次法、基于密度法和基于模型法。聚類分析內(nèi)容豐富，包括系統(tǒng)聚類法、有序樣本聚類法、動(dòng)態(tài)聚類法、模糊聚類法、圖論聚類法、聚類預(yù)測(cè)法等。傳統(tǒng)聚類成功地解決了低維數(shù)據(jù)的聚類問題，高維聚類分析是當(dāng)今的研究熱點(diǎn)。

分類算法用于提取描述重要數(shù)據(jù)類的模型，按照一定的標(biāo)準(zhǔn)標(biāo)注對(duì)象，然后根據(jù)標(biāo)注進(jìn)行分類。傳統(tǒng)的分類算法由于自身的瓶頸不適合大數(shù)據(jù)環(huán)境下的分類，成為研究熱點(diǎn)。在支持向量機(jī)的基礎(chǔ)上，Kim等人提出了一種適用于大數(shù)據(jù)的特征提取和分類算法，可以很好地解決大數(shù)據(jù)分類問題。Ben-Haim等人提出了一種構(gòu)建決策樹分類器的算法，該算法可以在分布式環(huán)境下運(yùn)行，適用于大數(shù)據(jù)集和流數(shù)據(jù)。近年來，神經(jīng)網(wǎng)絡(luò)發(fā)展迅速。uang等人提出了ELM的優(yōu)化策略來代替梯度下降算法，訓(xùn)練速度得到了很大的提高。

1.3大數(shù)據(jù)可視化

可視化是指利用圖形手段直觀地傳達(dá)數(shù)據(jù)的關(guān)鍵方面和特征，然后對(duì)復(fù)雜數(shù)據(jù)進(jìn)行深入分析，實(shí)現(xiàn)相關(guān)信息的有效傳遞。在數(shù)據(jù)可視化中，數(shù)據(jù)主要表現(xiàn)為單一的圖元，將數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)圖像，可以幫助相關(guān)人員從不同角度對(duì)數(shù)據(jù)進(jìn)行分析和觀察，從而對(duì)數(shù)據(jù)進(jìn)行深入分析和有效應(yīng)用。

可視化分析將可視化技術(shù)與數(shù)據(jù)分析技術(shù)相結(jié)合，提高了可視化效果，為大規(guī)模數(shù)據(jù)提供了解決方案。近年來，大數(shù)據(jù)可視化的研究取得了很大進(jìn)展，在報(bào)表工作、商業(yè)智能分析工具和數(shù)據(jù)可視化平臺(tái)等領(lǐng)域發(fā)揮了重要作用。

在大數(shù)據(jù)時(shí)代，可視化已經(jīng)廣泛應(yīng)用于電力行業(yè)、社交網(wǎng)絡(luò)等多個(gè)行業(yè)。如何有效地向用戶展示數(shù)據(jù)是一個(gè)非常重要的問題，它關(guān)系到海量數(shù)據(jù)中的信息能否有效地傳遞給用戶?？梢暬芯恳呀?jīng)成為當(dāng)今的熱點(diǎn)問題，學(xué)術(shù)界和工業(yè)界已經(jīng)做了很多研究，在標(biāo)簽云和歷史流程圖領(lǐng)域也取得了重要進(jìn)展。

2大數(shù)據(jù)技術(shù)在電力行業(yè)的典型應(yīng)用

2.1推動(dòng)大數(shù)據(jù)傳輸和存儲(chǔ)

隨著智能電網(wǎng)的有效建設(shè)，電力系統(tǒng)各環(huán)節(jié)產(chǎn)生的數(shù)據(jù)得到有效記錄，這對(duì)數(shù)據(jù)傳輸和存儲(chǔ)提出了更高的要求。隨著產(chǎn)生的數(shù)據(jù)越來越多，電力系統(tǒng)的負(fù)擔(dān)越來越重，阻礙了智能化的發(fā)展。

大數(shù)據(jù)技術(shù)為海量數(shù)據(jù)的傳輸和存儲(chǔ)提供了解決方案，能夠很好地滿足電力大數(shù)據(jù)任務(wù)的需求。如果可以選擇分布式文件系統(tǒng)，可以讓大數(shù)據(jù)的存儲(chǔ)更加方便。目前，Hadoop HDFS文件系統(tǒng)已經(jīng)得到廣泛應(yīng)用。同時(shí)，電力系統(tǒng)對(duì)實(shí)時(shí)數(shù)據(jù)有一定的要求，大數(shù)據(jù)技術(shù)對(duì)實(shí)時(shí)數(shù)據(jù)也有很好的支持，可以實(shí)時(shí)采集電力運(yùn)行數(shù)據(jù)，并通過流媒體傳輸對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行分析。可以根據(jù)系統(tǒng)的性能和數(shù)據(jù)的特點(diǎn)分別存儲(chǔ)，一些要求高、需要實(shí)時(shí)處理的數(shù)據(jù)可以通過數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行處理。對(duì)于一般數(shù)據(jù)，可以選擇數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行處理。對(duì)于大量的歷史數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)，相關(guān)人員可以使用分布式文件系統(tǒng)進(jìn)行處理。

通過大數(shù)據(jù)技術(shù)，可以將電力行業(yè)復(fù)雜的數(shù)據(jù)融合轉(zhuǎn)換成便于存儲(chǔ)和數(shù)據(jù)分析的數(shù)據(jù)。利用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行有效管理，逐步形成相應(yīng)的電力企業(yè)信息管理系統(tǒng)，對(duì)提高企業(yè)的數(shù)據(jù)共享和競(jìng)爭(zhēng)力有重要作用，可以使電力數(shù)據(jù)發(fā)揮更大的作用。

2.2電力設(shè)備的狀態(tài)評(píng)估

電力設(shè)備的正常運(yùn)行是整個(gè)電力系統(tǒng)運(yùn)行的關(guān)鍵，電力設(shè)備的狀態(tài)評(píng)估結(jié)果對(duì)電力系統(tǒng)的設(shè)備采購(gòu)、投資計(jì)劃、設(shè)備維護(hù)等所有生產(chǎn)運(yùn)行環(huán)節(jié)都有重要影響。電力設(shè)備狀態(tài)檢修是電網(wǎng)發(fā)展的關(guān)鍵，也是提高國(guó)民經(jīng)濟(jì)生命線產(chǎn)業(yè)保障性的工作。

目前，電力設(shè)備狀態(tài)評(píng)估主要包括基于標(biāo)準(zhǔn)導(dǎo)則和評(píng)分系統(tǒng)的評(píng)估方法、故障診斷專家系統(tǒng)和基于傳統(tǒng)機(jī)器學(xué)習(xí)的設(shè)備狀態(tài)評(píng)估。傳統(tǒng)的設(shè)備狀態(tài)評(píng)估方法大多是基于有限的樣本數(shù)據(jù)，建立相關(guān)模型來預(yù)測(cè)投入與產(chǎn)出之間的關(guān)系。隨著電力監(jiān)控設(shè)備的廣泛使用，電網(wǎng)運(yùn)行系統(tǒng)逐漸呈現(xiàn)出海量數(shù)據(jù)的特點(diǎn)，這也是大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評(píng)估領(lǐng)域應(yīng)用的關(guān)鍵。

在大電網(wǎng)背景下，多維數(shù)據(jù)是大數(shù)據(jù)挖掘的基礎(chǔ)，也是電力設(shè)備狀態(tài)評(píng)估的必要條件。根據(jù)其特點(diǎn)，相關(guān)數(shù)據(jù)可分為靜態(tài)參數(shù)、動(dòng)態(tài)參數(shù)、準(zhǔn)動(dòng)態(tài)參數(shù)和外部參數(shù)。設(shè)備狀態(tài)評(píng)估大數(shù)據(jù)挖掘分析的基本思想是通過分類算法、聚類算法、時(shí)間序列挖掘等大數(shù)據(jù)挖掘技術(shù)，挖掘和分析大量的設(shè)備歷史數(shù)據(jù)。，挖掘各種狀態(tài)參數(shù)之間的關(guān)系，實(shí)時(shí)采集電力設(shè)備的運(yùn)行數(shù)據(jù)，并根據(jù)相關(guān)的狀態(tài)參數(shù)對(duì)設(shè)備進(jìn)行相關(guān)性分析，及時(shí)評(píng)估設(shè)備的運(yùn)行狀態(tài)，為相關(guān)工作提供指導(dǎo)。

3結(jié)束語

大數(shù)據(jù)時(shí)代的到來是未來的必然趨勢(shì)，對(duì)電力行業(yè)來說既是挑戰(zhàn)也是機(jī)遇。在電力行業(yè)的進(jìn)一步發(fā)展中，有必要認(rèn)識(shí)到大數(shù)據(jù)技術(shù)在電力系統(tǒng)生產(chǎn)運(yùn)營(yíng)、企業(yè)運(yùn)營(yíng)發(fā)展、配電分析等領(lǐng)域應(yīng)用的重要性。通過良好的數(shù)據(jù)管理和有效的數(shù)據(jù)挖掘，實(shí)施相關(guān)的大數(shù)據(jù)策略不僅可以保證電力系統(tǒng)的穩(wěn)定運(yùn)行，而且對(duì)電力營(yíng)銷質(zhì)量和提高企業(yè)競(jìng)爭(zhēng)力具有重要意義?？梢哉f，電力企業(yè)大數(shù)據(jù)系統(tǒng)建設(shè)是未來發(fā)展的重點(diǎn)。

參考文獻(xiàn)

[1]李國(guó)杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊，2012，6.

[2]陳超，張順仕，等.大數(shù)據(jù)背景下電力行業(yè)數(shù)據(jù)應(yīng)用研究[J].現(xiàn)代電子技術(shù)，2013，24.

[3]丁杰，徐建，等.迎戰(zhàn)大數(shù)據(jù)[J].電力信息與通信技術(shù)，2013，2.

國(guó)網(wǎng)內(nèi)蒙古東部電力有限公司巴林右旗供電分公司 內(nèi)蒙古 025150