智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)

陳祺

摘 要：在電網(wǎng)的運(yùn)行和管理過程中會產(chǎn)生海量的數(shù)據(jù)信息，將這些數(shù)據(jù)信息進(jìn)行分類存儲與使用也就是我們常說的大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)技術(shù)的終極目標(biāo)在于提升數(shù)據(jù)信息存儲的效率與質(zhì)量，加快數(shù)據(jù)訪問和處理的速率，從而使智能電網(wǎng)的建設(shè)能夠更符合智能化和自動化的根本需求，彌補(bǔ)當(dāng)前電網(wǎng)系統(tǒng)中存在的缺陷和不足，促進(jìn)我國智能電網(wǎng)事業(yè)的深入發(fā)展。

關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理技術(shù);現(xiàn)狀;挑戰(zhàn)

引言：

在進(jìn)行智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的研究中，應(yīng)該從智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的現(xiàn)狀入手，找到智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的應(yīng)用方式。同時了解當(dāng)前智能電網(wǎng)大數(shù)據(jù)處理技術(shù)面臨的機(jī)遇與挑戰(zhàn)，進(jìn)而為智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的發(fā)展與廣泛應(yīng)用奠定更加堅(jiān)實(shí)的基礎(chǔ)。

一、智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的現(xiàn)狀

所謂的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)是當(dāng)前隨著全球能源形勢日益嚴(yán)峻的情況下創(chuàng)設(shè)的全新技術(shù)，其最終的目標(biāo)在于能夠覆蓋電力系統(tǒng)整個生產(chǎn)過程，建成電力系統(tǒng)運(yùn)行的一體化智能化管控方案，從而使電力系統(tǒng)在運(yùn)行過程中更具安全性和穩(wěn)定性。這種技術(shù)能夠?qū)崿F(xiàn)電網(wǎng)的全景實(shí)時數(shù)據(jù)的收集、存儲和傳遞，從而使其能夠成為電網(wǎng)系統(tǒng)數(shù)據(jù)處理的重要依據(jù)。隨著時代的發(fā)展、科技的進(jìn)步，越來越多的先進(jìn)技術(shù)被應(yīng)用到智能電網(wǎng)大數(shù)據(jù)處理技術(shù)中，能夠滿足越來越高量級的電網(wǎng)運(yùn)行和設(shè)備檢測的需求。而隨著云計(jì)算平臺的全面應(yīng)用，大數(shù)據(jù)技術(shù)也成為了智能電網(wǎng)處理技術(shù)的核心技術(shù)。大數(shù)據(jù)技術(shù)能夠直接應(yīng)用于智能電網(wǎng)系統(tǒng)運(yùn)行的每個環(huán)節(jié)和流程，從用電端到管理端都能切實(shí)享受到大數(shù)據(jù)處理技術(shù)的優(yōu)勢。比如說在進(jìn)行智能電表安裝的環(huán)節(jié)中，供電企業(yè)可以通過讀取用戶的電表讀數(shù)和用電信息獲取用戶的用電習(xí)慣和消費(fèi)能力，從而有針對性的制定供電服務(wù)方案，進(jìn)而能夠更好的理解和滿足電力客戶的消費(fèi)需求，從而能夠?yàn)橥晟坪蛢?yōu)化整個電力系統(tǒng)做出重要的參考[1]。

當(dāng)前我國智能電網(wǎng)產(chǎn)生的數(shù)據(jù)主要有三種，第一種是電網(wǎng)運(yùn)行以及設(shè)備維護(hù)升級中產(chǎn)生的監(jiān)測數(shù)據(jù);第二種是通過銷售獲取的營銷數(shù)據(jù)，比如說電量的交易價格，用電客戶的種類等;第三種則是電力企業(yè)的用電管理數(shù)據(jù)。而根據(jù)數(shù)據(jù)的結(jié)構(gòu)與組成，這些數(shù)據(jù)也可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩種。結(jié)構(gòu)化數(shù)據(jù)指的是通過采集和存儲等方式存儲在數(shù)據(jù)庫中的數(shù)據(jù)信息，而非結(jié)構(gòu)化數(shù)據(jù)一般是指通過數(shù)據(jù)監(jiān)控系統(tǒng)以及圖像圖形處理系統(tǒng)獲取的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)在近些年的增長較為迅速，根據(jù)科學(xué)調(diào)研表明，這部分的數(shù)據(jù)每年的增長量可以達(dá)到百分之60，而在電力系統(tǒng)中，非結(jié)構(gòu)化數(shù)據(jù)也占據(jù)了相當(dāng)大的比重。結(jié)構(gòu)化數(shù)據(jù)在使用過程中根據(jù)處理時限的要求可以劃分為實(shí)時數(shù)據(jù)和準(zhǔn)實(shí)時數(shù)據(jù)。一般情況而言，電網(wǎng)調(diào)度數(shù)據(jù)和控制需求數(shù)據(jù)都是實(shí)時性數(shù)據(jù)，這些數(shù)據(jù)需要進(jìn)行實(shí)時處理，要求處理的方式較為精準(zhǔn)。而電網(wǎng)系統(tǒng)中的狀態(tài)檢測數(shù)據(jù)對實(shí)時性要求相對較低，這些數(shù)據(jù)也就是所謂的準(zhǔn)實(shí)時性數(shù)據(jù)。智能電網(wǎng)與傳統(tǒng)電網(wǎng)之間最大的區(qū)別在于其智能化水平較高，而實(shí)現(xiàn)智能化的最大前提即在于數(shù)據(jù)獲取的準(zhǔn)確性和實(shí)時性。而目前智能電網(wǎng)中，為了能夠獲取電網(wǎng)運(yùn)行的實(shí)際狀態(tài)，需要對大量的采集點(diǎn)進(jìn)行數(shù)據(jù)采集[2]。當(dāng)前常規(guī)的調(diào)度自動化系統(tǒng)大概需要配置十萬個數(shù)據(jù)采集點(diǎn)，而配用電和數(shù)據(jù)中心數(shù)據(jù)采集點(diǎn)的量級將在百萬以上，需要在多個設(shè)備上安裝設(shè)置大量的傳感器，檢測裝置會通過通信通道將這些傳感器進(jìn)行有效的連接，并由變電站的數(shù)據(jù)收集服務(wù)器將這些數(shù)據(jù)進(jìn)行收集、解碼和傳送至數(shù)據(jù)中心的存儲服務(wù)器上。而為了能夠定向采集多種狀態(tài)信息滿足電網(wǎng)的使用需求，數(shù)據(jù)采集的設(shè)備采樣頻率也越來越高。在輸變電設(shè)備的狀態(tài)檢測中，信號的采樣頻率要求在200KHZ以上，特高頻的檢測需要GHz以上的采樣率。也就是說，在智能電網(wǎng)大數(shù)據(jù)處理技術(shù)中，其數(shù)據(jù)監(jiān)測平臺需要檢測的數(shù)據(jù)量十分龐大。為了能夠?qū)⑦@些數(shù)據(jù)準(zhǔn)確完整的傳遞，要求大數(shù)據(jù)處理技術(shù)能夠有著實(shí)時性、靈活性的采樣方案[3]。

二、智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的應(yīng)用方式

在智能電網(wǎng)的運(yùn)行過程中，大數(shù)據(jù)能夠產(chǎn)生于電力系統(tǒng)運(yùn)行的的每個階段，而隨著發(fā)電廠的數(shù)字化建設(shè)，越來越多的數(shù)據(jù)被保存下來，這些數(shù)據(jù)中包含著大量有效的信息，能夠?yàn)榧夹g(shù)人員分析電力系統(tǒng)運(yùn)行故障和完善系統(tǒng)提供重要依據(jù)。而智能電網(wǎng)大數(shù)據(jù)處理技術(shù)在應(yīng)用過程中可以在發(fā)電側(cè)通過對海量數(shù)據(jù)的建模處理，以定型的經(jīng)驗(yàn)和知識作為現(xiàn)實(shí)依據(jù)，能夠?yàn)殡娏ο到y(tǒng)設(shè)備的故障診斷和系統(tǒng)優(yōu)化做出重要的參考。同時，在技術(shù)應(yīng)用過程中，為了及時和準(zhǔn)確的掌握分布式電源的運(yùn)行狀態(tài)，需要采用大數(shù)據(jù)處理技術(shù)對分布式電源進(jìn)行實(shí)時監(jiān)測和掌握。在用電側(cè)，智能電網(wǎng)大數(shù)據(jù)處理技術(shù)一般會用具有雙向通信能力的智能電表進(jìn)行數(shù)據(jù)的采集和處理[4]。智能化電表可以以每5分鐘的頻率向電網(wǎng)的管理端發(fā)送實(shí)時用電信息，從而滿足電網(wǎng)運(yùn)行數(shù)據(jù)收集的實(shí)際要求。在智能電網(wǎng)中，大數(shù)據(jù)的基本特點(diǎn)在于規(guī)模龐大、類型眾多、價值密度較低、數(shù)據(jù)的變化速度較快等，應(yīng)用過程中也要對實(shí)時數(shù)據(jù)、歷史數(shù)據(jù)、文本數(shù)據(jù)、時間數(shù)據(jù)以及多媒體數(shù)據(jù)等多種數(shù)據(jù)分類進(jìn)行有效區(qū)分。同時也要注意到數(shù)據(jù)采集后價值密度低的問題，很多數(shù)據(jù)在采集后有用的數(shù)據(jù)信息占比較少，需要進(jìn)行篩選和區(qū)分[5]。比如在進(jìn)行視頻監(jiān)控過程中，在經(jīng)過高強(qiáng)度的監(jiān)控后，需要的數(shù)據(jù)很可能只有幾秒鐘。再比如，在輸變電設(shè)備狀態(tài)監(jiān)控中，所采集的數(shù)據(jù)信息大部分都是較為正常的信息，而異常數(shù)據(jù)信息占比較少，只有異常數(shù)據(jù)信息才能為狀態(tài)的維修和檢護(hù)提供依據(jù)。

三、智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的挑戰(zhàn)

隨著智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的深入發(fā)展，處理技術(shù)的應(yīng)用也面臨著一定的發(fā)展機(jī)遇與挑戰(zhàn)。首先，大數(shù)據(jù)技術(shù)的關(guān)鍵在于數(shù)據(jù)的類型較多，數(shù)據(jù)的數(shù)量較多，會隨著時間的推移產(chǎn)生海量的數(shù)據(jù)，對數(shù)據(jù)傳輸設(shè)備和存儲設(shè)備造成了極大的負(fù)擔(dān)，成為了電力系統(tǒng)大數(shù)據(jù)處理技術(shù)深入發(fā)展和廣泛應(yīng)用的最大阻礙。而將數(shù)據(jù)壓縮技術(shù)應(yīng)用到智能電網(wǎng)數(shù)據(jù)處理中能夠有效的減輕網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)臄?shù)量，提升數(shù)據(jù)存儲的效率。數(shù)據(jù)壓縮技術(shù)能夠通過線性整數(shù)變換的方式實(shí)現(xiàn)數(shù)據(jù)的壓縮和解壓縮，通過這種方式能夠使數(shù)據(jù)自動進(jìn)行歸類和劃分，從而減少存儲空間，減少CPU資源的耗費(fèi)量。數(shù)據(jù)壓縮技術(shù)要求電力數(shù)據(jù)管理系統(tǒng)有著合適的計(jì)算平臺和存儲平臺，從而能夠完成數(shù)據(jù)解壓縮的任務(wù)。另一方面，海量的數(shù)據(jù)資源也需要更大的存儲空間進(jìn)行存儲，目前常用的存儲系統(tǒng)為Hadoop的HDFS進(jìn)行存儲。然而這些系統(tǒng)雖然能夠滿足數(shù)據(jù)存儲的基本要求，卻缺乏智能電網(wǎng)系統(tǒng)本身的實(shí)時性要求，需要對系統(tǒng)中的大數(shù)據(jù)進(jìn)行深入的分析，了解數(shù)據(jù)的性能和特性，從而完成分類存儲。對于性能要求較高的數(shù)據(jù)要另外建立實(shí)時性數(shù)據(jù)庫進(jìn)行存儲，提升數(shù)據(jù)調(diào)取和存儲的速度。對核心業(yè)務(wù)數(shù)據(jù)而言，要使用傳統(tǒng)的安全性較高的數(shù)據(jù)存儲系統(tǒng)，而對歷史的非結(jié)構(gòu)化數(shù)據(jù)而言，要采用分布式處理系統(tǒng)。在這其中，智能電網(wǎng)大數(shù)據(jù)也可以構(gòu)建多級存儲系統(tǒng)，從而能夠?qū)崟r對通信系統(tǒng)中的警報信息和監(jiān)測數(shù)據(jù)進(jìn)行處理和反饋[6]。

智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的另一項(xiàng)挑戰(zhàn)來自實(shí)時數(shù)據(jù)處理技術(shù)的功能性實(shí)現(xiàn)。對技術(shù)自身而言，其處理速度非常重要，一般來說，數(shù)據(jù)的規(guī)模越大，那么分析處理的時間就會越長。傳統(tǒng)的數(shù)據(jù)存儲方案是為了一定大小的數(shù)據(jù)而設(shè)計(jì)的，雖然這種數(shù)據(jù)傳輸方式也可以達(dá)到較高的速度，但是對大數(shù)據(jù)而言，其無法滿足實(shí)時性的具體要求。在未來，智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的處理速度要求較高，要求從發(fā)電、輸變電以及用電環(huán)節(jié)都能達(dá)到實(shí)時性數(shù)據(jù)傳遞，這也是當(dāng)前技術(shù)人員需要面臨的另一項(xiàng)挑戰(zhàn)。隨著智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的普及，基于內(nèi)存的數(shù)據(jù)存儲和分析系統(tǒng)也越來越受到業(yè)內(nèi)人士的關(guān)注。這種數(shù)據(jù)處理和存儲系統(tǒng)的讀寫速度要比傳統(tǒng)數(shù)據(jù)存儲系統(tǒng)高出幾個數(shù)量級，能夠全面提升數(shù)據(jù)使用的速度和安全性。而在這基礎(chǔ)上，相應(yīng)的數(shù)據(jù)查詢和調(diào)用系統(tǒng)也需要進(jìn)行全面的優(yōu)化，從而提升數(shù)據(jù)使用的便捷性。

四、結(jié)束語

在未來，智能電網(wǎng)的運(yùn)行方式將以大數(shù)據(jù)為主進(jìn)行數(shù)據(jù)分析和處理的全景化自動化實(shí)時性電網(wǎng)系統(tǒng)，而大數(shù)據(jù)處理技術(shù)也為這種數(shù)據(jù)處理方式提供了堅(jiān)實(shí)的技術(shù)依托。在未來，大數(shù)據(jù)處理技術(shù)將以數(shù)據(jù)信息傳遞質(zhì)量和傳遞效率作為主要的技術(shù)攻堅(jiān)目標(biāo)，從而提升數(shù)據(jù)傳遞的實(shí)時性，提升數(shù)據(jù)的準(zhǔn)確性和安全性，進(jìn)而促進(jìn)我國電力事業(yè)的深入發(fā)展。

參考文獻(xiàn)：

[1]周宇晴，魏徐，劉釗，王治玲.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].數(shù)字化用戶，2017，23（45）：164.

[2]張君.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].軍民兩用技術(shù)與產(chǎn)品，2015，（10）：108-108.

[3]劉義德，梁堅(jiān).智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科技創(chuàng)新與應(yīng)用，2015，（29）.

[4]李寶玉，戴羽.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科技經(jīng)濟(jì)市場，2018，（4）：6-7.

[5]于勇.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].城市建設(shè)理論研究（電子版），2015，5（28）：4696-4697.

[6]劉義德，梁堅(jiān).智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科技創(chuàng)新與應(yīng)用，2015，（29）：184.