基于Hadoop的分布式能源狀態(tài)監(jiān)測(cè)集成研究

李 亞 李存斌

（華北電力大學(xué)經(jīng)濟(jì)與管理學(xué)院，北京 102206）

國(guó)家電網(wǎng)公司在“2009特高壓輸電技術(shù)國(guó)際會(huì)議”上提出了名為“堅(jiān)強(qiáng)智能電網(wǎng)”的發(fā)展規(guī)劃。堅(jiān)強(qiáng)智能電網(wǎng)的核心技術(shù)就是傳感技術(shù)，利用傳感器對(duì)關(guān)鍵設(shè)備（溫度在線監(jiān)測(cè)裝置、斷路器在線監(jiān)測(cè)裝置、避雷器在線監(jiān)測(cè)、容性設(shè)備在線監(jiān)測(cè)）的運(yùn)行狀況進(jìn)行實(shí)時(shí)監(jiān)控，然后把獲得的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)系統(tǒng)進(jìn)行收集、整合，最后通過(guò)對(duì)數(shù)據(jù)的分析，挖掘，并根據(jù)挖掘出的信息進(jìn)行決策，從而達(dá)到對(duì)整個(gè)電力系統(tǒng)的優(yōu)化管理。

隨著可再生能源技術(shù)的發(fā)展，可再生分布式發(fā)電得到了很大的發(fā)展，分布式電網(wǎng)和微網(wǎng)也會(huì)隨著分布式可再生發(fā)電系統(tǒng)的發(fā)展得到很大的發(fā)展。越來(lái)越多的分布式微網(wǎng)的接入對(duì)電網(wǎng)運(yùn)行的安全性帶來(lái)了新的挑戰(zhàn)。通過(guò)配電網(wǎng)和微電網(wǎng)直接向用戶供電，不僅可以提高電能質(zhì)量，還可從區(qū)域電網(wǎng)吸收電能提供給用戶，同時(shí)將分布式能源發(fā)出的電能回送給區(qū)域電網(wǎng)，實(shí)現(xiàn)潮流雙向流動(dòng)［1］。對(duì)分布式能源接入狀態(tài)進(jìn)行監(jiān)測(cè)，分析監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)風(fēng)險(xiǎn)預(yù)警，提前防范成為保障電網(wǎng)安全運(yùn)行的重要措施。然而分布式能源系統(tǒng)分布位置難以集中，數(shù)據(jù)類(lèi)型繁多，每天產(chǎn)生的數(shù)據(jù)量也很大，數(shù)據(jù)的集成和分析也變得很困難。本文針對(duì)分布式的能源接入狀態(tài)監(jiān)測(cè)數(shù)據(jù)的特點(diǎn)設(shè)計(jì)了一種利用Hadoop解決數(shù)據(jù)集成問(wèn)題的方案。

1 分布式能源和狀態(tài)監(jiān)測(cè)數(shù)據(jù)

1.1 分布式能源

分布式能源是指靠近用戶側(cè)分散的一切可利用能源，既包括化石燃料能源，又涵蓋了可再生能源，諸如石油、天然氣、風(fēng)能、太陽(yáng)能、生物質(zhì)能等?？蓡为?dú)為用戶提供電能，也可與大電網(wǎng)并網(wǎng)供電運(yùn)行，當(dāng)單獨(dú)為用戶供電是可與儲(chǔ)能裝置構(gòu)成微電網(wǎng)［2］。隨著智能電網(wǎng)的進(jìn)一步發(fā)展，家庭微型發(fā)電系統(tǒng)也將會(huì)并入電網(wǎng)。

1.2 狀態(tài)監(jiān)測(cè)數(shù)據(jù)

狀態(tài)信息是智能電網(wǎng)狀態(tài)監(jiān)測(cè)的基礎(chǔ)支撐，智能電網(wǎng)狀態(tài)監(jiān)測(cè)的信息已遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)電網(wǎng)狀態(tài)監(jiān)測(cè)的信息范疇，是更加寬泛的信息采集。在智能電網(wǎng)中，一次裝備與二次設(shè)備、設(shè)備與系統(tǒng)將更加融合，多學(xué)科復(fù)合技術(shù)應(yīng)用將日益廣泛，隨之而來(lái)的就是專(zhuān)業(yè)界限的模糊和融合。因此，智能電網(wǎng)狀態(tài)監(jiān)測(cè)的信息采集不僅涵蓋了傳統(tǒng)二次系統(tǒng)設(shè)備，還囊括了傳統(tǒng)一次系統(tǒng)的裝備，不僅涉及電網(wǎng)裝備，還包括發(fā)電、用電裝備，不僅包含裝備自身狀態(tài)信息，還包括電網(wǎng)運(yùn)行狀態(tài)信息及其他信息［3］。

2 Hadoop平臺(tái)介紹

2.1 Hadoop介紹

Hadoop是開(kāi)源組織Apache的一個(gè)子項(xiàng)目，Hadoop簡(jiǎn)化了基于集群的分布式應(yīng)用程序的開(kāi)發(fā)，其具有很高的可擴(kuò)展性，可以隨著數(shù)據(jù)規(guī)模的增長(zhǎng)來(lái)增加硬件設(shè)備的投入。Hadoop最主要的兩部分是Map/Reduce和HDFS，Map/Reduce是分布式運(yùn)算的基本操作，輸入時(shí)通過(guò)Map把數(shù)據(jù)分解，分別計(jì)算，使用Reduce把計(jì)算的結(jié)果匯總，HDFS(Hadoop Distributed File System)是一個(gè)分布式文件系統(tǒng)，是谷歌GFS(google File System)的開(kāi)源實(shí)現(xiàn)。此外，Hadoop下面還有眾多的子項(xiàng)目，如數(shù)據(jù)倉(cāng)庫(kù)工具Hive，列式數(shù)據(jù)庫(kù)HBase，數(shù)據(jù)分析工具Pig等。在信息爆炸的時(shí)代，Hadoop可以很好地應(yīng)對(duì)數(shù)據(jù)量的大規(guī)模增長(zhǎng)，從而幫助企業(yè)分析處理數(shù)據(jù)，把信息有效地轉(zhuǎn)化為價(jià)值。

MapReduce是一種分布式的編程模型，其核心思想是把數(shù)據(jù)分割成split0、split1等小塊分散到不同的計(jì)算機(jī)上進(jìn)行map操作，經(jīng)過(guò)sort和計(jì)算機(jī)之間的復(fù)制，數(shù)據(jù)之間的合并得到有序的數(shù)據(jù)集合，最主要的應(yīng)用是在搜索引擎上的倒排索引的建立。

Hadoop分別從不同的角度將主機(jī)劃分為不同的角色。在集群上，劃分為master和slave，即主從分布模式；在HDFS的工作上，可以劃分為NameNode和DataNode，NameNode作為主服務(wù)器，負(fù)責(zé)對(duì)文件命名空間和客戶端訪問(wèn)文件的權(quán)限進(jìn)行管理，也可以對(duì)數(shù)據(jù)到DataNode上的映射進(jìn)行管理，DataNode則負(fù)責(zé)數(shù)據(jù)存儲(chǔ)的管理，在NameNode的調(diào)度下回應(yīng)客戶端的讀寫(xiě)請(qǐng)求；從MapReduce工作機(jī)制上看，可以把主機(jī)劃分為JobTracker和TaskTracker，JobTracker負(fù)責(zé)初始化和分配MapReduce作業(yè)，并和TaskTracker進(jìn)行通訊，監(jiān)控TaskTracker的狀態(tài)信息。TaskTracker負(fù)責(zé)執(zhí)行JobTracker分配的任務(wù)，并把自己的狀態(tài)信息發(fā)送給TaskTracker。

2.2 Sqoop介紹

Sqoop也是Apache軟件基金會(huì)組織下的一款開(kāi)源的軟件。Sqoop是傳統(tǒng)的數(shù)據(jù)庫(kù)和HDFS之間的橋梁，通過(guò)Sqoop可以方便地把關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)復(fù)制到HDFS中，而不用編寫(xiě)復(fù)雜的MapReduce任務(wù)，簡(jiǎn)化了開(kāi)發(fā)的流程，同樣Sqoop也可以把數(shù)據(jù)分析的結(jié)果導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)里面，以便利用關(guān)系型數(shù)據(jù)庫(kù)高效的索引技術(shù)，方便數(shù)據(jù)的使用。

Sqoop封裝了Map操作可以把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入到HDFS里面或者導(dǎo)入到Hive表或者HBase里面。

當(dāng)數(shù)據(jù)分析完成之后可以把存在HDFS里的數(shù)據(jù)導(dǎo)出到數(shù)據(jù)庫(kù)里面，Sqoop導(dǎo)出數(shù)據(jù)到數(shù)據(jù)庫(kù)的原理如圖1所示。

圖1 Sqoop導(dǎo)出數(shù)據(jù)原理圖

3 基于Hadoop的分布式電網(wǎng)狀態(tài)監(jiān)測(cè)數(shù)據(jù)集成系統(tǒng)設(shè)計(jì)

3.1 數(shù)據(jù)集成設(shè)計(jì)

分布式發(fā)電系統(tǒng)在運(yùn)行的時(shí)候由SCADA系統(tǒng)收集了系統(tǒng)運(yùn)行的基本信息，這些基礎(chǔ)信息一般保存在本地的數(shù)據(jù)庫(kù)服務(wù)器中，在風(fēng)電和光電發(fā)電系統(tǒng)都有著本地的數(shù)據(jù)庫(kù)服務(wù)器，分布式的家庭微電網(wǎng)也有著諸如SqlLite之類(lèi)的嵌入式數(shù)據(jù)庫(kù)服務(wù)器，大規(guī)模的分布式發(fā)電系統(tǒng)數(shù)據(jù)量較大，可以通過(guò)專(zhuān)用的光纖連接到當(dāng)?shù)氐臄?shù)據(jù)中心，分布式的家庭微電網(wǎng)可以通過(guò)VPN鏈路連接到當(dāng)?shù)氐臄?shù)據(jù)中心。

在當(dāng)?shù)氐臄?shù)據(jù)中心部署DataNode節(jié)點(diǎn)服務(wù)器，負(fù)責(zé)信息的收集，數(shù)據(jù)通過(guò)Sqoop從現(xiàn)場(chǎng)的數(shù)據(jù)庫(kù)服務(wù)器傳輸?shù)疆?dāng)?shù)財(cái)?shù)據(jù)中心部署的HDFS里，完成數(shù)據(jù)收集的Map任務(wù)，各地?cái)?shù)據(jù)中心的數(shù)據(jù)可以通過(guò)高速的光纖網(wǎng)絡(luò)互連，從而在分析數(shù)據(jù)的時(shí)候可以較快地運(yùn)行Reduce任務(wù)。數(shù)據(jù)導(dǎo)入系統(tǒng)設(shè)計(jì)如圖2所示。

圖2 分布式發(fā)電監(jiān)測(cè)數(shù)據(jù)集成

3.2 數(shù)據(jù)的保存設(shè)計(jì)

在分布式Hadoop平臺(tái)上運(yùn)行MapReduce任務(wù)可以很好地處理大規(guī)模的監(jiān)測(cè)數(shù)據(jù)［4］，可以運(yùn)行Pig或者使用Mahout運(yùn)行數(shù)據(jù)分析，這樣就可以避免編寫(xiě)復(fù)雜的MapReduce程序進(jìn)行數(shù)據(jù)處理［5］。在運(yùn)行數(shù)據(jù)分析后，數(shù)據(jù)分析的結(jié)果存在HDFS中，為了更快地檢索和使用可以使用Sqoop把分析的數(shù)據(jù)結(jié)果保存到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)中。這樣就可以利用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的索引機(jī)制加快數(shù)據(jù)的檢索，方便決策支持系統(tǒng)提取數(shù)據(jù)進(jìn)行決策分析。

4 結(jié)語(yǔ)

文章論述了規(guī)?；姆植际侥茉醇磳⒄归_(kāi)大規(guī)模的商用［6］，研究了大規(guī)模的風(fēng)電機(jī)組數(shù)據(jù)的監(jiān)測(cè)［7］，兆瓦級(jí)的風(fēng)電場(chǎng)每個(gè)風(fēng)機(jī)都會(huì)產(chǎn)生大規(guī)模的數(shù)據(jù)，隨著數(shù)據(jù)量增長(zhǎng)Hadoop在數(shù)據(jù)集成上對(duì)比傳統(tǒng)的集成方案有著明顯的優(yōu)勢(shì)。雖然Hadoop可以處理大規(guī)模的數(shù)據(jù)，但是監(jiān)測(cè)數(shù)據(jù)需要保存到傳統(tǒng)的數(shù)據(jù)庫(kù)中才能利用Sqoop傳輸?shù)疆?dāng)?shù)財(cái)?shù)據(jù)中心。這就需要數(shù)據(jù)集成系統(tǒng)方案提供商能夠提供跨越數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)連接的解決方案，直接把傳感器的數(shù)據(jù)寫(xiě)入到HDFS中的DataNode節(jié)點(diǎn)。由于數(shù)據(jù)集成方案提供商較多，這就需要提供統(tǒng)一的類(lèi)似IEC61850這樣的通信標(biāo)準(zhǔn)，只有基于Hadoop的分布式電網(wǎng)數(shù)據(jù)集成方案才能得到大規(guī)模的使用。

隨著Hadoop以及監(jiān)測(cè)技術(shù)的發(fā)展，以及文章［8］中提到的分布式電網(wǎng)故障信息集成和智能分析的應(yīng)用，分布式能源接入電網(wǎng)對(duì)電網(wǎng)的影響可以降到很低，而且還可以提高電網(wǎng)運(yùn)行的穩(wěn)定性。所以基于Hadoop的分布式能源狀態(tài)監(jiān)測(cè)集成的研究也就顯得尤為重要。

［1］梅生偉，王瑩瑩.輸電網(wǎng)-配電網(wǎng)-微電網(wǎng)三級(jí)電網(wǎng)規(guī)劃的若干基礎(chǔ)問(wèn)題［J］. 電力科學(xué)與技術(shù)學(xué)報(bào)，2009，24（4）：3-11.

［2］馬晶.分布式能源在智能電網(wǎng)環(huán)境下的發(fā)展方式探究［D］.上海：上海交通大學(xué)，2012.

［3］劉驥，黃國(guó)方，徐石明.智能電網(wǎng)狀態(tài)監(jiān)測(cè)的發(fā)展［J］.電力建設(shè)，2009（7）：1-3.

［4］Chuck Lam.Hadoop in Action［J］.Manning Publications，2010.

［5］Sean Owen，Robin Anil，TedDunning，et al..Mahout in Action［J］.Manning Publications，2010.

［6］陳偉，張軍，李桂菊，等.規(guī)?；稍偕茉窗l(fā)電及分布式電網(wǎng)有望實(shí)現(xiàn)商業(yè)應(yīng)用［J］.中國(guó)科學(xué)院院刊，2013（5）：630-632.

［7］單光坤.兆瓦級(jí)風(fēng)電機(jī)組狀態(tài)監(jiān)測(cè)及故障診斷研究［D］.沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué)，2011.

［8］趙萍，徐辰婧，趙紀(jì)元.分布式電網(wǎng)故障信息集成與智能分析的研究及應(yīng)用［J］. 華東電力，2012（10）：1824-1827.