李揚 談婷婷 潘小勝 張靈元
摘要:在電網(wǎng)調(diào)度運行業(yè)務(wù)進行相應(yīng)的信息化建設(shè)以及電網(wǎng)運行的過程中,相應(yīng)電力數(shù)據(jù)系統(tǒng)所產(chǎn)生的大部分?jǐn)?shù)據(jù)只能進行刪減或者修改,使得數(shù)據(jù)之中蘊含的更深層次內(nèi)容無法被有效發(fā)掘。為此,本文針對數(shù)據(jù)挖掘與構(gòu)建決策分析系統(tǒng)中的關(guān)鍵技術(shù)進行深入分析,以此為數(shù)據(jù)挖掘的電力系統(tǒng)數(shù)據(jù)分析與決策系統(tǒng)提供一定的參考意見。
關(guān)鍵詞:數(shù)據(jù)挖掘;電網(wǎng)系統(tǒng)數(shù)據(jù);決策系統(tǒng);分析
引言
數(shù)據(jù)挖掘技術(shù)可以有效發(fā)現(xiàn)數(shù)據(jù)庫中蘊含的重要知識,而且在國際研究領(lǐng)域被進行廣泛的應(yīng)用,數(shù)據(jù)挖掘可以將相應(yīng)的人工智能以及數(shù)據(jù)庫技術(shù)進行有效融合,然后在數(shù)據(jù)庫中對一些具有重要作用的知識進行有效挖掘。在電力系統(tǒng)中數(shù)字化技術(shù)被進行大范圍的使用,使得相應(yīng)管理信息系統(tǒng)在電力系統(tǒng)中形成大量的數(shù)據(jù),為此,相關(guān)單位要對原有的統(tǒng)計分析方法進行不斷的完善與改進,以此對越來越多的數(shù)據(jù)進行有效分析。
1數(shù)據(jù)挖掘原理以及相應(yīng)系統(tǒng)
1.1數(shù)據(jù)挖掘的原理
數(shù)據(jù)挖掘是一種全新的信息處理技術(shù),數(shù)據(jù)挖掘可以有效發(fā)現(xiàn)數(shù)據(jù)庫中存在的深層知識,而數(shù)據(jù)是在數(shù)據(jù)庫中汲取深層次的有利信息的過程。所挖掘出的數(shù)據(jù)具有多種多樣的特點,當(dāng)下階段我國信息技術(shù)飛速發(fā)展,而數(shù)據(jù)挖掘是其中一種非常重要的產(chǎn)物,會對諸多學(xué)科知識進行有效結(jié)合,其中包含有計算機學(xué)、智能監(jiān)控、數(shù)據(jù)庫與深度學(xué)習(xí)等,除此之外,數(shù)據(jù)挖掘技術(shù)還與相應(yīng)的可視化技術(shù)、信息科學(xué)與心理學(xué)之間存有較為緊密的關(guān)聯(lián)。
1.2數(shù)據(jù)挖掘系統(tǒng)
數(shù)據(jù)挖掘系統(tǒng)只有具備數(shù)據(jù)庫、知識庫、數(shù)據(jù)庫服務(wù)器、數(shù)據(jù)挖掘引擎、挖掘算法及人機交互界面等模塊才能被稱作完整,而且數(shù)據(jù)挖掘系統(tǒng)中還要包括相同的數(shù)據(jù)清理、集成以及過濾。在進行相應(yīng)事物設(shè)計時,數(shù)字庫自身具有儲存實時運行數(shù)據(jù)的功能,在進行主題設(shè)計時,數(shù)據(jù)倉庫要具備儲存歷史數(shù)據(jù)的功能。在數(shù)據(jù)儲存量上數(shù)據(jù)倉庫要遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)庫的數(shù)據(jù)量。而數(shù)據(jù)庫以及數(shù)據(jù)倉庫的服務(wù)器都是由一臺或者多臺計算機構(gòu)成的,可以有效的形成一個向上的數(shù)據(jù)接口,在將相應(yīng)的數(shù)據(jù)接口提供給底層數(shù)據(jù)庫或者數(shù)據(jù)庫群,以此有效保障數(shù)據(jù)庫中存儲的數(shù)據(jù)可以被隨時有效的調(diào)動。在進行數(shù)據(jù)挖掘過程中,會將接觸到的專業(yè)知識與規(guī)則以及技術(shù)人員自身的經(jīng)驗與常識放置在數(shù)據(jù)庫中,在進行數(shù)據(jù)搜索時具有非常重要的輔助功能。在數(shù)據(jù)挖掘系統(tǒng)中數(shù)據(jù)挖掘引擎是其中非常重要的組成部分,可以將數(shù)據(jù)庫與使用者進行有效連接。數(shù)據(jù)挖掘引擎自身由各種各樣的模塊組成,這些模塊自身具有一些特點的功能,可以進行有效的聚類分析、偏差分析、特征化等。將人工智能與計算機進行有效結(jié)合,可以為使用者和數(shù)據(jù)挖掘系統(tǒng)提供一定的互動活動,而且自身具備的可視界面可以為用戶數(shù)據(jù)查詢與定制計劃提供一定的幫助,并且用戶可以應(yīng)用數(shù)據(jù)挖掘系統(tǒng)對數(shù)據(jù)系統(tǒng)的實時狀態(tài)進行查看。
2構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的關(guān)鍵技術(shù)
2.1數(shù)據(jù)的變換與清洗
在從業(yè)系統(tǒng)或數(shù)據(jù)來源進行數(shù)據(jù)提取時,要對其進行有效的清洗以及變換,在完成后在將其放置在相應(yīng)的數(shù)據(jù)庫中,這也是數(shù)據(jù)倉庫中最為基本的原則。在對相應(yīng)數(shù)據(jù)進行變換時,可以通過手工編程與使用專門的工具對相應(yīng)數(shù)據(jù)進行有效轉(zhuǎn)換。專門的工具操作相對簡單,對人力資源沒有較高的要求,但這種方法在使用過程中不夠靈活。手工編程自身具有靈活的特性,但實際的操作過程較為復(fù)雜,為此,在進行實際使用時,可以將兩種方法進行有效融合,在應(yīng)用專門工具對相應(yīng)數(shù)據(jù)進行轉(zhuǎn)換時,要增加手工編程的方法。在數(shù)據(jù)傳送的過程中,這兩種方法都可以對相應(yīng)數(shù)據(jù)進行有效的變換與清洗,可以將其在業(yè)務(wù)相對不擁擠、服務(wù)器使用較輕松的晚間進行使用。在OLTP系統(tǒng)中因為相應(yīng)的數(shù)據(jù)量較為龐大,需要較長時間對相應(yīng)業(yè)務(wù)進行有效處理,使得業(yè)余空閑時間無法有效完成相應(yīng)業(yè)務(wù)處理。在數(shù)據(jù)傳送過程中對進行有效的清洗,可以使數(shù)據(jù)傳送效率得到有效提升。
2.2選擇適宜的存儲格式
當(dāng)下階段數(shù)據(jù)立方體的存儲方式包含有多維 OLAP(MO-LAP)、關(guān)系 OLAP(ROLAP)與混合 OLAP(HOLAP)。而且不同的存儲方式會對性能產(chǎn)生不一定的影響,但沒有相應(yīng)定量的標(biāo)準(zhǔn),只會以其中的相對定性為標(biāo)準(zhǔn)。在相應(yīng)的文章內(nèi)容中,會通過實際操作過程中產(chǎn)生的經(jīng)驗,為不同情況下不同存儲格式提供適宜的性能指標(biāo)。多維存儲模式可以將分區(qū)聚合與其源數(shù)據(jù)復(fù)本以多維結(jié)構(gòu)的形式存儲在分析服務(wù)器計算機中;關(guān)系存儲模式可以將分區(qū)的聚合有效的存儲在關(guān)系數(shù)據(jù)庫的表中。關(guān)系存儲模式中的查詢以及響應(yīng)在正常情況下存有要慢與其他兩種存儲模式。將多維存儲模式與關(guān)系存儲模式進行有效的結(jié)合,可以形成相應(yīng)的混合存儲模式。在多維存儲模式中,為了使相應(yīng)的查詢時間得到有效縮短,會犧牲較多的存儲空間。而關(guān)系存儲模式為了使空間得到有效減少,會犧牲一定的查詢時間,混合存儲模式會將這兩種模式進行有效的結(jié)合,使得無法對兩者存儲模式性能量化指標(biāo)進行明確。根據(jù)原有的實踐經(jīng)驗,文章可以為其提供一個相對接近的量化指標(biāo):選擇一個大約2G的表,多維存儲模式自身所需要的存儲空間較大,而且大于混合存儲模式以及關(guān)系存儲模式。當(dāng)相應(yīng)的聚合數(shù)出現(xiàn)增高時,關(guān)系存儲模式自身便會需要更大的存儲空間。當(dāng)對其相應(yīng)的性能產(chǎn)生較高要求時,信息存儲過程中產(chǎn)生額外信息所需空間將接近多維存儲模式。同樣選擇一個大約 2G 的表進行測試,多維存儲模式會將產(chǎn)生的原始數(shù)據(jù)有效的導(dǎo)入本地,使得處理時間得到有效縮減,當(dāng)相應(yīng)聚合小于30%時,關(guān)系存儲模式的處理時間會小于多維存儲模式,但相應(yīng)的處理時間根據(jù)聚合數(shù)的變化而產(chǎn)生變化。
3結(jié)束語
綜上所述,構(gòu)建相對穩(wěn)定的電力數(shù)據(jù)分析系統(tǒng),可以使數(shù)據(jù)來源中存在的問題得到有效解決,而且電力數(shù)據(jù)分析系統(tǒng)可以依據(jù)數(shù)據(jù)主題的不同為其構(gòu)建不同的數(shù)據(jù)集合,使得相應(yīng)搜索查詢更加便捷,構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的關(guān)鍵技術(shù)要在實踐過程中進行不斷完善,以此為電力企業(yè)的發(fā)展提供相應(yīng)的數(shù)據(jù)以及技術(shù)支持。
參考文獻
[1]王磊,陳青,高洪雨,等.基于大數(shù)據(jù)挖掘技術(shù)的智能變電站故障追蹤架構(gòu)[J].電力系統(tǒng)自動化,2018,42(3):84-91.
[2]陳毅波,陳乾,眭建新.基于大數(shù)據(jù)技術(shù)的電網(wǎng)運營分析決策系統(tǒng)研究[J].電力信息與通信技術(shù),2015,13(8):128-131.
[3]萬順,桂寧,陳家靜,等.大數(shù)據(jù)下電網(wǎng)數(shù)據(jù)挖掘技術(shù)研究[J].信息通信,2019(1)182-183.
[4]魏艷平.基于大數(shù)據(jù)平臺的電力營銷分析決策系統(tǒng)的研究與設(shè)計[D].成都:西華大學(xué)2017.
國網(wǎng)安徽省電力有限公司蕪湖供電公司,安徽蕪湖?241000