吳均勻 張艷菲 馮波波
(國網(wǎng)晉城供電公司,山西 晉城 048000)
在學(xué)術(shù)界,近年來信息通信數(shù)據(jù)智能分析方面已有很多相關(guān)研究成果。本文主要對電力信息通信網(wǎng)絡(luò)風(fēng)險、預(yù)警技術(shù)進行研究,結(jié)合先進的大數(shù)據(jù)相關(guān)技術(shù),設(shè)計了一套大數(shù)據(jù)信息通信預(yù)警平臺、風(fēng)險預(yù)警和數(shù)據(jù)處理架構(gòu),并利用電力行業(yè)各單位之間的通信流量數(shù)據(jù)進行危險預(yù)警架構(gòu)合理性及算法有效性驗證。在應(yīng)用界,國外對信息通信數(shù)據(jù)智能分析的研究起步較早,包括很多行業(yè)規(guī)范和技術(shù)都是起源于各廠商。國內(nèi)雖然對信息通信技術(shù)的研究起步較晚,但是由于國內(nèi)軟件技術(shù)水平的飛速發(fā)展和技術(shù)資源的開放性越來越高,為國內(nèi)的信息通信數(shù)據(jù)管理技術(shù)發(fā)展帶來了生機和活力?;诂F(xiàn)代大數(shù)據(jù)分析技術(shù)、自動測量技術(shù)、自動控制技術(shù)、計算機應(yīng)用技術(shù)及相關(guān)的專用分析軟件形成的信息管理技術(shù)已經(jīng)廣泛應(yīng)用于各行各業(yè)。目前國內(nèi)比較成熟的產(chǎn)品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運維監(jiān)控管理系統(tǒng),其對數(shù)據(jù)中心涉及的應(yīng)用服務(wù)器等設(shè)備進行數(shù)據(jù)采集和監(jiān)控,結(jié)合一些安全閾值實現(xiàn)故障的告警。不足之處是均為被動的告警運維,缺乏主動預(yù)警效果,不滿足智能電網(wǎng)的發(fā)展需求。
預(yù)警系統(tǒng)的工作過程中主要涉及對電網(wǎng)數(shù)據(jù)的采集和分析以及結(jié)論驗證等具體的環(huán)節(jié)和步驟,這樣能夠有效的保障電力系統(tǒng)的管理人員對各種設(shè)備的運行情況和線路情況進行及時的了解和掌握,并使預(yù)警信息的準(zhǔn)確性得到了有效的保證,預(yù)警信息發(fā)布具有了可靠的數(shù)據(jù)。Hadoop和Spark是大數(shù)據(jù)處理的重要開源平臺,并隨著電力系統(tǒng)的發(fā)展也得到了較快的發(fā)展,并呈現(xiàn)出了多樣的相關(guān)應(yīng)用和解決的具體方案,Hadoop主要支持的是電力系統(tǒng)中重要的集群操作,并可以在集群上增加千個節(jié)點并進行詳細(xì)和準(zhǔn)確的計算,并且計算的速度會隨著集群數(shù)量的變化也隨之變化,這樣能夠有效的解決在電力系統(tǒng)中海量日志信息無法進行處理的問題。但是Hadoop并不能對電力系統(tǒng)中的實時應(yīng)用進行處理。
Spark與Hadoop具有相似的計算框架,并且作為其重要的補充,能夠?qū)崿F(xiàn)系統(tǒng)中實時應(yīng)用系統(tǒng)的處理。
在數(shù)據(jù)處理框架中完成對各類日志的匯聚、處理和集中管理,其中日志收集模塊采集各自不同系統(tǒng)的日志、網(wǎng)絡(luò)日志、防火墻日志等,采用Hive建立業(yè)務(wù)分析模型,實現(xiàn)日志的智能多維度查詢,完成對數(shù)據(jù)的初步清洗。在數(shù)據(jù)存儲層完成對數(shù)據(jù)的進一步清洗和轉(zhuǎn)換,將數(shù)據(jù)分類存儲于HDFS中,利用Sqoop工具將數(shù)據(jù)從HDFS中導(dǎo)出到Oracle中。最后按照業(yè)務(wù)技術(shù)完成相關(guān)數(shù)據(jù)的關(guān)聯(lián)分析和模式挖掘,采用數(shù)據(jù)清洗和壓縮歸并等手段對系統(tǒng)指標(biāo)、安全狀況以及運行狀態(tài)的實時動態(tài)預(yù)警信息進行判定,最終在對預(yù)警信息進行深入分析的基礎(chǔ)上實現(xiàn)電網(wǎng)信息通信系統(tǒng)的主動預(yù)警。
另外,為了實現(xiàn)對客服工單數(shù)據(jù)的統(tǒng)計分析、文本挖掘、聚類分析,進一步輔助用戶決策,采用了大數(shù)據(jù)可視化工具Tableau進行數(shù)據(jù)分析,并對信息通信系統(tǒng)設(shè)計相應(yīng)的數(shù)據(jù)分析頁面,實現(xiàn)數(shù)據(jù)分析結(jié)果的可視化展示,對項目數(shù)據(jù)進行全方位的科學(xué)分析來評估信息通信運維效果,為領(lǐng)導(dǎo)決策提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù),降低決策失敗的風(fēng)險。
當(dāng)前,大數(shù)據(jù)技術(shù)背景下,使得人們對于大量的數(shù)據(jù)可實行深入分析,能及早明確安全防護中的隱患問題,并通過相關(guān)的防范措施進行處理。大數(shù)據(jù)技術(shù),主要經(jīng)對所有數(shù)據(jù)的整理、挖掘和分析,找到數(shù)據(jù)間的聯(lián)系,進而構(gòu)建相類似的數(shù)據(jù)模型,對日后可能會出現(xiàn)的數(shù)據(jù)進行預(yù)測,可在較短的時間內(nèi)明確電力系統(tǒng)信息安全防護工作中可能會遇到的惡意攻擊情況。受到APT類攻擊時,經(jīng)以往的安全防護方法防護,難以在第一時間進行反應(yīng)。在大數(shù)據(jù)技術(shù)下,可在發(fā)生安全隱患前/中,明確APT類攻擊情況。如:經(jīng)大數(shù)據(jù)進行分析,能及時了解到職工登錄企業(yè)業(yè)務(wù)系統(tǒng)的狀況,其中職工瀏覽與業(yè)務(wù)無關(guān)的文件時,受到APT類攻擊的幾率較大。為此,企業(yè)應(yīng)結(jié)合實際情況,找到受攻擊的設(shè)備、受攻擊的原因、受攻擊渠道,以此降低對企業(yè)的不良影響。惡意攻擊的出現(xiàn),主要經(jīng)不同系統(tǒng)、應(yīng)用漏洞發(fā)起。大量的移動應(yīng)用,使得漏洞量較大,通過大數(shù)據(jù)預(yù)警系統(tǒng),客觀的對用戶上網(wǎng)情況、移動惡意攻擊趨勢數(shù)據(jù)加以有效分析,幫助用戶及時明確是否受到惡意攻擊。如:用戶在下載資料時,易于產(chǎn)生不知名的網(wǎng)站下載應(yīng)用,這時用戶就處于惡意攻擊的風(fēng)險中。若用戶涉及到相關(guān)金錢方面的操作,就會立即出現(xiàn)提出窗口,給予用戶相關(guān)的提示,降低用戶的損失。所有的應(yīng)用,均存在不同程度的安全漏洞問題,其相互間的差異在于哪個應(yīng)用能更早的發(fā)現(xiàn)漏洞。大數(shù)據(jù)技術(shù)下,可有效規(guī)避上述不可控制問題,并降低用戶的損失。
在電網(wǎng)未來的發(fā)展的過程中應(yīng)該運用大數(shù)據(jù)分析技術(shù)對電網(wǎng)運行中的數(shù)據(jù)進行科學(xué)合理的分析,這樣才能夠有效的提高電網(wǎng)運行的安全性以及應(yīng)急問題處理的能力。在電網(wǎng)預(yù)警系統(tǒng)中充分的利用大數(shù)據(jù)的技術(shù),能夠有效的分析電網(wǎng)運行中對安全性的影響因素,提高電網(wǎng)運行的預(yù)警能力,提高電力系統(tǒng)管理人員的工作效率。