沈佳++王天軍++尹蕊++馬宗達(dá)
摘 要
隨著信息通信技術(shù)的不斷進(jìn)步,數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源,大數(shù)據(jù)的分析應(yīng)用得到了各行各業(yè)的強(qiáng)烈關(guān)注。本文首先介紹了大數(shù)據(jù)分析技術(shù)在電力行業(yè)的落地-企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的功能及組件實(shí)現(xiàn),隨后描述了電網(wǎng)業(yè)務(wù)在企業(yè)級(jí)大數(shù)據(jù)平臺(tái)中的兩項(xiàng)典型應(yīng)用,最后對(duì)大數(shù)據(jù)分析技術(shù)在電力行業(yè)的應(yīng)用前景做了展望。
【關(guān)鍵詞】大數(shù)據(jù) 電力 技術(shù)
隨著信息通信技術(shù)的不斷進(jìn)步,數(shù)據(jù)已經(jīng)成為關(guān)乎企業(yè)發(fā)展的重要戰(zhàn)略資源。大數(shù)據(jù)的概念從產(chǎn)生之日起就獲得了各行各業(yè)的強(qiáng)烈關(guān)注,有關(guān)大數(shù)據(jù)的應(yīng)用也不斷的深入各個(gè)領(lǐng)域,觸動(dòng)了行業(yè)的大量變革。電力行業(yè)自“三集五大”管理體系建立以來(lái),信息系統(tǒng)的應(yīng)用已經(jīng)貫穿了企業(yè)生產(chǎn)經(jīng)營(yíng)管理的各個(gè)環(huán)節(jié),過程中累積了海量的數(shù)據(jù)資源,其中包括了結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/準(zhǔn)實(shí)時(shí)和地理信息數(shù)據(jù),提升數(shù)據(jù)的應(yīng)用水平,挖掘數(shù)據(jù)的商業(yè)價(jià)值成為了亟待考慮的問題。
1 大數(shù)據(jù)分析技術(shù)路線
為了提升電網(wǎng)數(shù)據(jù)資源的整合、處理及價(jià)值挖掘水平,在充分借鑒互聯(lián)網(wǎng)思維的基礎(chǔ)上,構(gòu)建“服務(wù)型平臺(tái)、輕量級(jí)應(yīng)用、全景化分析”的應(yīng)用管理模應(yīng)運(yùn)而生。構(gòu)建統(tǒng)一的企業(yè)級(jí)大數(shù)據(jù)平臺(tái),使用有別于傳統(tǒng)的采集、存儲(chǔ)和處理技術(shù),實(shí)現(xiàn)了橫跨多個(gè)業(yè)務(wù)類型、快速靈活、可定制的數(shù)據(jù)關(guān)聯(lián)分析,同時(shí)也滿足滿企業(yè)管理提升和業(yè)務(wù)創(chuàng)新的需求。
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)在總體上分為數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)五個(gè)主要模塊及安全、管理配置、數(shù)據(jù)管理等配套管理模塊。功能架構(gòu)如圖1所示。
1.1 數(shù)據(jù)整合
數(shù)據(jù)整合采用Kafka、Sqoop、增量捕獲工具等多種技術(shù)手段,滿足了關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)等異構(gòu)數(shù)據(jù)源的接入需求,提供數(shù)據(jù)的實(shí)時(shí)推送、抽取等采集功能,能夠支撐數(shù)據(jù)按照不同的采集頻率進(jìn)行接入。
1.2 數(shù)據(jù)存儲(chǔ)
基于X86集群架構(gòu),采用分布式技術(shù)構(gòu)建成本較低、可支持靈活擴(kuò)展的存儲(chǔ)系統(tǒng),支撐公司四類數(shù)據(jù)(結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史準(zhǔn)實(shí)時(shí)、地理信息數(shù)據(jù))的存儲(chǔ)需求。同時(shí),支持高效的數(shù)據(jù)即席查詢、非結(jié)構(gòu)化數(shù)據(jù)處理、內(nèi)存讀寫操作等功能。
1.3 數(shù)據(jù)計(jì)算
提供批量計(jì)算、內(nèi)存計(jì)算、流計(jì)算、查詢計(jì)算等功能滿足不同時(shí)效性的計(jì)算需求。批量計(jì)算能夠支持大批量數(shù)據(jù)的離線分析,如歷史數(shù)據(jù)報(bào)表分析。內(nèi)存計(jì)算支持交互性分析,如全省用電數(shù)據(jù)在線統(tǒng)計(jì)。流計(jì)算支持實(shí)時(shí)處理,如電表數(shù)據(jù)實(shí)時(shí)處理、預(yù)警。查詢計(jì)算基于分布式文件存儲(chǔ),提供類似sql的查詢分析技術(shù),將查詢語(yǔ)句轉(zhuǎn)譯為并行的分布式計(jì)算任務(wù)。
1.4 數(shù)據(jù)分析
能夠提供橫跨多個(gè)業(yè)務(wù)的分析模型和數(shù)據(jù)挖掘算法,構(gòu)建模型庫(kù)和算法庫(kù),開展數(shù)據(jù)模擬分析和計(jì)算預(yù)測(cè),滿足各類應(yīng)用的分析挖掘需求,為分析決策類應(yīng)用提供支撐。
1.5 平臺(tái)服務(wù)
平臺(tái)服務(wù)層是統(tǒng)一的企業(yè)及大數(shù)據(jù)平臺(tái)服務(wù)中心,其中封裝了各類服務(wù)如存儲(chǔ)服務(wù)、分析服務(wù)、計(jì)算服務(wù)及展現(xiàn)服務(wù)等,統(tǒng)一對(duì)外提供服務(wù)支持。
1.6 其他
從配置管理、安全和數(shù)據(jù)管理方面,提供了大數(shù)據(jù)平臺(tái)的配套管理功能,實(shí)現(xiàn)各個(gè)組件集中化的監(jiān)控、配置,數(shù)據(jù)接入的身份權(quán)限控制和安全審計(jì)功能。
2 大數(shù)據(jù)分析典型場(chǎng)景應(yīng)用
通過企業(yè)級(jí)大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)整合挖掘分析,實(shí)現(xiàn)了對(duì)電網(wǎng)生產(chǎn)運(yùn)行及經(jīng)營(yíng)管理等方面的進(jìn)一步優(yōu)化,初期實(shí)現(xiàn)了10個(gè)方面的典型應(yīng)用。以防竊電預(yù)警分析場(chǎng)景和基于氣溫變化對(duì)客戶用電影響分析場(chǎng)景為例。
2.1 防竊電預(yù)警分析場(chǎng)景
該場(chǎng)景是基于用電信息采集系統(tǒng)的海量數(shù)據(jù),建立防竊電分析模型,結(jié)合電網(wǎng)GIS信息,采用大數(shù)據(jù)挖掘和數(shù)據(jù)關(guān)聯(lián)技術(shù)實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)計(jì)量異常情況、竊電行為的在線監(jiān)測(cè),靈活開展防竊電業(yè)務(wù),及時(shí)發(fā)現(xiàn)異常行為,挽回電網(wǎng)經(jīng)濟(jì)損失。
在實(shí)際應(yīng)用中運(yùn)用關(guān)聯(lián)度累加算法,建立防竊電異常分析模型,實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)計(jì)量異常情況、竊電行為的在線監(jiān)測(cè),分析用戶竊電嫌疑程度。某省公司基于該場(chǎng)景開展防竊電工作,竊電用戶稽核命中率提升30%,工作效率提升4倍。
2.2 基于氣溫變化對(duì)客戶用電影響分析場(chǎng)景
該場(chǎng)景是基于營(yíng)銷用戶檔案數(shù)據(jù)、用電信息采集電量、負(fù)荷數(shù)據(jù),構(gòu)建用戶用電行為特征模型庫(kù),結(jié)合溫度變化等數(shù)據(jù),對(duì)用戶用電行為特征影響進(jìn)行分析。在傳統(tǒng)短期負(fù)荷預(yù)測(cè)方法中增加氣溫等影響因素的輔助輸入變量,對(duì)于提高短期日負(fù)荷預(yù)測(cè)精度、增加電力系統(tǒng)調(diào)度效率以及緩解區(qū)域供電不足等方面具有重要意義。
在實(shí)際應(yīng)用中運(yùn)用隨機(jī)森林結(jié)合時(shí)間序列、聚類模型(K-means)構(gòu)建負(fù)荷預(yù)測(cè)模型、客戶用電特征細(xì)分模型,建設(shè)用電行為特征分析、用電影響因素分析場(chǎng)景,對(duì)每類客戶群從客戶價(jià)值、信用風(fēng)險(xiǎn)等方面綜合評(píng)估,實(shí)現(xiàn)用戶類型細(xì)分,并對(duì)不同溫度對(duì)用電的影響進(jìn)行總體分析。某省公司將大客戶歸類為風(fēng)險(xiǎn)、優(yōu)質(zhì)、普通、發(fā)展等4類用戶,其中風(fēng)險(xiǎn)客戶識(shí)別率提升30%。
3 結(jié)語(yǔ)
企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的構(gòu)建及應(yīng)用,使大數(shù)據(jù)的價(jià)值得到了一定程度的發(fā)揮,也給企業(yè)信息管理模式帶來(lái)了巨大的變革,提高了公司數(shù)據(jù)分析應(yīng)用水平。未來(lái),大數(shù)據(jù)技術(shù)將繼續(xù)服務(wù)于電網(wǎng)生產(chǎn)、經(jīng)營(yíng)管理和優(yōu)質(zhì)服務(wù)等領(lǐng)域,構(gòu)建提升優(yōu)化、預(yù)測(cè)預(yù)警、企業(yè)決策等類型的大數(shù)據(jù)應(yīng)用場(chǎng)景,進(jìn)一步提高企業(yè)服務(wù)能力,促進(jìn)管理提升和業(yè)務(wù)創(chuàng)新。
作者單位
國(guó)網(wǎng)新疆電力公司信息通信公司 新疆維吾爾自治區(qū)烏魯木齊市 830000