肖灑
摘要 本文簡(jiǎn)單說(shuō)明了大數(shù)據(jù)的技術(shù)原理、優(yōu)勢(shì)以及相關(guān)用電行為分析的策略。詳細(xì)介紹了基于大數(shù)據(jù)技術(shù)的用電行為異常分析的特點(diǎn)和功能,并從系統(tǒng)架構(gòu)、功能設(shè)計(jì)和接入方案對(duì)系統(tǒng)的開發(fā)進(jìn)行了論述。
【關(guān)鍵詞】大數(shù)據(jù) 用電行為 數(shù)據(jù)分析
1 技術(shù)概述
隨著網(wǎng)絡(luò)信息化的快速發(fā)展,電力信息系統(tǒng)中的數(shù)據(jù)日益增長(zhǎng),己形成海量數(shù)據(jù)。利用傳統(tǒng)的方式進(jìn)行統(tǒng)計(jì)分析效率越來(lái)越低,并且算法、模型和場(chǎng)景也都出現(xiàn)了與實(shí)際不符的情況。具有高效數(shù)據(jù)處理、優(yōu)質(zhì)算法、可自定的模型場(chǎng)景和機(jī)器學(xué)習(xí)能力的大數(shù)據(jù)技術(shù)已經(jīng)成為處理海量數(shù)據(jù)最佳方案。利用大數(shù)據(jù)技術(shù)分析廣大用戶的用電數(shù)據(jù),從分析結(jié)果中獲得有利于電網(wǎng)企業(yè)、有利于社會(huì)發(fā)展的成果己成為了當(dāng)下必然趨勢(shì)。
1.1 大數(shù)據(jù)的技術(shù)特點(diǎn)和優(yōu)勢(shì)
用電行為異常分析系統(tǒng)是依據(jù)用戶的用電特性、負(fù)載率分布、各計(jì)量點(diǎn)用電作息習(xí)慣,以及各類設(shè)備和數(shù)據(jù)異常事件,例如計(jì)量門開、失壓、失流等,結(jié)合線路線損情況綜合分析;定義所有竊電行為導(dǎo)致的數(shù)據(jù)異常現(xiàn)象與竊電行為的相關(guān)度,給出權(quán)重值,建立竊電嫌疑分析模型,給出竊電嫌疑綜合可信度評(píng)估分值,自動(dòng)生成稽查單,排查可能存在竊電情況的線路、臺(tái)區(qū)和竊電用戶,并根據(jù)實(shí)際情況開展現(xiàn)場(chǎng)竊電行為排查工作。
1.1.1 數(shù)據(jù)清理技術(shù)
數(shù)據(jù)可能因?yàn)楦鞣N外部原因缺失、突變失效,數(shù)據(jù)缺失會(huì)導(dǎo)致在進(jìn)行離群分析或聚類分析時(shí)造成干擾,清理無(wú)效數(shù)據(jù)后可進(jìn)一步有效修補(bǔ)數(shù)據(jù)。
1.1.2 數(shù)據(jù)修補(bǔ)技術(shù)
數(shù)據(jù)缺失會(huì)影響分析結(jié)果的客觀性,本項(xiàng)目系統(tǒng)采用多種擬合技術(shù)最大程度上逼近實(shí)際值進(jìn)行數(shù)據(jù)修補(bǔ),以達(dá)到統(tǒng)計(jì)分析時(shí)對(duì)于原始數(shù)據(jù)完整性的要求;系統(tǒng)對(duì)修補(bǔ)后的數(shù)據(jù)給出不同的標(biāo)識(shí)。通常修補(bǔ)后的數(shù)據(jù)僅參與統(tǒng)計(jì)分析,不參與電費(fèi)結(jié)算。數(shù)據(jù)修補(bǔ)可采用內(nèi)插值修補(bǔ)、外插值修補(bǔ)、典型模型修補(bǔ)、相似日擬合修補(bǔ)等算法。
1.1.3 數(shù)據(jù)分析技術(shù)
根據(jù)應(yīng)用分析主題,系統(tǒng)采用了關(guān)聯(lián)分析算法、分類分析算法、評(píng)估算法、診斷算法;通過(guò)差異化分析、特征關(guān)聯(lián)分析、狀態(tài)分類分析得出竊電嫌疑指數(shù)和用戶用電行為評(píng)估指數(shù)。
1.2 用電行為異常分析的基本技術(shù)
縱觀社會(huì)上的各種竊電行為,無(wú)論是任何一種竊電方式,都會(huì)影響某個(gè)電表的計(jì)量數(shù)據(jù)或者影響某條線路、某個(gè)區(qū)域的相關(guān)數(shù)據(jù),如線損變化、電壓變化、電流變化以及相關(guān)的電表事件等。目前,用電行為異常的分析方法分為硬件和軟件兩種。
(1)硬件方式主要是通過(guò)加裝硬件設(shè)備,比如,在高壓側(cè)安裝計(jì)量裝置,通過(guò)無(wú)線通訊技術(shù)將數(shù)據(jù)傳輸?shù)浇K端設(shè)備,終端設(shè)備同時(shí)也采集低壓側(cè)的數(shù)據(jù),進(jìn)行數(shù)據(jù)的實(shí)時(shí)比對(duì),當(dāng)兩者的差異超過(guò)設(shè)定的閾值時(shí),終端則自動(dòng)產(chǎn)生告警事件?;蛘呤峭ㄟ^(guò)終端將數(shù)據(jù)采集到計(jì)量主站,由主站進(jìn)行數(shù)據(jù)對(duì)比,當(dāng)兩者數(shù)據(jù)差異較大時(shí),主站產(chǎn)生告警。
(2)軟件方式主要是通過(guò)大數(shù)據(jù)處理,通過(guò)系統(tǒng)的計(jì)算模型進(jìn)行海量計(jì)算,數(shù)據(jù)挖掘的方式,識(shí)別出用電行為異常的用戶。通過(guò)硬件方式加裝高壓側(cè)計(jì)量裝置可以比較實(shí)時(shí)識(shí)別用電行為異常的用戶,但存在實(shí)施成本高、施工難度大等問(wèn)題,而通過(guò)軟件的方式,由于用戶用電信息采集系統(tǒng)已經(jīng)將用戶的用電數(shù)據(jù)完整采集到主站,只需要對(duì)這些數(shù)據(jù)進(jìn)行深加工即可,因此,實(shí)現(xiàn)的成本相對(duì)較低,且能充分發(fā)揮這些電力數(shù)據(jù)的價(jià)值。
2 用電行為異常的研究
2.1 設(shè)計(jì)目標(biāo)與主要功能
本系統(tǒng)通過(guò)與電力用戶用電信息采集系統(tǒng)、營(yíng)銷系統(tǒng)對(duì)接,獲取用戶用電的真實(shí)數(shù)據(jù),并通過(guò)用電行為異常的模型分析用戶用電行為習(xí)慣,以及與用戶用電相關(guān)的數(shù)據(jù),篩選可以的竊電用戶,并提供對(duì)用戶用電行為異常的程度分析。系統(tǒng)可以根據(jù)查獲的竊電實(shí)際案例,自動(dòng)學(xué)習(xí)并完善用電行為異常的分析模型。通過(guò)該系統(tǒng)的建設(shè),可以在配用電海量數(shù)據(jù)處理和智能配用電服務(wù)方面建立起一套示范型項(xiàng)目,在電力大數(shù)據(jù)在實(shí)際電力營(yíng)銷業(yè)務(wù)應(yīng)用上具有重要的意義。
從功能上進(jìn)行劃分,主要分為三大模塊:數(shù)據(jù)處理、接口、Web應(yīng)用。
數(shù)據(jù)處理模塊接收到接口同步過(guò)來(lái)的運(yùn)行數(shù)據(jù)后,通過(guò)數(shù)據(jù)辨識(shí)、修補(bǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析,同時(shí)結(jié)合用電行為異常模型對(duì)用戶用電行為異常指數(shù)進(jìn)行評(píng)估,得出各用戶的用電行為異常嫌疑指數(shù),同時(shí)將同步過(guò)來(lái)的數(shù)據(jù)及加工處理的數(shù)據(jù)全部實(shí)現(xiàn)入庫(kù)操作。在數(shù)據(jù)處理模塊中使用實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù),同時(shí)數(shù)據(jù)處理模塊支持分布式處理。
接口模塊主要是通過(guò)接口程序?qū)挠秒娦畔⒉杉到y(tǒng)推送到中間庫(kù)的電網(wǎng)及設(shè)備檔案,每天定時(shí)同步的電網(wǎng)運(yùn)行數(shù)據(jù),發(fā)送給數(shù)據(jù)處理模塊。
Web應(yīng)用模塊主要是面向供電用戶對(duì)數(shù)據(jù)處理分析出來(lái)的數(shù)據(jù)進(jìn)行數(shù)據(jù)展示。
2.2 系統(tǒng)架構(gòu)設(shè)計(jì)
2.2.1 總體架構(gòu)
用電行為異常分析項(xiàng)目,采用Oracle數(shù)據(jù)庫(kù)和實(shí)時(shí)庫(kù)技術(shù),實(shí)現(xiàn)用電行為異常處理功能。其結(jié)構(gòu)示意圖如圖1所示。
其中:
(1)數(shù)據(jù)來(lái)源于用戶用電信息采集系統(tǒng)的中間數(shù)據(jù)庫(kù),通過(guò)接口程序,定期獲取用戶的電力相關(guān)數(shù)據(jù);周期一般為一天一次或一天兩至六次; 極少數(shù)重點(diǎn)跟蹤用戶(不超過(guò)10個(gè))可以考慮每15分鐘更新一次數(shù)據(jù)。取數(shù)周期還與用采系統(tǒng)更新中間數(shù)據(jù)庫(kù)的頻率有關(guān);
(2)原始數(shù)據(jù)采用先進(jìn)先出的原則。數(shù)據(jù)分析完成后,系統(tǒng)保留分析數(shù)據(jù)的結(jié)果,如:行業(yè)用電趨勢(shì)、不同報(bào)裝容量的用戶用電趨勢(shì)。對(duì)于原始數(shù)據(jù),只保留極小部分有用電行為異常嫌疑的用戶原始數(shù)據(jù),不會(huì)存儲(chǔ)全部原始數(shù)據(jù)。正常用戶數(shù)據(jù)根據(jù)保存數(shù)據(jù)的設(shè)置(如:設(shè)置為保留最近30天),采用先進(jìn)先出的滾動(dòng)方式予以刪除。系統(tǒng)現(xiàn)階段只針對(duì)專變用戶進(jìn)行用電行為異常嫌疑分析,也不需存儲(chǔ)配變用戶的負(fù)荷數(shù)據(jù);
(3)存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)主要有:檔案信息、電量日數(shù)據(jù)、有用電行為異常嫌疑用戶的負(fù)荷數(shù)據(jù)、原始數(shù)據(jù)經(jīng)過(guò)處理后的分析數(shù)據(jù)
(4)數(shù)據(jù)處理可支持分布式部署,根據(jù)數(shù)據(jù)規(guī)模,劃分不同的數(shù)據(jù)處理區(qū)間,可以動(dòng)態(tài)靈活擴(kuò)展;
(5)數(shù)據(jù)預(yù)處理采用實(shí)時(shí)庫(kù)技術(shù),對(duì)數(shù)據(jù)進(jìn)行緩存及粗加工;
(6)數(shù)據(jù)預(yù)處理結(jié)果寫入Oracle數(shù)據(jù)庫(kù);
(7)用電行為異常分析基于Oracle數(shù)據(jù)庫(kù)進(jìn)行處理,并將用電行為異常分析結(jié)果寫入Oracle數(shù)據(jù)庫(kù)。
2.2.2 功能架構(gòu)
根據(jù)用電行為異常業(yè)務(wù)功能需求及供電局內(nèi)部管理業(yè)務(wù)流程,需要對(duì)用電行為異常分析系統(tǒng)的功能劃分為幾個(gè)模塊,即:設(shè)備檔案同步及用電數(shù)據(jù)同步、數(shù)據(jù)處理及分析、Web應(yīng)用。系統(tǒng)功能總體框架示意圖如圖2所示。
通過(guò)與第三方系統(tǒng)接入數(shù)據(jù),本系統(tǒng)對(duì)用戶用電的歷史數(shù)據(jù)進(jìn)行多維度分析,最終過(guò)濾出用電行為異常嫌疑用戶,并給軟件使用者提供判斷的依據(jù)。主要的功能需求如下:
(1)數(shù)據(jù)導(dǎo)入接口:本系統(tǒng)定義數(shù)據(jù)導(dǎo)入規(guī)范,所有遵循本規(guī)范的數(shù)據(jù)都可以導(dǎo)入到系統(tǒng)中,數(shù)據(jù)包括:電網(wǎng)邏輯關(guān)系、用戶信息、用戶與電網(wǎng)的掛接關(guān)系、換表、換CT信息、報(bào)停報(bào)開信息;接口支持?jǐn)?shù)據(jù)重新導(dǎo)入,覆蓋原有數(shù)據(jù),不影響用電行為異常分析;
(2)數(shù)據(jù)的辨識(shí)和修補(bǔ):為使后續(xù)的數(shù)據(jù)處理更加準(zhǔn)確,需將“臟”數(shù)據(jù)過(guò)濾掉,并提供合適的數(shù)據(jù)修補(bǔ)算法,將數(shù)據(jù)修補(bǔ)好;系統(tǒng)至少應(yīng)支持:內(nèi)插值法(直線修補(bǔ))、外插值法:
(3)系統(tǒng)支持新增新的檢測(cè)模型,當(dāng)需要新增檢測(cè)模型時(shí),除后臺(tái)運(yùn)算邏輯需要編寫程序外,其余可以通過(guò)界面配置實(shí)現(xiàn);
(4)支持指定用電行為異常算法的啟用和停用。用戶可以根據(jù)實(shí)際需要,設(shè)置某個(gè)或某些用電行為異常算法啟用或停用;
(5)支持用電行為異常檢測(cè)算法的參數(shù)調(diào)整。用戶可以通過(guò)界面,修改用電行為異常算法的參數(shù);
(6)用電行為異常識(shí)別運(yùn)算:構(gòu)造用電行為異常識(shí)別模型,從歷史數(shù)據(jù),用戶可以根據(jù)實(shí)際情況對(duì)模型進(jìn)行微調(diào);
(7)提供用電行為異常分析鉆取功能:當(dāng)系統(tǒng)確定某個(gè)用戶為用電行為異常嫌疑用戶時(shí),能借助分析工具,分析用戶被列為用電行為異常用戶的原因,以便于人工判斷;
(8)以月度為最小查詢單位,查詢用電行為異常用戶名單,不需支持任意時(shí)段分析。
2.3 系統(tǒng)功能設(shè)計(jì)
2.3.1 功能劃分
按照用電行為異常嫌疑分析算法進(jìn)行數(shù)據(jù)分析,包括事件驅(qū)動(dòng)分析、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)挖掘、用電行為異常嫌疑評(píng)估等功能模塊,產(chǎn)生用電行為異常嫌疑用戶名單和用電行為異常分析依據(jù),模塊產(chǎn)生的數(shù)據(jù)信息存放到關(guān)系型數(shù)據(jù)系統(tǒng)或大數(shù)據(jù)處理系統(tǒng)中,供Web應(yīng)用模塊使用。功能劃分示意圖如圖3所示。
2.3.2 數(shù)據(jù)處理流程
數(shù)據(jù)處理流程示意圖如圖4所示。
(1)數(shù)據(jù)處理程序?qū)崟r(shí)接收數(shù)據(jù)同步程序發(fā)送過(guò)來(lái)的數(shù)據(jù)文件,啟動(dòng)數(shù)據(jù)處理;
(2)實(shí)時(shí)處理對(duì)于數(shù)據(jù)辨識(shí)、事件分析、平衡分析采用數(shù)據(jù)驅(qū)動(dòng),實(shí)時(shí)完成數(shù)據(jù)處理;
(3)定時(shí)任務(wù):對(duì)于歷史數(shù)據(jù)分析、綜合評(píng)估采用定時(shí)任務(wù)處理。
2.3.3 用電行為異常分析綜合評(píng)估
評(píng)估模型定義:在系統(tǒng)中由于用戶的用電行為異常方法有很多,要能對(duì)用戶的用電行為做出客觀地定性分析,需要采用一定的科學(xué)方法來(lái)進(jìn)行分析,在該系統(tǒng)中,我們使用層次分析法來(lái)對(duì)用戶的用電行為異常行為進(jìn)行定性分析。該方法只提供用電行為異常嫌疑的定性分析,不支持定量分析。
指標(biāo)體系構(gòu)建:根據(jù)層次分析原理分層建立用電行為異常指標(biāo)體系,指標(biāo)層從上至下分別為:0=f用戶用電行為異常嫌疑指數(shù),,A={平衡分析,表計(jì)事件分析、歷史數(shù)據(jù)分析',以及包含各單項(xiàng)指標(biāo)的B層,按照指標(biāo)對(duì)用戶用電行為異常嫌疑指數(shù)的影響,指標(biāo)值越高,用電行為異常嫌疑就越大。指標(biāo)體系如圖5所示。
權(quán)重設(shè)置:設(shè)置B層指標(biāo)對(duì)于綜合用電行為異常指數(shù)權(quán)重。W=[wl,w2,w3,…,w171。如表1所示。
基準(zhǔn)值區(qū)域劃分:對(duì)不同的B層指標(biāo)值劃分為不同的區(qū)域,比如:線損分析中表計(jì)電量變化率絕對(duì)值可以分為幾個(gè)區(qū)間來(lái)進(jìn)行劃分{0-10%,10%-30%,30%-70%,70%--無(wú)窮大},針對(duì)不同的指標(biāo)有不同區(qū)域劃分。如表2所示。
設(shè)置指標(biāo)狀態(tài)值:根據(jù)基準(zhǔn)值的區(qū)域劃分,對(duì)劃分的基準(zhǔn)值區(qū)域分別給出一定的指標(biāo)狀態(tài)值,如:針對(duì)線損分析中表計(jì)電量變化率區(qū)間,可以給不同的區(qū)間對(duì)應(yīng)的狀態(tài)值,{[0-10%,10], [10%-30%,30], [30%-70%,70],[70%一無(wú)窮大,100])。如電量變化率為40%,則根據(jù)基準(zhǔn)值區(qū)域劃分,那么該指標(biāo)的狀態(tài)值則為60,那么該項(xiàng)指標(biāo)得分則為60分。如表3所示。
所有狀態(tài)值及基準(zhǔn)值區(qū)域劃分根據(jù)行業(yè)經(jīng)驗(yàn)得到,不同的指標(biāo)對(duì)應(yīng)不同的區(qū)域劃分,不同的區(qū)域劃分對(duì)應(yīng)不同的指標(biāo)狀態(tài)值。狀態(tài)值也是根據(jù)經(jīng)驗(yàn)得到,這些指標(biāo)參數(shù)都是根據(jù)行業(yè)經(jīng)驗(yàn)預(yù)先設(shè)置好,供數(shù)據(jù)處理過(guò)程進(jìn)行調(diào)用。
通過(guò)對(duì)B層指標(biāo)的分體及加權(quán)計(jì)算可以得到A層指標(biāo)的具體指標(biāo)值,通過(guò)對(duì)A層指標(biāo)值進(jìn)行累加可以得到用電行為異常綜合評(píng)估指標(biāo),指標(biāo)值約大,用電行為異常嫌疑就約大。
2.4 接入方案
由于用電信息采集系統(tǒng)現(xiàn)在一般都采用以省集中部署的形式,所以用電行為異常分析系統(tǒng)的部署也需要跟其匹配(安全I(xiàn)II區(qū))。部署結(jié)構(gòu)拓?fù)鋱D如圖6所示。
(1)數(shù)據(jù)庫(kù)服務(wù)器和磁盤陣列:用電行為異常系統(tǒng)主要是利用用電信息采集系統(tǒng)采集到的多功能電子式電能表大量豐富的用電數(shù)據(jù)和信息,用電行為異常系統(tǒng)利用這些海量的數(shù)據(jù)(主要是歷史數(shù)據(jù))進(jìn)行分析處理,快速定位用電行為異常嫌疑用戶。數(shù)據(jù)庫(kù)服務(wù)器和磁盤陣列主要是存儲(chǔ)、處理這些海量的用電用戶的用電信息數(shù)據(jù)和處理后的結(jié)果數(shù)據(jù);
(2)數(shù)據(jù)分析處理服務(wù)器:用電行為異常系統(tǒng)的主要處理分析處理都在該載體上進(jìn)行。系統(tǒng)的數(shù)據(jù)分析處理模塊在設(shè)計(jì)時(shí)考慮了分布式部署要求,故該服務(wù)器集群的數(shù)量可以線性擴(kuò)展部署;
(3) Web應(yīng)用服務(wù)器:主要構(gòu)建遠(yuǎn)程訪問(wèn)客戶的Web站點(diǎn)。該集群也可根據(jù)訪問(wèn)數(shù)的具體情況進(jìn)行線性擴(kuò)展部署;
(4)接口服務(wù)器:搭建用電行為異常系統(tǒng)與用電信息采集系統(tǒng)、營(yíng)銷管理系統(tǒng)的接口程序和接口數(shù)據(jù)庫(kù)。
3 大數(shù)據(jù)分析的優(yōu)勢(shì)與應(yīng)用前景
與傳統(tǒng)用電行為分析系統(tǒng)相比,基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)分析具有以下幾個(gè)方面的優(yōu)勢(shì):
(1)系統(tǒng)通過(guò)多種方法檢測(cè),竊電嫌疑識(shí)別率高;
(2)在電網(wǎng)上無(wú)需增加額外的設(shè)備,節(jié)約成本、易于項(xiàng)目實(shí)施;
(3)維護(hù)簡(jiǎn)單,只需要對(duì)計(jì)算機(jī)主站進(jìn)行日常維護(hù);
(4)竊電識(shí)別模型易于擴(kuò)充,可動(dòng)態(tài)調(diào)整:
(5)系統(tǒng)可以根據(jù)數(shù)據(jù)規(guī)模,靈活擴(kuò)展計(jì)算機(jī)設(shè)備。
該系統(tǒng)的設(shè)計(jì)開發(fā)能提高供電企業(yè)用電檢查、用電稽查的工作效率和管理水平。通過(guò)客戶用電數(shù)據(jù)的特殊分析處理,快速框定需重點(diǎn)稽查的客戶,這樣能有效提高用電稽查的工作效率。它有效威懾非法竊電行為,對(duì)維護(hù)正常的用電秩序、電網(wǎng)安全運(yùn)行以及構(gòu)建和諧社會(huì)起到有效的作用。
該系統(tǒng)的設(shè)計(jì)開發(fā)主要是基于隨著多功能電子式電能表在所有類型的電力用戶側(cè)的普及安裝使用后可以提供大量豐富的用電數(shù)據(jù)和信息。這些海量的數(shù)據(jù)目前主要還是應(yīng)用于電量計(jì)量計(jì)費(fèi)、負(fù)荷分析、負(fù)荷管理、電量統(tǒng)計(jì)、線損分析等方面。而其實(shí)利用這些電量、負(fù)荷數(shù)據(jù),再結(jié)合事件記錄數(shù)據(jù),以大數(shù)據(jù)處理分析技術(shù)多維度從線損分析、相位角分析、用戶用電負(fù)荷特性等多方面進(jìn)行分析,可以快速定位用電行為異常用戶。系統(tǒng)主要是通過(guò)對(duì)數(shù)據(jù)的相關(guān)性綜合分析,幫助用戶分析用電行為異常用戶。所以該系統(tǒng)的研究和設(shè)計(jì)開發(fā)在智能配用電領(lǐng)域中的海量數(shù)據(jù)處理和智能配用電服務(wù)方面具有非常實(shí)際的意義,且具有電力大數(shù)據(jù)示范工程的重大意義。
參考文獻(xiàn)
[1]張鋼,基于智能電網(wǎng)的大數(shù)據(jù)處理技術(shù)探析[J].科技創(chuàng)新導(dǎo)報(bào),2013 (25):71.
[2]宋亞奇,周國(guó)亮,朱永利,智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].電網(wǎng)技術(shù),2013, 37 (04): 928-935.
[3]宋振偉,云實(shí)時(shí)數(shù)據(jù)庫(kù)在用電信息采集系統(tǒng)中的應(yīng)用[J],電力技術(shù)探討,2014 (09):262-265.