基于動(dòng)態(tài)盒形圖技術(shù)的電力異常數(shù)據(jù)清洗

李凱

【摘 要】電力負(fù)荷數(shù)據(jù)是指在一定時(shí)間間隔內(nèi)記錄的電能消耗量，它包含電力系統(tǒng)的重要信息。對(duì)電力系統(tǒng)分析、系統(tǒng)的可靠性、電力線損計(jì)算、電力系統(tǒng)規(guī)劃起著至關(guān)重要的作用。但電力數(shù)據(jù)在傳輸過(guò)程中，由于各種隨機(jī)故障因素，異常數(shù)據(jù)的出現(xiàn)是不可避免的，它包括損壞的數(shù)據(jù)和丟失的數(shù)據(jù)。本文介紹動(dòng)態(tài)盒形圖技術(shù)進(jìn)行自動(dòng)清洗損壞和丟失的數(shù)據(jù)。并在貴州某地區(qū)供電公司進(jìn)行實(shí)施，結(jié)果證明了方案的有效性。

【關(guān)鍵詞】動(dòng)態(tài)盒形圖；電力異常數(shù)據(jù)；自動(dòng)清洗

【Abstract】Electric load data refers to a certain time interval record electricity consumption， it contains important information of power system. For power system analysis， system reliability， power loss calculation， power system planning plays a vital role. The electric power data in the transmission process， due to various random failure factors， the abnormal data is inevitable， resulting in the load curve contains corrupted data and missing data. This paper introduces the dynamic automatic cleaning box for damage and loss of the data graph technology. In the implementation process， a man-machine conversation program is proposed to improve the performance of the program. Experiments on a regional power supply company in Guizhou have proved the effectiveness of the scheme.

【Key words】Dynamic box diagram； Abnormal data of electric power； Automatic cleaning

0 引言

電力負(fù)荷數(shù)據(jù)在現(xiàn)在的智能電網(wǎng)中起著越來(lái)越重要的作用，它關(guān)系到電力網(wǎng)的潮流計(jì)算、線路損耗計(jì)算、電力網(wǎng)規(guī)劃，調(diào)度運(yùn)行等，有效數(shù)據(jù)的采集為做出正確的決定提供可靠的支持。但現(xiàn)在供電部門清洗異常值的方法多為手動(dòng)輸入，工作效率低下。本文提出的動(dòng)態(tài)盒形圖技術(shù)對(duì)變化的電力負(fù)荷異常數(shù)據(jù)的清洗具有重要的意義，這種方法提供了檢測(cè)異常數(shù)據(jù)的基礎(chǔ)，量化置信區(qū)間，估計(jì)損壞數(shù)據(jù)的時(shí)間點(diǎn)，適合局部和全局的大量損壞數(shù)據(jù)的檢測(cè)，并且實(shí)現(xiàn)自動(dòng)清洗，大大提高了工作效率。

1 電力異常數(shù)據(jù)處理研究現(xiàn)狀

數(shù)據(jù)采集和傳輸?shù)倪^(guò)程中常常出現(xiàn)丟失和損壞，正確的收集所有的數(shù)據(jù)是一個(gè)巨大的挑戰(zhàn)和艱巨的任務(wù)。導(dǎo)致這種情況的因素有很多原因，像測(cè)量問(wèn)題、通信失敗、設(shè)備故障、數(shù)據(jù)丟失以及由于暫時(shí)的維修或者某些生產(chǎn)線的暫時(shí)中斷導(dǎo)致的電力臨時(shí)中斷等因素。這些偶然因素，導(dǎo)致電力負(fù)荷的巨大偏差，而且這些負(fù)荷的變化沒(méi)有規(guī)律，因此實(shí)際運(yùn)行的方式不能正確預(yù)測(cè)，損壞的數(shù)據(jù)指的就是與常規(guī)運(yùn)行方式的巨大差距，導(dǎo)致很難全部發(fā)現(xiàn)損壞的數(shù)據(jù)。低質(zhì)量的數(shù)據(jù)導(dǎo)致錯(cuò)誤的系統(tǒng)分析，做出錯(cuò)誤的決策。目前電力行業(yè)，多采用手工的方式，來(lái)處理?yè)p壞數(shù)據(jù)。隨著智能電網(wǎng)的發(fā)展，大量的數(shù)據(jù)是手工方式難以實(shí)現(xiàn)的。

異常數(shù)據(jù)檢測(cè)是與數(shù)據(jù)清洗問(wèn)題相關(guān)領(lǐng)域，已經(jīng)在數(shù)據(jù)挖掘和統(tǒng)計(jì)學(xué)中進(jìn)行了深入研究，像K接近分類，K均值聚類，盒形圖技術(shù)[4]，基于密度估計(jì)[1]以及神經(jīng)網(wǎng)絡(luò)的經(jīng)常被應(yīng)用。但它們大都是針對(duì)靜態(tài)的數(shù)據(jù)，針對(duì)電力數(shù)據(jù)的變化，本文提出了動(dòng)態(tài)盒形圖技術(shù)。

2 動(dòng)態(tài)盒形圖原理

盒形圖實(shí)際上是以圖形來(lái)概括頻數(shù)分布的最重要的統(tǒng)計(jì)特征，以便更容易地理解和對(duì)比數(shù)據(jù)，從圖中可以看到數(shù)據(jù)的分布情況及辨識(shí)出超出一定范圍的異常值。

按從小到大的順序列出所有的數(shù)值，把所有數(shù)值的個(gè)數(shù)記為n。按順序這樣排號(hào)：M1是最小的數(shù)，M2是次小的數(shù)，直到最大的數(shù)Mn。中位數(shù)指的是一半數(shù)值大于它、一半數(shù)值小于它的那個(gè)點(diǎn)，如果整個(gè)數(shù)值的個(gè)數(shù)n是奇數(shù)，中位數(shù)就是中間的那個(gè)，即從一端數(shù)到第（n+1）/2個(gè)數(shù)，中位數(shù)就是M（n+1）/2。如果整個(gè)數(shù)值的個(gè)數(shù)n是偶數(shù)，中位數(shù)是中間兩個(gè)數(shù)的均值，從一端數(shù)到第n/2和n/2+1個(gè)數(shù)，中位數(shù)就是Mn/2 與Mn/2+1的均值。

四分位數(shù)就是把數(shù)據(jù)分為四個(gè)部分。找到四分位數(shù)即一半數(shù)據(jù)的中位數(shù)。如果整個(gè)數(shù)值的個(gè)數(shù)是偶數(shù)，找出從1到Xn/2的這些數(shù)值的中位數(shù)，這就是第1個(gè)四分位數(shù)。如果整個(gè)數(shù)值的個(gè)數(shù)是奇數(shù)，中位數(shù)是M（n+1）/2，再找出從1到中位數(shù)這些數(shù)值的中位數(shù)M（n+1）/4，這就是第1個(gè)四分位數(shù)。按照相同的方法在較大的數(shù)值部分找到第3四分位數(shù)。計(jì)算兩個(gè)分位數(shù)之間的距離即四分位距，四分位距就是第3四分位數(shù)減去第1四分位數(shù)。內(nèi)部范圍是指區(qū)分屬于特定分布內(nèi)和分布之外的數(shù)值，內(nèi)部上限就是第3四分位數(shù)與1.5倍的四分位距之和，內(nèi)部下限就是第1四分位數(shù)與l.5倍的四分位距之差。外部范圍就是處在該范圍的數(shù)據(jù)遠(yuǎn)遠(yuǎn)在分布之外，很值得特別注意，即遠(yuǎn)遠(yuǎn)偏離了正常值的范圍。外部范圍的上限是處在高于內(nèi)部上限1.5倍四分位距的位置，下限則處在低于內(nèi)部下限1.5倍四分位距的位置，即外部上限為內(nèi)部上限與1.5倍的四分位距之和，外部下限為內(nèi)部下限與1.5倍的四分位距之差。

由于電力數(shù)據(jù)隨時(shí)間的變化特性，不同的時(shí)間段可以設(shè)置不同上下限，即盒形圖的內(nèi)部范圍和外部范圍設(shè)置不同的上下限。這樣可以剔除大部分偏離正常值范圍大的數(shù)據(jù)，達(dá)到清洗異常值的目的。

3 應(yīng)用實(shí)例分析

運(yùn)用Matlab軟件，編寫(xiě)計(jì)算程序。最終，用項(xiàng)目中得到的數(shù)據(jù)，放入編寫(xiě)的程序，檢驗(yàn)這些方法的可行性。分別用常規(guī)盒形圖技術(shù)和動(dòng)態(tài)盒形圖技術(shù)對(duì)電力數(shù)據(jù)處理，顯示出不同的運(yùn)行結(jié)果。

4 結(jié)束語(yǔ)

本文采用動(dòng)態(tài)盒形圖技術(shù)辨識(shí)電力異常數(shù)據(jù)，并利用線性方法，用異常數(shù)據(jù)附近的平均值替換異常數(shù)據(jù)，為電力部門做出正確的決策提供了可靠的參考數(shù)據(jù)。但本文只是論述偏離正常值大的處理方法，很多偏離正常值小的處理方法如樣條曲線處理異常數(shù)據(jù)[2-3]還需要進(jìn)一步研究。

【參考文獻(xiàn)】

[1]陳亮.文福拴，童述林.基于密度估計(jì)的異常電力負(fù)荷數(shù)據(jù)辨識(shí)與修正[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，40（02）：124-129.

[2]J. Chen， W. Li， A. Lau et al. Automated Load Curve Data Cleansing in Power Systems[J]. IEEE Transactions on Smart Grid， 2010， 1（2）： 213-221.

[3]Z. Guo， W. Li， A. Lau et al. Detecting X-Outliers in Load Curve Data in Power Systems[J]. IEEE Transactions on Power Systems， 2012， 27（2）： 875-884.

[4]張良均，楊坦，肖剛，等.MATLAB數(shù)據(jù)分析與挖掘?qū)崙?zhàn)[M].北京：機(jī)械工業(yè)出版社，2015.