基于大數(shù)據(jù)的用戶負(fù)荷特性分析系統(tǒng)的研究與應(yīng)用

張麗華，張偉民，劉 春，賈美娟，楊 瑞，鄒雨軒

（1大慶師范學(xué)院 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院，黑龍江 大慶 163712；2大慶油田有限責(zé)任公司試油試采分公司，黑龍江 大慶 163712）

0 引 言

隨著電力行業(yè)負(fù)荷管理調(diào)整政策出臺(tái)，以及信息化水平的不斷提高，重點(diǎn)行業(yè)（如冶金、石油開采等）因電量數(shù)據(jù)殘缺與分類范疇不明等問(wèn)題，得到了極大的改善。從而為開展電力需求等各項(xiàng)指標(biāo)相關(guān)聯(lián)問(wèn)題的研究工作提供了重要的數(shù)據(jù)基礎(chǔ)，使該類研究工作的開展成為可能。負(fù)荷的大小與特征，對(duì)于電網(wǎng)規(guī)劃及電網(wǎng)運(yùn)行管理，都是極為重要的因素。所以，對(duì)負(fù)荷的變化和特點(diǎn)，事先估計(jì)是電力系統(tǒng)規(guī)劃與運(yùn)行研究的重要內(nèi)容。

本文采用數(shù)據(jù)挖掘技術(shù)，對(duì)某地區(qū)主要行業(yè)各類用電負(fù)荷的特性及電力負(fù)荷特性曲線、指標(biāo)等因素進(jìn)行分析，有利于全面掌握該地區(qū)的用電結(jié)構(gòu)及用電特征。其研究結(jié)果可應(yīng)用于電力營(yíng)銷的用戶分類、電費(fèi)預(yù)警等相關(guān)工作中。通過(guò)進(jìn)一步研究，負(fù)荷特性指標(biāo)數(shù)據(jù)還可挖掘得到統(tǒng)計(jì)指標(biāo)間潛在的內(nèi)在規(guī)律，給電力系統(tǒng)負(fù)荷預(yù)測(cè)、電網(wǎng)規(guī)劃和安全穩(wěn)定運(yùn)行提供相應(yīng)的參考依據(jù)。

1 數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘，是指基于數(shù)據(jù)庫(kù)原理、云技術(shù)、機(jī)器學(xué)習(xí)、人工智能、現(xiàn)代統(tǒng)計(jì)經(jīng)濟(jì)學(xué)等跨學(xué)科的綜合技術(shù)。伴隨著所涉及學(xué)科的增多，其實(shí)用價(jià)值及應(yīng)用可在很多領(lǐng)域加以展現(xiàn)。所相關(guān)聯(lián)涉及到的算法也多種多樣，諸如神經(jīng)網(wǎng)絡(luò)、決策樹、基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)、分類回歸樹和關(guān)聯(lián)分析等。數(shù)據(jù)挖掘的內(nèi)容主要包括分類、關(guān)聯(lián)分析、聚類和異常檢測(cè)等。數(shù)據(jù)挖掘技術(shù)［1］是綜合了傳統(tǒng)數(shù)據(jù)分析法與新型復(fù)雜算法的新方法，該方法能在大型數(shù)據(jù)存儲(chǔ)庫(kù)之中，自動(dòng)的發(fā)現(xiàn)有用信息。數(shù)據(jù)挖掘作為數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（KDD）不可缺少的一部分，在整個(gè)數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)過(guò)程中發(fā)揮著重要作用［2］。

“大數(shù)據(jù)”時(shí)代的數(shù)據(jù)挖掘，是從大量數(shù)據(jù)的定義中發(fā)現(xiàn)有意義的模式或知識(shí)。數(shù)據(jù)挖掘離不開數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和成熟，具體地說(shuō)，對(duì)數(shù)據(jù)庫(kù)中的原始數(shù)據(jù)進(jìn)行一系列的計(jì)算和分析，得到有用的信息。該過(guò)程通常包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘、后處理3個(gè)方面。其中，數(shù)據(jù)預(yù)處理是指將原始數(shù)據(jù)轉(zhuǎn)換成一種適合分析的形式，包括多數(shù)據(jù)源的數(shù)據(jù)融合、數(shù)據(jù)清理、尺寸標(biāo)注等。后處理是指對(duì)模型預(yù)測(cè)的結(jié)果進(jìn)行進(jìn)一步的處理和推導(dǎo)。

本文主要分析電力負(fù)荷（主要為負(fù)荷曲線）的相關(guān)特性，對(duì)不同用電特性的用戶加以區(qū)分。目前利用配用電數(shù)據(jù)進(jìn)行異常用戶檢測(cè)、需求側(cè)管理與能效管理、用電客戶精細(xì)分類等都需要對(duì)負(fù)荷曲線進(jìn)行聚類分析。因此，有必要通過(guò)對(duì)負(fù)荷曲線的聚類對(duì)其特性進(jìn)行分類研究。

2 聚類分析

聚類分析是對(duì)描述對(duì)象的信息和相似性進(jìn)行分析和分組。常用的聚類方法包括K均值、凝聚層次聚類和DBSCAN聚類等方法。其作為數(shù)據(jù)挖掘中數(shù)據(jù)篩選的重要方法，在電力行業(yè)中也開始廣泛的應(yīng)用。

聚類分析是對(duì)描述對(duì)象的信息進(jìn)行分析，按照數(shù)據(jù)對(duì)象的相似性進(jìn)行分組。常用的聚類方法包括K均值、凝聚層次聚類和DBSCAN聚類等方法。其作為數(shù)據(jù)挖掘中數(shù)據(jù)篩選的重要方法，在電力行業(yè)中也開始廣泛的應(yīng)用。周暉、王毅等人利用灰色聚類方法以及K-Means聚類算法等，不僅對(duì)各行業(yè)用電量［3］，也對(duì)客戶欠費(fèi)特征數(shù)據(jù)等進(jìn)行分類［4］，為電網(wǎng)公司提供負(fù)荷管理和電價(jià)制定的依據(jù)。

為了更高效的提供電力服務(wù)，對(duì)電力負(fù)荷的預(yù)測(cè)則需要更加精準(zhǔn)。傳統(tǒng)BI已不能滿足現(xiàn)今的需求，而大數(shù)據(jù)分析能更好進(jìn)行預(yù)測(cè)分析，這也是電力大數(shù)據(jù)應(yīng)用與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和BI技術(shù)的關(guān)鍵區(qū)別之一［5］。隨著電力系統(tǒng)信息化程度不斷提高，如何合理地利用這些數(shù)據(jù)并從中提取有價(jià)值的信息，是目前電力系統(tǒng)面臨的一個(gè)重要問(wèn)題。電力大數(shù)據(jù)是能源變革中電力工業(yè)技術(shù)革新的必然途徑，而不是簡(jiǎn)單的技術(shù)范疇；其不僅僅是技術(shù)進(jìn)步，更是涉及整個(gè)電力系統(tǒng)在大數(shù)據(jù)時(shí)代下發(fā)展理念、管理體制和技術(shù)路線等方面的重大變革，是下一代智能化電力系統(tǒng)在大數(shù)據(jù)時(shí)代下價(jià)值形態(tài)的躍升。

“配用電側(cè)”是電力系統(tǒng)數(shù)據(jù)源的主要指標(biāo)，特別是隨著智能電網(wǎng)技術(shù)的快速發(fā)展，各種先進(jìn)的檢測(cè)裝置和計(jì)量設(shè)備在配電網(wǎng)中得到了廣泛應(yīng)用［6］。電網(wǎng)公司的多種不同業(yè)務(wù)系統(tǒng)集成，對(duì)數(shù)據(jù)集成系統(tǒng)的多源海量數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)挖掘是智能電網(wǎng)發(fā)展的必然趨勢(shì)。

目前，在新的智能化技術(shù)形勢(shì)下，負(fù)荷數(shù)據(jù)量急劇加大，數(shù)據(jù)缺失也更加頻繁，本次研究將針對(duì)這些問(wèn)題，采用數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)預(yù)處理與數(shù)據(jù)挖掘技術(shù)解決相應(yīng)問(wèn)題，為電網(wǎng)企業(yè)不斷發(fā)展提供支持。

3 電力負(fù)荷數(shù)據(jù)準(zhǔn)備及預(yù)處理

3.1 技術(shù)路線

本研究的技術(shù)路線如圖1所示，首先研究電力負(fù)荷預(yù)測(cè)在當(dāng)下的現(xiàn)狀，主要分析電力負(fù)荷（主要為負(fù)荷曲線）的相關(guān)特性，并對(duì)不同用電特性的用戶加以區(qū)分；然后研究數(shù)據(jù)處理平臺(tái)的搭建結(jié)構(gòu)以及設(shè)計(jì)新的網(wǎng)絡(luò)層次結(jié)構(gòu)，并對(duì)所需要分析處理的數(shù)據(jù)做相應(yīng)計(jì)算；最后運(yùn)用k-means聚類算法，確定“最佳聚類數(shù)”搭建模型，并將其應(yīng)用于某重點(diǎn)行業(yè)（如采油、冶煉加工等）負(fù)荷特性預(yù)測(cè)分析。

圖1 技術(shù)路線圖Fig.1 Technology roadmap

3.2 數(shù)據(jù)處理平臺(tái)搭建的硬件結(jié)構(gòu)和軟件環(huán)境

該硬件架構(gòu)如圖2所示，共計(jì)使用3臺(tái)服務(wù)器，每臺(tái)服務(wù)器為8*8G內(nèi)存，2*4T硬盤，2*E5處理器，并通過(guò)8口300M TP-link進(jìn)行網(wǎng)路連接，以保證數(shù)據(jù)傳輸過(guò)程的效率與穩(wěn)定性。軟件環(huán)境主要采用的Hadoop為基于CentOs 6.7的2.6版，通過(guò)Yarn［7］分布式計(jì)算。

圖2 硬件架構(gòu)圖Fig.2 Hardware architecture diagram

3.3 數(shù)據(jù)來(lái)源

數(shù)據(jù)主要來(lái)源于采集系統(tǒng)和調(diào)度系統(tǒng)。主要表關(guān)系如圖3所示。其中對(duì)內(nèi)部數(shù)據(jù)的采集主要包括：

（1）客戶基礎(chǔ)信息數(shù)據(jù)（C_CONS）。用戶數(shù)據(jù)來(lái)源此表，其中包含用戶編號(hào)、用戶標(biāo)識(shí)、用戶中文名稱、地區(qū)信息、合同容量信息、行業(yè)分類等。此表主鍵為用戶標(biāo)識(shí)，并通過(guò)用戶編號(hào)與外表進(jìn)行關(guān)聯(lián)。

（2）日負(fù)荷基礎(chǔ)數(shù)據(jù)（E_MP_POWER_CURVE）。本文所使用的日96點(diǎn)負(fù)荷數(shù)據(jù)來(lái)源于此表。表中包含計(jì)量點(diǎn)編號(hào)、采集數(shù)據(jù)類型、96點(diǎn)實(shí)際負(fù)荷、電壓電流比率等信息。此表主鍵為計(jì)量點(diǎn)編號(hào)，并通過(guò)主鍵與外表關(guān)聯(lián)。

（3）日電量數(shù)據(jù)（E_MP_DAY_READ）。日電量表底示數(shù)來(lái)源此表。表中包含計(jì)量點(diǎn)編號(hào)、采集數(shù)據(jù)類型、日電量表底示數(shù)、電壓電流比率等信息。此表主鍵為計(jì)量點(diǎn)編號(hào)，并通過(guò)主鍵與外表關(guān)聯(lián)。

（4）計(jì)量點(diǎn)基礎(chǔ)信息（E_DATA_MP，C_MP，C_METER_MP_RELA）。計(jì)量點(diǎn)信息表包含計(jì)量點(diǎn)的ID、倍率、表屬性等信息。

各表間關(guān)系如圖3所示。

圖3 表關(guān)系圖Fig.3 Table diagram

3.4 數(shù)據(jù)存儲(chǔ)與轉(zhuǎn)換

本數(shù)據(jù)取自采集系統(tǒng)，采用以O(shè)racle 10g作為數(shù)據(jù)庫(kù)主要版本，導(dǎo)出的數(shù)據(jù)泵文件，通過(guò)數(shù)據(jù)泵進(jìn)行導(dǎo)入導(dǎo)出，其數(shù)據(jù)格式為Dump。鑒于Hadoop作為數(shù)據(jù)處理主平臺(tái)，為了便于HDFS［8］文件系統(tǒng)進(jìn)行分布式處理，需要進(jìn)行相應(yīng)數(shù)據(jù)中轉(zhuǎn)，將數(shù)據(jù)導(dǎo)入Oracle后生成Oracle數(shù)據(jù)，通過(guò)Sqoop將數(shù)據(jù)導(dǎo)入Hadoop，最終將其導(dǎo)入Hive［9］，具體實(shí)現(xiàn)過(guò)程如下：

（1）將Oracle數(shù)據(jù)由exp／imp導(dǎo)出至外部存儲(chǔ)（存儲(chǔ)格式為Dump）。基礎(chǔ)數(shù)據(jù)以月做數(shù)據(jù)基礎(chǔ)表進(jìn)行導(dǎo)出；檔案數(shù)據(jù)以整體導(dǎo)出，五地市數(shù)據(jù)存儲(chǔ)于一張表內(nèi)。

（2）根據(jù)數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)表，并在服務(wù)器內(nèi)分配表空間與物理存儲(chǔ)空間。由于單個(gè)表文件無(wú)法存儲(chǔ)超規(guī)模數(shù)據(jù)量，且固定表的處理效率遠(yuǎn)高于自增表，因此共創(chuàng)建100個(gè)數(shù)據(jù)文件。為避免由于表空間不足導(dǎo)致存儲(chǔ)失敗，每個(gè)數(shù)據(jù)文件均分配30G的固定存儲(chǔ)空間。建表后創(chuàng)建索引和分區(qū)，以便加快后續(xù)查詢速度。

（3）通過(guò)數(shù)據(jù)泵將數(shù)據(jù)文件導(dǎo)入Oracle，并通過(guò)Sqoop將數(shù)據(jù)導(dǎo)入HDFS。由于數(shù)據(jù)量大，在數(shù)據(jù)導(dǎo)入Hive前先將Oracle中的表增加時(shí)間字段以便于分區(qū)，利用Linux的Shell命令將時(shí)間字段加入表中后，將表導(dǎo)入Hive中，進(jìn)而在Hive中對(duì)表進(jìn)行分區(qū)操作，便于數(shù)據(jù)查詢及分析。

3.5 負(fù)荷數(shù)據(jù)準(zhǔn)備

3.5.1 數(shù)據(jù)選取

根據(jù)日測(cè)量點(diǎn)功率曲線表給出的字段來(lái)選取數(shù)據(jù)，篩選得到正向有功的數(shù)據(jù)；

根據(jù)行業(yè)代碼，選?。ㄈ绮捎?、冶煉加工等）行業(yè)數(shù)據(jù)進(jìn)行重點(diǎn)分析，經(jīng)篩選得到完整記錄數(shù)據(jù)。

3.5.2 數(shù)據(jù)填補(bǔ)和清洗

“大數(shù)據(jù)”的數(shù)據(jù)量在累積中，面臨數(shù)據(jù)類型繁雜且量級(jí)參差不齊，模型無(wú)法將其直接使用等問(wèn)題。因此，需要對(duì)數(shù)據(jù)異構(gòu)海量信息進(jìn)行歸一化處理、存儲(chǔ)與相應(yīng)轉(zhuǎn)換。此外，還需對(duì)負(fù)荷數(shù)據(jù)值中缺損部分給予及時(shí)填充和清洗修正。針對(duì)不同數(shù)據(jù)綜合采用以下幾種處理方式：

（1）首末端缺失數(shù)據(jù)處理。若用戶當(dāng)日的末端數(shù)據(jù)（如某點(diǎn)數(shù)據(jù)）缺失，則以該用戶次日首端數(shù)據(jù)進(jìn)行填補(bǔ)；反之，當(dāng)用戶首端數(shù)據(jù)缺失，則以該用戶前日末端數(shù)據(jù)進(jìn)行填補(bǔ)。

（2）單個(gè)數(shù)據(jù)空缺處理。在已知當(dāng)日單個(gè)缺失數(shù)據(jù)前后負(fù)荷點(diǎn)數(shù)據(jù)時(shí)，可借助列插值法，即該點(diǎn)數(shù)據(jù)前后均值來(lái)填補(bǔ)數(shù)據(jù)。

（3）連續(xù)多個(gè)數(shù)據(jù)缺失處理。利用行插值法，需要考慮到缺失數(shù)據(jù)個(gè)數(shù)的奇偶性。若尋找的數(shù)據(jù)在中間有連續(xù)多個(gè)數(shù)據(jù)缺失時(shí)，需尋找缺失數(shù)據(jù)1／2中心點(diǎn)數(shù)據(jù)。再由此方法，依次找尋1／4和3／4點(diǎn)處的數(shù)據(jù)。重復(fù)該操作，即可補(bǔ)全所缺失數(shù)據(jù)。

（4）刪除空缺值多的記錄。經(jīng)由數(shù)據(jù)填補(bǔ)之后，仍有記錄存在大量空缺，則進(jìn)行刪除處理。表中有用字段對(duì)應(yīng)數(shù)據(jù)缺失值過(guò)多時(shí)，填補(bǔ)等方法將不能起到相應(yīng)作用，且無(wú)法保證填補(bǔ)數(shù)據(jù)的有效性，將其刪除以減小計(jì)算誤差。

（5）刪除表中的無(wú)效記錄。首先刪除表中含有負(fù)值記錄，其次刪除表中數(shù)據(jù)全為0的記錄，最后刪除表中出現(xiàn)極大值的記錄。

3.5.3 數(shù)據(jù)歸一化

根據(jù)聚類方法的要求，采用數(shù)據(jù)歸一化方法對(duì)日負(fù)荷數(shù)據(jù)進(jìn)行處理，將數(shù)據(jù)限制在0～1范圍內(nèi)。數(shù)據(jù)歸一處理主要解決數(shù)據(jù)的可比性，常用的有“最大最小值化”、“0均值標(biāo)準(zhǔn)化”和“極大值標(biāo)準(zhǔn)化”等。經(jīng)過(guò)歸一化處理，方便進(jìn)行研究分析。本研究采用數(shù)據(jù)歸一化方式的極大值標(biāo)準(zhǔn)化。極大值標(biāo)準(zhǔn)化可由式（1）表示：

采用年最大負(fù)荷作為極大值，會(huì)導(dǎo)致對(duì)異常數(shù)據(jù)的極度敏感，可以通過(guò)前期對(duì)數(shù)據(jù)異常值的清洗消除影響。因此，采用其作為歸一化極大值指標(biāo)。

4 基于k-means聚類的重點(diǎn)行業(yè)負(fù)荷特性分析

4.1 模型搭建

4.1.1 k-means聚類算法

采用k-means方法對(duì)用戶的日負(fù)荷曲線進(jìn)行聚類，能獲取反映行業(yè)特性典型的日負(fù)荷曲線。kmeans可以處理數(shù)據(jù)量較大的情況，是基于劃分的計(jì)算方法，時(shí)間復(fù)雜度較低，在給定k值后，可以較快的完成收斂；其次，該算法較為簡(jiǎn)單，不需要復(fù)雜的邏輯和方法；此外，對(duì)足夠大的數(shù)據(jù)量進(jìn)行聚類，可以保持結(jié)果準(zhǔn)確一致，與初始隨機(jī)選擇的聚類中心無(wú)關(guān)。

4.1.2 基于評(píng)價(jià)指標(biāo)的最佳聚類數(shù)確定

聚類有效性研究是通過(guò)建立有效性指標(biāo)，評(píng)價(jià)聚類質(zhì)量并確定最佳聚類數(shù)的過(guò)程。本文選擇運(yùn)算復(fù)雜度較低的SSE和CC這二類完全相反的指標(biāo)，作為選取最佳聚類數(shù)的考核指標(biāo)。

（1）數(shù)據(jù)計(jì)算和抽取生成周負(fù)荷曲線。計(jì)算每日最大負(fù)荷，選取連續(xù)7天日最大負(fù)荷生成周負(fù)荷曲線。

（2）取不同聚類數(shù)k（初始值取2，逐次增加1），采用k-means聚類方法對(duì)周負(fù)荷曲線進(jìn)行聚類。

（3）聚類結(jié)果采用R語(yǔ)言計(jì)算SSE和CC指標(biāo)，根據(jù)指標(biāo)趨勢(shì)圖獲取最佳聚類數(shù)k。

4.2 重點(diǎn)行業(yè)負(fù)荷特性分析

本研究利用k-means聚類方法，對(duì)特殊行業(yè)負(fù)荷特性進(jìn)行分析，及對(duì)行業(yè)用戶某點(diǎn)日負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理。綜合處理步驟如下：

（1）篩選某點(diǎn)日負(fù)荷數(shù)據(jù)，并進(jìn)行數(shù)據(jù)填補(bǔ)與清洗。

（2）按日期對(duì)該行業(yè)或其子行業(yè)的所有用戶日負(fù)荷加和，計(jì)算該行業(yè)或其子行業(yè)每日綜合日負(fù)荷曲線，進(jìn)行初步挖掘分析。

（3）關(guān)聯(lián)每個(gè)用戶檔案，以便于獲取其年最大負(fù)荷，并采用極大值標(biāo)準(zhǔn)化方法，對(duì)數(shù)據(jù)作歸一化處理。

（4）通過(guò)SSE和CC指標(biāo)，計(jì)算該行業(yè)最佳聚類k，隨機(jī)選取初始聚類中心，對(duì)預(yù)處理后數(shù)據(jù)進(jìn)行kmeans聚類。

（5）隨機(jī)更換初始聚類中心，進(jìn)行k-means聚類。

（6）對(duì)不同初始聚類中心的聚類結(jié)果進(jìn)行評(píng)價(jià)，選取最優(yōu)聚類結(jié)果。

（7）根據(jù)最優(yōu)聚類結(jié)果，對(duì)該行業(yè)用戶日負(fù)荷特性進(jìn)行分類，分析其生產(chǎn)特性并給出典型用戶。

5 構(gòu)建基于用戶負(fù)荷特性的標(biāo)簽庫(kù)

將負(fù)荷特性分析結(jié)果用于標(biāo)簽體系庫(kù)建設(shè)的應(yīng)用；將聚類結(jié)果進(jìn)行整理并以標(biāo)簽庫(kù)形式展現(xiàn)。如，冶煉加工行業(yè)標(biāo)簽庫(kù)界面如圖4所示。

圖4 標(biāo)簽庫(kù)界面Fig.4 Tag library interface

6 結(jié)束語(yǔ)

本文提出的基于大數(shù)據(jù)的用戶負(fù)荷特性分析系統(tǒng)的總體架構(gòu)，以相對(duì)較為穩(wěn)定的日96點(diǎn)電力負(fù)荷數(shù)據(jù)建立分類模型，獲得針對(duì)某個(gè)重點(diǎn)行業(yè)，如采油、冶煉加工等典型場(chǎng)景用電負(fù)荷特性。通過(guò)實(shí)驗(yàn)仿真SSE和CC等指標(biāo)變化圖，實(shí)現(xiàn)對(duì)該行業(yè)用電特征分析；再抽取該行業(yè)用戶用電特征，建立用戶用電行為標(biāo)簽庫(kù)，有利于網(wǎng)絡(luò)收斂與穩(wěn)定，提高負(fù)荷數(shù)據(jù)聚類化。