基于CNN 與Bi-LSTM 的異常用電行為甄別算法研究

余向前，張磊，胡曉祥

（國網(wǎng)甘肅省電力公司張掖供電公司，甘肅張掖 734000）

隨著我國電網(wǎng)規(guī)模的不斷擴(kuò)大，電能成為了重要的二次能源。由于電力的使用與生產(chǎn)生活密切相關(guān)，因此電網(wǎng)的安全、平穩(wěn)運(yùn)行對(duì)促進(jìn)社會(huì)穩(wěn)定及經(jīng)濟(jì)發(fā)展均具有重要意義。近年來用戶竊電、欺詐用電等行為時(shí)有發(fā)生，不僅增加了電力的非技術(shù)性損耗及系統(tǒng)負(fù)荷，也給電網(wǎng)運(yùn)維部門造成了一定的經(jīng)濟(jì)損失，還引發(fā)了諸多的社會(huì)性安全問題[1-4]。

深度學(xué)習(xí)(Deep Learning，DL)技術(shù)的發(fā)展提升了對(duì)電力用戶數(shù)據(jù)隱含特征的挖掘效率，并為分析其用電行為提供了理論基礎(chǔ)[5-7]。該文基于電力系統(tǒng)的數(shù)字化轉(zhuǎn)型開展了對(duì)用電行為甄別技術(shù)的研究。基于用戶的用電數(shù)據(jù)，結(jié)合深度學(xué)習(xí)技術(shù)建立了行為甄別模型。該模型可以有效提高竊電稽查的效率，準(zhǔn)確判斷用戶的非正常用電行為，進(jìn)而降低非技術(shù)性損耗給電網(wǎng)帶來的經(jīng)濟(jì)損失。

1 理論設(shè)計(jì)

1.1 網(wǎng)絡(luò)單元設(shè)計(jì)

該文采用的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[8-12]是一種基于卷積運(yùn)算的深度學(xué)習(xí)算法，其可提取訓(xùn)練數(shù)據(jù)中的原始特征。在卷積神經(jīng)網(wǎng)絡(luò)中，主要包括卷積單元與池化單元。其中卷積單元的運(yùn)算如圖1 所示。

圖1 卷積運(yùn)算過程

圖1 中，M是卷積矩陣，C為卷積核。卷積核的引入能夠增強(qiáng)網(wǎng)絡(luò)對(duì)于局部特征的提取能力，而卷積核的尺寸可以定義“局部”的大小。設(shè)每層卷積后獲得的特征矩陣為Hi，則卷積層的輸出可表示為：

式中，?為叉乘運(yùn)算；Wi為卷積層中的卷積核權(quán)重；bi為偏置矩陣；f(·)為卷積層使用的偏置函數(shù)。該文卷積網(wǎng)絡(luò)選擇了ReLU 函數(shù)作為偏置，該函數(shù)的計(jì)算方式為：

在實(shí)際應(yīng)用中，卷積層后通常緊跟一層池化層，其可對(duì)特征進(jìn)行二次提取，同時(shí)減少因卷積運(yùn)算而產(chǎn)生的參數(shù)，進(jìn)而降低網(wǎng)絡(luò)的訓(xùn)練代價(jià)。

最大值池化的運(yùn)算過程如圖2 所示。該運(yùn)算在池化區(qū)域內(nèi)選擇最大值作為該區(qū)域的特征值。通過最大值池化，能有效降低特征維度。CNN 網(wǎng)絡(luò)在經(jīng)過多次卷積、池化計(jì)算后，通常使用全連接層來處理分離結(jié)果。

圖2 池化運(yùn)算過程

1.2 改進(jìn)循環(huán)網(wǎng)絡(luò)

CNN 網(wǎng)絡(luò)雖具有較強(qiáng)的非線性擬合能力，但由于本次在進(jìn)行電力行為甄別時(shí)主要處理的是時(shí)間序列，其無法提取該序列的時(shí)間關(guān)聯(lián)特征。因此，文中引入了一種基于長短時(shí)記憶(Long Short-Term Memory，LSTM) 單元的改進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)算法。

LSTM 單元中信號(hào)的傳遞示意圖如圖3 所示。傳統(tǒng)的RNN 網(wǎng)絡(luò)[13-14]在提取長時(shí)間序列時(shí)，會(huì)產(chǎn)生梯度消失的現(xiàn)象。在LSTM[15-16]中，通過使用輸入門it、輸出門ot及遺忘門ft對(duì)信號(hào)傳遞進(jìn)行智能控制，可以有效提升網(wǎng)絡(luò)的訓(xùn)練效率。

圖3 LSTM單元信號(hào)傳遞示意圖

記w(·)、b(·)分別為每個(gè)門的傳遞權(quán)重與偏置量，ht為隱藏層的輸出，σ為核函數(shù)，⊙為邏輯同或運(yùn)算，則可得到LSTM 中各個(gè)門的信號(hào)更新方式如下：

由于用戶的用電數(shù)據(jù)是與時(shí)間強(qiáng)相關(guān)的序列信息，因此，文中采用了雙向LSTM (Bi-LSTM) 模型。該模型的結(jié)構(gòu)示意圖如圖4 所示。

圖4 雙向LSTM結(jié)構(gòu)示意圖

對(duì)于t個(gè)時(shí)刻的用電數(shù)據(jù)，其序列化后可表征為：

Bi-LSTM 能夠同時(shí)提取前后兩個(gè)方向的數(shù)據(jù)特征，對(duì)于當(dāng)前時(shí)刻，該模型的輸出向量為：

1.3 網(wǎng)絡(luò)過擬合方法

由于文中使用了CNN 與Bi-LSTM 相結(jié)合的網(wǎng)絡(luò)架構(gòu)，使得所提模型的整體結(jié)構(gòu)相對(duì)復(fù)雜。因此為了防止網(wǎng)絡(luò)在識(shí)別用電行為的過程中出現(xiàn)過擬合現(xiàn)象，還引入了一種基于Dropout 和自適應(yīng)矩估計(jì)(Adaptive Moment Estimate，Adam)的網(wǎng)絡(luò)防過擬合方法。

而在網(wǎng)絡(luò)訓(xùn)練過程中，并非每個(gè)神經(jīng)元均對(duì)網(wǎng)絡(luò)分類起正向作用，所以對(duì)于網(wǎng)絡(luò)中的所有計(jì)算單元，還需引入p來表示該單元被棄置的概率：

其中，pa為樣本a分類結(jié)果為1 的概率；Ba為樣本a所屬類別樣本中對(duì)于網(wǎng)絡(luò)起負(fù)向作用的樣本。使用交叉熵作為定義方式，則有：

式中，θ為訓(xùn)練樣本經(jīng)網(wǎng)絡(luò)預(yù)測后的概率分布；θ′為訓(xùn)練樣本的實(shí)際概率分布。

此外，在進(jìn)行模型訓(xùn)練時(shí)，該文使用了Adam優(yōu)化器。相較于傳統(tǒng)梯度下降算法(Gradient Descent，GD)，該優(yōu)化器采用損失函數(shù)梯度的一階矩、二階矩對(duì)參數(shù)學(xué)習(xí)率進(jìn)行動(dòng)態(tài)估計(jì)。在每次矯正后，學(xué)習(xí)率均處于一個(gè)確定范圍內(nèi)，從而保證了參數(shù)的穩(wěn)定性。

在優(yōu)化時(shí)，Adam 首先要計(jì)算損失函數(shù)J在t時(shí)刻的梯度：

式中，ξ為網(wǎng)絡(luò)中的訓(xùn)練參數(shù)。記mt為梯度的一階動(dòng)量，vt為梯度的二階動(dòng)量，將t=0 時(shí)刻的m0置為0。此時(shí)，可以得到一階、二階動(dòng)量的更新方式為：

式中，β1與β2分別為一階、二階動(dòng)量的衰減系數(shù)。

在動(dòng)量的更新過程中，需要及時(shí)糾正偏差對(duì)于優(yōu)化初期的動(dòng)量影響。將、記為糾正后的一階、二階動(dòng)量，并引入偏差糾正方法如式（11）所示：

最終，獲得網(wǎng)絡(luò)中參數(shù)ξ的更新方法如下：

式中，α為Adam 算法的學(xué)習(xí)率，文中將其初始值設(shè)為0.001；ε為分母的外置因子，通常取ε=10-8，從而避免訓(xùn)練過程中分母為0 的情況。

2 測試與數(shù)值分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

基于上述理論基礎(chǔ)，該文使用CNN 網(wǎng)絡(luò)提取數(shù)據(jù)中的深層特征，同時(shí)利用Bi-LSTM 網(wǎng)絡(luò)評(píng)估用電數(shù)據(jù)的時(shí)間序列特性，進(jìn)而構(gòu)建了CNN-Bi-LSTM復(fù)合模型?；谠撃Ｐ偷挠秒娦袨檎鐒e流程如圖5所示。

圖5 該文模型的用電行為甄別流程

為了驗(yàn)證所提算法的有效性，首先確定甄別用電行為的用戶范圍，并對(duì)其用電數(shù)據(jù)進(jìn)行采集和標(biāo)注。文中采集了某市供電公司4 237 個(gè)電力用戶兩個(gè)月內(nèi)智能電表的三相電流數(shù)據(jù)，并基于電力大數(shù)據(jù)分析、現(xiàn)場稽查及專家研判的綜合結(jié)果，對(duì)用戶是否存在竊電的行為進(jìn)行了人工標(biāo)注，以獲得實(shí)驗(yàn)所需的數(shù)據(jù)集參數(shù)。具體參數(shù)如表1 所示。

表1 算法仿真使用的數(shù)據(jù)集參數(shù)

然后根據(jù)上文所述的理論基礎(chǔ)與數(shù)據(jù)集參數(shù)，確定CNN 網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)，具體如表2 所示。CNN在提取數(shù)據(jù)特征后，再將該特征輸入至雙向LSTM 網(wǎng)絡(luò)中。此外，Bi-LSTM 網(wǎng)絡(luò)的隱藏層單元個(gè)數(shù)為100個(gè)，CNN 和Bi-LSTM 的復(fù)合網(wǎng)絡(luò)的輸出層則為Softmax 層。

表2 CNN結(jié)構(gòu)參數(shù)

根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可得到CNN 及Bi-LSTM 網(wǎng)絡(luò)的訓(xùn)練參數(shù)分別如表3-4 所示。

表3 CNN訓(xùn)練參數(shù)

表4 Bi-LSTM訓(xùn)練參數(shù)

為了合理評(píng)估該文算法的性能，文中對(duì)其進(jìn)行了訓(xùn)練和測試實(shí)驗(yàn)。實(shí)驗(yàn)所采用的硬件平臺(tái)如表5所示。

表5 算法仿真硬件平臺(tái)

2.2 實(shí)驗(yàn)結(jié)果

算法的測試可抽象為二分類問題，即行為甄別的結(jié)果只有兩類：存在竊電行為與不存在竊電行為。因此文中使用二分類問題常用的評(píng)價(jià)指標(biāo)體系，即精確率(Precision)、召回率(Recall)和F1 值來對(duì)算法性能進(jìn)行評(píng)估。三個(gè)指標(biāo)的定義方式如下：

該文在評(píng)估所提算法(CNN-Bi-LSTM)的性能時(shí)，選擇了CNN、Bi-LSTM 以及CNN-LSTM 網(wǎng)絡(luò)作為對(duì)比算法。四種算法的訓(xùn)練魯棒性以及相關(guān)測試指標(biāo)對(duì)比結(jié)果如表6-7 所示。

表6 不同算法的訓(xùn)練魯棒性對(duì)比結(jié)果

表6 顯示了不同算法的訓(xùn)練穩(wěn)定性，由表6 可知，CNN 網(wǎng)絡(luò)的F1 值方差為0.213 2%，該文算法則為0.100 8%，與前者相比降低了52.72%。由此說明，該文算法的魯棒性明顯提升。而從表7 中可以看出，所提算法的準(zhǔn)確率、召回率及F1 值均有顯著提升。且相較于CNN、Bi-LSTM 網(wǎng)絡(luò)，該文算法的F1 值分別提升了10.04%和8.32%。對(duì)比表6-7 的結(jié)果可看出，該文算法在訓(xùn)練與測試時(shí)的F1 值較為接近，僅相差0.03%，而三種對(duì)比算法分別相差了2.48%、3.39%和0.96%。由此說明，改進(jìn)后算法的泛化性能與訓(xùn)練結(jié)果更為接近，因此不易出現(xiàn)過擬合現(xiàn)象。

表7 不同算法的評(píng)價(jià)指標(biāo)對(duì)比結(jié)果

3 結(jié)束語

該文結(jié)合CNN 及LSTM 這兩個(gè)主流深度學(xué)習(xí)框架中的優(yōu)勢，建立了基于CNN-Bi-LSTM 的異常用電行為的甄別模型。仿真結(jié)果表明，所提算法的識(shí)別精度、魯棒性等指標(biāo)較現(xiàn)有算法有了顯著改善。未來，隨著電力系統(tǒng)數(shù)字化進(jìn)程的加速，可將該文算法應(yīng)用于各類反竊電場景中，以期為電力系統(tǒng)的安全、平穩(wěn)運(yùn)行保駕護(hù)航。