基于CNN-LSTM分位數(shù)回歸的母線負荷日前區(qū)間預(yù)測

唐戈， 余一平， 秦川， 鞠平

(河海大學(xué)能源與電氣學(xué)院，江蘇 南京 211100)

0 引言

準(zhǔn)確的母線負荷預(yù)測對電網(wǎng)的安全穩(wěn)定運行具有重要意義。相較于系統(tǒng)負荷，母線負荷量級低，各母線的負荷成分也不同，不確定性更明顯，因此預(yù)測難度更大[1]。

母線負荷的傳統(tǒng)日前預(yù)測大多采用點預(yù)測方法[2—3]，其預(yù)測結(jié)果為確定的預(yù)測點值，無法提供預(yù)測的不確定性信息。點預(yù)測方法對于趨勢相近且波動性較弱的母線負荷，例如商業(yè)居民類負荷的日前預(yù)測可達到較高的精度。但如母線負荷成分中包含一定比例波動性強的工業(yè)負荷，點預(yù)測結(jié)果可能難以滿足精度需求。區(qū)間預(yù)測方法可以提供某一置信區(qū)間下未來時刻負荷功率的波動范圍(上、下限)，對于波動性較強的母線負荷預(yù)測更具有實用性[4]。

國內(nèi)外學(xué)者已提出多種區(qū)間預(yù)測的方法，常見的方法如基于誤差統(tǒng)計的區(qū)間預(yù)測[5]、基于人工智能等方法的直接區(qū)間預(yù)測[6—7]和概率密度預(yù)測[8—9]等。文獻[5]計及負荷的不確定性，將點預(yù)測值與預(yù)測誤差值進行疊加獲得預(yù)測區(qū)間的上、下限，該方法對預(yù)測模型的點預(yù)測精度要求較高。文獻[6—7]利用神經(jīng)網(wǎng)絡(luò)建立區(qū)間預(yù)測模型，并將區(qū)間覆蓋率、區(qū)間寬度等多個評價指標(biāo)的綜合函數(shù)作為目標(biāo)，優(yōu)化網(wǎng)絡(luò)參數(shù)。但在構(gòu)造目標(biāo)函數(shù)的過程中，各項指標(biāo)之間權(quán)重及參數(shù)的設(shè)置尚無統(tǒng)一方法。文獻[8—9]采用將機器學(xué)習(xí)或深度學(xué)習(xí)與分位數(shù)回歸相結(jié)合的方法獲得不同分位點的概率密度預(yù)測結(jié)果，從而得到給定置信區(qū)間下預(yù)測負荷的變化區(qū)間。

文中針對具有較強波動性的母線負荷，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural net work,CNN)與長短期記憶網(wǎng)絡(luò)分位數(shù)回歸(quantile regression long short-term memory，QRLSTM)組合的日前負荷區(qū)間預(yù)測模型。采用基于時間分布層(time distributed layer,TDL)封裝的一維CNN對輸入的歷史負荷特征進行提取和壓縮，建立基于注意力(attention)機制的QRLSTM模型進行特征學(xué)習(xí)，從而獲得給定置信區(qū)間內(nèi)的負荷變化區(qū)間，并從區(qū)間覆蓋率、區(qū)間寬度等方面對區(qū)間預(yù)測的效果進行評估以驗證文中方法的有效性。

1 母線負荷日前區(qū)間預(yù)測原理與步驟

1.1 母線負荷日前區(qū)間預(yù)測原理

文中采用分位數(shù)回歸方法進行區(qū)間預(yù)測，其誤差指標(biāo)一般采用pinball損失函數(shù)，可表示為[10—11]：

(1)

1.2 母線負荷日前區(qū)間預(yù)測步驟

母線負荷日前區(qū)間預(yù)測步驟如圖1所示。

圖1 負荷區(qū)間預(yù)測流程Fig.1 Flow chart of day ahead load interval forecasting

由圖1可知，預(yù)測首先進行降噪處理，其次進行特征選擇，然后進行特征提取，最后進行分位點預(yù)測。由于第2步基于文獻[12]所述方法進行特征選擇，確定模型輸入的歷史特征為待預(yù)測時刻前2天的歷史負荷，不做詳細介紹。文中將重點介紹降噪處理、特征提取、分位點預(yù)測3個步驟的具體方法。

2 母線負荷日前區(qū)間預(yù)測方法

2.1 基于去噪自編碼器的負荷數(shù)據(jù)降噪方法

對于含工業(yè)類負荷的母線，其日負荷曲線中往往包含一些“毛刺”類高頻波動，會增加模型的學(xué)習(xí)負擔(dān)，影響負荷預(yù)測的精度。因此，文中采用去噪自編碼器(denoising auto-encoder，DAE)進行數(shù)據(jù)平滑處理。DAE是自編碼器(auto-encoder，AE)的一種變體，其在AE的基礎(chǔ)上引入了噪聲(通常使用高斯噪聲)，模型的魯棒性更強。AE由編碼器和解碼器兩部分組成。編碼器可將原始輸入數(shù)據(jù)編碼轉(zhuǎn)換成另一種表示，該表示蘊含了輸入數(shù)據(jù)的信息。而解碼器則是對該表示進行解碼。DAE使用添加了噪聲的數(shù)據(jù)進行編碼和解碼，并通過最小化網(wǎng)絡(luò)輸出與原始數(shù)據(jù)間的損失函數(shù)進行訓(xùn)練[13]。文中采用的DAE的結(jié)構(gòu)如下。

(1) 編碼器：由1個一維卷積層和1個最大池化層構(gòu)成。

(2) 解碼器：通過在2個一維卷積層之間添加1個一維上采樣層來構(gòu)成。

文中在DAE的輸入端疊加高斯噪聲，并使得其在訓(xùn)練過程中設(shè)法去除引入的噪聲。訓(xùn)練數(shù)據(jù)以一天96點負荷為單位，訓(xùn)練目標(biāo)為最小化重構(gòu)誤差，誤差的損失函數(shù)取均方誤差(mean squared er ror,MSE)。

2.2 基于TDL封裝一維CNN網(wǎng)絡(luò)的特征提取方法

文中采用了基于TDL封裝的一維CNN網(wǎng)絡(luò)來進行特征提取。CNN簡化結(jié)構(gòu)主要包括輸入層、卷積層和池化層等。

卷積層將輸入的一維歷史負荷數(shù)據(jù)先與一維卷積核進行卷積運算，再使用激活函數(shù)對經(jīng)卷積運算后的數(shù)據(jù)進行非線性化處理，可表示為[14—15]：

C=fr(X?W+b1)

(2)

fr(z)=max(z,0)

(3)

式中：X=[x1x2…xn]T為長度為n的歷史負荷數(shù)據(jù)；W為權(quán)重矩陣；b1為偏置；C為卷積層的輸出；fr(z)為激活函數(shù)，文中采用的激活函數(shù)為Relu函數(shù)。

池化層的主要作用是能在保持特征不變性的前提下去除一些冗余信息，把重要的特征抽取出來，即特征的再提取，同時實現(xiàn)數(shù)據(jù)降維。目前常見的池化方法分為均值池化、最大池化等，由于均值池化性能不如最大池化而更少被使用[16—17]。文中選擇的是最大池化，可表示為：

S=maxC+b2

(4)

式中：S為池化層的輸出；b2為偏置。

由于網(wǎng)絡(luò)的輸入特征為前2天的歷史負荷，即192點(日負荷曲線96點)，如果直接使用一維CNN進行特征提取，會增加網(wǎng)絡(luò)規(guī)模增加訓(xùn)練難度。因此，文中采用TDL對一維CNN的各層進行封裝，從而將過長的時間序列數(shù)據(jù)切分成幾個稍短的時間序列數(shù)據(jù)同時進行特征提取，提高模型訓(xùn)練效率。此外，考慮后續(xù)LSTM網(wǎng)絡(luò)輸入維度限制，在池化層后增加1個TDL封裝的扁平層，用于數(shù)據(jù)維度的壓縮。

文中將待預(yù)測目標(biāo)時刻前192個時刻點的歷史負荷數(shù)據(jù)均勻切分成8個較短的時間序列數(shù)據(jù)。經(jīng)過特征壓縮后，輸出的數(shù)據(jù)維度則為(n,8,32)。其中，n為樣本數(shù)，8為時間步長，32為變量維數(shù)[18—19]，有利于后續(xù)LSTM網(wǎng)絡(luò)的學(xué)習(xí)。整個特征提取與壓縮的結(jié)構(gòu)見圖2。

圖2 特征提取與壓縮結(jié)構(gòu)Fig.2 The structure of feature extraction and compression

2.3 基于QRLSTM網(wǎng)絡(luò)的分位點預(yù)測方法

LSTM主要由輸入門(it)、遺忘門(ft)、輸出門(ot)和內(nèi)部記憶單元(Ct)組成，通過對細胞狀態(tài)中的信息進行有選擇地“遺忘”和“記憶”，使得對后續(xù)時刻計算有用的信息得以傳遞，無用的信息被丟棄，并在每個時間步輸出隱層狀態(tài)(ht)。輸入門控制接受新信息的程度，遺忘門控制歷史信息被遺忘的程度，而輸出門決定著最終輸出的信息。通過這3種特殊的門結(jié)構(gòu)LSTM可實現(xiàn)對較長的時間序列數(shù)據(jù)進行學(xué)習(xí)[20—21]。

為使LSTM模型在訓(xùn)練過程中更容易獲取序列中長距離相互關(guān)聯(lián)的特征，提高模型訓(xùn)練的效率與效果，文中引入了attention機制，其主要思路是通過對模型輸入特征分配不同的概率權(quán)重，從而突出某些重要的特征。attention機制層的權(quán)重系數(shù)計算公式可表示為[21]：

et=utanh(ωht+b)

(5)

(6)

(7)

式中：tanh為激活函數(shù)；et為第t時刻由LSTM網(wǎng)絡(luò)層輸出向量ht所決定的注意力概率分布值；u和ω為權(quán)重系數(shù)；b為偏置系數(shù);st為attention機制層在t時刻的輸出。

綜上可知，文中采用的QRLSTM網(wǎng)絡(luò)總體結(jié)構(gòu)如圖3所示。輸入為經(jīng)過壓縮、提取的負荷特征，輸出為待預(yù)測日負荷的不同分位點，訓(xùn)練的誤差指標(biāo)參考pinball損失函數(shù)。

圖3 分位數(shù)回歸模型結(jié)構(gòu)Fig.3 Structure of quantile regression model

3 負荷區(qū)間預(yù)測指標(biāo)

由于區(qū)間預(yù)測的結(jié)果是一個區(qū)間值，因此需要指標(biāo)對模型的性能進行評價。文中采用文獻[22]和文獻[23]中的評價指標(biāo)。

(1) 預(yù)測區(qū)間覆蓋率(prediction interval cover age probability,PICP)。

(8)

式中：s為待預(yù)測的數(shù)據(jù)個數(shù)；di為第i個真實負荷值；Ui，Li分別為預(yù)測區(qū)間的上、下限。JPICP的值越大，說明越多的實際負荷落在預(yù)測出的區(qū)間內(nèi)，即預(yù)測出的區(qū)間覆蓋性更好。

(2) 預(yù)測區(qū)間平均寬度(prediction intervals normalized average width,PINAW)。

(9)

式中：R為預(yù)測目標(biāo)的最大、最小值之差。JPICP越大、JPINAW越小，則區(qū)間預(yù)測效果越好。

(3) 預(yù)測區(qū)間累計偏差(prediction intervals accumulative deviation,PIAD)。

(10)

式中：mi為第i個負荷實際值與對應(yīng)預(yù)測區(qū)間的偏差。則預(yù)測區(qū)間累計偏差為：

(11)

JPIAD用于衡量實際負荷與預(yù)測區(qū)間的偏離情況。在JPICP和JPINAW滿足一定要求時，PIAD值越小，表明未落入預(yù)測區(qū)間的負荷值離預(yù)測區(qū)間的邊界越近，區(qū)間預(yù)測效果更好。

4 實例分析

4.1 實例數(shù)據(jù)

以2類典型負荷為例，一是工業(yè)與非工業(yè)混合的負荷，工業(yè)負荷占比大約2/3左右，后面簡稱為工業(yè)為主負荷；二是居民與商業(yè)混合的負荷，后面簡稱為居民商業(yè)負荷。數(shù)據(jù)是220 kV母線負荷，時間跨度為2017-01-01至2018-10-23，數(shù)據(jù)采樣間隔為15 min，也即96點日負荷數(shù)據(jù)。

采用DAE對日負荷曲線進行降噪處理，高斯噪聲系數(shù)根據(jù)經(jīng)驗選擇為0.005。以工業(yè)為主負荷某日的曲線為例，其數(shù)據(jù)處理結(jié)果如圖4所示。由圖4可知，降噪后的負荷曲線既保留了原負荷曲線的變化趨勢，又濾除了隨機高頻波動。

圖4 日負荷曲線降噪前后對比Fig.4 Daily load curve before and after noise filtering

4.2 波動分析

負荷曲線的波動性可采用負荷曲線各點與負荷均值之間的偏差程度來衡量，指標(biāo)類似于均方根誤差(root mean square error,RMSE)，即：

(12)

考慮到不同負荷曲線的平均值大小不一樣，所以采用百分比可能更加直觀：

(13)

2類典型負荷的曲線如圖5所示，波動指標(biāo)列于表1。由此可見，工業(yè)為主負荷的偏差均方根大但均值也大，所以相對偏差均方根反而小。

圖5 不同類型負荷的波動性對比Fig.5 Fluctuation of different loads

表1 2類負荷的波動性對比Table 1 Fluctuation indexes of two types of loads

4.3 區(qū)間預(yù)測結(jié)果

為檢驗文中提出的模型的區(qū)間預(yù)測效果，分別將工業(yè)為主負荷和居民商業(yè)類負荷中的某一日作為待預(yù)測日，并選取95%，90%，80%，70% 4個置信水平建立負荷日前預(yù)測區(qū)間，如圖6和圖7所示。

圖6 工業(yè)為主負荷不同置信水平下的區(qū)間預(yù)測Fig.6 Interval prediction chart of the industrial load at different confidence levels

圖7 居民商業(yè)負荷不同置信水平下的區(qū)間預(yù)測Fig.7 Interval prediction chart of the residential and commercial load under different confidence levels

由圖6和圖7可知：(1) 文中方法所預(yù)測出區(qū)間的變化趨勢與負荷實際值的變化情況基本一致。(2) 隨著置信水平的增加，模型的預(yù)測區(qū)間也逐漸變寬，這是由于越寬的預(yù)測區(qū)間越容易覆蓋住實際負荷。(3) 對于2類不同負荷，文中方法在95%置信水平下均較好地覆蓋了實際負荷。

為了進一步驗證文中方法的優(yōu)勢，分別采用文中方法、QRLSTM和門控循環(huán)單元分位數(shù)回歸[24](quantile regression gated recurrent unit,QRGRU)進行區(qū)間預(yù)測對比。其中，QRLSTM中LSTM的神經(jīng)元個數(shù)及QRGRU中GRU的神經(jīng)元個數(shù)保持一致。不同方法的區(qū)間預(yù)測指標(biāo)如圖8—圖10所示。

圖8 2類負荷不同置信水平下的預(yù)測區(qū)間覆蓋率Fig.8 Prediction interval coverage probability of two types of loads at different confidence levels

圖9 2類負荷不同置信水平下的預(yù)測區(qū)間平均寬度Fig.9 Prediction intervals normalized average width of two types of loads at different confidence levels

圖10 2類負荷不同置信水平下的預(yù)測區(qū)間累計偏差Fig.10 Prediction intervals accumulative deviation of two types of loads at different confidence levels

由圖8—圖10可知：

(1) 在2類不同負荷中，文中方法的預(yù)測區(qū)間覆蓋率JPICP基本滿足或接近各個置信水平的期望。

(2) 對于2類不同負荷，文中方法相比其他2種方法而言，總體上區(qū)間覆蓋率JPICP更大，區(qū)間平均寬度JPINAW和區(qū)間累計偏差JPIAD更小，因此具有更好的區(qū)間預(yù)測性能。以工業(yè)負荷90%置信水平為例，文中方法得到的預(yù)測區(qū)間的JPICP指標(biāo)較QRLSTM和QRGRU增加了8.64%和4.77%，而JPINAW指標(biāo)卻減少了9.86%和8.27%，JPIAD指標(biāo)則減少了66.48%和37.48%。

5 結(jié)語

針對具有較強波動性的母線負荷，文中提出了一種基于CNN與QRLSTM組合的負荷區(qū)間預(yù)測模型。采用TDL對CNN進行封裝，可將較長的時間序列數(shù)據(jù)切分成幾個稍短的時間序列數(shù)據(jù)，實現(xiàn)特征提取與壓縮，有利于后續(xù)LSTM網(wǎng)絡(luò)的特征學(xué)習(xí)，同時在QRLSTM中引入attention機制，使模型更易學(xué)習(xí)特征序列中長距離相互依賴的關(guān)系。實例結(jié)果表明，相比于QRLSTM和QRGRU等以往模型，文中方法得到的預(yù)測區(qū)間總體上具有更高的區(qū)間覆蓋率，同時區(qū)間寬度更窄，區(qū)間累計偏差更小，具有更好的區(qū)間預(yù)測性能。