基于深度并行CNN-BiLSTM的能源互聯(lián)網(wǎng)電負荷和熱負荷聯(lián)合預測模型

廖清陽， 王 軍， 胡凱強， 宋 堯， 宗志亞， 范俊秋

(1. 貴州電網(wǎng)有限責任公司貴安供電局，貴州 貴安 550025; 2. 華南理工大學，廣東 廣州 510599)

0 引 言

能源互聯(lián)網(wǎng)系統(tǒng)集成多種能源存儲和轉換裝置，因此電、熱等能源系統(tǒng)存在緊密的聯(lián)系，呈現(xiàn)能源互聯(lián)的特點[1]。電、熱等負荷預測在能源調度、設備檢修等發(fā)揮關鍵作用。為完成負荷預測這一復雜的非線性問題，專家們提出一系列電、熱等負荷預測模型。例如，有專家應用灰度關聯(lián)[2]、時空特征變量[3]理論開展電力負荷預測研究工作，并嘗試開展電、熱、冷負荷聯(lián)合預測工作[4]。

深度學習技術憑借優(yōu)異的特征表達能力在多領域發(fā)揮重大作用[5]。其中，雙向遞歸神經(jīng)網(wǎng)絡（bidirectional recurrent neural network，BiRNN）[6]可從前后兩個方向學習數(shù)據(jù)序列的時序信息，長短期記 憶 網(wǎng) 絡 （ long and short term memory network，LSTM）[7]可學習數(shù)據(jù)序列的長期依賴信息，卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）[8]可學習數(shù)據(jù)序列中局部區(qū)域的關鍵特征。在BiRNN方面，程換新等[9]應用改進粒子群算法優(yōu)化RNN，有效優(yōu)化電力負荷模型網(wǎng)絡權重參數(shù)。在LSTM方面，楊甲甲[10]應用LSTM開展工業(yè)負荷短期預測研究，取得較好的預測結果；張建寰[11]分別應用LSTM、門循環(huán)單元（GRU）神經(jīng)網(wǎng)絡、棧式自編碼器（SAE）構建電力負荷預測模型，經(jīng)仿真確定三種預測模型具備一定的可行性，LSTM預測模型對于單因素預測精度較高；呂海燦等[12]提出基于Wide&DeepLSTM的短期電力負荷預測模型，可捕獲多維度和時序性電力負荷特征信息。在CNN方面，呂志星等[13]采用CNN開展用戶短期電力負荷預測研究，預測的誤差值百分比降低了約20%。史佳琪等[14]提出多元負荷預測模型，并驗證其在實際環(huán)境中的有效性。對于電力負荷預測任務，存在較多的LSTM和CNN研究成果[15-16]，但神經(jīng)網(wǎng)絡的應用價值還有待挖掘；同時，學者們主要提取單一能源負荷特征來開展電、熱等負荷預測研究，未考慮多能源的互聯(lián)狀態(tài)完成負荷預測任務。

本文應用BiRNN和CNN并行網(wǎng)絡的特征提取優(yōu)勢開展電熱負荷聯(lián)合預測研究工作，提出基于深度并行CNN-BiLSTM的能源互聯(lián)網(wǎng)電熱負荷聯(lián)合預測模型。首先設計了三個電熱負荷聯(lián)合預測模型，再仿真確定較優(yōu)模型，研究并行網(wǎng)絡和聯(lián)合預測方式對模型性能的影響，對比分析本模型與同領域模型的負荷預測性能。

1 電負荷和熱負荷聯(lián)合預測模型

1.1 模型簡述

基于深度并行CNN-BiLSTM的能源互聯(lián)網(wǎng)電負荷和熱負荷聯(lián)合預測模型簡圖如圖1所示。

圖1 能源互聯(lián)網(wǎng)電負荷和熱負荷聯(lián)合預測模型簡圖

采用可表征電負荷和熱負荷序列信息的樣本作為負荷序列數(shù)據(jù)集；對于特征提取層，設計三個具備不同優(yōu)勢的網(wǎng)絡從負荷類序列數(shù)據(jù)集中捕獲關鍵負荷特征信息；對于預測層，應用全局平均池化對不同尺寸的關鍵負荷特征作降采樣操作，再應用一個全連接層統(tǒng)計負荷特征，預測電負荷和熱負荷值。

1.2 深度并行CNN-BiLSTM模塊

雙向長短期記憶網(wǎng)絡（bidirectional short and long term memory network，BiLSTM）可直接從數(shù)據(jù)序列中捕獲上下文依賴特征；CNN可通過靈活的多分支子網(wǎng)絡提取局部、大感受野、抽象的特征，且保留完整的特征信息，增強特征表達能力。因此，在特征提取層中采用BiLSTM，且為驗證完整、大感受野、抽象的負荷特征對模型的貢獻，修改CNN的多分支子網(wǎng)絡，設計三個深度并行CNN-BiLSTM模塊。

三個深度并行CNN-BiLSTM模塊的頭部均應用BiLSTM捕獲電負荷和熱負荷序列數(shù)據(jù)的長時間上下文依賴信息。BiLSTM[17]由BiRNN和LSTM兩部分構成。BiRNN計算方式如公式（1）、公式（2）和公式（3）所示。

BiRNN先從負荷序列數(shù)據(jù)前后兩個方向同時捕獲負荷特征，再采用線性方式組合兩種負荷特征，有效提高模型對負荷序列數(shù)據(jù)的特征表達能力。但BiRNN不具備捕獲負荷序列中長期依賴關系的能力，因此應用LSTM改進計算方式，捕獲長期依賴信息。計算方式如公式（4）、公式（5）、公式（6）、公式（7）、公式（8）、公式（9）所示。

*——矩陣乘法；

·——點乘運算。

結合BiRNN和LSTM的優(yōu)點即獲得BiLSTM。BiLSTM從負荷序列數(shù)據(jù)中捕獲雙向和長期依賴的多層次負荷特征信息，有利于模型的特征表達。

考慮負荷特征信息的完整性對模型的貢獻，設計深度并行CNN-BiLSTM模塊1，如圖2所示。

圖2 深度并行CNN-BiLSTM模塊1

對于深度并行CNN-BiLSTM模塊1的CNN部分，設計兩個分支子網(wǎng)絡。對于第一個子網(wǎng)絡，應用卷積核維度為1、步長為1的卷積操作和ReLU非線性激活函數(shù)對負荷特征進行線性和非線性變換，捕獲細致的局部性負荷特征；對于第二個子網(wǎng)絡，僅將輸入負荷特征直接引至輸出端，保留較完整的特征信息。

考慮大感受野負荷特征信息對模型的貢獻，設計深度并行CNN-BiLSTM模塊2，如圖3所示。

圖3 深度并行CNN-BiLSTM模塊2

對于CNN部分，設計兩個分支子網(wǎng)絡。對于第一個子網(wǎng)絡，應用卷積操作和ReLU捕獲細致的負荷特征；對于第二個子網(wǎng)絡，依次應用步長為1、步長為3的卷積操作期望捕獲更大感受野下的多維度特征信息。

在負荷特征信息的完整性和大感受野負荷特征信息的基礎上，同時考慮深層次網(wǎng)絡提取的抽象負荷特征對模型的貢獻，設計深度并行CNN-BiLSTM模塊3，如圖4所示。

圖4 深度并行CNN-BiLSTM模塊3

對于CNN部分，設計四個分支子網(wǎng)絡。對于第一個子網(wǎng)絡，僅應用一個卷積操作捕獲細致的負荷特征；對于第二個子網(wǎng)絡，依次應用步長為1、步長為3和步長為3的卷積操作捕獲大感受野、抽象的負荷特征；對于第三個子網(wǎng)絡，依次應用步長為1、步長為3、步長為5的卷積操作捕獲抽象、多維度的負荷特征；對于第四個子網(wǎng)絡，保留經(jīng)BiLSTM處理的長期依賴的多層次負荷特征，避免梯度消失現(xiàn)象的出現(xiàn)；對于所有的卷積操作，均應用ReLU對輸出值作非線性變換操作，迫使模型快速收斂。

1.3 仿真環(huán)境

為預測某一時刻的電負荷和熱負荷值，需從某個綜合能源系統(tǒng)園區(qū)中采集預測時刻前1小時內的電負荷平均值、熱負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節(jié)假日（1/0）標識值，將其組合為向量作為輸入數(shù)據(jù)序列。

為完成模型的仿真，共采集10000個小時的樣本數(shù)據(jù)集，依據(jù)比例8∶1∶1隨機劃分樣本數(shù)據(jù)到訓練集、驗證集和測試集中，則有8000個訓練集、1000個驗證集和1000個測試集。

應用Tensorflow深度學習框架在Ubuntu16.04平臺上實現(xiàn)模型；應用Xavier方法初始化所有卷積核權重，迫使權重符合零均值、單位方差的自然分布狀態(tài)；設置偏置值為0.02；設置學習率為0.0001。

2 訓練階段仿真分析

2.1 批次樣本量仿真研究

對于模型特征提取層，設置應用深度并行CNNBiLSTM模塊1的模型為電熱負荷聯(lián)合預測模型1，則應用深度并行CNN-BiLSTM模塊2的模型為電熱負荷聯(lián)合預測模型2，應用深度并行CNN-BiLSTM模塊3的模型為電熱負荷聯(lián)合預測模型3。應用誤差值比作為本模型性能評價指標，計算方法如公式（10）、公式（11）和公式（12）所示。

驗證誤差值比比訓練誤差值比具備更高的參考價值。

研究批次樣本量下模型負荷預測性能。合理的批次樣本量有利于獲得具備泛化性的損失值，從而增強模型泛化能力。設置批次樣本量分別為4、8、12、16、20，訓練三個模型至800代，觀察驗證綜合負荷誤差均值比，如圖5所示。

圖5 不同批次樣本量下的驗證綜合負荷誤差均值比

對于各批次樣本量，模型1的驗證綜合負荷誤差均值比明顯高于模型2和模型3，說明模型1從樣本數(shù)據(jù)中捕獲的負荷信息較少，不具備較好的電熱負荷預測能力；當批次樣本量逐漸增加時，三個模型的驗證綜合負荷誤差均值比首先快速降低，再稍有上升局勢，說明一定數(shù)量樣本量有利于模型統(tǒng)計具備代表性的損失值，促進模型優(yōu)化參數(shù)；當批次樣本量為16時，三個模型均具備最佳的驗證綜合負荷誤差均值比，分別為 0.0627、0.0397和0.0314。

2.2 迭代次數(shù)仿真研究

研究迭代次數(shù)下模型負荷預測性能。結合驗證負荷誤差和訓練負荷誤差可觀察模型是否出現(xiàn)過擬合現(xiàn)象，應用損失值可知模型收斂狀態(tài)，便于保存最佳的電熱負荷聯(lián)合預測模型。

當批次樣本量為16時，模型1、模型2和模型3的訓練、驗證CLE均值如圖6、圖7、圖8所示，三個模型的損失值變化狀態(tài)如圖9所示。模型1的損失值始終高于模型2和模型3，說明模型1的綜合電荷預測值與真實值差值較大；在約600代后，模型1損失值波動較小，到達收斂狀態(tài)，驗證CLE均值為0.0627；在約700代后，模型2到達收斂狀態(tài)，驗證 CLE均值為 0.0397；在約 600代后，模型3到達收斂狀態(tài)，具備最優(yōu)的驗證CLE均值，為0.0205。

圖6 模型1的負荷誤差均值比

圖7 模型2的負荷誤差均值比

圖8 模型3的負荷誤差均值比

圖9 三個模型的損失值

綜上，在批次樣本量為16時，選擇訓練至600代模型1、訓練至700代模型2和訓練至600代模型3開展后續(xù)研究。

3 測試階段仿真分析

3.1 CLE仿真分析

應用CLE評測模型的電熱負荷預測性能。在測試樣本集上統(tǒng)計三個模型的和CLE的平均值，結果如圖10所示。

圖10 模型電熱負荷預測性能

應用模型3預測某一周的電負荷和熱負荷，結果如圖11、圖12所示。

圖11 模型3的電負荷預測結果

圖12 模型3的熱負荷預測結果

對于電負荷和熱負荷的預測任務，模型3的預測結果僅在部分數(shù)據(jù)突變區(qū)域與真實結果有略大差異，在其他數(shù)據(jù)區(qū)域皆逼近真實結果。說明電熱負荷聯(lián)合預測模型3具備較優(yōu)的預測性能。

3.2 串行與并行網(wǎng)絡仿真分析

研究并行子網(wǎng)絡結構與串行網(wǎng)絡結構預測性能?；诒疚碾姛嶝摵陕?lián)合預測模型，對于特征提取層，設計串行CNN-BiLSTM模型，如圖13所示。

圖13 串行CNN-BiLSTM模型

在同樣的仿真環(huán)境中訓練此串行電熱負荷聯(lián)合預測模型，并在測試集上統(tǒng)計和CLE平均值，如表1所示。

表1 串行和并行網(wǎng)絡模型電熱負荷預測性能

統(tǒng)計兩個模型的負荷誤差分布情況，箱線圖結果如圖14所示。

圖14 模型的CLE分布情況

模型3的CLE分布區(qū)域在4%以下；串行預測模型的CLE分布區(qū)域在6%以上，且存在兩個偏離較大的異常值。說明模型3可捕獲電熱負荷的強相關特征信息，有利于完成負荷 預測任務。

應用模型3和串行預測模型預測同一周的電負荷和熱負荷，結果如圖15、圖16所示。

圖15 兩個模型的電負荷預測結果

圖16 兩個模型的熱負荷預測結果

模型3對于電負荷和熱負荷的預測數(shù)據(jù)僅在部分數(shù)據(jù)突變區(qū)域與真實數(shù)據(jù)有略大差異；串行預測模型對于電負荷和熱負荷的預測數(shù)據(jù)與真實數(shù)據(jù)有較大差異，在熱負荷方面體現(xiàn)得最明顯。說明模型3的并行網(wǎng)絡結構比串行網(wǎng)絡結構具備更優(yōu)的負荷特征捕獲能力，有效增強模型的特征表達能力。

3.3 聯(lián)合預測與單負荷預測仿真分析

采用當前模型3聯(lián)合預測電負荷和熱負荷值。為研究單負荷預測性能，對于模型3網(wǎng)絡，分別設置預測目標為電負荷和熱負荷，并在相同環(huán)境中訓練模型，測試負荷誤差均值比，結果如表2所示。

表2 聯(lián)合預測和單負荷預測階段的誤差均值比

對于電負荷和熱負荷，單負荷預測階段的負荷誤差均值比分別為 0.0597和 0.0692，均高于聯(lián)合預測階段的負荷誤差均值比。說明聯(lián)合預測方式可學習到電負荷和熱負荷的互聯(lián)信息，降低負荷誤差均值百分比約3%，具備較優(yōu)的預測性能。

研究單負荷預測和聯(lián)合負荷預測方式的模型訓練和預測時長。對于訓練階段，記錄模型在訓練集中的負荷特征學習時長；對于預測階段，記錄模型在測試集中的電熱負荷預測時長。結果如表3所示。

表3 聯(lián)合預測和單負荷預測階段的訓練和預測時長

與聯(lián)合預測方式相比，在訓練階段，單負荷預測方式的電、熱負荷訓練時長略小，但總訓練時長很高；在測試階段，單負荷預測方式的總預測時長同樣很高。說明對于模型訓練和預測過程，聯(lián)合預測方式下模型的訓練時長和測試時長分別為4275 s和604 s，均約為單負荷預測方式下時長的一半，具備較高的效率。

3.4 模型綜合分析

研究聯(lián)合預測模型的負荷預測性能。經(jīng)調研，程換新等[9]、呂海燦等[12]、呂志星等[13]、史佳琪等[14]的負荷預測模型應用了深度學習中典型的RNN、LSTM和CNN等技術，獲得較好的結果，因此復現(xiàn)對應模型，分別稱為RNN-Net、LSTM-Net、CNN-Net、Shi-Net， 其 中RNN-Net、LSTM-Net、CNN-Net為電負荷預測模型，Shi-Net為多元負荷預測模型。稱本文模型為BiLSTMCNN-Net。仿真所有模型在本文數(shù)據(jù)集下的誤差值百分比。其中RNN-Net、LSTM-Net、CNN-Net是單負荷預測模型，所以將它們依次在電負荷序列數(shù)據(jù)集（電負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節(jié)假日（1/0）標識值）、熱負荷序列數(shù)據(jù)集（熱負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節(jié)假日（1/0）標識值）下訓練并獲得測試結果；Shi-Net和本文的BiLSTMCNN-Net均為聯(lián)合預測模型，所以將Shi-Net在電、熱負荷序列數(shù)據(jù)集下訓練并獲得測試結果。仿真結果如表4所示。

表4 模型負荷預測結果的誤差均值比

觀察可知，RNN-Net、LSTM-Net、CNN-Net、Shi-Net的平均值分別為 0.0575、0.0424、0.0457、0.0431，平均值分別為 0.1312、0.1390、0.1053、0.0375；RNN-Net、LSTM-Net、CNN-Net原為電負荷預測模型，Shi-Net原為多元負荷預測模型，LSTMNet的均值較低，為0.0424，但它們的均值遠高于Shi-Net；Shi-Net的均值和CLE均值較低，分別為 0.0375和 0.0474；BiLSTMCNN-Net擁有最低的、、CLE均值。說明當前的電負荷預測模型不適用于熱負荷預測任務；多元負荷預測模型Shi-Net具備較好的電、熱負荷預測性能，但仍差于本文的BiLSTMCNN-Net。

綜合分析，本文的聯(lián)合預測模型較全面提取電負荷、熱負荷的特征信息，具備較好的應用價值。

4 結束語

本文提出了能源互聯(lián)網(wǎng)電負荷和熱負荷聯(lián)合預測模型，得出結論：

1）研究各模型負荷預測能力。模型1、模型2和模型 3的 CLE 均值分別為 0.0627、0.0498和0.0311，說明模型3通過四個并行子網(wǎng)絡同時捕獲完整、大感受野、抽象的負荷特征，對電、熱負荷的預測誤差均值比分別為0.0315和0.0301。將模型3作為最終的能源互聯(lián)網(wǎng)電熱負荷聯(lián)合預測模型。

2）研究模型的并行網(wǎng)絡與聯(lián)合預測方式優(yōu)勢。由四個并行子網(wǎng)絡組成的電熱負荷聯(lián)合預測模型的負荷誤差均值比低于串行網(wǎng)絡模型約3%，說明并行網(wǎng)絡有利于模型捕獲多層次負荷特征信息；電熱負荷聯(lián)合預測模型的負荷誤差均值比低于單負荷預測模型約3%，且其訓練和預測時間均約為單負荷預測模型的一半，說明聯(lián)合預測方式可保持較高的效率學習電熱負荷互聯(lián)信息，增強模型的特征表達能力。

3）分析同領域模型負荷預測性能。將本文模型與領域內典型的 RNN-Net、LSTM-Net、CNN-Net、Shi-Net在相同條件下開展仿真分析，可知LSTMNet的均值較低，為 0.0424；Shi-Net的均值和 CLE 均值較低，分別為 0.0375和 0.0474；本文模型的均值、均值和CLE均值最高，分別為 0.0315、0.0301、0.0311。說明本文模型適用于電負荷、熱負荷聯(lián)合預測任務。