基于ResNet-LSTM網(wǎng)絡(luò)和注意力機(jī)制的綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)

王 琛 王 穎 鄭 濤 戴則梅 張凱鋒

基于ResNet-LSTM網(wǎng)絡(luò)和注意力機(jī)制的綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)

王 琛1王 穎1鄭 濤2,3戴則梅2,3張凱鋒1

（1. 復(fù)雜工程系統(tǒng)測(cè)量與控制教育部重點(diǎn)實(shí)驗(yàn)室（東南大學(xué)） 南京 210096 2. 南瑞集團(tuán)（國網(wǎng)電力科學(xué)研究院）有限公司 南京 211106 3. 國電南瑞科技股份有限公司 南京 211106）

綜合能源系統(tǒng)中多種負(fù)荷之間可能存在復(fù)雜的、較強(qiáng)的相互耦合關(guān)系。相對(duì)于對(duì)各類負(fù)荷進(jìn)行單一獨(dú)立的預(yù)測(cè)，直接開展多元負(fù)荷預(yù)測(cè)能夠進(jìn)一步挖掘負(fù)荷之間的內(nèi)在聯(lián)系，提高預(yù)測(cè)準(zhǔn)確度。該文提出一種基于ResNet-LSTM網(wǎng)絡(luò)和注意力機(jī)制的多任務(wù)學(xué)習(xí)模型，用于擬合多能負(fù)荷之間的空間耦合關(guān)系和時(shí)間耦合關(guān)系。首先，采用多層ResNet作為多能負(fù)荷數(shù)據(jù)的特征提取單元，挖掘多能之間的空間耦合交互特征；然后，通過雙向長短時(shí)記憶網(wǎng)絡(luò)殘差結(jié)構(gòu)進(jìn)一步挖掘多能負(fù)荷數(shù)據(jù)的時(shí)序特征；接著，使用注意力機(jī)制實(shí)現(xiàn)多任務(wù)對(duì)于共享特征不同程度的關(guān)注，體現(xiàn)不同子任務(wù)對(duì)共享特征的差異化選擇，實(shí)現(xiàn)多元負(fù)荷的聯(lián)合預(yù)測(cè)；最后，結(jié)合亞利桑那州立大學(xué)Campus Metabolism系統(tǒng)的多能負(fù)荷數(shù)據(jù)，與其他預(yù)測(cè)模型進(jìn)行對(duì)比分析，結(jié)果表明所提出的多元負(fù)荷預(yù)測(cè)方法具有更高的預(yù)測(cè)精度。

注意力機(jī)制 殘差網(wǎng)絡(luò) 長短時(shí)記憶網(wǎng)絡(luò) 多元負(fù)荷預(yù)測(cè) 多任務(wù)學(xué)習(xí)

0 引言

綜合能源系統(tǒng)可實(shí)現(xiàn)電、氣、冷、熱等多種異質(zhì)能源之間的協(xié)調(diào)、規(guī)劃、運(yùn)行，是滿足不斷增長的能源需求的重要研究方向。綜合能源系統(tǒng)負(fù)荷預(yù)測(cè)作為其調(diào)度控制的基礎(chǔ)至關(guān)重要。在綜合能源系統(tǒng)中，多種能源網(wǎng)之間通過能量轉(zhuǎn)換設(shè)備互相耦合，如電鍋爐可將電能轉(zhuǎn)換為熱能，燃?xì)忮仩t可將天然氣轉(zhuǎn)換為熱能，電轉(zhuǎn)氣（Power to Gas, P2G）技術(shù)可將電能轉(zhuǎn)換為天然氣，冷熱電聯(lián)產(chǎn)（Combined Cooling Heating and Power, CCHP）系統(tǒng)機(jī)組可將天然氣轉(zhuǎn)換為電能和熱能等[1-2]，再考慮到用戶對(duì)于用能需求的多樣化選擇，因此用戶總體的多元負(fù)荷之間存在復(fù)雜的耦合關(guān)系，若采用多元負(fù)荷預(yù)測(cè)技術(shù)，在預(yù)測(cè)中能將多能負(fù)荷之間復(fù)雜耦合關(guān)系考慮進(jìn)去，將有可能在一定程度上增強(qiáng)負(fù)荷預(yù)測(cè)的準(zhǔn)確性。

傳統(tǒng)的負(fù)荷預(yù)測(cè)方法大多是某種單一負(fù)荷類型的獨(dú)立預(yù)測(cè)。在電力負(fù)荷預(yù)測(cè)方面，主要包括矢量自回歸模型（Vector Autoregression, VAR）、多元線性回歸法[3]、整合移動(dòng)平均自回歸模型（Autoregressive Integrated Moving Average Model, ARIMA）[4]等傳統(tǒng)時(shí)間序列數(shù)據(jù)分析方法，以及決策樹[5]、隨機(jī)森林[6]、支持向量回歸（Support Vector Returns, SVR）[7]、改進(jìn)螢火蟲算法[8]、分頻預(yù)測(cè)[9]、雙向長短時(shí)記憶（Long Short-Term Memory, LSTM）網(wǎng)絡(luò)[10]、徑向基網(wǎng)絡(luò)[11]、改進(jìn)的廣義回歸神經(jīng)網(wǎng)絡(luò)（Generalized Regression Neural Network, GRNN）[12]、極限學(xué)習(xí)機(jī)[13]、即時(shí)學(xué)習(xí)算法[14]等機(jī)器學(xué)習(xí)方法。文獻(xiàn)[15]提出了一種電力市場(chǎng)中基于Attention-LSTM網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)模型，該模型將當(dāng)前電價(jià)和歷史負(fù)荷作為輸入，并采用注意力機(jī)制突出關(guān)鍵特征，得到更好的預(yù)測(cè)效果，說明了注意力機(jī)制的有效性。在冷/熱負(fù)荷預(yù)測(cè)方面，文獻(xiàn)[16]采用XGBoost（eXtreme gradient Boosting）方法以改善冷熱負(fù)荷的預(yù)測(cè)準(zhǔn)確度；文獻(xiàn)[17]驗(yàn)證了與回歸分析和隨機(jī)森林相比，神經(jīng)網(wǎng)絡(luò)模型擁有更高的冷熱負(fù)荷預(yù)測(cè)精度；文獻(xiàn)[18]根據(jù)冷熱負(fù)荷的非線性相關(guān)性，提出一種基于馬爾可夫鏈的負(fù)荷預(yù)測(cè)模型。在天然氣負(fù)荷預(yù)測(cè)方面，主要包括ARIMA模型[19]、LSTM網(wǎng)絡(luò)[20]，以及將果蠅優(yōu)化算法（Fruit Fly Optimization Algorithm, FFOA）、模擬退火算法（Simulated Annealing, SA）和支持向量機(jī)（Support Vector Machines, SVM）多種模型相結(jié)合的集成算法[21]等預(yù)測(cè)方法。

相比于單一負(fù)荷預(yù)測(cè)，多元負(fù)荷預(yù)測(cè)的研究相對(duì)較新，主要包括兩類方法：

1）傳統(tǒng)的時(shí)間序列分析預(yù)測(cè)。例如文獻(xiàn)[22]提出一種基于VAR的夏季多能流系統(tǒng)冷、電、氣負(fù)荷預(yù)測(cè)方法。

2）機(jī)器學(xué)習(xí)方法。多元負(fù)荷預(yù)測(cè)模型普遍采用多任務(wù)結(jié)構(gòu)，以適應(yīng)多元輸出要求。例如文獻(xiàn)[23]提出了一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（Radial Basis Function Neural Network, RBF-NN）模型的電力和天然氣需求的短期預(yù)測(cè)方法；文獻(xiàn)[24]提出了一種基于核主成分分析（Kernel Principal Component Analysis, KPCA）、二次模態(tài)分解、雙向LSTM和多元線性回歸（Multiple Linear Regression, MLR）的多元負(fù)荷預(yù)測(cè)模型；文獻(xiàn)[25]提出了一種以深度置信網(wǎng)絡(luò)（Deep Belief Network, RBN）為基礎(chǔ)的多任務(wù)多元輸出網(wǎng)絡(luò)。此類模型以多任務(wù)網(wǎng)絡(luò)的方式實(shí)現(xiàn)了多元輸出。關(guān)于多任務(wù)的具體結(jié)構(gòu)，文獻(xiàn)[26]構(gòu)建了一種以LSTM為共享層的多任務(wù)學(xué)習(xí)負(fù)荷預(yù)測(cè)模型，首先分別進(jìn)行單一負(fù)荷特征的學(xué)習(xí)，再利用共享層學(xué)習(xí)輔助耦合信息；文獻(xiàn)[27]在LSTM預(yù)測(cè)模型中加入注意力層和dropout層提升了模型的預(yù)測(cè)精度。文獻(xiàn)[20-24]所提出的預(yù)測(cè)方法未能顯式地考慮多能負(fù)荷之間的復(fù)雜耦合交互特征，其中LSTM作為一種循環(huán)神經(jīng)網(wǎng)絡(luò)具有自身的局限性，其雖然能夠較好地挖掘數(shù)據(jù)時(shí)序特征，但并不能充分地挖掘多能負(fù)荷之間的交互耦合關(guān)系。在多任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)方面，模型共享層與特定任務(wù)層之間也只是簡(jiǎn)單的“硬連接”方式，不能體現(xiàn)不同的子任務(wù)對(duì)共享特征具有不同的關(guān)注程度。

本文在已有研究基礎(chǔ)上考慮多能負(fù)荷數(shù)據(jù)強(qiáng)交互、強(qiáng)耦合的特點(diǎn)，關(guān)注多能負(fù)荷數(shù)據(jù)的多能交互耦合特征和時(shí)序特征，將ResNet和LSTM殘差結(jié)構(gòu)相結(jié)合，提出了一種基于注意力機(jī)制的多元負(fù)荷預(yù)測(cè)多任務(wù)學(xué)習(xí)模型（ResNet-LSTM-Attention-Multi-Task Learning, RLA-MTL）。相比于強(qiáng)調(diào)負(fù)荷數(shù)據(jù)時(shí)序關(guān)系的傳統(tǒng)時(shí)間序列方法，本文方法包含顯式的多能負(fù)荷數(shù)據(jù)特征提取環(huán)節(jié)，更能挖掘多能之間的耦合交互關(guān)系。相比于文獻(xiàn)[26]，本文所提出的模型并沒有進(jìn)行單一負(fù)荷特征的學(xué)習(xí)，而是以ResNet作為特征提取單元，直接進(jìn)行多能負(fù)荷之間的交互耦合特征即空間耦合特征的學(xué)習(xí)，然后再利用LSTM殘差結(jié)構(gòu)，進(jìn)行時(shí)間序列特征的學(xué)習(xí)。該方法的優(yōu)點(diǎn)在于可以通過ResNet層獲取到更直接的多能負(fù)荷耦合交互信息，同時(shí)也保持了一定的時(shí)間序列信息，再通過LSTM網(wǎng)絡(luò)進(jìn)一步學(xué)習(xí)時(shí)序特征。ResNet和LSTM網(wǎng)絡(luò)共同構(gòu)成模型共享層，同時(shí)進(jìn)行多能交互耦合特征和時(shí)序特征的挖掘。然后通過注意力機(jī)制實(shí)現(xiàn)不同子任務(wù)對(duì)共享特征的差異化選擇，進(jìn)一步提高了模型預(yù)測(cè)精度。

本文所建立的模型主要應(yīng)用于綜合能源系統(tǒng)中多元負(fù)荷的聯(lián)合預(yù)測(cè)。通過算例驗(yàn)證，與其他經(jīng)典預(yù)測(cè)方法相比，該模型具有更好的預(yù)測(cè)性能。

1 數(shù)據(jù)格式與RLA-MTL網(wǎng)絡(luò)結(jié)構(gòu)

綜合能源系統(tǒng)的多元負(fù)荷預(yù)測(cè)一般需要先將多能負(fù)荷數(shù)據(jù)按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范化，再結(jié)合所采用模型的具體結(jié)構(gòu)確定數(shù)據(jù)格式。目前，國內(nèi)的負(fù)荷預(yù)測(cè)通常需要在當(dāng)天預(yù)測(cè)第二天的負(fù)荷，預(yù)測(cè)頻率為1h，即在當(dāng)天預(yù)測(cè)下一天的24個(gè)負(fù)荷節(jié)點(diǎn)，此類負(fù)荷預(yù)測(cè)技術(shù)是日前調(diào)度的重要基礎(chǔ)。近年來常見的負(fù)荷預(yù)測(cè)方法主要以1h為步長，在當(dāng)前時(shí)刻預(yù)測(cè)未來1h、6h、24h之內(nèi)的負(fù)荷值。本文將分別以最具有代表性的1h和24h為例，進(jìn)行綜合能源的多元負(fù)荷預(yù)測(cè)。

1.1 數(shù)據(jù)格式

綜合考慮多元負(fù)荷的預(yù)測(cè)精度和預(yù)測(cè)時(shí)間，本文模型輸入包括預(yù)測(cè)時(shí)刻前72h整點(diǎn)的電、冷、熱負(fù)荷歷史數(shù)據(jù)和與負(fù)荷需求密切相關(guān)的預(yù)測(cè)日類型[28]和天氣因素[29]，考慮到輸入信息的不同組合方式對(duì)于局部特征提取的影響，模型輸入數(shù)據(jù)格式見表1。根據(jù)前文所述1h預(yù)測(cè)或24h預(yù)測(cè)，分別選擇以待預(yù)測(cè)時(shí)刻（=1）或待預(yù)測(cè)時(shí)間段～+23（=24）的電、冷、熱負(fù)荷作為模型的輸出，輸出數(shù)據(jù)格式見表2。隨機(jī)選取96h多能負(fù)荷數(shù)據(jù)曲線如圖1所示。

表1 輸入數(shù)據(jù)格式（t時(shí)刻）

表2 輸出數(shù)據(jù)格式（時(shí)刻）

Tab.2 Output data format (Time t)

圖1 96h多能負(fù)荷數(shù)據(jù)曲線

1.2 RLA-MTL網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于注意力機(jī)制的多任務(wù)學(xué)習(xí)預(yù)測(cè)模型將多能負(fù)荷的時(shí)序歷史數(shù)據(jù)作為輸入。首先采用多層的ResNet網(wǎng)絡(luò)對(duì)輸入時(shí)序數(shù)據(jù)進(jìn)行64核卷積操作，再進(jìn)行池化操作以降低模型復(fù)雜度，并獲得時(shí)間序列特征矩陣。隨后將新的時(shí)序特征矩陣輸入三層的LSTM殘差網(wǎng)絡(luò)得到共享特征池。每個(gè)子任務(wù)通過注意力模塊從共享特征池中學(xué)習(xí)特定于該任務(wù)的特征，并通過加權(quán)的方式對(duì)共享特征施加不同的關(guān)注，模型結(jié)構(gòu)如圖2所示。

由圖2可知，該模型的主要特點(diǎn)如下：

1）在模型共享層采用ResNet-LSTM網(wǎng)絡(luò)，其中殘差結(jié)構(gòu)（ResNet-block）作為多能負(fù)荷數(shù)據(jù)的特征提取環(huán)節(jié)，能夠有效地提取多能之間的非線性空間耦合特征；三層LSTM的殘差網(wǎng)絡(luò)可以快速有效地?cái)M合多能負(fù)荷數(shù)據(jù)的時(shí)間序列特征。隨后將池化層輸出的空間耦合特征和最后一層LSTM輸出的時(shí)間序列特征拼接組合，得到具有比較完整時(shí)空特性的共享特征池，為后續(xù)子任務(wù)提供更多有效的信息。

圖2 RLA-MTL模型結(jié)構(gòu)

2）不采用直接“硬連接”的多任務(wù)學(xué)習(xí)方式，而通過注意力機(jī)制實(shí)現(xiàn)不同子任務(wù)對(duì)于共享特征不同程度的關(guān)注，以體現(xiàn)子任務(wù)對(duì)共享特征的差異化選擇。

3）模型基本結(jié)構(gòu)具有較強(qiáng)的適用性。首先，ResNet作為廣泛應(yīng)用的特征提取網(wǎng)絡(luò)，具有較強(qiáng)的數(shù)據(jù)適用性；其次，通過調(diào)整特征提取單元（ResNet-block）的層數(shù)和輸出神經(jīng)元的個(gè)數(shù)，可適用于不同復(fù)雜程度的負(fù)荷預(yù)測(cè)任務(wù)。

本文所提出的模型理論上可以更合理高效地利用多能之間的耦合互補(bǔ)特性。從多任務(wù)的角度而言，模型的總體訓(xùn)練時(shí)間預(yù)計(jì)將會(huì)減少，且各個(gè)子任務(wù)的預(yù)測(cè)性能因模型對(duì)多能數(shù)據(jù)的進(jìn)一步挖掘應(yīng)有所提升。

2 模型構(gòu)建

2.1 ResNet網(wǎng)絡(luò)

綜合能源系統(tǒng)中多能負(fù)荷之間存在強(qiáng)交互、強(qiáng)耦合的特點(diǎn)，為進(jìn)一步挖掘多能負(fù)荷之間的交互耦合特征，本文采用ResNet作為前置特征提取單元。ResNet是當(dāng)前應(yīng)用較為廣泛的特征提取卷積網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）一直是近年來深度學(xué)習(xí)研究的熱點(diǎn)，同時(shí)作為一種自動(dòng)特征提取的有效方法而廣泛應(yīng)用于各種領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)的常見結(jié)構(gòu)是交替連接的卷積層和池化層，通過局部感受機(jī)制和連續(xù)的卷積池化操作來挖掘數(shù)據(jù)的有效特征，其主要特點(diǎn)是通過局部連接和共享權(quán)值的方式獲取數(shù)據(jù)的局部特征。而作為一種殘差網(wǎng)絡(luò)，ResNet一般通過堆疊多個(gè)ResNet-block子網(wǎng)絡(luò)而構(gòu)成，本文采用常見于淺層網(wǎng)絡(luò)的二層卷積基本殘差單元結(jié)構(gòu)，如圖3所示。

圖3 ResNet基本單元

假設(shè)ResNet-block所要求解的網(wǎng)絡(luò)映射函數(shù)為()，對(duì)于不含殘差結(jié)構(gòu)的一般卷積層，()為

而對(duì)于采用殘差結(jié)構(gòu)的ResNet-block()為

此時(shí)卷積網(wǎng)絡(luò)所學(xué)習(xí)到的映射函數(shù)(+w)為殘差()-。因?yàn)闅埐顚W(xué)習(xí)相比原始特征直接學(xué)習(xí)更容易，當(dāng)殘差為0時(shí)，ResNet-block相當(dāng)于恒等映射，至少網(wǎng)絡(luò)性能不會(huì)下降，而實(shí)際上殘差不會(huì)恒為0，這使得ResNet-block將會(huì)在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征，從而擁有更好的性能。因此本文使用具有較強(qiáng)數(shù)據(jù)挖掘能力的ResNet對(duì)原始數(shù)據(jù)進(jìn)行處理，充分挖掘多能負(fù)荷之間的交互耦合特征即空間耦合特征。

2.2 LSTM網(wǎng)絡(luò)

為進(jìn)一步挖掘多能負(fù)荷的時(shí)序特征，本文采用LSTM網(wǎng)絡(luò)作為時(shí)間序列特征提取單元。LSTM網(wǎng)絡(luò)是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN），常見用于深度語義分析領(lǐng)域。與標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)不同，LSTM具有反饋連接。它不僅可以用于圖像的處理（單個(gè)數(shù)據(jù)點(diǎn)），而且非常適合根據(jù)時(shí)間序列數(shù)據(jù)進(jìn)行處理和預(yù)測(cè)。LSTM網(wǎng)絡(luò)針對(duì)在訓(xùn)練傳統(tǒng)RNN時(shí)可能遇到的消失梯度問題進(jìn)行了改進(jìn)，增強(qiáng)了長期時(shí)間序列數(shù)據(jù)的處理能力。LSTM網(wǎng)絡(luò)的基本神經(jīng)元如圖4所示。

圖4 LSTM網(wǎng)絡(luò)的基本神經(jīng)元

式中，i為輸入門中Sigmoid模塊的權(quán)重；i為輸入門中Sigmoid模塊的偏置；c為輸入門中tanh模塊的權(quán)重；c為輸入門中tanh模塊的偏置。

式中，o為輸出門中Sigmoid模塊的權(quán)重；o為輸出門中Sigmoid模塊的偏置。

考慮到殘差結(jié)構(gòu)簡(jiǎn)化了學(xué)習(xí)過程，增強(qiáng)了梯度傳播，同時(shí)可以有效地提高模型的訓(xùn)練速度，本文采用如圖2所示的殘差結(jié)構(gòu)LSTM網(wǎng)絡(luò)擬合多能負(fù)荷的時(shí)序特征，并通過算例驗(yàn)證了該結(jié)構(gòu)的有效性。

2.3 多任務(wù)與注意力機(jī)制

為實(shí)現(xiàn)多能負(fù)荷的聯(lián)合預(yù)測(cè)，本文采用基于注意力機(jī)制的多任務(wù)學(xué)習(xí)結(jié)構(gòu)，以適應(yīng)模型多元輸出要求。

多任務(wù)學(xué)習(xí)主要是指利用不同任務(wù)之間的共性和差異，以同時(shí)完成多個(gè)學(xué)習(xí)優(yōu)化任務(wù)的機(jī)器學(xué)習(xí)方法。1997年，R. Caruana[30]給出了多任務(wù)學(xué)習(xí)的經(jīng)典描述：“多任務(wù)學(xué)習(xí)通過多任務(wù)共享并行學(xué)習(xí)的方式，使每個(gè)任務(wù)都能得到其他任務(wù)的幫助。而多任務(wù)學(xué)習(xí)有效的原因是任務(wù)之間優(yōu)化學(xué)習(xí)引起的參數(shù)正則化優(yōu)于模型訓(xùn)練時(shí)防止過度擬合的正則化?！币话闱闆r下，若任務(wù)之間具有顯著的共性，采用多任務(wù)學(xué)習(xí)會(huì)有較大的性能提升。而近幾年國內(nèi)外的研究表明多任務(wù)學(xué)習(xí)也可用于學(xué)習(xí)部分不相關(guān)的任務(wù)。由于多元負(fù)荷預(yù)測(cè)對(duì)模型有多元輸出的要求，本文采用多任務(wù)學(xué)習(xí)的方式構(gòu)建模型。

多元負(fù)荷預(yù)測(cè)模型中存在多個(gè)預(yù)測(cè)子任務(wù)，每個(gè)子任務(wù)進(jìn)行不同類型負(fù)荷的預(yù)測(cè)，因而不同的子任務(wù)對(duì)于共享特征應(yīng)當(dāng)具有不同的側(cè)重點(diǎn)。而注意力機(jī)制正適合作為共享特征的篩選機(jī)制，為不同子任務(wù)提供差異化的特征池。

注意力機(jī)制是模仿人類注意力的機(jī)制。當(dāng)人類粗略觀察一幅畫時(shí)，可以觀察到畫的全貌，但當(dāng)仔細(xì)觀察該畫時(shí)，注意力就被局限到了畫的部分區(qū)域，即人腦對(duì)整幅畫的關(guān)注不是均衡的，而是有一定的側(cè)重點(diǎn)。注意力機(jī)制就是對(duì)輸入的每個(gè)元素采用不同的權(quán)重參數(shù)，從而自發(fā)地關(guān)注所需要的信息，而抑制其他無用的信息。本文所采用的注意力機(jī)制基本結(jié)構(gòu)如圖5所示，計(jì)算方法如式（9）所示。

圖5 注意力機(jī)制

式中，為注意力機(jī)制的輸入特征；為輸入特征中第個(gè)特征序列。其中Softmax(VT)即為輸入特征的權(quán)重序列。在實(shí)際應(yīng)用中，注意力機(jī)制將在每次識(shí)別時(shí)計(jì)算每個(gè)特征的權(quán)值，然后對(duì)特征進(jìn)行加權(quán)求和，權(quán)值越大，該特征對(duì)當(dāng)前輸出節(jié)點(diǎn)的貢獻(xiàn)越大。

注意力模型的提出主要是為了解決Encoder-Decoder模型中存在的中間向量長度固定問題，但注意力機(jī)制作為一種設(shè)計(jì)思想，并不是只能依附在Encoder-Decoder框架下的，而是可以根據(jù)實(shí)際情況與多種網(wǎng)絡(luò)模型進(jìn)行結(jié)合。本文采用Attention機(jī)制實(shí)現(xiàn)對(duì)共享特征中高相關(guān)性和高價(jià)值信息的篩選，同時(shí)由于注意力機(jī)制可以一步到位地考慮全局聯(lián)系和局部聯(lián)系，且能并行化計(jì)算，進(jìn)一步提高了多元負(fù)荷預(yù)測(cè)的準(zhǔn)確性和實(shí)時(shí)性。

3 算例分析

3.1 算例設(shè)置

算例負(fù)荷數(shù)據(jù)來源為亞利桑那州立大學(xué)的Campus Metabolism系統(tǒng)所提供的Tempe校區(qū)電、冷、熱負(fù)荷歷史數(shù)據(jù)，天氣數(shù)據(jù)來源為美國國家氣候資料中心網(wǎng)站中Tempe校區(qū)位置的天氣數(shù)據(jù)，包括溫度、大氣壓、風(fēng)速和風(fēng)向。所有數(shù)據(jù)采樣時(shí)間為2019年1月1日0時(shí)～2020年11月10日24時(shí)，其中80%數(shù)據(jù)為訓(xùn)練集、20%數(shù)據(jù)為驗(yàn)證集，并以2020年12月負(fù)荷數(shù)據(jù)為測(cè)試集。以2019年全年的電、冷、熱負(fù)荷數(shù)據(jù)為例，計(jì)算電冷熱負(fù)荷之間的Pearson相關(guān)系數(shù)（Pearson Correlation Coefficient, PCC）及相關(guān)統(tǒng)計(jì)數(shù)據(jù)見表3、表4，繪制標(biāo)準(zhǔn)化負(fù)荷曲線如圖6所示，可知多能負(fù)荷之間存在較強(qiáng)的相關(guān)性。本文所提出模型的構(gòu)建與訓(xùn)練在Tensorflow2.0框架下進(jìn)行，所使用硬件平臺(tái)為Intel Core i7-9800X 3.8G CPU、32G內(nèi)存、NVIDIA GeForce RTX 2080Ti GPU。

表3 多能負(fù)荷的Pearson相關(guān)系數(shù)

Tab.3 PCC of multi-energy load

表4 多能負(fù)荷統(tǒng)計(jì)數(shù)據(jù)

Tab.4 Multi-energy load statistics

圖6 全年電、冷、熱負(fù)荷數(shù)據(jù)曲線

3.1.1 數(shù)據(jù)預(yù)處理

由于在數(shù)據(jù)的采集或傳輸過程中可能會(huì)產(chǎn)生異常數(shù)據(jù)，因此需要對(duì)數(shù)據(jù)進(jìn)行異常值處理[30-31]，主要包括異常值檢測(cè)、樣本篩選和均值替代三部分。首先檢測(cè)數(shù)據(jù)中異常值的基本分布；然后剔除存在大量異常值的樣本；最后對(duì)于剩余異常數(shù)據(jù)進(jìn)行均值替代，以保證數(shù)據(jù)的相對(duì)完整性。以kW作為多能負(fù)荷統(tǒng)一計(jì)量單位，換算公式為

考慮到模型采用平均絕對(duì)百分比誤差（Mean Absolute Percentage Error, MAPE）作為損失函數(shù)時(shí)零值數(shù)據(jù)無效問題，本文采用如式（11）所示歸一化方法，與一般歸一化不同之處在于將數(shù)據(jù)線性變換到（1, 2）范圍內(nèi)，以保證損失函數(shù)MAPE可用，并加速模型收斂。

3.1.2 評(píng)價(jià)指標(biāo)

本文使用平均絕對(duì)百分比誤差作為模型的評(píng)價(jià)指標(biāo)。在多任務(wù)學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)訓(xùn)練過程中，需要合理平衡各個(gè)任務(wù)的訓(xùn)練進(jìn)度。與冷熱負(fù)荷相比，電負(fù)荷的不確定性要更大，這來源于用戶用電需求的不確定性。而用戶對(duì)冷熱負(fù)荷的需求相對(duì)穩(wěn)定，因此電負(fù)荷的預(yù)測(cè)難度較冷熱負(fù)荷要更高一點(diǎn)?？紤]到用戶不同用能需求不確定性的差異和綜合能源系統(tǒng)自身結(jié)構(gòu)，對(duì)于電、冷、熱負(fù)荷預(yù)測(cè)任務(wù)的權(quán)重分別設(shè)置為0.5、0.2、0.3。

3.1.3 超參數(shù)設(shè)置

模型超參數(shù)對(duì)模型的預(yù)測(cè)精度有著極大的影響。綜合考慮訓(xùn)練時(shí)間成本和預(yù)測(cè)精度，基于RLA-MTL多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，在多次實(shí)驗(yàn)測(cè)試之后，選擇批樣本數(shù)量（batch size）為128，采用學(xué)習(xí)率衰減的Adam方法作為訓(xùn)練優(yōu)化器。在網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)率隨訓(xùn)練次數(shù)的增加而逐漸減少，學(xué)習(xí)率初始值設(shè)定為0.01，衰減系數(shù)DECAY為0.5，學(xué)習(xí)率隨著迭代次數(shù)衰減變化為

式中，iterations為當(dāng)前迭代次數(shù)。

3.2 多能負(fù)荷預(yù)測(cè)結(jié)果分析

本節(jié)將所提出的RLA-MTL多任務(wù)網(wǎng)絡(luò)模型與BP神經(jīng)網(wǎng)絡(luò)、LSTM單任務(wù)網(wǎng)絡(luò)（Single Task Learning, STL）、隨機(jī)森林方法（Random Forests）、SVM和RLA-STL模型進(jìn)行對(duì)比。其中RLA-STL模型保持ResNet-LSTM-Attention基本結(jié)構(gòu)不變，對(duì)冷、熱、電負(fù)荷分別進(jìn)行獨(dú)立預(yù)測(cè)，以驗(yàn)證多任務(wù)機(jī)制的有效性。

3.2.1 1h預(yù)測(cè)

將RLA-MTL模型中Resnet-block層數(shù)設(shè)為2，輸出神經(jīng)元的個(gè)數(shù)為1，得到模型測(cè)試集預(yù)測(cè)精度見表5。隨機(jī)挑選某日0時(shí)作為預(yù)測(cè)時(shí)刻點(diǎn)，將該模型與其他模型對(duì)比結(jié)果如圖7所示。

表5 模型精度對(duì)比（1h）

Tab.5 Comparison of model accuracy（1h)

圖7 RLA-MTL模型與其他模型對(duì)比（1h）

從圖7中可以看出，這些算法模型對(duì)次日負(fù)荷預(yù)測(cè)結(jié)果與實(shí)際曲線變化趨勢(shì)基本一致。結(jié)合表5可知，本文所提出的RLA-MTL模型相比于其他五種預(yù)測(cè)方法精度最高，電、冷、熱負(fù)荷預(yù)測(cè)精度分別為 98.82%、99.64%、99.03%。

3.2.2 24h預(yù)測(cè)

將RLA-MTL模型中Resnet-block層數(shù)設(shè)為4，輸出神經(jīng)元的個(gè)數(shù)為24，得到模型測(cè)試集預(yù)測(cè)精度見表6。隨機(jī)挑選某日0時(shí)作為預(yù)測(cè)時(shí)刻點(diǎn)，將RLA-MTL模型預(yù)測(cè)精度與其他方法中精度最高的隨機(jī)森林方法對(duì)比，如圖8所示。

由表6可知，除了隨機(jī)森林之外的單任務(wù)預(yù)測(cè)方法已無法有效地實(shí)現(xiàn)24h的負(fù)荷預(yù)測(cè)，而本文所提出的RLA-MTL模型相比于其他預(yù)測(cè)方法精度仍最高，電、冷、熱負(fù)荷預(yù)測(cè)精度分別為98.30%、98.86%、98.45%。

表6 模型精度對(duì)比（24h）

圖8 RLA-MTL模型與其他模型對(duì)比（24h）

在1h預(yù)測(cè)與24h預(yù)測(cè)的結(jié)果中，不同的負(fù)荷展現(xiàn)了不同的精度，直觀上體現(xiàn)了不同的負(fù)荷具有不同的預(yù)測(cè)難度。首先，與冷熱負(fù)荷相比，電負(fù)荷的不確定性要更大，這來源于用戶用電需求的不確定性。而用戶對(duì)冷熱負(fù)荷的需求相對(duì)穩(wěn)定，因此電負(fù)荷的預(yù)測(cè)難度較冷熱負(fù)荷要更高一點(diǎn)。具體到該綜合能源系統(tǒng)，其中的供冷系統(tǒng)中存在儲(chǔ)冰環(huán)節(jié)，也使得系統(tǒng)的冷負(fù)荷需求相對(duì)更加穩(wěn)定。

從兩種預(yù)測(cè)的結(jié)果中還觀察到，同為ResNet-LSTM-Attention結(jié)構(gòu)的RLA-STL模型預(yù)測(cè)精度明顯低于其他單任務(wù)模型，分析出現(xiàn)此情況的主要原因：RLA-STL模型使用了ResNet作為特征提取單元。ResNet作為一種卷積神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)的局部二維特征提取能力，常用于圖像處理。對(duì)于多能負(fù)荷預(yù)測(cè)而言，ResNet能夠幫助捕捉多能負(fù)荷之間的相關(guān)性，得到具有時(shí)序特征的多能負(fù)荷之間耦合信息，再提供給下一模塊（LSTM），從而獲得較好的預(yù)測(cè)效果。而對(duì)于單任務(wù)預(yù)測(cè)而言，模型輸入數(shù)據(jù)中只有單一負(fù)荷和相關(guān)天氣、日期信息，沒有不同負(fù)荷之間的耦合信息，采用ResNet反而會(huì)提取到大量的無用信息，因此RLA-STL模型預(yù)測(cè)精度明顯低于其他模型。

結(jié)合1h預(yù)測(cè)與24h預(yù)測(cè)，分析RLA-MTL模型有效的可能原因如下：

（1）RLA-MTL模型將多能負(fù)荷數(shù)據(jù)按時(shí)間滑動(dòng)窗口構(gòu)造連續(xù)的特征向量作為網(wǎng)絡(luò)輸入，首先通過ResNet網(wǎng)絡(luò)提取多能負(fù)荷之間的交互耦合特征，在輸入負(fù)荷數(shù)據(jù)中有效信息的挖掘過程中，盡量保留原始數(shù)據(jù)的時(shí)序特性，以得到具有時(shí)間序列結(jié)構(gòu)的多維特征向量。將該時(shí)序多維特征向量作為LSTM殘差網(wǎng)絡(luò)模型的輸入，得以充分發(fā)揮LSTM網(wǎng)絡(luò)對(duì)時(shí)間序列數(shù)據(jù)的較強(qiáng)擬合能力。

（2）考慮多能負(fù)荷之間的較強(qiáng)耦合特性，RLA-MTL模型將電、冷、熱負(fù)荷時(shí)序特征組合向量作為LSTM共享層的輸入矩陣，采用LSTM殘差結(jié)構(gòu)學(xué)習(xí)電、冷、熱負(fù)荷數(shù)據(jù)的共享特征，并以多任務(wù)的方式，通過特定子任務(wù)層學(xué)習(xí)單一負(fù)荷特征，提高了各個(gè)子任務(wù)的學(xué)習(xí)效率和預(yù)測(cè)準(zhǔn)確性。

（3）RLA-MTL模型沒有采用直接“硬連接”的多任務(wù)方式，而是采用注意力機(jī)制在共享特征池中進(jìn)行有效特征的選擇。每次迭代時(shí)，首先學(xué)習(xí)每個(gè)特征點(diǎn)的權(quán)值，然后對(duì)每個(gè)特征點(diǎn)進(jìn)行加權(quán)求和，得到加權(quán)特征圖作為子任務(wù)的輸入特征，其中特征點(diǎn)的權(quán)值越大，表明該特征對(duì)當(dāng)前子任務(wù)的貢獻(xiàn)越大，由此為不同子任務(wù)提供差異化的特征池。

在預(yù)測(cè)所需時(shí)間方面，以1h預(yù)測(cè)為例，各個(gè)模型分別進(jìn)行負(fù)荷預(yù)測(cè)，其中各個(gè)單負(fù)荷獨(dú)立預(yù)測(cè)模型進(jìn)行并行預(yù)測(cè)，因此其預(yù)測(cè)時(shí)間為最大單任務(wù)時(shí)間，所需的預(yù)測(cè)時(shí)間對(duì)比結(jié)果見表7。

表7 模型預(yù)測(cè)時(shí)間對(duì)比（1h）

由表7可知，雖然RLA-MTL模型網(wǎng)絡(luò)結(jié)構(gòu)稍顯復(fù)雜，但在現(xiàn)有硬件條件下的預(yù)測(cè)時(shí)間仍在可接受范圍內(nèi)，說明利用本文所提出的多元負(fù)荷預(yù)測(cè)模型可以較快地得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。同時(shí)可以看出RLA-MTL模型的預(yù)測(cè)時(shí)間明顯小于RLA-STL單一負(fù)荷預(yù)測(cè)時(shí)間的累加，表明多任務(wù)學(xué)習(xí)能夠以略高于單一任務(wù)的效率較快地完成多個(gè)學(xué)習(xí)任務(wù)。

實(shí)驗(yàn)結(jié)果表明，RLA-MTL模型結(jié)合ResNet和LSTM網(wǎng)絡(luò)以及注意力機(jī)制的特點(diǎn)，與傳統(tǒng)預(yù)測(cè)方法和其他神經(jīng)網(wǎng)絡(luò)方法相比，具有更好的預(yù)測(cè)性能。

4 結(jié)論

本文考慮電、冷、熱負(fù)荷之間較強(qiáng)的復(fù)雜耦合特性，采用基于注意力機(jī)制的多任務(wù)學(xué)習(xí)方法，建立多元負(fù)荷預(yù)測(cè)模型以進(jìn)行多能負(fù)荷的聯(lián)合預(yù)測(cè)。該模型采用ResNet挖掘多能負(fù)荷之間的交互耦合特征，同時(shí)盡可能保留數(shù)據(jù)的時(shí)序特征，形成多維時(shí)序特征向量；通過共享的LSTM殘差結(jié)構(gòu)形成共享特征池，采用注意力機(jī)制從共享特征池中篩選關(guān)鍵子任務(wù)特征；再通過各自子任務(wù)的特征池進(jìn)行預(yù)測(cè)子任務(wù)，實(shí)現(xiàn)多能負(fù)荷的聯(lián)合預(yù)測(cè)。最后通過算例分析得出如下結(jié)論：

1）本文所提出的多元負(fù)荷預(yù)測(cè)模型（RLA-MTL）通過ResNet-LSTM共享層學(xué)習(xí)多能負(fù)荷之間的時(shí)空耦合特性，并通過特定子任務(wù)層學(xué)習(xí)單一負(fù)荷預(yù)測(cè)任務(wù)特征，以多任務(wù)學(xué)習(xí)方式提高了所有負(fù)荷預(yù)測(cè)子任務(wù)的學(xué)習(xí)效率和預(yù)測(cè)準(zhǔn)確性。

2）RLA-MTL模型采用注意力機(jī)制在共享特征池中進(jìn)行共享特征的有效選擇，而不是采用直接“硬連接”的多任務(wù)學(xué)習(xí)方式。注意力機(jī)制為不同負(fù)荷預(yù)測(cè)子任務(wù)提供了差異化的特征池，體現(xiàn)各個(gè)負(fù)荷預(yù)測(cè)子任務(wù)對(duì)于共享特征不同程度的關(guān)注，實(shí)現(xiàn)了單一負(fù)荷預(yù)測(cè)子任務(wù)在特征選擇環(huán)節(jié)的自我學(xué)習(xí)，有效地提升了模型性能。

[1] 刁涵彬, 李培強(qiáng), 呂小秀, 等. 考慮多元儲(chǔ)能差異性的區(qū)域綜合能源系統(tǒng)儲(chǔ)能協(xié)同優(yōu)化配置[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(1): 151-165.

Diao Hanbin, Li Peiqiang, Lü Xiaoxiu, et al. Coordinated optimal allocation of energy storage in regional integrated energy system considering the diversity of multi-energy storage[J]. Transactions of China Electrotechnical Society, 2021, 36(1): 151-165.

[2] 劉小龍, 李欣然, 劉志譜, 等. 基于負(fù)荷重要性和源-荷互補(bǔ)性的離網(wǎng)系統(tǒng)終端電/熱/冷負(fù)荷投切策略[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(3): 552-564.

Liu Xiaolong, Li Xinran, Liu Zhipu, et al. Research on power/heating/cooling load switching strategy of off-grid system based on load importance and source load complementarity[J]. Transactions of China Electrotechnical Society, 2021, 36(3): 552-564.

[3] 鄧帶雨, 李堅(jiān), 張真源, 等. 基于EEMD-GRU-MLR的短期電力負(fù)荷預(yù)測(cè)[J]. 電網(wǎng)技術(shù), 2020, 44(2): 593-602.

Deng Daiyu, Li Jian, Zhang Zhenyuan, et al. Short-termelectric load forecasting based on EEMD-GRU-MLR[J]. Power System Technology, 2020, 44(2): 593-602.

[4] 梁榮, 王洪濤, 吳奎華, 等. 基于神經(jīng)網(wǎng)絡(luò)和ARIMA模型的冷熱電短期負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào), 2019, 32(3): 52-58.

Liang Rong, Wang Hongtao, Wu Kuihua, et al. Short-term forecasting of cooling, heating and power loads based on neural network and ARIMA model[J]. Proceedings of the CSU-EPSA, 2019, 32(3): 52-58.

[5] 羅敏, 程將南, 王毅, 等. 基于小波去噪和決策樹的個(gè)性化大用戶負(fù)荷預(yù)測(cè)[J]. 南方電網(wǎng)技術(shù), 2016, 10(10): 37-42.

Luo Min, Cheng Jiangnan, Wang Yi, et al. Wavelet de-noising and decision tree based load forecasting of large consumers[J]. Southern Power System Technology, 2016, 10(10): 37-42.

[6] 李焱, 賈雅君, 李磊, 等. 基于隨機(jī)森林算法的短期電力負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(21): 117-124.

Li Yan, Jia Yajun, Li Lei, et al. Short term power load forecasting based on a stochastic forest algorithm[J]. Power System Protection and Control, 2020, 48(21): 117-124.

[7] 趙佩, 代業(yè)明. 基于實(shí)時(shí)電價(jià)和加權(quán)灰色關(guān)聯(lián)投影的SVM電力負(fù)荷預(yù)測(cè)[J]. 電網(wǎng)技術(shù), 2020, 44(4): 1325-1332.

Zhao Pei, Dai Yeming. Power load forecasting of SVM based on real-time price and weighted grey relational projection algorithm[J]. Power System Technology, 2020, 44(4): 1325-1332.

[8] Kavousi-Fard A, Samet H, Marzbani F. A new hybrid modified firefly algorithm and support vector regression model for accurate short term load forecasting[J]. Expert Systems with Applications, 2014, 41(13): 6047-6056.

[9] 溫錦斌, 王昕, 李立學(xué), 等. 基于頻域分解的短期風(fēng)電負(fù)荷預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2013, 28(5): 66-72.

Wen Jinbin, Wang Xin, Li Lixue, et al. Short-term wind power load forecasting based on frequency domain decomposition[J]. Transactions of China Electrotechnical Society, 2013, 28(5): 66-72.

[10] 楊龍, 吳紅斌, 丁明, 等. 新能源電網(wǎng)中考慮特征選擇的Bi-LSTM網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(3): 166-173.

Yang Long, Wu Hongbin, Ding Ming, et al. Short-term load forecasting in renewable energy grid based on bi-directional long short-term memory network considering feature selection [J]. Automation of Electric Power Systems, 2021, 45(3): 166-173.

[11] 谷云東, 張素杰, 馮君淑. 大用戶電力負(fù)荷的多模型模糊綜合預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2015, 30(23): 110-115.

Gu Yundong, Zhang Sujie, Feng Junshu. Multi-model fuzzy synthesis forecasting of electric power loads for larger consumers[J]. Transactions of China Electrotechnical Society, 2015, 30(23): 110-115.

[12] 祝學(xué)昌. 基于IFOA-GRNN的短期電力負(fù)荷預(yù)測(cè)方法研究[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(9): 121-127.

Zhu Xuechang. Research on short-term power load forecasting method based on IFOA-GRNN [J]. Power System Protection and Control, 2020, 48(9): 121-127.

[13] 劉念, 張清鑫, 劉海濤. 基于核函數(shù)極限學(xué)習(xí)機(jī)的微電網(wǎng)短期負(fù)荷預(yù)測(cè)方法[J]. 電工技術(shù)學(xué)報(bào), 2015, 30(8): 218-224.

Liu Nian, Zhang Qingxin, Liu Haitao. Online short-term load forecasting based on ELM with kernel algorithm in micro-grid environment[J]. Transactions of China Electrotechnical Society, 2015, 30(8): 218-224.

[14] 朱清智, 董澤, 馬寧. 基于即時(shí)學(xué)習(xí)算法的短期負(fù)荷預(yù)測(cè)方法[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(7): 92-98.

Zhu Qingzhi, Dong Ze, Ma Ning. Forecasting of short-term power based on just-in-time learning[J]. Power System Protection and Control, 2020, 48(7): 92-98.

[15] 彭文, 王金睿, 尹山青. 電力市場(chǎng)中基于Attention-LSTM的短期負(fù)荷預(yù)測(cè)模型[J]. 電網(wǎng)技術(shù), 2019, 43(5): 1745-1751.

Peng Wen, Wang Jinrui, Yin Shanqing. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology, 2019, 43(5): 1745-1751.

[16] Al-Rakhami M, Gumaei A, Alsanad A, et al. An ensemble learning approach for accurate energy load prediction in residential buildings[J]. IEEE Access, 2019, 7: 48328-48338.

[17] Mokeev V V. Prediction of heating load and cooling load of buildings using neural network[C]//2019 International Ural Conference on Electrical Power Engineering (UralCon), IEEE, 2019: 417-421.

[18] Zhang Tieyan, Li Hening, Hui Qian, et al. Integrated load forecasting model of multi-energy system based on Markov chain improved neural network[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), IEEE, Qiqihar, China, 2019: 454-457.

[19] Hai Wenlong, Wang Yahui. Load forecast of gas region based on ARIMA algorithm[C]//2020 Chinese Control and Decision Conference (CCDC), IEEE, Hefei, China, 2020: 1960-1965.

[20] Wei Nan, Li Changjun, Duan Jiehao, et al. Daily natural gas load forecasting based on a hybrid deep learning model[J]. Energies, 2019, 12(2): 218.

[21] Lu Hongfang, Azimi M, Iseley T. Short-term load forecasting of urban gas using a hybrid model based on improved fruit fly optimization algorithm and support vector machine[J]. Energy Reports, 2019, 5: 666-677.

[22] Li Yujie, Yuan Xiaoling, Xu Jieyan, et al. Medium-term forecasting of cold, electric and gas load in multi-energy system based on VAR model[C]//2018 13th IEEE Conference on Industrial Electronics and Applications (ICIEA), IEEE, Wuhan, China, 2018: 1676-1680.

[23] Tang Yu, Liu Haoming, Xie Yunfei, et al. Short-term forecasting of electricity and gas demand in multi-energy system based on RBF-NN model[C]//2019 IEEE International Conference on Energy Internet (ICEI), IEEE, Nanjing, China, 2019: 542-547.

[24] 陳錦鵬, 胡志堅(jiān), 陳緯楠, 等. 二次模態(tài)分解組合DBiLSTM-MLR的綜合能源系統(tǒng)負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(13): 85-94.

Chen Jinpeng，Hu Zhijian，Chen Weinan, et al. Load prediction of integrated energy system based on quadratic modal decomposition and DBiLSTM-MLR[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.

[25] 史佳琪, 譚濤, 郭經(jīng), 等. 基于深度結(jié)構(gòu)多任務(wù)學(xué)習(xí)的園區(qū)型綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)[J]. 電網(wǎng)技術(shù), 2018, 42(3): 698-707.

Shi Jiaqi, Tan Tao, Guo Jing, et al. Multi-task learning based on deep architecture for various types of load forecasting in regional energy system integration[J]. Power System Technology, 2018, 42(3): 698-707.

[26] 孫慶凱, 王小君, 張義志, 等. 基于LSTM和多任務(wù)學(xué)習(xí)的綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(5): 63-70.

Sun Qingkai, Wang Xiaojun, Zhang Yizhi, et al. Multiple load prediction of integrated energy system based on long short-term memory and multi-task learning [J]. Automation of Electric Power Systems, 2021, 45(5): 63-70.

[27] 田浩含, 張智晟, 于道林. 基于改進(jìn)LSTM的區(qū)域綜合能源系統(tǒng)多元負(fù)荷短期預(yù)測(cè)研究[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào), 2021, 33(9): 130-137.

Tian Haohan, Zhang Zhisheng, Yu Daolin. Load short-term forecasting model of regional integrated energy system based on improved LSTM[J]. Proceedings of the CSU-EPSA, 2021, 33(9): 130-137.

[28] 吳潤澤, 包正睿, 王文韜, 等. Hadoop架構(gòu)下基于模式匹配的短期電力負(fù)荷預(yù)測(cè)方法[J]. 電工技術(shù)學(xué)報(bào), 2018, 33(7): 1542-1551.

Wu Runze, Bao Zhengrui, Wang Wentao, et al. Short-term power load forecasting method based on pattern matching in Hadoop framework[J]. Transactions of China Electrotechnical Society, 2018, 33(7): 1542-1551.

[29] 李濱, 黃佳, 吳茵, 等. 基于氣象信息粒還原的臺(tái)風(fēng)分時(shí)段短期負(fù)荷預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2018, 33(9): 2068-2076.

Li Bin, Huang Jia, Wu Yin, et al. Typhoon-period short term load forecasting based on particle reduction of weather information[J]. Transactions of China Electrotechnical Society, 2018, 33(9): 2068-2076.

[30] 馬然, 栗文義, 齊詠生. 風(fēng)電機(jī)組健康狀態(tài)預(yù)測(cè)中異常數(shù)據(jù)在線清洗[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(10): 2127-2139.

Ma Ran, Li Wenyi, Qi Yongsheng. Online cleaning of abnormal data for the prediction of wind turbine health condition[J]. Transactions of China Electrotechnical Society, 2021, 36(10): 2127-2139.

[31] 王方雨, 劉文穎, 陳鑫鑫, 等. 基于“秩和”近似相等特性的同期線損異常數(shù)據(jù)辨識(shí)方法[J]. 電工技術(shù)學(xué)報(bào), 2020, 35(22): 4771-4783.

Wang Fangyu, Liu Wenying, Chen Xinxin, et al. Abnormal data identification of synchronous line loss based on the approximate equality of rank sum[J]. Transactions of China Electrotechnical Society, 2020, 35(22): 4771-4783.

Multi-Energy Load Forecasting in Integrated Energy System Based on ResNet-LSTM Network and Attention Mechanism

Wang Chen1Wang Ying1Zheng Tao2,3Dai Zemei2,3Zhang Kaifeng1

（1. Key Laboratory of Measurement and Control of Complex Systems of Engineering Ministry of Education Southeast University Nanjing 210096 China 2. NARI Group (State Grid Electric Power Research Institute) Co. Ltd Nanjing 211106 China 3. NARI Technology Development Co. Ltd Nanjing 211106 China）

In an integrated energy system, different types of loads, i.e. electrical loads, heat loads, cooling loads, might have complex and strong coupling relationships among them. Compared with forecasting each type of load separately, to forecast multi-energy loads together in a combined multi-task model can further explore the internal connections and therefore improve the accuracy of forecasting. A multi-task learning model based on ResNet-LSTM network and Attention mechanism is proposed to fit the spatial coupling relationship and time coupling relationship between multi-energy loads. Firstly, the multi-layer ResNet is used as the feature extraction unit of the multi-energy load data to mine the spatial coupling interaction characteristics between the multi-energy; secondly, the LSTM residual structure is used to further mine the time series characteristics of the multi-energy loads data; then, the Attention mechanism is used to realize that multiple subtasks have different degrees of attention to shared features, which reflects the differentiated selection of shared features by different subtasks, and realizes joint forecasting of multiple loads. Finally, we applied the proposed method with the data at the Campus Metabolism system of Arizona State University. Compared with other forecasting models, the results show that the proposed method has higher accuracy.

Attention mechanism, ResNet, long short-term memory(LSTM), multi-energy load forecasting, multi-task learning

10.19595/j.cnki.1000-6753.tces.210212

TM715

王 琛 男，1997年生，碩士研究生，研究方向?yàn)榫C合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)。E-mail：wangchen1073@126.com

王 穎 女，1989年生，博士，講師，研究方向?yàn)殡娏ο到y(tǒng)優(yōu)化、機(jī)組組合和經(jīng)濟(jì)調(diào)度。E-mail：wyseu@seu.edu.cn（通信作者）

國家自然科學(xué)基金（51907025, 51977033）、國家電網(wǎng)公司總部科技項(xiàng)目（基于大數(shù)據(jù)的電網(wǎng)趨勢(shì)預(yù)測(cè)及操作智能預(yù)演技術(shù)研究）和東南大學(xué)“至善青年學(xué)者”支持計(jì)劃（2242021R41176）資助。

2021-02-19

2021-05-27

（編輯 赫蕾）