基于MMoE多任務(wù)學(xué)習(xí)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的綜合能源系統(tǒng)負(fù)荷預(yù)測(cè)

吳 晨，姚 菁，薛貴元，王劍曉，吳 垠，何 凱

（1. 國(guó)網(wǎng)江蘇省電力有限公司經(jīng)濟(jì)技術(shù)研究院，江蘇南京 210008；2. 北京清能互聯(lián)科技有限公司，北京 100080；3. 華北電力大學(xué)新能源電力系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 102206）

0 引言

隨著經(jīng)濟(jì)社會(huì)的發(fā)展，我國(guó)對(duì)能源需求持續(xù)增長(zhǎng)，能源問(wèn)題成為關(guān)乎國(guó)家安全戰(zhàn)略與可持續(xù)發(fā)展的重要議題。傳統(tǒng)供能系統(tǒng)中，冷、熱、電等功能系統(tǒng)彼此運(yùn)行獨(dú)立，缺乏協(xié)調(diào)，能源利用率低，能源供應(yīng)可靠性差，因此能源供應(yīng)消費(fèi)環(huán)節(jié)逐漸朝綜合能源系統(tǒng)方向發(fā)展［1］。綜合能源系統(tǒng)充分利用多種能源形式之間的互補(bǔ)效應(yīng)，顯著提高了能源的利用效率，并通過(guò)能源間的動(dòng)態(tài)轉(zhuǎn)化使得能源供應(yīng)環(huán)節(jié)的不確定性大幅降低，從而提高了整個(gè)系統(tǒng)的安全性［2-3］。

針對(duì)綜合能源系統(tǒng)開(kāi)展多元負(fù)荷預(yù)測(cè)對(duì)系統(tǒng)運(yùn)行優(yōu)化意義重大。一方面，依據(jù)多元負(fù)荷預(yù)測(cè)結(jié)果可以合理配置多種形式的能源，提高能源利用效率及系統(tǒng)運(yùn)行的經(jīng)濟(jì)性；另一方面，還可以依據(jù)負(fù)荷預(yù)測(cè)結(jié)果制定需求響應(yīng)計(jì)劃，實(shí)現(xiàn)能源供需平衡，提高系統(tǒng)運(yùn)行的可靠性［4-5］。目前，多能負(fù)荷預(yù)測(cè)主要從時(shí)間、空間維度對(duì)不同能源消耗之間的復(fù)雜關(guān)聯(lián)性進(jìn)行建模，主要的預(yù)測(cè)方法有循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）［6］、深度信念網(wǎng)絡(luò)DBN（Deep Belief Network）［7］、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM（Long Short-Term Memory network）［8］以及雙向LSTM［9］等，驗(yàn)證了深度學(xué)習(xí)網(wǎng)絡(luò)在解決多元負(fù)荷預(yù)測(cè)問(wèn)題時(shí)的有效性。

相比傳統(tǒng)的電力負(fù)荷預(yù)測(cè)，綜合能源系統(tǒng)中冷、熱、電負(fù)荷間的聯(lián)系日益密切，若對(duì)不同能源形式進(jìn)行單獨(dú)建模、預(yù)測(cè)，則忽略了多元負(fù)荷間的耦合特性，使預(yù)測(cè)效果受限。因此，已有研究一般通過(guò)考慮多元負(fù)荷間的耦合關(guān)系來(lái)提升預(yù)測(cè)效果，其方法主要分為統(tǒng)計(jì)學(xué)方法和深度學(xué)習(xí)方法。統(tǒng)計(jì)學(xué)方法是基于統(tǒng)計(jì)理論對(duì)多元負(fù)荷的耦合關(guān)系展開(kāi)分析的，例如基于向量自回歸VAR（Vector Auto-Regression）模型［10］、多元線性回歸模型［11］和不確定性分析理論［12］展開(kāi)分析，文獻(xiàn)［13］則分析了冷熱電負(fù)荷的非線性關(guān)系，并提出反映負(fù)荷間非線性協(xié)同效應(yīng)的負(fù)荷預(yù)測(cè)公式。然而，統(tǒng)計(jì)學(xué)方法存在建模復(fù)雜的問(wèn)題，在特征變量和影響因素較多時(shí)難以對(duì)其耦合關(guān)系進(jìn)行全面的建模，因此深度學(xué)習(xí)方法中的多任務(wù)學(xué)習(xí)策略逐漸成為近幾年的研究熱點(diǎn)。多任務(wù)學(xué)習(xí)策略是對(duì)冷、熱、電等預(yù)測(cè)任務(wù)共同構(gòu)建一個(gè)深度學(xué)習(xí)模型，并設(shè)置多個(gè)子任務(wù)，實(shí)現(xiàn)對(duì)多元負(fù)荷的預(yù)測(cè)。與多任務(wù)學(xué)習(xí)策略相配合的深度學(xué)習(xí)網(wǎng)絡(luò)主要有LSTM［14-15］、深度置信網(wǎng)絡(luò)［16］、門控循環(huán)單元網(wǎng)絡(luò)［17］等。多任務(wù)學(xué)習(xí)可以利用特征間的耦合特性提升所有子任務(wù)的訓(xùn)練效果，并且具有建模簡(jiǎn)單的優(yōu)勢(shì)。目前使用的多任務(wù)學(xué)習(xí)模型均基于參數(shù)硬共享機(jī)制，該模型在多元負(fù)荷相關(guān)性較強(qiáng)時(shí)表現(xiàn)出色。然而，部分綜合能源系統(tǒng)中多元負(fù)荷間可能存在弱相關(guān)性，基于硬共享機(jī)制的多任務(wù)模型對(duì)所有任務(wù)強(qiáng)制進(jìn)行信息共享，無(wú)法考慮子任務(wù)間相關(guān)性的差異，因此當(dāng)部分子任務(wù)耦合關(guān)系較弱時(shí)，該模型訓(xùn)練效果難以達(dá)到最佳水平。

綜上所述，利用多元負(fù)荷間的耦合特性，結(jié)合先進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)和多任務(wù)學(xué)習(xí)策略是實(shí)現(xiàn)多元負(fù)荷準(zhǔn)確預(yù)測(cè)的關(guān)鍵。已有基于參數(shù)硬共享機(jī)制的多任務(wù)學(xué)習(xí)方法，易受到子任務(wù)弱相關(guān)性的干擾，影響任務(wù)的學(xué)習(xí)效果。因此，本文提出了基于MMoE（Multigate Mixture-of-Experts）多任務(wù)學(xué)習(xí)和LSTM 的多元負(fù)荷預(yù)測(cè)方法，利用多個(gè)專家子網(wǎng)和門控單元實(shí)現(xiàn)對(duì)共享信息的合理分配，保證每個(gè)任務(wù)均能獲得最有效的信息，并結(jié)合LSTM實(shí)現(xiàn)多元負(fù)荷預(yù)測(cè)。

1 多元負(fù)荷相關(guān)性分析

綜合能源用戶的用能行為與多種因素有關(guān)，本文使用皮爾遜相關(guān)系數(shù)分析冷、熱、電3 類負(fù)荷的內(nèi)在關(guān)聯(lián)性以及綜合能源與氣象因素的相關(guān)性。皮爾遜相關(guān)系數(shù)的計(jì)算公式為：

式中：ρX，Y為皮爾遜相關(guān)系數(shù)；X、Y為2 個(gè)特征向量；cov(X，Y)為X、Y的協(xié)方差；σX、σY分別為X、Y的標(biāo)準(zhǔn)差。ρX，Y的取值范圍為［-1，1］，當(dāng)ρX，Y接近1 或-1時(shí)，表明X、Y存在較強(qiáng)的線性相關(guān)性，呈正或負(fù)相關(guān)；當(dāng)ρX，Y=0時(shí)，表明X、Y不存在線性相關(guān)性。

使用美國(guó)亞利桑那州立大學(xué)綜合能源公開(kāi)數(shù)據(jù)集作為研究對(duì)象，該綜合能源系統(tǒng)包括電力系統(tǒng)、熱力系統(tǒng)和冷卻站等，數(shù)據(jù)集包含2019 年1—10 月的冷、熱、電負(fù)荷數(shù)據(jù)，數(shù)據(jù)采樣率為15 min／次，即每天包含96 組數(shù)據(jù)［18］。本文還收集了當(dāng)?shù)貙?duì)應(yīng)日期氣象數(shù)據(jù)，包括溫度、濕度、露點(diǎn)、氣壓、云量和風(fēng)速，以研究氣象因素與用戶用能行為的相關(guān)性。計(jì)算冷、熱、電負(fù)荷數(shù)據(jù)及氣象數(shù)據(jù)的皮爾遜相關(guān)系數(shù)，并得到熱力圖如圖1所示。

由圖1 可知：在該綜合能源系統(tǒng)中，多元負(fù)荷間冷負(fù)荷與熱負(fù)荷的相關(guān)性最強(qiáng)，相關(guān)系數(shù)為-0.8；冷負(fù)荷與電負(fù)荷的相關(guān)性較弱，相關(guān)系數(shù)為0.3；熱負(fù)荷與電負(fù)荷的相關(guān)性最弱，相關(guān)系數(shù)為0.1。在多元負(fù)荷與氣象因素間，冷、熱負(fù)荷與溫度相關(guān)性很強(qiáng)，與濕度、露點(diǎn)、氣壓的相關(guān)性較強(qiáng)，與云量和風(fēng)速的相關(guān)性較弱；電負(fù)荷與6 個(gè)氣象指標(biāo)的相關(guān)性均較弱。所得結(jié)論與用戶的用能習(xí)慣基本一致，用戶對(duì)冷、熱能源的需求與溫度關(guān)聯(lián)性最強(qiáng)，高溫時(shí)冷負(fù)荷增加，低溫時(shí)熱負(fù)荷增加，因此冷、熱負(fù)荷呈高度負(fù)相關(guān)；濕度、露點(diǎn)、氣壓這3 個(gè)氣象因素也會(huì)在一定程度上影響用戶的用能習(xí)慣，例如濕度較高時(shí)用戶可能會(huì)通過(guò)空調(diào)除濕，因此與用戶用能行為存在相關(guān)關(guān)系；電-冷、電-熱的轉(zhuǎn)換是為了提升整個(gè)系統(tǒng)的能源利用效率，雖存在耦合特性，但并不存在顯式的相關(guān)關(guān)系，因此電負(fù)荷與冷、熱負(fù)荷的相關(guān)系數(shù)較小。綜上所述，多元負(fù)荷間同時(shí)存在強(qiáng)相關(guān)性與弱相關(guān)性，多元負(fù)荷與氣象因素的相關(guān)程度也不完全相同。因此，在對(duì)多元負(fù)荷預(yù)測(cè)問(wèn)題進(jìn)行建模時(shí)，應(yīng)考慮不同負(fù)荷類型間耦合關(guān)系的差異。

2 基于MMoE多任務(wù)學(xué)習(xí)和LSTM的多元負(fù)荷預(yù)測(cè)模型

2.1 模型框架

本文所提的基于MMoE 多任務(wù)學(xué)習(xí)和LSTM 的多元負(fù)荷預(yù)測(cè)模型如圖2 所示。首先，對(duì)綜合能源系統(tǒng)的多元負(fù)荷數(shù)據(jù)及氣象數(shù)據(jù)進(jìn)行采集、整理；然后，搭建MMoE 多任務(wù)學(xué)習(xí)模型，學(xué)習(xí)多元負(fù)荷間的耦合關(guān)系，并利用MMoE 的專家子網(wǎng)和門控機(jī)制實(shí)現(xiàn)共享信息在子任務(wù)中合理分配；最后，搭建基于LSTM的子任務(wù)模型，對(duì)多元負(fù)荷進(jìn)行預(yù)測(cè)。

圖2 模型框架Fig.2 Framework of model

2.2 MMoE多任務(wù)學(xué)習(xí)模型機(jī)理分析

在深度學(xué)習(xí)中，對(duì)于多個(gè)不相關(guān)的學(xué)習(xí)任務(wù)，一般分別建立模型；但當(dāng)多個(gè)問(wèn)題間存在某種潛在關(guān)聯(lián)時(shí)，若仍采用單獨(dú)建模的思路，則忽略了多個(gè)問(wèn)題的相關(guān)性，此時(shí)可以使用多任務(wù)學(xué)習(xí)策略提升整體效果。多任務(wù)學(xué)習(xí)策略僅需建立一個(gè)深度學(xué)習(xí)模型，將多個(gè)相關(guān)問(wèn)題看作模型的子任務(wù)，并在模型中對(duì)特征進(jìn)行控制，使多任務(wù)間可以共享信息，從而提高每一個(gè)任務(wù)的表現(xiàn)［19］。傳統(tǒng)的多任務(wù)學(xué)習(xí)策略一般采用參數(shù)硬共享機(jī)制，其基本原理如附錄A 圖A1所示。硬共享機(jī)制將模型分為參數(shù)共享層和子任務(wù)學(xué)習(xí)層，參數(shù)共享層獲得所有任務(wù)的輸入特征，并進(jìn)行特征提??；子任務(wù)學(xué)習(xí)層從參數(shù)共享層中獲得與任務(wù)本身相關(guān)的特征，隨后進(jìn)行子任務(wù)的訓(xùn)練，并輸出預(yù)測(cè)結(jié)果。

在硬共享機(jī)制中，子任務(wù)的相關(guān)性越強(qiáng)，模型訓(xùn)練效果越好；如果部分任務(wù)的相關(guān)性較弱，則模型可能會(huì)因?yàn)槠渌蝿?wù)的誤導(dǎo)使性能下降。為此，Google 提出了MMoE 多任務(wù)學(xué)習(xí)模型，其基本原理如附錄A 圖A2 所示［20］。MMoE 將參數(shù)共享層劃分為若干個(gè)專家子網(wǎng)，每個(gè)專家子網(wǎng)均為多層感知機(jī)，負(fù)責(zé)獨(dú)立學(xué)習(xí)多任務(wù)間的耦合關(guān)系，不同的專家子網(wǎng)不進(jìn)行參數(shù)共享。同時(shí)，MMoE 針對(duì)每個(gè)子任務(wù)分別設(shè)置一個(gè)門控單元，負(fù)責(zé)計(jì)算子任務(wù)中每個(gè)專家子網(wǎng)的權(quán)重，使不同任務(wù)對(duì)專家子網(wǎng)的選擇更加靈活，避免了弱相關(guān)任務(wù)間的互相干預(yù)。MMoE 多任務(wù)學(xué)習(xí)模型中第k個(gè)子任務(wù)的輸出yk可以表示為：

門控單元通過(guò)線性變換將輸入特征映射到n維，經(jīng)過(guò)softmax 激活函數(shù)得到每個(gè)專家子網(wǎng)的權(quán)重系數(shù)，實(shí)現(xiàn)對(duì)任務(wù)中專家子網(wǎng)輸出的靈活控制。由于冷、熱、電負(fù)荷間同時(shí)存在強(qiáng)相關(guān)性與弱相關(guān)性，MMoE 多任務(wù)學(xué)習(xí)模型可以在進(jìn)行多元負(fù)荷信息共享的前提下，為冷、熱、電負(fù)荷預(yù)測(cè)子任務(wù)單獨(dú)訓(xùn)練專家子網(wǎng)的權(quán)重系數(shù)，從而保證網(wǎng)絡(luò)訓(xùn)練時(shí)每個(gè)子任務(wù)均能學(xué)習(xí)到最有效的信息，因此更適合采用MMoE多任務(wù)學(xué)習(xí)模型進(jìn)行建模。

2.3 LSTM簡(jiǎn)介

LSTM 是一種改進(jìn)的RNN 結(jié)構(gòu)，克服了RNN 僅能進(jìn)行短時(shí)記憶的缺陷，解決了RNN 存在的梯度消失問(wèn)題。LSTM 的基本結(jié)構(gòu)如附錄A 圖A3 所示。LSTM能夠選擇性地遺忘或保留歷史信息，避免梯度消失，有利于長(zhǎng)時(shí)間序列的建模，在綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)問(wèn)題中發(fā)揮著重要作用［8］。

2.4 網(wǎng)絡(luò)結(jié)構(gòu)與輸入特征

本文所提多元負(fù)荷預(yù)測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)如附錄A表A1所示。該模型包含對(duì)冷、熱、電3種負(fù)荷的預(yù)測(cè)任務(wù)，即模型在每個(gè)時(shí)間步輸出下一個(gè)時(shí)刻點(diǎn)的3 個(gè)負(fù)荷值。該模型包含多任務(wù)學(xué)習(xí)層和3 個(gè)子任務(wù)層，前者基于MMoE 多任務(wù)學(xué)習(xí)模型實(shí)現(xiàn)，用于學(xué)習(xí)多任務(wù)間的耦合關(guān)系；后者基于LSTM 模型實(shí)現(xiàn)，用于實(shí)現(xiàn)單個(gè)負(fù)荷預(yù)測(cè)任務(wù)。

多任務(wù)學(xué)習(xí)層中，MMoE 多任務(wù)學(xué)習(xí)模型的專家子網(wǎng)參數(shù)屬于超參數(shù)，本文采用交叉驗(yàn)證進(jìn)行參數(shù)設(shè)置，具體包括4 個(gè)專家子網(wǎng)，神經(jīng)元數(shù)目為32，每個(gè)專家子網(wǎng)用于學(xué)習(xí)輸入特征與3 個(gè)預(yù)測(cè)任務(wù)的特定關(guān)系。子任務(wù)層中包括2層LSTM 層，神經(jīng)元數(shù)目分別為16 和8，激活函數(shù)為“Relu”，用于捕捉序列的長(zhǎng)距離依賴關(guān)系；2 層LSTM 層之間加入Dropout層，強(qiáng)制神經(jīng)元進(jìn)行隨機(jī)失活，隨機(jī)失活比率為0.3，用于防止網(wǎng)絡(luò)過(guò)擬合；LSTM 層末端為全連接層，結(jié)合“Linear”激活函數(shù)輸出負(fù)荷預(yù)測(cè)結(jié)果。網(wǎng)絡(luò)訓(xùn)練時(shí)，損失函數(shù)中3 個(gè)任務(wù)的權(quán)重為1∶1∶1，優(yōu)化器為Adam，損失函數(shù)為平均絕對(duì)誤差MAE（Mean Absolute Error），迭代次數(shù)為100。

由第1 節(jié)的分析結(jié)果可知，溫度、濕度、露點(diǎn)、氣壓與冷、熱負(fù)荷存在相關(guān)關(guān)系，因此將其作為網(wǎng)絡(luò)訓(xùn)練時(shí)的輸入特征。此外，臨近被預(yù)測(cè)時(shí)刻的歷史負(fù)荷數(shù)據(jù)與被預(yù)測(cè)時(shí)刻的負(fù)荷相關(guān)性較強(qiáng)［17］，有助于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，因此也將其作為輸入特征。當(dāng)對(duì)第t個(gè)時(shí)間步的多元負(fù)荷進(jìn)行預(yù)測(cè)時(shí)，具體輸入特征包括：①被預(yù)測(cè)時(shí)刻前10 個(gè)時(shí)間步的多元負(fù)荷數(shù)據(jù)，即冷負(fù)荷｛ct-10，ct-9，…，ct-1｝、熱負(fù)荷｛ht-10，ht-9，…，ht-1｝和電負(fù)荷｛et-10，et-9，…，et-1｝；②被預(yù)測(cè)時(shí)刻的4個(gè)氣象特征｛wt，1，wt，2，wt，3，wt，4｝；③被預(yù)測(cè)時(shí)刻的時(shí)間特征（由于本文使用數(shù)據(jù)集的采樣率為15 min／次，因此一天包含96 個(gè)數(shù)據(jù)點(diǎn)，對(duì)應(yīng)時(shí)間編碼為0—95）。網(wǎng)絡(luò)訓(xùn)練時(shí)的標(biāo)簽為被預(yù)測(cè)時(shí)間步的多元負(fù)荷數(shù)據(jù)，即｛ct，ht，et｝。

3 算例分析

3.1 實(shí)驗(yàn)設(shè)置

本文使用Python 3.7.7作為編程語(yǔ)言，基于TensorFlow 1.15.4［21］和Keras 2.2.4［22］搭建深度學(xué)習(xí)模型。原始數(shù)據(jù)中冷、熱、電負(fù)荷的單位分別為kW、mBtu／h和ton／h，為方便表述，本文將熱、電負(fù)荷的單位均轉(zhuǎn)換為kW。選用數(shù)據(jù)集的時(shí)間周期為2019年1—10 月，采用5 折交叉驗(yàn)證法對(duì)模型進(jìn)行訓(xùn)練和性能測(cè)試，以15 min 為時(shí)間步進(jìn)行超短期多元負(fù)荷預(yù)測(cè)，性能測(cè)試指標(biāo)均為5 折交叉驗(yàn)證結(jié)果的平均值。誤差評(píng)價(jià)指標(biāo)使用MAE 和平均絕對(duì)百分比誤差MAPE（Mean Absolute Percentage Error）指標(biāo)，計(jì)算公式分別為：

式中：eMAE為MAE 值；eMAPE為MAPE 值；N為樣本數(shù)目；yi為第i個(gè)樣本的真實(shí)值；y?i為第i個(gè)樣本的預(yù)測(cè)值。

3.2 離線訓(xùn)練結(jié)果分析

3.2.1 損失函數(shù)訓(xùn)練過(guò)程分析

搭建模型后，首先要對(duì)模型進(jìn)行離線訓(xùn)練。本文采用MAE 指標(biāo)作為損失函數(shù)，訓(xùn)練集和驗(yàn)證集的損失函數(shù)變化如附錄A 圖A4所示。由圖可見(jiàn)：網(wǎng)絡(luò)訓(xùn)練時(shí)，冷負(fù)荷和電負(fù)荷預(yù)測(cè)任務(wù)的訓(xùn)練集與驗(yàn)證集損失函數(shù)值均不斷下降，從第50 輪開(kāi)始逐漸穩(wěn)定，在第100 輪時(shí)達(dá)到最穩(wěn)定狀態(tài)，隨后有輕微波動(dòng)；熱負(fù)荷預(yù)測(cè)任務(wù)中，訓(xùn)練集損失函數(shù)值一直保持下降狀態(tài)，而驗(yàn)證集損失函數(shù)值則先下降，然后在第100 輪附近逐漸穩(wěn)定，在150 輪之后又開(kāi)始上升，表明模型訓(xùn)練后期，熱負(fù)荷預(yù)測(cè)模型出現(xiàn)過(guò)擬合問(wèn)題?？傮w而言，總?cè)蝿?wù)損失函數(shù)值的變化趨勢(shì)與熱負(fù)荷預(yù)測(cè)任務(wù)一致，因此本文在迭代次數(shù)達(dá)到100 次時(shí)終止離線訓(xùn)練。

3.2.2 MMoE作用機(jī)理分析

本文所構(gòu)建的MMoE 多任務(wù)學(xué)習(xí)模型包括4 個(gè)專家子網(wǎng)和3 個(gè)門控單元，3 個(gè)門控單元分別對(duì)應(yīng)冷、熱、電預(yù)測(cè)任務(wù)。門控單元本質(zhì)上是一個(gè)權(quán)重向量，用于表示各專家子網(wǎng)的輸出作為子任務(wù)模型輸入的權(quán)重，使子任務(wù)預(yù)測(cè)模型可以選擇強(qiáng)相關(guān)的共享特征進(jìn)行訓(xùn)練。為了分析MMoE 的作用機(jī)理，本文將模型門控單元向量進(jìn)行提取，并使用Softmax 函數(shù)得到權(quán)重分布如圖3 所示。由圖可見(jiàn)：冷負(fù)荷預(yù)測(cè)任務(wù)中，門控單元更傾向于選擇第4 個(gè)專家子網(wǎng)，第1、3個(gè)專家子網(wǎng)的輸出占比較低，表明第4個(gè)專家子網(wǎng)所學(xué)習(xí)到的共享特征可能更有助于冷負(fù)荷的預(yù)測(cè)；熱負(fù)荷預(yù)測(cè)任務(wù)中第2 個(gè)專家子網(wǎng)所占權(quán)重更高，而電負(fù)荷預(yù)測(cè)任務(wù)中4 個(gè)專家子網(wǎng)的權(quán)重基本相同。與傳統(tǒng)多任務(wù)模型不加區(qū)分、直接使用全部共享特征的方式相比，基于MMoE 多任務(wù)學(xué)習(xí)模型的機(jī)制能夠針對(duì)任務(wù)本身的特點(diǎn)，多樣化地使用共享特征，從而提升所有子任務(wù)的訓(xùn)練效果。

圖3 MMoE多任務(wù)學(xué)習(xí)模型的權(quán)重分布結(jié)果Fig.3 Weight distribution results of MMoE multi-task learning model

3.3 不同預(yù)測(cè)模型的性能對(duì)比

3.3.1 本文模型與單任務(wù)負(fù)荷預(yù)測(cè)模型對(duì)比

為驗(yàn)證本文模型可利用多元負(fù)荷的耦合關(guān)系提升負(fù)荷精度，本文將其與單任務(wù)負(fù)荷預(yù)測(cè)模型進(jìn)行對(duì)比，對(duì)比方法包括RNN 和LSTM。為保證對(duì)比方法的模型訓(xùn)練效果，本文采用3 層網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)［23］，對(duì)比方法的輸入特征與本文方法保持一致，超參數(shù)均參考文獻(xiàn)［8］進(jìn)行設(shè)置。3 種方法在測(cè)試集上的誤差對(duì)比結(jié)果如表1 所示?？梢?jiàn)，在單任務(wù)學(xué)習(xí)模型中，LSTM 的冷、熱負(fù)荷預(yù)測(cè)誤差均明顯低于RNN，原因是LSTM 能夠?qū)Χ嘣?fù)荷序列信息進(jìn)行長(zhǎng)時(shí)記憶，更適合進(jìn)行多元負(fù)荷預(yù)測(cè)任務(wù)，從側(cè)面驗(yàn)證了本文使用LSTM 作為子任務(wù)預(yù)測(cè)模型的正確性。采用本文方法時(shí)冷、熱、電負(fù)荷預(yù)測(cè)的MAPE 指標(biāo)較單任務(wù)LSTM 模型分別降低了1.98%、10.45%、1.25%，原因是單任務(wù)學(xué)習(xí)方法無(wú)法考慮多元負(fù)荷間的耦合關(guān)系，即使使用較為先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)測(cè)效果依然受限，只有引入多任務(wù)學(xué)習(xí)策略才能進(jìn)一步提高預(yù)測(cè)精度。

表1 本文模型與單一負(fù)荷預(yù)測(cè)模型對(duì)比Table 1 Comparison between proposed model and single load forecasting model

本文還對(duì)比了本文模型與單任務(wù)負(fù)荷預(yù)測(cè)模型的訓(xùn)練耗時(shí)。采用單任務(wù)RNN、單任務(wù)LSTM 以及本文方法的訓(xùn)練時(shí)間分別為108、161、81 s，可見(jiàn)2種單任務(wù)負(fù)荷預(yù)測(cè)模型的訓(xùn)練耗時(shí)較長(zhǎng)，本文模型較單任務(wù)RNN 模型訓(xùn)練耗時(shí)降低了25%，較單任務(wù)LSTM 模型降低了50%。在處理多元負(fù)荷預(yù)測(cè)問(wèn)題時(shí)，單任務(wù)方法需要建立3 個(gè)模型進(jìn)行獨(dú)立訓(xùn)練；而本文使用的多任務(wù)方法僅需建立1個(gè)模型，且由于3個(gè)預(yù)測(cè)任務(wù)包含相同的輸入特征（氣象特征和時(shí)間特征），使用多任務(wù)模型能夠減少輸入特征數(shù)量，從而使得訓(xùn)練耗時(shí)大幅縮減。此外，LSTM 較RNN 結(jié)構(gòu)更為復(fù)雜，所需訓(xùn)練時(shí)間更長(zhǎng)，但本文模型的訓(xùn)練耗時(shí)仍低于單任務(wù)RNN 模型，表明所提多任務(wù)學(xué)習(xí)方法具有較強(qiáng)的工程應(yīng)用價(jià)值。

3.3.2 本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型對(duì)比

為驗(yàn)證本文模型能夠考慮多元負(fù)荷間的強(qiáng)相關(guān)性與弱相關(guān)性，降低預(yù)測(cè)誤差，本文將其與傳統(tǒng)基于參數(shù)硬共享的多任務(wù)學(xué)習(xí)模型［14］進(jìn)行對(duì)比分析。傳統(tǒng)多任務(wù)學(xué)習(xí)方法首先將MMoE 多任務(wù)層替換為參數(shù)硬共享層，然后使用LSTM 層進(jìn)行負(fù)荷預(yù)測(cè)，最后使用全連接層輸出預(yù)測(cè)結(jié)果，超參數(shù)參考文獻(xiàn)［14］進(jìn)行設(shè)置，輸入特征與所提方法保持一致。從測(cè)試集選取某天展示預(yù)測(cè)效果如圖4 所示，測(cè)試集的預(yù)測(cè)誤差對(duì)比如表2所示。

圖4 預(yù)測(cè)效果對(duì)比Fig.4 Comparison of prediction effect

表2 本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型對(duì)比Table 2 Comparison between proposed model and traditional multi-task learning model

觀察圖4（a）、（c）可知，冷負(fù)荷與電負(fù)荷的預(yù)測(cè)效果中，本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型均能取得較好的預(yù)測(cè)效果，預(yù)測(cè)曲線對(duì)真實(shí)曲線的擬合程度較高。但觀察圖4（a）、（c）的細(xì)節(jié)部分可知，本文模型在曲線波動(dòng)劇烈的部分仍能保持較好的擬合效果，預(yù)測(cè)值更加接近真實(shí)值，而傳統(tǒng)多任務(wù)學(xué)習(xí)模型的預(yù)測(cè)誤差有所提高，效果不佳。結(jié)合表2 可知，本文模型的冷、電負(fù)荷MAEP 指標(biāo)較傳統(tǒng)多任務(wù)學(xué)習(xí)模型降低了0.98%和0.84%，因此本文模型的預(yù)測(cè)效果更好。

由于熱負(fù)荷較其他2 類負(fù)荷波動(dòng)更加劇烈，因此模型的訓(xùn)練更加困難，容易發(fā)生過(guò)擬合或欠擬合。由圖4（b）和表2 可見(jiàn)：傳統(tǒng)多任務(wù)學(xué)習(xí)模型對(duì)熱負(fù)荷的預(yù)測(cè)結(jié)果更加保守，預(yù)測(cè)曲線的波動(dòng)性較低，MAEP 指標(biāo)為13.47%；而本文模型仍然能夠保持較好的預(yù)測(cè)能力，MAPE 指標(biāo)為9.04%，較傳統(tǒng)多任務(wù)學(xué)習(xí)模型降低了4.43%。其原因是參數(shù)硬共享機(jī)制無(wú)法考慮多元負(fù)荷間相關(guān)性的差異，為3 個(gè)子任務(wù)賦相同的共享參數(shù)，而熱負(fù)荷與電負(fù)荷的相關(guān)系數(shù)僅為0.1，不存在明顯相關(guān)關(guān)系，因此電負(fù)荷序列信息可能會(huì)對(duì)熱負(fù)荷預(yù)測(cè)模型造成干擾，影響模型性能；本文模型通過(guò)設(shè)置多個(gè)專家子網(wǎng)和門控單元，在考慮多元負(fù)荷間相關(guān)性差異的基礎(chǔ)上，僅為各個(gè)子任務(wù)傳遞有助于提升其預(yù)測(cè)精度的共享信息，避免弱相關(guān)信息對(duì)子任務(wù)的干擾，因此取得了更好的預(yù)測(cè)效果。

本文模型與傳統(tǒng)多任務(wù)學(xué)習(xí)模型的訓(xùn)練時(shí)間分別為72、81 s，參數(shù)量分別為58838和72108，在同等算力下，本文模型的訓(xùn)練耗時(shí)略高于傳統(tǒng)多任務(wù)學(xué)習(xí)模型，原因在于傳統(tǒng)基于硬共享機(jī)制的多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)簡(jiǎn)單，其參數(shù)共享層本質(zhì)上是一層全連接層，而MMoE 多任務(wù)學(xué)習(xí)模型結(jié)構(gòu)復(fù)雜，包括對(duì)多個(gè)專家子網(wǎng)和門控單元的訓(xùn)練，模型參數(shù)量更多，訓(xùn)練耗時(shí)較傳統(tǒng)多任務(wù)學(xué)習(xí)模型增加了13%。2 種多任務(wù)學(xué)習(xí)模型的訓(xùn)練耗時(shí)均明顯低于單任務(wù)學(xué)習(xí)模型，驗(yàn)證了多任務(wù)學(xué)習(xí)模型應(yīng)用于多元負(fù)荷預(yù)測(cè)問(wèn)題的實(shí)用性。

4 結(jié)論

本文針對(duì)綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)問(wèn)題，提出了一種基于MMoE 多任務(wù)學(xué)習(xí)和LSTM 的多元負(fù)荷預(yù)測(cè)方法，得到如下結(jié)論。

1）隨著綜合能源系統(tǒng)的不斷發(fā)展，多元負(fù)荷間的聯(lián)系更加密切，多任務(wù)學(xué)習(xí)模型較單任務(wù)學(xué)習(xí)模型更能考慮多元負(fù)荷的耦合特性，能夠有效提高預(yù)測(cè)精度，且模型的訓(xùn)練耗時(shí)更短，具有較高的工程應(yīng)用價(jià)值。

2）分析多元負(fù)荷的耦合特性時(shí)需要考慮多元負(fù)荷間的相關(guān)性。若多元負(fù)荷間存在弱相關(guān)性，則會(huì)影響基于硬共享機(jī)制多任務(wù)學(xué)習(xí)模型的性能。針對(duì)這一問(wèn)題，本文提出基于MMoE 多任務(wù)學(xué)習(xí)和LSTM的模型，其能夠考慮多元負(fù)荷間相關(guān)性的差異，通過(guò)門控單元對(duì)子任務(wù)進(jìn)行合理的共享信息分配，避免弱相關(guān)信息對(duì)子任務(wù)的干擾，實(shí)現(xiàn)了更好的預(yù)測(cè)效果。

附錄見(jiàn)本刊網(wǎng)絡(luò)版（http：//www.epae.cn）。