基于Hy-AttnTN模型的發(fā)電量預(yù)測(cè)

摘" 要：火力發(fā)電作為電網(wǎng)供給側(cè)的重要組成部分，火力發(fā)電量的準(zhǔn)確預(yù)測(cè)顯得尤為重要?？煽康陌l(fā)電量預(yù)測(cè)不僅能夠提高新能源發(fā)電的高效消納也能提高發(fā)電廠發(fā)電機(jī)組的運(yùn)行效率。該文基于傳統(tǒng)Transformer模型，提出一種混合注意力Transformer網(wǎng)絡(luò)（Hy-AttnTN）電廠發(fā)電量預(yù)測(cè)模型，引入電廠發(fā)電量作為內(nèi)生變量，將電力負(fù)荷量、新能源發(fā)電量、煤炭供給量和區(qū)域外來(lái)電量作為外生變量，通過(guò)采用自注意力機(jī)制和交叉注意力機(jī)制提高協(xié)同內(nèi)生變量和外生變量信息的能力。實(shí)驗(yàn)結(jié)果Hy-AttnTN模型對(duì)比原始Transformer及其他1種基于Transformer的改進(jìn)模型性能提升至少15%，表明Hy-AttnTN模型具有優(yōu)秀的預(yù)測(cè)性能。

關(guān)鍵詞：發(fā)電量預(yù)測(cè)；內(nèi)生變量；外生變量；自注意力機(jī)制；交叉注意力機(jī)制

中圖分類(lèi)號(hào)：TM621" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號(hào)：2095-2945（2025）03-0070-04

Abstract： Thermal power generation is an important part of the power grid supply side， and accurate prediction of thermal power generation is particularly important. Reliable power generation prediction can not only improve the efficient consumption of new energy power generation， but also improve the operating efficiency of power plants' generating units. Based on the traditional Transformer model， this paper proposes a hybrid attention Transformer Network （Hy-AttnTN） power plant power generation prediction model. It introduces power plant power generation as an endogenous variable， and takes power load， new energy power generation， coal supply， and external calls as exogenous variables. By adopting a self-attention mechanism and a cross-attention mechanism， the ability to coordinate information on endogenous variables and exogenous variables is improved. Experimental results show that the performance of the Hy-AttnTN model is improved by at least 15% compared with the original Transformer and one other improved Transformer-based models， indicating that the Hy-AttnTN model has excellent prediction performance.

Keywords： power generation prediction; endogenous variable; exogenous variable; self-attention mechanism; cross-attention mechanism

當(dāng)下新型電力系統(tǒng)快速發(fā)展，電力市場(chǎng)交易規(guī)模進(jìn)一步擴(kuò)大，部分地區(qū)電力供應(yīng)緊張，保障電力供應(yīng)安全面臨巨大挑戰(zhàn)。長(zhǎng)期來(lái)看，尖峰負(fù)荷特征日益凸顯，規(guī)模持續(xù)增加，但累計(jì)時(shí)間短，出現(xiàn)頻次低，所占電量小，增加了火電企業(yè)的投資成本與保供難度。因此，捕捉復(fù)雜的電網(wǎng)動(dòng)態(tài)信息，提供準(zhǔn)確的發(fā)電廠發(fā)電量預(yù)測(cè)，是電力系統(tǒng)持續(xù)可靠運(yùn)行的關(guān)鍵因素。

隨著深度學(xué)習(xí)的發(fā)展Google公司提出了Transformer模型。Transformer 包含2個(gè)主要模塊：編碼器和解碼器。在時(shí)序預(yù)測(cè)中，Transformer使用自注意力機(jī)制以“跨步”連接的方式讓模型對(duì)輸入序列的不同位置進(jìn)行關(guān)注，并將不同位置的信息整合起來(lái)，以使得模型更好地捕捉序列中的長(zhǎng)程度依賴關(guān)系，提高了在處理時(shí)間序列預(yù)測(cè)任務(wù)的效果。本研究提出Hybrid Attention Transformer Network（Hy-AttnTN）發(fā)電廠發(fā)電量預(yù)測(cè)模型，引入電廠發(fā)電量作為內(nèi)生變量，將電力負(fù)荷量、新能源發(fā)電量、煤炭供給量和區(qū)域外來(lái)電量作為外生變量通過(guò)采用自注意力機(jī)制和交叉注意力機(jī)制提高了協(xié)同內(nèi)生變量和外生變量信息的能力，有效地捕捉了發(fā)電量與其他相關(guān)變量間的聯(lián)系。

1" 相關(guān)工作

深度學(xué)習(xí)在時(shí)間序列預(yù)測(cè)領(lǐng)域的模型可以分為4類(lèi)：基于RNN框架、基于CNN框架、基于MLP框架和基于Transformer框架?；赗NN的模型，例如DeepAR，適合處理時(shí)序數(shù)據(jù)，但受模型的影響會(huì)出現(xiàn)梯度消失和低效率問(wèn)題的限制。最近的一些模型例如Times-Net充分發(fā)揮卷積核的作用，增強(qiáng)了CNN在時(shí)間序列建模的能力，實(shí)現(xiàn)了與基于Transformer模型相當(dāng)?shù)男阅?。由DLinear提出的基于MLP的模型也在時(shí)間序列預(yù)測(cè)中具有非常高的競(jìng)爭(zhēng)力。之后許多研究Transfomer的論文：PatchTST和iTransformer等對(duì)Transformer在時(shí)間序列預(yù)測(cè)中的有效性進(jìn)行了進(jìn)一步的驗(yàn)證。

然而，這些方法只關(guān)注多變量或單變量時(shí)間序列預(yù)測(cè)，未充分考慮外生變量對(duì)時(shí)間序列預(yù)測(cè)的影響。本文的Hy-AttnTN模型將多個(gè)外生變量的時(shí)間序列分別向量化嵌入交叉注意力模塊，從而能夠適應(yīng)時(shí)間錯(cuò)位或數(shù)據(jù)缺失的情況。這種方法提高了模型在處理不完整數(shù)據(jù)時(shí)的魯棒性，并確保了外生變量對(duì)內(nèi)生變量的有效影響。

2" 模型設(shè)計(jì)

發(fā)電廠發(fā)電量預(yù)測(cè)是時(shí)間序列預(yù)測(cè)的一種實(shí)際應(yīng)用。本文定義發(fā)電廠發(fā)電量為內(nèi)生變量，電力負(fù)荷量、新能源發(fā)電量、煤炭供給量和區(qū)域外來(lái)電量4種因素為外生變量，通過(guò)Hy-AttnTN模型實(shí)現(xiàn)對(duì)未來(lái)一段時(shí)間內(nèi)發(fā)電量數(shù)據(jù)的預(yù)測(cè)。

2.1" Hy-AttnTN模型結(jié)構(gòu)

內(nèi)生變量的時(shí)間序列En1∶L={En1，En2，…，EnL}∈RL×1，外生變量序列為Ex1∶L′={Ex，Ex，…，Ex}∈R，L表示內(nèi)生變量回望窗口的長(zhǎng)度，L'表示外生變量回望窗口的長(zhǎng)度。Ex用i進(jìn)行索引，表示第i個(gè)外生變量，C是外生變量的數(shù)量。本文將4個(gè)外生變量時(shí)間序列分別進(jìn)行向量化嵌入，通過(guò)預(yù)測(cè)模型f輸入內(nèi)生變量序列的歷史觀測(cè)值En1∶L和協(xié)同相關(guān)的外生變量序列Ex1∶L′來(lái)預(yù)測(cè)未來(lái)S個(gè)時(shí)間步，結(jié)果表示為" "=f（En1∶L，Ex1∶L′）。Hy-AttnTN模型沿用Transformer的解碼器部分，使用自注意力機(jī)制和交叉注意力機(jī)制分別獲取時(shí)間依賴和變量序列相關(guān)。注意力機(jī)制公式如下

Attention（Q，K，V）=softmax

V，

式中：softmax為激活函數(shù)。

2.2" 自注意力機(jī)制

內(nèi)生變量包括序列分段的N個(gè)子序列和1個(gè)全局序列作為嵌入向量輸入自注意力機(jī)制。我們將分段子序列與全局序列進(jìn)行合并，將內(nèi)生變量序列數(shù)增加到（N+1）。序列合并有助于自注意力機(jī)制捕捉內(nèi)生變量的信息，增強(qiáng)了向量表征效果，可以實(shí)現(xiàn)與外生變量更好的協(xié)同。在進(jìn)入交叉注意力機(jī)制之前，過(guò)程可以表示為

式中：n表示第n個(gè)Hy-AttnTN Block，P為內(nèi)生變量的子序列嵌入向量輸入，V為內(nèi)生變量的全局序列嵌入向量輸入，P

，V

表示嵌入后內(nèi)生變量在時(shí)間序列輸入維度上增廣。Sublayer（）表示自注意力（self-attention）模塊。LN（）對(duì)應(yīng)Addamp;Norm模塊，表示殘差連接和層歸一化。

2.3" 交叉注意力機(jī)制

交叉注意力機(jī)制被用來(lái)提取內(nèi)生變量和外生變量之間的依賴關(guān)系。在Hy-AttnTN中，交叉注意力機(jī)制的查詢矩陣Q表示內(nèi)生變量，鍵矩陣K和值矩陣V表示外生變量。這就確立了內(nèi)生變量和外生變量之間的關(guān)系，主要表示過(guò)程

式中：Sublayer（）表示內(nèi)生變量和外生變量的交叉注意力（cross-attention）模塊，" "為Q表示第n個(gè)Hy-AttnTN Block的內(nèi)生變量的向量序列輸入，Vex為K和V表示外生變量的向量序列輸入，通過(guò)殘差連接和層歸一化處理得到V作為n+1個(gè)Hy-AttnTN Block自注意力模塊的輸入。

2.4" 損失評(píng)估

由于外生變量不需要序列預(yù)測(cè)，因此對(duì)解碼器輸出進(jìn)行線性投影，以實(shí)現(xiàn)解碼器的隱藏表示。然后將該隱藏表示映射到嵌入空間，以生成內(nèi)生變量的預(yù)測(cè)結(jié)果。訓(xùn)練中我們選擇使用L2損失函數(shù)來(lái)衡量預(yù)測(cè)結(jié)果與真實(shí)數(shù)值之間的差異，并通過(guò)優(yōu)化損失函數(shù)來(lái)調(diào)整模型參數(shù)

式中：N表示Hy-AttnTN Block的數(shù)量，" "代表對(duì)內(nèi)生變量未來(lái)S步的預(yù)測(cè)。

3" 實(shí)驗(yàn)結(jié)果與分析

本文選擇的數(shù)據(jù)集來(lái)自某地區(qū)2020年1月至2022年12月火力發(fā)電廠的每小時(shí)發(fā)電量以及該地區(qū)2020年1月至2022年12月的電力負(fù)荷量、新能源發(fā)電量、煤炭供應(yīng)量以及從區(qū)域外來(lái)電量。發(fā)電量的動(dòng)態(tài)性質(zhì)決定了其全年波動(dòng)具有一定的周期性，這也凸顯了全面數(shù)據(jù)覆蓋的必要性。市場(chǎng)供需關(guān)系影響著煤炭?jī)r(jià)格變化、天氣原因影響新能源的發(fā)電量、季節(jié)因素影響電力負(fù)荷量、不同地區(qū)間的電力調(diào)度造成區(qū)域外來(lái)電量變化影響區(qū)域間電力分配等因素使得火電廠發(fā)電量的預(yù)測(cè)受到了眾多因素的影響。

3.1" 實(shí)驗(yàn)結(jié)果

本文可視化了模型在回望窗口為192預(yù)測(cè)長(zhǎng)度為24的發(fā)電量預(yù)測(cè)實(shí)驗(yàn)結(jié)果。預(yù)測(cè)結(jié)果如圖2所示。

不同預(yù)測(cè)長(zhǎng)度下的發(fā)電量預(yù)測(cè)結(jié)果如圖3所示。當(dāng)預(yù)測(cè)長(zhǎng)度較短時(shí)，預(yù)測(cè)值曲線和實(shí)際值曲線具有良好的擬合效果。隨著預(yù)測(cè)長(zhǎng)度的增加，預(yù)測(cè)曲線的擬合效果逐漸變差，預(yù)測(cè)誤差逐漸增大。

3.2" 實(shí)驗(yàn)分析

圖4展示了相同回望窗口和預(yù)測(cè)長(zhǎng)度（以48為例），Transformer、Autoformer模型的預(yù)測(cè)效果圖。通過(guò)與圖3中Hy-AttnTN模型預(yù)測(cè)效果圖對(duì)比，可以看出Hy-AttnTN模型的預(yù)測(cè)結(jié)果明顯優(yōu)于Transformer模型，同時(shí)也優(yōu)于其他Transformer改進(jìn)模型。

為了評(píng)估本研究提出的時(shí)間序列預(yù)測(cè)模型的性能，我們采用了標(biāo)準(zhǔn)評(píng)估指標(biāo)，即平均平方誤差（MSE）和平均絕對(duì)誤差（MAE）。這2個(gè)數(shù)據(jù)能夠直接有效地反映出預(yù)測(cè)結(jié)果與真實(shí)值之間的差距，分別如下式所示，其中yi表示真實(shí)值，i表示預(yù)測(cè)值，m表示評(píng)估的數(shù)據(jù)集長(zhǎng)度，模型性能的體現(xiàn)是MAE和MSE的值越小預(yù)測(cè)性能越好。

從圖5看出相較于原始Transformer模型和其他1種改進(jìn)Transformer模型，隨著預(yù)測(cè)長(zhǎng)度的增加，本文的Hy-AttnTN模型具有更加穩(wěn)定有效的預(yù)測(cè)效果。

4" 結(jié)論

在進(jìn)行火電廠發(fā)電量預(yù)測(cè)的過(guò)程中，本文充分考慮了現(xiàn)實(shí)預(yù)測(cè)場(chǎng)景中影響發(fā)電量的各種普遍因素。在傳統(tǒng)Transformer模型框架的基礎(chǔ)上，本文優(yōu)化了內(nèi)生變量序列和外生變量序列的嵌入方式，利用自注意力機(jī)制和交叉注意力機(jī)制實(shí)現(xiàn)了內(nèi)生變量和外生變量之間的信息協(xié)同。實(shí)驗(yàn)結(jié)果表明，本文的模型確實(shí)有著出色的預(yù)測(cè)性能。時(shí)間序列預(yù)測(cè)中的主要挑戰(zhàn)之一是數(shù)據(jù)分布漂移問(wèn)題，后續(xù)計(jì)劃引入可逆實(shí)例規(guī)范化的方法進(jìn)行輸入輸出數(shù)據(jù)處理。這一增強(qiáng)預(yù)計(jì)將進(jìn)一步消除數(shù)據(jù)非平穩(wěn)信息，提高模型的泛化能力，并進(jìn)一步提升效果。

參考文獻(xiàn)：

[1] 王登海，安玥馨，廖晨博，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)的光伏發(fā)電量預(yù)測(cè)方法研究[J].西安石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，39（1）：129-134.

[2] 溫青，張?bào)慊郏瑮钚?基于負(fù)荷誤差和經(jīng)濟(jì)發(fā)展趨勢(shì)的組合預(yù)測(cè)模型在中長(zhǎng)期負(fù)荷預(yù)測(cè)中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制，2011，39（3）：57-61.

[3] 李焱，賈雅君，李磊，等.基于隨機(jī)森林算法的短期電力負(fù)荷預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制，2020，48（21）：117-124.

[4] 彭湃，劉敏.基于Prophet-LSTM組合模型的短期負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2021，33（11）：15-20.

[5] 李潔，林永峰.基于多時(shí)間尺度RNN的時(shí)序數(shù)據(jù)預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（7）：33-37，62.

[6] 陳耀武，汪樂(lè)宇，龍洪玉.基于組合式神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)模型[J].中國(guó)電機(jī)工程學(xué)報(bào)，2001，21（4）：79-82.

[7] 張濤，趙登福，周琳，等.基于RBF神經(jīng)網(wǎng)絡(luò)和專(zhuān)家系統(tǒng)的短期負(fù)荷預(yù)測(cè)方法[J].西安交通大學(xué)學(xué)報(bào)，2001（4）：331-334.