三支殘差修正的燃?xì)庳?fù)荷預(yù)測(cè)

王 兵，吳思琪，方 宇

西南石油大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，成都 610500

對(duì)于天然氣輸配系統(tǒng)來(lái)說(shuō)，負(fù)荷預(yù)測(cè)模塊是重要組成部分。精準(zhǔn)的燃?xì)庳?fù)荷預(yù)測(cè)結(jié)果可以幫助有效地規(guī)劃燃?xì)夤?yīng)，實(shí)現(xiàn)燃?xì)獾目茖W(xué)調(diào)度。

目前燃?xì)庳?fù)荷預(yù)測(cè)有大量國(guó)內(nèi)外的研究。Akpinar等人[1]使用時(shí)間序列分解和季節(jié)ARIMA（autoregressive integrated moving average）模型來(lái)預(yù)測(cè)天然氣的每日和每月需求。Fabbiani等人[2]指出使用線性回歸、隨機(jī)森林、支持向量機(jī)等單一模型不如集成模型效果好。Anelkovi等人[3]根據(jù)歐洲天然氣市場(chǎng)的使用特點(diǎn)設(shè)計(jì)了一種自適應(yīng)神經(jīng)模糊推理系統(tǒng)，該系統(tǒng)融合了神經(jīng)網(wǎng)絡(luò)和模糊邏輯原理。Yukseltan等人[4]提出的預(yù)測(cè)模型中引入了傅里葉級(jí)數(shù)，并且使用了預(yù)測(cè)日溫度的偏差作為回歸因子。Zhou等人[5]結(jié)合燃?xì)庳?fù)荷序列的非線性和周期性特征設(shè)計(jì)了一種新型離散灰色預(yù)測(cè)模型，使用文化算法對(duì)預(yù)測(cè)過(guò)程進(jìn)行了優(yōu)化。Wu等人[6]在預(yù)測(cè)燃?xì)庥昧康臅r(shí)候使用了灰色伯努利模型，并且基于模型的線性化形式使用了粒子群優(yōu)化算法確定非線性參數(shù)。張彤[7]提出一種改進(jìn)的LMD（local mean decomposition）算法與GRU（gated recurrent unit）相結(jié)合的組合預(yù)測(cè)模型。王曉霞等人[8]將AE（auto-encoder）和EEMD（ensemble empirical mode decomposition）兩種優(yōu)化算法進(jìn)行融合，另外結(jié)合LSTM（long short-term memory）網(wǎng)絡(luò)形成一種新的基于EEAE-LSTM多模型融合預(yù)測(cè)模型。龔承柱等人[9]基于燃?xì)庳?fù)荷的特點(diǎn)建立了基于經(jīng)驗(yàn)?zāi)B(tài)分解、相空間重構(gòu)、最小二乘支持向量機(jī)的組合預(yù)測(cè)模型，指出組合模型的預(yù)測(cè)精度更高。陸繼翔等人[10]先采用CNN（convolutional neural network）提取特征向量，然后將特征向量以時(shí)序序列方式構(gòu)造并作為L(zhǎng)STM網(wǎng)絡(luò)輸入數(shù)據(jù)，再采用LSTM網(wǎng)絡(luò)進(jìn)行短期負(fù)荷預(yù)測(cè)。宋娟等人[11]提出了一種兼顧多元線性回歸的非線性特性和BP神經(jīng)網(wǎng)絡(luò)的泛化特性的混合預(yù)測(cè)模型。陳川等人[12]結(jié)合燃?xì)庳?fù)荷特征建立了基于BP神經(jīng)網(wǎng)絡(luò)、經(jīng)驗(yàn)?zāi)B(tài)分解、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型。

三支決策作為一個(gè)重要的決策方法論在近些年得到了蓬勃發(fā)展，Yang等人[13]使用復(fù)雜網(wǎng)絡(luò)對(duì)三支決策的應(yīng)用、三支決策的發(fā)展方向等進(jìn)行了分析綜述。在不同的研究背景下很多研究對(duì)三分和三支兩個(gè)任務(wù)進(jìn)行具體的構(gòu)造和解釋，提出了大量三支決策的模型和應(yīng)用，如相控陣?yán)走_(dá)、疫情復(fù)工、屬性約簡(jiǎn)、臨床診斷、論文同行評(píng)審、投資決策、文本分類、郵件過(guò)濾、推薦系統(tǒng)、聚類分析和人臉識(shí)別[14-20]等。

燃?xì)庳?fù)荷預(yù)測(cè)可以看作一個(gè)時(shí)序預(yù)測(cè)問(wèn)題，且負(fù)荷受天氣、溫度等多種外部因素影響，復(fù)雜多變。雖然目前已有大量關(guān)于燃?xì)庳?fù)荷預(yù)測(cè)的研究，但鮮有學(xué)者將三支決策理論應(yīng)用于燃?xì)庳?fù)荷預(yù)測(cè)過(guò)程中。本文使用歷史負(fù)荷數(shù)據(jù)和負(fù)荷影響因素進(jìn)行短期燃?xì)庳?fù)荷預(yù)測(cè)，在此基礎(chǔ)上提出了一種三支殘差修正的短期燃?xì)庳?fù)荷組合預(yù)測(cè)模型。該模型可以提高負(fù)荷預(yù)測(cè)準(zhǔn)確度，幫助實(shí)現(xiàn)更為科學(xué)的燃?xì)庹{(diào)度。

1 相關(guān)簡(jiǎn)介

ARIMA(p,d,q)指的是差分自回歸移動(dòng)平均模型[21]，首先通過(guò)d階差分將非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列，再通過(guò)自回歸模型AR(p)和移動(dòng)平均模型MA(q)的組合對(duì)當(dāng)前時(shí)刻t的值xt求解，可表示為：

LightGBM（light gradient boosting machine）指的是輕量級(jí)的梯度提升機(jī)[22]，是一個(gè)基于樹(shù)模型的分布式梯度增強(qiáng)框架，具有訓(xùn)練速度快、內(nèi)存占用低、準(zhǔn)確性高、支持并行和GPU學(xué)習(xí)的特點(diǎn)。

STL（seasonal and trend decomposition using Loess）[23]是以魯棒局部加權(quán)回歸（robust locally weighted regression）作為平滑方法的時(shí)間序列分解方法。魯棒局部加權(quán)回歸[24]由Cleveland提出，結(jié)合了局部加權(quán)回歸和強(qiáng)魯棒性的擬合過(guò)程，利用局部觀測(cè)數(shù)據(jù)對(duì)欲擬合點(diǎn)進(jìn)行擬合。

基于評(píng)價(jià)函數(shù)的三支決策[25]是解決實(shí)用性問(wèn)題的有效途徑。三支決策理論強(qiáng)調(diào)“三分三治”來(lái)處理不確定性問(wèn)題。假設(shè)U是一個(gè)有限非空的對(duì)象集合，C是一個(gè)有限的條件集合?！叭帧敝傅氖且朐u(píng)價(jià)函數(shù)v(x)和閾值對(duì)(α,β)對(duì)U進(jìn)行劃分，其中α≥β；“三治”指的是對(duì)劃分后的區(qū)域采取不同的處理方式。U基于評(píng)價(jià)函數(shù)v(x)和閾值對(duì)(α,β)劃分為L(zhǎng)-region、M-region、R-region，簡(jiǎn)記為L(zhǎng)、M、R：

2 基于三支殘差修正的燃?xì)庳?fù)荷組合預(yù)測(cè)模型

為了提高燃?xì)庳?fù)荷預(yù)測(cè)的精度，本文首先基于燃?xì)庳?fù)荷序列特點(diǎn)構(gòu)造了一種組合預(yù)測(cè)模型，接著設(shè)計(jì)了三支殘差修正法來(lái)修正模型的預(yù)測(cè)結(jié)果，并將這個(gè)模型命名為DA-LGBM-3WRC（double ARIMA and LightGBM with three-way residual correction）。DA-LGBM-3WRC

模型首先使用STL將負(fù)荷序列分解成趨勢(shì)項(xiàng)、周期項(xiàng)和余項(xiàng)，然后結(jié)合了時(shí)序模型ARIMA和機(jī)器學(xué)習(xí)模型LightGBM各自的預(yù)測(cè)優(yōu)勢(shì)，分別處理分解后的負(fù)荷分量，最后使用了三支殘差修正法（three-way residual correction，3WRC）對(duì)LightGBM的預(yù)測(cè)結(jié)果進(jìn)行修正。接下來(lái)將詳細(xì)介紹DA-LGBM-3WRC模型的原理及算法流程。

2.1 三支殘差修正法

三支決策理論[26]最早由姚一豫教授提出，用于靈活處理現(xiàn)實(shí)中的不確定性問(wèn)題。三支決策理論在兩種極端下引入第三種情況來(lái)緩和二支決策的不合理性，其主要思想是將整體劃分為三個(gè)獨(dú)立的部分，對(duì)每部分分別采取不同的處理方式。殘差是觀察值與模型預(yù)測(cè)值之間的差，對(duì)殘差進(jìn)行修正可以進(jìn)一步改進(jìn)模型效果，提升模型準(zhǔn)確率。故基于三支決策理論設(shè)計(jì)了三支殘差修正法，如算法1所示，用于對(duì)LightGBM子模型產(chǎn)生的預(yù)測(cè)值進(jìn)行修正，進(jìn)一步提高預(yù)測(cè)準(zhǔn)確率。3WRC模型流程如圖1所示。

算法1三支殘差修正法

（1）初始化k；

（2）使用聚類算法將restrain劃分為k個(gè)簇；

（3）β=最小質(zhì)心所在簇的最大值；α=最大質(zhì)心所在簇的最小值；

（4）用restrain擬合ARIMA模型，得到預(yù)測(cè)殘差序列resarima；

（5）根據(jù)式（2）和v(x)處理resarima得到res3wrc；

（6）返回res3wrc。

其中restrain為用作訓(xùn)練的殘差序列，k為超參數(shù)，v(x)為三支決策理論中的評(píng)價(jià)函數(shù)。3WRC可以將殘差圈定在一定的波動(dòng)范圍內(nèi)，將修正后的殘差再加回LightGBM的預(yù)測(cè)值上，能一定程度上修正LightGBM預(yù)測(cè)值，達(dá)到更好的預(yù)測(cè)效果。

2.2 DA-LGBM-3WRC模型

燃?xì)庳?fù)荷數(shù)據(jù)具有長(zhǎng)期趨勢(shì)、周期波動(dòng)及隨機(jī)波動(dòng)相結(jié)合的特點(diǎn)，使用STL可以將燃?xì)庳?fù)荷序列分解為趨勢(shì)項(xiàng)、周期項(xiàng)和余項(xiàng)，針對(duì)三個(gè)不同的分量選用各自適用的模型，能最大程度地提取信息，提高預(yù)測(cè)精度。ARIMA模型只需要自身數(shù)據(jù)序列而不需要借助其他變量，且適用于規(guī)律性和周期性明顯的序列，LightGBM具有訓(xùn)練速度快、準(zhǔn)確率高、泛化性強(qiáng)的特點(diǎn)，因此DA-LGBM-3WRC將ARIMA用于趨勢(shì)項(xiàng)和周期項(xiàng)的預(yù)測(cè)，將LightGBM用于余項(xiàng)的預(yù)測(cè)，可以充分提取數(shù)據(jù)中的潛在信息。結(jié)合第2.1節(jié)中的3WRC對(duì)余項(xiàng)的預(yù)測(cè)殘差進(jìn)行修正，可以進(jìn)一步提高預(yù)測(cè)準(zhǔn)確度。

DA-LGBM-3WRC模型流程如圖2所示。首先使用STL將負(fù)荷序列分解成趨勢(shì)項(xiàng)、周期項(xiàng)和余項(xiàng)三個(gè)分量，趨勢(shì)項(xiàng)和周期項(xiàng)分別使用兩個(gè)ARIMA模型進(jìn)行預(yù)測(cè)，余項(xiàng)使用LightGBM模型進(jìn)行預(yù)測(cè)。余項(xiàng)受多種外部因素的影響，如天氣、溫度、節(jié)假日等因素，因此在余項(xiàng)的預(yù)測(cè)過(guò)程中加入了負(fù)荷影響因素。最后將三個(gè)子模型的預(yù)測(cè)值進(jìn)行線性加和就是DA-LGBM-3WRC的最終預(yù)測(cè)值。

2.3 時(shí)序數(shù)據(jù)轉(zhuǎn)換

時(shí)序數(shù)據(jù)集是按照時(shí)間索引排序的一系列數(shù)字，而監(jiān)督學(xué)習(xí)數(shù)據(jù)集由輸入特征矩陣和輸出標(biāo)簽組成。燃?xì)庳?fù)荷Y是一組時(shí)序數(shù)據(jù)，要將前i天的歷史負(fù)荷數(shù)據(jù)和影響因素導(dǎo)入機(jī)器學(xué)習(xí)模型進(jìn)行進(jìn)一步的探索和預(yù)測(cè)，需對(duì)燃?xì)庳?fù)荷序列進(jìn)行轉(zhuǎn)換。具體轉(zhuǎn)換過(guò)程示意見(jiàn)圖3。

圖3 中，時(shí)序的燃?xì)庳?fù)荷序列表示為Y(y1,y2,…,ym),如步驟①所示；天氣、溫度等影響因素組成的特征矩陣表示為X=[x1,x2,…,xm]T，如步驟②所示；時(shí)間窗口設(shè)定為i，即使用前i天的負(fù)荷數(shù)據(jù)[ym-i,…,ym-2,ym-1]和影響因素[xm1,xm2,…,xmn]預(yù)測(cè)當(dāng)前天ym的負(fù)荷，當(dāng)前i天的負(fù)荷數(shù)據(jù)不存在時(shí)值置為nan，如步驟③所示；刪除包含nan的行得到最終的監(jiān)督學(xué)習(xí)數(shù)據(jù)集，如步驟④所示。

2.4 模型建立步驟

基于DA-LGBM-3WDRC組合模型的燃?xì)庳?fù)荷預(yù)測(cè)步驟如下：

（1）數(shù)據(jù)預(yù)處理。辨識(shí)和修正不良數(shù)據(jù)。

（2）負(fù)荷序列分解。采用STL對(duì)燃?xì)庳?fù)荷序列進(jìn)行分解，得到趨勢(shì)項(xiàng)、周期項(xiàng)和余項(xiàng)。

（3）特征加工與處理。加入天氣、溫度等初始特征，日平均溫度、日期類型等衍生特征，組成特征矩陣，另外確定時(shí)間窗口，將時(shí)序數(shù)據(jù)轉(zhuǎn)化為監(jiān)督學(xué)習(xí)數(shù)據(jù)導(dǎo)入LightGBM模型中使用。

現(xiàn)階段而言，許多的高職院校，誤將校園文化建設(shè)理解成物質(zhì)文化建設(shè)，這是十分片面的。誤以為將校園內(nèi)的設(shè)置完善，豐富學(xué)生的課余生活，這就是校園文化建設(shè)，但是實(shí)際上來(lái)說(shuō)，這只是一種娛樂(lè)文化，這將會(huì)導(dǎo)致娛樂(lè)消遣之風(fēng)在整個(gè)校園盛行。高校要進(jìn)行文化建設(shè)，但是卻沒(méi)有一個(gè)明確的目標(biāo)，整個(gè)局限在對(duì)于學(xué)生的管理和思想政治教育的基礎(chǔ)層面上，沒(méi)有達(dá)到整體辦學(xué)、培養(yǎng)高素質(zhì)人才的高層次目標(biāo)。

（4）各子模型訓(xùn)練與預(yù)測(cè)。趨勢(shì)分項(xiàng)使用ARIMA模型，周期分項(xiàng)使用ARIMA模型，余項(xiàng)使用LightGBM模型。

（5）三支殘差修正。對(duì)LightGBM的余項(xiàng)預(yù)測(cè)結(jié)果使用三支殘差修正法進(jìn)行修正。

（6）子模型預(yù)測(cè)結(jié)果計(jì)算與評(píng)價(jià)。將三個(gè)分量的預(yù)測(cè)結(jié)果進(jìn)行加和得到最終的DA-LGBM-3WRC組合模型預(yù)測(cè)結(jié)果，使用評(píng)價(jià)指標(biāo)對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。

3 實(shí)驗(yàn)

本文選取了某市2016—2018三年的燃?xì)庳?fù)荷數(shù)據(jù)，共計(jì)1 096條記錄。時(shí)間窗口選擇為7，轉(zhuǎn)換為監(jiān)督學(xué)習(xí)數(shù)據(jù)集之后棄用前7條的數(shù)據(jù)，共計(jì)1 089條數(shù)據(jù)。根據(jù)數(shù)據(jù)集劃分原則，采取8∶2比例劃分訓(xùn)練集和測(cè)試集，訓(xùn)練集共計(jì)870條記錄，時(shí)間跨度為2016-01-08到2018-05-26，測(cè)試集共計(jì)219條記錄，時(shí)間跨度為2018-05-27到2018-12-31。根據(jù)第2.4節(jié)所示步驟建立DA-LGBM-3WRC燃?xì)饨M合預(yù)測(cè)模型并進(jìn)行評(píng)估。原始數(shù)據(jù)如表1所示。

表1 原始數(shù)據(jù)示例Table 1 Raw data example

本文首先分析了DA-LGBM-3WRC中各分量的預(yù)測(cè)結(jié)果，然后分析了DA-LGBM-3WRC的預(yù)測(cè)結(jié)果，與其他模型進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果使用平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）進(jìn)行評(píng)估，評(píng)價(jià)指標(biāo)定義如下：

3.1 各分量預(yù)測(cè)結(jié)果與分析

DA-LGBM-3WRC針對(duì)STL分解后的趨勢(shì)項(xiàng)、周期項(xiàng)和余項(xiàng)分別使用了ARIMA、ARIMA、LightGBM三個(gè)子模型，其中LightGBM模型引入了三支殘差修正法對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正。三個(gè)分量預(yù)測(cè)結(jié)果分別對(duì)應(yīng)表2、表3、表4。由表2可知，ARIMA預(yù)測(cè)趨勢(shì)項(xiàng)效果最優(yōu)。由表3可知，ARIMA是預(yù)測(cè)周期項(xiàng)的最佳選擇。由表4可知，基于3WRC的LightGBM表現(xiàn)更好，具有更優(yōu)的預(yù)測(cè)效果。

表2 趨勢(shì)項(xiàng)對(duì)比Table 2 Trend item comparison

表3 周期項(xiàng)對(duì)比Table 3 Periodic item comparison

表4 余項(xiàng)對(duì)比Table 4 Remaining item comparison

3.2 最終預(yù)測(cè)結(jié)果與分析

將趨勢(shì)項(xiàng)、周期項(xiàng)、余項(xiàng)進(jìn)行線性加和得到最終預(yù)測(cè)結(jié)果，圖4展示了DA-LGBM-3WRC模型的最終預(yù)測(cè)結(jié)果圖。從DA-LGBM-3WRC的預(yù)測(cè)曲線來(lái)看，其與真實(shí)負(fù)荷曲線的擬合性較好，能準(zhǔn)確跟隨真實(shí)走勢(shì)。預(yù)測(cè)曲線相較于真實(shí)曲線平滑且波動(dòng)小，但在真實(shí)負(fù)荷曲線的毛刺點(diǎn)處具有一定的誤差，原因是毛刺點(diǎn)呈現(xiàn)的波峰波谷受一些隨機(jī)因素的影響，而這些因素不可控，復(fù)雜多變，難以預(yù)測(cè)，預(yù)測(cè)模型想要捕捉這些隨機(jī)因素的信息難度較大。

DA-LGBM-3WRC模型主要結(jié)合了ARIMA和Light-GBM兩種模型，另外使用了3WRC進(jìn)行了殘差修正，故繪制了ARIMA單一模型、LightGBM單一模型、DA-LGBM和DA-LGBM-3WRC四條預(yù)測(cè)曲線進(jìn)行對(duì)比。從圖5中可以看出，ARIMA和LightGBM兩個(gè)單一模型的預(yù)測(cè)值與真實(shí)值整體偏差較大，具有明顯的滯后性，預(yù)測(cè)效果不理想。DA-LGBM的預(yù)測(cè)曲線與真實(shí)曲線的擬合性更好，但在部分?jǐn)?shù)據(jù)拐點(diǎn)處會(huì)出現(xiàn)嚴(yán)重偏離真實(shí)值情況。而在引入三支殘差修正法之后，DA-LGBM-3WRC模型針對(duì)這種情況有了一定程度的改善。另外DA-LGBM-3WRC的預(yù)測(cè)曲線整體上也比DA-LGBM的曲線更靠近真實(shí)曲線。

表5展示了不同模型的預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)。

表5 模型對(duì)比Table 5 Models comparison

從評(píng)價(jià)指標(biāo)來(lái)看，DA-LGBM-3WRC的MAE、RMSE是四個(gè)模型中最優(yōu)的，分別為50 910、68 784。綜合曲線和評(píng)價(jià)指標(biāo)，DA-LGBM-3WRC具有較高的預(yù)測(cè)精度，由此可見(jiàn)DA-LGBM-3WRC的有效性。

4 總結(jié)

本文為了提高燃?xì)庳?fù)荷預(yù)測(cè)準(zhǔn)確度，結(jié)合燃?xì)庑蛄刑攸c(diǎn)構(gòu)建了使用STL的ARIMA和LightGBM組合預(yù)測(cè)方法，在組合預(yù)測(cè)方法的基礎(chǔ)上進(jìn)一步結(jié)合三支決策理論提出了三支殘差修正法，建立了三支殘差修正的DALGBM-3WRC模型。首先給出了ARIMA、LightGBM、STL和三支決策理論的相關(guān)簡(jiǎn)介，然后詳細(xì)闡述了3WRC的設(shè)計(jì)原理和思想，并給出了算法模型流程圖和算法偽代碼；其次繪制示意圖對(duì)數(shù)據(jù)集轉(zhuǎn)換進(jìn)行了解釋；最后設(shè)計(jì)了ARIMA和LightGBM的組合預(yù)測(cè)模型，使用3WRC對(duì)LightGBM的預(yù)測(cè)結(jié)果進(jìn)行了修正。為了驗(yàn)證模型DA-LGBM-3WRC的有效性，實(shí)驗(yàn)部分使用真實(shí)燃?xì)庳?fù)荷數(shù)據(jù)，對(duì)比了兩個(gè)單一模型和不使用3WRC的組合模型，使用MAE、RMSE分析了模型預(yù)測(cè)結(jié)果。DA-LGBM-3WRC組合模型開(kāi)創(chuàng)性地引入了三支決策，理論分析和實(shí)驗(yàn)結(jié)果表明，其預(yù)測(cè)效果明顯優(yōu)于單一預(yù)測(cè)模型。未來(lái)工作的重點(diǎn)將首先關(guān)注尋找更優(yōu)的方法確定3WRC中的閾值對(duì)(α,β)，以得到更優(yōu)的殘差修正效果；其次將拓展應(yīng)用場(chǎng)景，進(jìn)行長(zhǎng)期負(fù)荷預(yù)測(cè)場(chǎng)景下的研究。