小數(shù)據(jù)場景下基于遷移學習與BiLSTM的建筑能耗預測方法

田晨璐 劉業(yè)春 楊愛新 韓春雪 王璠 梁麗華

摘? 要： 針對由新建建筑或建筑節(jié)能改造能耗數(shù)據(jù)不足引起的深度學習網(wǎng)絡預測精度低的問題，提出一種基于遷移學習與BiLSTM（雙向長短期記憶網(wǎng)絡）的新建建筑能耗預測方法。首先采用MMD（最大均值差異）對源域建筑與目標域建筑的歷史數(shù)據(jù)進行相似度分析；然后利用相似建筑的歷史數(shù)據(jù)對BiLSTM進行預訓練；最后微調(diào)BiLSTM對目標域建筑進行預測。使用真實的建筑能耗數(shù)據(jù)進行實驗，結(jié)果表明，與其他預測模型相比，所提出方法顯著提高了能耗預測精度。

關鍵詞： 建筑能耗預測； 遷移學習； 相似度分析； 深度學習； BiLSTM

中圖分類號：TU111.195? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-62-05

Abstract： Aiming at the problem of low prediction accuracy of deep learning network caused by insufficient energy consumption data of new buildings or building energy conservation renovation， in this paper， a new building energy consumption prediction method based on transfer learning and BiLSTM （bi-directional long short-term memory network） is proposed. Firstly， MMD （maximum mean difference） is used to analyze the similarity between the historical data of buildings in the source domain and the target domain. Secondly， the BiLSTM is pre-trained using the historical data of similar buildings. Finally， BiLSTM is fine-tuned to predict the buildings in the target domain. Experiments with real building energy consumption data show that the proposed method significantly improves the prediction accuracy of energy consumption compared with other prediction models.

Key words： building energy consumption prediction; transfer learning; similarity analysis; deep learning; BiLSTM

0 引言

建筑用能占全球用能的40%以上[1，2]，也是主要的碳排放來源。建筑物節(jié)能管控是實現(xiàn)國家“碳達峰、碳中和”戰(zhàn)略的主要措施之一，而建筑用能預測建筑節(jié)能管控中發(fā)揮著關鍵的作用。精準的能耗預測對于保證節(jié)能措施有效性、降低建筑運維費用等具有重要的意義[3]。為了實現(xiàn)精準的能耗預測，相關研究人員提出了多種基于深度學習的預測方法，例如Jing[4]等人通過灰狼優(yōu)化算法（GWO）對BP神經(jīng)網(wǎng)絡的權(quán)值等參數(shù)進行優(yōu)化來得到更優(yōu)的BP神經(jīng)網(wǎng)絡，從而對辦公建筑的能耗進行了更加精準的預測。Zhang[5]設計了一種以LSTM（長短期記憶網(wǎng)絡）為生成器、卷積式神經(jīng)網(wǎng)絡的判斷器，對建筑能耗的歷史數(shù)據(jù)進行多步預測，從而達到降低預測誤差的目的。Yu[6]等人采用樹種算法（TSA）優(yōu)化的徑向基函數(shù)（RBF）與LSTM分別對建筑物能耗數(shù)據(jù)的低頻分量和高頻分量進行預測，從而達到較高的預測結(jié)果。Dou[7]等人針對建筑能耗中單一預測模型預測精度低的問題，提出了多種預測模型相結(jié)合的方法。但是這些方法的有效性依賴于充足、高質(zhì)量的歷史能耗數(shù)據(jù)，在新建建筑、建筑節(jié)能改造等小數(shù)據(jù)場景下，可用建筑能耗數(shù)據(jù)較少，上述模型準確率難以保證。

據(jù)研究發(fā)現(xiàn)，遷移學習[8]在處理小樣本數(shù)據(jù)預測方面有顯著優(yōu)勢，已在發(fā)電預測、能耗預測、空氣質(zhì)量預測等領域有了初步的應用。例如文獻[9]針對發(fā)電風電場數(shù)據(jù)不穩(wěn)定、訓練時間長等問題，提出一種DNN-MRT（深度學習的元回歸器）與遷移學習相結(jié)合的方法對風電場的功率進行準確預測。文獻[10]提出聚類特征提取與遷移學習相結(jié)合的方法，來解決由于用戶耗能的強隨機性、強波動性造成的預測精度地的問題。文獻[11]為了解決由于水力發(fā)電數(shù)據(jù)頻發(fā)導致發(fā)電預測精度的問題，提出一種基于樣本數(shù)據(jù)遷移學習下的CNN（卷積神經(jīng)網(wǎng)絡）與LSTM（長短期記憶網(wǎng)絡）混合卷積時空網(wǎng)絡。文獻[12]采用ELM（極限學習機）與DQR（直接分位數(shù)回歸）結(jié)合遷移學習的思想，提出一種區(qū)間預測的太陽能發(fā)電訓練那模型。文獻[13]采用BiLSTM與遷移學習結(jié)合的方法，將現(xiàn)有的空氣監(jiān)測站的知識遷移到新建空氣監(jiān)測站中，以解決預測精度低的問題。文獻[14]采用遷移學習與BiRNN相結(jié)合的方法，將ICE/HEV的知識通過BiRNN載具模型遷移學習到EV上，進而解決由于EV充電數(shù)據(jù)少帶來的預測精度低的問題。

為了解決小數(shù)據(jù)場景下基于深度學習的建筑能耗預測精度低的問題，本文提出了一種基于遷移學習與BiLSTM 的建筑能耗預測方法。該方法利用相似建筑豐富的能耗數(shù)據(jù)對BiLSTM模型進行預訓練，再利用目標建筑數(shù)據(jù)集微調(diào)模型參數(shù)，最終達到提升預測精度的目的。為驗證所提方法的有效性，本文基于SVR（支持向量機）、ELM（極限學習機）、LSTM（長短期記憶網(wǎng)絡）、BiLSTM（雙向長短期記憶網(wǎng)絡）多種模型，建立了建筑用能預測對比方法，并應用到真實的建筑能耗預測中，采用R（皮爾相關系數(shù)）、SMAPE（對稱平均絕對百分比誤差）、RMSE（均方根誤差）、MAE（平均絕對誤差）四個評價指標進行精確度分析與驗證。

1 方法介紹

1.1 遷移學習與Fine-tuning（微調(diào)）

遷移學習根據(jù)學習方式，可分成以下四類[15]：基于樣本、基于特征、基于模型以及基于關系的遷移學習。本文采用基于模型的遷移的方式，基于模型遷移最常見的方法為Fine-tuning（微調(diào)），F(xiàn)inetuning體現(xiàn)在源域預測模型到目標域預測模型的調(diào)整上。源域數(shù)據(jù)內(nèi)包含充足的數(shù)據(jù)樣本，目標域數(shù)據(jù)內(nèi)包含少量的數(shù)據(jù)樣本。源域數(shù)據(jù)集在模型 A的基礎上進行預訓練，完成訓練任務A；而后經(jīng)過Fine-tuning后得到模型B，新的模型 B再針對目標域進行訓練，完成訓練任務B。Fine-tuning的優(yōu)勢點在于：經(jīng)過源域充足數(shù)據(jù)量訓練后的模型，廣義上相當于擴充了目標域的數(shù)據(jù)量，使得目標域預測模型仍有較好的擬合能力，基于模型的遷移示意如圖1所示。

1.2 最大平均差異MMD

遷移學習的核心為：分析源領域與目標領域的相似性[15]；當源域與目標域之間相似性較低時，遷移之后會產(chǎn)生負面情況的情況，因此有必要對源域、目標域數(shù)據(jù)進行相似度分析。本文采用最大平均差異MMD作為相似度分析算法。MMD通常被用于測量兩個分布間的差異，MMD是通過將兩分布映射同一空間內(nèi)，進而計算兩分布的距離。MMD的核心特性就是再生核希爾伯特空間（RKHS），即RKHS具備再生性，標準公式如下：

綜上本文采用MMD，可以作為分析源域、目標域的相似度算法。MMD最終求得的為量分布之間的距離，因此MMD結(jié)果越小，相似度越高；反之亦然。

1.3 雙向長短期記憶網(wǎng)絡BiLSTM

LSTM是為了解決循環(huán)神經(jīng)網(wǎng)絡（RNN）形成的梯度爆炸問題。LSTM結(jié)構(gòu)主要包括：輸入門，遺忘門，輸出門，內(nèi)部記憶單元。其中，遺忘門根據(jù)特定的機會監(jiān)控有無遺忘上一級的隱藏細胞狀況；而輸入門則一般負責管理對當前序列情況的輸入；內(nèi)部記憶模塊一般由兩部分形成：前一細胞狀態(tài)與當前遺忘門輸出的乘積、輸入門的乘積；輸出門一般由兩部分形成：前一序列狀態(tài)和當前順序的隱含態(tài)與sigmoid激活函數(shù)、隱含態(tài)與tanh激活函數(shù)。

其中[ft、it、Ct、ht]分別代表遺忘門、輸入門、內(nèi)部記憶單元、輸出門；[Wf、Wi、Wo、Uf、Ui、Uo、bf、bi、bo]表示線性關系的系數(shù)與偏移，[σ]為sigmoid激活函數(shù)、[⊙]為Hadamard積。BiLSTM在LSTM的基礎上，通過兩個單獨的隱藏層對序列信息進行了正向和反向處理，把兩個連接結(jié)合在同一個輸出層，將節(jié)點之前的信息和節(jié)點之后的信息作為時間序列數(shù)據(jù)的當前時間基礎。BiLSTM的優(yōu)勢在于能夠結(jié)合前向數(shù)據(jù)與后向數(shù)據(jù)的共同知識，從而獲取更為精確的模型知識。

2 數(shù)據(jù)集與實驗設置

2.1 數(shù)據(jù)集

從https：//trynthink.github.io/buildingsdatasets下載源域建筑能耗數(shù)據(jù)，數(shù)據(jù)包含美國100個匿名商業(yè)和工業(yè)站點2012年到2013年的能耗數(shù)據(jù)，每五分鐘采集一次建筑能耗。從其中選擇部分商業(yè)建筑、工業(yè)建筑作為實驗數(shù)據(jù)集，并分別建立商業(yè)建筑、工業(yè)建筑的遷移學習實驗。

2.2 參數(shù)設置

⑴ 相似度分析設置

相似度分析算法采用MMD，為了減少計算成本，降低運算時間，設計隨機抽取器對源域建筑能耗數(shù)據(jù)進行抽取，抽取的步長由目標域新建建筑能耗數(shù)據(jù)的數(shù)量長度決定，初設定抽取三次，將每次抽取的源域子集與目標域進行MMD運算，最后取3次MMD均值作為相似度結(jié)果輸出。

⑵ 方法設置

針對所提出的方法中BiLSTM的參數(shù)設置如下：BiLSTM的層數(shù)為十一層，其中包含一個序列的輸入層用于調(diào)整不同輸入數(shù)據(jù)的大小，四個BiLSTM層，四個Dropout層，一個全連接層以及一個回歸層。各個層級BiLSTM有四十八個隱藏單元，同時在各個層級BiLSTM后面接一層丟失率為0.5的Dropout層，以防止模型訓練過擬合；針對源于數(shù)據(jù)進行訓練時，采用凍結(jié)后兩層BiLSTM，預訓練后解凍后兩層BiLSTM，同時更新全連接層。進一步來說，參加源域數(shù)據(jù)訓練的有兩層BiLSTM，而后經(jīng)過微調(diào)后有四層BiLSTM參與目標域數(shù)據(jù)預測。

⑶ 評價指標

采用四個指標來度量模型預測精度，分別為平均絕對誤差（MAE）、均方根誤差（RMSE）、 對稱平均絕對百分比誤差（SMAPE）、皮爾遜相關系數(shù)（R），其中MAE、RMSE、SMAPE越低，表明預測精度越高，R越高，表明預測精度越高。標準公式如下：

2.3 微調(diào)策略

微調(diào)策略采用凍結(jié)部分BiLSTM預測模型的BiLSTM層，讓其針對源域數(shù)據(jù)進行模型預測，經(jīng)過一定訓練Epoch后，驗證源域擬合效果。而后對BiLSTM模型已凍結(jié)層數(shù)進行解凍處理，同時設計新的全連接層與解凍后的BiLSTM進行拼接，進而得到新的BiLSTM，新的BiLSTM既包含源域預訓練BiLSTM層，又包含解凍后無權(quán)重的BiLSTM層，微調(diào)策略示意圖如圖2所示。

3 實驗結(jié)果與討論

3.1 相似度分析

根據(jù)設計相似度分析算法，分別選取六個商業(yè)建筑、六個工業(yè)建筑作為備選源域數(shù)據(jù)，再分別選取另外一商業(yè)建筑、工業(yè)建筑的一個月的能耗數(shù)據(jù)作為目標域數(shù)據(jù)，來模擬出新建建筑的場景。由圖3可得商業(yè)建筑備用源域數(shù)據(jù)中源域5的MMD結(jié)果最小，即源域5與目標域最為相似；工業(yè)建筑備用源域中源域3的MMD結(jié)果最小，即源域3與目標域最為相似。因此商業(yè)建筑備用源域選擇源域5作為最終源域訓練數(shù)據(jù)，工業(yè)建筑備用源域選擇源域3作為最終源域訓練數(shù)據(jù)。

3.2 模型對比及評價指標

表1、表2分別展示了商業(yè)建筑、工業(yè)建筑BiLSTM-TF以及對比模型的各個評價指標，由表可知所提方法在四個評價指標方面都有較優(yōu)越的表現(xiàn)。在商業(yè)建筑預測模型中R指標至少提高了1.3%，SMAPE指標至少降低了34.45%，MAE指標至少降低了41.23%，RMSE至少降低了27.89%；在工業(yè)建筑預測模型中，R指標至少提高了0.6%，SMAPE指標至少降低了22.42%，MAE指標至少降低了12.21%，RMSE至少降低了11.36%。而且對比LSTM與BiLSTM模型預測指標發(fā)現(xiàn)，BiLSTM模型的預測性能較為優(yōu)越，這表明BiLSTM通過結(jié)合雙向傳播的信息，達到了更精確的預測精度；再對比BiLSTM與BiLSTM-TF模型預測指標發(fā)現(xiàn)，BiLSTM-TF四個指標均有一定的優(yōu)化，這表明遷移學習在預測中起到了積極的作用。

4 結(jié)束語

豐富的歷史能耗數(shù)據(jù)是實現(xiàn)高預測精度的必要前提，面對新建建筑或建筑節(jié)能改造能耗數(shù)據(jù)不足的問題，本文提出一種基于遷移學習與BiLSTM的新建建筑能耗預測方法。采用對相似源域建筑進行模型預訓練，而后經(jīng)過微調(diào)，再對目標域建筑進行預測，該方法廣義上擴充了目標域建筑的能耗數(shù)據(jù)量。為了驗證所提方法的優(yōu)越性，在美國真實的商業(yè)建筑、工業(yè)建筑上建立對比實驗，實驗結(jié)果表明，該方法至少優(yōu)化了22.42%。

在未來的工作中，我們希望通過消融實驗，確定BiLSTM模型結(jié)構(gòu)以及微調(diào)策略的最優(yōu)解，并在現(xiàn)有目標域建筑能耗數(shù)據(jù)量的基礎上，建立周期性遷移預測模型，進一步討論所提方法的優(yōu)越性。

參考文獻（References）：

[1] Gao Yuan， Ruan Yingjun， Fang Chengkuan， Yin Shuai.?Deep learning and transfer learning models of energy consumption forecasting for a building with poor information data. Energy and Buildings，2020，223：110156

[2] Zhang Yan， He Chen-Qi， Tang Bao-Jun， Wei Yi-Ming. China's energy consumption in the building sector： A life cycle approach， Energy and Buildings，2015，94：240-251

[3] Zhang Jinping， Deng Xiaoping， Li Chengdong， Su Guanqun， Yu Yulong. Cloud-edge collaboration based transferring prediction of building energy consumptio.Journal of Intelligent & Fuzzy Systems，2021，41：7563-7575

[4] 井文強，關宏潔，羅薇等.基于改進GWO-BP的辦公建筑能耗預測模型[J].建筑節(jié)能（中英文），2022，50（8）：125-129

[5] 張卓淵.一種基于生成對抗網(wǎng)絡的建筑能耗多步預測方法[J].電腦知識與技術，2022，18（23）：92-94

[6] 于軍琪，楊思遠，趙安軍，等.基于神經(jīng)網(wǎng)絡的建筑能耗混合預測模型[J].浙江大學學報（工學版），2022，56（6）：1220-1231

[7] 竇嘉銘，馬鴻雁.基于多神經(jīng)網(wǎng)絡組合的建筑能耗預測研究[J].計算機仿真，2022，39（5）：438-443

[8] Karl Weiss， Taghi M. Khoshgoftaar， DingDing Wang. A survey of transfer learning， J Big Data （2016）3：9，https：//doi.org/10.1186/s40537-016-0043-6

[9] Qureshi AqsaSaeed， Khan Asifullah， Zameer Aneela，Usman Anila . Wind power prediction using deep neural network based meta regression and transfer learning， Applied Soft Computing Journal，2017，58

[10] 孫曉燕，李家釗，曾博，等.基于特征遷移學習的綜合能源系統(tǒng)小樣本日前電力負荷預測[J].控制理論與應用，2021，38（1）：63-72

[11] 魏澤濤，劉友波，沈曉東，等.基于樣本數(shù)據(jù)遷移學習的貧資料地區(qū)小水電超短期出力建模及發(fā)電預測[J].中國電機工程學報，2022（11）：1-17

[12] Runhao Geng， Huan Long，Wei Gu， Small-Sample Interval Prediction Model based on Transfer Learning for Solar Power Prediction，2022 IEEE 5th International Electrical and Energy Conference （CIEEC），2022：4739-4743

[13] Ma Jun， Li Zheng， Cheng Jack C.P.， Ding Yuexiong， Lin Changqing， Xu Zherui. Air quality prediction at new stations using spatially transferred bi-directional long short-term memory network， Science of the Total Environment，2020，705：135771

[14] Yining Hua， Michele Sevegnani， Dewei Yi， Andrew Birnie， Steve McAslan. Fine-Grained RNN With Transfer Learning for Energy Consumption Estimation on EVs， IEEE Transactions on Industrial Informatics， 2022，18：8182-8190

[15] Zhuang Fuzhen， Qi Zhiyuan， Duan Keyu， Xi Dongbo， Zhu Yongchun， Zhu Hengshu，? Xiong Hui， He Qing. A Comprehensive Survey on Transfer Learning， Proceedings of the IEEE，2021，109：43-76

*基金項目：國家自然科學基金資助項目（61903226，52007109）； 山東建筑大學校內(nèi)博士基金（X22015Z）

作者簡介：田晨璐（1991-），女，山東濟南人，博士，講師，主要研究方向：建筑能耗預測。

通訊作者：梁麗華（1991-），女，山東濟南人，碩士，實驗師，主要研究方向：智能建筑檢測技術。