mRMR和PSO算法對神經(jīng)網(wǎng)絡(luò)預(yù)測模型優(yōu)化效果

杜潤琪, 于 丹, 劉益民, 岑 悅

(1.北京建筑大學(xué), 北京 102627; 2.中國建筑科學(xué)研究院有限公司, 北京 100013)

1 概述

隨著科技進(jìn)步,傳統(tǒng)集中供熱正向智慧供熱發(fā)展[1]。利用人工智能算法對供熱負(fù)荷進(jìn)行準(zhǔn)確預(yù)測,是實(shí)現(xiàn)供熱系統(tǒng)優(yōu)化調(diào)節(jié)及節(jié)能運(yùn)行的先決條件與迫切需求[2]。

當(dāng)前已有研究人員對供熱負(fù)荷預(yù)測進(jìn)行了相關(guān)研究[3-6]。BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)適用于對供熱負(fù)荷這類非線性對象的預(yù)測建模[7],但存在收斂速度慢及易陷入局部極小值等缺陷[8]。因此,本文提出利用最大相關(guān)和最小冗余(Maximum Relevance and Minimum Redundancy,mRMR)算法對BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的輸入變量進(jìn)行特征選擇,加快BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的收斂速度并提高預(yù)測精度,得到mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。然后利用粒子群優(yōu)化(Particle Swarm Optimization,PSO)算法優(yōu)化mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型初始參數(shù),進(jìn)一步提高預(yù)測模型預(yù)測精度并避免陷入局部極小值,最終建立PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。對實(shí)際住宅樓進(jìn)行供熱負(fù)荷預(yù)測,評價3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果。

2 mRMR算法與PSO算法

① mRMR算法

BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的拓?fù)浣Y(jié)構(gòu)受輸入節(jié)點(diǎn)數(shù)量的影響,因此確定合理的輸入節(jié)點(diǎn)數(shù)量對提高BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的收斂速度及預(yù)測精度至關(guān)重要[9]。本文采用mRMR算法選取BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型輸入變量集合。

mRMR算法是一種基于互信息理論的封裝式特征選擇方法[10],互信息是信息論中用于度量變量間相關(guān)性的一種參數(shù)(互信息越大,表明相關(guān)性越強(qiáng))。mRMR算法的功能為在原始輸入變量集合中找到與目標(biāo)變量相關(guān)性最大,但是輸入變量之間冗余最小的輸入變量集合。

基于mRMR算法,可計(jì)算得到各輸入變量(共m個輸入變量)與預(yù)測目標(biāo)變量的互信息,并按照由高到低的順序進(jìn)行排序?；诟鬏斎胱兞炕バ畔⒌呐判蚪Y(jié)果,選擇序列中1～m個輸入變量作為預(yù)選輸入變量集合,輸入BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型中進(jìn)行訓(xùn)練,以預(yù)測結(jié)果的均方根誤差(Root Mean Square Error,RMSE)最小作為評價指標(biāo),選取最佳mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型,對應(yīng)的預(yù)選輸入變量集合即為最優(yōu)輸入變量集合。

② PSO算法

PSO算法是一種模仿鳥群社會行為的智能優(yōu)化算法,可用于解決非線性、不可微、多峰值的復(fù)雜問題[11]。算法中的每個粒子都代表問題的一個潛在解,用位置、速度、適應(yīng)度值3項(xiàng)指標(biāo)表示該粒子特征,通過不斷迭代更新粒子的速度和位置達(dá)到全局最優(yōu)解。

由于mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型會隨機(jī)對初始參數(shù)進(jìn)行賦值,易陷入局部極小值,因此本文利用PSO算法對mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的初始參數(shù)進(jìn)行優(yōu)化。通過PSO算法搜索全局最優(yōu)初始權(quán)值和閾值,并將計(jì)算得到的最優(yōu)初始權(quán)值和閾值賦予mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型,最終得到優(yōu)化后的PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。

3 預(yù)測模型優(yōu)化步驟

a.從實(shí)際工程中得到輸入變量數(shù)據(jù)及供熱負(fù)荷數(shù)據(jù)。

b.基于mRMR算法計(jì)算各個輸入變量的互信息,并按照互信息由高到低對輸入變量進(jìn)行排序。

c.選擇序列中1～m個輸入變量作為預(yù)選輸入變量集合,輸入BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行訓(xùn)練。

d.以RMSE最小為評價指標(biāo),選取最佳mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型,對應(yīng)的預(yù)選輸入變量集合即為最優(yōu)輸入變量集合。

e.經(jīng)過mRMR算法優(yōu)化后確定mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的拓?fù)浣Y(jié)構(gòu),初始化mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。以模型預(yù)測結(jié)果的相對誤差絕對值作為個體適應(yīng)度值,利用PSO算法優(yōu)化mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的初始權(quán)值和閾值。

f.訓(xùn)練模型,直至預(yù)測值與實(shí)際值滿足相對誤差絕對值小于等于0.01后停止訓(xùn)練。

4 預(yù)測效果評價

① 工程概況

北京市某住宅小區(qū)共16棟住宅樓,熱力站設(shè)在地下一層,每個樓棟口安裝調(diào)節(jié)閥。監(jiān)測數(shù)據(jù)均來自設(shè)置在熱力站內(nèi)的二級管網(wǎng)監(jiān)控平臺。采樣時間間隔在監(jiān)控平臺中已經(jīng)設(shè)定,本次僅調(diào)取各監(jiān)測數(shù)據(jù)的逐時平均值。監(jiān)測數(shù)據(jù)包括室外溫度、室外風(fēng)速、室外相對濕度、二級干管供水溫度、二級干管回水溫度、二級干管供水壓力、二級干管回水壓力、二級干管流量、二級循環(huán)泵運(yùn)行頻率、住宅樓室內(nèi)溫度、住宅樓流量、住宅樓供熱負(fù)荷、樓棟口調(diào)節(jié)閥開度、熱力站供熱負(fù)荷。

② 數(shù)據(jù)來源

以小區(qū)內(nèi)某棟住宅樓為研究對象,對該住宅樓供熱負(fù)荷進(jìn)行預(yù)測。住宅樓供熱面積為7 000 m2,共有48戶住戶。2 259組數(shù)據(jù)樣本來自該住宅樓2019—2020年供暖期,每組數(shù)據(jù)的采樣間隔為1 h。

③ 缺失值與異常值處理

直接刪除連續(xù)12 h缺失的數(shù)據(jù),其余缺失數(shù)據(jù)采用K最近鄰(K-Nearest Neighbors,KNN)算法,根據(jù)缺失樣本周圍K個鄰近樣本的平均值進(jìn)行填充[12]。利用拉依達(dá)準(zhǔn)則[13]篩選過大、過小等異常值,并刪除含有異常值的數(shù)據(jù)組。處理后的有效數(shù)據(jù)為1 889組。

④ 模型訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)

隨機(jī)抽取處理后的1 789組數(shù)據(jù),作為BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的訓(xùn)練數(shù)據(jù),基于MATLAB平臺建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型以及進(jìn)行mRMR算法、PSO算法優(yōu)化。經(jīng)隨機(jī)抽取后剩余的100組數(shù)據(jù)用于預(yù)測模型驗(yàn)證。

⑤ 最優(yōu)輸入變量集合

以住宅樓當(dāng)前供熱負(fù)荷為預(yù)測目標(biāo)變量,考慮到居住建筑的熱惰性,引入住宅樓前3 h、2 h、1 h供熱負(fù)荷,共計(jì)16個輸入變量,利用mRMR算法篩選出最優(yōu)輸入變量集合。由mRMR算法得到的16個輸入變量的互信息見表1。由互信息可知,二級干管回水溫度與住宅樓當(dāng)前供熱負(fù)荷的相關(guān)性最強(qiáng),相關(guān)性最弱的是住宅樓室內(nèi)溫度。

表1 16個輸入變量的互信息

根據(jù)輸入變量相關(guān)性排序結(jié)果,從1～16號輸入變量依次選取輸入變量集合。利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行訓(xùn)練,得到16個預(yù)測模型。預(yù)測模型RMSE隨輸入變量數(shù)量的變化見圖1。輸入變量數(shù)量為1時,輸入變量僅為二級干管回水溫度。輸入變量數(shù)量為2時,輸入變量為二級干管回水溫度、樓棟口調(diào)節(jié)閥開度。以此類推。由圖1可知,輸入變量數(shù)量為12時,預(yù)測模型RMSE最小,此時輸入變量集合為最優(yōu)輸入變量集合。

圖1 預(yù)測模型RMSE隨輸入變量數(shù)量的變化

⑥ 神經(jīng)網(wǎng)絡(luò)預(yù)測模型的拓?fù)浣Y(jié)構(gòu)

與mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型對比的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型共有16個輸入變量,因此輸入節(jié)點(diǎn)數(shù)量為16。預(yù)測模型的輸出為住宅樓當(dāng)前供熱負(fù)荷,即輸出節(jié)點(diǎn)數(shù)量為1。因此,BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的拓?fù)浣Y(jié)構(gòu)為16-33-1[14]。

mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型均基于最優(yōu)輸入變量集合建立,最優(yōu)輸入變量集合中有12個輸入變量,即輸入節(jié)點(diǎn)數(shù)量為12,預(yù)測模型的輸出同樣為住宅樓當(dāng)前供熱負(fù)荷。因此,mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的拓?fù)浣Y(jié)構(gòu)均為12-25-1[14]。3個模型均為多輸入、單輸出結(jié)構(gòu)。

⑦ 預(yù)測效果評價指標(biāo)

本文選擇平均相對誤差(Mean Relative Error,MRE)絕對值、RMSE、最大絕對誤差絕對值作為預(yù)測效果評價指標(biāo)。3種評價指標(biāo)的值越小,說明預(yù)測結(jié)果越接近實(shí)際,預(yù)測模型的預(yù)測效果越好。

⑧ 預(yù)測效果評價

將經(jīng)過隨機(jī)抽取后余下的100組數(shù)據(jù)樣本作為驗(yàn)證數(shù)據(jù)進(jìn)行驗(yàn)證,得到BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測結(jié)果。3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測值與實(shí)際值見圖2。由圖2可知,3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測值的變化趨勢與實(shí)際值均基本一致。與BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型相比,PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測值更加接近實(shí)際值。

圖2 3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測值與實(shí)際值

3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測值與實(shí)際值的絕對誤差見圖3。由圖3可知,與BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型相比,PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測值與實(shí)際值的絕對誤差的絕對值更小。

圖3 3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型預(yù)測值與實(shí)際值的絕對誤差

3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果評價指標(biāo)見表2。由表2可知,BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的MRE絕對值、RMSE、最大絕對誤差絕對值均最大,為3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型中預(yù)測效果最差的預(yù)測模型。PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的MRE絕對值、RMSE、最大絕對誤差絕對值均最小,為3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型中預(yù)測效果最佳的預(yù)測模型。說明,在經(jīng)過mRMR算法對預(yù)測模型輸入變量進(jìn)行篩選以及PSO算法對模型初始參數(shù)進(jìn)行優(yōu)化后,預(yù)測模型的預(yù)測效果顯著提高。

表2 3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果評價指標(biāo)

5 結(jié)論

在3種神經(jīng)網(wǎng)絡(luò)預(yù)測模型中,BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果最差,PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果最佳。與BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型相比,經(jīng)過mRMR算法對輸入變量進(jìn)行篩選以及PSO算法對初始參數(shù)進(jìn)行優(yōu)化,PSO-mRMR-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的預(yù)測效果顯著提高。