鋁電解分子比預(yù)測(cè)算法研究及應(yīng)用

趙子凌,李晉宏

(北方工業(yè)大學(xué) 信息學(xué)院,北京100144)

在鋁電解生產(chǎn)過(guò)程中,鋁電解的酸度是一項(xiàng)很重要的技術(shù)指標(biāo),因此如何測(cè)定和控制酸度是鋁電解過(guò)程中的重要環(huán)節(jié)之一[1]。然而現(xiàn)代鋁電解工藝普遍采用酸性電解質(zhì),此種電解質(zhì)中含有游離的氟化鋁以及各種添加劑[2](如氟化鎂,氟化鈣,氟化鋰等);這些物質(zhì)的存在導(dǎo)致電解質(zhì)物相比復(fù)雜,且相互存在非線(xiàn)性關(guān)系,相互影響,使得分子比難以直接測(cè)量。另外,分子比是代表鋁電解質(zhì)成分的一個(gè)重要技術(shù)參數(shù),對(duì)電解系統(tǒng)噸鋁直流電耗和電流效率影響較大。故調(diào)整合理的電解質(zhì)成分尤其是控制好分子比,對(duì)鋁電解工業(yè)節(jié)能減排、提質(zhì)增效是非常重要的[3]。

現(xiàn)代鋁電解工藝中,普遍采用的是冰晶石-氧化鋁熔巖電解法,該方法的基本原理:在鋁電解槽中使用氧化鋁作為主要材料,以冰晶石和氟化鹽為熔劑,構(gòu)成冰晶石-氧化鋁均勻熔融體,將直流電通入電解槽,陰極上產(chǎn)生液態(tài)鋁,陽(yáng)極上產(chǎn)生的二氧化碳和一氧化碳等氣態(tài)物質(zhì),與此同時(shí)在鋁電解的整個(gè)過(guò)程中要保持能量與物料的動(dòng)態(tài)平衡。液態(tài)電解質(zhì)成分是保證電解過(guò)程能夠正常進(jìn)行的關(guān)鍵因素,而冰晶石就是液態(tài)電解質(zhì)的主要成分。從分子結(jié)構(gòu)上講,它是由 3 mol 氟化鈉與 1 mol 氟化鋁結(jié)合而成,在常溫下呈現(xiàn)白色固體。冰晶石中所含氟化鈉摩爾數(shù)與氟化鋁摩爾數(shù)之比就是所說(shuō)的分子比。傳統(tǒng)分子比測(cè)定方法[2]有晶型法、化學(xué)成分法、電導(dǎo)法以及X射線(xiàn)衍射法。但是這些方法不僅操作復(fù)雜,所用儀器設(shè)備在電解槽內(nèi)高溫下容易損壞,而且無(wú)法及時(shí)直接測(cè)定出分子比,也就不能真正的實(shí)時(shí)指導(dǎo)生產(chǎn)。

本文采用人工蜂群算法(Artificial Bee Colony Algorithm)優(yōu)化的最小二乘支持向量機(jī)(Least Squares Support Vector Machine,LSSVM)、自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)(Autoregressive Recurrent Networks,DeepAR)以及高斯過(guò)程回歸(Gaussian Process Regression,GPR)進(jìn)行不同時(shí)間窗口的分子比預(yù)測(cè),最終通過(guò)線(xiàn)性回歸模型將多個(gè)分子比預(yù)測(cè)值加權(quán)得到最終預(yù)測(cè)結(jié)果。同時(shí)應(yīng)用傳統(tǒng)支持向量機(jī)回歸,傳統(tǒng)最小二乘支持向量機(jī)回歸等模型在相同數(shù)據(jù)集上開(kāi)展平行實(shí)驗(yàn),驗(yàn)證集成算法在鋁電解分子比預(yù)測(cè)上的性能。

1 研究綜述

工藝生產(chǎn)中,基于監(jiān)控與數(shù)據(jù)采集系統(tǒng)獲取大量數(shù)據(jù)中包含豐富的工藝過(guò)程歷史信息,這些信息能夠反映工業(yè)過(guò)程具體運(yùn)行情況和出現(xiàn)的問(wèn)題,反映某個(gè)或某些指標(biāo)伴隨著時(shí)間動(dòng)態(tài)變化趨勢(shì)。工業(yè)領(lǐng)域由于涉及多種體系結(jié)構(gòu)及過(guò)程,產(chǎn)生的數(shù)據(jù)種類(lèi)存在形式多樣。其中,時(shí)間序列[4]就是工業(yè)過(guò)程中產(chǎn)生的一系列保存時(shí)序關(guān)系的結(jié)構(gòu)化數(shù)據(jù),它客觀(guān)記錄所監(jiān)測(cè)系統(tǒng)在各個(gè)時(shí)刻點(diǎn)的重要信息。時(shí)間序列預(yù)測(cè)就是基于工藝過(guò)程中產(chǎn)生的時(shí)間序列數(shù)據(jù)對(duì)過(guò)程中某些關(guān)鍵變量進(jìn)行預(yù)測(cè),通過(guò)易測(cè)過(guò)程量推斷難測(cè)過(guò)程量,從而了解過(guò)程趨勢(shì),正確評(píng)估系統(tǒng)當(dāng)前狀態(tài),實(shí)現(xiàn)過(guò)程指標(biāo)檢測(cè)等,改善過(guò)程質(zhì)量,提高管理效率和管理水平,使得整個(gè)過(guò)程的經(jīng)濟(jì)效益最大化,提升生產(chǎn)過(guò)程的整體可觀(guān)可控性,為后續(xù)操作提供指導(dǎo)信息。

目前,參數(shù)時(shí)間序列預(yù)測(cè)[5]是鋁電解工業(yè)中主要研究方向之一。利用時(shí)間序列模型可以對(duì)歷史時(shí)序數(shù)據(jù)中的統(tǒng)一規(guī)律進(jìn)行分析,并進(jìn)一步預(yù)測(cè)趨勢(shì)。及時(shí)高效地預(yù)測(cè)可以為后續(xù)的專(zhuān)家決策提供支持。

近年來(lái)鋁電解生產(chǎn)實(shí)踐研究表明,降低分子比是提高電流效率的有效途徑之一。然而,當(dāng)前有關(guān)電解過(guò)程中分子比測(cè)定主要采用人工取樣分析,例如肉眼觀(guān)察法、指示劑檢查法、晶形光學(xué)法、熱滴定法、硝酸釷滴定法等。上述方法各有各自的優(yōu)點(diǎn),但在滿(mǎn)足現(xiàn)代化工業(yè)生產(chǎn)批量快速檢測(cè)要求方面有待提高[7]。針對(duì)這一難題,人們通過(guò)機(jī)器學(xué)習(xí)等方式開(kāi)始對(duì)分子比進(jìn)行研究與預(yù)測(cè)。其中,2005年任鳳蓮提出BP神經(jīng)網(wǎng)絡(luò)在分子比預(yù)報(bào)中的應(yīng)用[6]:因?yàn)锽P神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型可以對(duì)多個(gè)變量的系統(tǒng)進(jìn)行分析,不需要建立確定的數(shù)學(xué)模型且其擬合度與預(yù)報(bào)精度都滿(mǎn)足實(shí)際應(yīng)用需求;2010年高鋼,曾水平等人提出了基于神經(jīng)網(wǎng)絡(luò)的鋁電解溫度與分子比的預(yù)測(cè)研究[8]:該文獻(xiàn)中使用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)并通過(guò)聚類(lèi)法優(yōu)化神經(jīng)網(wǎng)絡(luò),但是隨著槽齡和環(huán)境等因素的變化還缺乏在線(xiàn)學(xué)習(xí)模型來(lái)更新網(wǎng)絡(luò)參數(shù)進(jìn)而提高模型適應(yīng)能力;2018年曾水平、王嘉利提出基于隨機(jī)森林與神經(jīng)網(wǎng)絡(luò)的鋁電解分子比預(yù)測(cè)[9]。

上述預(yù)測(cè)方法多數(shù)通過(guò)已知與分子比相關(guān)的影響因素進(jìn)行單一時(shí)間尺度的時(shí)間序列預(yù)測(cè),但實(shí)際生產(chǎn)中,時(shí)間序列預(yù)測(cè)無(wú)法收集到所有影響因子的數(shù)據(jù),有時(shí)甚至沒(méi)有任何歷史數(shù)據(jù)進(jìn)行支持。本文通過(guò)不同的時(shí)間尺度進(jìn)行預(yù)測(cè)可以大幅度降低預(yù)測(cè)過(guò)程中因?yàn)閿?shù)據(jù)缺失所造成的誤差;將人工蜂群算法進(jìn)行改進(jìn),提高模型收斂速度并且使得模型可以進(jìn)行參數(shù)動(dòng)態(tài)學(xué)習(xí),進(jìn)而提高其泛化能力;使用自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行概率分布預(yù)測(cè),解決無(wú)法考慮到未來(lái)不確定因素等問(wèn)題。

2 基于多時(shí)間窗口的鋁電解分子比預(yù)測(cè)

基于多時(shí)間窗口的鋁電解分子比時(shí)間序列預(yù)測(cè)模型的構(gòu)建及性能評(píng)估的技術(shù)路線(xiàn)如圖1所示,包括數(shù)據(jù)預(yù)處理,模型訓(xùn)練,模型預(yù)測(cè)及性能評(píng)估三個(gè)組成部分。

預(yù)測(cè)模型所用架構(gòu)如圖1所示。其基本思路如下:

圖1 基于多時(shí)間窗口的鋁電解分子比預(yù)測(cè)架構(gòu)圖

將電解槽中產(chǎn)生的數(shù)據(jù)進(jìn)行預(yù)處理:包括空缺值處理、異常值處理以及歸一化操作;根據(jù)不同的時(shí)間窗口選擇不同的預(yù)測(cè)模型進(jìn)行分子比預(yù)測(cè);對(duì)于最小二乘支持向量機(jī)模型使用改進(jìn)的人工蜂群算法進(jìn)行超參數(shù)的優(yōu)化,實(shí)現(xiàn)超參數(shù)的動(dòng)態(tài)學(xué)習(xí),進(jìn)而提高模型泛化能力;將上述三個(gè)時(shí)間窗口預(yù)測(cè)得到的分子比放入線(xiàn)性回歸模型中,獲得最終分子比預(yù)測(cè)值。

2.1 數(shù)據(jù)預(yù)處理

2.1.1 空缺值處理

對(duì)于數(shù)據(jù)缺失值超過(guò)半數(shù)的特征進(jìn)行舍棄,其余特征缺失值采用線(xiàn)性插值法進(jìn)行填充。線(xiàn)性插值法是一種時(shí)間序列數(shù)據(jù)補(bǔ)全方法,根據(jù)缺失數(shù)據(jù)前后的變化趨勢(shì)情況,通過(guò)到相鄰數(shù)據(jù)點(diǎn)的距離分配比重進(jìn)行缺失值的補(bǔ)全。如公式(1)可得:

(1)

2.1.2 異常值處理

如圖2、3所示,通過(guò)可視化分析,將小于Q1-1.5IQR或大于Q3+1.5IQR的值判定為異常值點(diǎn),并將其修改為前后兩日數(shù)據(jù)的均值。

圖2 某鋁廠(chǎng)A電解槽中平均電壓原始數(shù)據(jù)

圖3 A電解槽中平均電壓異常處理后數(shù)據(jù)

2.1.3 數(shù)據(jù)歸一化

由于電解槽中各特征量級(jí)不同且差異巨大,這對(duì)后續(xù)的預(yù)測(cè)過(guò)程影響較大,故采用min-max方法對(duì)數(shù)據(jù)進(jìn)行歸一化操作,將數(shù)據(jù)歸一化至[0,1]之間,轉(zhuǎn)換函數(shù)如公式(2)所示:

(2)

式中:max——樣本數(shù)據(jù)中的最大值;

min——樣本數(shù)據(jù)中的最小值。

2.1.4 特征提取

電解槽中影響分子比的參數(shù)分為四類(lèi):控制參數(shù)、化驗(yàn)參數(shù)、決策參數(shù)及測(cè)量參數(shù)。其中控制參數(shù)包括工作電壓、設(shè)定電壓、平均電壓等;化驗(yàn)參數(shù)指鐵含量、硅含量、鎂含量、鈣含量等;決策參數(shù)是出鋁量、氟化鹽添加量等;測(cè)量參數(shù)有鋁水平、電解質(zhì)水平、電解溫度等。由于電解槽中各特征參數(shù)均滿(mǎn)足時(shí)間序列要求,故各特征參數(shù)在成為預(yù)測(cè)模型輸入之前需要進(jìn)行時(shí)間序列的平穩(wěn)性檢驗(yàn)。

2.1.4.1 平穩(wěn)性檢驗(yàn)

平穩(wěn)時(shí)序數(shù)據(jù)的統(tǒng)計(jì)規(guī)律隨時(shí)間變化較小,通?？梢杂糜跁r(shí)間序列預(yù)測(cè)。因此需要對(duì)數(shù)據(jù)集進(jìn)行平穩(wěn)性檢驗(yàn)。本文采用單位根(ADF)檢驗(yàn)得到數(shù)據(jù)平穩(wěn)性評(píng)價(jià)結(jié)果,如表1所示:T假設(shè)檢驗(yàn)值為-4.4,p-value表示t統(tǒng)計(jì)量對(duì)應(yīng)概率值0.0003,1%、5%、10%信息準(zhǔn)確值均大于檢驗(yàn)值,證明不同程度拒絕原假設(shè)的統(tǒng)計(jì)值。同時(shí)p值小于給定的顯著水平0.05,證明ADF檢驗(yàn)的原假設(shè)是存在單位根。故極顯著的拒絕原假設(shè),認(rèn)為該時(shí)間序列特征的數(shù)據(jù)平穩(wěn)。若數(shù)據(jù)不平穩(wěn)可以進(jìn)一步通過(guò)差分法將時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為平穩(wěn)的序列。如圖4、5所示,是某參數(shù)原始時(shí)間序列圖和對(duì)原始時(shí)序圖進(jìn)行一階,二階差分后效果圖。

圖4 某特征原始時(shí)間序列圖

圖5 某特征時(shí)間序列差分圖

表1 某特征ADF檢驗(yàn)相關(guān)信息

2.1.4.2 特征選擇

實(shí)際工業(yè)生產(chǎn)中,影響分子比的參數(shù)很多且相互之間有著復(fù)雜的非線(xiàn)性關(guān)系,為了提高模型的預(yù)測(cè)精度,如圖6所示,通過(guò)隨機(jī)森林的方法進(jìn)行特征的篩選,選擇相關(guān)度最高的k個(gè)特征轉(zhuǎn)化為適用于LSSVM的數(shù)據(jù)形式作為預(yù)測(cè)模型的輸入,其中k由使用者自定義。

圖6 特征選擇效果圖

2.2 模型訓(xùn)練

2.2.1 基于IABC-LSSVM預(yù)測(cè)模型

基于改進(jìn)人工蜂群的最小二乘支持向量機(jī)預(yù)測(cè)模型(IABC-LSSVM)以時(shí)間窗口為1天進(jìn)行構(gòu)建,具體技術(shù)路線(xiàn):將選中的特征數(shù)據(jù)放入已經(jīng)人為設(shè)定好的初始化LSSVM模型中,進(jìn)行后一天分子比的預(yù)測(cè);得到預(yù)測(cè)值后,將預(yù)測(cè)值與實(shí)際值的均方根誤差函數(shù)作為改進(jìn)人工蜂群算法中的目標(biāo)函數(shù);將目標(biāo)函數(shù)放入IABC中進(jìn)行最小化,同時(shí)找到對(duì)應(yīng)的當(dāng)前最優(yōu)超參數(shù)組合。用此最優(yōu)超參數(shù)替換原有超參數(shù)繼續(xù)預(yù)測(cè)后續(xù)分子比,以達(dá)到預(yù)測(cè)模型動(dòng)態(tài)學(xué)習(xí)[10]的效果,進(jìn)而提高模型的泛化能力。

2.2.1.1 最小二乘支持向量機(jī)(LSSVM)模型

LSSVM[11]將SVM中的不等式約束轉(zhuǎn)化為等式約束,在采用誤差平方和損失函數(shù)代替SVM的二次規(guī)劃方法的基礎(chǔ)上,將二次規(guī)劃問(wèn)題轉(zhuǎn)化為線(xiàn)性矩陣求解問(wèn)題。具體原理如下:

給定一組數(shù)據(jù)集(xi,yi)i=1,2,……,N,xi為第i個(gè)樣本的輸入向量,yi為對(duì)應(yīng)輸出,N為數(shù)據(jù)集所包含的樣本數(shù),通過(guò)非線(xiàn)性映射φ(x)將樣本映射到高維空間,如公式(3)所示:

y(x)=ω·φ(x)+b

(3)

式中:ω——權(quán)值向量;

b——偏置向量。

按照結(jié)構(gòu)最小化原理,LSSVM模型可表示為:

(4)

式中:γ——大于0的懲罰系數(shù);

ξi——誤差。

在求解該最小化問(wèn)題時(shí),加入一個(gè)拉格朗日因子φi,構(gòu)成拉格朗日函數(shù),并利用KKT條件,將LSSVM回歸問(wèn)題轉(zhuǎn)化為:

(5)

其中:K(x,xi)=φ(xi)T·φ(xi)為滿(mǎn)足Mercer條件的核函數(shù)。

與此同時(shí)LSSVM的泛化性能不僅與訓(xùn)練樣本和測(cè)試樣本有關(guān),還取決于模型超參數(shù)的選擇。

2.2.1.2 超參數(shù)優(yōu)化

研究表明,超參數(shù)是影響LSSVM預(yù)測(cè)性能的主要原因[12]。其中核寬度主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度,而正則化參數(shù)的作用是在確定特征空間中調(diào)節(jié)最小二乘支持向量機(jī)的置信范圍以及結(jié)構(gòu)風(fēng)險(xiǎn)比例。正則化參數(shù)C表示對(duì)誤差懲罰度大小:隨著C增大,誤差的懲罰能力將逐步提升,預(yù)測(cè)誤差與訓(xùn)練誤差都將大幅降低,但訓(xùn)練時(shí)間會(huì)變長(zhǎng)。核寬度則反映支持向量間的相關(guān)程度:核寬度過(guò)小,向量間影響小易導(dǎo)致泛化能力差;而核寬度過(guò)大易造成模型欠擬合,導(dǎo)致預(yù)測(cè)精度低。而SVM與神經(jīng)網(wǎng)絡(luò)不同,其訓(xùn)練過(guò)程相對(duì)容易,且沒(méi)有局部最優(yōu),可以較好地使用高維數(shù)據(jù),但其弱點(diǎn)是需要一個(gè)好的核函數(shù)[12]。因此使用人工蜂群算法優(yōu)化正則化參數(shù)C與核寬度參數(shù)σ2兩個(gè)超參數(shù),將二者作為一個(gè)輸入組合,以每一時(shí)間序列時(shí)刻的均方根誤差作為適應(yīng)度函數(shù),通過(guò)反復(fù)迭代尋優(yōu),找到使得適應(yīng)度函數(shù)最小的取值組合。

為了提高算法的收斂速度,改善傳統(tǒng)人工蜂群[13]陷入局部最優(yōu)解的問(wèn)題,引入類(lèi)似禁忌搜索算法思想,使用改進(jìn)的人工蜂群算法(IABC,Improved-ABC),如圖7所示:創(chuàng)建一個(gè)記憶表。使得ABC算法在每一次迭代過(guò)程中得到的局部最優(yōu)解存放入列表中,當(dāng)經(jīng)歷過(guò)limit次循環(huán)后某一個(gè)當(dāng)前最優(yōu)解依然沒(méi)有發(fā)生變化,需要隨機(jī)產(chǎn)生新解時(shí),遍歷記憶表中所有保存的記錄,確保隨機(jī)產(chǎn)生的新解從未出現(xiàn)過(guò)。本文構(gòu)建的IABC-LSSVM(Improved-ABC-LSSVM)主要由最小二乘支持向量機(jī)與人工蜂群優(yōu)化算法兩部分組成。將預(yù)測(cè)數(shù)據(jù)集輸入到LSSVM模型中,得到第一天分子比預(yù)測(cè)值,將預(yù)測(cè)值與實(shí)際值的均方根函數(shù)作為目標(biāo)函數(shù)值放入人工蜂群算法中進(jìn)行最小化計(jì)算,得到當(dāng)前狀態(tài)下最優(yōu)的LSSVM超參數(shù)組合,將尋得超參數(shù)值替換LSSVM中原始值,繼續(xù)進(jìn)行下一天的分子比預(yù)測(cè),如此反復(fù)直至完成整個(gè)時(shí)間范圍內(nèi)的預(yù)測(cè)過(guò)程。整個(gè)算法流程如圖8所示。

圖7 IABC算法流程圖

圖8 IABC-LSSVM算法流程圖

2.2.2 基于DeepAR的預(yù)測(cè)模型

自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)(DeepAR)是Amazon于2017年提出的基于深度學(xué)習(xí)的時(shí)間序列預(yù)測(cè)算法,通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)結(jié)合自回歸來(lái)預(yù)測(cè)一維時(shí)間序列。大部分實(shí)際應(yīng)用生產(chǎn)中,會(huì)有跨一組具有代表性單元的多個(gè)相似時(shí)間序列。DeepAR會(huì)根據(jù)多個(gè)相似時(shí)間序列利用深度循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同時(shí)間序列內(nèi)部的關(guān)聯(lián)特性,使用多元或多重目標(biāo)個(gè)數(shù)來(lái)提升整體預(yù)測(cè)準(zhǔn)確度。算法最終產(chǎn)生一個(gè)可選時(shí)間跨度的多步預(yù)測(cè)結(jié)果,其中單時(shí)間節(jié)點(diǎn)預(yù)測(cè)為概率預(yù)測(cè),默認(rèn)輸出P50,P90兩個(gè)值。

數(shù)據(jù)往往是時(shí)間序列預(yù)測(cè)工作負(fù)載最大的問(wèn)題。例如無(wú)法收集預(yù)測(cè)信息的全部影響因素?cái)?shù)據(jù);又可能影響因素在未來(lái)具有不確定性;或只有少量甚至沒(méi)有歷史數(shù)據(jù)。而相比較基于LSSVM等傳統(tǒng)算法的時(shí)間序列預(yù)測(cè)性能,DeepAR的預(yù)測(cè)有著獨(dú)特的優(yōu)勢(shì):它能夠在一定程度上減輕對(duì)數(shù)據(jù)的依賴(lài)性。作為一種監(jiān)督學(xué)習(xí)算法,該算法直接在模型內(nèi)部進(jìn)行缺失值填充,為數(shù)據(jù)處理過(guò)程節(jié)省大量時(shí)間。與此同時(shí),利用DeepAR可以將多個(gè)時(shí)間序列相互關(guān)聯(lián),以便處理統(tǒng)計(jì)學(xué)中難以解決的非線(xiàn)性問(wèn)題和規(guī)模問(wèn)題。

算法模型訓(xùn)練(左側(cè))與預(yù)測(cè)(右側(cè))詳細(xì)過(guò)程如圖9所示。

圖9 DeepAR模型預(yù)測(cè)原理

(6)

(7)

(8)

(9)

2.2.3 基于GPR的預(yù)測(cè)模型

上文中使用神經(jīng)網(wǎng)絡(luò)進(jìn)行分子比預(yù)測(cè),當(dāng)單層神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)趨近于無(wú)窮時(shí)即在理論上趨近為高斯過(guò)程。同時(shí)GP模型是一種隨機(jī)變量的集合,集合中任意數(shù)量的隨機(jī)變量組合服從聯(lián)合高斯分布,并且由均值函數(shù)和協(xié)方差函數(shù)唯一確定。其中協(xié)方差函數(shù)直接決定模型精度[15]。這就展示了深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)與高斯過(guò)程的密切聯(lián)系,但不同的是高斯過(guò)程可以有原則地量化自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)中的不確定性。因?yàn)楦咚够貧w在預(yù)測(cè)過(guò)程可進(jìn)行概率推理的過(guò)程。

高斯過(guò)程回歸[15]是從無(wú)數(shù)函數(shù)中找到任何符合測(cè)試數(shù)據(jù)的函數(shù)集,然后通過(guò)對(duì)先驗(yàn)信息的了解,不斷縮小函數(shù)集尋找范圍,最終通過(guò)貝葉斯法則的方法與高斯分布的性質(zhì)相結(jié)合,計(jì)算得到函數(shù)集分布模型,根據(jù)建立好的模型對(duì)后續(xù)進(jìn)行預(yù)測(cè)。它是一種基于統(tǒng)計(jì)學(xué)習(xí)理論與貝葉斯理論相結(jié)合的非參數(shù)模型,且完全由輸入特征的均值函數(shù)m以及協(xié)方差函數(shù)k定義。在本文實(shí)驗(yàn)中,假設(shè)輸入特征向量與分子比間關(guān)系f為高斯過(guò)程,即f～GP(m,k);輸入向量xi服從高斯分布,則f(x)服從多元高斯分布f(x)～N(m(x),K)對(duì)訓(xùn)練集構(gòu)建回歸模型(公式10)。

y=f(x)+ε

(10)

(11)

式中:m(x)——多元高斯分布均值向量;

K——多元高斯分布協(xié)方差矩陣(公式11)。

(12)

式中:K*=〔k(x*,x1),…k(x*,xn)〕,K**=k(x*,x*)。

根據(jù)多元高斯分布條件概率,計(jì)算得到f*的后驗(yàn)分布(公式13)

f*|X,y,X*～N(m(f*),cov(f*))

(13)

式中:X——訓(xùn)練集輸入特征向量的列向量矩陣;

X*——預(yù)測(cè)集輸入特征向量的列向量矩陣。

m(f*),cov(f*)分別計(jì)算得到的均值矩陣和協(xié)方差矩陣。

核函數(shù)作為整個(gè)高斯過(guò)程回歸算法的核心,本文實(shí)驗(yàn)數(shù)據(jù)中特征向量與分子比間多為非線(xiàn)性關(guān)系,故選用徑向基核函數(shù)。(公式14)

(14)

2.2.4 線(xiàn)性回歸預(yù)測(cè)模型

根據(jù)上述三個(gè)不同時(shí)間窗口預(yù)測(cè)結(jié)果,把最終分子比預(yù)測(cè)值定義為因變量Y,與其相關(guān)性顯著的因素定義為自變量,3個(gè)因素分別定義為X1(時(shí)間窗口為一天的分子比預(yù)測(cè)值)、X2(時(shí)間窗口為3天的分子比預(yù)測(cè)值)、X3(時(shí)間窗口為7天的分子比預(yù)測(cè)值)。令線(xiàn)性方程如公式15所示:

Y=α0+α1X1+α2X2+α3X3

(15)

式中:α0——常量;

α1、α2、α3——三個(gè)自變量相應(yīng)系數(shù),稱(chēng)為偏回歸系數(shù)。

通過(guò)多元線(xiàn)性回歸模型得到三個(gè)自變量對(duì)應(yīng)權(quán)重值以及α0常量取值即可通過(guò)加權(quán)計(jì)算得到最終分子比預(yù)測(cè)值。

2.3 模型預(yù)測(cè)及性能評(píng)估

將預(yù)測(cè)數(shù)據(jù)集分別輸入到IABC-LSSVM,DeepAR以及GPR預(yù)測(cè)模型中分別得到不同時(shí)間窗口對(duì)應(yīng)的時(shí)間序列分子比預(yù)測(cè)結(jié)果。最后將三個(gè)不同分子比預(yù)測(cè)結(jié)果放入LR模型中進(jìn)行加權(quán)預(yù)測(cè),得到最終分子比預(yù)測(cè)值。本文采用均方誤差(Mean Squared Error,MSE),均方根誤差(Root Mean Squared Error,RMSE),平均絕對(duì)誤差(Mean Absolute Error,MAE)對(duì)三種獨(dú)立預(yù)測(cè)模型和最終線(xiàn)性回歸模型進(jìn)行性能評(píng)估,故公式(16～18)所示:

(16)

(17)

(18)

式中:yi——真實(shí)值;

m——預(yù)測(cè)樣本的個(gè)數(shù)。

三個(gè)評(píng)價(jià)指標(biāo)的值越小,表明模型的預(yù)測(cè)精度越高。為了更加直觀(guān)地對(duì)比各個(gè)模型性能,本文選擇基于相同的訓(xùn)練集和測(cè)試集分別進(jìn)行計(jì)算,使用傳統(tǒng)SVM、LSSVM模型對(duì)比IABC-LSSVM模型,從而形成對(duì)照算例。

將平穩(wěn)后的數(shù)據(jù)集中所有特征進(jìn)行歸一化處理后,轉(zhuǎn)化為適用于模型的數(shù)據(jù)形式,輸入到各模型中。對(duì)于時(shí)間窗口為一天的預(yù)測(cè)模型:IABC-LSSVM,SVM以及LSSVM模型的懲罰項(xiàng)均設(shè)置為0.9,核寬度設(shè)置為0.3;時(shí)間窗口為三天的自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)置其RNN網(wǎng)絡(luò)層數(shù)為2,每層40個(gè)神經(jīng)元,預(yù)測(cè)范圍為十天,學(xué)習(xí)速率0.002,迭代20次;時(shí)間窗口為七天的高斯過(guò)程回歸則設(shè)置初始化學(xué)習(xí)速率0.2,sigma為0.5。擬合效果圖如圖10～13所示。其中傳統(tǒng)的支持向量機(jī)模型對(duì)于分子比值波動(dòng)趨勢(shì)的捕捉精確度欠缺,通過(guò)IABC-LSSVM預(yù)測(cè)模型不僅僅提高了人工蜂群尋優(yōu)的效率同時(shí)更加精準(zhǔn)地抓住分子比動(dòng)態(tài)變化趨勢(shì);DeepAR算法中較細(xì)的預(yù)測(cè)折線(xiàn)代表預(yù)測(cè)的中位數(shù),深色陰影區(qū)域?yàn)?0%置信區(qū)間范圍,淺色區(qū)域?yàn)?0%置信區(qū)間范圍。從預(yù)測(cè)結(jié)果圖中可以直觀(guān)地看出大部分實(shí)際值落在50%置信區(qū)間中,并且全部處于90%置信區(qū)間預(yù)測(cè)范圍內(nèi);GPR模型中藍(lán)色折線(xiàn)表示訓(xùn)練集,黃色則代表測(cè)試集,而紅色散點(diǎn)為測(cè)試數(shù)據(jù)集在高斯過(guò)程回歸模型中得到的預(yù)測(cè)結(jié)果;LR回歸模型中,將三個(gè)不同時(shí)間窗口的時(shí)間序列預(yù)測(cè)結(jié)果合成為最終預(yù)測(cè)值,其預(yù)測(cè)曲線(xiàn)與實(shí)際數(shù)值趨勢(shì)變化大體一致,擬合效果較好。將2020年6月1日至2020年9月30日的數(shù)據(jù)作為訓(xùn)練集,預(yù)測(cè)2020年10月1日至2020年10月10日共計(jì)10天的分子比,結(jié)果如表2,3所示。時(shí)間窗口為一天,三天的預(yù)測(cè)評(píng)估指標(biāo)中RMSE分別約為0.29和0.24,表明預(yù)測(cè)結(jié)果較好,時(shí)間窗口為7天的測(cè)試RMSE約為0.25,表示GPR模型對(duì)于高維特征的預(yù)測(cè)具有一定的波動(dòng),對(duì)結(jié)果有一定的影響。最終線(xiàn)性回歸預(yù)測(cè)結(jié)果的均方根誤差為0.25。

表2 不同時(shí)間窗口預(yù)測(cè)模型結(jié)果

圖10 傳統(tǒng)機(jī)器學(xué)習(xí)模型與IABC-LSSVM對(duì)比圖

圖11 自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果圖

圖12 高斯過(guò)程回歸預(yù)測(cè)效果圖

圖13多元線(xiàn)性預(yù)測(cè)效果圖

表3 不同時(shí)間窗口預(yù)測(cè)效果對(duì)比

3 結(jié) 論

本文采用IABC-LSSVM、DeepAR、GPR模型對(duì)不同時(shí)間窗口分子比進(jìn)行預(yù)測(cè),后通過(guò)LR模型進(jìn)行回歸分析實(shí)現(xiàn)鋁電解中分子比的預(yù)測(cè),應(yīng)用國(guó)內(nèi)某鋁廠(chǎng)電解槽2020年6月1日至2020年10月10日已有各項(xiàng)相關(guān)因素以及分子比數(shù)據(jù)進(jìn)行時(shí)間序列分析。結(jié)果表明,將不同時(shí)序窗口分子比預(yù)測(cè)值進(jìn)行多元線(xiàn)性回歸后得到的分子比能夠較好地預(yù)測(cè)所需要的變動(dòng)趨勢(shì)以及大致結(jié)果。與傳統(tǒng)機(jī)器學(xué)習(xí)回歸模型相比較,基于人工蜂群改進(jìn)后的LSSVM算法、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的自回歸神經(jīng)網(wǎng)絡(luò)以及GPR算法的LR模型RMSE更低,預(yù)測(cè)結(jié)果較好。

本文使用不同時(shí)間窗口進(jìn)行分子比的加權(quán)預(yù)測(cè),研究結(jié)果預(yù)期可以為提高電解槽電流效率等工作提供幫助,為后續(xù)出鋁量等工作提供決策支持依據(jù)。本文在對(duì)分子比進(jìn)行預(yù)測(cè)時(shí),構(gòu)建的模型中相關(guān)特征主要包括鐵含量等相關(guān)因素的傳統(tǒng)時(shí)間序列特征,結(jié)果雖優(yōu)于多數(shù)模型,但考慮時(shí)序特點(diǎn)不夠全面。在未來(lái)工作中,將結(jié)合更多鋁電解工藝中的流程特征,對(duì)不同的影響因素提取其對(duì)應(yīng)分子比獨(dú)特的時(shí)間序列特征進(jìn)行進(jìn)一步預(yù)測(cè)分析。