基于核慢特征回歸與互信息的常壓塔軟測量建模

蔣昕祎，杜紅彬,2，李紹軍

?

基于核慢特征回歸與互信息的常壓塔軟測量建模

蔣昕祎1，杜紅彬1,2，李紹軍1

（1華東理工大學(xué)化工過程先進(jìn)控制與優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海200237；2中國石油天然氣股份有限公司獨(dú)山子石化研究院，新疆克拉瑪依833699）

針對(duì)工業(yè)過程的非線性及動(dòng)態(tài)特性，提出了一種新的慢特征回歸軟測量方法。該方法首先通過添加時(shí)延數(shù)據(jù)構(gòu)造動(dòng)態(tài)數(shù)據(jù)集，利用互信息最大化準(zhǔn)則篩選變量從而減少信息冗余的影響。同時(shí)該方法在慢特征分析的基礎(chǔ)上引入核函數(shù)擴(kuò)展，加強(qiáng)模型處理非線性數(shù)據(jù)的能力，并將獲得的核慢特征用于回歸建模。核慢特征分析通過分析樣本的變化，提取具有緩慢變化特征的成分，可以有效地刻畫工業(yè)過程的變化趨勢(shì)，提升回歸模型精度。最后該方法的有效性在常壓塔常頂油干點(diǎn)與常一線初餾點(diǎn)的軟測量模型中得到了驗(yàn)證。

慢特征分析；互信息；動(dòng)態(tài)建模；常壓塔；石油；預(yù)測

引 言

在原油蒸餾過程中，常壓塔頂及其側(cè)線的油品質(zhì)量都會(huì)受到初餾點(diǎn)、終餾點(diǎn)、干點(diǎn)等指標(biāo)的影響。為了能實(shí)時(shí)測量并監(jiān)控這些指標(biāo)，可以使用在線分析儀或者人工離線分析的方法，但前者維護(hù)成本高、后者時(shí)滯大及精度低的問題都會(huì)影響產(chǎn)品質(zhì)量。目前，許多學(xué)者利用軟測量技術(shù)來解決此類問題，近年來數(shù)據(jù)儲(chǔ)存及獲取的便利使得數(shù)據(jù)驅(qū)動(dòng)軟測量方法得到了廣泛應(yīng)用。Shang等[1]將深度神經(jīng)網(wǎng)絡(luò)引入軟測量建模，估計(jì)常壓塔重柴油95%分餾點(diǎn)，通過半監(jiān)督學(xué)習(xí)充分利用了工業(yè)數(shù)據(jù)，模型精度優(yōu)于神經(jīng)網(wǎng)絡(luò)等方法。Li等[2]利用多核學(xué)習(xí)與核主元分析改進(jìn)了最小二乘支持向量機(jī)，建立了常壓塔航空煤油干點(diǎn)與閃點(diǎn)的軟測量模型。Napoli等[3]針對(duì)小樣本建模問題，通過樣本重采樣與噪聲注入構(gòu)成多個(gè)數(shù)據(jù)集，集成多個(gè)神經(jīng)網(wǎng)絡(luò)，證明了其在煤油冰點(diǎn)軟測量建模中的有效性。其他算法如偏最小二乘法[4-5]（partial least square，PLS）、主元回歸[6]（principal component regression，PCR）、高斯過程回歸[7-8]（gaussian process regression，GPR）等也廣泛應(yīng)用于軟測量建模。

工業(yè)過程一般具有緩慢變化的動(dòng)態(tài)特性，歷史數(shù)據(jù)之間往往存在時(shí)間關(guān)聯(lián)，歷史數(shù)據(jù)也會(huì)影響模型構(gòu)造，因此常會(huì)引入時(shí)延變量構(gòu)造動(dòng)態(tài)模型[9-10]。引入時(shí)延變量的新數(shù)據(jù)集包含了各變量的歷史信息，使得后續(xù)構(gòu)造的模型能更有效地利用歷史數(shù)據(jù)中的隱藏信息。

為了能從數(shù)據(jù)中提取出有效信息，常用的特征提取方法有主成分分析、獨(dú)立成分分析等。前者通過特征提取使得新成分的方差最大，后者通過特征提取使得新成分間的相關(guān)性最小，這兩種方法都是從變量角度出發(fā)構(gòu)造新的成分，但都未分析樣本間的變化情況。Wiskott等[11]在2002年提出了慢特征分析（SFA），并將其應(yīng)用于目標(biāo)識(shí)別。與一般特征提取方法不同的是，SFA從樣本的角度出發(fā)，分析樣本的變化情況，提取出變化緩慢的新成分，反映過程數(shù)據(jù)的動(dòng)態(tài)信息。近年來許多學(xué)者在其論文的基礎(chǔ)上提出了改進(jìn)算法并應(yīng)用于模式識(shí)別[12-14]、盲源信號(hào)分離[15-16]、過程監(jiān)控[17-19]等領(lǐng)域。文獻(xiàn)[20-21]將其應(yīng)用于質(zhì)量指標(biāo)預(yù)測與軟測量建模，通過工業(yè)數(shù)據(jù)證明了慢特征回歸（SFR）要優(yōu)于傳統(tǒng)的軟測量方法。

慢特征回歸可以有效地利用數(shù)據(jù)的動(dòng)態(tài)特性，但是該方法是基于二項(xiàng)式擴(kuò)展，處理非線性數(shù)據(jù)的能力較差，同時(shí)當(dāng)模型的變量過多時(shí)，時(shí)延動(dòng)態(tài)數(shù)據(jù)集的構(gòu)造與二項(xiàng)式擴(kuò)展方法必然會(huì)造成維數(shù)災(zāi)難問題，也可能導(dǎo)致過擬合的問題。因此，針對(duì)工業(yè)過程非線性與動(dòng)態(tài)特性的問題，本文提出了一種新的慢特征回歸方法，該方法在其基礎(chǔ)上利用核函數(shù)擴(kuò)展，加強(qiáng)模型處理非線性數(shù)據(jù)的能力。同時(shí)構(gòu)造具有時(shí)延變量的動(dòng)態(tài)數(shù)據(jù)集，為了避免出現(xiàn)信息冗余，分析各時(shí)延變量與主導(dǎo)變量間的互信息值，篩選變量進(jìn)行核慢特征回歸（kernel slow feature regression，KSFR）。常壓塔的常頂油干點(diǎn)及常一線初餾點(diǎn)的軟測量模型驗(yàn)證了本方法優(yōu)于傳統(tǒng)建模方法，具有更高的預(yù)測精度。

1 核慢特征回歸

1.1 慢特征回歸

慢特征回歸（SFR）是一種基于慢特征分析的回歸方法，主要分成兩個(gè)部分：（1）慢特征分析；（2）慢特征線性回歸。

1.1.1 慢特征分析 慢特征分析（SFA）是由Wiskott提出的一種在快速變化的時(shí)序數(shù)據(jù)中抽取緩慢變化特征的批量學(xué)習(xí)算法。SFA不僅能夠得到全局最優(yōu)解，而且其特征可以按照變化速率快慢依次提取。

現(xiàn)有訓(xùn)練數(shù)據(jù)tr={(),()}=1,2,…,n，慢特征分析的目標(biāo)是要從現(xiàn)有的維輸入數(shù)據(jù)矩陣()={1(),2(),…,x()}中提取到維變量()={1(),2(),…,T()}，同時(shí)變量T()具有變化緩慢的特征。

為了從輸入數(shù)據(jù)中提取慢特征，需要尋找一組映射函數(shù)()={1(),2(),…,f()}，使得()=(())的每個(gè)變量盡可能變化緩慢，一般采用關(guān)于時(shí)間的一階導(dǎo)數(shù)平方的均值來衡量變化速率。優(yōu)化問題框架如下[22]

并滿足以下3個(gè)條件

(2)

(4)

在線性情況下，慢特征的提取與主元提取類似，每個(gè)慢特征T()都是所有輸入變量的線性組合T()=()。假設(shè)輸入數(shù)據(jù)()已經(jīng)標(biāo)準(zhǔn)化處理，那么式(1)、式(3)就可以寫為

(6)

結(jié)合式(5)、式(6)可得

由式(7)可知，使其成立的權(quán)向量滿足

W=W(8)

其中，=(1,2,…,w)為特征向量構(gòu)成的特征矩陣，是由廣義特征值1,2,…,構(gòu)成的特征值對(duì)角陣，且1<2<…<。將w=Bw代入式(7)得

可以通過求解式的廣義特征值，獲得特征矩陣，映射輸入數(shù)據(jù)獲得慢特征。通常，這個(gè)優(yōu)化問題的求解可以通過兩步奇異值分解（SVD）來實(shí)現(xiàn)，推導(dǎo)流程如圖1所示。具體分為以下4個(gè)步驟。

圖1 SFA流程圖

Fig.1 Flow chart of SFA

（1）標(biāo)準(zhǔn)化。首先將輸入數(shù)據(jù)()={1(),2(),…,x()}標(biāo)準(zhǔn)化預(yù)處理，各變量的標(biāo)準(zhǔn)化結(jié)果為，構(gòu)成標(biāo)準(zhǔn)化后的輸入數(shù)據(jù)bz()={1bz(),2bz(),…,bz()}，其中={1,2,…,}與={1,2,…,}分別是輸入數(shù)據(jù)的均值向量以及標(biāo)準(zhǔn)差陣。為了公式簡化，下文用()表示已經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)。

（2）非線性擴(kuò)展及中心化。接著對(duì)輸入數(shù)據(jù)()進(jìn)行非線性擴(kuò)展?？紤]到非線性問題，在預(yù)處理時(shí)通常需要非線性擴(kuò)展，SFA采用的是二次多項(xiàng)式擴(kuò)展

()=(())={1,…,x,11,12,…,xx} (10)

這樣維輸入數(shù)據(jù)通過二項(xiàng)式擴(kuò)展(?)變成了維，其中。然后對(duì)擴(kuò)展后的數(shù)據(jù)()進(jìn)行中心化，構(gòu)成中心化后的輸入數(shù)據(jù)c()=()-，其中是各變量的均值向量。為了公式簡化，下文用()表示經(jīng)過非線性擴(kuò)展與中心化的輸入數(shù)據(jù)。

（3）白化處理。為了能滿足式(3)、式(4)的條件，繼續(xù)對(duì)()進(jìn)行白化處理。白化處理可以使各變量不相關(guān)，同時(shí)為單位方差。定義=〈()T()〉表示()的協(xié)方差陣，由SVD可知=UT，白化矩陣=-1/2T，白化后的數(shù)據(jù)為

()=()T=()-1/2(11)

因此，可得〈()T()〉=。將()=()T與=〈()T()〉代入

ST=(12)

需要注意這里會(huì)出現(xiàn)=diag{1,2,…,}里的特征值極小的情況。白化的一個(gè)作用就是去相關(guān)，因此本文設(shè)置閾值=1×10-7與比較，舍棄小于的特征值，從而實(shí)現(xiàn)降維。

（4）求取映射向量及相應(yīng)慢特征。上面幾個(gè)步驟已經(jīng)把變量進(jìn)行了預(yù)處理，使其滿足單位方差、零均值以及互不相關(guān)，同時(shí)也實(shí)現(xiàn)了非線性擴(kuò)展，最后確定映射向量，按照式(8)可得

w=Bw(14)

由于可能會(huì)出現(xiàn)非滿秩情況，直接用廣義特征值求映射向量會(huì)出現(xiàn)計(jì)算錯(cuò)誤，故需要白化處理將問題轉(zhuǎn)換成一般特征值求解[22]。

將式(14)左乘白化矩陣

w=SBw(15)

將式(12)、式(13)與T(T)-1=代入式(15)可得

通過這幾步代換，只需要一般SVD就可求出矩陣，即的協(xié)方差陣的特征向量，從而得到慢特征映射向量

(17)

最后，利用映射得到第個(gè)慢特征T()=()。由式(9)可知，慢特征變化快慢由矩陣的特征值決定，因此第一慢特征的映射向量1就是矩陣最小特征值1對(duì)應(yīng)的特征向量與T的乘積，然后第二慢特征的映射向量2就是第二小特征值2對(duì)應(yīng)的特征向量與T的乘積，依次類推可得其他慢特征。

1.1.2 慢特征回歸 獲得維慢特征()={1(),2(),…,T()}后，通過最小二乘回歸求出輸出向量()與維慢特征()的回歸系數(shù)，最后利用回歸系數(shù)就可以預(yù)測新輸入數(shù)據(jù)的對(duì)應(yīng)輸出。

1.2 核慢特征回歸（KSFR）

慢特征分析在數(shù)據(jù)預(yù)處理階段，為了加強(qiáng)算法處理非線性數(shù)據(jù)的能力，一般會(huì)采用多項(xiàng)式擴(kuò)展的方法，但當(dāng)數(shù)據(jù)維數(shù)過多時(shí)，多項(xiàng)式擴(kuò)展會(huì)導(dǎo)致維數(shù)災(zāi)難問題，嚴(yán)重影響運(yùn)算速度與精度，而且這種擴(kuò)展并不能顯著提高算法處理非線性數(shù)據(jù)的能力，特別是對(duì)于一些復(fù)雜的工業(yè)過程，其高維數(shù)據(jù)之間往往存在很強(qiáng)的非線性，這時(shí)多項(xiàng)式擴(kuò)展的弊端就會(huì)凸顯出來。

核技巧（kernel trick）是一種處理非線性數(shù)據(jù)的方法，它通過非線性變換將低維空間的樣本映射到高維特征空間，只要選取合適的非線性變換，就能將原輸入空間的非線性問題轉(zhuǎn)化為高維特征空間中的線性或近似線性問題。經(jīng)過非線性映射，數(shù)據(jù)集得到以下變換

為了克服維數(shù)災(zāi)難，需要引入核函數(shù)。對(duì)任意的與均滿足(x,x)=K,j=()T()，即將高維空間的內(nèi)積運(yùn)算轉(zhuǎn)化為輸入空間的核函數(shù)運(yùn)算。高維矩陣=T中的每個(gè)元素都用核函數(shù)表示，稱其為核矩陣[23]

(19)

常用的核函數(shù)有多項(xiàng)式核函數(shù)、指數(shù)型核函數(shù)、高斯徑向基核函數(shù)等，本文采用學(xué)習(xí)能力強(qiáng)的高斯徑向基核函數(shù)

這樣，利用核函數(shù)替代多項(xiàng)式擴(kuò)展從而加強(qiáng)算法處理非線性數(shù)據(jù)的能力，實(shí)現(xiàn)核慢特征回歸。其主要改進(jìn)在非線性擴(kuò)展部分，用核函數(shù)擴(kuò)展的數(shù)據(jù)替代非線性擴(kuò)展的()，這樣對(duì)應(yīng)的優(yōu)化目標(biāo)就是[24]

(21)

同時(shí)求解映射向量的廣義特征值問題就轉(zhuǎn)換為

W=W(22)

核慢特征回歸（KSFR）的具體步驟如下。

（1）訓(xùn)練部分tr={(),()}=1,2,…,n

① 標(biāo)準(zhǔn)化，獲得標(biāo)準(zhǔn)化后的數(shù)據(jù){(),()}，均值,及標(biāo)準(zhǔn)差,。

③確定與，獲得的白化矩陣，分別求得白化后的數(shù)據(jù)與，利用白化實(shí)現(xiàn)降維

=T(23)

=AST(24)

④ 求取的特征向量，并轉(zhuǎn)換為映射向量，映射得到慢特征

(26)

=(27)

⑤利用最小二乘法求得慢特征與標(biāo)準(zhǔn)化的輸出數(shù)據(jù)間的回歸系數(shù)=(T)-1。

（2）測試部分te={te()}=1,2,…,n

① 利用與標(biāo)準(zhǔn)化測試數(shù)據(jù)。

③ 利用映射向量，獲得慢特征te

te=te(28)

④ 預(yù)測測試數(shù)據(jù)輸出值′p=te。

⑤ 反標(biāo)準(zhǔn)化，獲得最終預(yù)測值p。

利用核函數(shù)擴(kuò)展改進(jìn)慢特征回歸提升了算法處理非線性數(shù)據(jù)的能力，同時(shí)也避免了多項(xiàng)式擴(kuò)展的維數(shù)災(zāi)難問題，可以提升算法性能。

2 動(dòng)態(tài)建模與互信息變量選擇

在工業(yè)過程中，各變量數(shù)據(jù)的采集一般都是按照固定時(shí)間進(jìn)行的，各采樣點(diǎn)間存在明顯的時(shí)間相關(guān)性，當(dāng)前時(shí)刻的數(shù)據(jù)并不能完全刻畫過程的動(dòng)態(tài)信息。因此為了獲得工業(yè)過程數(shù)據(jù)的動(dòng)態(tài)信息，考慮歷史數(shù)據(jù)對(duì)于當(dāng)前的影響，可以引入時(shí)延變量數(shù)據(jù)構(gòu)造動(dòng)態(tài)數(shù)據(jù)集。

原數(shù)據(jù)集為={(),()}=1,2,…,n，其中()={1(),2(),…,x()}，輸入變量共有維，每個(gè)變量有個(gè)樣本。引入時(shí)延階數(shù)，就可以構(gòu)造動(dòng)態(tài)數(shù)據(jù)集，輸入變量變成了(+1)維，即()≡{(),(-1),(-2),…,(-)}。動(dòng)態(tài)數(shù)據(jù)集的構(gòu)造使得模型趨于動(dòng)態(tài)，有利于分析工業(yè)數(shù)據(jù)，但是同樣也造成了維數(shù)過大的問題，過多的時(shí)延變量會(huì)導(dǎo)致信息冗余，最后可能會(huì)發(fā)生過擬合問題。因此，可以通過變量選擇進(jìn)行降維處理[25]。本文采用互信息（mutual information，MI）。

互信息能夠反映兩個(gè)變量之間的統(tǒng)計(jì)依賴程度，其定義來源于信息論中熵的概念。熵也稱作信息熵或Shannon熵，通過數(shù)值形式來表達(dá)隨機(jī)變量取值的不確定性程度，從而描述相應(yīng)變量的信息含量大小。變量的信息熵定義如式(29)所示，其中()為的概率密度分布函數(shù)。

互信息表示的是兩個(gè)隨機(jī)變量之間的關(guān)聯(lián)程度，即給定一個(gè)隨機(jī)變量后，另一個(gè)隨機(jī)變量不確定性的削弱程度。

(30)

其中，p(),p()和p,y(,)分別是變量與的邊緣概率密度函數(shù)以及聯(lián)合概率密度函數(shù)?？梢酝ㄟ^核密度估計(jì)或者直方圖法來估計(jì)密度函數(shù)。核密度估計(jì)雖然估計(jì)精度較高，但是需要選擇核函數(shù)以及設(shè)置帶寬；直方圖法則實(shí)現(xiàn)簡單，只需要等間隔地劃分變量與的數(shù)據(jù)構(gòu)成的二維平面，判斷符合子區(qū)間的樣本個(gè)數(shù)，從而依次確定邊緣以及聯(lián)合概率密度函數(shù)[26]。

當(dāng)變量與是相互獨(dú)立或者完全無關(guān)時(shí)，互信息(,)等于0，即兩變量之間不存在共同擁有的信息。當(dāng)變量與相互依賴程度很高時(shí)，互信息(,)會(huì)很大，即兩變量之間存在較多的共同信息[27-28]?；诨バ畔⒌淖兞窟x擇準(zhǔn)則有很多[29]，本文采用的互信息最大化準(zhǔn)則，即通過比較不同變量與因變量間的互信息值，從中選擇互信息較大的變量作為具有統(tǒng)計(jì)相關(guān)性的有效變量。

3 基于DMI-KSFR的軟測量方法

基于核慢特征回歸與互信息的軟測量建模流程如圖2所示。

（1）在原始訓(xùn)練數(shù)據(jù)的維輸入tr()的基礎(chǔ)上引入時(shí)延階數(shù)，構(gòu)造(+1)維動(dòng)態(tài)數(shù)據(jù)集d_te()≡{tr(),tr(-1),tr(-2),…,tr(-)}，使得數(shù)據(jù)集包含各變量的歷史信息，充分考慮過程的動(dòng)態(tài)性，同時(shí)對(duì)測試數(shù)據(jù)輸入te()構(gòu)造相同時(shí)延階數(shù)的動(dòng)態(tài)數(shù)據(jù)集d_te()。

（2）針對(duì)動(dòng)態(tài)數(shù)據(jù)集的第(=1,2,…,+)個(gè)維變量，計(jì)算其與訓(xùn)練數(shù)據(jù)輸出tr間的互信息

MI,y=(x,tr) (31)

將這MI,y∈1×(kd+k)個(gè)互信息值降序排列，選擇前個(gè)最大值對(duì)應(yīng)的變量，構(gòu)成動(dòng)態(tài)互信息輸入數(shù)據(jù)集DMI_tr()∈×NC。同時(shí)對(duì)測試數(shù)據(jù)的動(dòng)態(tài)數(shù)據(jù)集te()選擇相同的變量構(gòu)造DMI_te()。

（3）對(duì)動(dòng)態(tài)互信息輸入數(shù)據(jù)集DMI_tr()，進(jìn)行核慢特征分析，獲得各個(gè)核慢特征的權(quán)向量以及各核慢特征tr,j，同時(shí)利用訓(xùn)練獲得的權(quán)向量構(gòu)造測試數(shù)據(jù)的核慢特征te,j。

（4）對(duì)得到的核慢特征tr和訓(xùn)練數(shù)據(jù)輸出tr建立最小二乘回歸模型，獲得模型回歸參數(shù)=(Ttrtr)-1trtr。最后利用回歸參數(shù)估計(jì)測試數(shù)據(jù)的輸出p。

4 常壓塔質(zhì)量指標(biāo)軟測量建模研究

常壓蒸餾塔是煉油企業(yè)的首要生產(chǎn)裝置，其生產(chǎn)水平的高低直接影響著原油的利用率和企業(yè)的經(jīng)濟(jì)效益。作為一種典型的多側(cè)線采出蒸餾塔，常壓塔從側(cè)線分別抽出煤油、汽油、柴油等產(chǎn)品。這些側(cè)線餾分經(jīng)汽提塔提出輕組分，經(jīng)換熱回收一部分熱量分別冷卻后送出裝置。塔底未經(jīng)汽化的重油經(jīng)過熱水蒸氣提出輕組分后，作減壓塔進(jìn)料。為了使塔內(nèi)各部分的汽、液負(fù)荷比較均勻，并充分利用回流熱，在塔中各側(cè)線抽出口之間打入中段循環(huán)回流[30]。

常壓塔餾出產(chǎn)品需要控制以下質(zhì)量指標(biāo)：常頂油（石腦油）的干點(diǎn)，常一線油（汽油）的閃點(diǎn)、冰點(diǎn)、餾程，柴油的凝點(diǎn)、95%餾出溫度等。本文分析的是常頂油干點(diǎn)以及常一線初餾點(diǎn)。干點(diǎn)和初餾點(diǎn)都是油品的重要質(zhì)量指標(biāo)，初餾點(diǎn)會(huì)影響到本側(cè)線油品的質(zhì)量與上一側(cè)線油品的收率。干點(diǎn)則會(huì)干擾本側(cè)線的產(chǎn)品質(zhì)量與下一側(cè)線的餾分收率[31]。本文利用基于核慢特征回歸與互信息的方法分別對(duì)常頂油干點(diǎn)和常一線初餾點(diǎn)進(jìn)行軟測量建模。

本文使用了兩個(gè)指標(biāo)來評(píng)判算法性能，分別是均方根誤差（RMSE）與可決系數(shù)（2）

4.1 某常壓塔常頂油干點(diǎn)軟測量建模

常壓塔頂部的主要產(chǎn)品是常頂油，常頂油經(jīng)過脫丁烷塔后生成石腦油。常頂油的干點(diǎn)越高，會(huì)導(dǎo)致其產(chǎn)出油品的重組分過高，影響其油品質(zhì)量，使得后續(xù)生成的石腦油中芳烴含量過高，不適于裂解反應(yīng)，影響乙烯、丙烯等產(chǎn)量。為了建立常頂油干點(diǎn)的軟測量模型，本文選擇6個(gè)輔助變量，分別是常頂壓力、常頂溫度、回流溫度、采出比、常頂循流量和常一、二、三線的采出量。常頂油干點(diǎn)數(shù)據(jù)集總共有500組樣本，前400組用于模型訓(xùn)練，后100組用于模型效果測試。

本方法需要設(shè)置的參數(shù)是動(dòng)態(tài)數(shù)據(jù)集的時(shí)延階數(shù)、互信息最大化選擇的變量個(gè)數(shù)以及高斯核函數(shù)的核寬度。本文對(duì)訓(xùn)練數(shù)據(jù)集采用十折交叉驗(yàn)證設(shè)置階數(shù)=1，這樣總的變量就有6×(1+1)=12個(gè)，并通過互信息的方法選擇11個(gè)相關(guān)變量，具體比較見圖3。通過多次試驗(yàn)設(shè)置高斯核寬度為450。

首先，觀察提取到的核慢特征的情況。圖4、圖5分別是訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)中提取到的前4個(gè)變化最緩慢的核慢特征，可以發(fā)現(xiàn)每個(gè)核慢特征的變化情況都不同?？v向比較各核慢特征，可以發(fā)現(xiàn)第一核慢特征變化最緩慢，而越到后面的特征變化越快。橫向比較訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的核慢特征，可以發(fā)現(xiàn)兩者的變化趨勢(shì)基本是一致的，具有相同的變化頻率。因此核慢特征分析可以有效地提取到變化緩慢的信息。

為了驗(yàn)證本方法的有效性，需要縱向比較幾點(diǎn)改進(jìn)對(duì)于模型性能的影響，選擇以下方法。

（1）慢特征回歸SFR，采用非線性擴(kuò)展。

（2）動(dòng)態(tài)慢特征回歸（dynamic SFR，DSFR），通過動(dòng)態(tài)建模構(gòu)造數(shù)據(jù)集后，采用非線性擴(kuò)展。

（3）核慢特征回歸（KSFR），采用核函數(shù)擴(kuò)展的慢特征回歸。

（4）動(dòng)態(tài)核慢特征回歸（dynamic KSFR，DKSFR），通過動(dòng)態(tài)建模構(gòu)造數(shù)據(jù)集后，采用核函數(shù)擴(kuò)展的慢特征回歸。

（5）本方法DMI-KSFR，通過動(dòng)態(tài)建模與互信息變量選擇構(gòu)造數(shù)據(jù)集后，采用核函數(shù)擴(kuò)展的慢特征回歸。

圖6是不同方法的預(yù)測值與實(shí)際值的比較，圖中各點(diǎn)橫坐標(biāo)表示的是預(yù)測值，縱坐標(biāo)表示的是實(shí)際值，數(shù)據(jù)點(diǎn)離對(duì)稱軸虛線越近，則表示預(yù)測效果越好。分析圖6和表1可以發(fā)現(xiàn)，本文的幾點(diǎn)改進(jìn)可以提高模型性能。引入動(dòng)態(tài)建模的思想，可以從動(dòng)態(tài)角度分析工業(yè)數(shù)據(jù)，提高模型精度；利用核函數(shù)擴(kuò)展替代原有的二項(xiàng)式擴(kuò)展，可以加強(qiáng)模型處理非線性數(shù)據(jù)的能力；加入互信息變量篩選，可以剔除動(dòng)態(tài)建模造成的變量冗余問題，進(jìn)一步提高模型精度。RMSE與2的提升表明后續(xù)改進(jìn)提升了模型的擬合程度。

表1 不同方法的比較

圖7是本方法對(duì)于測試數(shù)據(jù)的預(yù)測效果。分析圖7與圖5可以發(fā)現(xiàn)，整體數(shù)據(jù)具有一定的周期性，使得圖6存在數(shù)據(jù)點(diǎn)處于同一水平線，即這些點(diǎn)的實(shí)際值都是相同或近似的。本方法獲得的預(yù)測值與實(shí)際值構(gòu)成的數(shù)據(jù)點(diǎn)離中心虛線最近，因此本方法可以有效地提升模型的預(yù)測精度。

4.2 某石化常壓塔初餾點(diǎn)軟測量建模

某石化煉油裝置常一線的主要產(chǎn)品是汽油。常一線初餾點(diǎn)過低，會(huì)使其輕組分過高，影響本側(cè)線的油品質(zhì)量，同時(shí)影響上一側(cè)線的油品收率。因此需要通過軟測量建模實(shí)時(shí)分析常一線初餾點(diǎn)指標(biāo)，保證工況正常運(yùn)行。

為了建立常一線初餾點(diǎn)的軟測量模型，本文選擇11個(gè)輔助變量，分別是常頂回流量、常頂循流量、常一中流量、常壓塔塔底汽提蒸汽量、汽提塔塔頂溫度、重沸器出入口溫度、常一中油出入口溫度、汽提塔油氣溫度、常一線汽提塔出口溫度等。本數(shù)據(jù)集共有135組樣本，樣本采樣間隔為1 h。本文選擇前100組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，后35組數(shù)據(jù)作為測試數(shù)據(jù)。

這里需要設(shè)置的參數(shù)還是時(shí)延階數(shù)、互信息選擇的變量個(gè)數(shù)以及高斯核寬度。本文對(duì)訓(xùn)練數(shù)據(jù)集采用十折交叉驗(yàn)證設(shè)置階數(shù)=2，這樣總的變量就有11×(2+1)=33個(gè)，并通過互信息的方法選擇31個(gè)相關(guān)變量，具體比較見圖8。通過多次試驗(yàn)設(shè)置高斯核寬度為470。

為了分析本方法的優(yōu)越性，與其他傳統(tǒng)建模方法進(jìn)行橫向比較，選擇以下方法。

（1）動(dòng)態(tài)慢特征回歸（DSFR），通過動(dòng)態(tài)建模構(gòu)造數(shù)據(jù)集后，采用非線性擴(kuò)展的慢特征回歸。

（2）反向傳播神經(jīng)網(wǎng)絡(luò)（back propagation neural network，BPNN）。

（3）動(dòng)態(tài)核偏最小二乘回歸（dynamic KPLS，DKPLS），通過動(dòng)態(tài)建模構(gòu)造數(shù)據(jù)集后，采用KPLS回歸。

（4）核慢特征回歸（KSFR），采用核函數(shù)擴(kuò)展的慢特征回歸。

（5）本方法DMI-KSFR。

圖9是各方法預(yù)測值與實(shí)際值的比較。分析圖9與表2可以發(fā)現(xiàn)，本文方法與BP神經(jīng)網(wǎng)絡(luò)，DKPLS以及DSFR等傳統(tǒng)方法相比，具有一定的提升。DSFR采用動(dòng)態(tài)建模的思路，但是沒有使用有效的非線性擴(kuò)展方法，故效果最差；BP神經(jīng)網(wǎng)絡(luò)的非線性擬合能力較好，但是沒有考慮數(shù)據(jù)的動(dòng)態(tài)特性；DKPLS雖然運(yùn)用了核函數(shù)擴(kuò)展，但是KPLS方法也沒有考慮動(dòng)態(tài)特性；本方法在KSFR核函數(shù)擴(kuò)展的基礎(chǔ)上采用動(dòng)態(tài)數(shù)據(jù)集以及互信息變量選擇，提升了算法性能。

表2 不同方法的比較

圖10是本方法對(duì)于測試數(shù)據(jù)以及全部數(shù)據(jù)的預(yù)測效果，其中小圖是全部135組樣本的預(yù)測效果，可以發(fā)現(xiàn)盡管從第120個(gè)樣本點(diǎn)開始數(shù)據(jù)變化趨勢(shì)與之前不同，但是本方法仍能有效地預(yù)測出常一線初餾點(diǎn)的趨勢(shì)，并獲得了不錯(cuò)的效果。

5 結(jié) 論

本文提出了一種基于核慢特征回歸的軟測量建模方法，并應(yīng)用于具有非線性和動(dòng)態(tài)特性的工業(yè)過程。動(dòng)態(tài)數(shù)據(jù)集的構(gòu)造以及互信息變量篩選使得用于建模的數(shù)據(jù)不僅具有動(dòng)態(tài)信息而且避免了信息冗余的問題；核函數(shù)擴(kuò)展使得慢特征分析處理非線性數(shù)據(jù)的能力得到了顯著的提升。核慢特征可以更好地刻畫復(fù)雜工業(yè)數(shù)據(jù)的變化趨勢(shì)，提高回歸模型的精度。常頂油干點(diǎn)與常一線初餾點(diǎn)軟測量建模的實(shí)驗(yàn)結(jié)果表明本方法具有較好的預(yù)測效果，與傳統(tǒng)方法相比也有一定的提升。

References

[1] SHANG C, YANG F, HUANG D,. Data-driven soft sensor development based on deep learning technique[J]. Journal of Process Control, 2014, 24(3): 223-233.

[2] LI Q, DU Q, BA W,. Multiple-input multiple-output soft sensors based on KPCA and MKLS-SVM for quality prediction in atmospheric distillation column [J]. International Journal of Innovative Computing, Information and Control, 2012, 8(12): 8215-8230.

[3] NAPOLI G, XIBILIA M G. Soft sensor design for a topping process in the case of small datasets[J]. Computers & Chemical Engineering, 2011, 35(11): 2447-2456.

[4] GALICIA H J, HE Q P, WANG J. A reduced order soft sensor approach and its application to a continuous digester[J]. Journal of Process Control, 2011, 21(4): 489-500.

[5] 袁小鋒, 葛志強(qiáng), 宋執(zhí)環(huán). 基于時(shí)間差分和局部加權(quán)偏最小二乘算法的過程自適應(yīng)軟測量建模[J]. 化工學(xué)報(bào), 2016, 67(3): 724-728. YUAN X F, GE Z Q, SONG Z H. Adaptive soft sensor based on time difference model and locally weighted partial least squares regression[J]. CIESC Journal, 2016, 67(3): 724-728.

[6] YUAN X F, HUANG B, GE Z Q,. Double locally weighted principal component regression for soft sensor with sample selection under supervised latent structure[J]. Chemometrics & Intelligent Laboratory Systems, 2016, 153: 116-125.

[7] YU J, CHEN K, MORI J,. A Gaussian mixture copula model based localized Gaussian process regression approach for long-term wind speed prediction[J]. Energy, 2013, 61(6): 673-686.

[8] YANG K, JIN H P, CHEN X G,. Soft sensor development for online quality prediction of industrial batch rubber mixing process using ensemble just-in-time Gaussian process regression models[J]. Chemometrics & Intelligent Laboratory Systems, 2016, 155: 170-182.

[9] 劉國海, 蘇勇, 楊銘, 等. 基于多準(zhǔn)則和高斯過程回歸的動(dòng)態(tài)軟測量建模方法[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2015, (6): 1086-1090. LIU G H, SU Y, YANG M,. Dynamic soft sensor modeling based on multi-criterion method and Gaussian process regression [J]. Journal of Southeast University (Natural Science Edition), 2015, (6): 1086 -1090.

[10] 阮宏鎂, 田學(xué)民, 王平. 基于聯(lián)合互信息的動(dòng)態(tài)軟測量方法[J]. 化工學(xué)報(bào), 2014, 65(11): 4497-4502. RUAN H M, TIAN X M, WANG P. Dynamic soft sensor method based on joint mutual information [J]. CIESC Journal, 2014, 65(11): 4497-4502.

[11] WISKOTT L, SEJNOWSKI T. Slow feature analysis: unsupervised learning of invariances[J]. Neural Computation, 2002, 14(4): 715- 770.

[12] WU C, DU B, ZHANG L. Slow feature analysis for change detection in multispectral imagery[J]. IEEE Transactions on Geoscience & Remote Sensing, 2014, 52(5): 2858-2874.

[13] FRANZIUS M, WILBERT N, WISKOTT L. Invariant object recognition and pose estimation with slow feature analysis[J]. Neural Computation, 2011, 23(9): 2289-2323.

[14] ZHANG Z, TAO D. Slow feature analysis for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 436-450.

[15] MINH H Q, WISKOTT L. Multivariate slow feature analysis and decorrelation filtering for blind source separation.[J]. Image Processing IEEE Transactions on, 2013, 22(7): 2737-2750.

[16] 何會(huì)會(huì), 李鋼虎, 要慶生, 等. 用慢特征分析算法實(shí)現(xiàn)水聲信號(hào)盲分離[J]. 聲學(xué)技術(shù), 2014, 33(3): 270-274. HE H H, LI G H, YAO Q S,.Blind source separation of underwater acoustic signals by using slowness feature analysis[J].Technical Acoustics, 2014, 33(3): 270-274.

[17] SHANG C, HUANG B, YANG F,. Slow feature analysis for monitoring and diagnosis of control performance[J]. Journal of Process Control, 2016, 39: 21-34.

[18] SHANG C, YANG, GAO X Q,. Concurrent monitoring of operating condition deviations and process dynamics anomalies with slow feature analysis[J]. AIChE Journal, 2015, 61(11): 3666-3682.

[19] ZHANG H Y, TIAN X M, CAI L F. Nonlinear process fault diagnosis using kernel slow feature discriminant analysis[J]. IFAC-Papers on Line, 2015, 48(21): 607-612.

[20] SHANG C, YANG F, GAO X Q,. Extracting latent dynamics from process data for quality prediction and performance assessmentslow feature regression[C]// American Control Conference (ACC). Chicago: IEEE, 2015: 912-917.

[21] SHANG C, HUANG B, YANG F,. Probabilistic slow feature analysis-based representation learning from massive process data for soft sensor modeling[J]. AIChE Journal, 2015, 61(12): 4126-4139.

[22] KONEN W, KOCH P. The slowness principle: SFA can detect different slow components in non-stationary time series[J]. International Journal of Innovative Computing & Applications, 2011, 3(3): 3-10.

[23] 王桂增, 葉昊. 主元分析與偏最小二乘法[M].北京: 清華大學(xué)出版社, 2012: 106-107. WANG G Z, YE H. Principal Component Analysis and Partial Least Squares [M].Beijing: Tsinghua University Press, 2012: 106-107.

[24] BOHMER W, GRUNEWALDER S, NICKISCH H,. Generating feature spaces for linear algorithms with regularized sparse kernel slow feature analysis[J]. Machine Learning, 2012, 89(1/2): 67-86.

[25] SOUZA F, SANTOS P, ARAUJO R. Variable and delay selection using neural networks and mutual information for data-driven soft sensors [C]// Emerging Technologies and Factory Automation (ETFA).Spain: IEEE, 2010: 1-8.

[26] MODDEMEIJER R. On estimation of entropy and mutual information of continuous distributions[J]. Signal Processing, 1989, 16(3): 233-248.

[27] 童楚東, 藍(lán)艇, 史旭華. 基于互信息的分散式動(dòng)態(tài)PCA故障檢測方法[J]. 化工學(xué)報(bào), 2016, 67(10): 4317-4323.TONG C D, LAN T, SHI X H.Fault detection by decentralized dynamic PCA algorithm on mutual information[J].CIESC Journal, 2016, 67(10): 4317-4323.

[28] JIN H P, CHEN X G, YANG J W,. Adaptive soft sensor modeling framework based on just-in-time learning and kernel partial least squares regression for nonlinear multiphase batch processes[J]. Computers & Chemical Engineering, 2014, 71: 77-93.

[29] BOLN-CANEDO V, SNCHEZ-MAROO N, ALONSO-BETANZOS A. Feature Selection for High-Dimensional Data[M]. Springer Publishing Company, Incorporated, 2015: 17-24.

[30] 金思毅, 李悅卿, 夏茂森. 常減壓裝置常壓塔塔頂汽油干點(diǎn)的軟測量[J]. 化工進(jìn)展, 2006, 25(s1): 74-76. JIN S Y, LI Y Q, XIA M S. Curde colmun gasoline end point soft-sensing of atmospheric and vacuum unit[J].Chemical Industry and Engineering Progress, 2006, 25(s1): 74-76.

[31] 唐孟海, 胡兆靈. 原油蒸餾[M]. 北京: 中國石化出版社, 2007: 44-45. TANG M H, HU Z L.Crude Oil Distillation [M]. Beijing: China Petro-Chemical Press, 2007: 44-45.

Atmospheric tower soft sensor based on regression and mutual information of kernel slow features

JIANG Xinyi1, DU Hongbin1,2, LI Shaojun1

(1Key Laboratory of Advanced Control and Optimization for Chemical Processes (Ministry of Education), East China University of Science and Technology, Shanghai 200237, China;2Research Institute of Petro China Dushanzi Petrochemical Company, Karamay 833699, Xinjiang, China)

A novel soft sensor method based on slow feature regression (SFR) was proposed for industrial process with nonlinear and dynamic characteristics. First, a dynamic dataset was built by adding time-delay data and information redundancy was reduced by selecting variables according to mutual information maximization criteria. Then, kernel function was introduced into slow feature analysis（SFA）to improve capability of processing nonlinear data and the kernel slow features were used for regression. Through analysis of sample variation, kernel slow feature analysis（KSFA）could extract components with slowly varying dynamics, characterize trend of industrial process effectively, and improve precision of regression modelling. Finally, effectiveness and feasibility of the proposed method were verified by soft sensor model of constant top oil dry point and constant first line dropping point in atmospheric tower.

slow feature analysis; mutual information; dynamic modeling; atmospheric tower; petroleum; prediction

10.11949/j.issn.0438-1157.20161395

TP 274

A

0438—1157（2017）05—1977—10

李紹軍。

蔣昕祎（1993—），男，碩士研究生。

國家自然科學(xué)基金項(xiàng)目（21676086，21406064）。

2016-09-29收到初稿，2017-01-22收到修改稿。

2016-09-29.

Prof.LI Shaojun, lishaojun@ecust.edu.cn

supported by the National Natural Science Foundation of China (21676086,21406064).