基于動(dòng)態(tài)獨(dú)立成分的單類支持向量機(jī)方法及其在故障診斷中的應(yīng)用

鄧曉剛，田學(xué)民

（中國(guó)石油大學(xué)信息與控制工程學(xué)院，山東青島 266580）

基于動(dòng)態(tài)獨(dú)立成分的單類支持向量機(jī)方法及其在故障診斷中的應(yīng)用

鄧曉剛，田學(xué)民

（中國(guó)石油大學(xué)信息與控制工程學(xué)院，山東青島 266580）

針對(duì)工業(yè)過程故障診斷中數(shù)據(jù)的動(dòng)態(tài)性、非高斯性和非線性特點(diǎn)，提出一種基于動(dòng)態(tài)獨(dú)立成分的單類支持向量機(jī)（OCSVM）方法。為了分析數(shù)據(jù)的動(dòng)態(tài)特性和非高斯性，應(yīng)用動(dòng)態(tài)獨(dú)立成分分析（DICA）方法提取數(shù)據(jù)變量中的動(dòng)態(tài)獨(dú)立成分作為特征信息，基于特征信息建立OCSVM模型并構(gòu)造非線性監(jiān)控統(tǒng)計(jì)量。檢測(cè)到故障后，計(jì)算故障數(shù)據(jù)與故障模式數(shù)據(jù)決策超平面的相似度，通過相似度分析識(shí)別故障模式。在Tennessee Eastman基準(zhǔn)過程上的仿真結(jié)果表明，提出的方法能夠比單類支持向量機(jī)更有效地檢測(cè)過程故障，并且能夠正確識(shí)別故障模式。

單類支持向量機(jī);動(dòng)態(tài)獨(dú)立成分分析;故障檢測(cè);故障識(shí)別

近年來(lái)，基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法正在成為工業(yè)過程控制領(lǐng)域的研究熱點(diǎn)［1］。目前研究較多的數(shù)據(jù)驅(qū)動(dòng)方法有主元分析（principal component analysis，PCA）、獨(dú)立成分分析（independent component analysis，ICA）和支持向量機(jī)（support vector machine，SVM）等方法［1-5］，其中SVM由于其建模的稀疏性和良好的分類能力引起了廣泛關(guān)注。單類支持向量機(jī)（one-class SVM，OCSVM）是最近提出的一種SVM故障診斷方法［6］，該方法只需要一類訓(xùn)練數(shù)據(jù)即可完成算法的學(xué)習(xí)過程，相比于傳統(tǒng)的SVM方法更為簡(jiǎn)單實(shí)用。目前OCSVM故障診斷方法剛剛引入故障診斷領(lǐng)域中，還存在很多問題值得研究。問題之一是OCSVM方法基于原始測(cè)量數(shù)據(jù)建立統(tǒng)計(jì)模型，沒有充分挖掘利用數(shù)據(jù)中的特征信息;另外一個(gè)問題是OCSVM方法側(cè)重于如何檢測(cè)故障，對(duì)于如何診斷故障的模式缺乏深入的研究。針對(duì)上述問題，筆者提出一種基于動(dòng)態(tài)獨(dú)立成分（dynamic independent component，DIC）的OCSVM方法DIC-OCS-VM，使用動(dòng)態(tài)獨(dú)立成分分析方法提取數(shù)據(jù)中的動(dòng)態(tài)和非高斯特征信息，并通過分析待識(shí)別故障數(shù)據(jù)與故障模式數(shù)據(jù)決策超平面的相似度診斷故障類型。

1 OCSVM方法

OCSVM是由Scholkopf等提出的一種無(wú)監(jiān)督學(xué)習(xí)算法［7］，主要用于數(shù)據(jù)集的異常點(diǎn)檢測(cè)和概率密度估計(jì)［8-9］。設(shè)給定的訓(xùn)練數(shù)據(jù)集X=［x1;x2;…; xn］∈Rn×m，包含m個(gè)變量的n個(gè)樣本。OCSVM在數(shù)據(jù)空間中構(gòu)造分類超平面F（x）=＜w，x＞－ρ=0把訓(xùn)練數(shù)據(jù)集與原點(diǎn)分開，且使得該分類超平面與原點(diǎn)的距離最大。OCSVM描述的優(yōu)化問題如下:

式中，w、ρ為分類超平面的參數(shù)向量。

實(shí)際上，OCSVM是將訓(xùn)練樣本集視為正類樣本，原點(diǎn)作為負(fù)類樣本，分類超平面將數(shù)據(jù)空間分成正負(fù)兩個(gè)超半球，最優(yōu)分類超平面使得包含訓(xùn)練數(shù)據(jù)的正半球體積最?。?］。在異常點(diǎn)檢測(cè)的過程中，函數(shù)f（x）的目的在于決策數(shù)據(jù)點(diǎn)是否屬于異常數(shù)據(jù)，本文中將其稱為決策超平面。

如果數(shù)據(jù)中存在非線性關(guān)系，則需要假設(shè)非線性映射φ:x→φ（x）將數(shù)據(jù)從原始的非線性空間映射到線性特征空間。在線性特征空間中，進(jìn)一步引入松弛變量ξi和誤差限v，得到如下優(yōu)化問題［10］:

其中誤差限v用于控制訓(xùn)練過程中異常點(diǎn)占總樣本數(shù)目的上界。

求解上述優(yōu)化問題，需要建立拉格朗日函數(shù):

上述分析過程中采用了非線性映射，而該非線性映射一般是未知的。由核函數(shù)理論，非線性映射后特征空間中兩個(gè)向量的內(nèi)積用原始空間中的核函數(shù)表示為

現(xiàn)有的核函數(shù)包括多項(xiàng)式核函數(shù)、RBF核函數(shù)、sigmoid核函數(shù)等，本文采用RBF核函數(shù)。

結(jié)合式（3）～（7）可得到優(yōu)化問題的對(duì)偶形式

式（8）描述的問題是一個(gè)標(biāo)準(zhǔn)的二次規(guī)劃問題，解出αi、ρ即可得到特征空間中的決策超平面。特征空間中的決策超平面映射到原始數(shù)據(jù)空間中，對(duì)應(yīng)一個(gè)超球面［9］。

2 DIC-OCSVM方法

工業(yè)過程采集的數(shù)據(jù)中往往存在較強(qiáng)的動(dòng)態(tài)信息和非高斯信息，因此進(jìn)行數(shù)據(jù)特征提取后再應(yīng)用OCSVM會(huì)具有更好的過程監(jiān)控效果。結(jié)合動(dòng)態(tài)獨(dú)立成分分析（DICA）技術(shù)，建立基于動(dòng)態(tài)獨(dú)立成分的OCSVM方法DIC-OCSVM方法。

2.1 基于DICA的特征提取

ICA是近年來(lái)提出的一種新的信號(hào)處理方法，能夠有效地分析非高斯信號(hào)，提取互相獨(dú)立的源變量。傳統(tǒng)ICA方法沒有考慮數(shù)據(jù)之間的時(shí)序相關(guān)性，即數(shù)據(jù)的動(dòng)態(tài)特性，本文在進(jìn)行ICA之前，首先對(duì)測(cè)量變量x進(jìn)行增廣化處理［x（t）x（t－1）…x（t－d）］，其中d為最大時(shí)延步數(shù)。擴(kuò)展后的測(cè)量變量不但包含當(dāng)前t時(shí)刻的測(cè)量變量，而且包括t時(shí)刻以前的測(cè)量變量。此時(shí)的測(cè)量數(shù)據(jù)矩陣為動(dòng)態(tài)矩陣，即

該矩陣包含了變量自身的動(dòng)態(tài)時(shí)序信息［11-12］，對(duì)式（9）中的矩陣應(yīng)用ICA方法，即形成動(dòng)態(tài)ICA（DICA）方法。

ICA認(rèn)為數(shù)據(jù)矩陣X由若干個(gè)獨(dú)立成分變量混合而成:

式中，A表示混合參數(shù)構(gòu)成的矩陣;S表示獨(dú)立成分變量s構(gòu)成的數(shù)據(jù)矩陣。

ICA根據(jù)已有的測(cè)量矩陣X，尋找一個(gè)解混矩陣B來(lái)對(duì)S進(jìn)行估計(jì):

使得其估計(jì)結(jié)果^S中的變量盡可能地獨(dú)立。

ICA中求解矩陣B的算法有多種，如非高斯性測(cè)量、互信息最小化、極大似然估計(jì)等方法。本文采用Hyvarinen和Oja提出的負(fù)熵最大化算法［13］。

ICA估計(jì)出的獨(dú)立成分變量s分為兩部分:一部分反映了數(shù)據(jù)的主要信息，構(gòu)成獨(dú)立成分子空間sd;另一部分反映了剩余的數(shù)據(jù)信息，構(gòu)成殘差子空間se。兩個(gè)子空間均可反映過程特性的變化，分別對(duì)其監(jiān)控可以及時(shí)發(fā)現(xiàn)故障。

2.2 故障檢測(cè)統(tǒng)計(jì)量的構(gòu)造

如果直接對(duì)原始測(cè)量數(shù)據(jù)應(yīng)用OCSVM方法，需要建立決策函數(shù)Dx判斷是否發(fā)生故障。Dx是負(fù)的決策超平面函數(shù):

當(dāng)新的數(shù)據(jù)點(diǎn)與訓(xùn)練數(shù)據(jù)不同時(shí)，屬于異常點(diǎn)（即故障點(diǎn)），此時(shí)Dx應(yīng)該大于0，反之則Dx小于0，該數(shù)據(jù)點(diǎn)屬于正常工況數(shù)據(jù)。

本文中使用DICA提取得到sd和se兩部分?jǐn)?shù)據(jù)特征信息，分別描述了獨(dú)立成分子空間和殘差子空間的信息。對(duì)這兩組特征分別應(yīng)用OCSVM算法，構(gòu)建如下兩個(gè)統(tǒng)計(jì)量Dd和De:

考慮到故障檢測(cè)的魯棒性，故障檢測(cè)過程中并不采用0作為上述兩個(gè)統(tǒng)計(jì)量的閾值。統(tǒng)計(jì)量的閾值根據(jù)核概率密度估計(jì)方法估計(jì)得到:

式中，f（y）為y的概率密度估計(jì);yi為觀測(cè)數(shù)據(jù)集中的數(shù)據(jù);n為觀測(cè)數(shù)據(jù)集樣本的數(shù)目;h為平滑參數(shù)。求取統(tǒng)計(jì)閾值時(shí)，首先計(jì)算正常工況下的監(jiān)控統(tǒng)計(jì)量Dd和De，然后估計(jì)每個(gè)統(tǒng)計(jì)量的概率密度分布，最后根據(jù)概率密度分布計(jì)算95%統(tǒng)計(jì)置信限作為閾值［14］。

2.3 基于決策超平面相似度的故障識(shí)別

一旦檢測(cè)到故障，更重要的任務(wù)是識(shí)別故障模式?；诒疚难芯康腄IC-OCSVM方法，筆者提出一種基于決策超平面相似度的故障模式識(shí)別方法。

如果工業(yè)數(shù)據(jù)庫(kù)中已經(jīng)儲(chǔ)存了多種典型故障模式數(shù)據(jù)，則可以對(duì)每種故障模式分別應(yīng)用DIC-OCSVM方法，計(jì)算該類故障的決策超平面。決策超平面是故障數(shù)據(jù)的分布超球面，描述了故障的主要分布特征，通過比較決策超平面的相似度，可以判斷兩組數(shù)據(jù)是否屬于同一類故障數(shù)據(jù)。

在故障識(shí)別過程中，采用全部的獨(dú)立成分變量構(gòu)造分類超平面，第i類故障模式的決策超平面表示如下:

用兩類故障決策超平面的相似度作為兩類故障相似性的度量，定義性能指標(biāo)SIM（i，j）表示第i類和第j類故障的相似度表達(dá)式為

根據(jù)式（4），wi、wj是獨(dú)立成分變量集的線性組合，式（17）最終用核函數(shù)描述為

SIM（i，j）是［0，1］之間的數(shù)值，接近1表示兩類故障數(shù)據(jù)相似度高，接近0表示兩類數(shù)據(jù)相似度低。獲得新的故障數(shù)據(jù)后，將其與現(xiàn)有的故障模式數(shù)據(jù)進(jìn)行比較并計(jì)算相似度，相似度最大的模式為該故障的診斷結(jié)果。

3 仿真分析

以Tennessee Eastman（TE）過程作為監(jiān)控對(duì)象進(jìn)行算法的仿真分析。TE過程是一個(gè)評(píng)價(jià)先進(jìn)控制和過程監(jiān)控方法的基準(zhǔn)過程，來(lái)自于美國(guó)Eastman化工公司的真實(shí)工業(yè)過程，該過程的仿真數(shù)據(jù)已經(jīng)在過程監(jiān)控和故障診斷領(lǐng)域得到廣泛應(yīng)用［12，14-15］。TE過程包含5個(gè)主要操作單元:反應(yīng)器、壓縮機(jī)、冷凝器、分離器、汽提塔，仿真過程中可采集52個(gè)測(cè)量變量，采樣時(shí)間為3 min。過程數(shù)據(jù)包含了正常模式和21種故障模式IDV（1）～I(xiàn)DV （21）。每種故障數(shù)據(jù)共包含960個(gè)樣本，其中故障在第160個(gè)樣本后引入。TE流程圖和故障的詳細(xì)描述可以參考文獻(xiàn)［15］。

分別使用OCSVM、IC-OCSVM和DIC-OCSVM方法對(duì)TE過程21種故障進(jìn)行檢測(cè)。其中OCSVM方法直接對(duì)過程測(cè)量變量進(jìn)行監(jiān)控，IC-OCSVM方法、DIC-OCSVM方法分別對(duì)過程測(cè)量變量應(yīng)用ICA和DICA方法提取數(shù)據(jù)特征后再建立OCSVM模型進(jìn)行監(jiān)控。3種方法的檢測(cè)閾值均采用95%統(tǒng)計(jì)置信限，OCSVM監(jiān)控統(tǒng)計(jì)量的閾值為0.0058，IC-OCSVM監(jiān)控統(tǒng)計(jì)量Dd和De的閾值分別為0.002 4、0.0020，DIC-OCSVM監(jiān)控統(tǒng)計(jì)量Dd和De的閾值分別為0.020 1、0.016 4?？紤]到檢測(cè)故障時(shí)統(tǒng)計(jì)量會(huì)在閾值附近波動(dòng)，因此定義連續(xù)6次超出閾值的采樣時(shí)刻作為故障檢測(cè)時(shí)刻。

以故障IDV（21）為例，圖1為OCSVM方法的檢測(cè)結(jié)果，圖中的虛線為檢測(cè)閾值，監(jiān)控統(tǒng)計(jì)量Dx在第613個(gè)樣本處超出閾值。圖2為IC-OCSVM方法的故障檢測(cè)結(jié)果，該方法的兩個(gè)監(jiān)控統(tǒng)計(jì)量Dd和 De分別在第426個(gè)采樣和第618采樣時(shí)刻檢測(cè)到故障，由此可見ICA提取特征信息后的OCSVM能夠更快地檢測(cè)出故障。DIC-OCSVM方法的檢測(cè)結(jié)果如圖3所示，該方法在特征信息提取過程中進(jìn)一步考慮了數(shù)據(jù)的動(dòng)態(tài)特性，統(tǒng)計(jì)量Dd和De分別在第385個(gè)樣本和第392個(gè)樣本檢測(cè)到過程故障出現(xiàn)，檢測(cè)速度有了更為明顯的提高。

圖1 OCSVM方法的故障檢測(cè)結(jié)果Fig.1 Fault detection results by OCSVM

通過分析TE過程21種故障的監(jiān)控結(jié)果發(fā)現(xiàn)，3種方法對(duì)故障3、9、15的檢測(cè)效果均不理想，對(duì)故障1、2、6、7、8、12、13、14、18均表現(xiàn)出良好的性能，在其他9種故障4、5、10、11、16、17、19、20、21的檢測(cè)過程中，基于數(shù)據(jù)特征提取的IC-OCSVM和DICOCSVM比OCSVM方法有更好的故障檢測(cè)性能。3種方法對(duì)這9種故障的檢測(cè)時(shí)刻和檢測(cè)率結(jié)果對(duì)比見表1、2（故障檢測(cè)時(shí)刻為檢測(cè)到故障的樣本序號(hào)，檢測(cè)率為故障發(fā)生后報(bào)警樣本占總體樣本的比例）。從表中可看出，DIC-OCSVM總體上比OCSVM、IC-OCSVM方法能夠更快地檢測(cè)到故障，具有最高的故障檢測(cè)率。

檢測(cè)到故障后，使用相似度分析方法診斷故障的類型。由于故障3、9、15無(wú)法檢測(cè)，因此排除在故障模式庫(kù)之外。當(dāng)故障發(fā)生時(shí)，采集故障發(fā)生時(shí)的200個(gè)樣本作為待辨識(shí)故障數(shù)據(jù)，分別與故障模式庫(kù)中的8種故障模式進(jìn)行比較，計(jì)算決策超平面的相似性。表3中給出了TE過程8種故障相似度分析的結(jié)果。以故障IDV（1）的辨識(shí)為例，該故障與故障庫(kù)中8種故障模式的相似度分別為0.9476、0.2416、0.1337、0.048 2、0、0.218 7、0.786 2、0.271 1，與模式1的相似度最大，因此可以診斷為第一種故障模式，與實(shí)際情況是相符的。表3中故障IDV（6）與其他模式的相似度結(jié)果接近0，這是因?yàn)橄嗨贫戎笜?biāo)是根據(jù)式（18）中的核函數(shù)計(jì)算得到的，當(dāng)兩類故障數(shù)據(jù)特征有較大差別時(shí)，核函數(shù)計(jì)算結(jié)果接近0。從表3可看出，基于決策超平面相似度的識(shí)別方法能夠正確識(shí)別故障模式。

表1 不同方法的故障檢測(cè)樣本序號(hào)比較Table 1 Com parison of fault detection sam p le number by differentmethods

表2 不同方法的故障檢測(cè)率結(jié)果Table 2 Com parison of fault detection rate by differentmethods%

表3 相似度分析結(jié)果Table 3 Sim ilarity analysis results

4 結(jié)束語(yǔ)

提出了一種新的故障診斷方法——DIC-OCSVM方法，并在基準(zhǔn)工業(yè)過程TE上進(jìn)行了方法的驗(yàn)證分析。DIC-OCSVM綜合考慮工業(yè)過程數(shù)據(jù)的動(dòng)態(tài)特性和非高斯特性，使用DICA提取過程特征信息，基于DIC-OCSVM的決策超平面建立故障模式識(shí)別算法。在TE過程上的應(yīng)用結(jié)果表明，進(jìn)行了特征提取的DIC-OCSVM比基于原始測(cè)量變量的OCSVM方法能夠更有效地檢測(cè)到過程故障，而且基于DIC-OCSVM的相似度分析可以有效地診斷出故障模式。

［1］周東華，胡艷艷.動(dòng)態(tài)系統(tǒng)的故障診斷技術(shù)［J］.自動(dòng)化學(xué)報(bào)，2009，35（6）:748-758.

ZHOU Dong-hua，HU Yan-yan.Fault diagnosis techniques for dynamic systems［J］.Acta Automatic Sinica，2009，35（6）:748-758.

［2］WU Q.Hybrid fuzzy support vector classifier machine and modified genetic algorithm for automatic car assembly fault diagnosis［J］.Expert Systems with App lications，2011，38（3）:1457-1463.

［3］田學(xué)民，曹玉蘋.統(tǒng)計(jì)過程控制的研究現(xiàn)狀及展望［J］.中國(guó)石油大學(xué)學(xué)報(bào):自然科學(xué)版，2008，32（5）: 175-180.

TIAN Xue-min，CAO Yu-ping.Situation and perspectives of statistical process control［J］.Journal of China University of Petroleum（Edition of Natural Science），2008，32 （5）:175-180.

［4］CUI J，WANG Y.A novel approach of analog circuit fault diagnosis using support machines classifier［J］.Measurement，2011，44（1）:281-289.

［5］周延軍，賈江鴻，李榮華.基于粗糙集理論和支持向量機(jī)的套管損壞動(dòng)態(tài)預(yù)報(bào)方法［J］.中國(guó)石油大學(xué)學(xué)報(bào):自然科學(xué)版，2010，34（6）:71-75.

ZHOU Yan-jun，JIA Jiang-hong，LIRong-hua.Dynamic prediction method of casing damage based on rough set theory and support vector machine［J］.Journal of China University of Petroleum（Edition of Natural Science），2010，34（6）:71-75.

［6］CHOI Y S.Least squares one-class support vector machine［J］.Pattern Recognition Letters，2009，30（13）: 1236-1240.

［7］SCHOLKOPF B，PLATT J，SHAEW-TAYLOR J，et al.Estimating the support of a high-dimensional distribution［J］.Neural Computation，2001，13（7）:1443-1471.

［8］MANEVITZ LM，YOUSEFM.One-class SVMs for document classfication［J］.Journal ofMachine Learning Research，2001，2:139-154.

［9］鹿衛(wèi)國(guó)，戴亞平，高峰.一種基于概率分布估計(jì)的水電機(jī)組故障預(yù)警方法［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2005，25 （4）:94-98.

LUWei-guo，DAIYa-ping，GAO Feng.A hydroelectricgenerator unit fault early warningmethod based on distribution estimation［J］.Proceedings of the CSEE，2005，25（4）:94-98.

［10］MAHADEVAN S，SHAH SL.Fault detection and diagnosis in process data using one-class support vectormachines［J］.Journal of Process Control，2009，19（10）: 1627-1639.

［11］STEFATOS G，HAMZA A B.Dynamic independent component analysis approach for fault detection and diagnosis［J］.Expert Systems with Applications，2010，37（12）:8606-8617.

［12］LEE JM，YOO C K，LEE IB.Statisticalmonitoring of dynamic processes based on dynamic independent component analysis［J］.Chemical Engineering Science，2004，59（14）:2995-3006.

［13］HYVARINEN A，OJA E.Independent component analysis:algorithms and applications［J］.Neural Networks，2000，13（4/5）:411-430.

［14］LEE JM，YOO C K，LEE IB.Statistical processmonitoring with independent component analysis［J］.Journal of Process Control，2004，14（5）:467-485.

［15］CHIANG L H，RUSSELL F L，BRAATZ R D.Fault detection and diagnosis in industrial systems［M］.New York:Springer-Verlag，2001.

One-class support vector m achine based on dynam ic independent com ponent and its app lication to fault diagnosis

DENG Xiao-gang，TIAN Xue-min

（College of Information and Control Engineering in China University of Petroleum，Qingdao 266580，China）

In order to analyze dynamic，non-Gaussian and nonlinear property of data in industrial process fault diagnosis，one-class support vectormachine based on dynamic independent componentwas presented.Dynamic independent component analysiswas firstly applied to dealwith dynamic and non-Gaussian data to obtain dynamic independent components as feature information.Then one-class support vectormachine was used to build nonlinearmonitoring statistics based on feature information.After faultwas detected，the similarity between new fault data and fault pattern data was computed for fault pattern identification according to their decision hyper planes.The simulation results on Tennessee Eastman benchmark process show that the proposed method can detect faultmore effectively than one-class support vector machine and detect diagnosis fault pattern correctly.

one-class support vectormachine;dynamic independent component analysis;fault detection;fault identification

TP 277

A

10.3969/j.issn.1673-5005.2012.03.032

1673-5005（2012）03-0187-05

2011－10－09

山東省自然科學(xué)基金項(xiàng)目（ZR2011FM014）;中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金（10CX04046A）

鄧曉剛（1981－），男（漢族），山東廣饒人，副教授，博士，研究方向?yàn)楣I(yè)過程先進(jìn)控制、過程故障診斷技術(shù)。

（編輯 修榮榮）