基于PSO的支持向量機多元控制圖均值偏移診斷模型

趙永滿，何 楨，何曙光，張 敏

(1. 天津大學管理與經(jīng)濟學部，天津 300072；2. 石河子大學機電學院，石河子 832000)

基于PSO的支持向量機多元控制圖均值偏移診斷模型

趙永滿1,2，何 楨1，何曙光1，張 敏1

(1. 天津大學管理與經(jīng)濟學部，天津 300072；2. 石河子大學機電學院，石河子 832000)

為了診斷多元控制圖發(fā)出的報警信號是由哪一個或者哪些變量組合發(fā)生均值偏移引起的，提出了基于粒子群優(yōu)化(PSO)算法的支持向量機(SVM)多元控制圖均值偏移診斷模型．模型中使用2T控制圖對多元過程進行控制，在假設(shè)過程方差-協(xié)方差矩陣保持不變的前提下，根據(jù)不同的均值偏移模式，產(chǎn)生SVM訓練數(shù)據(jù)集和測試數(shù)據(jù)集，用PSO對SVM的參數(shù)進行優(yōu)化，最終得到優(yōu)化的SVM模型．結(jié)果表明，基于粒子群優(yōu)化算法的支持向量機模型(SVM-PSO)比基于SVM和基于神經(jīng)網(wǎng)絡(luò)(ANN)模型的分類能力更強，分類準確率超過85%．

多元控制圖；均值偏移診斷；粒子群優(yōu)化算法；支持向量機

隨著產(chǎn)品和制造過程復雜性的增加，具有多個相關(guān)關(guān)鍵質(zhì)量特性(critical to quality，CTQ)的產(chǎn)品制造過程越來越普遍[1]．Hotelling[2]于1947年最早提出多元統(tǒng)計過程控制(multivariate statistical process control，MSPC)技術(shù)．由于多個質(zhì)量特性之間存在相關(guān)關(guān)系，多元控制圖同時監(jiān)測多個質(zhì)量特性，控制圖發(fā)出的報警信號只能說明過程異常，而不能解釋控制圖發(fā)出的報警信號是由哪一個或者哪些變量組合發(fā)生偏移引起的，在這種情況下，用多個單變量控制圖分別監(jiān)控生產(chǎn)過程各個質(zhì)量特性的方法往往導致錯誤的結(jié)論．因此如何尋找并解釋導致多元控制圖報警的變量/變量組合就成為MSPC應用中一個至關(guān)重要的問題．

為了解釋多元控制圖的報警信號，諸多學者做了相關(guān)研究．其中，神經(jīng)網(wǎng)絡(luò)是最早應用于MSPC診斷的機器學習方法．Wang等[3]提出利用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)和模糊數(shù)學的方法建立模糊神經(jīng)網(wǎng)絡(luò)模型檢測多元過程均值偏移，同時劃分均值偏移量的大小，以一個二元過程的例子說明模型的具體應用過程，仿真結(jié)果顯示了建立模型的有效性．Hou等[4]則利用BP神經(jīng)網(wǎng)絡(luò)監(jiān)測制造過程，并劃分被加工產(chǎn)品的質(zhì)量類故障，而用粗糙集(rough set，RS)提取產(chǎn)品質(zhì)量測量值與制造過程參數(shù)之間的因果關(guān)系，建立了ANN和RS集成的多元制造過程的智能遠程監(jiān)測和診斷模型．Niaki等[1]提出基于神經(jīng)網(wǎng)絡(luò)模型診斷過程變異，識別發(fā)生變異的變量及變異的方向，給出了均值偏移診斷的分類結(jié)果．Guh[5]建立了多元均值偏移識別的ANN模型，應用分類方法識別多元過程中各變量是否發(fā)生偏移、偏移方向以及偏移量．Yu等[6-7]針對多元過程監(jiān)控與診斷模型特征，應用ANN和遺傳算法(generic algorithm，GA)解決該問題．這類方法是用多元2T控制圖識別過程異常，采用ANN來建立擬合過程質(zhì)量特性及其相關(guān)統(tǒng)計量和變量偏移類別的分類模型，而隨著質(zhì)量特性維度的增加，分類的難度顯著增加．

Cheng等[8]提出了基于ANN和支持向量機(support vector machine，SVM)分類器識別多元過程協(xié)方差的方法，相比之下，SVM的一個很明顯的優(yōu)點是比ANN更容易建立．Shao等[9]提出獨立成分分析和SVM混合的方法確定導致過程突變的質(zhì)量特性變量，該方法采用網(wǎng)格搜索技術(shù)選擇SVM的參數(shù)，模型能夠有效地提高對異常質(zhì)量特性的正確識別率.

筆者所在課題組分析了基于支持向量機的多元統(tǒng)計過程控制診斷模型，以確定導致控制圖報警的變量/變量組合，模型模擬過程中支持向量機的參數(shù)只選取了部分離散值，最終給出模型模擬的分類結(jié)果．Venkatasubramanian等[10]在2003年對有關(guān)MSPC診斷方面的研究成果進行了綜述．

然而支持向量機模型建立時參數(shù)的選擇對其泛化能力及分類準確率有較大的影響．筆者就目前支持向量機參數(shù)選擇問題，提出采用基于粒子群優(yōu)化(particle swarm optimization，PSO)算法對支持向量機參數(shù)進行優(yōu)化選取，構(gòu)建支持向量機模型分類優(yōu)化模型．PSO算法相對于其他優(yōu)化算法的優(yōu)點是相對簡單，需要調(diào)整的參數(shù)相對較少，是能夠在較大程度上獲得模型優(yōu)化參數(shù)的隨機優(yōu)化技術(shù)．筆者以多元控制圖為研究對象，對多元過程控制圖均值偏移報警信號進行診斷，以確定導致控制圖異常的變量/變量組合，模擬結(jié)果表明，基于PSO算法的支持向量機模型有更好的分類準確率．

1 多元過程控制圖

多元控制圖主要有3種類型：一是類Shewhart多元控制圖，最典型的為T2控制圖；其余兩種是多元指數(shù)加權(quán)移動平均(multivariate exponentially weighted moving average，MEWMA)控制圖和多元累積和(multivariate cumulative sum，MCUSUM)控制圖．另外還有一系列專門應用于多元過程的控制圖，詳情可參考文獻[11]．

假設(shè)某多元過程有p個關(guān)鍵質(zhì)量特性，可表示為X=(X1X2… Xp)，設(shè)每個樣本的樣本容量為n，共有m樣本．進一步假設(shè)X服從多元正態(tài)分布，即X～Np(μ0，∑0)，其中μ0和∑0分別為總體均值和方差-協(xié)方差矩陣．則T2統(tǒng)計量定義為

上控制限

下控制限

與一元控制圖不同，多元控制圖不但需要設(shè)計合理的統(tǒng)計量和控制限，而且在控制圖報警后需進一步識別導致控制圖報警的變量/變量組合，即多元過程控制圖的異常診斷．以多元過程控制圖報警信號對應的質(zhì)量特性數(shù)據(jù)及相應的特征值為輸入樣本，應用支持向量機方法對報警信號進行分類處理，從而實現(xiàn)對多元控制圖異常的診斷是本文的研究所在．

2 支持向量機和粒子群優(yōu)化算法

2.1 支持向量機算法

SVM由Cortes和Vapnik于1995年首先提出，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中[12-13]．它的目標是在結(jié)構(gòu)風險最小化的基礎(chǔ)上使得廣義誤差的上界最小化．有關(guān)支持向量機詳細的內(nèi)容可參考文獻[14]．

設(shè)訓練樣本集D為(x1,y1)，(x2,y2)，…，(xi,yi)，其中i=1，2，…，N，N為訓練樣本數(shù)，xi∈Rp為p維輸入向量，yi∈{+1,-1}為輸出分類標識．支持向量機的訓練涉及到式(1)所示二元優(yōu)化問題的解決方案，即

式中：c為懲罰參數(shù)；w為超平面系數(shù)向量；b為偏差項；ξi為非可分離數(shù)據(jù)處理的誤差參數(shù)．懲罰參數(shù)c決定了設(shè)計誤差的懲罰程度，用于控制最大間隔和分類錯誤之間的平衡．

在特征空間中構(gòu)建分離超平面導致在輸入空間非線性的決策邊界，引入滿足條件的核函數(shù)可以減少在高維空間有關(guān)的計算量，核函數(shù)能夠直接完成在輸入空間必要的計算．不同的核函數(shù)形式對應不同的算法，常用的核函數(shù)有線性核函數(shù)、多項式核函數(shù)、高斯徑向基核函數(shù)和2層感知器核函數(shù)等．許多實際的問題往往都有2個以上的類別，構(gòu)建多級支持向量機仍然是一個正在進行的研究課題，更多細節(jié)的內(nèi)容可參考文獻[15]．

在構(gòu)建用于多元控制圖均值診斷的支持向量機模型時，方法中的訓練樣本是應用多元控制圖而獲得．采用粒子群優(yōu)化算法優(yōu)選支持向量機的參數(shù)，目的是使模型的分類正確率達到最佳．

2.2 粒子群優(yōu)化算法

PSO算法是由Eberhart等[16]提出的一種隨機優(yōu)化技術(shù)．在t時刻，設(shè)Xi(t)=(xi1(t) xi2(t) …xiN(t))為群體中微粒i的當前位置，Vi(t)=(vi1(t) vi2(t) … viN(t))為群體中微粒i的當前飛行速度，在搜索空間中m個粒子的位置可設(shè)定為X=(X1…Xj… X2… Xm)，Pi(t)=(pi1pi2… piN)為群體中微粒i所經(jīng)歷的最好位置，群體中所有粒子經(jīng)歷過的最好位置為g()tP，即全局最好位置．則在每次迭代中，粒子可根據(jù)式(2)和式(3)更新速度和位置[16]，即

式中：n為維度(1≤n≤N)；c1和c2為正的常數(shù)；r1和r2為[0,1]之間的2個隨機函數(shù)；ωi為慣性權(quán)重．

慣性權(quán)重是一個隨著時間線性遞減的函數(shù)，慣性權(quán)重的函數(shù)形式為

式中：ωmax為初始權(quán)重；ωmin為最終權(quán)重；maxt為最大迭代次數(shù)；t為當前迭代次數(shù)．

粒子群優(yōu)化算法已在眾多領(lǐng)域得到了廣泛應用，它相對于其他優(yōu)化算法的優(yōu)點是相對簡單，需要調(diào)整的參數(shù)相對較少，在本文中用于對支持向量機參數(shù)的優(yōu)化選取．

3 基于PSO的SVM分類模型

3.1 支持向量機模型選擇

構(gòu)建支持向量機模型時最大的問題是如何選擇核函數(shù)及相關(guān)的參數(shù)值．在目前研究中，由于高斯徑向基核函數(shù)更趨于能夠達到較好的性能，因此選擇該核函數(shù)作為模型中的核函數(shù)．此時懲罰參數(shù)c和核函數(shù)參數(shù)g是SVM需要確定的2個參數(shù)．核參數(shù)定義了高維特征空間的具體結(jié)構(gòu)，在該空間中，能夠找到具有最大間隔的超平面．PSO算法本身就是一種被廣泛應用的隨機搜索優(yōu)化算法，該算法作為一種新的優(yōu)化算法，由于其具有容易理解、易于實現(xiàn)，并能以最大概率求得全局最優(yōu)解的特點，因此本文通過模擬實驗使用PSO算法對SVM模型參數(shù)進行優(yōu)化選擇，以便使SVM模型達到最佳的分類效果．

3.2 訓練數(shù)據(jù)集的產(chǎn)生

應用Monte Carlo模擬方法產(chǎn)生大量的偽隨機訓練數(shù)據(jù)．假設(shè)產(chǎn)生偽隨機數(shù)的p維多元過程滿足下述條件：過程受控時，過程質(zhì)量特性數(shù)據(jù)x服從參數(shù)為μ和Σ的多元正態(tài)分布，記為，其中μ為均值向量，Σ為方差-協(xié)方差矩陣，且方差-協(xié)方差矩陣Σ已知．為了問題的簡化，所有的變量都進行歸一化處理，過程受控時μ=0，方差σ都為1．通過這樣的處理，協(xié)方差矩陣Σ與系數(shù)矩陣R的形式完全一樣，也就是協(xié)方差矩陣主對角線元素都是1，其余的部分是過程變量之間成對的相關(guān)系數(shù)ρ．利用傳統(tǒng)的多元控制圖來生成均值偏移的數(shù)據(jù)，每一個得到的輸入向量都必須超出2T控制圖的上控制限UCL．假設(shè)在某一時刻t過程均值發(fā)生了偏移，則該時刻t后的質(zhì)量數(shù)據(jù)服從參數(shù)為和的多元正態(tài)分布，其中，均值偏移量Δμ定義為為過程均值偏移系數(shù)．

考慮到輸入向量對分類器性能的影響，本文采用兩種不同的輸入向量來進行研究，第1個輸入特征向量僅由樣本數(shù)據(jù)構(gòu)成，第2個輸入特征向量由樣本數(shù)據(jù)和相應的2T值構(gòu)成．對于某個具有3個質(zhì)量特性的多元過程，將質(zhì)量特性數(shù)據(jù)通過標準化變換表示為，則轉(zhuǎn)化后的數(shù)據(jù)服從參數(shù)為μ=0和相關(guān)系數(shù)矩陣R的多元正態(tài)分布，此時輸入特征向量分別是，其中T2=．令均值偏移系數(shù)分別為，則共有342種偏移模式，對于每一種偏移模式，分別產(chǎn)生500個數(shù)據(jù)訓練樣本和測試樣本，同時生成1,000個過程受控狀態(tài)下的數(shù)據(jù)訓練和測試樣本，測試樣本用于估計支持向量機的性能．

3.3 基于PSO的SVM分類模型

為了優(yōu)化支持向量機的懲罰參數(shù)c和高斯徑向基核函數(shù)參數(shù)g，本文中構(gòu)建的基于粒子群優(yōu)化算法的參數(shù)選取流程如圖1所示．

選擇的高斯徑向基核函數(shù)使粒子在編碼時由懲罰參數(shù)c和核函數(shù)參數(shù)g兩部分構(gòu)成．支持向量機分類準確率用于估計粒子質(zhì)量的適應度函數(shù)(fitness function)，函數(shù)形式為

式中：tC為正確分類的個數(shù)；fC為錯誤分類的個數(shù)．

圖1 基于粒子群優(yōu)化算法的參數(shù)選擇流程Fig.1 Parameter selection process based on PSO algorithm

4 模型模擬分析

4.1 模型參數(shù)優(yōu)化

在參數(shù)優(yōu)化過程中，使用基于高斯徑向基核函數(shù)非線性支持向量機，給定了相應的懲罰參數(shù)c和核函數(shù)參數(shù)g的變化范圍分別為[0.1，100]和[0.01，1,000]，粒子群系數(shù)值分別為種群最大數(shù)量20、加速常數(shù)為3、最大速度為8、參數(shù)局部搜索能力1c=1.5、參數(shù)全局搜索能力2c=1.7和最大的進化代數(shù)200[17].

利用生成的數(shù)據(jù)測試樣本，根據(jù)圖1所示的流程，模型準確度作為適應度函數(shù)值，將模型的懲罰參數(shù)c和核函數(shù)參數(shù)g作為需優(yōu)化的參數(shù)，對用于多元控制圖均值偏移診斷的支持向量機模型進行了優(yōu)化.

(1) 輸入值為特征向量(x1,x2,x3)．當模型輸入只是原始數(shù)據(jù)時，通過優(yōu)化得到粒子群進化代數(shù)與最佳函數(shù)數(shù)值關(guān)系曲線和變量的最佳個體值如圖2(a)所示．從圖可見，在粒子群進化到200代后適應度函數(shù)數(shù)值幾乎不再發(fā)生變化，即認為達到其最優(yōu)解，此時的最佳個體值分別為懲罰參數(shù)c=63.884,7，核函數(shù)參數(shù)g=1.159,9，分類正確率為74.171,4%．

(2) 輸入值為特征向量(x1,x2,x3,T2)．通過優(yōu)化得到粒子群進化代數(shù)與最佳函數(shù)數(shù)值關(guān)系曲線和變量的最佳個體值如圖2(b)所示．在進化到200代后適應度函數(shù)值不再發(fā)生變化，即達到了最優(yōu)解，此時的最佳個體值分別為懲罰參數(shù)c=93.757,8，核函數(shù)參數(shù)g=0.798,08，分類正確率為74.214,3%．

圖2 PSO尋找最佳參數(shù)的適應度曲線Fig.2 Fitness curve for PSO to find the best parameters

利用得到的在粒子群優(yōu)化算法下的最佳參數(shù)，可以對SVM進行進一步的訓練，進而對多元過程異常模式進行分類診斷．需要說明的是，仿真研究表明，SVM-PSO模型分類正確率會依賴于輸入模型的特征向量的不同而存在差異，訓練特征向量的不同會對支持向量機的最終優(yōu)化結(jié)果產(chǎn)生一定的影響，進而影響到分類正確率．

4.2 模型的性能比較

為驗證模型的有效性，將本文中構(gòu)建的基于PSO的SVM模型與Niaki等[1]基于ANN的方法、基于SVM的方法以及筆者前期的基于交叉驗證的SVM (SVM-PO)方法進行了比較，過程參數(shù)來自文獻[1]，均值向量和協(xié)方差矩陣分別為

在Niaki等[1]的研究中，就三維過程均值偏移2σ、3σ和4σ的情況進行了分類準確率測試分析，基于此，亦將過程偏移設(shè)置為2σ、3σ和4σ，對不同模型分類準確率性能進行比較研究．對于每一種給定的均值偏移模式，產(chǎn)生100個超出T2控制圖控制限的隨機變量．筆者提出的基于SVM-PSO方法與基于SVM、基于ANN及基于交叉驗證的SVM方法的比較結(jié)果如表1所示，其中SVM-PSO-1表示SVMPSO模型輸入特征向量是(x1,x2,x3)，而SVM-PSO-2表示SVM-PSO模型輸入特征向量是(x1,x2,x3,T2)．

從表1結(jié)果可以看出，對于同樣的偏移模式，幾種方法的分類正確率有明顯的差異，這是因為應用基于神經(jīng)網(wǎng)絡(luò)方法對質(zhì)量特性變量進行分類識別時，神經(jīng)網(wǎng)絡(luò)有多個需要控制的參數(shù)，如隱含層的個數(shù)、隱含節(jié)點的個數(shù)和學習率等需要憑借經(jīng)驗確定，并且神經(jīng)網(wǎng)絡(luò)往往會陷入局部最優(yōu)解，同時隨著被研究問題維度的增加，網(wǎng)絡(luò)分類的難度有顯著增加；對基于支持向量機模型診斷多元控制圖而言，支持向量機參數(shù)能在某種意義下得到最佳的參數(shù)；而在SVM-PSO模型的方法中，利用粒子群優(yōu)化算法具有較好全局搜索功能的特點確定了最優(yōu)的模型參數(shù)，對于測試集合的預測得到較理想的正確分類率，分類能力更強．

表1列出了幾種方法分類準確率的結(jié)果，從模擬結(jié)果來看，幾種方法對偏移模式的分類準確率的平均值分別為82.67%、85.81%、77.52%、75.76%和47.52%，其中SVM-PSO的分類準確率為最佳，而ANN方法的準確率最小．這一結(jié)果顯示出了SVMPSO方法具有較強的三元過程均值偏移的監(jiān)控與診斷能力．粒子群優(yōu)化算法對支持向量機參數(shù)選取是可行的，可以在某種意義上搜索到參數(shù)的最優(yōu)解．同時SVM-PSO-2方法準確率的平均值優(yōu)于SVM-PSO-1方法的結(jié)果，可認為在本次實驗中模型輸入特征向量為(x1,x2,x3,T2)時所得模型的性能優(yōu)于模型輸入特征向量為(x1,x2,x3)時模型的性能．

表1 基于SVM-PSO方法與基于SVM、基于ANN及基于交叉驗證SVM方法的比較Tab.1 Comparison among SVM-PSO-based，SVM-based，ANN-based and SVM-cross-validation methods

圖3 不同偏移模式下SVM-PSO-1和SVM-PSO-2模型分類準確率Fig.3 Classification accuracy rate of SVM-PSO-1 and SVM-PSO-2,models in different offset modes

圖3顯示了不同偏移模式下SVM-PSO-1和SVM-PSO-2模型方法分類準確率曲線L1和L2，圖形表明SVM-PSO-2模型的分類準確率優(yōu)于SVM-PSO-1模型的分類準確率，并且除了偏移模式(2σ,2σ,2σ)和(3σ,3σ,3σ)對應的點之外，曲線點的準確率都是同時增大或者同時減?。灰赃^程均值偏移2σ來說，對SVM-PSO-2模型對應的分類準確率曲線，分類準確率從偏移模式(2σ,0,0)的準確率93%逐漸下降到模式(2σ,2σ,0)的60%，然后又增加到偏移模式(2σ, 2σ,2σ)的76%；對于均值偏移3σ和4σ的情況分類，準確率有同樣的變化規(guī)律，即都是從(kσ,0,0)準確率逐漸下降至(kσ,kσ,0)準確率，然后又增加到(kσ,kσ,kσ)準確率(其中k=3,4)．圖3中還顯示，3種偏移情況下，分類準確率最大的是(kσ,0,0)，最小的是(kσ,kσ,0)(其中k=2,3,4)．由圖3可以看出隨著均值偏移量的增加，2種模型方法對偏移模式的分類準確率有逐漸增大的趨勢．

圖4顯示了不同偏移模式對不同模型方法分類準確率的影響，其中L1、L2、L3、L4和L5分別表示了SVM-PSO-1、SVM-PSO-2、SVM-PO、SVM和ANN模型方法的分類準確率曲線．圖4表明，雖然模型SVM-PSO-1和SVM-PSO-2的整體性能更強，但是在部分偏移模式下，如偏移模式(2σ,2σ,0)、（2σ,0,2σ）和(3σ,3σ,3σ)等，模型SVM-PSO-1和SVM-PSO-2的分類準確率并未表現(xiàn)出其優(yōu)越性，顯示出該模型在分類方面的局部不穩(wěn)健性，需要進一步進行研究．

圖5為均值偏移量相同時不同模型的平均分類準確率曲線，M1、M2和M3分別表示均值偏移2σ、3σ和4σ時的曲線．模型SVM-PSO-1和SVM-PSO-2的分類準確率曲線表明，均值偏移量由2σ增大到4σ的同時，模型分類準確率也在同步增大，且模型SVM-PSO-2 平均分類準確率大于模型SVM-PSO-1平均分類準確率；而模型SVM-PO、SVM和ANN則不然．這一結(jié)果也表明了SVM-PSO方法的優(yōu)越性．

圖4 在不同偏移模式下模型分類準確率比較Fig.4 Classification accuracy rate comparison of the models in different offset modes

圖5 相同均值偏移量下不同模型的平均分類準確率Fig.5 Average classification accuracy of different models under the same mean offset

5 結(jié) 語

多元過程中由于多個質(zhì)量特性之間存在相關(guān)關(guān)系，多元控制圖同時監(jiān)測多個質(zhì)量特性，控制圖發(fā)出的報警信號只能說明過程異常，而不能解釋控制圖發(fā)出的報警信號是由哪一個或者哪些變量組合發(fā)生偏移引起的．本文中提出了一種基于PSO算法的SVM多元控制圖均值偏移診斷模型對多元過程進行監(jiān)控與診斷，該模型能夠指出過程異常的均值偏移模式．研究表明該方法與基于SVM、基于ANN及基于交叉驗證SVM方法診斷多元過程的結(jié)果相比，有更好的診斷效果，且不同的輸入特征向量會對構(gòu)建模型的分類準確率有一定影響．

［1］ Niaki S，Abbasi B. Fault diagnosis in multivariate control charts using artificial neural networks[J]. Qual Reliab Eng Int，2005，21(8)：825-840.

［2］ Hotelling H. Multivariate Quality Control，in Techniques of Statistical Analysis[M]. New York：McGraw-Hill，1947.

［3］ Wang Taiyue，Chen Longhui. Mean shifts detection and classification in multivariate process：A neural-fuzzy approach[J]. Journal of Intelligent Manufacturing，2002，13(3)：211-221.

［4］ Hou Tung Hsu，Liu Wanglin，Lin Li. Intelligent remote monitoring and diagnosis of manufacturing processes using an integrated approach of neural networks and rough sets[J]. Journal of Intelligent Manufacturing，2003，14(2)：239-253.

［5］ Guh R S. On-line identification and quantification of mean shifts in bivariate processes using a neural networkbased approach[J]. Qual Reliab Eng Int，2007，23(3)：367-385.

［6］ Yu Jianbo，Xi Lifeng. A neural network ensemble-based model for on-line monitoring and diagnosis of out-ofcontrol signals in multivariate manufacturing processes[J]. Experts Systems with Applications，2009，36(1)：909-921.

［7］ Yu Jianbo，Xi Lifeng，Zhou Xiaojun. Intelligent monitoring and diagnosis of manufacturing processes using an integrated approach of KBANN and GA[J]. Computer in Industry，2008，59(5)：489-501.

［8］ Cheng C S，Cheng H P. Identifying the source of vari-ance shifts in the multivariate process using neural networks and support vector machines[J]. Expert Syst Appl，2008，35(1)：198-206.

［9］ Shao Y，Lu C J，Wang Y C. Determination of the fault quality variables of a multivariate process using independent component analysis and support vector machine[J]. Advances in Data Mining：Applications and Theoretical Aspects，2010，6171：338-349.

［10］ Venkatasubramanian V，Rengaswamy R，Kavuri S N，et al. A review of process fault detection and diagnosis(Part Ⅲ)：Process history based methods[J]. Computers and Chemical Engineering，2003，27(3)：327-346.

［11］ Bersimis S，Psarakis S，Panaretos J. Multivariate statistical process control charts：An overview[J]. Qual Reliab Eng Int，2007，23(5)：517-543.

［12］ Vapink V N. An overview of statistical learning theory[J]. IEEE Transactions on Neural Networks，1999， 10 (5)：988-999.

［13］ Lou Der Chyuan，Liu C L，Lin C L. Message estimation for universal steg analysis using multi-classification support vector machine[J]. Comput Stand Inter，2009，31(2)：420-427.

［14］ Burges C J C. A tutorial on support vector machines for pattern recognition[J]. Data Min Knowl Disc，1998，2(2)：121-167.

［15］ Hsu Chih Wei，Lin Chih Jen. A comparison of methods for multiclass support vector machines[J]. IEEE Transactions on Neural Networks，2002，13(2)：415-425.

［16］ Eberhart R，Kennedy J. A new optimizer using particle swarm theory[C]//Proceedings of the 6th International Symposium on Micro Machine and Human Science. Nagoya，Japan，1995：39-43.

［17］ Ranaee V，Ebrahimzadeh A，Ghaderi R. Application of the PSO-SVM model for recognition of control chart patterns[J]. ISA Transactions，2010，49(4)：577-586.

Support Vector Machine Based on Particle Swarm Optimization for Monitoring Mean Shift Signals in Multivariate Control Charts

Zhao Yongman1,2，He Zhen1，He Shuguang1，Zhang Min1
(1. School of Management and Economy，Tianjin University，Tianjin 300072，China；2. School of Mechanical and Electrical Engineering，Shihezi University，Shihezi 832000，China)

To detect the variable shifts causing out-of-control signals in multivariate control chart, this paper proposes a model of support vector machine (SVM) monitoring the mean shifts of multivariate control charts based on particle swarm optimization (PSO) algorithm. Under the assumptions that the variance matrix is constant, T2control chart is used to monitor the multivariate process. Based on different mean shift patterns, the sample data are generated. Finally, the optimized model is attained after the parameters of SVM are optimized using PSO. The simulation comparative studies show that the classification ability of the proposed SVM-PSO method outperforms that of the SVM based model and artificial neural network (ANN) based model. The classification rate of the proposed method is higher than 85%.

multivariate control chart；mean shift diagnosis；particle swarm optimization algorithm；support vector machine

TP206.3

A

0493-2137(2013)05-0469-07

DOI 10.11784/tdxb20130515▋▋

2011-11-30；

2012-05-07.

國家自然科學基金重點資助項目(70931004)；國家自然科學基金資助項目(71002105)；國家自然科學基金青年基金資助項目(70802043).

趙永滿（1979— ），男，博士，講師，zhrym@163.com.

何 楨，zhhe0321@163.com.