VPRS和LSSVM的聯(lián)合建模對(duì)于金屬粉末性能的測(cè)定

王 莉 周新東

（1.湖南商學(xué)院 計(jì)算機(jī)與電子工程學(xué)院，湖南 長(zhǎng)沙 410205；2.湖南長(zhǎng)遠(yuǎn)鋰科有限公司，湖南 長(zhǎng)沙 410205）

0 引言

霧化合金粉末是當(dāng)今粉末冶金領(lǐng)域中品種最多、產(chǎn)量最大、應(yīng)用最廣的合金粉，在制造高溫合金材料、磁性材料和熱噴涂層上都有廣泛應(yīng)用，合金粉末的質(zhì)量直接影響到后續(xù)產(chǎn)品的質(zhì)量和二次開(kāi)發(fā)。但是在實(shí)際制粉生產(chǎn)過(guò)程中產(chǎn)生了大量的數(shù)據(jù)，這些數(shù)據(jù)中有的非常重要卻往往被忽視或者無(wú)法記錄，還有一些指標(biāo)無(wú)法預(yù)測(cè)和控制，因此獲取的信息非常不完整，提供給現(xiàn)場(chǎng)的信息也非常有限，甚至不準(zhǔn)確。如何從大量數(shù)據(jù)中獲取有用的知識(shí)，以幫助決策者及時(shí)發(fā)現(xiàn)問(wèn)題、分析問(wèn)題和解決問(wèn)題，提高生產(chǎn)管理的科學(xué)性和先進(jìn)性，優(yōu)化制粉工藝和生產(chǎn)，成為迫在眉睫的問(wèn)題。

粗糙集理論(Rough Set)不僅能夠找出與類別密切相關(guān)的不可約簡(jiǎn)屬性集合，而且還使用上下近似對(duì)樣本所屬類別的確定程度進(jìn)行刻畫(huà)[1]，它能充分考慮數(shù)據(jù)的不精確、不確定性，符合人類對(duì)事物的認(rèn)識(shí)程度，可與神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、模糊系統(tǒng)等數(shù)據(jù)挖掘方法相結(jié)合[4-10]，用于提高挖掘模型的泛化、學(xué)習(xí)能力以及處理不確定性的能力。

支持向量機(jī)（SVM）是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的一種新型的機(jī)器學(xué)習(xí)方法[2-3,11-16]，由于具有良好的泛化能力，目前已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用。它是對(duì)結(jié)構(gòu)風(fēng)險(xiǎn)最小化的近似，較好地解決了小樣本、非線性、高維數(shù)、局部極小等問(wèn)題。最小二乘支持向量機(jī)(LS_SVM)是SVM的一種改進(jìn)算法，它是SVM在二次損失函數(shù)下的一種形式，用二次損失函數(shù)取代SVM中的不敏感損失函數(shù)，通過(guò)構(gòu)造損失函數(shù)將原SVM中算法的二次尋優(yōu)變?yōu)榍蠼饩€性方程，降低了計(jì)算的復(fù)雜性。國(guó)內(nèi)已有不少文獻(xiàn)對(duì)粗糙集和SVM的聯(lián)合建模進(jìn)行了闡述，現(xiàn)在已運(yùn)用于材料[4,16]、中醫(yī)藥[5]、故障診斷[6]、冶金工業(yè)[8]等。

本文引入基于集對(duì)容差關(guān)系的變精度粗糙集算法，利用閾值α，使得允許一定程度上錯(cuò)誤分類的存在，通過(guò)對(duì)α的調(diào)節(jié)和控制，提高容差類劃分的準(zhǔn)確性和靈活性。同時(shí)運(yùn)用貪心算法進(jìn)行屬性約簡(jiǎn)，最后結(jié)合LS_SVM對(duì)制粉工業(yè)的不完備信息系統(tǒng)進(jìn)行建模，提高模型的預(yù)測(cè)精度和泛化能力。

1 基于集對(duì)容差關(guān)系的VPRS理論

定義1：設(shè)不完備信息系統(tǒng)S＝(U,AT,V,f)，其中U是一個(gè)對(duì)象的非空有限集合，AT是非空有限的屬性集合；對(duì)于?a∈AT，有a∶U→Va，其中Va是屬性a的值域。屬性值域集合V=∪a∈ATVa；f為信息函數(shù)，對(duì)于?a∈AT,?x∈U，有 f(x,a)∈Va。

定義2：設(shè)(U,A)是一個(gè)不完備信息系統(tǒng)，其中U是對(duì)象集，A是屬性集，?x,y∈U，B?A，0.5≤α≤1，定義集對(duì)勢(shì)容差關(guān)系為：

這里，a、b、c分別是X和Y的同一度、差異度和對(duì)立度；uB(x,y)稱為X和Y的聯(lián)系度；Ix={(x,x)｜x∈U}是U上的恒等關(guān)系。由文獻(xiàn)[5]可知，由同一趨勢(shì)的無(wú)窮大勢(shì)所滿足的條件可推出同一度閾值0.5≤α≤1。

2 LS_SVM模型

設(shè)樣本集為S=[(xi,yi)](i=1,2,…l)，xi為輸入矢量，yi為目標(biāo)輸出矢量，l為樣本數(shù)。根據(jù)支持向量機(jī)建模原理，構(gòu)造最優(yōu)線性決策函數(shù)：

式中，ξ為誤差，c＞0為懲罰系數(shù)，c越大表示對(duì)超出誤差的樣本的懲罰越大。這個(gè)優(yōu)化問(wèn)題的解由如下的Lagrange函數(shù)的鞍點(diǎn)給出：

其中 αi＞0 為 Lagrange 系數(shù)。 求 L(ω,b,ξ,α)對(duì) ω，b，ξ，αi的偏導(dǎo)數(shù)，并令其等于零，消除變量ω和ξ，得到線性方程為：

式中，Y=[y1,y2,…yl]T，I=[1,1,…1]T，α=[α1,α2,…αl]，Ω=φ(xi)Tφ(xj)=K(xi,xj)，為核函數(shù)。求出αi和b，并代入式（9）中，得到預(yù)測(cè)模型為：

3 基于VPRS和LS_SVM的預(yù)測(cè)模型的建立

3.1 屬性約簡(jiǎn)與知識(shí)獲取

屬性約簡(jiǎn)的主要目的是為了解決高維數(shù)據(jù)計(jì)算的復(fù)雜性和準(zhǔn)確性問(wèn)題，消除冗余和不相關(guān)屬性對(duì)計(jì)算過(guò)程和最終結(jié)果造成的影響。其方法有很多，如PCA主成分分析法、啟發(fā)式約簡(jiǎn)算法、基于可辨識(shí)矩陣的約簡(jiǎn)算法、基于遺傳算法的約簡(jiǎn)算法等。文獻(xiàn)[5]中提到，可辨識(shí)矩陣約簡(jiǎn)算法的時(shí)間復(fù)雜度和空間復(fù)雜度比較高，一般不適合在實(shí)際工程中應(yīng)用。而PCA主成分分析是把高維空間的問(wèn)題轉(zhuǎn)換到低維空間來(lái)處理，但是該算法對(duì)極端值及缺失值非常地敏感，而極端值與缺失數(shù)據(jù)會(huì)帶來(lái)殘缺或錯(cuò)誤的分析結(jié)果。本文采用一種啟發(fā)式約簡(jiǎn)算法，即貪心算法，將各屬性按照重要性從大到小加入到約簡(jiǎn)屬性集中，直到滿足約簡(jiǎn)條件為止。

定義3：設(shè)S=(U,A)是一個(gè)不完備信息系統(tǒng)，其中A=C∪D,C∩D=φ，C為條件屬性，D為決策屬性。屬性子集P?A，定義屬性集P的不可區(qū)分關(guān)系IND(P)為：用U/IND(P)表示U中的一個(gè)劃分，簡(jiǎn)記為U/P。

定義4：屬性子集P?C，屬性P相對(duì)于D的β的近似依賴度定義為：

定義5：RED(C,D,β)是條件屬性C相對(duì)于決策屬性D的β近似約簡(jiǎn)，有 RED(C,D,β)?C，且滿足：（1）γ(P,D,β)=γ(RED(C,D,β),D,β)；（2）去掉RED(C,D,β)中的任意一個(gè)屬性都會(huì)使（1）不成立。

3.2 LS_SVM參數(shù)辨識(shí)與優(yōu)化

高斯核函數(shù)由于存在局部性，因此核函數(shù)學(xué)習(xí)能力很強(qiáng)，但是泛化性能較弱，而多項(xiàng)核函數(shù)是一種全局核函數(shù)，泛化性能強(qiáng)，因此考慮把這兩類核函數(shù)混合起來(lái)應(yīng)用于LS_SVM算法中?；旌虾撕瘮?shù)的表達(dá)式為：

式中，a和b是決定兩者組合比例的系數(shù)，有0≤a,b≤1，且a+b=1。

3.3 基于VPRS和LS_SVM的預(yù)測(cè)模型的框圖

圖1 基于VPRS和LS_SVM的建模示意圖Fig.1 Structure of the model based on VPRS and LS_SVM

4 系統(tǒng)實(shí)現(xiàn)

4.1 樣本數(shù)據(jù)的VPRS處理

為檢驗(yàn)預(yù)測(cè)模型的有效性和優(yōu)越性，本文以某鎳基水霧化合金粉末生產(chǎn)過(guò)程為例進(jìn)行仿真測(cè)試。過(guò)程工藝參數(shù)由熔液的出料溫度(a1)、熔液液流直徑(a2)、熔液霧化速度(a3)、高壓水壓(a4)、熔液流量(a5)表示，鎳基合金粉末指標(biāo)由流動(dòng)性(d1)、壓縮性(d2)、松裝密度(d3)表示。取20組數(shù)據(jù)作為模型輸入樣本，其初始決策表如表1所示。

表1 初始決策表Tab.1 Initial decision table

表中，屬性有三種特征值，分別為：低（L）、正常（N）、高（H）。

運(yùn)用貪心算法對(duì)初始決策表進(jìn)行約簡(jiǎn)，最終獲得屬性約簡(jiǎn)結(jié)果{a1，a3，a4}，把該結(jié)果作為L(zhǎng)S-SVM的輸入進(jìn)行訓(xùn)練和分類，可以看出輸入量由原來(lái)8個(gè)變?yōu)?個(gè)，大大降低了訓(xùn)練模型的復(fù)雜度。

4.2 LS_SVM預(yù)測(cè)模型

選擇松裝密度(d3)為預(yù)測(cè)對(duì)象，設(shè)定LS_SVM的混合核函數(shù)的各項(xiàng)參數(shù)為：a取0.9左右，b取0.06，高斯核半徑σ取1.44，懲罰系數(shù)C取160，多項(xiàng)式核函數(shù)q取1，選定40個(gè)點(diǎn)，預(yù)測(cè)值和相對(duì)誤差曲線如圖2所示。經(jīng)計(jì)算，預(yù)測(cè)的最大相對(duì)誤差為1.40%，平均相對(duì)誤差為0.92%，這表明所建立的模型具有很好的預(yù)測(cè)能力和泛化能力，它能夠根據(jù)過(guò)程工藝參數(shù)有效預(yù)測(cè)松裝密度，可以滿足實(shí)際應(yīng)用的要求。

4.3 實(shí)驗(yàn)結(jié)果的分析與比較

為了評(píng)價(jià)VPRS+LS_SVM模型，用同樣的數(shù)據(jù)對(duì)基于人工神經(jīng)網(wǎng)絡(luò)（BPNN）的LS_SVM進(jìn)行建模、訓(xùn)練和測(cè)試，結(jié)果如圖 3。從以上兩圖可以看出，VPRS+LS_SVM的預(yù)測(cè)性能明顯優(yōu)于BPNN+LS_SVM方法。

圖2 VPRS+LS_SVM仿真結(jié)果Fig.2 VPRS+LS_SVM simulation results

圖3 BPNN+LS_SVM仿真結(jié)果Fig.3 BPNN+LS_SVM simulation results

為進(jìn)一步評(píng)價(jià)兩種方法的性能，對(duì)鎳基合金粉末的流動(dòng)性和壓縮性進(jìn)行了預(yù)測(cè)，結(jié)果如表2所示。表中采用最大相對(duì)誤差（Emax）和相對(duì)均方根誤差（RMSE）作為評(píng)價(jià)指標(biāo)。

式中，yi和分別是第i個(gè)樣本的實(shí)際值和預(yù)測(cè)值。

表2 兩種LS_SVM核算法預(yù)測(cè)性能比較Tab.2 Forecast performance comparison of two kernel algorithms

由表2可以看出，對(duì)鎳基合金粉末的流動(dòng)性和壓縮性進(jìn)行VPRS+LS_SVM和BPNN+LS_SVM兩種算法比較后，前者算法的相對(duì)誤差和均方根誤差都比后者的要小，同樣說(shuō)明了VPRS+LS_SVM模型的較好的預(yù)測(cè)性能。

5 結(jié)論

針對(duì)制粉生產(chǎn)過(guò)程參數(shù)和指標(biāo)的不完整性和不確定性，本文提出了基于VPRS和LS_SVM的預(yù)測(cè)模型的建模方法，該模型首先通過(guò)VPRS屬性分類和貪心算法的屬性約簡(jiǎn)構(gòu)造出精簡(jiǎn)的訓(xùn)練樣本集，然后將其樣本集輸入LS_SVM模型中用于訓(xùn)練，實(shí)現(xiàn)關(guān)鍵參數(shù)的實(shí)時(shí)預(yù)測(cè)。

將建立的模型用于鎳基合金粉末生產(chǎn)過(guò)程的返料組份預(yù)測(cè)，結(jié)果表明該模型消除了不相關(guān)變量的干擾，提高了訓(xùn)練的泛化能力，具有預(yù)測(cè)精度高、實(shí)時(shí)性好等優(yōu)點(diǎn)，在制粉工藝優(yōu)化和控制領(lǐng)域有巨大的應(yīng)用潛力。

［1］王文輝,周東華.基于遺傳算法的一種粗糙集知識(shí)約簡(jiǎn)算法[J].系統(tǒng)仿真學(xué)報(bào),2001,13(8):91-96.

［2］王雪松,田西蘭,程玉虎,易建強(qiáng).基于協(xié)同最小二乘支持向量機(jī)的Q學(xué)習(xí)[J].自動(dòng)化學(xué)報(bào),2009,35(2):214-219.

［3］梁偉鋒,汪曉東,梁萍兒.基于最小二乘支持向量機(jī)的壓力傳感器溫度補(bǔ)償[J].儀器儀表學(xué)報(bào),2007,28(12):2235-2238.

［4］蔡從中,溫玉鋒,朱星鍵,等.基于工藝參數(shù)的7005鋁合金力學(xué)性能的支持向量回歸預(yù)測(cè)[J].中國(guó)有色金屬學(xué)報(bào),2010,20(2):323-328.

［5］顏志國(guó).基于粗糙集和支持向量機(jī)的表面肌電特征約簡(jiǎn)和分類研究[D].上海:上海交通大學(xué),2008.

［6］曾志強(qiáng).支持向量分類機(jī)的訓(xùn)練與簡(jiǎn)化算法研究[D].杭州:浙江大學(xué),2007.

［7］蔣少華,桂衛(wèi)華,等.基于RS與LS-SVM多分類法的故障診斷方法及其應(yīng)用[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版,2009,40(2):447-451.

［8］王新華,桂衛(wèi)華,王雅琳,等.混合核函數(shù)支持向量機(jī)的磨礦粒度預(yù)測(cè)模型[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(12):207-209.

［9］段丹青,陳松喬,楊衛(wèi)平,王加陽(yáng).使用粗糙集和支持向量機(jī)檢測(cè)入侵[J].小型微型計(jì)算機(jī)系統(tǒng),2008,29(4):627-630.

［10］王泳,胡包鋼.應(yīng)用統(tǒng)計(jì)方法綜合評(píng)估核函數(shù)分類能力的研究[J].計(jì)算機(jī)學(xué)報(bào),2008,31(6):942-952.

［11］Cristianini N,Shawe-Taylor J.支持向量機(jī)導(dǎo)論[M].李國(guó)正,王猛,增華軍,譯.北京:電子工業(yè)出版社,2005.

［12］Cortes C,Vapnic V.Support vector networks[J].Machine Learning,1995,20(1):1-25.

［13］Burges C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery,1998,2(2):1-48.

［14］Vapnik V.Statistical learning theory[M].New York:Willey,1998.

［15］YUAN Sheng-fa,CHU Fu-lei.Support vector machines-based fault diagnosis for turbo-pump rotor[J].Mechanical Systems and Signal Processing,2006,20(4):939-952.

［16］JIANG Shao-hua,GUI Wei-hua,YANG Chun-hua,et al.Fault diagnosis of lead-zinc smelting furnace based on multi-class support vector machines[C]//Proceedings of the Sixth IEEE International Conference on Control and Automation.Guangzhou,2007:1643-1648.