最小二乘支持向量機(jī)在U71Mn高錳鋼表面粗糙度預(yù)測(cè)模型中的運(yùn)用

莊曙東，史柏迪*,，陳天翔，陳威

最小二乘支持向量機(jī)在U71Mn高錳鋼表面粗糙度預(yù)測(cè)模型中的運(yùn)用

莊曙東1,2，史柏迪*,1,2，陳天翔1，陳威1

（1.河海大學(xué) 機(jī)電工程學(xué)院，江蘇 常州 213022；2.南京航空航天大學(xué) 江蘇省精密與微細(xì)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 南京，213009）

獲取了U71Mn高錳鋼在特定主軸轉(zhuǎn)速、進(jìn)給量、銑削深度a、銑削寬度a加工條件下的表面粗糙度的原始數(shù)據(jù)?；诹舫龇ㄔ瓌t將原始數(shù)據(jù)依次隨機(jī)分為兩組，一組為訓(xùn)練集用于訓(xùn)練U71Mn高錳鋼的預(yù)測(cè)模型；另一組數(shù)據(jù)為驗(yàn)證集用于驗(yàn)證模型，并且通過機(jī)器學(xué)習(xí)性能評(píng)價(jià)指標(biāo)來確定模型的最終預(yù)測(cè)精確率。通過實(shí)際建模對(duì)比發(fā)現(xiàn)最小二乘支持向量機(jī)預(yù)測(cè)模型其擬合以及預(yù)測(cè)精度明顯高于傳統(tǒng)多元線性回歸模型。最小二乘支持向量機(jī)（LSSVM）通過對(duì)原支持向量機(jī)算法（SVM）進(jìn)行了算法改進(jìn)，在算法中把原求解Lagrange乘子不等式約束的二次規(guī)劃（QP）問題，轉(zhuǎn)化為等式約束即求解線性方程組，顯著減少了計(jì)算機(jī)運(yùn)算的時(shí)間復(fù)雜度。并且通過尋求結(jié)構(gòu)化風(fēng)險(xiǎn)最小提高了學(xué)習(xí)機(jī)的泛化能力，在觀測(cè)樣本數(shù)量較小的情況下，容易實(shí)現(xiàn)經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的最小化，使模型對(duì)未知樣本有良好的魯棒性與預(yù)測(cè)精度。

U71Mn高錳鋼；最小二乘支持向量機(jī)；表面粗糙度預(yù)測(cè)模型

U71Mn高錳鋼因抗沖擊性良好在工程機(jī)械中運(yùn)用廣泛。如高速鐵路的軌道、履帶車輛的主從動(dòng)輪，甚至碎石機(jī)上的碎石板。但高錳鋼在切削加工過程中，由于塑性變形大，奧氏體組織逐步轉(zhuǎn)變?yōu)榧?xì)晶粒狀的馬氏體組織[1]，在切削參數(shù)配置不合理的情況下極易導(dǎo)致加工硬化，使得刀具加速磨損的同時(shí)后續(xù)加工難以進(jìn)行，最為嚴(yán)重的是加工后表面光整度難以保證，直接影響零件的裝配精度與使用壽命。

對(duì)于U71Mn高錳鋼材料性質(zhì)，國(guó)內(nèi)外學(xué)者已經(jīng)有了諸多研究[2-3]，但卻少有學(xué)者專門對(duì)U71Mn高錳鋼建立表面粗糙度預(yù)測(cè)模型。其切削參數(shù)的配置往往依靠試切法與經(jīng)驗(yàn)選擇[4]，該方式不僅費(fèi)時(shí)費(fèi)力，而且加工后表面粗糙度難以保證。

論文首先對(duì)正交試驗(yàn)獲取的原始數(shù)據(jù)基于交叉驗(yàn)證原則進(jìn)行了處理。將數(shù)據(jù)隨機(jī)分為兩類，一組作為訓(xùn)練集用于建立預(yù)測(cè)模型并且回代模型來檢驗(yàn)決定系數(shù)，第二組數(shù)據(jù)為測(cè)試集用于最終檢測(cè)模型精度。并且說明所選用模型評(píng)價(jià)指標(biāo)。然后基于傳統(tǒng)多元線性回歸理論建立了經(jīng)驗(yàn)公式[5]，由于自變量較多最終導(dǎo)致決定系數(shù)較低，在處理多元非線性問題時(shí)顯然無法進(jìn)行有效預(yù)測(cè)。最后建立了最小二乘支持向量機(jī)（Least Squares Support Vector Machine，LSSVM）預(yù)測(cè)模型[6]。該模型可等效為兩層神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)優(yōu)化方法，作為一種典型的機(jī)器學(xué)習(xí)算法，在小樣本下基于10倍交叉驗(yàn)證法來確定參數(shù)的預(yù)測(cè)模型可獲得非常好的精確度。

1 初始建模條件

1.1 初始數(shù)據(jù)的獲取

通常希望通過訓(xùn)練集建立泛化性誤差小的預(yù)測(cè)模型。但對(duì)于新的待預(yù)測(cè)樣本而言，其規(guī)律無法把控，各變量之間的相互作用也無法考量，基于此情況只能盡可能使樣本具有所有潛在樣本的“普遍規(guī)律”，來提高模型預(yù)測(cè)精度。

為使訓(xùn)練集樣本盡可能具有代表性，基于正交試驗(yàn)原則，建立四因素五水平的正交表，選取主軸轉(zhuǎn)速、進(jìn)給量、銑削深度a、銑削寬度a為變量。結(jié)合本實(shí)驗(yàn)使用的M-V5CN組合機(jī)床參數(shù)作為硬性約束設(shè)置銑削參數(shù)，如表1所示。

以上數(shù)據(jù)作為模型的訓(xùn)練集，目的在于訓(xùn)練學(xué)習(xí)機(jī)使其發(fā)現(xiàn)自變量之間相互作用的關(guān)聯(lián)。并且基于交叉驗(yàn)證的自助法原則，來檢驗(yàn)?zāi)Ｐ偷幕貧w擬合性，從而進(jìn)一步調(diào)整模型各項(xiàng)超參數(shù)[8]。

表1 正交試驗(yàn)表參數(shù)

注：ABCD為關(guān)于a與a的正交組合因子；f為每齒輪進(jìn)給量。

表2 表面粗糙度數(shù)據(jù)

為使最終模型檢驗(yàn)具有盡可能高的可參考性，需有效測(cè)試模型的預(yù)測(cè)精度。最終測(cè)試集為5組在MATLAB環(huán)境下各銑削參數(shù)區(qū)間內(nèi)隨機(jī)生成、通過實(shí)際加工后獲得的參數(shù)，如表3所示。該組數(shù)據(jù)作為測(cè)試集來測(cè)試預(yù)測(cè)模型的泛化性。

表3 測(cè)試集參數(shù)

1.2 評(píng)價(jià)指標(biāo)的選取

在預(yù)測(cè)任務(wù)中，給定樣本集：

式中：y為事例x的真實(shí)標(biāo)記。

要評(píng)估學(xué)習(xí)器，設(shè)模型的輸出函數(shù)為的性能，就要把學(xué)習(xí)機(jī)預(yù)測(cè)結(jié)果()與進(jìn)行比較，在回歸任務(wù)中常選取以下指標(biāo)：

模型的2范數(shù)損失為：

模型的1范數(shù)損失為：

模型的精度為：

模型的決定系數(shù)為：

式中：為決定因子；SSR、SST分別為回歸平方和與殘差平方和。

其中決定系數(shù)亦可直接理解為對(duì)整體預(yù)測(cè)值與觀測(cè)值擬合度的一個(gè)整體評(píng)價(jià)指標(biāo)。越大表示模型效果越好，最大值為1，有如下取值：

＝1：表明預(yù)測(cè)十分準(zhǔn)確，沒有任何錯(cuò)誤；

＝0：表明模型的效果很差；

＜0：表明數(shù)據(jù)之間沒有任何線性關(guān)系。

對(duì)于每一個(gè)建立起來的模型的預(yù)測(cè)精度均使用以上指標(biāo)來進(jìn)行度量。

2 多元線性回歸模型的建立與分析

2.1 多元線性回歸模型的建立

基于多元線性回歸模型理論[9]，可知表面粗糙度與各銑削參數(shù)之間的關(guān)系是非線性的，得到指數(shù)關(guān)系式為：

式中：1、2、3、4為對(duì)應(yīng)銑削參數(shù)的指數(shù)；為除銑削參數(shù)之外影響因素的相關(guān)系數(shù)。

對(duì)式（5）兩邊取對(duì)數(shù)可得：

表1的25組數(shù)據(jù)作為的自變量，表2作為對(duì)應(yīng)的取值。式（7）作為一元五次方程只需五組正交數(shù)據(jù)便可解得，為充分利用上述數(shù)據(jù)，決定基于最小二乘法對(duì)其進(jìn)行處理。以下改進(jìn)支持向量機(jī)（Support Vector Machine，SVM）算法也是相同思路。

式（7）可化簡(jiǎn)為：

式中：x與均為向量式；為系數(shù)列向量。

為了使預(yù)測(cè)模型的2范數(shù)損失盡可能小，可以得到如下優(yōu)化目標(biāo)：

其幾何意義可理解為在歐幾里得距離最大時(shí)、的取值?；跇O值的充要條件求導(dǎo)可得：

式（9）的本質(zhì)為二次函數(shù)，凸函數(shù)一定可以獲得封閉最優(yōu)解：

將樣本數(shù)據(jù)代入式（12）、式（13）可以得到下列系數(shù)的數(shù)值解：

代入式（5）得到最終經(jīng)驗(yàn)公式為：

2.2 多元線性回歸模型的擬合性分析

基于式（4）可以獲得其決定系數(shù)以及各預(yù)測(cè)樣本值與實(shí)際值的偏差，如圖1所示。

可以發(fā)現(xiàn)其預(yù)測(cè)樣本對(duì)于樣本僅僅只有26%的解釋度，誤差波動(dòng)在[0, 0.4] μm。

圖1 模型決定系數(shù)（r2＝0.25943）

結(jié)合式（1）～式（3）可以獲得該模型的2與1范數(shù)損失以及各項(xiàng)樣本預(yù)測(cè)精度，并繪制出圖2。

由圖2（c）可知，預(yù)測(cè)精度在[0.3, 0.7]間波動(dòng)，結(jié)合圖2（b）和圖2（c）可知樣本精度越低其對(duì)應(yīng)的2與1范數(shù)損失也越大。

在本案例中傳統(tǒng)多元線性回歸預(yù)測(cè)模型對(duì)于訓(xùn)練集樣本的擬合度未到50%，訓(xùn)練集學(xué)習(xí)率較差，已沒有進(jìn)行真實(shí)樣本預(yù)測(cè)的必要。

3 LSSVM模型的建立與分析

3.1 LSSVM回歸模型的建立

給定訓(xùn)練集樣本

支持向量機(jī)最基本的目的是在訓(xùn)練集中找到一個(gè)超平面劃分不同類型的樣本，如圖3所示。從圖3可知，面a、b、c均實(shí)現(xiàn)了對(duì)A和B樣本的劃分?？芍庇^看到平面a最佳，其具有最佳的抗擾動(dòng)能力。一般情況下因?yàn)橛?xùn)練集的局限性和實(shí)際測(cè)量誤差（噪度）的影響，實(shí)際的訓(xùn)練樣本可能在一定范圍內(nèi)波動(dòng)，在這種情況下顯然超平面a的魯棒性最佳[10]，可以將潛在的風(fēng)險(xiǎn)誤差最小化，從而實(shí)現(xiàn)最佳的泛化性，支持向量機(jī)[11]當(dāng)在做回歸任務(wù)時(shí)也是相同的策略。此為理想情況，在更多情況下會(huì)遇到線性不可分問題，如圖4所示。

圖3 存在多個(gè)可行平面將樣本進(jìn)行劃分

由圖4可知，在低維空間中，該問題線性不可分，但曲線卻可以進(jìn)行劃分。通過特定的核函數(shù)可以將原樣本映射至高維空間中，基于最優(yōu)化原理，低維線性不可分問題在高維空間中一定有可行解。

為了找到最佳超平面，基于非線性規(guī)劃求解（KKT，Karush-Kuhn-Tucker conditions）[12]條件可將問題轉(zhuǎn)化為最大化訓(xùn)練樣本的幾何距離。

圖4 映射高維空間劃分平面

假定有個(gè)訓(xùn)練集樣本：

式（15）中函數(shù)間隔的取值不會(huì)影響最有問題的解，通過將距離設(shè)置為1可以簡(jiǎn)化問題為：

原方程為不等式約束，QP（Quadratic Programming，二次規(guī)劃）問題求解較為復(fù)雜，但基于式（9）的策略。引入樣本誤差變量e，可得到最終優(yōu)化問題的lagrange函數(shù)為：

該函數(shù)為一個(gè)凸函數(shù)存在最優(yōu)解，通過求導(dǎo)可以得到其極值為：

代入求解可以得到LSSVM輸出形式的簡(jiǎn)化標(biāo)準(zhǔn)型式為：

將表1和表2的訓(xùn)練數(shù)據(jù)按照表4的特征參數(shù)在MATLAB中訓(xùn)練向量機(jī)。

表4 模型特征參數(shù)

表4中代價(jià)函數(shù)是用來確定式（19）中各項(xiàng)參數(shù)，用交叉驗(yàn)證中交叉熵驗(yàn)證原則以及上文中最小二乘法思想可以將風(fēng)險(xiǎn)最小化，以此來保證對(duì)已知訓(xùn)練集樣本的擬合性，且未知樣本也能具有良好的泛化性。式（19）中的即對(duì)應(yīng)表4中的內(nèi)核函數(shù)。其中高斯內(nèi)核[13]用來實(shí)現(xiàn)圖4的功能，將數(shù)據(jù)映射至高維空間來尋求最優(yōu)超平面。對(duì)于內(nèi)核函數(shù)的選用尚且為一個(gè)未決問題。

訓(xùn)練完成的最小二乘向量機(jī)及其正則系數(shù)、平方帶寬2設(shè)置如圖5所示。

圖5 模型訓(xùn)練完成圖（γ＝54.5982，σ2＝5.6557）

在相同的策略以及參數(shù)設(shè)置下，模型擬合以及預(yù)測(cè)分析結(jié)果具有可復(fù)制性。

3.2 LSSVM回歸模型的擬合性分析

在擬合度測(cè)試中，最重要的是決定系數(shù)對(duì)訓(xùn)練集樣本按照式（4）進(jìn)行處理，可得圖6。

對(duì)于測(cè)試樣本的擬合度良好，最終解釋度為96.33，雖不及BP神經(jīng)網(wǎng)絡(luò)可以達(dá)到近似100%，但也正是因?yàn)槿绱丝梢杂行П苊膺^擬合現(xiàn)象[12]，因?yàn)檩斎氲挠?xùn)練樣本不可能包含觀測(cè)變量的所有規(guī)律，一旦過擬合對(duì)于測(cè)試樣本便會(huì)失去泛化性。

圖6 擬合決定系數(shù)圖（r2＝0.96328）

按照式（3）可以獲取各項(xiàng)預(yù)測(cè)精度。圖7的精度測(cè)試可以更加直觀地反應(yīng)其擬合情況。

圖7 擬合精度圖

由圖可知各項(xiàng)的精度均在91%以上，無較大的誤差項(xiàng)。通過式（1）、式（2）結(jié)合圖8來觀察各項(xiàng)產(chǎn)生的誤差以及累計(jì)誤差。

可以發(fā)現(xiàn)其誤差各項(xiàng)波動(dòng)與精度關(guān)系呈現(xiàn)反比。相比于傳統(tǒng)多元線性回歸方程，LSSVM擬合精度、誤差波動(dòng)、決定系數(shù)均有較大提升。

3.3 LSSVM預(yù)測(cè)模型的精度分析

將表3數(shù)據(jù)代入LSSVM預(yù)測(cè)模型，按照式（3）、式（4）進(jìn)行處理可得到圖9、圖10。

基于以上結(jié)果可發(fā)現(xiàn)對(duì)于未知樣本其依舊具有良好的泛化性，可作為參考承擔(dān)預(yù)測(cè)任務(wù)。

圖8 模型性能

圖9 預(yù)測(cè)決定系數(shù)圖（r2＝0.88174）

4 結(jié)論

（1）傳統(tǒng)多元線性回歸理論，作為一種線性回歸模型廣義上因?yàn)槔糜?xùn)練集來計(jì)算參數(shù)a和b可以理解為近似有監(jiān)督的機(jī)器學(xué)習(xí)模型。在簡(jiǎn)單單變量函數(shù)中有著出色的表現(xiàn)，但線性解釋往往在多元離散變量中難以實(shí)行。在本案例中雖然其推導(dǎo)計(jì)算過程相對(duì)簡(jiǎn)單，但是對(duì)于訓(xùn)練集樣本無法進(jìn)行有效擬合，低于臨界值50%乃至于沒有進(jìn)行測(cè)試集預(yù)測(cè)的必要。在多元非線性擬合和預(yù)測(cè)任務(wù)中模型還是建議選用人工智能機(jī)器學(xué)習(xí)算法，可以有效進(jìn)行數(shù)據(jù)挖掘發(fā)現(xiàn)其數(shù)據(jù)特征。

圖10 預(yù)測(cè)精度圖

（2）在本文U71Mn高錳鋼預(yù)測(cè)案例中最小二乘支持向量機(jī)預(yù)測(cè)模型有著相對(duì)出色的表現(xiàn)。該算法自20世紀(jì)90年代出現(xiàn)至今已經(jīng)有了十分完備的理論體系及驗(yàn)證的數(shù)學(xué)證明[14]。目前主流各類神經(jīng)網(wǎng)絡(luò)算法雖[15]也有著較高的擬合度與泛化性，但是其隱藏層數(shù)以及結(jié)點(diǎn)數(shù)尚無定論，而且對(duì)于樣本數(shù)量需求大，效度信度要求高，較難實(shí)行。最小二乘支持向量機(jī)通過一種將誤差風(fēng)險(xiǎn)降至最低的策略，可以有效保證預(yù)測(cè)精度。但是其參數(shù)確定基于交叉驗(yàn)證原理隨著樣本數(shù)量的增大，其計(jì)算時(shí)間復(fù)雜度也呈現(xiàn)(3)規(guī)律增長(zhǎng)，在大樣本下難以實(shí)行。

（3）基于各類算法的預(yù)測(cè)模型并沒有絕對(duì)的優(yōu)劣之分，問題的難點(diǎn)主要是確定本案例最適合的模型。大多數(shù)人工智能模型在參數(shù)上還有較多的未決問題，往往需要多次調(diào)試建模。本論文的預(yù)測(cè)模型僅適用U71Mn高錳鋼，但是該方法可以嘗試運(yùn)用于其他材料。

[1]王豫，斯松華. 高錳鋼加工硬化規(guī)律和機(jī)理研究[J]. 鋼鐵，2001（10）：54-56.

[2]鄭文虎，張明杰. 高錳鋼的切削加工[J]. 金屬加工（冷加工），2017（12）：45-46.

[3]徐營(yíng)利，王展，胡曉兵，等. 基于徑向基神經(jīng)網(wǎng)絡(luò)的刀具壽命預(yù)測(cè)模型研究[J]. 機(jī)械，2019，46（2）：13-16，29.

[4]任小平. 難加工材料切削數(shù)據(jù)庫系統(tǒng)的研究與開發(fā)[D]. 山東：山東大學(xué)，2010.

[5]王惠文，孟潔. 多元線性回歸的預(yù)測(cè)建模方法[J]. 北京航空航天大學(xué)學(xué)報(bào)，2007（4）：500-504.

[6]Ahmed K. Abbas，Najim A. Al-haideri，Ali A. Bashikh. Implementing artificial neural networks and support vector machines to predict lost circulation[J]. Egyptian Journal of Petroleum，2019（13）：132-156.

[7]范永東. 模型選擇中的交叉驗(yàn)證方法綜述[D]. 太原：山西大學(xué)，2013.

[8]奉國(guó)和. SVM分類核函數(shù)及參數(shù)選擇比較[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47（03）：123-124，128.

[9]Nikolaos Pandis. Multiple linear regression analysis[J]. American Journal of Orthodontics & Dentofacial Orthopedics，2016，149（4）：45-52.

[10]張海，徐宗本. 學(xué)習(xí)算法的穩(wěn)定性與泛化：一種新的穩(wěn)定性框架[J]. 數(shù)學(xué)學(xué)報(bào)，2009，52（3）：417-428.

[9]丁世飛，齊丙娟，譚紅艷. 支持向量機(jī)理論與算法研究綜述[J].電子科技大學(xué)學(xué)報(bào)，2011，40（1）：2-10.

[10]馬小姝，李宇龍，嚴(yán)浪. 傳統(tǒng)多目標(biāo)優(yōu)化方法和多目標(biāo)遺傳算法的比較綜述[J]. 電氣傳動(dòng)自動(dòng)化，2010，32（3）：48-50，53.

[12]周偉達(dá)，張莉，焦李成. 支撐矢量機(jī)推廣能力分析[J]. 電子學(xué)報(bào)，2001（5）：590-594.

[13]張小云，劉允才. 高斯核支撐向量機(jī)的性能分析[J]. 計(jì)算機(jī)工程，2003（8）：22-25.

[14]Sun A.，Lim E.P.，Ng W.K. Web classification using support vector machine[C]. In Proceedings of the 4th international workshop on Web information and data management，ACM，2002：96-99.

[15]毛健，趙紅東，姚婧婧. 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J]. 電子設(shè)計(jì)工程，2011，19（24）：62-65.

Application of Least Squares Support Vector Machine to Prediction Models of Surface Roughness of U71Mn High Manganese Steel

ZHUANG Shudong1,2，SHI Baidi1,2，CHEN Tianxiang1，CHEN Wei1

( 1.School of Mechanical and Electrical Engineering, Hohai University, Changzhou 213022, China; 2.Jiangsu Key Laboratory of Precision instruments, Nanjing University of Aeronautics and Astronautics，Nanjing 213009, China)

The raw data of surface roughnessof U71Mn high manganese steel are obtained under the conditions of specific spindle speed, feed rate, milling depthaand milling widtha. Based on the cross validation principle, the raw data are randomly divided into two groups: one is the training set to train the prediction models of U71Mn high manganese steel; the other is the validation set to verify the model, and the final prediction accuracy of the model is defined by the evaluation index of machine learning performance. By comparing the models, the present work finds that the prediction accuracy of least squares support vector machine (LSSVM) is significantly higher than the traditional multiple linear regression model. LSSVM improves algorithm of the original support vector machine (SVM). The quadratic programming (QP), which solves the constraint of Lagrange multiplier α inequality, is transformed into the equation constraint, that is, solving the linear equations, which significantly reduces the time complexity of computer operation. The generalization ability of the learning machine is improved by seeking the minimum structural risk. With small number of observation samples, the empirical risk and confidence range is likely to be minimized, which makes the model have good robustness and prediction accuracy.

U71Mn high manganese steel；prediction models of surface roughness；least squares support vector machine

TG84

A

10.3969/j.issn.1006-0316.2020.06.003

1006－0316 (2020) 06－0017－08

2019－12－11

江蘇省高校實(shí)驗(yàn)室研究會(huì)立項(xiàng)資助研究課題（GS2019YB18）；江蘇省精密與微細(xì)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室關(guān)于機(jī)械加工中精密制造的工藝、數(shù)學(xué)建模的研究課題；中央高?；究蒲袠I(yè)務(wù)費(fèi)（2018B44614）；教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（20180269005）

莊曙東（1970－）男，江蘇常州人，博士，高級(jí)工程師，碩士生導(dǎo)師，主要研究方向?yàn)橹悄苤圃臁?/p>

史柏迪（1996－）男，江蘇常州人，碩士研究生，主要研究方向?yàn)楸砻娲植诙阮A(yù)測(cè)，E-mail：sbdhaha413@outlook.com。