面向質(zhì)量設(shè)計(jì)的Kriging組合建模技術(shù)

肖甜麗，馬義中，林成龍

(南京理工大學(xué) 經(jīng)濟(jì)管理學(xué)院，江蘇 南京 210094)

0 引言

現(xiàn)代質(zhì)量工程中，產(chǎn)品的穩(wěn)健設(shè)計(jì)通常依賴于高保真的數(shù)值仿真。然而，這些高保真的數(shù)值仿真往往因耗費(fèi)大量時(shí)間，造成計(jì)算成本過高。為減少計(jì)算成本，借助計(jì)算機(jī)試驗(yàn)構(gòu)建代理模型，以替代昂貴的高保真數(shù)值仿真，受到了廣泛關(guān)注[1-3]。Kriging模型作為計(jì)算機(jī)試驗(yàn)中常用的代理模型之一，首次由SACKS等[4]應(yīng)用于計(jì)算機(jī)試驗(yàn)。一個(gè)Kriging模型主要由趨勢(shì)項(xiàng)和高斯隨機(jī)過程項(xiàng)兩部分組成，分別用均值函數(shù)和協(xié)方差函數(shù)來表示。在均值函數(shù)已知的情況下，協(xié)方差函數(shù)中的核函數(shù)對(duì)Kriging模型的擬合效果起決定作用。工程設(shè)計(jì)中，最廣泛使用的核函數(shù)為高斯核函數(shù)。XIONG等[5]利用高斯核函數(shù)構(gòu)造的Kriging模型來建立方差模型和均值模型，優(yōu)化了非線性信號(hào)響應(yīng)系統(tǒng);同樣地，ACAR[6]的研究表明，高斯核函數(shù)的預(yù)測(cè)性能優(yōu)于指數(shù)核函數(shù)和線性核函數(shù)。然而，由于高斯核函數(shù)的平滑度對(duì)于許多實(shí)際過程來說是不現(xiàn)實(shí)的，STEIN[7]建議使用Matérn核函數(shù)而不是高斯核函數(shù)。值得注意的是，最優(yōu)核函數(shù)高度依賴于具體問題，沒有某個(gè)單一核函數(shù)對(duì)所有問題都是最優(yōu)的?，F(xiàn)有大部分關(guān)于Kriging模型的研究基本都是預(yù)先指定核函數(shù)，這可能導(dǎo)致所建立模型的預(yù)測(cè)效果較差。而利用不精確預(yù)測(cè)模型所獲得的優(yōu)化參數(shù)組合，無法保證質(zhì)量設(shè)計(jì)方案的可靠性。

為避免錯(cuò)誤使用不合適的核函數(shù)，可將多個(gè)不同的核函數(shù)構(gòu)成的Kriging模型組合為一個(gè)整體，即Kriging組合模型。Kriging組合模型不是為特定問題選擇某個(gè)最佳核函數(shù)，而是充分利用多個(gè)核函數(shù)的預(yù)測(cè)能力來構(gòu)建一個(gè)具有普適性的強(qiáng)大集成模型[8-10]。PALAR等[11]利用組合建模技術(shù)，將Kriging模型中的高斯、Matérn3/2和Matérn5/2三種常見的核函數(shù)組合在一起，并通過一個(gè)空氣動(dòng)力學(xué)實(shí)例證明了所提Kriging組合模型在精度上更為穩(wěn)健，能夠?qū)崿F(xiàn)與最佳單個(gè)核函數(shù)相似的性能;PALAR等[12]通過試驗(yàn)分析表明考慮多個(gè)核函數(shù)的Kriging組合模型提高了有效全局優(yōu)化的穩(wěn)健性和預(yù)測(cè)性能;GINSBOURGER等[13]提出將指數(shù)核函數(shù)和高斯核函數(shù)相結(jié)合來構(gòu)建Kriging組合模型，避免了Kriging核函數(shù)錯(cuò)誤指定的風(fēng)險(xiǎn)。

Kriging組合模型的一般表現(xiàn)形式為多個(gè)子模型的線性加權(quán)組合。因此，組合建模過程中包含兩個(gè)關(guān)鍵問題：①如何確定子模型集；②如何確定子模型的權(quán)重?，F(xiàn)有關(guān)于子模型集的研究大都是預(yù)先指定，而后采用一定的方式加權(quán)組合。然而，并非所有子模型都能顯著提升組合模型的預(yù)測(cè)精度，有些子模型可能不合適。因此，在構(gòu)建組合模型前，有必要從候選子模型集中剔除冗余子模型。ZHOU等[14]提出利用逐步回歸對(duì)構(gòu)成組合模型的4個(gè)候選子模型進(jìn)行選擇;OUYANG等[15]指出文獻(xiàn)[14]所提的模型選擇方法是一次性的選擇過程，從方法的穩(wěn)健性方面無法反映每個(gè)子模型的優(yōu)勢(shì)和劣勢(shì)，并提出基于Bootstrap重抽樣法來分析每個(gè)子模型的性能。上述模型選擇方法均未考慮使用者的先驗(yàn)知識(shí)。隨機(jī)搜索變量選擇(Stochastic Search Variable Selection, SSVS)法主要用于回歸模型中變量的選擇，不僅考慮了統(tǒng)計(jì)意義，還將使用者的先驗(yàn)知識(shí)通過先驗(yàn)假設(shè)融入到變量的選擇過程[16]。因此，本文通過借鑒SSVS法的思想，提出了在Kriging組合建模中的核函數(shù)選擇方法。

在確定Kriging組合模型的子模型集后，還需計(jì)算各子模型對(duì)應(yīng)的權(quán)重。按照子模型權(quán)重的確定方法，可將組合模型分為全局組合模型[8-9]和局部組合模型[17-18]兩類。全局組合模型在整個(gè)設(shè)計(jì)空間具有不變的權(quán)重因子，而局部組合模型則具有隨預(yù)測(cè)點(diǎn)的位置變化而變化的權(quán)重因子。盡管局部組合模型比全局組合模型具有更高的精度，但其在設(shè)計(jì)優(yōu)化中的計(jì)算成本遠(yuǎn)高于全局組合模型?？紤]到計(jì)算經(jīng)濟(jì)性，全局組合模型更適合應(yīng)用于實(shí)際的設(shè)計(jì)優(yōu)化過程。然而，該方法在整個(gè)設(shè)計(jì)空間中只有一組權(quán)重因子，這可能導(dǎo)致設(shè)計(jì)空間的某些區(qū)域無法獲得很好的預(yù)測(cè)。因此，為兼顧多個(gè)區(qū)域的預(yù)測(cè)精度，本文考慮通過劃分多個(gè)子組來優(yōu)化權(quán)重因子，提出在Kriging組合建模中基于K均值聚類的多組權(quán)重因子法。

1 Kriging代理模型

為構(gòu)建Kriging組合模型，本文在普通Kriging(Ordinary Kriging, OK)模型的基礎(chǔ)上，考慮了3個(gè)廣泛使用的核函數(shù)，即高斯核函數(shù)、Matérn3/2核函數(shù)和Matérn5/2核函數(shù)。

1.1 Kriging模型

假設(shè)設(shè)計(jì)空間具有n個(gè)觀測(cè)樣本點(diǎn)，樣本輸入矩陣表示為x=(x1,x2,…,xn)T，對(duì)應(yīng)的響應(yīng)為y=(y(x1),y(x2),…,y(xn))T。其中，第i(i=1,…,n)個(gè)輸入值xi=(xi1,xi2,…,xip)，p為輸入因子的維度，則普通Kriging的模型形式為：

y(xi)=μ+Z(xi)。

(1)

式中：μ為Kriging近似的均值，用于代表總體趨勢(shì);Z(xi)為中心化的平穩(wěn)高斯過程，用于插值。假定任意的兩個(gè)點(diǎn)xi和xj，則y(xi)和y(xj)之間的協(xié)方差為cov[Y(xi),Y(xj)]=cov[Z(xi),Z(xj)]=σ2R(xi,xj)。其中，R(xi,xj)為核函數(shù)(相關(guān)函數(shù))，可由超參數(shù)θ=(θ1,θ2,…,θp)來進(jìn)一步確定；σ2表示過程方差。

對(duì)于任意一個(gè)新的輸入x*，OK模型的最優(yōu)線性無偏預(yù)測(cè)為：

(2)

1.2 Kriging模型的核函數(shù)

1.2.1 高斯核函數(shù)

高斯核函數(shù)的一般表示形式為：

(3)

式中：h=‖xi-xj‖，i和j分別表示兩個(gè)不同的設(shè)計(jì)點(diǎn);θ=(θ1,…,θd)為核函數(shù)的超參數(shù)。

1.2.2 Matérn類核函數(shù)

Stein基于Matérn的工作提出了將Matérn類函數(shù)應(yīng)用于Kriging模型。Matérn核函數(shù)的一般表示形式為：

(4)

式中：v≥1/2表示形狀參數(shù);Γ為Gamma函數(shù);κv為第2種改進(jìn)的貝塞爾函數(shù)。通過使用特定的v值可構(gòu)造特定的Matérn核函數(shù)。根據(jù)RASMUSSEN等[19]對(duì)于機(jī)器學(xué)習(xí)的高斯過程研究發(fā)現(xiàn)，Matérn類核函數(shù)中最有趣的兩個(gè)特例為v=3/2和v=5/2。

當(dāng)v=3/2時(shí)，Matérn核函數(shù)的表示形式為：

(5)

當(dāng)v=5/2時(shí)，Matérn核函數(shù)的表示形式為：

R(θ,h,v=5/2)=

(6)

以上兩種Matérn核函數(shù)廣泛用于實(shí)際過程建模。因此，除高斯核函數(shù)外，本文還選擇Matérn3/2和Matérn5/2作為Kriging組合模型的候選核函數(shù)。

2 Kriging組合模型的構(gòu)建方法

2.1 基于SSVS法的Kriging核函數(shù)選擇

首先將組合模型表示為：

y=β1f1(x)+…+βmfm(x)+ε。

(7)

進(jìn)一步地，將f1(x),f2(x),…,fm(x)分別替換為M1(x),M2(x),…,Mm(x)，則式(7)可表示為：

y=β1M1(x)+…+βmMm(x)+ε。

(8)

式中M1(x),M2(x),…,Mm(x)表示由不同的單個(gè)候選核函數(shù)所建立的Kriging子模型。

給定一組試驗(yàn)數(shù)據(jù)集{(x1,y1),(x2,y2),…,(xn,yn)}，則對(duì)應(yīng)的線性回歸模型可表示為：

(9)

式中：Mj(xi)(i=1,2,…,n;j=i=1,2,…,m)為第j個(gè)子模型在xi處的預(yù)測(cè)值；ε=(ε1,…,εn)T服從均值為0，協(xié)方差為σ2In的多元正態(tài)分布。為獲得xi處各子模型的預(yù)測(cè)值，本文以除第i次試驗(yàn)運(yùn)行外的樣本數(shù)據(jù){(x1,y1),…,(xi-1,yi-1),(xi+1,yi+1),…,(xn,yn)}作為訓(xùn)練集來構(gòu)建由不同的單個(gè)候選核函數(shù)所建立的Kriging子模型，而后利用所建立的各子模型來預(yù)測(cè)xi處的輸出。

在GEORGE等[16]提出的隨機(jī)搜索變量選擇法的基礎(chǔ)上，將由單個(gè)核函數(shù)所構(gòu)建的Kriging子模型看作單個(gè)變量以實(shí)施核函數(shù)的選擇。子模型的顯著與否，可通過在式(8)中引入指示性變量γj=0或1來判斷。首先假設(shè)γj先驗(yàn)分布為

P(γj=1)=1-P(γj=0)=pj。

(10)

進(jìn)一步地，將模型系數(shù)βj的先驗(yàn)分布表示為一個(gè)混合正態(tài)分布

(11)

式中：τj取較小值，表示當(dāng)γj=0時(shí)βj的取值緊靠0附近，對(duì)應(yīng)的子模型是不顯著的；cj取較大值，表示當(dāng)γj=1時(shí)βj具有非0的估計(jì)值，對(duì)應(yīng)的子模型是顯著的。殘差方差σ2獨(dú)立于指示性變量γj和模型系數(shù)βj，其先驗(yàn)分布假設(shè)為一個(gè)逆伽馬分布

σ2～I(xiàn)G(v/2,vλ/2)，

(12)

2.2 基于K均值聚類的多組權(quán)重因子確定方法

由ACAR等[9]提出的全局組合建模在現(xiàn)有的全局組合建模方法中性能表現(xiàn)較好，是常用組合建模方法之一。為節(jié)省計(jì)算成本，本文將其作為全局組合建模方法的代表。該方法通過優(yōu)化如下最小化問題來計(jì)算權(quán)重因子：

s.t.

1Tw=1。

(13)

上述計(jì)算權(quán)重的方法僅有一組權(quán)重因子，可能導(dǎo)致某些區(qū)域的預(yù)測(cè)效果較差。為改善該問題，本文提出以K均值聚類的方法將設(shè)計(jì)空間中的樣本點(diǎn)劃分為多個(gè)不同的組，然后優(yōu)化分組權(quán)重，從而獲得多組權(quán)重因子。流程如圖1所示，具體實(shí)現(xiàn)過程如下：

步驟1初始化聚類數(shù)為l0，令k=0。

步驟2利用K均值聚類將n個(gè)訓(xùn)練樣本點(diǎn)劃分為lk個(gè)組別。假設(shè)第q個(gè)組別所包含的樣本點(diǎn)數(shù)為nq(j=1,…,lk)，則n=n1+n2+…+nlk。

步驟3對(duì)于步驟3所劃分的組，通過最小化式(13)來獲得各組權(quán)重因子，進(jìn)而得到整個(gè)設(shè)計(jì)區(qū)間的權(quán)重因子。

步驟4計(jì)算測(cè)試樣本點(diǎn)與訓(xùn)練樣本點(diǎn)中各組質(zhì)心的距離，以距離最近組的權(quán)重作為該聚類數(shù)下測(cè)試樣本點(diǎn)的權(quán)重。

步驟5更新聚類數(shù)為l(k+1)，令k=k+1。重復(fù)步驟2～步驟5，直到達(dá)到最大聚類數(shù)lmax。此時(shí)優(yōu)化的權(quán)重總組數(shù)為lmax(lmax+1)/2。考慮到計(jì)算成本，設(shè)置最大聚類數(shù)為10。

步驟6計(jì)算并比較不同聚類數(shù)下的測(cè)試樣本點(diǎn)的均方根預(yù)測(cè)誤差(Root Mean Square Prediction Error, RMSPE)。

步驟7以最小RMSPE所對(duì)應(yīng)的聚類數(shù)作為最佳聚類數(shù)，最佳聚類數(shù)所對(duì)應(yīng)的權(quán)重即為最優(yōu)組合權(quán)重。

2.3 基于SSVS法和K均值聚類的Kriging組合建模

組合模型可解釋為專家知識(shí)的集合，其一般形式為：

(14)

由式(14)可以看出，組合模型的兩個(gè)關(guān)鍵因素為子模型集和權(quán)重因子?；诖耍疚脑贙riging組合建模過程中，同時(shí)考慮核函數(shù)的選擇及多組權(quán)重因子以優(yōu)化一般Kriging組合建模，其流程如圖2所示，具體實(shí)現(xiàn)步驟如下：

步驟1利用最大最小拉丁超立方抽樣產(chǎn)生n個(gè)訓(xùn)練樣本點(diǎn)，以及Ntest個(gè)測(cè)試樣本點(diǎn)。

階段1：核函數(shù)的選擇階段。

步驟2選擇高斯核函數(shù)、Matérn3/2核函數(shù)和Matérn5/2核函數(shù)作為Kriging代理模型的候選核函數(shù)。

步驟3在步驟1產(chǎn)生的訓(xùn)練樣本的基礎(chǔ)上，利用除第i(i=1,2,…,n)個(gè)樣本點(diǎn)外的其他樣本{(x1,y1),…,(xi-1,yi-1),(xi+1,yi+1),…,(xn,yn)}來構(gòu)建單個(gè)候選核函數(shù)的Kriging代理子模型，而后利用所建立的第i個(gè)子模型來預(yù)測(cè)xi處的響應(yīng)值Mj(xi)(i=1,2,…,n;j=i=1,2,…,m)。進(jìn)一步，將子模型預(yù)測(cè)Mj(xi)(i=1,2,…,n;j=i=1,2,…,m)表示為式(9)的形式。

步驟4將單個(gè)核函數(shù)所構(gòu)建的Kriging代理子模型看作一個(gè)變量，基于SSVS法進(jìn)行核函數(shù)組合的選擇。各參數(shù)的先驗(yàn)假設(shè)及調(diào)節(jié)參數(shù)的設(shè)置詳見2.1節(jié)。

階段2：最優(yōu)權(quán)重因子的確定階段。

步驟5利用2.2節(jié)所提方法及實(shí)現(xiàn)步驟，得到組合模型的最優(yōu)權(quán)重因子。

階段3：Kriging組合模型的構(gòu)建階段。

步驟6將步驟4所選擇的子模型和步驟5所獲得的最優(yōu)權(quán)重因子代入式(14)，從而可獲得本文所提Kriging組合代理模型。

3 算例研究

3.1 試驗(yàn)設(shè)置

為體現(xiàn)同類型單一核函數(shù)建模在多種場(chǎng)景下的不同表現(xiàn)性能，并證明所提Kriging組合模型在預(yù)測(cè)穩(wěn)健性和預(yù)測(cè)精度方面的優(yōu)越性，本文選擇如下6個(gè)具有代表性的分析函數(shù)[18,21-23]：

(1)2D多模態(tài)函數(shù)

(15)

(2)Camelback函數(shù)

(16)

(3)Dette&Pepelyshev函數(shù)

(17)

(4)Hartman-3D函數(shù)

(18)

(5)Friedman函數(shù)

f(x)=10sin(πx1x2)+20(x3-0.5)2+

10x4+5x5。

(19)

(6)修正的Hartman-6D函數(shù)

(20)

其中Hartman-3D函數(shù)和修正的Hartman-6D函數(shù)中的參數(shù)ci,aij,pij分別如表1和表2所示。以上6個(gè)分析函數(shù)的試驗(yàn)設(shè)置如表3所示，包括維度、輸入變量的定義域、訓(xùn)練樣本的數(shù)量及測(cè)試樣本的數(shù)量。

表1 Hartman-3D函數(shù)的參數(shù)設(shè)置

表2 Hartman-6D函數(shù)的參數(shù)設(shè)置

根據(jù)候選核函數(shù)的類型，本文需要建立的候選Kriging子模型包括高斯核Kriging模型、Matérn3/2核Kriging模型及Matérn5/2核Kriging模型。為方便起見，分別使用Gau、M3/2和M5/2來簡(jiǎn)單表示。全部候選Kriging子模型的線性加權(quán)是常用Kriging組合模型的一般形式，而本文所提組合建模在此基礎(chǔ)上同時(shí)考慮了核函數(shù)的選擇和多組權(quán)重因子。為證明所提方法的優(yōu)越性，建立了4種不同類型的組合模型，包括既不考慮核函數(shù)選擇也不考慮多組權(quán)重因子的一般Kriging組合模型、僅考慮核函數(shù)選擇的Kriging組合模型、僅考慮多組權(quán)重因子的Kriging組合模型及二者同時(shí)考慮的Kriging組合模型，分別用EK、EKS、EKM、EKSM簡(jiǎn)單表示。以上7種Kriging模型中核函數(shù)的超參數(shù)θ范圍均設(shè)置為[0.001,5]。

(21)

表3 各分析函數(shù)的試驗(yàn)設(shè)置

3.2 結(jié)果與討論

圖3所示為針對(duì)2D多模態(tài)函數(shù)、Camelback函數(shù)和Hartman-3D函數(shù)的7種Kriging建模方法的RMSPE箱線圖。每個(gè)箱體的頂部和底部分別表示RMSPE的上四分位數(shù)和下四分位數(shù)，箱體中間的直線表示中位數(shù)，從箱體末端延伸的線表示剩余數(shù)據(jù)相對(duì)于下四分位數(shù)和上四分位數(shù)的延伸，最大延伸長(zhǎng)度是四分位數(shù)范圍的1.5倍，“*”符號(hào)表示超出須線限度的異常值。由圖3可知：

(1)2D多模態(tài)函數(shù)中，高斯核函數(shù)在單一核Kriging模型中具有最少的異常值、最集中的數(shù)據(jù)分布和最小的平均值，說明在預(yù)測(cè)可靠性、穩(wěn)健性及精度方面表現(xiàn)最佳，為最優(yōu)核函數(shù)。同樣地，通過對(duì)箱線圖的分析可知，Hartman-3D函數(shù)中最優(yōu)核函數(shù)為Matérn3/2核函數(shù)，Camelback函數(shù)則為Matérn5/2核函數(shù)，說明同一類型單一核函數(shù)的Kriging建模技術(shù)在不同情形下預(yù)測(cè)精度不同，沒有某個(gè)單一核函數(shù)對(duì)所有的分析函數(shù)都是最優(yōu)的，最優(yōu)核函數(shù)高度依賴于具體問題。

(2)對(duì)比3個(gè)分析函數(shù)中組合模型與單一模型的預(yù)測(cè)性能知，無論最優(yōu)單一核函數(shù)的類型如何變化，4種Kriging組合模型的箱線圖須線長(zhǎng)度、箱體大小及異常值數(shù)量均優(yōu)于最差的Kriging單一模型，接近最優(yōu)的Kriging單一模型，說明Kriging組合建模比單一核Kriging建模更具有普適性。

表4～表9以具體數(shù)字的形式分別展示了7種Kriging建模技術(shù)在6個(gè)分析函數(shù)不同訓(xùn)練樣本量下的RMSPE平均值和標(biāo)準(zhǔn)差，最優(yōu)值在各表中以粗體形式顯示。由RMSPE平均值可知：

(1)Kriging單一模型的預(yù)測(cè)精度隨核函數(shù)的變化而變化，不同核函數(shù)對(duì)應(yīng)不同的RMSPE平均值。

(2)考慮核函數(shù)選擇的Kriging組合模型EKS的預(yù)測(cè)精度優(yōu)于未考慮核函數(shù)選擇的一般Kriging組合模型EK，如Friedman函數(shù)樣本量為60時(shí)，EKS的平均RMSPE為0.178 4，與EK的平均RMSPE 0.1908相比，預(yù)測(cè)精度提升了6.5%。

(3)考慮多組權(quán)重因子的Kriging組合模型EKM的預(yù)測(cè)性能優(yōu)于僅考慮一組權(quán)重因子的一般Kriging組合模型EK，如Dette&Pepelyshev函數(shù)樣本量為30時(shí)，EK的平均RMSPE為0.473 0，而EKM的平均RMSPE為0.402 1，精度提升了15%。

(4)同時(shí)考慮核函數(shù)選擇和多組權(quán)重因子的Kriging組合建模EKSM能顯著提升模型性能，在本文所列舉的4種Kriging組合模型中表現(xiàn)最佳，如Hartman-3D函數(shù)中樣本量為50時(shí)，所提Kriging組合模型的平均RMSPE為0.331 1，與一般Kriging組合模型EK相比精度提升了18.65%，與僅考慮多組權(quán)重因子的Kriging組合模型相比提升了12.71%，與僅考慮核函數(shù)選擇的Kriging組合模型相比提升了3.58%。

(5)所提Kriging組合模型EKSM的預(yù)測(cè)性能在某些情況下可能優(yōu)于最優(yōu)的單一Kriging模型，如Camelback函數(shù)中樣本量為20，說明所提組合建模技術(shù)具有較好的預(yù)測(cè)精度。由RMSPE標(biāo)準(zhǔn)差知，所提Kriging組合模型與其他3種Kriging組合模型相比，具有最大比例的最小值；與單一Kriging模型相比，小于最大值，接近最小值。說明所提建模技術(shù)具有較好的預(yù)測(cè)穩(wěn)健性。

表4 2D多模態(tài)函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

表5 Camelback函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

表6 Dette&Pepelyshev函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

續(xù)表6

表7 Hartman-3D函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

表8 Friedman函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

表9 修正的Hartman-6D函數(shù)不同Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

另外，通過分析訓(xùn)練樣本量大小對(duì)組合模型預(yù)測(cè)性能的影響可知：①與其他3種Kriging組合模型相比，所提Kriging組合模型的RMSPE平均值和標(biāo)準(zhǔn)差在不同訓(xùn)練樣本量下均能保持較優(yōu)(最優(yōu)或與最優(yōu)相當(dāng))，說明所提方法的優(yōu)越性受樣本量的影響較??；②隨著訓(xùn)練樣本量的增加，不同Kriging模型的RMSPE平均值和標(biāo)準(zhǔn)差整體越來越小，說明訓(xùn)練樣本量與模型預(yù)測(cè)效果整體成正比。然而，樣本量的增大會(huì)增加計(jì)算成本。因此，在建模過程時(shí)應(yīng)權(quán)衡試驗(yàn)成本和模型精度，選擇合適的訓(xùn)練樣本量。

4 實(shí)例研究

活塞運(yùn)動(dòng)模型模擬了活塞在氣缸內(nèi)的移動(dòng)[24-25]，活塞的性能通過完成一個(gè)循環(huán)所需的時(shí)間來測(cè)量，即活塞軸完整旋轉(zhuǎn)的循環(huán)時(shí)間Y，單位為s。通過改變活塞重量(M)，活塞表面積(S)，初始?xì)怏w體積(V0)，彈簧系數(shù)(k)，大氣壓力(P0)，環(huán)境溫度(T)和充氣溫度(T0)7個(gè)輸入因子，可調(diào)節(jié)活塞的性能。表10列出了每個(gè)輸入因子的名義值允許范圍及其對(duì)應(yīng)的標(biāo)準(zhǔn)差σi。由于試驗(yàn)過程中噪聲因素的影響，輸入因子的實(shí)際值與名義值并不相等，而是在名義值附近呈正態(tài)分布變化，進(jìn)而導(dǎo)致循環(huán)時(shí)間Y的變化。優(yōu)化目標(biāo)是最小化Y的方差同時(shí)，使其平均值盡可能地接近0.2。輸入因子和輸出響應(yīng)之間的影響過程可通過一系列非線性方程來表示：

(22)

其中：

(23)

(24)

表10 活塞運(yùn)動(dòng)模擬中各輸入因子允許的取值范圍和標(biāo)準(zhǔn)差

4.1 試驗(yàn)設(shè)置

在質(zhì)量設(shè)計(jì)中，雙響應(yīng)曲面優(yōu)化法可同時(shí)優(yōu)化均值和方差，常用于確定輸入變量的最優(yōu)設(shè)置。該方法首先由MYERS等[26]提出，VINING等[27]進(jìn)一步將其進(jìn)行普及。雙響應(yīng)曲面的一個(gè)關(guān)鍵步驟是構(gòu)建均值響應(yīng)和標(biāo)準(zhǔn)差響應(yīng)的經(jīng)驗(yàn)?zāi)Ｐ?。為獲得響應(yīng)的均值和標(biāo)準(zhǔn)差，同一輸入因子水平組合應(yīng)重復(fù)多次試驗(yàn)。

在實(shí)際試驗(yàn)過程中，受噪聲因素影響，輸入因子實(shí)際值常在名義值附近隨機(jī)波動(dòng)。假設(shè)輸入因子實(shí)際值在名義值的±3σi范圍內(nèi)隨機(jī)變化，則噪聲水平的取值范圍為±3σi。相應(yīng)地，本案例中的試驗(yàn)設(shè)計(jì)應(yīng)包含兩部分：①輸入因子名義水平的設(shè)計(jì);②輸入因子噪聲水平的設(shè)計(jì)。兩部分設(shè)計(jì)均采用最大最小拉丁超立方抽樣，在各自的取值范圍內(nèi)隨機(jī)產(chǎn)生100個(gè)試驗(yàn)點(diǎn)。為模擬實(shí)際中同一水平組合的重復(fù)試驗(yàn)，噪聲水平100個(gè)試驗(yàn)點(diǎn)的產(chǎn)生重復(fù)3次。而后將同組號(hào)輸入因子的名義水平值與噪聲水平值相加，即可獲得相應(yīng)的實(shí)際水平值。進(jìn)一步地，將100組重復(fù)3次的輸入因子實(shí)際水平值帶入式(19)～式(21)可得到循環(huán)時(shí)間Y的值。之后對(duì)同一水平組合3次重復(fù)對(duì)應(yīng)的Y值分別求平均值和標(biāo)準(zhǔn)差。

為評(píng)價(jià)所提模型的預(yù)測(cè)性能，利用Bootstrap重抽樣法，分別將由試驗(yàn)設(shè)計(jì)獲得的響應(yīng)均值和響應(yīng)標(biāo)準(zhǔn)差數(shù)據(jù)集以8:2隨機(jī)分割為訓(xùn)練集與測(cè)試集，通過500次重抽樣，獲得500對(duì)訓(xùn)練集與測(cè)試集。在此基礎(chǔ)上，每種建模方法可建立500個(gè)不同的模型并得到測(cè)試樣本集的500個(gè)預(yù)測(cè)向量。然后，分別計(jì)算3種Kriging單一模型和4種Kriging組合模型在500個(gè)測(cè)試集上的RMSPE。最后，通過比較不同Kriging組合模型的RMSPE來說明所提組合模型方法的優(yōu)越性。

4.2 不同方法的預(yù)測(cè)性能分析

為說明所提建模技術(shù)的有效性，圖4以箱線圖的形式、表11以具體數(shù)字的形式分別顯示了3種Kriging單一模型和4種Kriging組合模型對(duì)于均值響應(yīng)和標(biāo)準(zhǔn)差響應(yīng)的RMSPE。在表11中，粗體表示對(duì)應(yīng)建模技術(shù)在所使用的評(píng)價(jià)標(biāo)準(zhǔn)中表現(xiàn)最優(yōu)。

由圖4和表11對(duì)應(yīng)的響應(yīng)均值可知，在3種Kriging單一建模技術(shù)中，Matérn3/2核Kriging模型的離群點(diǎn)數(shù)量最少，RMSPE均值和標(biāo)準(zhǔn)差最小，說明其預(yù)測(cè)精度和穩(wěn)健性最好。高斯核Kriging模型的預(yù)測(cè)性能最差，進(jìn)一步說明在輸入變量與響應(yīng)之間關(guān)系未知時(shí)，若直接采用最廣泛使用的高斯核函數(shù)，會(huì)造成較差的預(yù)測(cè)結(jié)果。4種Kriging組合建模技術(shù)中，所提建模技術(shù)具有最小的RMSPE均值和標(biāo)準(zhǔn)差，預(yù)測(cè)性能優(yōu)于其他3種單一Kriging模型。另外，Kriging組合模型與Kriging單一模型整體相比，組合模型具有比最差單一模型較好同時(shí)與最優(yōu)單一模型相當(dāng)?shù)念A(yù)測(cè)效果。說明組合模型能充分利用每個(gè)單一模型的預(yù)測(cè)能力來獲得更加強(qiáng)大的預(yù)測(cè)能力，在輸入變量與響應(yīng)之間關(guān)系未知時(shí)，可保證較精確和穩(wěn)健的預(yù)測(cè)效果。同樣地，由圖4和表11對(duì)應(yīng)的響應(yīng)標(biāo)準(zhǔn)差可知，所提組合建模技術(shù)具有最小的RMSPE均值，說明其具有較好的預(yù)測(cè)精度；4種Kriging組合建模的標(biāo)準(zhǔn)差大小(箱線圖的數(shù)據(jù)集中程度)相當(dāng)，其中所提Kriging組合建模技術(shù)優(yōu)于一般Kriging組合建模技術(shù)，提升了預(yù)測(cè)穩(wěn)健性；所比較的7種Kriging模型中，所提方法具有相對(duì)較少數(shù)量的離群點(diǎn)，從而說明了其預(yù)測(cè)的可靠性。

表11 7種Kriging代理模型的RMSPE平均值及標(biāo)準(zhǔn)差(括號(hào)內(nèi))

4.3 不同方法的優(yōu)化結(jié)果分析

在本案例中，盡管輸出響應(yīng)與設(shè)計(jì)變量之間的真實(shí)關(guān)系未知，但是為了充分說明所提建模技術(shù)的優(yōu)越性，假設(shè)真實(shí)模型為3類單一核Kriging模型之一，從而響應(yīng)均值和響應(yīng)標(biāo)準(zhǔn)差的假設(shè)真實(shí)模型組合共有9組。首先將本文所比較7種Kriging建模技術(shù)的最優(yōu)參數(shù)組合分別作為9種真實(shí)模型的輸入，則可獲得每種建模技術(shù)的9組真實(shí)優(yōu)化目標(biāo)值。進(jìn)一步，以歐式距離作為評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算7種Kriging建模技術(shù)與真實(shí)模型的真實(shí)優(yōu)化目標(biāo)值之間的距離，其結(jié)果如表12所示。表12顯示了所提Kriging組合建模技術(shù)具有最小的歐氏距離均值和標(biāo)準(zhǔn)差。由均值對(duì)比可知，所提方法與最優(yōu)Kriging單一建模技術(shù)相比提升了65.34%，與其他Kriging組合建模技術(shù)相比最少提升了45.5%。由標(biāo)準(zhǔn)差對(duì)比知，所提方法與最優(yōu)Kriging單一建模技術(shù)相比提升了84.12%；與其他Kriging組合建模技術(shù)相比至少提升了22.7%。同時(shí)，不論真實(shí)模型的具體形式如何，Kriging組合建模技術(shù)均能獲得與真實(shí)模型距離相對(duì)較小的優(yōu)化結(jié)果。由此說明所提Kriging組合建模技術(shù)對(duì)模型形式的不確定是穩(wěn)健的。

表12 7種Kriging代理模型與真實(shí)模型的的真實(shí)優(yōu)化目標(biāo)值的距離

5 結(jié)束語

本文提出一個(gè)新的Kriging組合建模方法，通過6個(gè)仿真算例和1個(gè)工業(yè)實(shí)例的對(duì)比分析發(fā)現(xiàn)：

(1)考慮多個(gè)核函數(shù)的Kriging組合模型通過集成多個(gè)核函數(shù)的預(yù)測(cè)性能，在多種場(chǎng)景下都能保持較好的預(yù)測(cè)精度，與僅考慮單個(gè)核函數(shù)的Kriging單一模型相比更具普適性和穩(wěn)健性。

(2)SSVS核函數(shù)選擇方法有效提升了Kriging組合模型的預(yù)測(cè)效果，與一般Kriging組合模型相比，避免了冗余問題的出現(xiàn)。

(3)考慮全局多組權(quán)重因子的Kriging組合模型，采用多個(gè)區(qū)域的兼顧策略，保證了局部和全局都具有較好的預(yù)測(cè)性能，優(yōu)于僅考慮一組權(quán)重因子的Kriging組合模型。

本文的貢獻(xiàn)主要在于所提建模技術(shù)不僅具有較好的預(yù)測(cè)性能，還能夠得到較穩(wěn)健的優(yōu)化結(jié)果。與此同時(shí)，關(guān)于Kriging建模技術(shù)還得出4個(gè)有趣的發(fā)現(xiàn)：

(1)沒有某個(gè)單一核函數(shù)在Kriging建模的所有情形中都表現(xiàn)最優(yōu)。

(2)并不是所有的核函數(shù)都能提升Kriging組合模型的預(yù)測(cè)性能。

(3)與全局組合模型相比，設(shè)計(jì)空間的區(qū)域劃分可在保證經(jīng)濟(jì)性的基礎(chǔ)上，進(jìn)一步提升Kriging組合模型的預(yù)測(cè)性能。

(4)來自單個(gè)建模技術(shù)的最優(yōu)參數(shù)組合可能被低估或高估。

基于本文的研究?jī)?nèi)容，未來可進(jìn)一步研究的方向包括：①在所提Kriging建模技術(shù)中考慮噪聲變量的影響；②將所提方法拓展到多響應(yīng)的情形；③考慮組合模型中子模型之間的相關(guān)性。