非參數(shù)回歸模型基于殘差的樣條估計(jì)

馬曉躍，武新乾

(河南科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，河南 洛陽(yáng) 471023)

0 引言

考慮異方差非參數(shù)回歸模型

yt=m(xt)+σ(xt)εt,t=1,…,n，

(1)

其中:xt=t/n為固定設(shè)計(jì)點(diǎn);yt為響應(yīng)變量;{εt}為隨機(jī)誤差序列，滿足E(εt)=0，E(εt2)=1。

已有眾多學(xué)者對(duì)非參數(shù)回歸模型進(jìn)行了研究[1-11]。樣條方法是一種常見的非參數(shù)估計(jì)方法，與局部方法相比具有一定的優(yōu)越性。對(duì)于同方差情形，文獻(xiàn)[12]在誤差是β-混合和α-混合條件下，討論了均值函數(shù)B-樣條估計(jì)的全局收斂速度和一致收斂速度。文獻(xiàn)[13]在線性過(guò)程誤差下，討論了回歸函數(shù)樣條估計(jì)的逐點(diǎn)相合性，并得到其逐點(diǎn)收斂速度。對(duì)于異方差情形，文獻(xiàn)[14]在α-混合條件下對(duì)模型(1)中均值函數(shù)和方差函數(shù)進(jìn)行了估計(jì)，并給出了估計(jì)量的最優(yōu)全局收斂速度和一致收斂速度。文獻(xiàn)[15]在α-混合條件下，推導(dǎo)出條件方差函數(shù)樣條估計(jì)的一致收斂速度。文獻(xiàn)[16]構(gòu)造了誤差方差的多項(xiàng)式樣條估計(jì)，證明了估計(jì)量的相合性。文獻(xiàn)[17]在α-混合條件下，討論了均值函數(shù)和方差函數(shù)樣條估計(jì)的逐點(diǎn)相合性，并得到估計(jì)量的逐點(diǎn)收斂速度。

上述研究對(duì)方差函數(shù)的樣條估計(jì)主要使用的是直接方法。殘差方法也是方差函數(shù)估計(jì)的常用方法，該方法在非參數(shù)回歸中已有應(yīng)用[18-19]。為了探究方差函數(shù)基于殘差的樣條方法的估計(jì)效果，本文對(duì)殘差方法進(jìn)行了進(jìn)一步研究。

1 多樣式樣條估計(jì)

不失一般性，本文將區(qū)間D=[0,1]進(jìn)行等距分割，節(jié)點(diǎn)序列為：

0=t0

構(gòu)造相應(yīng)m次的樣條函數(shù)空間Sk,m，其基函數(shù)記為Bks(x)(s=1,…,m+k+1)，記K=m+k+1。則m(x)的多項(xiàng)式樣條估計(jì)為：

(2)

y=(y1,…,yn)T，

下面使用m(x)的多項(xiàng)式樣條估計(jì)mk(x)對(duì)誤差方差σ2(x)進(jìn)行估計(jì)。

(3)

2 假設(shè)條件與主要結(jié)果

為了研究基于殘差法樣條估計(jì)量的性質(zhì)，根據(jù)文獻(xiàn)[16]作出以下假設(shè)：

(Ⅰ)函數(shù)m(x)和σ(x)是q次可微的，并且其q階導(dǎo)數(shù)滿足H?lder條件，即對(duì)所有的x和x′，有:

m(q)(x)-m(q)(x′)≤cmx-x′v，σ(q)(x)-σ(q)(x′)≤cσx-x′v，

其中：cm>0,cσ>0為常數(shù)，0

(Ⅱ){εt}是α-混合序列，滿足

(Ⅲ)內(nèi)節(jié)點(diǎn)個(gè)數(shù)k=O(N1/(2p+1))。

(Ⅳ)Eεtl<∞，l>1。

在假設(shè)條件下，得到均值函數(shù)和方差函數(shù)估計(jì)量的一致收斂速度。

3 定理的證明

為方便起見，記：

定義εm=(σ(x1)ε1,…,σ(xn)εn)T，由文獻(xiàn)[9]中的引理3.1可知：

由有界性定理可知:σ(x)在x∈D上有界，那么有：

其中：β(t)={αn(t)}1/2。

從而，

因此，對(duì)任意的τ>0可以得到：

定理2的證明容易看出：

其中：

且

下面將著重推導(dǎo)I3，I4，I5的階。

由定理1的證明，同理可得：

由假設(shè)條件(Ⅰ)和(Ⅳ)知，對(duì)任意的τ>0可以得到：

由文獻(xiàn)[21]中的定理5.1可知:‖I6‖∞=OP(k-p)=OP(N-p/(2p+1))。

4 數(shù)值模擬

考慮非參數(shù)回歸模型(1)，其中:

m(x)=50x3(1-x)3,σ(x)=0.2+0.4sin (πx),εt=0.5εt-1+ξt，

其中：{ξt}為獨(dú)立同分布序列，且ξt～N(0,0.75)。

下面根據(jù)文獻(xiàn)[14]中赤池信息準(zhǔn)則(Akaike information criterion，AIC)和貝葉斯信息準(zhǔn)則(Bayes information criterion，BIC)，將基于三次樣條方法構(gòu)造m(x)的樣條估計(jì)量和σ2(x)的殘差樣條估計(jì)量從區(qū)間[0.1n1/(2q+1),3n1/(2q+1)]中自動(dòng)選擇等距內(nèi)節(jié)點(diǎn)個(gè)數(shù)，這里q=2。

樣條估計(jì)方法的表現(xiàn)通過(guò)最大絕對(duì)誤差(maximum absolute error，MAE)度量，定義為：

其中：g=m或σ2；{zk,k=1,…,ngrid}是待估函數(shù)的等距格點(diǎn)。

樣本量n為100,200,400，產(chǎn)生500個(gè)樣本。表1給出了m(x)和σ2(x)的多項(xiàng)式樣條估計(jì)和局部線性估計(jì)最大絕對(duì)誤差的均值和標(biāo)準(zhǔn)差(括號(hào)內(nèi)為標(biāo)準(zhǔn)差)。由表1可以看出：隨著樣本量n的增大，通過(guò)多項(xiàng)式樣條估計(jì)方法和局部線性方法所得到的最大絕對(duì)誤差的均值和標(biāo)準(zhǔn)差逐漸減小，這與理論結(jié)果相吻合。此外，BIC下樣條估計(jì)的最大絕對(duì)誤差的均值，小于AIC下樣條估計(jì)和局部線性估計(jì)的最大絕對(duì)誤差的均值，這一結(jié)果與文獻(xiàn)[14]和文獻(xiàn)[17]運(yùn)用直接樣條方法計(jì)算均方誤差得到的結(jié)果一致。

表1 m(x)和σ2(x)多項(xiàng)式樣條估計(jì)和局部線性估計(jì)最大絕對(duì)誤差的均值和標(biāo)準(zhǔn)差

5 結(jié)論

本文基于殘差樣條方法構(gòu)造了方差函數(shù)的非參數(shù)估計(jì)，得到它與均值函數(shù)具有相同的一致收斂速度?；贐IC選擇結(jié)點(diǎn)個(gè)數(shù)優(yōu)于AIC，同時(shí)樣條估計(jì)的平均最大絕對(duì)誤差整體上小于局部線性估計(jì)的平均最大絕對(duì)誤差。