半?yún)?shù)回歸模型的幾乎無偏差分k-d估計

熊 彪，蔡 婷

(湖北師范大學 數(shù)學與統(tǒng)計學院，湖北 黃石 435002)

半?yún)?shù)回歸模型的幾乎無偏差分k-d估計

熊 彪，蔡 婷

(湖北師范大學 數(shù)學與統(tǒng)計學院，湖北 黃石 435002)

利用差分的方法研究半?yún)?shù)回歸模型,提出了半?yún)?shù)回歸模型的幾乎無偏差分k-d估計,討論了該估計量的一些基本性質.在均方誤差意義下,與差分k-d估計進行了比較,得到了在一定情況下幾乎無偏差分k-d估計優(yōu)于差分k-d估計.

半?yún)?shù)回歸模型;幾乎無偏;差分k-d估計;均方誤差

0 引言

部分線性模型是線性和非線性模型的混合模型，是八十年代以來發(fā)展起來的一種用途十分廣泛的統(tǒng)計模型.部分線性回歸模型的一般形式可以表示為:

yi=xiβ+f(ti)+εi,i=1,2,…n,

其中β=(β1,β2,…βp)T是p×1維待估參數(shù)向量，xi是已知的p維設計向量，f∈R1為定義在[0,1]上的未知函數(shù)，yi是觀測值，εi是隨機誤差項，ε1,ε2,…,εn獨立同分布，且滿足，Eεi=0,Dεi=σ2.由于部分線性模型的應用廣泛且靈活，國內(nèi)外許多學者關注著部分線性回歸模型相關問題的研究，其中對模型中參數(shù)估計方法的研究已成為熱點問題，如核光滑估計法[2]，壓縮估計[3]，嶺估計[4]，Liu-型估計[5]和差分k-d估計[6]等，這些有偏估計的提出是為了消除復共線性.雖然相對于最小二乘估計而言,有偏估計損失了其無偏性，但其在均方誤差這一評價條件來看，更加優(yōu)良，更加符合實際.本文基于部分線性回歸模型參數(shù)的差分估計，使用k-d回歸估計的概念，提出了部分線性回歸模型參數(shù)的幾乎無偏差分k-d估計的概念，研究它的相關性質并證明它的優(yōu)越性.

1 幾乎無偏差分k-d估計

下面我們就給出半?yún)?shù)回歸模型的幾乎無偏差分k-d估計.

先引入差分模型

(1)

則

(2)

其中I為單位矩陣.進一步將模型(1)改寫為

(3)

(4)

(5)

(6)

2 幾乎無偏差分k-d估計的基本性質

下面給出幾乎無偏差分k-d估計的一些基本性質，其中性質1和性質2可直接證得，在此略. 本文將著重介紹性質3和性質4 .

M=[I+(Λ+I)-1(Λ+kI-dΛ)(Λ+kI)-1](Λ+I)-1(Λ+kI+dI)(Λ+kI)-1Λ

注1 性質2表明部分線性回歸模型的幾乎無偏差分k-d估計是差分最小二乘估計的一個線性變換.下面的性質3表明部分線性模型的幾乎無偏差分k-d估計是將γ向原點的壓縮估計.

證 模型(1)的典則形式：

(7)

于是有

考慮下式

(8)

于是

性質4 在γ的線性估計類中，γ**(k,d)為γ的可容許估計.

M=[I+(Λ+I)-1(Λ+kI-dΛ)(Λ+kI)-1](Λ+I)-1(Λ+kI+dI)(Λ+kI)-1Λ

將Λ代入上式展開，可得

3 幾乎無偏差分k-d估計與差分k-d估計的比較

由定義可得

1)在ab>0的情形，

3)在ab<0的情形，

其中a=λi+k+d，b=(1-d)λi+k，c=(λi+1)(λi+k),k>0，-∞

證 顯然

于是有

tr{[I+(Λ+I)-1(Λ+kI-dΛ)(Λ+kI)-1]2(Λ+I)-2(Λ+kI+dI)2(Λ+kI)-2σ2Λ}=

和

(9)

由文獻[6]得

(10)

利用(9)和(10)式得

其中a=λi+k+d，b=(1-d)λi+k,c=(λi+1)(λi+k)，k>0，-∞

所以在ab>0的情形時，

在ab<0的情形時，

證 由定理1的證明的結論我們可以知道，只有在

或者

1)在ab>0的情形時，要令

由ab>0，可知a,b同號：

若a>0,b>0，則我們發(fā)現(xiàn)a(b+2c)σ2<0不可能成立，故該種情況舍去；

得到

解得

而這組解明顯相互矛盾，故此種情況舍去.

2)在ab<0的情形時，要令

由ab<0，可知a,b異號;

若a<0,b>0，則我們發(fā)現(xiàn)a(b+2c)σ2<0與假設不符，故該種情況舍去；

得到

解得

1+k/λi

再來判斷一下上式左右兩邊的大小：

故1+k/λi

[1]胡宏昌. 半?yún)?shù)回歸模型的幾乎無偏嶺估計[J]. 系統(tǒng)科學與數(shù)學,2009,12:1605～1612.

[2]Speckman P. Kernel smoothing in partial linear models[J]. Journal of the Royal Statistical Society,1988,50(3): 413 ～436.

[3]Gruber M. Improving efficiency by shrinkage:The James-Stein and ridge regression estimators[M]. New York:Marcell Dekker,1985.

[4]Hoerl A,Kennard R. Ridge regression:biased estimation for orthogonal problems[J]. Technometrics,1970,12:55～67.

[5]Liu K. A new class of biased estimate in linear regression[J]. Communications in Statistics Theory and Methods,1993,22:393～402.

[6] 黃芬芬. 部分線性回歸模型參數(shù)的差分k-d估計[D]. 湖北師范大學碩士論文,2016.

[7]Farebrother R W. Further results on the mean square error of ridge regression[J]. Journal of the Royal Statistical Society, 1976,38(3):248～250.

[8]Zhang J,Cui H J. Hypothesis test for the parameters of linear part in the partial linear EV model[J]. Acta Mathematicae Applicatae Sinica,English Series,2015,31(4): 1153～1166.

[9]Hu H C,Zhang Y,Pan X. Asymptotic normality of DHD estimators in a partially linear model[J]. Stat Papers,2015:1～21.

[10]Arashi M,Valizadeh T. Performance of Kibria’s methods in partial linear ridge regression model[J]. Stat Papers,2015,56:231～246.

[11]Hoerl A E,Kennard R W. Ridge regression:applications to nonorthogonal problems[J]. Technometrics,1970,12(1):69～82.

[12]Singh B. An almost unbiased ridge estimator[J]. Sankhya,1986,48(3):342～346.

Almost unbiased difference-based k-d estimator ofparameters in a partial linear model

XIONG Biao, CAI Ting

( College of Mathematics and Statistics, Hubei Normal University, Huangshi 435002,China)

We consider a partial linear regression model by the difference-based method,and propose the almost unbiased difference-based k-d estimator of parameters .We give some properties of the estimator,and then,wecompare the almost unbiased difference-based k-d estimator with the difference-based k-d estimator under the mean squared error (MSE),the result shows the former excels the latter.

partial linear model; almost unbiased; difference-based k-d estimator; mean squared error

2016—11—20

國家自然科學基金(11471105)，湖北師范大學科研團隊(T201505)

熊彪(1989— )，男，湖北黃石人，碩士研究生,主要從事半?yún)?shù)回歸模型的研究.

O212.1

A

2096-3149(2017)02- 0062-06

10.3969/j.issn.2096-3149.2017.02.014