線性回歸模型的一種新有偏估計(jì)

?

線性回歸模型的一種新有偏估計(jì)

隋丹陽(yáng)1鄂英力2

1遼寧裝備制造職業(yè)技術(shù)學(xué)院 (沈陽(yáng) 110161) 2高明實(shí)驗(yàn)學(xué)校(沈陽(yáng)110000)

摘 要在線性回歸模型2下給出了有偏估計(jì)，其中K>0, c > 0為參數(shù)，?表示線性回歸模型的廣義最小二乘估計(jì)，討論了這種有偏估計(jì)的優(yōu)良性質(zhì)，得出了主要結(jié)論。

關(guān)鍵詞有偏估計(jì) 廣義最小二乘 嶺估計(jì)

0引言

考慮線性回歸模型：

其中，Y是n×1觀測(cè)向量，X是n× p列滿秩設(shè)計(jì)陣，

β是p×1未知參數(shù)向量，ε為n×1隨機(jī)誤差向量。最小二乘估計(jì)是線性無(wú)偏估計(jì)類中方差最小的，但是當(dāng)模型（1）存在復(fù)共線性時(shí)，最小二乘估計(jì)：

變得極不穩(wěn)定[1]，其均方誤差為XTX的特征

值）趨近于無(wú)窮大，LS估計(jì)的性能變得很差，特別是在經(jīng)濟(jì)問題中，回歸參數(shù)的經(jīng)濟(jì)意義往往得不到合理的解釋。近幾十年來(lái)，統(tǒng)計(jì)學(xué)家們針對(duì)最小二乘估計(jì)的改進(jìn)做了很多研究，他們從消除多重共線性或減小估計(jì)的均方誤差出發(fā)，提出了各種新的估計(jì)方法，諸如嶺估計(jì)、壓縮估計(jì)、主成分估計(jì)、特征估計(jì)等。在實(shí)際應(yīng)用中嶺估計(jì)無(wú)疑是最常用的一種有偏估計(jì)，因此人們對(duì)嶺估計(jì)的研究倍加重視，為了進(jìn)一步改進(jìn)它的性質(zhì)[2,3]，人們提出了種種修正嶺估計(jì)的方法，在一定條件下都可以優(yōu)于嶺估計(jì)。一般而言，對(duì)模型的限制越少越好，這樣在實(shí)際應(yīng)用中適用的范圍才會(huì)更廣，并且在實(shí)際情況中，線性模型的誤差并不總是等方差且不相關(guān)的[4]。

1新估計(jì)的提出

本文將模型推廣到奇異線性模型中：且模型（2）的廣義最小二乘估計(jì)[5]為。

為了便于討論這種估計(jì)的性質(zhì)，對(duì)模型（2）作一個(gè)適當(dāng)?shù)淖兓海玫?/p>

考慮模型（3）的典則形式：設(shè)2

1

p

λ λ λ

我們將對(duì)廣義嶺估計(jì)[6]做進(jìn)一步改進(jìn)，給出模型（2）的一個(gè)新估計(jì)：

?的一些性質(zhì)

性變換。

證明：因?yàn)?/p>

性質(zhì)2. β(K,c)

?是β?的有偏估計(jì)。證明：

性質(zhì)3. 對(duì)任意的k> c >0，β?(K, c )是β?的壓縮，即

i。

證明：對(duì)實(shí)對(duì)稱陣，T1X∑?X進(jìn)行Schur分解。

又因?yàn)?

因此，I? A>0，因?yàn)閃為正交陣，所以有( )T0

可得

性質(zhì)4.對(duì)任意的0

i

k> c >，α(K,c)

?是α?向原點(diǎn)的壓縮。

證明：由模型（3）的典則形式可知

性質(zhì)5.

將上式分別對(duì)1,2, ,pk kk求偏導(dǎo)數(shù)，并令其為零，得

參考文獻(xiàn)

[1]王松桂.線性模型的理論及其應(yīng)用[M].合肥：安徽教育出版社,1987.

[2]張建軍,吳曉平.線性回歸模型系數(shù)嶺估計(jì)的改進(jìn)研究[J].海軍工程大學(xué)學(xué)報(bào)，2005,17(1):54-57.

[3]張偉. 線性回歸模型的一種有偏估計(jì)[J].武漢大學(xué)學(xué)報(bào)，2006,52(3):281-285.

[4]趙天璽，李兆勤.回歸系數(shù)的一種有偏估計(jì)[J].重慶工商大學(xué)學(xué)報(bào).2007,24(6):541-614.

[5]王松桂,史建紅,尹素菊. 線性模型引論[M].北京:科技出版社,2005.

[6]郭效金.廣義嶺估計(jì)的新定義及其性質(zhì)[J].河南教育學(xué)院學(xué)報(bào)，2003,12（1）:35-36.

（責(zé)任編輯：林城）