嶺回歸分析中廣義嶺估計(jì)的一種改進(jìn)方法

趙東波

【摘要】對(duì)于多重共線性條件下線性回歸模型系數(shù)的有偏估計(jì)，統(tǒng)計(jì)學(xué)家提出了嶺回歸估計(jì)，Hoerl和Kennard提出了廣義嶺估計(jì)[1].本文主要討論廣義嶺估計(jì)的進(jìn)一步推廣，基于均方誤差和均方殘差的比較，給出一種解決問題的新方法.

【關(guān)鍵詞】線性回歸模型；廣義嶺估計(jì)；均方誤差；均方殘差

一、引言

為消除或減弱設(shè)計(jì)陣的復(fù)共線性對(duì)參數(shù)估計(jì)的不良影響，國內(nèi)外學(xué)者提出了各種有偏估計(jì)，如，嶺估計(jì)[2]、主成分估計(jì)等等，這些估計(jì)在均方誤差意義下可以優(yōu)于LS估計(jì)[3].但是，在某種情況下還有一定的缺陷.

定義1[4]我們引進(jìn)線性回歸模型的典則形式：

Y=Zα+ε，E（ε）=0，Cov（ε）=σ2In，（1）

這里，Z=XΦ稱為典則變量，α=Φ′β稱為典則參數(shù)，其中Φ=（φ1，φ2，…，φp），且φ1，φ2，…，φp為X′X的對(duì)應(yīng)特征根λ1≥λ2≥…≥λp>0的標(biāo)準(zhǔn)化特征向量.所以Z′Z=Λ=diag（λ1，λ2，…，λp）.則α的LS估計(jì)為=（Z′Z）-1Z′Y=Λ-1Z′Y.其狹義嶺估計(jì)為（k）=（Λ+kI）-1Z′Y=（Λ+kI）-1Φ′X′Y.在嶺回歸估計(jì)法的基礎(chǔ)上，有學(xué)者提出了廣義嶺回歸估計(jì)法，定義為β（k）=（X′X+ΦKΦ′）-1X′Y，其中K=diag（k1，k2，…，kp）>0.

本文主要是在前人提出的廣義嶺估計(jì)的基礎(chǔ)上，對(duì)其中的一部分做了進(jìn)一步的探討與研究，并加以改進(jìn).首先，討論廣義嶺估計(jì)的主要缺陷.

第一，只有在較小特征根所對(duì)應(yīng)的特征向量的方向上估計(jì)才是不精確的，而在大的特征根所對(duì)應(yīng)的特征向量的方向上估計(jì)是準(zhǔn)確的.因此，我們只需要修正X′X全部對(duì)角元的一部分就可以，也就是只對(duì)X′X的接近于0的特征根進(jìn)行修正.廣義嶺估計(jì)其實(shí)是對(duì)β進(jìn)行了過分的壓縮.

第二，廣義嶺估計(jì)的殘差平方和為

RSS（K）=（Y-Xβ（K））′（Y-Xβ）

=（Y-Xβ）′（Y-Xβ）+（β（K）-β）′X′X（β（K）-β）

=RSSmin+ΔRSS.

這說明廣義嶺估計(jì)在降低均方誤差的同時(shí)，又使得殘差平方和增大.為了得到良好的擬合效果，我們當(dāng)然要降低均方誤差以使估計(jì)更接近真值，但又不能不顧及殘差平方和的增大.

定義2[5]對(duì)于線性回顧模型，定義1-k型廣義嶺估計(jì)β1-k（K）=（X′X+ΦK0Φ′）-1X′Y.

其中，K0=11ki+1kp，k>0，i=t，t+1，…，p.

設(shè)X′X的較大的特征根有t個(gè)，t為正整數(shù)，且0≤t≤p，則需要修正的小特征根有（p-t）個(gè).在多重共線性的情況下，X′X的特征根發(fā)生兩極分化的結(jié)果可以人為地確定該對(duì)哪些特征根進(jìn)行修正.由定義可以看出，β1-k（K）是廣義嶺估計(jì)類β（K）的一種估計(jì).當(dāng)ki=0，i=1，2，…，p時(shí)，β1-k（K）即化為LS估計(jì).對(duì)于線性回歸方程典則形式（1），定義1-k型廣義嶺估計(jì)α1-k（K）=（Λ+K0）-1Z′Y式中，Z=XΦ，α=Φ′β，其中Φ=（φ1，φ2，…，φp），且φ1，φ2，…，φp為X′X的對(duì)應(yīng)特征根λ1≥λ2≥…≥λp>0的標(biāo)準(zhǔn)化特征向量.所以Z′Z=Λ=diag（λ1，λ2，…，λp）.K0定義同上.

二、對(duì)β1-k（K）與β（K）的均方誤差（MSE）進(jìn)行比較分析

因?yàn)棣?-k（K）是β（K）的一種特殊情況，先來看β（K）的MSE.

MSE（β（K））=σ2∑pi=1λi（λi+ki）2+∑pi=1k2iα2i（λi+ki）2 .

其中，K=diag（k1，k2，…，kp）>0，對(duì)ki（i=1，2，…，p）求偏導(dǎo)數(shù)，并令其偏導(dǎo)數(shù)為0，得MSE（β（K））ki=2α2ikiλi（λi+ki）3-2σ2λi（λi+ki）3=0.解出，當(dāng)ki=σ2α2i（i=1，2，…，p）時(shí)，MSE（β（K））達(dá)到最小.

將上式中正定對(duì)角陣K用本文提出的K0替換，即得

MSE（β1-k（K0））=E‖β1-k（K0）-β‖2

=tr[Cov（β1-k（K0））+（Eβ1-k（K0））-β（E（β1-k（K0））-β）′]

=σ2tr（（Λ+K0）-1Λ（Λ+K0）-1Φ′Φ）+tr[Φ（（Λ+K0）-1Λ-I）αα′（（Λ+K0）-1Λ-I）Φ′]

=σ2∑ti=1λi（λi+1）2+σ2∑pi=t+1λi（λi+ki）2+∑pi=t+1k2iα2i（λi+ki）2 .

同理，當(dāng)ki=σ2α2i（i=t+1，t+2，…，p）時(shí)，MSE（β1-k（K0））達(dá)到最小.此時(shí)，將ki=σ2α2i（i=1，2，…，t）代入，得

MSE（β（K））-MSE（β1-k（K0））

=σ2∑ti=1λi（λi+ki）2+∑ti=1k2iα2i（λi+ki）2-σ2∑ti=1λi（λi+1）2

=∑ti=11+2λi-kiλi（1+λi）2（λi+ki）.（2）

另外，當(dāng)ki→0（i=1，2，…，p）時(shí)，MSE（β（K））ki=2α2ikiλi（λi+ki）3-2σ2λi（λi+ki）3<0.MSE（β（K））ki在ki≥0是連續(xù)函數(shù)，于是當(dāng)ki充分小，MSE（β（K））

由此可以得到結(jié)論，改進(jìn)后減小了多重共線性對(duì)參數(shù)估計(jì)的危害.在理論上MSE（β1-k（K））的最小值要大于MSE（β（K））的最小值.雖然前者比后者的對(duì)于LS估計(jì)β的改進(jìn)小，但是這種改進(jìn)還是合理的.后者改進(jìn)偏大，超過了應(yīng)該壓縮的程度.

三、對(duì)β1-k（K）與β（K）的均方殘差（MSR）進(jìn)行比較分析

由上可知

MSE（β（K））=E（RSS（β（K）））

=E（Y-Xβ（K））′（Y-Xβ（K））

=E[（Y-Xβ）′（Y-Xβ）+（β（K）-β）′X′X（β（K）-β）]

=MSR（β）+ΔMSR（β（K））.

其中，MSR（β）=（n-p）σ2為參數(shù)β所有估計(jì)的均方殘差的最小值.ΔMSR為廣義嶺估計(jì)對(duì)LS估計(jì)的修正所造成的MSR的增量，下面我們來考慮ΔMSR項(xiàng).

ΔMSR（β（K））=E‖Xβ（K）-Xβ‖2

=E‖Zα（K）-Zα‖2

=E[Z（Λ+K）-1Λα+Z（Λ+K）-1Z′ε-Zα-ZΛ-1Z′ε]·[Z（Λ+K）-1Λα+Z（Λ+K）-1Z′ε-Zα-ZΛ-1Z′ε]

=α′（（Λ+K）-1Λ-I）Λ（（Λ+K）-1Λ-I）α+σ2tr（Λ-1（（Λ+K）-1Λ-I）Λ（（Λ+K）-1Λ-I））

=∑pi=1λiα2ik2i（λi+ki）2+σ2∑pi=1k2i（λi+ki）2，

式中的K陣同上定義.將上式中正定對(duì)角陣用本文提出的K0替換，即得

ΔMSE（β1-k（K0））=E‖Xβ1-k（K0）-Xβ‖2

=E‖Zα1-k（K0）-Zα‖2

=α′（（Λ+K0）-1Λ-I）Λ（（Λ+K0）-1Λ-I）α+σ2tr（Λ-1（（Λ+K0）-1Λ-I）Λ（（Λ+K0）-1Λ-I））

=∑ti=1λiα2i+σ2（1+λi）2+∑pi=t+1（σ2+λiσ2i）k2i（λi+ki）2，

MSR（β（K））-MSR（β1-k（K0））

=∑ti=1（σ2+λiα2i）k2i（λi+ki）2-∑ti=1λiα2i+σ2（1+λi）2

=∑ti=1（σ2+λiα2i）[k2i（1+λi）2-（λi+ki）2]（λi+ki）2（1+λi）2

=∑ti=1（σ2+λiα2i）λ2i（k2i-1）（λi+ki）2（1+λi）2.

若想得到MSR（β（K））>MSR（β1-k（K0）），則需要k2i>1.

綜上所述，當(dāng)1

MSE（β（K0））

MSR（β）

當(dāng)ki>1λi+2時(shí)，

MSE（β（K））

MSR（β）

四、結(jié)束語

以上對(duì)廣義嶺估計(jì)參數(shù)的改進(jìn)是有效的，此時(shí)減小了廣義嶺估計(jì)過度膨脹的殘差平方和.廣義嶺估計(jì)在降低均方誤差的同時(shí)使得殘差平方和增大，對(duì)數(shù)據(jù)的擬合變壞.以上對(duì)廣義嶺估計(jì)的嘗試性改進(jìn)有其合理性，但是其使用范圍還是有限的.

【參考文獻(xiàn)】

[1]Hoerl A E，Kennard R W.Ridge Regression，Biased Estimation for Nonorthogonal Problems[J].Technometrics，1970（12）：55-67

[2]何秀麗.多元線性模型與嶺回歸分析[D].武漢：華中科技大學(xué)，2005.

[3]戴儉華，等.嶺估計(jì)優(yōu)于最小二乘估計(jì)的條件[J].數(shù)理統(tǒng)計(jì)與應(yīng)用概率，1994（2）：53-58.

[4]何良材.嶺回歸估計(jì)β^（k）的一個(gè)特性及其應(yīng)用[J].重慶大學(xué)學(xué)報(bào)，1990（13）：127-133.

[5]李兵.線性回歸模型參數(shù)有偏估計(jì)的進(jìn)一步探討[D].桂林：桂林電子科技大學(xué)，2007.