線性模型的模型選擇與模型平均

胡國治

(合肥師范學院 數學與統(tǒng)計學院，安徽 合肥 230601)

?

線性模型的模型選擇與模型平均

胡國治

(合肥師范學院 數學與統(tǒng)計學院，安徽 合肥 230601)

本文在線性模型下討論了興趣參數的模型選擇與模型平均問題。首先利用最小二乘方法估計子模型下回歸系數，進而推導回歸系數和興趣參數估計量的漸近分布，然后得出興趣參數估計量的均方誤差無偏估計量，構造出興趣模型選擇準則，最后通過比較各子模型的興趣信息準則值選出最優(yōu)模型。

興趣信息準則；模型選擇；模型平均；線性模型

1 引言

統(tǒng)計學是一門收集數據、分析數據、解釋數據的科學。利用收集到的數據進行統(tǒng)計建模，選擇出最優(yōu)模型是統(tǒng)計學研究的熱門課題之一。自二十世紀七十年代以來，統(tǒng)計學家們提出了一系列模型選擇的準則，如AIC準則[1]、BIC準則[2]、CP準則[3]等。這些模型選擇的準則都是在全局擬合的情況下，選擇出最優(yōu)模型，并利用這些模型進行參數估計、假設檢驗等。

2003年，Claeskens等[4]從一些興趣參數著手，從均方誤差(MSE)角度，通過構造興趣參數估計量MSE的無偏估計，提出了興趣信息準則(FIC)。近年來，越來越多的統(tǒng)計學者對這種模型選擇準則進行了深入研究。Du等[5]研究了分位數建模下興趣信息準則選擇最優(yōu)模型的方法。

在日常分析中，收集到了相關數據后，需要利用模型進行擬合，除非此模型是真實模型，否則利用任何模型進行擬合時均存在誤差。而模型選擇僅通過選擇準則選擇出一個最優(yōu)模型，如果此模型失真，統(tǒng)計推斷的結果就不可信。同時，如果數據發(fā)生了細小的變化，模型選擇的結果就可能發(fā)生巨大差異，這突出反映出模型選擇的不穩(wěn)健性。為了克服這些弊端，模型平均方法應運而生，即對不同模型下的估計量進行加權平均，使估計量更加穩(wěn)健。

迄今為止，模型平均已經成為統(tǒng)計學的前沿問題，每年的統(tǒng)計學和經濟學頂級期刊均發(fā)表較多此方面文章?，F在模型選擇的主要領域集中于兩個方面，一是估計量加權平均中權數的選擇問題，另一是加權平均估計量的漸近性質研究，如果有了這些漸近性質，就可以構造出置信區(qū)間，進行統(tǒng)計檢驗和相關預測。

本文主要針對線性模型，構造出興趣模型選擇準則及模型平均方法，并給出估計量的漸近性質。

2 模型結構與估計過程

本文主要研究線性回歸模型：

(1)

對于第S個子模型的系數可以通過如下最小二乘方法進行估計：

則

(2)

3 興趣模型選擇準則和模型平均

定理1 在條件1下，有：

證明：

+oP(1)，由上式可得：

通過簡單的矩陣運算，定理1得證。

定理2 在條件1下，有：

通過定理2可以構造μβ的均方誤差

上式中，因為δ是未知的，因此無法直接求出結果，但可以給出δ的估計及分布：

則借助MSE可以構造出興趣模型選擇準則：

(3)

對于不同的候選模型，可以計算出每個模型的FIC，選取FIC值最小的即為最優(yōu)模型。

依據上述FIC值，可以定義模型平均估計量：

(4)

其中，權重函數：

4 結論

本文利用S子模型表征線性模型下備選模型的統(tǒng)計結構，線性模型系數估計較為簡單，得出了系數估計量的漸近性質，進而得到了特定興趣參數估計量的分布，構造出興趣參數估計量的均方誤差。利用最小均方誤差原則構造了興趣模型選擇方法，并得出模型平均估計量。

[1] Akaike.H.Maximum likelihood identify-cation of Gaussian autoregressive moving average models. Biometrika[J] .22(1973):203-217.

[2] Schwarz.G. Estimating the dimension of a model. Annals of Statistics[J].6(1978):461-464.

[3] Mallows.C.L. Some comments on Cp. Technometrics[J]. 15(1973): 661-675.

[4] Claeskens.G. and Hjort.N. L. The focused information criterion.Journal of the Ameri-canStatistical Association[J].98(2003): 900-916.

[5] Du.J,Zhang.Z.Z and Xie.T.F. Model averaging in quantile regression. Comm Statist Theory Methods[J]. 42(2013):3716-3734.

2016-12-10

胡國治(1988-)，男，安徽桐城人，碩士，助教，研究方向：應用統(tǒng)計。

O175.8

A

1674-2273(2017)03-0009-03