中心K階中心矩子空間的迭代海塞變換估計

甘勝進　游文杰

摘 要 提出中心K階條件矩降維子空間，指出與中心K階中心矩子空間的關系，并給出迭代的海塞變換估計，該方法僅僅需要線性條件，綜合了最小二乘和海塞主方向方法.

關鍵詞 降維；CKCMS；OLS；PHD；迭代海塞變換

中圖分類號 O213文獻標識碼 A文章編號 10002537（2016）02009005

Iterative Hessian Transformation Estimation of

Central Kth Conditional Moment Subspace

GAN Shengjin*， YOU Wenjie

（School of Electronical and Information Engineering， Fuqing Branch of Fujian Normal University， Fuqing 350300， China）

Abstract This paper defines the central Kth moment subspace， and has derived its relationship with CKCMS. In addition， iterative Hessian transformation estimation has been proposed， which is a combination of ordinary least square estimation and principal Hessian directions applied only to the linear condition.

Key words dimension reduction； CKCMS； OLS； PHD； IHT

在高維空間中進行統(tǒng)計建模，往往會碰到“維數(shù)災難”（curse of dimensionality）問題，因此降維作為建模之前的數(shù)據(jù)預處理階段，顯得十分重要.常見的降維方法有主成分回歸分析、偏最小二乘回歸和投影尋蹤等，主成分回歸僅僅考慮了自變量之間的相關信息，忽略了與因變量之間的關系，而偏最小二乘雖然同時考慮自變量與因變量之間相關關系，但是僅僅局限于線性關系，沒有考慮非線性關系，另外投影尋蹤需要估計連接函數(shù)，超出數(shù)據(jù)預處理的范圍.

對于一維響應變量Y和p維解釋變量X=（X1，X2，…，Xp），考慮它們之間的回歸問題本質上是討論在X給定條件下，Y的條件分布FY|X如何隨X變化.Li（1991）[1]提出切片逆回歸（sliced inverse regression，簡稱SIR），即如果存在p×k（k

則FY|X（y|x）=FY|ηTX（y|ηTx），Y對X條件分布是k維的，如果k遠小于p，就達到了降維的目的，特別地，當k=1或2時，便可從可視化角度來分析Y與X之間的回歸關系，由于Y‖X|ηTXY‖X|（ηB）TX，其中B為k階可逆方陣，η與ηB所形成的子空間一樣，所以關心的是span{η}，而不是η本身，并稱span{η}為降維子空間.如果滿足（1）的所有η的交集仍然滿足（1），則稱之為中心降維子空間（central dimension reduction subspace，簡稱CS），記為SY|X，rank（SY|X）稱為結構維數(shù).一般來說，在很弱條件下CS總是存在的.有時候感興趣的是E（Y|X），Cook和Li（2002）[2]提出中心均值子空間，即：

類似CS，若所有滿足（2）的集合的交集仍然滿足（2），稱之為中心均值降維子空間（central mean dimension reduction subspace，簡稱CMS），記為SE（Y|X）.估計降維子空間[34]的條件通常為：

（1）線性條件：E（X|ηTX）為ηTX線性函數(shù)，即E（X|ηTX）=PηX，η∈Rp，其中投影陣Pη=η（ηTη）-1ηT.

（2）常數(shù)方差 ：Var（X|ηTX）為非隨機矩陣.

滿足線性條件一般要求X是橢圓分布，滿足常數(shù)方差條件的是多元正態(tài)分布.本文分三個部分，第二部分提出中心K階條件矩降維子空間定義，并指出與中心K階中心矩子空間的關系，第三部分為利用Cook和Li[5]（2004）提出的迭代海塞變換方法來估計中心K階條件矩子空間，最后部分給出實例模擬.

1 中心K階條件矩子空間

Yin和Cook（2002）[6]提出中心K階中心矩子空間定義：

Y‖{M（1）（Y|X），…，M（k）（Y|X）}|ηTX， （3）

其中Mk（Y|X）=E[{Y-E（Y|X）}k|X]，k≥2，M（1）（Y|X）=E（Y|X），所有滿足（3）的集合的交集若仍然滿足（3），稱之為中心K階中心矩子空間（central kth conditional moment subspace，簡稱CKCMS），記為SY|X （k），顯然當k=1時，S

式（5）雖然條件弱，但是沒有估計出CKCMS中更多的方向，式（6）相對于（5）似乎得到更多估計方向，但是需要條件較為苛刻.本節(jié)提出一種新的估計方法，只需要在線性條件下，以最小二乘為種子向量，最小二乘與高階海塞矩陣[811]不斷結合產(chǎn)生新的方向，其理論依據(jù)如下.

從表1可以看出：維數(shù)相同情況下，迭代海塞變換估計方向與真實方向接近程度的均值越來越大，標準差越來越小，表明樣本容量越大，估計的效果越好，說明估計具有相合性；樣本容量相同情況下，維數(shù)越高，均值越小，而標準差變化不大，表明維數(shù)越高，該方法估計的效果越差，但穩(wěn)定性較好.因此迭代海塞變換收斂速度依賴樣本容量和解釋變量的維數(shù).圖1和圖2為100次重復下，維數(shù)p=8，樣本容量分別為300和500時，迭代海塞變換估計與現(xiàn)常見方法如切片逆回歸（切片數(shù)量為10）、最小二乘相比較.

通過比較發(fā)現(xiàn)：最小二乘估計非常穩(wěn)定，但是估計的效果遠遠不及前兩者，當樣本容量變大時，與其他兩種方法估計效果的差距越來越大，一個很重要的原因是最小二乘只能估計降維子空間中的一個方向；切片逆回歸性能對切片數(shù)量較為敏感，如何選擇切片數(shù)量至今是個公開的難題，并且當回歸函數(shù)是偶函數(shù)時，該方法失效；相比之下迭代海塞變換隨著樣本容量增大在估計效果與穩(wěn)定性方面越來越好.

致謝 感謝審稿人的細致和編輯提出的有益建議！

參考文獻：

[1] LI K C. Sliced inverse regression for dimension reduction[J]. J Am Stat Assoc，1991，86（414）：316327.

[2] COOK R D， LI B. Dimension reduction for conditional mean in regression[J].Ann Stat， 2002，30（2）：455474.

[3] COOK R D， LI L X. Dimension reduction in regressions with exponential family predictors[J].J Comput Graph Stat， 2009，18（3）.

[4] PENG Z， YU Z. An integral transform method for estimating the central mean and central subspaces[J]. J Multiv Anal， 2010，101：271290.

[5] COOK R D， LI B. Determing the dimension of iterative Hessian transformation[J]. Ann Stat，2004，32（6）：25012531.

[6] YIN X R， COOK R D. Dimension reduction for the conditional kth moment in regression[J].J Statist Soc B， 2002，64：159175.

[7] YIN X Y， COOK R D. Dimension reduction via marginal high moments in regression[J].Stat Prob Lett， 2006，76：393400.

[8] LI K C. On principal hessian directions for data visualization and dimension reduction ：another application of steins lemma[J].J Am Stat Assoc，1992，87：420.

[9] COOK R D. Principal hessian directions revisited[J]. J Am Stat Assoc， 1998，93：441.

[10] LUE H H. On principal Hessian directions for multivariate response regressions[J]. Comput Stat， 2010，25：619632.

[11] ZHOU Y， DONG Y X， FANG Y. Marginal coordinate tests for central mean subspace with principal Hessian directions[J]. Chin J Appl Proba Stat，2010，26（5）.

[12] ZHU L P， ZHU L X， WEN S Q. On dimension reduction in regression with multivariate responses[J]. Stat Sin， 2010，20：12911307.

[13] RAPHAEL C， STEPHANE G， JEROME S. A new sliced inverse regression method for multivariate response[J]. Comput Stat Data Anal，2014，77：285299.

（編輯 HWJ）