次成分提取信息準(zhǔn)則的加權(quán)規(guī)則方向收斂分析

杜柏陽(yáng)，孔祥玉，馮曉偉

（1.火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院，陜西 西安 710025；2.火箭軍工程大學(xué)核工程學(xué)院，陜西 西安 710025）

1 引言

在信息處理領(lǐng)域，次成分（MC,minor component）是指輸入信號(hào)的自相關(guān)矩陣中與最小特征值對(duì)應(yīng)的特征向量，次子空間（MS,minor subspace）是指由多個(gè)次成分張成的子空間。提取次成分和跟蹤次子空間的算法分別被稱(chēng)為次成分分析（MCA,MC analysis）算法和次子空間跟蹤（MSA,MS analysis）算法。MCA 算法和MSA 算法在總體最小二乘[1]、自適應(yīng)波達(dá)方向估計(jì)[2]、曲面擬合[3]、穩(wěn)健波束分析[4]等問(wèn)題中具有重要應(yīng)用。

傳統(tǒng)的代數(shù)次成分批處理法只能處理離線(xiàn)的、靜態(tài)的信號(hào)，且具有較高的計(jì)算復(fù)雜度。實(shí)際中的信號(hào)往往是在線(xiàn)獲取的動(dòng)態(tài)數(shù)據(jù)，因而傳統(tǒng)方法的應(yīng)用十分受限。相比而言，神經(jīng)網(wǎng)絡(luò)算法能夠處理的信號(hào)不受上述2 個(gè)條件的限制[5]，并且許多神經(jīng)網(wǎng)絡(luò)算法具有較小的計(jì)算復(fù)雜度。近年來(lái)，學(xué)者們提出了許多MSA 和MCA 的神經(jīng)網(wǎng)絡(luò)算法[5-7]。在這些算法中，M?ller[5]算法只能提取單個(gè)次成分，PAST（projection approximation subspace tracking）算法[8]、Ojam 算法[9]和Kong 等[2]所提的算法可以跟蹤輸入信號(hào)的次子空間，Jankovic 等[10]所提的算法和AMMD（adaptive multiple minor direction）算法[11]可以提取輸入信號(hào)的多個(gè)次成分。上述研究都是單獨(dú)針對(duì)MSA 或者M(jìn)CA 問(wèn)題開(kāi)展的，實(shí)際上，MSA 和MCA 算法之間存在一定關(guān)聯(lián)，在一定條件下可以相互轉(zhuǎn)換。例如，Jankovic 等[10]通過(guò)TOHM（time-oriented hierarchical method）轉(zhuǎn)化裝置實(shí)現(xiàn)了MSA 算法到MCA 并行算法的轉(zhuǎn)換，Thameri 等[12]則通過(guò)Givens 旋轉(zhuǎn)實(shí)現(xiàn)了MSA 算法到MCA 算法的轉(zhuǎn)變。這種通過(guò)轉(zhuǎn)化轉(zhuǎn)置實(shí)現(xiàn)算法轉(zhuǎn)化的方法具有結(jié)構(gòu)復(fù)雜、計(jì)算復(fù)雜度較高的缺點(diǎn)[13]。另一種行之有效的轉(zhuǎn)化方法是使用加權(quán)規(guī)則。然而，目前關(guān)于加權(quán)規(guī)則的研究還比較少。文獻(xiàn)[14]介紹了用于提取多個(gè)次成分的加權(quán)信息準(zhǔn)則。目前，對(duì)經(jīng)過(guò)加權(quán)的次成分分析算法的性能分析與傳統(tǒng)的單維次成分提取算法的性能分析大體相同，主要集中于算法的收斂性、自穩(wěn)定性等。而實(shí)際上，經(jīng)過(guò)加權(quán)的算法能夠?qū)崿F(xiàn)多個(gè)次成分同時(shí)提取，該性能是傳統(tǒng)單維次成分提取算法所不具備的，需要研究多個(gè)次成分在提取過(guò)程中的方向收斂問(wèn)題。目前，研究并行多個(gè)提取問(wèn)題的學(xué)者主要將興趣集中于算法的提出，極少有對(duì)方向收斂問(wèn)題開(kāi)展探討。那么，加權(quán)規(guī)則對(duì)于MSA 信息準(zhǔn)則轉(zhuǎn)變?yōu)镸CA 信息準(zhǔn)則的過(guò)程發(fā)揮了什么樣的作用，這樣的作用過(guò)程對(duì)于其他子空間提取信息準(zhǔn)則的轉(zhuǎn)變是否具有普適性？這個(gè)問(wèn)題的解答對(duì)靈活轉(zhuǎn)換各種先進(jìn)的成分提取算法，增加人們對(duì)提取算法本質(zhì)和多種性質(zhì)的理解具有十分重要的意義。

多個(gè)次成分可以張成一個(gè)次子空間，因而通常認(rèn)為多個(gè)次成分的提取算法是次子空間跟蹤算法的進(jìn)步。Toshihisa[15]通過(guò)研究多個(gè)次成分提取算法的廣義加權(quán)規(guī)則，指出廣義加權(quán)規(guī)則的參數(shù)對(duì)提取算法的收斂速度存在影響，即加權(quán)規(guī)則的參數(shù)變化會(huì)引起算法的性質(zhì)變化。當(dāng)參數(shù)的取值沿著實(shí)數(shù)軸負(fù)方向變化時(shí)，加權(quán)矩陣則逐漸近似為單位矩陣，算法的提取能力逐漸由多個(gè)次成分提取退化為次子空間跟蹤。

實(shí)際上，只有一部分次子空間提取算法在使用加權(quán)規(guī)則后可以轉(zhuǎn)化為多個(gè)次成分的提取算法。次子空間與次成分的偏離程度可以通過(guò)次子空間的組成向量與次成分之間的夾角表示。當(dāng)提取算法逐漸穩(wěn)定以后，次子空間跟蹤算法狀態(tài)矩陣的夾角是一個(gè)隨機(jī)值，而轉(zhuǎn)化為多個(gè)次成分提取算法狀態(tài)矩陣的夾角總是某個(gè)對(duì)角矩陣。這說(shuō)明加權(quán)規(guī)則的加入改變了該夾角的變化規(guī)則。本質(zhì)上，信息準(zhǔn)則函數(shù)在算法對(duì)信息的歸類(lèi)方式、算法提取信息的方式等方面存在隱性的規(guī)定，因而信息準(zhǔn)則對(duì)夾角的變化方式具有決定作用。因此，通過(guò)理論分析信息準(zhǔn)則對(duì)MSA 和MCA 算法狀態(tài)矩陣夾角的作用過(guò)程，能夠反映算法的一些本質(zhì)特性。

本文主要針對(duì)加權(quán)規(guī)則對(duì)次成分提取算法的信息準(zhǔn)則的作用進(jìn)行分析，以PAST 的次子空間跟蹤算法為例，通過(guò)構(gòu)建提取算法的動(dòng)力學(xué)表達(dá)，對(duì)比有加權(quán)規(guī)則和無(wú)加權(quán)規(guī)則下的次子空間跟蹤信息準(zhǔn)則，挖掘信息準(zhǔn)則對(duì)狀態(tài)矩陣與次成分的方向夾角的梯度差異。本文專(zhuān)門(mén)對(duì)一類(lèi)次成分分析算法的方向收斂性能進(jìn)行總結(jié)，并同時(shí)采用理論和仿真的方法對(duì)該性能開(kāi)展分析。

2 加權(quán)規(guī)則

Yang[8]在研究子空間跟蹤問(wèn)題時(shí)提出次子空間PAST 算法，該算法的信息準(zhǔn)則為

其中，W ∈Rn×r為算法的狀態(tài)矩陣，n 為輸入信號(hào)的維數(shù)，r 為需要提取的次成分個(gè)數(shù)，R=E[xxT]∈Rn×n為輸入信號(hào)x 的自相關(guān)矩陣，E[·]表示數(shù)學(xué)期望。假設(shè)R 是滿(mǎn)秩矩陣且特征值互不相同，那么，輸入信號(hào)有n 個(gè)特征向量 φi，i=0,1,…,n-1。當(dāng)存在一個(gè)向量 W=Wn，使信息準(zhǔn)則函數(shù)值 J1(W)取得最小值時(shí)，Wn就等價(jià)于信號(hào)的次子空間，也就是前r 個(gè)特征向量 φi張成的子空間。

PAST 信息準(zhǔn)則對(duì)應(yīng)的加權(quán)信息準(zhǔn)則（WPAST,weighted PAST）為

其中，D=diag(d1,d2,…,dr)∈Rr×r為一個(gè)對(duì)角矩陣，其作用是為狀態(tài)矩陣加權(quán)，其各元素降序排列。類(lèi)似于PAST 算法的信息準(zhǔn)則，當(dāng) W=Wn時(shí)，J2(W)取得最小值，此時(shí)Wn的各列向量恰好等于R 的前r 個(gè)特征向量 φi。顯然，當(dāng)加權(quán)矩陣等于單位陣時(shí)，WPAST 信息準(zhǔn)則退化為PAST 信息準(zhǔn)則。

以上2 個(gè)信息準(zhǔn)則求取相應(yīng)跟蹤提取算法是通過(guò)梯度下降法實(shí)現(xiàn)的，其基本的計(jì)算式為

其中，ΔW(k)為算法的搜索方向，文獻(xiàn)[15]指出，該方向?yàn)樾畔?zhǔn)則的梯度下降方向，即ΔW(k)=；W(k)為第k 步迭代中的狀態(tài)矩陣，其維度與式(1)中W 相同；η ∈(0,1)為次成分提取算法的學(xué)習(xí)因子。另外，有些算法采用可變步長(zhǎng)來(lái)加速算法的收斂過(guò)程，但是只要步長(zhǎng)設(shè)置合理就只影響算法的收斂速度而不影響其收斂行為。因此，為了簡(jiǎn)化算法分析過(guò)程，假設(shè)學(xué)習(xí)因子是固定長(zhǎng)度的。

式(1)信息準(zhǔn)則對(duì)W 的梯度為

根據(jù)牛頓梯度下降法，可得

進(jìn)而，可以得到PAST 算法的常微分方程形式為

文獻(xiàn)[8]的收斂性分析表明，該算法能夠有效地在線(xiàn)跟蹤信號(hào)的次子空間。定義狀態(tài)向量和實(shí)際次成分方向的偏轉(zhuǎn)矩陣為M1∈Rn×r，實(shí)際次成分組成的矩陣為P=[φ0,φ1,…,φn-1]。由于矩陣M1一定位于由P 張成的空間中，于是狀態(tài)矩陣W 可以改寫(xiě)為W=PM1，其中M1隨著W 變化。當(dāng)算法收斂后，M1的前r 行元素收斂為某個(gè)旋轉(zhuǎn)矩陣，后n-r行元素收斂為0。

同理，式(2)信息準(zhǔn)則經(jīng)過(guò)梯度下降法推導(dǎo)，可得WPAST 算法的常微分方程形式，如式(7)所示。

該算法能夠有效地在線(xiàn)并行提取多個(gè)次成分。類(lèi)似地，存在一個(gè)M2∈Rn×r，使W=PM2?？傮w而言，2 種算法的穩(wěn)定點(diǎn)PM1和PM2都包含信號(hào)的次成分，說(shuō)明這2 種算法都提取出信號(hào)中能量較小的部分信息。不同之處在于，M1的前r 行和前r 列是一個(gè)旋轉(zhuǎn)矩陣，這代表PAST 算法跟蹤的次子空間與信號(hào)的真實(shí)次成分方向存在偏角，而且這個(gè)偏角隨跟蹤過(guò)程的變化而變化。在WPAST算法提取多個(gè)次成分時(shí)，M2的前r 行和前r 列元素最終收斂到一個(gè)對(duì)角矩陣。這說(shuō)明與PAST算法相比，WPAST 算法因?yàn)榧訖?quán)而附加了角度變化的屬性，這個(gè)屬性決定了WPAST 算法具備多個(gè)次成分提取的能力，而PAST 算法則只能提取次子空間。本文通過(guò)分析M1和M2變化的差別，從微觀角度探究加權(quán)規(guī)則對(duì)算法的動(dòng)力學(xué)特性的影響。

3 次成分提取過(guò)程動(dòng)力學(xué)分析

不同維數(shù)提取過(guò)程有不同的角度數(shù)量。一維特征提取時(shí)，次子空間退化為次特征向量，此時(shí)2 種算法效果一致。二維特征提取時(shí)，旋轉(zhuǎn)矩陣包含一個(gè)旋轉(zhuǎn)角度。三維特征提取時(shí)，旋轉(zhuǎn)矩陣包含2 個(gè)角度。依次類(lèi)推，多維次成分分析算法提取r 維特征時(shí)，旋轉(zhuǎn)矩陣包含的角度數(shù)量為個(gè)。

需要說(shuō)明的是，因一維特征提取算法不具有旋轉(zhuǎn)角度信息，此時(shí)只需要考慮模值收斂性，此種情況已被確定離散時(shí)間（DDT,determinate discrete time）方法[16]廣泛分析。因此，本文僅針對(duì)二維及以上的信號(hào)特征進(jìn)行分析。下面從二維特征情況入手分析，并以二維特征為基礎(chǔ)，逐步分析高維特征提取過(guò)程。

定理1考慮二維旋轉(zhuǎn)矩陣M1只有一個(gè)旋轉(zhuǎn)角度，那么對(duì)信息準(zhǔn)則 J1(W)而言，其對(duì)該旋轉(zhuǎn)角度的二階導(dǎo)數(shù)為0。

證明已知二維旋轉(zhuǎn)矩陣只有一個(gè)旋轉(zhuǎn)角，假設(shè)M1的旋轉(zhuǎn)角度為θ，則M1可以表示為

此時(shí)，信息準(zhǔn)則式(1)則表示為

信息準(zhǔn)則對(duì)角度的梯度可以通過(guò)梯度下降法求得，如式(10)所示。

其中，有

因而可以得出

式(13)表明不存在某一點(diǎn)，使在該點(diǎn)處狀態(tài)向量與信號(hào)次成分方向的夾角最小。也就是說(shuō)，信息準(zhǔn)則 J1(W)不能確定狀態(tài)矩陣的各個(gè)向量與信號(hào)次成分方向的變化。

證畢。

信息準(zhǔn)則對(duì)角度的二階導(dǎo)數(shù)為0，說(shuō)明信息準(zhǔn)則沒(méi)有規(guī)定旋轉(zhuǎn)角度的變化方式。具體地，在信息準(zhǔn)則的任何一點(diǎn)上，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)以及其本身是不確定的。另外，從導(dǎo)數(shù)的角度理解定理1，則有在信息準(zhǔn)則式(1)的梯度算法下，提取出的次子空間與信號(hào)次成分的夾角和算法設(shè)置的狀態(tài)矩陣初值相關(guān)。實(shí)際上，加權(quán)規(guī)則能夠改變信息準(zhǔn)則的這個(gè)性質(zhì)。具體過(guò)程可以通過(guò)定理2 說(shuō)明。

定理2考慮二維旋轉(zhuǎn)矩陣M2只有一個(gè)旋轉(zhuǎn)角度，那么對(duì)信息準(zhǔn)則 J2(W)而言，其對(duì)該旋轉(zhuǎn)角度的二階導(dǎo)數(shù)不為0。

證明令M2的旋轉(zhuǎn)角度為θ，那么M2可以表示為

此時(shí)，信息準(zhǔn)則式(2)則表示為

同樣地，該信息準(zhǔn)則對(duì)角度的梯度也可通過(guò)梯度下降式求解，可得

其中，有

此時(shí)，可得

信息準(zhǔn)則 J2(W)對(duì)角度二階導(dǎo)數(shù)不為0，說(shuō)明信息準(zhǔn)則規(guī)定了旋轉(zhuǎn)角度的變化方式。具體地，在信息準(zhǔn)則的任何一點(diǎn)上，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)是確定的，而且在極小值點(diǎn)處，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)以及其本身都是確定的。

證畢。

以上分析是在n=2、r=2這一特殊情況下進(jìn)行的。為使結(jié)論更具有一般性，下面進(jìn)一步討論n＞2、r=2的情況。

推論1當(dāng)n＞2、r=2時(shí)，二維旋轉(zhuǎn)矩陣Mi，i=1,2各只有一個(gè)旋轉(zhuǎn)角度，信息準(zhǔn)則 J1(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)為0，而信息準(zhǔn)則 J2(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)不為0。

證明文獻(xiàn)[8]已經(jīng)證明，對(duì)于n＞2、r=2的情況下的 J1(W)和 J2(W)，對(duì)應(yīng)的梯度算法都能夠跟蹤次子空間。即W 的后n-r列元素總是逐漸變化為0。不妨認(rèn)為，當(dāng)?shù)螖?shù)大于某一個(gè)大數(shù)時(shí)，狀態(tài)矩陣可以表達(dá)為，i=1,2。問(wèn)題轉(zhuǎn)化為n=2、r=2的情況，此時(shí)結(jié)合定理1 和定理2 的結(jié)論可知，信息準(zhǔn)則 J1(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)為0，而信息準(zhǔn)則 J2(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)不為0。

分析推論1 的結(jié)論可知，只要提取二維特征向量，信息準(zhǔn)則 J1(W)對(duì)角度二階導(dǎo)數(shù)為0，即在J1(W)的任何一點(diǎn)上，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)以及其本身是不確定的。信息準(zhǔn)則 J2(W)對(duì)角度二階導(dǎo)數(shù)不為0，即在 J2(W)的任何一點(diǎn)上，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)是確定的，并且在極小值點(diǎn)處，狀態(tài)矩陣中各個(gè)向量與對(duì)應(yīng)次成分的夾角的導(dǎo)數(shù)以及其本身都是確定的。

在n=r、r＞2的情況下，主要考慮歐拉轉(zhuǎn)角描述所有的角度變化。假設(shè)第j 個(gè)相角變化為 θj，j=1,2,…,r，根據(jù)歐拉轉(zhuǎn)角規(guī)則，第j 個(gè)角是在第j-1個(gè)角的基礎(chǔ)上進(jìn)一步旋轉(zhuǎn)的。例如r=3時(shí)旋轉(zhuǎn)矩陣M*表示為

其中，M*1和M*2分別為

依次類(lèi)推，將1 放在不動(dòng)軸的位置，并且該元素所在行和列的其他元素均為0，不動(dòng)軸的數(shù)量為r-2，則旋轉(zhuǎn)次數(shù)為

推論2當(dāng)n=2、r ＞2 時(shí)，信息準(zhǔn)則 J1(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)為0，而對(duì)信息準(zhǔn)則 J2(W)對(duì)旋轉(zhuǎn)角度的二階導(dǎo)數(shù)不為0。

證明類(lèi)似于定理1 和定理2 的證明步驟，信息準(zhǔn)則式(1)表示為

不同的是此時(shí)的旋轉(zhuǎn)矩陣變?yōu)?/p>

同時(shí)，信息準(zhǔn)則對(duì)角度的梯度表達(dá)為多個(gè)計(jì)算式，如下所示。

由式(25)可得

顯然，對(duì)于未加權(quán)的信息準(zhǔn)則 J1(W)，對(duì)于任意θ 恒成立。類(lèi)似地，對(duì)加權(quán)信息準(zhǔn)則，有

其中，有

對(duì)于n ＞r、r＞2的情況，其基本思路同推論1，即通過(guò)分析一定條件下?tīng)顟B(tài)矩陣各個(gè)向量的長(zhǎng)度變化情況，最終轉(zhuǎn)化為n=r、r＞2的情況，并結(jié)合推論2 的結(jié)論實(shí)現(xiàn)對(duì)該情況的討論。

證畢。

通過(guò)上述定理和推論可知，加權(quán)規(guī)則對(duì)提取算法產(chǎn)生影響的本質(zhì)因素是加權(quán)矩陣改變信息準(zhǔn)則在方向上的梯度變化。這對(duì)研究的啟發(fā)是在考慮將次子空間提取算法改進(jìn)成并行提取算法時(shí)，其核心步驟是使算法在狀態(tài)矩陣與實(shí)際次成分的夾角方向上產(chǎn)生梯度。

4 數(shù)值分析與仿真校驗(yàn)

為直觀展示加權(quán)算法的方向收斂屬性，本文通過(guò)2 組數(shù)值算例對(duì)比 J1(W)和 J2(W)這2 種信息準(zhǔn)則的方向收斂性能。實(shí)驗(yàn)中，輸入信號(hào)的真實(shí)次成分P=[φ0,φ1,…,φn-1]是通過(guò)離線(xiàn)的特征值分解方法計(jì)算得到的。

4.1 2 個(gè)次成分提取算例

該算例展示2 種信息準(zhǔn)則對(duì)狀態(tài)矩陣各個(gè)向量與信號(hào)次成分方向提取的不同表現(xiàn)。加權(quán)矩陣規(guī)定為D=diag(1,2)。令θ 表示狀態(tài)矩陣的單個(gè)向量與對(duì)應(yīng)次成分方向的夾角，設(shè)置θ 的變化區(qū)間為(0,2π]，實(shí)驗(yàn)中均勻提取了10 000 個(gè)點(diǎn)，點(diǎn)間最小間距為。通過(guò)θ 可以表示旋轉(zhuǎn)矩陣，通過(guò)M*可以表示狀態(tài)向量W=PM*，狀態(tài)向量在第一次成分方向的投影為X，在第二次成分方向的投影為Y，又根據(jù)式(1)和式(2)可以分別表示 J1和 J2，仿真結(jié)果分別如圖1～圖4 所示。

圖1 PAST 信息準(zhǔn)則和WPAST 信息準(zhǔn)則在θ 變化情況下的數(shù)值變化

圖2 PAST 信息準(zhǔn)則和WPAST 信息準(zhǔn)則在處的投影

圖3 PAST 信息準(zhǔn)則在θ 變化情況下的數(shù)值變化

圖4 WPAST 信息準(zhǔn)則在θ 變化情況下的數(shù)值變化

圖1 中，外側(cè)的曲面圓錐為PAST 信息準(zhǔn)則函數(shù)值變化情況，內(nèi)側(cè)的曲面圓錐為WPAST 信息準(zhǔn)則函數(shù)值變化情況。首先，函數(shù)值會(huì)隨著狀態(tài)矩陣中向量模值的變化而變化，為清晰地表征這個(gè)特點(diǎn)，該算例在某一個(gè)固定的角度投影2 個(gè)信息準(zhǔn)則函數(shù)，如圖2 所示，這說(shuō)明信息準(zhǔn)則函數(shù)能夠提取信號(hào)的次成分信息。其次，2 個(gè)曲面變化都具有對(duì)稱(chēng)性。其中，內(nèi)側(cè)的曲面圓錐是隨著θ 周期對(duì)稱(chēng)的，這印證了定理2 的結(jié)論，而外側(cè)的曲面圓錐是處處對(duì)稱(chēng)的。

另外，2 個(gè)曲面的變化也存在差別。首先，觀察向量模長(zhǎng)固定，θ 在區(qū)間(0,2π]變化時(shí)，2 個(gè)函數(shù)的變化情況。由圖1 中外側(cè)的曲面圓錐可知，在θ 變化的情況下，PAST 信息準(zhǔn)則函數(shù)值沒(méi)有變化。為了直觀展示，在圖1 中做狀態(tài)矩陣模長(zhǎng)為1.5、θ在區(qū)間(0,2π]上的圓柱面，將圓柱面與函數(shù)曲面圓錐的交線(xiàn)向底面投影并展開(kāi)，展開(kāi)的結(jié)果如圖3 所示。由圖1 中內(nèi)側(cè)的曲面圓錐可知，WPAST 信息準(zhǔn)則函數(shù)值在θ 變化的情況下，呈現(xiàn)三角函數(shù)的變化形態(tài)。為了直觀展示，采用與外側(cè)圓錐曲面相同的步驟得到投影的展開(kāi)結(jié)果，并展示在圖4 中。其次，觀察θ 值一定時(shí)2 個(gè)函數(shù)沿著模值長(zhǎng)度的變化情況。如圖2 所示，WPAST 函數(shù)的斜率絕對(duì)值明顯大于PAST 函數(shù)的斜率絕對(duì)值。

上述實(shí)驗(yàn)分析表明，在提取2 個(gè)次成分方向的情況下，PAST 信息準(zhǔn)則不能確定狀態(tài)矩陣各向量與對(duì)應(yīng)次成分的方向關(guān)系，而WPAST 信息準(zhǔn)則能夠確定狀態(tài)矩陣各向量與對(duì)應(yīng)次成分的方向關(guān)系。這驗(yàn)證了定理1 和定理2 對(duì)PAST 和WPAST 信息準(zhǔn)則的理論分析結(jié)果。

4.2 多個(gè)次成分提取算例

多個(gè)次成分的信息準(zhǔn)則對(duì)應(yīng)的坐標(biāo)系超過(guò)三維，不容易直觀表示，因此該算例主要通過(guò)PAST和WPAST 信息準(zhǔn)則的提取算法在實(shí)際提取過(guò)程中的角度變化來(lái)展示加權(quán)規(guī)則對(duì)信息準(zhǔn)則的角度關(guān)系的確定作用。假設(shè)提取狀態(tài)矩陣的維數(shù)為4，加權(quán)矩陣為D=diag(1,2,3,4)，狀態(tài)矩陣各個(gè)向量與對(duì)應(yīng)次成分的夾角分別為 θ1、θ2、θ3、θ4，狀態(tài)矩陣的各向量與對(duì)應(yīng)次成分的方向余弦為

其中，ui表示輸入信號(hào)的次成分，可通過(guò)特征值分解方法提前計(jì)算出來(lái)，wi(k),i∈{1,2,3,4}表示算法在提取過(guò)程中的狀態(tài)矩陣的單個(gè)向量，k 表示提取過(guò)程中的迭代次數(shù)，T 表示轉(zhuǎn)置運(yùn)算，表示求范數(shù)運(yùn)算。

夾角的計(jì)算式為

需要說(shuō)明的是，此處將方向余弦和方向夾角都作為實(shí)驗(yàn)結(jié)果展示。PAST 算法的結(jié)果分別如圖5和圖6 所示，WPAST 算法的結(jié)果分別如圖7 和圖8 所示。

圖5 PAST 算法的狀態(tài)矩陣各向量與對(duì)應(yīng)次成分夾角θ 變化情況

圖6 PAST 算法的狀態(tài)矩陣各向量與對(duì)應(yīng)次成分方向余弦變化情況

圖7 WPAST 算法的狀態(tài)矩陣各向量與對(duì)應(yīng)次成分夾角θ 變化情況

如圖5 所示，橫坐標(biāo)為迭代次數(shù)，按照10 的指數(shù)變化，縱坐標(biāo)為方向夾角數(shù)值，其弧度值在區(qū)間內(nèi)變化。PAST 算法的4 個(gè)方向夾角在經(jīng)過(guò)振蕩過(guò)程后，均呈現(xiàn)穩(wěn)定狀態(tài)。但是，穩(wěn)定的常數(shù)各不相同。該特點(diǎn)在圖6 中也有體現(xiàn)，方向余弦經(jīng)過(guò)一段振蕩過(guò)程，都穩(wěn)定在一定的數(shù)值上。相比PAST 算法，WPAST 算法的方向夾角收斂過(guò)程比較長(zhǎng)，且最終都穩(wěn)定在0 附近。如圖7 所示，4 個(gè)方向夾角最后都以不同的形式收斂到0 附近，這說(shuō)明WPAST 算法狀態(tài)矩陣的4 個(gè)向量最后都收斂到對(duì)應(yīng)次成分的方向。圖8展示的方向余弦也印證了WPAST算法的方向收斂性。在35 ×10次迭代后，狀態(tài)矩陣各向量的方向余弦都接近1。需要說(shuō)明的是，由于三角函數(shù)的非線(xiàn)性，在圖7 中接近510 處的方向夾角振蕩較劇烈，且都在區(qū)間內(nèi)，圖8 中對(duì)應(yīng)的方向余弦都在區(qū)間(0.95,1.00)內(nèi)振蕩，振蕩范圍非常小。

圖8 WPAST 算法的狀態(tài)矩陣各向量與對(duì)應(yīng)次成分方向余弦變化情況

5 結(jié)束語(yǔ)

本文通過(guò)分析PAST 信息準(zhǔn)則和WPAST 信息準(zhǔn)則的差異，從二維到多維逐步推導(dǎo)出加權(quán)規(guī)則能夠改變狀態(tài)矩陣和信號(hào)次成分的旋轉(zhuǎn)矩陣梯度的結(jié)論。一方面，從理論上解釋了加權(quán)規(guī)則對(duì)信息準(zhǔn)則的作用規(guī)律，提高人們?cè)谛畔?zhǔn)則層次認(rèn)識(shí)影響算法性能的因素；另一方面，對(duì)于不能通過(guò)加權(quán)規(guī)則轉(zhuǎn)化為多個(gè)次成分提取算法的次子空間跟蹤算法，研究成果為推進(jìn)未來(lái)并行提取多個(gè)次成分分析算法發(fā)展提供了研究思路和改進(jìn)方向。