廣義余弦二維主成分分析

王肖鋒 陸程昊 酈金祥 劉軍

伴隨人工智能與模式識(shí)別的迅猛發(fā)展,從海量 高維數(shù)據(jù)中提取能夠有效表征事物或現(xiàn)象本質(zhì)屬性的特征是一件十分有意義的工作.主成分分析(Principal component analysis,PCA)[1]是一種常見(jiàn)的特征提取與數(shù)據(jù)降維方法,其目標(biāo)是利用一組新的正交基向量去描述原始高維數(shù)據(jù),且滿足在投影后的子空間中數(shù)據(jù)方差最大,從而使得由投影方向構(gòu)成的低維特征空間能夠較好體現(xiàn)原高維數(shù)據(jù)的空間結(jié)構(gòu)信息.隨后,針對(duì)二維圖像矩陣的特征提取,相繼提出了二維主成分分析(Two-dimensional PCA,2DPCA)[2]、雙向二維主成分分析(Two-directional 2DPCA,(2D)2PCA)[3]、行列順序二維主成分分析(Sequential row-column 2DPCA,RC-2DPCA)[4]和對(duì)角線主成分分析(Diagonal PCA,Diagonal-PCA)[5].RC2DPCA 和(2D)2PCA 分別在行列兩個(gè)方向上實(shí)現(xiàn)了數(shù)據(jù)降維,而Diagonal-PCA 在對(duì)角線上進(jìn)一步保留了數(shù)據(jù)行列間的相關(guān)性.近年來(lái),相關(guān)PCA 研究已在人臉識(shí)別[6]、語(yǔ)音識(shí)別[7]、字符識(shí)別[8]及姿勢(shì)識(shí)別[9]等眾多領(lǐng)域得到廣泛應(yīng)用.

上述提及的PCA 方法均采用歐氏距離的平方作為目標(biāo)函數(shù)的距離度量方式,對(duì)噪聲、離群數(shù)據(jù)或其他擾動(dòng)較為敏感,重構(gòu)誤差很大,使得實(shí)際投影方向偏離了真實(shí)的投影方向,進(jìn)而影響到算法的魯棒性.針對(duì)魯棒特征提取研究,主要有兩個(gè)思路:1)將高維數(shù)據(jù)P∈Rh×w分解成低秩結(jié)構(gòu)矩陣A和含噪稀疏矩陣E,考慮到優(yōu)化模型的凸松弛問(wèn)題,得到優(yōu)化模型 m in‖A‖*+λ‖E‖1s.t.P=A+E,其各種求解算法均需進(jìn)行奇異值分解,計(jì)算復(fù)雜度高.在處理海量高維數(shù)據(jù)時(shí),其求解算法容易受到復(fù)雜度的制約[10-12];2)沿用PCA 投影方差最大的思路,在其目標(biāo)函數(shù)中采用其他范數(shù)代替歐氏距離的平方進(jìn)行距離度量,使得算法具有魯棒性.

L1范數(shù)被認(rèn)為是基于投影距離進(jìn)行魯棒降維的最有效手段[13-14].Kwak[15]提出了基于L1 范數(shù)的PCA-L1方法,試圖在投影子空間中尋求基于L1范數(shù)的最大投影距離,并采用了貪婪迭代求解算法,相較于歐氏距離平方的度量方式,該方法具有較強(qiáng)的魯棒性.Nie等[16]提出了基于PCA-L1的非貪婪迭代求解算法,且滿足基于L1范數(shù)的目標(biāo)函數(shù)最優(yōu).針對(duì)L1范數(shù)在不同數(shù)據(jù)結(jié)構(gòu)相關(guān)信息進(jìn)行正則化時(shí)所遇到的穩(wěn)定性問(wèn)題,Lu等[17]提出了基于L1范數(shù)的自適應(yīng)正則化的PCA-L1/AR 方法,同時(shí)考慮了魯棒性及數(shù)據(jù)的相關(guān)性.Wang[18]和Li等[19]針對(duì)塊主成分分析(Block PCA,BPCA)分別提出了基于L1范數(shù)的BPCA-L1方法的貪婪求解和非貪婪求解算法.為了更有效表征數(shù)據(jù)空間結(jié)構(gòu),如同將PCA 擴(kuò)展到2DPCA[2]一樣,Li等[20]和Wang等[21]則將PCA-L1延伸到2DPCA-L1,分別提出了2DPCAL1的貪婪求解和非貪婪求解算法.Wang等[22]結(jié)合2DPCA-L1的魯棒性和稀疏誘導(dǎo)回歸模型,提出了具有稀疏約束的2DPCA-L1-S 方法.Pang等[23]和Zhao等[24]則進(jìn)一步將PCA-L1推廣到基于L1范數(shù)的魯棒張量子空間學(xué)習(xí).考慮到L1范數(shù)和L2范數(shù)均為L(zhǎng)p范數(shù)的特例,相繼提出了PCA-Lp[25]、LpSPCA[26]和G2DPCA-Lp[27].所有的上述魯棒降維方法均尋求在不同范數(shù)下樣本投影距離最大的目標(biāo)優(yōu)化問(wèn)題,但其原始圖像與重構(gòu)圖像之間的重構(gòu)誤差并未優(yōu)化,且失去了PCA 和2DPCA 原歐氏距離平方中L2范數(shù)的旋轉(zhuǎn)方差屬性.

為了更有效獲得旋轉(zhuǎn)方差屬性,Li等[28]則用F范數(shù)替代2DPCA的平方 F 范數(shù),作為距離度量方式構(gòu)建目標(biāo)函數(shù).與現(xiàn)有2DPCA-L1相比,基于F范數(shù)的2DPCA 不僅對(duì)離群數(shù)據(jù)具有較強(qiáng)的魯棒性,還能很好揭示其旋轉(zhuǎn)不變性的幾何結(jié)構(gòu).Wang等[29]提出了 F 范數(shù)最小化的最優(yōu)均值2DPCA(OMF-2DPCA),空間屬性維度的距離采用 F 范數(shù)度量,而不同數(shù)據(jù)點(diǎn)求和則采用L1范數(shù)度量.上述方法利用F范數(shù)度量重構(gòu)誤差[29]或者子空間下投影距離[28],其重構(gòu)誤差最小并不等效于投影距離最大,因此,需考慮同時(shí)將重構(gòu)誤差與數(shù)據(jù)投影距離兩者集成到目標(biāo)函數(shù)中.為此,Gao等[30]提出了Angle-2DPCA方法,采用 F 范數(shù)作為目標(biāo)函數(shù)的距離度量方式,通過(guò)最小化重構(gòu)誤差與投影距離的比率獲得最優(yōu)的投影矩陣,實(shí)現(xiàn)了在投影距離最大的基礎(chǔ)上使其重構(gòu)誤差盡可能小.但Angle-2DPCA 直接針對(duì)數(shù)據(jù)矩陣進(jìn)行降維,忽略了矩陣行列之間的異常信息,其魯棒性受到了一定程度的限制.

本文借鑒前人研究成果,提出一種基于廣義余弦模型的二維主成分分析,并給出其迭代貪婪的求解算法.本文結(jié)構(gòu)如下:第1 節(jié)對(duì)相關(guān)目標(biāo)函數(shù)的優(yōu)化問(wèn)題進(jìn)行分析,給出了廣義余弦模型的目標(biāo)函數(shù);第2 節(jié)提出GC2DPCA的求解算法并進(jìn)行理論分析;第3 節(jié)在人工數(shù)據(jù)集及Yale、ORL 及FERET人臉數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并加以分析;第4 節(jié)進(jìn)行總結(jié).

1 問(wèn)題提出

1.1 相關(guān)目標(biāo)函數(shù)的優(yōu)化問(wèn)題

相較于2DPCA,Angle-2DPCA 不僅減弱了遠(yuǎn)距離離群點(diǎn)的影響,而且在優(yōu)化投影距離最大的基礎(chǔ)上兼顧了重構(gòu)誤差的影響.

從前述分析可知,范數(shù)的距離度量方式和目標(biāo)函數(shù)均影響到各個(gè)算法的魯棒性.從距離度量方式考慮,L2范數(shù)的相關(guān)算法尋求數(shù)據(jù)投影方差最大的優(yōu)化目標(biāo),容易放大離群點(diǎn)的作用,導(dǎo)致求得的PC失真,魯棒性較差.L1范數(shù)對(duì)數(shù)據(jù)投影的絕對(duì)值進(jìn)行優(yōu)化,相比于L2范數(shù)的投影方差,降低了對(duì)離群點(diǎn)的敏感性. F 范數(shù)因存在不等式相關(guān)算法[28-29]將重構(gòu)誤差作為目標(biāo)函數(shù)的優(yōu)化問(wèn)題,但并未考慮投影距離最大化,反之也亦然.從目標(biāo)函數(shù)的兩個(gè)方面考慮,基于 F 范數(shù)的Angle-2DPCA 算法[30]將重構(gòu)誤差與投影距離的比率作為目標(biāo)函數(shù),有利于解決兩個(gè)目標(biāo)的優(yōu)化問(wèn)題.但從數(shù)據(jù)投影角度考慮,進(jìn)一步分析目標(biāo)函數(shù)(8),優(yōu)化重構(gòu)誤差與投影距離的比率實(shí)質(zhì)上是一個(gè)正切模型.其目標(biāo)函數(shù)中的分子與分母均置于 F 范數(shù)度量下,且均受到同一投影矩陣V的制約.因此,Angle-2DPCA的重構(gòu)誤差與投影距離很難實(shí)現(xiàn)同時(shí)優(yōu)化.

1.2 廣義余弦模型

傳統(tǒng)L2范數(shù)的平方會(huì)放大離群數(shù)據(jù)的主導(dǎo)作用,其魯棒性較差;L1范數(shù)雖能降低離群數(shù)據(jù)的敏感性,但無(wú)法有效控制數(shù)據(jù)投影后的重構(gòu)誤差.此外,Angle-2DPCA 直接針對(duì)數(shù)據(jù)矩陣進(jìn)行魯棒降維,不利于抑制數(shù)據(jù)矩陣行列之間的異常值,算法的魯棒性受到一定限制.鑒于這些問(wèn)題,受Angle-2DPCA[30]的目標(biāo)函數(shù)啟發(fā),本文構(gòu)造一個(gè)基于廣義余弦模型的目標(biāo)函數(shù),在滿足數(shù)據(jù)投影距離最大的基礎(chǔ)上使得其重構(gòu)誤差較小.

假設(shè)零均值化后矩陣樣本集為P,則基于余弦模型的目標(biāo)函數(shù)定義為

其中,v∈Rw×1表示V中前k個(gè)PC 中任意一個(gè),θij表示第i個(gè)樣本的第j行Pij與v的夾角,|Pijv|為數(shù)據(jù)的投影距離,也可寫為‖Pijv‖2.

為了調(diào)整行向量Pij的距離度量方式,將式(9)推廣延伸得到廣義余弦模型為

化簡(jiǎn)式(10),可得

廣義余弦模型與Angle-2DPCA的目標(biāo)函數(shù)形式一樣,均為比值形式.Angle-2DPCA的重構(gòu)誤差與投影距離中均呈現(xiàn)同一投影矩陣V.在 F 范數(shù)的距離度量方式下,其重構(gòu)誤差與投影距離相互受到牽制.因此,Angle-2DPCA 最終無(wú)法真正實(shí)現(xiàn)投影距離最大與重構(gòu)誤差較小的雙目標(biāo)優(yōu)化.而廣義余弦模型僅在投影距離中呈現(xiàn)投影向量v,其重構(gòu)誤差最小與投影距離最大的目標(biāo)優(yōu)化能力得以加強(qiáng).其次,從帶權(quán)重lij的數(shù)據(jù)優(yōu)化問(wèn)題考慮,若Pij是離群數(shù)據(jù),則會(huì)較大,權(quán)重系數(shù)lij會(huì)相當(dāng)小.因此,其提取的PC也就更逼近真實(shí)PC,離群數(shù)據(jù)得到抑制.此外,從受離群數(shù)據(jù)干擾的百分比R考慮,RGC2DPCA≤RAngle-2DPCA,廣義余弦模型采用行向量的優(yōu)化方式可以減少受污染樣本干擾的百分比,其魯棒性也能得以進(jìn)一步增強(qiáng).

圖1 廣義余弦模型Fig.1 Generalized cosine model

2 GC2DPCA 算法

對(duì)于該問(wèn)題求解,采用迭代貪婪算法實(shí)現(xiàn).

2.1 第一個(gè)主成分求解算法

針對(duì)投影矩陣V中的第一個(gè)主成分v1的目標(biāo)函數(shù)式表示為

其中,t為迭代步數(shù).

將式(15)代入式(14),可得

為了使得目標(biāo)函數(shù)(13)最優(yōu),其迭代求解算法如下:

算法 1.GC2DPCA 第一個(gè)主成分求解算法

2.2 其余主成分求解算法

求解其余主成分依然利用貪婪求解算法,為了保證投影矩陣中的每個(gè)PC 與其他PC 是正交的,對(duì)其余PC 所對(duì)應(yīng)的數(shù)據(jù)樣本進(jìn)行更新,則更新迭代式為

同理,為使目標(biāo)函數(shù)(13)最優(yōu),其余主成分迭代求解算法如下:

算法 2.GC2DPCA的其余主成分求解算法

如同PCA-L1和2DPCA-L1的貪婪求解算法[15,20]一樣,GC2DPCA 不能確保得到全局最優(yōu)解.這種貪婪求解算法能夠保證各個(gè)PC 之間在滿足正交的同時(shí),使得每一個(gè)PC 均依賴于提出的廣義余弦模型.在求解各個(gè)PC 時(shí)離群數(shù)據(jù)能夠得到抑制,其重構(gòu)誤差也能間接得到控制.此外,貪婪算法使得各個(gè)PC 之間滿足如式(18)的迭代關(guān)系.當(dāng)提取PC 數(shù)增加時(shí),之前計(jì)算的PC 得以保留.通過(guò)迭代,可進(jìn)一步計(jì)算更高階PC.

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的有效性及魯棒性,采用人工數(shù)據(jù)集、Yale、ORL 及FERET 人臉數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn),并對(duì)PCA、PCA-L1[15]、2DPCA[2]、2DPCAL1[20]、2DPCA-L1(non-greedy)[21]、Angle-2DPCA[30]以及本文所提的GC2DPCA 算法進(jìn)行實(shí)驗(yàn)對(duì)比分析.魯棒性實(shí)驗(yàn)主要用于判定各算法目標(biāo)函數(shù)中的重構(gòu)誤差損失情形,而相關(guān)性實(shí)驗(yàn)用于判定各算法在滿足投影距離最大時(shí)求得PC的真實(shí)程度,分類率實(shí)驗(yàn)則將求得的PC 用于判定分類識(shí)別效果,時(shí)間復(fù)雜度實(shí)驗(yàn)用于判定各個(gè)求解PC 算法的復(fù)雜程度.實(shí)驗(yàn)軟件環(huán)境為Windows7、Microsoft Visual Studio 2010 和OpenCV 2.4.10,采用Intel i5-5200U (2.2 GHz)處理器,8 GB 內(nèi)存的硬件環(huán)境.

3.1 魯棒性實(shí)驗(yàn)與分析

考慮上述數(shù)據(jù)集已進(jìn)行零均值化,以平均重構(gòu)誤差(Average reconstruction error,ARCE)為性能指標(biāo),進(jìn)行魯棒性實(shí)驗(yàn)與對(duì)比分析.

當(dāng)數(shù)據(jù)矩陣需先向量化時(shí):

當(dāng)數(shù)據(jù)矩陣無(wú)需向量化時(shí):

其中,NI表示未受到噪聲干擾的樣本數(shù)量.

3.1.1 人工數(shù)據(jù)集

分別構(gòu)建如圖2(a)和圖2(c)所示的二維人工數(shù)據(jù)集(已被零均值),數(shù)據(jù)集表示為ξi={(xi,yi),i=1,2,···,24}.其中,五角星代表離群數(shù)據(jù)點(diǎn),圓圈代表純凈數(shù)據(jù)點(diǎn),Real 表示排除離群數(shù)據(jù)點(diǎn)后利用L2范數(shù)度量方式提取的第一個(gè)PC的方向,Angle為Angle-2DPCA[30]中的比率度量方式.受離群數(shù)據(jù)點(diǎn)的影響,通過(guò)各個(gè)算法提取的第一個(gè)PC 方向與Real的接近程度來(lái)判斷其魯棒性.

圖2 人工數(shù)據(jù)集的平均重構(gòu)誤差Fig.2 ARCE on the artificial datasets

從圖2(a)可以看出,基于L2范數(shù)的度量方式提取的第一個(gè)PC 方向受離群數(shù)據(jù)點(diǎn)影響最大,而L1范數(shù)更靠近Real 方向,因此,與L2范數(shù)相比,L1范數(shù)對(duì)噪聲相對(duì)不敏感.Angle 度量方式更接近Real 方向,具有較強(qiáng)的魯棒性.隨著廣義余弦模型參數(shù)S的變化,其魯棒性順序依次為CosineS=1.5 ＞ CosineS=2 ＞ CosineS=1 ＞ Angle ＞CosineS=2.5 ＞ CosineS=0.5 ＞L1-norm ＞L2-norm.利用上述度量方式提取的第一個(gè)PC 再重構(gòu)原始數(shù)據(jù),借助式(19)計(jì)算得到其相應(yīng)的ARCE 分別如圖2(b)和圖2(d)所示.從圖2(b)可以看出,L2范數(shù)度量方式下其重構(gòu)數(shù)據(jù)能力最差,其ARCE 最大.L1范數(shù)和Angle的ARCE 均有不同程度下降,當(dāng)CosineS=1.5 時(shí),其ARCE 最小.因此,隨著參數(shù)S的變化,廣義余弦模型重構(gòu)數(shù)據(jù)能力優(yōu)于其他距離度量方式,且隨著參數(shù)S的逐步增加,其ARCE 先減少到最優(yōu)值,然后再逐步增加,其ARCE 變化規(guī)律與圖2(a)所示的魯棒性分析一致.進(jìn)一步分析參數(shù)S對(duì)魯棒性的影響規(guī)律,從圖2(c)和圖2(d)可以看出,當(dāng)CosineS=2 時(shí),其ARCE最小,魯棒性最優(yōu),并且變化規(guī)律與圖2(a)和圖2(b)分析完全一致.通過(guò)大量的重復(fù)實(shí)驗(yàn)可以得到,隨著參數(shù)S的增加,廣義余弦模型總存在一個(gè)相對(duì)最優(yōu)值(對(duì)應(yīng)ARCE 最小),其ARCE 規(guī)律是先逐步減少到某一個(gè)最優(yōu)值,然后再逐步增大.在實(shí)際應(yīng)用過(guò)程中,可根據(jù)上述變化規(guī)律尋求相對(duì)合理的參數(shù)S.

3.1.2 Yale、ORL 及FERET 人臉數(shù)據(jù)集

Yale 數(shù)據(jù)集包含15 個(gè)人臉圖像,每人11 幅共165 幅,分辨率為 1 00×100 像素.ORL 數(shù)據(jù)集由40 個(gè)人臉圖像組成,每人10 幅共400 幅,分辨率為 1 12×92 像素.FERET 數(shù)據(jù)集有20 人,每人7 幅共140 幅,分辨率為 8 0×80 像素.圖3 展示了Yale、ORL 及FERET 三個(gè)數(shù)據(jù)集的部分圖像.為了測(cè)試GC2DPCA算法的魯棒性,采取文獻(xiàn)[26]的方式對(duì)數(shù)據(jù)集進(jìn)行加噪:1)遮蓋噪聲(Occluded noise).在40%遮蓋噪聲下,從Yale、ORL 及FERET 數(shù)據(jù)集中分別隨機(jī)抽取總樣本數(shù)的40%,在抽取的圖像樣本上對(duì)應(yīng)加入 4 0×40 像素、4 0×40 像素和 3 0×30 像素的雜點(diǎn)噪聲進(jìn)行覆蓋.在60%遮蓋噪聲下,從3 個(gè)數(shù)據(jù)集抽取60%圖像樣本上分別加入 6 0×60 像素、6 0×60 像素和 4 5×45 像素的雜點(diǎn)噪聲進(jìn)行覆蓋.上述遮蓋噪聲位置隨機(jī)且不超越圖像邊界,分別如圖4 和圖5 所示;2)啞噪聲(Dummy noise).在整個(gè)數(shù)據(jù)集中額外增加總樣本數(shù)的40%和60%雜點(diǎn)噪聲樣本,其分辨率與原數(shù)據(jù)集樣本一致,如圖6 所示.

圖3 人臉數(shù)據(jù)集示例Fig.3 Examples of face datasets

圖4 40%遮蓋噪聲示例Fig.4 Examples with 40% occluded noise

圖5 60%遮蓋噪聲示例Fig.5 Examples with 60% occluded noise

圖6 啞噪聲示例Fig.6 Examples with dummy noise

將具有40%和60%遮蓋噪聲的Yale、ORL 和FERET 人臉數(shù)據(jù)集投影到不同的主成分個(gè)數(shù)(Number of principal components,NPC)所組成的投影子空間上,利用式(19)及式(20)計(jì)算各個(gè)算法對(duì)應(yīng)的ARCE 如圖7 所示.從圖7(a)～7(f)中可以得出如下結(jié)論:1)各個(gè)算法隨著NPC的增加,其ARCE均呈現(xiàn)逐步下降趨勢(shì)且逐漸趨于平緩,因此,其降維的子空間維數(shù)將對(duì)ARCE 影響很大.2)PCA 和PCA-L1因向量化而增加了數(shù)據(jù)維數(shù),其ARCE 相比其他二維算法均偏大.隨著NPC的增加,L1范數(shù)使得PCA-L1的最終魯棒性要略優(yōu)于PCA.3)對(duì)于2DPCA、2DPCA-L1、2DPCA-L1(nongreedy)及Angle-2DPCA 均為二維算法,直接針對(duì)圖像矩陣進(jìn)行特征提取,相比一維算法其ARCE 均大為減小.2DPCA 和2DPCA-L1(non-greedy)兩個(gè)算法ARCE 差異不明顯,且不受數(shù)據(jù)集及遮蓋噪聲影響.2DPCA-L1與2DPCA-L1(non-greedy)相比,其ARCE 具有明顯優(yōu)勢(shì),且不受數(shù)據(jù)集的影響.隨著噪聲的增加,2DPCA-L1其貪婪求解算法優(yōu)勢(shì)更趨明顯.而Angle-2DPCA的ARCE 與2DPCA-L1較為接近.在遮蓋噪聲下,可知RGC2DPCA＜RAngle-2DPCA,因此,GC2DPCA 也優(yōu)于Angle-2DPCA.4)相比上述其他算法,GC2DPCA的ARCE 具有較為明顯的優(yōu)勢(shì),且不受數(shù)據(jù)集的影響.當(dāng)加入60%遮蓋噪聲后,GC2DPCA的ARCE在兩個(gè)不同數(shù)據(jù)集下,與其他算法相比下降優(yōu)勢(shì)更趨明顯,并且其ARCE幾乎不變,而其他算法均有不同程度的增大.通過(guò)多次重復(fù)實(shí)驗(yàn)可得到,參數(shù)S改變對(duì)GC2DPCA的ARCE 略有變化,且參數(shù)S對(duì)ARCE 影響規(guī)律與人工數(shù)據(jù)集的變化規(guī)律一致,圖7 各個(gè)子圖為顯示簡(jiǎn)潔僅呈現(xiàn)GC2DPCAS=1的情形.因此,針對(duì)遮蓋噪聲,本文所提算法GC2DPCA的魯棒性均優(yōu)于其他算法,并且加大噪聲,其優(yōu)勢(shì)也愈加明顯.

圖7 不同遮蓋噪聲下的平均重構(gòu)誤差Fig.7 ARCE with different occluded noises

引入不同啞噪聲之后,各個(gè)算法對(duì)應(yīng)的ARCE如圖8 所示.可以看出,GC2DPCA的魯棒性可以得到與遮蓋噪聲實(shí)驗(yàn)的類似結(jié)論.1)當(dāng)NPC 小于5 時(shí),PCA的ARCE 下降較快,當(dāng)NPC 大于10 時(shí),PCA-L1比PCA的魯棒效果十分明顯,而PCA 幾乎趨于常值.2)2DPCA-L1(non-greedy)在面對(duì)啞噪聲時(shí)已經(jīng)不如2DPCA,并且在圖8(d)和圖8(f)中其趨勢(shì)不穩(wěn)定,振動(dòng)較大.3)其余算法ARCE 曲線走勢(shì)與遮蓋噪聲實(shí)驗(yàn)中類似,進(jìn)一步驗(yàn)證前述分析結(jié)論,不同的是GC2DPCA 與Angle-2DPCA 在不同數(shù)據(jù)集及不同啞噪聲下幾乎完全重疊.4)加大啞噪聲后,各個(gè)算法的ARCE 變化很小.

圖8 不同啞噪聲下的平均重構(gòu)誤差Fig.8 ARCE with different dummy noises

以上帶遮蓋噪聲和啞噪聲的人臉數(shù)據(jù)集上的魯棒性實(shí)驗(yàn)結(jié)果表明,相比經(jīng)典的PCA 和PCA-L1,本文所提算法優(yōu)勢(shì)十分明顯;與2DPCA、2DPCAL1、2DPCA-L1(non-greedy)相比,降低了ARCE,提升了魯棒性能;與Angle-2DPCA 相比,在大遮蓋噪聲下具有較為明顯優(yōu)勢(shì).而在啞噪聲下,兩者其樣本污染情況一致,因均兼顧到數(shù)據(jù)的重構(gòu)誤差,則GC2DPCA 與Angle-2DPCA的ARCE 幾乎完全相同.

3.2 相關(guān)性實(shí)驗(yàn)與分析

為驗(yàn)證各算法提取的PC 與真實(shí)PC 之間的相關(guān)性,用內(nèi)積矩陣定義相關(guān)性,表示為

其中,Vtrue表示用L2范數(shù)計(jì)算純凈樣本數(shù)據(jù)得到的PC 所構(gòu)成的投影矩陣,Vtest為各個(gè)算法針對(duì)含噪數(shù)據(jù)計(jì)算得到的PC 構(gòu)成的投影矩陣.顯然,Z越接近單位矩陣,說(shuō)明Vtest越接近Vtrue.選用Yale數(shù)據(jù)集的60%遮蓋噪聲進(jìn)行相關(guān)性實(shí)驗(yàn).各個(gè)算法實(shí)驗(yàn)結(jié)果如圖9 所示,x軸和y軸分別代表Vtrue和Vtest中對(duì)應(yīng)的NPC,z軸表示PC 之間內(nèi)積的絕對(duì)值.因此,通過(guò)直觀觀察三維圖中z值來(lái)判定算法的相關(guān)性.如對(duì)角線上的z值越接近1,而對(duì)角線以外區(qū)域越接近0,則表示內(nèi)積矩陣Z相關(guān)性越高,求解的PC 也就越接近真實(shí)的PC.

圖9 主成分相關(guān)性Fig.9 Correlations between principal components

從圖9 可以看出,PCA 提取的主成分大部分偏離了真實(shí)值,對(duì)角線上僅有第一個(gè)PC 約為0.85,對(duì)角線上其余PC 均在0.5 以下.而PCA-L1也不太理想,對(duì)角線上的PC 與PCA 近似,對(duì)角線外其他區(qū)域與PCA 相比多了一些小凸峰,無(wú)法接近0,因此PCA-L1相關(guān)性不如PCA.2DPCA 對(duì)角線上前10 個(gè)主成分相關(guān)性幾乎為1,對(duì)角線上其余PC銳減至0.6 以下,而對(duì)角線外其他區(qū)域凸峰嚴(yán)重,幾乎逼近0.4.在2DPCA-L1中,與2DPCA 相比凸峰有向?qū)蔷€方向收斂的趨勢(shì),其相關(guān)性得到一定程度的提升.而在GC2DPCA 中,隨S參數(shù)逐漸增加,凸峰逐漸收斂到對(duì)角線上,當(dāng)S=1.5 時(shí)最優(yōu),對(duì)角線上主成分相關(guān)性均在0.6 之上,而在對(duì)角線外其他區(qū)域幾乎接近于0,因此,GC2DPCA 提取的主成分更接近真實(shí)值,且相互正交.可以看到,與前述算法不同的是,2DPCA-L1(non-greedy)和Angle-2DPCA 呈現(xiàn)一種雜亂的態(tài)勢(shì),這是由于這兩個(gè)算法提取得到投影矩陣V中的各個(gè)主成分之間無(wú)順序優(yōu)先之分,它們對(duì)V中所有主成分是同時(shí)進(jìn)行優(yōu)化的.這兩個(gè)算法在調(diào)整主成分?jǐn)?shù)量時(shí),需重新計(jì)算之前得到的所有主成分,這也是2DPCAL1(non-greedy)和Angle-2DPCA的不利之處.而圖9 中其他算法均是在原始數(shù)據(jù)減去之前計(jì)算主成分分量之后再進(jìn)行迭代計(jì)算,其相關(guān)性均優(yōu)于2DPCAL1(non-greedy)和Angle-2DPCA.因此,本文提出的GC2DPCA 在相關(guān)性方面均遠(yuǎn)優(yōu)于其他算法.

3.3 分類率實(shí)驗(yàn)與分析

分類率實(shí)驗(yàn)采用K-最近鄰分類算法(K-nearest neighbor,KNN),并選取K=1 時(shí)進(jìn)行分類.所有實(shí)驗(yàn)數(shù)據(jù)樣本均經(jīng)過(guò)零均值處理,其中訓(xùn)練樣本和測(cè)試樣本零均值化所采用的均值來(lái)源于訓(xùn)練樣本的均值.在Yale 和ORL 數(shù)據(jù)集每個(gè)人臉圖像中,隨機(jī)抽取其中5 幅用作訓(xùn)練樣本,其余用作測(cè)試樣本.在FERET 數(shù)據(jù)集中,每人隨機(jī)抽取3 幅用作訓(xùn)練樣本,其余為測(cè)試樣本.在3 個(gè)數(shù)據(jù)集中訓(xùn)練樣本中隨機(jī)抽取40%樣本添加遮蓋噪聲.考慮到噪聲的隨機(jī)性,重復(fù)5 次隨機(jī)遮蓋噪聲進(jìn)行分類率實(shí)驗(yàn),得到平均分類率分別如表1～3 所示.

從表1～3 可以看出,從求解算法看,2DPCAL1(non-greedy)和Angle-2DPCA 均為非貪婪算法,隨著NPC的增加,其平均分類率逐漸增加,這是由于這兩個(gè)算法求得的主成分隨NPC 增加而逐步得到優(yōu)化,與前述相關(guān)性分析結(jié)論一致.而對(duì)于其他貪婪算法,隨著NPC的增加,各個(gè)算法平均分類率均有所下降.這是由于NPC 越多,包含的噪聲成分也就越多,其分類率也就相應(yīng)下降.從算法的維數(shù)看,一維算法(包括PCA 和PCA-L1)普遍低于其他二維算法,與文獻(xiàn)[2]和[18]實(shí)驗(yàn)結(jié)果一致,這是由于二維算法提取了更多的圖像模式特征,并且損失圖像的行列結(jié)構(gòu)信息偏少.從距離度量方式看,L1范數(shù)相關(guān)算法(PCA-L1和2DPCA-L1)大部分情形分類率要略高于L2范數(shù)相對(duì)應(yīng)的算法(PCA 和2DPCA),這是由于L1范數(shù)度量方式具有一定的抗噪能力和分類優(yōu)越性.基于 F 范數(shù)的Angle-2DPCA 算法與基于L1范數(shù)的算法2DPCAL1相比,分類率并無(wú)優(yōu)勢(shì).而本文提出的GC2DPCA相比其他算法,具有較為明顯的分類優(yōu)勢(shì).隨著參數(shù)S的增加,GC2DPCA 算法的分類率略有提升,但分類率并不明顯.同樣,在Yale、ORL 數(shù)據(jù)集以及FERET 中分別加入60%的遮蓋噪聲,得到平均分類率如表4～6 所示.可以看出,平均分類率總體趨勢(shì)與添加少量噪聲情形近似,但在大量噪聲下所有算法的平均分類率均相應(yīng)有所下降,這是由于在人為增加噪聲時(shí),使得投影距離減少所致.此外,GC2DPCA的平均分類率具有較為明顯的優(yōu)勢(shì).從表1～6 中的參數(shù)S對(duì)GC2DPCA 算法分類率的影響可以看出,隨著參數(shù)S的增加,也存在一個(gè)近似最優(yōu)的分類結(jié)果.如表2 所示,S=1.5 時(shí)呈現(xiàn)最優(yōu)分類率.若增加噪聲數(shù)據(jù),如表5 所示,近似最優(yōu)分類率的S值有前移跡象.從表1～6 中均可觀察到此情況.因此,當(dāng)噪聲增加到可與原始數(shù)據(jù)相抗衡時(shí),如增加S值可以更大程度地抑制噪聲,但在某種程度上也抑制了真正有用的數(shù)據(jù).因此,在大噪聲的情況下可以選擇略小的S值進(jìn)行測(cè)試.另外,GC2DPCA 在提取少量PC的情況下分類率較高,NPC 越多引入噪聲數(shù)量也越多,因此,在實(shí)際應(yīng)用中可根據(jù)數(shù)據(jù)的維數(shù)選擇較小的NPC 進(jìn)行魯棒降維.

表1 Yale 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 1 Average classification rate under Yale dataset (40% occluded noise)(%)

表2 ORL 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 2 Average classification rate under ORL dataset (40% occluded noise)(%)

表3 FERET 數(shù)據(jù)集下平均分類率 (40%遮蓋噪聲)(%)Table 3 Average classification rate under FERET dataset (40% occluded noise)(%)

表4 Yale 數(shù)據(jù)集下平均分類率 (60%遮蓋噪聲)(%)Table 4 Average classification rate under Yale dataset (60% occluded noise)(%)

表5 ORL 數(shù)據(jù)集平均分類率 (60%遮蓋噪聲)(%)Table 5 Average classification rate under ORL dataset (60% occluded noise)(%)

表6 FERET 數(shù)據(jù)集平均分類率 (60%遮蓋噪聲)(%)Table 6 Average classification rate under FERET dataset (60% occluded noise)(%)

3.4 時(shí)間復(fù)雜度實(shí)驗(yàn)與分析

參考上述所提及相關(guān)算法對(duì)應(yīng)的文獻(xiàn),得到各個(gè)算法的時(shí)間復(fù)雜度如表7 所示.其中,t為迭代步數(shù).PCA-L1、2DPCA-L1、2DPCA-L1(non-greedy)和GC2DPCA的迭代步數(shù)與樣本數(shù)正相關(guān),并且PCA-L1理論上比PCA 運(yùn)算快,但2DPCA-L1因反而會(huì)比2DPCA運(yùn)算速度慢.2DPCA-L1與GC2DPCA 復(fù)雜度一致.2DPCAL1(non-greedy)和Angle-2DPCA 求解過(guò)程包含奇異值分解,相應(yīng)增加了算法的運(yùn)算時(shí)間.Angle-2DPCA 算法收斂的原因在文獻(xiàn)[30]中未加以解釋,具體運(yùn)算時(shí)間可在實(shí)驗(yàn)中間接得到.

表7 時(shí)間復(fù)雜度分析Table 7 Time complexity analysis

實(shí)驗(yàn)選用Yale 數(shù)據(jù)集的60%遮蓋噪聲進(jìn)行實(shí)驗(yàn),提取的NPC 設(shè)為10,分析各個(gè)算法提取PC所需時(shí)間隨樣本數(shù)的變化.此處,GC2DPCA 其參數(shù)S與時(shí)間復(fù)雜度無(wú)關(guān),可設(shè)定S=1.

各個(gè)算法所需時(shí)間如表8 所示,可以看出,2DPCA相比于PCA 降低了數(shù)據(jù)維數(shù),所需時(shí)間比PCA低.魯棒算法PCA-L1的運(yùn)行時(shí)間最快,因?yàn)槠涞鷺颖緮?shù)N較少.2DPCA-L1與GC2DPCA接近,但是余弦模型的引入抑制了離群噪聲數(shù)據(jù),使得PC方向往真實(shí)方向偏轉(zhuǎn)較快,時(shí)間上略優(yōu)于2DPCAL1. Angle-2DPCA 低于2DPCA-L1(non-greedy),但它們每次迭代均需奇異值分解,因此,Angle-2DPCA 與2DPCA-L1(non-greedy)所需時(shí)間均高于GC2DPCA.

表8 各個(gè)算法所需時(shí)間對(duì)比(s)Table 8 Comparison of the required time by each algorithm (s)

4 結(jié)束語(yǔ)

本文提出了一種基于廣義余弦模型的GC2DPCA及其貪婪求解算法.廣義余弦模型的引入使得樣本中混入較多噪聲數(shù)據(jù)時(shí),算法依然能夠呈現(xiàn)較好的魯棒性,且其對(duì)于不同的遮蓋噪聲和啞噪聲均具有一定的適應(yīng)性.GC2DPCA 算法求解過(guò)程簡(jiǎn)單、易實(shí)現(xiàn),理論層面證明了算法的收斂性及提取的主成分之間的正交性.其次,通過(guò)選擇不同的S參數(shù),可應(yīng)用于更廣泛的含離群數(shù)據(jù)的魯棒降維,并在實(shí)驗(yàn)層面得到了S參數(shù)對(duì)算法的影響規(guī)律.將GC2DPCA與PCA 算法、PCA-L1算法、2DPCA 算法、2DPCAL1算法、2DPCA-L1(non-greedy)算法及Angle-2DPCA 算法在平均重構(gòu)誤差、相關(guān)性、分類率及時(shí)間復(fù)雜度等方面進(jìn)行比較,本文算法在人工數(shù)據(jù)集、Yale、ORL 以及FERET 人臉數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均具有更優(yōu)的性能.然而,本文的算法并不能實(shí)現(xiàn)樣本的增量迭代求解,將影響到算法的增量學(xué)習(xí)能力.因此,探索GC2DPCA 算法的增量求解形式值得進(jìn)一步研究.