基于結(jié)構(gòu)化稀疏投影的多視圖特征提取框架

江 帆，田 青

(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106；2.南京信息工程大學(xué) 計算機與軟件學(xué)院，江蘇 南京 210044)

1 概 述

在實際的機器學(xué)習(xí)任務(wù)中，目標(biāo)常常以多視圖數(shù)據(jù)描述。例如，Web頁面可以用文本、圖像和鏈接等組件來共同描述，一個組件的數(shù)據(jù)是頁面的一個視圖。每一種視圖都有其特殊的結(jié)構(gòu)和獨特的概念；而不同的視圖又是相互關(guān)聯(lián)的，因為它們描述的對象是相同的。多視圖數(shù)據(jù)的這兩種性質(zhì)蘊含著多視圖學(xué)習(xí)的兩個原則：互補性和一致性[1]。一致性源自不同視圖之間的相關(guān)性，互補性源自每個視圖的獨有信息。根據(jù)一致性和互補性，多視圖降維算法可分為三類。第一類是只關(guān)注一致性，如凸子空間表示學(xué)習(xí)(convex subspace representation learning，CSRL)[2]和典型相關(guān)分析(canonical correlation analysis，CCA)[3-4]。第二類是只側(cè)重于互補性，如多視圖判別分析(multi-view discriminant analysis，MVDA)[5]和集成流形正則化稀疏低秩逼近(ensemble manifold regularized sparse low-rank approximation，EMRSLRA)[6]。最后一類是同時關(guān)注兩種原則，如基于結(jié)構(gòu)化稀疏的分解隱空間學(xué)習(xí)(factorized latent spaces with structured sparsity，F(xiàn)LSS)[7]和部分共享的隱因子學(xué)習(xí)(partially shared latent factor learning，PSLF)[8]。

而根據(jù)多視圖數(shù)據(jù)的基本假設(shè)，多視圖降維算法可以分為兩類。第一種假設(shè)是低維表示只包含原始數(shù)據(jù)信息的一部分。不同的算法根據(jù)不同偏好提取相應(yīng)信息，如判別信息和流形信息。投影學(xué)習(xí)模型(projection learning model)[9]，如多視圖典型相關(guān)分析(multi-view canonical correlation analysis，MCCA)[10]和MVDA，都是基于這種假設(shè)。另一種假設(shè)是不同的高維視圖的數(shù)據(jù)是由相同的低維數(shù)據(jù)生成的?；陔[變量生成模型(latent variable generation model)[11-12]的算法，如高斯過程(Gaussian process，GP)[13-14]和CSRL，都是基于這種假設(shè)。

綜合考慮兩個原則和兩個假設(shè)，多視圖降維算法可以更細致地分為六類。表1為六類算法及其示例。

表1 六類算法及其示例

現(xiàn)今尚沒有同時關(guān)注兩個原則的基于投影模型的多視圖降維算法。為了解決這個問題，提出了一種新的基于結(jié)構(gòu)化稀疏投影的監(jiān)督型多視圖特征提取框架(MSSP)?？蚣苡蓛刹糠纸M成。一部分是融合特征的判別損失函數(shù)。大多數(shù)單視圖投影學(xué)習(xí)算法的損失函數(shù)都可以實例化這部分，文中選擇線性判別分析(linear discriminant analysis，LDA)[15]和度量學(xué)習(xí)[16]。另一部分是聯(lián)合投影矩陣的多重結(jié)構(gòu)化稀疏正則化。

文中主要貢獻如下：

(1)在向多視圖數(shù)據(jù)上拓展單視圖算法時，一個簡單的方案是將所有視圖的特征拼接成一個單一的視圖數(shù)據(jù)。然而，這種方案不但忽略了不同視圖潛在的相關(guān)性，也缺乏物理意義。MSSP的正則化項解決了這個問題。

(2)MSSP是同時關(guān)注一致性和互補性的基于投影模型的多視圖降維算法，能夠同時提取融合視圖的共享信息和獨有信息，避免信息缺失和信息冗余的問題。

(3)定義了一個M范數(shù)作為正則化項，以懲罰聯(lián)合投影矩陣的多重結(jié)構(gòu)化稀疏程度，其中聯(lián)合投影矩陣約束為列正交矩陣。然后利用在Stiefel流形上的梯度下降法，對框架優(yōu)化求解，得到一個局部最優(yōu)解。

(4)分析了MSSP的目標(biāo)函數(shù)的數(shù)學(xué)性質(zhì)并推測了超參數(shù)的選擇與投影維數(shù)的關(guān)系，以縮小超參數(shù)的選擇范圍，降低模型訓(xùn)練的代價。

2 MSSP原理及相關(guān)工作

2.1 MSSP投影融合原理

圖1 并行信息融合模型的一致性和互補性解釋

2.2 稀疏學(xué)習(xí)

在訓(xùn)練數(shù)據(jù)是稀疏的或者模型有特定的偏好時，模型的解決方案(矢量或矩陣)需要擁有特定的稀疏結(jié)構(gòu)。因L1范數(shù)具有包容性、凸性和強大的理論保證等優(yōu)勢，大多數(shù)現(xiàn)有的稀疏學(xué)習(xí)都是基于其正則化的變種[18]。1996年，Tibshirani提出了一種稀疏特征選擇算法Lasso(The least absolute shrinkage and selectionator operator)，可以自適應(yīng)地選擇有用的特征。其形式如下：

其中，X∈Rp×q為數(shù)據(jù)矩陣；L∈Rp為類標(biāo)簽向量；λ>0為控制稀疏程度的超參數(shù)；β∈Rq為選擇特征的稀疏向量。

Group Lasso是Lasso的一個變種。Lasso將單個特征作為單位而Group Lasso將變量組作為單位進行選擇。Group Lasso的形式如下：

Lasso和Group Lasso能夠覆蓋向量的大多數(shù)稀疏形式。對于矩陣，懲罰項通常為L2,1范數(shù)或L∞,1范數(shù)。L2,1[19]和L∞,1的形式如下：

其中，Z∈Rs×d，Zi表示矩陣Z的第i列。

2.3 Stiefel流形

正交是一種常見的矩陣結(jié)構(gòu)，通常用于減少模型的復(fù)雜度或應(yīng)用于可視化。在文獻[20]中，線性降維算法的解被約束為正交矩陣，算法被看作矩陣優(yōu)化問題。應(yīng)用在Stiefel流形上的梯度下降法可以得到一個局部最優(yōu)解。Stiefel流形Od×r是列正交矩陣的集合，可以表示為Od×r={M∈Rd×r|MTM=I}，其中I是r×r的單位矩陣。Od×r是Rd×r的子流形嵌入，是有界的閉集。切空間是流形在某一特定點上的線性逼近，對于理解任何流形幾何，特別是矩陣流形的優(yōu)化至關(guān)重要。首先定義流形Od×r上的一條曲線，一個光滑的映射γ():Rd×r→Od×r，進而定義切空間為:

3 MSSP框架的建立

3.1 符號和相關(guān)定義

度量學(xué)習(xí)[16]中，融合特征的類內(nèi)和類間距離矩陣如下：

(2)

LDA中，融合特征的類內(nèi)和類間散度矩陣如下：

(3)

(4)

3.2 MSSP模型

MSSP的基本框架的抽象形式如下，大多數(shù)的機器學(xué)習(xí)算法都可以抽象為這種形式：

s.t.W∈Ψ

(5)

其中，loss(W;X)為數(shù)據(jù)X上關(guān)于W的損失函數(shù)；R(W)為W的正則化；λ為平衡損失與正則化的超參數(shù)；Ψ為W的約束空間。

MSSP以‖W‖M和Stiefel流形實例化R(W)和Ψ。文中用LDA的瑞利商形式和度量學(xué)習(xí)來實例化損失函數(shù)，因此有MSSP_LDA如下：

s.t.WTW∈Ψ

(6)

3.3 參數(shù)分析

在選擇超參數(shù)的時候，如果沒有足夠的經(jīng)驗和專家來幫助，通常沒有很好的方法，只能使用交叉驗證的方法，這使得模型訓(xùn)練的代價很大。對于MSSP_LDA和MSSP_ML，根據(jù)損失函數(shù)的變化趨勢和‖W‖M的取值范圍推測λ隨著d的變化趨勢。

假設(shè)總能找到最佳的d個投影方向，則損失函數(shù)的最小值隨著d的增加而增加。這意味著損失函數(shù)的下界隨著d的增加而增加。為了保證融合特征的判別性，損失函數(shù)必然有一個上界。因此，在保證判別性的前提下，損失函數(shù)的取值范圍隨著d的增加而減小。

對于‖W‖M，可以得到：

(7)

由于W是列正交的，故有：

(8)

很容易得到：

(9)

‖W‖M的取值范圍隨著d的增大而迅速增大，這與損失函數(shù)取值范圍的變化趨勢是相反的。這意味著隨著d的增大，‖W‖M對f(W)的影響很可能比損失函數(shù)要大。因此，可以推斷，為了確保損失函數(shù)和正則化之間的最佳平衡，最佳的超參數(shù)會隨著d的增加而減小，而實驗結(jié)果也驗證了上述推測。

3.4 優(yōu)化求解

采用在Stiefel流形上的梯度下降法得到局部最優(yōu)解，MSSP框架優(yōu)化算法簡介如下：

Input:ViewsX1…Xv,hyper-parameterλ

Step2:Gradient descent over Stiefel manifold

(a)Initialize W

(b)loop

Selectβwith Armijo rule.

CalculateWnewaccording to (15)

end loop until converge

Output:Projection matricesW1…Wv

梯度可以計算如下：

(10)

(11)

(12)

已經(jīng)介紹了切空間TM，它是在點M上沿著流形變化的所有方向的集合。因此W實際不是沿著變化。根據(jù)文獻[21-22]，將梯度映射到切空間TW：

(13)

(14)

U1∈Rr×d,U2∈Rr×(r-d)

(15)

4 實 驗

4.1 實驗設(shè)置

在實驗中，將MSSP_LDA和MSSP_ML與以下幾種算法進行比較。(1)單視圖的LDA(S_LDA)：在每個視圖以及所有視圖的拼接視圖上運行LDA，報告最好的結(jié)果。(2)EMRSLRA：其超參數(shù)選擇的方法采用文獻[6]的方式。(3)View-Consistency MVDA(VcMVDA)[24]：在MVDA的基礎(chǔ)上，約束所有的投影矩陣互相接近。(4)SDMCCA[25]：一種MCCA的監(jiān)督型改進算法。

算法的性能是通過KNN的精確度來評估的，其中K用c+1。每個實驗隨機選取80%的樣本進行訓(xùn)練，其余20%用于測試。每個實驗進行10次，結(jié)果取平均值，通過交叉驗證選擇超參數(shù)。

4.2 數(shù)據(jù)集

表2介紹了五個真實數(shù)據(jù)集：NUS-WIDE-LIFE[26]、MFD[27]、AWA[28]、ADNI(sdin.loni.usc.edu)、WebKB[29]。NUS-WIDE-LIFE數(shù)據(jù)集是NUS-WIDE數(shù)據(jù)集的一個子集，由28 807個訓(xùn)練圖像以及28 808個測試圖像組成，每個圖像有81維的標(biāo)簽向量。實驗中只使用物體圖像，由于處理的是單標(biāo)簽圖像，所以進一步去掉了零標(biāo)簽或多個標(biāo)簽的圖像。在丟棄稀有圖像的類別之后，有以下九類：鳥、船、花、巖石、太陽、塔、玩具、樹和車輛，其中10 600個圖像用于訓(xùn)練，7 094個圖像用于測試。對AWA數(shù)據(jù)集，選擇了羚羊、灰熊、虎鯨、河貍和達爾馬提亞狗五種動物的數(shù)據(jù)。從每種動物數(shù)據(jù)中隨機選擇不多于200個樣本，為避免過擬合用PCA將數(shù)據(jù)降到50維。對ADNI數(shù)據(jù)集，選擇患病者和正常人兩類數(shù)據(jù)進行實驗，MRI、FDG-PET和AV45-PET數(shù)據(jù)按文獻[30]方式進行預(yù)處理。對WebKB數(shù)據(jù)集，先用PCA降到50維。對MFD數(shù)據(jù)集，去掉維數(shù)較少的mor和zer兩個視圖。

4.3 實驗結(jié)果與分析

表3中的實驗結(jié)果表明：

(1)基于MSSP框架的兩種方法，分類的準(zhǔn)確率顯著好于其他算法，說明同時關(guān)注一致性和互補性對分類效果是有促進作用的；

(2)MSSP_LDA在四數(shù)據(jù)集上結(jié)果顯著好于VcMVDA，同樣是LDA在多視圖上的推廣，基于MSSP的框架具有更好的性能。一方面是由于MSSP的框架結(jié)構(gòu)簡單，LDA在推廣的過程中形式和原理都沒有發(fā)生變化，另一方面結(jié)構(gòu)化稀疏正則化使得推廣更靈活，可以適應(yīng)多視圖數(shù)據(jù)的結(jié)構(gòu)特點，可以同時提取共享信息和獨有信息中對于分類效果有促進作用的信息；

(3)在ADNI數(shù)據(jù)集上MSSP兩種算法效果遠高于其他幾種算法，這是因為數(shù)據(jù)本身對稀疏性有偏好，稀疏的方法在這種數(shù)據(jù)上通常有較好的效果，而MSSP的稀疏正則化項也能滿足這種偏好，這是MSSP的形式本身的特點。

4.4 參數(shù)分析

圖2和圖3分別為MSSP_ML在ANDI和AWA數(shù)據(jù)集上，最佳超參數(shù)隨投影維數(shù)的變化趨勢?？梢园l(fā)現(xiàn)，最佳的超參數(shù)會隨著d的增加而減小，并且隨著d的增加，減小的速度變快，這驗證了前文中對超參數(shù)的分析和推測。

圖2 MSSP_ML在ANDI上最佳超參數(shù)變化趨勢

圖3 MSSP_ML在AWA上最佳超參數(shù)變化趨勢

5 結(jié)束語

根據(jù)信息保持的兩個假設(shè)和一致性與互補性兩個原則，將多視圖降維方法細分為六類，提出了一個新的多重結(jié)構(gòu)化稀疏投影框架MSSP，并分析了超參數(shù)的變化趨勢。在真實數(shù)據(jù)集上的對比實驗，驗證了MSSP的有效性和對超參數(shù)變化趨勢的推測。在未來的工作中，可以嘗試將更多的單視圖方法推廣到MSSP框架中。