張量CP分解、半正定張量和范德蒙張量

徐常青，祁力群

（1.蘇州科技大學(xué) 數(shù)理學(xué)院，江蘇 蘇州215009；2.香港理工大學(xué) 應(yīng)用數(shù)學(xué)系，中國 香港999077）

張量CP分解、半正定張量和范德蒙張量

徐常青1，祁力群2

（1.蘇州科技大學(xué) 數(shù)理學(xué)院，江蘇 蘇州215009；2.香港理工大學(xué) 應(yīng)用數(shù)學(xué)系，中國 香港999077）

張量，又稱超矩陣，是矩陣的高階推廣。首先介紹張量基本概念（包括張量的特征值和張量的行列式等）和張量的基本運(yùn)算（主要是張量乘積），重點(diǎn)介紹張量秩-1分解、半正定張量、Hankel張量和Vandermonde張量的最新研究進(jìn)展。

張量；張量分解；Hankel張量；Vandermonde張量；半正定張量

1 張量的基本理論

張量首先作為一個(gè)物理量出現(xiàn)在相對(duì)論、流體力學(xué)、動(dòng)力學(xué)和電磁學(xué)等應(yīng)用領(lǐng)域。作為一個(gè)數(shù)學(xué)名詞，它是19世紀(jì)由Gauss、Riemann和Christoffel等人在研究微分幾何學(xué)時(shí)提出；20世紀(jì)初，Ricci，Levi-Civita等人將張量分析發(fā)展成一個(gè)數(shù)學(xué)分支。1916年，愛因斯坦應(yīng)用張量研究并提出劃時(shí)代的廣義相對(duì)論，使張量分析成為研究理論物理、力學(xué)及其他學(xué)科的重要工具。1927年，Hitchcock開始研究高階張量的秩-1分解［1］，1966年，Tucker對(duì)3階張量秩-1分解進(jìn)行了系統(tǒng)研究［2］，1970年，Harshman稱張量秩-1分解為PARAFAC分解，并用張量給出統(tǒng)計(jì)學(xué)中的多因子分析模型及模型求解方法［3］。關(guān)于對(duì)稱張量特別是半正定張量譜性質(zhì)及其秩-1分解研究主要來自于祁力群和 L.H.Lim從2005年至2010年期間的研究工作［4-11］，而特殊結(jié)構(gòu)張量如Hankel張量、Cauchy張量、Hilbert張量、B-張量和M-張量是近幾年才開始被人們所關(guān)注和研究［9，12-16］；具非負(fù)性張量如完全正張量（completely positive tensor）、全正張量（totally positive tensor）和協(xié)正張量（copositive tensor）研究起始于2014年［8-9，14］，關(guān)于元素非負(fù)張量研究的關(guān)鍵突破來自于2008年張恭慶院士等人將Perron-Frobenius定理推廣至非負(fù)張量方面的系列結(jié)果［17］。

一個(gè)m階張量A是一個(gè)有m個(gè)方向（或維度）的數(shù)組，A的每個(gè)元通過m個(gè)下標(biāo)索引來確定其位置。如一個(gè)數(shù)為0階張量，一個(gè)向量為1階張量，而矩陣為2階張量。物理和力學(xué)研究中的一個(gè)關(guān)鍵概念是與其張量有關(guān)的不變量，即不隨參照系改變的物理量或幾何量。如向量作為1階張量，它的一個(gè)不變量為其長度或模，而2階張量——矩陣的特征值（奇異值）為其主要不變量。

記n維實(shí)向量空間為Rn，Rm×n為由m×n實(shí)矩陣構(gòu)成的線性空間，它同構(gòu)于一個(gè)n維實(shí)向量空間V到一個(gè)m維實(shí)向量空間U的全體線性變換構(gòu)成的集合。類似，一個(gè)4階張量A∈Rn1×n2×n3×n4可視為Rn1×n2到Rn3×n4的線性變換（ni為任意正整數(shù)）。一般，記一個(gè)大小I1×I2×…×Im的m階張量A為其中A在第i維度（i-way）對(duì)應(yīng)的維數(shù)（dimension）為ni。當(dāng)m＞2時(shí)，A稱為一個(gè)高階張量（或超矩陣）。若I1= I2=…=Im＝n，則稱A為m階n維張量（m階超立方體）。全體m階n維實(shí)張量構(gòu)成的集合記為Tm；n。A在第k方向的第i個(gè)切片 （A）定義為固定A的第k個(gè)下標(biāo)ik=i后得到的m-1階張量。注意（1）式中的A在k-方向有Ik個(gè)切片。

物理中出現(xiàn)的張量多數(shù)情況下被理解為一個(gè)物理量，而幾何意義下的張量一般為一個(gè)Hilbert空間H中的一個(gè)多重線性函數(shù)，在固定H的一個(gè)標(biāo)準(zhǔn)正交基后，該函數(shù)表現(xiàn)為一個(gè)超矩陣。形如

（3）式稱為A的一個(gè)秩－1分解。張量秩－1分解一般不唯一。A的秩為其所有秩－1分解（3）式中最小可能的項(xiàng)數(shù)K。記 rankR（A）為A在實(shí)數(shù)域上的秩，即A存在（3）式分解，其中向量均為實(shí)向量。

注意到，一個(gè)p×q實(shí)陣A一定滿足rank（A）≤min（p，q），且rank（A）不依賴于數(shù)域，但高階張量則不然。如下面的例子。

例1 考慮2×2×2張量A

可以證明，它在實(shí)數(shù)域R上的一個(gè)最小秩－1分解為A＝x（1）×x（2）×x（3）+y（1）×y（2）×y（3）+z（1）×z（2）×z（3），其中

Xi=［x（i），y（i），z（i）］。可證A不存在K＜2的秩－1分解。由于K≥rank（A（：，：，j）），故只需證明A不存在K=2的秩－1分解。事實(shí)上，若A存在秩－1分解，A＝α1×β1×γ1+α2×β2×γ2，αi，βi，γi≠0。記γi＝（xi，yi）T，i=1，2，那么有xi≠0，yi≠0（i=1，2）且

由（4）式知，［β1，β2］－T＝［x1α1，x2α2］，代入（5）式，得

因此，有A2α1＝λ1α1，A2α2＝λ2α2，其中λi＝y(tǒng)i/xi，i=1，2，但矩陣A2無實(shí)特征值，矛盾。因此 rankR（A）=3。而在復(fù)數(shù)域C上，有

定義 1 （1）式定義的張量 A與一個(gè) Ik×J矩陣 P沿方向 k的乘積為 I1×…×Ik-1×J×Ik+1×…×Im張量G=（Gi1i2…im），它滿足

記G=A×kP。類似，定義P與A的乘積P×kA為

（6）式可推廣至任意兩個(gè)張量A，B在任意相容維度（即A，B在該方向上維數(shù)一致）上的乘積。如一個(gè)m×n×p張量A與m×n張量（矩陣）P沿｛1，2｝-維度乘積A×｛1，2｝P為向量v=（v1，…，vp）T

定義2 對(duì)任意n維實(shí)向量v=（v1，…，vn）T，記vm=（vi1i2…im）∈Tm；n為一個(gè)m階秩1張量，它在每個(gè)維度上的維數(shù)均為n（這樣的張量又稱為k階n維張量或超立方體），其元定義為

由（8）式定義的向量為由向量v確定的一個(gè)k階秩1對(duì)稱張量。給定一個(gè)n維向量x，x的支撐集supp（x）定義為x的所有非零分量對(duì)應(yīng)的指標(biāo)集，即supp（x）=｛i：xi≠0，1≤i≤n｝。

下面介紹正定張量、半正定張量及其分解。

2 張量的正定及其分解

正定張量由祁力群于2005年定義［4］，它在醫(yī)學(xué)CT成像等領(lǐng)域有重要應(yīng)用［8］。為了定義（半）正定張量，先來定義對(duì)稱張量和一個(gè)m階n維張量A對(duì)應(yīng)的m次齊次多項(xiàng)式。

定義3 m階n維張量A＝（Ai1i2…im）稱為對(duì)稱張量，若其元素下標(biāo)任意排列后不改變?cè)卮笮?。全體對(duì)稱張量一定是超立方體，它為對(duì)稱矩陣的高階推廣。記全體m階n維超立方體構(gòu)成的集合為STm；n。

對(duì)稱張量的任意切片均為對(duì)稱張量［17］，3階張量A＝（Aijk）∈Rn×n×n在3個(gè)方向上的每個(gè)切片均為n階對(duì)稱矩陣。依照張量乘積定義，可定義張量（超立方體）A確定的多項(xiàng)式。

定義4 給定向量x∈Rn和m階n維張量A＝（Ai1i2…im）。A與對(duì)稱張量xm的乘積定義為

這里S（m，n）=｛（i1，…，im）：1≤ik≤n｝為A的所有元下標(biāo)構(gòu)成的集合。（9）式為A和張量xm的內(nèi)積。記Hm［x1，…，xn］為實(shí)數(shù)域向量x＝（x1，…，xn）T確定的全體n元m次齊次多項(xiàng)式構(gòu)成的集合（含零多項(xiàng)式）。那么

引理1 Hm（x1，…，xn）≌STm；n。

證明 先證明：若一個(gè)對(duì)稱張量A∈STm；n滿足

那么A=0（即A的每個(gè)元為零）。考慮任意的τ=（i1，…，im）∈S（m，n）。由A的對(duì)稱性，不妨假設(shè)1≤i1≤…≤im≤n。下面證明Aτ＝Ai1i2…im＝0。稱＜τ＞：=｛i1，…，im｝為τ的基集，t=|τ|：＝|＜τ＞|，即i1，…，im中兩兩不等的元素個(gè)數(shù)為t。不妨設(shè)

其中

取x∈Rn，使supp（x）=｛1，2，…，t｝。由（10）式，得

（13）式左邊為一個(gè)關(guān)于t個(gè)變?cè)獂1，…，xt的多項(xiàng)式，對(duì)所有x1，…，xt其值為零，因此，該多項(xiàng)式系數(shù)均為零。所以?σ=（i1，i2，…，im）∈S（m，n），Aσ=0，σ滿足（11）和（12）式。故Aτ=Ai1i2…im=0。

現(xiàn)假設(shè)對(duì)稱張量A，B∈STm；n滿足條件Axm=Bxm（?x∈Rn），則（A-B）xm=0，?x∈Rn。從而由上述結(jié)論知A=B，從而結(jié)論得證。

引理1說明n元m次齊次多項(xiàng)式與m階n維對(duì)稱張量的一一對(duì)應(yīng)關(guān)系。

定義5 一個(gè)對(duì)稱張量A稱為（半）正定張量，如果A滿足

（半）正定張量為（半）正定矩陣推廣。

推論1 一個(gè)非零（半）正定張量一定為偶數(shù)階張量。

證明 設(shè)A為半正定張量。若m為奇數(shù)，則A（-x）m=-Axm。因此，有

由引理1的證明可知，A=0，與題設(shè)矛盾，故m為偶數(shù)。

由推論1知不存在非零正定（半正定）張量。因此，以下考慮偶數(shù)階張量的正定性。注意到一個(gè)對(duì)稱矩陣為正定（半正定）當(dāng)且僅當(dāng)其特征值全為正（非負(fù)）。為此，先來介紹張量的特征值。張量的特征值和特征向量由Qi［5］和Lim［18］在2005年定義：

定義6 設(shè)A∈Tm；n。若存在非零向量x∈Cn和數(shù)λ∈C，使得

若m=2，則A為一個(gè)n×n矩陣，由（16）式不難發(fā)現(xiàn)，（15）式定義的特征值、特征向量為矩陣通常意義下的特征值與特征向量。

定義7［18］設(shè)A∈Tm；n。若存在非零實(shí)向量x∈Rn和實(shí)數(shù)λ，使得

則稱λ為A的一個(gè)Z-特征值，x為A對(duì)應(yīng)于λ的Z-特征向量。

Qi［4］證明了下面的結(jié)論：

定理1 設(shè)A∈STm；n且m為偶數(shù)。 則A一定存在H-特征值和Z-特征值，且A為正定（半正定）張量當(dāng)且僅當(dāng)A的所有H-特征值（或Z-特征值）均為正數(shù)（非負(fù)數(shù)）。

與對(duì)稱矩陣不同的是，一個(gè)對(duì)稱張量的特征值不一定為實(shí)數(shù)。由定理1知，偶數(shù)階對(duì)稱張量一定存在實(shí)特征值（H-特征值），而判定一個(gè)對(duì)稱張量是否正定（半正定）只需考察其所有H-特征值是否為正（非負(fù)）即可。這樣，判定張量正定性問題就轉(zhuǎn)化為求張量的最小H-特征值的正性即可。文獻(xiàn)［13］給出了對(duì)稱張量最小H-特征值（和Z-特征值）的一些可行（可計(jì)算）的上下界及用于改進(jìn)這些界的算法，為正定張量的判定提供了可行的充分性依據(jù)。

3 張量的行列式

眾所周知，一個(gè)n×n矩陣A的行列式 f（A）=det（A）為關(guān)于A的n2個(gè)元的連續(xù)函數(shù)，且f（A）關(guān)于A的列（行）向量具線性性，它可通過代數(shù)積和式、按行（列）展開或通過矩陣初等變換等方法進(jìn)行計(jì)算，還可用于計(jì)算A的特征多項(xiàng)式，從而計(jì)算A的特征值等不變量。但一個(gè)高階張量的行列式的定義要復(fù)雜得多。為了介紹張量行列式（盡管高階張量行和列的概念已模糊，但張量行列式（determinant）的意義已不局限于此），首先介紹預(yù)解式（resultant），一個(gè)在數(shù)論中廣泛應(yīng)用的概念［19］。

定義8 設(shè)P（x），Q（x）∈C［x］為次數(shù)分別為p，q的首一多項(xiàng)式。P和Q的根集（即滿足P（x）=0的解x構(gòu)成的集合）分別記為SP=｛a1，…，ap｝和SQ=｛b1，…，bq｝。（P，Q）的預(yù)解式Res（P，Q）定義為

注意到一個(gè)多項(xiàng)式的根為關(guān)于其系數(shù)的函數(shù)，故Res（P，Q）可視為關(guān)于P和Q的系數(shù)的函數(shù)。記

其中 P（x）=λ0xp+λ1xp-1+…+λp，Q（x）＝μ0xq+μ1xq-1+…+μq。 用多項(xiàng)式系數(shù)向量（次數(shù)遞減）P=［λ0，λ1，…，λp］，Q＝［μ0，μ1，…，μq］代替P和Q，則Res（P，Q）為關(guān)于ψP，Q的函數(shù)，記

由（18）式，Res（P，Q）=0當(dāng)且僅當(dāng)P，Q有公共根。

預(yù)解式Res（P，Q）可通過Sylvester矩陣來定義［17］。特別，P的判別式Δ（P）定義為Res（P）=Res（P，P'），即P與其導(dǎo)函數(shù)的預(yù)解式。一元多項(xiàng)式P有重根當(dāng)且僅當(dāng)Δ（P）=0。而方陣A的行列式det（A）可用于判定方程組Ax=0非零解存在性或A的奇異性，因此，det（A）可視為判斷A是否奇異的判別式。下面定義的對(duì)稱張量的行列式可視為判別對(duì)稱張量奇異性的判別式［19］。

定義9 設(shè)A=（ai1…im）∈STm；n。A的行列式f（A）≡det（A）為一個(gè)滿足以下條件的齊次多項(xiàng)式：

（1）f（A）＝0??0≠x∈Cn，s.t.Axm-1=0；

（2）若A為單位張量，則f（A）=1；

（3）f（A）為關(guān)于nm元（ai1…im）的不可約多項(xiàng)式。

由文獻(xiàn)［19］中第13章知，給定對(duì)稱張量A，f（A）≡det（A）存在且唯一。作為ai1…im的整系數(shù)多項(xiàng)式，f有很多好的特性，如關(guān)于A的切片的對(duì)稱性等，在此不再討論。下面例子給出了一個(gè)2×2×2張量的行列式。

例2 設(shè)A＝（aijk）∈R2×2×2。A的行列式det（A）為

其中

令X=A（：）∈R8。為方便，記Q1=［x11，x12；x21，x22］，Q2=［y11，y12；y21，y22］。則det（A）為一個(gè)8元4次齊次多項(xiàng)式。運(yùn)用MATLAB符號(hào)計(jì)算，發(fā)現(xiàn)其展開式中共12項(xiàng)，即

4 Hankel張量和Vandermonde張量

Hankel張量研究起源于2013年祁力群的工作［9］，而Vandermonde張量由筆者在文獻(xiàn)［16］中首次提出。記x=（x1，…，xn）T，由x生成的n階Vandermonde矩陣，簡稱V-矩陣，記為V=V（x）=（aij），滿足

Vandermonde矩陣行列式（范德蒙行列式）由公式

給出。由（21）式可見，V為奇異矩陣當(dāng)且僅當(dāng)x有取值相等的分量。

若n=2k-1為奇數(shù)，則由x可定義一個(gè)k階Hankel矩陣，H=H（x）=（hij），滿足

注意到Hankel矩陣為對(duì)稱矩陣，而V-矩陣一般為非對(duì)稱矩陣。

現(xiàn)將這兩類矩陣推廣至張量情形。

定義10 給定n維向量x。由x確定的Vandermonde-張量（簡稱V-張量）由

給出，其中

當(dāng)m=2時(shí)，V-張量即范德蒙矩陣。因此，（23）式為（20）式的推廣。

定義11 設(shè)n=2k-1為奇數(shù)且x∈Rn。x關(guān)聯(lián)的m階Hankel張量H=（hi1i2…im）由

定義。

顯然，一個(gè)2階n維Hankel張量即為一個(gè)Hankel矩陣。

定義12 給定m階張量A∈Tm；n。A沿方向k的一條纖維（fiber）是指通過固定除ik以外的所有下標(biāo)is得到的一個(gè)n維列向量，即?σ=（i1，…，ik-1，ik+1，…，iN）∈S（k）（I）

沿方向n的纖維有nm-1條。將這些纖維作為列向量按原有順序排列，得大小為n×nm-1矩陣A（k），它稱為張量A沿方向k經(jīng)矩陣化后得到的矩陣。對(duì)A∈Rn×n×n，A的矩陣化后得

利用張量矩陣化，可計(jì)算高階張量SVD分解（HOSVD），從而可對(duì)張量進(jìn)行低秩逼近。在此略去有關(guān)高階張量SVD的算法和原理，可參見文獻(xiàn)［18］。文獻(xiàn)［15］證明了以下結(jié)論：

由（25）式，定義一個(gè)Hankel張量A的Hankel秩為A的所有形如（25）式的分解中最小可能的數(shù)N，記為hrank（A）=N。有關(guān)Hankel張量的研究，可參見文獻(xiàn)［13，15］。

設(shè)x＝（x1，…，xn）T∈Rn。x稱為是一個(gè)Noi-向量，若x滿足以下兩個(gè)條件：

（1）xk≠0，?k∈［n］；

（2）?i，j∈［n］，i≠j?xi≠xj。

文獻(xiàn)［16］中證明了：

定理3 設(shè)x＝（x1，…，xn）T∈Rn，V為與x關(guān)聯(lián)的V-矩陣，A是與x關(guān)聯(lián)的V-張量。則A×1V為Hankel張量，且hrank（A×1V）≤n。進(jìn)一步，hrank（A×1V）=n當(dāng)且僅當(dāng)x為一個(gè)Noi-向量。

形如（25）式的分解稱為張量的Vandermonde分解（V-分解）。文獻(xiàn)［12－13，15－16］中運(yùn)用V-分解研究了Hankel張量，文獻(xiàn)［15］還定義了強(qiáng)Hankel張量和完全Hankel張量。文獻(xiàn) ［16，20］中給出了Vandermonde張量、全正（Totally positive）張量的定義，研究了V-張量的基本性質(zhì)，證明了一個(gè)Vandermonde張量一定為全正張量。

［1］HITCHCOCK F L.The expression of a tensor or polyadic as a sum of products［J］.J Math Phys，1927，6：164-189.

［2］TUCKER L R.Some mathematical notes on three-mode factor analysis［J］.Psychometrika，1966，31：279-311.

［3］HARSHMAN R A.Foundations of the PARAFAC procedure：Models and conditions for an explanatory multi-modal factor analysis［J］.UCLA Working Papers in Phonetics，1970，16：1-84.

［4］QI L.Eigenvalues of a supersymmetric tensor and positive definiteness of an even degree multivariate form［R］.Hong Kong：Depart of Applied Mathematics，The Hong Kong Polytechnic University，2004.

［5］QI L.Eigenvalues of a real supersymmetric tensor［J］.J of Symbolic Computation，2005，40：1302-1324.

［6］QI L.Rank and eigenvalues of a supersymmetric tensor，the multivariate homogeneous polynomial and the algebraic hypersurface it defines［J］.J of Symbolic Computation，2006，41：1309-1327.

［7］QI L.Eigenvalues and invariants of tensors［J］.J of Math Analy Appl，2007，325：1363-1377.

［8］QI L，YU G，WU E X.Higher order positive semi-definite diffusion tensor imaging［J］.SIAM J on Imag Sci，2010，3：416-433.

［9］QI L.Symmetric nonnegative tensors and copositive tensors［J］.Linear Algebr Appl，2013，439：228-238.

［10］QI L，SONG Y.An even order symmetric B tensor is positive definite［J］.Linear Algebr Appl，2014，457：303-312.

［11］LIO Z，QI L，YE Y.Linear operators and positive semidefiniteness of symmetric tensor spaces［J］.Science China Mathematics，2015，58：197-212.

［12］DING W，QI L，WEI Y.Fast Hankel tensor-vector products and application to exponential data Fitting［J］.Numer Linear Algebr Appl，2015，22：814-832.

［13］LI G，QI L，XU Y.SOS Hankel tensors：Theory and application［J］.2014，ArXiv：1410.6989.

［14］QI L，XU C，XU Y.Nonnegative tensor factorization，completely positive tensors and an Hierarchically elimination algorithm［J］.SIAM J Matrix Anal Appl，2014，35：1227-1241.

［15］QI L.Hankel tensors：Associated Hankel matrices and Vandermonde decomposition［J］.Comm in Math Sci，2015，13：113-125.

［16］XU C.Hankel tensors，Vandermonde tensors，and their positivities［J］.Linear Algebra&Its Applications，2016，491：56-72.

［17］CHANG K C，PEARSON K，ZHANG T.Perron Frobenius theorem for nonnegative tensors［J］.Commu Math Sci，2008，6：507-520.

［18］LIM L H.Singular values and eigenvalues of tensors：A variational approach，in CAM-SAP2005［C］//1st IEEE Int'l Workshop on Comput.Palo Alto：Advances in Multi-Sensor Adaptive Processing，2005：129-132.

［19］GELFAND I，KAPRANOV M，ZELEVINSKY A.Discriminants，Resultants and Multidimensional Determinants，Birkhauser［M］.Boston：Publisher Birkh?user，1994.

［20］XU C.The positivities of Vandermonde tensors［J］.Algebra，DOI：10.1080/03081087.2015.1122722.

責(zé)任編輯：謝金春

The CP decomposition of tensors，PSD tensors and Vandermonde tensors

XU Changqing1，QI Liqun2
（1.School of Mathematics and Physics，SUST，Suzhou 215009，China；2.Department of Applied Mathematics，The Hong Kong Polytechnic University，Hong Kong 999077，China）

Tensors，also called hypermatrices，are the generalization of matrices.In this paper，we first introduced some basic concepts related to tensors，such as eigenvalues and hyperdeterminant，and some basic operations on tensors （mainly the products of tensors）.Then，we reviewed the recent researches on the tensor rank-1 decomposition （also called the PARAFAC decomposition），positive semidefinite tensors，Hankel tensors and Vandermonde tensors.

tensor；tensor decomposition；Hankel tensor；Vandermonde tensor；positive semidefinite tensor

O151 MR（2000）Subject Classification：15A72

A

1672-0687（2016）02-0001-07

2015-12-30

國家自然科學(xué)基金重大項(xiàng)目（61190114/F0102）；香港政府研究基金資助項(xiàng)目（PolyU 502111；501212；501913；15302114）

徐常青（1966-），男，安徽安慶人，教授，博士，研究方向：張量分析與應(yīng)用。祁力群（1946-），男，江蘇揚(yáng)州人，教授，博士，博士生導(dǎo)師，研究方向：計(jì)算數(shù)學(xué)與張量分析；俄羅斯Petrovskaya科學(xué)院外籍院士、美國密執(zhí)根大學(xué)及中國科學(xué)院應(yīng)用數(shù)學(xué)所客座教授、澳大利亞Curtin科技大學(xué)教授。