張量稀疏性度量綜述

謝 琦，張 勇，孟德宇

(1.西安交通大學 數(shù)學與統(tǒng)計學院，西安 710049；2.西安交通大學 第一附屬醫(yī)院，西安 710049)

0 引 言

從通常意義上理解，先驗是一個與經(jīng)驗相對的概念。它先于經(jīng)驗，卻對經(jīng)驗的形成有著很大的影響，甚至有時它是經(jīng)驗形成不可或缺的部分。在機器學習問題中，如果觀測數(shù)據(jù)中能提供的經(jīng)驗信息不是非常充分，或是觀測數(shù)據(jù)中蘊含的經(jīng)驗信息難以利用時，先驗知識的指導作用將變得尤為關鍵。從數(shù)學上看，先驗知識的作用可以通過模型中的正則函數(shù)體現(xiàn)。當損失函數(shù)對應的模型是欠定問題或近似欠定問題時，它可以引導模型篩選得到合理的解。舉如下的數(shù)據(jù)恢復模型為例

(1)

稀疏性是一種很多現(xiàn)實數(shù)據(jù)都共有的一般化屬性，因此，它作為一種常見的數(shù)據(jù)先驗在大量應用問題中得到了廣泛的關注。

簡單來說，稀疏性是指現(xiàn)實數(shù)據(jù)可被少數(shù)基元素進行充分表達的特性。很多類型的應用數(shù)據(jù)本身就具有稀疏性特點，而也有不少數(shù)據(jù)通過某種變換，也具備較為顯著的稀疏性特征。依舊舉圖像去噪問題為例，當用TV范數(shù)刻畫“自然圖像是比較平滑的”這一屬性時，其實可以等價理解為把這一屬性近似地用“自然圖像數(shù)據(jù)在差商變換后將具有較強稀疏性”這一易于表達的屬性進替換。這意味著經(jīng)過了差商變換的自然圖像，具備了稀疏性的特點。

由于現(xiàn)實數(shù)據(jù)廣泛具有的稀疏性特征，如何使用量化方式有效刻畫數(shù)據(jù)稀疏性度量，即如何構造有效刻畫數(shù)據(jù)稀疏性的正則函數(shù)形式，是機器學習、數(shù)據(jù)挖掘、模式識別等諸多領域關注的問題。

對于具有向量(1階數(shù)組)與矩陣(2階數(shù)組)形式的數(shù)據(jù)，已存在較為成熟的稀疏性表達度量。本文將向量意義下的稀疏性稱為1階稀疏性，對應的稀疏性度量稱為1階稀疏性度量；在矩陣意義下，低秩性可以理解為表達矩陣所需的最少基底的數(shù)量，這正滿足我們對稀疏性的定義。出于一致性的考慮，本文將矩陣的低秩性稱為2階稀疏性，對應的稀疏性度量稱為2階稀疏性度量。目前，1階稀疏性度量與2階稀疏性度量均存在受到廣泛認可的數(shù)學表達形式，我們一般用向量形式數(shù)據(jù)中的非零元素個數(shù)(即l0范數(shù))作為1階稀疏性度量，用矩陣形式數(shù)據(jù)的數(shù)據(jù)矩陣秩作為2階稀疏性度量。這2種稀疏性度量及其松弛形式(如，l1范數(shù)與核范數(shù))都展示出對稀疏性良好的刻畫能力，延伸出一系列基于稀疏或低秩的數(shù)學模型[1-8]并已得到廣泛的應用。

然而，對于張量(高階數(shù)組)數(shù)據(jù)的合理稀疏性度量的構造，盡管已有一些研究，但仍然尚未形成統(tǒng)一的解決方案。本文將對張量稀疏性研究的現(xiàn)狀進行綜合介紹，回顧目前在此方向的研究進展以及所取得的典型應用，并著重介紹本研究小組所構造的一種新型張量稀疏性度量。相比傳統(tǒng)度量，所提出的張量稀疏性度量不僅充分編碼了對于張量的2種經(jīng)典分解方式(Tucker分解與 CANDECOMP/PARAFAC (CP) 分解)的稀疏性內(nèi)涵，而且具有與傳統(tǒng)的向量/矩陣稀疏性度量的統(tǒng)一性，并且蘊含顯著的物理含義(張量表達的1秩Kronecker基個數(shù))，幾種張量分解展示如圖1。其中，αi(i=1,…,k)代表基向量，σi(i=1,…,r)代表矩陣的奇異值向量。此外，也將介紹此張量稀疏性度量在多光譜圖像去噪、填充等問題中獲得的state-of-the-art應用表現(xiàn)，從而說明其合理性與有效性。

1 高階稀疏性度量的研究現(xiàn)狀

隨著數(shù)據(jù)獲取技術的飛速發(fā)展，用以描述數(shù)據(jù)的特征結構越來越豐富與復雜，更多問題中的數(shù)據(jù)往往呈現(xiàn)高階數(shù)組，即張量的表達格式。此時，機器學習更適宜在張量上直接操作，而非將其簡化為向量或矩陣的格式，從而避免有用結構信息的損失。因此，一個自然的問題就是如何將1階與2階稀疏度性度量向高階張量做有效推廣。相比1階與2階情形，高階張量具有更加復雜的代數(shù)性態(tài)與物理特性，對其構造有效稀疏性度量也具有更大的難度，對該問題目前仍未形成學界公認的統(tǒng)一解決方案。

圖1 幾種張量分解的展示Fig.1 Demonstrations of several tensor decomposition formats

CP秩是一種典型的高階稀疏度量[9]，其定義為組成目標張量的最少秩1張量的個數(shù)。CP秩作為高階稀疏性度量的優(yōu)點是其與傳統(tǒng)的1階與2階稀疏性度量一致，并且定義十分簡單直觀。然而，CP秩的計算是一個NP難的問題，且很難構造方便計算的松弛形式，其計算的困難性導致其很難有效應用于真實的稀疏建模問題中。

另一種典型的高階稀疏性度量是Tucker秩[10]，其定義為一個由張量各個方向展開矩陣的秩組成的數(shù)組(其長度為張量的維度數(shù)目)。因為Tucker秩是基于矩陣秩定義的，所以其計算較為方便，往往可直接基于矩陣相關的計算技術直接移植改造。但Tucker秩是一個數(shù)組而非實數(shù)，所以并不合適直接用來作為模型的優(yōu)化目標?？刹捎萌缦潞唵沃庇^的方法將其量化[11]

(2)

(3)

因此，現(xiàn)有的高階張量稀疏性度量仍有一定的缺陷，存在提高的空間。針對這一問題，對高階張量稀疏性進行進一步探討，并嘗試給出一種新的高階稀疏性度量。

2 一種新的高階稀疏性度量

在給出新的稀疏性度量之前，首先通過CP分解與Tucker分解對高階稀疏性的本質(zhì)進行簡單的探討。

(4)

(5)

(5)式中，S∈RR1×R2…×RN，ri≤Ri≤Ii。當對基矩陣Ui中的列合理排序時，S中的非零元將只分布在左上角r1×r2…×rN大小的方塊區(qū)域內(nèi)。此時，可以看到，Tucker秩(r1,r2,…,rN)即核張量中方塊非零區(qū)域的各邊大小。然而，實際的3階數(shù)據(jù)的核張量中，非零元元素沿各層呈現(xiàn)較為復雜的變化形態(tài)，Tucker秩并不能有效刻畫這樣的非零分布差異性，而僅提供了能夠包含所有非零分布的一個張量塊的大小，提供了一個較為粗糙的核張量非零元個數(shù)上界，圖2展示了一個簡單的例子。

圖2 干凈與帶噪的高光譜圖的核張量示例Fig.2 Illustration of the core tensors of the clean and noisy multispectral images

從上面的分析中可以觀察到，無論CP秩還是Tucker秩對張量的稀疏性的刻畫都不全面，而他們刻畫的內(nèi)容一定程度上是互補的。事實上，Tucker分解也可以寫成秩1矩陣加和的形式

(6)

(6)式中：ui1,…iN為所有Uj的第ij列的積(j=1,…,N)得到的秩1張量。S中非零元素的個數(shù)即代表張量需要的Kroneker基的個數(shù)(與CP分解中的Kroneker基的不同在于這里的Kroneker基是由各基矩陣Uj的列外積而來)，其提供了CP秩的一個上界，由此，可以看出Tucker分解的核張量提供了一個CP秩的約束。

基于以上認識，我們認為核張量中與高階稀疏度相關的信息主要可以歸納如下。

1)細描述：核張量的非零元素的數(shù)量(細致刻畫核張量中非零元分布)

2)粗約束：核張量中方塊非零區(qū)域的大小(提供核張量非零元個數(shù)的上界)

其中，2)也是Tucker秩以及秩和(2)式稀疏性度量的刻畫內(nèi)容。

基于上述對張量稀疏性的認識，提出了如下的高階稀疏性度量[19]

(7)

相比傳統(tǒng)張量稀疏性，該度量具有如下一些獨特的優(yōu)點。

1)所提稀疏性度量具有明確物理意義。其第1項度量了表達張量所需的Kroneker基數(shù)量，第2項刻畫了表達張量所需Kroneker基數(shù)量的一個約束上界。兩者的意義是統(tǒng)一的，第1項是對Kroneker基數(shù)量的細致刻畫，第2項是對該數(shù)量的一個正則約束。

2)所提稀疏性度量與傳統(tǒng)1階與2階稀疏性度量內(nèi)涵具有一致性。傳統(tǒng)的1階向量稀疏性可理解為其在特定字典下本質(zhì)表達原數(shù)據(jù)的向量基，即1階Kroneker基個數(shù)；2階矩陣稀疏性即為表達原數(shù)據(jù)所需秩1矩陣，即2階Kroneker基個數(shù)。因此，其物理意義完全統(tǒng)一。而從表達形式上來看，對于1階稀疏性度量‖x‖0，所提稀疏度量為S(x)=t‖x‖0+(1-t)‖x‖0，顯然，其關于‖x‖0是單調(diào)的；對于傳統(tǒng)2階稀疏性度量rank(X)，所提稀疏度量為S(X)=t·rank(X)+(1-t)·rank(X)2，顯然，它關于rank(X)也是單調(diào)的。因此，從對稀疏性的量化刻畫上看，與傳統(tǒng)稀疏性度量具有一致性。

(8)

這說明，只要合理選取wi，傳統(tǒng)的加權秩和形式的正則作用與所提模型的第2項將十分相似。反過來，(8)式也提供了一種wi的選取方式，不難推出這種選取方式在直觀是非常合理的：低秩性強的方向要對應更大的權，低秩性弱的方向要對應更小的權。

3 實驗結果

本節(jié)將簡單展示所提稀疏性度量應用到多光譜圖像去噪的實驗結果。

這個實驗中，將所提的稀疏性度量應用到多光譜圖恢復過程中，相似全光譜圖塊的相似組組成的3階張量恢復模型中(構建的方法記為ITS-denoising)，具體的方法可以參見文獻[20]。

對比方法包括K-SVD[21]， BM3D[22]作為逐幀圖像處理方法的代表，3DK-SVD[23]， ANLM3D[24], BM4D[25]作為3D小塊上處理方法的代表；LRTA[26]， PARAFAC[27]， TDL[28]， t-SVD[18]，LRTV[29]作為其于張量恢復類的方法的代表。使用的評價指標包括：峰值信噪(peak signal-to-noise ratio, PSNR)，結構相似性(structure similarity， SSIM)，特征相似性(feature similarity， FSIM)和ERGAS(erreur relative globale adimensionnelle de synthèse)。其中，前3個指標越高代表去噪效果越好，而最后一個指標越高代表去噪效果越好。

在Columbia 多光譜圖數(shù)據(jù)[25]上進行仿真實驗，這個數(shù)據(jù)中有32個多光譜圖，每個多光譜圖的大小為512×512×31。分別測試了數(shù)據(jù)人工加入標準差在0.1～0.3之間的幾種高斯噪聲后進行去噪的實驗效果。實驗結果如圖4與表1。圖4a為多光譜圖chart and staffed toy的2幀；圖4b為方差為0.2的帶噪圖片展示；圖4c—圖4m為11種方法的處理結果對比，其中，2個方框區(qū)域是對應的2個小框區(qū)域的放大并提高相同亮度的結果。容易看出，不論在數(shù)值比較上還是視覺效果上，所提稀疏性度量都能較大地提升多光譜圖像去噪的精度。表1最后一行數(shù)字為最佳結果。

圖4 10種對比方法及所提的ITS-denoising方法在chart and staffed toy的2幀上的結果展示Fig.4 Result of the 10 competing methods and the proposed ITS-denoising method at two bands (400 nm and 700 nm) of chart and staffed toy

方法PSNRSSIMFSIMERGASNosiy image14.59±3.380.06±0.050.47±0.151 151.54±534.17BwK-SVD27.77±2.010.47±0.100.81±0.06234.58±66.73BwBM3D34.00±3.390.86±0.060.92±0.03116.91±42.763DK-SVD30.31±2.230.69±0.060.89±0.03176.58±43.78LRTA33.78±3.370.82±0.090.92±0.03120.79±46.06PARAFAC31.35±3.420.72±0.120.89±0.04160.66±66.95ANLM3D34.12±3.190.86±0.070.93±0.03117.01±35.79LRTV32.30±3.020.82±0.080.91±0.03140.25±44.15TDL35.71±3.090.87±0.070.93±0.0496.21±34.36BM4D36.18±3.030.86±0.070.94±0.0391.20±29.70t-SVD35.88±3.100.91±0.040.96±0.0293.65±31.68ITS-denoising37.78±3.320.90±0.070.96±0.0277.35±30.16

同時也在Urban多光譜圖數(shù)據(jù)上進行實際數(shù)據(jù)的去噪實驗，結果如圖5，圖 5a為多光譜圖Urban的一幀; 圖5b—圖5l為11種方法的結果對比，可以看出，所提稀度量能較為明顯地在保持圖像細節(jié)的前提下去除噪聲。

4 總 結

本文基于前人的工作，對高階張量稀疏性度量進行了探討，認為其本質(zhì)與張量秩1的Kroneker基個數(shù)緊密相關，并借由張量Tucker分解與CP分解中對Kroneker基相應的內(nèi)涵理解構造了新型的張量稀疏性度量。相比已有度量，其不僅具有顯著的物理含義，且與傳統(tǒng)的1階與2階稀疏性度量具有內(nèi)在一致性。特別地，其可以提供傳統(tǒng)張量稀疏性度量的加權格式理解。在多光譜數(shù)據(jù)的去噪、填充與視頻數(shù)據(jù)的背景提取問題中，所提張量稀疏性度量均體現(xiàn)了顯著的應用有效性。在未來的工作中，將研究如何使用更簡單的形式對所提的2個性質(zhì)進行刻畫，并進對所提的稀疏性度量的理論性質(zhì)進行必要的研究。

圖5 10種對比方法及所提的ITS-denoising方法在 Urban 數(shù)據(jù)的一幀上的結果展示Fig.5 Result of the 10 competing methods and the proposed ITS-denoising method at two bands of Urban data set