基于核技巧和超圖正則的稀疏非負(fù)矩陣分解

余江蘭 李向利 趙朋飛

摘 要：針對傳統(tǒng)的非負(fù)矩陣分解（NMF）應(yīng)用于聚類時，沒有同時考慮到魯棒性和稀疏性，導(dǎo)致聚類性能較低的問題，提出了基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法（KHGNMF）。首先，在繼承核技巧的良好性能的基礎(chǔ)上，用L2，1范數(shù)改進標(biāo)準(zhǔn)非負(fù)矩陣分解中的F范數(shù)，并添加超圖正則項以盡可能多地保留原始數(shù)據(jù)間的內(nèi)在幾何結(jié)構(gòu)信息;其次，引入L2，1/2偽范數(shù)和L1/2正則項作為稀疏約束合并到NMF模型中;最后，提出新算法并將新算法應(yīng)用于圖像聚類。在6個標(biāo)準(zhǔn)的數(shù)據(jù)集上進行驗證，實驗結(jié)果表明，相對于非線性正交圖正則非負(fù)矩陣分解方法，KHGNMF使聚類性能（精度和歸一化互信息）成功地提升了39%～54%，有效地改善和提高了算法的稀疏性和魯棒性，聚類效果更好。

關(guān)鍵詞：非負(fù)矩陣分解;超圖正則;L2，1/2矩陣偽范數(shù);稀疏性;魯棒性;L2，1范數(shù)

中圖分類號： TN919.81

文獻標(biāo)志碼：A

文章編號：1001-9081（2019）03-0742-08

Abstract： Focused on the problem that when ?traditional Non-negative Matrix Factorization （NMF） is applied to clustering， ?robustness and sparsity are not considered at the same time， which leads to low clustering performance， a sparse Non-negative Matrix Factorization algorithm based on Kernel technique and HyperGraph regularization （KHGNMF） was proposed. Firstly， on the basis of inheriting good performance of kernel technique， L2，1 norm was used to improve F-norm of standard NMF， and hyper-graph regularization terms were added to preserve inherent geometric structure information among the original data as much as possible. Secondly， L2，1/2 pseudo norm and L1/2 regularization terms were merged into NMF model as sparse constraints. Finally， a new algorithm was proposed and applied to image clustering. The experimental results on six standard datasets show that KHGNMF can improve clustering performance （accuracy and normalized mutual information） by 39% to 54% compared with nonlinear orthogonal graph regularized non-negative matrix factorization， and the sparsity and robustness of the proposed algorithm are increased and the clustering effect is improved.

Key words： Non-negative Matrix Factorization （NMF）; hypergraph regularization; L2，1/2-matrix pseudo norm; sparsity; robustness; L2，1-norm

0 引言

近年來，矩陣分解技術(shù)在數(shù)據(jù)表示方面的應(yīng)用吸引了越來越多人的關(guān)注。傳統(tǒng)的矩陣分解方法主要有主成分分析（Principal Component Analysis， PCA）、 獨立分量分析（Independent Component Analysis， ICA）、 奇異值分解（Singular Value Decomposition， SVD） 和矢量量化（Vector Quantization， VQ）等。在這些方法中，原始矩陣被近似分解為多個低秩矩陣的乘積，但這些方法在處理數(shù)據(jù)時有兩個共同的缺點：1）不能保證分解結(jié)果的非負(fù)性。從計算的角度看，分解結(jié)果中存在負(fù)值是正確的，但在實際問題中負(fù)值元素往往是沒有意義的或無法解釋的。2）傳統(tǒng)的矩陣分解方法對數(shù)據(jù)的表示是基于整體的而不是基于部分的。

1999年，Lee等[1]在《Nature》雜志上發(fā)表文章，非負(fù)矩陣分解（Non-negative Matrix Factorization， NMF）的概念才被正式提出，并立即受到廣泛的關(guān)注。NMF是一種用于數(shù)據(jù)分析的多變量分析技術(shù)[1-3]。由于它對真實存在的事物有著良好的物理解釋，NMF 已經(jīng)被成功應(yīng)用到各種領(lǐng)域，比如，文本聚類[4-6]、圖像表示和圖像聚類[7-8]、人臉識別[9]、計算機視覺[10]、機器學(xué)習(xí)[11]和模式識別[12]等領(lǐng)域很多研究表明，與傳統(tǒng)的矩陣分解方法相比，NMF都要優(yōu)于傳統(tǒng)的矩陣分解方法，例如，NMF在人臉識別[13]和文檔聚類[14]中被證明優(yōu)于SVD。NMF是學(xué)習(xí)對象部分的最佳選擇。然而，標(biāo)準(zhǔn)的NMF也存在一些缺陷，比如：1）NMF只適用于非負(fù)數(shù)據(jù)矩陣，而數(shù)據(jù)基于部分表示的解釋能力較弱;2）NMF不能探索數(shù)據(jù)的幾何結(jié)構(gòu)和類標(biāo)簽信息;3）NMF只能用于原始的特征空間，不能利用核化的性質(zhì)[15]等。

聚類是特征學(xué)習(xí)和計算機視覺的重要且具有挑戰(zhàn)性的任務(wù)之一。圖像聚類是基于內(nèi)容的圖像檢索、圖像注釋和其他高級圖像處理應(yīng)用的重要步驟。要完成這些任務(wù)，必須獲得圖像的適當(dāng)表示。而NMF方法作為一種處理大規(guī)模數(shù)據(jù)的矩陣分解方法，它已逐漸成為圖像、文本聚類與數(shù)據(jù)挖掘等領(lǐng)域最受歡迎的工具之一。近年來，NMF在聚類中得到了顯著的發(fā)展，特別是，具有平方誤差成本函數(shù)的NMF等價于松弛k-均值聚類，因此對線性可分?jǐn)?shù)據(jù)進行聚類是有效的。通過在高維空間中找到低維的流形，在聚類的過程中，流行學(xué)習(xí)可以實現(xiàn)維度的降低，其中流行學(xué)習(xí)算法包括等距映射（Isomap）[16]、 局部線性嵌入（Locally Linear Embedding， LLE）[17]、 拉普拉斯特征映射（Laplacian Eigenmap， LE）[18]、 局部切空間排列（Local Tangent Space Alignment， LTSA）[19]和有辨別的位置排列（Discriminative Locality Alignment， DLA）[20]等。在過去的幾十年里，為了克服標(biāo)準(zhǔn)NMF的局限性，很多學(xué)者提出了很多擴展版的NMF。Li等[13]提出了一種局部非負(fù)矩陣分解（Locally Non-negative Matrix Factorization， LNMF）方法，以學(xué)習(xí)空間局部化的、視覺模式基于子空間的表示。Hoyer等[21]提出了稀疏非負(fù)矩陣分解，展示了如何顯式地合并“稀疏”的概念，從而改進標(biāo)準(zhǔn)的NMF。Ding等[22]提出了凸非負(fù)矩陣分解，雖然NMF 獲得的基和編碼向量可以代表低維的原始數(shù)據(jù)，但它的表示并不總是反映嵌入在數(shù)據(jù)中的固有幾何結(jié)構(gòu)?？紤]到矩陣分解和局部流行假設(shè)，Cai 等[23]在傳統(tǒng)NMF的基礎(chǔ)上添加流行學(xué)習(xí)，提出了圖正則非負(fù)性矩陣分解（Graph regularized Non-negative Matrix Factorization， GNMF）方法。Liu等[24]提出了受限的非負(fù)矩陣分解（Constrained Non-negative Matrix Factorization， CNMF），它將標(biāo)簽信息合并為額外的硬約束，CNMF可以保證具有相同類標(biāo)簽的數(shù)據(jù)點必須合并在新的表示空間中。受流行學(xué)習(xí)和凸非負(fù)矩陣分解（CNMF）的啟發(fā)，Hu等[25]提出了圖正則化的凸非負(fù)矩陣分解（Graph regularized and Convex Non-negative Matrix Factorization， GCNMF）。Babaee等[26]提出了有辨別的非負(fù)矩陣分解（Discriminated Non-negative Matrix Factorization， DNMF）。為了更好地使用類標(biāo)簽信息，許多研究人員將標(biāo)簽信息約束合并到NMF的框架中，Yang等[27]提出了帶有硬約束的圖正規(guī)化和稀疏非負(fù)矩陣分解（Graph regularized and Sparse Non-negative Matrix Factorization with hard Constraints， GSNMFC）算法。之后，Wang等[28]提出了超圖正則非負(fù)矩陣分解（Hypergraph Regularized Non-negative Matrix Factorization， HRNMF）。Tolic等[29]進一步擴展了非線性正交NMF框架，并引入了圖形正則化，以獲得在非線性映射后數(shù)據(jù)的局部幾何結(jié)構(gòu)的分解。此外，基于標(biāo)準(zhǔn)的NMF模型，在添加不同的約束條件下，還有很多擴展版的NMF被不斷提出。

雖然以上這些不同版本的NMF都在不同程度上改進了標(biāo)準(zhǔn)的NMF方法，但它們并沒有同時考慮到算法的稀疏性和魯棒性等問題。為了解決以上問題，受到Wang 等[28]和Tolic等[29]的啟發(fā)，本文在繼承核技巧的良好性質(zhì)的基礎(chǔ)上，用L2，1范數(shù)改進標(biāo)準(zhǔn)NMF中的F范數(shù)，并添加超圖正則項盡可能多地保留原始數(shù)據(jù)間的內(nèi)在幾何結(jié)構(gòu)信息，再將L2，1/2矩陣偽范數(shù)和L1/2正則項作為稀疏約束合并到NMF中，提出了一種新的非負(fù)矩陣分解方法，即基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法（a sparse Non-negative Matrix Factorization algorithm based on Kernel technique and HyperGraph regularization， KHGNMF）。本文提出的基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法有以下幾個優(yōu)點：

1）繼承了核技巧的良好性質(zhì)，在實際計算中很大程度上減少了CPU運行時間，達到了優(yōu)化算法的目的;

2）用L2，1范數(shù)改進標(biāo)準(zhǔn)NMF中的F范數(shù)作為目標(biāo)函數(shù)的殘差項，有效地處理原始數(shù)據(jù)中存在的噪聲值和異常值點，提高增強了算法的魯棒性;

3）將L2，1/2矩陣偽范數(shù)和L1/2正則項作為額外的稀疏約束，改進了算法的稀疏性。

本文的剩余部分組織結(jié)構(gòu)如下。第一部分介紹了相關(guān)的背景理論知識; 第二部分主要是本文提出的新算法，包括算法的更新迭代規(guī)則和收斂性分析; 第三部分是在6個流行數(shù)據(jù)上作的數(shù)值實驗; 最后部分是對本文的總結(jié)。本文中Ai表示矩陣A的第i列，Ai表示A矩陣的第i行，A是任意矩陣。

1 相關(guān)理論背景

1.1 標(biāo)準(zhǔn)的非負(fù)矩陣分解

1.2 超圖學(xué)習(xí)理論

超圖模型已經(jīng)被證明對各種聚類或者分類任務(wù)很有好處。超圖學(xué)習(xí)是在簡單圖的基礎(chǔ)學(xué)習(xí)延伸而來的，簡單圖的模型僅僅只考慮了數(shù)據(jù)樣本兩兩間的關(guān)系，這將導(dǎo)致對某些復(fù)雜關(guān)系信息的丟失，而這些信息在實際應(yīng)用中是至關(guān)重要的，比如，通過成對的相似性找到兩個相近的數(shù)據(jù)樣本的關(guān)系是比較容易的，但是卻很難推斷是否有一組（超過兩個）的相似數(shù)據(jù)樣本。與簡單圖不同的是，超圖可以捕捉多個數(shù)據(jù)樣本之間的高階關(guān)系數(shù)據(jù)的流行結(jié)構(gòu)，從而盡可能多地保留了原始數(shù)據(jù)樣本的內(nèi)在幾何結(jié)構(gòu)信息，同時這也將有效地模擬超譜圖的譜空間連接點的結(jié)構(gòu)。接下來介紹一些關(guān)于超圖的常用理論[28]。

為了簡便起見，幾何圖形解釋如圖1，所示對應(yīng)的頂點與超邊的關(guān)聯(lián)矩陣見表1。

1.3 核技巧學(xué)習(xí)

根據(jù)模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實現(xiàn)線性可分，但是如果直接采用這種技術(shù)在高維空間進行分類或回歸會存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題。而核函數(shù)不用處理數(shù)據(jù)如何從低維空間映射到高維空間的問題，而是直接計算低維空間兩個向量在高維空間的乘積，即把兩個低維空間的向量映射成高維空間的內(nèi)積。核函數(shù)的廣泛應(yīng)用于是因為它有好的性質(zhì)，比如：核函數(shù)的引入很大程度上減少了計算量，可以有效地處理輸入的高維數(shù)據(jù);在計算過程中無需知道非線性變換函數(shù)的形式和參數(shù)，便于計算。

2 基于核技巧和超圖正則的NMF

2.1 目標(biāo)函數(shù)

在文獻[29]中，Tolic等在考慮空間數(shù)據(jù)的非線性時，以強調(diào)非線性NMF的正交性來保留聚類的合理解釋，并運用了核技巧的相關(guān)知識對NMF優(yōu)化問題進行求解。

對原始數(shù)據(jù)作非線性映射，將其映射到高維（或無限）空間中，即xi→Φ（xi），或者：

非線性NMF旨在將兩個非負(fù)因子矩陣的乘積無限逼近原始數(shù)據(jù)矩陣的映射Φ（X）。在文獻[29]中，Dijana等提出的非線性正交圖正則非負(fù)矩陣分解方法（Nonlinear Orthogonal Graph regularized Non-negative Matrix Factorization， NOGNMF）的目標(biāo)函數(shù)如下：

此模型的優(yōu)勢在于運用了核技巧技術(shù)大大減少了計算量，也用了圖正則項來保存原始數(shù)據(jù)間的在內(nèi)幾何結(jié)構(gòu)以改善算法的性能，但它們卻忽視了算法的稀疏性和魯棒性，并且簡單圖的圖正則只能計算每兩個數(shù)據(jù)樣本間的信息。

為了解決以上問題，更好地改進算法的稀疏性和魯棒性，本文在保留核技巧的基礎(chǔ)上，運用超圖正則來捕捉和保留樣本數(shù)據(jù)點間更多的內(nèi)在和復(fù)雜的幾何結(jié)構(gòu)信息。由于L2，1范數(shù)具有良好的性質(zhì)[31]：1）在眾多的實際數(shù)據(jù)中，都包含了很多模糊的噪聲值和異常值點等，而L2，1范數(shù)可以有效地處理原始數(shù)據(jù)中存在的這些問題;2）能提供一個有效的更新規(guī)則，進而能有效提高算法的稀疏性和魯棒性;3）以它為損失函數(shù)所需的計算成本和標(biāo)準(zhǔn)的NMF幾乎差不多，并且能提高算法的性能。因此，本文用L2，1范數(shù)來替代標(biāo)準(zhǔn)NMF模型中的F范數(shù)。本文提出的基于核技巧和超圖正則的NMF的目標(biāo)函數(shù)如下：

這里的λ、 β、α、ξ、η、δ是平衡因子，定義權(quán)重矩陣S=Φ（X），P、Q是系數(shù)矩陣，LHyper表示超圖拉普拉斯矩陣，即LHyper=Dv-HW（De）-1HT。第1項是目標(biāo)函數(shù)的殘差項，即原始數(shù)據(jù)矩陣和低秩近似矩陣的殘差;第2項是超圖正則項，旨在盡可能多地保留原始數(shù)據(jù)矩陣數(shù)據(jù)樣本點間的內(nèi)在幾何結(jié)構(gòu)信息;第3、4項是L2，1/2矩陣偽范數(shù)，作用在于有效控制對應(yīng)變量的稀疏性;第5項是結(jié)合PPT的l1范數(shù)和P的l2范數(shù)，在具體實驗中，期望這一項的值是很小的，它可以減小與冗余度和不相關(guān)特性對應(yīng)變量的權(quán)重。

是L1/2正則項，δ是正則化參數(shù)，L1/2正則項作為稀疏約束合并到NMF中，以提高算法的稀疏性。由于L1/2-NMF[29]能夠有效利用數(shù)據(jù)固有的稀疏性，與標(biāo)準(zhǔn)的NMF和其他的稀疏NMF方法相比，它更具有優(yōu)勢。

2.3 收斂性分析

類似于文獻[3]，本文借助輔助函數(shù)來證明定理1。輔助函數(shù)的定義如下：

3 數(shù)值實驗

聚類，指根據(jù)數(shù)據(jù)點之間的相似性將數(shù)據(jù)集劃分為不同的類別，如圖2所示，聚類是機器學(xué)習(xí)和數(shù)據(jù)挖掘的一個基本話題。

本章主要介紹了NMF方法在圖像聚類中的運用。本文選取了常用的6個流行標(biāo)準(zhǔn)數(shù)據(jù)集進行聚類實驗，即ORL64×64，orlraws10P，Pixraws10P，ORL32×32，ORL，COIL20。對部分?jǐn)?shù)據(jù)集的圖片如圖3和圖4所示。

3.1 實驗設(shè)置

文中本文所有的數(shù)值計算都是在處理器為Intel Core i5-6500 CPU@3.20GHz，內(nèi)存為8.00GB的64位操作系統(tǒng)上進行的，算法代碼用Matlab R2016a進行編寫。經(jīng)過多次實驗，本文最終所有的參數(shù)選取如下λ=0.01，α=10，ξ=0.9，β=3.2，η=2.66，σ=0.22。在此基礎(chǔ)上分別選取了三種核技巧技術(shù)，即高斯核技巧、冪指數(shù)技巧和拉普拉斯核技巧，計算方式分別被定義為：

3.2 實驗結(jié)果展示及分析

這一節(jié)主要是分析本文的數(shù)值實驗。為了驗證KHGNMF算法的聚類性能，將本文的KHGNMF算法與NOGNMF算法[29]比較，表1分別展示了運用高斯核技巧、冪指數(shù)核技巧和拉普拉斯核技巧，在6個標(biāo)準(zhǔn)數(shù)據(jù)集上所獲得的實驗結(jié)果。核函數(shù)的優(yōu)勢在于不顯示定義的映射函數(shù)，而是在高維空間中直接使用核函數(shù)進行計算。以核技巧的計算方式來看，三種核函數(shù)具有一定的相通性。

從表1中高斯核聚類部分可以看出，在這6個數(shù)據(jù)集中計算出的兩種算法的精度相差并不大，對NMI而言，在orlraws10P、Pixraws10P和COIL20這3個數(shù)據(jù)集上KHGNMF算法的表現(xiàn)更加明顯，因此，這說明在運用高斯核技巧的情況下，本文提出的新算法是有效的。分析表2的冪指數(shù)核聚類部分，可以得到，在數(shù)據(jù)集ORL64×64，ORL32×32和ORL上，雖然NOGNMF算法和KHGNMF算法性能差別不大，但仍然是KHGNMF的結(jié)果更好一些;而在orlraws10P，Pixraws10P和COIL20這三個數(shù)據(jù)集上，與NOGNMF算法相比，KHGNMF算法的ACC分別成功提升了41%，50%和39.17%，NMI成功提升了47，52和54個百分點，這進一步驗證了本文提出的算法的有效性。

與高斯核和冪指數(shù)核的聚類效果類似，從拉普拉斯核部分可以看出，仍然是在orlraws10P，Pixraws10P和COIL20這三個數(shù)據(jù)集上的實驗結(jié)果更好，整體來看都是KHGNMF算法的效果更好。因此，本文提出的KHGNMF方法是有效的，并且要優(yōu)于已有的算法，縱觀表2，在選取冪指數(shù)核技巧時，實驗結(jié)果是最佳的，這說明冪指數(shù)核技巧更有助于提高算法的新能。

4 結(jié)語

本文針對NMF運用到圖像聚類中時性能較低的問題，提出了一種新的NMF方法（KHGNMF算法）;并將新算法用于解決圖像聚類問題，在6個流行圖像數(shù)據(jù)庫的實驗結(jié)果表明，與已有的NOGNMF算法相比，KHGNMF算法成功地提升了其聚類性能，進而驗證了本文提出的算法是有效的。NMF是否能運用在更多的聚類分析中，是有待研究的下一個新問題。

參考文獻 （References）

[1] LEE D， SEUNG H S. Learning the parts of objects by non-negative matrix factorization [J]. Nature， 1999， 401： 788-791.

[2] LIU W， ZHENG N. Non-negative matrix factorization based methods for object recognition [J]. Pattern Recognition Letters， 2004， 25（8）： 893-897.

[3] LEE D D， SEUNG H S. Algorithms for non-negative matrix factorization [J]. Neural Information Processing Systems， 2000（12）： 556-562.

[4] COSTA G， ORTALE R. XML document co-clustering via non-negative matrix tri-factorization [C]// Proceedings of the 2014 IEEE 26th International Conference on Tools with Artificial Intelligence. Washington， DC： IEEE Computer Society， 2014： 607-614.

[5] DHILLON I S. Co-clustering documents and words using bipartite spectral graph partitioning [C]// Proceedings of the 2001 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2001： 269-274.

[6] SUN P， KIM K J. Document clustering using non-negative matrix factorization and fuzzy relationship [J]. Korea Communications Society Journal， 2010， 14（2）： 239-246.

[7] LIAO Q， ZHANG Q. Local coordinate based graph-regularized NMF for image representation [J]. Signal Processing， 2016， 124： 103-114.

[8] EGGERT J， WERSING H， KORNER E. Transformation-invariant representation and NMF [C]// Proceedings of the 2004 IEEE International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2004： 2535-2539.

[9] LONG X， LU H， PENG Y， et al. Graph regularized discriminative non-negative matrix factorization for face recognition [J]. Multimedia Tools and Applications， 2014， 72（3）： 2679-2699.

[10] WANG Y， JIA Y， HU C， et al. Non-negative matrix factorization framework for face recognition [J]. International Journal of Pattern Recognition and Artificial Intelligence， 2005， 19（4）： 495-511.

[11] PEHARZ R， PERNKOPF F. Sparse non-negative matrix factorization with l0-constraints [J]. Australasian Journal of Special Education， 2012， 80（1）： 38-46.

[12] LU N， MIAO H. Structure constrained non-negative matrix factorization for pattern clustering and classification [J]. Neurocomputing， 2016， 171： 400-411.

[13] LI S Z， HOU X W， ZHANG H J， et al. Learning spatially localized， parts-based representation [C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2001，1： 207-212.

[14] XU W， LIU X， GONG Y， et al. Document clustering based on non-negative matrix factorization [C]// Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval. New York： ACM， 2003： 267-273.

[15] HUA W， HE X. Discriminative concept factorization for data representation [J]. Neurocomputing， 2011， 74（18）： 3800-3807.

[16] TENENBAUM J B， SILVA V D， LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction [J]. Science， 2000， 290（5500）： 2319-2323.

[17] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding [J]. Science， 2000， 290（5500）： 2323-2326.

[18] BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering [C]// Proceedings of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. Cambridge， MA： MIT Press， 2001： 585-591.

[19] ZHANG Z， ZHA H. Principal manifolds and nonlinear dimensionality reduction via tangent space alignment [J]. Society for Industrial and Applied Mathematics Journal on Scientific ComputingJournal of Shanghai University （English Edition）， 2004， 8（4）： 406-424.

[20] ZHANG T， TAO D， LI X， et al. Patch alignment for dimensionality reduction [J]. IEEE Transactions on Knowledge and Data Engineering， 2009， 21（9）： 1299-1313.

[21] HOYER P O. Non-negative matrix factorization with sparseness constraints [J]. Journal of Machine Learning Research， 2004， 5（1）： 1457-1469.

[22] DING C H Q， LI T， JORDAN M I. Convex and semi-nonnegative matrix factorizations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 32（1）： 45-55.

[23] CAI D， HE X， HAN J， et al. Graph regularized non-negative matrix factorization for data representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1548-1560.

[24] LIU H， WU Z， CAI D， et al. Constrained non-negative matrix factorization for image representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1299-1311.

[25] HU W， CHOI K S， WANG P， et al. Convex non-negative matrix factorization with manifold regularization [J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 63： 94-103.

[26] BABAEE M， TSOUKALAS S， BABAEE M， et al. Discriminative nonnegative matrix factorization for dimensionality reduction [J]. Neurocomputing， 2016， 173（P2）： 212-223.

[27] YANG S， HOU C， ZHANG C， et al. Robust non-negative matrix factorization via joint sparse and graph regularization for transfer learning [J]. Neural Computing and Applications， 2013， 23（2）： 541-559.

[28] WANG W， QIAN Y， TANG Y. Hypergraph-regularized sparse NMF for hyperspectral unmixing [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 9（2）： 681-694.

[29] T0LIC D， ANTULOVFANTULIN N， KOPRIVA I， et al. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [J]. Pattern Recognition， 2018（82）： 40-55.

DIJANA T， NINO A-F， IVICA K， et al. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [EB/OL]. [2018-07-12]. https：//arxiv.org/pdf/1709.10323.pdf.

TOLIC D， ANTULOVFANTULIN N， KOPRIVA I. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [EB/OL]. [2018-07-12]. https：//arxiv.org/pdf/1709.10323.pdf.

[30] GAO Y， JI R， CUI P， et al. Hyperspectral image classification through bilayer graph-based learning [J]. IEEE Transactions on Image Processing， 2014， 23（7）： 2769-2778.

[31] KONG D， DING C， HUANG H. Robust nonnegative matrix factorization using L2，1-norm [C]// Proceedings of the 20th ACM International Conference on Information and Knowledge Management. New York： ACM， 2011： 673-682.

[32] DING C， ZHOU D， HE X， et al. R1-PCA： rotational invariant L1-norm principal component analysis for robust subspace factorization [C]// Proceedings of the 23rd International Conference on Machine Learning. New York： ACM， 2006： 281-288.

[33] SHI C， RUAN Q， AN G， et al. Hessian semi-supervised sparse feature selection based on L2，1/2-matrix norm [J]. IEEE Transactions on Multimedia， 2014， 17（1）： 16-28.

[34] HUANG T-M， KECMAN V， KOPRIVA I. Kernel based algorithm for mining huge data set [J]. Studies in Computational Intelligence， 2006，17： 11-60.

[35] PAPADIMITRIOU C H， STEIGLITZ K. Combinatorial optimization： algorithms and complexity [J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1998， 32（6）： 1258-1259.

[36] 曹大為，賀超波，陳啟買，等.基于加權(quán)核非負(fù)矩陣分解的短文本聚類算法[J].計算機應(yīng)用，2018，38（8）：2180-2184.（CAO D W， HE C B，CHEN Q M， et al. Short text clustering algorithm based on weighted kernel nonnegative matrix factorization[J]. Journal of Computer Applications， 2018， 38（8）： 2180-2184.）