基于多級結(jié)構(gòu)的深度子空間聚類方法

摘? 要：提出了一種新的深度子空間聚類方法，使用了卷積自編碼器將輸入圖像轉(zhuǎn)換為位于線性子空間上的表示。通過結(jié)合自編碼器提取的低階和高階信息來促進特征學(xué)習(xí)過程，在編碼器的不同層級生成多組自我表示和信息表示。將得到的多級信息融合得到統(tǒng)一的系數(shù)矩陣并用于后續(xù)的聚類。通過多組實驗驗證了上述創(chuàng)新的有效性，在三個經(jīng)典數(shù)據(jù)集：Coil20，ORL和Extended Yale B上，聚類精度分別達到95.38%、87.25%以及97.58%。相較于其他主流方法，能有效提高聚類準(zhǔn)確性，并具有較強的魯棒性。

關(guān)鍵詞：子空間聚類;多級結(jié)構(gòu);自編碼器

中圖分類號：TP181? ? ? ? ?文獻標(biāo)識碼：A文章編號：2096-4706（2022）06-0100-04

Deep Subspace Clustering Method Based on the Multi-level Structure

YU Wanrong

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi? 214122， China）

Abstract： A new deep subspace clustering method that uses a convolutional autoencoder to transform an input image into a representation that lies on a linear subspace is proposed. The feature learning process is facilitated by combining low-order and high-order information extracted by the autoencoders， and multiple sets of self-representations and information representations are generated at different levels of the encoder. The obtained multi-level information is fused to obtain a unified coefficient matrix and use it for subsequent clustering. The effectiveness of the above innovations is verified through multiple experiments on three classic datasets， including Coil20， ORL and Extended Yale B. And the clustering accuracies reach 95.38%， 87.25% and 97.58% respectively. Compared with other mainstream methods， this method can effectively improve the clustering accuracy and it has strong robustness.

Keywords： subspace clustering; multi-level structure; autoencoder

0? 引? 言

高維數(shù)據(jù)處理已成為機器學(xué)習(xí)和模式識別領(lǐng)域具有代表性的任務(wù)之一。高維數(shù)據(jù)結(jié)構(gòu)的一個重要特征是其通常近似的存在于低維子空間中，因此恢復(fù)數(shù)據(jù)的低維結(jié)構(gòu)不僅有助于減少算法的計算費用和內(nèi)存需求，而且能夠減少高維噪聲的影響，提推理、學(xué)習(xí)以及識別等任務(wù)的性能。

當(dāng)所有數(shù)據(jù)點都位于單個子空間中時，問題可以被設(shè)置為尋找子空間的基和數(shù)據(jù)點的低維表示。子空間聚類問題基于自表示性質(zhì)，即聚類問題中每一簇可以看成是一個子空間，將取自于多個子空間并集的數(shù)據(jù)點劃分到潛在的子空間中。

子空間聚類作為聚類分析的重點和難點，在計算機視覺（如動態(tài)分割[1]、圖像分割[2]、目標(biāo)跟蹤[3]以及視頻對象的時域分割[4]等）、圖像處理（如圖像的表示和壓縮等）等領(lǐng)域也已經(jīng)有了許多成功的應(yīng)用。

盡管自表示性質(zhì)在各類方法中起著關(guān)鍵作用，但可能無法滿足樣本位于非線性子空間的情況，例如，在非均勻照明和不同姿勢下拍攝的人臉圖像[5]。與傳統(tǒng)方法相比，深度子空間聚類方法可以更好地利用樣本點之間的非線性關(guān)系，從而獲得卓越的性能，特別是當(dāng)樣本不一定滿足自表示屬性的復(fù)雜情形下。

在本文中，我們提出了一種新的基于深度聚類的方法，利用卷積自編碼器來解決子空間聚類問題。在編碼器和解碼器的相應(yīng)層之間添加多個全連接線性層，利用編碼器的多級特征進行聚類。本文也探究了層數(shù)對于聚類效果的影響。

1? 相關(guān)工作

1.1? 自表示方法

自表示特征反映樣本間的內(nèi)在關(guān)系，被廣泛用于圖像處理、特征選擇和深度學(xué)習(xí)。在現(xiàn)存的子空間聚類方法中，基于自表示模型的方法由于其計算的有效性以及在實際應(yīng)用中較好的性能而得到了廣泛關(guān)注。自表示性質(zhì)[6]指的是：取自多元線性子空間{Si}i=1，…，K的數(shù)據(jù)點{xi}i=1，…，N可以由同一子空間中的其他數(shù)據(jù)點的線性組合來表示。

假設(shè)數(shù)據(jù)矩陣X=[x1，…，xN]∈?D×N，其中{xi}i=1，…，N，xi可以被表示為：

xi=Xci? （1）21C96A00-9883-4E7B-8B98-EF57E4C72B5F

其中ci∈?N是系數(shù)矢量。將所有數(shù)據(jù)點按列排列在數(shù)據(jù)矩陣X中，則（1）可以寫成：

X=XC? ?（2）

其中C∈?N×N是系數(shù)矩陣。按文獻[6]所述，在子空間相互獨立的假設(shè)下，通過最小化C的范數(shù)，可以保證C呈區(qū)塊對角化結(jié)構(gòu)，即當(dāng)且僅當(dāng)xi和xj在同一子空間時cij的值不為零。這樣就可以將系數(shù)矩陣C用作譜聚類的輸入來構(gòu)建關(guān)聯(lián)矩陣。

為了得到更加合適的C，現(xiàn)存的子空間聚類方法利用了各種正則化，比如稀疏和低秩[7]。

1.2? 深度子空間聚類

最近，深度自編碼器也被用于初始化深度嵌入網(wǎng)絡(luò)以進行無監(jiān)督聚類[8]，例如，在自編碼器模型的編碼器部分加入聚類層的深度嵌入聚類（Deep Embedded Clustering， DEC）[9]以及Yazhou Ren等人提出基于深度密度的圖像聚類算法（Deep density-based image clustering， DDC）[10]。

文獻[5]中提出了一種有效的子空間聚類問題深度方法，稱為深度子空間聚類（DSC），它采用深度卷積自編碼器來學(xué)習(xí)潛在表示，并使用一種新穎的自表示層來強制它們分布在線性子空間的并集上。

DSC的目的是訓(xùn)練一個深度自編碼器，使得它的潛在表示能夠很好地適應(yīng)子空間聚類，因此引入一個起到自表示作用的新的網(wǎng)絡(luò)層，使網(wǎng)絡(luò)直接學(xué)習(xí)得到關(guān)聯(lián)矩陣。

2? 方法設(shè)計

{xi}i=1，…，N∈?D是一組取自?D中K個不同子空間的并集的N個非線性樣本點。DSC算法[5]介紹了一個包含L層的卷積自編碼器來挖掘數(shù)據(jù)的潛在表示，并在編碼器和解碼器之間添加一個全連接層來實現(xiàn)自表示的功能。

具體來看，用Θ={Θe，C，Θd}表示自編碼器的參數(shù)，Θe和Θd分別表示編碼器和解碼器的參數(shù)，C是新增的全連接層的參數(shù)，被當(dāng)作自表示矩陣。表示編碼器的輸出，即數(shù)據(jù)矩陣X的潛在表示。表示由自編碼器重構(gòu)的數(shù)據(jù)。新的損失函數(shù)定義為：

（6）

文獻[11]使用反向傳播方法和譜聚類算法來找到使得式（6）最小化的解并得到最終的聚類結(jié)果。Θ可以通過反向傳播進行更新，使得損失函數(shù)達到最小值。

該網(wǎng)絡(luò)由三部分組成：編碼器、自表示層和解碼器，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。每個輸入圖像由編碼器卷積層映射成一個潛在矢量zi，如圖1中圓點所示。在自表示層，節(jié)點由線性權(quán)重進行全連接。然后，潛在矢量通過解碼器反卷積層映射回原始圖像空間。

由公式（6）可以看出，DSC算法只依賴隱性變量進行聚類。我們希望同時利用自編碼器的高階和低階信息，以學(xué)習(xí)更多信息的子空間聚類表示。編碼器的不同級別的特征，表示為，輸入到全連接層，這些層的輸出被饋送到解碼器層。這樣允許解碼器重用低階信息來產(chǎn)生更準(zhǔn)確地輸入數(shù)據(jù)重建，這反過來又可以提高整體聚類性能。該多級深度聚類框架，通過構(gòu)建多級數(shù)據(jù)共享的單個系數(shù)矩陣來聯(lián)合學(xué)習(xí)各級的子空間表示，同時形成稀疏性表示，并利用新建系數(shù)矩陣來融合各個層級學(xué)習(xí)到的系數(shù)矩陣，作為譜聚類方法的輸入。損失函數(shù)如下：

（7）

其中Al，l=1，2，…，L，表示自編碼器每一層的自表示層學(xué)習(xí)得到的權(quán)重矩陣，即其系數(shù)矩陣;A表示由各個層的系數(shù)矩陣整合得到的完整系數(shù)矩陣。

然后通過反向傳播更新網(wǎng)絡(luò)參數(shù)，在得到系數(shù)矩陣C之后，用下列公式建立反映各數(shù)據(jù)點之間相互關(guān)系的關(guān)聯(lián)矩陣：

（8）

在此之后，利用譜聚類恢復(fù)潛在子空間并把樣本聚類到它們對應(yīng)的子空間中。

3? 實驗結(jié)果及分析

為驗證本文提出的方法的有效性，本文在數(shù)據(jù)集Coil20、ORL以及Extended Yale B上進行了大量實驗，與下列方法進行了對比：稀疏子空間聚類（SSC）[12]、Kernel Sparse Subspace Clustering（KSSC）[11]、Efficient Dense Subspace Clustering（EDSC）[12]以及Deep Subspace Clustering（DSC）[5]。

本部分將展示對比實驗和網(wǎng)絡(luò)層數(shù)探索實驗的結(jié)果。

實驗中所有方法均在CPU為2.90 GHz，內(nèi)存為8 GB，操作系統(tǒng)為64位Windows操作系統(tǒng)，開發(fā)環(huán)境為基于Python語言的Pytorch框架。參照文獻[8]和[5]，batchsize設(shè)置為樣本數(shù)，Adam優(yōu)化器參數(shù)β1和β2分別設(shè)置為0.9和0.999，學(xué)習(xí)率設(shè)置為0.01。

3.1? 對比實驗

3.1.1? Coil20數(shù)據(jù)集

該數(shù)據(jù)集包含1 440張灰度圖像，涉及20種目標(biāo)，每個目標(biāo)72張圖像。該數(shù)據(jù)集部分樣本如圖2（a）所示。按照參考文獻[5]，將全部圖像降采樣至大小為32×32。

在Coil20數(shù)據(jù)集上與其他實驗的對比結(jié)果如表1所示?？梢钥闯?，三層網(wǎng)絡(luò)結(jié)構(gòu)的實驗結(jié)果在所有對比方法中表現(xiàn)最好，聚類精度為95.38%。

3.1.2? ORL數(shù)據(jù)集

上述數(shù)據(jù)集為物體數(shù)據(jù)集，為了體現(xiàn)方法的普遍性，作者選擇了人臉數(shù)據(jù)集進一步實驗。ORL數(shù)據(jù)集由大小為112×92，從40個人采集到的400張圖片構(gòu)成，每一類包含10張圖。該數(shù)據(jù)集的部分樣本如圖2（b）所示。

在ORL數(shù)據(jù)集上與其他實驗的對比結(jié)果如表2所示。由表可知，三層網(wǎng)絡(luò)結(jié)構(gòu)的深度子空間聚類方法與其他對比方法相比表現(xiàn)最好，聚類精度為87.25%。

3.1.3? Extended Yale B數(shù)據(jù)集

Extended Yale B數(shù)據(jù)集包含2 432張采集到的38個人的正面圖像，每一類包含64張圖片。部分樣本如圖2（c）所示。21C96A00-9883-4E7B-8B98-EF57E4C72B5F

對于不同類別數(shù)K∈{10，20，30，38}，分別進行了多次實驗以測試該方法的魯棒性，按照文獻[5]的實驗方式，首先將各個類別按1 至38標(biāo)號，然后取所有連續(xù)的K個類別進行39-K次實驗并取平均值。

在Extended Yale B數(shù)據(jù)集上與其他方法的對比結(jié)果如表3所示。

該方法在各類實驗中均取得了比其他方法更高的精度，并且可以看出，其他方法的表現(xiàn)隨類別數(shù)K的增加而表現(xiàn)出明顯的下降趨勢，而本文提出的方法則相對穩(wěn)定。具體來看，三層網(wǎng)絡(luò)結(jié)構(gòu)的深度子空間聚類方法表現(xiàn)最佳，在各組實驗中聚類精度分別達到98.59%、98.44%、97.66%和97.58%。

3.2? 網(wǎng)絡(luò)層數(shù)探索實驗

為了驗證本文提出的多層結(jié)構(gòu)的有效性，對網(wǎng)絡(luò)層數(shù)的不同設(shè)置進行對比實驗，具體設(shè)置為一層、兩層和三層。對于三層網(wǎng)絡(luò)，使用公式7所表示的損失函數(shù);對于兩層網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，使用公式7所表示的損失函數(shù);對于一層網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，且由于不需要整合系數(shù)矩陣，故采用如下?lián)p失函數(shù)：

（9）

具體來看，以O(shè)RL數(shù)據(jù)集為例，一層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為85.5%，兩層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為86.25%，三層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為87.25%?？梢?，隨著網(wǎng)絡(luò)層數(shù)的增加，實驗結(jié)果會有所提高，驗證了多層網(wǎng)絡(luò)的有效性。

4? 結(jié)? 論

本文提出了一種新的深度子空間聚類方法，該方法使用卷積自編碼器將輸入圖像轉(zhuǎn)換為位于線性子空間集合上的新的表示。首先在編碼器層和它們相應(yīng)的解碼器層之間插入多個全連接的線性層，以促進學(xué)習(xí)得到更有效的子空間聚類表示。這些連接層通過結(jié)合低級和高級信息來促進特征學(xué)習(xí)過程，以在編碼器的不同級別生成多組自表示和信息表示。接著，將得到的多級信息融合為一個整體，得到統(tǒng)一的系數(shù)矩陣。本文在聚類方法經(jīng)典的三個數(shù)據(jù)集分別進行了實驗，物體數(shù)據(jù)集Coil20，以及人臉數(shù)據(jù)集ORL和Extended Yale B，實驗驗證了多級系數(shù)矩陣整合方法的有效性和多級結(jié)構(gòu)的有效性。

參考文獻：

[1] 張紅穎，賀鵬藝，王匯三.基于改進SiamFC的實時目標(biāo)跟蹤算法[J].激光與光電子學(xué)進展，2021，58（6）：308-316.

[2] 黃志標(biāo)，姚宇.基于像素聚類的超聲圖像分割[J].計算機應(yīng)用，2017，37（2）：569-573.

[3] 鄒武合，張雷，戴寧.基于關(guān)鍵姿勢的單次學(xué)習(xí)動作識別[J].半導(dǎo)體光電，2015，36（6）：999-1005.

[4] 張愛華，雷小亞，陳曉雷，等.基于細胞神經(jīng)網(wǎng)絡(luò)的快速手語視頻分割方法[J].計算機應(yīng)用，2013，33（2）：503-506.

[5] JI P，ZHANG T，LI H D，et al.Deep Subspace Clustering Networks [C]//31st Conference on Neural Information Processing Systems （NIPS 2017）.Long Beach：CURRAN ASSOCIATES.INC，2017：24-33.

[6] ELHAMIFAR E，VIDAL R. Sparse Subspace Clustering：Algorithm，Theory，and Applications [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（11）：2765-2781.

[7] LIU G，LIN Z，YAN S，et al. Robust Recovery of Subspace Structures by Low-Rank Representation [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2013，35（1）：171-184.

[8] LU C Y，MIN H，ZHAO Z Q，et al. Robust and Efficient Subspace Segmentation via Least Squares Regression [C]// Proceedings of the European Conference on Computer Vision. Berlin，Germany：Springer，2012，7：347-360.

[9] XIE J，GIRSHICK R，F(xiàn)ARHADI A. Unsupervised Deep Embedding for Clustering Analysis [C]//Proceedings of the 36th International Conference on Machine Learning. Long Beach：JMLR，2016：478-487.

[10] REN Y Z，WANG N，Li M X，XU Z L. Deep Density-based Image Clustering [J].Knowledge-Based Systems，2020（197）：105841.

[11] PATEL V M，VIDAL R. Kernel Sparse Subspace Clustering [C]//Proceedings of the IEEE International Conference on Image Processing. Paris France：IEEE，2014：2849-2853.

[12] JI P，SALZMANN M，LI H D. Efficient Dense Subspace Clustering [C]//Proceedings of the IEEE Winter Conference on Applications of Computer Vision. Steamboat Springs：IEEE，2014：461-468.

作者簡介：郁萬蓉（1997.08—），女，漢族，安徽蚌埠人，碩士研究生在讀，主要研究方向：子空間聚類、模式識別。

收稿日期：2022-02-0921C96A00-9883-4E7B-8B98-EF57E4C72B5F