深度低秩多視角子空間聚類

閆金濤, 李鐘毓, 唐啟凡, 周志豪

(西安交通大學(xué)軟件學(xué)院, 710049, 西安)

在圖像處理或者文本處理任務(wù)中,往往需要處理高維數(shù)據(jù),子空間聚類算法是一種處理高維數(shù)據(jù)的常用聚類算法。高維數(shù)據(jù)一般嵌入在低維子空間中,子空間聚類利用這一特性在不同的子空間中尋找合理的聚類劃分[1]。具體而言,給定一個(gè)來自多個(gè)子空間并集的數(shù)據(jù)集,子空間聚類的任務(wù)就是計(jì)算出子空間的數(shù)目、維度、每個(gè)子空間對(duì)應(yīng)的基和數(shù)據(jù)分割[1]。因?yàn)樽涌臻g聚類算法在處理高維數(shù)據(jù)時(shí)效果很好,所以被廣泛應(yīng)用于運(yùn)動(dòng)分割[2-3]、面部分類[4-5]和電影推薦[6-7]等領(lǐng)域。

基于稀疏表示和低秩表示的子空間聚類算法[8]受到學(xué)者們的廣泛關(guān)注,這些算法利用無噪聲樣本點(diǎn)具有自表達(dá)的特性,實(shí)現(xiàn)對(duì)樣本點(diǎn)的重建,即每個(gè)樣本點(diǎn)可以被表示為其他樣本點(diǎn)的線性組合[9-13]。SSC算法在數(shù)據(jù)重建過程中添加l1正則化約束,保留更加關(guān)鍵的信息[11];針對(duì)實(shí)際采樣過程中噪聲難以避免的問題,Liu等將低秩表示約束引入到目標(biāo)函數(shù)中[12];部分學(xué)者認(rèn)為,實(shí)際的樣本點(diǎn)之間的自表達(dá)關(guān)系并不一定僅僅是線性的,也有可能是非線性的[14-15]。DSC算法[14]、DLRSC算法[15]將深度神經(jīng)網(wǎng)絡(luò)引入到模型中,需要更加合適的自表達(dá)關(guān)系。實(shí)驗(yàn)證明,基于深度學(xué)習(xí)的子空間聚類算法往往可以更有效地挖掘數(shù)據(jù)點(diǎn)之間的復(fù)雜關(guān)系,找到更恰當(dāng)?shù)淖员磉_(dá)方式,從而獲得更優(yōu)的聚類性能。

多視角數(shù)據(jù)是從多個(gè)來源或者不同測(cè)量方法得到的,在實(shí)際應(yīng)用中很常見[16]。例如:同一幅圖像可以用不同的特征(SIFT[17]、LBP[18]和HOG[19]等)來描述;同一個(gè)新聞可以由不同的敘述方式來表達(dá)。由于多視角數(shù)據(jù)具有相關(guān)性和互補(bǔ)性,多視角聚類算法可以在單視角聚類的基礎(chǔ)上獲得更好的效果[20-24]。Abavisani等的DMSC算法在深度自編碼器的基礎(chǔ)上提出一種基于親和融合的深度卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)中不同視角對(duì)應(yīng)的自表達(dá)層是相同的,并且取得了很好的效果[23]。

為了在深度多視角子空間聚類算法中添加低秩表示約束,本文提出了一種新的基于深度學(xué)習(xí)的低秩多視角子空間聚類算法(DLRMSC)。該算法通過矩陣分解的思想,將自表達(dá)層的矩陣分解為兩個(gè)低秩矩陣,在深度多視角子空間聚類模型基礎(chǔ)上實(shí)現(xiàn)了對(duì)樣本點(diǎn)之間自表達(dá)關(guān)系的低秩表示約束,能夠在保持計(jì)算復(fù)雜度基本不變的情況獲取更加魯棒的聚類結(jié)果。本文算法把自表達(dá)模塊劃分為一致性信息層和特異性信息層,一致性信息層學(xué)習(xí)各視角的一致性信息,特異性信息層獲取每個(gè)視角的獨(dú)特信息,兼顧了不同視角的一致信息和互補(bǔ)信息。實(shí)驗(yàn)表明,本文提出的雙層自表達(dá)模塊可以有效降低深度子空間聚類模型的參數(shù)數(shù)量,并獲得比較好的性能。

1 相關(guān)工作

1.1 子空間聚類算法

SSC算法[11]和LRR算法[12]都利用了無噪聲樣本點(diǎn)的自表達(dá)特性,即每個(gè)樣本點(diǎn)都可以被其他樣本點(diǎn)的線性組合表示。因此,這類算法計(jì)算自表達(dá)矩陣C的一般求解公式為

(1)

式中:λ表示正則化參數(shù);矩陣C滿足稀疏約束或者低秩約束。在稀疏子空間聚類算法SSC[11]中,‖·‖p表示l1范數(shù);在低秩子空間聚類算法LRR[12]中,‖·‖p表示核范數(shù)。在SSC算法中,為防止得到平凡解C=I,需要添加約束diag(C)=0。

求解出自表達(dá)矩陣C之后,可以得到親和矩陣W=(|C|+|C|T)/2,最后通過譜聚類算法[25]得到X的聚類結(jié)果。

1.2 基于深度學(xué)習(xí)的子空間聚類算法

Ji等認(rèn)為實(shí)際的樣本點(diǎn)之間的自表達(dá)關(guān)系是非線性的,提出了基于深度模型的DSC算法[14]。DSC算法通過深度自編碼器把數(shù)據(jù)投影到隱空間中,再利用原始數(shù)據(jù)的隱空間表示得到自表達(dá)矩陣。DSC算法通過將自表達(dá)層嵌入在編碼器和解碼器之間來計(jì)算自表達(dá)矩陣。求解DSC算法的目標(biāo)函數(shù)為

(2)

DLRSC算法在DSC算法的基礎(chǔ)上改進(jìn)自表達(dá)層,通過雙層自表達(dá)模塊(一個(gè)低秩自表達(dá)層和其轉(zhuǎn)置)隱性地對(duì)自表達(dá)矩陣添加了低秩表達(dá)約束,提高了算法的魯棒性[15];MLRDSC算法在DSC算法的基礎(chǔ)上加入多層級(jí)自表達(dá)層以挖掘多層次特征信息,促進(jìn)自表達(dá)特性學(xué)習(xí),提高了聚類性能[26];SCMSFSC算法引入了多層級(jí)自表達(dá)模塊融合模塊,并且采用自監(jiān)督方法對(duì)模型加入相似性約束,從而提高聚類性能[27]。實(shí)驗(yàn)證明,基于深度學(xué)習(xí)的子空間聚類算法往往可以更有效地挖掘數(shù)據(jù)點(diǎn)之間的復(fù)雜關(guān)系,找到更恰當(dāng)?shù)淖员磉_(dá)方式,從而獲得更優(yōu)的聚類性能。

1.3 基于深度學(xué)習(xí)的多視角聚類算法

DMSC算法[23]將DSC算法拓展到了多視角聚類,是一種經(jīng)典的深度多視角子空間聚類算法。DMSC算法提出親和融合的方法,用相同的自表達(dá)層將不同視角融合起來,得到親和融合自表達(dá)矩陣[23];在基于自編碼器的多視角聚類算法基礎(chǔ)上,Zhang等提出了一種端到端的深度多模態(tài)聚類框架,實(shí)現(xiàn)了特征學(xué)習(xí)和多模態(tài)聚類的聯(lián)合優(yōu)化[28];Zhou等提出了一種端到端的對(duì)抗注意力網(wǎng)絡(luò),利用對(duì)抗學(xué)習(xí)和注意力機(jī)制對(duì)潛在特征分布進(jìn)行對(duì)齊和各視角重要性的量化,將融合特征投影到適合聚類劃分的空間中去,獲得了很好的聚類效果[29];何士豪等則提出了一種新的互補(bǔ)與一致的多視角子空間聚類網(wǎng)絡(luò),利用自監(jiān)督的方法來探索多視角數(shù)據(jù)的互補(bǔ)性,并且取得了很好的效果[30]。

與傳統(tǒng)多視角子空間聚類算法相比較,深度算法具有更好的聚類性能。因?yàn)樯疃饶Ｐ湍軌蚋佑行У赝诰驍?shù)據(jù)特征,捕捉到樣本點(diǎn)之間的關(guān)系。值得注意的是,傳統(tǒng)多視角聚類使用低秩表示約束來提高模型的魯棒性[14,20],深度多視角子空間聚類算法只對(duì)自表達(dá)矩陣采用稀疏表示約束,卻沒有采用低秩表示約束。一個(gè)主要原因是低秩約束需要計(jì)算SVD分解,這會(huì)導(dǎo)致深度模型在訓(xùn)練中產(chǎn)生很高的計(jì)算復(fù)雜度。單視角算法DLRSC[15]采用雙層自表達(dá)模塊,隱性地實(shí)現(xiàn)了對(duì)自表達(dá)矩陣的低秩表示約束,并且避免計(jì)算復(fù)雜度過高的SVD分解。受到DLRSC算法[15]啟發(fā),本文將雙層自表達(dá)模塊引入到深度多視角子空間聚類算法中,實(shí)現(xiàn)了深度低秩多視角子空間聚類算法。與DLRSC算法不同,DLRMSC算法是應(yīng)用于多視角聚類的。為充分利用多視角數(shù)據(jù)的一致性和互補(bǔ)性,DLRMSC算法將雙層自表達(dá)模塊分為一致性自表達(dá)層和特異性自表達(dá)層,分別用來捕捉不同視角的一致性信息和各視角的獨(dú)特性信息。

2 深度低秩多視角子空間聚類

2.1 問題描述

給定一個(gè)多視角數(shù)據(jù)集{X(1),…,X(M)},其中,X(m)∈Rdm×N表示第m個(gè)視角下的數(shù)據(jù)矩陣,M表示視角數(shù),N表示樣本數(shù),dm表示第m個(gè)視角的特征空間維度。

(3)

各視角的自編碼器負(fù)責(zé)提取原始數(shù)據(jù)特征,自表達(dá)層嵌入在編碼器和解碼器之間。DMSC算法[23]首先通過自編碼器捕捉原始數(shù)據(jù)的非線性關(guān)系,然后通過親和融合的方式學(xué)習(xí)所有視角在隱空間中的公共自表達(dá)矩陣C,最后通過譜聚類算法確定最后的聚類劃分。

低秩表示約束能夠提高子空間聚類的魯棒性,幫助模型獲得更好的聚類效果。因此,本文提出深度低秩多視角子空間聚類算法,在深度多視角聚類算法中添加隱性的低秩表示約束。DLRMSC算法能夠?qū)颖军c(diǎn)非線性地投影到一個(gè)適合于求解自表達(dá)特性的隱空間中,并且通過空間融合學(xué)習(xí)到低秩表示的公共自表達(dá)矩陣。

2.2 深度低秩多視角子空間聚類

本文提出的DLRMSC算法框架包含特征提取模塊和雙層自表達(dá)模塊共兩個(gè)模塊。本小節(jié)著重介紹雙層自表達(dá)模塊的低秩表示約束以及在學(xué)習(xí)多視角數(shù)據(jù)互補(bǔ)性的優(yōu)勢(shì)。

為了向自表達(dá)矩陣中添加低秩表示約束,最常用的做法是直接在損失函數(shù)中添加自表達(dá)矩陣C的核范數(shù)正則化項(xiàng)‖C‖*。但是,在反向傳播算法中核范數(shù)約束的梯度難以計(jì)算,這使得這一方法行不通。為此,本文在DMSC算法[23]的目標(biāo)函數(shù)中直接添加約束rank(C)≤r,其中r是一個(gè)常量且滿足r?N。由此,得到目標(biāo)函數(shù)

(4)

為了在深度多視角子空間聚類網(wǎng)絡(luò)中實(shí)現(xiàn)rank(C)≤r,本文采用矩陣分解的方法,使用兩個(gè)低秩矩陣U∈Rn×m、V∈Rm×n的乘積來替代自表達(dá)矩陣C。這樣自表達(dá)層就分解成了兩個(gè)低秩線性全連接層,參數(shù)分別是兩個(gè)低秩矩陣U和V。由于rank(UV)≤min(rank(U),rank(V))≤r,并且r?N,因此自表達(dá)矩陣UV滿足低秩表示約束。得到新的損失函數(shù)

(5)

如果式(5)滿足對(duì)自表達(dá)矩陣的低秩表示約束rank(UV)≤r,那么就避免了自表達(dá)矩陣的平凡解UV=I,因此可以去掉約束diag(UV)=0。基于多視角數(shù)據(jù)的一致性,多視角子空間聚類算法通常假設(shè)所有視角共享同一個(gè)自表達(dá)矩陣[20,23,31-32]。但是,實(shí)際應(yīng)用中不同視角的數(shù)據(jù)還具有獨(dú)特性,所有視角共享同一個(gè)自表達(dá)矩陣的做法并不恰當(dāng)[4,22-33]。為了充分挖掘多視角數(shù)據(jù)的互補(bǔ)性,本文將雙層自表達(dá)模塊分為一致性自表達(dá)層和特異性自表達(dá)層。所有視角共享一致性自表達(dá)層,但是擁有不同的特異性自表達(dá)層。最終,得到損失函數(shù)

(6)

圖1是DLRMSC模型框架。圖中:a、b、c分別表示每個(gè)視角的特征提取模塊,由深度自編碼器組成;d表示雙層自表達(dá)模塊,由兩個(gè)低秩全連接層組成。雙層自表達(dá)模塊的第一層是一致性自表達(dá)層,所有視角的系數(shù)矩陣都是U;第二層是特異性自表達(dá)層,各個(gè)視角的系數(shù)矩陣不相同,分別是V1、V2、V3。將各個(gè)視角的原始數(shù)據(jù)分別輸入到各自的編碼器中,編碼器的輸出被輸入到一致性自表達(dá)層中,得到的結(jié)果再分別輸入到對(duì)應(yīng)的特異性自表達(dá)層中,計(jì)算隱空間中樣本點(diǎn)的重構(gòu)結(jié)果。分別把自表達(dá)模塊的輸出輸入到各自解碼器中,得到最終的重構(gòu)數(shù)據(jù)。

圖1 DLRMSC模型框架Fig.1 Architecture of proposed DLRMSC model

DLRMSC算法具有與DMSC算法[23]相似的結(jié)構(gòu),主要區(qū)別在于自表達(dá)模塊的不同。在DMSC算法自表達(dá)層的基礎(chǔ)上,DLRMSC算法將自表達(dá)層的系數(shù)矩陣分解為兩個(gè)低秩矩陣,隱性地實(shí)現(xiàn)對(duì)樣本點(diǎn)自表達(dá)關(guān)系的低秩表示約束。直接在深度多視角聚類模型中添加低秩表示約束項(xiàng)的做法將會(huì)給模型的訓(xùn)練帶來巨大的復(fù)雜度,導(dǎo)致模型參數(shù)無法訓(xùn)練。但是,DLRMSC算法通過這種矩陣分解的方法巧妙地降低了模型訓(xùn)練的復(fù)雜度,可以在保持計(jì)算復(fù)雜度基本不變的情況下提高深度多視角子空間聚類算法的魯棒性。

值得注意的是,DLRMSC算法的雙層自表達(dá)模塊有助于降低深度多視角子空間的計(jì)算復(fù)雜度,雙層自表達(dá)模塊中的參數(shù)數(shù)量2rMN要小于單層自表達(dá)模塊的參數(shù)數(shù)量N2(2rM?N)。因此,模型訓(xùn)練中計(jì)算2M個(gè)大小為r×N矩陣梯度的復(fù)雜度要小于計(jì)算一個(gè)大小為N×N矩陣梯度的復(fù)雜度。

2.3 模型求解

模型訓(xùn)練包括預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。預(yù)訓(xùn)練階段的目標(biāo)是得到性能良好的特征提取模塊,這里只訓(xùn)練特征提取模塊,第v個(gè)視角下解碼器的輸入是Z(m),目標(biāo)函數(shù)是

(7)

微調(diào)階段,訓(xùn)練整個(gè)深度低秩多視角子空間聚類網(wǎng)絡(luò),第v個(gè)視角下解碼器的輸入是Z(m)UV(m),目標(biāo)函數(shù)是式(6)。

模型訓(xùn)練結(jié)束之后,提取自表達(dá)模塊的參數(shù)矩陣V(m)、U,即可得到一個(gè)包含多視角數(shù)據(jù)一致性信息和互補(bǔ)性信息的低秩自表達(dá)矩陣C

(8)

獲得低秩自表達(dá)矩陣C后,可以得到相似性矩陣W=(C+CT)/2,最后通過譜聚類算法[25]得到多視角數(shù)據(jù)的聚類結(jié)果。DLRMSC算法偽代碼如下。

輸入:數(shù)據(jù)集{X(1),…,X(M)};

隨機(jī)初始化超參數(shù):r、λ1、λ2;

輸出:聚類劃分

1.使用目標(biāo)函數(shù)式(7)訓(xùn)練網(wǎng)絡(luò);

2.使用目標(biāo)函數(shù)式(6)訓(xùn)練網(wǎng)絡(luò);

4.通過式(8)計(jì)算低秩自表達(dá)矩陣C;

5.計(jì)算相似性矩陣W=(C+CT)/2;

6.使用譜聚類算法對(duì)相似性矩陣W做出聚類劃分;

7.輸出聚類劃分。

3 實(shí)驗(yàn)對(duì)比與分析

3.1 實(shí)驗(yàn)設(shè)定

3.1.1 數(shù)據(jù)集 為驗(yàn)證算法的有效性,采用多特征圖像、多視角新聞文本和多視角電影文本等6個(gè)常用的公開數(shù)據(jù)集來測(cè)試DLRMSC算法,具體情況如下。

(1)Yale數(shù)據(jù)集包含15個(gè)對(duì)象的人臉圖像,每個(gè)對(duì)象有11幅圖像,共165幅圖像。使用灰度、LBP[18]、Gabor[34]共3種特征來描述圖像。

(2)3-sources數(shù)據(jù)集是多視角文本數(shù)據(jù)集,來源于BBC、路透社、衛(wèi)報(bào)這3個(gè)知名在線新聞網(wǎng)站,共有6個(gè)種類、169個(gè)樣本。

(3)Movies數(shù)據(jù)集是電影數(shù)據(jù)集,包含了17種類型的617個(gè)樣本,共有關(guān)鍵詞描述和演員描述兩個(gè)視角。

(4)ORL數(shù)據(jù)集包含40個(gè)對(duì)象的人臉圖像,每個(gè)對(duì)象有10幅圖像,共400幅圖像。使用灰度、LBP[18]、Gabor[34]共3種特征來描述圖像。

(5)Caltech-101數(shù)據(jù)集[35]。本文使用Caltech-101數(shù)據(jù)集的部分?jǐn)?shù)據(jù),包括7個(gè)對(duì)象,共441個(gè)樣本。使用HOG[19]、LBP[18]、SIFT[17]共3種特征來描述圖像。

(6)UCI數(shù)據(jù)集是圖像數(shù)據(jù)集,包含2 000幅圖像、10個(gè)對(duì)象。使用傅里葉系數(shù)、像素平均值和形態(tài)特征共3種特征來描述圖像。

3.1.2 評(píng)價(jià)指標(biāo) 為評(píng)估算法的有效性,本文選取聚類準(zhǔn)確度和標(biāo)準(zhǔn)化互信息這兩個(gè)常用的聚類評(píng)價(jià)指標(biāo)。這兩個(gè)指標(biāo)的數(shù)值越大,則聚類效果越好。

聚類準(zhǔn)確度(A)表示聚類結(jié)果的正確率,計(jì)算公式為

(9)

式中:wi表示第i個(gè)樣本的聚類結(jié)果標(biāo)簽;τi表示對(duì)應(yīng)的真實(shí)標(biāo)簽;map(wi)表示聚類標(biāo)簽的最佳重新分配函數(shù),由Kuhn-Munkres算法[36]實(shí)現(xiàn);σ(x,y)表示指示函數(shù),若x=y,則σ(x,y)=1,否則,σ(x,y)=0。

標(biāo)準(zhǔn)化互信息(N)計(jì)算公式為

(10)

式中:P和T分別表示聚類結(jié)果標(biāo)簽和真實(shí)標(biāo)簽;I(P;T)表示P和T之間的互信息;H(P)和H(T)分別為P和T的信息熵。

3.2 對(duì)比算法

為了驗(yàn)證本文算法的有效性,選取11種優(yōu)秀的聚類算法作為對(duì)比算法,具體情況如下。

(1)經(jīng)典的單視角聚類算法。

BSV使用譜聚類算法分別在每個(gè)視角上做聚類,然后選取最佳聚類結(jié)果[25]。譜聚類算法是一種經(jīng)典單視角聚類算法。

FeaCon將所有視角的數(shù)據(jù)簡(jiǎn)單拼接成一個(gè)向量,然后使用譜聚類算法對(duì)簡(jiǎn)單拼接表示做聚類[25]。

Co-Reg[37]是基于聯(lián)合正則化的多視角譜聚類算法。

LRRbest[12]是使用LRR算法在每個(gè)視角上做聚類,然后選取最佳聚類結(jié)果。低秩表示約束有助于提高聚類算法的魯棒性。

(2)傳統(tǒng)的多視角聚類算法。

RMSC[2]是一種基于馬爾可夫鏈的多視角譜聚類算法,具有低秩稀疏分解的特點(diǎn),魯棒性較好。

LMSC[21]從多視角數(shù)據(jù)中挖掘出互補(bǔ)信息以獲得樣本的隱表示,然后在隱表示的基礎(chǔ)上對(duì)樣本進(jìn)行聚類。

CSMSC[22]在傳統(tǒng)子空間聚類模型的基礎(chǔ)上,同時(shí)考慮了視角間的一致性和視角本身的特異性,能夠有效整合多視角信息,提升聚類效果。

(3)基于深度多視角子空間的聚類算法。

DMSC[23]是一種基于卷積神經(jīng)網(wǎng)絡(luò)的多視角子空間聚類算法,在深度自編碼器中間加入自表達(dá)層來獲取各視角下樣本點(diǎn)的公共親和自表達(dá)矩陣。DMSC通過深度卷積神經(jīng)網(wǎng)絡(luò)充分地挖掘了樣本點(diǎn)之間的復(fù)雜關(guān)系,并且通過親和融合的方法兼顧了各視有的互補(bǔ)性,可以獲得更中合適的自表達(dá)關(guān)系矩陣。

AE2-Nets[24]將一個(gè)退化網(wǎng)絡(luò)嵌套入自編碼器模型中,實(shí)現(xiàn)了不同視角信息集成到一個(gè)完整表示中,更加充分地利用多了多視角數(shù)據(jù)的互補(bǔ)性。

DMSCNet[38]也是一種基于卷積神經(jīng)網(wǎng)絡(luò)的多視角子空間聚類算法,與DMSC[23]不同之處在于該算法分別計(jì)算每個(gè)視角下的深度自表達(dá)矩陣,然后通過范數(shù)約束等方法來計(jì)算公共自表達(dá)矩陣。

DMSC-UDL[39]利用自編碼器將數(shù)據(jù)映射到非線性空間,通過約束多視角數(shù)據(jù)潛在特征和自表達(dá)系數(shù),同時(shí)挖掘多視角數(shù)據(jù)的互補(bǔ)與一致信息,是一種最新的深度多視角子空間聚類算法。

3.3 參數(shù)設(shè)置

對(duì)于單視角算法,一律選取所有視角的最好聚類結(jié)果作為最終結(jié)果。對(duì)于多視角聚類算法的參數(shù)設(shè)置,本文采用網(wǎng)格法,在{0.01,0.1,1,10,100}中搜索最佳參數(shù)。為了公平地比較結(jié)果,基于深度學(xué)習(xí)的聚類算法都采用相同的自編碼器結(jié)構(gòu)、預(yù)訓(xùn)練方法和微調(diào)策略,都使用Adam優(yōu)化器[40],參數(shù)設(shè)置為β1=0.9,β2=0.999。

所有深度聚類算法的訓(xùn)練都分為預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。預(yù)訓(xùn)練階段的學(xué)習(xí)率設(shè)置為0.001,微調(diào)階段的學(xué)習(xí)率為0.001。

DLRMSC算法中包含了兩個(gè)平衡參數(shù)λ1、λ2,最大秩約束m以及深度自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)于平衡參數(shù)λ1、λ2,采用網(wǎng)格法,在{0.01,0.1,1,10,100}中搜索。對(duì)于最大秩約束,假設(shè)每個(gè)子空間的維度是相同的,令K是數(shù)據(jù)集中簇的數(shù)量,那么m=m0K,其中m0是正整數(shù),采用網(wǎng)格法在區(qū)間[1,16]中搜索每個(gè)數(shù)據(jù)集的最佳參數(shù)設(shè)置。深度自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)則借鑒了DLRSC算法[15]中的設(shè)置,所有模型的解碼器和編碼器的結(jié)構(gòu)完全對(duì)稱,都是3層卷積神經(jīng)網(wǎng)絡(luò),對(duì)應(yīng)的超參數(shù)也都相同。各數(shù)據(jù)集上的具體參數(shù)設(shè)置見表1～3。

表1 各數(shù)據(jù)集上的平衡參數(shù)和最大秩約束

表2 各數(shù)據(jù)集上人工神經(jīng)網(wǎng)絡(luò)的通道數(shù)

表3 各數(shù)據(jù)集上人工神經(jīng)網(wǎng)絡(luò)的卷積核尺寸

3.4 結(jié)果分析

每種算法在各數(shù)據(jù)集上分別進(jìn)行15次實(shí)驗(yàn),統(tǒng)計(jì)每次實(shí)驗(yàn)的指標(biāo)。將每種算法在不同數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果的平均值和標(biāo)準(zhǔn)差記錄下來,作為對(duì)比依據(jù)。表4和表5分別給出了各算法在不同數(shù)據(jù)集上的正確率和標(biāo)準(zhǔn)化互信息,表中數(shù)據(jù)使用“平均值(標(biāo)準(zhǔn)差)”的形式。

分析表4和表5可以得到如下結(jié)論。

(1)單視角聚類算法中:LRRbest算法[12]的表現(xiàn)是最好的,在Yale數(shù)據(jù)集上的正確率為0.713,驗(yàn)證了低秩表示約束的確可以提高譜聚類的效果;基于譜聚類的簡(jiǎn)單拼接算法表現(xiàn)最差,在Yale數(shù)據(jù)集上的正確率只有0.593,說明簡(jiǎn)單拼接的方法不僅不能夠有效利用多視角信息,甚至還對(duì)聚類效果起到負(fù)面作用。在傳統(tǒng)多視角聚類算法中,兼顧視角間一致性和視角本身特異性的CSMSC算法[22]表現(xiàn)優(yōu)于其他注重視角間一致性的算法,體現(xiàn)了各視角的特異性信息對(duì)于多視角聚類算法的重要性。

表4 各數(shù)據(jù)集上的標(biāo)準(zhǔn)化互信息

表5 各數(shù)據(jù)集上的正確率

(2)在整體上,深度多視角聚類算法表現(xiàn)最好,傳統(tǒng)多視角聚類算法其次,體現(xiàn)了多視角聚類算法可以有效利用不同視角的互補(bǔ)性信息,發(fā)現(xiàn)更加準(zhǔn)確聚類劃分。與傳統(tǒng)多視角算法相比,深度多視角算法可以通過非線性映射將原始數(shù)據(jù)投影到更加易于子空間聚類的隱空間中,適合處理存在非線性關(guān)系的多視角數(shù)據(jù)。

(3)本文提出的DLRMSC算法在各種類型的多視角數(shù)據(jù)集上明顯優(yōu)于其他的多視角算法,基本上都達(dá)到了最好或第二好的水平。在數(shù)據(jù)集3-sources上,本文算法的正確率比第二的DMSC-UCL[39]的高0.097,標(biāo)準(zhǔn)化互信息比第二的DMSC-UCL[39]的高0.103。更加值得注意的是,DLRMSC算法在各數(shù)據(jù)集上均優(yōu)于DMSC算法[23],這說明本文提出的方法的確可以改進(jìn)DMSC算法。與其他算法相比較,DLRMSC算法結(jié)合了3個(gè)優(yōu)勢(shì):①借助深度模型強(qiáng)大的數(shù)據(jù)挖掘能力,可以處理樣本點(diǎn)間復(fù)雜的非線性關(guān)系;②通過雙層自表達(dá)模塊的隱性低秩約束,可以有效降低噪聲點(diǎn)對(duì)聚類結(jié)果影響;③將自表達(dá)模塊分為一致性信息層和特異性信息層,可以充分利用多視角數(shù)據(jù)的一致性信息和互補(bǔ)性信息,從而提高算法性能。

3.5 特異性自表達(dá)層分析

為研究DLRMSC算法中特異性自表達(dá)層的作用,本文實(shí)現(xiàn)了DLRMSC-v1算法。與DLRMSC算法相比,DLRMSC-v1算法中所有視角的雙層自表達(dá)模塊相同,而其他模塊保持一致。DLRMSC-v1算法的目標(biāo)函數(shù)是式(5),可以被認(rèn)為是沒有特異性自表達(dá)層的DLRMSC算法。保持其他參數(shù)設(shè)置相同,在4個(gè)數(shù)據(jù)集上測(cè)試DLRMSC-v1的性能,與DLRMSC算法和DMSC算法[23]對(duì)比的結(jié)果如圖2和圖3所示。可以看出,DLRMSC-v1算法的性能強(qiáng)于DMSC算法[23]的,但是弱于DLRMSC算法的。這驗(yàn)證了DLRMSC算法的低秩表示約束和特異性自表達(dá)層都可以有效提高算法的聚類性能。

此外,從圖2和圖3中還可以觀察出,在文本數(shù)據(jù)集3-sources上,DLRMSC算法的性能明顯強(qiáng)于DLRMSC-v1算法的。本文分析認(rèn)為,3sources數(shù)據(jù)集是由BBC、路透社、衛(wèi)報(bào)這3家知名新聞網(wǎng)站圍繞6個(gè)主題報(bào)導(dǎo)的169篇文章所組成的,不同的新聞網(wǎng)站往往具有不同的立場(chǎng)與敘事風(fēng)格。因此,與其他多視角數(shù)據(jù)集相比,3-sources數(shù)據(jù)集的各視角信息具有更強(qiáng)的互補(bǔ)性。與DLRMSC-v1算法相比,DLRMSC算法的特異性自表達(dá)層可以較好地利用多視角數(shù)據(jù)的互補(bǔ)性,所以在3-sources數(shù)據(jù)集上的效果有了明顯的提升。

圖2 特異性表達(dá)層對(duì)正確率的影響Fig.2 Clustering accuracy comparison of three methods

圖3 特異性自表達(dá)層對(duì)于標(biāo)準(zhǔn)化互信息的影響Fig.3 Clustering NMI comparison of three methods

3.6 參數(shù)敏感性分析

為測(cè)試DLRMSC算法中關(guān)鍵參數(shù)最大秩約束的敏感性,在數(shù)據(jù)集Caltech-101[35]上測(cè)試了不同m0(m=m0K)取值下的準(zhǔn)確率和標(biāo)準(zhǔn)化互信息,結(jié)果如圖4所示。可以看出,當(dāng)m0的取值在區(qū)間[2,12]內(nèi)時(shí),DLRMSC算法可以保持一個(gè)比較好的效果,正確率在0.69到0.74之間波動(dòng)。這驗(yàn)證了本文算法處理多視角低秩子空間聚類問題的良好性能。

圖4 Caltech-101數(shù)據(jù)集最大秩約束對(duì)算法性能的影響Fig.4 Changes of A an N with m0 on dataset Caltech-101

3.7 收斂性分析

在數(shù)據(jù)集Caltech-101[35]上,DLRMSC算法微調(diào)階段每次迭代后的正確率和標(biāo)準(zhǔn)化互信息如圖5所示?？梢钥闯?隨著迭代次數(shù)的增加,正確率和標(biāo)準(zhǔn)化互信息都在逐步上升;經(jīng)過1 200次迭代后,算法逐步收斂,最終正確率保持在0.74左右,標(biāo)準(zhǔn)化互信息保持在0.62左右。

圖5 數(shù)據(jù)集Caltech-101上的算法收斂性分析Fig.5 Convergence analysis on dataset Caltech-101

4 結(jié) 論

本文在DMSC算法[23]的基礎(chǔ)上提出了一種新的深度低秩多視角子空間聚類算法DLRMSC。DLRMSC算法中的雙層自表達(dá)模塊能夠得到具有低秩表示約束的自表達(dá)矩陣,獲得更加魯棒的聚類結(jié)果?；谏疃饶Ｐ偷膬?yōu)勢(shì),DLRMSC算法具有很好的數(shù)據(jù)關(guān)系挖掘能力。通過將雙層自表達(dá)模塊劃分為一致性自表達(dá)層和特異性自表達(dá)層,DLRMSC算法能夠獲取多視角數(shù)據(jù)的一致性信息和每個(gè)視角的特異性信息,更充分地利用多視角數(shù)據(jù)的互補(bǔ)性。

DLRMSC算法可以看作深度多視角子空間聚類算法DMSC[23]的改進(jìn)版本。與DMSC算法[23]相比,DLRMSC算法的魯棒性更強(qiáng),并且可以更有效利用多視角數(shù)據(jù)的互補(bǔ)性。實(shí)驗(yàn)表明,DLRMSC算法所引入的雙層自表達(dá)模塊具有很好的魯棒性以及捕捉多視角數(shù)據(jù)互補(bǔ)性的能力。

在未來工作中,將考慮如何更加具體地分析不同視角之間的關(guān)系和每個(gè)視角對(duì)于聚類的貢獻(xiàn)程度,以獲得更好的信息融合能力,更加充分地利用多視角數(shù)據(jù)的互補(bǔ)性。另外,在大數(shù)據(jù)背景下,如何使深度多視角子空間聚類算法適應(yīng)海量數(shù)據(jù)的聚類任務(wù),也將是下一步研究的重點(diǎn)。