顯隱信息協(xié)同的多視角極限學(xué)習(xí)模糊系統(tǒng)*

張 特，鄧趙紅，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122

1 引言

多視角學(xué)習(xí)是關(guān)注由多個不同特征集來表述數(shù)據(jù)對象的機(jī)器學(xué)習(xí)問題。該學(xué)習(xí)機(jī)制的出現(xiàn)很大程度上是由于越來越多的真實(shí)數(shù)據(jù)是由不同特征集，或者說不同“視角”，來描述的。例如在食品發(fā)酵過程中，可從風(fēng)速和攪拌速度兩個角度來記錄食品的發(fā)酵指標(biāo)參數(shù)[1]。又比如在基于內(nèi)容的網(wǎng)頁圖像搜索中，目標(biāo)可以同時由來自圖像的可視化特征及描述圖畫的文本特征組成[2]。因此，多視角學(xué)習(xí)是很有前景的研究領(lǐng)域并且具有廣泛的實(shí)際應(yīng)用[1,3-7]。

目前已有的多視角技術(shù)主要包含如下3類：

（1）多視角分類技術(shù)：Farquhar等人將核典型分量分析（kernel canonical component analysis，KCCA）與支持向量機(jī)（support vector machine，SVM）相結(jié)合提出了SVM-2K算法[7]；Chen和Sun提出了多視角Fisher判別分析[8]；Li等人基于直推式SVM，通過引入全局約束變量提出了多視角半監(jiān)督SVM算法[5]；Sun將流行正則化、多視角正則化與傳統(tǒng)形式的SVM算法進(jìn)行整合，提出了多視角拉普拉斯SVM[6]。

（2）多視角聚類技術(shù)：Pedrycz在模糊C均值（fuzzy C-means，F(xiàn)CM）中采用了協(xié)同聚類的思想，通過對各視角間的模糊劃分進(jìn)行控制，構(gòu)造了基于劃分協(xié)同控制的Co-FCM算法[9]；Cleuziou等人基于文獻(xiàn)[9]的協(xié)同思想，同樣以經(jīng)典FCM算法作為基礎(chǔ)模型，進(jìn)一步提出了兩種不同的多視角協(xié)同劃分方法并依此構(gòu)造了全新的多視角模糊聚類算法Co-FKM[3]；Tzortzis等人在核聚類領(lǐng)域內(nèi)分別基于核k-means算法及譜聚類算法提出了兩種多視角聚類算法多視角核k均值（multi-view kernel k-means，MVKKM）和多視角譜聚類（multi-view spectral clustering，MVSpec）[10]；Yamanishi等人從概率的角度基于期望最大化（expectation maximization，EM）提出了可用于解決多視角問題的協(xié)同聚類算法Co-EM算法[11]；Chaudhuri等人針對高維數(shù)據(jù)的特點(diǎn)，提出了將高維數(shù)據(jù)投影到低維空間，然后利用多視角聚類技術(shù)對低維數(shù)據(jù)進(jìn)行分析得到一個全局劃分結(jié)果[12]。

（3）多視角回歸技術(shù)：Kakade等人提出的基于典型相關(guān)性分析的多視角回歸[13]。

近年來，模糊集理論和模糊系統(tǒng)作為智能計(jì)算領(lǐng)域重要的研究分支，由于其獨(dú)特的可解釋性以及強(qiáng)大的學(xué)習(xí)能力，在多視角學(xué)習(xí)領(lǐng)域有一些成功的應(yīng)用。在多視角模糊聚類方面，Jiang等人[14]通過引入懲罰因子，基于經(jīng)典FCM算法，提出了多視角加權(quán)的協(xié)同模糊聚類算法；Wang等人[15]在經(jīng)典FCM算法的基礎(chǔ)上，引入極小極大優(yōu)化，提出了多視角MinimaxFCM算法。在多視角模糊分類方面，Jiang等人[16]基于經(jīng)典TSK型模糊系統(tǒng)（Takagi-Sugeno-Kang fuzzy system，TSK-FS），將最大間距化策略引入其目標(biāo)函數(shù)，采用協(xié)同學(xué)習(xí)的方式整合來自不同視角的特征，提出了具有視角協(xié)同學(xué)習(xí)能力的兩視角TSK型模糊系統(tǒng)，在不同應(yīng)用上得到了較好的表現(xiàn)。特別地，針對癲癇EEG信號識別，Jiang等人提出了一種多視角模糊系統(tǒng)構(gòu)建方法，取得了較好的癲癇檢測效果[17]。

較之于其他多視角智能分類方法，目前已有的基于模糊系統(tǒng)的多視角分類方法在解釋性和不確定性建模能力方面均有一定的優(yōu)勢。但是，在多視角信息的協(xié)作和利用方面，目前的方法還有待進(jìn)一步加強(qiáng)。例如，已有的方法主要關(guān)注的是多個顯性視角的信息，而對于多個高度相關(guān)的視角間的隱藏的共性信息還未能充分挖掘和利用。此類隱性信息對多視角學(xué)習(xí)是非常重要的。例如，各顯性視角之間通常隱藏了一個共享的隱空間，該隱空間內(nèi)的共享數(shù)據(jù)可以通過不同的映射方式生成不同顯性視角的數(shù)據(jù)。因此，如果能充分挖掘多個顯性視角對應(yīng)的共享隱性視角，對多視角學(xué)習(xí)將具有很大的幫助。根據(jù)上述分析可知，已有的多視角模糊分類方法還未能充分利用各視角間共享的隱空間信息，從而導(dǎo)致受訓(xùn)模型的魯棒性受到限制。

針對上述挑戰(zhàn)，本文提出了一種引入各視角間共享隱空間信息的顯隱視角協(xié)同的模糊系統(tǒng)建模方法來實(shí)現(xiàn)多視角分類任務(wù)。嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（ridge regression extreme learning fuzzy system,RR-EL-FS）[18]是引入了極限學(xué)習(xí)機(jī)制的0階TSK型模糊系統(tǒng)，具有訓(xùn)練速度快，在小樣本噪音數(shù)據(jù)集上魯棒性強(qiáng)的特點(diǎn)。本文以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)作為具體研究對象來構(gòu)建多視角模糊系統(tǒng)分類方法。該方法首先通過矩陣分解技術(shù)來學(xué)習(xí)得到各顯性視角的共享隱空間，此隱空間即為得到的隱性視角；在此基礎(chǔ)上，進(jìn)行顯性視角和隱性視角的協(xié)同學(xué)習(xí)來輔助模糊系統(tǒng)的構(gòu)建；最終，可得到顯隱視角協(xié)同決策的多視角模糊系統(tǒng)預(yù)測模型。該方法較之已有的多視角模糊系統(tǒng)預(yù)測方法和其他相關(guān)方法能有效地基于隱空間的共享信息實(shí)現(xiàn)顯隱空間的協(xié)作，從而能更好地提升所得預(yù)測模型的泛化性能。

本文主要貢獻(xiàn)可歸納為如下幾方面：

（1）基于非負(fù)矩陣分解技術(shù)，提出了一種獲取多視角數(shù)據(jù)集各顯性視角間共享的隱空間信息的方法。

（2）提出了顯隱信息協(xié)同學(xué)習(xí)的多視角模糊系統(tǒng)建?？蚣?，并基于該框架，以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)為基模型，提出了顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。

（3）對所提出的顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)進(jìn)行了廣泛的實(shí)驗(yàn)分析。

本文剩余部分組織如下：第2章對經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)、嶺回歸極限學(xué)習(xí)模糊系統(tǒng)以及多視角學(xué)習(xí)進(jìn)行了簡述；第3章首先提出了基于各視角信息學(xué)習(xí)共享隱空間信息的策略和求解方法，而后詳細(xì)描述了顯隱信息協(xié)同的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法；第4章進(jìn)行了廣泛的實(shí)驗(yàn)比較與分析；第5章對本文進(jìn)行了總結(jié)和展望。

2 相關(guān)工作

2.1 經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)

經(jīng)典模糊系統(tǒng)模型可分為以下3類：TSK型模型[19]、Mamdani-Larsen（ML）型模型[20]及廣義模糊模型（generalized fuzzy model，GFM）[21]。其中，TSK型模型應(yīng)用最為廣泛[19]。

TSK型模糊系統(tǒng)是基于規(guī)則和模糊集的智能系統(tǒng)，具有良好的解釋性和不確定建模能力。經(jīng)典TSK模糊系統(tǒng)的模糊規(guī)則如下：

當(dāng)TSK型模糊系統(tǒng)采用乘合取算子、乘蘊(yùn)含算子、加法組合算子和重心反模糊化操作時，其最終輸出可表示為：

2.2 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)

RR-EL-FS是引入了極限學(xué)習(xí)機(jī)制的0階TSK模糊系統(tǒng)[18,22]。其通過隨機(jī)為二維二值規(guī)則結(jié)合矩陣C以及三維二值無關(guān)特征矩陣DC賦值的方式完成ifthen規(guī)則的生成，而后通過嶺回歸的方式對后件參數(shù)進(jìn)行優(yōu)化。算法細(xì)節(jié)如下。

2.2.1 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的前件生成

RR-EL-FS采用高斯函數(shù)作為隸屬度函數(shù)，輸入向量的每一維特征都會被劃分進(jìn)5個模糊子集這5個模糊子集對應(yīng)的高斯隸屬度函數(shù)中心被固定為[0,0.25,0.50,0.75,1.00]，對應(yīng)的自然語義標(biāo)簽為非常低、低、中、高以及非常高[24]。

其中，k=1,2,…,5，i=1,2,…,d，ak∈{0,0.25,0.50,0.75,1.00}，μki為特征xi對第k個模糊子集的隸屬度。式（4）中高斯隸屬度函數(shù)對應(yīng)的標(biāo)準(zhǔn)差σ通過隨機(jī)賦值所得。

與極限學(xué)習(xí)機(jī)所采用的隨機(jī)機(jī)制相同，RR-ELFS通過隨機(jī)為規(guī)則結(jié)合矩陣C（維度為d特征×5隸屬度函數(shù)×L規(guī)則，其中d為輸入樣本的特征數(shù)，5表示5個隸屬度函數(shù)，L為規(guī)則數(shù)）以及無關(guān)特征矩陣DC（維度為d特征×L規(guī)則）的方式來決定每條規(guī)則使用的特征及所用特征相應(yīng)的隸屬度函數(shù)。例如，若規(guī)則結(jié)合矩陣中C(2,3,4)=1則表示特征2對應(yīng)式（4）中在規(guī)則4中被激活。若D(2,4)=1則表示特征2在規(guī)則4中是無關(guān)（不被使用）的。給定兩個輸入樣本（x1和x2），每個輸入樣本包含5個特征，若第k條規(guī)則所對應(yīng)的矩陣C及矩陣DC如下：給定輸入向量x=(x1x2…xd)，其每一維特征對應(yīng)的模糊隸屬度可由下式計(jì)算：

則第k條規(guī)則可表示為：

2.2.2 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的后件生成

RR-EL-FS的最終輸出為：

其中，L表示規(guī)則數(shù)，pl0為第l條規(guī)則對應(yīng)的后件參數(shù)，ul表示第l條規(guī)則的觸發(fā)強(qiáng)度，其計(jì)算如下：

令：

則式（7）可寫為：

RR-EL-FS采用嶺回歸的方式對后件參數(shù)pg進(jìn)行求解。給定N個訓(xùn)練樣本(xn,yn)∈Rd×R，將所有訓(xùn)練樣本對應(yīng)的觸發(fā)強(qiáng)度結(jié)合成矩陣，即：

則求解后件參數(shù)的目標(biāo)公式可表示如下：

式（15）中，Id為d×d的單位矩陣。

2.3 多視角學(xué)習(xí)

2.3.1 傳統(tǒng)多視角學(xué)習(xí)框架

多視角學(xué)習(xí)技術(shù)旨在通過對同一對象的不同特征集合（即各視角）所構(gòu)造的數(shù)據(jù)樣本進(jìn)行分析，并利用各視角間的協(xié)同找出視角間的相關(guān)性，進(jìn)而得到一個最合理的全局決策結(jié)果。由于多視角技術(shù)全面地考慮了被研究對象在各個視角下所存在的特征信息，因而在求同存異的指導(dǎo)思想下所得到的決策結(jié)果，要比在僅基于單一視角特征空間所得到的決策結(jié)果更為全面可靠。一個經(jīng)典的多視角學(xué)習(xí)框架的原理如圖1所示。

2.3.2 基于單視角模糊系統(tǒng)建模的多視角建模

傳統(tǒng)的模糊系統(tǒng)建模技術(shù)均是針對單視角場景設(shè)計(jì)。當(dāng)面對多視角建模場景時，通常采用的策略是針對不同的視角僅利用單個視角下的樣本構(gòu)建與之對應(yīng)的單視角模糊系統(tǒng)，然后對各系統(tǒng)決策結(jié)果進(jìn)行簡單集成，例如求取各視角輸出的均值作為最終的數(shù)據(jù)結(jié)果。相關(guān)流程如圖2所示。

上述策略為單視角建模方法在多視角場景下的應(yīng)用提供了一種可行的方案。由于其針對每一視角獨(dú)立建模的方式在一定程度上破壞了多視角數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系，這通常會造成不同視角所獲得之模糊系統(tǒng)泛化能力存在良莠不齊的現(xiàn)象。目前，針對這一問題，已有學(xué)者提出了相關(guān)的改進(jìn)算法。例如，Jiang等人將最大間隔化的思想與協(xié)同學(xué)習(xí)相結(jié)合，提出了一種2視角模糊系統(tǒng)的建模方法，該建模方法相對傳統(tǒng)單視角模糊系統(tǒng)在面對2視角數(shù)據(jù)時具有較明顯的優(yōu)勢[16]。此外，在文獻(xiàn)[17]中，提出了一種可以處理多視角數(shù)據(jù)的癲癇EEG識別模糊系統(tǒng)分類方法。

Fig.1 Classical multi-view learning framework圖1 一種經(jīng)典的多視角學(xué)習(xí)框架圖

Fig.2 Framework of multi-view modeling using single-view fuzzy system圖2 基于單視角模糊系統(tǒng)的多視角建?？蚣?/p>

雖然已有的多視角模糊系統(tǒng)建模方法在分類等方面體現(xiàn)了較之于單視角模糊系統(tǒng)方法的優(yōu)越性，但多視角學(xué)習(xí)方面還存在許多不足。其中一個重要的挑戰(zhàn)就是多視角數(shù)據(jù)的共性隱信息未能充分挖掘，進(jìn)而未能基于共性隱信息和各顯視角信息進(jìn)行全面的學(xué)習(xí)。因而探討顯隱信息協(xié)同的多視角模糊系統(tǒng)建模方法很有必要。

3 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模

由于嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（RR-EL-FS）具有訓(xùn)練速度快，對噪音數(shù)據(jù)集魯棒性較強(qiáng)的特點(diǎn)，本文以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)為基礎(chǔ)模型，提出具有多視角學(xué)習(xí)能力的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。

3.1 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模框架

為了充分利用各視角間的共享隱空間信息，同時使得單視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法具備多視角學(xué)習(xí)的能力，本文探討了顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法（ridge regression extreme learning fuzzy system with cooperation between visible and hidden views，RR-EL-FS-CVH）。RR-EL-FS-CVH的總體框架如圖3所示。

從圖3可知，該建模方法較之傳統(tǒng)單視角和已有的多視角模糊建模方法而言，具有如下特點(diǎn)：（1）充分利用了各個視角間共享的隱空間信息；（2）不再將各視角下的數(shù)據(jù)樣本孤立開來進(jìn)行獨(dú)立的模糊系統(tǒng)構(gòu)建，而是通過多視角協(xié)同機(jī)制來訓(xùn)練不同視角下的模糊系統(tǒng)；（3）不僅各顯性視角可以協(xié)作，顯性視角和隱性視角也進(jìn)行了協(xié)作，因而通過多個視角的有效協(xié)作，最終所獲得的各視角的模糊系統(tǒng)泛化能力得到提升。

3.2 共享隱空間的生成

3.2.1 隱空間特征提取機(jī)制

對于多視角數(shù)據(jù)集，一個合理的假設(shè)是：所有視角間存在一個共享的隱空間，基于該隱空間數(shù)據(jù)可以通過不同的映射把共享空間特征映射到不同視角所在的空間生成不同視角的數(shù)據(jù)。因此，找到該隱空間對于獲得多視角數(shù)據(jù)的共性信息來輔助面臨的多視角建模任務(wù)是很有意義的。給定擁有K個視角，N個樣本的多視角數(shù)據(jù)集X，第K個視角對應(yīng)的數(shù)據(jù)集合可表示為，第k個視角的數(shù)據(jù)可用矩陣形式表示為為了獲取各視角共享的隱空間，以及該隱空間到各個視角的映射矩陣，通?？蓸?gòu)造如下的優(yōu)化目標(biāo)[25]：對于式（16），說明如下：

Fig.3 Framework of RR-EL-FS-CVH圖3 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)框架

（1）式中Wk∈Rr×dk表示將隱空間數(shù)據(jù)映射到視角k所在特征空間的映射矩陣（dk為視角k特征空間的維度；r為隱空間的特征維度，1≤r≤min{d1,d2,…,dk}）；數(shù)據(jù)集H=[h1,h2,…,hN]T∈ RN×r為各視角數(shù)據(jù)在共享隱空間對應(yīng)的共享數(shù)據(jù)的矩陣表示；αk表示視角k的所占權(quán)重，且。

其中，||?||F為Frobenius范數(shù)；為使模型簡單且具有較高解釋性，常引入對Wk以及H的非負(fù)約束。

其中，Lk=Dk-Sk為拉普拉斯矩陣。

結(jié)合式（17）及式（18），對于式（16）可得如下最小化問題：

通過求解該問題，可以獲得各顯性視角在隱空間的共享數(shù)據(jù)H以及共享隱空間到各個顯性視角的映射矩陣Wk。

3.2.2 隱空間及映射矩陣的求解

式（19）對應(yīng)的優(yōu)化問題本質(zhì)上是個非負(fù)矩陣分解（non-negative matrix factorization，NMF）問題，一種常用的求解方法是利用坐標(biāo)下降方法進(jìn)行迭代求解[26]?；诘鷥?yōu)化的思想，式（19）的迭代求解可分如下兩步：固定H求解映射矩陣Wk，而后固定Wk求解H。具體方式如下。

（1）計(jì)算映射矩陣Wk

當(dāng)固定H=H(（t)t為當(dāng)前迭代次數(shù)）時，式（19）中，僅將Wk作為變量的子優(yōu)化問題為：

該非負(fù)二次規(guī)劃問題形式與傳統(tǒng)NMF模型相同。因此，Wk可采用NMF的經(jīng)典方法求解。例如，基于文獻(xiàn)[26]的求解策略，可得如下的更新公式：

（2）計(jì)算隱空間H

可以得到H如下的更新公式[26]：

3.3 具備顯隱視角協(xié)同學(xué)習(xí)能力的目標(biāo)函數(shù)構(gòu)建

給定如3.2.1節(jié)所述多視角數(shù)據(jù)集，為了充分利用各視角間共享隱空間特征，首先采用3.2節(jié)所示方法提取出各視角間共享的隱空間對應(yīng)的共享數(shù)據(jù)集其矩陣形式為 H=[h1,h2,…,hN]T∈ RN×r。然后，將所提取出的隱空間特征作為一個全新的視角加入到原始多視角數(shù)據(jù)集中得到最終用于系統(tǒng)訓(xùn)練的多視角數(shù)據(jù)集，此時新數(shù)據(jù)集共有k+1個視角，即k個顯性視角和1個隱性視角。在得到加入隱空間信息的數(shù)據(jù)集后，為充分利用不同視角的特有特征，以及利用各視角特征間內(nèi)在的關(guān)聯(lián)關(guān)系，本文采用協(xié)同學(xué)習(xí)的方式進(jìn)行模糊系統(tǒng)的構(gòu)建。

若視角k的專屬嶺回歸極限學(xué)習(xí)模糊系統(tǒng)具有Lk條規(guī)則，隱空間視角的專屬嶺回歸極限學(xué)習(xí)模糊系統(tǒng)具有J條規(guī)則，參考2.1節(jié)及2.2節(jié)，則第k個顯性視角對應(yīng)的模糊系統(tǒng)在其規(guī)則生成的高維空間對應(yīng)的線性模型可表示如下：

第k+1視角，即隱性視角專有嶺回歸極限學(xué)習(xí)模糊系統(tǒng)對應(yīng)的高維空間的線性模型為:

基于上述變換和表達(dá)，本文設(shè)計(jì)的具備多視角協(xié)同學(xué)習(xí)能力的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)優(yōu)化目標(biāo)函數(shù)式如下：

式（26）中，yi為第i個樣本的類標(biāo)簽，為2.2節(jié)所述嶺回歸極限學(xué)習(xí)模糊系統(tǒng)通過視角k訓(xùn)練所得專有模糊系統(tǒng)的后件參數(shù)，wk為其對應(yīng)的權(quán)值。為協(xié)同項(xiàng)，（為了表示方便，這里）。為所有視角（包括隱空間視角）的權(quán)重對應(yīng)的負(fù)香農(nóng)熵，為正則化項(xiàng)。

對于式（26）的優(yōu)化目標(biāo)函數(shù)可進(jìn)一步解釋如下：

（2）僅僅考慮各視角間樣本的數(shù)據(jù)對于整個多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的構(gòu)建是不夠的，因此，考慮到視角間的關(guān)聯(lián)關(guān)系，所提方法構(gòu)造了具備協(xié)同學(xué)習(xí)能力的協(xié)同項(xiàng)，即式（26）中的。上述協(xié)同項(xiàng)可使各視角（包括隱空間視角）間進(jìn)行協(xié)同學(xué)習(xí)，最終達(dá)到各視角所對應(yīng)的模糊系統(tǒng)之輸出趨于一致，從而避免因視角特征的差異而造成各視角模糊系統(tǒng)泛化性能的劇烈變化。

（3）許多已有的多視角方法在最終組合各視角結(jié)果進(jìn)行決策時，如何決定各視角的重要性具有一定的主觀性，例如采用取均值的方式或人為給定權(quán)重。針對此，本文方法通過引入香農(nóng)熵來實(shí)現(xiàn)各視角權(quán)重的自適應(yīng)調(diào)節(jié)和控制。令，可將權(quán)值視為概率分布，其對應(yīng)的香農(nóng)熵即為，熵的極大化使得各概率分量盡可能均等，即引入了極大熵理論。此項(xiàng)的引入，可以避免對式（14）的第一、二項(xiàng)進(jìn)行優(yōu)化時，某個視角的權(quán)重占絕對優(yōu)勢而造成其他視角的信息被完全忽視。由于式（14）為最小化目標(biāo)函數(shù)，因此，極大化香農(nóng)熵在式中形式為最小化負(fù)熵，即最小化。

（4）式（26）中正則化參數(shù)λ1>0,λ2>0,λ3>0用于控制模型中各項(xiàng)的影響，其數(shù)值可通過交叉驗(yàn)證等策略選取合適的值。

3.4 參數(shù)學(xué)習(xí)規(guī)則

采用迭代優(yōu)化方法，對式（26）中的專有模糊系統(tǒng)后件參數(shù)及對應(yīng)權(quán)值可進(jìn)行迭代學(xué)習(xí)，更新公式如下：

給定具有K個視角特征的測試樣本x，系統(tǒng)最終的輸出為:

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

為對本文所提顯隱信息協(xié)同的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（RR-EL-FS-CVH）建模方法的性能進(jìn)行驗(yàn)證和評估，本節(jié)基于分類任務(wù)，首先將所提算法與單視角算法在人工構(gòu)造的以及真實(shí)的多視角數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)研究；而后又將所提算法在相同數(shù)據(jù)集上與幾種多視角算法進(jìn)行了對比。數(shù)據(jù)集詳細(xì)信息將于4.1.1節(jié)中描述，算法細(xì)節(jié)及實(shí)驗(yàn)硬件平臺將在

4.1.2 節(jié)中描述。實(shí)驗(yàn)中所有分類數(shù)據(jù)集的輸入部分均進(jìn)行了歸一化處理。實(shí)驗(yàn)指標(biāo)為分類準(zhǔn)確率，分類準(zhǔn)確率越高，表示算法泛化性能越好。實(shí)驗(yàn)采用五倍交叉驗(yàn)證的方式將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，具體地，通過分層采樣的方式將原始數(shù)據(jù)均分成五組，將每個子集數(shù)據(jù)分別做一次驗(yàn)證集，其余的四組子集數(shù)據(jù)作為訓(xùn)練集。以五次在測試集上所得分類準(zhǔn)確率的平均值作為最終的指標(biāo)對算法性能進(jìn)行評估。

4.1.1 數(shù)據(jù)集描述

本文所用人工構(gòu)造數(shù)據(jù)集及真實(shí)多視角數(shù)據(jù)集均來自UCI數(shù)據(jù)集庫[28]。其中，人工構(gòu)造的數(shù)據(jù)集本身并非多視角數(shù)據(jù)集，但其特征可以人為劃分為多視角數(shù)據(jù)，因此在本文中，這類數(shù)據(jù)集被稱為人工構(gòu)造的多視角數(shù)據(jù)集。

本文所采用的人工構(gòu)造數(shù)據(jù)集為Iris數(shù)據(jù)集以及Forest type數(shù)據(jù)集，所采用的真實(shí)數(shù)據(jù)集為Multiple feature數(shù)據(jù)集、Image segmentation數(shù)據(jù)集以及Dermatology數(shù)據(jù)集。各數(shù)據(jù)集細(xì)節(jié)如表1所示。

4.1.2 對比算法及實(shí)驗(yàn)硬件平臺

本文將RR-EL-FS-CVH算法分別與5個單視角模糊系統(tǒng)算法和2個多視角算法進(jìn)行了比較。5個單視角模糊系統(tǒng)算法分別為將模糊規(guī)則嵌入到極限學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)的模糊極限學(xué)習(xí)機(jī)（fuzzy extreme learning machine，F(xiàn)-ELM）[22]、基于 IQP（iterative quadratic programming）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（IQP）[29]、基于LSSLI（learning by solving a system of linear inequalities）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（LSSLI）[29]、MATLAB工具箱中基于模糊C均值算法的模糊系統(tǒng)GENFIS（generate fuzzy inference system）[30]以及基于模糊子空間聚類的O階L2型TSK模糊系統(tǒng)（fuzzy subspace clustering based zero-order L2-norm TSK fuzzy system，L2-TSKFS）[31]。多視角模糊系統(tǒng)算法為引入最大間距化策略和協(xié)同學(xué)習(xí)思想的兩視角TSK模糊系統(tǒng)（two view TSK fuzzy classification system，TwoV-TSK-FCS）[16]，多視角非模糊系統(tǒng)算法為引入了極大熵的多視角極大熵判別算法（alternative multiview maximum entropy discrimination，AMVMED）[32]。這 7 種對比算法中，TwoV-TSK-FCS以及AMVMED算法為二分類算法，對于多類分類，本文對于二分類算法采用1對1策略來實(shí)現(xiàn)多分類問題。

實(shí)驗(yàn)平臺，CPU，Intel?CoreTMi7-4790；主頻，3.60 GHz；內(nèi)存，16 GB；操作系統(tǒng)，Win 7 64位操作系統(tǒng)；編程環(huán)境，MATLAB 8.1.0.604(R2013a)。

4.2 與單視角算法對比實(shí)驗(yàn)

本節(jié)將所提RR-EL-FS-CVH算法與幾種經(jīng)典單視角模糊系統(tǒng)算法進(jìn)行了對比。對于單視角算法，本文將多視角數(shù)據(jù)集所有視角特征合并為一個全視角數(shù)據(jù)集，然后將單視角算法用于該全視角數(shù)據(jù)集。所有單視角模糊系統(tǒng)算法規(guī)則數(shù)以及RR-EL-FSCVH中任一視角專有模糊系統(tǒng)的規(guī)則數(shù)的尋優(yōu)范圍均設(shè)定為k={3,4,9,16,25,36,49。}RR-EL-FS-CVH算法與單視角模糊系統(tǒng)算法在各數(shù)據(jù)集上所得分類準(zhǔn)確率見表2。

Table 1 Description of multi-view datasets表1 多視角數(shù)據(jù)集描述

表2中最優(yōu)值次數(shù)指標(biāo)是指在所有數(shù)據(jù)集中該算法所得指標(biāo)為各算法中最優(yōu)值的次數(shù)。觀察表2可得如下結(jié)論：（1）RR-EL-FS-CVH算法所得分類精度在所有數(shù)據(jù)集上均高于單視角模糊系統(tǒng)算法，這也說明RR-EL-FS-CVH算法相對于單視角模糊系統(tǒng)算法具有更好的分類性能。（2）從在多個數(shù)據(jù)集上的平均精度來看，RR-EL-FS-CVH算法的平均精度相對于幾種單視角算法優(yōu)勢非常明顯。

Table 2 Comparison between this paper and single-view fuzzy systems(Mean±Std)表2 本文算法與單視角模糊系統(tǒng)算法比較（均值±方差）

4.3 與多視角算法對比實(shí)驗(yàn)

為進(jìn)一步對所提算法的性能進(jìn)行評價，本文將所提算法與兩相關(guān)多視角算法進(jìn)行了對比。同時，采用對單視角算法輸出值進(jìn)行加權(quán)整合的方式，把幾種單視角算法改造為相應(yīng)的多視角算法。具體改造過程為：針對每一個視角的特征，訓(xùn)練出一個單視角分類器，而后對每一視角的輸出值進(jìn)行加權(quán)求和得到算法的最終輸出（如有K個視角，則每個視角的分類器權(quán)值為1 K）。為與單視角算法做出區(qū)分，本文將基于F-ELM、IQP、LESSLI、GENFIS2以及L2-TSK-FS改造得到的多視角算法分別稱為F-ELM(MV)、IQP(MV)、LESSLI(MV)、GENFIS2(MV)以及L2-TSK-FS(MV)。同樣，為保持模糊系統(tǒng)的簡潔性，所有模糊系統(tǒng)的規(guī)則數(shù)尋優(yōu)范圍被設(shè)定為k={3,4,9,16,25,36,49}。RR-EL-FS-CVH算法與多視角算法在各數(shù)據(jù)集上的分類準(zhǔn)確率如表3～表7所示。

觀察表3至表7可得到如下結(jié)論：（1）對于這些得到的各視角模糊系統(tǒng)，無論是從獨(dú)立的單一視角看，還是從不同視角之間系統(tǒng)的泛化性能關(guān)聯(lián)關(guān)系角度分析，本文所提RR-EL-FS-CVH算法在大多數(shù)數(shù)據(jù)集上得到了最高的分類精度，說明所提方法具有較好的分類性能。（2）本文所提算法各視角集成后所得分類精度均大于僅使用單一視角數(shù)據(jù)的分類精度，說明所提算法不僅能充分利用單一視角的數(shù)據(jù)，還能通過協(xié)同學(xué)習(xí)的方式充分利用各視角數(shù)據(jù)之間有效的相關(guān)信息，提升分類性能。（3）部分單視角簡單集成后的多視角算法，在某些數(shù)據(jù)集上采用各視角集成后所得分類精度反而不如只用單一視角數(shù)據(jù)所得分類精度，如IQP算法在Dermatology數(shù)據(jù)集上，僅使用組織病理學(xué)視角特征時，可以達(dá)到0.827 4的分類精度，而引入臨床視角特征后所得全視角精度為0.753 1，這說明簡單的多個視角集成不一定能提升模型的性能，有時可能會起到負(fù)作用。

5 結(jié)束語

Table 3 Classification accuracies on multiple feature dataset(Mean±Std)表3 在Multiple feature數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 4 Classification accuracies on Image segmentation dataset(Mean±Std)表4 在Image segmentation數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 5 Classification accuracies on Dermatology dataset(Mean±Std)表5 在Dermatology數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 6 Classification accuracies on Iris dataset(Mean±Std)表6 在Iris數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 7 Classification accuracies on Forest type dataset(Mean±Std)表7 在Forest type數(shù)據(jù)集上分類準(zhǔn)確率比較（均值±方差）

本文針對傳統(tǒng)的模糊系統(tǒng)建模方法在處理多視角場景僅利用到了多視角數(shù)據(jù)集的顯性信息，而忽略了各視角間共享的隱空間信息之不足，提出了顯隱信息協(xié)同學(xué)習(xí)的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。該方法不僅能充分利用多視角數(shù)據(jù)集的顯性信息，同時能充分利用各視角間共享的隱空間信息，進(jìn)而提高各視角下模糊系統(tǒng)的泛化能力并通過協(xié)同學(xué)習(xí)機(jī)制進(jìn)一步穩(wěn)定各視角模糊系統(tǒng)的性能。在構(gòu)造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集上的仿真實(shí)驗(yàn)結(jié)果表明：本文所提方法比傳統(tǒng)的單視角建模方法以及僅利用多視角數(shù)據(jù)集顯性信息的多視角算法具有更好的泛化能力。

盡管本文所提算法表現(xiàn)出了較好的分類性能，但仍有需要進(jìn)一步研究的地方。例如，本文所提算法利用交叉驗(yàn)證策略對超參數(shù)進(jìn)行優(yōu)化會帶來較大的時間開銷，如何有效地降低參數(shù)尋優(yōu)的時間復(fù)雜度將是進(jìn)一步研究的重點(diǎn)工作之一。