任務(wù)間共享和特有結(jié)構(gòu)分解的多任務(wù)TSK 模糊系統(tǒng)建模

趙壯壯，王駿，潘祥，鄧趙紅，施俊，王士同

（1.江南大學(xué) 人工智能與計算機學(xué)院，江蘇 無錫 214122;2.上海大學(xué) 通信與信息工程學(xué)院，上海 200444）

模糊邏輯和模糊推理被用來描述知識和表達的不確定性。而模糊系統(tǒng)就是由模糊邏輯和模糊推理發(fā)展而來的。相比于傳統(tǒng)的機器學(xué)習模型，模糊系統(tǒng)能夠更準確地描述和估計現(xiàn)實中不確定的復(fù)雜非線性系統(tǒng)模型[1-4]。近年來，學(xué)者們提出了眾多的模糊系統(tǒng)建模方法，其中TSK 模糊系統(tǒng)因其能夠?qū)⒎蔷€性系統(tǒng)轉(zhuǎn)化為多個局部線性結(jié)構(gòu)的逼近，而成為最受歡迎的模型之一[5-7]。

TSK 模糊系統(tǒng)由若干條模糊規(guī)則構(gòu)成，每條模糊規(guī)則由前件和后件組成。傳統(tǒng)的模糊規(guī)則構(gòu)建依靠專家經(jīng)驗。近年來，數(shù)據(jù)驅(qū)動的模糊規(guī)則構(gòu)建方法受到了充分的研究。通?？梢詣澐譃閮蓚€步驟：一是使用某種劃分規(guī)則將訓(xùn)練數(shù)據(jù)分為若干子體來提取規(guī)則前件參數(shù)，在實際建模中，通常使用聚類來實現(xiàn)；二是學(xué)習優(yōu)化后件參數(shù)，從機器學(xué)習的角度，可以視為一個線性回歸問題[8-11]。

TSK 模糊系統(tǒng)建模是重要的有監(jiān)督學(xué)習的過程，因此需要充分的訓(xùn)練數(shù)據(jù)。然而，在很多實際應(yīng)用中，樣本數(shù)據(jù)經(jīng)常是有限的高維數(shù)據(jù)，這就不可避免導(dǎo)致了模型的過擬合問題。而多任務(wù)學(xué)習可以從其他任務(wù)中獲取相關(guān)信息，一定程度彌補訓(xùn)練數(shù)據(jù)不足的問題，進而提高模型的學(xué)習性能[12-17]。在多任務(wù)建模中，任務(wù)之間往往具有明顯的相關(guān)性，并存在著共享信息，因此充分利用多個任務(wù)間的共享信息進行多任務(wù)模糊系統(tǒng)建模，有助于提高每個任務(wù)的泛化性能。例如，Jiang等[18]提出了一種利用潛在任務(wù)間關(guān)系信息的多任務(wù)模糊系統(tǒng)，該方法為多個任務(wù)學(xué)習了一個共享的后件參數(shù)來表示任務(wù)間的共享信息。然而，這些方法都只著重于任務(wù)間后件參數(shù)的共享結(jié)構(gòu)，而忽視了如何利用各任務(wù)的自身特點。

鑒于此，本文提出了一種新型多任務(wù)TSK模糊系統(tǒng)建模方法，在挖掘多任務(wù)間共享信息的同時，保留單個任務(wù)的特殊性。該方法將多任務(wù)的后件參數(shù)矩陣分解為共享參數(shù)矩陣和特有參數(shù)矩陣兩個部分：共享參數(shù)矩陣表示了任務(wù)之間共享的結(jié)構(gòu)信息，而特有參數(shù)矩陣保留了每個任務(wù)的不同于其他任務(wù)的差異信息。本文通過為共享參數(shù)矩陣和特有參數(shù)矩陣分別引入低秩和稀疏約束來實現(xiàn)這一目標。

1 多任務(wù)TSK 模糊模型的基本原理

經(jīng)典的單任務(wù)TSK 模糊系統(tǒng)利用多個局部線性子模型來近似非線性模型。而多任務(wù)模糊系統(tǒng)就是多個單任務(wù)模糊系統(tǒng)的聯(lián)合優(yōu)化。在多任務(wù)設(shè)置中和D分別表示任務(wù)、樣本和特征的數(shù)量，其t中=1Nt表示任務(wù)t的樣本數(shù)量。對于任意輸入向量其表示任務(wù)t的一個樣本的特征向量，其中是向量xt的第d變量。

因此，任務(wù)t的第m個規(guī)則可以表示為：

為方便計算，本文為多任務(wù)TSK 模糊模型進一步定義W=(w1,w2,···,wT)∈R(D+1)M×T，表示多任務(wù)模糊模型的后件參數(shù)聯(lián)合矩陣。所以，基本多任務(wù)模糊系統(tǒng)的目標函數(shù)可以表示為

2 任務(wù)間共享和特有結(jié)構(gòu)分解的多任務(wù)TSK 模糊系統(tǒng)建模新方法

本節(jié)在基本多任務(wù)模糊系統(tǒng)的基礎(chǔ)上，進一步提出新型多任務(wù)模糊系統(tǒng)建模方法。考慮到多任務(wù)之間是相互關(guān)聯(lián)的，因此可以認為多個任務(wù)的模型參數(shù)包含著潛在的共享信息；另一方面，各任務(wù)的模型參數(shù)中都包含了自身不同于其他任務(wù)的特有信息。如圖1 所示，本文將各后件參數(shù)聯(lián)合矩陣W分解為共享參數(shù)矩陣V和特有參數(shù)矩陣E，即：

圖1 后件參數(shù)矩陣 W=(w1,w2,···,wT) 可以拆分為低秩部分 V=(v1,v2,···,vT) 和稀疏部分E=(e1,e2,···,eT)Fig.1 The consequent parameter matrix W=(w1,w2,···,wT) can be decomposed into the low-rank component V=(v1,v2,···,vT)and the sparse componentE=(e1,e2,···,eT)

共享參數(shù)矩陣V包含了任務(wù)之間的共享參數(shù)信息，這種共享信息是指同一個特征在不同的任務(wù)中發(fā)揮相似的作用。具體表現(xiàn)在，如果某個特征在任務(wù)i中被賦予了一個較高的權(quán)重值，那么它在相關(guān)任務(wù)j中也將被賦予較高的權(quán)重，反之亦然，即對應(yīng)于任務(wù)i和任務(wù)j的共享參數(shù)vi和vj是相似的。因此，共享參數(shù)矩陣V具有低秩性，本文通過引入核范數(shù)來實現(xiàn)對共享參數(shù)矩陣V的低秩約束特有參數(shù)矩陣E表示各項任務(wù)不同于其他任務(wù)的特有信息，這種特有信息體現(xiàn)在某一特征在不同任務(wù)中發(fā)揮不同的作用，即特有參數(shù)矩陣E是行稀疏的，本文通過引入正則化項實現(xiàn)行稀疏。

所以，通過對后件參數(shù)聯(lián)合矩陣的分解，再分別施加低秩和行稀疏約束，在多任務(wù)建模中兼顧多任務(wù)之間共享信息和特有信息的作用，提出了任務(wù)間共享和特有結(jié)構(gòu)劃分的多任務(wù)TSK 模糊系統(tǒng)的目標函數(shù)，表示如下：

式中：α和β 是正則化參數(shù)，用于調(diào)節(jié)共享參數(shù)和特有參數(shù)在模型訓(xùn)練中發(fā)揮的作用，參數(shù)越大，懲罰力度越大。

3 目標函數(shù)優(yōu)化

本文使用增廣拉格朗日乘子法[19-20]求解式(10)提出的最優(yōu)化問題，其增廣拉格朗日目標函數(shù)為

式中：Y∈R(D+1)×T是拉格朗日乘子矩陣，〈·,·〉 表示兩個矩陣的內(nèi)積運算。為便于計算，使用LADMAP 方法[21]將目標函數(shù)重新表示為

這是一個包含W、V、E、Y4 個優(yōu)化變量的最優(yōu)化問題，所以本文交替使用其他變量的固定值迭代優(yōu)化每個變量，原問題被轉(zhuǎn)化為下面若干個子問題：

1) 固定V、E、Y，式(12)化為如下目標函數(shù)：

對wt求導(dǎo)，并令其等于 0，整理之后，可以通過式(14)獲得wt的解：

因此，可以進一步得到W的解：

2) 固定W、E、Y，式(12)轉(zhuǎn)化為目標函數(shù)：

使用奇異值閾值算子[22]求解式(16)的低秩問題，V的最優(yōu)解可以寫成如下形式：

3) 固定W、V、Y，式(11)變成如下目標函數(shù)：

式(18)等同于求解如下問題：

其中Q=W?V+Y/μ，可以使用文獻[23] 中的方法求解式(19)的最優(yōu)化問題，得到E的最優(yōu)解。

4) 更新拉格朗日乘子矩陣Y和正則化參數(shù) μ：

式中：ρ 是一個大于1 的正數(shù)。

最終，本文提出多任務(wù)TSK 模糊系統(tǒng)建模方法具體描述如下：

算法MTTSKFS-CS

輸入多任務(wù)數(shù)據(jù)集X1,X2,···,XT和對應(yīng)的標簽y1,y2,···,yT；模糊規(guī)則數(shù)量M；正則化參數(shù) α,β,μ ；可調(diào)節(jié)參數(shù)h；正整數(shù) ρ>1，μmax=103；

輸出多任務(wù)的模糊前件和多任務(wù)后件參數(shù)聯(lián)合矩陣。

訓(xùn)練過程

1) 生成模糊字典：首先對全部任務(wù)的樣本使用FCM 聚類，獲得M個聚類中心。然后計算每個樣本的模糊隸屬度，生成每個任務(wù)的模糊字典。

2) 聯(lián)合學(xué)習多任務(wù)的后件參數(shù)：求解式(12)，得到W、V、E最優(yōu)解：

①初始化:設(shè)定W是一個隨機矩陣，V=W，E=W?V。拉格朗日乘子矩陣

②當式(12)不收斂

3) 輸出多任務(wù)的模糊前件和多任務(wù)后件參數(shù)聯(lián)合矩陣。

4 結(jié)果與分析

4.1 實驗設(shè)置

為了驗證本文提出的多任務(wù)建模方法的有效性，在多個真實數(shù)據(jù)集上進行泛化性能實驗。實驗中用到的數(shù)據(jù)集包含2 種類型：一種是相同輸入不同輸出的SIDO 數(shù)據(jù)集，將數(shù)據(jù)集的每一個輸出作為一個回歸任務(wù)構(gòu)成一個多任務(wù)數(shù)據(jù)集，數(shù)據(jù)集的多個任務(wù)共享同一個輸入數(shù)據(jù)，但每個任務(wù)擁有不同的輸入空間到輸出空間的映射函數(shù)；另一種是不同輸入不同輸出的DIDO 數(shù)據(jù)集，同樣將每一個輸出作為一個回歸任務(wù)，每個任務(wù)擁有不同的輸入數(shù)據(jù)和不同的輸入空間到輸出空間的映射函數(shù)。

本節(jié)選擇的Slump、Parkinsons Telemonitoring、Winequality、House 數(shù)據(jù)集來自UCI Machine Learning Repository 數(shù)據(jù)集網(wǎng)站。Slump 數(shù)據(jù)集用來模擬混凝土的坍落度，涉及到坍落度、流動性和抗壓強度3 個輸出，是一個SIDO 數(shù)據(jù)集。Parkinsons Telemonitoring 數(shù)據(jù)集由來自42 名早期帕金森氏癥患者的生物醫(yī)學(xué)聲音測量組成，用來測量motor 和total UPDRS scores，也是一個SIDO 數(shù)據(jù)集。Winequality 數(shù)據(jù)集是一個利用基于理化測試數(shù)據(jù)來劃分葡萄酒質(zhì)量等級的數(shù)據(jù)集，包括紅葡萄酒和白葡萄酒兩個子集，本節(jié)分別將每個子集視為一個任務(wù)，這是一個DIDO 數(shù)據(jù)集。House 數(shù)據(jù)集被用于波士頓房價預(yù)測，在本節(jié)根據(jù)特征變量“RAD”的值將數(shù)據(jù)集劃分為(Task 1:RAD<5;Task 2:5<=RAD <7.5;Task 3:RAD>=7.5)3 個子集，作為一個DIDO 數(shù)據(jù)集。Multivalued (MV) Data Modeling 數(shù)據(jù)集可以從KEEL Datasets Repository 獲得，是一個具有特征間依賴關(guān)系的人工數(shù)據(jù)集，本節(jié)中根據(jù)第8 個特征變量可以將數(shù)據(jù)集劃分為兩個任務(wù)，作為DIDO 數(shù)據(jù)集。表1 中列出來了上述所選用的數(shù)據(jù)集的特征維數(shù)、樣本數(shù)量等具體細節(jié)。

表1 多任務(wù)數(shù)據(jù)集的詳細信息Table 1 Details of the multitask datasets

我們在實驗中比較了幾種經(jīng)典的回歸算法，包括多任務(wù)和單任務(wù)回歸算法。算法中涉及到的參數(shù)的設(shè)置通過5 折交叉驗證來進行尋優(yōu)，這些算法的詳細介紹以及參數(shù)的尋優(yōu)范圍如表2 所示。

表2 實驗中各算法參數(shù)的詳細設(shè)置Table 2 Detailed settings of all algorithm’s parameters

本文選用RRSE 來評價各對比算法的泛化性能，定義如下：

4.2 泛化性能實驗

我們分別在每個數(shù)據(jù)集上驗證了MTTSKFSCS 及對比算法。

分別計算各模型在每個數(shù)據(jù)集的每個子任務(wù)上的泛化性能，其中“Average”表示算法在每個數(shù)據(jù)集的所有任務(wù)中的平均表現(xiàn)。若算法為單任務(wù)算法時，分別對每個子任務(wù)進行建模，來評價算法性能。本文提出的MTTSKFS-CS 建模方法與對比方法在真實數(shù)據(jù)集上的實驗結(jié)果如表3 所示。

表3 所有算法在各數(shù)據(jù)集上的泛化性能比較Table 3 Comparison of generalization performance of all algorithms on datasets

續(xù)表 3

4.3 后件參數(shù)劃分的可視化分析

為了進一步說明本文提出的對于后件參數(shù)矩陣的低秩和稀疏劃分的重要作用，我們將模型在Parkinsons Telemonitoring 數(shù)據(jù)集上訓(xùn)練出的后件參數(shù)W、V、E進 行可視化。圖2 展示了后件參數(shù)的可視化結(jié)果，從中可以看到，訓(xùn)練出的參數(shù)結(jié)果，基本符合圖1 中的假設(shè)，W被劃分為了低秩部分V和稀疏部分E。

圖2 W、V、E 的可視化結(jié)果Fig.2 Visualization ofW,V,E

4.4 算法收斂性分析

為了進一步研究本文提出的MTTSKFSCS 建模方法的收斂性，我們選取了Multivalued(MV) Data Modeling、Parkinsons Telemonitoring 和House 3 個數(shù)據(jù)集，通過交叉驗證尋優(yōu)得到最優(yōu)參數(shù)，并在最優(yōu)參數(shù)的基礎(chǔ)上進行收斂性實驗。算法在3 個數(shù)據(jù)集上的收斂曲線如圖3 所示。從收斂曲線中可以看到，算法在前期可以快速收斂，并迅速進入穩(wěn)定狀態(tài)。實驗結(jié)果說明，本文第3 節(jié)提出的優(yōu)化方法具有良好的收斂性能，能夠真正達到模型最優(yōu)化的目的，從而使模型獲得較高的實用性。

圖3 MTTSKFS-CS 方法的收斂曲線Fig.3 Convergence curve of MTTSKFS-CS algorithm

4.5 實驗結(jié)果分析

表3 的實驗結(jié)果證明MTTSKFS-CS 方法在大多數(shù)任務(wù)上獲得了比對比算法更好的性能表現(xiàn)。與單任務(wù)方法相比，多任務(wù)建模方法明顯提升了每個任務(wù)的預(yù)測表現(xiàn)，擁有更好的泛化性能。與多任務(wù)算法的對比結(jié)果說明，本文提出的方法在利用了多任務(wù)之間的的共享信息的同時有效利用了單個任務(wù)自身的特有信息，從而獲得了更好的表現(xiàn)。對于圖2 的可視化結(jié)果，我們可以看到，后件參數(shù)聯(lián)合矩陣W被劃分為了低秩部分V和稀疏部分E，實現(xiàn)了本文提出的模型設(shè)想，也間接驗證了MTTSKFS-CS 模型的有效性。

5 結(jié)束語

本文提出了一種新型多任務(wù)模糊系統(tǒng)建模方法，首先使用模糊聚類方法獲得多任務(wù)的模糊前件，然后通過合理劃分后件參數(shù)聯(lián)合矩陣為共享參數(shù)矩陣和特有參數(shù)矩陣，同時兼顧多任務(wù)之間的共享信息和各任務(wù)的特有信息。最后通過ALM 方法求解最優(yōu)化問題，獲得模型的最優(yōu)解。在多個真實多任務(wù)數(shù)據(jù)集上的實驗結(jié)果說明了，本文提出的MTTSKFS-CS 建模方法能夠有效解決傳統(tǒng)多任務(wù)模型只著重于多任務(wù)共享信息的問題。在今后的工作中，如何更好地在建模中平衡共享信息和特有信息將是我們研究的重點。