基于徑向基函數(shù)的多目標(biāo)回歸特征構(gòu)建算法

嚴(yán)海升，馬新強(qiáng)

（重慶文理學(xué)院人工智能學(xué)院，重慶 402160）

0 引言

在傳統(tǒng)的回歸問題中，每個(gè)樣本由一個(gè)特征向量和唯一的連續(xù)型輸出變量表示。假設(shè)X=Rd為d維特征空間，y∈R為連續(xù)型變量，傳統(tǒng)的回歸算法是從訓(xùn)練集{(xi，yi)|1≤i≤N}中學(xué)習(xí)得到函數(shù)f：X→y。每個(gè)樣本只具有一個(gè)輸出變量，對(duì)應(yīng)唯一的語義信息。而在現(xiàn)實(shí)世界中學(xué)習(xí)對(duì)象往往會(huì)很復(fù)雜，同時(shí)具有多種語義，對(duì)應(yīng)多個(gè)輸出。多目標(biāo)回歸（Multi-Target Regression，MTR）是一種專門針對(duì)學(xué)習(xí)樣本同時(shí)具有多個(gè)輸出目標(biāo)的回歸問題［1］。在多目標(biāo)回歸問題中，X=Rd表示d維特征空間，Y=Rm表示的m維輸出空間，每個(gè)樣本（xi，yi）由一個(gè)d維特征向量xi=［xi1，xi2，…，xid］和一個(gè)m維目標(biāo)輸出向量yi=［yi1，yi2，…，yim］表示，學(xué)習(xí)的任務(wù)是從訓(xùn)練集中學(xué)習(xí)得到函數(shù)h：X→Y，為未知樣本同時(shí)預(yù)測(cè)多個(gè)連續(xù)型的輸出值。目前，多目標(biāo)回歸已經(jīng)在計(jì)算機(jī)視覺［2］、醫(yī)學(xué)圖像分析［3］、生態(tài)建模［4］等領(lǐng)域取得了廣泛的應(yīng)用，成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。

與傳統(tǒng)的回歸問題相比，多目標(biāo)回歸更加復(fù)雜，面臨更多的挑戰(zhàn)。首先，多目標(biāo)回歸需要處理特征空間到多個(gè)不同的輸出目標(biāo)的映射關(guān)系，而這種映射關(guān)系可能是線性的，也可能是非線性的。此外，在多目標(biāo)回歸問題中，一個(gè)樣本具有多個(gè)輸出變量，對(duì)應(yīng)多種語義，而這些語義通常不是相互獨(dú)立，而是相互關(guān)聯(lián)的。對(duì)各輸出目標(biāo)之間的關(guān)聯(lián)關(guān)系進(jìn)行挖掘，有助于提高多目標(biāo)回歸的整體預(yù)測(cè)性能?？傮w來說，多目標(biāo)回歸面臨的挑戰(zhàn)［5］可以歸結(jié)為：1）處理輸入特征與多個(gè)輸出目標(biāo)之間復(fù)雜的映射關(guān)系；2）如何有效地發(fā)掘輸出目標(biāo)之間的關(guān)聯(lián)，提高預(yù)測(cè)性能。為解決多目標(biāo)回歸問題，人們提出了很多多目標(biāo)回歸算法。一種直觀的思路是為輸出空間的每個(gè)輸出目標(biāo)訓(xùn)練一個(gè)獨(dú)立的回歸模型，這類算法簡(jiǎn)單、直接、運(yùn)行效率高；另一種思路是將其他目標(biāo)的輸出作為額外的特征，構(gòu)建回歸模型，這種算法通過擴(kuò)展輸入空間，在構(gòu)建回歸模型時(shí)利用輸出目標(biāo)之間的關(guān)聯(lián)提升模型的預(yù)測(cè)準(zhǔn)確性。然而，現(xiàn)有的多目標(biāo)回歸算法都是在同一個(gè)特征空間上構(gòu)建多目標(biāo)回歸模型，忽略了各輸出目標(biāo)本身具有的特殊性質(zhì)，對(duì)多目標(biāo)回歸問題的預(yù)測(cè)準(zhǔn)確性的提升有限，因?yàn)楦鬏敵瞿繕?biāo)雖然可能相互關(guān)聯(lián)，但是并不等同，甚至?xí)憩F(xiàn)出完全不同的特性。因此，針對(duì)每個(gè)輸出目標(biāo)構(gòu)建合適的特性表達(dá)能更好地反映輸出目標(biāo)的特性，從而提高預(yù)測(cè)準(zhǔn)確性。

針對(duì)多目標(biāo)回歸問題，本文提出一種基于徑向基函數(shù)的多目標(biāo)回歸特征構(gòu)建算法（Feature Construction Algorithm for Multi-Target Regression via radial basis function，F(xiàn)CA-MTR）。首先，將各目標(biāo)的輸出作為額外特征對(duì)各輸出目標(biāo)聚類，根據(jù)聚類中心在原始特征空間構(gòu)造目標(biāo)特定特征空間的基；然后，通過徑向基函數(shù)將原始特征空間映射到目標(biāo)特定特征空間，基于目標(biāo)特定特征空間為每個(gè)輸出目標(biāo)構(gòu)建一個(gè)基回歸模型；最后，將各輸出目標(biāo)的基回歸模型的輸出構(gòu)成一個(gè)隱藏空間，并采用低秩學(xué)習(xí)算法［6］在隱藏空間學(xué)習(xí)得到最終的多目標(biāo)回歸預(yù)測(cè)模型。本文的工作主要有以下幾點(diǎn)：

1）采用聚類算法和徑向基映射，目標(biāo)特定特征空間的基反映了不同輸出目標(biāo)在輸出空間上的分布情況，因此目標(biāo)特定特征空間能夠充分考慮不同輸出目標(biāo)的特殊性質(zhì)；

2）由輸出目標(biāo)的基回歸模型的輸出形成的隱藏空間是對(duì)各輸出目標(biāo)特征的更高層次的抽象，代表了多目標(biāo)回歸中輸出目標(biāo)的共同特性；

3）通過構(gòu)建目標(biāo)特定特征和低秩學(xué)習(xí)算法，可以在同一框架中同時(shí)處理多目標(biāo)回歸中輸入輸出映射問題和目標(biāo)間關(guān)聯(lián)問題，既考慮了各輸出目標(biāo)的特性，又考慮了各輸出目標(biāo)之間的共性。

1 相關(guān)工作

近年來，分類和回歸是機(jī)器學(xué)習(xí)領(lǐng)域兩個(gè)重要的學(xué)習(xí)任務(wù)。在分類問題中，樣本的監(jiān)督信息是由離散值組成，而在回歸問題中，樣本的監(jiān)督信息是由連續(xù)型的值組成。在多目標(biāo)回歸問題中，每個(gè)數(shù)據(jù)樣本同時(shí)具有多個(gè)取值為連續(xù)型數(shù)據(jù)輸出的輸出目標(biāo)。在對(duì)標(biāo)簽分類問題中，每個(gè)樣本則同時(shí)具有多個(gè)離散型取值的輸出。兩者的不同之處在于輸出目標(biāo)的取值類型不同，它們共同的核心問題都是如何發(fā)掘多個(gè)輸出目標(biāo)間的關(guān)聯(lián)，以提高預(yù)測(cè)性能。目前，多標(biāo)簽分類已經(jīng)取得了很多重要的成果，而大多數(shù)對(duì)標(biāo)簽分類算法的思想都可以應(yīng)用于解決多目標(biāo)回歸問題，針對(duì)多標(biāo)記分類的研究可以為解決多目標(biāo)回歸學(xué)習(xí)問題提供寶貴的經(jīng)驗(yàn)。因此，首先介紹多標(biāo)記分類的研究現(xiàn)狀，然后介紹多目標(biāo)回歸的研究現(xiàn)狀和發(fā)展動(dòng)態(tài)。

針對(duì)多標(biāo)記分類問題，目前已經(jīng)涌現(xiàn)大量的多標(biāo)記分類算法?？傮w上來看，現(xiàn)有的多標(biāo)記學(xué)習(xí)算法大致分為“問題轉(zhuǎn)化”和“算法適應(yīng)”兩類［7］。問題轉(zhuǎn)化算法的基本思想是通過對(duì)多標(biāo)記訓(xùn)練樣本進(jìn)行處理，將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化成已知的機(jī)器學(xué)習(xí)問題進(jìn)行求解?；鶞?zhǔn)標(biāo)記排序（Calibrated Label Ranking，CLR）算法［8］是一種典型的問題轉(zhuǎn)化算法，它將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化成為“標(biāo)記排序”問題進(jìn)行求解。分類器鏈集成（Ensemble of Classifier Chains，ECC）算法［9］將多個(gè)二分類器連成一條鏈，訓(xùn)練樣本每經(jīng)過一個(gè)二分類器，就將其預(yù)測(cè)結(jié)果添加到樣本特征向量之中，繼續(xù)下一個(gè)二分類器的訓(xùn)練，并通過組合多條隨機(jī)產(chǎn)生的不同標(biāo)記序列的分類器鏈，以減輕不同標(biāo)記序列給分類結(jié)果帶來的不利影響。算法適應(yīng)的主要思想是對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行改進(jìn)，將其直接應(yīng)用于多標(biāo)記數(shù)據(jù)學(xué)習(xí)。其中較為典型的是多標(biāo)記k近鄰（Multi-LabelkNN，MLkNN）算法［10］，該算法基于待分類樣本的k個(gè)最鄰近樣本中各標(biāo)記出現(xiàn)的先驗(yàn)概率和后驗(yàn)概率，使用最大化后驗(yàn)概率原則確定待分類樣本的類別標(biāo)記集合。排序支持向量機(jī)（Rank-Support Vector Machine，Rank-SVM）［11］采用最大間距策略來處理多標(biāo)簽數(shù)據(jù)，以最小化排序損失為目標(biāo)，針對(duì)每一對(duì)相關(guān)與不相關(guān)標(biāo)簽構(gòu)建線性分類器，并通過核算法處理非線性分類問題。Sun等［12-14］和王進(jìn)等［15］將演化超網(wǎng)絡(luò)模型用于解決多標(biāo)簽分類問題，演化超網(wǎng)絡(luò)最大的優(yōu)點(diǎn)在于能夠以標(biāo)簽規(guī)模的線性復(fù)雜度，深度發(fā)掘標(biāo)簽之間的高階關(guān)聯(lián)，從而提高多標(biāo)簽分類的準(zhǔn)確性。多標(biāo)簽分類問題與多目標(biāo)回歸問題的區(qū)別在于多目標(biāo)回歸中輸出值是連續(xù)型的數(shù)值，而多標(biāo)簽分類的輸出是離散型的。兩者的核心問題都是處理輸入空間與多個(gè)輸出的映射關(guān)系以及多個(gè)輸出之間的關(guān)聯(lián)關(guān)系。因此，多標(biāo)簽分類的研究能夠?yàn)槎嗄繕?biāo)回歸提供重要的參考和經(jīng)驗(yàn)。

多目標(biāo)回歸是一種同時(shí)預(yù)測(cè)多個(gè)相互關(guān)聯(lián)的連續(xù)型目標(biāo)變量的回歸分析問題，由于多目標(biāo)回歸的輸出空間不再是一維而是多維的，多目標(biāo)回歸又被稱作多變量回歸或多維輸出回歸。和多標(biāo)記分類問題一樣，多目標(biāo)回歸也需要通過挖掘、利用多個(gè)目標(biāo)變量之間的關(guān)聯(lián)關(guān)系，以提高預(yù)測(cè)的準(zhǔn)確性。文獻(xiàn)［16］通過擴(kuò)展輸入空間的方式處理多目標(biāo)回歸問題，并提出了兩種多目標(biāo)回歸算法：層疊單目標(biāo)回歸（Stacked Single-Target，SST）算 法 和 回 歸 器 鏈 集 成（Ensemble of Regressor Chains，ERC）算法。SST算法的訓(xùn)練由兩個(gè)階段組成。在第一個(gè)學(xué)習(xí)階段，SST算法為每個(gè)輸出目標(biāo)訓(xùn)練一個(gè)獨(dú)立的回歸模型。在第二個(gè)學(xué)習(xí)階段，SST算法首先通過將輸出空間的其他目標(biāo)變量的預(yù)測(cè)值作為額外的輸入變量擴(kuò)展原始的輸入空間，然后在擴(kuò)展后的輸入空間上為每個(gè)目標(biāo)變量訓(xùn)練一個(gè)回歸模型。ERC算法是ECC算法針對(duì)多目標(biāo)回歸問題的一種改進(jìn)算法，它通過組合多條隨機(jī)產(chǎn)生的不同目標(biāo)序列的回歸器鏈，以利用多個(gè)目標(biāo)變量之間的關(guān)聯(lián)關(guān)系提高多目標(biāo)回歸的預(yù)測(cè)性能。多層、多目標(biāo)回歸（Multi-layer Multi-target Regression，MMR）算法［17］通過魯棒的低秩學(xué)習(xí)處理多目標(biāo)回歸問題中的非線性輸入輸出關(guān)系和多目標(biāo)變量的關(guān)聯(lián)關(guān)系。文獻(xiàn)［18］將多目標(biāo)回歸應(yīng)用于中藥藥效預(yù)測(cè)，通過利用輸出目標(biāo)之間的關(guān)聯(lián)，解決了藥效預(yù)測(cè)問題中樣本數(shù)量少、數(shù)據(jù)維度高給預(yù)測(cè)模型帶來的困難。Melki等［19］提出了一種基于相關(guān)回歸器鏈的多目標(biāo)回歸（multi-target Support Vector Regression via Correlation regressor Chains，SVRCC）算法，該算法首先計(jì)算一個(gè)具有最大關(guān)聯(lián)的輸出目標(biāo)序列，然后基于該序列建立一條回歸器鏈。文獻(xiàn)［20］將構(gòu)建的目標(biāo)特定特征加入到原始特征中，通過擴(kuò)展原始輸入空間，學(xué)習(xí)預(yù)測(cè)模型解決多目標(biāo)回歸問題。Aho等［21］利用決策規(guī)則集成的算法解決多目標(biāo)回歸問題。文獻(xiàn)［22］利用決策樹具有學(xué)習(xí)結(jié)果可讀性強(qiáng)、學(xué)習(xí)效率高的優(yōu)點(diǎn)，通過改進(jìn)預(yù)測(cè)聚類樹（Predictive Clustering Trees，PCT）算法，提出了一種叫作選擇預(yù)測(cè)聚類樹（Option PCT，OPCT）的多目標(biāo)回歸算法。

2 基于目標(biāo)特定特征構(gòu)建的多目標(biāo)回歸算法

多目標(biāo)回歸需要解決的主要問題在于輸入輸出的映射關(guān)系以及輸出目標(biāo)之間的關(guān)聯(lián)。本文算法在同一個(gè)框架中同時(shí)處理多目標(biāo)回歸的這兩個(gè)關(guān)鍵問題。具體來講，針對(duì)輸入輸出的映射關(guān)系問題，通過構(gòu)建目標(biāo)特定特征，為每一個(gè)輸出目標(biāo)構(gòu)建反映輸出目標(biāo)特性的新的特征空間。針對(duì)輸出目標(biāo)之間的關(guān)聯(lián)問題，構(gòu)建一個(gè)共同的隱藏空間，并采用低秩學(xué)習(xí)算法在隱藏空間中發(fā)掘和利用輸出目標(biāo)的關(guān)聯(lián)，提高多目標(biāo)回歸的預(yù)測(cè)性能。本文提出的多目標(biāo)回歸算法的框架如圖1所示。

圖1 基于目標(biāo)特定特征構(gòu)建的多目標(biāo)回歸算法框架Fig.1 Multi-target regression algorithm framework constructed on basis of target specific features

2.1 目標(biāo)特定特征構(gòu)建算法

其中‖cjn，cjl‖表示任意兩個(gè)聚類中心cjn，cjl之間的歐氏距離。

為了對(duì)輸出目標(biāo)之間的關(guān)聯(lián)進(jìn)行建模，本文采用低秩學(xué)習(xí)算法從隱藏空間中為每個(gè)輸出目標(biāo)yj學(xué)習(xí)得到最終的回歸預(yù)測(cè)模型hj。最終的回歸預(yù)測(cè)模型hj通過最小化如式（5）所示的目標(biāo)函數(shù)獲得。

由于Rank函數(shù)的不連續(xù)性和非凸性，式（5）所示的目標(biāo)函數(shù)不能直接通過梯度下降算法求解。核范式被廣泛應(yīng)用于低秩學(xué)習(xí)［23］，因此本文采用核范式對(duì)Rank函數(shù)進(jìn)行近似表示，式（5）所示的目標(biāo)函數(shù)可以被表示如式（6）所示：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

為驗(yàn)證本文算法的有效性，在18個(gè)多目標(biāo)回歸數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)過程的使用的數(shù)據(jù)都來自http：//mulan.sourceforge.net/datasets-m tr.htm l。數(shù)據(jù)集的統(tǒng)計(jì)特征如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集及其統(tǒng)計(jì)特征Tab.1 Experimental datasets and their statistical characteristics

3.2 評(píng)價(jià)指標(biāo)

多目標(biāo)回歸問題中，需要為每個(gè)測(cè)試樣本同時(shí)預(yù)測(cè)多個(gè)輸出，為對(duì)多目標(biāo)回歸算法的預(yù)測(cè)性能進(jìn)行評(píng)價(jià)，本文采用平均相關(guān)根均方誤差aRRMSE（average Relative Root Mean Square Error）［17］作為評(píng)價(jià)指標(biāo)，其中相關(guān)根均方誤差（Relative Root Mean Square Error，RRMSE）的 定 義 如 式（8）所 示，RRMSE值越小，預(yù)測(cè)準(zhǔn)確性越高。

3.3 實(shí)驗(yàn)與結(jié)果分析

本文算法與當(dāng)前最具代表性的多目標(biāo)回歸算法，包括SST［16］、ERC［16］、MMR［17］、SVRCC［19］進(jìn)行比較。為了體現(xiàn)對(duì)比結(jié)果的客觀性，本文采用與對(duì)比算法相同的實(shí)驗(yàn)設(shè)置，即在scm1d和scm20d數(shù)據(jù)集上采用2折交叉，在rf1和rf2數(shù)據(jù)集上采用5折交叉，在其余數(shù)據(jù)集上采用10折交叉進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比。

本文算法與對(duì)比算法在18個(gè)數(shù)據(jù)集上的預(yù)測(cè)結(jié)果的RRMSE如表2所示，每個(gè)數(shù)據(jù)集上的最好結(jié)果用粗體標(biāo)識(shí)。從表2中，可以看出本文算法在絕大多數(shù)的數(shù)據(jù)集上比對(duì)比算法有更高的預(yù)測(cè)準(zhǔn)確性。

表2 本文算法與對(duì)比算法在18個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果Tab.2 Test results of the proposed algorithm and comparison algorithmson 18 datasets

為客觀反映各算法在預(yù)測(cè)準(zhǔn)確性上的差異，設(shè)置原假設(shè)H0，即各算法的預(yù)測(cè)準(zhǔn)確性不存明顯的差別，再采用Friedman檢驗(yàn)［25］對(duì)算法之間預(yù)測(cè)性能的差異進(jìn)行總體統(tǒng)計(jì)分析，F(xiàn)riedman檢驗(yàn)的相關(guān)統(tǒng)計(jì)信息如表3所示，從表3中可以看出Friedman檢驗(yàn)的統(tǒng)計(jì)特征值50.76遠(yuǎn)大于顯著性水平α=0.05時(shí)的臨界值2.52，原假設(shè)H0被拒絕，說明各算法在預(yù)測(cè)準(zhǔn)確性上存在顯著性差異。

表3 Friedman檢驗(yàn)統(tǒng)計(jì)特征Tab.3 Friedman test statistical characteristics

為進(jìn)一步分析各算法在預(yù)測(cè)準(zhǔn)確性上的具體差異，采用Bonferroni-Dunn檢驗(yàn)［25］進(jìn)行事后檢驗(yàn)。在Bonferroni-Dunn檢驗(yàn)中，兩個(gè)算法之間預(yù)測(cè)性能的差異通過算法的平均排序以及顯著性差異值（Critical Difference，CD）表示，當(dāng)兩個(gè)算法的平均排序差值大于CD值時(shí)，說明這兩個(gè)算法中一個(gè)算法的預(yù)測(cè)性能明顯優(yōu)于另外一個(gè)算法。顯著性差異值CD的計(jì)算如式（9）所示，其中J表示比較算法的個(gè)數(shù)，K表示數(shù)據(jù)集的個(gè)數(shù)，qα表示顯著性水平為α?xí)r的臨界值。本文取α=0.05，則qα=2.498，由式（9）可以得出CD值等于1.32，即當(dāng)任意兩個(gè)算法的平均排序差值超過1.32時(shí)，說明一個(gè)算法的預(yù)測(cè)準(zhǔn)確性明顯高于另一個(gè)算法。圖2通過CD圖直觀地展示了各算法之間預(yù)測(cè)性能的差異，在圖2中平均排序最靠前的算法位于CD圖的最右邊，平均排序最靠后的算法位于CD圖的最左邊，如果任意兩個(gè)算法的平均排序差值超過CD值，則兩者的性能有明顯的差異，且位于右邊的算法的預(yù)測(cè)性能明顯好于位于左邊的算法。從圖2中可以看出，本文算法的預(yù)測(cè)準(zhǔn)確性明顯高于SST、ERC和SVRCC算法，而與MMR算法的預(yù)測(cè)性能雖然沒有顯著的差異，但是卻總體上比MMR算法略高。

圖2 算法平均排序的CD圖Fig.2 CD chart of average ranksof algorithms

最后，為驗(yàn)證本文算法有效性，對(duì)各輸出目標(biāo)在原始特征空間和目標(biāo)特定特征空間分別訓(xùn)練線性回歸模型，并比較模型在測(cè)試集上對(duì)各輸出目標(biāo)的預(yù)測(cè)性能。圖3展示了MTRBR、MTR-TSF、FCA-MTR三種算法在預(yù)測(cè)準(zhǔn)確性上的差別，MTR-BR在原始特征空間采用二分法為每個(gè)輸出目標(biāo)分別訓(xùn)練線性回歸模型，MTR-TSF則是在構(gòu)建的目標(biāo)特定特征空間上采用二分法為每個(gè)輸出目標(biāo)分別訓(xùn)練線性回歸模型。從圖3中可以看出MTR-TSF所有的數(shù)據(jù)集上的預(yù)測(cè)性能都高于MTR-BR，并且在大部分?jǐn)?shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確性明顯比MTRBR高，說明構(gòu)建的目標(biāo)相關(guān)特征能夠提高各輸出目標(biāo)的預(yù)測(cè)準(zhǔn)確性。此外，圖3中FCA-MTR的預(yù)測(cè)準(zhǔn)確性在所有數(shù)據(jù)集上都高于MTR-TSF，表明目標(biāo)特定特征結(jié)合低秩學(xué)習(xí)表示的輸出目標(biāo)間的關(guān)聯(lián)能夠進(jìn)一步提升多目標(biāo)回歸的總體預(yù)測(cè)準(zhǔn)確性。

圖3 MTR-BR、MTR-TSF、FCA-MTR三種算法在預(yù)測(cè)準(zhǔn)確性上的比較Fig.3 Comparison of prediction accuracy of threealgorithms：MTR-BR，MTR-TSF，and FCA-MTR

從以上實(shí)驗(yàn)結(jié)果的對(duì)比可以看出，本文算法能夠通過目標(biāo)特定特征提高各輸出目標(biāo)的準(zhǔn)確性，從而總體提升多目標(biāo)回歸的預(yù)測(cè)準(zhǔn)確性。

4 結(jié)語

本文提出了一種基于徑向基函數(shù)的目標(biāo)相關(guān)特征構(gòu)建算法，用于解決目標(biāo)回歸中的輸入輸出映射關(guān)系以及輸出目標(biāo)之間的關(guān)聯(lián)性問題。首先通過聚類分析和徑向基函數(shù)，將原始輸入特征映射到目標(biāo)特定特征上，構(gòu)建的目標(biāo)特定特征能夠更準(zhǔn)確地反映各輸出目標(biāo)特有的性質(zhì)；然后利用目標(biāo)特定特征構(gòu)建隱藏空間；最后在隱藏空間上，通過低秩學(xué)習(xí)算法來發(fā)掘和利用輸出目標(biāo)之間的關(guān)聯(lián)關(guān)系，提高多目標(biāo)回歸的預(yù)測(cè)準(zhǔn)確性。在18個(gè)多目標(biāo)回歸數(shù)據(jù)集上，本文算法取得了較好的結(jié)果，驗(yàn)證了算法的有效性。未來的其中一個(gè)工作方向是優(yōu)化目標(biāo)相關(guān)特征構(gòu)建算法，進(jìn)一步增強(qiáng)模型處理輸入輸出之間非線性映射關(guān)系的能力。