具有特征選擇的多源自適應(yīng)分類框架

黃學(xué)雨，徐浩特*，陶劍文

（1.江西理工大學(xué)信息工程學(xué)院，江西贛州 341000；2.寧波職業(yè)技術(shù)學(xué)院電子信息工程學(xué)院，浙江寧波 315100）

0 引言

傳統(tǒng)機(jī)器學(xué)習(xí)已經(jīng)在當(dāng)今的信息社會取得了矚目的成就。而這些成就主要歸功于大量的標(biāo)記訓(xùn)練數(shù)據(jù)，并且基于以下假設(shè)：訓(xùn)練和測試數(shù)據(jù)獨立于一個相同但未知的分布（Independent and Identically Distributed，IID）［1］。然而在實際各種領(lǐng)域應(yīng)用中大量的數(shù)據(jù)都是屬于非IID 數(shù)據(jù)。并且在這些領(lǐng)域中已標(biāo)注的數(shù)據(jù)較少，需要人工準(zhǔn)備充足的已標(biāo)記訓(xùn)練數(shù)據(jù)，這是一個需要耗費大量人力物力的過程［2］。此外，收集樣本的過程容易產(chǎn)生數(shù)據(jù)集偏差，從而導(dǎo)致由訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)得到的模型在測試數(shù)據(jù)集下呈現(xiàn)并非十分理想的測試結(jié)果。因此，標(biāo)記數(shù)據(jù)稀缺和數(shù)據(jù)集偏差是目前機(jī)器學(xué)習(xí)亟須解決的問題。由此領(lǐng)域適應(yīng)學(xué)習(xí)（Domain Adaptation Learning，DAL）技術(shù)在現(xiàn)階段得以迅速發(fā)展。在DAL 任務(wù)中學(xué)習(xí)領(lǐng)域通常分為兩個相關(guān)但不同的類型，即源域和目標(biāo)域［3］。旨在利用源域中的訓(xùn)練數(shù)據(jù)來解決目標(biāo)域中的學(xué)習(xí)問題，兩個域的數(shù)據(jù)分布可以相同或不同。但是強(qiáng)行將某些與目標(biāo)域分布差異極大的源域自適應(yīng)于目標(biāo)域會導(dǎo)致DAL 中的“負(fù)遷移”問題［4］。為此，多源自適應(yīng)學(xué)習(xí)被提出到DAL 的行列中，其旨在利用多個相關(guān)的源域，通過最小化源域之間的差異來輔助目標(biāo)域的學(xué)習(xí)。多源自適應(yīng)學(xué)習(xí)在現(xiàn)實中不同領(lǐng)域的應(yīng)用上取得了出色的成績。例如，文獻(xiàn)［5］提出的A-SVM（Adaptive Support Vector Machine），該方法首先在多個源域上訓(xùn)練得到相應(yīng)的分類模型，然后通過這些不同源域的分類模型來輔助目標(biāo)域分類模型的學(xué)習(xí)。另外還有基于最小化均值偏差的學(xué)習(xí)的多源自適應(yīng)方法如FastDAM（Fast Domain Adaptation Machine）［6］等。但目前的多源自適應(yīng)方法仍存在一些問題至今沒有得到妥善的解決：

1）如何處理域中訓(xùn)練數(shù)據(jù)可能含有部分無關(guān)或冗余的特征信息（例如，噪聲和異常值）的問題。

由于源域的視覺訓(xùn)練數(shù)據(jù)可以從各種網(wǎng)站中隨機(jī)獲得，因此訓(xùn)練數(shù)據(jù)中的噪聲和異常值比比皆是?，F(xiàn)有方法盲目地將包含噪聲和異常值的所有訓(xùn)練數(shù)據(jù)轉(zhuǎn)換到共享子空間中，這可能導(dǎo)致學(xué)習(xí)得到的模型最終分類效果顯著弱化。

2）如何有效挖掘多個源域中包含的相關(guān)信息的問題。

大多數(shù)多源自適應(yīng)方法通常分別處理源樣本而不考慮幾個源之間的相關(guān)性，這將導(dǎo)致多源信息無法得到充分的利用使得最終的分類效果并非十分理想。

3）如何充分挖掘并利用目標(biāo)域未標(biāo)記數(shù)據(jù)內(nèi)含有的潛在信息來提高模型性能。

近年來，雖然已有的一些方法能夠應(yīng)對上述的部分問題，但是目前還是沒有一個統(tǒng)一的框架能解決上述的問題。文獻(xiàn)［7］指出，通過L2，1范數(shù)對模型矩陣行稀疏化使其擁有稀疏特征選擇功能，能夠篩選出最具判別性的數(shù)據(jù)特征。除了剔除特征中存在的噪聲信息以外，L2，1范數(shù)還可以通過消除冗余特征信息減小分類模型矩陣的特征維度提升算法計算效率。

具體來說，為了解決現(xiàn)有DAL 方法在視覺分類任務(wù)中存在的上述問題，本文提出一種具有特征選擇的多源自適應(yīng)分類框架（Multi-source Adaptation Classification Framework with Feature Selection，MACFFS）。所提方法主要創(chuàng)新點在于：

1）引入跡范數(shù)正則化來探索多個源之間的共享信息，并通過優(yōu)化得到的權(quán)重值整合多源信息，利用L2，1范數(shù)損失函數(shù)來減輕噪聲或離群值的影響，提出了一種具有特征選擇的魯棒多源自適應(yīng)分類框架。

2）將框架的全局優(yōu)化解轉(zhuǎn)換為一個廣義特征分解問題，并對整個過程進(jìn)行了詳細(xì)的理論證明。同時給出了基于該框架的簡單有效的算法步驟。

3）分別在幾個不同應(yīng)用場景所對應(yīng)數(shù)據(jù)集上進(jìn)行了全面的實驗，以驗證所提出的框架的高效性與魯棒性。

1 多源適應(yīng)無監(jiān)督分類框架

為便于描述，此處先提前介紹文中符號的意義。本文用A∈Rd×n表示大小d×n的矩陣，Ai，j對應(yīng)于矩陣中的(i，j)元素。此外，分別用表示矩陣的L2，1范數(shù)和Frobenius 范數(shù)。矩陣A的跡表示為tr(A)。用In定義大小為n×n的單位矩陣。用1n∈Rn表示元素都是1的列向量。

1.1 問題描述

為解決現(xiàn)有方法存在的問題，MACFFS 框架需具備以下兩個主要特性：1）有區(qū)別地利用多個標(biāo)簽豐富的源域來協(xié)助標(biāo)簽稀缺的目標(biāo)域中的學(xué)習(xí)任務(wù)；2）通過目標(biāo)領(lǐng)域潛在信息增強(qiáng)模型的分類性能。本文所提方法將聯(lián)合共享子空間學(xué)習(xí)與多源模型遷移，并利用圖流形正則化［8］有效提升目標(biāo)學(xué)習(xí)性能，最終形成一個統(tǒng)一的框架。

1.2 框架的提出

給定包含n個d維向量的目標(biāo)數(shù)據(jù)集X=[x1，x2，…，xn]∈Rd×n，其對應(yīng)的標(biāo)簽集為Yt∈{0，1}n×c，c是類的數(shù)量。在多標(biāo)簽分類問題的情況下，對于每個輸入向量xi∈X∈Rd×n（1 ≤i≤n），假設(shè)yi∈Yt是與之相關(guān)的輸出標(biāo)簽，如果xi被標(biāo)記屬于j類別，則yi，j=1；否則yi，j=0 。本文提出的無監(jiān)督框架假設(shè)目標(biāo)數(shù)據(jù)集不含有任何標(biāo)簽，即目標(biāo)域的標(biāo)簽集為一個標(biāo)簽預(yù)測矩陣F∈{0，1}n×c（初始為一個全零矩陣）。將樣本大小為nv的第v(v=1，2，…，M)個源域數(shù)據(jù)集表示為，其對應(yīng)的標(biāo)簽集為

傳統(tǒng)的有監(jiān)督學(xué)習(xí)算法通過將原始數(shù)據(jù)x映射為某個類別標(biāo)簽值y從而獲得預(yù)測函數(shù)f(x)［9］。即最小化如下正則化經(jīng)驗誤差函數(shù)：

其中：loss(?，?)為某個損失函數(shù)，Ω(?)為正則化函數(shù)，μ≥0 為正則化參數(shù)。視覺數(shù)據(jù)的特征之間存在某些共享屬性，通過這些相關(guān)信息可以強(qiáng)化分類模型的學(xué)習(xí)?；谠撍枷?，本文通過線性變換矩陣Pv∈Rd×r將第v個源域的特征投影至共享子空間中，其中r是特征子空間的維數(shù)。因此，可在（1）的基礎(chǔ)上將第v個源領(lǐng)域的分類模型學(xué)習(xí)形式化為以下優(yōu)化問題：

其中：Qv∈Rr×c為共享子空間內(nèi)的權(quán)重矩陣，μ是正則化參數(shù)。通?？梢允褂媒?jīng)典的最小二乘損失函數(shù)來學(xué)習(xí)（2）中的預(yù)測函數(shù)，但是極易受異常值和噪聲的影響。因此，在本文的框架中使用L2，1范數(shù)損失函數(shù)增強(qiáng)其魯棒性減輕噪聲/異常值對目標(biāo)數(shù)據(jù)的干擾，并利用正交約束使得在新空間中的各個特征相對獨立。則該源域的共享特征子空間學(xué)習(xí)目標(biāo)函數(shù)（2）可描述為：

與源域類似目標(biāo)域的學(xué)習(xí)函數(shù)為：

其中：ω為正則化系數(shù)；Q0為是針對目標(biāo)域數(shù)據(jù)的權(quán)重矩陣，同時利用‖ ? ‖2，1保證Q0的行稀疏。為了充分利用目標(biāo)域的信息用于目標(biāo)分類器的學(xué)習(xí)，加入了另一個正則化項：流形正則化項［8］。其中L為定義于目標(biāo)領(lǐng)域數(shù)據(jù)鄰接圖上的Laplacian 矩陣且L=Δ-Γ。其中：Δ為一個對角矩陣，第i個元素為為圖權(quán)值矩陣，當(dāng)樣本xi和xj為k近鄰時，矩陣元素Γi，j=1，否則Γi，j=0。

為了將M個源域的知識共同作用在目標(biāo)域中，進(jìn)而統(tǒng)一學(xué)習(xí)目標(biāo)域分類模型提出具有特征選擇的多源自適應(yīng)分類框架：

其中Fv為目標(biāo)域?qū)嵗ㄟ^每個源分類器所得到的目標(biāo)分類標(biāo)簽。而是一個全局正則項，它要求目標(biāo)域特征數(shù)據(jù)在每個源分類模型中得到的分類結(jié)果與一個統(tǒng)一的分類結(jié)果F對齊。本質(zhì)上其目的為使Fv在不同的源分類標(biāo)簽矩陣之間建立橋接，使來自一個源的信息可以被利用到另一個源。其中參數(shù)θv表示不同源對目標(biāo)預(yù)測的不同貢獻(xiàn)度。

圖1 為MACFFS 的示意圖。結(jié)合圖1 可以看出框架學(xué)習(xí)的具體過程如下：將多個源域的視覺數(shù)據(jù)投影至不同的隱空間并利用L2，1范數(shù)的稀疏特性選擇有效特征剔除冗余信息，最后學(xué)習(xí)得到M個源域分類器。將無標(biāo)簽的目標(biāo)域數(shù)據(jù)通過M個源域分類器得到M個標(biāo)簽矩陣，并根據(jù)不同的權(quán)重整合所有的標(biāo)簽矩陣最終得到一個統(tǒng)一的目標(biāo)域標(biāo)簽矩陣用以目標(biāo)分類器的學(xué)習(xí)。

圖1 MACFFS示意圖Fig.1 Schematic diagram of MACFFS

2 優(yōu)化算法

本文將采取交替優(yōu)化的策略來對目標(biāo)函數(shù)（5）進(jìn)行求解。其主要原因為避免式中關(guān)于L2，1范數(shù)的非平滑變量導(dǎo)致整體目標(biāo)函數(shù)不能形成一個閉合的形式。為便于優(yōu)化，定義Tv=PvQv。另外在優(yōu)化過程中，將采取先設(shè)θv為已知常量從而優(yōu)化其他變量的策略。因此，得到目標(biāo)函數(shù)的優(yōu)化求解表示為如下形式：

3 半監(jiān)督式MACFFS

3.1 半監(jiān)督框架與算法的提出

算法1 由里外兩個循環(huán)組成，外循環(huán)為一個迭代循環(huán)，而里循環(huán)依次對每個源域的相關(guān)變量進(jìn)行優(yōu)化更新。當(dāng)遍歷完所有源域后，將所有更新后的變量代入到式（19）得到一個值Ωt，并繼續(xù)進(jìn)行下一輪的迭代。當(dāng)達(dá)到條件時，預(yù)示著算法收斂迭代完成。最后輸出所有優(yōu)化完成的變量。

3.2 目標(biāo)域樣本標(biāo)簽計算方法

本文將這些多個源域分類模型得到的決策值通過不同源域的貢獻(xiàn)度θv線性融合作為最終決策值。換句話說，來自目標(biāo)域的樣本xi對應(yīng)的標(biāo)簽決策值yi由下式給出：

4 實驗與結(jié)果

4.1 實驗設(shè)置

分別對本文提出的MACFFS與相關(guān)的多源自適應(yīng)方法在Caltech-256+Office 數(shù)據(jù)集和TRECVID 2005 數(shù)據(jù)集上進(jìn)行實驗分析，以證明所提方法對各種任務(wù)的廣泛適用性和相較于其他方法性能方面的優(yōu)異性。

根據(jù)實際的視覺分類任務(wù)，將所提方法與幾個多源自適應(yīng)方法進(jìn)行比較。具體方法如下：

1）TCA（Transfer Component Analysis）［10］；

2）A-SVM［5］；

3）DSM（Domain Selection Machine）［11］；

4）FastDAM［6］；

5）Multi-KT（Multi Model Knowledge Transfer）［12］；

6）MACFFS變體方法：MACFFS_1和MACFFS_2。

其中加入MACFFS變體方法的目的為驗證本文所提框架各個組件的必要性，其具體形式與驗證目的如下：

1）設(shè)置θv=1/M的MACFFS，簡稱為MACFFS_1：通過此設(shè)置使框架在相同權(quán)重多源適應(yīng)的情況下進(jìn)行性能評估。

2）設(shè)置μ=0 和ω=0 的MACFFS，簡稱MACFFS_2：此設(shè)置的目的為評估沒有特征選擇項的MACFFS的性能。

關(guān)于TCA、DSM、FastDAM、Multi-KT 和A-SVM 中的參數(shù)按照各自文獻(xiàn)中的最優(yōu)設(shè)置來選擇。其中高斯核參數(shù)γ通過在源集上交叉驗證得到一個公共值。

在本文的方法中主要有3 個模型參數(shù)，即α，μ和ω，這些參數(shù)在{10-6，10-5，…，106}范圍內(nèi)進(jìn)行調(diào)整，根據(jù)經(jīng)驗設(shè)置最近鄰數(shù)k=5。本研究將使用五重交叉驗證法針對每個參數(shù)選取最優(yōu)值，每次參數(shù)的設(shè)置都將重復(fù)5 次實驗，并取平均值作為最終的實驗結(jié)果。

4.2 數(shù)據(jù)集描述

4.2.1 目標(biāo)識別任務(wù)數(shù)據(jù)集

Caltech-256+Office 數(shù)據(jù)集包含來自4 個域的圖像：Amazon（A）、DSLR（Digital Singular Lens Reflex）（D）、Webcam（W）和Caltech-256（C）。Caltech-256與Office數(shù)據(jù)集之間共有10 個通用類，總共包含2 533 張圖像［13］。在實驗中，所有圖像均按保留比例調(diào)整大小為150×150 并對所有圖像使用6 種特征表示：CH（Color Histogram）、LSS（Local Self-Similarity）、PHOG（Pyramid Histogram of Oriented Gradients）、SIFT（Scale-Invariant Feature Transform）、CSIFT（Color Scale-Invariant Feature Transform）［14］和SURF（Speeded Up Robust Feature）［15］特征。將每幅圖像的6 種特征表示拼接組合為一個新的特征向量。當(dāng)作為源域時，Amazon/Caltech 每類使用20 個訓(xùn)練樣本，而DSLR/Webcam 每類使用8 個訓(xùn)練樣本。當(dāng)其作為目標(biāo)域，都僅使用3 個已標(biāo)記的樣本作為訓(xùn)練數(shù)據(jù)，目標(biāo)域中的其余數(shù)據(jù)用于測試。另外，本文從Caltech-256中隨機(jī)抽取10類和20 類組成兩個集合分別進(jìn)行目標(biāo)識別。第二組是在第一組的基礎(chǔ)上再隨機(jī)添加10 類獲得。在基于Caltech-256 數(shù)據(jù)集的多源適應(yīng)任務(wù)中，將依次把其中一個類別視為目標(biāo)域，其余的視為源域，最終得到的平均識別率用于評估幾個方法在Caltech-256 數(shù)據(jù)集中多源情況下的識別性能，該數(shù)據(jù)集包含256 個對象類別的圖像以及雜亂類別的圖像，這些雜亂類別用作對象與背景問題的負(fù)類別。

4.2.2 視頻概念識別任務(wù)數(shù)據(jù)集

TRECVID 2005［16］是最大的視頻語料庫之一。該數(shù)據(jù)集由從6 個不同廣播頻道收集的108 個小時視頻節(jié)目的61 901個關(guān)鍵幀組成，包括2 個漢語頻道CCTV 與NTDTV（New Tang Dynasty Television），3 個英語頻道CNN（Cable News Network）、MSNBC（Microsoft National Broadcasting Corporation）和NBC（National Broadcasting Company），以及一個阿拉伯語頻道LBC（Lebanese Broadcasting Corporation Television）。表1列出了每個頻道中關(guān)鍵幀的總數(shù)（除MSNBC 以外）。為所有關(guān)鍵幀提取6 個視覺特征：SIFT、SURF、GiST（Generalized Search Tree）［17］、LBP（Local Binary Pattern）、PHOG 和WT（Wavelet Texture）。每個樣本的多個特征經(jīng)過與目標(biāo)識別任務(wù)中相同的方法組合得到新視覺特征向量。從LSCOM-lite詞典中選擇了36個視頻概念，該詞典涵蓋了廣播新聞視頻中存在的36個主要視覺概念，包括對象、位置、人物、事件和節(jié)目。通過手動注釋這36 個概念，以描述TRECVID 2005 數(shù)據(jù)集中關(guān)鍵幀的視覺內(nèi)容。在實驗中，本文將兩個英語頻道（CNN 和NBC）和兩個漢語頻道用作源域，選擇阿拉伯語頻道作為目標(biāo)域，并在其中隨機(jī)采樣10 個樣本以進(jìn)行標(biāo)記加入到訓(xùn)練數(shù)據(jù)中。另外本文還通過設(shè)置CNN_ENG 為目標(biāo)域，其余的頻道為源域測試不同目標(biāo)域標(biāo)記樣本的數(shù)量對性能的影響。在所有設(shè)置中除訓(xùn)練數(shù)據(jù)外，來自目標(biāo)域的其余樣本用作測試數(shù)據(jù)集。

表1 TRECVID 2005數(shù)據(jù)集說明Tab.1 Description of TRECVID 2005 dataset

4.3 實驗結(jié)果與分析

實驗中分別比較了本文的方法與其他基準(zhǔn)方法在多個源適應(yīng)設(shè)置中對上述兩個跨域?qū)W習(xí)任務(wù)的識別性能，并在圖2～5中報告了實驗結(jié)果。其中，圖4和圖5（b）分別顯示了所有比較方法在不同標(biāo)記目標(biāo)樣品數(shù)量下的識別結(jié)果。根據(jù)不同的算法在不同實驗設(shè)置中的識別率，可以分析得到如下幾個結(jié)論：

1）如圖2、3 與圖5（a）所示，Multi-KT 和FastDAM 的性能不穩(wěn)定。這可能是因為所選的內(nèi)核函數(shù)并不適合所有情況。從圖5（a）可以觀察到，F(xiàn)ast-DAM 和Multi-KT 實現(xiàn)了相似的性能。但是，在大多數(shù)情況下，Multi-KT 比Fast-DAM 稍差一些。這是由于在多源自適應(yīng)在視頻識別這樣的復(fù)雜場景中，Multi-KT 幾乎無法有效地估計要自適應(yīng)的源域的權(quán)重。而另一個有趣的觀察結(jié)果是，在大多數(shù)情況下，TCA 與A-SVM 通常比其他DAL 方法差，這可能是由于TCA 在多個源域的情況該方法只能平均分配給每個源相同的權(quán)重，而A-SVM 表現(xiàn)較差的原因是由于目標(biāo)域中的有價值的未標(biāo)記數(shù)據(jù)在A-SVM 中未被完全利用。在大多數(shù)情況下，本文所提出的方法的性能都要優(yōu)于其他比較方法。例如，在圖2 中，在大多數(shù)情況下所提方法的結(jié)果始終優(yōu)于其他算法（除了在D，A→W 目標(biāo)識別任務(wù)中識別率略低于DSM 方法）。這證明了本文的模型在視覺識別中具有較高的有效性。

圖2 Caltech-256+Office數(shù)據(jù)集的識別率Fig.2 Recognition rate on Caltech-256+Office dataset

圖3 Caltech-256數(shù)據(jù)集的識別率Fig.3 Recognition rate on Caltech-256 dataset

2）為了進(jìn)一步評估在具有不同先驗信息的情況下算法的性能，本文在實驗中通過更改標(biāo)記目標(biāo)樣本的數(shù)量，以研究所提方法的性能。從圖4 和圖5（b）可以看出除DSM 以外，所有方法在所有情況下都可以通過標(biāo)記更多的目標(biāo)樣本實現(xiàn)更高的識別精度，這表明利用標(biāo)記的目標(biāo)數(shù)據(jù)來改善學(xué)習(xí)性能是有益的。當(dāng)帶標(biāo)簽的目標(biāo)樣本數(shù)量逐漸增加時，F(xiàn)astDAM 方法獲得最為顯著的性能提升。此外，可以觀察到本文的方法在所有多個源設(shè)置中性能都可以平滑地提升。這說明即使僅使用較小數(shù)量的標(biāo)記目標(biāo)數(shù)據(jù)，MACFFS 仍可以獲得較高的識別準(zhǔn)確率。但是，其他DAL 方法（尤其是FastDAM）只能在標(biāo)記的目標(biāo)樣品數(shù)量相對較大時，才能得到令人滿意的性能。

圖4 多源擴(kuò)展性Fig.4 Multi-source scalability

3）在圖3 中，20 類的識別率在某種程度上明顯高于10 類的識別率。在其他任務(wù)（例如在圖5（a）的視頻概念識別任務(wù)）上也可以觀察到相同的結(jié)果，即當(dāng)源域數(shù)量逐漸增加時，本文的方法在性能上獲得了明顯的改善。此外，可以在圖5 中觀察到，圖5（b）中各方法的性能比5（a）要更好，可以由A-SVM與Multi-KT 兩個方法在兩圖中的比較觀察得到。具體的，在圖5（a）中A-SVM 與Multi-KT 識別率大概為30%（A-SVM 甚至在30%以下），而在圖5（b）中，兩個算法的識別率都有提升（在標(biāo)記樣本數(shù)達(dá)到10 時，兩個方法的識別率都高于35%）。這是由于在圖5（b）任務(wù)中源域中有與目標(biāo)域類似的英文頻道因此源域可遷移至的目標(biāo)域的有用信息會更多。在進(jìn)行實驗之前，本研究期望通過增加相關(guān)源域的數(shù)量，從而增加找到適用于目標(biāo)域的有用先驗知識的可能性。而這些實驗結(jié)果驗證了該方法的有效性：結(jié)合從更多來源領(lǐng)域中獲得的判別信息可以進(jìn)一步提高適應(yīng)性能。

4）對于任何開放式學(xué)習(xí)系統(tǒng)，已知對象類別的數(shù)量會隨著時間的增長而增加。由于需要針對新任務(wù)檢查每個已知模型的可靠性，隨著源域的大量增加可能會在領(lǐng)域適應(yīng)學(xué)習(xí)中存在能否擴(kuò)展的問題。具體而言，對于100數(shù)級以上的源域個數(shù)，上述領(lǐng)域適應(yīng)方法在計算方面變得極為昂貴且對識別性能會有所影響。因此本文對來自Caltech-256數(shù)據(jù)集的150個和256個對象類進(jìn)行了實驗，分別在圖4 中報告了MACFFS、Multi-KT、DSM、FastDAM 和A-SVM的實驗結(jié)果。在這兩種情況下，可以看出對于極少的已標(biāo)記目標(biāo)訓(xùn)練樣本，正確選擇每個源域的權(quán)重相對于所有來源的平均值是更有效的方式：在少于三個目標(biāo)訓(xùn)練樣本時，MACFFS和Multi-KT優(yōu)于FastDAM和A-SVM。同時這也表明了當(dāng)擁有足夠的訓(xùn)練樣本和豐富的域集時，最有效的方法是不要忽略任何源域的信息。

圖5 視頻概念識別任務(wù)中不同設(shè)置下的識別率Fig.5 Recognition rates under different settings in video concept recognition task

除此之外，本文還在兩個視覺識別任務(wù)中分別測試了MACFFS 與MACFFS 變體方法（MACFFS_1 和MACFFS_2）的實驗性能，其結(jié)果顯示在圖6中。通過分析可得到如下結(jié)論：

1）MACFFS 性能明顯優(yōu)于MACFFS_1。這些效益歸因于每個源域在信息遷移至目標(biāo)域時具有不同的權(quán)重可以達(dá)到減少冗余信息的效果，從而有利于提高性能。

2）通過MACFFS 與MACFFS_2 的性能比較可知，如果去除特征選擇項，MACFFS 的性能將在一定程度上退化。原因是由低級視覺特征表示的圖像可能會引入過多的噪聲信息，導(dǎo)致其降低性能。這同時也證明了協(xié)同回歸中特征選擇的必要性。

圖6 MACFFS變體方法在多個識別任務(wù)中的識別率Fig.6 Recognition rates of MACFFS variant methods in multiple recognition tasks

4.4 算法收斂性與時間復(fù)雜度分析

由上述可知，本文所提算法1 為一個交替優(yōu)化過程，圖7顯示了在上述兩個真實數(shù)據(jù)集上的算法的收斂曲線。從圖7可以看出，目標(biāo)值通常會在10 次迭代中收斂。這是由于所需優(yōu)化的函數(shù)為一個凸函數(shù)，因此函數(shù)可以在少量次數(shù)的迭代后收斂。另外可以從圖8 中看出本文的算法在計算時間并不占優(yōu)勢（計算時間與最快的A-SVM 方法相差10 s 左右）。導(dǎo)致這個現(xiàn)象的主要原因是由于算法中對一些矩陣逆的計算所需要的時間復(fù)雜度為O(d3)，另外對矩陣的特征分解的時間復(fù)雜度為O(d3)。因此，算法整體的計算時間會相對較長。但是從各個實驗結(jié)果中可以看出通過犧牲一定的時間效率所獲得的性能的提升還是非?？捎^的。

圖7 算法收斂曲線Fig.7 Algorithm convergence curves

圖8 算法計算時間Fig.8 Calculation times of algorithms

5 結(jié)語

本文提出了一種新的具有特征選擇的多源自適應(yīng)分類框架（MACFFS），旨在將來自多個源域的多個特征數(shù)據(jù)同時在不同潛在空間中學(xué)習(xí)得到分類模型，并將得到的源域分類模型用以目標(biāo)數(shù)據(jù)的分類，最終對得到的分類結(jié)果進(jìn)行整合并有區(qū)分性地幫助目標(biāo)分類模型的學(xué)習(xí)。此外，還通過在幾個跨域視覺識別任務(wù)上進(jìn)行實驗和分析，證明本文的方法與其他相關(guān)的最新算法相比的優(yōu)越性與框架中幾個組成項的重要性。然而，在MACFFS 中仍然存在兩個問題需要在后續(xù)的工作中展開研究并設(shè)法解決。第一個問題是如何降低該方法在高維和大規(guī)模數(shù)據(jù)集中計算的時間復(fù)雜度。MSMFR 中的最佳模型參數(shù)是數(shù)據(jù)相關(guān)的。因此，另一個問題則是如何自動確定所提方法的最優(yōu)參數(shù)。