遷移學(xué)習(xí)研究和算法綜述

劉鑫鵬，欒悉道，*，謝毓湘，黃明哲

(1.長(zhǎng)沙學(xué)院計(jì)算機(jī)工程與應(yīng)用數(shù)學(xué)學(xué)院，湖南 長(zhǎng)沙 410022；2．國(guó)防科學(xué)技術(shù)大學(xué)系統(tǒng)工程學(xué)院，湖南 長(zhǎng)沙410073)

我們已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，各行業(yè)對(duì)數(shù)據(jù)檢索和分析能力的要求越來(lái)越高.遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)中最前沿的研究領(lǐng)域[1]；通俗來(lái)講,就是運(yùn)用已學(xué)習(xí)到的知識(shí)來(lái)學(xué)習(xí)新知識(shí).斯坦福大學(xué)教授Andrew Ng認(rèn)為：遷移學(xué)習(xí)將成為繼監(jiān)督學(xué)習(xí)之后機(jī)器學(xué)習(xí)在商業(yè)領(lǐng)域成功應(yīng)用的下一個(gè)推動(dòng)力.遷移學(xué)習(xí)在目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)較少時(shí)可以從相關(guān)領(lǐng)域?qū)ふ乙褬?biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，其主要目標(biāo)就是將已經(jīng)學(xué)會(huì)的知識(shí)很快地遷移到一個(gè)新的領(lǐng)域中[2].相比傳統(tǒng)的機(jī)器學(xué)習(xí)，它的優(yōu)勢(shì)在于允許源域和目標(biāo)域的樣本、任務(wù)或者分布可以有較大的差異，能夠節(jié)省人工標(biāo)注樣本的時(shí)間.

本文第一部分對(duì)遷移學(xué)習(xí)進(jìn)行了分類，第二部分總結(jié)了遷移學(xué)習(xí)的研究目標(biāo)與應(yīng)用領(lǐng)域，第三部分介紹了遷移學(xué)習(xí)經(jīng)典算法，最后是遷移學(xué)習(xí)的研究總結(jié)與展望.

1 遷移學(xué)習(xí)的分類

通常將已經(jīng)學(xué)習(xí)過的領(lǐng)域叫做“源域”，用DS來(lái)表示；把需要應(yīng)用的新的領(lǐng)域叫做“目標(biāo)域”[3,4]用DT來(lái)表示.TS表示源任務(wù)，TT表示目標(biāo)任務(wù).

Pan和Yang[5]據(jù)源領(lǐng)域和目標(biāo)領(lǐng)域的相似度，將遷移學(xué)習(xí)做如下分類：

在歸納式遷移學(xué)習(xí)中，若DS包含有大量標(biāo)簽數(shù)據(jù)，這時(shí)歸納式遷移學(xué)習(xí)就相當(dāng)于多任務(wù)學(xué)習(xí).多任務(wù)學(xué)習(xí)是指知識(shí)在不同任務(wù)之間的傳遞，就是將源任務(wù)中學(xué)習(xí)到的知識(shí)遷移到目標(biāo)任務(wù)中去.若DS沒有可用的標(biāo)簽數(shù)據(jù)，這時(shí)歸納式遷移學(xué)習(xí)就相當(dāng)于自我學(xué)習(xí).比如區(qū)分汽車和自行車的圖像，未標(biāo)注數(shù)據(jù)完全來(lái)自于一個(gè)和已標(biāo)注數(shù)據(jù)不同的分布，這種情形被稱為自我學(xué)習(xí).

表1 遷移學(xué)習(xí)的分類

2 遷移學(xué)習(xí)的研究目標(biāo)與應(yīng)用領(lǐng)域

2.1 研究目標(biāo)

遷移學(xué)習(xí)主要解決的是以下兩個(gè)問題：

(1)解決小數(shù)據(jù)問題.傳統(tǒng)機(jī)器學(xué)習(xí)存在一個(gè)嚴(yán)重弊端：假設(shè)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)服從相同的數(shù)據(jù)分布(但許多情況并不滿足這種假設(shè)，通常需要眾包來(lái)重新標(biāo)注大量數(shù)據(jù)以滿足訓(xùn)練要求，有時(shí)還會(huì)造成數(shù)據(jù)的浪費(fèi)).當(dāng)訓(xùn)練數(shù)據(jù)過少時(shí)，經(jīng)典監(jiān)督學(xué)習(xí)會(huì)出現(xiàn)嚴(yán)重過擬合問題，而遷移學(xué)習(xí)可從源域的小數(shù)據(jù)中抽取并遷移知識(shí)，用來(lái)完成新的學(xué)習(xí)任務(wù).

(2)解決個(gè)性化問題.當(dāng)需要專注于某個(gè)目標(biāo)領(lǐng)域時(shí)，源領(lǐng)域范圍太廣卻不夠具體.例如專注于農(nóng)作物識(shí)別時(shí)，源領(lǐng)域ImageNet太廣而不適用，利用遷移學(xué)習(xí)可以將ImageNet上的預(yù)訓(xùn)練模型特征遷移到目標(biāo)域，實(shí)現(xiàn)個(gè)性化.

2.2 應(yīng)用領(lǐng)域

(1)自然語(yǔ)言處理：遷移學(xué)習(xí)應(yīng)用于自然語(yǔ)言處理的原因是自然語(yǔ)言領(lǐng)域標(biāo)注和內(nèi)容數(shù)據(jù)稀缺.可以利用源域(例如英語(yǔ))中標(biāo)注的樣本集來(lái)對(duì)目標(biāo)域(例如法語(yǔ))中的樣本進(jìn)行處理.遷移學(xué)習(xí)能夠從長(zhǎng)文本中遷移標(biāo)注和內(nèi)容知識(shí)，幫助處理短文本語(yǔ)言的分析與處理.

(2)計(jì)算機(jī)視覺：由于圖像中可能存在可變的光照、朝向等條件，導(dǎo)致標(biāo)注數(shù)據(jù)與未標(biāo)注數(shù)據(jù)具有不同的數(shù)據(jù)屬性和統(tǒng)計(jì)分布，用傳統(tǒng)機(jī)器學(xué)習(xí)顯然無(wú)法滿足要求.遷移學(xué)習(xí)算法能夠?qū)㈩I(lǐng)域適配，進(jìn)而達(dá)到訓(xùn)練效果，提升準(zhǔn)確率.

(3)醫(yī)療健康和生物信息學(xué)[10]：在醫(yī)學(xué)影像分析領(lǐng)域，醫(yī)學(xué)圖像訓(xùn)練數(shù)據(jù)的標(biāo)注需要先驗(yàn)的醫(yī)學(xué)知識(shí)，適合標(biāo)注此類數(shù)據(jù)的人群稀少，從而導(dǎo)致訓(xùn)練數(shù)據(jù)嚴(yán)重稀缺，深度學(xué)習(xí)將不再適用.可以將遷移學(xué)習(xí)應(yīng)用到醫(yī)學(xué)圖像的語(yǔ)義映射中，利用圖像識(shí)別的結(jié)果幫助醫(yī)生對(duì)患者進(jìn)行診斷，從而減輕醫(yī)生的工作負(fù)擔(dān)，促進(jìn)醫(yī)療實(shí)現(xiàn)轉(zhuǎn)型.例如：胸部X光片的圖像通常有助于檢測(cè)結(jié)核、肺炎、心臟衰竭、肺癌和結(jié)節(jié)病等.

(4)從模擬中學(xué)習(xí)：從模擬中學(xué)習(xí)是一個(gè)風(fēng)險(xiǎn)較小的方式，目前被用來(lái)實(shí)現(xiàn)很多機(jī)器學(xué)習(xí)系統(tǒng).源數(shù)據(jù)域和目標(biāo)域的特征空間是一樣的，但是模擬和現(xiàn)實(shí)世界的邊緣概率分布是不一樣的，即模擬和目標(biāo)域中的物體看上去是不同的.模擬環(huán)境和現(xiàn)實(shí)世界的條件概率分布可能是不一樣的，不會(huì)完全模仿現(xiàn)實(shí)世界中的物體交互.Udacity已經(jīng)開源了它用來(lái)無(wú)人駕駛汽車工程教學(xué)的模擬器[11].OpenAI的Universe平臺(tái)將可能允許用其他視頻游戲來(lái)訓(xùn)練無(wú)人駕駛汽車.另一個(gè)必須從模擬中學(xué)習(xí)的領(lǐng)域是機(jī)器人，在實(shí)際的機(jī)器人上訓(xùn)練模型是非常緩慢和昂貴的，訓(xùn)練機(jī)械臂就是一個(gè)典型案例.從模擬中學(xué)習(xí)并且將知識(shí)遷移到現(xiàn)實(shí)世界的方式能緩解這個(gè)問題.

(5)用戶評(píng)價(jià)：例如在評(píng)價(jià)用于對(duì)某服裝品牌的情感分類任務(wù)中，我們無(wú)法收集到非常全面的用戶評(píng)價(jià)的數(shù)據(jù).因此當(dāng)我們直接通過之前訓(xùn)練好的模型進(jìn)行情感識(shí)別時(shí)，效果必然會(huì)受到影響.遷移學(xué)習(xí)可以將少量與測(cè)試數(shù)據(jù)相似的數(shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練，能達(dá)到較好的分類效果，并且節(jié)省大量的時(shí)間和精力.

(6)推薦系統(tǒng)[12]：在源領(lǐng)域訓(xùn)練好一個(gè)推薦系統(tǒng)，然后應(yīng)用在稀疏的、新的目標(biāo)領(lǐng)域.比如已經(jīng)成熟完善的電影推薦系統(tǒng)就可以應(yīng)用在書籍推薦系統(tǒng)中.

(7)個(gè)性化對(duì)話[12]：訓(xùn)練一個(gè)通用型的對(duì)話系統(tǒng)，該系統(tǒng)可能是閑聊型，也可能是任務(wù)型的.我們可以利用遷移學(xué)習(xí)訓(xùn)練特定領(lǐng)域的小數(shù)據(jù)集，使這個(gè)對(duì)話系統(tǒng)適應(yīng)不同任務(wù).

3 遷移學(xué)習(xí)算法

3.1 歸納式遷移學(xué)習(xí)

Dai等人[13]基于Boosting，提出了基于實(shí)例的TrAdaBoost遷移學(xué)習(xí)算法.當(dāng)目標(biāo)域中的樣本被錯(cuò)誤地分類之后，可以認(rèn)為這個(gè)樣本是很難分類的，因此增大這個(gè)樣本的權(quán)重，在下一次的訓(xùn)練中這個(gè)樣本所占的比重變大.如果源域中的一個(gè)樣本被錯(cuò)誤地分類了，可以認(rèn)為這個(gè)樣本對(duì)于目標(biāo)數(shù)據(jù)是不同的，因此降低這個(gè)樣本的權(quán)重，降低這個(gè)樣本在分類器中所占的比重.李小璇[14]基于TrAdaBoost整合兩個(gè)分類器SVM和NB提出TrSN算法.在20個(gè)news group數(shù)據(jù)集上的分類精度平均達(dá)到0.94.

圖1 深度適配網(wǎng)絡(luò)(DAN)結(jié)構(gòu)圖

為了解決遷移學(xué)習(xí)中的領(lǐng)域適配問題，Long Mingsheng基于DDC(Deep Domain Confusion，深度領(lǐng)域適配)提出深度適配網(wǎng)絡(luò)DAN(Deep Adaptation Network)[15].DDC是在預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)的第7層加入了MMD[16]距離來(lái)減小DS和DT之間的差異.DAN是深度遷移學(xué)習(xí)方法，它適配高層網(wǎng)絡(luò)DDC，并加入了多核的MMD(MK-MMD).MMD是把源域和目標(biāo)域用一個(gè)相同的映射，映射到一個(gè)再生核希爾伯特空間(RKHS)中，然后求映射后兩部分?jǐn)?shù)據(jù)的均值差異，就當(dāng)作是兩部分?jǐn)?shù)據(jù)的差異.在MMD中核是固定的，可以選擇是高斯核或者線性核.MK-MMD提出用多個(gè)核去構(gòu)造這個(gè)總的核，這樣效果比一個(gè)核更好.它很好地解決了DDC的兩個(gè)問題：一是DDC只適配了一層網(wǎng)絡(luò)，而DAN適配最后三層(6～8層)如圖1，網(wǎng)絡(luò)的遷移能力在最后三層開始就會(huì)變得?；?specific)，所以要重點(diǎn)適配這三層.二是DDC是用了單一核的MMD，單一固定的核可能不是最優(yōu)的核.DAN用了多核的MMD(MK-MMD)，效果比DDC更好.

Cao等人提出了一種更一般的遷移學(xué)習(xí)“部分遷移學(xué)習(xí)”(Partial Transfer Learning)[17]，就是只遷移源域中和目標(biāo)域相關(guān)的那部分樣本.通過SAN來(lái)處理部分遷移問題.對(duì)抗網(wǎng)絡(luò)可以很好地學(xué)習(xí)領(lǐng)域不變特征[18]，從而在遷移學(xué)習(xí)中能發(fā)揮很大作用.

3.2 無(wú)監(jiān)督遷移學(xué)習(xí)

Pan等人[19]提出了遷移成分分析TCA.TCA通過降維來(lái)減少數(shù)據(jù)維度，首先輸入兩個(gè)特征矩陣，計(jì)算L和H矩陣，然后選擇常用的核函數(shù)進(jìn)行映射(比如線性核、高斯核)計(jì)算K，接著求KHK的前m個(gè)特征值.然后得到源域和目標(biāo)域的降維后的數(shù)據(jù)，最后就可以使用傳統(tǒng)機(jī)器學(xué)習(xí)方法.TCA實(shí)現(xiàn)簡(jiǎn)單，沒有太多的限制.但是盡管它繞開了半定規(guī)劃問題的求解，卻需要花費(fèi)很多計(jì)算時(shí)間在大矩陣偽逆的求解以及特征值分解.

Gong等人在2012年基于SGF(Sample Geodesic Flow，采樣測(cè)地線流方法)提出了GFK[20,21].SGF把源域和目標(biāo)域分別看成高維空間中的兩個(gè)點(diǎn)，在這兩個(gè)點(diǎn)的測(cè)地線上取n個(gè)中間點(diǎn)，依次連接起來(lái).然后由源域和目標(biāo)域就構(gòu)成了一條測(cè)地線的路徑.找到每一步的變換，就能從源域變換到目標(biāo)域.GFK是子空間變換方面最為經(jīng)典的遷移學(xué)習(xí)方法，是為了解決遷移學(xué)習(xí)中的無(wú)監(jiān)督領(lǐng)域適配問題.它通過一個(gè)特征映射，把源域和目標(biāo)域變換到一個(gè)距離最小(相似度最高)的公共空間上.GFK方法的實(shí)施步驟為：選擇最優(yōu)的子空間維度進(jìn)行變換，構(gòu)建測(cè)地線，計(jì)算測(cè)地線流式核，構(gòu)建分類器.

Tahmoresnezhad等人[22]在2017年提出視覺領(lǐng)域自適應(yīng)(Visual Domain Adaptation，VDA).VDA利用聯(lián)合轉(zhuǎn)移學(xué)習(xí)和領(lǐng)域適應(yīng)來(lái)處理分布差異較大的轉(zhuǎn)換問題，特別是視覺數(shù)據(jù)集，以無(wú)監(jiān)督的方式在測(cè)試集中沒有可用標(biāo)簽的情況下減少跨域的聯(lián)合邊際和條件分布.此外，VDA構(gòu)造了嵌入表示中的凝聚域不變集群，以將各個(gè)域與類轉(zhuǎn)移分開，使用細(xì)化的偽目標(biāo)標(biāo)簽來(lái)迭代收斂至最終解決方案.采用迭代過程以及新穎的優(yōu)化問題為跨領(lǐng)域的適應(yīng)創(chuàng)建一個(gè)穩(wěn)健而有效的表示.

3.3 直推式遷移學(xué)習(xí)

聯(lián)合分布適配方法(Joint Distribution Adaptation，JDA)[23]是為了解決遷移學(xué)習(xí)中的領(lǐng)域適配問題，是用源數(shù)據(jù)域來(lái)標(biāo)定目標(biāo)數(shù)據(jù)域.JDA假設(shè)DS和DT邊緣分布不同，DS和DT條件分布不同，適配聯(lián)合概率恰好能解決這個(gè)問題.具體步驟是：首先用TCA來(lái)適配邊緣分布，用MMD適配DS和DT的條件概率分布.然后通過弱分類器迭代，將上一輪得到的標(biāo)簽作偽標(biāo)簽，迭代多次以達(dá)到更高的精度.JDA與TCA的區(qū)別有兩點(diǎn)：TCA是無(wú)監(jiān)督的，即邊緣分布適配不需要標(biāo)簽，JDA需要源域有標(biāo)簽；TCA不需要迭代，JDA需要迭代.

Busto和Gall[24]提出了開放集遷移學(xué)習(xí)(Open Set Domain Adaptation).他們利用源域和目標(biāo)域的關(guān)系，給目標(biāo)域的樣本打上標(biāo)簽，并將源域轉(zhuǎn)換到和目標(biāo)域同一個(gè)空間中，讓學(xué)習(xí)標(biāo)簽和學(xué)習(xí)映射進(jìn)行交替，直到收斂或者目標(biāo)值小于某一值即可.

3.4 其他算法

現(xiàn)有的域適配方法主要針對(duì)向量，這種表示所帶來(lái)的問題是，當(dāng)把這些數(shù)據(jù)應(yīng)用于高維度表示(如卷積)時(shí)，數(shù)據(jù)首先要經(jīng)過向量化.此時(shí)，無(wú)法精準(zhǔn)完備地保留一些統(tǒng)計(jì)屬性或者重要結(jié)構(gòu).Lu等人[25]基于張量的Tucker分解，提出了一個(gè)稱為Naive Tensor Subspace Learning的遷移學(xué)習(xí)算法.這個(gè)算法的出發(fā)點(diǎn)，是假設(shè)源域和目標(biāo)域共享了一部分子空間，而這只在它們差異非常小時(shí)才有效.在更一般的條件下，這種共享變量要通過一個(gè)線性變換來(lái)實(shí)現(xiàn).Fernando等人提出了一個(gè)加強(qiáng)版的算法─Tensor-Aligned Invariant Subspace Learning (TAISL)，這個(gè)算法是對(duì)ICCV-13的那個(gè)子空間校準(zhǔn)的擴(kuò)展版[26].

Feuz和Cook等人[27]提出了新穎的異構(gòu)傳輸學(xué)習(xí)技術(shù)，特征空間重映射(FSR)，它在具有不同特征空間的域之間傳輸知識(shí)，構(gòu)建元特征來(lái)將不同特征空間中的特征相關(guān)聯(lián).這些技術(shù)利用多個(gè)源數(shù)據(jù)集來(lái)構(gòu)建進(jìn)一步提高性能的集成學(xué)習(xí)器，F(xiàn)SR應(yīng)用于活動(dòng)識(shí)別問題和文檔分類問題.集合技術(shù)能夠勝過所有其他基線，甚至比在目標(biāo)域中使用大量標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練的分類器執(zhí)行得更好.

4 總結(jié)與展望

本文對(duì)遷移學(xué)習(xí)算法以及研究進(jìn)展?fàn)顩r進(jìn)行了綜述.遷移學(xué)習(xí)適合處理解決小數(shù)據(jù)和個(gè)性化問題，在計(jì)算機(jī)視覺、自然語(yǔ)言處理、醫(yī)療健康、模擬學(xué)習(xí)、用戶評(píng)論、推薦系統(tǒng)和個(gè)性化對(duì)話等領(lǐng)域展現(xiàn)出其通用性.遷移學(xué)習(xí)有許多經(jīng)典算法，這些算法一步步將機(jī)器學(xué)習(xí)和遷移學(xué)習(xí)的問題優(yōu)化，從降維到域適配，從完全遷移到部分遷移，從向量遷移學(xué)習(xí)到張量遷移學(xué)習(xí)，無(wú)不展現(xiàn)著遷移學(xué)習(xí)研究得到充分發(fā)展.然而，遷移學(xué)習(xí)還有許多具有挑戰(zhàn)性問題有待進(jìn)一步研究，具體可概括為這幾個(gè)方面：(1)負(fù)遷移表示不僅沒有提升模型能力，反而降低了識(shí)別率.(2)在非簡(jiǎn)單分類或者回歸的問題上，如何更好地優(yōu)化遷移算法.(3)跨領(lǐng)域遷移學(xué)習(xí).(4)偏數(shù)據(jù)的處理，面臨的問題是數(shù)據(jù)收集的時(shí)候和下一個(gè)分布是不一樣的，難點(diǎn)在于如何利用遷移學(xué)習(xí)將偏差處理好.(5)遷移學(xué)習(xí)與多種深度學(xué)習(xí)方法相結(jié)合的圖像描述方法.