可靠多模態(tài)學(xué)習(xí)綜述*

楊 楊 ,詹德川 ,姜 遠 ,熊 輝

1(南京理工大學(xué) 計算機科學(xué)與工程學(xué)院,江蘇 南京 210094)

2(計算機軟件新技術(shù)國家重點實驗室(南京大學(xué)),江蘇 南京 210023)

3(Rutgers Business School,Newark,NJ 07012,USA)

1 引 言

“一本《紅樓夢》,經(jīng)學(xué)家看見《易》,道學(xué)家看見淫,才子看見纏綿,革命家看見排滿,流言家看見宮闈秘事.”——魯迅.

現(xiàn)實世界中,復(fù)雜對象從不同角度分析擁有不同的屬性特征.如圖1 所示,現(xiàn)實應(yīng)用中復(fù)雜對象通?？梢酝ㄟ^多模態(tài)信息加以描述,多模態(tài)學(xué)習(xí)也有著廣泛的應(yīng)用場景,網(wǎng)頁包含文本、圖片和超鏈接等信息;視頻可以分解為圖片幀、音頻和文本;文章可以通過不同語言表示;手機應(yīng)用從不同傳感器收集信息進行分析,等等.可見,樣本可以通過不同通道的信息加以描述,每一通道的信息定義為一種特定的模態(tài).因此,較之單模態(tài)數(shù)據(jù),多模態(tài)數(shù)據(jù)可以提供更豐富的信息表示,且基于多模態(tài)數(shù)據(jù)表示也有著極其廣泛的應(yīng)用,如基于圖文數(shù)據(jù)的熱點推薦、基于多傳感器信號的無人駕駛、基于視頻語音的字幕生成等.

Fig.1 Multi-modal data and applications圖1 多模態(tài)數(shù)據(jù)及應(yīng)用

較之單模態(tài)學(xué)習(xí),多模態(tài)學(xué)習(xí)通?？紤]如下兩方面的研究內(nèi)容:(1) 單模態(tài)學(xué)習(xí)性能;(2) 模態(tài)間相關(guān)性度量及利用.采用的主要策略是將二者納入統(tǒng)一框架中進行聯(lián)合優(yōu)化,進而為每個模態(tài)學(xué)習(xí)更具判別性的語義表示,構(gòu)建模態(tài)間的映射關(guān)聯(lián),提升模型性能.具體地,傳統(tǒng)多模態(tài)方法大致可分為兩類:(1) 基于協(xié)同訓(xùn)練思想的方法;(2) 基于協(xié)同正則化思想的方法.協(xié)同訓(xùn)練(co-training)[1]是多模態(tài)學(xué)習(xí)早期學(xué)習(xí)方法之一,其利用模態(tài)間的互補性準(zhǔn)則,最大化兩個不同模態(tài)未標(biāo)記數(shù)據(jù)的互一致性(即挑選最置信的未標(biāo)記樣本標(biāo)記偽標(biāo)記,提供給其他模態(tài)學(xué)習(xí))提升單模態(tài)的性能.基于這一思想設(shè)計出眾多衍生方法,如 Co-EM[2]、Bayesian co-training[3]、Co-Trade[4]等.作為多模態(tài)學(xué)習(xí)的另一個重要分支,協(xié)同正則化(co-regularization)[5]則是利用模態(tài)間的一致性準(zhǔn)則,最小化兩個不同模態(tài)未標(biāo)記數(shù)據(jù)的預(yù)測差異性來排除不一致的假設(shè).進一步地,研究者基于該思路提出其他模型,如SVM-2K[6]、MSE[7]等.此外,基于子空間學(xué)習(xí)方法(如CCA[8])、基于多核學(xué)習(xí)方法(如MKL[9])也可歸為利用一致性準(zhǔn)則的協(xié)同正則化方法.值得注意的是,早期基于互補性準(zhǔn)則的協(xié)同訓(xùn)練類型方法通過各模態(tài)最置信的未標(biāo)記樣本的偽標(biāo)記信息進行相互教學(xué),其本質(zhì)也可看作潛在標(biāo)記的一致性,因此傳統(tǒng)的兩類方法都關(guān)注利用樣本不同模態(tài)間的強相關(guān)性.相對于早期傳統(tǒng)的多模態(tài)學(xué)習(xí)方法,近些年一些研究轉(zhuǎn)而注重學(xué)習(xí)或度量模態(tài)間的互補信息表示,以此增強模態(tài)的融合性能[10],本文將在第2.2.3 節(jié)具體介紹該類方法.同時,多模態(tài)理論研究也有所建樹,如協(xié)同訓(xùn)練的泛化界[11]、基于信息熵的多模態(tài)理論框架[12].然而,在開放環(huán)境下,考慮信息缺失、噪聲干擾等問題,模態(tài)間的強相關(guān)性難以滿足,傳統(tǒng)多模態(tài)學(xué)習(xí)方法仍面臨著巨大挑戰(zhàn).同時,多模態(tài)學(xué)習(xí)與機器學(xué)習(xí)中的其他研究領(lǐng)域也緊密相關(guān),研究內(nèi)容豐富,如集成學(xué)習(xí)[13]、領(lǐng)域適配[14]、主動學(xué)習(xí)[15],考慮到與本文主題關(guān)聯(lián)較低,這里不再一一贅述.

1.1 多模態(tài)學(xué)習(xí)面臨的挑戰(zhàn)

真實開放環(huán)境下,多模態(tài)數(shù)據(jù)通常會受到噪聲、自身缺陷及異常點等干擾,使得上述互補性及一致性準(zhǔn)則難以得到滿足.究其原因,主要體現(xiàn)在學(xué)習(xí)過程中出現(xiàn)的未標(biāo)記樣本偽標(biāo)記噪聲、采樣偏差及模態(tài)特征表示、模型性能差異等問題,進而導(dǎo)致模態(tài)表示強弱以及模態(tài)對齊關(guān)聯(lián)的不一致.具體表示為:

1) 模態(tài)表示強弱不一致.傳統(tǒng)多模態(tài)學(xué)習(xí)方法通?？紤]模態(tài)間的一致性,即特征或預(yù)測的一致性.而在開放環(huán)境下,噪聲等因素會造成單模態(tài)的信息不充分[16],進而導(dǎo)致單模態(tài)特征、預(yù)測的噪聲和模態(tài)間的差異性,造成模態(tài)之間存在強弱之分.直接使用傳統(tǒng)的互補性或一致性準(zhǔn)則會造成模型優(yōu)化偏差,影響模型聯(lián)合訓(xùn)練;

2) 模態(tài)對齊關(guān)聯(lián)不一致.傳統(tǒng)多模態(tài)學(xué)習(xí)方法通常假設(shè)同一樣本擁有全量的模態(tài)信息,且模態(tài)間的關(guān)聯(lián)關(guān)系也是事先確定的.而開放環(huán)境中,考慮到隱私保護、數(shù)據(jù)收集缺陷等因素,多模態(tài)數(shù)據(jù)存在模態(tài)缺失問題[17],即樣本可能僅獲得部分模態(tài)信息,而非全量信息.同時,考慮到人工標(biāo)注代價等因素,同一任務(wù)獲得的不同模態(tài)間的對應(yīng)關(guān)系也可能不明確[18].

綜上所述,模態(tài)表示強弱不一致和模態(tài)對齊關(guān)聯(lián)不一致是多模態(tài)數(shù)據(jù)在開放環(huán)境下凸顯的兩大新的挑戰(zhàn),也是造成傳統(tǒng)多模態(tài)學(xué)習(xí)方法在真實數(shù)據(jù)集上甚至出現(xiàn)性能退化現(xiàn)象的關(guān)鍵因素.針對這些挑戰(zhàn),可靠多模態(tài)學(xué)習(xí)(也稱魯棒多模態(tài)學(xué)習(xí))開始受到國內(nèi)外研究的廣泛關(guān)注.針對模態(tài)表示強弱不一致問題,文獻[19,20]提出利用強模態(tài)作為軟監(jiān)督信息輔助弱模態(tài),文獻[21,22]考慮加權(quán)等操作排除不一致樣本的干擾;針對模態(tài)關(guān)聯(lián)不一致問題,文獻[17]考慮缺失模態(tài)的聚類,文獻[23]考慮不對齊多模態(tài)的融合.

1.2 多模態(tài)學(xué)習(xí)的主要技術(shù)與應(yīng)用

目前已有一些關(guān)于多模態(tài)學(xué)習(xí)的綜述發(fā)表[24-26],這些綜述大多著重于總結(jié)傳統(tǒng)多模態(tài)學(xué)習(xí)方法及其應(yīng)用.例如,文獻[25]總結(jié)了傳統(tǒng)多模態(tài)子空間學(xué)習(xí)、多核學(xué)習(xí)及協(xié)同學(xué)習(xí),并給出了當(dāng)前深度多模態(tài)學(xué)習(xí)的進展;文獻[24]則從多模態(tài)應(yīng)用層面出發(fā)介紹相關(guān)的學(xué)習(xí)方法,包括:(1) 模態(tài)表示學(xué)習(xí);(2) 模態(tài)映射學(xué)習(xí);(3) 模態(tài)對齊學(xué)習(xí);(4) 模態(tài)融合學(xué)習(xí);(5) 模態(tài)協(xié)同學(xué)習(xí),并給出其在視覺領(lǐng)域、多媒體領(lǐng)域的諸多應(yīng)用.表1 給出了上述5 種多模態(tài)技術(shù)在不同實際場景中的具體應(yīng)用.

Table 1 Main techniques and applications in multi-modal learning[24]表1 多模態(tài)學(xué)習(xí)的主要技術(shù)與應(yīng)用[24]

值得注意的是,大多綜述忽略了第1.1 節(jié)中所描述的多模態(tài)學(xué)習(xí)所面臨的挑戰(zhàn),為此,本綜述將具體分析針對這兩個挑戰(zhàn)的國內(nèi)外相關(guān)研究現(xiàn)狀,并介紹目前可靠多模態(tài)學(xué)習(xí)的研究進展.

1.3 論文的組織

本文首先概述傳統(tǒng)多模態(tài)學(xué)習(xí)中基于互補性和一致性準(zhǔn)則的方法,其次具體分析開放環(huán)境下多模態(tài)數(shù)據(jù)凸顯的“模態(tài)表示強弱不一致”“模態(tài)對齊關(guān)聯(lián)不一致”兩大挑戰(zhàn),并介紹目前針對這兩個問題的可靠多模態(tài)學(xué)習(xí)研究進展?fàn)顩r,內(nèi)容安排的具體框架如圖2 所示.特別地,隨著深度學(xué)習(xí)的興起,適應(yīng)不同領(lǐng)域的深度模型均取得遠超傳統(tǒng)模型的性能,而目前先進的多模態(tài)方法也通常選擇相應(yīng)的神經(jīng)網(wǎng)絡(luò),如卷積神經(jīng)網(wǎng)絡(luò)、長短記憶神經(jīng)網(wǎng)絡(luò)作為各模態(tài)(圖片、文本)的基模型,并設(shè)計相應(yīng)的損失函數(shù)進行聯(lián)合訓(xùn)練,為此本文也將著重介紹目前高性能的多模態(tài)深度學(xué)習(xí)模型.

Fig.2 The framework of the survey,including traditional and reliable multi-modal learning圖2 本文整體組織框架(包括傳統(tǒng)多模態(tài)學(xué)習(xí)和可靠多模態(tài)學(xué)習(xí))

2 傳統(tǒng)多模態(tài)學(xué)習(xí)

本節(jié)首先介紹多模態(tài)學(xué)習(xí)的兩種基本準(zhǔn)則,然后具體介紹相應(yīng)的學(xué)習(xí)方法.在無特殊說明的情況下,本文所介紹的方法一般以兩模態(tài)為例,不失一般性,擴展到多模態(tài)通常采用兩兩遍歷加和形式.

2.1 兩種基本準(zhǔn)則

傳統(tǒng)多模態(tài)學(xué)習(xí)的精髓在于如何有效地考慮模態(tài)間的關(guān)聯(lián)性,通常要求服從兩個基本準(zhǔn)則:互補性和一致性.互補性準(zhǔn)則描述每個模態(tài)的數(shù)據(jù)可能包含其他模態(tài)所欠缺的信息,因此綜合考慮多模態(tài)信息可以更全面地描述數(shù)據(jù)并提升任務(wù)性能.具體地,假設(shè)數(shù)據(jù)集X包含兩個模態(tài)X1和X2,進而單樣本可以表示為其中,yi是標(biāo)記信息.數(shù)據(jù)滿足以下3 個假設(shè):(1) 充分性,即每個模態(tài)自身含有充分信息進行分類;(2) 兼容性,即兩個模態(tài)大概率具有共現(xiàn)特征,能夠預(yù)測相同標(biāo)簽;(3) 條件獨立,即給定標(biāo)簽情況下模態(tài)條件獨立.基于上述假設(shè),文獻[1]給出如下結(jié)論:如兩個模態(tài)是條件獨立的,那么協(xié)同訓(xùn)練會提升單模態(tài)性能.文獻[11]則進一步給出了基于PAC 理論的協(xié)同訓(xùn)練的泛化誤差界,證明兩個模態(tài)的一致性是單模態(tài)模型性能的上界.考慮到條件獨立假設(shè)過強,因此文獻[27,28]等工作進一步放松該假設(shè),并給出相應(yīng)的泛化誤差理論證明.

相對于互補性準(zhǔn)則,一致性準(zhǔn)則旨在最大化兩個不同模態(tài)的一致性.假設(shè)數(shù)據(jù)集X包含兩個模態(tài)X1和X2,文獻[29]證明兩個模態(tài)的一致性和單模態(tài)錯誤率之間的關(guān)聯(lián)為

依據(jù)上式可以得出兩個獨立模態(tài)模型不一致的概率是單模態(tài)模型最大錯誤率的上界.因此,通過最小化兩個模態(tài)模型的不一致,每個模態(tài)模型的錯誤率將被最小化.殊途同歸,可以看出,互補性本質(zhì)上也是一致性的一個變種.

2.2 基于互補性準(zhǔn)則的方法

2.2.1 Co-training

Co-training[1]假設(shè)樣本有兩個條件獨立的模態(tài),給定L個有標(biāo)記樣本和U個無標(biāo)記樣本,Co-training 采用如下迭代訓(xùn)練方式.

Step 1.無放回地從無標(biāo)記數(shù)據(jù)集U構(gòu)造數(shù)據(jù)池U＇;

Step 2.分別用兩個模態(tài)X1和X2的有標(biāo)記數(shù)據(jù)訓(xùn)練兩個樸素貝葉斯學(xué)習(xí)器(可替換其他弱學(xué)習(xí)器)h1和h2;

Step 3.每個模態(tài)用訓(xùn)練好的學(xué)習(xí)器在U＇中為本模態(tài)挑選p個最置信正例和n個最置信負例的無標(biāo)記樣本,標(biāo)上偽標(biāo)記加到L中重訓(xùn)練.從而X1可以獲得X2互補的信息,X2也可以獲得X1互補的信息;

Step 4.從U中重新填充2p+2n個樣本到數(shù)據(jù)池U＇.

2.2.2 Deep co-trade

基于集成學(xué)習(xí)的思想,文獻[4]提出Co-trade 算法.該算法首先對有標(biāo)記數(shù)據(jù)進行可重復(fù)取樣得到3 個訓(xùn)練集并訓(xùn)練3 個對應(yīng)的學(xué)習(xí)器,且在協(xié)同訓(xùn)練的過程中,每個學(xué)習(xí)器獲得的新數(shù)據(jù)集合都是通過其他兩個學(xué)習(xí)器投票得到.同時,隨著深度網(wǎng)絡(luò)的成功應(yīng)用,文獻[30]基于Co-trade 的思想提出了Tri-net.如圖3 所示,Tri-net 首先對訓(xùn)練數(shù)據(jù)用不同大小的卷積核構(gòu)造3 個不同的訓(xùn)練集,并且采用Output smearing 技術(shù)(對訓(xùn)練集的真實標(biāo)記加入隨機噪聲)來構(gòu)造差異性更大的無標(biāo)記數(shù)據(jù).隨后采用Tri-training[31]的思想對無標(biāo)記數(shù)據(jù)預(yù)測標(biāo)記并帶回訓(xùn)練集重新訓(xùn)練.

Fig.3 The illustration of Tri-net,which utilizes multiple classifiers for ensemble[30]圖3 Tri-net 示意圖[30].采用多個學(xué)習(xí)器集成學(xué)習(xí)

而當(dāng)擴展到兩模態(tài)以上的場景時,Tri-net 也可以衍生出很多變種,包括:(1) 為每個模態(tài)建立學(xué)習(xí)器,再采用集成思想結(jié)合其他模態(tài)學(xué)習(xí)器為當(dāng)前模態(tài)的無標(biāo)記數(shù)據(jù)投票得到新標(biāo)記;(2) 為每個模態(tài)基于Tri-training 思想建立多個學(xué)習(xí)器,再用兩層的堆疊(stacking)技術(shù)為無標(biāo)記數(shù)據(jù)投票得到新標(biāo)記.

2.2.3 ECMSC

不難看出,傳統(tǒng)協(xié)同訓(xùn)練方法局限于運用標(biāo)記相互教學(xué),仍屬于潛在的標(biāo)記一致,缺乏學(xué)習(xí)量化模態(tài)間的互補信息.因此,文獻[10]提出一種新穎的多模態(tài)聚類方法ECMSC(exclusivity-consistency regularized multi-view subspace clustering),ECMSC 兼顧多模態(tài)特征表示的差異性和聚類指示矩陣的一致性,其新穎點在于使用了差異化正則凸顯模態(tài)的互補信息.差異性可通過如下矩陣Hadamard 乘積來定義.

定義1.兩個矩陣U∈?n×n和V∈?n×n之間的差異性定義為 H(U,V)=||U⊙V||0=∑i,j(u ij·vij≠0),其中,⊙表示Hadamard 乘積(對應(yīng)位相乘),|| ·|0| 表示 ?0范數(shù).

?0范數(shù)可以放松到 ?1范數(shù),于是兩個模態(tài)聚類結(jié)果的差異性可以表示為 H(Z v,Zw)=||Z v·Zw||1.

每個模態(tài)聚類指示矩陣和潛在一致的聚類指示矩陣的關(guān)聯(lián)可以延用以往常用的約束,具體為

將定義1 中的差異性正則擴展到多模態(tài)譜聚類中,新模型表示為

其中,||Zv||1的作用是保證稀疏性,約束項中每個模態(tài)的聚類指示矩陣則可以看成字典學(xué)習(xí)的表示形式,噪聲損失項則采用 ?1范數(shù)來處理稀疏噪聲.

該模型的本質(zhì)思想也是一種對抗學(xué)習(xí),一方面希望體現(xiàn)不同模態(tài)的差異性(第2 項),另一方面則希望單模態(tài)的聚類指示函數(shù)與潛在真實的聚類指示矩陣一致(第3 項).在優(yōu)化方面,ECMSC 也可以采用ADMM 進行并行優(yōu)化.值得注意的是,第2 項的差異正則實質(zhì)上可以采用很多其他形式,如HSIC 等.

2.3 基于一致性準(zhǔn)則的方法

基于一致性準(zhǔn)則的方法可以分為:(1) 約束模態(tài)預(yù)測一致性;(2) 約束模態(tài)特征表示的一致性.

2.3.1 Co-regularization

半監(jiān)督學(xué)習(xí)方法協(xié)同正則化(co-regularization)[5]考慮預(yù)測的一致性約束.具體地,給定少量有標(biāo)記數(shù)據(jù)(xi,yi)和大量的無標(biāo)記數(shù)據(jù)(xj),協(xié)同正則化為每一個模態(tài)學(xué)習(xí)一個最優(yōu)學(xué)習(xí)器:

其中,f1∈H1,f2∈H2,分別是兩個模態(tài)的學(xué)習(xí)器,H1和H2是兩個模態(tài)的假設(shè)空間.計算兩個模態(tài)預(yù)測集成結(jié)果和真實結(jié)果的損失.不失一般性,?一般取平方損失,即運用RKHS 范數(shù)度量模型c的復(fù)雜度.起關(guān)鍵作用的最后一項則是強制不同模態(tài)在無監(jiān)督數(shù)據(jù)上的一致性,Nl和Nu是有標(biāo)記數(shù)據(jù)和無標(biāo)記數(shù)據(jù)的大小.文獻[32]證明,通過度量兩個函數(shù)類的“距離”可以約束無標(biāo)記數(shù)據(jù)的一致性,進而降低Rademacher 的復(fù)雜度.測試階段,樣本預(yù)測結(jié)果為

2.3.2 DCCA

典型性相關(guān)分析CCA(canonical correlation analysis)[8]則是約束模態(tài)特征表示的一致性.具體地,對于X1∈兩個模態(tài)數(shù)據(jù),每個模態(tài)學(xué)習(xí)投影向量將兩個模態(tài)投影到相同維度的子空間,并最大化兩者投影后特征間的相關(guān)系數(shù):

因為對ω1和ω2具有伸縮不變性,CCA 等價為

而ω1和ω2也可以通過求解廣義特征值問題的最大特征值對應(yīng)的特征向量而得到:

其中,μ是特征向量1ω的特征值,2ω也可以類似求得.文獻[46]則將CCA 擴展面向多模態(tài)的多重集典型相關(guān)分析MCCA(multiple CCA),并利用多核稀疏保持投影有效擴展為多模態(tài)場景.值得注意的是,MCCA 采用兩兩模態(tài)關(guān)聯(lián)加和形式.考慮到神經(jīng)網(wǎng)絡(luò)強大的非線性表示能力,文獻[33]提出了DCCA(deep CCA),如圖4 所示,DCCA為每個模態(tài)分別建立單獨的神經(jīng)網(wǎng)絡(luò)進行特征學(xué)習(xí),再將不同模態(tài)的特征輸出線性投影到共享子空間,最大化模態(tài)間的相關(guān)性,具體表示為

其中,f1和f2表示各模態(tài)的神經(jīng)網(wǎng)絡(luò),θ1和θ2是其對應(yīng)的網(wǎng)絡(luò)參數(shù).特別地,文獻[33]的實驗發(fā)現(xiàn),全量數(shù)據(jù)的L-BFGS 二階優(yōu)化效果遠好于批量數(shù)據(jù)的一階隨機優(yōu)化,說明優(yōu)化過程中采樣數(shù)據(jù)的大小與相關(guān)性計算有著密切的聯(lián)系.

Fig.4 The illustration of DCCA,which combines the CCA and deep networks[33]圖4 DCCA 框架[33].該方法結(jié)合CCA 思想和深度模型框架

進一步地,DCCAE(deep auto-encoder CCA)[34]綜合考慮了自編碼網(wǎng)絡(luò)和DCCA 思想,相應(yīng)的模型表示如下:

2.3.3 MDL

文獻[35]提出了基于模態(tài)隱空間表示一致的多模態(tài)深度網(wǎng)絡(luò)MDL(multi-modal deep learning),如圖5 所示.MDL 在訓(xùn)練階段利用深度網(wǎng)絡(luò)學(xué)習(xí)不同模態(tài)在同一子空間共享的隱含表示,再重構(gòu)不同模態(tài)的原始輸入.圖5左圖所示為單模態(tài)輸入重構(gòu)多模態(tài),右圖所示為多模態(tài)輸入重構(gòu)多模態(tài).值得注意的是,MDL 共享隱空間表示學(xué)習(xí)可以自然地擴展為兩模態(tài)以上的多模態(tài)表示學(xué)習(xí),無需像子空間表示學(xué)習(xí)方法那樣兩兩加和擴展為多模態(tài)場景.

Fig.5 The illustration of MDL,which employs deep auto-encoder for representation learning[35]圖5 MDL 框架[35].該方法考慮深度自動編碼網(wǎng)路進行模態(tài)隱空間表示學(xué)習(xí)

2.4 討 論

本節(jié)介紹了基于互補性和一致性準(zhǔn)則的傳統(tǒng)多模態(tài)學(xué)習(xí)方法.萬變不離其宗,這兩類多模態(tài)學(xué)習(xí)方法都利用了模態(tài)間的強相關(guān)性:(1) 標(biāo)記預(yù)測的強相關(guān)性.協(xié)同訓(xùn)練類型方法利用潛在一致的偽標(biāo)記進行互補教學(xué),協(xié)同正則化方法利用各模態(tài)對齊無標(biāo)記數(shù)據(jù)預(yù)測的一致性作為正則化項;(2) 特征表示的強相關(guān)性.子空間特征約束和隱空間特征約束方法均考慮了各模態(tài)數(shù)據(jù)相同維度特征表示的相關(guān)性度量,其中,隱空間特征學(xué)習(xí)方法可有效擴展為多模態(tài)場景,而其他方法則需兩兩度量.

針對傳統(tǒng)的聚類、分類等任務(wù),多模態(tài)較之單模態(tài)可提供更具判別性的特征表示,其思路可類比于單模態(tài)集成學(xué)習(xí)中的特征抽樣、單模態(tài)半監(jiān)督學(xué)習(xí)中的數(shù)據(jù)增廣,從而在特征層面為樣本提供更加豐富的表示.基于模態(tài)間強相關(guān)性有效地利用各模態(tài)無標(biāo)記數(shù)據(jù),進而可有效地提升聚類、分類的集成性能.在聚類、分類任務(wù)中,互補性和一致性體現(xiàn)為特征的互補性和標(biāo)記的一致性,二者相輔相成.另一方面,針對多模態(tài)特有的跨模態(tài)檢索、描述、問答等任務(wù),其需要構(gòu)建跨模態(tài)特征嵌入間的映射關(guān)聯(lián),這類多模態(tài)學(xué)習(xí)則更注重特征表示的強相關(guān)性應(yīng)用,對互補性考慮較少.

3 可靠多模態(tài)學(xué)習(xí)

在開放環(huán)境下,各模態(tài)的信息差異性較大,呈現(xiàn)出不均衡性,其強相關(guān)性很難保證,致使傳統(tǒng)的多模態(tài)學(xué)習(xí)方法面臨著巨大挑戰(zhàn).本節(jié)首先指出不均衡多模態(tài)數(shù)據(jù)凸顯的表示強弱不一致和對齊關(guān)聯(lián)不一致兩大挑戰(zhàn),之后具體介紹針對這些挑戰(zhàn)目前有關(guān)可靠多模態(tài)學(xué)習(xí)方法的最新研究進展.

3.1 不均衡多模態(tài)數(shù)據(jù)

開放環(huán)境下,噪音、自身缺陷等因素會導(dǎo)致模態(tài)的不充分,進而產(chǎn)生模態(tài)間的差異性.如圖6 所示,圖文對出現(xiàn)不同程度的不匹配現(xiàn)象.

Fig.6 The inconsistent multi-modal data,in which the image-text pairs have inconsistency problem圖6 表示強弱不一致的數(shù)據(jù).圖文對呈現(xiàn)不同程度的不匹配問題

可見,數(shù)據(jù)的各模態(tài)所有擁有的信息呈現(xiàn)差異性,具有強弱之分.又如身份識別中指紋信息更豐富,而受遮擋的人臉信息較難區(qū)分;病理檢測中核磁共振圖像能夠提供更有效的病理結(jié)構(gòu),而X 光檢測提供信息較為局限.因此,針對表示強弱不一致的多模態(tài)數(shù)據(jù),目前研究主要分為3 類:(1) 模態(tài)表示不一致的異常點檢測.較之單模態(tài)異常點檢測,多模態(tài)異常點檢測更為復(fù)雜,擁有額外的模態(tài)不一致屬性的異常點,需設(shè)計更魯棒的多模態(tài)不一致度量.為此,第3.2.1 節(jié)和第3.2.2 節(jié)將給出具體介紹;(2) 模態(tài)表示不一致的輔助學(xué)習(xí).模態(tài)信息差異導(dǎo)致強弱之分,而強模態(tài)的收集代價通常比弱模態(tài)更加昂貴,為了有效減少數(shù)據(jù)收集開銷,需利用強模態(tài)在訓(xùn)練階段輔助弱模態(tài)建模,進而在測試階段僅需弱模態(tài)即可預(yù)測.為此,第3.2.3 節(jié)和第3.2.4 節(jié)將具體加以介紹;(3) 模態(tài)表示不一致的加權(quán)融合.更一般的場景是不同樣本的模態(tài)強弱也不盡相同,模態(tài)強弱存在自適應(yīng)性,需自主地學(xué)習(xí)各樣本不同模態(tài)的權(quán)重,進行加權(quán)融合.為此,第3.2.5 節(jié)和第3.2.6 節(jié)將具體給出介紹.

此外,傳統(tǒng)多模態(tài)學(xué)習(xí)中模態(tài)的對齊關(guān)聯(lián)是事先給定的,樣本擁有全量的多模態(tài)數(shù)據(jù).然而,考慮到深度學(xué)習(xí)通常需要大量的數(shù)據(jù)進行訓(xùn)練,而擁有大規(guī)模標(biāo)注對齊的多模態(tài)數(shù)據(jù)十分困難.現(xiàn)實應(yīng)用中多模態(tài)數(shù)據(jù)出現(xiàn)對齊關(guān)系不一致現(xiàn)象,如圖7 所示:(1) 樣本模態(tài)出現(xiàn)缺失問題,即僅少量樣本擁有全量模態(tài);(2) 樣本僅擁有非平行模態(tài)信息,即對齊關(guān)聯(lián)缺失.

Fig.7 The non-parallel multi-modal data,in which the data exists modality or alignment missing圖7 對齊關(guān)聯(lián)不一致的數(shù)據(jù).數(shù)據(jù)出現(xiàn)模態(tài)缺失或?qū)R關(guān)系缺失

針對對齊關(guān)系不一致的多模態(tài)數(shù)據(jù),目前的研究方法主要分為兩類:(1) 缺失多模態(tài)學(xué)習(xí).此類方法主要考慮如何利用現(xiàn)有的多模態(tài)數(shù)據(jù)進行跨模態(tài)補齊,并進行后續(xù)聚類、分類操作.第3.3.1 節(jié)和第3.3.2 節(jié)將具體加以介紹;(2) 非平行多模態(tài)學(xué)習(xí).此類方法主要考慮如何利用潛在一致的標(biāo)記信息建立模態(tài)間隱含關(guān)聯(lián),進行輔助學(xué)習(xí)、跨模態(tài)映射.第3.3.3 節(jié)和第3.3.4 節(jié)將具體給出介紹.

3.2 針對表示強弱不一致的方法

3.2.1 MVAD

文獻[21]提出概率隱變量模型MVAD(multi-view anomaly detection)來檢測模態(tài)不一致的異常點.MVAD 假設(shè)所有一致的樣本是由單個隱向量生成,而異常點則由不同隱向量生成.通過狄利克雷過程先驗(Dirichlet process priors)可以推斷每個樣本隱向量的個數(shù),進而獲得每個樣本異常的概率.如圖8 所示,對于多模態(tài)樣本X的生成過程如下所示.

Step 1.刻畫參數(shù)α～Gamma(a,b);

Step 2.對每個樣本n=1,2,...,N

(a) 刻畫混合權(quán)重θn～Stick(γ);

(b) 對每個隱向量:j=1,2,...,∞:刻畫一個隱向量znj～N(0,(αr)-1I)

(c) 對每個視圖:d=1,2,...,D

刻畫一個隱向量分配snd～Discrete(θn)

Fig.8 The illustration of MVAD,which aims to detect inconsistent outliers[21]圖8 MVAD 框架[21].該方法利用概率隱變量模型檢測模態(tài)不一致異常點

其中,Stick()γ是折棍子過程(stick-breaking)[36],可以利用參數(shù)γ為狄利克雷過程生成混合權(quán)重,r是對隱向量表示的關(guān)聯(lián)預(yù)測.α共享于觀測值和隱向量預(yù)測.圖8 陰影部分和非陰影部分分別表示觀測值和隱變量.整體框架可以看成魯棒概率典型性相關(guān)分析對模態(tài)不一致異常點檢測的擴展,可運用隨機EM 算法進行貝葉斯推斷.

3.2.2 DRUMN

文獻[37]基于迭代訓(xùn)練錯誤率提出一種魯棒無監(jiān)督多模態(tài)深度網(wǎng)絡(luò)DRUMN(deep robust unsupervised multi-modal network).傳統(tǒng)的基于模態(tài)權(quán)重檢測多模態(tài)異常點的方法存在兩個弊端:(1) 檢測閾值需預(yù)先設(shè)定且固定不變,不能隨學(xué)習(xí)過程自適應(yīng)調(diào)節(jié);(2) 考慮模態(tài)兩兩配對檢測,閾值隨模態(tài)個數(shù)的增多而呈指數(shù)增長.為了解決上述問題,DRUMN 考慮自適應(yīng)地為各模態(tài)樣本及模態(tài)對加權(quán).其首先采用能量模型RBM(restricted Boltzmann machine)[38]作為特征學(xué)習(xí)網(wǎng)絡(luò).具體表示為

其中,C()· 表示互信息函數(shù),且模態(tài)不一致樣本較大.最終的優(yōu)化函數(shù)表示為

總體上,DRUMN 利用各模態(tài)的自編碼(auto-encoder)網(wǎng)絡(luò)結(jié)構(gòu)處理模態(tài)缺失樣本,同時用能量模型自適應(yīng)地估計樣本權(quán)重處理模態(tài)不一致的樣本,進而減小多模態(tài)異常點對訓(xùn)練帶來的干擾.

3.2.3 ICo-training

針對強弱模態(tài)輔助學(xué)習(xí),文獻[16]證明,模態(tài)不充分條件下,Co-training 適用的理論分析:兩個模態(tài)預(yù)測置信度的差異性較大,Co-training 在模態(tài)信息不充分的條件下仍然能夠通過利用無標(biāo)記數(shù)據(jù)提升學(xué)習(xí)器性能,并提出一種基于大間隔算法ICo-training.

Step 1.無放回地從無標(biāo)記數(shù)據(jù)U構(gòu)造大小為u的數(shù)據(jù)池U＇;

Step 2.分別運用兩個模態(tài)X1和X2的有標(biāo)記數(shù)據(jù)訓(xùn)練兩個學(xué)習(xí)器h1和h2;

Step 3.每個模態(tài)用訓(xùn)練好的學(xué)習(xí)器在U＇中本模態(tài)無標(biāo)記樣本中挑選p個最置信的正例和n個最置信的負例,挑選最置信的樣本需要預(yù)測概率大于設(shè)定的閾值;

Step 4.標(biāo)上偽標(biāo)記加到L中重訓(xùn)練.

不難發(fā)現(xiàn),隨著學(xué)習(xí)器性能的變化,設(shè)定的閾值也應(yīng)發(fā)生變化.為此,文獻[16]進一步提出了基于迭代間隔的ICo-training 算法,迭代的閾值表示為

3.2.4 ARM

但上述方法仍需手動設(shè)定閾值參數(shù)來挑選樣本.為此,文獻[20]提出了ARM(auxiliary regularized machine)方法,旨在訓(xùn)練階段利用強模態(tài)學(xué)習(xí)器輔助弱模態(tài)進行有效的特征抽取.ARM 利用先驗知識,將模態(tài)分為強模態(tài)和弱模態(tài)兩個模態(tài),并分別建立學(xué)習(xí)器,同時利用強模態(tài)的預(yù)測和弱模態(tài)的鄰接矩陣構(gòu)造流形正則項,起到強模態(tài)輔助弱模態(tài)的作用.ARM 模型表示如下:

3.2.5 RMVC

在模態(tài)不充分場景下,傳統(tǒng)多模態(tài)聚類會產(chǎn)生性能退化現(xiàn)象.為此,文獻[40]提出了可靠多模態(tài)聚類方法RMVC(reliable multi-view clustering),自適應(yīng)地為不同候選聚類結(jié)果學(xué)習(xí)相應(yīng)的權(quán)重,并最大化最優(yōu)單模態(tài)在最壞聚類設(shè)定下的信息增益,以此提高多模態(tài)集成聚類的性能.該方法先提出χ2距離,度量不同聚類指示矩陣(K1和K2可不相等)的差異:

其中,α服從單純型,為待優(yōu)化的潛在聚類結(jié)果.是預(yù)先獲得的單模態(tài)聚類結(jié)果,Yi是運行m個多模態(tài)聚類算法獲得的m個聚類結(jié)果.Y0等價于所有單模態(tài)聚類結(jié)果中最優(yōu)的聚類結(jié)果.分開看,這一項可確定每種多模態(tài)聚類效果的權(quán)重αi.而最大化-相當(dāng)于對m個多模態(tài)聚類的集成學(xué)習(xí),可以看出,最終的聚類結(jié)果與Yi密切相關(guān),文獻[40]證明了如下結(jié)論:若最優(yōu)聚類結(jié)果屬于Yi,那么優(yōu)化得到的聚類結(jié)果肯定優(yōu)于單模態(tài)的聚類結(jié)果.

3.2.6 CMML

針對分類任務(wù),文獻[41]提出了半監(jiān)督多模態(tài)學(xué)習(xí)方法CMML(comprehensive multi-modal learning),其利用注意力機制自適應(yīng)地為每個樣本的不同模態(tài)學(xué)習(xí)相應(yīng)的權(quán)重,并提出差異性度量和魯棒一致性度量來體現(xiàn)模態(tài)間的互補性,并進行自適應(yīng)加權(quán)融合.充分性度量表示為

其中,fj(·)是每個模態(tài)的學(xué)習(xí)器,這里表示為深度網(wǎng)絡(luò),表示第i個樣本的第j個模態(tài)的權(quán)重,h(·)是額外的注意力神經(jīng)網(wǎng)絡(luò),如兩層淺層全連接網(wǎng)絡(luò).

差異性度量可表示為

該方法借用圖像、文本領(lǐng)域常用的注意力機制,自適應(yīng)地為每個模態(tài)學(xué)習(xí)相應(yīng)的權(quán)重進行加權(quán)融合,從而有效緩解模態(tài)不均衡帶來的弱相關(guān)問題.

3.3 針對對齊關(guān)聯(lián)不一致的方法

3.3.1 PVC

在模態(tài)缺失情況下,若直接應(yīng)用現(xiàn)有的多模態(tài)方法,則必須丟棄模態(tài)缺失的樣本或先補全缺失模態(tài)特征,這會丟失有效信息或引入額外噪聲.為此,文獻[17]提出了PVC(partial view clustering)方法對模態(tài)缺失樣本進行聚類.不同于傳統(tǒng)多模態(tài)方法優(yōu)化投影矩陣將不同模態(tài)投影到同維度子空間表示,PVC 基于字典學(xué)習(xí)將子空間表示也作為優(yōu)化變量投影回各模態(tài)的原始表示空間,再利用優(yōu)化得到的子空間表示進行聚類:

3.3.2 SLIM

考慮利用對齊的無缺失模態(tài)樣本信息輔助缺失模態(tài)進行學(xué)習(xí),文獻[43]提出半監(jiān)督多模態(tài)學(xué)習(xí)方法SLIM(semi-supervised learning with incomplete modalities).SLIM 有效地利用數(shù)據(jù)預(yù)測的潛在一致性,利用預(yù)測概率補全各模態(tài)的相似性矩陣,從而在統(tǒng)一的框架中為每個模態(tài)學(xué)習(xí)單獨的學(xué)習(xí)器和所有未標(biāo)記樣本的聚類學(xué)習(xí)器,進而可以同時進行分類和聚類任務(wù):

kb∈R是當(dāng)前預(yù)測的偏差,1 是一個全1 向量,⊙表示對應(yīng)元素的點乘算子,是指示矩陣,其中,表示第i個示例的第k個模態(tài)上完整,否則,在多類情況下,xi的標(biāo)簽yi擴展為一個C維的向量,其中,表示第i個示例為第j個標(biāo)簽,否則,類似地,F∈RN×C表示所有示例的預(yù)測標(biāo)記,ηk是第k個模態(tài)的完整樣本的個數(shù).Mk∈RN×N是第k個模態(tài)的相似度矩陣.表示第i個樣本和第j個樣本的第k個模態(tài)完整,否則為0.其中,第3 項進一步采用平方根損失函數(shù)代替方程中的最小二乘函數(shù),減少了噪音數(shù)據(jù)的影響.亦即,此項等價于一個加權(quán)正則化的最小二乘形式,其中,每個模態(tài)的權(quán)重為進而可以通過考慮所有模態(tài)的不同噪聲水平來校準(zhǔn)每個模態(tài).最終,SLIM 利用模態(tài)的一致性來補全各模態(tài)缺失的相似性矩陣,從而獲得潛在一致的預(yù)測矩陣F.

3.3.3 DeVise

針對模態(tài)對齊關(guān)聯(lián)缺失問題,文獻[18]提出一種啟發(fā)式輔助學(xué)習(xí)方法 DeVise(deep visual-semantic embedding model).具體地,DeVise 在訓(xùn)練圖片模型時隨機抽樣文本模態(tài)的異類樣本構(gòu)造三元組損失函數(shù)以輔助圖片深度網(wǎng)絡(luò)訓(xùn)練,利用文本基模型獲得的特征嵌入輔助圖片縮小類內(nèi)距離,擴大類間距離.最終可以利用文本模態(tài)樣本增廣訓(xùn)練數(shù)據(jù),從而減少圖片訓(xùn)練樣本的數(shù)量.具體公式如下:

其中,margin是人為定義的距離參數(shù),elabel是標(biāo)記的語義表示,eimage是圖片的特征嵌入表示,M是映射矩陣,etext是文本模態(tài)的特征表示.值得注意的是,該方法無需模態(tài)間的對齊關(guān)聯(lián),僅利用標(biāo)記一致性進行樣本挑選,適用于分類等任務(wù),而針對面向模態(tài)樣本對齊的跨模態(tài)檢索等任務(wù)則效果甚微.

3.3.4 SCML

針對模態(tài)對齊關(guān)聯(lián)缺失下的跨模態(tài)檢索問題,文獻[44]提出SCML(sequential cross-modal learning),該方法基于共享預(yù)測模型的序列化訓(xùn)練方式進行多模態(tài)模型聯(lián)合訓(xùn)練,進而利用共享模型挖掘跨模態(tài)潛在一致的特征表示.

如圖9 所示,該方法基于共享預(yù)測模型進行序列化訓(xùn)練,通過保證共享模型性能不下降而獲得模態(tài)間潛在一致的特征嵌入.SCML 首先訓(xùn)練單模態(tài)模型P1(S)和共享模型S,再固定共享模型S 訓(xùn)練單模態(tài)模型P2,此步固定S 旨在防止S 對P1 學(xué)到知識的遺忘.而后,僅利用少量的P1 和P2 數(shù)據(jù)訓(xùn)練元學(xué)習(xí)器M,這一步是為了利用元學(xué)習(xí)器更新共享S,進一步獲得潛在一致的語義表示.值得注意的是,SCML 訓(xùn)練共享模型使得各模態(tài)預(yù)測性能不下降這一思路,以此獲得跨模態(tài)潛在一致的映射關(guān)聯(lián),但這并不是樣本級別的映射關(guān)聯(lián),因此該方法在NDCG 指標(biāo)中性能較好,而在Rank 指標(biāo)中性能較差.

Fig.9 The illustration of SCML[44]圖9 SCML 框架[44]

3.4 討 論

本節(jié)主要介紹了針對不均衡多模態(tài)數(shù)據(jù)所提出的可靠多模態(tài)學(xué)習(xí)方法.考慮模態(tài)表示強弱不一致的方法主要思考如何有效度量模態(tài)的不一致性,并考慮利用性能優(yōu)異的模態(tài)進行輔助學(xué)習(xí).而考慮模態(tài)對齊關(guān)聯(lián)不一致的方法主要考慮如何緩解模態(tài)缺失的影響,補齊模態(tài)缺失數(shù)據(jù).而面向關(guān)聯(lián)缺失的方法主要思考如何學(xué)習(xí)并利用模態(tài)間潛在一致的關(guān)聯(lián)性,如標(biāo)記關(guān)聯(lián).但目前仍有諸多挑戰(zhàn)有待解決:(1) 模態(tài)不充分性度量[45].目前,強弱模態(tài)是靠訓(xùn)練數(shù)據(jù)的性能或者先驗知識來確定,且絕大多數(shù)方法局限于兩模態(tài).如何更有效地界定模態(tài)的不充分性,并度量更細粒度的樣本級別的模態(tài)不充分性還有待研究;(2) 模態(tài)缺失數(shù)據(jù)處理.目前,對于模態(tài)缺失問題的處理實質(zhì)上是對樣本缺失模態(tài)僅作為單模態(tài)來處理,如何利用樣本無缺失的模態(tài)對缺失的模態(tài)進行有效操作還有待研究;(3) 非平行多模態(tài)學(xué)習(xí).目前,針對模態(tài)關(guān)聯(lián)缺失的方法大多為啟發(fā)式方法,如何有效地擴展為僅利用少量對齊數(shù)據(jù)進行對齊標(biāo)簽傳播還有待研究.

4 結(jié)束語

多模態(tài)學(xué)習(xí)近些年受到廣泛關(guān)注并擁有諸多實際應(yīng)用.傳統(tǒng)多模態(tài)學(xué)習(xí)方法面向真實不均衡多模態(tài)數(shù)據(jù)會出現(xiàn)性能退化甚至低于單模態(tài)性能,這通常歸結(jié)于模態(tài)表示強弱的不一致和模態(tài)對齊關(guān)聯(lián)的不一致問題.為此,可靠多模態(tài)學(xué)習(xí)被提了出來,針對上述兩個挑戰(zhàn)的可靠多模態(tài)學(xué)習(xí)體現(xiàn)較之傳統(tǒng)多模態(tài)學(xué)習(xí)具有更優(yōu)異的性能.未來,我們認(rèn)為還存在如下幾方面的挑戰(zhàn):(1) 針對表示不一致的可解釋性研究.目前的方法大多局限于基于各模態(tài)最終的特征嵌入進行不一致的度量及后續(xù)處理,缺乏考慮導(dǎo)致模態(tài)間不一致的因素,如局部區(qū)域信息的不一致性.如何利用多示例學(xué)習(xí)細粒度刻畫各模態(tài)樣本,并結(jié)合諸如圖模型解釋模態(tài)不一致具有巨大的研究前景和廣闊的應(yīng)用價值;(2) 針對關(guān)聯(lián)不一致的隱關(guān)聯(lián)學(xué)習(xí).目前的方法大多還是啟發(fā)式方法,在模態(tài)對齊映射學(xué)習(xí)過程中可能引入額外的噪聲,如何利用少量的對齊模態(tài)數(shù)據(jù)初始化模態(tài)間的映射函數(shù),并利用非平行數(shù)據(jù)結(jié)合對偶學(xué)習(xí)或循環(huán)生成網(wǎng)絡(luò)進一步加以訓(xùn)練值得研究;(3) 動態(tài)環(huán)境下的多模態(tài)學(xué)習(xí).當(dāng)前多模態(tài)學(xué)習(xí)大多是靜態(tài)的,即給定訓(xùn)練集訓(xùn)練模型并在測試集中加以驗證,而現(xiàn)實環(huán)境是動態(tài)變化的,流式數(shù)據(jù)具有分布變化、特征增廣、新類檢測等問題,如何將現(xiàn)有的多模態(tài)學(xué)習(xí)擴展到動態(tài)環(huán)境下值得研究.