核范數(shù)優(yōu)化下的多表征擠壓激勵(lì)自適應(yīng)網(wǎng)絡(luò)

譚茜成，郭 濤，李 鴻，朱新遠(yuǎn)，鄒俊穎，夏 青

(四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，成都 610101)

1 引 言

圖像分類一直以來都是計(jì)算機(jī)視覺和深度學(xué)習(xí)[1]的研究重點(diǎn)并且都取得了巨大的成功[2].但是計(jì)算機(jī)視覺和深度學(xué)習(xí)獲得如此成功的基石是大量的人工標(biāo)記的數(shù)據(jù).從實(shí)際情況來看，對(duì)數(shù)據(jù)集進(jìn)行標(biāo)記是十分耗費(fèi)時(shí)間以及精力的.對(duì)此，無監(jiān)督學(xué)習(xí)思想在深度學(xué)習(xí)領(lǐng)域獲得了廣泛的應(yīng)用.然而在大多數(shù)深度學(xué)習(xí)以及數(shù)據(jù)挖掘任務(wù)中，都假定訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)服從相同分布并且源于相同的特征空間，現(xiàn)實(shí)中常會(huì)出現(xiàn)數(shù)據(jù)分布發(fā)生變化，導(dǎo)致傳統(tǒng)機(jī)器學(xué)習(xí)算法下訓(xùn)練的模型不再適用的情況[3].針對(duì)該問題，楊強(qiáng)等提出遷移學(xué)習(xí)[4]，將從有標(biāo)簽數(shù)據(jù)的領(lǐng)域?qū)W習(xí)到的知識(shí)應(yīng)用到?jīng)]有標(biāo)簽的數(shù)據(jù)上.領(lǐng)域自適應(yīng)作為遷移學(xué)習(xí)的重要分支也得到了廣泛的關(guān)注，領(lǐng)域自適應(yīng)解決了源域和目標(biāo)域數(shù)據(jù)分布不同但相關(guān)的前提下，完成源域知識(shí)在目標(biāo)域上運(yùn)用的問題[5].Jason Yosinski等人通過實(shí)驗(yàn)對(duì)深度神經(jīng)網(wǎng)絡(luò)過每一層的泛化性和特殊性進(jìn)行量化，確定了神經(jīng)網(wǎng)絡(luò)每一層特征的可遷移性[6].領(lǐng)域自適應(yīng)中典型的方法深度領(lǐng)域混淆(DDC)[7]，通過在預(yù)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)中的Softmax層的上一層即適應(yīng)層中加入最大均值差異(MMD)[8]距離，并使其最小化來減小源域和目標(biāo)域在再生核希爾伯特空間(RKHS)[9]中的特征分布，最小化MMD距離來減小源域與目標(biāo)域之間的分布差異.然而，DDC中單一核的MMD過于局限，不能很好拉近源域和目標(biāo)域的特征分布[10].Long等提出了DAN[11]，通過在預(yù)訓(xùn)練網(wǎng)絡(luò)中加入多個(gè)適應(yīng)層，并在MMD中構(gòu)造m個(gè)核再進(jìn)行加權(quán)計(jì)算，以解決單核MMD魯棒性較差的問題.YaroslavGanin和Evgeniya Ustinova等提出了DANN[12]，通過加入梯度反轉(zhuǎn)層連接的域判別器與特征提取器的對(duì)抗學(xué)習(xí)域不變特征，進(jìn)一步來最小化源域和目標(biāo)域之間的距離.Sun等提出了Deep-CORAL，通過對(duì)源域和目標(biāo)域進(jìn)行非線性變換來對(duì)齊各自的二階統(tǒng)計(jì)量[13].Zhu等人提出了MRAN[14]，MRAN從空間角度出發(fā)，采用了Inception[15]并行卷積結(jié)構(gòu)的優(yōu)勢(shì)，從多個(gè)角度對(duì)圖像進(jìn)行特征提取，并結(jié)合了CMMD作為拉近源域和目標(biāo)域特征分布的工具，取得了顯著的結(jié)果.但是它只關(guān)注了空間結(jié)構(gòu)上的聯(lián)系而忽略了各特征通道之間的聯(lián)系，對(duì)于提取的多表征特征來說，各抽象特征在特征通道處的重要程度是不同的；并且在域適應(yīng)后進(jìn)行分類的時(shí)候，時(shí)常會(huì)出現(xiàn)熵相近發(fā)生因模型判別性較低從而導(dǎo)致分類錯(cuò)誤的情況.本文針對(duì)以上的情況，提出了基于批量核范數(shù)最大化的多表征擠壓激勵(lì)自適應(yīng)網(wǎng)絡(luò)(Multi-Representation Squeeze-Excitation Adaptation Network_Batch Kernel Norm Maximization，MRSEAN_BNM)，在多表征特征提取網(wǎng)絡(luò)后添加了擠壓激勵(lì)注意力機(jī)制，通過特征重標(biāo)定，根據(jù)其重要程度，自動(dòng)學(xué)習(xí)各并行的表征特征不同的權(quán)重[16，17]，最大化目標(biāo)域分類輸出矩陣的核范數(shù)，提升其最后分類的判別性[18].設(shè)置的消融實(shí)驗(yàn)結(jié)果表明，MRSEAN_BNM的對(duì)于最后的分類精度有顯著提高.

2 UDA

UDA是指將有標(biāo)簽的源域數(shù)據(jù)訓(xùn)練好的模型適用于無標(biāo)簽數(shù)據(jù)的目標(biāo)域數(shù)據(jù)，并獲得目標(biāo)域上進(jìn)行分類精度或其他工作提升的一個(gè)方法[19].

定義1(數(shù)據(jù)集).數(shù)據(jù)集D可定義為一個(gè)二元組即D(X,Y)，其中：X={x1，x2，…，xn}這個(gè)為n個(gè)實(shí)際數(shù)據(jù)的集合，Y={y1，y2，…，yn}則為n個(gè)實(shí)際數(shù)據(jù)對(duì)應(yīng)的類別標(biāo)簽信息.

定義2(源域及目標(biāo)域).對(duì)于給定標(biāo)簽的數(shù)據(jù)集Ds=(XS,YS)，未給定數(shù)據(jù)集標(biāo)簽的數(shù)據(jù)集為DT=(XT,YT)，分別設(shè)DS和DT的特征空間為XS和XT；類別空間為yS和yT；邊緣概率為PS(xs)和PT(xT)；條件概率為QS(ys|xs)和QT(yT|xT).若滿足條件XS=XT；ys=yT；PS(xs)≠PT(xT)；QS(ys|xs)=QT(yT|xT)即可將DS以及DT視為領(lǐng)域自適應(yīng)中的源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集.

定義3(UDA).在領(lǐng)域自適應(yīng)中，如存在源域數(shù)據(jù)集DS=(XS,YS)和目標(biāo)域數(shù)據(jù)集DT=(XT,YT).利用XS和YS進(jìn)入深度遷移網(wǎng)絡(luò)后學(xué)習(xí)一個(gè)分類器使得f:xT→yT，即完成UDA.

3 MRAN模型

MRAN通過對(duì)輸入圖像進(jìn)行多表征特征提取，并通過CMMD拉近對(duì)每一組來自源域以及目標(biāo)域的表征特征分布距離，來實(shí)現(xiàn)UDA任務(wù).MRAN的學(xué)習(xí)過程由特征提取網(wǎng)絡(luò)、初始適應(yīng)模塊(IAM)、分類網(wǎng)絡(luò)3個(gè)部分完成.

1)特征提取網(wǎng)絡(luò)：完成由原始圖像到低像素圖像的轉(zhuǎn)變同時(shí)提取出兩個(gè)域的公共淺層特征.源域圖像和目標(biāo)域數(shù)據(jù)經(jīng)過的預(yù)訓(xùn)練(backbone)部分即特征提取網(wǎng)絡(luò).

2)IAM：完成從低像素圖像中的多表征特征提取.源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)均經(jīng)過IAM，將經(jīng)過backbone部分的低像素圖像進(jìn)行多表征特征提取，并將源域和目標(biāo)域每一組的多表征特征映射到再生核希爾伯特空間拉近其分布，再將每組的表征特征進(jìn)行合并.

經(jīng)過IAM的流程如下：以數(shù)據(jù)集office31中圖像數(shù)據(jù)為例.輸入圖像大小為32×32×3，經(jīng)過Inception模塊后變?yōu)?個(gè)并行的特征圖，分別是特征圖1(32×32×64)，特征圖2(28×28×64)，特征圖3(28×28×96)，特征圖4(32×32×64).4個(gè)特征圖進(jìn)入全局平均池化操作，池化后生成的表征向量分為兩個(gè)分支，分支一對(duì)每組源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的表征向量CMMD進(jìn)行計(jì)算，計(jì)算后完成疊加作為損失函數(shù)之一，并將其梯度信息回傳；另一分支繼續(xù)前向傳播拉伸成一維向量后進(jìn)行合并操作后，將4個(gè)表示表征向量的特征圖合并為一個(gè)表征向量特征圖，IAM結(jié)束.

3)分類網(wǎng)絡(luò)：完成標(biāo)簽預(yù)測(cè).合并后的表征向量特征圖連接一個(gè)全連接層和Softmax層完成圖像的分類并通過交叉熵函數(shù)計(jì)算其分類損失，分類損失進(jìn)入損失函數(shù)回傳機(jī)制.

4 MRSEAN_BNM模型

4.1 問題描述

由于MRAN結(jié)構(gòu)存在以下兩個(gè)問題：1)Inception網(wǎng)絡(luò)從空間結(jié)構(gòu)的角度出發(fā)，采取多表征的方式對(duì)輸入圖像進(jìn)行特征提取，但是忽略了特征通道之間的聯(lián)系，導(dǎo)致UDA分類時(shí)存在重要性不強(qiáng)的表征特征影響分類性能；2)MRAN中損失函數(shù)是由作為分類損失函數(shù)的交叉熵以及作為拉近源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)在再生核希爾伯特空間特征分布損失的CMMD組成，但是忽視了在進(jìn)行UDA分類過程中決策邊界附近存在大量混淆數(shù)據(jù)的情況，在僅用信息熵最小化方法對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行分類時(shí)，不足以解決決策邊界混淆數(shù)據(jù)的問題.

4.2 模型結(jié)構(gòu)

針對(duì)MRAN的不足，提出了MRSEAN_BNM.MRSEAN_BNM.MRSEAN_BNM模型由特征提取網(wǎng)絡(luò)(Feature extraction network，F(xiàn))，多表征特征提取網(wǎng)絡(luò)(Multi-representation feature extraction network，F(xiàn)*)，注意力自適應(yīng)網(wǎng)絡(luò)(Attention Adaptation network，A)，分類網(wǎng)絡(luò)(Classification network，C)4個(gè)部分組成.該模型首先通過F提取輸入圖像的公共特征，再通過F*進(jìn)行多表征特征提取.通過擠壓激勵(lì)注意力機(jī)制進(jìn)行表征特征重標(biāo)定，根據(jù)表征特征的重要程度，自動(dòng)學(xué)習(xí)每一組表征特征的通道權(quán)重，再將學(xué)習(xí)到的通道權(quán)重與對(duì)應(yīng)的表征通道進(jìn)行點(diǎn)乘，生成帶有通道權(quán)重的表征特征.并通過CMMD拉近對(duì)每一組源域以及目標(biāo)域的表征特征分布距離；最后通過最大化目標(biāo)域分類輸出矩陣的核范數(shù)，來約束決策邊界上的混淆數(shù)據(jù)，來實(shí)現(xiàn)UDA任務(wù).模型如圖1所示.

1)特征提取網(wǎng)絡(luò)F：源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)經(jīng)過backbone部分，采用的ResNet50結(jié)構(gòu)，完成由原始圖像到低像素圖片的轉(zhuǎn)變實(shí)現(xiàn)對(duì)圖像特征的低級(jí)抽象，同時(shí)提取出兩個(gè)域的公共淺層特征FS，F(xiàn)T.

圖1 MRSEAN_BNM結(jié)構(gòu)圖Fig.1 Diagram of MRSEAN_BNM structure

2)多表征特征提取網(wǎng)絡(luò)F*∶F*：由一個(gè)Inception模塊的4個(gè)分支構(gòu)成，對(duì)完成公共特征提取的數(shù)據(jù)特征進(jìn)行深層表征提取，完成低級(jí)抽象的低像素圖像進(jìn)行多表征特征提取即對(duì)特征的高級(jí)抽象.將FS，F(xiàn)T傳入，生成對(duì)應(yīng)的子模塊FS1，F(xiàn)S2，F(xiàn)S3，F(xiàn)S4，F(xiàn)T1，F(xiàn)T2，F(xiàn)T3，F(xiàn)T4.

3)注意力自適應(yīng)網(wǎng)絡(luò)A：再將每一組表征向量：FS1和FT1，F(xiàn)S2和FT2，F(xiàn)S3和FT3，F(xiàn)S4和FT4傳入注意力自適應(yīng)網(wǎng)絡(luò)A.對(duì)每一組表征向量特征通道進(jìn)行權(quán)重計(jì)算.首先對(duì)特征通道獨(dú)立進(jìn)行全局池化，將每個(gè)通道的二維特征壓縮為1個(gè)實(shí)數(shù)，使其獲得全局感受野，同時(shí)輸出維度和輸入維度相互匹配，得到1×1×C特征圖.此時(shí)通過一個(gè)全連接層、ReLU層以及一個(gè)全連接層在進(jìn)行非線性變換的同時(shí)建立通道之間的相關(guān)性，最后通過Sigmoid層將權(quán)重歸一化后輸出并與另一分支的原特征圖進(jìn)行點(diǎn)乘，具體流程如圖2所示.完成特征通道權(quán)重計(jì)算后將源域和目標(biāo)域的每一組的多表征特征向量映射到高維空間拉近其分布并計(jì)算其CMMD損失，最后將每組的表征特征向量進(jìn)行拉伸合并生成表征向量特征圖A(FS)和A(FT).

圖2 Attention mechanism結(jié)構(gòu)圖Fig.2 Diagram of attention mechanism structure

4)分類網(wǎng)絡(luò)C：生成的表征向量特征圖A(FS)和A(FT)連接一個(gè)全連接層和一個(gè)Softmax層組成的分類網(wǎng)絡(luò)C，全連接層用于重組表征，Softmax層用于輸出預(yù)測(cè)的標(biāo)簽.計(jì)算其交叉熵作為分類損失，最大化目標(biāo)域分類輸出矩陣的核范數(shù)作為BNM損失，計(jì)入總損失函數(shù).

4.3 評(píng)估方法

本實(shí)驗(yàn)的評(píng)估方法采用CMMD損失函數(shù)、交叉熵?fù)p失函數(shù)和核范數(shù)最大化損失函數(shù).

LCMMD為CMMD損失函數(shù)，用于評(píng)估源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的類條件分布.其中c表示標(biāo)簽類別即c∈(1，2，…，C)，H表示再生核希爾伯特空間，Φ(·)表示將原始空間到再生核希爾伯特空間的映射函數(shù).見式(1):

(1)

Lsoft為交叉熵?fù)p失函數(shù)，用于評(píng)估源域數(shù)據(jù)在進(jìn)行圖像分類的時(shí)候產(chǎn)生的損失.其中，c為類標(biāo)簽，yic指變量(0或者1)，如果該類別和樣本i的類別相同就是1，否則為0.指對(duì)于觀測(cè)樣本i屬于類別c的預(yù)測(cè)概率.計(jì)算公式見式(2):

(2)

LBNM為核范數(shù)最大化損失函數(shù)，用于評(píng)估最大化目標(biāo)域分類輸出矩陣核范數(shù)的損失.給定目標(biāo)域矩陣的隨機(jī)抽樣矩陣為BT.DT上的分類響應(yīng)矩陣為G(XT)，G為DS和DT之間的共享神經(jīng)網(wǎng)絡(luò)模塊，計(jì)算公式見式(3):

(3)

MRSEAN_BNM的總損失函數(shù)為L(zhǎng)total，公式見式(4):

Ltotal=Lsoft+γLCMMD+γLBNM

(4)

4.4 算法流程

MRSEAN_BNM模型的整體算法流程如表1所示.

算法1.MRSEAN_BNM模型訓(xùn)練

輸入：源域數(shù)據(jù)集Ds=(XS，YS)，目標(biāo)域數(shù)據(jù)集DT=(XT,YT)，

訓(xùn)練次數(shù)K，批量大小m，平衡系數(shù)λ

輸出：MRSEAN_BNM模型Γ

1.隨機(jī)初始化模型Γ中所有網(wǎng)絡(luò)層的參數(shù)；

2. forkin：Kdo

2.2.xSm通過F網(wǎng)絡(luò)可得f1Sm，f2Sm，f3Sm，f4Sm=F(xSm)；xTm通過F網(wǎng)絡(luò)可得f1Tm，f2Tm，f3Tm，f4Tm=F(xTm)；

2.4.根據(jù)式(1)計(jì)算源域和目標(biāo)域的域間損失LCMMD.

2.5.根據(jù)式(2)源域的分類損失Lsoft.

2.6.根據(jù)式(3)計(jì)算目標(biāo)域的BNM損失LBNM.

3.end for

4.輸出模型MRSEAN_BNM模型，算法停止.

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)集

為了減少實(shí)驗(yàn)結(jié)果的偶然性，本文在office31數(shù)據(jù)集和ImageCLEF-DA數(shù)據(jù)集兩組公共數(shù)據(jù)集上進(jìn)行驗(yàn)證.其中在office31數(shù)據(jù)集上包含了amazon、webcam、dslr 3組子數(shù)據(jù)集并進(jìn)行amazon→webcam，amazon→dslr，webcam→dslr，webcam→amazon，dslr→webcam，dslr→amazon共6組遷移實(shí)驗(yàn)；同理，在ImageCLEF-DA數(shù)據(jù)集下，也包含了3組子數(shù)據(jù)集，也同樣設(shè)置了6組遷移實(shí)驗(yàn)，共12組遷移實(shí)驗(yàn).A→B即A為源域數(shù)據(jù)，B為目標(biāo)域數(shù)據(jù).

5.2 參數(shù)設(shè)置

5.3 分類精度實(shí)驗(yàn)

5.3.1 實(shí)驗(yàn)流程

Step3.固定Γ1模型中的網(wǎng)絡(luò)F、網(wǎng)絡(luò)F*、網(wǎng)絡(luò)A、和網(wǎng)絡(luò)C的訓(xùn)練參數(shù)作為測(cè)試模型Ξ1，同理可生成對(duì)應(yīng)的測(cè)試模型Ξ2和Ξ3.

5.3.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)完成了MRSEAN_BNM模型與當(dāng)前主流遷移學(xué)習(xí)方法在ImageCLEF-DA數(shù)據(jù)集以及office31數(shù)據(jù)集上精度的比較.為了確保MRSEAN_BNM遷移性能提升的客觀性，在12組遷移實(shí)驗(yàn)中均設(shè)置了MRSEAN，MRAN_BNM，MRSEAN_BNM精度的對(duì)比的實(shí)驗(yàn).其中，分類精度的最大值用粗體標(biāo)識(shí)，實(shí)驗(yàn)結(jié)果如表2和表3所示.

表2 MRSEAN_BNM在ImageCLEF-DA上遷移學(xué)習(xí)實(shí)驗(yàn)數(shù)據(jù)表Table 2 Experiment of transfer learning for MRSEAN_BNM on ImageCLEF-DA

從表2中可以看到，MRSEAN_BNM除了在I→C實(shí)驗(yàn)上的精度略低于RevGrad外，其他實(shí)驗(yàn)均優(yōu)于其他算法.在表3中，MRSEAN_BNM除A→D實(shí)驗(yàn)中弱于MADA外，均優(yōu)于其他算法.表2和表3中，MRSEAN_BNM在I→C和A→D的分類精度分別略低于RevGrad和MADA，其原因?yàn)镽evGrad和MADA屬于對(duì)抗學(xué)習(xí)方法，算法側(cè)重于利用其對(duì)抗機(jī)制捕獲源和目標(biāo)間的域不變特征學(xué)習(xí)，MRSEAN_BNM屬于度量學(xué)習(xí)方法，更注重于通過CMMD拉近源域和目標(biāo)域之間的特征分布，獲取源和目標(biāo)相似特征，提升模型學(xué)習(xí)能力.而在I→C和A→D實(shí)驗(yàn)中數(shù)據(jù)分布過于離散，利用對(duì)抗機(jī)制更易進(jìn)行域不變特征的捕捉，而CMMD以條件概率拉近分布距離的方式較弱，導(dǎo)致獲取源和目標(biāo)間的相似性特征較難，因此精度略高于MRSEAN_BNM.但在表2、表3中，MRSEAN_BNM的平均分類精度均優(yōu)于所有比較方法.這表明了將擠壓激勵(lì)注意力機(jī)制與批量核范數(shù)最大化結(jié)合的重要性，并驗(yàn)證了MRSEAN_BNM可以更好的學(xué)習(xí)可遷移表征.

表3 MRSEAN_BNM在office31上遷移學(xué)習(xí)實(shí)驗(yàn)數(shù)據(jù)表Table 3 Experiment of transfer learning for MRSEAN_BNM on office31

5.4 模型收斂性證明實(shí)驗(yàn)

5.4.1 實(shí)驗(yàn)流程

Step1.選定5.3.1節(jié)中的測(cè)試模型Ξ1Ξ2Ξ3，固定測(cè)試步數(shù)Step后進(jìn)行測(cè)試步數(shù)與精度折線圖的繪制，生成對(duì)應(yīng)折線圖τ1，τ2，τ3.

Step2.將折線圖τ1，τ2，τ3導(dǎo)出為表格1，對(duì)3組數(shù)據(jù)進(jìn)行平均值計(jì)算形成折線圖數(shù)據(jù)表2.

Step3.利用2進(jìn)行折線圖繪制，生成折線圖τ.

5.4.2 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)完成了MRAN、MRAN_BNM、MRSEAN、MRSEAN_BNM在office31數(shù)據(jù)集上測(cè)試步數(shù)以及精確度折線圖上的繪制，結(jié)果如圖3所示，圖3(a)代表amazon→dslr，圖3(b)代表amazon→webcam，圖3(c)代表dslr→amazon，圖3(d)代表dslr→webcam，圖3(e)代表webcam→amazon，圖3(f)代表webcam→dslr.

從圖3(a)-圖3(f)可以看出，MRSEAN_BNM模型在office31的3組數(shù)據(jù)集amazon、webcam、dslr上均具有良好的收斂性.很顯然，MRSEAN_BNM在6組遷移實(shí)驗(yàn)中，測(cè)試步數(shù)位于前1000的時(shí)候，精度的提升速度較快，在1000次左右的時(shí)候，測(cè)試精度波動(dòng)趨于平緩，模型開始整體進(jìn)入收斂狀態(tài).從圖3(b)中可以看出amazon→webcam實(shí)驗(yàn)并沒有達(dá)到最高的精度，是由于amazon數(shù)據(jù)集的數(shù)據(jù)背景單一，學(xué)習(xí)的特征訓(xùn)練出的分類器在進(jìn)行遷移實(shí)驗(yàn)后判別性較弱，不能較好處理復(fù)雜背景數(shù)據(jù)集，如webcam數(shù)據(jù)集，并且遷移后的分類器存在干擾性，在注意力機(jī)制的影響下此域適應(yīng)過程中發(fā)生了負(fù)遷移，導(dǎo)致其精度略低于其對(duì)比試驗(yàn).在圖3(f)中webcam→dslr實(shí)驗(yàn)MRSEAN_BNM表現(xiàn)也存在一些定波動(dòng)，而MRSEAN模型在最高精度處平穩(wěn)，其原因?yàn)閣ebcam數(shù)據(jù)集提供的特征較為豐富，在添加注意力機(jī)制后正遷移的效果明顯，導(dǎo)致圖3(f)中達(dá)到了最平穩(wěn)的收斂狀態(tài).與MRSEAN相比，MRSEAN_BNM網(wǎng)絡(luò)的整體結(jié)構(gòu)偏大，參數(shù)變多，整體優(yōu)化難度變大，存在輕微波動(dòng).表3中可以看到，在3次平均結(jié)果后得到的MRSEAN_BNM能得到分類100%的結(jié)果，并不影響其在最高精度的收斂.

圖3 MRSEAN模型在遷移實(shí)驗(yàn)中收斂性曲線Fig.3 Convergence curve of MRSEAN model in migration experiment

5.5 平衡系數(shù)λ對(duì)MRSEAN_BNM分類效果影響實(shí)驗(yàn)

5.5.1 實(shí)驗(yàn)流程

Step1.選取[0.01，0.02，0.05，0.1，0.2，0.5，1，2]共8個(gè)數(shù)作為的平衡系數(shù)λ的值[14].并按照5.3.1流程計(jì)算得到分類精度ζ1-ζ8.

Step2.根據(jù)λ和ζ關(guān)系繪制不同平衡系數(shù)下的模型分類精度表σ.

5.5.2 實(shí)驗(yàn)結(jié)果分析

MRSEAN_BNM涉及的超參數(shù)為L(zhǎng)BNM的平衡系數(shù)，因此本實(shí)驗(yàn)選擇隨機(jī)抽樣的方法從ImageCLEF-DA數(shù)據(jù)集以及office31數(shù)據(jù)集中從各隨機(jī)選取一組遷移實(shí)驗(yàn)作為測(cè)試實(shí)驗(yàn)，如圖4(a)和圖4(b)所示.圖4(a)表示office31數(shù)據(jù)集中webcam→amazon的實(shí)驗(yàn)，圖4(b)表示ImageCLEF-DA數(shù)據(jù)集中C→P的實(shí)驗(yàn).從圖4(a)和圖4(b)的結(jié)果中可以看到，MRSEAN_BNM模型的分類精度隨平衡系數(shù) 的遞增先增加然后降低，并大概顯示為鐘形曲線.webcam→amazon實(shí)驗(yàn)中，從λ=0.015開始至0.75平衡系數(shù)取值的結(jié)果均使MRSEAN_BNM的精度超過MRAN.在C→P的實(shí)驗(yàn)中，從λ=0.015開始平衡系數(shù)取值的結(jié)果均使MRSEAN_BNM的精度超過MRAN，由此可證明模型的可靠性.且當(dāng)λ=0.1左右時(shí)，模型的遷移性能達(dá)到最佳.

圖4 平衡系數(shù)λ對(duì)MRSEAN_BNM分類效果影響實(shí)驗(yàn)Fig.4 Influence of the balance coefficient λ on the classification effect of MRSEAN_BNM

5.6 t-SNE圖特征可視化實(shí)驗(yàn)

5.6.1 實(shí)驗(yàn)流程

5.6.2 實(shí)驗(yàn)結(jié)果分析

從office31數(shù)據(jù)集中抽取10個(gè)類別，每個(gè)類別各10個(gè)數(shù)據(jù)，構(gòu)成新數(shù)據(jù)集進(jìn)行本次t-SNE特征可視化實(shí)驗(yàn).其中子數(shù)據(jù)集dslr作為源域數(shù)據(jù)集，amazon作為目標(biāo)域數(shù)據(jù)集，之后使用t-SNE來可視化源域數(shù)據(jù)集以及目標(biāo)域數(shù)據(jù)集在進(jìn)行域適應(yīng)實(shí)驗(yàn)之前的特征分布情況以及在訓(xùn)練了500個(gè)epoch的MRAN，MRAN_BNM，MRSEAN，MRSEAN_BNM模型中的特征分布情況.如圖5(a)-圖5(e)所示.

圖5 各模型域適應(yīng)前后特征可視化分布Fig.5 Visual distribution of features before and after adaptation of each model domain

從圖5(a)可以看到，在未進(jìn)行域適應(yīng)實(shí)驗(yàn)之前，數(shù)據(jù)特征分布十分雜亂，也觀察不出領(lǐng)域之間的適應(yīng)情況以及分類信息.在圖5(b)中，源域數(shù)據(jù)以及目標(biāo)域數(shù)據(jù)均開始聚集，且類內(nèi)距離較小，但是在圖的左下角，存在兩個(gè)類的數(shù)據(jù)在分類時(shí)產(chǎn)生混淆情況即類間的距離較小.在圖5(c)中，也存在與圖5(b)一樣數(shù)據(jù)類別混淆的情況.在圖5(d)中，可以觀察到數(shù)據(jù)類別混淆得到改善，但是類間距離依舊較大.在圖5(e)中，分類時(shí)數(shù)據(jù)類別混淆的情況基本消失，類間距離較大，類內(nèi)距離較小，源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)均得到了較好的適應(yīng).因此可以說明在其他條件相同的情況下，MRSEAN_BNM擁有更加優(yōu)越的性能.

6 結(jié)束語

為了解決MRAN模型在進(jìn)行多表征特征提取時(shí)對(duì)特征只關(guān)注其空間結(jié)構(gòu)而忽略通道聯(lián)系的情況以及UDA中因?yàn)槟繕?biāo)域缺少標(biāo)簽信息使得決策邊界上存在大量游離數(shù)據(jù)，本文提出了一種基于批量核范數(shù)最大化的注意力機(jī)制深度域適應(yīng)網(wǎng)絡(luò).該模型通過對(duì)MRAN中加入擠壓激勵(lì)注意力模機(jī)制，使得網(wǎng)絡(luò)模型在多表征特征提取部分的通道聯(lián)系加強(qiáng)，自動(dòng)根據(jù)表征特征重要程度賦予其通道不同的權(quán)重大小.依靠矩陣核范數(shù)和Frobenius范數(shù)互相限制界限以及Frobenius范數(shù)和熵存在相反單調(diào)性的數(shù)學(xué)理論，最大化目標(biāo)域分類輸出矩陣的核范數(shù)，提高了其MRSEAN_BNM模型的分類精度.在域適應(yīng)特征可視化的實(shí)驗(yàn)中也驗(yàn)證了MRSEAN_BNM模型在UDA分類中的優(yōu)越性.此外，對(duì)于如何進(jìn)一步提升注意力機(jī)制在特征提取中的正向作用并降低其負(fù)向作用，提升模型對(duì)決策邊界上的混淆數(shù)據(jù)的區(qū)分是本文需要進(jìn)一步研究的問題.