基于多源域深度域自適應的腦力負荷識別

陳長德， 陳蘭嵐， 張效艇

（華東理工大學化工過程先進控制及優(yōu)化技術教育部重點實驗室, 上海 200237）

腦力負荷被認為是影響操作員分析信息和決策判斷的重要因素，腦力負荷水平過低可能引起操作員精力不集中、對工作產生厭惡情緒，進而導致工作績效達不到最佳水平；腦力負荷水平過高可能會導致操作員快速疲勞、反應速度減緩，因而造成操作失誤增加。多數腦力負荷研究是在操作員不涉及體力活動的場景中展開的，但在真實作業(yè)環(huán)境中操作員的腦力負荷狀態(tài)會伴隨一定的體力負荷，例如急救人員、消防員等，體力負荷甚至會對腦力負荷的準確評估造成影響。所以，在伴隨有體力負荷的任務場景中準確檢測操作員的腦力負荷狀態(tài)對合理分配工作任務、提高工作績效、減少人因事故有著重要意義[1]。

目前，操作員腦力負荷狀態(tài)的主流檢測方法有三類，其中包括主觀問卷評價、任務績效測量和生理信號分析。隨著生理信號采集設備的快速發(fā)展，采集信號的效率和質量都隨之提升，基于生理信號的腦力負荷檢測方法由于其客觀、實時的特點愈發(fā)得到研究人員的青睞。常見的用于檢測腦力負荷的生理信號有：腦電(Electroencephalogram，EEG)、心電(Electrocardiogram，ECG)、近紅外光譜(Near Infrared Spectroscopy，NIRS)等[2-3]。

傳統(tǒng)的基于生理信號的腦力負荷檢測方法大多基于特征工程，需依賴豐富的先驗知識。隨著深度學習方法在計算機視覺、自然語言處理等領域的成功應用，該方法也被越來越多地應用到腦力負荷相關研究中，研究人員可以直接通過原始的生理信號構建端對端的腦力負荷識別模型。然而，無論是傳統(tǒng)的淺層學習還是深度學習技術都需要大量人工標記的數據來為每個被試者建立個體模型。充分利用之前已標記過的其他被試數據可以有效解決目標被試標記信息不足甚至沒有標記數據的問題。但由于生理信號的個體差異性和非平穩(wěn)特性，不同被試間的數據分布存在明顯差異，直接使用源域被試的訓練模型去測試目標域數據效果欠佳。

針對上述問題，研究人員采用領域自適應技術來構建跨被試腦力負荷識別模型。領域自適應技術是遷移學習中一個重要分支，它放寬了傳統(tǒng)機器學習中訓練集和測試集數據必須服從獨立同分布的前提條件[4]，能夠在建立模型時減小源域與目標域數據的分布差異，實現域間可遷移知識的跨域復用，最終提升模型的泛化性能。

經典的領域自適應方法大多關注于尋找某個特定的特征空間，將數據映射到該特征空間后源域與目標域特征的分布被拉近。其中聯合分布適配方法(Joint Distribution Adaptation，JDA)[5]和適配正則化線性回歸算法(Adaptation Regularization Transfer Learning，ARTL)[6]是其中兩種經典算法。近年來，除傳統(tǒng)的域自適應方法外，深度學習技術已成功地與特征空間映射相結合以解決領域自適應問題，稱為深度域自適應技術[7]，按照適配方法可以分為基于距離度量的方法和基于對抗學習的方法兩類。其中，基于距離度量的深度遷移方法中具有代表性的算法有深度域混淆網絡(Deep Domain Confusion，DDC)[8]和深度適應網絡(Deep Adaptation Network，DAN)[9]等。DDC 在卷積神經網絡中嵌入來自不同領域抽象特征間的最大均值差異(Maximum Mean Discrepancy,MMD)[10]作為損失的一部分進行深度域自適應，而DAN 將MMD 擴展為多核MMD (MK-MMD)，同時適配了多個全連接層以增強遷移效果。經典的域自適應方法和基于距離度量的深度域自適應方法都是針對最小化域間分布展開，優(yōu)化過程的計算較復雜。雖然引入核函數將特征映射到再生希爾伯特空間中進行距離最小化計算，但是核函數的選取依舊是一個難題。

基于對抗學習的深度域自適應方法無需依賴先驗知識，單純通過網絡結構本身在訓練時進行的對抗博弈過程即可完成域自適應任務，相比于其他方法更加方便高效。對抗式深度域自適應方法的代表性算法為域對抗網絡(Domain Adversarial Neural Network，DANN)[11]，其受生成對抗網絡(Gener-ative Adversarial Network，GAN)[12]的啟發(fā)，在網絡中加入域鑒別器與原本的網絡結構形成對抗博弈的關系，在使用源域樣本訓練網絡參數的同時，使網絡無法分辨出樣本來自于源域還是目標域，達到領域混淆的目的。DANN 最終適配的效果是源域和目標域樣本的整體距離被縮小，即適配領域間邊緣分布。但是當域間條件分布差異明顯且邊緣分布相近時，即領域間分類超平面不同但樣本所處范圍相近時，DANN 調整能力有限而且會混淆不同類別的樣本，可能使遷移效果適得其反。多域對抗網絡(Multi Adversarial Domain Adaptation，MADA)[13]在域鑒別器中引入了樣本的偽標簽，將不同類別的樣本單獨進行遷移，實現更為細致的適配，更加適合遷移上述情形。但是MADA 忽略了適配域間邊緣分布的重要性，在適配條件分布相近但邊緣分布差異較大的源域和目標域時，直接拉近邊緣分布的效果卻更好。動態(tài)對抗域自適應網絡(Dynamic Adversarial Adaptation Network，DAAN)[14]在網絡中采用同時適配源域和目標域的邊緣分布和條件分布的策略，引入動態(tài)調節(jié)因子在訓練中自適應調節(jié)兩類分布的權重，達到同時兼顧但卻有所側重的聯合適配目的。

對抗形式的深度領域自適應技術目前已被應用到與大腦狀態(tài)相關的識別任務中。Li 等[15]在DANN的基礎上采用兩個局部域鑒別器來學習大腦左右半球不對稱的情感特征，在實現域自適應的同時，使識別結果更具有魯棒性，在SEED 腦電情感數據集上獲得92.3%的三分類精度。Tang 等[16]利用源域和目標域的分類偽標簽構建了一個類似MADA 的條件域自適應對抗網絡，并且將其用在運動想象的跨被試四分類任務中，取得了95.3%的分類精度。

由于生理信號的個體性差異，每個被試的數據分布都不可能完全相同，同一目標域與不同源域進行遷移的效果也相差較大。單源域遷移只能從單一源域中進行遷移，然而單一源域中所蘊涵的知識是有限的，可能存在信息不充分的問題。若隨機選取某一源域和目標域進行遷移，當域間相關性較弱時，模型遷移效果不能保證。而多源域遷移策略能夠充分利用更為豐富的多源域信息，提高遷移模型性能[17-18]。但是使用全部源域進行遷移一定程度上會存在信息冗余的現象，造成計算資源的浪費。

本文基于EEG 信號和ECG 信號，構建了端到端的多源域跨被試腦力負荷識別模型。

(1) 針對源域數量過多因而存在信息冗余、訓練時間過長的問題，采用源域優(yōu)選策略挑選出與目標域分布接近的源域集合，以減少負遷移和縮短訓練時長。

(2) 針對經典領域自適應方法和基于距離度量的深度域自適應方法計算復雜、核函數選取沒有統(tǒng)一標準的問題，采用改進的動態(tài)對抗域自適應網絡(modified Dynamic Adversarial Adaptation Network,mDAAN)建立跨被試的腦力負荷識別模型。

(3) 針對單源域遷移模型隨機性強、穩(wěn)定性差的問題，采用集成學習來構建多源域遷移模型，以提高跨被試腦力負荷識別模型的準確率與可靠性。

1 方法與模型

本文所構建的跨被試腦力負荷識別框架如圖1所示。首先采用預處理后的EEG 信號和ECG 信號進行源域優(yōu)選，利用被試間樣本的分布差異來評估被試的相關性，篩選出與目標域被試分布差異較小的源域被試集合；再利用改進的動態(tài)對抗域自適應網絡分別為每個優(yōu)選源域和目標域構建一對一的跨被試識別模型； 最后采用不同的投票策略對單源域模型的結果進行集成，得到最終的跨被試腦力負荷識別結果。

圖1 跨被試腦力負荷識別框架Fig.1 Cross-subject mental workload estimation framework

1.1 多源域選擇

本文采用基于最大均值差異(Maximum Mean Discrepancy, MMD)的度量方法來評估不同被試間的邊緣分布差異，由此篩選出相似性強的被試集合。MMD 將源域和目標域的數據映射到可再生希爾伯特空間(RKHS)中，再求取兩者的均值之差來代表域間數據分布差異的大小。MMD 越大代表源域和目標域的分布差異越大，域間相關性也越弱。

計算每個目標域被試與所有源域被試的MMD距離，選取MMD 距離最小的前K個源域被試構成源域被試集合。

1.2 動態(tài)對抗域自適應網絡

從整體上看，動態(tài)對抗域自適應網絡(Dynamic Adversarial Adaptation Network，DAAN) 由特征提取器Gf、標簽分類器Gy、全局域鑒別器Gd和局部域鑒別器Gl等4 部分構成，網絡結構如圖2 所示。DAAN 采用對抗訓練的方式，在訓練過程中特征提取器與上述兩種域鑒別器形成對抗博弈的關系。一方面，域鑒別器會盡量區(qū)分出源域與目標域樣本；另一方面，特征提取器試圖提取領域間不變特征來混淆源域與目標域樣本。網絡在從源域數據中學習分類知識的同時，尋找域間數據邊緣和條件分布都接近的特征空間，達到域自適應的目的。此外，DAAN 利用域鑒別結果對域間邊緣和條件分布差異進行定量估算，基于兩類分布差異值設計了動態(tài)調節(jié)因子，在訓練中實時調整分布損失的重要性，達到聯合適配的目的。

圖2 動態(tài)對抗域自適應網絡Fig.2 Dynamic adversarial adaptation network

1.2.1 特征提取器 特征提取器主要由卷積層、池化層和重構層組成，主要用于提取EEG 和ECG 中的抽象特征，并使得在該特征空間中來自不同領域的抽象特征間的數據分布是相似的。將經過預處理后的EEG 和ECG 信號進行組合輸入到卷積層中，經過卷積核的卷積運算從中提取出抽象特征，再由池化層對特征進行降采樣，減少網絡整體參數的數量，本文采用的是最大池化。卷積函數如式(2)所示。

式中：xi為第i個輸入樣本，fmi為其經過卷積后得到的結果，wc和bc分別表示卷積核的權重與偏置，*表示卷積運算，g(·) 為激活函數，在特征提取器中全都采用Relu 激活函數，其計算如下：

池化公式如式(4)所示，采用最大池化操作，使用指定區(qū)域的最大值作為特征輸出，得到pmi為池化層的輸出結果。

使用重構層將該特征轉化為最終的抽象特征向量f(xi) ，如式(5)所示。

1.2.2 標簽分類器 標簽分類器由全連接層組成，主要用于對輸入的樣本特征進行分類，得到其屬于某一類別的概率。對于源域樣本而言，全連接層的輸出還會與其真實標簽計算標簽分類損失，作為網絡在訓練時的一項重要優(yōu)化目標。標簽分類器Gy的輸出如式（6）所示。

其中：f(xi) 為第i個樣本的特征，wg和bg分別表示全連接層的權重與偏置，為輸出經過激活函數g(·)后得到類別概率，除最后一層外都采用Relu激活函數，最后一層采用sigmoid 激活函數，其計算式如式（7）所示。

第k個源域的標簽分類損失如式(8)所示，和是對樣本xi∈預測的類別標簽和真實類別標簽，為對應源域的樣本數量，L(·) 為交叉熵損失，具體計算方法見式(9)。

1.2.3 全局域鑒別器 全局域鑒別器由梯度翻轉層和全連接層組成，在網絡中與特征提取器形成對抗博弈的關系。特征提取器在映射域特征不變時會對域鑒別器施加一個混淆域間特征的影響，而域鑒別器需要在該影響下區(qū)分出兩個域的樣本，在對抗中完成域自適應任務。為了實現對抗過程的一體化訓練，在特征提取器和域鑒別器之間引入了梯度翻轉層(GRL)，使訓練時特征的正向傳播進行一個恒等變換，而在反向傳播過程中梯度乘以一個負數再反向傳遞，使兩類損失在訓練時變化趨勢相反。梯度翻轉層輸出R(x) 和其梯度的計算式如式（10）所示。

其中： α ∈(0,1) 是隨著訓練輪次增加而趨近于1，其計算式見式(11)。

其中： γ 為超參數，訓練時設置為10；p∈(0,1) ，表示當前訓練輪次在總輪次中的占比。

在全局域鑒別器中，全連接層的激活函數除最后一層外其余都設置為Relu 函數，最后一層采用sigmoid函數。鑒別目標是區(qū)分出樣本來自于源域還是目標域。全局域鑒別器Gd的輸出如下：

其中：f(xi) 為第i個樣本的特征；wd和bd分別表示全局域鑒別器的權重與偏置；g(·)為激活函數，如式(7)所示。具體的全局域鑒別損失Lg如式(13)所示。

1.2.4 局部域鑒別器 局部域鑒別器同樣由梯度翻轉層和全連接層組成，該結構對網絡整體優(yōu)化目標施加一個子域對抗損失，可以實現顆粒度更為細致的子域自適應，從而拉近領域整體間的條件分布。

局部域鑒別器結構由C個子域鑒別器構成，C為類別數量，每個子域鑒別器對應一個類別，訓練時負責拉近源域和目標域對應類別的數據樣本。每個子域鑒別器和全局域鑒別器結構類似，都是由GRL和全連接層組成。

計算時使用目標域樣本的預測偽標簽來區(qū)分該樣本屬于哪一個類別。其中，第c個子域鑒別器的輸出為：

其中：f(xi) 為第i個樣本的特征；和分別表示第c個局部域鑒別器的權重與偏置；g(·)為激活函數，如式(7)所示；表示第i個樣本屬于第c個類別的概率。局部域鑒別損失之和如下式所示：

其中： λ 為對抗雙方權重超參數，其取值范圍為 λ ＞0 ；w為動態(tài)調節(jié)因子，訓練過程在(0, 1)間波動，動態(tài)地調節(jié)全局域損失和局部域損失的相對比重。w的計算式如式（17）所示：

當域鑒別器的損失越大時，說明域間數據分布越相近，距離的計算值也越小。而分別表征了第k個源域和目標域間邊緣分布和條件分布大小，當某一項越大時，動態(tài)調節(jié)因子w會使其對應的損失在總損失中的比重越大，表示對于該項損失的關注度越高。所以，動態(tài)調節(jié)因子會自適應地調節(jié)目標域對于源域的邊緣分布或條件分布的關注程度，提升模型性能。

此外，式(18)中的域間分布距離估算值無法保證其非負性，當初始的全局域鑒別損失Lg或者局部域鑒別損失Ll大于0.5 時，會出現距離估計值為負的情況，這會導致動態(tài)調節(jié)因子越界。所以本文提出改進的動態(tài)對抗域自適應網絡(modified Dynamic Adversarial Adaptation Network, mDAAN)，將域間分布估計值修正為式(19)所示，保證其在任何訓練情況下的非負性。

圖3 動態(tài)調節(jié)因子Fig.3 Dynamic adversarial factor

1.3 集成學習

集成學習指通過構建多個基分類器并按照一定策略綜合其結果來完成學習任務[19]。將第k個源域和目標域Dt訓練所得模型的識別結果記為yk,k∈(1,2,···,K)，K為優(yōu)選源域的數量?；谶@K個單源域識別結果，采用集成學習的投票策略來得到目標域樣本最后的分類結果，本文主要采用硬投票（Hard）和軟投票（Soft）兩種方法建立多源域模型。

硬投票指每個源域訓練所得的模型對于最終分類結果的重要性相同，采用少數服從多數的原則集成得到最終結果。軟投票則利用1.1 節(jié)中計算得到的源域與目標域分布相似性，對模型的重要性進行衡量，最終的分類結果見下式：

2 實驗結果分析

2.1 實驗數據與實驗設置

本文采用開源的WAUC 腦力負荷數據集[20]，該數據集考慮到真實場景中體力活動會對腦力負荷評估帶來的影響，采集了在3 種不同體力（高體力（High-Phy）、低體力（Low-Phy）和無體力（No-Phy））活動條件下48 個被試執(zhí)行腦力負荷任務時的多源生理信號數據。采集的生理信號種類包括：EEG、ECG、皮膚電反應(Galvanic Skin Response, GSR)、血壓(Blood Volume Pulse, BVP) 、呼吸以及體溫。考慮到信號對腦力負荷變化的敏感性以及信號采樣頻率的差異，本文只使用47 個具有完整實驗數據和標記的被試EEG 和ECG 信號數據。

實驗設定每個被試進行6 組實驗，每組實驗在靜息、低強度或高強度體力活動下分別執(zhí)行MATBII 腦力負荷任務[21]。其中被試需要同時完成系統(tǒng)監(jiān)控、跟蹤和資源管理3 類任務，研究人員通過調節(jié)滑桿速度、故障率等參數來區(qū)分出低和高兩種腦力負荷任務，被試可以選擇跑步機或是固定自行車進行體力運動。每組實驗由基線、任務和主觀評價這3 個階段組成，圖4 顯示了具體的實驗流程。在實驗的開始階段，被試在60 s 內保持放松狀態(tài)，該階段稱為基線1；然后執(zhí)行120 s 的指定負荷強度的體力運動，該階段稱為基線2；之后開始執(zhí)行600 s 的體力和腦力綜合任務，最后在休息300 s 的過程中填寫NASA-TLX 問卷[22]，進行主觀腦力負荷評估。為了避免實驗順序帶來的影響，每個被試的6 組實驗順序都被打亂。文獻[20]為了驗證腦力負荷實驗設置的科學性，對NASA-TLX 的6 個維度進行混合模型方差分析(Analysis of Variance, ANOVA)，結果表明被試者的所有主觀評分都受到任務參數變化的顯著影響。

圖4 實驗流程Fig.4 Experiment flow

被試在實驗過程中佩戴Enobio 頭盔和Bioharness胸帶分別用于采集8 通道的EEG 信號和1 通道的ECG 信號，采樣頻率分別為500 Hz 和250 Hz。其中，根據國際10-20 系統(tǒng)，EEG 信號的8 個導聯位置為P3、T9、AF7、FP1、FP2、AF8、T10 和P4，2 個參考電極位于Fpz 和Nz 處。本文對每名被試每種體力負荷下兩類腦力負荷狀態(tài)共計1 200 s 的生理信號分別進行預處理。EEG 信號首先對其降采樣到250 Hz，再進行0.1～45 Hz 的帶通濾波，最后采用小波增強獨立主成分分析(wICA)去除運動偽跡。對于ECG 信號采用0.5～30 Hz 的帶通濾波，之后采用Pan-Tompkins 算法進行R 波提取，得到心率變異性信號(Heartrate-variability，HRV)作為輸入。

預處理之后按照大小為1 s 的窗口對數據進行切片，得到每類腦力負荷樣本各600 個。為了適應卷積神經網絡的輸入形式，將每個樣本的250 個采樣點按照每行采樣點連續(xù)排列的方式轉化為15*15 的格式，舍棄了每秒樣本最后25 個采樣點。

本文基于Python3.8 下的Pytorch 框架實現，實驗環(huán)境為：AMD Ryzen 7 4800H CPU @ 2.90 GHz，16 G內存， NVDIA GeForce GTX 1650 顯卡， 64 位Windows10 操作系統(tǒng)。在反復實驗的基礎上，特征提取器由2 個卷積層和最大池化層構成，在卷積之后進行批標準化操作；標簽分類器、全局域鑒別器和局部域鑒別器均由2 個全連接層構成，每層全連接層都采用dropout 來避免參數過擬合。

本文采用留一法，每個被試輪流當作目標域，其余被試作為多源域集合。在建立一對一的深度遷移模型過程中，訓練階段除了利用到源域和目標域的樣本信息外，還利用了源域數據的標簽信息，測試時只用到目標域的樣本信息，在每次網絡參數更新后，都用目標域的數據對網絡性能進行測試。網絡訓練選取Adam 優(yōu)化器，Batch Size 設置為30，Epoch 設置為100，學習率設置為0.001，網絡整體損失中超參數λ設置為0.25。

2.2 源域優(yōu)選效果分析

為了驗證源域優(yōu)選的效果，分析了源域被試數量與目標域平均分類精度的關系，結果如圖5 所示。該曲線的計算流程如下：首先將多源域集合中所有源域分別與目標域計算得到MMD 距離，根據MMD距離由小到大對源域優(yōu)先級進行排序；然后按照順序為源域與目標域數據建立一對一的深度遷移模型；當建立的模型數量大于1 個時，采用軟投票的策略集成多個模型的識別結果。

圖5 分類精度與源域數量關系圖Fig.5 Relationship between recognition accuracy and number of source domains

由圖5 可見，當源域被試數量小于10 個時，分類精度處于快速上升階段，而當源域被試數量增加到超過30 個時，精度處于相對穩(wěn)定的狀態(tài)。本文將源域被試集合中被試個數K設為30，在減少了1/3的訓練時間的同時，最大可能保證了目標域數據的分類精度。

2.3 改進的動態(tài)對抗域自適應網絡效果分析

訓練過程中源域的分類損失和目標域的測試損失如圖6 所示。在網絡訓練的開始階段，源域的分類損失下降較快，隨后由于特征提取與域鑒別器在訓練中不斷地對抗博弈，目標域與源域實現了域自適應的訓練目標，目標域測試的損失也隨之下降到穩(wěn)定的狀態(tài)。

本文采用t 分布隨機鄰域嵌入算法(t-distributed Stochastic Neighbor Embedding, tSEN)，將特征提取器所提取的高維抽象特征映射到二維空間中，并保留樣本間的相關性，實現域自適應前后數據分布差異的可視化。圖7 所示為抽象特征的可視化圖像。

如圖7(a)所示，在域自適應之前源域和目標域數據分布是雜亂無章的，但是兩者邊緣分布具有一定相似性；圖7(b)所示DANN 網絡適配后目標域的兩類樣本雖然不再隨機分布在平面中，但是仍然具有重疊部分無法分離；由圖7(c)可見，MADA 網絡適配后雖然目標域的兩類樣本變得可分離但是與源域的分類超平面差異依然存在；在圖7(d)中，目標域的邊緣和條件分布在經過DAAN 適配后更接近源域，其樣本在特征空間中變?yōu)榫€性可分離，而且分類超平面與源域相似，這說明DAAN 的適配效果明顯好于DANN 和MADA。

2.4 集成學習效果分析

表1 中對采用集成學習前后的識別結果進行了比較?！癆vg”為30 個單源域模型的平均識別精度，比采用集成學習構建多源域模型的識別精度低12%左右。表1 中還對比了不同集成學習的結果，其中軟投票的識別效果要略優(yōu)于硬投票。由表1 可知，低體力活動下腦力負荷識別精度比高體力活動狀態(tài)下略高，而無體力活動下的識別精度較有體力活動下的精度低10%左右，這與單被試腦力負荷識別結果一致[22]。文獻[20]中給出的原因是體力活動和腦力負荷間存在相互作用，在進行體力活動時被試要付出額外的精力來維持運動穩(wěn)定，比如跑步的速度或是自行車的平衡，而這將對被試腦力資源的分配產生影響。而當體力負荷達到一定水平后，被試者腦力負荷水平變化將會更有區(qū)分度。

表1 不同集成策略的識別精度Table 1 Recognition accuracy of different ensemble strategies

2.5 遷移學習算法比較

為了驗證動態(tài)對抗域自適應網絡的遷移性能，本文選取了2 種淺層域自適應方法和3 種深度域自適應方法進行對比。其中對比的淺層域自適應方法為JDA 和ARTL，這兩種域自適應方法同時考慮適配邊緣分布和條件分布，但由于這兩種方法無法直接處理原始信號，所以本文對EEG 信號提取其δ、θ、α、β和γ等5 個頻帶的功率譜密度(Power Spectral Density, PSD)特征，對ECG 預處理后得到的HRV 信號提取均值、標準差、一階和二階差分均值以及標準差等時域特征作為淺層域自適應的輸入。

本文還對比了DDC、DANN、MADA 及未改進的DAAN 這4 種深度域自適應方法，其中DDC 為非對抗形式的深度域自適應方法。DANN 和MADA本質上分別為只包含全局域鑒別器和局部域鑒別的動態(tài)對抗域自適應網絡，即動態(tài)調節(jié)因子w恒定設置為1 和0。

這些方法都采用上述的多源域遷移策略，被試數量也設置為30，識別精度最終結果如表2 所示。采用深度域自適應方法后遷移性能要明顯優(yōu)于傳統(tǒng)的領域自適應方法，且無需繁瑣的特征提取步驟。而在深度領域自適應技術的對比中，DAAN 在綜合考慮邊緣分布和條件分布后遷移的效果明顯好于其他只考慮單一分布的深度域自適應方法。此外，相比于原始的DAAN，調整域間分布估計公式后的mDAAN 其遷移性能也有所提高。

表2 不同域自適應方法的識別精度Table 2 Recognition accuracy of different domain adaptive methods

表3 中示出了mDAAN 算法與對比算法在多源域遷移框架下進行遷移的平均離線訓練和測試時間。淺層的JDA 和ARRLS 在提取手工特征的基礎上進行，訓練時間和測試時間都比深度方法少；深度遷移方法由于其輸入為原始的生理信號，訓練時同時完成特征提取和遷移學習任務，訓練時間較長，但訓練完成后測試時間與其他方法差距較小。在對抗形式的深度域自適應方法中，模型間整體的訓練和測試時間相差不大。

表3 不同域自適應方法的訓練與測試時間Table 3 Training and testing time of different domain adaptive methods

2.6 同類結果對比

同類研究的對比結果見表4。文獻[20]和文獻[23]同樣使用WAUC 數據集展開研究，其中文獻[20]在沒有采用遷移學習方法的基礎上直接進行遷移只得到平均51.3%的分類精度，而文獻[23]使用K-L 散度定量評估被試間邊緣和條件分布差異，使用zscore 歸一化方法減少被試間數據分布差異，得到63.7%的平均跨被試分類精度。文獻[24]對8 個被試在aCAMS 任務下采集到的EEG 信號提取了小波包特征，然后采用核譜回歸和可轉移判別降維方法對特征向量進行降維的同時完成被試間遷移，在KNN 分類器上取得了72.3%三分類精度。文獻[25]采集了被試在執(zhí)行N-back 任務下的fNIRS 信號，使用瞬態(tài)偽影去除算法(TARA)去除信號偽跡，采用基于Fused Gromov-Wasserstein (FG-W)的域自適應方法在對齊被試間數據分布的同時獲得跨被試識別模型，得到55%的四分類精度。文獻[26]采集了真實駕駛環(huán)境中的4 種生理信號數據和2 種車輛信息數據，提出MTS-ADNN 模型進行域自適應，該模型主要在DANN 的域鑒別器中引入偽標簽信息使其在一定程度上也能適配條件分布，最終得到74.3%的二分類識別精度。上述研究結果表明，本文利用深度域自適應方法在基于生理信號的跨被試腦力負荷識別任務上相較于同類研究取得了更好的效果。

表4 同類研究對比Table 4 Comparison of similar studies

3 結束語

本文采用EEG 和ECG 信號構建了跨被試的腦力負荷識別模型，篩選出與目標域被試數據分布相近的源域被試集合后，采用改進的動態(tài)對抗域自適應網絡進行模型遷移，最后采用不同的投票策略集成識別結果。實驗結果表明，源域優(yōu)選策略能夠減少訓練成本并且可以避免負遷移的影響；改進的動態(tài)對抗域自適應網絡能夠很好地實現遷移目的；集成學習策略能夠綜合利用多個源域的互補信息，進一步提升模型的性能。本文構建的腦力負荷識別模型屬于離線狀態(tài)下的建模分析，在實際的應用情景下對腦力負荷狀態(tài)的檢測以及預警需要具有一定的實時性，下一步研究將考慮在模型中引入網絡預訓練等手段對網絡實時性進行優(yōu)化，建立在線的腦力負荷識別模型。