子域自適應(yīng)網(wǎng)絡(luò)跨被試情緒識(shí)別算法

郭苗苗 陳昕彤 王磊 李夢(mèng)凡 蔡梓良 徐桂芝

（1.河北工業(yè)大學(xué)電氣工程學(xué)院省部共建電工裝備可靠性與智能化國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300130；2.河北工業(yè)大學(xué)電氣工程學(xué)院天津市生物電工與智能健康重點(diǎn)實(shí)驗(yàn)室，天津 300130）

1 引言

情緒識(shí)別是讓計(jì)算機(jī)感知人類情感狀態(tài)從而實(shí)現(xiàn)人機(jī)交互技術(shù)的關(guān)鍵環(huán)節(jié)，隨著神經(jīng)科學(xué)對(duì)情緒機(jī)理研究的逐步深入和腦機(jī)接口技術(shù)在情感智能領(lǐng)域應(yīng)用的迅速發(fā)展，情緒識(shí)別在情感腦機(jī)接口的相關(guān)研究和應(yīng)用中得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。在眾多情緒識(shí)別的方法中，腦電（Electroencephalogram，EEG）信號(hào)作為一種生理信號(hào)，由人體的中樞神經(jīng)直接產(chǎn)生，難以人為操縱或改變，可以實(shí)時(shí)客觀地反映出人類情緒狀態(tài)，相較于其他諸如基于語音或面部表情等非生理信號(hào)進(jìn)行情緒識(shí)別的傳統(tǒng)方法而言［1-2］，具有更高的可靠性和準(zhǔn)確性［3］，這使得很多研究人員選擇基于EEG 的情緒識(shí)別方法作為研究大腦對(duì)情緒刺激反應(yīng)的首選方法。

在各類基于EEG 的情緒識(shí)別方法中，大多數(shù)研究使用淺層模型，如支持向量機(jī)（Support vector machine，SVM）、決策樹等［4-5］，這類傳統(tǒng)方法對(duì)復(fù)雜函數(shù)表達(dá)能力有限，更容易受到不同領(lǐng)域數(shù)據(jù)分布變化的影響，進(jìn)而在一定程度上限制了機(jī)器學(xué)習(xí)模型解決復(fù)雜分類問題的能力［6］。相較而言，深度學(xué)習(xí)通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)復(fù)雜函數(shù)逼近［7］，對(duì)輸入數(shù)據(jù)分布式表示具有更好的擬合能力，展現(xiàn)了強(qiáng)大的從樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力，顯示出來一些優(yōu)于淺層模型的優(yōu)勢(shì)［8-9］。楊豪等［10］采用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對(duì)微分熵（Differential entropy，DE）特征進(jìn)行識(shí)別的平均準(zhǔn)確率為89.12%±6.54%；陳景霞等［6］基于DEAP 數(shù)據(jù)集中EEG 信號(hào)的時(shí)域、頻域特征及其組合特征，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）模型的EEG 情感特征學(xué)習(xí)與分類算法，在效價(jià)維度上平均準(zhǔn)確率最高達(dá)到88.76%，在喚醒度上平均準(zhǔn)確率最高達(dá)到85.57%。這些單被試的深度學(xué)習(xí)方法通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型，來學(xué)習(xí)更有用的特征，從而提升分類或預(yù)測(cè)的準(zhǔn)確性。然而，由于EEG 信號(hào)的非平穩(wěn)性所造成的被試間的不同數(shù)據(jù)分布差異［11］，使得以上針對(duì)單一被試訓(xùn)練的分類模型在跨被試應(yīng)用時(shí)存在困難，且利用固定分類模型對(duì)腦電情緒狀態(tài)的預(yù)測(cè)效果隨時(shí)間改變而下降，因而極大地限制了腦電情緒識(shí)別技術(shù)的實(shí)際應(yīng)用。

為了解決跨被試情緒識(shí)別問題，部分研究團(tuán)隊(duì)使用了領(lǐng)域適配（Domain Adaptation，DA）方法［12-13］。DA模型將從具有標(biāo)簽的源域樣本中學(xué)到的知識(shí)遷移到缺少標(biāo)簽的目標(biāo)域，來實(shí)現(xiàn)不同領(lǐng)域間的知識(shí)遷移，從而解決傳統(tǒng)機(jī)器學(xué)習(xí)方法在跨人識(shí)別時(shí)所存在的數(shù)據(jù)分布不一致問題。Zheng等［14］在公開情緒分類數(shù)據(jù)集SEED 上使用直推式參數(shù)遷移（Transductive parameter transfer，TPT）算法對(duì)齊源域和目標(biāo)域邊緣分布，最終分類準(zhǔn)確率達(dá)到76.31%±15.89%，略高于基于距離最大均值差異（Maximum mean discrepancy，MMD）實(shí)現(xiàn)的遷移成分分析（Transfer component analysis，TCA）算法［15］（63.64%±14.88%）。Jin等［16］利用域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain adversarial neural networks，DANN）建立的跨被試情感識(shí)別模型在SEED 上的平均準(zhǔn)確率為79.19%±13.14%，該跨被試情感識(shí)別模型在訓(xùn)練階段保持特征區(qū)分性和領(lǐng)域不變性，通過加入幾個(gè)標(biāo)準(zhǔn)層和一個(gè)梯度反轉(zhuǎn)層構(gòu)造了一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。然而，通過DANN 方法利用無標(biāo)簽的目標(biāo)域數(shù)據(jù)僅適配了源域與目標(biāo)域的邊緣分布，單純地只進(jìn)行全局對(duì)齊由于未考慮兩個(gè)域中所包含同類樣本的子域之間的關(guān)系，引起源域和目標(biāo)域的所有數(shù)據(jù)以及鑒別結(jié)構(gòu)的混淆，并由此丟失各類別的細(xì)粒度信息。為應(yīng)對(duì)全局域?qū)R的挑戰(zhàn)，越來越多的研究人員［17-19］關(guān)注以學(xué)習(xí)局部域移位為中心的子域適配（也稱為語義對(duì)齊或匹配條件分布），即準(zhǔn)確地對(duì)齊源域和目標(biāo)域相關(guān)子域特征分布。

本文提出了一種新的深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)用于情緒識(shí)別：全局域適應(yīng)與相關(guān)子域自適應(yīng)串聯(lián)系統(tǒng)（Series System of global domain adaptation network and relevant subdomain adaptation network，SS_GDAN_RSAN）。它在DANN 基礎(chǔ)上通過捕獲每個(gè)類別的細(xì)粒度信息來擴(kuò)展域適應(yīng)網(wǎng)絡(luò)能力。為了實(shí)現(xiàn)適當(dāng)?shù)膶?duì)齊，本文利用了賦予特定權(quán)重的局部最大平均差異（Local Maximum Mean Discrepancy，LMMD）［20］，LMMD 在考慮不同樣本權(quán)重的情況下，測(cè)量了源域和目標(biāo)域中相關(guān)子域在再生核希爾伯特-施密特范數(shù)空間的分布差異。研究結(jié)果表明，通過SS_GDAN_RSAN 進(jìn)行跨被試及跨時(shí)間情緒識(shí)別任務(wù)最終均得到了較高的準(zhǔn)確率和較好的穩(wěn)定性，這為基于腦電信號(hào)的情緒識(shí)別做出了有益嘗試。

2 SS_GDAN_RSAN模型

2.1 模型結(jié)構(gòu)

為了從少數(shù)樣本集中捕捉更能反映數(shù)據(jù)集本質(zhì)的特征［21］，從而實(shí)現(xiàn)更好的情緒分類效果，本文以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建域適應(yīng)模型，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

如圖1所示，整個(gè)模型可分為三個(gè)部分：特征提取器、全局域分類器、子域域分類器。在圖中分別被標(biāo)記為F（feature extractor），G（global domain classifier），S（subdomain classifier），其中F 對(duì)于源域和目標(biāo)域共享權(quán)重。為了對(duì)目標(biāo)域的樣本作出可靠的預(yù)測(cè)，F(xiàn)、G、S 的更新準(zhǔn)則不僅包括對(duì)帶有標(biāo)簽的源域樣本進(jìn)行情感分類，而且要同時(shí)滿足使源域與目標(biāo)域的細(xì)粒度特征盡可能相似。為此，本文設(shè)計(jì)了全局對(duì)齊和子域?qū)R兩種不同的域自適應(yīng)策略實(shí)現(xiàn)在較淺的層生成域不變特征、在較深的層生成特定于任務(wù)的特征［22］。在較淺的層中，G 構(gòu)建了經(jīng)典的域自適應(yīng)神經(jīng)網(wǎng)絡(luò)，此時(shí)的F 與G 類似于生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial networks，GAN）中的監(jiān)督器與生成器［23］，為子域模型適配條件分布作準(zhǔn)備。串聯(lián)后的源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)通過F產(chǎn)生較低維度的特征向量，通過G 中的梯度反轉(zhuǎn)層迫使F生成具有域不變性質(zhì)的特征。

圖1 SS_GDAN_RSAN模型圖Fig.1 Model diagram of SS_GDAN_RSAN

在較深的層S處，使用了新的DA方法深度子域自適應(yīng)網(wǎng)絡(luò)（Deep Subdomain Adaption Network，DSAN）［20］，基于源域的真實(shí)標(biāo)簽和經(jīng)過淺層分類器得到的目標(biāo)域偽裝標(biāo)簽，將源域和目標(biāo)域劃分為多個(gè)包含同類樣本的子域，并通過對(duì)齊相關(guān)子域，捕獲每個(gè)類別的細(xì)粒度信息，這些信息可以在端到端的框架中進(jìn)行訓(xùn)練，從而擴(kuò)展深度適應(yīng)網(wǎng)絡(luò)的特征表示能力。

2.2 模型訓(xùn)練

為了從少數(shù)樣本集中捕捉更能反映數(shù)據(jù)集本質(zhì)的特征，從而得到一個(gè)更貼合目標(biāo)域數(shù)據(jù)特點(diǎn)的模型，本文研究將模型每一輪的訓(xùn)練在同一批次的源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)下完成A、B 兩個(gè)步驟。具體訓(xùn)練流程如下：

步驟A該步驟目標(biāo)是對(duì)齊源域和目標(biāo)域整體邊緣分布，并且盡可能的減少在源域的情緒分類損失，具體的訓(xùn)練方法如圖2所示。

圖2 SS_GDAN_RSAN方法中的訓(xùn)練步驟AFig.2 Training step A of SS_GDAN_RSAN

網(wǎng)絡(luò)在步驟A 中使用了兩種不同的參數(shù)更新方法。其中，F(xiàn)、G 是為了使兩個(gè)域的淺層輸出特征分布相似，其優(yōu)化策略可以用公式（1）所描述。

公式（1）第一項(xiàng)Lclass是模型對(duì)源域數(shù)據(jù)的情緒分類損失，其具體計(jì)算過程如公式（2）所示。

公式（1）第二項(xiàng)Ldomain是模型對(duì)源域及目標(biāo)域數(shù)據(jù)的邊緣分布相似性損失，需要借助對(duì)抗性領(lǐng)域自適應(yīng)方法進(jìn)行優(yōu)化。為使淺層F生成對(duì)抗性特征以混淆G，其損失函數(shù)如公式（4）所描述。

其中，H 是交叉熵?fù)p失，p∈｛0，1｝是域標(biāo)簽是域分類器的輸出。如果腦電樣本來自于源域，p=0；如果它來自目標(biāo)域，p=1。

S 的更新策略與F、G 不同。較深層的參數(shù)更新應(yīng)該將最小化子域情緒分類損失作為主要目標(biāo)。在無監(jiān)督域自適應(yīng)中，我們得到了一個(gè)含有ns個(gè)帶標(biāo)簽樣本的源域表示的預(yù)測(cè)標(biāo)簽，即意味著屬于第j類，在這里C指類別數(shù)目）和一個(gè)含有nt個(gè)無標(biāo)簽樣本的目標(biāo)域其中Ds和Dt是分別來自不同數(shù)據(jù)分布p和q的樣本數(shù)據(jù)集。

為了將源域和目標(biāo)域劃分為包含同類樣本的多個(gè)子域，需利用樣本之間的相關(guān)性關(guān)系。由于只有源域樣本被標(biāo)記，而目標(biāo)域樣本是未標(biāo)記的，我們首先需要在源監(jiān)督的基礎(chǔ)上對(duì)目標(biāo)樣本進(jìn)行分類。我們發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)的輸出是一個(gè)恰當(dāng)?shù)母怕史植迹軌蚝芎玫乇碚鲗i賦給每個(gè)C類的概率。因此，對(duì)于沒有標(biāo)簽的目標(biāo)域Dt，我們使用作為偽標(biāo)簽。根據(jù)源域真實(shí)標(biāo)簽和目標(biāo)域偽標(biāo)簽，我們將Ds和Dt分別劃分為C個(gè)子域，其中c∈｛1，2，3｝代表類別標(biāo)簽的分布對(duì)應(yīng)分別為p（c）和q（c）。接下來基于此進(jìn)行子域適配，對(duì)齊具有相同標(biāo)簽的樣本的相關(guān)子域的分布。

綜合子域分類損失和子域適應(yīng)損失，得到在步驟A中S參數(shù)的更新方法如公式（5）：

在此E［c·］是類別的數(shù)學(xué)期望。

經(jīng)過步驟A，模型在淺層生成了域不變特征。接下在步驟B的優(yōu)化目標(biāo)以適配源域與目標(biāo)域的條件分布并使分類器模擬目標(biāo)域特異性的決策邊界為主［24］，具體過程如圖3所示。

圖3 SS_GDAN_RSAN方法中的訓(xùn)練步驟BFig.3 Training steps B of SS_GDAN_RSAN

步驟B為了調(diào)整源域和目標(biāo)域中同一類別中相關(guān)子域的分布，假設(shè)每個(gè)樣本根據(jù)權(quán)重wc屬于各類，我們使用基于非參數(shù)的MMD［25］定義賦予權(quán)重的局部最大平均差：weighted_LMMD 度量局部分布的差異的無偏估計(jì)：

遵循Adam 算法進(jìn)行訓(xùn)練，通過迭代，目標(biāo)樣本的標(biāo)記通常會(huì)變得更精確。

3 數(shù)據(jù)預(yù)處理

3.1 數(shù)據(jù)集創(chuàng)建

本文實(shí)驗(yàn)數(shù)據(jù)集采用上海交通大學(xué)提供的情緒腦電信號(hào)數(shù)據(jù)庫(kù)（Shanghai Jiao Tong University，emotion electroencephalogram dataset，SEED）［8］，SEED以電影片段作為情緒誘發(fā)素材，在15個(gè)受試者觀看電影片段的過程中，使用62通道腦電帽采集受試者的腦電信號(hào)（62通道信號(hào)為一組），每個(gè)受試者分別有5 組“積極”、5 組“消極”、5 組“中性”的腦電信號(hào)，且對(duì)每組數(shù)據(jù)都經(jīng)濾波獲取了腦電信號(hào)在Delta（1～3 Hz），Theta（4～7 Hz），Alpha（8～13 Hz），Beta（14～30 Hz），Gamma（31～50 Hz）等5 個(gè)頻段的信號(hào)，再在此基礎(chǔ)上使用多種特征變換方法對(duì)每個(gè)頻段下的數(shù)據(jù)進(jìn)行特征提取。其中，DE 特征在香農(nóng)熵的概念上擴(kuò)展而來，能夠表示連續(xù)隨機(jī)變量的復(fù)雜性?，F(xiàn)有的研究表明［26-27］，腦電信號(hào)在人體內(nèi)五個(gè)頻段近似服從高斯分布，如果隨機(jī)變量服從高斯分布，即x～N（μ，σ2），那么DE可以簡(jiǎn)單地通過以下公式計(jì)算得到：

其中σ2是x的方差，e是歐拉常數(shù)。

Zheng等［8］在識(shí)別正性、中性和負(fù)性3 種情緒的實(shí)驗(yàn)中，使用DE 作為特征獲得的識(shí)別準(zhǔn)確率高于其他特征，因此本文同樣以DE 作為輸入特征，通過輸入小批量包含源域和目標(biāo)域同等數(shù)量樣本的腦電特征向量作為訓(xùn)練數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理

對(duì)于15 個(gè)受試者，先后進(jìn)行三次實(shí)驗(yàn)，每次實(shí)驗(yàn)下3 種情緒隨機(jī)重復(fù)5 次組情緒誘發(fā)數(shù)據(jù)。種情緒誘發(fā)實(shí)驗(yàn)電影片段時(shí)長(zhǎng)約為4 分鐘，每隔1 秒采集得到一次樣本，即每個(gè)被試在每次實(shí)驗(yàn)過程中可產(chǎn)15 × 4 × 60 ≈3394 個(gè)樣本，所有腦電數(shù)據(jù)共有3394 × 15=50910 個(gè)樣本。為了加快跨被試模型的訓(xùn)練速度，本文從中隨機(jī)選取了5000個(gè)標(biāo)記有情緒分類標(biāo)簽的源域樣本，與目標(biāo)域全部3394個(gè)未標(biāo)記的腦電數(shù)據(jù)串聯(lián)在一起并打上域標(biāo)簽，共同構(gòu)成訓(xùn)練集。此外，為加快神經(jīng)網(wǎng)絡(luò)的收斂速度，對(duì)所有輸入特征進(jìn)行歸一化處理。

4 實(shí)驗(yàn)結(jié)果與分析

為了研究SS_GDAN_RSAN 模型在跨被試、跨時(shí)間兩種情景下的情緒分類能力，本文設(shè)計(jì)了兩種遷移學(xué)習(xí)實(shí)驗(yàn)，分別為多對(duì)一的跨被試遷移實(shí)驗(yàn)和單被試跨時(shí)間遷移實(shí)驗(yàn)。

4.1 基于SS_GDAN_RSAN 的多對(duì)一跨被試遷移實(shí)驗(yàn)結(jié)果

本文采用留一交叉驗(yàn)證方法設(shè)計(jì)了多對(duì)一的跨被試遷移實(shí)驗(yàn)，以研究SS_GDAN_RSAN 模型在跨被試情景下的情緒分類能力?；谇昂髮?shí)驗(yàn)數(shù)據(jù)重復(fù)進(jìn)行同一情緒分類實(shí)驗(yàn)，模型相對(duì)準(zhǔn)確、穩(wěn)定地識(shí)別出同一個(gè)體的不同情緒狀態(tài)。

SS_GDAN_RSAN 方法對(duì)15 個(gè)被試的跨被試情緒分類準(zhǔn)確率和平均分類準(zhǔn)確率如圖4所示。其中被試15的準(zhǔn)確率最高（93.67%），被試3的準(zhǔn)確率最低（69.39%）。15 個(gè)被試的平均正確率為84.05%±5.91%，且被試間準(zhǔn)確率差異較小，SS_GDAN_RSAN方法顯示出較好的穩(wěn)定性。

圖4 SS_GDAN_RSAN在跨被試任務(wù)中對(duì)每個(gè)被試的準(zhǔn)確率和平均準(zhǔn)確率Fig.4 Accuracy for each subject and average accuracy by SS_GDAN_RSAN

此外，當(dāng)訓(xùn)練被試數(shù)量分別為2、4、6、8、10、12、14人時(shí)，對(duì)同一組被試進(jìn)行分類檢測(cè)結(jié)果如下圖5。

圖5 增加訓(xùn)練被試數(shù)量與分類性能關(guān)系曲線Fig.5 Relationship between the number of training subjects and classification performance

可以觀察到，隨著訓(xùn)練被試數(shù)量增加，分類結(jié)果平均準(zhǔn)確率呈上升趨勢(shì)，標(biāo)準(zhǔn)差整體呈下降趨勢(shì)，即隨著訓(xùn)練被試數(shù)量增加分類性能變好。

本文還對(duì)比分析了SS_GDAN_RSAN 與非跨被試算法和其他主流情緒識(shí)別方法的結(jié)果，如圖6 所示，實(shí)驗(yàn)結(jié)果表示基于不同方法的跨被試遷移情緒分類準(zhǔn)確率的平均值±標(biāo)準(zhǔn)差。

圖6 基于不同方法的跨被試遷移結(jié)果Fig.6 Cross-subject emotion recognition results based on different methods

其中，非跨被試為模擬理想情況直接使用目標(biāo)域數(shù)據(jù)進(jìn)行訓(xùn)練及測(cè)試。從圖中可以看出：與非跨被試結(jié)果相比，SVM 方法在跨被試實(shí)驗(yàn)中的分類效果較差，其準(zhǔn)確率及標(biāo)準(zhǔn)差均產(chǎn)生較明顯差距，這是由于被試間腦電特征的差異未經(jīng)過DA 方法進(jìn)行調(diào)整所造成的。原始遷移方法TCA 的性能比一般分類器更具優(yōu)勢(shì)，表明通過特征降維進(jìn)行知識(shí)遷移的有效性。相較于TCA 和SVM，TPT 通過利用核函數(shù)捕捉數(shù)據(jù)分布之間的相似性，并利用回歸模型學(xué)習(xí)數(shù)據(jù)分布到分類器參數(shù)的映射，在平均分類準(zhǔn)確率方面有更明顯提高，充分體現(xiàn)了DA 方法的優(yōu)勢(shì)。DANN方法在TPT的基礎(chǔ)上提高了2.88%的分類準(zhǔn)確率，同時(shí)降低了2.75%的標(biāo)準(zhǔn)差，表現(xiàn)出具有更高準(zhǔn)確率和較好的穩(wěn)定性趨勢(shì)，但是由于網(wǎng)絡(luò)較淺，其表征能力有限。SS_GDAN_RSAN 在5 種方法中顯示出最高的分類準(zhǔn)確率和最好的穩(wěn)定性，在DANN 的基礎(chǔ)上提高了4.86%的分類準(zhǔn)確率，并降低了7.23%的標(biāo)準(zhǔn)差，15 組測(cè)試數(shù)據(jù)中共有13 組被試情緒分類準(zhǔn)確率高于使用DANN 方法跨被試遷移情緒分類準(zhǔn)確率的平均值，這是由于SS_GDAN_RSAN 方法在DANN 基礎(chǔ)上通過捕獲每個(gè)類別的細(xì)粒度信息來擴(kuò)展DAN 的能力，從而使分類器更為契合目標(biāo)域。單因素方差分析結(jié)果表明：SS_GDAN_RSAN 方法在15 名受試者上的跨被試分類準(zhǔn)確率顯著優(yōu)于圖6中其他方法（P＜0.01）。

為了更直觀的展示SS_GDAN_RSAN 方法在跨被試任務(wù)中的特點(diǎn)，本文使用（t-stochastic neighbor embedding，TSNE）技術(shù)［28］在二維平面上投射了F、S的輸出，結(jié)果如圖7 所示。圖7 中兩列分別顯示了三種方法在淺層F 處及深層S 處輸出特征的分布。第一行為未使用DA方法的神經(jīng)網(wǎng)絡(luò)情緒分類效果，其源域與目標(biāo)域在淺層特征分布的分離體現(xiàn)了腦電非平穩(wěn)特性造成的被試間腦電分布差異，深層特征分布結(jié)果顯示利用源域標(biāo)簽數(shù)據(jù)訓(xùn)練的分類器對(duì)目標(biāo)域數(shù)據(jù)難以做出正確情緒分類。在使用DANN方法后，源域與目標(biāo)域在淺層F即產(chǎn)生了邊緣分布近似相同的特征，在深層S輸出的特征向量也相較于未遷移方法有更多重疊，但由于網(wǎng)絡(luò)較淺其對(duì)于樣本的各子域邊界分類模糊。SS_GDAN_RSAN 方法在DANN基礎(chǔ)上通過捕獲每個(gè)類別的細(xì)粒度信息來擴(kuò)展域適應(yīng)網(wǎng)絡(luò)的特征表示能力，同時(shí)適配了源域與目標(biāo)域的全局與子域的特征分布，通過調(diào)整多個(gè)域特定層中激活的相關(guān)子域分布自適應(yīng)，使目標(biāo)域特征在淺層分布F 即生成可見的情感聚類，也在深層分布S中得到更為清晰的子域情緒類別邊界。

圖7 三種方法（未遷移，DANN，SS_GDAN_RSAN）生成特征的可視化Fig.7 Visualization of features generated by three methods（without transter learning，DANN，SS_GDAN_RSAN）

4.2 基于SS_GDAN_RSAN 的跨時(shí)間遷移實(shí)驗(yàn)結(jié)果

本文在跨時(shí)間遷移實(shí)驗(yàn)中訓(xùn)練數(shù)據(jù)集的源域?yàn)閱蝹€(gè)被試前兩個(gè)時(shí)間段腦電數(shù)據(jù)，目標(biāo)域選用相應(yīng)被試第三個(gè)時(shí)間段的腦電數(shù)據(jù)。SS_GDAN_RSAN 方法對(duì)15 個(gè)被試的跨時(shí)間情緒分類準(zhǔn)確率和平均分類準(zhǔn)確率如圖8所示。

圖8 SS_GDAN_RSAN在跨時(shí)間任務(wù)中對(duì)每個(gè)被試的準(zhǔn)確率和平均準(zhǔn)確率Fig.8 Accuracy and average accuracy for each subject by SS_GDAN_RSAN

圖8 中被試7、8、11、15 的準(zhǔn)確率最高（近100%），被試10 的準(zhǔn)確率最低（81.76%）。15 個(gè)被試的平均正確率為91.66%±7.32%。被試間準(zhǔn)確率差異較小，因此SS_GDAN_RSAN 模型在跨時(shí)間情景下進(jìn)行情緒分類仍然顯示出很好的穩(wěn)定性。

為進(jìn)一步評(píng)價(jià)SS_GDAN_RSAN 方法在跨時(shí)間情景下的情緒分類能力，本文對(duì)比分析了SS_GDAN_RSAN與其他主流方法的情緒識(shí)別結(jié)果，15名被試的跨時(shí)間遷移結(jié)果如圖9所示。

為了模擬理想條件下識(shí)別結(jié)果作為對(duì)照組，實(shí)驗(yàn)使用單個(gè)被試的同一時(shí)間數(shù)據(jù)訓(xùn)練并測(cè)試，得到非跨時(shí)間識(shí)別結(jié)果。圖9通過對(duì)比模擬理想條件下識(shí)別結(jié)果展示了基于不同方法的跨時(shí)間遷移情緒分類準(zhǔn)確率的平均值±標(biāo)準(zhǔn)差。未遷移指在跨時(shí)間任務(wù)中直接使用神經(jīng)網(wǎng)絡(luò)進(jìn)行情緒分類。相比于非跨時(shí)間任務(wù)，其準(zhǔn)確率大幅降低、標(biāo)準(zhǔn)差明顯增加，分類效果不佳。在此基礎(chǔ)上，DANN方法由于使用了DA，在跨時(shí)間任務(wù)中的準(zhǔn)確率略有所提升。相較而言，SS_GDAN_RSAN 方法準(zhǔn)確率最高且標(biāo)準(zhǔn)差最低。與DANN 方法相比較，其準(zhǔn)確率提高了8.51%、標(biāo)準(zhǔn)差降低了4.69%，該方法的域適應(yīng)性能在跨時(shí)間任務(wù)中體現(xiàn)出明顯優(yōu)勢(shì)。

圖9 基于不同方法的跨時(shí)間遷移結(jié)果Fig.9 Cross-session transfer results based on different methods

此外在計(jì)算量方面，本文使用具有兩個(gè)隱藏層的全連接網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)分別為128，100。具體計(jì)算量為310 × 128+128 × 100+100 × 3=52780，網(wǎng)絡(luò)參數(shù)較少，在GPU 運(yùn)算環(huán)境下計(jì)算前向傳播的時(shí)間可以忽略不計(jì)，與其余主流方法無顯著差異。使用本方法微調(diào)參數(shù)后的網(wǎng)絡(luò)模型能夠快速分類腦電的微分熵特征，滿足在線識(shí)別的需求，實(shí)時(shí)情緒識(shí)別效果更好。

5 結(jié)論

為解決腦電信號(hào)非平穩(wěn)性及被試間差異的局限性對(duì)情緒識(shí)別模型跨被試、跨時(shí)間應(yīng)用產(chǎn)生的問題，深度學(xué)習(xí)算法被進(jìn)一步研究和應(yīng)用于基于腦電信號(hào)的多維情緒分類任務(wù)。對(duì)于不同的源域和目標(biāo)域數(shù)據(jù)分布，域適應(yīng)可以最小化其分布差異。相較于以往全局分布的域適應(yīng)對(duì)齊方法，子域自適應(yīng)方法能夠精確地對(duì)齊源域和目標(biāo)域同一類別中相關(guān)子域的分布。在此基礎(chǔ)上，本文提出了簡(jiǎn)單高效的全局域適應(yīng)與相關(guān)子域自適應(yīng)串聯(lián)系統(tǒng)（SS_GDAN_RSAN）來推廣跨被試和跨時(shí)間的情感識(shí)別模型。本文使用神經(jīng)網(wǎng)絡(luò)建立情感識(shí)別模型，通過最小化全局域適應(yīng)過程中的源域情緒分類誤差、源域與目標(biāo)域數(shù)據(jù)的邊緣分布相似性損失以及子域自適應(yīng)過程中的子域分類誤差、子域自適應(yīng)損失來實(shí)現(xiàn)優(yōu)化，基于weighted_LMMD 的域間特定層激活的相關(guān)子域分布來學(xué)習(xí)傳輸網(wǎng)絡(luò)，通過捕獲每個(gè)類別的細(xì)粒度信息來擴(kuò)展域適應(yīng)網(wǎng)絡(luò)的特征表示能力。本文通過與已有情緒識(shí)別方法性能的對(duì)比證明了該模型的有效性，實(shí)驗(yàn)結(jié)果表明，該方法進(jìn)行跨被試情緒識(shí)別的平均分類正確率84.05%±5.91%，跨時(shí)間情緒識(shí)別的平均分類準(zhǔn)確率為91.66%±7.32%，在精度及穩(wěn)定性上顯著優(yōu)于其他傳統(tǒng)方法（P＜0.01），對(duì)跨被試、跨時(shí)間情緒分類任務(wù)域適應(yīng)性與穩(wěn)定性的提高取得顯著效果，為情緒識(shí)別的實(shí)際應(yīng)用提供了新的方法。