多預測融合的腦電情緒識別遷移方法

梁圣金

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

情緒對人們的言行舉止有著重要的影響。情緒的刺激和響應理論認為，主體對客觀事物和環(huán)境的評價水平是情緒喚醒和產(chǎn)生的關(guān)鍵所在[1]。已有研究表明，情緒與一些精神疾病密切相關(guān)，如受到情緒調(diào)節(jié)影響的抑郁癥[2]。所以，對情緒的研究，將有助于人們對自身情緒狀態(tài)及其影響擁有更深入的認知。

近年來，一種能夠從人類的大腦活動中檢測情緒狀態(tài)的情感腦機接口[3]技術(shù)得到了越來越多的關(guān)注。腦電具有非侵入性和時間分辨率高等優(yōu)點，常用于記錄大腦活動。相比于面部表情、聲音及身體姿態(tài)等，腦電信號不易受到個體的刻意控制，為情緒識別提供了客觀可靠的基礎(chǔ)。但是，腦電信號的非平穩(wěn)特性[4]使得不同個體間（跨被試）或不同時段下（跨會話）的腦電數(shù)據(jù)不滿足機器學習中獨立同分布的要求，不利于已有情緒識別模型的推廣應用。最近，遷移學習技術(shù)為該問題提供了一些解決方案，如其中的領(lǐng)域自適應[5-7]方法嘗試從原始領(lǐng)域（源域）和應用領(lǐng)域（目標域）中挖掘領(lǐng)域不變的成分。

但是，在一些實際應用場景中，模型可能無法預先獲取待測試被試的任何數(shù)據(jù)。而且，對目標被試建立的情緒識別模型也會隨著時間的推移而過時。對此，少部分研究者嘗試求助于領(lǐng)域泛化[8]方法。例如，MA 等人[9]和ZHAO 等人[10]為所有源域被試提取共享特征，并為每個源域被試獨立地提取特定特征，其中提取共享特征的組件有利于改善對目標被試的預測效果。相比于領(lǐng)域自適應方法，領(lǐng)域泛化方法因其在模型的訓練階段無需訪問目標域而有利于情感腦機接口的推廣應用，值得進一步的開發(fā)。

為了探討領(lǐng)域泛化在腦電情緒識別中的可行性，本文提出一個名為領(lǐng)域?qū)苟囝A測融合的遷移方法，利用特征提取器和領(lǐng)域分類器之間的對抗訓練來從各個源域中提取領(lǐng)域不變的特征。此外，分別為每個源域延伸出一個獨立的標簽預測器，以充分利用不同源域的情緒判別信息進行融合預測。最后，在情緒腦電數(shù)據(jù)集上驗證了所提方法的性能。

1 方 法

1.1 問題定義

當測試領(lǐng)域（目標域）完全未知時，只能盡可能地從訓練領(lǐng)域（源域）中學習具有較好泛化能力的模型。在基于腦電信號的情緒識別中，當預先訓練的模型服務(wù)于大眾時，它可能會遇到為模型提供過訓練數(shù)據(jù)的人（跨會話場景），但更多時候都會面臨著未知的測試者（跨被試場景）。這些真實的場景對模型的成功應用提出了較高的要求。本文嘗試探索領(lǐng)域泛化在腦電情緒識別中的可行性，以減少對目標域數(shù)據(jù)的需求。

1.2 領(lǐng)域?qū)苟囝A測融合

1.2.1 網(wǎng)絡(luò)框架

為了應對在訓練模型過程中無法訪問目標域的情況，本文提出了一個領(lǐng)域?qū)苟囝A測融合（Domain-Adversarial Multi-Prediction Fusion，DAMPF）網(wǎng)絡(luò)，結(jié)構(gòu)如圖1 所示。其中，虛線箭頭表示對目標域進行預測時的行為。DAMPF 網(wǎng)絡(luò)主要由一個特征提取器、一個領(lǐng)域分類器以及K個標簽預測器組成。

圖1 領(lǐng)域?qū)苟囝A測融合（DAMPF）網(wǎng)絡(luò)框架

特征提取器用Gf表示，參數(shù)為θf。其作用是把各個領(lǐng)域的輸入數(shù)據(jù)映射到一個公共的特征空間中，以供后續(xù)使用。

領(lǐng)域分類器用Gd（參數(shù)為θd）表示，用于判斷輸入樣本來自哪個領(lǐng)域。對于K個輸入源域，Gd是一個K類分類器。它和特征提取器之間通過一個特殊的梯度反轉(zhuǎn)層[11]進行連接。梯度反轉(zhuǎn)層在前向傳播過程中不起作用，而在反向傳播過程中先將領(lǐng)域分類器傳給它的梯度乘以-1 再傳給前面的特征提取器。在梯度反轉(zhuǎn)層的作用下，特征提取器和領(lǐng)域分類器在基于標準反向傳播的訓練過程中往相反的方向進行優(yōu)化。具體而言，領(lǐng)域分類器盡量區(qū)分輸入樣本的原始領(lǐng)域，而特征提取器盡量混淆輸入樣本的原始領(lǐng)域以提取領(lǐng)域不變的特征。

1.2.2 模型優(yōu)化

在本文考慮的問題中，各個給定的源域的數(shù)據(jù)均已標注。這些帶標簽的源數(shù)據(jù)可以用來訓練各個標簽預測器，其中第k個標簽預測器的損失可以計算為：

式中：λ為權(quán)衡標簽預測損失和領(lǐng)域分類損失的超參數(shù)。訓練模型時，在梯度反轉(zhuǎn)層的幫助下，優(yōu)化過程可利用標準的梯度下降來完成。因此，通過最小化總的損失就可以同時學習所有組件的參數(shù)。

1.2.3 模型預測

在預測階段，對所有標簽預測器的預測輸出進行融合，來判斷對應目標樣本的情緒類別。所采用的融合策略為求多個預測的平均值，相當于給予各個標簽預測器相同的權(quán)重。具體地，對于來自目標域的樣本xi，第k個標簽預測器的輸出為：

2 實驗設(shè)置

2.1 數(shù)據(jù)集

為了對所提的DAMPF 網(wǎng)絡(luò)進行評估，本文在常用的情緒腦電數(shù)據(jù)集SEED[13]上執(zhí)行遷移實驗。SEED 數(shù)據(jù)集包含15 名被試在觀看情感電影片段時所采集的腦電數(shù)據(jù)，包含積極、中性及消極三種情緒類別。每名被試在不同的日期共參與了三次數(shù)據(jù)采集實驗，其中每次實驗被稱為一個會話。在每個會話中，每名被試共觀看了15 個情感電影片段，每個電影片段持續(xù)約4 min。每種情緒所對應的電影片段數(shù)量是一致的，這意味著每種情緒的樣本數(shù)量基本一致。由于腦電采集實驗中所使用的設(shè)備有62 個通道，而每個通道的數(shù)據(jù)又劃分為5 個頻段，所以每個樣本的維度為62×5=310。預處理后的腦電數(shù)據(jù)被分割成許多個長度為1 s 的無重疊時間序列，并從中提取微分熵特征。最終從每個會話得到3 394 個樣本。

2.2 遷移場景

本文考慮跨被試和跨會話這兩種遷移場景下的腦電情緒識別。

在跨被試場景中，每個方法都需要執(zhí)行15 次實驗。每次實驗都從15 名被試中選擇一名被試作為目標域，而其余14 名被試作為源域，使得每名被試都有機會成為目標域。實驗中每名被試僅包含其一個會話的腦電數(shù)據(jù)。對15 次實驗的目標域準確率求平均值和標準差。

在跨會話場景中，對于每名被試，都將其第一個會話和第二個會話作為源域，而剩余的第三個會話作為目標域，使得每名被試獨立地進行實驗。對于每個方法，對所有15 名被試的目標域準確率取平均值和標準差。

2.3 對比方法及實現(xiàn)細節(jié)

對比實驗將所提方法與基線方法、領(lǐng)域自適應方法及領(lǐng)域泛化方法進行比較。

本文將k最近鄰（k-Nearest Neighbors，KNN）方法作為基線方法。它沒有采用遷移學習技術(shù)，直接將從源域訓練得到的模型應用于目標域。KNN的參數(shù)k設(shè)置為5。

領(lǐng)域自適應方法包括遷移成分分析（Transfer Component Analysis，TCA）[14-15]和聯(lián)合分布自適應（Joint Distribution Adaptation，JDA）[16]方法。TCA通過對齊源域和目標域的邊緣分布來促進知識遷移，而JDA 又進一步地對齊跨領(lǐng)域的條件分布。對于TCA 和JDA，降維后的維度為30，正則化參數(shù)為1，訓練模型的源域樣本數(shù)量為5 000（由于內(nèi)存有限，僅使用所有源域樣本的子集）。JDA 的迭代次數(shù)為10。

領(lǐng)域泛化的對比方法為領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)的領(lǐng)域泛化變體（Domain Generalization in Domain-Adversarial Neural Network，DG-DANN）[9]。 它 利用一個特征提取器、一個標簽預測器及一個領(lǐng)域分類器來從源域的數(shù)據(jù)中提取領(lǐng)域不變成分。對于DG-DANN，特征提取器有3 層，分別有512，256，128 個節(jié)點。標簽預測器有3 層，節(jié)點數(shù)量分別有64，32 和3 個。領(lǐng)域分類器有3 層，分別有256，256 和K個節(jié)點，其中K為源域的數(shù)量。

對于本文所提出的DAMPF 網(wǎng)絡(luò)，特征提取器、領(lǐng)域分類器及每個標簽預測器的層數(shù)和節(jié)點數(shù)都與DG-DANN 的一樣。此外，與僅有一個標簽預測器的DG-DANN 不同，DAMPF 網(wǎng)絡(luò)為每個源域都設(shè)置了一個標簽預測器。

對于DG-DANN 和DAMPF 網(wǎng)絡(luò)，權(quán)衡參數(shù)λ的設(shè)置遵循文獻[11]：λ=2/(1+e-ηp)-1，其中η=10，p為模型訓練進度，使得λ從0 逐漸變化到1。

3 實驗結(jié)果及分析

3.1 跨被試實驗

各個方法在SEED 數(shù)據(jù)集上進行跨被試實驗的結(jié)果如圖2 和表1 所示。

表1 各個方法的跨被試實驗的平均結(jié)果

圖2 每名被試作為目標域時所對應的跨被試實驗結(jié)果

基線方法KNN 取得了62.15%的平均準確率和8.85%的標準差。KNN 沒有使用任何遷移學習技術(shù)，因此將它作為最基礎(chǔ)的對比方法。

傳統(tǒng)的領(lǐng)域自適應方法TCA 和JDA 分別取得了66.26%（6.57%）和68.41%（9.03%）的平均結(jié)果，在平均準確率上與KNN 相比分別提升了4.11%和6.26%。由此可見，對齊源域和目標域的邊緣分布和條件分布，可以減小領(lǐng)域之間的差異；使用遷移學習技術(shù)，可以改善跨被試的腦電情緒識別效果。

基于神經(jīng)網(wǎng)絡(luò)的方法（DG-DANN 和DAMPF）均比基于傳統(tǒng)機器學習的方法（KNN、TCA 及JDA）有較大的性能提升，平均準確率都提升了10%以上?？梢娕c神經(jīng)網(wǎng)絡(luò)相結(jié)合的遷移方法能夠提取可遷移性更高的特征，使得源域和目標域的差異變得更小，從而更有利于對目標域數(shù)據(jù)的預測。

本文所提出的領(lǐng)域泛化方法DAMPF 取得了80.50%的平均準確率和6.19%的標準差。在平均準確率上，利用神經(jīng)網(wǎng)絡(luò)構(gòu)建的DAMPF 方法相比傳統(tǒng)的領(lǐng)域自適應方法TCA 和JDA 有了較大的提升，分別提升了14.24%和12.09%；DAMPF 方法比僅有一個標簽預測器的領(lǐng)域泛化方法DG-DANN提升了1.34%，在所有方法中取得了最好的效果，說明利用多個標簽預測器的預測進行融合的遷移方法可以提升模型的泛化能力。此外，DAMPF 方法取得了最低的標準差，說明它的穩(wěn)定性較高。由于DAMPF 不需要目標域的任何數(shù)據(jù)參與模型訓練，所以這些實驗結(jié)果表明它在跨被試場景中應用時具有較好的性能。

3.2 跨會話實驗

各個方法在SEED 數(shù)據(jù)集上的跨會話實驗結(jié)果如圖3 和表2 所示。圖3 比較了各個方法在每名被試中進行跨會話實驗的準確率，表2 給出了各個方法在所有跨會話實驗中的平均準確率和標準差。下面對跨會話實驗結(jié)果進行分析。

表2 各個方法的跨會話實驗的平均結(jié)果

圖3 每名被試所對應的跨會話實驗結(jié)果

在跨會話實驗中，所有方法的平均準確率都比跨被試實驗有了很大的提升，其中基于傳統(tǒng)機器學習的方法（KNN、TCA 及JDA）的提升幅度尤為明顯。這些觀察說明，同一被試內(nèi)部不同會話的腦電數(shù)據(jù)雖然存在領(lǐng)域差異，但其差異比不同被試之間的要小很多。

可以發(fā)現(xiàn)，TCA 和JDA 的結(jié)果略遜于KNN。這可能是因為TCA 和JDA 只使用了源域的部分數(shù)據(jù)來訓練模型，而KNN 則使用了全部的源域數(shù)據(jù)。

從實驗結(jié)果中同樣也發(fā)現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)的方法（DG-DANN 和DAMPF）比基于傳統(tǒng)機器學習的方法（KNN、TCA 和JDA）取得了更好的效果。這說明在跨會話場景下，神經(jīng)網(wǎng)絡(luò)有利于提高所學習特征的判別性，使得情緒識別模型的準確率更高。

本文所提出的領(lǐng)域泛化方法DAMPF 的平均準確率較傳統(tǒng)領(lǐng)域自適應方法有了較大的提升，也優(yōu)于領(lǐng)域泛化方法DG-DANN，并且在所有對比方法中取得了最好的預測效果。這些結(jié)果表明，DAMPF 充分利用了源域中各個會話的數(shù)據(jù)分布來學習較為通用的模型，并通過利用不同標簽預測器的輸出進行多預測融合提供了較好的性能。

4 結(jié) 語

本文提出了一個領(lǐng)域泛化的遷移方法，即領(lǐng)域?qū)苟囝A測融合。該方法利用特征提取器將所有源域映射到一個公共的特征空間，并利用領(lǐng)域分類器和梯度反轉(zhuǎn)層增強特征的領(lǐng)域不變性；目標域數(shù)據(jù)的預測由所有標簽預測器的預測的平均融合來決定。為了評估所提方法的性能，本文分別執(zhí)行了跨被試和跨會話兩種場景的遷移實驗。實驗結(jié)果表明，所提方法的性能優(yōu)于其他對比方法，證明了所提方法在腦電情緒識別的遷移問題中的有效性，也表明領(lǐng)域泛化方法可以在無需利用目標域數(shù)據(jù)來訓練模型的前提下維持較好的情緒識別準確率。