顏勇君,龍柏睿,張肖霞,童煉
1.湖南工業(yè)大學(xué)計(jì)算機(jī)學(xué)院,湖南 株洲 412007;2.廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院,廣東 廣州 510006;3.長(zhǎng)沙學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410022
情緒在我們?nèi)粘I钪邪缪葜匾慕巧?,因此在建立人機(jī)情感互動(dòng)方面,情緒識(shí)別變得越來越重要[1]。近年來,腦電波受到了廣泛的研究,因?yàn)槠淇梢蕴峁┮环N簡(jiǎn)單、便攜和易于使用的情緒識(shí)別解決方案[2]。在腦機(jī)接口(BCI)中,情緒識(shí)別是計(jì)算機(jī)了解人類狀態(tài)的一項(xiàng)重要任務(wù)[3]。深度學(xué)習(xí)作為一種自動(dòng)學(xué)習(xí)特征的方法,可以自動(dòng)在數(shù)據(jù)中提取特征,并對(duì)網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行進(jìn)一步分類或回歸[4]。在情緒識(shí)別任務(wù)中,深度學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)、門控循環(huán)單元(GRU)等,這些方法不需要人工進(jìn)行特征提取,可以適應(yīng)復(fù)雜的任務(wù)和大量的數(shù)據(jù)[5]。目前,深度學(xué)習(xí)在基于腦電信號(hào)的情緒識(shí)別領(lǐng)域中展現(xiàn)出了很好的效果[6]。
本研究的貢獻(xiàn)在于驗(yàn)證了一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)EEGNet 在用于處理腦電信號(hào)時(shí)具有更好的性能和更少的參數(shù)量。實(shí)驗(yàn)通過情緒識(shí)別相關(guān)腦電數(shù)據(jù)集的選取、腦電信號(hào)原始數(shù)據(jù)的預(yù)處理、超參數(shù)的優(yōu)化訓(xùn)練、模型的訓(xùn)練等步驟實(shí)現(xiàn)了對(duì)常用的腦電情緒識(shí)別數(shù)據(jù)集SEED 和SEED-IV 的情緒分類,在三分類和四分類的任務(wù)上分別達(dá)到了85.3%和73.3%的準(zhǔn)確率,表明了EEGNet 在處理情緒相關(guān)腦電信號(hào)方面的可行性及有效性。
實(shí)驗(yàn)數(shù)據(jù)集均由上海交通大學(xué)的BCMI 實(shí)驗(yàn)室提供。實(shí)驗(yàn)共計(jì)15 名受試者,其中有7 名男性和8 名女性,平均年齡為23 歲。對(duì)每個(gè)參與者在不同的時(shí)間里進(jìn)行了3 次實(shí)驗(yàn)。數(shù)據(jù)集中包含對(duì)EEG原始信號(hào)降采樣到200Hz,采用0—75Hz 帶通濾波器的預(yù)處理原始腦電數(shù)據(jù),以及通過人工特征提取所得到的如差分不對(duì)稱(DASM)和有理不對(duì)稱(RASM)等特征數(shù)據(jù)。上述特征適用于情緒分類的任務(wù),其中DASM 是指不同腦電信號(hào)間的差異,而RASM 是指不同腦電信號(hào)間的比率[7]。SEED 數(shù)據(jù)集提供的情緒類別為3 種,分別為積極、中性和消極;SEED-IV 數(shù)據(jù)集提供的情緒類別為4 種,分別為恐懼、悲傷、中性和喜悅。數(shù)據(jù)集相關(guān)概要信息如下表1 所示。
表1 數(shù)據(jù)集概要
1.1.1 SEED 數(shù)據(jù)集
實(shí)驗(yàn)人員在6 部中文電影中選取了15 個(gè)電影片段的剪輯作為實(shí)驗(yàn)中的刺激,這些電影片段數(shù)量均等地對(duì)應(yīng)上述3 種情緒,每段影片剪輯無特定說明且持續(xù)時(shí)間在4 min 左右,經(jīng)過精心編輯,以保持每段剪輯能產(chǎn)生連貫的情感,并最大化情感含義[8]。
每次實(shí)驗(yàn)的過程中,受試者需要將15 個(gè)實(shí)驗(yàn)片段全部看完,因此每次實(shí)驗(yàn)均有15 個(gè)實(shí)驗(yàn)樣本,受試者在觀看每段影片剪輯前有5 s 的提示時(shí)間,觀看完畢后有45 s 的自我評(píng)估時(shí)間和15 s 的休息時(shí)間。通過精心的實(shí)驗(yàn)順序安排,確保了同一情感對(duì)應(yīng)的影片不會(huì)連續(xù)顯示。
1.1.2 SEED-IV 數(shù)據(jù)集
實(shí)驗(yàn)人員精心選取了72 個(gè)電影片段的剪輯作為刺激,將其劃分為3 組,以每組24 個(gè)電影片段的方式進(jìn)行了實(shí)驗(yàn),這些電影片段數(shù)量均等地分別對(duì)應(yīng)上述4 種情緒,每段影片無特殊說明且持續(xù)時(shí)間為2 min 左右[9]。
每次實(shí)驗(yàn)的過程中,受試者需要將24 個(gè)實(shí)驗(yàn)片段全部看完,因此每次實(shí)驗(yàn)均有24 個(gè)實(shí)驗(yàn)樣本,受試者在觀看每段影片剪輯前有5 s 的提示時(shí)間,觀看完畢后有45 s 的自我評(píng)估時(shí)間和15 s 的休息時(shí)間。通過精心的實(shí)驗(yàn)順序安排,確保了同一情感對(duì)應(yīng)的影片不會(huì)在實(shí)驗(yàn)中連續(xù)顯示。
1.2.1 在SEED 數(shù)據(jù)集上的預(yù)處理
在SEED 數(shù)據(jù)集中,經(jīng)預(yù)處理的腦電信號(hào)數(shù)據(jù)的采樣率為200Hz,即每秒的采樣點(diǎn)數(shù)為200,受試者所觀看的電影片段長(zhǎng)度為3—4 min,故每段影片片段所對(duì)應(yīng)采集的腦電信號(hào)數(shù)據(jù)樣本的采樣點(diǎn)數(shù)不盡相同。為確保盡可能地保留腦電信號(hào)原始數(shù)據(jù)中的時(shí)序特征,預(yù)處理時(shí)在15 個(gè)電影片段對(duì)應(yīng)的實(shí)驗(yàn)樣本中,以采樣點(diǎn)數(shù)最少的樣本為基準(zhǔn),使用數(shù)據(jù)裁剪的方法,對(duì)所有樣本的采樣點(diǎn)數(shù)進(jìn)行歸一化處理,最終所得的樣本形狀為(62,37 001)。其中,62 代表的是數(shù)據(jù)采集的刺激實(shí)驗(yàn)中的62 個(gè)腦電極,37 001代表的是歸一化處理對(duì)象樣本中采樣點(diǎn)數(shù)的最小值。
1.2.2 在SEED-IV 數(shù)據(jù)集上的預(yù)處理
在SEED-IV 數(shù)據(jù)集中,經(jīng)預(yù)處理的腦電信號(hào)數(shù)據(jù)的采樣率同樣為200Hz,受試者所觀看的電影片段長(zhǎng)度為2—4 min,相比于SEED數(shù)據(jù)集,各影片片段所對(duì)應(yīng)采集的腦電信號(hào)數(shù)據(jù)樣本的采樣點(diǎn)數(shù)差異更大。為盡可能地保留腦電信號(hào)原始數(shù)據(jù)中的時(shí)序特征的同時(shí)避免破壞數(shù)據(jù)本身的特征,本次實(shí)驗(yàn)沒有使用插值法對(duì)腦電信號(hào)數(shù)據(jù)進(jìn)行處理,而是在丟棄了部分采樣點(diǎn)數(shù)過少的樣本后對(duì)剩余的樣本進(jìn)行了裁剪處理,裁剪方法與處理SEED 數(shù)據(jù)集所使用的方法相一致。經(jīng)歸一化后所得的樣本形狀為(62,30 601)。其中,62 為實(shí)驗(yàn)所使用的腦電極數(shù),30 601 為歸一化處理對(duì)象樣本中采樣點(diǎn)數(shù)的最小值。
EEGNet 是一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),可用于基于EEG 的多種腦機(jī)接口范式[10]。EEGNet可在數(shù)據(jù)量非常有限的情況下進(jìn)行訓(xùn)練,并且可以產(chǎn)生神經(jīng)心理學(xué)可解釋的特征。
所謂卷積操作,本質(zhì)是對(duì)輸入數(shù)據(jù)進(jìn)行加權(quán)求和,其中的權(quán)重由卷積運(yùn)算中的卷積核控制,并且在訓(xùn)練過程中,卷積核中的數(shù)值也會(huì)通過計(jì)算梯度進(jìn)一步進(jìn)行調(diào)整。整個(gè)卷積神經(jīng)網(wǎng)絡(luò)可以抽象為如下所示的公式,其中f所代表的是特征圖,M和K分別代表卷積核的深度和大小,w和b代表權(quán)重和偏執(zhí),σ代表的是激活函數(shù)。其中,上下標(biāo)中的l代表卷積神經(jīng)網(wǎng)絡(luò)的層數(shù),i和j分別代表行數(shù)和列數(shù),k和m為數(shù)量序號(hào)。
EEGNet 的總體網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示,網(wǎng)絡(luò)中的卷積層均為一維卷積,網(wǎng)絡(luò)結(jié)構(gòu)圖中使用二維卷積僅為便于軟件實(shí)現(xiàn)。EEGNet 接受形狀為(C,T)的數(shù)據(jù)輸入,其中C為腦電信號(hào)的通道數(shù),T為腦電信號(hào)的采樣點(diǎn)數(shù),數(shù)據(jù)經(jīng)過升維操作后以(1,C,T)的格式輸入網(wǎng)絡(luò)。
表2 EEGNet 網(wǎng)絡(luò)結(jié)構(gòu)
EEGNet 網(wǎng)絡(luò)中先后使用了深度卷積和可分離卷積對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作,如圖1 所示[1],相比于常規(guī)的卷積操作,由于深度卷積僅在數(shù)據(jù)的各通道內(nèi)進(jìn)行卷積操作,而非對(duì)數(shù)據(jù)的每個(gè)位置都進(jìn)行卷積,在腦電信號(hào)的處理中,這樣的卷積有利于對(duì)各通道內(nèi)腦電數(shù)據(jù)時(shí)序信息的提取,因此在EEGNet 中深度卷積核又被稱為時(shí)序?yàn)V波器,其長(zhǎng)度在EEGNet 中被定義為F1,是可針對(duì)數(shù)據(jù)集中數(shù)據(jù)的采樣率進(jìn)行自定義的超參數(shù)之一。而后續(xù)的可分離卷積則是深度卷積和逐點(diǎn)卷積的結(jié)合,以同樣的方式進(jìn)一步降低模型的參數(shù)量,使EEGNet 成為一個(gè)緊湊而輕量化的卷積神經(jīng)網(wǎng)絡(luò)。
圖1 EEGNet 網(wǎng)絡(luò)中的卷積操作
深度卷積(Depth-wise Convolution)是一種逐通道卷積的卷積方式,每個(gè)通道僅被一個(gè)卷積核進(jìn)行卷積,其卷積核形狀為(S,1,C),其中S為卷積核的長(zhǎng)度,1 代表輸入數(shù)據(jù)維度為一維,C表示輸出數(shù)據(jù)被拆分的通道數(shù),因此經(jīng)過卷積操作后所得到的特征圖(Feature Map)的數(shù)量即為變量C所定義的通道數(shù),而傳統(tǒng)卷積操作后往往會(huì)對(duì)特征圖進(jìn)行擴(kuò)展,訓(xùn)練的參數(shù)量也更大。但由于深度卷積僅在每個(gè)通道內(nèi)進(jìn)行卷積操作,而忽略了不同通道在空間上的特征信息,因此需要在逐通道卷積操作后進(jìn)行逐點(diǎn)卷積,將所得到的特征圖重新組合生成新的特征圖。
可分離卷積(Separable Convolution)本質(zhì)上是一種逐通道卷積和逐點(diǎn)卷積(Point-wise Convolution)相結(jié)合的卷積方式。其中的逐點(diǎn)卷積的方式與傳統(tǒng)卷積十分相似,其卷積核形狀為(1,1),此時(shí)網(wǎng)絡(luò)上一層輸出的每一個(gè)特征圖的格式為(1,T//4),其中T為最初輸入數(shù)據(jù)的采樣點(diǎn)數(shù)。因此,逐點(diǎn)卷積對(duì)每一個(gè)特征圖都進(jìn)行了單獨(dú)的卷積操作,經(jīng)過卷積操作后所得到的特征圖的數(shù)量即為卷積核的數(shù)量,該數(shù)值在EEGNet 中被定義為F2,可作為網(wǎng)絡(luò)中的超參數(shù)進(jìn)行修改,本層卷積在深度方向上對(duì)其進(jìn)行了加權(quán)組合,進(jìn)而對(duì)不同通道間在空間維度上的特征進(jìn)行提取。普通卷積和可分離卷積的區(qū)別如圖2 所示。
圖2 普通卷積和可分離卷積的區(qū)別
在每個(gè)卷積層后,EEGNet 使用了批量標(biāo)準(zhǔn)化(Batch Normalization)實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的正則化操作,使輸入的數(shù)據(jù)在深度學(xué)習(xí)優(yōu)化過程中的分布相對(duì)穩(wěn)定,即網(wǎng)絡(luò)中每一層輸入數(shù)據(jù)的均值和方差都保持在一定范圍內(nèi),因此下一層網(wǎng)絡(luò)不必不斷去適應(yīng)底層網(wǎng)絡(luò)輸入的變化,從而實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)的層間解耦,允許每一層進(jìn)行獨(dú)立學(xué)習(xí),提高了整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)速度,減少權(quán)重較大的特征淹沒權(quán)重較小的特征這一情況的出現(xiàn),弱化了網(wǎng)絡(luò)模型對(duì)內(nèi)部參數(shù)的敏感性,有效提升網(wǎng)絡(luò)模型在特征分布不規(guī)律的數(shù)據(jù)上的收斂效果。
輸入數(shù)據(jù)在經(jīng)過批量標(biāo)準(zhǔn)化過后,將通過ELU(Exponential Linear Unit)激活函數(shù),為網(wǎng)絡(luò)模型添加更多的非線性元素,使網(wǎng)絡(luò)能在非線性的關(guān)系中也能有更好的擬合效果。相比于其他的線性非飽和函數(shù),如ReLU 函數(shù)及其變體函數(shù),ELU 函數(shù)對(duì)于所有負(fù)值輸入經(jīng)過激活后都能得到非零的輸出,因此使用ELU 函數(shù)時(shí)不存在“神經(jīng)元死亡”的問題,其在提升網(wǎng)絡(luò)擬合能力的同時(shí)也有效地避免了梯度爆炸和梯度消失問題的出現(xiàn)。ELU 激活函數(shù)的公式如下:
激活層之后的是池化層(Pooling),池化的目的是對(duì)數(shù)據(jù)進(jìn)行降維操作,去除了數(shù)據(jù)中的冗余信息,降低了網(wǎng)絡(luò)中計(jì)算的參數(shù)量,能在一定程度上防止過擬合現(xiàn)象的發(fā)生。EEGNet 網(wǎng)絡(luò)中使用了平均池化(Average Pooling)來對(duì)數(shù)據(jù)進(jìn)行處理,即對(duì)池化核對(duì)應(yīng)的數(shù)據(jù)進(jìn)行加權(quán)平均,保留了卷積后數(shù)據(jù)的整體特征。隨后數(shù)據(jù)將通過Dropout 操作訓(xùn)練期間對(duì)網(wǎng)絡(luò)中的輸入進(jìn)行隨機(jī)變換,依據(jù)一定的概率將部分神經(jīng)元的輸出值設(shè)置為0,這部分被拋棄的神經(jīng)元將不會(huì)參與參數(shù)前向傳播和反向傳播的過程,防止神經(jīng)元之間產(chǎn)生共適應(yīng),減輕網(wǎng)絡(luò)在訓(xùn)練過程中的過擬合問題,增加了網(wǎng)絡(luò)模型的多樣性和健壯性。
輸入數(shù)據(jù)分別經(jīng)過兩層特殊卷積以及上述處理后將通過全連接層進(jìn)行特征空間變換,數(shù)據(jù)最終被壓縮成模長(zhǎng)為輸出維度數(shù)的一維向量,而后該向量將經(jīng)過Softmax 層進(jìn)行激活,將神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行歸一化處理。其中Softmax 激活函數(shù)的公式如下所示:
在該函數(shù)中,分子通過自然指數(shù)函數(shù)將輸入數(shù)據(jù)中實(shí)數(shù)映射到0 到正無窮的范圍上,分母則將輸入數(shù)據(jù)中經(jīng)過映射的實(shí)數(shù)求和,進(jìn)而使得輸入數(shù)據(jù)被轉(zhuǎn)換為不同情緒類別中的概率分布。
EEGNet 作為一種緊湊的卷積神經(jīng)網(wǎng)絡(luò),目前已成功地應(yīng)用于涉及不同類型EEG 信號(hào)的多個(gè)任務(wù)中,例如P300 視覺誘發(fā)電位、錯(cuò)誤相關(guān)負(fù)性反應(yīng)(ERN)和運(yùn)動(dòng)節(jié)律(SMR)等,在多個(gè)腦電相關(guān)的數(shù)據(jù)集上展現(xiàn)出了良好的泛化能力。
得益于深度卷積層的應(yīng)用,EEGNet 在處理數(shù)據(jù)的時(shí)序特征上有著更優(yōu)秀的能力,因此,EEGNet對(duì)無特征工程的原始腦電數(shù)據(jù)有著出色的分類效果。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在處理原始腦電特征時(shí),往往忽略了腦電信號(hào)中的時(shí)序信息,而對(duì)不同通道在空間維度上的特征更加敏感,因此在包含時(shí)序特征的原始腦電數(shù)據(jù)上的分類效果相對(duì)較差。
針對(duì)SEED 數(shù)據(jù)集中經(jīng)人工提取的特征數(shù)據(jù),如腦電數(shù)據(jù)的微分熵特征,同時(shí)嘗試使用支持向量機(jī)(SVM)這一傳統(tǒng)的分類方法對(duì)數(shù)據(jù)直接進(jìn)行分類。
支持向量機(jī)(Support Vector Machine,SVM)是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器,該算法的決策邊界是對(duì)學(xué)習(xí)樣本進(jìn)行求解所得的最大邊距超平面,進(jìn)而通過該決策邊界進(jìn)行分類。該算法的基本思想是在樣本數(shù)據(jù)的特征空間上找到一個(gè)最優(yōu)超平面,使該超平面能夠?qū)⒉煌悇e的樣本分開,并且使不同類別之間的間隔最大。SVM 通常用于二元分類問題,也可以推廣至多元分類的問題,在多元分類的情況下,通常將問題分解為多個(gè)二元分類的子問題,再利用SVM 進(jìn)行分類。
但支持向量機(jī)作為傳統(tǒng)的分類方法仍然存在著一些局限性,例如當(dāng)數(shù)據(jù)噪聲較大或?qū)嶒?yàn)數(shù)據(jù)分布為非線性的情況時(shí),其分類效果往往不夠理想。傳統(tǒng)機(jī)器學(xué)習(xí)方法需要手動(dòng)進(jìn)行特征提取和選擇,并對(duì)數(shù)據(jù)進(jìn)行歸一化、縮放等處理,這需要領(lǐng)域?qū)I(yè)知識(shí)和經(jīng)驗(yàn)。而EEGNet 使用卷積神經(jīng)網(wǎng)絡(luò),可以自動(dòng)提取特征,并且對(duì)于不同尺度、頻率的信號(hào)具有較好的適應(yīng)性。
使用EEGNet 進(jìn)行分類任務(wù)時(shí),理解網(wǎng)絡(luò)所學(xué)到的特征對(duì)于保證模型的可靠性至關(guān)重要。模型所產(chǎn)生的分類結(jié)果需要確保不是由于數(shù)據(jù)中的噪聲或異常值引起的,而是由相關(guān)特征所驅(qū)動(dòng)的。
EEGNet 通過在深度卷積網(wǎng)絡(luò)中使用專門的濾波器和一維卷積,可以提取到更有意義和區(qū)分性的特征,因此可以更好地進(jìn)行情緒分類任務(wù)。另外,EEGNet采用的卷積方式較傳統(tǒng)的CNN更加局部化,可以更好地保留信號(hào)的空間特征,這樣在處理EEG信號(hào)時(shí)可以更好地保留空間信息,從而可以更好地識(shí)別不同的腦電波形式,有助于提高情緒分類的準(zhǔn)確性。另外,由于EEGNet 采用的是一維卷積,在網(wǎng)絡(luò)的輸入輸出上易于解釋。在輸入方面,EEGNet 中的每個(gè)特征通道都可以被視為對(duì)應(yīng)于不同電極對(duì)應(yīng)采集的腦電信號(hào)。在輸出方面,EEGNet 的每個(gè)類別都可以被視為對(duì)應(yīng)于腦電信號(hào)的不同情感狀態(tài)。
事件相關(guān)電位(ERP)是一種腦電生理學(xué)的測(cè)量方法,用于研究特定的感知、認(rèn)知或運(yùn)動(dòng)事件對(duì)大腦電活動(dòng)的影響。事件相關(guān)電位是通過將大量的腦電信號(hào)進(jìn)行平均來獲得的,以消除隨機(jī)噪聲和增強(qiáng)事件相關(guān)的電位。事件相關(guān)電位可以提供有關(guān)大腦對(duì)特定事件的反應(yīng)時(shí)間和神經(jīng)機(jī)制的信息。常見的事件相關(guān)電位包括P300、N400 和MMN 等。目前,EEGNet 已經(jīng)在基于事件相關(guān)電位(ERP)的腦電信號(hào)數(shù)據(jù)集上得到了較為廣泛的應(yīng)用。
EEGNet 在使用P300 信號(hào)的數(shù)據(jù)集上進(jìn)行了被試者間分類(Cross-Subject Classification)的實(shí)驗(yàn),即利用數(shù)據(jù)集中的一組被試的數(shù)據(jù)來訓(xùn)練EEGNet模型,并在另一個(gè)不同的被試組的數(shù)據(jù)集上進(jìn)行分類預(yù)測(cè)。該數(shù)據(jù)集是通過對(duì)受試者進(jìn)行重復(fù)的“非目標(biāo)性”視覺刺激所收集的基于事件相關(guān)電位的腦電數(shù)據(jù)集,反映了大腦對(duì)特定刺激的認(rèn)知和注意的過程。在最終的測(cè)試中,EEGNet 的預(yù)訓(xùn)練模型在該數(shù)據(jù)集上的二分類準(zhǔn)確率達(dá)到了90%左右。
上述實(shí)驗(yàn)充分體現(xiàn)了EEGNet 在基于事件相關(guān)電位的腦電信號(hào)上出色的泛化能力。事件相關(guān)電位的腦電數(shù)據(jù)是通過刺激和響應(yīng)測(cè)量而產(chǎn)生的,而非通過受試者的自由思考和行為表現(xiàn)而獲取,在數(shù)據(jù)收集的過程中,實(shí)驗(yàn)條件和刺激都能得到有效的控制,以獲得可重復(fù)的結(jié)果。同時(shí),事件相關(guān)電位是在刺激后幾毫秒至幾百毫秒內(nèi)形成的,因此具有非常高的時(shí)間分辨率,有效地捕捉了腦電活動(dòng)的快速變化及其時(shí)域特征。
在情緒識(shí)別領(lǐng)域,事件相關(guān)電位同樣是一種常用的腦電信號(hào)測(cè)量方法,SEED 和SEED-IV 數(shù)據(jù)集即使用影片片段作為視覺刺激所收集的事件相關(guān)電位的腦電數(shù)據(jù)集,適合用于EEGNet 的訓(xùn)練與測(cè)試。
3.1.1 在SEED 數(shù)據(jù)集上的實(shí)驗(yàn)
針對(duì)SEED 數(shù)據(jù)集中經(jīng)特征工程處理后的數(shù)據(jù),進(jìn)行了支持向量機(jī)(SVM)這一傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法的分類實(shí)驗(yàn)。這部分?jǐn)?shù)據(jù)由15 位受試者經(jīng)3 次實(shí)驗(yàn)得來,共計(jì)45 組實(shí)驗(yàn)數(shù)據(jù),每組實(shí)驗(yàn)數(shù)據(jù)中包含15 個(gè)腦電數(shù)據(jù)的特征樣本,其數(shù)據(jù)格式為(62,T),其中T為該數(shù)據(jù)對(duì)應(yīng)影片刺激的時(shí)長(zhǎng),單位為s。
在支持向量聚類(SVC)中進(jìn)行了基于RBF核函數(shù)的數(shù)據(jù)分類實(shí)驗(yàn),其基本思想是將輸入空間映射到一個(gè)高維的特征空間中,使得在該特征空間中可以更容易地進(jìn)行線性分類。具體來說,RBF 核函數(shù)可以使低維空間中的數(shù)據(jù)映射到無窮維的空間中,從而可以捕捉到更多的數(shù)據(jù)信息。在RBF 核函數(shù)中,每個(gè)樣本點(diǎn)都被看作一個(gè)基函數(shù),而它們之間的距離則用高斯函數(shù)進(jìn)行計(jì)算。因此樣本點(diǎn)之間的相似性就可以通過它們?cè)诟咚购瘮?shù)下的距離來度量,距離越近的點(diǎn)相似度越高。
同時(shí)選取了基于線性動(dòng)態(tài)系統(tǒng)(LDS)方法得到的微分熵(DE)數(shù)據(jù)。微分熵?cái)?shù)據(jù)是對(duì)腦電信號(hào)進(jìn)行微分處理后,通過計(jì)算微分信號(hào)的熵值來描述腦電信號(hào)復(fù)雜性和隨機(jī)性的一類數(shù)據(jù),其計(jì)算方式是將微分處理后的信號(hào)離散化為若干個(gè)狀態(tài),結(jié)合每個(gè)狀態(tài)出現(xiàn)的概率,再通過熵的定義所計(jì)算得來。由于微分熵是基于時(shí)間序列的熵的概念,其計(jì)算充分考慮了信號(hào)的變化率和時(shí)間間隔,保留了原始數(shù)據(jù)中的時(shí)序信息,因此常用于研究腦電信號(hào)的時(shí)域特征,亦可直接用于腦電信號(hào)的分類。
在腦電信號(hào)的delta 波段、theta 波段、alpha波段、beta 波段和gamma 波段中,theta 波段(4—8Hz)多出現(xiàn)在輕度睡眠、沉思和冥想狀態(tài),alpha波段(8—13Hz)多出現(xiàn)在放松、專注和集中狀態(tài),因此,上述波段對(duì)應(yīng)的腦電數(shù)據(jù)與人的情緒相關(guān)度更高。實(shí)驗(yàn)中也將theta 波段和alpha 波段對(duì)應(yīng)的特征數(shù)據(jù)作為研究對(duì)象開展分類實(shí)驗(yàn),雖然相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)在處理復(fù)雜數(shù)據(jù)的分類問題上有著更強(qiáng)的表達(dá)能力,但這一分類結(jié)果能為基于深度學(xué)習(xí)方法的情緒分類實(shí)驗(yàn)提供一個(gè)可供參考的標(biāo)準(zhǔn)。實(shí)驗(yàn)依據(jù)3∶2 的比例將每組實(shí)驗(yàn)中的15 個(gè)數(shù)據(jù)樣本劃分為訓(xùn)練集與測(cè)試集,在三分類情況下,theta 腦電波段最終所得的平均分類準(zhǔn)確率為61.7%,如圖3 所示;alpha 腦電波段最終所得的平均分類準(zhǔn)確率為63.4%,如圖4 所示。
圖3 theta 波段特征數(shù)據(jù)在SVM 分類器上的分類準(zhǔn)確率及其平均分類準(zhǔn)確率
圖4 alpha 波段特征數(shù)據(jù)在SVM 分類器上的分類準(zhǔn)確率及其平均分類準(zhǔn)確率
SEED 數(shù)據(jù)集中的原始腦電數(shù)據(jù)同樣對(duì)應(yīng)45組實(shí)驗(yàn)數(shù)據(jù),每組實(shí)驗(yàn)數(shù)據(jù)中包含15 個(gè)二維腦電原始數(shù)據(jù)樣本,分別對(duì)應(yīng)唯一的標(biāo)簽序列,在時(shí)間維度對(duì)數(shù)據(jù)進(jìn)行歸一化處理后輸入EEGNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
訓(xùn)練中使用的損失函數(shù)為交叉熵函數(shù),作為凸函數(shù),在訓(xùn)練過程中不存在局部最優(yōu)解的問題,故在梯度下降等優(yōu)化算法中可以有效地找到全局最優(yōu)解,交叉熵可用于判斷兩個(gè)概率分布之間的差異性大小,在衡量模型分類能力的任務(wù)中有很高的適用性。訓(xùn)練中使用的優(yōu)化器函數(shù)為Adam 優(yōu)化器,相比于傳統(tǒng)的梯度下降法,Adam 優(yōu)化器不需要手動(dòng)地調(diào)節(jié)學(xué)習(xí)率,而是根據(jù)梯度的一階矩估計(jì)(梯度的均值)和二階矩估計(jì)(梯度的無中心矩)自適應(yīng)地調(diào)節(jié)每個(gè)參數(shù)的學(xué)習(xí)率。訓(xùn)練過程中的學(xué)習(xí)率使用了StepLR 學(xué)習(xí)率調(diào)整機(jī)制進(jìn)行自衰減,每經(jīng)過5 輪學(xué)習(xí),學(xué)習(xí)率將降低為原來的90%。其中Adam 優(yōu)化器的公式如下所示,θ為EEGNet 中全體參數(shù)構(gòu)成的向量;m為沖量,當(dāng)對(duì)模型優(yōu)化參數(shù)時(shí)可輔助進(jìn)行方向修正,使參數(shù)優(yōu)化不僅僅依靠梯度,避免了優(yōu)化時(shí)陷入鞍點(diǎn);v-hat為指數(shù)移動(dòng)均值,根據(jù)梯度計(jì)算得來;下標(biāo)t表示當(dāng)前時(shí)刻,t-1為上一時(shí)刻。
關(guān)于EEGNet 網(wǎng)絡(luò),其深度卷積層(Depthwise Convolution)中的卷積核,即時(shí)序?yàn)V波器的長(zhǎng)度被設(shè)置為了100。這是因?yàn)楫?dāng)時(shí)序卷積核的長(zhǎng)度被設(shè)置為采樣率的一半時(shí),網(wǎng)絡(luò)能有效地提取2Hz及以上的頻率信息[11],即對(duì)低頻信息能更加敏感。在深度可分離卷積層,在參考了EEGNet 原始論文中的建議后,將該層卷積核長(zhǎng)度設(shè)置為了16,以達(dá)到更好的分類效果。
實(shí)驗(yàn)根據(jù)7∶2∶1 的比例,以受試者編號(hào)為依據(jù)將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,其中訓(xùn)練集和驗(yàn)證集用于EEGNet 模型的訓(xùn)練,測(cè)試集則用于測(cè)試預(yù)訓(xùn)練EEGNet 模型的泛化能力及分類表現(xiàn)。經(jīng)訓(xùn)練,最終模型在訓(xùn)練集上的損失降到了0.554,驗(yàn)證集上的分類準(zhǔn)確率達(dá)到了66.2%。
對(duì)此預(yù)訓(xùn)練模型以8 為批量大小在測(cè)試集上進(jìn)行了三分類測(cè)試,以0、1、2 作為情緒標(biāo)簽分別對(duì)應(yīng)了消極、中性和積極的情緒,測(cè)試同時(shí)也計(jì)算了預(yù)訓(xùn)練模型在各批數(shù)據(jù)中的均方誤差、平均絕對(duì)誤差、召回率和Macro-F1分?jǐn)?shù)。其中,召回率是指對(duì)于某個(gè)類別,模型正確識(shí)別出該類別的樣本數(shù)量與該類別實(shí)際樣本數(shù)量之間的比例,用于衡量模型對(duì)各個(gè)類別的識(shí)別能力。多分類時(shí)的Macro-F1分?jǐn)?shù)則是各類別F1分?jǐn)?shù)的平均值,每一類的F1分?jǐn)?shù)是綜合考慮模型在該類別上進(jìn)行預(yù)測(cè)的精確率和召回率的調(diào)和平均數(shù),這一指標(biāo)避免了只關(guān)注精確率和召回率的其中一個(gè)而造成的誤差。最終,該預(yù)訓(xùn)練模型在測(cè)試集上的平均準(zhǔn)確率達(dá)到了90.0%。
3.1.2 在SEED-IV 數(shù)據(jù)集上的實(shí)驗(yàn)
實(shí)驗(yàn)針對(duì)SEED-IV 數(shù)據(jù)集中的原始腦電數(shù)據(jù)對(duì)EEGNet 進(jìn)行了訓(xùn)練,該數(shù)據(jù)集同樣是由15 名受試者通過3 次實(shí)驗(yàn)得來,但由于3 次實(shí)驗(yàn)中所使用的刺激不同,因此,其數(shù)據(jù)樣本對(duì)應(yīng)的標(biāo)簽序列也有所不同。數(shù)據(jù)在時(shí)間維度上進(jìn)行了歸一化處理,以確保數(shù)據(jù)樣本格式的唯一性,而后輸入到EEGNet 中進(jìn)行訓(xùn)練。
實(shí)驗(yàn)中所使用的損失函數(shù)和優(yōu)化器函數(shù)仍然為交叉熵函數(shù)和Adam 優(yōu)化器,學(xué)習(xí)率仍使用StepLR學(xué)習(xí)率調(diào)整機(jī)制進(jìn)行衰減,每經(jīng)過5 輪學(xué)習(xí),學(xué)習(xí)率將降為原來的90%。同時(shí)由于數(shù)據(jù)采樣率為200Hz,EEGNet 中深度卷積層的時(shí)序卷積核長(zhǎng)度被設(shè)置為100。
由于SEED-IV 數(shù)據(jù)集中的原始腦電數(shù)據(jù)在時(shí)間維度上的差異較大,即采樣點(diǎn)數(shù)在數(shù)量分布上的均方差較大,部分?jǐn)?shù)據(jù)樣本的采樣點(diǎn)數(shù)過少,導(dǎo)致在實(shí)驗(yàn)之初對(duì)數(shù)據(jù)格式進(jìn)行歸一化處理時(shí),選取的采樣點(diǎn)數(shù)的基準(zhǔn)值較小,使最終輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練的數(shù)據(jù)量及其在時(shí)間維度上的特征相對(duì)有所減少。經(jīng)多輪訓(xùn)練,EEGNet 模型始終難以收斂到理想的范圍,得到的預(yù)訓(xùn)練模型的泛化能力較差,其在測(cè)試集上的準(zhǔn)確率為48.5%,測(cè)試集中包含受試者編號(hào)為2 和15 的數(shù)據(jù)樣本。
因此,考慮到時(shí)間維度上的數(shù)據(jù)特征對(duì)EEGNet 模型擬合能力的影響,在實(shí)驗(yàn)過程中通過不斷提高采樣點(diǎn)數(shù)的基準(zhǔn)值進(jìn)行數(shù)據(jù)歸一化處理,并手動(dòng)過濾了部分采樣點(diǎn)數(shù)過少的數(shù)據(jù)樣本,在5輪訓(xùn)練和測(cè)試后,所得預(yù)訓(xùn)練模型的準(zhǔn)確率在相同測(cè)試集上的變化趨勢(shì)如圖5 所示。
圖5 不同采樣點(diǎn)數(shù)對(duì)應(yīng)的EEGNet 預(yù)訓(xùn)練模型在測(cè)試集上的準(zhǔn)確率
為兼顧較好的模型擬合效果和充足的訓(xùn)練數(shù)據(jù)量,最終選定了以30 601 作為SEED-IV 數(shù)據(jù)集上采樣點(diǎn)數(shù)歸一化的基準(zhǔn)值。對(duì)整體數(shù)據(jù)進(jìn)行歸一化處理后,將數(shù)據(jù)集以7∶2∶1 的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。同樣對(duì)數(shù)據(jù)集進(jìn)行了多次重新劃分,確保每次劃分所得的測(cè)試集中數(shù)據(jù)歸編號(hào)不同的受試者所有。經(jīng)訓(xùn)練,模型最終在訓(xùn)練集上的損失降到了0.746,在驗(yàn)證集上的分類準(zhǔn)確率達(dá)到了58.6%。
與在SEED 數(shù)據(jù)集上的測(cè)試實(shí)驗(yàn)類似,以0、1、2、3 作為標(biāo)簽分別對(duì)應(yīng)了中性、悲傷、恐懼和喜悅4 種情緒,對(duì)此預(yù)訓(xùn)練模型在測(cè)試集上以8 為批量大小進(jìn)行四分類測(cè)試,同樣地,在測(cè)試過程中計(jì)算了每一批量數(shù)據(jù)的均方誤差、平均絕對(duì)誤差、召回率和Macro-F1分?jǐn)?shù),用于對(duì)模型的泛化能力進(jìn)行更加直觀的考察,通常情況下Macro-F1的值能與模型的泛化能力成正相關(guān)關(guān)系。最終,該預(yù)訓(xùn)練模型在測(cè)試集上的準(zhǔn)確率達(dá)到了86.4%。
經(jīng)過在SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集上的多輪實(shí)驗(yàn),且每輪實(shí)驗(yàn)都重新打亂并劃分?jǐn)?shù)據(jù)集,得到了如圖6 所示的EEGNet 預(yù)訓(xùn)練模型在不同的測(cè)試集上的準(zhǔn)確率。其中,在5 輪實(shí)驗(yàn)中,EEGNet 在SEED 測(cè)試集上的三分類平均準(zhǔn)確率達(dá)到了85.3%,在SEED-IV 測(cè)試集上的四分類平均準(zhǔn)確率達(dá)到了73.3%。圖中橫軸方向的標(biāo)記即為當(dāng)次訓(xùn)練時(shí)所劃分測(cè)試集數(shù)據(jù)對(duì)應(yīng)的受試者編號(hào)。
圖6 EEGNet 預(yù)訓(xùn)練模型在SEED 和SEED-IV 測(cè)試集上的準(zhǔn)確率
由以上的實(shí)驗(yàn)結(jié)果可得知,與傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法相比,經(jīng)深度學(xué)習(xí)訓(xùn)練的EEGNet 模型在SEED 數(shù)據(jù)集上有著更好的分類能力。在三分類的SEED 數(shù)據(jù)集上,EEGNet 模型在測(cè)試數(shù)據(jù)上也表現(xiàn)出了良好的泛化能力。在四分類的SEED-IV 數(shù)據(jù)集上,限定數(shù)據(jù)樣本的采樣點(diǎn)數(shù)在30 000 以上時(shí),仍有較為可觀的數(shù)據(jù)量參與模型的訓(xùn)練,在此情況下,EEGNet 也能保持較高的分類準(zhǔn)確率,筆者認(rèn)為主要原因還是EEGNet 對(duì)輸入數(shù)據(jù)中的時(shí)序特征有著較高的敏感度,因此腦電數(shù)據(jù)采樣點(diǎn)的數(shù)量將直接對(duì)EEGNet 模型的分類準(zhǔn)確率產(chǎn)生較大的影響。
在保持模型訓(xùn)練的超參數(shù)不變的情況下,隨著數(shù)據(jù)集劃分的不同,實(shí)驗(yàn)所得預(yù)訓(xùn)練模型的在對(duì)應(yīng)測(cè)試集上的準(zhǔn)確率有所不同,甚至產(chǎn)生了較大的差異,這一現(xiàn)象在四分類的SEED-IV 數(shù)據(jù)集上尤為明顯。針對(duì)這一現(xiàn)象,初步認(rèn)為其原因可能為如下三點(diǎn)。
第一,數(shù)據(jù)集中數(shù)據(jù)分布不均,使EEGNet 網(wǎng)絡(luò)在學(xué)習(xí)的過程中難以收斂,模型欠擬合。
第二,部分受試者之間存在著較大的個(gè)體差異性,使得模型在其對(duì)應(yīng)測(cè)試集上的泛化能力較差,預(yù)測(cè)準(zhǔn)確率低。
第三,對(duì)SEED-IV 數(shù)據(jù)集進(jìn)行預(yù)處理時(shí),由于對(duì)大量數(shù)據(jù)進(jìn)行過濾和裁剪,對(duì)數(shù)據(jù)集中部分?jǐn)?shù)據(jù)的特征在一定程度上造成了破壞,導(dǎo)致對(duì)模型的訓(xùn)練造成影響。
綜上所述,EEGNet 作為適合處理時(shí)序信號(hào)的緊湊型卷積神經(jīng)網(wǎng)絡(luò)在SEED 和SEED-IV 數(shù)據(jù)集上表現(xiàn)出了良好的分類能力,在數(shù)據(jù)量有限的情況下也表現(xiàn)出了良好的識(shí)別能力和健壯性。
本次實(shí)驗(yàn)設(shè)計(jì)的方法仍存在一定的局限性,在實(shí)驗(yàn)中所遇到的部分現(xiàn)象仍有待進(jìn)一步設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。例如,考慮到受試者之間的差異,僅對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行受試者間分類(Cross-Subject Classification),而忽略同一受試者自身在不同情緒上的差異性。這需要更改數(shù)據(jù)集的劃分方式,進(jìn)行受試者內(nèi)分類(Within-Subject Classification),開展進(jìn)一步的研究。另外,由于參與本次實(shí)驗(yàn)的SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集間在數(shù)據(jù)格式上存在一定程度上的差異,因此在訓(xùn)練前對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)對(duì)實(shí)驗(yàn)變量的控制存在一定的不合理之處。
針對(duì)腦電情緒識(shí)別任務(wù),對(duì)一種緊湊型的、適用于基于腦電信號(hào)的腦機(jī)接口范式的卷積神經(jīng)網(wǎng)絡(luò)EEGNet 模型進(jìn)行了研究。該模型在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了深度卷積和可分離卷積機(jī)制,因此得以更加有效地處理時(shí)序信息中的相關(guān)特征。實(shí)驗(yàn)圍繞SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集中的單模態(tài)腦電數(shù)據(jù)對(duì)EEGNet 進(jìn)行了訓(xùn)練和測(cè)試,對(duì)EEGNet 網(wǎng)絡(luò)模型在基于腦電信號(hào)的情緒識(shí)別效果方面進(jìn)行了評(píng)估。EEGNet 模型在測(cè)試過程中體現(xiàn)出了良好的泛化能力,在情緒分類上取得了較高的準(zhǔn)確率。
預(yù)處理后的數(shù)據(jù)均為腦電信號(hào)經(jīng)下采樣和去噪后的原始數(shù)據(jù),未經(jīng)特征工程處理和數(shù)據(jù)增強(qiáng)處理,表明EEGNet 模型在網(wǎng)絡(luò)設(shè)計(jì)層面的合理性,通過逐通道卷積和逐點(diǎn)卷積的結(jié)合,能十分有效地從原始數(shù)據(jù)中提取到分類相關(guān)的特征,尤其是EEGNet 對(duì)輸入數(shù)據(jù)中的時(shí)序特征有著較高的依賴性,實(shí)驗(yàn)結(jié)果充分地體現(xiàn)了這一點(diǎn),這說明了EEGNet 在實(shí)踐過程中有著良好的實(shí)用性。另外,對(duì)于數(shù)據(jù)量相對(duì)較小的數(shù)據(jù)集,EEGNet 網(wǎng)絡(luò)模型同樣能保持較高的分類準(zhǔn)確率,說明其在數(shù)據(jù)量不夠充足時(shí),依然能對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行較好的擬合,在小樣本的腦電信號(hào)的分類問題上仍保持較高的健壯性。
作為卷積神經(jīng)網(wǎng)絡(luò),EEGNet 只能接受定長(zhǎng)格式的數(shù)據(jù)輸入,而SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集中所提供的腦電數(shù)據(jù)在時(shí)間維度上的格式并不是固定的,這與數(shù)據(jù)集的采集方式以及所使用的刺激密切相關(guān)。因此,在預(yù)處理數(shù)據(jù)的歸一化過程中,難免對(duì)原始數(shù)據(jù)進(jìn)行裁剪,對(duì)數(shù)據(jù)的完整性以及數(shù)據(jù)集中不同數(shù)據(jù)間的整體性造成破壞,對(duì)模型的訓(xùn)練也將產(chǎn)生一定程度的影響,甚至使得模型在特定的數(shù)據(jù)集上難以收斂。因此,EEGNet 在處理變長(zhǎng)序列信息方面仍然有較大的優(yōu)化空間,可適當(dāng)?shù)匾腩愃朴赗NN、LSTM 網(wǎng)絡(luò)等結(jié)構(gòu)的適合處理變長(zhǎng)序列的網(wǎng)絡(luò)層對(duì)輸入數(shù)據(jù)預(yù)處理后,再進(jìn)一步進(jìn)行卷積操作提取特征,但其實(shí)用性還有待設(shè)計(jì)實(shí)驗(yàn)進(jìn)行進(jìn)一步的驗(yàn)證。另外,實(shí)驗(yàn)中所使用的數(shù)據(jù)集均基于事件相關(guān)電位,僅記錄了受試者經(jīng)刺激后的腦電反應(yīng),但情緒是一個(gè)動(dòng)態(tài)的過程,因此仍存在著一定的局限性。
最后,由于EEGNet 網(wǎng)絡(luò)有著較為出色的穩(wěn)健性,其深度可分離卷積層的設(shè)計(jì)減少了它在訓(xùn)練過程中所需的參數(shù)量,使其在計(jì)算能力較弱的嵌入式設(shè)備中的應(yīng)用成為可能,而邊緣學(xué)習(xí)是當(dāng)前人工智能領(lǐng)域的熱點(diǎn)之一,EEGNet 網(wǎng)絡(luò)與邊緣設(shè)備的結(jié)合將為基于腦電信號(hào)的情緒識(shí)別任務(wù)提供更加高效、準(zhǔn)確和便捷的解決方案。
長(zhǎng)沙大學(xué)學(xué)報(bào)2023年5期