基于CNN-LSTM網(wǎng)絡(luò)的睡眠分期研究

張秀麗，夏 斌

(上海海事大學(xué), 上海 201306)

基于CNN-LSTM網(wǎng)絡(luò)的睡眠分期研究

張秀麗，夏 斌

(上海海事大學(xué), 上海 201306)

睡眠分期是睡眠數(shù)據(jù)分析的基礎(chǔ)，用自動(dòng)標(biāo)定方法來替代人工標(biāo)定方法可以提高效率，結(jié)果也更為客觀。不管是人工手動(dòng)標(biāo)定還是自動(dòng)標(biāo)定都是基于多導(dǎo)睡眠圖(Polysomnography，PSG)。采用長短時(shí)記憶模型(LSTM-RNN)及長短時(shí)記憶模型與卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合的模型(CNN-LSTM)對三個(gè)通道信號(EEG、EOG、EMG)的組合進(jìn)行自動(dòng)睡眠分期研究。通過對9個(gè)受試數(shù)據(jù)進(jìn)行分析，LSTM-RNN和CNN-LSTM分別達(dá)到了81.9%和83.1%的分類準(zhǔn)確率。相對于LSTM-RNN模型，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的CNN-LSTM模型獲得的分期準(zhǔn)確率更高，平均準(zhǔn)確率提高了1.2%。

長短時(shí)記憶模型；卷積神經(jīng)網(wǎng)絡(luò)； 睡眠自動(dòng)分期

0 引言

睡眠作為生命中所必需的過程，是機(jī)體復(fù)原、整合和鞏固記憶的重要環(huán)節(jié)，是健康不可或缺的組成部分。對睡眠進(jìn)行合理的分期，是研究睡眠質(zhì)量、診斷睡眠疾病的基礎(chǔ)。根據(jù)Rechtchaffen和Kales在1968年提出的R&K睡眠分期規(guī)則，睡眠過程可分為覺醒期(Awake)、非快速眼動(dòng)睡眠期(NREM)和快速眼動(dòng)睡眠期(REM)[1],非快速眼動(dòng)包括四個(gè)階段:S1～S4。由于S3和S4有非常相似的特點(diǎn), 美國睡眠醫(yī)學(xué)學(xué)會(huì)(American Academy of Sleep Medicine)將其組合成深度睡眠(慢波睡眠)階段。

早期的睡眠分期是人工標(biāo)定方法即手動(dòng)睡眠分期，但是手動(dòng)分期不僅過程復(fù)雜、繁瑣而且需要特定的專家。隨著模式識別技術(shù)的發(fā)展和國內(nèi)外專家對睡眠分期的不斷研究，他們提出了自動(dòng)分期方法，將睡眠分期與模式識別技術(shù)相結(jié)合，睡眠自動(dòng)分期方法彌補(bǔ)了人工標(biāo)定方法繁瑣耗時(shí)等不足。睡眠自動(dòng)分期方法主要有兩大類：(1)淺層學(xué)習(xí)：在1992年Roberts[2]等人將人工神經(jīng)網(wǎng)絡(luò)首次應(yīng)用到睡眠分期研究領(lǐng)域，為睡眠分期開啟了新篇章。20世紀(jì)90年代，支持向量機(jī)[3](Support Vector Machine，SVM)、Boosting[4]、最大熵方法[5](如Logistics Regression, LR)等淺層學(xué)習(xí)算法相繼被提出。(2)深度學(xué)習(xí)：深度學(xué)習(xí)的概念起源于人工神經(jīng)網(wǎng)絡(luò)，含有多層感知器，具有優(yōu)異的特征學(xué)習(xí)能力，可以通過低層特征形成更抽象更本質(zhì)的高層特征，在訓(xùn)練過程中通過無監(jiān)督學(xué)習(xí)逐層初始化解決了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練難的問題。如深度置信網(wǎng)絡(luò)[6](Deep Belief Network，DBN)。值得注意的是，睡眠數(shù)據(jù)作為時(shí)序信號，睡眠分期為了達(dá)到更佳的效果要考慮到信號前后信息之間的時(shí)序相關(guān)性，而LSTM-RNN可以更好地挖掘睡眠序列時(shí)間信息，所以本文中采用LSTM-RNN。近些年CNN也廣泛地被應(yīng)用于語音識別和語音處理等領(lǐng)域。在2011年Cecotti[7]等人將CNN應(yīng)用于基于腦電信號的P300研究中，而且也有將CNN與LSTM結(jié)合處理時(shí)序性序列的案例，如將CNN-LSTM應(yīng)用于電影的分類，最終得到的準(zhǔn)確率達(dá)到84.98%。基于以上的研究成果，本文采用CNN與LSTM相結(jié)合的方式來對多通道的睡眠數(shù)據(jù)進(jìn)行分期研究，CNN的局部感知特性不僅可加快運(yùn)算速度，而且可以提高運(yùn)算精度，本文將CNN-LSTM的結(jié)果與LSTM-RNN的結(jié)果做對比，驗(yàn)證CNN的這一特性是否對分類結(jié)果有改善。

1 方法概述

1.1長短時(shí)記憶遞歸神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)

長短時(shí)記憶遞歸神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory Recurrent Neural Network,LSTM-RNN)是遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的改進(jìn)模型，在1997年為了解決梯度消失的問題，Hochreiter和Schmidhuber提出了長短時(shí)記憶模型(LSTM)[8]。長短時(shí)記憶法模型(LSTM)類似于標(biāo)準(zhǔn)的含有遞歸隱藏層的網(wǎng)絡(luò)，僅有的變化是使用記憶模塊代替原有的隱藏層單元，通過記憶細(xì)胞內(nèi)部狀態(tài)的自反饋和輸入輸出對誤差的截?cái)?，解決梯度消失和激增的問題。但是傳統(tǒng)的LSTM雖然可以利用遠(yuǎn)距離的信息，但是如果一個(gè)序列長度過長，細(xì)胞內(nèi)部狀態(tài)Sc會(huì)無限制增長，致使輸出函數(shù)h會(huì)達(dá)到飽和，飽和會(huì)使h的導(dǎo)數(shù)消失，因此會(huì)導(dǎo)致細(xì)胞失去記憶功能。在2000年Gers和Schmidhuber提出了遺忘門[9]，遺忘門類似于輸入輸出門，可以學(xué)習(xí)是否保留隱層節(jié)點(diǎn)存儲(chǔ)的歷史信息。如果是1則保留，是0則清空。此外，他們還提出了窺孔連接[10]。改進(jìn)后的LSTM記憶模塊如圖1所示。

圖1 包含遺忘門的記憶模塊

在本文中，采用的就是這種包含遺忘門的記憶模塊，為了更好地聯(lián)系序列前后的關(guān)系，采用雙層LSTM網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)圖如圖2所示。

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

圖中TimeDistributedDense層是一個(gè)基于時(shí)間維度的全連接層，主要用來構(gòu)建RNN，輸入數(shù)據(jù)的格式為：(nb_sample,time_steps,input_dim)，其中nb_sample表示每次訓(xùn)練的樣本數(shù)，因?yàn)楸疚闹忻看我粋€(gè)序列用于訓(xùn)練，每次nb_sample均為1。time_steps表示當(dāng)前輸入序列的長度，input_dim為輸入的特征維度。輸出為(nb_sample,time_steps,output_dim)，其中output_dim為輸出的特征維度。第一層的單元數(shù)為500；結(jié)構(gòu)中共有兩層LSTM層，第一層LSTM的單元個(gè)數(shù)為200，第二層LSTM的單元個(gè)數(shù)為100。最后一層的TimeDistributedDense為輸出層，單元個(gè)數(shù)為6，這是因?yàn)楸疚淖龅氖橇诸悺?/p>

1.2卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是誤差反向傳播網(wǎng)絡(luò)(BP)的改進(jìn)。在1962年Hubel和Wiesel[11]發(fā)現(xiàn)貓腦皮層中含有一種獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，這種結(jié)構(gòu)可以非常有效地降低傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)計(jì)算的復(fù)雜性，繼而提出了CNN這一概念。

卷積神經(jīng)網(wǎng)絡(luò)的核心思想是：局部感知、權(quán)值共享以及下采樣這三種思想結(jié)合起來，獲得了某種程度的位移、尺度、形變不變性，提高了運(yùn)算速度和精度。局部區(qū)域感知，使隱藏單元與輸入單元的部分相連接而不是全連接，減少了全連接時(shí)權(quán)重計(jì)算復(fù)雜的問題。權(quán)值共享，不同的圖像或者同一張圖像共用一個(gè)卷積核，減少重復(fù)的卷積核。下采樣是指對卷積之后的特征進(jìn)行采樣，如果每個(gè)圖像的卷積向量的維數(shù)過高，特征輸入過大，分類器會(huì)出現(xiàn)過擬合，這就需要對圖像進(jìn)行池化。池化可以降低特征維度，不容易過擬合，而且可以減小圖像的規(guī)模，提升計(jì)算速率。

1.3 CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

CNN-LSTM是將LSTM-RNN中的第一層LSTM替換成CNN，CNN和LSTM結(jié)合在一起對睡眠數(shù)據(jù)進(jìn)行特征提取，先通過CNN獲取特征，再將CNN的輸出按時(shí)間順序通過LSTM，LSTM將底層CNN的輸出鏈接起來作為下一時(shí)刻的輸入。CNN-LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

采用留一驗(yàn)證的方法，在訓(xùn)練時(shí)，將9個(gè)受試的睡眠時(shí)間序列依次加入到網(wǎng)絡(luò)結(jié)構(gòu)中，每次留一個(gè)序列作為測試集，其余8個(gè)序列作為訓(xùn)練集，依次輸入8個(gè)序列，進(jìn)行8次訓(xùn)練。CNN-LSTM輸入數(shù)據(jù)的格式為(nb_sample,time_steps,input_dim)，nb_sample表示每次訓(xùn)練的樣本數(shù)，因?yàn)槊看沃挥幸粋€(gè)序列用于訓(xùn)練，所以每次nb_sample均為1。time_steps表示當(dāng)前輸入序列的長度，每個(gè)序列含有不同數(shù)目的時(shí)間步長，具體如表1所示。input_dim為輸入的特征維度。第一層TimeDistributedDense的單元數(shù)為500；第二層CNN層的隱層單元個(gè)數(shù)為200，卷積核的維度為1，池化的維度為1；第三層LSTM的單元個(gè)數(shù)為100。最后一層的TimeDistributedDense為輸出層，單元個(gè)數(shù)為6。

表1 9個(gè)受試睡眠序列的長度

2 實(shí)驗(yàn)數(shù)據(jù)

本文用到的實(shí)驗(yàn)數(shù)據(jù)是由德國圖賓根大學(xué)在2014年采集的。數(shù)據(jù)集來自9個(gè)健康受試、平均年齡在23.50±3.76之間的成年人，其中包含3名女性和6名男性。所有受試都無吸煙、酗酒等不良嗜好。受試保持規(guī)律的作息時(shí)間，并且要求在實(shí)驗(yàn)當(dāng)天和試驗(yàn)前3天禁止喝咖啡和含有酒精等刺激性飲料。

本文中使用的數(shù)據(jù)集包括9個(gè)PSG。使用的數(shù)據(jù)包含一導(dǎo)EEG、一導(dǎo)EOG和一導(dǎo)EMG,信號的采樣率均為500 Hz。所有受試者的時(shí)序圖均由專家基于R&K準(zhǔn)則進(jìn)行人工標(biāo)定，對每30 s采集的數(shù)據(jù)進(jìn)行標(biāo)注，0～5分別代表AWAKE、S1、S2、S3、S4、REM睡眠時(shí)期。由于本文做的是6類分期，所以只保留此6個(gè)睡眠狀態(tài)的數(shù)據(jù)，最后得到8 810個(gè)30 s的數(shù)據(jù)。數(shù)據(jù)需要做預(yù)處理：(1)將數(shù)據(jù)進(jìn)行快速傅里葉變換；(2)進(jìn)行濾波，對于EEG和EOG信號取0.5～35 Hz之間的頻域數(shù)據(jù)，EMG信號取35～100 Hz頻域之間的數(shù)據(jù)；(3)將數(shù)據(jù)進(jìn)行歸一化。6類睡眠時(shí)期比例如表2。

表2 6類睡眠時(shí)期比例表

3 試驗(yàn)方法

實(shí)驗(yàn)中使用兩種策略來實(shí)現(xiàn)睡眠自動(dòng)分期，即LSTM-RNN和CNN-LSTM。在本文所采用的CNN-LSTM結(jié)構(gòu)如圖3，第一層TimeDistributedDense是一個(gè)全連接層，單元數(shù)為500；第二層CNN層的隱藏單元個(gè)數(shù)為200，卷積核的維度為1，池化的維度為1；第三層LSTM隱藏層單元數(shù)為100，batchsize=1;第四層TimeDistributedDense是一個(gè)全連接層的輸出，單元數(shù)為6。學(xué)習(xí)率設(shè)定為0.001，迭代次數(shù)為20。

有一系列的研究工作只是把EEG信號作為睡眠分期研究對象，并且指出EEG中包含有各個(gè)睡眠狀態(tài)的信息。為了提高準(zhǔn)確率，通常會(huì)加入其他電生理信號，包括EMG和EOG信號。本文采用的是三通道(EEG、EOG、EMG)的數(shù)據(jù)組合，因?yàn)檫@3個(gè)數(shù)據(jù)的維度分別為2 070、5 055、6 090，在將數(shù)據(jù)進(jìn)入到網(wǎng)絡(luò)模型之前要對數(shù)據(jù)進(jìn)行PCA降維得到低維的數(shù)據(jù)。輸入數(shù)據(jù)是經(jīng)過轉(zhuǎn)換的頻域數(shù)據(jù)，頻域范圍分別為0.5～35 Hz和35～100 Hz。為了驗(yàn)證該方法的分類性能,采用留一驗(yàn)證方法，將兩種策略得到的結(jié)果進(jìn)行對比。

4 實(shí)驗(yàn)結(jié)果

9個(gè)受試的分類準(zhǔn)確率如圖4所示。其中，LSTM的平均分類準(zhǔn)確率為81.9%，CNN-LSTM的平均分類準(zhǔn)確率為83.1%，顯示CNN-LSTM在所有數(shù)據(jù)中優(yōu)于LSTM，平均準(zhǔn)確率提高了1.2%。由表3可知，在子類分類準(zhǔn)確率上，兩種網(wǎng)絡(luò)結(jié)構(gòu)均在AWAKE、S2、S4和REM這四類獲得了較高的分類準(zhǔn)確率。除了S4和REM，CNN-LSTM網(wǎng)絡(luò)的準(zhǔn)確率都優(yōu)于LSTM網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率。

圖4 9個(gè)受試的分類準(zhǔn)確率柱狀圖

算法模型子類準(zhǔn)確率/%AWAKES1S2S3S4REMLSTM-RNN53.9530.8887.7738.8990.9192.75CNN-LSTM60.5554.5493.4945.4989.0990.29DBN36.032.0387.3521.7073.8172.12

本文研究了基于三個(gè)通道的長短時(shí)記憶模型(LSTM-RNN)和CNN-LSTM模型的睡眠自動(dòng)分期。與文獻(xiàn)[13-15]中DBN、SVM算法的結(jié)果相比較，結(jié)果顯示，LSTM-RNN和CNN-LSTM方法實(shí)現(xiàn)了較高準(zhǔn)確率的睡眠分期，并且實(shí)現(xiàn)了6分類。使用三個(gè)通道信號進(jìn)行睡眠分期研究，CNN-LSTM和LSTM-RNN得到的結(jié)果顯示，準(zhǔn)確率雖然近似，但是CNN-LSTM的平均準(zhǔn)確率相對較高，子類的結(jié)果顯示，兩種網(wǎng)絡(luò)結(jié)構(gòu)均在AWAKE、S2、S4和REM這四類獲得了較高的準(zhǔn)確率，S1和S3的準(zhǔn)確率較低。其中各子類的準(zhǔn)確率只有S4和REM的CNN-LSTM準(zhǔn)確率低于LSTM-RNN的準(zhǔn)確率，這說明不同睡眠時(shí)期的生理電信號之間存在相似性，導(dǎo)致了睡眠分期存在不確定性。

其中，在子類分類準(zhǔn)確率上，多通道信號中為了去除冗余信息采用PCA進(jìn)行降維，會(huì)導(dǎo)致信息的丟失，所以子類分類準(zhǔn)確率沒有太大的提高。其中子類準(zhǔn)確率的高低受到子類在總數(shù)據(jù)所占比例的影響，占據(jù)的比例越高，所獲得的分類準(zhǔn)確率相對越高，反之越低。

5 結(jié)論

本文采用CNN-LSTM和LSTM-RNN方法進(jìn)行了多通道的整體睡眠分期對比研究，分別獲得了83.1%和81.9%的準(zhǔn)確率，CNN-LSTM的平均分期效果優(yōu)于LSTM-RNN。

[1] RECHTSCHAFFEN A,KALES A. A manual of standardized terminology,techniques and scoring system for sleep stages of human subjects[M].Los Angeles:Brain Information Service/Brain Research Institute，1977.

[2] ROBERTS S,TARASSENKO L. New method of automated sleep quantification[J]. Medical and Biological Engeering and Computing,1992,30(5):509-517.

[3] KHALIGHI S, SOUSA T, OLIVEIRA D, et al. Efficient feature selection for sleep staging based on maximal overlap discrete wavelet transform and SVM[C]. Engineering in Medicine and Biology Society, EMBC, 2011 Annual International Conference of the IEEE. IEEE,2011:3306-3309.

[4] MASON L, BAXTER J, BARTLETT P, et al. Boosting algorithms as gradient descent[J]. Advances in Neural Information Processing Systems, 2000,12(10):512-518.

[5] LIU F, JENSSEN T K, NYGAARD V, et al. FigSearch: using maximum entropy classifier to categorize biological figures[C]. IEEE Computational Systems Bioinformatics Conference,2004:476-477.

[6] WULSIN D, BLANCO J, MAIN R, et al. Semi_supervised anomaly detection for EEG waveforms using deep belief nets[C]. Machine Learning and Applications (ICMLA),2010 Ninth International Conference on. IEEE,2010:436-441.

[7] CECOTTI H,GRASER A. Convolutional neural networks for P300 detection with application to brain-computer interfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3):433-445.

[8] HOCHREITER S,SCHMIDHUBER J.Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[9] GERS F A, SCHMIDHUBER J, CUMMINS F. Learning to forget: continual prediction with LSTM[J]. Neural Computation, 2014, 12(10): 2451-2471.

[10] GERS F A, SCHMIDHUBER J. Recurrent nets that time and count[C]. Proceedings of the IEEE-INNSENNS International Joint Conference on Neural Network, 2000: 189-194.

[11] GRAVE A, SCHMIDHUBER J. Framewise phoneme classiffication with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005,18(5-6): 602.

[12] TAGLUK M E, SEZGIN N, AKIN M. Estimation of sleep stages by an artificial neural network employing EEG,EMG and EOG[J].Journal of Medical System, 2010,34(4): 717-725.

[13] 李倩云.基于深度學(xué)習(xí)的睡眠分期研究[D]. 上海:上海海事大學(xué),2015.

[14] 李倩云.基于電生理信號的睡眠模式自動(dòng)分類方法研究[D]. 上海:上海海事大學(xué),2014.

[15] 阿伯德.基于支持向量機(jī)的睡眠自動(dòng)分期研究[D]. 南京：東南大學(xué)，2013.

Sleep classification based on CNN-LSTM network

Zhang Xiuli, Xia Bin

(Shanghai Maritime University, Shanghai 201306, China)

Sleep classification is the basic step of sleep data analysis.The automatic classification method can improve the efficiency and obtain more objective result compared with manual calssification method.Automatic or manual classification of sleep stage are based on the Polysomnography (PSG) .In this paper,we employed the long short-term memory recurrent neural network (LSTM-RNN) and the long and short memory model combined with convolution neural network (LSTM-CNN) to perform automatic sleep classification with multichannel sleep data(EEG, EOG and EMG). In 9 subject’s sleep data, the classification accuracy were 81.9% and 83.1% by using LSTM-RNN and LSTM_CNN respectively. The CNN-LSTM method increased 1.2% accuracy than LSTM-RNN.

LSTM-RNN; CNN; automatic sleep classification

TP391.9

：A

10.19358/j.issn.1674- 7720.2017.17.026

張秀麗，夏斌.基于CNN-LSTM網(wǎng)絡(luò)的睡眠分期研究[J].微型機(jī)與應(yīng)用，2017,36(17)：88-91.

2017-04-14)

張秀麗(1991-)，通信作者，女，碩士研究生，主要研究方向：電子與通信工程。E-mail：1286809038@qq.com。夏斌(1975-)，男，博士，副教授，碩士生導(dǎo)師，主要研究方向：腦-機(jī)接口、云計(jì)算及人工智能。