多模態(tài)融合的特征提取方法在SA檢測中的應(yīng)用

楊 娟，滕 飛，郭大林

(1.西南交通大學(xué)唐山研究生院，河北 唐山 063000; 2.西南交通大學(xué)計算機與人工智能學(xué)院，四川 成都 611756)

0 引 言

SA作為一種常見的全身性睡眠疾病，主要特征為睡眠過程中口鼻呼吸氣流消失或明顯減弱(較基線幅度下降≥90%)，持續(xù)時間≥10 s[1]。SA是影響睡眠質(zhì)量的重要因素，會使患者出現(xiàn)白天嗜睡、記憶力下降、反應(yīng)遲鈍等癥狀，嚴(yán)重者還會引發(fā)糖尿病、心腦血管疾病，甚至引起猝死。目前睡眠呼吸暫停通常會使用多導(dǎo)睡眠圖(Polysomnography, PSG)[2]來進(jìn)行篩查，且對于成人與兒童均適用。然而這種診斷方法不僅需要患者佩戴大量的電極來進(jìn)行睡眠信號的捕捉，對監(jiān)測環(huán)境有遠(yuǎn)離電磁干擾、隔音等嚴(yán)格要求，還伴隨著高昂的費用和復(fù)雜的檢測過程，大量患者得不到及時的診斷和治療，給健康帶來了很大的危害。因此，研究一種舒適便捷的SA檢測方法具有重要意義。

1 相關(guān)工作

近年來，許多研究學(xué)者嘗試基于單導(dǎo)聯(lián)信號進(jìn)行SA自動檢測，如利用血氧飽和度[3-4]、鼾聲信號[5-7]、呼吸信號或心電信號(Electrocardiogram, ECG)。

心電信號作為SA檢測中常用的信號，主要是由于從其中衍生的RR間期信號(RR Interval, RRI)在呼吸暫停時會有周期性的變化。Song等[8]通過從心電信號中提取EDR信號和RR間期信號的時域、頻域特征，利用SVM結(jié)合隱馬爾可夫模型進(jìn)行SA檢測，識別率為86.2%。Wang等[9]提取RRI序列和R峰值序列中的多個特征，利用MLP實現(xiàn)分類，在SA片段檢測和個體SA診斷中準(zhǔn)確率分別為87.3%和97.1%。高群霞等[10]構(gòu)建了一個包含4個卷積層、4個池化層、2個全連接層和1個分類層的一維CNN網(wǎng)絡(luò)模型，通過模型自身的結(jié)構(gòu)實現(xiàn)特征自動提取與分類，在片段SA檢測上的準(zhǔn)確率、靈敏度和特異度分別是88%、85.1%和89.9%。覃恒基等[11]利用棧式稀疏自編碼器從RR間期序列中進(jìn)行特征提取，采用隱馬爾可夫模型引入片段之間的時間依賴性，再分別結(jié)合SVM和人工神經(jīng)網(wǎng)絡(luò)組成決策融合分類器，其片段識別率、敏感性和特異性分別為84.7%、88.9%和82.1%。

呼吸信號因為能直接反應(yīng)睡眠時呼吸情況的特性，也經(jīng)常被用于SA檢測。呼吸信號可以從口鼻、胸部和腹部3個不同的部位獲取，在檢測SA的研究中，可以結(jié)合多個部位獲取的呼吸信號進(jìn)行檢測，也可以從口鼻或胸部獲取的單一呼吸信號檢測。呂興鳳等[12]利用腹部呼吸信號，通過希爾伯特-黃變換(Hilbert-Huang Transform, HHT)提取16個頻域相關(guān)特征，再結(jié)合呼吸信號振幅的均值等27個時域特征，采用最佳優(yōu)先的完全搜索方法進(jìn)行特征選擇，使用RF算法進(jìn)行SA檢測，其準(zhǔn)確性、敏感性和特異性分別是95%、94.4%和96%，盡管該方法的準(zhǔn)確率較高，但方法過于繁雜，依賴于專家的先驗知識，可擴(kuò)展性較差。Haidar等[13]利用卷積神經(jīng)網(wǎng)絡(luò)將腹部呼吸信號、胸部呼吸信號和鼻氣流信號，自動學(xué)習(xí)特征并進(jìn)行分類，達(dá)到了83.5%的檢測準(zhǔn)確率。Gutiérrez-Tobal等[14]通過提取光譜特征和非線性特征，利用AdaBoost-CART集成方法，在SA檢測精度上達(dá)到了86.5%。

盡管以往的SA檢測方法已經(jīng)取得了很好的分類效果，但仍然存在一些不足：首先從單導(dǎo)聯(lián)信號中提取特征來檢測睡眠呼吸暫停綜合癥的準(zhǔn)確度相對較低，在實際使用中存在識別效果不夠理想且泛化性能不佳的情況，大大增加了誤診概率。其次，基于傳統(tǒng)機器學(xué)習(xí)方法進(jìn)行SA檢測時常依賴于專家的先驗知識，同時整個檢測過程自動化程度低，大量工作用于特征工程上導(dǎo)致效率不高。深度學(xué)習(xí)模型在進(jìn)行SA檢測時，需要大量地訓(xùn)練有標(biāo)簽的樣本，目前心電信號和呼吸信號樣本的標(biāo)注需要專業(yè)的醫(yī)生進(jìn)行，在數(shù)據(jù)量十分大的情況下，數(shù)據(jù)標(biāo)注的難度較大。

針對以上問題，本文提出一種基于時序卷積網(wǎng)絡(luò)(TCN)和堆疊稀疏降噪自編碼器(Stacked Sparse Denoismg Auto-Encoder, SSDAEs)的多模態(tài)融合模型，再結(jié)合隨機森林算法進(jìn)行SA檢測。由于自編碼器以自監(jiān)督的方式，從大量無標(biāo)簽的數(shù)據(jù)中自動學(xué)習(xí)到數(shù)據(jù)的有效特征，更加接近人類大腦思維方式，通過前向預(yù)訓(xùn)練和反向微調(diào)使其具有很好的特征自學(xué)習(xí)能力和泛化能力[15]，可大大提高特征提取的效率，同時將不同特征空間的心電信號特征和呼吸信號特征進(jìn)行融合，結(jié)合隨機森林算法提高SA的識別效果，具有更好的魯棒性。

2 SA檢測總體框架

2.1 SA檢測總體流程

基于TCN-SSDAEs-RF的多模態(tài)融合SA檢測流程如圖1所示。對于心電信號和呼吸信號2種不同的睡眠生理信號，經(jīng)過TCN-SSDAEs模型，分別對其進(jìn)行時間維度特征和深層次特征的提取，然后將這2種不同空間的特征經(jīng)過小型神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，再結(jié)合RF算法進(jìn)行分類，最終識別結(jié)果以出現(xiàn)呼吸暫停(Apnea, A)或呼吸正常(Normal, N)2類標(biāo)識輸出。

2.2 SA檢測的特征提取

2.2.1 時序卷積網(wǎng)絡(luò)(TCN)

作為收集到的原始數(shù)據(jù)，無論是心電信號還是呼吸信號，都具有典型的時間序列特性。在以往經(jīng)驗中，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)通常都是解決序列問題的最佳選擇。吳張倩等[16]研究成果表明，作為CNN家族中的一個成員，時序卷積網(wǎng)絡(luò)TCN[17]在各種領(lǐng)域的測試數(shù)據(jù)上，都得到了比傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)更為準(zhǔn)確的結(jié)果，成為新的序列數(shù)據(jù)分析方面的佼佼者。

TCN網(wǎng)絡(luò)以CNN為基礎(chǔ)，引入了適合處理序列問題的因果卷積，它首次是在WaveNet[18]提出的，結(jié)構(gòu)如圖2所示。在TCN中使用了一維全卷積網(wǎng)絡(luò)結(jié)構(gòu)的因果卷積將常規(guī)的二維卷積神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化至一維時序數(shù)據(jù)的應(yīng)用上[19]，因此可以處理同為一維時序數(shù)據(jù)的心電信號和呼吸信號。在因果卷積中當(dāng)前節(jié)點的輸出僅與上一層當(dāng)前節(jié)點的輸入、之前的輸入有關(guān)，可以反映出心電信號和呼吸信號當(dāng)前時刻的特征與過去時刻特征之間的依賴。然而因果卷積如果需要追溯更多之前節(jié)點的心電和呼吸信息，那么太多的卷積層數(shù)可能會引起訓(xùn)練困難、梯度爆炸等問題。TCN采用膨脹卷積和殘差模塊來解決該問題，膨脹卷積結(jié)構(gòu)如圖3所示，通過構(gòu)建更深層的網(wǎng)絡(luò)，提取更多的歷史心電和呼吸信息也不必?fù)?dān)心梯度消失和梯度爆炸的發(fā)生。

2.2.2 堆疊稀疏降噪自編碼器(SSDAEs)

自編碼器(Auto-Encoder, AE)[20]由編碼器和解碼器2部分組成，其主要思想是讓輸出層復(fù)現(xiàn)輸入層的數(shù)據(jù)。其結(jié)構(gòu)如圖4所示。

如果只是用單層AE對心電信號和呼吸信號進(jìn)行重構(gòu)，提取的特征非常有限，堆疊自編碼器(SAEs)可以通過增加隱藏層的數(shù)量方式，逐層訓(xùn)練，從心電和呼吸信號數(shù)據(jù)中提取出深層次特征。然而當(dāng)模型運用較大的隱藏層神經(jīng)元時，可能會產(chǎn)生過擬合的情況。堆疊稀疏自編碼器(SSAEs)通過引入稀疏懲罰項來對隱含層進(jìn)行稀疏性約束，提升自編碼器的性能，在不影響特征提取效果的基礎(chǔ)上，加快了模型的收斂，非常適用于心電和呼吸信號這種高維信號。

另一方面，心電信號和呼吸信號本身都較微弱，在采集過程中會不可避免地受到外界和人體動作影響而含有噪聲，例如工頻干擾、基線漂移、電極噪聲和肌電干擾等[21]，傳統(tǒng)方法在特征提取之前都需要對信號數(shù)據(jù)做一定的降噪處理，從而減少噪聲對SA檢測精度的影響，本文使用降噪自編碼器來達(dá)到這一目的。降噪自編碼器(Denoismg Auto-Encoder, DAE)在AE的基礎(chǔ)上，將含有噪聲的數(shù)據(jù)作為編碼器的輸入，自動編碼器必須學(xué)習(xí)去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入，使編碼器學(xué)習(xí)到的特征表達(dá)具備較強的魯棒性，從而增強模型的抗干擾能力，增加噪聲魯棒性約束。

DAE算法的噪聲處理主要有2類：一種是在數(shù)據(jù)中加入一定比例的噪聲，例如高斯白噪聲；另一種則是讓原始數(shù)據(jù)部分丟失，即按一定的概率隨機將輸入的數(shù)據(jù)置為0。

DAE的網(wǎng)絡(luò)結(jié)構(gòu)模型如圖5所示，原始信號x通過添加噪聲后得到新的輸入x1，然后使用編碼函數(shù)f對新的輸入x1進(jìn)行特征提取，h為編碼得到的特征；再利用解碼函數(shù)g將h重構(gòu)為輸出y。則堆疊稀疏降噪自編碼器的損失函數(shù)表示為：

(1)

2.2.3 基于TCN-SSDAEs的特征提取

通過對TCN與SSDAEs的介紹，本文首先對采集到的心電信號和呼吸信號加入高斯噪聲，形成干擾信號。為了不破壞信號的時序特征，先將干擾信號分別經(jīng)過TCN網(wǎng)絡(luò)來提取心電信號和呼吸信號的時序上的特征，然后利用堆疊稀疏降噪自編碼器進(jìn)行信號高維特征的自適應(yīng)提取，同時采用適應(yīng)性矩陣估計(Adam)對其權(quán)重進(jìn)行調(diào)優(yōu)，直到網(wǎng)絡(luò)達(dá)到預(yù)期效果，高層隱藏層輸出心電信號與呼吸信號高度抽象的低維特征，在這個過程中實現(xiàn)了降噪與降維。TCN-SSDAEs模型特征提取流程如圖6所示。

2.3 SA檢測的特征融合

心電信號和呼吸信號作為不同的生理信號，在同時輸入TCN-SSDAEs模型時，提取出的心電信號特征和呼吸信號特征并不處于同一個特征空間。因此，本文將2種特征信號進(jìn)行融合，提高SA的檢測效果。

在得到TCN-SSDAEs模型提取到的維度為1×9呼吸信號特征和3×3心電信號特征后，使用小型神經(jīng)網(wǎng)絡(luò)進(jìn)行特征間的映射融合，該過程如圖7所示。輸入呼吸信號的特征，經(jīng)過第1個全連接層映射并進(jìn)行變換，特征維度變?yōu)?×3，拼接心電信號的特征得到維度為3×6的向量。該向量經(jīng)過3×3×3的卷積層，得到融合后的特征進(jìn)行一維拼接，經(jīng)過第2個全連接層和Softmax激活函數(shù)后返回最終融合后的特征。

3 實驗設(shè)計與分析

3.1 實驗方法

3.1.1 數(shù)據(jù)集

本文的實驗數(shù)據(jù)來源于Physionet的Apnea數(shù)據(jù)庫[22]，每條數(shù)據(jù)的采樣時長在7 h～10 h不等，采樣頻率是100 Hz，專家對60 s片段內(nèi)是否發(fā)生了睡眠呼吸暫停進(jìn)行了標(biāo)注，N代表正常睡眠，A代表在此60 s內(nèi)發(fā)生了睡眠呼吸暫停。盡管該數(shù)據(jù)庫是一個權(quán)威的以心電信號進(jìn)行SA檢測的數(shù)據(jù)庫，但其中有8條數(shù)據(jù)(a01～a04,b01,c01～c03)還包含了采集到的呼吸信號，分別是胸部呼吸信號(Resp C)，腹部呼吸信號(Resp A)和口鼻氣流信號(Resp N)。本文選用這8條數(shù)據(jù)作為數(shù)據(jù)源，共包含4953個片段，將呼吸信號和心電信號分割成60 s長度的片段，與標(biāo)注相對應(yīng)。

3.1.2 實驗參數(shù)與評價指標(biāo)

本文實驗采用的高斯噪聲信噪比為6 dB, batch_size為64，最大訓(xùn)練輪數(shù)epoch為100。當(dāng)輸入為呼吸信號時，TCN網(wǎng)絡(luò)的輸入通道數(shù)num_inputs為3，此時呼吸信號包括口鼻流呼吸信號、胸部呼吸信號和腹部呼吸信號，當(dāng)輸入為心電信號時，其值為1，卷積核尺寸kernel_size為2, drop_out比率為0.2。Adam優(yōu)化器的學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為0.0001。SSDAEs的參數(shù)如表1所示。

表1 SSDAEs參數(shù)設(shè)置

本文使用準(zhǔn)確率、敏感性、特異性、F1分?jǐn)?shù)等指標(biāo)對實驗結(jié)果進(jìn)行評估。

1)準(zhǔn)確率Accuracy(Acc)。

(2)

2)敏感性Sensitivity (Sen)。

(3)

3)特異性Specificity(Spe)。

(4)

4)F1分值(F1-score)。

(5)

其中，TP、TN、FP和FN分別代表“真陽性”、“真陰性”、“假陽性”和“假陰性”。

3.2 實驗結(jié)果與分析

3.2.1 3組輸入對比實驗

為了驗證多模態(tài)融合的有效性，分別測試了當(dāng)輸入是心電信號、呼吸信號、心電信號和呼吸信號3種情況時，模型在SA片段檢測上的效果。采用隨機森林作為分類算法，實驗結(jié)果如表2所示。其中當(dāng)模型的輸入為單導(dǎo)聯(lián)信號時，不需要對特征進(jìn)行融合。

表2 3組不同輸入情況時的SA檢測效果對比

由表2可知，當(dāng)輸入3種不同的信號時，模型的準(zhǔn)確率在85.6%～91.5%之間，表明該模型能夠較好地從輸入信號中提取特征并進(jìn)行SA檢測。當(dāng)輸入為心電信號時，SA片段檢測的準(zhǔn)確率為85.6%，特異性為86.3%，敏感性為81.1%；當(dāng)輸入為呼吸信號時，識別準(zhǔn)確率為87.3%，特異性為89.7%，敏感性為85.7%；當(dāng)輸入為心電信號和呼吸信號時，準(zhǔn)確率達(dá)到91.5%，特異性為90.8%，敏感性為88.9%。當(dāng)輸入為心電信號和呼吸信號時，模型的準(zhǔn)確率、敏感性及特異性均高于單導(dǎo)聯(lián)信號的輸入。相較于其他2種輸入信號，在輸入為心電信號時特異性較低，這是因為心電信號的調(diào)節(jié)因素不僅僅是呼吸事件，心血管問題的存在也會對心電圖產(chǎn)生較大的影響。其他2種輸入信號的特異性相差不大，表明多模態(tài)融合的效果是有效的。

圖8展示在心電信號、呼吸信號、心電和呼吸信號3種不同的輸入情況下，不同的ROC(Receiver Operating Characteristic, ROC)曲線。該曲線與坐標(biāo)軸形成的面積越大，代表該模型的分類能力越強。由3種不同情況下的ROC曲線也可知，當(dāng)輸入為多模態(tài)信號時，分類效果是最好的。

3.2.2 不同分類算法結(jié)果對比

在SA的檢測中，選擇不同的分類器往往也會給片段識別的結(jié)果帶來很大的差異。RF作為集成學(xué)習(xí)中的一種典型方法，是由許多決策樹分類模型組成的組合分類模型。其基本思想是，每次從訓(xùn)練樣本中隨機選取部分特征來構(gòu)建獨立的決策樹，然后重復(fù)這個過程，且保證每次都是等概率地抽取特征，直到構(gòu)建了足夠多且相互獨立的樹，分類結(jié)果由這些樹通過特定的規(guī)則共同決定[23]。因此本文選擇支持向量機(Support Vector Machines, SVM)[24]、K鄰近算法(K-Nearest Neighbor, KNN)、AdaBoost、RF[25]來進(jìn)行對比試驗，選用的分類器參數(shù)如下：SVM算法使用高斯徑向基作為核函數(shù)；KNN算法中k取5，距離度量選擇歐氏距離；AdaBoost中使用CART決策樹作為基分類器，迭代次數(shù)為10；RF算法中樹的深度不限制。不同的分類算法在SA檢測上得到的效果如表3所示?？梢钥吹?，當(dāng)分類器選用隨機森林時，模型在各個評價指標(biāo)上的表現(xiàn)均最好。

表3 不同分類算法結(jié)果對比

3.2.3 與近年相關(guān)研究對比

為了進(jìn)一步驗證本文模型的有效性，與近年進(jìn)行呼吸暫停檢測的研究進(jìn)行對比，在使用同一種數(shù)據(jù)源的情況下，本文所提模型與近年較好研究的結(jié)果對比如表4所示。

表4 本文與其他研究在SA檢測效果的對比

根據(jù)表4可以看出，在使用同一數(shù)據(jù)庫的情況下，其他相關(guān)方法的SA檢測準(zhǔn)確率在83.4%～87.3%之間，本文的準(zhǔn)確率和特異性較其他方法都有一定的提升，說明本文提出的TCN-SSDAEs模型能夠很好地提取特征，進(jìn)行睡眠呼吸暫停的檢測。

4 結(jié)束語

針對SA自動檢測中傳統(tǒng)的機器學(xué)習(xí)方法提取特征步驟繁瑣、效率低下和現(xiàn)有模型多以單通道信號來提取特征，存在識別效果不夠理想、性能不佳的問題，本文將時序卷積網(wǎng)絡(luò)和堆疊稀疏降噪自編碼器應(yīng)用在SA檢測上，從時序特性和高維特性2個方面進(jìn)行特征的提取，當(dāng)輸入多通道信號時進(jìn)行不同空間特征的融合，然后結(jié)合隨機森林算法構(gòu)建SA檢測模型。實驗結(jié)果表明，本文提出的模型在多模態(tài)融合和網(wǎng)絡(luò)構(gòu)建方面都是有效的，且相較于其他研究準(zhǔn)確率更高，模型魯棒性更強。下一步工作將使用更多不平衡數(shù)據(jù)集進(jìn)行研究，進(jìn)一步提高模型的泛化能力和實際應(yīng)用價值。