基于電子聽診器的心肺音智能診斷技術(shù)綜述

鮑超馳，徐東陽（通信作者），胡南，王智，薛燦

1 湖州市中心醫(yī)院 （浙江湖州 313000）；2 浙江大學(xué)湖州研究院（浙江湖州 313000）；3 蘇州大學(xué) （江蘇蘇州 215000）

心肺疾病是威脅人類健康的主要疾病。對(duì)于心肺疾病的前期診斷，聽診器聽診是最便捷、最重要的手段。作為醫(yī)療機(jī)構(gòu)不可或缺的基礎(chǔ)診斷儀器，聽診器自1816年發(fā)明以來鮮有發(fā)展及改變。近年來，電子聽診器依靠電子技術(shù)增加聲音放大倍數(shù)，利用信號(hào)處理技術(shù)提高聽診信號(hào)的信噪比，使聽診器的診斷效果得到大幅提升；數(shù)字化的聽診信號(hào)也帶來新的應(yīng)用場(chǎng)景，包括聽診信號(hào)的存儲(chǔ)、回放及數(shù)據(jù)管理、波形顯示及與互聯(lián)網(wǎng)結(jié)合的遠(yuǎn)程聽診等，豐富了臨床醫(yī)師的診斷手段和聽診器的應(yīng)用范圍。基于精確標(biāo)注心肺音數(shù)據(jù)庫開發(fā)的智能電子聽診器產(chǎn)品可幫助醫(yī)師進(jìn)行快速標(biāo)準(zhǔn)化的輔助診斷，解決基層醫(yī)院醫(yī)師聽診診斷能力弱的問題，甚至能使普通人擁有聽診診斷能力，實(shí)現(xiàn)聽診器的家用化；這將有助于心肺疾病的早發(fā)現(xiàn)、早診斷、早治療，從而有效降低心肺疾病的發(fā)病率和病死率?；陔娮勇犜\器的智能診斷技術(shù)主要包含3部分。（1）心肺音數(shù)據(jù)庫：種類完備、數(shù)據(jù)量豐富的心肺音數(shù)據(jù)庫有助于心肺音數(shù)據(jù)的分析并基于人工智能診斷技術(shù)進(jìn)行發(fā)展；（2）心肺音聲學(xué)前端信號(hào)處理技術(shù)：電子聽診器的使用場(chǎng)景可能受到環(huán)境噪音干擾、心音和肺音混合的影響，而提升信號(hào)質(zhì)量可顯著提升人工智能病癥的診斷效果；（3）心肺音AI 聽診技術(shù)：采用常規(guī)聽診技術(shù)一般需通過醫(yī)師的經(jīng)驗(yàn)進(jìn)行判斷，即使是對(duì)于同一個(gè)患者，不同醫(yī)師的聽診結(jié)果也可能不同；通過心肺音大數(shù)據(jù)和專業(yè)超聲醫(yī)師復(fù)核的標(biāo)簽信息，利用人工智能技術(shù)，可消除醫(yī)師個(gè)體差異，獲得更準(zhǔn)確的診斷結(jié)果。本研究介紹了基于電子聽診器的心肺音智能診斷中存在的技術(shù)問題，從心肺音數(shù)據(jù)庫、前端聲信號(hào)處理技術(shù)及人工智能診斷技術(shù)3方面進(jìn)行綜述，并對(duì)未來心肺音智能診斷技術(shù)的研究方向進(jìn)行了展望。

1 心肺音公開數(shù)據(jù)庫

利用電子聽診器對(duì)特定的心血管疾病或呼吸道疾病進(jìn)行自動(dòng)分析研究，需有相應(yīng)的心肺音數(shù)據(jù)支持。關(guān)于心音數(shù)據(jù)庫，目前應(yīng)用最廣泛的是PhysioNet 數(shù)據(jù)庫中的2016心音分類挑戰(zhàn)數(shù)據(jù)庫[1]，其由5個(gè)數(shù)據(jù)庫組成，共包括3 126段心音記錄，持續(xù)時(shí)間為5～120 s，但所有心音記錄僅分為2種類型：正常和異常心音記錄，并未針對(duì)異常心音記錄提供更具體的分類。另一個(gè)規(guī)模較大的公開心音數(shù)據(jù)庫是PASCAL 心音分類挑戰(zhàn)數(shù)據(jù)庫[2]，包含2個(gè)數(shù)據(jù)集，其中數(shù)據(jù)集A 包括176段數(shù)據(jù)，分為正常、雜音、額外心音和偽跡4類；數(shù)據(jù)集B 包括656段數(shù)據(jù)，分為正常、雜音和早搏3類。INTERSPEECH 2018計(jì)算機(jī)輔助語言學(xué)大賽發(fā)布了深圳心音數(shù)據(jù)庫（HSSDB）[3]，其中包括來自170個(gè)不同被試的845條錄音，記錄了來自冠心病、心律失常、心臟瓣膜病、先天性心臟病等患者的心音數(shù)據(jù)，但不包括任何病理元數(shù)據(jù)，其標(biāo)記僅分為3類：正常、輕度異常、中度/重度異常。除此之外，還有一些包含零星病例、用于臨床教學(xué)的在線或隨書CD 數(shù)據(jù)庫，如密歇根心音與雜音開放數(shù)據(jù)庫（OMHSML）[4]、心臟雜音心臟聽診數(shù)據(jù)庫（eGeneralMedical）[5]、Thinklabs 心音數(shù)據(jù)庫[6]、生物科學(xué)正常/異常心音數(shù)據(jù)庫（BHSD）[7]等。

關(guān)于肺音信號(hào)，近年來使用最廣泛、最大的肺音數(shù)據(jù)庫為生物醫(yī)學(xué)與健康信息國際會(huì)議（ICBHI）提供的ICBHI 呼吸音識(shí)別2017挑戰(zhàn)數(shù)據(jù)庫[8]，包括從126名被試者身上采集的920段肺音數(shù)據(jù)，其中有26名正常被試者、6例肺炎患者、6例支氣管炎患者、7例支氣管擴(kuò)張癥患者、1例哮喘患者、64例慢阻肺患者、14例上呼吸道感染患者和2例下呼吸道感染患者。除此之外，還有一些包含零星病例的、用于臨床教學(xué)的數(shù)據(jù)庫，如R.A.L.E[9]、East Tennessee State University repository[10]、Littmann repository[11]等。

上述心肺音數(shù)據(jù)庫的現(xiàn)狀表明，業(yè)界已開始基于電子聽診器的心肺疾病輔助診斷研究，并嘗試構(gòu)建相應(yīng)的心肺音數(shù)據(jù)庫，但仍存在諸多問題：（1）可用的公開數(shù)據(jù)庫非常匱乏，導(dǎo)致信號(hào)處理與人工智能領(lǐng)域的研究難以充分施展；（2）數(shù)據(jù)庫中數(shù)據(jù)的多樣性較差，未充分考慮不同環(huán)境、人群的心肺音收集；（3）數(shù)據(jù)分類較為粗糙，大多數(shù)數(shù)據(jù)庫中類心臟或呼吸道疾病相關(guān)的心音或肺音樣本量很少或不均衡，且除ICBHI 2017數(shù)據(jù)庫外，絕少考慮多個(gè)聽診位置的數(shù)據(jù)采集。

2 心肺音聲學(xué)前端信號(hào)處理技術(shù)

電子聽診器的快速發(fā)展得益于聲傳感器、數(shù)字信號(hào)處理、集成電路及物聯(lián)網(wǎng)技術(shù)的快速發(fā)展。電子聽診器系統(tǒng)是通過聲學(xué)傳感器采集心肺信號(hào)，易受環(huán)境噪聲、干擾及心音和肺音混合的影響，需要前端聲信號(hào)處理實(shí)現(xiàn)噪聲抑制、心肺音分離和心肺音分割等功能。

Jatupaiboon 等[12]的研究表明，利用最小均方（least mean square，LMS）自適應(yīng)濾波的方法可實(shí)現(xiàn)電子聽診器背景噪聲的消除。Hall 等[13]利用可變步長LMS 自適應(yīng)濾波算法消除了電子聽診器背景噪聲。Emmanouilidou 等[14]提出了一種多頻帶自動(dòng)去噪算法，在去噪的同時(shí)，兼顧了肺音信號(hào)質(zhì)量，并在實(shí)際診室場(chǎng)景中進(jìn)行了測(cè)試。然而，由于某些聽診位置會(huì)不可避免地出現(xiàn)心音與肺音交疊的情況，故要實(shí)現(xiàn)對(duì)心音或肺音的分析，需研究心肺音分離算法。Pourazad 等[15]將獨(dú)立成分分析（Independent component analysis，ICA） 方 法應(yīng)用于心肺音的分離任務(wù)，其基于心肺音的時(shí)頻譜進(jìn)行ICA，在得到分離后各源的時(shí)頻譜后，進(jìn)行逆短時(shí)傅里葉變換，得到心音與肺音的時(shí)序信號(hào)。Chien 等[16]提出直接將ICA 用于心肺音的混合時(shí)序信號(hào)，省去了時(shí)頻譜的正逆變換過程。Tsalaile 等[17]提出利用肺音和心音信號(hào)的時(shí)間相關(guān)性及心音信號(hào)的準(zhǔn)平穩(wěn)性，以近似聯(lián)合對(duì)角化（approximate joint diagonalization，AJD）算法的二階統(tǒng)計(jì)量進(jìn)行盲源提取心音與肺音。Ayari 等[18]將自適應(yīng)濾波技術(shù)應(yīng)用于心肺音的分離，包括構(gòu)建自適應(yīng)濾波組合；該自適應(yīng)濾波技術(shù)本質(zhì)上是從SG 濾波器和FIR 濾波器中導(dǎo)出的，其系數(shù)與來自混合聲音的特征相關(guān)。Shah 等[19]將非負(fù)矩陣分解（nonnegative matrix factorization，NMF）用于心肺音的盲信號(hào)分離（blind signal separation，BSS），其優(yōu)點(diǎn)是只需要單輸入通道，而其他BSS 一般都需要多通道輸入。最后，要實(shí)現(xiàn)對(duì)心音數(shù)據(jù)或肺音數(shù)據(jù)的分析，需對(duì)心音或肺音進(jìn)行正確的分段。目前，研究人員關(guān)注的重點(diǎn)是心音的自動(dòng)分割問題。傳統(tǒng)方法是利用香農(nóng)能量（state entropy，SE）提取心音包絡(luò)，在該包絡(luò)的基礎(chǔ)上進(jìn)行心音分段。Sharma 等[20]先進(jìn)行小波變換處理，得到多分辨率的子帶，再對(duì)各分辨率子帶進(jìn)行希爾伯特變換（hilbert transform，HT），得到包絡(luò)數(shù)據(jù)，然后對(duì)其求二階導(dǎo)數(shù)，以尋找S1和S2的目標(biāo)點(diǎn)。Thomas 等[21]利用心音的多重分形特性來識(shí)別S1和S2，在分形后，使用高斯檢驗(yàn)去除多余的基本分量，然后用HT 得到包絡(luò)信息，識(shí)別S1和S2。Springer 等[22]從概率模型的角度出發(fā)，使用隱半馬爾可夫模型（hidden semi-Markov model，HSMM），進(jìn)一步提高了心音周期的分割性能。

從上述前端聲信號(hào)處理技術(shù)的發(fā)展現(xiàn)狀可見，現(xiàn)有的電子聽診器聲學(xué)前端信號(hào)處理技術(shù)還存在3方面缺陷：（1）由于質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的缺失，各電子聽診器的產(chǎn)品信號(hào)質(zhì)量、信號(hào)消噪與心肺音分離算法性能無法進(jìn)行有效對(duì)比；（2）由于合乎標(biāo)準(zhǔn)的分型數(shù)據(jù)庫缺失，現(xiàn)有前端聲信號(hào)處理算法都是基于正常被試的心肺音設(shè)計(jì)的，其在實(shí)際心肺病癥聽診應(yīng)用場(chǎng)合中的效果不明，對(duì)不同病癥的普適性可能較差；（3）前端聲信號(hào)處理算法并未與后續(xù)AI心肺疾病輔助診斷算法聯(lián)合使用，導(dǎo)致其改善信號(hào)質(zhì)量、劃分信號(hào)范圍的作用未能體現(xiàn)在最終信號(hào)的分類效果上。

3 心肺音AI 聽診技術(shù)

通過AI 技術(shù)實(shí)現(xiàn)心肺疾病的輔助診斷是電子聽診器研究的終極目標(biāo)。目前，在心肺疾病的AI輔助診斷中，絕大多數(shù)的電子聽診器仍是基于公共數(shù)據(jù)庫或自采數(shù)據(jù)的小樣本研究，與商用差距較大，下面將分別回顧心音識(shí)別與肺音識(shí)別的研究現(xiàn)狀。

在心音的自動(dòng)分類研究中，Divaakar 等[23]從頻率角度出發(fā)，在低通濾波之后計(jì)算多尺度頻率分析值，并根據(jù)該值大小區(qū)分正常心音與含雜心音。而Hamidah 等[24]使用預(yù)處理（下采樣、濾波、EMD）聯(lián)合SE 提取包絡(luò)與峰值檢測(cè)提取相關(guān)特征（包括峰值頻率、峰值間隔、峰值持續(xù)時(shí)間、總功率、振幅），并聯(lián)合上述特征，經(jīng)閾值篩選進(jìn)行異常心音的分類。Yadav 等[25]聯(lián)合傅里葉變換的均值、最大值與倒譜變換的平均值，以支持向量機(jī)（support vector machines，SVM）作為分類器完成分類任務(wù)。人工神經(jīng)網(wǎng)絡(luò)（artificial meural network，ANN）是繼傳統(tǒng)機(jī)器學(xué)習(xí)后又一個(gè)發(fā)展迅速且應(yīng)用廣泛的研究方向，前期以多層感知器等較淺層的網(wǎng)絡(luò)為主[26-28]。Saputra 等[26]將WD 與自回歸功率譜密度（autoregressive power spectral density，AR-PSD）相結(jié)合，用于提取特征，再將該特征輸入ANN 進(jìn)行分類，在測(cè)試了13種異常心音數(shù)據(jù)后，成功分類11種。Suseno 等[27]利用WT 提取心音周期的信號(hào)特征，包括整流、取包絡(luò)、微分和設(shè)閾值等過程，然后將該特征輸入3層ANN 進(jìn)行自動(dòng)診斷。Coskun 等[28]以MFCCs 為特征，也取得了不錯(cuò)的效果。隨著對(duì)神經(jīng)網(wǎng)絡(luò)的不斷探索，淺層的全連接網(wǎng)絡(luò)已不能滿足研究人員的需求，具有局部連接、共享權(quán)值等優(yōu)點(diǎn)的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）被應(yīng)用于心音的自動(dòng)分析中。Wibawa 等[29]及Chen 等[30]將PCG 信號(hào)的二維時(shí)頻譜作為特征輸入CNN，均取得了不錯(cuò)的效果。Nassralla 等[31]聯(lián)合多種特征（包括時(shí)域特征、R 模型特征、頻域特征、MFCCs、小波熵和功率譜），再利用隨機(jī)森林進(jìn)行分類，具有處理多輸入大數(shù)據(jù)的優(yōu)勢(shì)。

在肺音的自動(dòng)分類研究中，目前主要的分析手段包括經(jīng)驗(yàn)規(guī)則、基于特征計(jì)算的常規(guī)模式分類及深度學(xué)習(xí)分類。經(jīng)驗(yàn)規(guī)則主要通過提取各種類型的附加呼吸音特征，進(jìn)行目標(biāo)信號(hào)的檢測(cè)，往往還需設(shè)置經(jīng)驗(yàn)閾值來實(shí)現(xiàn)檢驗(yàn)。Emmanouilidou 等[32]提取了一種時(shí)頻特征，并將SVM 作為分類器，在一個(gè)包含1 157例1～59個(gè)月兒童肺炎患者/正常被試的未公開數(shù)據(jù)庫中，獲得86.7%的分類精度。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員也將這項(xiàng)技術(shù)用于肺音分類工作中。Vaityshyn 等[33]2018年使用CNN 對(duì)支氣管肺系統(tǒng)疾病進(jìn)行分類，將肺音轉(zhuǎn)化為光譜圖進(jìn)行訓(xùn)練與識(shí)別，其訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集的準(zhǔn)確性分別為0.78和0.80；并在2019年采用ResNet、InceptionV3、MobileNetV2 3種改進(jìn)版CNN 對(duì)5種肺部疾?。òㄏ⒅夤苎?、肺炎、塵肺病、COPD）和健康肺進(jìn)行自動(dòng)診斷[34]，基于一個(gè)包括167例患者的數(shù)據(jù)庫，準(zhǔn)確度與之前經(jīng)典CNN 相比有所提高。Shi 等[35]提出一種基于遷移學(xué)習(xí)的VGGish-BiGRU 肺音識(shí)別算法，該算法將VGGish 網(wǎng)絡(luò)與雙向門控遞歸單元神經(jīng)網(wǎng)絡(luò)（bidirectional gated recurrent unit，BiGRU）相結(jié)合，基于一個(gè)包括386段肺音（其中，120段正常、156段肺炎、108段哮喘）的非公開數(shù)據(jù)庫，有效提高了肺音特別是哮喘對(duì)應(yīng)肺音的識(shí)別精度。近期，Shuvo 等[36]提出一種結(jié)合EMD 與連續(xù)小波變換（continue wavelet transform，CWT）特征的輕量CNN 結(jié)構(gòu)，基于ICBHI 肺音數(shù)據(jù)庫獲得了較高的三分類與六分類肺音識(shí)別精度。

不過，上述針對(duì)AI 心肺音分類方法的研究未得到大樣本數(shù)據(jù)庫的支持，且訓(xùn)練和分類標(biāo)準(zhǔn)極不合理，其中包括以下3方面問題： （1）由于訓(xùn)練數(shù)據(jù)的缺失，目前的分類結(jié)果較為粗糙，如將肺音簡單分為正常肺音、喘鳴音和濕啰音3類，將心音簡單分為正常心音與異常心音2類等，且還不能給出具體病癥的診斷； （2）所用的訓(xùn)練數(shù)據(jù)是在安靜環(huán)境或身體平靜狀態(tài)時(shí)錄制的，通過手動(dòng)分割心音和肺音，未考慮實(shí)際使用過程中的環(huán)境噪聲、心肺音混合情況； （3）由于數(shù)據(jù)不足，訓(xùn)練集和測(cè)試集數(shù)據(jù)來自同一被試、同一段數(shù)據(jù)的情況很常見，導(dǎo)致這些分類結(jié)果并不能真實(shí)評(píng)價(jià)實(shí)際分類效果。

4 總結(jié)與展望

回顧心肺音智能診斷技術(shù)研究工作可見，目前的研究尚停留在較初級(jí)階段，距離產(chǎn)品化目標(biāo)較遠(yuǎn)，主要問題包括以下3方面：（1）可用的公開心肺音數(shù)據(jù)庫資料匱乏、數(shù)據(jù)的多樣性較差、數(shù)據(jù)分類較為粗糙；（2）心肺音信號(hào)處理易被忽視，針對(duì)異常聽診信號(hào)的效果未得到合理驗(yàn)證，且未在最終分離效果上有所體現(xiàn)；（3）人工智能分類方法缺少大數(shù)據(jù)支持，且訓(xùn)練和分類標(biāo)準(zhǔn)不合理，存在重復(fù)使用同一被試數(shù)據(jù)的情況，導(dǎo)致分類結(jié)果不能真實(shí)評(píng)價(jià)實(shí)際分類效果。而未來心肺音智能診斷技術(shù)的發(fā)展趨勢(shì)主要包括以下3個(gè)方面：（1）種類完備、數(shù)據(jù)豐富的心肺音數(shù)據(jù)庫將是未來的研究方向，建立完備的分型心肺音數(shù)據(jù)庫不僅有利于逐步提高人工智能輔助聽診的準(zhǔn)確性，還能為臨床科研提供依據(jù)，提高醫(yī)師對(duì)心肺音的認(rèn)知和診斷水平；（2）心肺音聲學(xué)前端處理技術(shù)將聚焦電子聽診器在實(shí)際使用場(chǎng)景中的適用性問題，并與心肺音分離技術(shù)融合，構(gòu)建統(tǒng)一的心肺音質(zhì)量標(biāo)準(zhǔn)；（3）AI 心肺音分類技術(shù)利用完備的分型心肺音數(shù)據(jù)庫，采用更合理的數(shù)據(jù)方案，將實(shí)現(xiàn)更精確的分類效果，對(duì)心肺疾病進(jìn)行有效的輔助診斷。