基于深度神經(jīng)網(wǎng)絡(luò)的智能診斷預(yù)測(cè)模型研究*

李 民 馬良玉 姚 智

(南通市第一人民醫(yī)院(南通大學(xué)第二附屬醫(yī)院) 南通 226001)

1 引言

1.1 研究背景

臨床決策支持系統(tǒng)是指運(yùn)用相關(guān)、系統(tǒng)的臨床知識(shí)和患者基本信息及病情信息，加強(qiáng)醫(yī)療相關(guān)的決策和行動(dòng)，提高醫(yī)療質(zhì)量和服務(wù)水平的計(jì)算機(jī)應(yīng)用系統(tǒng)。其核心任務(wù)是診斷預(yù)測(cè)，其目的是根據(jù)患者歷史醫(yī)療數(shù)據(jù)預(yù)測(cè)當(dāng)前診斷[1]。為了使決策支持結(jié)論更加準(zhǔn)確，診斷預(yù)測(cè)任務(wù)需要充分有效地利用已有醫(yī)療數(shù)據(jù)，包括患者基本信息、電子病歷、病程記錄以及醫(yī)囑、檢驗(yàn)、影像、護(hù)理信息等[2-3]?，F(xiàn)有臨床決策支持系統(tǒng)大多利用機(jī)器學(xué)習(xí)分類模型對(duì)結(jié)構(gòu)化數(shù)據(jù)如患者基本信息、檢查檢驗(yàn)、醫(yī)囑等數(shù)據(jù)進(jìn)行建模，對(duì)非結(jié)構(gòu)化文本數(shù)據(jù)，主要使用基于規(guī)則的方法抽取關(guān)鍵詞進(jìn)行建模，文本數(shù)據(jù)利用率偏低[4]。能夠反映患者病情的關(guān)鍵信息主要體現(xiàn)在電子病歷、病程記錄等文本中，有效利用此類文本數(shù)據(jù)并將其與結(jié)構(gòu)化數(shù)據(jù)相結(jié)合對(duì)提高診斷預(yù)測(cè)準(zhǔn)確率意義重大[5-7]。

1.2 研究?jī)?nèi)容

為解決上述問(wèn)題，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的診斷預(yù)測(cè)框架，可以獲得電子病歷、病程記錄等醫(yī)學(xué)文本數(shù)據(jù)的深度語(yǔ)境表示，并將其與患者結(jié)構(gòu)化數(shù)據(jù)相結(jié)合，輸入到卷積神經(jīng)網(wǎng)絡(luò)分類模型中進(jìn)行預(yù)測(cè)，輸出最可能的診斷[8-9]。本文提出診斷預(yù)測(cè)框架，并針對(duì)南通市第一人民醫(yī)院(以下簡(jiǎn)稱南通一院)醫(yī)療數(shù)據(jù)構(gòu)建數(shù)據(jù)集進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明使用深度神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型對(duì)醫(yī)學(xué)文本進(jìn)行表示，結(jié)合結(jié)構(gòu)化醫(yī)療數(shù)據(jù)進(jìn)行診斷預(yù)測(cè)，較之以往方法F1值提高了13.66%，充分驗(yàn)證了本文提出的診斷預(yù)測(cè)框架的有效性和先進(jìn)性。

2 方法

2.1 結(jié)構(gòu)化數(shù)據(jù)表示

結(jié)構(gòu)化數(shù)據(jù)主要是指患者就診產(chǎn)生的基本信息、檢查檢驗(yàn)、醫(yī)囑等數(shù)據(jù)。這部分?jǐn)?shù)據(jù)存儲(chǔ)于關(guān)系數(shù)據(jù)庫(kù)中，結(jié)構(gòu)清晰，較易從中篩選特征并抽取特征向量用于診斷分類系統(tǒng)[10-12]。選取多個(gè)特征作為結(jié)構(gòu)化數(shù)據(jù)的分類特征，所有特征分為數(shù)值型和多項(xiàng)型。數(shù)值型指該維度特征值是數(shù)字，包括整形和浮點(diǎn)數(shù)；多項(xiàng)型指該維度特征值有多個(gè)可選值，見(jiàn)表1。

表1 結(jié)構(gòu)化數(shù)據(jù)特征

2.2 非結(jié)構(gòu)化數(shù)據(jù)表示

2.2.1 命名實(shí)體識(shí)別 非結(jié)構(gòu)化數(shù)據(jù)主要是指患者就診產(chǎn)生的醫(yī)學(xué)純文本，如電子病歷、病程記錄等。高效分析該部分?jǐn)?shù)據(jù)是診斷預(yù)測(cè)的關(guān)鍵。命名實(shí)體識(shí)別是一項(xiàng)序列標(biāo)注任務(wù)，該任務(wù)在給定的文本序列上預(yù)測(cè)序列中需要標(biāo)注的標(biāo)簽。使用目前最成功的語(yǔ)言模型雙向編碼器表征(Bidirectional Encoder Representations from Transformers, BERT)來(lái)識(shí)別文本中的醫(yī)學(xué)實(shí)體。其中Classification(CLS)為句子開(kāi)始標(biāo)志，輸入句子為“患者服用華法林后牙齦出血”，在BERT模型中經(jīng)過(guò)多層自注意力機(jī)制和殘差網(wǎng)絡(luò)計(jì)算，最終識(shí)別出3個(gè)實(shí)體：華法林(藥品)、牙齦(部位)、出血(癥狀)，見(jiàn)圖1。

圖1 基于BERT的醫(yī)學(xué)命名實(shí)體識(shí)別

2.2.2 關(guān)系抽取 關(guān)系抽取使用模板匹配方法。該方法利用醫(yī)學(xué)專家根據(jù)經(jīng)驗(yàn)預(yù)先定義的關(guān)系模板庫(kù)，從模板庫(kù)中對(duì)輸入文本兩個(gè)給定實(shí)體進(jìn)行上下文匹配，如果滿足模板則輸出模板對(duì)應(yīng)關(guān)系。在一個(gè)句子中，如果有兩個(gè)實(shí)體類型匹配到關(guān)系模板的實(shí)體1和實(shí)體2，則判定其存在對(duì)應(yīng)關(guān)系，見(jiàn)表2。

表2 實(shí)體關(guān)系模板

2.3 診斷分類

診斷分類的本質(zhì)是多分類任務(wù)，采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)完成最終診斷預(yù)測(cè)，見(jiàn)圖2。其中x1為個(gè)人信息、醫(yī)囑、檢驗(yàn)等結(jié)構(gòu)化數(shù)據(jù)表示矩陣，x2為電子病歷、病程記錄、檢查報(bào)告等非結(jié)構(gòu)化數(shù)據(jù)表示矩陣，X為輸入矩陣，其計(jì)算方式如下：

x=x1⊕x2

ci=f(WTxi:i+h-1+b)

c=[c1,c2,…,cn-h+1]

從隱藏層z到輸出層y，通過(guò)softmax函數(shù)計(jì)算該患者屬于每個(gè)診斷的概率，然后取概率最大的一個(gè)作為本次預(yù)測(cè)的診斷，計(jì)算方式如下：

y=softmax(W(S)z+b)

圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的診斷預(yù)測(cè)

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)中使用的數(shù)據(jù)集是在南通一院4個(gè)月的就診數(shù)據(jù)基礎(chǔ)上生成的，通過(guò)多名醫(yī)學(xué)專家進(jìn)行人工標(biāo)注，包含病程記錄和檢查報(bào)告等文檔共1 800份。本文提出的方法需要識(shí)別28類實(shí)體和32類關(guān)系。28類實(shí)體分別為：治療、檢查發(fā)現(xiàn)、檢驗(yàn)指標(biāo)、屬性值、分型、屬性值單位、部位、體征指標(biāo)、癥狀、誘因、程度、癥狀+、藥物、檢查指標(biāo)、發(fā)生時(shí)間、性質(zhì)、手術(shù)、檢查、診斷+、檢驗(yàn)、持續(xù)時(shí)間、類型、頻率、檢查描述、分期、轉(zhuǎn)歸、護(hù)理和診斷。32類關(guān)系分別為：癥狀的發(fā)生時(shí)間、診斷的發(fā)生時(shí)間、癥狀的持續(xù)時(shí)間、診斷的持續(xù)時(shí)間、癥狀的部位、診斷的部位、癥狀的程度、診斷的程度、癥狀的性質(zhì)、診斷的性質(zhì)、癥狀的頻率、診斷的頻率、癥狀的誘因、診斷的誘因、癥狀的轉(zhuǎn)歸、診斷的轉(zhuǎn)歸、診斷的類型、診斷的分期、診斷的分型、檢查發(fā)現(xiàn)的部位、檢查描述的部位、檢查的結(jié)果、檢查的描述、檢查的指標(biāo)、檢驗(yàn)指標(biāo)的值、檢查指標(biāo)的值、體征指標(biāo)的值、檢驗(yàn)指標(biāo)的單位、檢查指標(biāo)的單位、體征指標(biāo)的單位、藥物的劑量、藥物的劑量單位。

3.2 評(píng)價(jià)指標(biāo)

為驗(yàn)證本文提出框架的有效性，選擇分類模型最常用評(píng)價(jià)指標(biāo)：精確率(Precision)、召回率(Recall)和二者的調(diào)和平均值F1，計(jì)算公式如下。公式中TP指被模型預(yù)測(cè)為正的正樣本、FP指被模型預(yù)測(cè)為正的負(fù)樣本、TN指被模型預(yù)測(cè)為負(fù)的負(fù)樣本、FN指被模型預(yù)測(cè)為負(fù)的正樣本。

精確率度量分類器對(duì)某一類別預(yù)測(cè)結(jié)果的準(zhǔn)確性，對(duì)所有類別求和取均值后可以得到整體精確率。

召回率度量分類器對(duì)某一類別預(yù)測(cè)結(jié)果的覆蓋面，對(duì)所有類別求和取均值后可以得到整體覆蓋面。

調(diào)和平均值F1度量分類器對(duì)某一個(gè)類別預(yù)測(cè)結(jié)果的精確性和覆蓋面。它是精確率和召回率的調(diào)和平均值。

3.3 結(jié)果

實(shí)驗(yàn)中使用兩種方法進(jìn)行對(duì)比，第1種方法只用結(jié)構(gòu)化數(shù)據(jù)進(jìn)行診斷預(yù)測(cè)，作為本文的對(duì)比方法，記為基線方法(Baseline)；第2種方法即本文提出的方法，將結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)相結(jié)合進(jìn)行診斷預(yù)測(cè)，記為本文提出的方法(Ours)，見(jiàn)表3。根據(jù)實(shí)驗(yàn)結(jié)果，本文提出的框架在數(shù)據(jù)集上的結(jié)果與基線方法相比，精確率、召回率和F1 3個(gè)指標(biāo)均有大幅提高。其中精確率提高了14.04%，召回率提高了13.29%，F(xiàn)1值提高了13.66%，充分驗(yàn)證本文提出診斷預(yù)測(cè)框架的有效性。

表3 實(shí)驗(yàn)結(jié)果(%)

4 討論

診斷預(yù)測(cè)是臨床輔助決策系統(tǒng)的核心任務(wù)，該任務(wù)根據(jù)患者的結(jié)構(gòu)化數(shù)據(jù)(個(gè)人信息、醫(yī)囑、檢驗(yàn)等)和非結(jié)構(gòu)化數(shù)據(jù)(病程記錄、檢查報(bào)告等)預(yù)測(cè)患者診斷，是醫(yī)學(xué)研究和應(yīng)用領(lǐng)域最復(fù)雜的任務(wù)之一。然而現(xiàn)有診斷預(yù)測(cè)系統(tǒng)對(duì)非結(jié)構(gòu)化文本數(shù)據(jù)的利用率偏低，導(dǎo)致診斷預(yù)測(cè)準(zhǔn)確率有待提高。近年來(lái)深度學(xué)習(xí)技術(shù)受到廣泛關(guān)注。與傳統(tǒng)的機(jī)器學(xué)習(xí)模型需要領(lǐng)域?qū)＜沂止ね瓿商卣鞴こ滩煌?，深度學(xué)習(xí)模型可從源數(shù)據(jù)中自動(dòng)學(xué)習(xí)數(shù)據(jù)表示，建立與任務(wù)相關(guān)的特征?；颊唠娮硬v等數(shù)據(jù)的積累為深度學(xué)習(xí)預(yù)測(cè)患者診斷奠定了基礎(chǔ)。臨床診斷預(yù)測(cè)模型在醫(yī)學(xué)研究與實(shí)踐中的應(yīng)用廣泛。借助臨床預(yù)測(cè)模型醫(yī)生和患者可以共同做出決策，臨床研究者可以更精準(zhǔn)地篩選合適的研究對(duì)象，政府部門(mén)與衛(wèi)生管理者可以更好地進(jìn)行醫(yī)療質(zhì)量管理，合理配置醫(yī)療資源[12-13]。此外臨床預(yù)測(cè)模型的應(yīng)用價(jià)值體現(xiàn)在疾病的三級(jí)預(yù)防體系。一是疾病的一級(jí)預(yù)防。臨床預(yù)測(cè)模型可以給患者和醫(yī)生提供基于當(dāng)前健康狀態(tài)、未來(lái)患有某疾病的量化風(fēng)險(xiǎn)值(概率)，為健康教育和行為干預(yù)提供更直觀、有力的科學(xué)工具。二是疾病的二級(jí)預(yù)防。臨床預(yù)測(cè)模型尤其是診斷模型，?？山柚鸁o(wú)創(chuàng)、低成本、易采集的指標(biāo)給出高靈敏度和特異度的診斷方案，踐行“早發(fā)現(xiàn)，早診斷，早治療”的疾病預(yù)防理念，具有重要衛(wèi)生經(jīng)濟(jì)學(xué)意義。三是疾病的三級(jí)預(yù)防。預(yù)后模型可對(duì)疾病的復(fù)發(fā)、死亡、傷殘以及出現(xiàn)并發(fā)癥的概率給出量化估算，從而指導(dǎo)對(duì)癥治療和康復(fù)方案的制定，防止傷殘和促進(jìn)功能恢復(fù)，提高生存質(zhì)量，延長(zhǎng)壽命，降低病死率。

5 結(jié)語(yǔ)

診斷預(yù)測(cè)是指利用大規(guī)模的醫(yī)療數(shù)據(jù)建成診斷預(yù)測(cè)模型，根據(jù)就診數(shù)據(jù)預(yù)測(cè)患者可能發(fā)生的疾病。該任務(wù)在臨床輔助決策系統(tǒng)和疾病預(yù)防體系中具有廣泛應(yīng)用。本文使用BERT、CNN等先進(jìn)的深度學(xué)習(xí)模型構(gòu)建一種診斷預(yù)測(cè)框架。該框架可以將患者的非結(jié)構(gòu)化文本數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)有機(jī)結(jié)合，對(duì)患者病情做出更準(zhǔn)確預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，將非結(jié)構(gòu)化文本數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)相結(jié)合，能夠有效提高診斷預(yù)測(cè)的準(zhǔn)確率，為臨床決策支持系統(tǒng)后續(xù)的診療推薦等任務(wù)奠定基礎(chǔ)。