基于PubMedBERT預(yù)訓(xùn)練模型的醫(yī)學(xué)術(shù)語(yǔ)對(duì)齊方法研究

王怡茹, 鄭建立, 周浩然

(上海理工大學(xué)健康科學(xué)與工程學(xué)院, 上海 200093)

0 引言(Introduction)

隨著健康醫(yī)療數(shù)據(jù)資源的快速增長(zhǎng)和網(wǎng)絡(luò)信息技術(shù)的蓬勃發(fā)展,各種電子化健康信息數(shù)據(jù)分散在不同的系統(tǒng)和應(yīng)用中。對(duì)于同一醫(yī)學(xué)術(shù)語(yǔ),不同的醫(yī)療衛(wèi)生機(jī)構(gòu)有不同的表達(dá)方式,醫(yī)療領(lǐng)域的數(shù)據(jù)共享性低、缺乏語(yǔ)義互操作性[1]。醫(yī)學(xué)數(shù)據(jù)的處理普遍依賴(lài)于專(zhuān)業(yè)人員手動(dòng)查找和對(duì)齊,映射周期長(zhǎng)、規(guī)范程度低,已成為醫(yī)學(xué)數(shù)據(jù)集成和再利用的主要瓶頸。標(biāo)準(zhǔn)化醫(yī)學(xué)術(shù)語(yǔ)作為醫(yī)學(xué)概念的形式化表示,是解決語(yǔ)義互操作性問(wèn)題的基礎(chǔ),術(shù)語(yǔ)對(duì)齊是提高異構(gòu)數(shù)據(jù)語(yǔ)義互操作性的重要途徑[2]。因此,探索一種有效的醫(yī)學(xué)術(shù)語(yǔ)對(duì)齊方法有利于促進(jìn)衛(wèi)生保健領(lǐng)域的數(shù)據(jù)共享和臨床信息的電子交換。

1 相關(guān)研究(Related research)

20世紀(jì)50年代,國(guó)際醫(yī)學(xué)術(shù)語(yǔ)標(biāo)準(zhǔn)及體系初步建立。世界衛(wèi)生組織、醫(yī)療信息標(biāo)準(zhǔn)委員會(huì)、美國(guó)病理學(xué)會(huì)、國(guó)際衛(wèi)生術(shù)語(yǔ)標(biāo)準(zhǔn)開(kāi)發(fā)組織等長(zhǎng)期致力于醫(yī)學(xué)術(shù)語(yǔ)相關(guān)標(biāo)準(zhǔn)的制定、發(fā)布和更新工作。如今,醫(yī)學(xué)術(shù)語(yǔ)標(biāo)準(zhǔn)化工具的發(fā)展逐漸趨于穩(wěn)定,成果頗豐。

針對(duì)國(guó)際標(biāo)準(zhǔn)醫(yī)學(xué)術(shù)語(yǔ)集同本地醫(yī)學(xué)術(shù)語(yǔ)的對(duì)齊工作已有許多的研究。例如,趙云松等[3]嘗試?yán)肦語(yǔ)言相關(guān)技術(shù)的擴(kuò)展包,建立體檢報(bào)告中的血脂四項(xiàng)檢驗(yàn)項(xiàng)目及結(jié)果臨床描述與國(guó)際規(guī)范術(shù)語(yǔ)集觀測(cè)指標(biāo)標(biāo)識(shí)符邏輯命名與編碼系統(tǒng)(Logical Observation Identifiers Names and Codes,LOINC)、醫(yī)學(xué)系統(tǒng)命名法-臨床術(shù)語(yǔ)(Systematized Nomenclature of Medicine-Clinical Terms,SNOMED CT)英文術(shù)語(yǔ)集的對(duì)齊關(guān)系。厐絪等[4]選擇文本相似度算法WMD實(shí)現(xiàn)康復(fù)量表與國(guó)際功能、殘疾和健康分類(lèi)(International Classification of Functioning, Disability and Health,ICF)編碼之間的對(duì)齊工作。尹帥龍等[5]提出了一種利用Skip-gram詞向量模型,以余弦相似度作為輸出,通過(guò)分析語(yǔ)義信息完成口語(yǔ)化疾病名稱(chēng)與國(guó)際規(guī)范疾病術(shù)語(yǔ)集ICD-11專(zhuān)業(yè)術(shù)語(yǔ)的映射。

在國(guó)際醫(yī)學(xué)術(shù)語(yǔ)標(biāo)準(zhǔn)化工具的發(fā)展逐漸成熟和穩(wěn)定后,多語(yǔ)種和多標(biāo)準(zhǔn)術(shù)語(yǔ)集的交叉映射和集成融合應(yīng)運(yùn)而生。例如,LOINC致力于完成與SNOMED CT的對(duì)齊編碼,同樣SNOMED CT也實(shí)現(xiàn)了與ICD-9-CM、ICD-10、ICD-10-CM、ICF等的交叉映射。隨著計(jì)算機(jī)科學(xué)技術(shù)的迅猛發(fā)展,NGUYEN等[6]研究了一種采用自然語(yǔ)言處理(Natural Language Processing,NLP)方法指導(dǎo)SNOMED CT和ICD-10-AM(澳大利亞修改)之間的編碼映射,通過(guò)評(píng)估和分析,基于NLP的計(jì)算機(jī)輔助編碼(Computer Assisted Coding,CAC)相較于其他的機(jī)器學(xué)習(xí)方法取得了較好的結(jié)果。DRENKHAHN等[7]基于LOINC和SNOMED CT的本體論工具對(duì)實(shí)驗(yàn)室數(shù)據(jù)進(jìn)行聚合和可視化。

國(guó)際標(biāo)準(zhǔn)術(shù)語(yǔ)集的更新維護(hù)頻繁,其手工映射非常耗時(shí),雖然已有開(kāi)發(fā)的映射工具用于加速各國(guó)際標(biāo)準(zhǔn)術(shù)語(yǔ)的對(duì)齊過(guò)程,但是當(dāng)需要映射大規(guī)模術(shù)語(yǔ)時(shí)仍可行性不高,對(duì)術(shù)語(yǔ)對(duì)齊任務(wù)有一定的挑戰(zhàn)。本文利用自然語(yǔ)言的語(yǔ)義信息,提出一種基于語(yǔ)義相似度的醫(yī)學(xué)術(shù)語(yǔ)集編碼對(duì)齊方法,運(yùn)用預(yù)訓(xùn)練語(yǔ)言模型PubMedBERT對(duì)相關(guān)的術(shù)語(yǔ)描述和概念進(jìn)行編碼對(duì)齊,期望為醫(yī)學(xué)領(lǐng)域的對(duì)齊工作提供方法參考,減少數(shù)據(jù)協(xié)調(diào)過(guò)程中的人工參與度,輔助專(zhuān)業(yè)人員的編碼決策。

2 技術(shù)介紹(Technology introduction)

2.1 預(yù)訓(xùn)練模型

PubMedBERT是由微軟研究人員提出的一種針對(duì)生物醫(yī)學(xué)NLP的領(lǐng)域特定語(yǔ)言模型[8]。BERT預(yù)訓(xùn)練語(yǔ)言模型基于雙向Transformer編碼器,以未標(biāo)注維基百科或其他通用大規(guī)模語(yǔ)料進(jìn)行訓(xùn)練,缺乏專(zhuān)業(yè)醫(yī)學(xué)方面的知識(shí)體系,在處理生物醫(yī)學(xué)領(lǐng)域的自然語(yǔ)言任務(wù)時(shí)效果不盡如人意。BERT是混合領(lǐng)域的預(yù)訓(xùn)練模型,而PubMedBERT是一種針對(duì)特定領(lǐng)域預(yù)訓(xùn)練的新范式。PubMedBERT在BERT結(jié)構(gòu)的基礎(chǔ)上直接以PubMed生物醫(yī)學(xué)語(yǔ)料摘要和PubMedCentral全文文章進(jìn)行訓(xùn)練,此外在PubMedBERT中也具有一些特定的技術(shù),例如過(guò)濾掉非醫(yī)療領(lǐng)域的語(yǔ)料庫(kù),加入更多的醫(yī)學(xué)術(shù)語(yǔ)以提高PubMedBERT模型的性能,故在生物醫(yī)學(xué)領(lǐng)域更受青睞[9]。

PubMedBERT的基本架構(gòu)包括四個(gè)部分:輸入層、編碼器層、預(yù)測(cè)層和輸出層。在輸入嵌入層中,神經(jīng)網(wǎng)絡(luò)會(huì)將輸入文本表示為一維詞向量,包括標(biāo)記嵌入、段落嵌入和位置嵌入。編碼器層中使用了多層的Transformer編碼器,每個(gè)編碼器包括自注意力層和全連接前饋層,用于對(duì)輸入序列進(jìn)行特征提取和表示學(xué)習(xí)。這些編碼器能夠捕獲輸入序列中的上下文關(guān)系,將其編碼為固定長(zhǎng)度的向量表示。預(yù)測(cè)任務(wù)包括MLM(Masked Language Modeling)機(jī)制和NSP(Next Sentence Prediction)機(jī)制[10]。通過(guò)MLM隨機(jī)屏蔽輸入序列中的一些Token,利用未遮蔽詞預(yù)測(cè)出被屏蔽的Token內(nèi)容。輸出層是輸入序列的向量表示,該向量融合了全文的語(yǔ)義信息。PubMedBERT模型架構(gòu)圖如圖1所示。

圖1 PubMedBERT模型架構(gòu)圖Fig.1 Model architecture of PubMedBERT

2.2 傳統(tǒng)文本向量化

基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型和傳統(tǒng)的計(jì)算模型是處理自然語(yǔ)言語(yǔ)義相似度問(wèn)題時(shí)的兩大主流方向。傳統(tǒng)的文本相似度計(jì)算中的代表性算法有TF-IDF模型、LSI/LSA模型、BM25模型、VSM模型等,它們的共同特性是利用傳統(tǒng)的統(tǒng)計(jì)詞頻和相似度計(jì)算公式實(shí)現(xiàn)語(yǔ)義相似度計(jì)算,而非借助神經(jīng)網(wǎng)絡(luò)。例如,BM25算法通過(guò)對(duì)查詢(xún)句子進(jìn)行語(yǔ)素解析,獲取Query中的分詞qi,對(duì)于搜索到的文檔d,計(jì)算Query中每個(gè)分詞與d的相關(guān)性,將所得分?jǐn)?shù)進(jìn)行加權(quán)求和,最終計(jì)算得到Query與檢索文檔d的相關(guān)性分?jǐn)?shù)[11]。BM25算法如公式(1)所示,Wi表示第i個(gè)詞的權(quán)重,即IDF,如公式(2)所示,N表示索引中全部文檔數(shù),dfi表示包含qi的文檔數(shù)量。

(1)

(2)

非監(jiān)督學(xué)習(xí)算法潛在語(yǔ)義分析(Latent Semantic Analysis,LSA)在信息檢索領(lǐng)域的應(yīng)用廣泛,通過(guò)LSA得到單詞-文檔矩陣后,利用奇異值分解(SVD)對(duì)矩陣降維去噪[12]。VSM(向量空間模型)利用空間中的特征向量度量文本內(nèi)容,向量中的每個(gè)元素表示在整個(gè)集合中出現(xiàn)詞項(xiàng)的頻率。

2.3 相似度計(jì)算

余弦相似度(Cosine Similarity)是判斷兩個(gè)文本之間相似度的一種便捷、有效的方法。通過(guò)計(jì)算兩個(gè)向量夾角的余弦值來(lái)衡量?jī)蓚€(gè)向量間差異的大小,余弦值越接近1,就表明兩個(gè)向量越相似。對(duì)于空間中的任意n維向量x=(x1,x2,…,xn)和y=(y1,y2,…,yn),余弦相似度的計(jì)算如公式(3)所示:

(3)

3 實(shí)驗(yàn)及結(jié)果分析(Experiment and result analysis)

3.1 技術(shù)路線

首先對(duì)待對(duì)齊的醫(yī)學(xué)術(shù)語(yǔ)的描述文本分別進(jìn)行預(yù)處理操作,對(duì)文本進(jìn)行縮略詞擴(kuò)展,豐富短文本的內(nèi)容,篩選剔除不必要的特殊符號(hào)并進(jìn)行單詞歸一化處理,達(dá)到降噪的目的;其次運(yùn)用預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行術(shù)語(yǔ)文本相似度計(jì)算;最后實(shí)現(xiàn)術(shù)語(yǔ)匹配對(duì)齊。本文以國(guó)際上應(yīng)用范圍較廣的醫(yī)學(xué)術(shù)語(yǔ)體系LOINC和SNOMED CT作為測(cè)試語(yǔ)料,將SNOMED CT中的術(shù)語(yǔ)文本作為被匹配對(duì)象,LOINC Part中的短文本作為目標(biāo)術(shù)語(yǔ),選擇與被匹配對(duì)象最高的前K個(gè)LOINC目標(biāo)的余弦相似度值,以LOINC官方提供的映射結(jié)果作為評(píng)價(jià)標(biāo)準(zhǔn),TOP-K精度作為性能度量。醫(yī)學(xué)術(shù)語(yǔ)對(duì)齊流程圖如圖2所示。

圖2 醫(yī)學(xué)術(shù)語(yǔ)對(duì)齊流程圖Fig.2 Medical terminology alignment flowchart

3.2 實(shí)驗(yàn)數(shù)據(jù)

目標(biāo)術(shù)語(yǔ)選自LOINC文本數(shù)據(jù),使用2022年8月由美國(guó)雷根斯基夫研究院所發(fā)布的版本LOINC 2.73,該版本共包含99 079個(gè)LOINC術(shù)語(yǔ),Part文件中唯一的LP-Code共69 880條。源術(shù)語(yǔ)為SNOMED CT,是由國(guó)際醫(yī)療術(shù)語(yǔ)標(biāo)準(zhǔn)開(kāi)發(fā)組織發(fā)布的版本20220301,標(biāo)準(zhǔn)映射文件選自LOINC 2.73中的Mapping文件,縮略詞表下載自2022年7月份更新的LOINC縮寫(xiě)詞和首字母縮略詞的字母順序列表,共904條,此表可在LOINC官方網(wǎng)站獲取,同時(shí)擴(kuò)充醫(yī)學(xué)縮略詞表,使其能夠涵蓋更多的縮略詞信息。

3.3 數(shù)據(jù)預(yù)處理

(1)數(shù)據(jù)篩選。在匹配數(shù)據(jù)中,因SNOMED CT的數(shù)據(jù)量龐大,若全部用于對(duì)齊工作,會(huì)給模型操作帶來(lái)很大的負(fù)擔(dān),因此只抽取部分首選術(shù)語(yǔ)作為映射文本。由于標(biāo)準(zhǔn)映射文件包含LOINC Part和外部編碼系統(tǒng)中的概念之間的映射,如SNOMED CT和RadLex,因此剔除不必要的RadLex部分,僅保留與SNOMED CT等效的5 918條映射結(jié)果。

(2)縮略詞擴(kuò)展。醫(yī)學(xué)術(shù)語(yǔ)普遍具有相似的特點(diǎn),它們都具有明確的定義和標(biāo)準(zhǔn)化,醫(yī)學(xué)術(shù)語(yǔ)的縮寫(xiě)大都遵循領(lǐng)域內(nèi)的標(biāo)準(zhǔn)原則。縮略詞表主要包含生物醫(yī)學(xué)領(lǐng)域中的各種縮寫(xiě)詞,如縮略詞“PPP”可以擴(kuò)展為“Platelet Poor Plasma”,“RBCCo”可以擴(kuò)展為“Red Blood Cells Cord”,“VRatCnt”可以擴(kuò)展為“Volume Rate Content”,故將源文本和目標(biāo)文本中含有縮略詞的部分進(jìn)行擴(kuò)展后,再進(jìn)行文本相似度計(jì)算。此方法可以更好地理解語(yǔ)義,提高相似度匹配的準(zhǔn)確率。

(3)文本處理。特殊符號(hào)在自然語(yǔ)言中是普遍存在的,但它們可能不會(huì)為文本含義增加太多價(jià)值甚至?xí)蓴_文本語(yǔ)義的理解。醫(yī)學(xué)領(lǐng)域的描述性文本中通常存在醫(yī)學(xué)標(biāo)識(shí)符,這些符號(hào)可能會(huì)對(duì)術(shù)語(yǔ)對(duì)齊的結(jié)果產(chǎn)生一定的干擾和迷惑作用。因此,首先對(duì)英文文本進(jìn)行大小寫(xiě)處理,將其全部轉(zhuǎn)換為小寫(xiě)字母,篩選并刪除不必要的符號(hào),其次使用自然語(yǔ)言處理工具包(Natural Language Toolkit, NLTK)進(jìn)行文本分詞并刪除停用詞,最后進(jìn)行詞干提取,使單詞歸一化。

3.4 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

通過(guò)Python 3.10.8編寫(xiě)實(shí)驗(yàn)代碼,基于PyTorch框架實(shí)現(xiàn),硬件環(huán)境為Intel(R) Xeon(R) W-2245,顯卡為RTX 2080,操作系統(tǒng)為Ubuntu 18.04.6 LTS,運(yùn)用準(zhǔn)確率(Accuracy,A)作為性能評(píng)估的方法,它被定義為正確目標(biāo)在TOP-K模型預(yù)測(cè)中的樣本的百分比,如公式(4)所示:

(4)

3.5 結(jié)果和討論

本文設(shè)計(jì)了三個(gè)對(duì)比實(shí)驗(yàn)。醫(yī)學(xué)文本數(shù)據(jù)中普遍包含有大量的符號(hào)和縮略詞,為探究縮略詞對(duì)術(shù)語(yǔ)對(duì)齊是否有干擾作用,設(shè)計(jì)實(shí)驗(yàn)一。傳統(tǒng)的文本相似度計(jì)算模型主要是利用統(tǒng)計(jì)詞頻和相似度計(jì)算公式實(shí)現(xiàn)相似度計(jì)算,不需要借助神經(jīng)網(wǎng)絡(luò),而深度學(xué)習(xí)方法的非線性建模能力更強(qiáng),可以更好地利用語(yǔ)義信息,因此設(shè)計(jì)實(shí)驗(yàn)二對(duì)比傳統(tǒng)模型與預(yù)訓(xùn)練模型對(duì)準(zhǔn)確率的影響。不同的預(yù)訓(xùn)練模型的預(yù)訓(xùn)練方式和訓(xùn)練時(shí)所用的語(yǔ)料有所不同,為探究不同預(yù)訓(xùn)練模型對(duì)性能結(jié)果的影響,設(shè)計(jì)實(shí)驗(yàn)三,以期找出適應(yīng)此文本對(duì)齊的效果最好的模型。

3.5.1 縮略詞擴(kuò)展前后對(duì)比實(shí)驗(yàn)

由圖3可以得出,縮略詞擴(kuò)展后,PubMedBERT模型TOP1、TOP3、TOP5、TOP10的準(zhǔn)確率均顯著提升,由實(shí)驗(yàn)結(jié)果分析可見(jiàn),縮略詞擴(kuò)展能明顯地提升語(yǔ)義的表達(dá)能力,對(duì)文本匹配具有較大的貢獻(xiàn)。

圖3 縮略詞擴(kuò)展前后對(duì)比圖Fig.3 Comparison chart before and after abbreviation expansion

3.5.2 傳統(tǒng)模型與深度學(xué)習(xí)模型性能比較

本文對(duì)比分析了縮略詞擴(kuò)展后傳統(tǒng)模型BM25、LSA、VSM和PubMedBERT的性能表現(xiàn),由表1可以看出,傳統(tǒng)模型的性能表現(xiàn)較預(yù)訓(xùn)練語(yǔ)言模型要差很多,這可能是由于傳統(tǒng)模型不能較好地理解單詞之間的語(yǔ)義關(guān)系。同時(shí),能證明預(yù)訓(xùn)練語(yǔ)言模型更符合術(shù)語(yǔ)對(duì)齊推薦編碼的需求。

表1 各模型的性能比較

3.5.3 不同預(yù)訓(xùn)練語(yǔ)言模型對(duì)比實(shí)驗(yàn)

分析表2可知,當(dāng)進(jìn)行縮略詞擴(kuò)展之后,Bio_ClinicalBERT模型與PubMedBERT模型TOP3、TOP5、TOP10的準(zhǔn)確率相差并不大,但在所有模型中,PubMedBERT模型TOP1的準(zhǔn)確率最高。不同模型表現(xiàn)出的性能的區(qū)別與它們本身訓(xùn)練所使用的語(yǔ)料庫(kù)有直接的關(guān)聯(lián)。本實(shí)驗(yàn)所使用的BERT模型、Bio_ClinicalBERT模型、PubMedBERT模型訓(xùn)練使用的語(yǔ)料庫(kù)分別為通用語(yǔ)料庫(kù)、臨床文本和MIMIC記錄、生物醫(yī)學(xué)語(yǔ)料,它們?cè)谠~匯分布等方面均有不同之處,造成模型的具體性能表現(xiàn)有所差異[13]。從總體性能表現(xiàn)來(lái)看,PubMedBERT模型在術(shù)語(yǔ)對(duì)齊任務(wù)中的表現(xiàn)最優(yōu)異。

表2 各深度學(xué)習(xí)模型的實(shí)驗(yàn)結(jié)果

4 結(jié)論(Conclusion)

針對(duì)醫(yī)療領(lǐng)域中醫(yī)學(xué)術(shù)語(yǔ)標(biāo)準(zhǔn)化程度低、缺乏語(yǔ)義互操作性的現(xiàn)象,本文提出了一種運(yùn)用生物醫(yī)學(xué)領(lǐng)域的預(yù)訓(xùn)練語(yǔ)言模型PubMedBERT和余弦相似度計(jì)算,結(jié)合醫(yī)學(xué)縮略詞擴(kuò)展、符號(hào)篩選等預(yù)處理方式,進(jìn)行術(shù)語(yǔ)對(duì)齊TOP-K準(zhǔn)確率的測(cè)評(píng)。實(shí)驗(yàn)結(jié)果證明,縮略詞擴(kuò)展對(duì)醫(yī)學(xué)術(shù)語(yǔ)的語(yǔ)義理解有顯著作用,基于深度學(xué)習(xí)的預(yù)訓(xùn)練模型的術(shù)語(yǔ)對(duì)齊結(jié)果優(yōu)于傳統(tǒng)的相似度計(jì)算模型,并且縮略詞擴(kuò)展后,PubMedBERT模型相較于BERT模型及其變體取得了更好的效果,表明此方法用于文本對(duì)齊和推薦編碼的巨大潛力。將PubMedBERT模型與縮略詞擴(kuò)展方法相結(jié)合,有利于專(zhuān)業(yè)人員的學(xué)術(shù)探討并能為編碼員提供一定的幫助,同時(shí)為醫(yī)學(xué)文本對(duì)齊任務(wù)的完成提供了一種新思路。下一步的工作應(yīng)注重增強(qiáng)模型TOP1的準(zhǔn)確率,更好地提升映射的質(zhì)量。同時(shí),應(yīng)考慮該方法在不同數(shù)據(jù)集上的效果,提高模型的泛化能力,使其能夠適用于更多類(lèi)似的醫(yī)學(xué)術(shù)語(yǔ)之間的對(duì)齊任務(wù)。