基于遷移學習和集成學習的醫(yī)學短文本分類

張博,孫逸,李孟穎,鄭馥琦,張益嘉,王健,林鴻飛,楊志豪

(大連理工大學 計算機科學與技術(shù)學院,遼寧 大連 116024)

0 引言

隨著現(xiàn)代生物醫(yī)學的快速發(fā)展,大量的臨床醫(yī)學數(shù)據(jù)呈現(xiàn)指數(shù)增長,且大多為非結(jié)構(gòu)化文本。為構(gòu)建臨床試驗篩選結(jié)構(gòu)化文本,通過自然語言處理和機器學習的方法對臨床試驗篩選標準自動解析,并以此構(gòu)建自動化篩選病人的系統(tǒng)是一個很有前景的研究熱點,具有很大的實際應用前景和醫(yī)學臨床價值。臨床試驗是指通過人體志愿者也稱為受試者進行的科學研究,篩選標準是臨床試驗負責人擬定的鑒定受試者是否滿足某項臨床試驗的主要指標,分為入組標準和排出標準,一般為無規(guī)則的自由文本形式。臨床試驗的受試者招募一般是通過人工比較病歷記錄表和臨床試驗篩選標準完成,這種方式費時費力且效率低下。因此通過現(xiàn)有的深度學習等一些自然語言處理技術(shù)來實現(xiàn)臨床試驗篩選標準短文本分類系統(tǒng)具有重要意義。

本文旨在解決醫(yī)學短文本分類問題,實驗數(shù)據(jù)集選擇的是中國健康信息處理會議(CHIP2019)評測數(shù)據(jù),如圖1所示,輸入為一系列中文臨床試驗篩選標準的描述句子,輸出為根據(jù)每一條臨床試驗數(shù)據(jù)返回篩選標準的具體類別。

圖1 數(shù)據(jù)示例Fig.1 An example of data

傳統(tǒng)的文本分類方法主要基于特征工程等機器學習方法,該方法需要大量的人工介入,需耗費大量的時間和精力,近年來,深度學習技術(shù)逐漸取代傳統(tǒng)的機器學習技術(shù)成為文本分類領(lǐng)域的主流方法[1]?；谏疃葘W習的自然語言處理技術(shù)主要有2013年Mikolov等人[2]提出基于神經(jīng)網(wǎng)絡的語言模型CBOW和Skip-gram并提出分布式詞向量的概念。2014年Sutskever等人[3]提出Seq2Seq模型,通過一些深度神經(jīng)網(wǎng)絡模型構(gòu)建編碼器和解碼器,常用的神經(jīng)網(wǎng)絡主要是長短時記憶網(wǎng)絡。2017年Vaswani等人[4]提出transformer機制,其中的編碼器和解碼器是由基本的前饋神經(jīng)網(wǎng)絡和注意力機制堆疊形成。2018年Jacob等人[5]提出預訓練語言模型BERT。2019年Facebook團隊在BERT基礎上進行優(yōu)化提出Roberta預訓練語言模型[6]。

本文提出的臨床試驗篩選標準短文本分類方法主要分為三個階段,一是微調(diào)預訓練語言模型,在此階段使用的語言模型是BERT[5]和Roberta[6];二是微調(diào)分類模型,面向醫(yī)學短文本分類任務將第一階段得到的語言模型與神經(jīng)網(wǎng)絡模型進行結(jié)合構(gòu)建醫(yī)學分類模型,微調(diào)過程是針對結(jié)合后的整體模型即包含語言模型和神經(jīng)網(wǎng)絡模型,上述兩個階段的微調(diào)使用的數(shù)據(jù)集均為無監(jiān)督領(lǐng)域相關(guān)的外部資源數(shù)據(jù)集;三是利用集成學習的知識來實現(xiàn)最終的醫(yī)學文本分類,將第二階段得到的多個分類器進行集成學習,通過投票方式和beam search ensemble算法選擇出最佳的模型組合并將其作為醫(yī)學文本分類系統(tǒng)的最終分類模型。實驗結(jié)果表明本文方法的有效性,在CHIP2019評測三臨床試驗篩選標準短文本分類任務測試集上其F1值達到0.811 1。

文本分類任務是自然語言處理領(lǐng)域經(jīng)典任務之一,有著廣泛的應用。醫(yī)學文本分類技術(shù)可輔助醫(yī)療,構(gòu)建結(jié)構(gòu)化電子病例等醫(yī)學數(shù)據(jù),具有重要意義。近年來,一些經(jīng)典的文本分類方法主要是基于深度學習模型,如Kim等人[7]提出多尺度并行的單層卷積神經(jīng)網(wǎng)絡(CNN)結(jié)合預訓練詞向量實現(xiàn)句子級別的文本分類,Hochreiter等人[8]為了解決原始循環(huán)神經(jīng)網(wǎng)絡(RNN)在訓練時存在梯度消失和梯度爆炸問題提出長短時記憶神經(jīng)網(wǎng)絡(LSTM)進行文本分類。Yang等人[9]提出基于分層注意力機制的神經(jīng)網(wǎng)絡模型實現(xiàn)文檔分類。上述方法在通用領(lǐng)域文本分類任務中起到了很大的作用,但在生物醫(yī)學領(lǐng)域中的短文本分類任務中存在一定的局限性。主要原因有臨床試驗電子病歷文本中含有大量的醫(yī)學專業(yè)詞匯;病歷文本中存在的字符形式較多,包含中文、英文縮寫,阿拉伯數(shù)字、科學計數(shù)法等;病歷文本中在不同類別的短文本存在一定程度的重疊。因此,為解決上述問題本文提出一種基于遷移學習和深度學習的方法,采用微調(diào)技術(shù)，使在通用領(lǐng)域上表現(xiàn)好的模型在生物醫(yī)學領(lǐng)域上也有較好的性能。

遷移學習對計算機視覺領(lǐng)域產(chǎn)生了很大的影響。應用在計算機視覺領(lǐng)域的模型大多是利用已有模型進行微調(diào),很少從頭開始訓練,即在ImageNet, MS-COCO等大數(shù)據(jù)上得到預訓練模型[10-13]。雖然深度學習模型在許多自然語言處理領(lǐng)域任務上達到了很好的效果,但是這些模型都是從頭開始訓練,需要花費大量時間和精力收集大型數(shù)據(jù)集和訓練模型。目前應用到自然語言處理領(lǐng)域的遷移學習,主要是針對模型的第一層,通過微調(diào)預訓練的數(shù)據(jù),雖是一種簡單的遷移學習技術(shù),但是在實際應用中有很大的價值和影響,并可應用到各種深度學習模型中,但該方法仍需要從頭訓練主要任務模型,并將預訓練詞嵌入視為固定參數(shù),限制了遷移學習方案的有效性。

圖2 模型框架Fig.2 Framework of model

目前的研究成果表明,預訓練語言模型能夠提升自然語言推斷、語義相似度計算、命名實體識別、情感分析、檢索式問答匹配等多個自然語言處理任務的性能。因此,針對上述問題,我們利用預訓練模型,采用遷移學習技術(shù)來完成臨床試驗篩選標準短文本分類任務。根據(jù)自然語言處理領(lǐng)域最新研究,遷移學習較為有效的方案是進行模型微調(diào),其中通用語言模型微調(diào)(ULMFiT)[14]在多個分類任務中表現(xiàn)出優(yōu)越的性能,因此我們采用ULMFiT中的一些方法,如傾斜的三角學習率,逐層解凍等來提高醫(yī)學文本分類系統(tǒng)性能和訓練效率。

1 方法

1.1 模型框架

本文搭建的模型框架如圖2所示,先對數(shù)據(jù)進行簡單地預處理，得到中文臨床試驗篩選標準短文本描述，將其作為輸入,按照字級別輸入到預訓練語言模型中,然后將語言模型中最后一層transformer的輸出作為下游神經(jīng)網(wǎng)絡層的輸入,再經(jīng)過一些深度學習網(wǎng)絡層學習文本特征,最后通過softmax函數(shù)得到分類結(jié)果。

本文的研究方案主要分為三個階段:第一個階段是使用預訓練語言模型,并對語言模型進行微調(diào);第二個階段是將第一階段得到的語言模型與神經(jīng)網(wǎng)絡模型進行拼接得到醫(yī)學短文本分類模型,并對分類模型進行微調(diào);第三階段是將第二階段得到的多個分類模型進行集成學習來提高總體的分類結(jié)果。

1.2 語言模型

1.2.1 預訓練語言模型選擇

本文使用的兩個預訓練語言模型均基于BERT模型方法,分別為Google發(fā)布的中文版 BERT-base, Chinese[5]和哈工大訊飛聯(lián)合實驗室發(fā)布的RoBERTa-wwm-ext, Chinese[15]。

1.2.2 語言模型微調(diào)

雖然Google訓練BERT模型時使用的通用領(lǐng)域數(shù)據(jù)集是非常多樣的,但是相對臨床試驗篩選標準短文本分類任務的數(shù)據(jù)仍有很多不同的分布。

因此,本文受遷移學習思想啟發(fā)對上述兩個預訓練模型進行微調(diào)得到適用于生物醫(yī)學領(lǐng)域的語言模型。微調(diào)過程中使用的數(shù)據(jù)集是通過相關(guān)爬蟲程序爬取的213,154條關(guān)于臨床試驗篩選標準短文本數(shù)據(jù),并選取CHIP2019評測任務三官方發(fā)布的數(shù)據(jù)集(包含訓練集和驗證集)做微調(diào)結(jié)果驗證。

為了使BERT和Roberta兩個語言模型參數(shù)適應醫(yī)學文本分類任務,我們采用傾斜的三角學習率方法進行微調(diào)使模型在訓練開始時快速收斂到參數(shù)空間的合適區(qū)域,再細化其參數(shù)。傾斜的三角學習率是指先線性地增加學習率,再根據(jù)公式(1)(2)(3)更新時間表形成線性衰減,如圖3所示。

圖3 傾斜三角學習率Fig.3 Slanted triangular learning rates

(1)

(2)

(3)

其中T是訓練的總迭代次數(shù);cut-frac 是增加學習率的迭代次數(shù)比例;cut 是學習率從增加到減少的臨界迭代次數(shù);p是一個分段函數(shù),分別表示遞增和遞減的迭代次數(shù)比例;ratio 表示學習率最小時與最大學習率的比值,就是學習率的衰減比例;ηt表示迭代次數(shù)為t時的學習率。實驗過程將cut-frac設定為0.1,ratio設定為32,ηmax設定為0.01。在使用該方法微調(diào)語言模型后,分類結(jié)果會有顯著提升,在文中實驗部分會具體論述。

1.3 分類模型

針對臨床試驗篩選標準短文本分類任務,我們使用了當前主流的四種神經(jīng)網(wǎng)絡分類模型來實現(xiàn)醫(yī)學文本分類,使用的模型主要有卷積神經(jīng)網(wǎng)絡(CNN)[7],新型卷積神經(jīng)網(wǎng)絡(DPCNN)[16],長短時記憶神經(jīng)網(wǎng)絡(LSTM)[8]以及自注意力機制(self-attention)[4],將其與上述BERT和Roberta語言模型進行拼接最終形成的模型分類器有以下9種:bert-base, bert+bilstm+attention, bert+cnn, bert+dpcnn, roberta-base, roberta+attention, roberta+bilstm+attention,roberta+cnn, roberta+dpcnn,其中,“+” 表示把預訓練模型最后一個transformer層的輸出結(jié)果輸入到分類模型的對應層中。base表示用預訓練模型最后一個transformer的第一個token的值(即CLS)作為一個全連接層的輸入直接進行分類得到的結(jié)果。

為了使上述分類模型適用于臨床試驗篩選標準文本分類任務,我們使用逐層解凍策略來對模型分類器進行微調(diào)。該策略最先提出用于ULMFiT模型[14]最后的分類器微調(diào)階段。簡單來說,該策略是指模型訓練時不是一次微調(diào)所有層而是從最后一層開始逐漸解凍模型。逐層微調(diào)解決了因一次性微調(diào)所有層導致的致災難性遺忘問題。研究表明最后一層會包括最通用的特征,因此,在訓練時,先解凍最后一層(凍住其他層),在一個Epoch內(nèi)微調(diào)所有未凍結(jié)的層,而不是所有層一起訓練。然后在第二個Epoch內(nèi),再解凍倒數(shù)第二層來訓練,以此類推。即,每個Epoch向下解凍一層,直至所有層都微調(diào)完畢,直到最后一次迭代收斂。

基于上述策略思想,我們將前50%個Epoch按照比例依次解凍,后50%個Epoch將所有權(quán)重一起訓練。實驗過程中設置了Epoch=10, Roberta語言模型有12個transformer層和1個詞嵌入層,因此在我們的模型訓練過程中,不是每個Epoch內(nèi)解凍一層,而是5個Epoch內(nèi)依次解凍13層,即5/13個Epoch解凍一層。在本文后續(xù)的實驗部分會進行消融實驗分析來論證該策略的有效性。

1.4 集成學習

考慮到不同分類模型會學習到不同的文本特征,因此本文采用投票機制和集成學習來提高整個醫(yī)學文本分類系統(tǒng)的性能。針對上述9種分類模型進行集成學習得到相應的模型組合,模型之間進行內(nèi)部投票得到最終的分類結(jié)果。在集成學習過程中我們提出了一種模型集成算法beam search ensemble。

隨著模型數(shù)量的增多,從所有模型組合中選取最優(yōu)結(jié)果所耗費的時間呈指數(shù)級增長,且無法對模型合理分配投票權(quán)重。因此我們提出一種beam search ensemble算法,即將beam search算法應用到融合模型中并對其進行了一些改進,具體算法如圖4所示。該算法有效減少了時間復雜度,可使單個模型重復投票,充分考慮了性能好的模型的優(yōu)勢,以及降低性能差的模型所帶來的偏差,有效更新了投票權(quán)重,并且在泛化能力上優(yōu)于全部的模型融合,在文中實驗部分有具體對比。

在實驗過程中我們將beam search ensemble算法中的beam size參數(shù)設為3,得到最佳組合模型為bert-base,bert+dpcnn, bert+lstm+attention, roberta+attention, roberta+cnn * 2, roberta+dpcnn, roberta+lstm+attention,即這7個模型之間進行投票得到的集成模型效果最佳,F1值達到0.811 1。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集及任務

基于遷移學習和深度學習的臨床試驗篩選標準短文本分類研究任務來源是中國健康信息處理會議(CHIP2019)評測三任務,具體任務為根據(jù)官方給定事先定義好的44種篩選標準類別和一系列中文臨床試驗篩選的標準描述句子,結(jié)果返回每一條篩選標準的具體類別,示例如表1所示。

本文使用的數(shù)據(jù)集有CHIP2019評測三任務發(fā)布的數(shù)據(jù)集和通過爬蟲方式獲得的領(lǐng)域相關(guān)外部資源數(shù)據(jù)集。其中,官方發(fā)布的數(shù)據(jù)集包含訓練集,驗證集和測試集,按照大約3∶1∶1的比例劃分,訓練集和驗證集包含人工標注的句子類別標簽,屬于有監(jiān)督數(shù)據(jù)。我們獲取的領(lǐng)域相關(guān)的外部資源數(shù)據(jù)集屬于無監(jiān)督數(shù)據(jù),即不含有句子類別標簽。數(shù)據(jù)集數(shù)量統(tǒng)計如表2所示。實驗過程中先對所有數(shù)據(jù)集進行簡單地去重等預處理,無監(jiān)督數(shù)據(jù)集主要用于模型微調(diào),有監(jiān)督數(shù)據(jù)集用于模型的訓練和驗證。

表1 任務示例

表2 數(shù)據(jù)統(tǒng)計

2.2 評價指標

本任務的評價指標包括宏觀準確率(Macro Precision),宏觀召回率(Macro Recall),AverageF1值。最終排名以AverageF1值為基準。假設我們有n個類別,C1,…，Ci,…，Cn,則準確率Pi、召回率Ri和AverageF1值的計算公式(4)(5)(6)如下:

(4)

(5)

(6)

其中TP(Ci)表示正確預測為類別Ci的樣本個數(shù)，P(Ci)預測為Ci的樣本個數(shù),T(Ci)為真實的Ci的樣本個數(shù)。

2.3 實驗設置

2.3.1 超參數(shù)設置

我們模型訓練的輪數(shù)設置為10輪,輸入序列長度設置為128,衰減權(quán)重設置為0.001,學習率設置為0.000 05,每一輪保存一次模型,隨機種子設為914,優(yōu)化器選擇為Adam[17]。分類模型中一些神經(jīng)網(wǎng)絡層參數(shù)超參數(shù)設置如表3所示。

2.3.2 損失函數(shù)

因臨床試驗篩選標準短文本數(shù)據(jù)中含有44種類別,存在嚴重的樣本類別不均衡的問題,例如在訓練集中“bedtime”類別只存在14個樣本數(shù)據(jù),而“disease”類別存在5 127個樣本數(shù)據(jù)。此外,該任務還存在其他簡單與復雜樣本問題,例如“age”類別樣本存在較為明顯的關(guān)鍵字且訓練集數(shù)量較多,較為容易區(qū)分,為簡單樣本,但有一些樣本如“體檢發(fā)現(xiàn)有任何顯著的臨床疾病癥狀者”存在多重含義和多個關(guān)鍵字等問題,較難區(qū)分它為“Symptom”類別還是“Laboratory Examinations”類別。為解決樣本不平衡以及區(qū)分簡單與復雜樣本問題,我們使用He Kaiming和RBG提出的焦點損失函數(shù)focal loss[18]。Focalloss函數(shù)首次提出后被應用在圖像領(lǐng)域的目標檢測任務中,它是在標準交叉熵損失的基礎上修改得到的。Focal loss函數(shù)通過減少易分類樣本的權(quán)重來使得模型在訓練時更專注于難分類的樣本,如公式(7)所示。

表3 神經(jīng)網(wǎng)絡參數(shù)設置

FL(Pt)=-αt(1-Pt)γlog(Pt)，

(7)

其中，αt表示每個類別的權(quán)重系數(shù)，Ct表示訓練集中第t個類別的個數(shù)，γ為調(diào)制系數(shù)，實驗時設置γ=2。由公式可以看出，當一個樣本被分錯時，Pt非常小，因此調(diào)制系數(shù)γ就趨于1，即相比原來的損失基本沒有改變。當Pt趨于1的時候(此時分類正確而且是易分類樣本)，調(diào)制系數(shù)趨于0，也就是對于總的損失貢獻很小。當γ=0的時候，focal loss就是傳統(tǒng)的交叉熵損失，當γ增加的時候，調(diào)制系數(shù)也會增加。其核心思想是用一個合適的函數(shù)去度量難分類和易分類樣本對總的損失的貢獻，這樣既能調(diào)整正負樣本的權(quán)重，又能控制難易分類樣本的權(quán)重。

為了解決臨床試驗篩選標準文本數(shù)據(jù)集44種類別中的少類別問題，同時又要避免過度關(guān)注，αt參數(shù)選取如公式(8)所示。

αt= 2max(log Ct)-log Ct。

(8)

2.4 結(jié)果與分析

最終使用了9種神經(jīng)網(wǎng)絡模型來進行文本分類,對不同的具體模型分別使用5折交叉驗證,所得模型對測試集進行預測,取5個預測結(jié)果的加權(quán)平均值作為最終預測結(jié)果,每個模型分配的權(quán)重值為其在交叉驗證時得到的F1值。最后通過投票法對上述的9個模型做最后的模型融合,選取最佳模型組合。9種模型單獨進行臨床試驗篩選標準分類結(jié)果如表4所示,其中,bert-base表示用最后一個transformer的第一個token的值(即CLS)做為一個全連接層的輸入得到的分類結(jié)果。bert-lstm-att表示用bert的最后一個transformer層的輸出作為LSTM的輸入并加入注意力機制得到的實驗結(jié)果,其他模型結(jié)果記錄方式同上。

表4 實驗結(jié)果

從表4中可以看出,在語言模型后拼接神經(jīng)網(wǎng)絡模型組成分類器在一定程度上可以提高分類結(jié)果。不同的神經(jīng)網(wǎng)絡模型得到的分類結(jié)果不盡相同,但總體差別不大,具體實驗結(jié)果還與語言模型有關(guān)系。在BERT預訓練語言模型中,拼接LSTM與注意力機制模型效果最優(yōu),在Roberta預訓練語言模型中,拼接CNN模型效果最好。因最初考慮到可能會出現(xiàn)上述實驗結(jié)果,即不同的預訓練模型與不同的深度學習神經(jīng)網(wǎng)絡模型進行拼接會得到不同的實驗結(jié)果,每個單個模型從臨床試驗篩選標準短文本數(shù)據(jù)集中學習到的知識特征是不同的,這樣集成之后的模型之間可以結(jié)果互補使整個分類系統(tǒng)的性能得以提升。9個模型全部集成學習得到分類結(jié)果的F1值為0.809 9,比單個模型(roberta-cnn)最優(yōu)結(jié)果高出0.36%,比單個BERT模型結(jié)果高出1.35%,證明模型集成的有效性。用我們提出的beam search ensemble算法進行模型集成時得到的最佳模型組合為bert-base,bert+dpcnn, bert+lstm+attention, roberta+attention, roberta+cnn * 2, roberta+dpcnn, roberta+lstm+attention這7個模型。這7個模型被分配了不同的投票權(quán)重后集成得到的結(jié)果比所有模型共同集成結(jié)果高出0.12%,充分論證了beam search ensemble算法的有效性。

2.5 微調(diào)有效性分析

為了驗證微調(diào)模型以及微調(diào)方案的有效性,我們進行了消融對比實驗。實驗結(jié)果如表5所示。

表5 消融實驗結(jié)果

roberta-fine表示只對預訓練語言模型進行微調(diào),通過與不進行微調(diào)的實驗結(jié)果(0.785 0)對比可知,微調(diào)語言模型可使分類結(jié)果提高1.27%,充分說明了微調(diào)模型的有效性。roberta-fine-gu表示在微調(diào)分類器模型時，采用逐層解凍方案來實現(xiàn)模型的快速收斂。通過與不進行任何微調(diào)的單個roberta模型相比，分類結(jié)果提高了1.40%,與只進行語言模型微調(diào)的roberta-fine相比提高了0.13%,因而證明了模型微調(diào)(包括語言模型微調(diào)和分類器模型微調(diào))的有效性。

2.6 與其他模型集成對比分析

本文集成模型與評測比賽中其他模型實驗結(jié)果比較如表6所示。

表6 其他模型實驗結(jié)果

評測第一名采用的方案是基于BERT與模型融合的短文本分類方法。該方法采用了BERT模型和一些當前主流的深度學習模型進行集成。評測第二名采用的方案是一種基于預訓練模型的醫(yī)學短文本分類方法。該方法與本文大體相同,不同的地方是其最終沒有用到改進的beam search ensemble算法來尋找最佳的模型組合。評測第三名采用的方案是基于BERT融合多特征的臨床試驗篩選標準短文本分類。該方法是通過采用BERT等一系列預訓練語言模型集成和抽取一些文本特征來提高分類結(jié)果,融合的特征主要有句法特征、詞性標注特征和關(guān)鍵詞特征等。通過以上實驗結(jié)果分析可知本文方法得到模型的有效性。

3 結(jié)論

本文提出一種基于遷移學習和集成學習的醫(yī)學短文本分類方案,利用相關(guān)領(lǐng)域外部資源數(shù)據(jù)對語言模型和分類模型進行微調(diào),在微調(diào)過程中利用了斜三角學習率和逐層解凍的微調(diào)方法,最后用模型集成學習來提高醫(yī)學文本分類系統(tǒng)的性能,在模型集成過程中提出了改進的beam search ensemble 算法,該算法可以選出最佳分類模型組合從而可以提高了分類結(jié)果,其F1值達到0.811 1。

未來將繼續(xù)利用遷移學習的一些知識,并嘗試在神經(jīng)網(wǎng)絡分類模型算法上有所改進,進一步提升醫(yī)學文本分類系統(tǒng)的性能。