基于特定領(lǐng)域知識的醫(yī)療問答系統(tǒng)信息質(zhì)量預(yù)測

胡澤 張展 左德承

摘要：伴隨著智能手機(jī)以及移動(dòng)互聯(lián)網(wǎng)的高速普及，健康消費(fèi)者越來越傾向于隨時(shí)隨地地在線咨詢疾病、健康信息。其中最流行的方式便是醫(yī)療問答系統(tǒng)，因?yàn)槠渥鳛橐环N典型的在線問診平臺，可以為廣大健康消費(fèi)者提供足不出戶、高效率以及高性價(jià)比的專業(yè)醫(yī)生診斷體驗(yàn)。然而由于缺乏有效的信息質(zhì)量管控機(jī)制，當(dāng)前的醫(yī)療問答系統(tǒng)仍然會(huì)出現(xiàn)醫(yī)生回答質(zhì)量參差不齊的狀況，這不僅會(huì)誤導(dǎo)健康消費(fèi)者，而且會(huì)造成醫(yī)生的重復(fù)努力，同時(shí)也導(dǎo)致了積累的醫(yī)療問答知識庫無法被有效復(fù)用。因而，對醫(yī)療問答系統(tǒng)的信息質(zhì)量進(jìn)行自動(dòng)化預(yù)測就顯得迫在眉睫。為此，本文提出了一種基于特定領(lǐng)域知識視角、協(xié)同訓(xùn)練以及集成學(xué)習(xí)的醫(yī)療問答系統(tǒng)信息質(zhì)量預(yù)測算法。通過俘獲不同特定領(lǐng)域知識視角間的高度非線性關(guān)系，有效地挖掘出了嵌入在大量未標(biāo)記醫(yī)療問答數(shù)據(jù)中的特定領(lǐng)域語義知識，顯著地提升了信息質(zhì)量的預(yù)測性能。

關(guān)鍵詞：特定領(lǐng)域時(shí)序特征;特定領(lǐng)域表面語言特征;特定領(lǐng)域社會(huì)特征;協(xié)同訓(xùn)練;集成學(xué)習(xí);醫(yī)療問答系統(tǒng)

0引言

在世界范圍內(nèi)，醫(yī)療資源分布的不均衡以及醫(yī)療資源的短缺長期困擾著廣大健康消費(fèi)者。特別是伴隨著人口老齡化的加劇以及慢性疾病的頻發(fā)，醫(yī)療資源匱乏的形勢變得更加嚴(yán)峻，這不僅給醫(yī)院造成了嚴(yán)峻的運(yùn)營壓力，而且也導(dǎo)致了醫(yī)患關(guān)系的緊張。得益于移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)的普及，各種形式的醫(yī)療問答系統(tǒng)（如：好大夫在線、春雨醫(yī)生以及平安好醫(yī)生等）如雨后春筍般迅速興起。通過線上整合不同地域的醫(yī)療資源，優(yōu)化導(dǎo)診分診服務(wù)流程，可以有效地緩解醫(yī)生的工作壓力，同時(shí)也可以提升健康消費(fèi)者獲得高質(zhì)量的醫(yī)療服務(wù)的效率。這將很大程度上改善日益緊張的醫(yī)患關(guān)系，緩解人們?nèi)找嬖鲩L的高質(zhì)量醫(yī)療服務(wù)需求和不平衡不充分的醫(yī)療水平發(fā)展之間的矛盾。

醫(yī)療問答系統(tǒng)中為健康消費(fèi)者提供在線疾病和健康咨詢服務(wù)的均為經(jīng)過資格認(rèn)證的專業(yè)醫(yī)師，因而和傳統(tǒng)的搜索引擎（如：百度搜索、搜狗搜索等）以及社區(qū)問答系統(tǒng)（如：百度知道、新浪愛問等）相比，可以提供更加權(quán)威、更值得信賴的回答。借助于醫(yī)療問答系統(tǒng)的移動(dòng)應(yīng)用，老年人、看護(hù)者以及慢病患者可以在某種程度上實(shí)現(xiàn)足不出產(chǎn)的健康自我管理。

盡管醫(yī)療問答系統(tǒng)為健康消費(fèi)者們帶來了極大的便利，但是由于缺乏有效的信息質(zhì)量管控機(jī)制，其中仍舊充斥著一些低質(zhì)量的回答。例如：個(gè)別醫(yī)生為了推銷自己及其醫(yī)院，往往提供一些答非所問的廣告信息。而一些高級別的醫(yī)生由于工作繁忙，往往讓專業(yè)水平不足的助理或者實(shí)習(xí)生代為解答健康消費(fèi)者的問題等等。低質(zhì)量的回答通常導(dǎo)致健康消費(fèi)者不得不再次咨詢其他醫(yī)生，浪費(fèi)了本就短缺的醫(yī)療資源，同時(shí)還對積累的醫(yī)療問答知識庫的二次開發(fā)使用造成了巨大干擾。高質(zhì)量的醫(yī)療問答知識庫是構(gòu)建虛擬健康助理以及智能醫(yī)療問答系統(tǒng)的關(guān)鍵。因而，對醫(yī)療問答系統(tǒng)中的信息質(zhì)量采用自動(dòng)化評估技術(shù)取代傳統(tǒng)的人工評估就顯得尤為重要。

為此，本文在深入剖析醫(yī)療問答系統(tǒng)的特點(diǎn)后，提取出了2種類別的特定領(lǐng)域非文本特征：特定領(lǐng)域表面語言特征和特定領(lǐng)域時(shí)序特征。將這2個(gè)特征作為特定領(lǐng)域非文本視角輸入到結(jié)合了集成學(xué)習(xí)技術(shù)的協(xié)同訓(xùn)練框架中。由此獲得了一個(gè)可以挖掘嵌入在大量未標(biāo)注醫(yī)療問答數(shù)據(jù)中的特定領(lǐng)域隱藏語義知識的算法。通過俘獲不同特定領(lǐng)域非文本視角間的高度非線性關(guān)系，該算法獲得了比基線方法更好的信息質(zhì)量預(yù)測性能。

1 相關(guān)工作

本研究主要涉及到回答質(zhì)量預(yù)測的相關(guān)工作。由于主流的問答場景主要分為開放領(lǐng)域的社區(qū)問答系統(tǒng)以及垂直領(lǐng)域的專家問答服務(wù)，本研究將從社區(qū)問答系統(tǒng)的回答質(zhì)量預(yù)測以及醫(yī)療問答系統(tǒng)的回答質(zhì)量預(yù)測2個(gè)方面來做介紹。

1.1 社區(qū)問答系統(tǒng)質(zhì)量預(yù)測

社區(qū)問答系統(tǒng)是一個(gè)任何用戶都可以提出問題或者解答問題的平臺，用戶可以輕松地獲得問題的解決方案，并且自由地交流和共享知識。在社區(qū)問答系統(tǒng)的回答質(zhì)量預(yù)測任務(wù)中。已有的研究工作通常假設(shè)由用戶選擇的最佳答案或者獲得投票數(shù)最多的答案為高質(zhì)量答案，其余的候選答案則被認(rèn)為是低質(zhì)量答案，如此該任務(wù)被歸約為一個(gè)經(jīng)典的二分類問題。通過使用特征工程提取一系列的特征，并且將這些特征輸入到機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練。一個(gè)用于社區(qū)問答系統(tǒng)回答質(zhì)量預(yù)測的分類模型被建立。

Jeon等人使用從Naver提取的非文本特征以及最大熵模型進(jìn)行了社區(qū)問答系統(tǒng)的回答質(zhì)量預(yù)測的初始研究。Cai and Chakravarty發(fā)現(xiàn)社區(qū)問答系統(tǒng)在本質(zhì)上是動(dòng)態(tài)的，提取具有時(shí)序?qū)傩缘奶卣骺梢杂行У靥嵘卮鹳|(zhì)量預(yù)測性能。同時(shí)認(rèn)為社區(qū)問答系統(tǒng)的數(shù)據(jù)集是不平衡的，使用精確率和召回率來衡量回答質(zhì)量高低是不恰當(dāng)?shù)?。為此，提出了學(xué)習(xí)排名方法來對所有的候選答案的質(zhì)量進(jìn)行評估。Shah and Pomerantz提出了13個(gè)不同的回答質(zhì)量評價(jià)標(biāo)準(zhǔn)，對挑選的問答對進(jìn)行人工標(biāo)注，并且和真實(shí)用戶的評分進(jìn)行了比對，發(fā)現(xiàn)所提出的質(zhì)量評價(jià)標(biāo)準(zhǔn)可以真實(shí)地反映提問者的看法。此外，還從問題文本、回答文本以及用戶的個(gè)人資料中提取了一系列特征，并且使用邏輯回歸分類模型探究了哪些特征可以有效地辨別最佳答案，因而發(fā)現(xiàn)諸如用戶的個(gè)人資料之類的上下文信息對于評估和預(yù)測社區(qū)問答系統(tǒng)的回答質(zhì)量是至關(guān)重要的。Agichtein以及Bian等人使用基于內(nèi)容的特征、基于使用性統(tǒng)計(jì)的特征以及開發(fā)的反映貢獻(xiàn)者關(guān)系的基于圖的模型對社交媒體的信息質(zhì)量進(jìn)行了評估，并且獲得了接近人類認(rèn)知水平的預(yù)測性能能。Harper等人探究了收費(fèi)與否對于回答質(zhì)量的影響，發(fā)現(xiàn)收費(fèi)服務(wù)可以顯著地調(diào)動(dòng)回答者的積極性，使得提問者可以獲得比免費(fèi)咨詢服務(wù)質(zhì)量、效率更高的回答。

1.2 醫(yī)療問答系統(tǒng)質(zhì)量預(yù)測

與社區(qū)問答系統(tǒng)的回答質(zhì)量預(yù)測任務(wù)相比，醫(yī)療問答系統(tǒng)的回答質(zhì)量預(yù)測任務(wù)近年來才引起研究者的關(guān)注。Hu等人使用可擴(kuò)展多模深度信念網(wǎng)絡(luò)以及特定領(lǐng)域非文本特征對醫(yī)療問答系統(tǒng)的回答質(zhì)量進(jìn)行了初始研究。通過挖掘回答短文本中的隱藏語義表示。以及與特定領(lǐng)域非文本特征進(jìn)行特征融合，提出的深度學(xué)習(xí)框架獲得了當(dāng)時(shí)最好的預(yù)測性能。稍后，Hu等人又提出了特定領(lǐng)域時(shí)序特征、協(xié)同決策策略以及首個(gè)可以為醫(yī)療問答系統(tǒng)上下文提供特定領(lǐng)域知識的特定領(lǐng)域詞嵌入。在此基礎(chǔ)上，提出了一個(gè)新穎的名為“協(xié)同決策卷積神經(jīng)網(wǎng)絡(luò)”的深度學(xué)習(xí)框架，該框架不僅可以俘獲不同類別特征間的高度非線性關(guān)系，而且可以俘獲同一類別不同特征間的非獨(dú)立交互關(guān)系。同時(shí)還可以從特定領(lǐng)域詞嵌人中引入額外的語義知識。如此，Hu等人提出的深度學(xué)習(xí)框架有效地?cái)U(kuò)充了回答短文本的語義空間，克服了回答短文本所面臨的嚴(yán)峻的特征稀疏問題。獲得了醫(yī)療問答系統(tǒng)上下文中當(dāng)前最好的回答質(zhì)量預(yù)測性能。

2材料和方法

2.1 問題定義

與社區(qū)問答系統(tǒng)上下文中的回答質(zhì)量預(yù)測任務(wù)相似。本研究將醫(yī)療問答系統(tǒng)上下文中的回答質(zhì)量自動(dòng)化預(yù)測任務(wù)定義為一個(gè)二分類問題。由于文中引入了結(jié)合集成學(xué)習(xí)的協(xié)同訓(xùn)練框架，因而該研究也可以被看作一個(gè)多視角學(xué)習(xí)問題。即使用多視角學(xué)習(xí)從2個(gè)條件獨(dú)立而充分冗余的特定領(lǐng)域非文本視角學(xué)習(xí)出一個(gè)可以鑒別醫(yī)生回答質(zhì)量高低的融合分類器，使用該融合分類器對新產(chǎn)生的醫(yī)生回答的質(zhì)量進(jìn)行量化計(jì)算。

2.2 數(shù)據(jù)集準(zhǔn)備以及性能評價(jià)指標(biāo)

本研究采用了先前研究中所采集的好大夫在線數(shù)據(jù)集。其中包含用作協(xié)同訓(xùn)練初始標(biāo)注數(shù)據(jù)集和監(jiān)督學(xué)習(xí)訓(xùn)練集隨機(jī)抽取的2800個(gè)已標(biāo)注問答對，用作協(xié)同訓(xùn)練和監(jiān)督學(xué)習(xí)的標(biāo)準(zhǔn)測試集的400個(gè)已標(biāo)注問答對。以及用作協(xié)同訓(xùn)練未標(biāo)注數(shù)據(jù)集的5000個(gè)未標(biāo)注問答對。值得注意的是，在已標(biāo)注數(shù)據(jù)集中，高低質(zhì)量的問答對數(shù)量是相等的。由先前的研究得知，在不平衡數(shù)據(jù)集上將會(huì)訓(xùn)練出一個(gè)預(yù)測偏差較大的糟糕的分類模型，特別是在協(xié)同訓(xùn)練初始標(biāo)注數(shù)據(jù)集往往較小的情形下。

作為一個(gè)二分類問題，本研究將高低質(zhì)量回答分別看作為正負(fù)類，并且報(bào)告了算法在正類上的預(yù)測性能。所有的實(shí)驗(yàn)都經(jīng)過5輪重復(fù)，并且報(bào)告了平均性能以及對應(yīng)的預(yù)測偏差，以此來確保實(shí)驗(yàn)結(jié)果的穩(wěn)定性和可靠性。本研究所使用的預(yù)測性能評價(jià)指標(biāo)包括精確率（P）、召回率（R）、F1和AUC。

2.3 特定領(lǐng)域非文本視角

本文采用了先前研究中所提出的2種類型的特定領(lǐng)域非文本特征來作為特定領(lǐng)域非文本視角，包括特定領(lǐng)域表面語言特征和特定領(lǐng)域時(shí)序特征。

特定領(lǐng)域表面語言特征（slf）：特定領(lǐng)域表面語言特征主要反映了醫(yī)生回答的3方面的屬性：

（1）醫(yī)生的寫作風(fēng)格，例如醫(yī)生回答中的不重復(fù)詞語的數(shù)量在某種程度上反映了醫(yī)生回答的流暢度。

（2）問答對之間的關(guān)系，例如一個(gè)高質(zhì)量的回答往往和患者所提問題有著高度的相關(guān)性，而低質(zhì)量的回答往往是不相關(guān)的廣告及垃圾信息。

（3）醫(yī)生的專業(yè)水平，例如一個(gè)受過高等教育、臨床經(jīng)驗(yàn)豐富的醫(yī)生往往會(huì)給出一個(gè)包含較多醫(yī)療專業(yè)術(shù)語以及權(quán)威參考文獻(xiàn)的高質(zhì)量回答。而一個(gè)資質(zhì)一般的醫(yī)生給出的回答通常比較通俗簡單，缺乏醫(yī)療專業(yè)性。

主要的特定領(lǐng)域表面語言特征包括患者總數(shù)目以及總的患者總訪問數(shù)量等。經(jīng)過預(yù)處理以及正則化，每個(gè)醫(yī)生的回答被間接表示為一個(gè)34維度的實(shí)數(shù)值向量。

特定領(lǐng)域時(shí)序特征（）：特定領(lǐng)域時(shí)序特征主要反映了一個(gè)醫(yī)生在特定時(shí)間周期內(nèi)的動(dòng)態(tài)表現(xiàn)。因?yàn)獒t(yī)療問答系統(tǒng)本質(zhì)上是動(dòng)態(tài)的，而一個(gè)醫(yī)生在不同時(shí)間的狀態(tài)和表現(xiàn)也截然不同。例如一個(gè)通常給出高質(zhì)量回答的醫(yī)生在工作繁忙或者心情不好的時(shí)候也可能給出低質(zhì)量的回答。而一個(gè)通常給出低質(zhì)量回答的醫(yī)生在遇到自己擅長的問題或者心情足夠舒暢的時(shí)候也可能給出詳細(xì)而高質(zhì)量的回答。主要的特定領(lǐng)域時(shí)序特征包含特定時(shí)間周期內(nèi)患者訪問數(shù)量以及特定時(shí)間周期內(nèi)醫(yī)生被患者推薦的水平等。經(jīng)過預(yù)處理以及正則化，每個(gè)醫(yī)生的回答被間接表示為一個(gè)17維度的實(shí)數(shù)值向量。

2.4 算法

協(xié)同訓(xùn)練框架作為一種經(jīng)典的半監(jiān)督學(xué)習(xí)方法。在指代消解、詞性標(biāo)記、垃圾郵件分類以及詞義消歧等方面有著重要的應(yīng)用。在存在大量未標(biāo)注數(shù)據(jù)集的場景，僅需要數(shù)量較小的初始標(biāo)注訓(xùn)練集，協(xié)同訓(xùn)練框架便可以利用大量未標(biāo)注數(shù)據(jù)來提升預(yù)測性能，有效地避免了昂貴的人工標(biāo)注，提升了效率。標(biāo)準(zhǔn)的協(xié)同訓(xùn)練框架最早是由Blum和Mitchell提出，通過在真實(shí)網(wǎng)頁分類任務(wù)中使用協(xié)同訓(xùn)練框架，證實(shí)了該框架可以有效地利用大量未標(biāo)注的廉價(jià)、易獲取的數(shù)據(jù)來提升分類性能。標(biāo)準(zhǔn)的協(xié)同訓(xùn)練框架要求2個(gè)視角滿足條件獨(dú)立和充分冗余的假設(shè)。Wang和Zhou對協(xié)同訓(xùn)練框架進(jìn)行了全新的理論分析，并且將協(xié)同訓(xùn)練抽象為一種雙視角間的組合標(biāo)簽傳播過程。Yu等人對協(xié)同訓(xùn)練框架所基于的理論假設(shè)的適用場景進(jìn)行了深入探究，并且提出了一種全新的適用于多視角學(xué)習(xí)的基于無向圖模型的貝葉斯協(xié)同訓(xùn)練框架，有效地解決了存在視角缺失情形數(shù)據(jù)的利用問題。Sun等人則提出了一種基于實(shí)體的協(xié)同訓(xùn)練算法，該算法無需依賴類別分布先驗(yàn)知識便可以獲得接近監(jiān)督學(xué)習(xí)的預(yù)測性能。

以2.3節(jié)的2個(gè)特定領(lǐng)域非文本視角為基礎(chǔ)，提出了一個(gè)基于協(xié)同訓(xùn)練和集成學(xué)習(xí)的醫(yī)療問答系統(tǒng)質(zhì)量預(yù)測算法。該算法的工作流程如下：

（1）來自于特定領(lǐng)域表面語言特征視角的已標(biāo)注回答的特征映射被用于訓(xùn)練基級分類器C₁。

（2）C₁用于預(yù)測來自于特定領(lǐng)域表面語言特征視角的未標(biāo)注回答的特征映射。

（3）獲得最置信特定數(shù)量新的已標(biāo)注回答被傳遞到特定領(lǐng)域時(shí)序視角的已標(biāo)注回答數(shù)據(jù)集作為訓(xùn)練集，以此來提升預(yù)測性能。特定領(lǐng)域時(shí)序視角對于已標(biāo)注回答和未標(biāo)注回答的特征映射的處理方式與特定領(lǐng)域表面語言視角相似。

經(jīng)過特定的迭代次數(shù)后。可為每個(gè)特定領(lǐng)域視角分別學(xué)習(xí)出一個(gè)最優(yōu)的基級分類器。隨后，使用集成學(xué)習(xí)的和規(guī)則融合2個(gè)最優(yōu)基級分類器的結(jié)果，因?yàn)樵?個(gè)結(jié)果融合規(guī)則（和規(guī)則、最小值規(guī)則、最大值規(guī)則和乘法規(guī)則）中，和規(guī)則表現(xiàn)出最佳性能。如此，不僅俘獲了特定領(lǐng)域表面語言視角和特定領(lǐng)域時(shí)序視角間的高度非線性關(guān)系。而且挖掘出了嵌入在大量未標(biāo)注問答數(shù)據(jù)集中的高度非線性語義知識。詳細(xì)的算法流程見表1.

2.5 基線視角以及基線半監(jiān)督學(xué)習(xí)方法

基線視角包括3種社區(qū)問答系統(tǒng)，回答質(zhì)量預(yù)測上下文中流行的文本特征提取方法（BOW-binary、BOW_CHI和LDA），以及一種特定領(lǐng)域非文本特征（特定領(lǐng)域社會(huì)化特征）。

（1）BOW_binary：文本特征提取方法是基于高頻詞構(gòu)建的二進(jìn)制加權(quán)的詞袋模型。經(jīng)過分詞、詞性標(biāo)記以及去停用詞的標(biāo)準(zhǔn)預(yù)處理后，每個(gè)醫(yī)生的回答被表示為一個(gè)二進(jìn)制加權(quán)的2812維度的0/1向量。

（2）BOW_CHI：文本特征提取方法使用卡方統(tǒng)計(jì)構(gòu)建詞袋模型。經(jīng)過標(biāo)準(zhǔn)的預(yù)處理之后，每個(gè)醫(yī)生的回答被表示為一個(gè)文檔逆文檔頻率加權(quán)的2812維度的實(shí)數(shù)值向量。

（3）LDA：文本特征提取方法是一個(gè)經(jīng)典的主題模型。通過對醫(yī)生的回答文本進(jìn)行粗粒度建模，每個(gè)醫(yī)生的回答被表示為一個(gè)25維度的實(shí)數(shù)值主題向量。

（4）特定領(lǐng)域社會(huì)化特征（sf）：主要從統(tǒng)計(jì)角度反映了醫(yī)生的歷史表現(xiàn)。通過對醫(yī)生的個(gè)人資料進(jìn)行統(tǒng)計(jì)分析，可以獲得醫(yī)生的受歡迎程度、受教育水平、好評率以及專業(yè)等級水平等。先前的研究也證實(shí)一個(gè)受教育程度高（例如博士）、專業(yè)等級水平高（例如主任醫(yī)師）的醫(yī)生更可能給出一個(gè)詳細(xì)而高質(zhì)量的回答。主要的特定領(lǐng)域社會(huì)化特征包括問答對之間的重復(fù)詞語數(shù)量以及問答對之間的相似度等。經(jīng)過預(yù)處理以及正則化，每個(gè)醫(yī)生的回答被間接表示為一個(gè)26維度的實(shí)數(shù)值向量。

基線半監(jiān)督學(xué)習(xí)方法包括基于隨機(jī)子空間切割的RSS-CoT算法、基于內(nèi)容和社交的CS-CoT算法以及經(jīng)典的直推式向量機(jī)TSVM。

2.6超參數(shù)調(diào)優(yōu)

對于文中提出的ST-CoT算法，使用大小為300的初始已標(biāo)注訓(xùn)練集，大小為400的已標(biāo)注測試集。每次迭代過程中挑選的最置信的正負(fù)樣本數(shù)目均為2，獲得最佳實(shí)驗(yàn)結(jié)果的迭代次數(shù)為20，結(jié)果的融合規(guī)則使用集成學(xué)習(xí)中的和規(guī)則。參數(shù)調(diào)優(yōu)的詳細(xì)細(xì)節(jié)請參見3.3節(jié)。

3結(jié)果和討論

3.1 監(jiān)督學(xué)習(xí)預(yù)測性能分析

對不同視角及其組合在來自于社區(qū)問答系統(tǒng)回答質(zhì)量預(yù)測上下文的常用的3種分類器邏輯回歸（LR）、支持向量機(jī)（SVM）和樸素貝葉斯（NB）的預(yù)測性能進(jìn)行了綜合的比較與分析。

為了公平的比較，采用了與提出的ST-CoT算法獲得最佳預(yù)測性能時(shí)相同數(shù)目的從已標(biāo)注數(shù)據(jù)集中隨機(jī)抽取的訓(xùn)練集和測試集來進(jìn)行監(jiān)督學(xué)習(xí)預(yù)測性能分析，即460（300+2*（2+2）*20）個(gè)訓(xùn)練集和400個(gè)測試集。見表2和表3，可以觀察到如下結(jié)論：

（1）從最能體現(xiàn)分類模型整體性能的AUC指標(biāo)來看，特定領(lǐng)域表面語言視角和特定領(lǐng)域時(shí)序視角的組合在LR、SVM以及NB分類器上均獲得了最佳性能。使用這兩個(gè)特定領(lǐng)域非文本視角來作為本研究所提出的ST-CoT算法的兩個(gè)視角。

（2）見表2和表3的前三行，三種基線文本視角在SVM和NB分類器上均表現(xiàn)出了十分糟糕的性能。這表明三種基線文本視角不適用于在數(shù)量特別小的已標(biāo)注數(shù)據(jù)集上構(gòu)建有效的監(jiān)督分類器。因而在視角的兩兩組合實(shí)驗(yàn)以及小節(jié)3.2中的半監(jiān)督學(xué)習(xí)方法對比實(shí)驗(yàn)中，三種基線文本視角不再被考慮。

（3）見表2和表3的最后三行，從最能反映模型整體性能的AUC指標(biāo)來看，在三種特定領(lǐng)域非文本視角的兩兩組合實(shí)驗(yàn)中，LR分類器始終可以獲得最佳的性能。受此啟發(fā)將LR分類器作為本研究所提出的ST-CoT算法的基級分類器，以此獲得更好、更穩(wěn)定的預(yù)測性能。

3.2 半監(jiān)督學(xué)習(xí)預(yù)測性能分析

表4展示了本文提出的ST-CoT算法與基線方法的對比結(jié)果，為了更直觀地表示本文提出的算法的具體構(gòu)成，在表4中使用LR_slf_tf_CoT代替ST-CoT來表示算法。Supervised（）代表了3.1節(jié)中監(jiān)督學(xué)習(xí)分類器LR所取得的結(jié)果。RSS前綴表示該方法的視角經(jīng)過了隨機(jī)子空間切割算法的處理。LR-slf-tf-CoT（Slf）代表ST-CoT算法的C₁，LR-slf-d_CoT（tf）代表ST-CoT算法的C₂，LR_slf_tf_CoT（slf+tf）代表ST-CoT算法的C_fusion。從表4可以觀察到如下結(jié)論：

（1）本文算法在最能體現(xiàn)模型整體性能的AUC指標(biāo)上獲得了最佳的性能，并且明顯優(yōu)于社區(qū)問答系統(tǒng)回答質(zhì)量預(yù)測上下文中的最新半監(jiān)督學(xué)習(xí)方法RSS-CoT和CS-CoT。同時(shí)該算法也優(yōu)于典型的半監(jiān)督學(xué)習(xí)方法了SVM。這是因?yàn)楸疚奶岢龅乃惴ú粌H可以從兩個(gè)特定領(lǐng)域非文本視角引入額外的領(lǐng)域知識，而且可以挖掘隱藏在大量未標(biāo)注問答數(shù)據(jù)集中的高度非線性語義知識。此外，算法還可以借助于集成學(xué)習(xí)俘獲兩個(gè)特定領(lǐng)域非文本視角間的高度非線性關(guān)系。

（2）見表4最后三行所示，算法在最能反映模型整體性能的AUC指標(biāo)上獲得了比監(jiān)督學(xué)習(xí)方法更好的性能。這是因?yàn)榕c監(jiān)督學(xué)習(xí)方法，簡單的線性組合2個(gè)特定領(lǐng)域非文本視角相比，本文提出的算法可以俘獲隱藏在2個(gè)特定領(lǐng)域非文本視角間的高度非線性關(guān)系。同時(shí)發(fā)現(xiàn)RSS_LR_slf_tf_CoT算法獲得了最差的性能，這是因?yàn)镽SS算法破壞了2個(gè)特定領(lǐng)域非文本視角的原有特征空間，造成原有的視角間的高度非線性關(guān)系以及同一視角內(nèi)的特征間的非獨(dú)立交互關(guān)系丟失。

3.3 算法核心超參數(shù)對于預(yù)測性能的影響

本小節(jié)對本文提出的ST-CoT算法的三個(gè)核心參數(shù)對于最終預(yù)測性能的影響進(jìn)行了討論，并且使用最能反映模型整體性能的AUC指標(biāo)來進(jìn)行可視化。此外，不同的集成學(xué)習(xí)結(jié)果組合規(guī)則對于結(jié)果的影響也被探究。

圖1展示了初始標(biāo)注數(shù)據(jù)集大小對于算法性能的影響。由此發(fā)現(xiàn)算法的性能伴隨著初始數(shù)據(jù)集大小的增加先迅速增加，隨后保持平穩(wěn)。這是因?yàn)榘殡S著初始標(biāo)注數(shù)據(jù)集大小的增加，模型的泛化能力不斷提高，從而抵抗數(shù)據(jù)集中的噪聲干擾的能力也不斷變強(qiáng)。本研究提出的算法致力于降低人工標(biāo)注成本的宗旨，選擇了模型可以獲得穩(wěn)定泛化能力的最小初始標(biāo)注數(shù)據(jù)集數(shù)目300來進(jìn)行實(shí)驗(yàn)。

圖2展示了迭代次數(shù)對于算法性能的影響。伴隨著迭代次數(shù)的增加，算法的性能先快速上升，然后開始波動(dòng)式下降。這是因?yàn)樵谒惴ㄓ?xùn)練的初始階段，伴隨著迭代次數(shù)的增加，已標(biāo)注數(shù)據(jù)集的大小開始逐漸變大，模型的泛化能力也隨之升高。但是在迭代次數(shù)達(dá)到特定閾值后，算法積累的來源于未標(biāo)注數(shù)據(jù)集的噪聲干擾開始顯現(xiàn)負(fù)面作用。為了取得最佳性能，本文選擇20作為迭代次數(shù)。

圖3展示了算法在每次迭代中選擇的最置信正負(fù)樣本數(shù)目對于算法性能的影響。發(fā)現(xiàn)正負(fù)樣本數(shù)目相等時(shí)，算法可以獲得一個(gè)穩(wěn)定的性能，而當(dāng)樣本數(shù)目不均衡時(shí)，特別是正樣本數(shù)目低于負(fù)樣本數(shù)目時(shí)，算法性能出現(xiàn)了嚴(yán)重的下降。這是因?yàn)橄嗟葦?shù)量的正負(fù)樣本可以訓(xùn)練出更加穩(wěn)定的基級分類器。避免預(yù)測偏差。此外還發(fā)現(xiàn)當(dāng)正負(fù)樣本數(shù)目相等時(shí)，算法的性能伴隨著數(shù)目的增加出現(xiàn)波動(dòng)式下降。這是因?yàn)閱未蔚羞x擇的正負(fù)樣本數(shù)目越大，越容易引入未標(biāo)注數(shù)據(jù)集中的噪聲干擾。因此，本文使用數(shù)目為2的正負(fù)樣本來進(jìn)行實(shí)驗(yàn)。

見表5所示，集成學(xué)習(xí)的和規(guī)則在除了召回率之外的所有性能指標(biāo)上均獲得了最佳性能。是因?yàn)楹鸵?guī)則可以更好地?cái)M合2個(gè)特定領(lǐng)域非文本視角間的高度非線性關(guān)系。因而，本文將和規(guī)則用于結(jié)果融合。

4 結(jié)束語

本文使用特定領(lǐng)域非文本視角以及結(jié)合了集成學(xué)習(xí)的協(xié)同訓(xùn)練框架。對醫(yī)療問答系統(tǒng)上下文中的回答質(zhì)量預(yù)測任務(wù)進(jìn)行了研究。通過使用特定領(lǐng)域非文本視角，引入了額外的特定領(lǐng)域統(tǒng)計(jì)知識。通過使用協(xié)同訓(xùn)練框架，有效地挖掘出了隱藏在大量未標(biāo)注問答數(shù)據(jù)集中的特定領(lǐng)域語義知識。通過使用集成學(xué)習(xí)，俘獲了2個(gè)不同的特定領(lǐng)域視角間的高度非線性關(guān)系。如此提出的算法相較于已有方法獲得了顯著的性能提升。

在下一步研究中，將探索新的特定領(lǐng)域視角來進(jìn)一步提升模型的預(yù)測性能。同時(shí)準(zhǔn)備對協(xié)同訓(xùn)練框架的基分類器進(jìn)行改進(jìn)，使其可以更好地建模面臨特征稀疏問題的短文本視角以及可以在更小的初始標(biāo)注數(shù)據(jù)集上穩(wěn)定工作。