肺結(jié)核X線胸片智能輔助診斷系統(tǒng)在基層醫(yī)院的臨床效能評價

張修磊 王倩 夏麗 劉遠(yuǎn)明 郝焱 郭琳

結(jié)核病是一種由結(jié)核分枝桿菌引起的主要經(jīng)呼吸道傳播的慢性傳染病，其診斷以病原學(xué)檢查為主，結(jié)合流行病史、臨床表現(xiàn)、胸部影像等相關(guān)檢查進(jìn)行綜合分析。我國作為結(jié)核病高負(fù)擔(dān)國家之一， 63%的結(jié)核病患者缺乏病原學(xué)確診依據(jù)[1]。這種情況在病原學(xué)檢查條件極大受限的基層醫(yī)院更為突出，相關(guān)研究顯示部分地區(qū)痰檢陽性率僅為11.7%[2]，因此基層醫(yī)生在較大程度上依然主要依靠影像依據(jù)做出判斷[3]。雖然CT掃描越來越普及，但多數(shù)結(jié)核病定點(diǎn)醫(yī)院仍以X線胸片診斷為主。目前，許多研究表明，基于數(shù)字化放射成像(digital radiography, DR)的人工智能(artificial intelligence, AI)技術(shù)不僅能夠?qū)τ跋裾飨髮?shí)現(xiàn)快速定位及定量分析，同時還能識別出早期較為微小的病灶，幫助基層醫(yī)生提高對肺結(jié)核的診斷準(zhǔn)確率[4-6]。因此，本研究在山東省8家縣(區(qū))級獨(dú)立結(jié)核病防治所(簡稱“結(jié)防所”)內(nèi)安裝了肺結(jié)核AI輔助診斷系統(tǒng)，通過對AI系統(tǒng)與基層影像醫(yī)師的診斷結(jié)果進(jìn)行比較，以評估該系統(tǒng)在多中心基層醫(yī)療機(jī)構(gòu)結(jié)核診斷方面的應(yīng)用價值。

資料和方法

一、 研究對象

收集2020年11月至2021年4月山東省郯城縣、沂南縣、蘭陵縣、平邑縣、汶上縣、金鄉(xiāng)縣、鄒城縣、泗水縣8家結(jié)防所的8600例初診疑似肺結(jié)核患者的影像資料。通過隨機(jī)數(shù)字表法從8600例中選取連續(xù)30 d納入的396例為本研究納入患者。其中男249例，女147例，男∶女=2.32∶1。年齡范圍為6～90歲，中位年齡56歲。

二、結(jié)防所診斷小組與AI系統(tǒng)閱片

結(jié)防所診斷小組閱片：在每家縣級結(jié)防所，由2名具備10年以上閱片經(jīng)驗的影像科醫(yī)生和1名門診醫(yī)生組成診斷小組，對396例初診患者的DR影像進(jìn)行閱片，結(jié)合患者的其他臨床資料，經(jīng)集體討論判斷患者所患疾病的性質(zhì)。統(tǒng)計判斷為肺結(jié)核(陽性)與排除肺結(jié)核(陰性)的患者例數(shù)，其中排除肺結(jié)核包括正常和非肺結(jié)核異常。

AI系統(tǒng)閱片：將396例患者的影像資料上傳至DR輔助診斷系統(tǒng)(深圳市智影醫(yī)療科技有限公司提供)，該系統(tǒng)應(yīng)用的算法模型在之前的研究中得到了描述和驗證[7]。其具體工作流程為：對于每張輸入的DR圖像，算法會提供1個 0～1的異常圖像概率值，概率值越高，說明其包含某種胸部疾病的可能性就越大。之后系統(tǒng)自動對病灶進(jìn)行識別勾勒，并以文字注釋病灶標(biāo)簽。目前系統(tǒng)共包含7種病的標(biāo)簽：結(jié)核病，肺炎，結(jié)節(jié)，脊柱彎曲心臟增大，主動脈迂曲，主動脈鈣化。診斷完成后系統(tǒng)自動生成輔助診斷報告，注明病灶位置和疑似度等信息。統(tǒng)計AI系統(tǒng)判斷為肺結(jié)核與排除肺結(jié)核的患者例數(shù)。

三、結(jié)防所診斷小組與AI系統(tǒng)閱片驗證測試

在結(jié)防所診斷小組與AI系統(tǒng)對比中，引入高年資專家組閱片。2名高年資結(jié)核病專科醫(yī)院的主任醫(yī)師(>30年閱片經(jīng)驗)結(jié)合患者癥狀體征及其他實(shí)驗室病原學(xué)檢查結(jié)果，并依據(jù)《WS 288—2017 肺結(jié)核診斷》[3]標(biāo)準(zhǔn)對396例患者的DR胸片進(jìn)行閱讀。部分患者在本次就診前，曾于其他機(jī)構(gòu)就醫(yī)并進(jìn)行了CT影像檢查，專家組亦參考了CT影像。研究對兩位醫(yī)學(xué)專家的評估標(biāo)準(zhǔn)進(jìn)行一致性檢驗。最后將兩位醫(yī)學(xué)專家的一致判斷作為標(biāo)準(zhǔn)(不一致的由專家進(jìn)行內(nèi)部討論最終確認(rèn)一致)[8-9]，專家組診斷結(jié)果為134例肺結(jié)核，262例排除肺結(jié)核。

以專家組診斷結(jié)論為標(biāo)準(zhǔn)，驗證AI系統(tǒng)與結(jié)防所醫(yī)生組成的診斷小組判斷結(jié)果。評價指標(biāo)包括：敏感度、特異度、陽性預(yù)測值、陰性預(yù)測值以及診斷準(zhǔn)確率。敏感度=真陽性例數(shù)/(真陽性例數(shù)+假陰性例數(shù))×100%；特異度=真陰性例數(shù)/(真陰性例數(shù)+假陽性例數(shù))×100%；陽性預(yù)測值=真陽性例數(shù)/(真陽性例數(shù)+假陽性例數(shù))×100%；陰性預(yù)測值=真陰性例數(shù)/(真陰性例數(shù)+假陰性例數(shù))×100%；診斷準(zhǔn)確率=(真陽性例數(shù)+真陰性例數(shù))/患者總例數(shù)×100%。

四、統(tǒng)計學(xué)處理

數(shù)據(jù)分析使用SPSS 20.0軟件，不同方法的敏感度，特異度，陽性預(yù)測值，陰性預(yù)測值以及診斷準(zhǔn)確率等的比較采用卡方檢驗，以P<0.05為差異有統(tǒng)計學(xué)意義。2名醫(yī)學(xué)專家評估標(biāo)準(zhǔn)的一致性采用Kappa系數(shù)評價。Kappa值<0.4為一致性較差，0.4≤Kappa值<0.6為一致性一般，0.6≤Kappa值<0.8為一致性較高，Kappa值≥0.8為一致性很好。

結(jié) 果

一、高年資專家的一致性分析

2名高年資專家分別對396例患者的胸片進(jìn)行審閱，對兩位專家的評估標(biāo)準(zhǔn)進(jìn)行一致性檢驗，Kappa值=0.95(95%CI：0.92～0.99)，P<0.05。結(jié)果顯示，2名高年資專家的診斷吻合度很好，有非常高的一致性(表1)。

表1 兩名高年資專家診斷肺結(jié)核的一致性分析

二、結(jié)防所診斷小組與AI系統(tǒng)的閱片結(jié)果對比分析

本研究8家縣級結(jié)防所就醫(yī)的396例患者中，診斷小組共檢出118例肺結(jié)核患者。AI系統(tǒng)與結(jié)防所診斷小組閱片一致率為86.1%(341/396)，且AI系統(tǒng)與結(jié)防所診斷小組判斷一致的患者均符合高年資專家組的判斷結(jié)果。AI系統(tǒng)與結(jié)防所診斷小組共對55例X線胸片判斷不一致，其中35例由AI系統(tǒng)判斷為肺結(jié)核，診斷小組判斷排除肺結(jié)核，占8.8%(35/396)；20例由AI系統(tǒng)判斷為排除肺結(jié)核，診斷小組判斷為肺結(jié)核，占5.1%(20/396)(表2)。

表2 結(jié)防所診斷小組與AI系統(tǒng)閱片結(jié)果比較(例)

三、高年資專家組對結(jié)防所診斷小組與AI系統(tǒng)閱片結(jié)果的驗證

針對AI系統(tǒng)與結(jié)防所醫(yī)生閱片結(jié)果不一致的患者，分析了高年資醫(yī)生專家組的閱片結(jié)果。35例AI系統(tǒng)診斷陽性，結(jié)防所診斷小組診斷陰性的患者中，33例為高年資專家組的判斷與AI系統(tǒng)的判斷一致者，不一致的2例為高年資醫(yī)生分別判斷為兩肺病變、炎癥與結(jié)核病鑒別。20例AI系統(tǒng)診斷陰性，結(jié)防所診斷小組診斷陽性的患者中，17例為高年資專家組的判斷與AI系統(tǒng)的判斷一致，不一致的3例為高年資醫(yī)生判斷為陽性。因此，結(jié)果顯示AI系統(tǒng)漏診3例，結(jié)防所診斷小組漏診33例(表3)。結(jié)防所醫(yī)生漏診患者示例如圖1～9所示。此外，AI系統(tǒng)與結(jié)防所診斷小組閱片的假陽性率分別為0.8%(2/260)和6.5% (17/260)。

表3 結(jié)防所診斷小組與AI系統(tǒng)閱片結(jié)果不一致者與高年資專家組結(jié)果比較(例)

圖1～3 結(jié)防所診斷小組漏診患者X線胸片。圖1示左肺尖可見斑片狀、條索狀高密度影；圖2示雙上肺可見條索狀、結(jié)節(jié)狀高密度影；圖3 示右上肺可見斑片狀高密度影。 圖4～9 AI系統(tǒng)與結(jié)防所診斷小組判斷一致患者的X線胸片。圖4～6為結(jié)防所診斷小組判斷的患者的X線胸片，圖7～9為AI系統(tǒng)判斷的患者的X線胸片。AI系統(tǒng)對病灶進(jìn)行定位(綠色勾勒區(qū)域)并注釋相應(yīng)病種標(biāo)簽作為輔助診斷信息。圖4、5示 左肺、右上肺可見斑片狀及結(jié)節(jié)狀高密度影；圖6、7示 雙上肺可見斑片狀高密度影；圖8、9示雙肺內(nèi)可見小斑片狀及結(jié)節(jié)狀高密度影

四、結(jié)防所診斷小組與AI系統(tǒng)閱片水平對比分析

在檢出率上，AI系統(tǒng)閱片肺結(jié)核檢出率為97.8%(131/134)，結(jié)防所診斷小組閱片肺結(jié)核檢出率為75.4%(101/134)，AI系統(tǒng)檢出率高于結(jié)防所診斷小組，差異有統(tǒng)計學(xué)意義(χ2=28.88,P<0.05)在敏感度、特異度、陽性預(yù)測值、陰性預(yù)測值以及診斷準(zhǔn)確率方面，AI系統(tǒng)的閱片表現(xiàn)均高于結(jié)防所診斷小組(表4)。

表4 結(jié)防所診斷小組與AI系統(tǒng)閱片水平對比分析

討 論

一、基于深度學(xué)習(xí)的AI技術(shù)在胸片肺結(jié)核檢測中的應(yīng)用

肺結(jié)核作為一種呼吸道傳染病，嚴(yán)重威脅自身和他人健康，識別出肺結(jié)核患者的微小影像學(xué)特征對早期預(yù)防和及時治療肺結(jié)核至關(guān)重要。目前，基于深度學(xué)習(xí)的AI技術(shù)能夠通過大量經(jīng)人工標(biāo)注的肺結(jié)核影像資料進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對肺結(jié)核的智能輔助診斷。AI軟件的基本原理在于深度學(xué)習(xí)網(wǎng)絡(luò)能夠從大量標(biāo)注的訓(xùn)練圖像中自動地提取、學(xué)習(xí)到高維語義特征，從而可以根據(jù)目標(biāo)病灶的圖像特征進(jìn)行分類任務(wù)，最終建立對疾病的識別和檢測系統(tǒng)。在算法開發(fā)層面，Jin等[10]采用深度學(xué)習(xí)網(wǎng)絡(luò)建立了DR胸片肺結(jié)核識別算法模型，并在6個獨(dú)立胸片測試集(結(jié)核病比例為39%～60%)作為外部驗證數(shù)據(jù)集測試所開發(fā)的算法性能，結(jié)果發(fā)現(xiàn)深度學(xué)習(xí)算法對胸片表現(xiàn)出非常出色的肺結(jié)核診斷性能，敏感度和特異度均>94%。曹盼等[9]采用特征金字塔網(wǎng)絡(luò)(FPN)建立了DR胸片肺結(jié)核診斷模型，并引入了兩名放射科醫(yī)生的判斷作為模型判斷標(biāo)準(zhǔn)，結(jié)果顯示該網(wǎng)絡(luò)診斷肺結(jié)核的敏感度，特異度和準(zhǔn)確度分別為96.0%，76.0%和86.0%，同時以矩形框的形式提示病灶位置。在應(yīng)用效果層面，劉廣天等[8]在2020年對寧夏回族自治區(qū)醫(yī)療機(jī)構(gòu)的AI影像系統(tǒng)進(jìn)行了應(yīng)用效果評價，研究同樣以2名具有高級或者副高級職稱的放射科醫(yī)師閱片結(jié)果為標(biāo)準(zhǔn)，隨機(jī)回顧性抽查100張患者X線胸片進(jìn)行分析，結(jié)果顯示AI自動閱片診斷肺結(jié)核的敏感度和特異度分別為90.91% 和89.89%。與這些已發(fā)表的研究相比，一方面本研究AI系統(tǒng)表現(xiàn)出更高的敏感度、特異度和準(zhǔn)確度，但是需要注意的是，這些指標(biāo)與測試數(shù)據(jù)集的大小和構(gòu)成相關(guān)，因此不能直接得出系統(tǒng)性能優(yōu)劣的結(jié)論。另一方面，本研究中山東省8家縣級結(jié)防所應(yīng)用的AI系統(tǒng)能夠清晰地勾勒出病灶邊緣(圖1～9)并提示0～1的風(fēng)險概率，而不是基于矩形邊框或熱圖來呈現(xiàn)病灶位置。因此醫(yī)生可以更清晰地知道AI的判斷結(jié)果。

二、AI系統(tǒng)與結(jié)防所診斷小組診斷肺結(jié)核表現(xiàn)的對比評價

通過在8家縣級結(jié)防所進(jìn)行的回顧性研究，發(fā)現(xiàn)AI系統(tǒng)比結(jié)防所診斷小組的肺結(jié)核檢出率高，且差異有統(tǒng)計學(xué)意義；AI系統(tǒng)的假陽性率低于結(jié)防所醫(yī)生。在AI系統(tǒng)與結(jié)防所診斷小組不一致的患者中，AI系統(tǒng)的判斷結(jié)果與高年資醫(yī)學(xué)專家組標(biāo)準(zhǔn)的吻合度更高，AI系統(tǒng)具有比縣級結(jié)防所診斷小組更高的敏感度、特異度以及準(zhǔn)確率。本研究中，AI系統(tǒng)比結(jié)防所診斷小組有更好的結(jié)核診斷表現(xiàn)，這與文獻(xiàn)[11-12]的研究結(jié)論一致，兩者將AI系統(tǒng)與不同年資的放射科醫(yī)生進(jìn)行閱片性能比較，發(fā)現(xiàn)AI系統(tǒng)與較高年資放射科醫(yī)生診斷水平相當(dāng)，高于低年資放射科醫(yī)生的閱片表現(xiàn)，且低年資放射科醫(yī)生的閱片水平可以在AI系統(tǒng)的輔助下獲得提升。AI系統(tǒng)能夠取得良好閱片表現(xiàn)的原因一方面在于數(shù)據(jù)。該系統(tǒng)在開發(fā)過程中學(xué)習(xí)了海量的高質(zhì)量標(biāo)注數(shù)據(jù)，這些數(shù)據(jù)來源于全國各地，標(biāo)注過程嚴(yán)格遵守“多人獨(dú)立標(biāo)注+審核”的流程，這使得系統(tǒng)具有良好的魯棒性和廣泛適用性。另一方面在于算法架構(gòu)。研究在建立算法模型時融合了多種學(xué)習(xí)網(wǎng)絡(luò)。一般而言，AI系統(tǒng)具備較高檢出率的同時也可能帶來更高的系統(tǒng)判斷假陽性[13]。Litjens等[14]的研究結(jié)果顯示在使用深度學(xué)習(xí)算法檢測肺癌時假陽性率達(dá)到40%。在臨床應(yīng)用過程中，不難發(fā)現(xiàn)對于AI系統(tǒng)算法的研發(fā)最具挑戰(zhàn)的工作是提高檢出率和準(zhǔn)確度的同時降低識別的假陽性率。本研究的AI系統(tǒng)對肺結(jié)核的檢出率高于結(jié)防所診斷小組，同時具有更低的假陽性率，這可能是由于本研究中的AI系統(tǒng)采用了不同的深度學(xué)習(xí)網(wǎng)絡(luò)融合后來進(jìn)行圖像的分割和圖像特征的提取[7]，而不僅僅是采用單一深度學(xué)習(xí)網(wǎng)絡(luò)。Mckinney等[15]也發(fā)現(xiàn)由3個深度學(xué)習(xí)模型構(gòu)成的AI系統(tǒng)能夠識別早期乳腺癌影像征象，從而實(shí)現(xiàn)減少假陰性(漏診率)和假陽性率(誤診率)的目標(biāo)。因此，在算法模型中融合多種學(xué)習(xí)網(wǎng)絡(luò)可能是一種有效降低假陽性的方法。

肺結(jié)核影像診斷較為復(fù)雜，有時CT掃描仍難以診斷，完全依靠胸片對于疾病診斷漏診率較高，尤其是在基層衛(wèi)生機(jī)構(gòu)。而AI技術(shù)的優(yōu)點(diǎn)是對于發(fā)現(xiàn)病變較為敏感，因此可以依照AI技術(shù)作為篩查工具，以減少漏診。但同時AI技術(shù)也存在劣勢，即距離實(shí)現(xiàn)獨(dú)立診斷仍有較大差距，最終還是需要醫(yī)生根據(jù)CT及實(shí)驗室檢查綜合診斷。本研究中AI系統(tǒng)漏診3例，而結(jié)防所診斷小組漏診33例，當(dāng)?shù)蒯t(yī)生的漏診情況明顯高于AI系統(tǒng)。結(jié)果提示，僅靠當(dāng)?shù)乜h級結(jié)防所醫(yī)生的判斷不利于及時發(fā)現(xiàn)結(jié)核并阻斷其傳播途徑。因此研究提出，當(dāng)AI系統(tǒng)具備較高的診斷準(zhǔn)確率時，可將AI系統(tǒng)作為第一道檢查程序；當(dāng)AI系統(tǒng)擁有較高檢出率而假陽性率也高于醫(yī)生時，將AI系統(tǒng)作為醫(yī)生閱片后的第二道檢查程序可能是AI系統(tǒng)輔助診斷技術(shù)在臨床上的重要應(yīng)用方向[16]。

三、本研究的局限性

由于AI系統(tǒng)僅能夠基于影像特征進(jìn)行學(xué)習(xí)分析，目前階段還不具備結(jié)合臨床癥狀、實(shí)驗室檢查結(jié)果等做出綜合判斷的能力，因此本研究僅著眼于分析評價縣級結(jié)防所醫(yī)生、AI和高年資專家的影像診斷能力，而不是結(jié)合實(shí)驗室檢測結(jié)果等綜合判斷后的診斷結(jié)果。另外，本研究采用的AI系統(tǒng)目前只能對病灶類型進(jìn)行判斷，未涉及相應(yīng)病變的影像學(xué)表現(xiàn)描述和肺結(jié)核分型，同時這也是目前相關(guān)AI系統(tǒng)普遍面臨的局限性之一[17]，未來將升級AI系統(tǒng)，使系統(tǒng)自動出具的相關(guān)結(jié)果中包含與病變對應(yīng)的影像學(xué)改變。

本研究為一項多中心基層醫(yī)療機(jī)構(gòu)臨床測試，通過直接與當(dāng)?shù)蒯t(yī)生進(jìn)行閱片水平對比，從而評價AI系統(tǒng)的臨床應(yīng)用價值，這與之前直接從算法模型的性能指標(biāo)進(jìn)行AI系統(tǒng)驗證的研究不同[18-20]，因此也更能反映AI系統(tǒng)在實(shí)際情況中的應(yīng)用價值。本研究結(jié)果表明，AI系統(tǒng)的閱片水平高于縣級結(jié)防所診斷小組，可以有效幫助解決縣級醫(yī)療機(jī)構(gòu)閱讀胸片能力不足的問題，同時大大提高轉(zhuǎn)診質(zhì)量，提升全地區(qū)結(jié)核病防控能力。

利益沖突所有作者均聲明不存在利益沖突

作者貢獻(xiàn)張修磊：論文撰寫，數(shù)據(jù)整理，統(tǒng)計分析； 王倩：實(shí)施研究，統(tǒng)計分析； 夏麗：研究指導(dǎo)，論文修改；劉遠(yuǎn)明：研究設(shè)計，數(shù)據(jù)分析； 郝焱：實(shí)施研究；郭琳：修改指導(dǎo)，獲得經(jīng)費(fèi)