TG-ROC分析方法在檢測(cè)試劑質(zhì)量評(píng)價(jià)中的應(yīng)用

杜加亮,陳　佑,高加梅,劉悅越,劉　艷,范行良,于晴川,唐年勝,國(guó)　泰

(中國(guó)食品藥品檢定研究院腸道病毒疫苗室,北京 100050)

?

·論著·

TG-ROC分析方法在檢測(cè)試劑質(zhì)量評(píng)價(jià)中的應(yīng)用

杜加亮,陳佑#,高加梅,劉悅越,劉艷,范行良,于晴川,唐年勝,國(guó)泰△

(中國(guó)食品藥品檢定研究院腸道病毒疫苗室,北京 100050)

目的比較人類T淋巴細(xì)胞白血病病毒(HTLV)ELISA檢測(cè)試劑和Western Blot(簡(jiǎn)稱WB)確認(rèn)試劑的關(guān)系，分析HTLV檢測(cè)試劑的質(zhì)量水平。方法通過(guò)WB確認(rèn)試劑對(duì)156份ELISA初篩陽(yáng)性的人血清標(biāo)本進(jìn)行HTLV抗體的檢測(cè)，使用TG-ROC分析方法來(lái)選出ELISA最佳CO值(閾值)，以2×2列聯(lián)表分析這兩種檢測(cè)結(jié)果的一致性，并用McNemar檢驗(yàn)評(píng)估檢測(cè)結(jié)果的一致性，綜合評(píng)價(jià)HTLV檢測(cè)試劑質(zhì)量水平。結(jié)果156份ELISA初篩陽(yáng)性的人血清標(biāo)本經(jīng)過(guò)WB進(jìn)行確證后僅有40份為陽(yáng)性，其余116份為陰性。TG-ROC分析結(jié)果得出該ELISA檢測(cè)試劑的敏感性和特異性分別為97.5%和45.7%，McNemar檢驗(yàn)也表明ELISA與WB檢測(cè)結(jié)果差異有統(tǒng)計(jì)學(xué)意義(P<0.05)。通過(guò)調(diào)整閾值，能使ELISA敏感性和特異性同時(shí)達(dá)到88.8%(參數(shù)法)。比較參數(shù)法和非參數(shù)法，得到曲線下面積為0.923 5(參數(shù)法)，兩者的結(jié)論基本一致。結(jié)論雖然該ELISA試劑結(jié)果與WB結(jié)果有差別，但是通過(guò)調(diào)整閾值，可以提高其敏感性和特異性，繼而增加診斷結(jié)果的可靠性。

檢測(cè)試劑；質(zhì)量評(píng)價(jià)；TG-ROC

檢測(cè)試驗(yàn)是指檢測(cè)患者患病與否所采用的實(shí)驗(yàn)室檢驗(yàn)、醫(yī)療儀器檢驗(yàn)等[1-2]。檢測(cè)試驗(yàn)除了能分辨就診患者的患病情況，還能用于療效判斷、疾病預(yù)防與控制以及治療不良反應(yīng)評(píng)價(jià)等。檢測(cè)試驗(yàn)的可靠性大小依賴于對(duì)檢測(cè)結(jié)果的正確評(píng)價(jià)。正確評(píng)價(jià)檢測(cè)試驗(yàn)主要依賴以下方面：(1)對(duì)陰性和陽(yáng)性結(jié)果的判斷標(biāo)準(zhǔn)即閾值，在酶聯(lián)免疫吸附試驗(yàn)(ELISA)中也稱Cut-Off值(簡(jiǎn)稱CO值)[3]。(2)特異性和敏感性。(3)確診符合率。不同的檢測(cè)試驗(yàn)對(duì)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)也不一樣，對(duì)誤診率和漏診率的要求也因病而異。如何科學(xué)地正確評(píng)價(jià)試驗(yàn)的各項(xiàng)指標(biāo)好壞成為了主要的問(wèn)題。

受試者工作特征(ROC)曲線分析方法被公認(rèn)為是一種全面、準(zhǔn)確評(píng)價(jià)檢測(cè)試驗(yàn)的有效統(tǒng)計(jì)工具，通過(guò)計(jì)算曲線下面積(AUC)來(lái)評(píng)價(jià)試驗(yàn)的準(zhǔn)確性[4]。TG-ROC分析方法是ROC分析方法的改進(jìn)[5]，它不僅繼承了ROC的分析方式，還更加直觀地反映敏感性和特異性對(duì)CO值的走向，從而使人們結(jié)合實(shí)際情況選擇最佳CO值，以獲得檢測(cè)試驗(yàn)的最大準(zhǔn)確性。本研究的主要目的是應(yīng)用TG-ROC分析方法對(duì)檢測(cè)試驗(yàn)的結(jié)果進(jìn)行綜合評(píng)價(jià)，并根據(jù)各種條件選出相應(yīng)的最佳CO值來(lái)作為檢測(cè)試驗(yàn)的閾值?，F(xiàn)報(bào)道如下。

1　材料與方法

1.1標(biāo)本來(lái)源156份人血清標(biāo)本是從我國(guó)19個(gè)省(市)血液中心采集的122 470份無(wú)償獻(xiàn)血員中經(jīng)ELISA篩查得到的人類T淋巴細(xì)胞白血病病毒(HTLV)抗體陽(yáng)性標(biāo)本[5]。

1.2主要試劑HTLV抗體檢測(cè)試劑盒(雙抗原夾心酶聯(lián)免疫法)購(gòu)自北京萬(wàn)泰生物藥業(yè)股份有限公司；ELISA陽(yáng)性血清利用Western Blot(簡(jiǎn)稱WB)進(jìn)行確證，WB試劑盒(HTLV BLOT 2.4)購(gòu)自新加坡Genelabs公司。

1.3統(tǒng)計(jì)學(xué)處理利用TG-ROC分析方法計(jì)算ELISA檢測(cè)試劑的敏感性和特異性，結(jié)果以數(shù)值(95%CI)表示。利用McNemar檢驗(yàn)方法驗(yàn)證ELISA與WB檢測(cè)結(jié)果的差異。同時(shí)分別通過(guò)參數(shù)法和非參數(shù)法調(diào)整閾值，使ELISA檢測(cè)試劑的敏感性和特異性同時(shí)達(dá)到最優(yōu)。

2　結(jié)　　果

2.1156份標(biāo)本的ELISA和WB檢測(cè)結(jié)果ELISA檢測(cè)試劑共篩查出156份陽(yáng)性血清標(biāo)本，經(jīng)過(guò)WB進(jìn)行確證后僅有40份為陽(yáng)性，其余116份為陰性。ELISA檢測(cè)結(jié)果表明，大部分標(biāo)本的OD值集中在0.0～1.6。其中，WB陰性標(biāo)本的OD值主要集中在0.0～0.9，說(shuō)明陰性檢測(cè)結(jié)果的OD值應(yīng)偏低；WB陽(yáng)性標(biāo)本的OD值主要集中1.5～3.0，符合陽(yáng)性檢測(cè)結(jié)果的實(shí)際情況。標(biāo)本總體的OD值為0.866 7±0.819 0，其中WB陰性標(biāo)本的OD值為0.534 0±0.552 0，WB陽(yáng)性標(biāo)本OD值為1.848 6±0.691 3。對(duì)應(yīng)總體、陰性組、陽(yáng)性組的變異系數(shù)(CV)分別為0.945 0、1.035 3、0.372 6。CV越大，表示遠(yuǎn)離均值的標(biāo)本較多，說(shuō)明檢測(cè)試驗(yàn)的檢測(cè)結(jié)果不穩(wěn)定。見(jiàn)圖1。

圖1　　156份陽(yáng)性血清標(biāo)本的ELISA檢測(cè)OD值分布

2.2TG-ROC分析ELISA的敏感性和特異性及閾值預(yù)測(cè)TG-ROC分析方法認(rèn)為，敏感性和特異性相等時(shí)，所對(duì)應(yīng)的CO值為最佳的閾值，這個(gè)點(diǎn)恰好是敏感性和特異性曲線的交點(diǎn),見(jiàn)圖2。使用R軟件編寫(xiě)程序進(jìn)行TG-ROC分析，參數(shù)法得到閾值為1.015，對(duì)應(yīng)的敏感性和特異性為0.888(0.789，0.985)、0.888(0.830，0.945)；最大有效性法和最小錯(cuò)誤分類成本法得到的閾值均為1.137，相應(yīng)的敏感性和特異性為0.854(0.744，0.963)、0.902(0.848，0.956)。參數(shù)法的曲線下面積(AUC)為0.923 5(0.870 2，0.958 2)。

非參數(shù)法得到TG-ROC閾值為1.021，敏感性和特異性為0.850(0.709，0.929)、0.853(0.778，0.906)；最大有效性法和最小錯(cuò)誤分類成本法得到的閾值均為1.197，敏感性和特異性為0.800(0.652，0.895)、0.914(0.849，0.953)。非參數(shù)法的AUC為0.922 5(0.876 7，0.968 4)，與參數(shù)法的結(jié)果相近。

2.3McNemar檢驗(yàn)方法驗(yàn)證ELISA與WB檢測(cè)結(jié)果的差異將WB和ELISA的檢測(cè)結(jié)果(以本文2.2中根據(jù)TG-ROC預(yù)測(cè)的閾值重新判斷得到的ELISA陰陽(yáng)性結(jié)果)進(jìn)行McNemar檢驗(yàn)，差異有統(tǒng)計(jì)學(xué)意義(P<0.05)，說(shuō)明ELISA檢測(cè)結(jié)果與WB結(jié)果有差異。通過(guò)計(jì)算，ELISA檢測(cè)結(jié)果符合率為0.590，符合率較低，說(shuō)明ELISA結(jié)果與實(shí)際情況有些差別。試劑的敏感性和特異性為0.975、0.457，假陰性率和假陽(yáng)性率為0.025、0.543，陽(yáng)、陰性預(yù)測(cè)值為0.382、0.981。敏感性高，說(shuō)明該試劑可以檢出標(biāo)本中的97.5%，假陰性較少；但特異性較低，容易誤診導(dǎo)致出現(xiàn)較多假陽(yáng)性。該試劑的陰性預(yù)測(cè)值較高，說(shuō)明陰性結(jié)果的標(biāo)本中，確有98.1%的標(biāo)本為陰性，證明該試劑用來(lái)排除陽(yáng)性的效果比較好。見(jiàn)表1。

圖2　　TG-ROC分析ELISA敏感性和特異性

ELISA法WB法陰性陽(yáng)性合計(jì)陰性53154陽(yáng)性6339102合計(jì)11640156

3　討　　論

ROC曲線源于一種軍事技術(shù),起初具有重要的軍事價(jià)值[6]。20世紀(jì)70年代以來(lái)， ROC曲線被推廣到醫(yī)學(xué)界[7]，1973年，Simpson等[8]提出以AUC作為檢測(cè)工具的分辨能力指標(biāo)，即檢測(cè)試驗(yàn)可靠性評(píng)價(jià),并得到了廣泛應(yīng)用[9-10]。1995年，Greiner等[4]對(duì)ROC進(jìn)行改進(jìn)，提出了TG-ROC分析方法，Lanyon等[11]將該方法運(yùn)用于牛腹瀉病毒ELISA診斷試驗(yàn)評(píng)價(jià)中，但在國(guó)內(nèi)關(guān)于TG-ROC分析方法在檢測(cè)試驗(yàn)評(píng)價(jià)中應(yīng)用的報(bào)道較少。

TG-ROC分析結(jié)果表明，該試劑所選用的檢測(cè)閾值偏低，容易誤診，致使假陽(yáng)性者偏多，加大了召回成本和診斷成本，造成浪費(fèi)。分別以參數(shù)法和非參數(shù)法計(jì)算該試驗(yàn)對(duì)閾值選取的不同所得到的敏感性和特異性，并選取最佳閾值，計(jì)算相應(yīng)的AUC。計(jì)算結(jié)果表明，參數(shù)法選擇1.015作為檢測(cè)閾值，檢測(cè)試驗(yàn)?zāi)苓_(dá)到88.8%的敏感性和特異性，非參數(shù)法選擇1.021作為檢測(cè)閾值，其敏感性和特異性能達(dá)到85.0%。參數(shù)法所得AUC為0.923 5，與非參數(shù)法得到的0.922 5非常接近，說(shuō)明無(wú)論選取參數(shù)法的1.015，還是非參數(shù)法的1.021作為檢測(cè)閾值，該檢測(cè)試驗(yàn)的準(zhǔn)確性都比較高。另外計(jì)算了效率極大化和誤判成本極小化所選取的閾值，但所得到的敏感性都稍微偏低。

McNemar檢驗(yàn)結(jié)果表明，ELISA結(jié)果與WB結(jié)果有差異(P<0.05)，ELISA較低的符合率，說(shuō)明該試劑檢測(cè)結(jié)果與WB的結(jié)果一致性不高。較低的特異性和陽(yáng)性預(yù)測(cè)值說(shuō)明該試劑對(duì)陽(yáng)性的分辨力不強(qiáng)，容易檢出大量假陽(yáng)性，但高達(dá)97.5%的敏感性和98.1%的陰性預(yù)測(cè)值預(yù)示著該試劑若作為排除陽(yáng)性來(lái)使用，可靠性是最佳的。因此，將該試劑用來(lái)排除陽(yáng)性，對(duì)緩解疫情區(qū)人們的心理壓力，提高人們對(duì)疾病預(yù)防和控制的信心有很大幫助。同時(shí)，該試劑對(duì)患病組檢測(cè)出陽(yáng)性率較高，能有效檢測(cè)出患者，指導(dǎo)相關(guān)單位采取行動(dòng)對(duì)該疾病進(jìn)行控制和治療。

綜上所述，在臨床研究和實(shí)踐中，通過(guò)檢測(cè)試驗(yàn)可以迅速發(fā)現(xiàn)患者，診斷疾病或判斷疾病嚴(yán)重程度，試驗(yàn)的結(jié)果直接關(guān)系到疾病的預(yù)后工作。因此，檢測(cè)試驗(yàn)結(jié)果能否真實(shí)反映患者的情況以及疾病檢測(cè)準(zhǔn)確性高低顯得非常重要。檢測(cè)閾值是試驗(yàn)結(jié)果判斷的重要標(biāo)準(zhǔn)，但并非唯一標(biāo)準(zhǔn)。通過(guò)以上TG-ROC的分析可了解到，檢測(cè)閾值的選擇影響著檢測(cè)試驗(yàn)的可靠性和真實(shí)性。適當(dāng)調(diào)整檢測(cè)閾值，可以提高檢測(cè)試劑的敏感性和特異性，減少漏診和誤診帶來(lái)問(wèn)題。本研究結(jié)果還提示，對(duì)于檢測(cè)試驗(yàn)與金標(biāo)準(zhǔn)不一致的情況，不能定論該試驗(yàn)是無(wú)效的，或者毫無(wú)價(jià)值。應(yīng)繼續(xù)計(jì)算其他指標(biāo)，綜合評(píng)價(jià)該試驗(yàn)的價(jià)值。另外，參數(shù)法和非參數(shù)法的選取因人而異，且結(jié)論一致。因此，無(wú)論采用何種方法進(jìn)行檢測(cè)試驗(yàn)評(píng)價(jià)都不會(huì)產(chǎn)生太大的差別。TG-ROC方法綜合ROC的評(píng)價(jià)方法，對(duì)確定檢測(cè)閾值，評(píng)價(jià)檢測(cè)試劑和分析比較的功能都比ROC更勝一籌。對(duì)TG-ROC的推廣，增加檢測(cè)試驗(yàn)的評(píng)價(jià)手段，并對(duì)檢測(cè)閾值給出科學(xué)計(jì)算方法，這都是本研究接下來(lái)要做的工作。

[1]金丕煥．醫(yī)用統(tǒng)計(jì)學(xué)方法[M]．上海：復(fù)旦大學(xué)出版社，1993：424-430．

[2]Winther H,J?rgensen JT.Drug-Diagnostic Co-Development in cancer[J].Pharmaceut Med,2010,24(6):363-375.

[3]Claudia P,Oscar V,Arturo B,et al.Anthropometric cutoff points for predicting chronic diseases in the Mexican National health survey 2000[J].Obes Res,2003,11(6):442-451.

[4]Greiner M,Sohr D,G?bel P.A modified ROC analysis for the selection of cut-off values and the definition of intermediate results of serodiagnostic tests[J].J Immunol Methods,1995,185(1):123-132.

[5]Du J,Chen C,Gao J,et al.History and update of HTLV infection in China[J].Virus Res,2014,191(1):134-137.

[6]Zou KH,O′malley AJ,Mauri L.Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models[J].Circulation,2007,115(5):654-657.

[7]Lusted LB.Signal detectability and medical decision-making[J].Science,1971,171(3977):1217-1219.

[8]Simpson AJ,Fitter MJ.What is the best index of detectability[J].Psychol Bull,1973,80(6):481-488.

[9]Bamber D.The area above the ordinal dominance graph and the area below the receiver operating characteristic graph[J].J Math Psych,1975,12(4):387-415.

[10]Hanley JA,Mcneil BJ.A method of comparing the areas under receiver operating characteristic curves derived from the same cases[J].Radiology,1983,148(3):839-843.

[11]Lanyon SR,Anderson ML,Bergman E,et al.Validation and evaluation of a commercially available ELISA for the detection of antibodies specific to bovine viral diarrhoea virus(bovine pestivirus)[J].Aust Vet J,2013,91(1/2):52-56.

Application of TG-ROC analytical method in detection reagent quality evaluation*

DUJialiang,CHENYou#,GAOJiamei,LIUYueyue,LIUYan,FANXingliang,YUQingchuan,TANGNiansheng,GUOTai△

(DivisionofEntericViralVaccine,NationalInstitutesforFoodandDrugControl,Beijing100050,China)

ObjectiveTo compare the relationship between the enzyme-linked immunosorbent assay(ELISA) reagent and Western blot(WB) confirmation reagent for analyzing the quality lever of human T-cell lymphotropic virus(HTLV) detection reagent.MethodsThe WB confirmation reagent was used to detect anti-HTLV antibody in 156 human serum samples of ELISA preliminary screening positive.The ELISA cut-off value(optimal value) was selected by using the two-graph receiver operating characteristics(TG-ROC) analytical method.The two-by-two table analysis was constructed to analyze the consistency of results detected by the two methods,moreover the McNemar test was used to evaluate the consistency of detection results.The quality level of HTLV detection reagent was comprehensively evaluated.ResultsAmong 156 serum samples of ELISA preliminary screening positive,only 40 samples were positive by the WB confirmation,and other 116 samples were negative.The sensitivity and specificity of ELISA detection reagent obtained by TG-ROC analysis were 97.5% and 45.7% respectively,the TG-ROC test also indicated that the detection results had significant difference between ELISA and WB(P<0.05).By adjusting the cut-off value,the sensitivity and specificity of ELISA were increased to 88.8%(parametric method).In the comparison of the parametric method and the non-parametric method,the obtained areas under the curve(AUC) was 0.923 5(parametric method),their results were basically consistent.ConclusionAlthough above results indicate that the detection results of ELISA reagent are different from those of WB,but adjusting the cut off value can increase its sensitivity and specificity,thus increases the reliability of diagnosis result.

detection reagent;quality evaluation;TG-ROC

國(guó)家“十二五”重大傳染病專項(xiàng)基金資助項(xiàng)目(2012ZX10004-702)。

杜加亮，男，助理研究員，主要從事生物制品質(zhì)量研究。#共同第一作者：陳佑，男，碩士研究生在讀，主要從事生物學(xué)統(tǒng)計(jì)模型研究?！?/p>

，E-mail：guotai@nifdc.org.cn。

10.3969/j.issn.1673-4130.2016.17.001

A

1673-4130(2016)17-2361-03

2016-04-07

2016-06-15)