Markov模型在醫(yī)學(xué)中的應(yīng)用現(xiàn)狀1）

王 強(qiáng)，王承龍，王少麗

Markov模型是俄國(guó)著名數(shù)學(xué)家馬爾可夫在1906年提出的，起初用來(lái)描述和預(yù)測(cè)煤氣分子在密閉容器中的沖態(tài)?？?tīng)柲宸蛟?936年將其一般化到可數(shù)無(wú)限狀態(tài)空間。在20世紀(jì)60年代已開(kāi)始將其應(yīng)用于水文、氣象的預(yù)測(cè)，后應(yīng)用于地震方面的預(yù)測(cè)。最早應(yīng)用于醫(yī)學(xué)領(lǐng)域是在20世紀(jì)70年代，主要用于慢性疾病的發(fā)展過(guò)程，80年代后國(guó)外已有大量的應(yīng)用，90年代耿建平將其用于甲肝感染情況的模擬［1］，其后在醫(yī)學(xué)領(lǐng)域中的應(yīng)用較為廣泛。

1 Markov模型在醫(yī)學(xué)中應(yīng)用的原理概述

Markov模型是依據(jù)某些變量的現(xiàn)在狀態(tài)及動(dòng)向，預(yù)測(cè)某些變化趨勢(shì)的動(dòng)態(tài)隨機(jī)數(shù)學(xué)模型［2］。它的具體工作原理如下：①通過(guò)疾病的特點(diǎn)和研究目的可劃分為不同的健康狀態(tài)，稱(chēng)為Markov狀態(tài)，各種狀態(tài)是相互排斥的，且可以相互轉(zhuǎn)化，患者在不同時(shí)期會(huì)處在一個(gè)明確的狀態(tài)；②根據(jù)不同疾病的演變規(guī)律確定一定的時(shí)間段，稱(chēng)為循環(huán)周期；③根據(jù)不同狀態(tài)之間的轉(zhuǎn)移概率，并結(jié)合每種狀態(tài)的健康效用值（生存質(zhì)量的權(quán)重），計(jì)算不同年限的質(zhì)量調(diào)整生命年（質(zhì)量調(diào)整生命年是健康效用值與生存年數(shù)的乘積）；④根據(jù)質(zhì)量調(diào)整生命年的獲得和不同干預(yù)措施成本的消耗，進(jìn)而評(píng)定干預(yù)措施的合理性。

2 Markov模型的具體應(yīng)用

2．1 疾病自然病史和發(fā)生概率的預(yù)測(cè) 對(duì)于疾病的短期變化，臨床觀察比較容易把握疾病的發(fā)展規(guī)律，但是對(duì)于一些傳染病、腫瘤等慢性疾病，疾病的進(jìn)展要經(jīng)歷數(shù)年，甚至是10年以上，難以通過(guò)臨床觀察掌握疾病的變化，因此運(yùn)用數(shù)學(xué)模型進(jìn)行疾病的長(zhǎng)期預(yù)測(cè)有重要的意義，其中Markov模型研究較多，且比較符合疾病的發(fā)展規(guī)律。首先根據(jù)疾病的發(fā)病特點(diǎn)，將疾病劃分為幾種互相排斥的Markov狀態(tài)，根據(jù)各種狀態(tài)之間每個(gè)周期（一定的時(shí)間間隔）的轉(zhuǎn)移概率，進(jìn)行不同階段疾病預(yù)后轉(zhuǎn)歸的預(yù)測(cè)，更好開(kāi)展疾病的預(yù)防和控制。例如，Kopycka等［3］以二態(tài)的Markov模型為基礎(chǔ)估計(jì)無(wú)齲齒狀態(tài)轉(zhuǎn)化成齲齒活躍的狀態(tài)轉(zhuǎn)移概率，進(jìn)而評(píng)價(jià)唾液變形性鏈球菌對(duì)齲齒狀態(tài)的影響。為了評(píng)估結(jié)腸癌預(yù)后中的復(fù)發(fā)情況，Dancourt等［4］研究了包括經(jīng)典生存分析和Markov模型在內(nèi)的幾個(gè)方法學(xué)問(wèn)題，證實(shí)Markov多態(tài)模型在消化道癌癥的進(jìn)展過(guò)程中可以提供獨(dú)特的見(jiàn)解，并對(duì)這一過(guò)程中復(fù)發(fā)的作用提供新穎的觀點(diǎn)。由于肝纖維化的檢查受肝臟活檢的限制，且肝組織活檢只能確定當(dāng)時(shí)的纖維化發(fā)展，Deuffic等［5］通過(guò) Markov模型模擬了不同纖維化階段的患者分布情況，證實(shí)了Markov模型在慢性丙肝的纖維化進(jìn)展的分析中是一個(gè)精確的工具。此外，還用于心血管事件預(yù)期壽命的預(yù)測(cè)［6］。Honeycutt等［7］通過(guò)三態(tài)的馬爾科夫模型（周期是1年）預(yù)測(cè)疾病的發(fā)生概率，結(jié)合2001—2050年每種狀態(tài)的預(yù)測(cè)，從而準(zhǔn)確的預(yù)測(cè)美國(guó)2050年糖尿病的發(fā)病率。

2．2 療效評(píng)價(jià)和疾病預(yù)防的收益 Markov模型更為重要的是在經(jīng)濟(jì)學(xué)領(lǐng)域的應(yīng)用，最具有代表性的是干預(yù)措施的療效評(píng)價(jià)。短期的療效評(píng)價(jià)可以通過(guò)終點(diǎn)事件和不良事件的觀察得到，但很多情況下，我們更希望了解長(zhǎng)期的療效評(píng)價(jià)。鑒于不同的干預(yù)措施獲得生存質(zhì)量和經(jīng)濟(jì)學(xué)成本有差異，此外對(duì)于中醫(yī)藥的療效評(píng)價(jià)局限于中醫(yī)癥狀評(píng)價(jià)、西醫(yī)理化指標(biāo)的評(píng)價(jià)，并不能客觀地反映中醫(yī)藥的療效優(yōu)勢(shì)，以Markov模型為基礎(chǔ)的質(zhì)量調(diào)整生命年能夠?qū)⒅嗅t(yī)主觀癥狀和西醫(yī)的理化指標(biāo)統(tǒng)一起來(lái)，從而客觀地反映中醫(yī)藥的療效。因此Markov模型在現(xiàn)代醫(yī)學(xué)和傳統(tǒng)醫(yī)學(xué)的療效評(píng)價(jià)領(lǐng)域有很大的優(yōu)勢(shì)。加拿大，Romagnuolo等［8］用二階的Markov模型估計(jì)5年內(nèi)奧美拉唑和腹腔鏡胃底折疊術(shù)的治愈和維持療法的成本和效用，發(fā)現(xiàn)兩種干預(yù)措施的質(zhì)量調(diào)整生命年沒(méi)有明顯差別。瑞典，Borg等［9］運(yùn)用 Markov模型，通過(guò)質(zhì)量調(diào)整生命年的成本和增量成本來(lái)估計(jì)促紅細(xì)胞生成素和輸血在治療化療后貧血的效果分析。Gordois等［10］用Markov模型將患者劃分為無(wú)慢性排斥反應(yīng)、慢性排斥反應(yīng)、死亡三種狀態(tài)，通過(guò)計(jì)算腎移植患者消費(fèi)成本和質(zhì)量調(diào)整生命年，得出西羅莫斯是有效且合理的治療措施。此外，Markov模型還應(yīng)用于在其他疾病的療效評(píng)價(jià)，例如肝癌、睡眠呼吸暫停綜合征等［11，12］。

疾病的預(yù)防不僅降低慢性疾病的發(fā)病率，而且提高患者的生存質(zhì)量，從而間接地降低醫(yī)療成本，對(duì)疾病預(yù)防和疾病篩查方法的評(píng)價(jià)尤為重要。Gaziano等［13］用 Markov模型評(píng)價(jià)心血管疾病二級(jí)預(yù)防的收益、危險(xiǎn)和成本，在一級(jí)預(yù)防中應(yīng)用了阿司匹林、鈣離子拮抗劑、血管緊張素轉(zhuǎn)化酶抑制劑、他汀類(lèi)；在二級(jí)預(yù)防中用β受體拮抗劑來(lái)代替鈣離子拮抗劑，通過(guò)每個(gè)質(zhì)量調(diào)整生命年的增量成本效率分析，得出在發(fā)展中國(guó)家需要使用阿司匹林、兩種降壓藥、他汀類(lèi)進(jìn)行二級(jí)預(yù)防。在墨西哥，為了進(jìn)行人乳頭瘤病毒疫苗、雜交捕獲篩查和巴氏圖片篩查總的成本效益分析，Gutierrez－Delgado等［14］運(yùn)用 Markov模型模擬了10中不同的情景，得出聯(lián)合引入雜交捕獲篩查和巴氏圖片篩查更可取。美國(guó)糖尿病協(xié)會(huì)建議對(duì)伴有動(dòng)脈硬化的危險(xiǎn)因素糖尿病患者應(yīng)行冠心病篩查，為了驗(yàn)證此方案的可行性，日本Hayashino等［15］通過(guò)Markov模型評(píng)價(jià)伴有動(dòng)脈硬化的危險(xiǎn)因素?zé)o癥狀糖尿病患者臨床收益和冠心病篩查費(fèi)用的成本效益，得出相同建議的篩查方法也適用于日本。

2．3 分析藥物的代謝過(guò)程和藥物的遴選 早在20世紀(jì)90年代，楊靜化等［16］通過(guò)Markov模型分析心、腦、腎等臟器中血藥濃度隨時(shí)間變化的規(guī)律。此外，Tang等［17］用其預(yù)測(cè)磺脲二次失效隨著時(shí)間變化的影響因素和代謝趨勢(shì)。Karlsson等［18］通過(guò)Markov混合作用模型解釋替馬西泮對(duì)睡眠階段的影響，并認(rèn)為促進(jìn)深睡眠的過(guò)渡，抑制輕度睡眠的過(guò)渡，因而利于轉(zhuǎn)到睡眠階段。同時(shí)通過(guò)Markov模型的構(gòu)建，可以從睡眠發(fā)生和苯二氮卓的藥理學(xué)機(jī)制角度解釋替馬西泮對(duì)睡眠覺(jué)醒狀態(tài)的影響。因此，能夠了解藥物在機(jī)體的分布、代謝過(guò)程，從而更好的研究藥物機(jī)制。

國(guó)家藥物遴選的原則是防治必需、安全有效、價(jià)格合理、使用方便、中西藥并重、基本保障、臨床首選和基層能夠配備。鑒于Markov模型通過(guò)模擬疾病的進(jìn)展，解決臨床試驗(yàn)研究中的時(shí)間和費(fèi)用問(wèn)題，借助其他模型計(jì)算終點(diǎn)事件的發(fā)生率，孫國(guó)君等［19］建議用此模型進(jìn)行藥物的遴選。此外，中醫(yī)藥療效評(píng)價(jià)缺乏廣泛公認(rèn)的評(píng)價(jià)方法，而以Markov模型為基礎(chǔ)的質(zhì)量調(diào)整生命年和病癥結(jié)合的評(píng)價(jià)模式有很好的一致性，更能貼切中醫(yī)藥的療效評(píng)價(jià)，指導(dǎo)中醫(yī)藥的遴選。但目前中醫(yī)藥療效的相關(guān)報(bào)道較少，因此這是中醫(yī)藥療效評(píng)價(jià)的重要突破口。

3 小結(jié)和展望

目前，Markov模型在國(guó)外已被應(yīng)用于疾病預(yù)后因素的研究［20］、縱向生命質(zhì)量資料分析［21］、療效和預(yù)防措施的評(píng)價(jià)、疾病自然史和演變規(guī)律的研究等多個(gè)方面。其在中醫(yī)藥領(lǐng)域的應(yīng)用很少，但依據(jù)Markov模型的原理和方法，Markov模型用于中醫(yī)病證結(jié)合的療效評(píng)價(jià)在方法學(xué)上是可行的，并且有廣泛的應(yīng)用前景。

Markov模型雖然有廣泛的應(yīng)用，但也有一定的局限性。首先，Markov模型無(wú)記憶性，由于疾病的轉(zhuǎn)歸通常與既往史有關(guān)，所以應(yīng)根據(jù)臨床意義合理設(shè)定Markov模型對(duì)疾病相對(duì)準(zhǔn)確的預(yù)測(cè)是非常關(guān)鍵的［22］。其次，Markov模型需要一定的假設(shè)條件，這些條件有時(shí)很難滿足，因此短期的預(yù)測(cè)結(jié)果比較準(zhǔn)確，因?yàn)槎唐趦?nèi)假設(shè)的條件比較容易滿足。最后，Markov模型容易忽略事物發(fā)展的次要因素，使預(yù)測(cè)的結(jié)果不那么精確［2］。這是模型應(yīng)用中要關(guān)注的問(wèn)題，既要貼切疾病的演變規(guī)律，又要符合模型的要求，合理應(yīng)用模型。

中醫(yī)藥的療效主要由個(gè)體案例中得出，側(cè)重中醫(yī)癥狀的改善，但是缺乏大樣本的隨機(jī)對(duì)照研究，況且許多癥狀并不能真實(shí)反映疾病的轉(zhuǎn)歸和預(yù)后，因此循證醫(yī)學(xué)證據(jù)等級(jí)較低，缺乏一定的臨床說(shuō)服力；有些學(xué)者通過(guò)現(xiàn)代醫(yī)學(xué)的理化指標(biāo)、病理?yè)p傷的變化等衡量中醫(yī)藥療效，一方面這些指標(biāo)不能客觀的評(píng)價(jià)現(xiàn)代醫(yī)學(xué)本身，另一方面現(xiàn)代醫(yī)學(xué)和傳統(tǒng)中醫(yī)學(xué)理論構(gòu)建有很大差別，難以將整體觀念和辨證論治的理念體現(xiàn)出來(lái)，更不能完全體現(xiàn)中醫(yī)藥的療效優(yōu)勢(shì)。因此有很多學(xué)者針對(duì)中醫(yī)藥自身特點(diǎn)提出其評(píng)價(jià)的原則，賴(lài)世隆等［23］認(rèn)為一個(gè)具有較強(qiáng)科學(xué)價(jià)值中的中醫(yī)藥療效評(píng)定標(biāo)準(zhǔn)應(yīng)該包括：①對(duì)于“病”的公認(rèn)的常規(guī)療效評(píng)定標(biāo)準(zhǔn)；②構(gòu)成證候的若干指標(biāo)變化的評(píng)定標(biāo)準(zhǔn)；③生存質(zhì)量的評(píng)定標(biāo)準(zhǔn)。因此遵循中醫(yī)學(xué)整體觀念和辨證論治規(guī)律，符合現(xiàn)代臨床療效評(píng)價(jià)一般原則，又能充分體現(xiàn)中醫(yī)藥療效優(yōu)勢(shì)且被世界公認(rèn)的療效評(píng)價(jià)方法，是現(xiàn)代中醫(yī)藥事業(yè)發(fā)展的關(guān)鍵問(wèn)題之一［24］。從方法學(xué)角度運(yùn)用Markov狀態(tài)轉(zhuǎn)移模型進(jìn)行中醫(yī)藥療效評(píng)價(jià)的研究，以期為中醫(yī)藥臨床療效評(píng)價(jià)研究提供一種新的模式，這對(duì)現(xiàn)代中醫(yī)藥臨床療效評(píng)價(jià)研究的深入和與國(guó)際接軌具有極其重要的意義。

［1］ 耿建平，李文潮．Markov鏈在甲肝年齡分布資料中的應(yīng)用研究［J］．?dāng)?shù)理醫(yī)藥學(xué)雜志，1995，8（2）：171－173．

［2］ 吳晶，黃泰康．馬爾科夫模型及其在藥品經(jīng)濟(jì)預(yù)測(cè)中的應(yīng)用［J］．中國(guó)藥房，2005，16（14）：1049－1050．

［3］ Kopycka Kedzierawski DT，Billings RJ．Application of nonhomogenous Markov models for analyzing longitudinal caries risk［J］．Community Dent Oral Epidemiol，2006，34（2）：123－129．

［4］ Dancourt V，Quantin C，Abrahamowicz M，et al．Modeling recurrence in colorectal cancer［J］．J Clin Epidemiol，2004，57（3）：243－251．

［5］ Deuffic BS，Poynard T，Valleron AJ．Quantification of fibrosis progression in patients with chronic hepatitis C using a Markov model［J］．J Viral Hepat，2002，9（2）：114－122．

［6］ Sesso HD，Chen RS，L’Italien GJ，et al．Blood pressure lowering and life expectancy based on a Markov model of cardiovascular events［J］．Hypertension，2003，42（5）：885－890．

［7］ Honeycutt AA，Boyle JP，Broglio KR，et al．A dynamic Markov model for forecasting diabetes prevalence in the United States through 2050［J］．Health Care Manag Sci，2003，6（3）：155－164．

［8］ Romagnuolo J，Meier MA，Sadowski DC．Medical or surgical therapy for erosive reflux esophagitis：Cost－utility analysis using a Markov model［J］．Ann Surg，2002，236（2）：191－202．

［9］ Borg S，Glenngard AH，Osterborg A，et al．The cost－effectiveness of treatment with erythropoietin compared to red blood cell transfusions for patients with chemotherapy induced anaemia：A Markov model［J］．Acta Oncol，2008，47（6）：1009－1017．

［10］ Gordois A，Nobes M，Toohey M，et al．Cost－effectiveness of sirolimus therapy with early cyclosporin withdrawal vs．longterm cyclosporin therapy in Australia［J］．Clin Transplant，2006，20（4）：526－536．

［11］ Muszbek N，Shah S，Carroll S，et al．Economic evaluation of sorafenib in the treatment of hepatocellular carcinoma in Canada［J］．Curr Med Res Opin，2008，24（12）：3559－3569．

［12］ Mar J，Gutierrez Moreno S，Chilcott J．Probabilistic cost－effectiveness analysis of the treatment of sleep apnea［J］．Gac Sanit，2006，20（1）：47－53．

［13］ Gaziano TA，Opie LH，Weinstein MC．Cardiovascular disease prevention with a multidrug regimen in the developing world：A cost－effectiveness analysis［J］．Lancet，2006，368（9536）：679－686．

［14］ Gutierrez－Delgado C，Baez－Mendoza C，Gonzalez－Pier E，et al．Generalized cost－effectiveness of preventive interventions against cervical cancer in Mexican women：Results of a Markov model from the public sector perspective［J］．Salud Publica Mex，2008，50（2）：107－118．

［15］ Hayashino Y，Shimbo T，Tsujii S，et al．Cost－effectiveness of coronary artery disease screening in asymptomatic patients with type 2diabetes and other atherogenic risk factors in Japan：Factors influencing on international application of evidence－based guidelines［J］．Int J Cardiol，2007，118（1）：88－96．

［16］ 楊靜化，張琪．馬爾可夫藥物動(dòng)力學(xué)模型B［J］．生物數(shù)學(xué)學(xué)報(bào)，1998，13（2）：132－135．

［17］ Tang WL，Wang YM，Du WM，et al．Study of the process of secondary failure of sulphonylurea by a Markov model［J］．Pharmacoepidemiol Drug Saf，2008，17（5）：511－516．

［18］ Karlsson MO，Schoemaker RC，Kemp B，et al．A pharmacodynamic Markov mixed－effects model for the effect of temazepam on sleep［J］．Clin Pharmacol Ther，2000，68（2）：175－188．

［19］ 孫國(guó)君，吳華鈴，單偉光．Markov模型在基本藥物遴選中的應(yīng)用［J］．中國(guó)衛(wèi)生經(jīng)濟(jì)，2011，30（9）：22－23．

［20］ 王娟，汪濤，方積乾，等．Markov模型在終末期腎病腹膜透析治療過(guò)程中的應(yīng)用［J］．廣州醫(yī)學(xué)院學(xué)報(bào)，2007，35（3）：162－165．

［21］ 萬(wàn)崇華，方積乾，周文清，等．縱向生命質(zhì)量資料分析的 Markov過(guò)程法及其應(yīng)用［J］．中華流行病學(xué)雜志，1999，20（3）：162－165．

［22］ 易華云，劉愛(ài)忠，張琰．Markov模型在衛(wèi)生領(lǐng)域中應(yīng)用簡(jiǎn)介［J］．循證醫(yī)學(xué)，2008，8（3）：172－176．

［23］ 賴(lài)世隆，胡鏡清，郭新峰．循證醫(yī)學(xué)與中醫(yī)藥臨床研究［J］．廣州中醫(yī)藥大學(xué)學(xué)報(bào)，2000，17（1）：1－6．

［24］ 王承龍，王少麗，史大卓．Markov模型在冠心病血瘀證療效評(píng)價(jià)中的應(yīng)用探討及研究展望［J］．遼寧中醫(yī)雜志，2011，38（4）：782－784．